JP3552269B2

JP3552269B2 - ナンバープレート検出装置

Info

Publication number: JP3552269B2
Application number: JP08937394A
Authority: JP
Inventors: 一哉 ▲高▼橋; 忠明北村; 小林　　芳樹; 良幸佐藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-04-27
Filing date: 1994-04-27
Publication date: 2004-08-11
Anticipated expiration: 2019-08-11
Also published as: JPH07296164A

Description

【０００１】
【産業上の利用分野】
本発明は自動車のナンバープレートの位置の検出に関する。
【０００２】
【従来の技術】
自動車に取り付けるナンバープレートは大きさで分類すると２種類ある。図１０は２種類のナンバープレートを示す図である。図１０において、（ａ）は普通サイズナンバープレートで、（ｂ）は大型ナンバープレートである。ここで図１０（ａ）に基づきナンバープレートの説明をする。“水戸”は陸運支局コード（以後、陸支コード），“５８”は車種コード，“ぬ”は用途コード，“５９−１０”は一連番号である。（ｂ）の大型ナンバープレートは普通サイズナンバープレートよりも大きく、これに伴って一連番号のサイズも大きい。しかし、陸支コードと車種コードの大きさは等しい。
【０００３】
従来のナンバープレート検出装置には、「“アダプティブパラメータ平面領域制限ハフ変換を用いたナンバープレート領域抽出法”：崔享振：信学論Ｊ７２−Ｄ−ΙΙ：Ｎｏ．４：ｐｐ５９７−６０４：１９８９」（以下、文献１）がある。これは自動車の画像からハフ変換によって複数の直線を抽出し、これらを統合してナンバープレートの縁を検出するものである。
【０００４】
また従来のナンバープレート検出装置として特開平５−２０４９７号公報（以下、文献２）に記載された装置が公知である。これは自動車の画像を二値化してから文字列候補の複数の外接矩形を抽出し、この並び方が各種コードの一連番号と一致することを確認してナンバープレートの位置を確定するものである。
【０００５】
さらに、特開昭６０−２２９１７８号公報（以下、文献３）には、自動車の画像を２値化してこれと標準パターンを比較してナンバープレートの位置を検出することが記載されている。
【０００６】
【発明が解決しようとする課題】
文献１に記載のナンバープレート検出装置は、微分処理やハフ変換を多用するためにノイズの影響を受けやすいという問題を有している。また、明るい色の自動車上の白地ナンバープレートや、暗い色の自動車上の緑地ナンバープレートの縁のコントラストは悪く、直線として安定的に検出できないことが多いという問題を有している。また、上記文献２及び３に記載のナンバープレート検出装置は、様々な色を有し、様々な形状のライトやフロントグリルを有する可能性のある不特定多数の自動車の画像に対して、２値化処理を施しているので、自動車に対する照明変動やナンバープレートの汚れに起因するノイズに対して対応しうるナンバープレート上の文字を的確に二値化するしきい値を設定するのが難しいという問題を有している。
【０００７】
本発明のナンバープレート検出装置はこのような事情に鑑みてなされたものであり、自動車画像中におけるナンバープレートの位置を安定的に検出するナンバープレート検出装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的は、ナンバープレート中の文字の大きさと配置の情報であるテンプレート画像と、平滑化処理を施した自動車画像であるサーチ画像とを濃淡パターンマッチングにより比較して前記ナンバープレートの位置を認識する手段を備えることにより達成される。
【０００９】
【作用】
ナンバープレートの文字列は文字の色と下地の色が白と深緑，黄と黒などとコントラストが良くなるように工夫されているので、平滑化され鮮明さを落した自動車画像はノイズやエッジがぼかされ、ナンバープレートの文字部分と下地部分の輪郭が逆にきわだってくる。これとナンバープレートの文字列すなわち陸支コード，車種コード，用途コード，一連番号の大きさと並び方の情報を含んだ画像であるテンプレートとの濃淡マッチング処理を行って、ナンバープレート位置を検出する。これによりノイズに対して安定的にナンバープレート位置を検出できる。
【００１０】
【実施例】
以下、本発明のナンバープレート検出装置の一実施例を図面を参照して説明する。図１はナンバープレート検出装置の構成を示す図である。
【００１１】
自動車に取り付けられたナンバープレートの縁は、ナンバープレートの色と自動車の色の組合せによって必ずしもコントラストは良くない。しかし、文字はナンバープレート上で常にコントラストが良くなるように、白と深緑や黄と黒などと配色されている。このナンバープレート検出装置は、ナンバープレート上の文字による濃淡の変化をマッチング処理するため、画像入力手段１０１と、サーチ画像保持手段１０２と、テンプレート画像保持手段１０３と、平滑化処理手段１０４と、濃淡パターンマッチング処理手段１０７と、以上の構成要素を統合する中央演算装置１０８より構成される。
【００１２】
画像入力手段１０１は、テレビカメラや、ビデオデッキにＡ／Ｄ変換器を備えた構成をしていて、その機能は自動車の動画像あるいは静止画像をディジタル変換してサーチ画像保持手段１０２とテンプレート画像保持手段１０３と平滑化処理手段１０４に供給することにある。
【００１３】
サーチ画像保持手段１０２は認識対象であるナンバープレートを含む画像を保持する読み書き可能なメモリ回路であって、画像入力手段１０１からのディジタル画像で更新されるまでこの画像を保持する。
【００１４】
テンプレート保持手段１０３は図１０（ａ）に示すようなナンバープレート画像をテンプレートとして保持している。しかし、サーチ画像中のナンバープレートの文字は不特定多数であり、図１０（ａ）のような明瞭な画像をテンプレートとしては、異なる文字のナンバープレートとのマッチング度は極度に低くなる。
平滑化処理手段１０４は、サーチ画像内のナンバープレートの番号とテンプレート画像内のナンバープレートの文字の違いによるマッチング度の低下を防ぐ為のものであって、サーチ画像とテンプレート画像の双方のナンバープレートの文字固有の特徴を失わせ、文字の配置情報のみを抽出するものである。平滑化処理は各画素の値を近傍の複数の画素の平均や中央値で置き換える処理である。この処理を１回あるいは複数回行うことで文字固有の細かい特徴を失わせ、文字の大きさと配置の特徴を強調することができる。図３（ａ）はナンバープレートに対して平滑化処理手段１０４による平滑化処理の結果を示す図であって、テンプレート画像保持手段１０３に保持されるテンプレート画像である。テンプレート画像は必ずしも実際のナンバープレート画像を使う必要はなく、例えば図３（ｂ）に示すような１と８を組み合わせたパターンに平滑化処理を施したものでも良く、又一度テンプレートを作成すれば、以降このテンプレートを用いてナンバープレート位置認識を行う。
【００１５】
さて、上述のサーチ画像の文字とテンプレート画像の文字の違いによるマッチング度の低下を防ぐには、サーチ画像にも平滑化などの処理が必要である。そこで、画像入力手段１０１で得られた画像を平滑化処理手段１０４で処理してからサーチ画像１０２に保持する必要がある。ただし、画像入力手段の一実施例として、画像のディジタル化以前に、光学系の焦点をぼかすなどして、サーチ画像を鈍らせれば平滑化処理手段１０４を介さずにサーチ画像保持手段１０２に画像を保持することができ、考え方は変わらない。しかし、ナンバープレート位置認識を行う目的は車番を認識するためのものであるので、焦点がぼけた画像は車番の認識に不適当なのでディジタル化後平滑化処理を施すことが現実的である。
【００１６】
濃淡パターンマッチング処理手段１０７はサーチ画像とテンプレート画像の相関値を演算するものであるが、一実施例として正規化相関演算を用いる。これはサーチ画像とテンプレート画像をそれぞれの平均濃度で規格化した後で相互相関を計算するもので、数式１で計算する。
【００１７】
【数１】

【００１８】
ただし、Ｃ（ｐ，ｑ）は相関値系列を表し、０から１までの値をとる。１のときが完全一致である。ｎはテンプレート画像の画素数で、ｆ（ｘ，ｙ）はサーチ画像で、ｔ（ｘ，ｙ）はテンプレート画像である。ｘ，ｙはサーチ画像とテンプレート画像の重なり部分内の座標で、ｐ，ｑはサーチ画像内でのテンプレート画像の位置座標を表す。数式１では正規化相関値を２乗したものを用いているため、認識対象とナンバープレートの濃淡が反転していても相関値の大きさに影響はない。したがって、白地に緑文字のテンプレートを保持していても、緑地に白文字あるいは黒字に黄文字のナンバープレートを検出するのに何ら不都合はない。
サーチ画像全体の画像からナンバープレート位置を求めることは、サーチ画像全ての領域について平滑化処理後濃淡パターンマッチング処理を施さねばならず、車番認識処理として時間が掛かってしまう。そこで、本実施例では、サーチ画像中ナンバープレートが存在する該全盛の高い領域を予め検出しておき、その領域についてのみ濃淡パターンマッチングを施すことにより解決した。すなわち、サーチ領域抽出手段１０５と、サーチ領域保持手段を付加することによって処理時間の短縮化を図ることができる。図４は自動車の正面の図であるが、一般的に水平方向のエッジが多く垂直方向のエッジは少ない。しかし、ナンバープレート領域内に限り垂直方向のエッジが多い。サーチ領域抽出手段１０５はこの特徴を利用するもので、その機能は画像に対して水平方向に微分することで、水平方向のエッジを抑え、垂直方向のエッジを強調することにある。図４（ｂ）はサーチ領域抽出手段１０５で、図４（ａ）の画像の垂直エッジを強調してから二値化してさらに膨張収縮処理（微小面積（例えば、３画素×３画素）内の白黒の比率によってこの微小面積内を白か黒のいずれかに統一する公知の処理）でエッジをまとめたものである。図４（ｂ）に示すようにナンバープレート付近にエッジの塊ができる。この二値画像をサーチ領域保持手段１０６に保持する。中央演算装置１０８でサーチ領域保持手段１０６を読むことで、画像のエッジ部分だけをサーチ領域とすれば良く、したがって大幅に演算量を減らすことができる。以上説明した様に本実施例では、常にコントラストの良い文字部分に対してマッチング処理を行うことで安定的にナンバープレートを検出することができる。更に、サーチ領域抽出手段１０５とサーチ領域保持手段１０６を付加して、サーチ領域を垂直方向のエッジが密集している領域に限定することで演算量を減らし、処理の高速化を実現できる。また、相関値の計算に数式１を用いれば白地のテンプレートを用意するだけで全ての色のナンバープレートを検出できる。
【００１９】
次に本発明のナンバープレート検出装置の詳細を図２を用いて説明する。ビデオカメラ２０１あるいはビデオデッキ２０２と，入力選択回路２０３と，Ａ／Ｄ変換器２０４と，第１メモリ２０５と，第２メモリ２０６と，平滑化回路２０７と，相関演算回路２０８と，アドレス発生回路２０９と，入出力制御回路２１０と，以上の構成要素を統合的に動作させる中央演算装置２１１と，中央演算装置２１１によって読み書き可能なローカルメモリ２１２と，中央演算装置２１１にコマンドを発行するユーザインタフェース２１３より構成されている。
【００２０】
ビデオカメラ２０１とビデオデッキ２０２は自動車の動画像あるいは静止画像をナンバープレート検出装置に供給する手段であって、入力選択回路２０３によって選択入力する。Ａ／Ｄ変換器２０４はビデオカメラ２０１あるいはビデオデッキ２０２と、入力選択回路２０３を介して得られる自動車の画像をディジタル画像に変換するものである。平滑化回路２０７はディジタル画像に平滑化処理を施すものであって、画像入力に係る回路２０１乃至２０４に起因する高周波成分のノイズを抑える効果がある。また、前述のように、本実施例のナンバープレート検出装置はナンバープレート上の文字の大きさと配置を基にナンバープレートを検出するものであるから、文字固有の細かな特徴は相関度低下を招くノイズも平滑化回路２０７で抑制される。平滑化回路２０７における平滑化処理は、ディジタル画像の各画素値をその近傍の画素値の平均値あるいは中央値で置き換える処理であり、近傍画素を記憶するラインバッファ及び平均値や中央値を計算するための加算器とビットシフト器や大小を比較する比較器を備えればリアルタイムで実行することが可能である。
【００２１】
第１メモリ２０５は認識対象すなわち検出すべきナンバープレートを含む自動車の画像をサーチ画像として保持するものであって、平滑化回路２０７でノイズを抑制した画像を保持する。このサーチ画像はナンバープレートの検出処理が完了し、新たな自動車画像がビデオカメラ２０１あるいはビデオデッキ２０２を介して入力されることで更新される。
【００２２】
第２メモリ２０６は濃淡パターンマッチングのテンプレートを保持するもので、図３（ａ）に示すように実際のナンバープレートに平滑化処理を施したものや、（ｂ）に示すように文字の大きさと配置を持つパターンに平滑化処理を施してもよいし、複数の実際のナンバープレートを重ねて対応する画素の平均を取ったものに平滑化処理を施してもよい。第２メモリへのテンプレートの登録の仕方に関して、ビデオ２０１あるいはビデオデッキ２０２を介して得られた画像を平滑化回路２０７で処理して、ナンバープレートの部分を切りだしてテンプレートとして登録できる。また、あらかじめ作成したテンプレート画像をハードディスクやフロッピーディスクから第２メモリ２０６にロードすることもできる。また、第２メモリをＲＯＭにしてあらかじめ作成したテンプレートを焼き込んでもよい。
【００２３】
相関演算回路２０８は第１メモリ２０５のサーチ画像と第２メモリ２０６のテンプレート画像の相関値を計算するものであって、例えば、前出の数式１に示す正規化相関演算を用いれば、照明変動に強いナンバープレート検出装置が得られる。
【００２４】
アドレス発生回路２０９は、第１メモリ２０５と第２メモリ２０６にアドレスを供給して、マッチング処理時にはサーチ画像上でテンプレート画像を走査し、テンプレート登録時には自動車画像から登録したい部分を人手を介して切り出す。
【００２５】
入出力制御回路２１０は、第１メモリ２０５と第２メモリ２０６と平滑化回路２０７のデータの入出力を制御して、Ａ／Ｄ変換器２０４を介したディジタル画像を平滑化回路２０７に入力し、平滑化回路２０７の出力を第１メモリ２０５や第２メモリ２０６に入力する。マッチング処理に際しては、入出力制御回路２１０の制御で第１メモリ２０５と第２メモリ２０６が同時に相関演算回路２０８にデータを供給する。
【００２６】
中央演算装置２１１は、ユーザインタフェース２１３を介してユーザのコマンドを受付け、入力選択回路２０３とアドレス発生回路２０８と入出力制御回路２１０を制御することで、本発明のナンバープレート検出装置に所望の動作を行わせると共に、相関演算回路２０８からの相関値とアドレス発生回路２０９からのアドレスをサーチ画像内の座標としてローカルメモリ２１２に記憶し、ナンバープレートの存在する座標を決定する。
【００２７】
ユーザインタフェース２１３は、キーボードやモニターやポインティングデバイスなどでユーザのコマンドを中央演算装置２１１に送ったり、中央演算装置２１１のステータスをユーザに返したりする。
【００２８】
以上説明した様に本実施例のナンバープレート検出装置は、常にコントラストの良い文字部分に対してマッチング処理を行うことで安定的にナンバープレートを検出することができる。また、テンプレートをフレキシブルに設定することができる。更に、マッチング演算に数式１を用いているので、１色のテンプレートを保持すればすべての色のナンバープレートを検出できる。
【００２９】
次に上記したサーチ画像をナンバープレートが存在しそうな領域に限定してマッチング処理を行う時間短縮処理の詳細について説明する。図２に示す微分回路２１４と，膨張収縮回路２１５と，二値化回路２１６と，第３メモリ２１７はこの領域限定のための回路である。図４（ａ）に示す自動車の画像を微分回路２１４で水平方向に微分して垂直方向のエッジを強調したものを二値化回路２１６で二値化して、膨張収縮すると図４（ｂ）のようにナンバープレート付近にエッジの塊ができるが、これを第３メモリ２１７に保持する。マッチング処理に際しては中央演算装置２１１が第３メモリ２１７を読んで、エッジのある部分だけをサーチ領域とする。そしてこの領域についてマッチング処理を行う。第３メモリ２１７に書き込む画像は二値画像なので１画素当たり１ビットで、例えば走査方向５１２画素で垂直方向が２５６画素の画像でも１６キロバイトであり、それほど大きな容量ではない。そこでこの画像をローカルメモリ２１２上に保持すれば中央演算装置２１１によるアクセスはより速くなり、しかも第３メモリ２１７を削除できる。尚、膨張収縮回路２１５での処理は、各画素の周囲に領域を設定し、該領域内の１の数を計数してしきい値を越えるか否かで、該画素値を決定する処理である。
【００３０】
以上説明したように本実施例はコントラストの良い文字部分に対してマッチング処理を行うことで安定的にナンバープレートを検出することができる。また、サーチ領域を限定することで処理を高速化できる効果がある。
【００３１】
次に、濃淡パターンマッチング処理を施すための基準パターンであるテンプレートの生成について説明する。テンプレートとして保持する画像は実際のナンバープレート画像あるいは図１１（ａ）（ｂ）などの合成パターン画像を水平方向に微分して、垂直方向エッジを二値化して、図５に示す様に変換したものに平滑化処理を加えて作成する。図５は実際のナンバープレートに水平方向微分処理と二値化処理を加えた図であるが、これは文字の大きさと配置情報のみを残しているので、ナンバープレートの番号に応じて相関値が変動すること無く安定的にナンバープレートを検出できる。
【００３２】
ところで、ナンバープレートは前記したように２種類のサイズがある。いずれのサイズでも認識できるようにするために実施例を説明する。このために本実施例では、第２メモリ２０６内の異なる場所に普通サイズテンプレートと大型サイズテンプレートを持つようにした。
【００３３】
普通サイズテンプレートは普通サイズナンバープレートに対して高い相関値を示すテンプレートであって、図１０（ａ）あるいは図１１（ａ）の普通サイズナンバープレートに平滑化処理を施したものである。大型サイズテンプレートは大型ナンバープレートに対して高い相関値を示すテンプレートであって、図１０（ｂ）あるいは図１１（ｂ）の大型ナンバープレートに平滑化処理を施したものである。
【００３４】
図６に基づいて本実施例のナンバープレートの検出の流れを説明する。前記した手順にしたがってサーチ画像が第１メモリ２０５に保持されているとする。ここで、ステップ１０からナンバープレート検出を始める。
【００３５】
まず、普通サイズテンプレートでマッチング処理する。相関値の最大値をＡ１としてローカルメモリ２１２に記憶する。この時のサーチ画像上のテンプレート画像の座標をＢ１としてローカルメモリ２１２に記憶する（ステップ１０）。
【００３６】
Ａ１がしきい値を越えるか否かを判定し、越える場合はステップ２１へ、越えない場合はステップ３０へ進む（ステップ２０）。しきい値としては相関演算に数式１を用いる場合は０．２５から０．３が妥当である。
【００３７】
座標Ｂ１をナンバープレートの検出位置と決定して検出処理を終了する（ステップ２１）。
【００３８】
大型サイズテンプレートでマッチング処理する。相関値の最大値をＡ２としてローカルメモリ２１２に記憶する。この時のサーチ画像上のテンプレート画像の座標をＢ２としてローカルメモリ２１２に記憶する（ステップ３０）。
【００３９】
Ａ２がしきい値を越えるか否かを判定し、越える場合はステップ４１へ、越えない場合はステップ５０へ進む（ステップ４０）。
【００４０】
座標Ｂ２をナンバープレートの検出位置と決定して検出処理を終了する（ステップ４１）。
【００４１】
Ａ１とＡ２を比較し、大きい方の座標Ｂ１あるいはＢ２を選んで、ナンバープレートの検出位置と決定して検出処理を終了する（ステップ５０）。
【００４２】
以上説明した様に、自動車画像におけるナンバープレートの大きさはナンバープレートの取付け位置の違いによって変動するが、大小２つのテンプレートを持つことでこの変動による相関値の低下を防ぐ効果がある。
【００４３】
次に、陸支コードと車種コードの位置検出について説明する。第２メモリ２０６内の異なる場所に、陸支コードと車種コードの並びの部分に高い相関値を示すテンプレート（以後、陸支車種部分テンプレートと呼ぶ）と、普通サイズナンバープレートの用途コードと一連番号の並びの部分に高い相関値を示すテンプレート（以後、普通一連番号部分テンプレートと呼ぶ）と、大型ナンバープレートの用途コードと一連番号の並びの部分に高い相関値を示すテンプレート（以後、大型一連番号部分テンプレートと呼ぶ）を持ち、この３つで順次マッチング処理を行う。陸支車種部分テンプレートと、普通一連番号部分テンプレートと、大型一連番号テンプレートはそれぞれ図７（ａ）と（ｂ）と（ｃ）に示すように合成パターンに平滑化処理を施したものでも良いし、実際のナンバープレートに平滑化処理を施したものからそれぞれ陸支車種コードと普通サイズの一連番号と大型サイズの一連番号の部分を切りだしてもよい。次に図８と図９に基づいて本実施例のナンバープレートの検出の流れを説明する。
【００４４】
まず、第２実施例の説明のところで説明した手順にしたがってサーチ画像が第１メモリ２０５に保持されているとする。ここで、ステップ１０からナンバープレート検出を始める。
【００４５】
陸支車種部分テンプレートでマッチング処理する。相関値の最大値をＡ１としてローカルメモリ２１２に記憶する。この時のサーチ画像上のテンプレート画像の座標をＢ１としてローカルメモリ２１２に記憶する（ステップ１０）。
【００４６】
Ａ１がしきい値を越えるか否かを判定し、越える場合はステップ２１へ、越えない場合はステップ３０へ進む。しきい値としては相関演算に数式１を用いる場合は０．２５から０．３が妥当である（ステップ２０）。
【００４７】
座標Ｂ１をナンバープレートの検出位置と決定して検出処理を終了する（ステップ２１）。
【００４８】
普通一連番号部分テンプレートでマッチング処理する。相関値の最大値をＡ２としてローカルメモリ２１２に記憶する。この時のサーチ画像上のテンプレート画像の座標をＢ２としてローカルメモリ２１２に記憶する（ステップ３０）。
【００４９】
Ａ２がしきい値を越えるか否かを判定し、越える場合はステップ４１へ、越えない場合はステップ５０へ進む（ステップ４０）。
【００５０】
座標Ｂ２をナンバープレートの検出位置と決定して検出処理を終了する（ステップ４１）。
【００５１】
大型一連番号部分テンプレートでマッチング処理する。相関値の最大値をＡ３としてローカルメモリ２１２に記憶する。この時のサーチ画像上のテンプレート画像の座標をＢ３としてローカルメモリ２１２に記憶する（ステップ５０）。
【００５２】
Ａ３がしきい値を越えるか否かを判定し、越える場合はステップ６１へ、越えない場合はステップ７０へ進む（ステップ６０）。
【００５３】
座標Ｂ３をナンバープレートの検出位置と決定して検出処理を終了する（ステップ６１）。
【００５４】
Ａ１乃至Ａ３を比較し、最も大きい値に対応する座標Ｂ１乃至Ｂ３を選んで、ナンバープレートの検出位置と決定して検出処理を終了する（ステップ７０）。
以上説明した様に、自動車画像におけるナンバープレートの大きさはナンバープレートの取付け位置の違いによって変動するが、普通一連部分テンプレートと大型一連部分テンプレートの２種を持つことでこの変動による相関度の低下を防いでいる。また、自動車画像を自動車正面から撮影した場合、ナンバープレートの縦方向の大きさは、その取付け角度によって大きく変わるが、陸支車種部分と普通一連番号部分もしくは大型一連番号部分テンプレートというように、ナンバープレートの上方と下方のテンプレートを分けて持つことで、縦方向の大きさの変化に強くなるという効果がある。
【００５５】
【発明の効果】
本発明のナンバープレート検出装置は常にコントラストの良い文字部分に対してマッチング処理を行うことで安定的にナンバープレートを検出することができる。更に、本発明のナンバープレート検出装置はナンバープレートの文字の配置の仕方と大きさを基に検出しているので、ナンバープレートと同程度の大きさでも文字の配置の異なるプレート例えば仮免の“練習中”やバス正面の広告に誤マッチングすることを抑制する効果がある。また、サーチ領域を垂直方向のエッジが密集している領域に限定することで、処理の高速化が実現できる。また、相関値の計算に数式１を用いれば白地のテンプレートを用意するだけで全ての色のナンバープレートを検出できる。更に、複数のテンプレートを保持することで、認識対象の大きさが変動しても安定的にナンバープレートを検出できるという効果がある。
【図面の簡単な説明】
【図１】本発明のナンバープレート検出装置の一実施例を説明する図。
【図２】本発明のナンバープレート検出装置の詳細説明図。
【図３】本発明のナンバープレート検出装置のテンプレートの図。
【図４】自動車前面の画像及びこれの水平方向を微分し膨張収縮処理を施した図。
【図５】ナンバープレート画像を膨張収縮回路で処理した結果を示す図。
【図６】ナンバープレートの検出の流れを説明する図。
【図７】テンプレートを示す図。
【図８】ナンバープレートの検出の流れを説明する図。
【図９】ナンバープレートの検出の流れを説明する図。
【図１０】普通サイズナンバープレートと大型サイズナンバープレートの図。
【図１１】普通サイズナンバープレート検出用合成パターンと、大型サイズナンバープレート検出用合成パターンの図。
【符号の説明】
１０１…画像入力手段、１０２…サーチ画像保持手段、１０３…テンプレート画像保持手段、１０４…平滑化処理手段、１０５…サーチ領域抽出手段、１０６…サーチ領域保持手段、１０７…濃淡パターンマッチング処理手段、１０８…中央演算装置。

Claims

自動車の画像を取り込んでディジタル画像に変換する画像入力手段と、
この画像入力手段で得たディジタル画像を平滑化した認識対象画像を保持するサーチ画像保持手段と、
ナンバープレートの文字の大きさと配置の情報をモデルとしたテンプレート画像を予め作成し記憶するテンプレート画像保持手段と、
前記認識対象画像に対しテンプレート画像との相関値を求める濃淡パターンマッチング処理手段と、
該濃淡パターンマッチング処理手段によって求めた相関値によりナンバープレートの位置を判断するプレート位置判定手段とを備えたナンバープレート検出装置において、
前記テンプレート画像保持手段は、普通サイズのナンバープレートに高い相関を示す普通サイズテンプレート画像と、大型サイズのナンバープレートに高い相関を示す大型サイズテンプレート画像の２種類のテンプレート画像を保持し、
前記プレート位置判定手段では、
前記濃淡パターンマッチング処理手段により一方のテンプレート画像を用いて濃淡パターンマッチング処理を行い、該処理により求まった相関値の最大値を第１の相関値とし、該相関値を与える座標位置を第１のプレート位置として記憶し、この第１の相関値が所定値よりも大きい場合には、第１のプレート位置をナンバープレート検出位置とし、
第１の相関値が所定値以下の場合は、前記濃淡パターンマッチング処理手段により他方のテンプレート画像を用いて濃淡パターンマッチング処理を行い、該処理により求まった相関値の最大値を第２の相関値とし、該相関値を与える座標位置を第２のプレート位置として記憶し、この第２の相関値が所定値よりも大きい場合には、第２のプレート位置をナンバープレート検出位置とし、
この第２の相関値が所定値以下のときは、前記第１の相関値及び第２の相関値の大きい方に対応するプレート位置をナンバープレート位置とする
ことを特徴とするナンバープレート検出装置。
請求項１に記載のナンバープレート検出装置において、
前記普通サイズテンプレート画像として、実際の普通サイズのナンバープレートを平滑化した画像あるいは、複数の実際の普通サイズのナンバープレートの画像の平均画像あるいは、普通サイズのナンバープレートの文字の大きさと配置が等しいモデルパターンの画像を用い、前記大型サイズテンプレート画像として、実際の大型サイズのナンバープレートを平滑化した画像あるいは、複数の実際の大型サイズのナンバープレートの画像の平均画像あるいは、大型サイズのナンバープレートの文字の大きさと配置が等しいモデルパターンの画像を用いたことを特徴とするナンバープレート検出装置。
自動車の画像を取り込んでディジタル画像に変換する画像入力手段と、
この画像入力手段で得たディジタル画像を平滑化した認識対象画像を保持するサーチ画像保持手段と、
ナンバープレートの文字の大きさと配置の情報をモデルとしたテンプレート画像をあらかじめ作成し記憶するテンプレート画像保持手段と、
前記認識対象画像に対しテンプレート画像との相関値を求める濃淡パターンマッチング処理手段と、
該濃淡パターンマッチング処理手段によって求めた相関値によりナンバープレートの位置を判断するプレート位置判定手段とを備えたナンバープレート検出装置において、
前記テンプレート画像保持手段には、陸運支局コードと車種コードの並びに高い相関値を示す陸支車種部分テンプレート画像と、普通サイズのナンバープレートの用途コードと一連番号の並びに高い相関値を示す普通一連番号部分テンプレート画像と、大型サイズのナンバープレートの用途コードと一連番号の並びに高い相関値を示す大型一連番号部分テンプレート画像とを保持し、
前記プレート位置判定手段では、
前記濃淡パターンマッチング処理手段により前記３つのテンプレート画像の１つを用いて前記濃淡パターンマッチング処理を行い、該処理により求まった相関値の最大値を第１相関値とし、この第１相関値が予め設定してあるしきい値よりも大きい場合にはこの第１相関値を与える座標をナンバープレートの検出位置と決定し、
前記第１相関値が前記しきい値以下のときは、前記濃淡パターンマッチング処理手段により前記３つのテンプレートの内残り２つの内の一方のテンプレート画像を用いて濃淡パターンマッチングを行い、該処理により求まった相関値の最大値を第２相関値とし、この第２相関値が予め設定してあるしきい値よりも大きい場合にはこの第２相関値を与える座標をナンバープレートの検出位置と決定し、
この第２相関値が前記しきい値以下のときは、前記濃淡パターンマッチング処理手段により前記３つのテンプレートの残り１つのテンプレート画像を用いて濃淡パターンマッチングを行い、該処理により求まった相関値の最大値を第３相関値とし、この第３相関値が予め設定してあるしきい値よりも大きい場合にはこの第３相関値を与える座標をナンバープレートの検出位置と決定し、
この第３相関値が該しきい値以下のときは、前記第１相関値、第２相関値、第３相関値の内、最大値を与える相関値に対応した座標位置をナンバープレートの検出位置と決定するよう構成した
ことを特徴とするナンバープレート検出装置。
請求項３に記載のナンバープレート検出装置において、
前記陸支車種部分テンプレート画像として、陸運支局コードと車種コードの文字の大きさと配置の等しいモデルパターンの画像に平滑化処理を施した画像を用い、普通一連番号部分テンプレート画像として、普通サイズナンバープレートの用途コードと一連番号の文字の大きさと配置の等しいモデルパターンの画像に平滑化処理を施した画像を用い、大型一連番号部分テンプレート画像として、大型ナンバープレートの用途コードと一連番号の文字の大きさと配置の等しいモデルパターンの画像に平滑化処理を施した画像を用いたことを特徴とするナンバープレート検出装置。