JPH10302074A - ナンバープレートの位置検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 プレート輪郭線や文字領域が判り難い画像で
あっても、高精度でナンバープレートの位置を検出する
ことができるナンバープレートの位置検出装置の提供。 【解決手段】 ＣＣＤカメラ１は、自動車４との距離が
所定範囲内になった時に撮影し、Ａ／Ｄ変換器２が画像
信号１１をデジタル画像に変換し、プレート位置検出手
段は、原画像から小領域を切り出し（切り出し処理）、
小領域に存在するパターンの輪郭部分を強調し（エッジ
強調処理）、エッジ強調処理済み画像のサイズを圧縮し
（圧縮処理）、圧縮された圧縮パターンを学習済みのニ
ューラルネットワークへ入力し出力値を計算し（出力値
計算処理）、この出力値を原画像スケールに座標変換
（座標変換処理）し、座標変換後のデータに対して各ポ
イント毎にガウス窓を掛けて加算し（加算処理）、異な
る複数の小領域について同様の処理を実施し、投影加算
値が最大となる小領域をナンバープレート位置と判定す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車のナンバー
プレートの位置を検出するための位置検出装置に関す
る。

【０００２】

【従来の技術】例えば、駐車場や有料道路の料金ゲート
等で、ナンバープレートの番号を読み取り、文字情報を
認識することにより自動車の入退場を管理する車両自動
管理装置において、ナンバープレートの文字情報を自動
認識するには、ナンバープレートの位置検出→文字の切
り出し→文字認識等の処理が必要である。これらの内、
ナンバープレートの位置検出は、その後の処理精度に大
きく影響を与えるため、高精度で行う必要がある。

【０００３】その為、車両前面画像からナンバープレー
ト位置を検出する方法として、以下の方法が知られてい
る。ハフ変換を行い、ナンバープレート輪郭の直線性
（垂直、水平）を利用する方法。水平エッジや垂直エッ
ジを追跡する方法（例えば、特開平６- ２８５９６号公
報）。二値化、ラベリング処理等を施して、ナンバープ
レート大文字４桁以下の一連番号を検出し、ナンバープ
レート領域を検出する方法（例えば、特開昭６０- １９
３０８４号公報、特開平４- １０１２８６号公報）。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
技術では、プレート輪郭線や文字領域が判り難い画像
（以下に示す状態で起こる）が採取された場合には、ナ
ンバープレート位置が検出できない場合がある。ナンバ
ープレートの色と背景の色（車体やバンパー等）とが同
系色の場合。撮影条件が悪い場合。

【０００５】本発明の目的は、プレート輪郭線や文字領
域が判り難い画像であっても、高精度でナンバープレー
トの位置を検出することができるナンバープレートの位
置検出装置の提供にある。

【０００６】

【課題を解決するための手段】上記課題を解決する為、
本発明は以下の構成を採用した。 （１）自動車の前又は後を撮影して画像信号を出力する
カメラと、前記画像信号をデジタル画像に変換するＡ／
Ｄ変換器と、前記デジタル画像に基づいてナンバープレ
ートの位置を検出するプレート位置検出手段とを有する
ナンバープレートの位置検出装置において、前記プレー
ト位置検出手段は、前記カメラと前記自動車との距離が
所定範囲内になった時の原画像から、前記原画像を走査
しながら小領域を切り出す切り出し処理と、切り出され
た小領域に存在するパターンの輪郭部分を強調するエッ
ジ強調処理と、エッジ強調処理済み画像のサイズを圧縮
する圧縮処理と、圧縮された圧縮パターンを、学習済み
のニューラルネットワークへ入力し、位置検出用ニュー
ラルネットワークの出力値を計算する出力値計算処理
と、この出力値を原画像スケールに座標変換する座標変
換処理と、座標変換後のデータに対して、各ポイント毎
にガウス窓を掛けて加算し、投影加算値を得る加算処理
とを実施し、前記投影加算値が最大となる位置をもとに
ナンバープレート位置を判定する判定処理を実施する。

【０００７】（２）接近して来る自動車との距離が所定
範囲内になった時に、自動車の後部を撮影して画像信号
を出力するカメラと、前記画像信号を第１所定サイズの
原画像に変換するＡ／Ｄ変換器と、前記原画像に基づい
てナンバープレートの位置を検出するプレート位置検出
手段とを有するナンバープレートの位置検出装置におい
て、前記プレート位置検出手段は、前記原画像から前記
原画像を走査しながら第２所定サイズの小領域を切り出
す切り出し処理と、切り出された小領域に存在するパタ
ーンの輪郭部分を強調するエッジ強調処理と、エッジ強
調画像を第３所定サイズに圧縮する圧縮処理と、圧縮さ
れた圧縮パターンを、学習済みのニューラルネットワー
クへ入力し、第４所定サイズの、位置検出用ニューラル
ネットワークの出力値を計算する出力値計算処理と、前
記ニューラルネットワークの出力値を、第１所定サイズ
と同一サイズの位置判定用パターンに投影し、第４所定
サイズの出力値を第２所定サイズに変換する座標変換処
理と、座標変換後のデータに対して、各ポイント毎にガ
ウス窓を掛け、ナンバープレート位置判定用パターンに
加算して投影加算値を得る加算処理とを実施し、前記投
影加算値が最大となる位置をもとにナンバープレート位
置を判定する判定処理を実施する。

【０００８】（３）ナンバープレートの位置検出装置
は、上記(1) 又は(2) の構成を有し、ニューラルネット
ワークの学習は、複数の、学習用のデータと教師用のデ
ータとを使用するバックプロパゲーション学習法を用
い、ユニットの閾値関数にシグモイド関数を用いる。

【０００９】

【作用及び発明の効果】

〔請求項１について〕カメラは、近づいて来る自動車の
前、又は遠ざかる自動車の後を撮影して画像信号を出力
する。Ａ／Ｄ変換器は、画像信号をデジタル画像に変換
する。プレート位置検出手段は以下に示す各処理を行
う。カメラと自動車との距離が所定範囲内になった時の
原画像から、原画像を走査しながら小領域を切り出す
｛切り出し処理｝。

【００１０】ナンバープレートには幾つかの種類（白色
地に黒文字、緑色地に白文字、黄色地に黒文字等）があ
るが、これらの異なる種類のナンバープレートから、共
通の情報である文字やプレートの輪郭を抽出する為にエ
ッジ強調処理を行う。尚、時間帯や季節等により撮影環
境が変動し、原画像のコントラストがバラつくが、エッ
ジ強調処理は一般的に微分処理であるので、画像の直流
成分の影響を受け難い。

【００１１】微細情報の除去とニューラルネットワーク
の入力サイズに合わせる為、エッジ強調処理済み画像の
サイズを圧縮する。圧縮された圧縮パターンを、学習済
みのニューラルネットワークへ入力し、位置検出用ニュ
ーラルネットワークの出力値を計算する｛出力値計算処
理｝。

【００１２】この出力値を原画像スケールに座標変換す
る｛座標変換処理｝。座標変換後のデータに対して、各
ポイント毎にガウス窓を掛けて（ナンバープレートの検
出精度を向上させる為）加算し、投影加算値を得る｛加
算処理｝。投影加算値が最大となる位置をもとにナンバ
ープレート位置を判定する｛判定処理｝。

【００１３】プレート輪郭線や文字領域が判り難い原画
像が撮影されても（時間帯や天候等による）、ナンバー
プレートの位置検出装置は、高精度でナンバープレート
の位置を検出することができる。

【００１４】〔請求項２について〕カメラは、接近して
来る自動車との距離が所定範囲内になった時に自動車の
後部を撮影し、画像信号を出力する。Ａ／Ｄ変換器は、
その画像信号を第１所定サイズ（例えば、５１２ピクセ
ル×４８０ピクセル）の原画像に変換する。

【００１５】プレート位置検出手段は以下に示す各処理
を行う。原画像から第２所定サイズ（例えば、１９２ピ
クセル×９６ピクセル）の小領域を、原画像を走査しな
がら切り出す｛切り出し処理｝。

【００１６】ナンバープレートには幾つかの種類（白色
地に黒文字、緑色地に白文字、黄色地に黒文字等）があ
るが、これらの異なる種類のナンバープレートから、共
通の情報である文字やプレートの輪郭を抽出する為に、
切り出された小領域に存在するパターンの輪郭部分を強
調するエッジ強調処理（例えばｓｏｂｅｌ変換）を行
う。尚、時間帯や季節等により撮影環境が変動し、原画
像のコントラストがバラつくが、エッジ強調処理は一般
的に微分処理であるので、画像の直流成分の影響を受け
難い。

【００１７】微細情報の除去とニューラルネットワーク
の入力サイズに合わせる為、エッジ強調処理済み画像の
サイズを第３所定サイズ（例えば、３２ピクセル×１６
ピクセル）に圧縮する｛圧縮処理｝。

【００１８】圧縮された圧縮パターンを、学習済みのニ
ューラルネットワークへ入力し、第４所定サイズ（例え
ば１６×８）の、位置検出用ニューラルネットワークの
出力値を計算する｛出力値計算処理｝。

【００１９】ニューラルネットワークの出力値を、第１
所定サイズと同一サイズの位置判定用パターンに投影す
る為、第４所定サイズの出力値を第２所定サイズ（例え
ば、１９２ピクセル×９６ピクセル）に変換する｛座標
変換処理｝。

【００２０】座標変換後のデータに対して、各ポイント
毎にガウス窓を掛け、ナンバープレート位置判定用パタ
ーンに加算して投影加算値を得る｛加算処理｝。投影加
算値が最大となる位置をもとにナンバープレート位置を
判定する｛判定処理｝。

【００２１】プレート輪郭線や文字領域が判り難い原画
像が撮影されても（時間帯や天候等による）、ナンバー
プレートの位置検出装置は、高精度でナンバープレート
の位置を検出することができる。

【００２２】〔請求項３について〕ニューラルネットワ
ークの学習は、複数の、学習用のデータと教師用のデー
タとを使用するバックプロパゲーション学習法を用い、
ユニットの閾値関数にシグモイド関数を用いている。

【００２３】この為、学習進度が速く、ナンバープレー
トの位置検出装置は、僅かな学習量でナンバープレート
の位置検出を正確に検出できる。

【００２４】

【発明の実施の形態】本発明の一実施例（請求項１〜３
に対応）を図１〜図８に基づいて説明する。図１に示す
様に、ナンバープレートの位置検出装置Ａは、駐車場や
有料道路の料金ゲートの近傍に設置されるＣＣＤカメラ
１と、画像信号１１をデジタルデータに変換するＡ／Ｄ
変換器２と、ナンバープレート４１の位置を検出するプ
レート位置検出部３とを備え、ナンバープレート読み取
り装置（図示せず）内に組み込まれる。

【００２５】ＣＣＤカメラ１は、自動車が接近する方向
を向く様に配置され、自動車４が設定距離に到達（セン
サ５により検知）した際の、ナンバープレート４１を含
む自動車前部を撮影した画像信号１１をＡ／Ｄ変換器２
に出力する。Ａ／Ｄ変換器２は、ＣＣＤカメラ１が出力
する画像信号１１をデジタル画像（原画像３１のサイズ
は５１２ピクセル×４８０ピクセル）に変換する。

【００２６】プレート位置検出部３は、通常時（プレー
ト位置検出時）において、以下に示す、切り出し処理、
エッジ強調処理、圧縮処理、出力値計算処理、座標変換
処理、加算処理、及び判定処理を行って（図２のフロー
チャートに示す）プレート位置を検出する。

【００２７】〔切り出し処理〕自動車が設定距離に到達
した際の採取画像｛ナンバープレート４１部分が含まれ
ているデジタル画像（原画像３１）｝から、第２所定サ
イズの小領域を、原画像３１を走査しながら切り出す
（例えば、画像左上から右下にかけて順に小領域を切り
出す）｛図２の“小領域切り出し｝。シフト幅は、例え
ば３２ピクセルの様な切り出し小領域が重なる（重複し
ている）サイズで行う。これにより、隣接する小領域の
境目を隣接する小領域同士が共有されるので認識精度が
高まる。又、重複しないサイズで行っても良い。

【００２８】〔エッジ強調処理〕ナンバープレート４１
には幾つかの種類（白色地に黒文字、緑色地に白文字、
黄色地に黒文字等）があるが、これらの異なる種類のナ
ンバープレート４１から共通の情報である文字やプレー
トの輪郭を抽出する為にエッジ強調処理を行う。

【００２９】切り出された小領域３２に、輪郭部分を抽
出する３×３サイズのｓｏｂｅｌ変換を施し、切り出し
画像のエッジを強調する｛図２の“エッジ強調”、エッ
ジ強調画像３３｝。天候や時間帯等により原画像３１の
コントラストが異なるが、エッジ強調処理は微分処理で
あるので画像の直流成分の影響を受け難く有効な処理で
ある。

【００３０】〔圧縮処理〕ニューラルネットワークの入
力層サイズに合わせる為に、１９２ピクセル×９６ピク
セル（エッジ強調画像３３）を、３２ピクセル×１６ピ
クセル（圧縮パターン３４）に圧縮する｛図２の“サイ
ズ縮小”｝。又、この処理により、微細情報が除去され
る。

【００３１】圧縮パターン３４の１ピクセル値は、圧縮
前パターン６×６の値の例えば平均値とする。又、圧縮
前パターンに重み付けして圧縮しても良い。尚、原画像
サイズ等が変わった場合等には圧縮サイズを変える必要
がある。

【００３２】〔出力値計算処理〕つぎに、後述する学習
作業が完了したニューラルネットワークへ圧縮パターン
３４を入力し、ニューラルネットワークの出力値を計算
する出力値計算処理を行う｛図２の“ニューラルネット
ワークの出力値計算”｝。

【００３３】（ニューラルネットワークの説明）ニュー
ラルネットワークモデルは、図６に示す様な三層の階層
型のニューラルネットである。ユニットの閾値関数に
は、シグモイド関数ｆ（χ）＝１．０／｛１．０＋ｅｘ
ｐ（−ｘ／ｕ₀ ）｝を用いる。尚、シグモイド関数の傾
きｕ₀ は１．０とするよりは、例えば２．０といった神
経の応答を鈍くする値とした方が良い。

【００３４】〔座標変換処理〕つぎに、ニューラルネッ
トワークの出力値を原画像（＝採取画像）と縦横同サイ
ズのナンバープレート位置判定用パターンに投影し、座
標変換｛１６×８の出力層３５サイズを、１９２×９６
に対応する座標へ展開（投影拡大）｝する座標変換処理
を行う｛図２の“原画像のスケールに出力値を座標変
換｝。尚、拡大投影するのではなく、等倍に投影して行
っても良い。

【００３５】〔加算処理〕座標変換後のデータ３６に対
して各ポイント毎に、図８に示す重み付け用のガウス窓
（ナンバープレート位置検出精度を向上させる為）を掛
け、ナンバープレート位置判定用パターンに加算して行
き、投影加算値を得る｛図２の“座標変換データにガウ
ス型の窓を掛け加算”｝。尚、ガウス窓無しの構成でも
良い。ニューラルネットワークの出力値を投影拡大した
ものをそのまま加算すると、ナンバープレート４１以外
の位置（ヘッドライド等の位置）を誤検知する可能性が
ある。図３にガウス窓無し、ガウス窓有りの投影加算値
の分布を示し、図４にガウス窓の効果を示す比較画像を
示す。

【００３６】〔判定処理〕例えば、走査終了後の判定方
向として、走査終了後（画像全体の走査終了後）、ナン
バープレート位置判定用パターンの最大値を探索し、例
えば、ニューラルネットワークがナンバープレート４１
の重心位置を学習していれば、検出位置をナンバープレ
ート４１の重心位置と判定する｛図２の“加算値の最大
順位置を検出位置と判定する”｝。

【００３７】自動車が設定距離に到達した際に、ＣＣＤ
カメラ１が自動車前部を撮影しているので、採取画像
（原画像３１）上のナンバープレート４１のサイズは常
に略同一（一定範囲内）である。ナンバープレート位置
が判明すれば、必要とする画像のみを切り出すことがで
きる。

【００３８】つぎに、ニューラルネットワークの学習に
ついて説明する。学習用のデータ及び教師用のデータを
用い、予め、ニューラルネットワークの学習を行う。ニ
ューラルネットワークモデルは図６に示す様な三層の階
層型であり、学習には教師付き学習方法であるバックプ
ロパゲーション学習法（フローチャートを図７に示す）
を用いる。又、ユニットの閾値関数にはシグモイト関数
を用いる。

【００３９】学習用のデータとして２０種類（２０台）
程度の画像データを用いる。画像データから乱数により
切り出しポイントを決めた小領域を切り出し、通常時
（プレート位置検出時）と同様に、エッジ強調と圧縮を
実施したパターンを学習用入力パターンとする。尚、切
り出しから圧縮までの手法及び画像サイズは、通常時
（プレート位置検出時）と同様である。

【００４０】又、教師用のデータのパターンとして、図
５に示す、興奮パターン、抑制パターン(1) 、(2) を用
意する。興奮パターンは、入力信号（画像信号）の内、
ｎ％｛例えば、（学習用データ内のプレート領域面積）
／（プレート全体の面積）＝６０％｝以上にナンバープ
レート画像がある場合であり、ナンバープレート４１を
代表する位置に対応した教師信号のユニットを“１”と
し、他のユニットを“０”とする。

【００４１】抑制パターン(1) は、切り出し位置がず
れ、ナンバープレート画像が、入力信号（画像信号）中
に少ない｛例えば、（学習用データ内のプレート領域面
積）／（プレート全体の面積）＝０％〜５９％｝場合で
あり、全ユニットを“０”とする。

【００４２】抑制パターン(2) は、入力信号（画像信
号）中にヘッドライト画像を取り込んでいる場合であ
り、全ユニットを“０”とする。尚、ヘッドライト等を
ナンバープレート４１と誤認するといった検出誤りを防
止する為、教師用のデータとして、興奮パターンと抑制
パターン(1) 、(2) とを混在させている。

【００４３】学習終了条件は、例えば、ニューラルネ
ットワークモデルの出力値と、教師データから求められ
る二乗誤差のような学習進度を評価できるパラメータ
（学習誤差）とがある一定のレベルに達するまで繰り返
し行う。尚、学習の進行に伴って学習誤差は小さくな
り、振動しながら収束に向かう。

【００４４】他の学習終了条件として、学習回数が所
定回数に到達した段階で終了する方法や、学習に使用
していないデータを入力して、プレート位置が正しく検
知できる様になった段階で終了する方法を採用しても良
い。

【００４５】つぎに、本実施例の利点を述べる。 〔ア〕ナンバープレートの位置検出装置Ａは、以下に示
す様に高精度でナンバープレート４１の位置を検出する
ことができる。これによリ、ナンバープレート４１の画
像部分を、後段のナンバー読み取り手段（図示せず）に
送ることができ、ナンバー読み取り装置の読み取り精度
を向上させることができる。

【００４６】複数の異なるパターン（白色地に黒文字、
緑色地に白文字、黄色地に黒文字等）を持つナンバープ
レート４１の位置を正確に読み取ることができる。夜明
けや夕暮れ時、又は天候が悪く薄暗い等の悪条件であっ
ても、ナンバープレート４１の位置を正確に読み取るこ
とができる。ヘッドライト等の画像が切り出されても、
誤検知しない。

【００４７】〔イ〕ニューラルネットワークの学習進度
が速く、ナンバープレートの位置検出装置Ａは僅かな学
習量でナンバープレート４１の位置検出を正確に検出で
きる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るナンバープレートの位
置検出装置のブロック図である。

【図２】プレート位置検出部の作動を示すフローチャー
トである。

【図３】ガウス窓無しの投影加算値の分布図（上）、及
びガウス窓有りの投影加算値の分布図（下）である。

【図４】ガウス窓の効果を示す説明図である。

【図５】教師用のデータのパターンを示す説明図であ
る。

【図６】ニューラルネットワークモデルの説明図であ
る。

【図７】プロパゲーション学習法のフローチャートであ
る。

【図８】ガウス窓の説明図である。

【符号の説明】

Ａ ナンバープレートの位置検出装置 １ ＣＣＤカメラ（カメラ） ２ Ａ／Ｄ変換器 ３ プレート位置検出部（プレート位置検出手段） ４ 自動車 １１ 画像信号 ３１ 原画像 ３２ 小領域 ４１ ナンバープレート

Claims (3)

【特許請求の範囲】
1. 【請求項１】 自動車の前又は後を撮影して画像信号を
   出力するカメラと、 前記画像信号をデジタル画像に変換するＡ／Ｄ変換器
   と、 前記デジタル画像に基づいてナンバープレートの位置を
   検出するプレート位置検出手段とを有するナンバープレ
   ートの位置検出装置において、 前記プレート位置検出手段は、 前記カメラと前記自動車との距離が所定範囲内になった
   時の原画像から、前記原画像を走査しながら小領域を切
   り出す切り出し処理と、 切り出された小領域に存在するパターンの輪郭部分を強
   調するエッジ強調処理と、 エッジ強調処理済み画像のサイズを圧縮する圧縮処理
   と、 圧縮された圧縮パターンを、学習済みのニューラルネッ
   トワークへ入力し、位置検出用ニューラルネットワーク
   の出力値を計算する出力値計算処理と、 この出力値を原画像スケールに座標変換する座標変換処
   理と、 座標変換後のデータに対して、各ポイント毎にガウス窓
   を掛けて加算し、投影加算値を得る加算処理とを実施
   し、 前記投影加算値が最大となる位置をもとにナンバープレ
   ート位置を判定する判定処理を実施することを特徴とす
   るナンバープレートの位置検出装置。
2. 【請求項２】 接近して来る自動車との距離が所定範囲
   内になった時に、自動車の後部を撮影して画像信号を出
   力するカメラと、 前記画像信号を第１所定サイズの原画像に変換するＡ／
   Ｄ変換器と、 前記原画像に基づいてナンバープレートの位置を検出す
   るプレート位置検出手段とを有するナンバープレートの
   位置検出装置において、 前記プレート位置検出手段は、 前記原画像から前記原画像を走査しながら第２所定サイ
   ズの小領域を切り出す切り出し処理と、 切り出された小領域に存在するパターンの輪郭部分を強
   調するエッジ強調処理と、 エッジ強調画像を第３所定サイズに圧縮する圧縮処理
   と、 圧縮された圧縮パターンを、学習済みのニューラルネッ
   トワークへ入力し、第４所定サイズの、位置検出用ニュ
   ーラルネットワークの出力値を計算する出力値計算処理
   と、 前記ニューラルネットワークの出力値を、第１所定サイ
   ズと同一サイズの位置判定用パターンに投影し、第４所
   定サイズの出力値を第２所定サイズに変換する座標変換
   処理と、 座標変換後のデータに対して、各ポイント毎にガウス窓
   を掛け、ナンバープレート位置判定用パターンに加算し
   て投影加算値を得る加算処理とを実施し、 前記投影加算値が最大となる位置をもとにナンバープレ
   ート位置を判定する判定処理を実施することを特徴とす
   るナンバープレートの位置検出装置。
3. 【請求項３】 ニューラルネットワークの学習は、複数
   の、学習用のデータと教師用のデータとを使用するバッ
   クプロパゲーション学習法を用い、 ユニットの閾値関数にシグモイド関数を用いることを特
   徴とする請求項１又は請求項２記載のナンバープレート
   の位置検出装置。