JP2903923B2 - 車番認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】画像処理による種々の計測などが
行なわれているが、文字認識、特に車のナンバープレー
ト（以下、プレートと称す）の文字を自動認識する車番
認識装置に関する。

【０００２】

【従来の技術】プレートの文字認識は、これまで多くの
方式が開発されてきており、最近では漢字の認識やひら
がなの認識などが可能な全文字認識車番認識システムが
開発されている。

【０００３】ところで、通常のＯＣＲなどの漢字認識で
は、１文字当たり３２×３２画素程度の分解能で文字を
認識している事が多い。この様な分解能でナンバープレ
ートを撮影すると撮影視野が非常に狭くなるため、特開
昭62−121586号のように複数のテレビカメラで分割撮影
し、プレート内の陸運支局コード，用途コードなどを認
識していることが多い。あるいは解像度が高い特殊なテ
レビカメラで撮影し、その画像を処理することが多い。

【０００４】また通常の車番認識システムでは、入力し
た画像を最適に２値化処理し、その２値画像を処理して
プレート内の文字を認識しているが、２値化処理するこ
とによって情報が失われてしまうために、低分解能の画
像からプレート内の全ての文字を認識する事ができなく
なってしまう。このため、高分解能で撮影することが行
なわれている。

【０００５】一方、濃淡画像を用いて顔画像を認識する
方式としては、例えば、「ニューラルネットワークを利
用した分解能の異なるモザイク顔による男女及び個人識
別」，テレビジョン学会誌，Ｖｏｌ．４６，Ｎo.１（１
９９２）が知られている。この手法は、顔の画像をモザ
イク状に分解能を落とし、落とした画像の各画素データ
を特徴量としてニューラルネットワークに入力して認識
するものである。

【０００６】

【発明が解決しようとする課題】上記複数のテレビカメ
ラで１台の車両を撮影する方式は、どのテレビカメラに
プレートが撮影されているかを識別することが必要であ
ると共に、認識処理する画像処理装置自体が複数の映像
信号を入力できる構成にする必要があり、非常にコスト
が高くなってしまう。また、高解像度のテレビカメラを
用いるシステムでは、カメラが高価、画像処理のための
入力系（Ａ／Ｄ変換器）などが特殊仕様となるばかりで
なく、画像処理の対象画素数が膨大になるため超高速な
画像処理プロセッサを要するという問題があった。

【０００７】また上記モザイク化による濃淡画像からの
認識手法を、プレートの文字認識に適用しようとした場
合、プレートの色の変化やプレートその物の明るさ変
化、更に認識文字の位置変動が大きいなどの課題がある
ため、顔画像認識処理方式をそのままプレートの文字認
識にては適用できないという問題があった。

【０００８】本発明の目的は、通常のテレビカメラ１台
でプレート上の全ての文字を良好に認識し得る車番認識
装置を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
本発明では、テレビカメラより取り込まれ画像メモリに
入力された入力画像からナンバープレート領域を切り出
すナンバープレート領域抽出部と、切り出されたナンバ
ープレート領域から一連番号を２値画像として抽出する
一連番号抽出部と、この抽出された一連番号を構成する
各数字の座標を用いてナンバープレート中の陸運支局コ
ード，車種コード及び用途コードの各領域の座標を決定
する各コード領域座標算出部と、決定された各コード領
域の濃淡画像の特徴量を用いて陸運支局コードを認識す
る陸運支局コード認識部と前記特徴量を用いて車種コー
ドを認識する数字認識部及び前記特徴量を用いて用途と
コードを認識する用途コード認識部とを有する文字認識
部とから車番認識装置を構成したものである。

【００１０】

【作用】本発明によれば、テレビカメラから取り込まれ
た入力画像からナンバープレートが切り出され、この切
り出されたナンバープレート中の大文字数字の一連番号
が２値画像として抽出される。この抽出された一連番号
の座標列から、ナンバープレート中の陸運支局コード，
車種コード，用途コードの各領域が大まかに決定され
る。更に具体的には、この決定された大まかな各領域内
についてそれぞれ背景の濃度を除去した文字だけの画像
が作成され、この文字画像を用いて各領域毎に文字の占
める領域が詳細に決定される。この決定された詳細文字
領域の画像から濃淡の特徴量をｍ×ｎ個抽出し、この濃
淡データを０〜１の実数に正規化処理し、この正規化処
理されたデータをニューラルネットワークに入力し、陸
運支局コード，車種コード，用途コードがそれぞれ認識
されることにより、低分解能の入力画像からでもプレー
トの色，明るさ変化または位置変動に影響されることな
くプレート認識が可能となる。

【００１１】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。

【００１２】図１は本発明のプレート認識装置の構成を
示す。処理の流れを簡単に説明すると、入力した画像か
らプレートを抽出するプレート抽出部１と、プレート内
の一連番号を抽出する一連番号抽出部２と、該抽出され
た一連番号の座標から陸運支局コード，車種コード，用
途コードの各座標位置を算出する各コード領域座標算出
部３と、各コードを認識する文字認識処理部４からな
る。文字認識部は各コード領域毎にどのような文字が存
在しているかがあらかじめ分かるため、数字認識部５，
陸運支局コード（地名）認識部７，用途コード（ひらが
な）認識部６に分かれている。プレート認識手順を説明
する前に、まず最初に、濃淡画像からの文字認識手順を
説明する。プレートの文字位置は図２のように規格化さ
れているため（寸法の単位はmm）、例えば一連番号の座
標が求まれば、その座標から相対的に各文字領域を特定
できる。しかしながら、実際にはプレートの折れ，曲が
りなどにより領域を正確には特定できない。したがっ
て、文字領域を一連番号の座標からおおざっぱに設定
し、その領域から正確な文字領域を決定し認識する事に
なる。したがって、文字領域が大まかに領域Ａとして設
定されている場合に対する認識処理について以下図３を
用いて説明する。処理の手順は（１）背景差分処理８，
（２）文字領域の詳細座標抽出９，（３）濃淡特徴量抽
出１０，（４）認識１１である。

【００１３】（１）背景差分処理 プレートの明るさ変化や、プレートの色変化に対応でき
るように、文字線の画像情報だけを抽出する背景差分処
理を実行する。この処理は、認識対象画像から直接背景
画像を作成するもので、図３のように処理対象画像１０
０の領域Ａ全体の背景画像１０１を作成する。例えば、
処理対象画像１００の文字が背景に比べ暗い場合は、局
所最大値フィルタを数回実行し、同じく局所最小値フィ
ルタ処理を数回実行し背景画像を作成する。この背景画
像１０１から処理対象画像１００を差し引けば背景差分
画像１０２が作成できる。この様な処理を行なう目的
は、常に文字の線を明るく、背景を「０」の値に変換
し、認識処理を簡単化するためである。なお、文字が背
景より明るい場合(日本車の場合、緑地のプレートな
ど）は局所最小値フィルタを数回実行し、同じく局所最
大値フィルタを数回実行して背景画像を作成し、入力画
像から背景画像を差し引けばよい。

【００１４】ここで、局所最大値フィルタ処理は、例え
ば、３×３画素の局所領域の最大濃度を求め、その濃度
を中心位置の濃度と置き換える処理をラスタースキャン
で全面走査するもので、２値画像の膨張処理に相当す
る。また、局所最小値フィルタ処理は、局所領域の最小
濃度を中心位置の濃度と置き換える処理で、２値画像の
収縮処理に相当する。この様な背景差分処理は特開昭６
３−153682号公報に記載されている。

【００１５】（２）文字領域の詳細座標抽出 上記背景差分処理は、大まかな領域Ａを処理するもので
あるが、この領域をそのまま認識処理したのでは、文字
の位置ずれなどのため、誤認識が発生しやすくなる。こ
のため、上記背景差分画像１０２を用いて認識のための
漢字領域の詳細座標を算出する。この処理は図３のよう
に背景差分処理画像１０２に対し垂直（ｘ軸投影分
布），水平方向（ｙ軸投影分布）にそれぞれ濃度の累積
投影分布を求め、この頻度が所定のしきい値を越えた座
標を各方向毎に求め、文字領域Ｂの座標を求める。この
場合のしきい値は、背景画像を引いていることから文字
線以外はほとんど濃度が「０」であるので、文字線の最
低濃度程度にしておけばよい。ノイズが多い画像の場合
は、背景の濃度が完全には「０」にならないので、背景
濃度の累積値が影響してしまうが、この場合はあらかじ
めしきい値以下（例えば、おおざっぱな領域の最大濃度
のｎ分の１や、文字線の最低濃度の半分の値など）の濃
度画素を除去した画像を作成し、この画像の濃度投影分
布を使って座標を求めればよい（あるいは、しきい値以
上の濃度だけを累積する）。

【００１６】処理対象画像から直接文字領域の詳細座標
を求めることも考えられるが、プレートの明るさが変化
した場合に上記しきい値を設定することが非常に困難で
あり、詳細領域決定はできない。これに対し、背景差分
画像からの領域決定は、文字以外の濃度をほとんど
「０」にすることができるため、しきい値が設定しやす
くなり、詳細領域決定が容易に実行可能である。この結
果、プレートの曲がり，折れなどに対しても、良好に領
域決定が可能である。

【００１７】なお、上記処理を実行した場合に、しきい
値以上の濃度投影分布がない場合や、しきい値以上の濃
度分布が有っても、求まった詳細領域の大きさが極端に
小さい場合は対象となる文字がないものと判断すること
が可能である。

【００１８】（３）特徴量抽出 次に、漢字領域の詳細座標が領域Ｂとして求まった後
は、認識するための特徴量を求める。ここでは、濃淡画
像の濃度値を特徴量に用いているが、いくつかの処理が
考えられる。（ａ）文字領域が小さいため、詳細領域の
濃度データ全てを特徴量として用いる。

【００１９】（ｂ）詳細領域の画像からｍ×ｎ個の特徴
量を抽出する（モザイク化）。などがある。

【００２０】上記（ａ）の方法は、１.５ｍ の視野を５
１２×２５６画素で画像を取り込みと漢字１文字の画素
数は約１４×７画素となるため特徴量の数が約１００個
となり、ニューラルネットワークなどで認識する場合な
どは特に、学習，認識に時間がかかる。一方、（ｂ）の
方式はデータを縮小するため、サンプリングする画素デ
ータの位置がずれることにより、誤認識する可能性があ
るが、処理時間的には有効である。このため、本発明で
は、（ｂ）の方式を採用する。サンプリングの問題に対
しては、特徴量としてサンプリングする位置が多少ずれ
ても問題ないように、詳細領域を平滑化処理し、平滑化
処理した画像からｍ×ｎ個のデータを抽出するようにし
ている。具体的処理を図４に示す。

【００２１】（ａ）背景差分画像１０２の詳細領域Ｂを
数回平滑化処理し、画像をぼかす（画像１０４）。

【００２２】（ｂ）ぼかし画像１０４の領域Ｂをｍ×ｎ
画素に縮小する（画像１０６）。上記、平滑化の程度
を、この縮小率によって変化させることも考えられる。

【００２３】（ｃ）ｍ×ｎ画素の縮小画像１０６の濃度
データｆ（ｉ，ｊ）を読み取る。

【００２４】このようにして求まった特徴量データをニ
ューラルネットワークで認識する場合は、通常０〜１の
実数に変換する必要がある。ここでは、式１のような演
算で変換している。

【００２５】 ｔ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−ming｝／(maxg−ming) …式１ ここで、ｔ（ｉ，ｊ）は（ｉ，ｊ）座標における特徴量
データ、 ｆ（ｉ，ｊ）は（ｉ，ｊ）座標における濃度データ、 ming，maxgはｍ×ｎ画素の画像での最小濃度，最大濃度
である。

【００２６】なお、ｍ×ｎ個の特徴量を抽出するための
正規化方法には上記のほかに以下の手法が考えられる。

【００２７】（ａ）背景差分画像１０２に対し、サンプ
ル点のずれなどを考慮して、背景差分画像を平滑化処理
１０４し、その画像から直接ｍ×ｎ個データを抽出す
る。

【００２８】（ｂ）背景差分画像１０２に対し、ｍ×ｎ
画素にメッシュ状に分割し、そのメッシュ毎の平均濃度
を算出する。

【００２９】以上のような処理で濃淡の特徴量データが
求まれば、ニューラルネットワークでの学習，認識処理
を行なう。ニューラルネットワークでの学習，認識処理
は一般的な処理でよいため説明は省略する。

【００３０】このように、背景差分処理を実行すること
で、認識対象の明るさ変化や位置変動に影響されること
なく濃淡画像から必要な特徴量を抽出し、文字を認識す
る事が可能となる。

【００３１】これまで、文字認識の手法について説明し
たが、プレート認識に適用した場合の手順について以下
説明する。プレートの認識が一般の文字認識と異なる点
は、 （１）入力した画像のどこにプレートがあるか分からな
い。

【００３２】（２）プレートの色が数種類ある。

【００３３】（３）車両全面部を撮影する位置によりプ
レートの大きさが変化する（文字の大きさが変化す
る）。

【００３４】（４）プレートの大きさに、中型，大型が
ある（中型と、大型の文字の大きさ比率は３対２であ
る）。

【００３５】（５）認識対象文字数は、ある程度限定さ
れている。

【００３６】（６）陸運支局コードは、２文字，３文字
の漢字全体で１つの地名を表しているため、コード領域
全体を処理して地名のパターン判別を行なえばよい。な
どである。

【００３７】したがって、プレートの抽出処理や、プレ
ートの色判別，文字の大きさに依存しない認識処理など
を実行することが重要である。反面、（５）のように一
般の文字認識に比べ認識対象字数が少ないため、低分解
能な文字でも濃淡画像を用いれば、認識することが可能
である。また、（６）のように地名のパターン判別であ
るため、「鳥取」「島根」の「鳥」「島」などの類似文
字判別は不要となる。以下に、認識手順を示す。

【００３８】図５にプレートの認識手順を示す。処理の
流れは、(１）画像入力１２。(２）プレート位置の特定
１３。（３）プレート色の判定１４。（４）一連番号の
抽出１５。（５）一連番号の各座標を求め、それぞれの
コード領域の座標決定１６。（６）一連番号の認識１
７。（７）車種コードの認識１８。（８）陸運支局コー
ドの認識１９。（９）用途コードの認識２０。となる。
以下、順次詳細を説明する。

【００３９】（１）画像入力 テレビカメラからの画像を画像メモリに取り込む。通常
電子式シャッターカメラを用いるため、フィールド画像
しか取り込めないため、縦方向の分解能が悪い。ここで
は横５１２画素，縦２５６画素で画像を取り込むものと
して以下説明する。視野幅を１.５ｍ とすると、漢字，
ひらがなの文字は１文字４０×４０mmであるため、約１
４画素×７画素程度の大きさとなり、一般の文字認識で
の分解能３２〜４０画素に比べかなり小さな文字を認識
する必要がある。ただし、認識対象数は少ない。

【００４０】（２）プレート位置決定 取り込んだ画像のどこにプレートがあるかは車の走行位
置，プレートの取付け位置によって変動する。このた
め、入力画像からプレートの位置を認識する必要があ
る。このための方式には色々あるが、ここでは特開昭61
−141087号公報記載の方式を採用する。すなわち、図６
に示すように、入力した画像１０８に対し、水平方向の
微分処理を行ない１１０、これを所定の２値化しきい値
で２値化した後に、２値画像を整形するために膨張処理
を行なう１１２。車両全面部の模様は、ほとんどが水平
の縞模様であるため、水平方向に微分（垂直のエッジを
強調）処理を行なうことで、プレート以外の背景を除去
できることに着目した手法である。したがって、得られ
た整形画像の各領域の大きさ(面積，縦，横サイズなど)
がプレートの形状に類似している領域がプレート候補位
置となる。なお、プレート候補は、画面下側から優先的
に探している。

【００４１】（３）プレート色の判定 プレート候補位置が特定できると、その領域の色を判別
する。日本車には大きく分けて白地に緑文字，緑地に白
文字があるので、文字が背景より明るいか暗いかを判定
する必要がある。ここでは、求まった領域の濃度頻度分
布を用いて判定する。すなわち、図７に示すように、プ
レートの文字の占める面積とプレートの文字以外の占め
る面積を比較すると、必ずプレートの文字以外（背景）
の方が広いため、頻度分布の最大頻度を示す濃度maxgが
平均濃度avg より明るければ背景が白（白地プレー
ト），暗ければ背景が緑色（緑地プレート）であると判
定する。

【００４２】この判定結果を以下の文字抽出で用いる。
なお、色判定を誤る場合があるが、一連番号の数字が抽
出できない場合は色判定を逆に設定し、再度繰り返す処
理を行なう。

【００４３】プレート色判定方式には、上記のほかに平
均濃度より明るい画素数と暗い画素数を比較する方法も
あるが、処理時間の点で、上記最大頻度の濃度と平均濃
度を比較することが良い。

【００４４】（４）一連番号の抽出 各コードの位置決めをプレート領域の濃淡画像から直接
求めることができればよいが、なかなか困難である。し
たがって、一連番号を２値画像として抽出し、この数字
の座標から相対的に決定する。したがって、色判定がで
きると、一連番号を２値画像として抽出する（一連番号
の文字サイズは、陸運支局コードや車種コードに比べ大
きいため、２値画像でも文字の潰れなどは発生しにく
い）。このときの抽出方法は前記背景差分処理方式を用
いる。この方法は、前述したように、背景画像の濃度で
文字領域の濃度と置き換えて背景だけの画像を作成し、
２値化対象濃淡画像からこの背景画像を差し引くことで
文字だけの濃度情報を得ることができる（背景差分画像
と以下称す）。この結果、文字を抽出する２値化しきい
値を簡単に設定できるため、鮮明な２値画像を作成する
ことができる。このとき、前述したように日本のプレー
トには大きく分けて白地，緑地があるため、文字の色に
よって背景の作成方法を切り替える。

【００４５】 ・文字色が背景に比べ暗い場合（白地プレート） （ａ）２値化対象濃淡画像に対し、局所最大値フィルタ
を数回実行し、文字領域を背景の濃度で埋める。

【００４６】（ｂ）局所最大値フィルタの回数と同じ回
数局所最小値フィルタを実行する。

【００４７】（ｃ）ノイズを軽減するため、平滑化処理
して背景画像を作成する。

【００４８】（ｄ）作成した背景画像から２値化対象濃
淡画像を画素毎の演算で差分処理する。

【００４９】（ｅ）プレートの背景領域の差分画像はほ
とんど「０」に近い値であり、文字領域はその文字のコ
ントラストの大きさの濃度が抽出できる。このため、し
きい値をノイズを抽出しない、「０」近傍の値で２値化
処理すれば鮮明な画像を作成できる。

【００５０】 ・文字色が背景に比べ明るい場合（緑地プレート） 背景より明るい場合は、上記処理のうち（ａ)(ｂ）の処
理を局所最小値フィルタ，局所最大値フィルタの順に処
理して文字の濃度を周囲の背景濃度で削るような処理を
して背景を作成し、２値化対象濃淡画像から背景画像を
差し引く。又は、２値化対象濃淡画像を反転処理して、
上記白地プレートの処理を実行してもよい。反転処理は
取り込んだ画像が８ビット画像なら ｆ（ｘ，ｙ）＝２５５−ｇ（ｘ，ｙ）を実行する。

【００５１】ここで、ｆ（ｘ，ｙ）は反転画像，ｇ
（ｘ，ｙ）は２値化対象濃淡画像である。

【００５２】以上の処理により、一連番号の２値画像が
鮮明に抽出できる。

【００５３】なお、取り込んだ画像のプレート位置が画
面枠にある場合に、上記背景差分処理を実行すると、文
字を抽出できない場合が発生する。これは、図８のよう
に、入力画像１０８からプレート領域を切り出し１１
３、このプレート領域に対し局所最大値フィルタ処理を
行なうと１１４のように図では左側の領域については濃
度の膨張処理が行なえない。この画像に対し、局所最小
値フィルタ処理を実行すると１１５のように左側の濃度
が縮小された背景画像が作成されてしまう。したがっ
て、背景画像１１５からプレート画像とで差分処理する
と１１６のように左側の文字が欠けた画像になってしま
う。これは、画像メモリ上では最大値フィルタ処理が画
面枠を越えた領域では処理できないため、最小値フィル
タのみの処理となり、結果的に背景差分画像は画面枠近
傍付近で文字画像を抽出できなくなってしまうためであ
る。そこで、本発明では、プレート領域が求まったら、
図９のようにその領域の画像を画面中央（局所最大値フ
ィルタ処理の回数だけ画面枠から離れていればよい）に
移動し１１７、その位置で背景差分処理を実行してい
る。この処理により、画面枠付近でプレートが撮影され
ても局所最大値フィルタを正確に実行できるため、良好
に文字を抽出できる。

【００５４】（５）各コード領域の座標決定 抽出した一連番号の２値画像の各座標領域を求め、ノイ
ズか文字かを２値画像の領域の大きさや文字列の配列規
則などによりチェックした後に、一連番号の各数字画像
の中心座標，平均高さ（画素），数字の桁間隔から陸運
支局コード，車種コード，用途コードの位置を特定す
る。各コードの位置座標は図２のように大型，中型プレ
ートで異なるため、一連番号の文字の平均高さを用い、
文字の高さが所定値以上の場合は、大型プレートである
と判断し、各プレート種別に従いプレートの位置関係で
算出する。ここで、文字の高さから画像の分解能を算出
し、この分解能で水平方向の相対位置を求めると、プレ
ートの下向きの傾きにより、文字の高さが変化し、これ
に伴い各コード領域の水平座標を正確に決定できなくな
ってしまう。そこで、各コード領域の位置決めは、文字
の平均高さから垂直方向（ｙ方向）の分解能（mm／画
素）を算出し、文字間隔（抽出した文字パターンの各文
字の中心Ｘ座標の間隔）から水平方向（ｘ方向）の分解
能（mm／画素）を算出し、それぞれの分解能で各コード
領域の座標を算出する。このように、ｘ，ｙ方向それぞ
れの分解能で各コード領域の座標を算出する事により、
プレートの下向きの傾きや、プレートの取り込み位置で
プレートの大きさが変化するが、このような変化に良好
に対応可能である。

【００５５】ただし、ここで算出する領域は図１０のよ
うに、陸運支局コード領域５１，車種コード領域５２，
用途コード領域５３は大きめの領域設定となる。詳細位
置決めは前述の詳細領域算出処理で決定する。特に陸運
支局コードは文字数が不明であるため、２文字の地名と
想定してプレート取付けねじ５４を始点に一連番号の２
桁目の終点Ｘ座標を領域のＸ座標として求めておき、後
述する認識処理で詳細に位置決めする。

【００５６】なお、プレートには１桁から４桁までの一
連番号があるが、文字間隔が求まるのは２桁以上である
ため、１桁の場合は文字高さから推定する。あるいは、
数字の変わりに刻印されているドットの間隔から推定す
る。

【００５７】（６）各文字の認識 文字の認識方式には２値画像から特徴量を抽出し、これ
をニューラルネットワークに入力して認識する方法もあ
るが、低分解能な文字を認識するために、文字のつぶれ
や欠けなどが発生しやすい。そこで、前記したような濃
淡画像での認識を実行する。各認識対象領域とプレート
の色が上記処理で求まっているため、その領域毎に以下
の処理を実行する。

【００５８】（ａ）領域毎にプレート色に応じた背景差
分画像を作成する（一連番号抽出時に実行するプレート
領域全体の背景差分画像を用いることも考えられるが、
処理時間，プレートの汚れなどを考慮すると、各領域毎
に最適な背景差分処理を行なうことが望ましい）。

【００５９】（ｂ）背景差分画像の濃度投影分布（ｘ，
ｙ方向）から詳細な文字領域を抽出する。

【００６０】（ｃ）詳細な文字領域の画像をｍ×ｎ画素
に正規化する。

【００６１】（ｄ）ｍ×ｎ個の特徴量データで学習し、
認識する。

【００６２】上記処理は前記した文字認識処理の手法で
ある。

【００６３】ところで、プレート認識においては、各文
字領域にどのような文字があるかがあらかじめ決まって
いるため、ここでは３つのニューラルネットワークを用
意している。

【００６４】すなわち、大文字，小文字の数字認識用，
陸運支局コード（漢字，ひらがな）認識用，用途コード
（ひらがな）認識用である。ネットワークの概要は、以
下の通りである（ネットワーク規模は一例である）。

【００６５】 （ａ）大文字数字，小文字数字のネットワーク ネットワーク規模は図１１のように、入力２４（４×
６），中間１２，出力１０個である。なお、数字認識に
ついては文字の大きさがある程度確保されているため、
一般的な２値画像での認識方式を採用しても認識可能で
ある。ただし、２値画像の場合は欠けなどに対して対応
しにくいため、処理時間の範囲内で濃淡画像での認識処
理を実行することが望ましい。また、ここでは、大文
字，小文字を同じネットワークで認識しているが、ネッ
トワークをそれぞれに分けることも考えられる。

【００６６】（ｂ）陸運支局コード用ネットワーク ネットワーク規模は図１２のように、入力６４（１６×
４），中間３２，出力１００個である。ここで、陸運支
局コードはコードエリア全体を１つのパターンとして認
識するようにしているため、地名の数だけを分離すれば
よい。したがって、出力ニューロンは１００個程度で良
い。このようにすることで、「島根」「鳥取」の「島」
「鳥」の類似文字識別や、ひらがな，漢字の区別も必要
なくなる。この様な文字全体をシンボルとして認識する
方式は、金 他２名：ニューラルネットワークを用いた
車両番号認識；１９９０年電子情報通信学会春季全国大
会７−２２８に記載されている（画像データは入力画像
そのもののデータを入力しているため、プレート色別に
学習する必要がある）。

【００６７】（ｃ）用途コード用ネットワーク ネットワーク規模は図１３のように、入力３２(８×
４)，中間１６，出力４６個である。ひらがなの用途コ
ード認識については、「は」「ほ」や「さ」「き」とい
った類似文字があるため、最終的には類似文字判別を実
行する必要がある。類似文字判別処理にはいくつかの処
理が考えられるが、１つは特徴量の数を多くした（分解
能を高めた）ネットワークで再度識別する方法、もう１
つは特徴のある位置を再度チェックし判定する方法であ
る。特徴量を多くする方式は、最初は８×４個の特徴量
で分類し、例えば、「は」や「ほ」に認識結果が出た場
合は、モザイク化を密に、例えば１２×６画素に正規化
し、この画像の特徴量をニューラルネットワークに入力
し、「は」「ほ」の識別を行なう。したがって、類似文
字の数だけの詳細分類用ネットワークを設けることにな
る。

【００６８】また、特徴のある位置をチェックする方式
を図１４に示す。「は」「ほ」の違いは図１４（ａ）の
ように文字の右上に横棒が１本か２本の違いであり、
「さ」「き」は図１４（ｂ）のように上部の横棒の違い
である。したがって、この画像に対し水平方向の濃度の
投影分布から横棒の本数をチェックすればよい。このチ
ェックの方式には、濃度投影分布の山，谷の数を調べる
方式や、濃度の投影分布その物を特徴データとしてニュ
ーラルネットワークに入力し判定する方式などが考えら
れる。又は、用途コード領域を図１５の（１)〜(８）の
ように分割し、それぞれの領域の画素データを特徴量と
して判定する方式が考えられる。例えば、「は」と
「ほ」は(２)の分割，「ぬ」と「め」は（４）の分割，
「ま」と「よ」は（５）の分割で分類するようにする。
「ぬ」と「め」の場合を図１５（９），（１０）に示
す。このような分類手法の場合は、図１６のようにあら
かじめ類似文字だけでの学習をその類似文字判定に適し
た特徴量を用いて学習しておき、その結果の複数のニュ
ーラルネットワークの荷重係数２２，２３，２４（図１
６では３個しか図示していないが、図１５の場合なら８
個の荷重係数を記憶）を荷重係数記憶部２５に用意して
おく。この時点で、どの文字がどの特徴量を用いて判定
するかが決定される。認識の流れは、前述の用途コード
認識部６の認識出力結果に基づき、方式判定部２１でど
の荷重係数２２，２３，２４を用いて類似判定するかを
決定し、ニューラルネットワークによる判定処理部２６
では、方式判定部２１で判定した荷重係数を用いてニュ
ーラルネットワークの想起処理により類似判定する。こ
のような処理により、用途コードの認識率を向上するこ
とが可能である。

【００６９】ここで、各コードを認識する場合の順番で
あるが、一連番号，車種コード，陸運支局コード，用途
コードの順に認識している。この順番付の理由は、陸運
支局コードの領域を正確に求めるためである。すなわ
ち、陸運支局コードは地名の文字数が２〜４文字（例
「足立」「春日部」「尾張小牧」）と変化するが、前述
の領域座標算出処理では地名の文字数を最も頻度の多い
２文字と想定して座標を決定しているため、最終的な認
識処理ではこの座標を微調整することが必要である。し
たがって、車種コードを切り出す処理を実行した後、陸
運支局コードのｘ座標の終点座標を車種コードの１桁目
の始点ｘ座標座標としている。

【００７０】また、車種コードに従い用途コードの使用
文字が限定されているため、車種コードの認識結果をも
とに用途コードの認識結果の妥当性チェックが可能であ
る。このため、車種コードの認識の後に用途コードの認
識を実行している。

【００７１】以上説明したように、背景差分画像に対し
てモザイク化した画像データを特徴量に用いることで、
明るさ変動に影響しない特徴量を抽出することができる
ため、文字認識率を向上することが可能である。更に、
プレートの色に関係なく常に文字画像を明るく抽出でき
るため、プレートの色別にデータを学習する必要がな
く、認識を単純化する事ができる。また、各文字領域の
詳細な座標決定が濃淡画像のまま実行できるため、位置
合わせ精度が高い。このため、前記顔画像認識のように
入力画像を単にモザイク化する方法では文字位置の特定
が困難，明るさ変化に対応できないなどの問題がある
が、背景差分画像に対してモザイク化することでこれら
問題を解決できるため、認識率の向上が図れる。

【００７２】このような背景差分画像の利用は、プレー
ト認識だけでなく、文字色が変化するような場合や、明
るさのレベルが大きく変化するような場合などに有効で
ある。

【００７３】図１７は本発明のハードウエア構成を示す
もので、テレビカメラ３０からのアナログ映像信号をデ
ィジタル信号に変換するためのＡ／Ｄ変換器３１と、デ
ィジタル信号を記憶するための画像メモリ３２と画像メ
モリに対して画像処理するための画像処理プロセッサ３
３と種々の演算及び各種ハードウエアをコントロールす
るＣＰＵ３４からなる。画像メモリ３２は通常のテレビ
カメラの映像や、画像処理の途中経過画像などを格納す
るためのメモリであり、画素数は512×512程度の容量を
持つメモリを複数枚設けている。この画像メモリは、濃
淡画像だけでなく、２値画像メモリも複数枚設けてい
る。画像処理プロセッサ３３は、画像の局所最大値フィ
ルタ，局所最小値フィルタ処理，画素毎の差分処理，平
滑化処理，微分処理，２値化処理，２値画像の膨張処
理，ラベリング処理，ヒストグラム処理など一般的な画
像処理機能を実行する。ニューラルネットワークの演算
は処理時間が大きくなるが、一般的なＣＰＵ３４で演算
しても、専用のＤＳＰやニューロチップなどを用いても
よいが、いずれにしても所要の性能を確保可能である。
次に処理性能を向上させるための手法について説明す
る。

【００７４】（１）認識率の向上 認識装置の設置場所によって陸運支局コードの出現頻度
は大きく異なるため、システムにあらかじめ設置位置を
入力しておくことで、認識率を向上することが可能であ
る。陸運支局コードの種類の頻度分布は、例えば、「水
戸」近辺で撮影する場合は、「水戸」ナンバーが約８割
を占め、残りの２割が「土浦」あるいは県外ナンバーで
ある。首都圏なら「横浜」「習志野」「足立」などが多
い。このように、特に、地方でのプレートの頻度分布
は、ある特定の陸運支局コードのみの頻度が極端に多
い。このため、あいまいな認識結果を出力した場合は、
陸運支局コードを強制的に最も出現頻度の多いコードと
認識することにより認識率を向上することが可能であ
る。

【００７５】具体的に説明すると、全通行車両に対する
陸運支局コードの認識率を例えば９０％、「水戸」ナン
バーの割合を８割とすると、「水戸」ナンバーの認識台
数は８０％×９０％＝７２％が認識できる。また、「水
戸」以外の陸運支局コードは２０％であるので、２０％
×９０％＝１８％が認識できる。すなわち、７２％＋１
８％＝９０％が認識できる。この場合、認識できない車
両（完全に陸支コードが見えない車両は除く）の認識結
果を強制的に「水戸」とすると、「水戸」の認識率７２
％が最高８０％になり、トータル９８％（最大８％の向
上）の認識率になる。したがって、あらかじめシステム
に設置場所を入力しておくことで、曖昧な車両は全てそ
の地区の最高頻度の地名に置き換えることができ、見か
け上の認識率向上が図れる。この様な効果は特に地方に
設置するほど効果が期待でき、首都圏などのように、数
種類の陸運支局コードの頻度が多い場合などはこの手法
は採用できない。

【００７６】システムの動作を図１８を用いて説明する
と、キーボードなどの地名入力部４３から設置場所を入
力し、この地名に対する変換コード名を変換テーブル４
１から引き出す。この変換テーブル４１は図１９のよう
に地名毎に記憶されている。認識処理が開始されると、
テレビカメラ３０の映像を処理して車番認識処理部４０
で認識し、そのときの陸運支局コードの認識結果を認識
結果変換処理部４２に入力し、曖昧な認識結果を出力し
た場合には、この場合に限り、変換テーブルから引き出
した変換コード名を変わりに出力する。曖昧な認識結果
か否かの判定は、例えばニューラルネットワークの全て
の出力ニューロンの出力があるしきい値以下の場合や、
最大出力ニューロンの値と、第２出力ニューロンの値が
余り変わらない場合は、認識不能と判断し、正常に認識
した場合は、出力ニューロンの値があるニューロンだけ
高くなるのでこの判別は容易である。なお、地名入力部
は、設置場所を入力するのでなく、変換地名を直接入力
しても構わない。地名を変換しない場合は、変換テーブ
ルにその旨のコードを記憶しておく。

【００７７】以上のように、カメラの設置位置に従い、
認識不能文字をそのカメラ設置位置に対応した陸運支局
コードに置き換えて認識結果を出力することで、認識率
を向上することが容易に可能となる。

【００７８】（２）学習データの収集方法 プレート認識は対象が車両であるため、プレートの汚れ
方，折れ方，曲がり方，プレートの見え方など無限の組
み合わせがある。ニューラルネットワークで認識する場
合の問題点は、最適に学習しなければ認識率が向上しな
いことにある。すなわち、きれいなプレートだけを教え
込んだだけでは変形プレートを認識できない。数字，用
途コード（ひらがな）はどの場所で撮影しても、各カテ
ゴリ毎の出現頻度は同様であるため、上記変形パターン
などのデータを収集することができるが、陸運支局コー
ドは各地方毎に各カテゴリ毎の出現頻度が異なるため、
全てのカテゴリの変形パターンなどをあらかじめ収集す
ることは不可能である。また、車番認識システムを全国
で同時に運用開始すれば短期間にデータを収集すること
ができるが、実際には全国に設置するにはかなりの時間
を要し、全国のデータを収集するには非常に時間がかか
る。そこで、特に陸運支局コードを学習する場合のデー
タ収集方法について述べる。

【００７９】陸運支局コードの字体は標準字体が用意さ
れているので、この字体についてあらかじめ学習する。
この学習は、文字の曲がり，汚れなどは一切ない。した
がって、実際のプレートの文字を認識した場合、変形な
どがない文字しか認識できないため、最初は認識不能文
字が多い。ところで、陸運支局コードの出現頻度は前述
したように各地区で異なるため、例えば、水戸近辺での
撮影なら、「水戸」以外のコードを認識結果として出力
した場合（水戸のナンバーを誤認識した場合や水戸以外
のナンバーで変形がない場合）や認識不能の結果を出力
した場合は、その画像の特徴量を格納しておき、保守員
が画像を確認し、誤認識している場合は正しい結果（陸
運支局名やそれに該当するコード番号など）を入力する
ようにし、前記特徴量データと上記正しい結果をペアに
した学習データを収集する。ある程度データが収集でき
ればその学習データで学習すると、認識率がデータの数
に見合った分だけ向上する。さらに同様なデータ収集を
行なえば、徐々に認識不能の文字が減少する（認識率が
向上していく）ため、上記データ収集作業は徐々に減っ
てくる。この結果、認識率向上のための作業時間を大幅
に短縮可能である。この時、この画像その物をファイル
（ＶＴＲやレーザーディスクなど）に自動格納しておけ
ば、後日保守員がこれらの画像を見ながら学習データ
（特徴量データとカテゴリ名のペア）を作成することも
できる。

【００８０】図２０にメンテナンス処理の構成を示す。
システムには、設置場所に対する出現頻度の多い地名を
１つないし複数記憶する頻度テーブル４４を図２１のよ
うに設け、あらかじめシステムの設置場所を地名入力部
４３から入力しておく。認識処理を実行している間は、
認識結果を車番認識処理部４０から入力し、該頻度テー
ブル４４の該当地名に対するコード以外の認識結果が求
まった場合や認識不能と出力した場合は、その時の画像
を入力画像表示装置４８に表示し、正しい結果を問い合
わせるものである。問い合わせにより、入力画像表示装
置に表示されているプレート画像を確認し、その画像の
陸運支局名あるいは該当コード番号をカテゴリ入力部４
７から入力し、車番認識処理部で求めた画像の特徴量と
カテゴリをペアにして学習データ記憶部４６に格納す
る。この学習データ記憶部４６には、最終的にはシステ
ムが設置されている場所で珍しい地名、あるいは変形な
どが激しいプレート（既存の学習データで認識できない
パターン）の陸運支局コードの画像に対する特徴量と、
カテゴリのペアが蓄積されていく。したがって、蓄積さ
れたデータを学習し直すことで、変形パターンなどの認
識率を向上することが可能である。

【００８１】また、大容量の画像ファイルがあれば上記
頻度の多い地名以外が認識結果の場合や認識不能と出力
した場合には、その時の入力画像をファイルに記憶する
と共に、特徴量データと時刻をデータファイルに記憶す
る。保守員はある程度データが蓄積されたら、データフ
ァイルの時刻と画像ファイルの時刻を突き合わせながら
誤認識している場合は（あるいは、全てのデータに対
し）正しい認識地名を入力する。このようにすることに
より、滅多に現われないプレートの陸運支局コードの画
像データを蓄積することが可能である。また、これらの
データが全国各地で収集できれば、最終的には全てを認
識できるネットワークを作成するための学習処理を実行
する。

【００８２】この様にカメラ設置位置に対応した出現頻
度の多い陸運支局名を記憶することで、カメラ設置位置
において出現頻度が低いカテゴリ（陸運支局名）及び変
形パターンの学習データを順次収集でき、最終的には種
々の変形パターンなどのデータを効率的に収集可能とな
る。

【００８３】なお、上述の実施例では、ネットワークの
構成を一例として詳細に述べたが、ネットワークの大き
さは認識できる大きさならどのような大きさでも構わな
い。また、ニューラルネットワークでの認識を例として
述べたが、濃淡の特徴量を統計処理で分類する方式や、
ファジー処理での認識も可能である。

【００８４】

【発明の効果】本発明によれば、背景差分画像に対して
モザイク化した画像データを特徴量に用いることで、明
るさ変動に影響しない特徴量を抽出することができるた
め、低分解の文字であっても、文字認識率を向上するこ
とが可能である。更に、プレートの色に関係なく常に文
字画像を常に明るく抽出できるため、プレートの色別に
データを学習する必要がなく、認識を単純化する事がで
きる。

【００８５】また、ひらがなの類似文字判定部を備える
ことで、用途コードの認識率を向上することが可能であ
る。

【００８６】また、認識装置を設置する場所名をシステ
ムに入力することで、陸運支局コードの出現頻度に応じ
た処理（学習のための判断，認識率向上）を実行でき、
システムの性能向上を図ることが可能である。

【図面の簡単な説明】

【図１】図１は本発明の構成を示す図である。

【図２】図２はナンバープレートの寸法図である。

【図３】図３は本発明の濃淡画像からの文字認識の手順
を示す図である。

【図４】図４は濃淡画像からの特徴量抽出手法を説明す
る図である。

【図５】図５はナンバープレートの文字を認識する手順
を示す図である。

【図６】図６は入力画像からナンバープレート領域を抽
出する手法を示す図である。

【図７】図７はナンバープレートの色を判定する手法を
示す図である。

【図８】図８はナンバープレートの撮影位置が画面枠近
傍にある場合に文字抽出する場合の問題を説明する図で
ある。

【図９】図９は図８に示す問題を解決するための手法を
示す図である。

【図１０】図１０は各コード領域座標を大まかに決定す
る場合の説明図である。

【図１１】図１１は数字認識用のニューラルネットワー
クの構成を示す図である。

【図１２】図１２は用途コード認識用のニューラルネッ
トワークの構成を示す図である。

【図１３】図１３は陸運支局コード認識用のニューラル
ネットワークの構成を示す図である。

【図１４】図１４は用途コード（ひらがな）の類似文字
判定のために、濃度の投影分布を特徴量として用いた場
合の手法を示す図である。

【図１５】図１５は用途コード（ひらがな）の類似文字
判定のために、文字領域を小ブロックに分けた画像のデ
ータを特徴量として用いた場合の特徴量の種類を示す図
である。

【図１６】図１６は小ブロックに分けた特徴量を用いて
類似判定する場合の構成を示す図である。

【図１７】図１７は本発明のハードウエア構成を示す図
である。

【図１８】図１８は陸運支局コードの認識率向上が可能
な装置構成を示す図である。

【図１９】図１９はナンバープレートを認識する場所に
対する、陸運支局コードの最も多い頻度のコード名を記
憶する変換テーブルを示す図である。

【図２０】図２０は陸運支局コードの学習データを蓄積
するためのシステム構成を示す図である。

【図２１】図２１はナンバープレートを認識する場所に
対する、陸運支局コードの頻度の多い地名を記憶する頻
度テーブルを示す図である。

【符号の説明】

１…プレート抽出部、２…一連番号抽出部、３…各コー
ド領域座標算出部、４…文字認識部、５…数字認識部、
６…用途コード認識部、７…陸運支局コード認識部、３
２…画像メモリ、３３…画像処理プロセッサ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 紀夫 茨城県日立市大みか町五丁目２番１号 株式会社 日立製作所 大みか工場内 (56)参考文献 特開 昭63−131281（ＪＰ，Ａ) 特開 平２−207668（ＪＰ，Ａ) 特開 平４−235459（ＪＰ，Ａ) 特開 昭63−153682（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G08G 1/017 G06K 9/00 G06K 9/20 340

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】車両のナンバープレートを撮影するテレビ
   カメラと、当該テレビカメラからの映像信号をディジタ
   ル化するＡ／Ｄ変換器と、当該Ａ／Ｄ変換器からのディ
   ジタル映像を記憶する画像メモリと、該画像メモリに入
   力された入力画像からナンバープレート領域を切り出す
   ナンバープレート領域抽出部と、切り出されたナンバー
   プレート領域から一連番号を２値画像として抽出する一
   連番号抽出部と、当該抽出された一連番号を構成する各
   数字の座標を用いて前記ナンバープレートの中の陸運支
   局コード，車種コード及び用途コードの各領域の座標
   を、抽出された一連番号の平均高さから垂直方向の画像
   分解能を算出し、且つ前記一連番号の文字間隔から水平
   方向の画像分解能を算出し、算出した垂直方向の画像分
   解能から前記各コード領域のＹ方向の座標を一連番号の
   位置から相対的に決定するとともに前記算出した水平方
   向の画像分解能から前記各コード領域のＸ方向の座標を
   一連番号の位置から相対的に決定する各コード領域座標
   算出部と、決定された各コード領域の濃淡画像の特徴量
   を用いて陸運支局コードを認識する陸運支局コード認識
   部、前記特徴量を用いて車種コードを認識する数字認識
   部及び前記特徴量を用いて用途とコードを認識する用途
   コード認識部とを有する文字認識部を備えたことを特徴
   とする車番認識装置。
2. 【請求項２】 車両のナンバープレートを撮影するテレビ
   カメラと、当該テレビカメラからの映像信号をディジタ
   ル化するＡ／Ｄ変換器と、当該Ａ／Ｄ変換器からのディ
   ジタル映像を記憶する画像メモリと、該画像メモリに入
   力された入力画像からナンバープレート領域を切り出す
   ナンバープレート領域抽出部と、切り出されたナンバー
   プレート領域から一連番号を２値画像として抽出する一
   連番号抽出部と、当該抽出された一連番号を構成する各
   数字の座標を用いて前記ナンバープレートの中の陸運支
   局コード，車種コード及び用途コードの各領域の座標を
   決定する各コード領域座標算出部と、決定された各コー
   ド領域の濃淡画像の特徴量を用いて陸運支局コードを認
   識する陸運支局コード認識部、前記特徴量を用いて車種
   コードを認識する数字認識部及び前記特徴量を用いて入
   力した画像の用途コード領域の背 景画像を除去した背景
   差分処理画像を作成し、該用途コード領域の背景差分処
   理画像の画像データを所定の大きさになるように平準化
   処理し、平準化処理により正規化された正規化画像デー
   タを用いて文字認識し、当該認識結果に応じて類似文字
   識別処理を実行することにより用途とコードを認識する
   用途コード認識部とを有する文字認識部を備えたことを
   特徴とする車番認識装置。
3. 【請求項３】 車両のナンバープレートを撮影するテレビ
   カメラと、当該テレビカメラからの映像信号を処理して
   ナンバープレート上の文字を認識する車番認識処理部
   と、前記カメラを設置した地名を入力する地名入力手段
   と、前記設置地名とその設置地名における陸運支局コー
   ドの最大頻度を示す地名を記憶する変換テーブルと、前
   記車番認識部から得られた陸運支局コードの認識結果が
   曖昧な場合は、前記地名入力手段から入力された地名に
   該当する前記変換テーブル中の最大頻度地名を認識結果
   として出力する認識結果変換処理部を設けたことを特徴
   とする車番認識装置。
4. 【請求項４】 車両のナンバープレートを撮影するテレビ
   カメラと、当該テレビカメラからの映像信号を処理して
   ナンバープレート上の文字を認識する車番認識処理部
   と、前記カメラを設置した地名を入力する地名入力手段
   と、前記設置地名とその設置地名における陸運支局コー
   ドの出現頻度の多い地名を少なくとも１以上記憶する頻
   度テーブルと、前記車番認識部から得られた陸運支局コ
   ードの認識結果が前記頻度テーブル中の頻度地名に一致
   していない場合あるいは認識不能と判断した場合は、車
   番認識処理部で処理した画像を入力画像表示装置に表示
   すると共に、カテゴリ入力部からその入力画像に撮影さ
   れている陸運支局コードの地名あるいは地名コード番号
   を入力し、前記車番認識処理部で求めた陸運支局コード
   の特徴量と当該地名に相当するデータを学習データとし
   て学習データ記憶部に記憶する学習データ判断部を設け
   たことを特徴とする車番認識装置。