JPH09319995A

JPH09319995A - 文字領域抽出方法およびナンバープレート検出装置

Info

Publication number: JPH09319995A
Application number: JP8159001A
Authority: JP
Inventors: Naohiro Amamoto; 直弘天本; Yuji Kuno; 裕次久野
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1996-05-30
Filing date: 1996-05-30
Publication date: 1997-12-12
Anticipated expiration: 2016-05-30
Also published as: JP3394650B2

Abstract

(57)【要約】【課題】天候の影響を強く受けることなくナンバープ
レート位置を高い精度で検出し得るナンバープレート検
出装置１０を提供する。【解決手段】ナンバープレートを含む車両を撮影して
多値デジタル画像を得る撮像手段１２と、ナンバープレ
ート位置検出手段１３とを含む。この位置検出手段１３
は、画像の周期的な明暗部分を検出して該明暗部分を強
調するフィルタ処理部２３および検出された画像強調領
域を文字候補画像領域として抽出する文字候補領域抽出
部２４を有する文字抽出機能部２１と、該文字候補領域
抽出機能部により得られた文字候補画像領域からナンバ
ープレート位置を決めるプレート抽出機能部２２とを備
える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両のナンバープ
レート位置を比較的高い精度で判定できるナンバープレ
ート検出装置およびこれに好適な文字候補抽出方法に関
する。

【０００２】

【従来の技術】有料自動車道路の料金自動徴収装置等に
適用される車両のナンバープレート読取り装置には、撮
影画像の車両ナンバープレートを読み取るための下準備
として、撮影画像のナンバープレート位置を特定するた
めのナンバープレート検出装置が組み込まれている。こ
のナンバープレート検出装置では、例えば特開平６−１
１１０５８号公報に示されているように、撮影画像を２
値化デジタル画像に変換し、この２値化デジタル画像か
ら文字候補領域を抽出する。あるいは、撮影画像を多値
デジタル化し、その画像の強調処理として微分処理等を
施し、さらに必要に応じで処理画像の２値化を図り、こ
の２値化画像から文字候補領域を抽出する。

【０００３】

【発明が解決しようとする課題】しかしながら、前者で
は、画像に十分なコントラストが得られない悪天候下の
ような状況下では、画像の２値化処理により、抽出すべ
き文字領域が背景に消失してしまう虞がある。また後者
では、微分処理により車体外形のようなナンバープレー
トの文字領域以外の凹凸部分を文字候補領域として誤認
することがある。このことから、天候の影響を強く受け
ることなくナンバープレート位置を高い精度で検出し得
るナンバープレート検出装置およびこのナンバープレー
ト検出装置に好適な文字領域抽出方法の出現が強く望ま
れていた。

【０００４】

【課題を解決するための手段】本発明は、以上の点を解
決するために、次の構成を採用する。〈構成〉請求項１に記載の文字領域抽出方法は、文字を
含む多値デジタル画像から文字領域を抽出する方法にお
いて、多値デジタル画像をそれぞれの画素濃度に応じて
統合する領域分割処理により、複数の文字候補領域を生
成し、生成された文字候補領域の幾何的特徴を基準値と
比較し、その比較条件に合致する文字候補領域につい
て、予め設けられた文字パターンとのマッチング処理に
より類似度を算出し、該類似度が規定値を越えていると
き該当文字候補領域を文字領域として抽出することを特
徴とする。

【０００５】本発明の文字領域抽出方法では、多値デジ
タル画像が２値化処理あるいは微分処理を受けることな
く、直接に画素濃度に応じて領域分割処理を受けること
から、従来のような天候変化の影響を強く受けることな
く、文字領域を確実に抽出することができる。

【０００６】特に、抽出された文字候補領域に予め設定
された文字パターンとのマッチング処理を施してその類
似度を算出し、規定値を越える文字候補領域を文字領域
として判定することにより、高い精度で文字領域が抽出
される。

【０００７】また、領域分割処理に、閾値を可変とする
等濃度領域合併法を採用し、その領域分割処理により生
成される文字候補領域の数が所定の範囲外にあるとき、
その閾値を変更して領域分割処置を繰り返すことによ
り、より高い精度での文字領域の抽出が可能となる（請
求項２に対応）。

【０００８】請求項３に記載のナンバープレート検出装
置は、ナンバープレートを含む車両を撮影して多値デジ
タル画像を得る撮像手段と、前記多値デジタル画像から
ナンバープレート位置を検出するナンバープレート位置
検出手段とを含み、該ナンバープレート位置検出手段が
デジタル画像の周期的な明暗部分を検出してこの明暗部
分を強調するフィルタ処理部と、該フィルタ処理部によ
り検出された画像強調領域を文字候補画像領域として抽
出する文字候補領域抽出部と、該文字候補領域抽出部に
より得られた文字候補画像領域からナンバープレート位
置を決めるプレート抽出機能部とを備えることを特徴と
する。

【０００９】請求項３に記載のナンバープレート検出装
置では、多値デジタル画像から画像強調領域を得るため
の画像強調処理手法として、画像の周期的な明暗部分を
強調するフィルタが用いられている。このフィルタは、
非周期的な明暗部を強調することはなく、ナンバープレ
ートの文字のような周期配列に良好な反応を示す。

【００１０】従って、多値デジタル画像の強調処理にお
いて、非周期性を示す雑画部分が従来のように強調され
ることはなく、極めて良好な周期性を示すナンバープレ
ートの文字配列が、極めて良好に強調されることから、
従来のような多くの雑画部分を含まず、適正に強調され
た画像に基づいて文字候補領域が適正に抽出される。

【００１１】フィルタ処理部にGagor フィルタを用いる
ことが望ましい（請求項４に対応）。また、フィルタ処
理部の前段に画像縮小部を挿入し、この文字候補領域抽
出部の後段に縮小前の画像座標に変換する座標値変換部
を挿入することが望ましい（請求項５に対応）。この画
像縮小部および座標値変換部の採用により、画像処理の
高速化により、高速走行中の車両についてのリアルタイ
ムでの正確なナンバープレート検出処理が可能となる。

【００１２】請求項３に記載のナンバープレート検出装
置において、プレート抽出機能部を、互いに異なる文字
領域のパターンが規定された複数のテンプレートを格納
するテンプレート格納部と、文字候補画像領域とテンプ
レートの文字領域との組合せに応じて、該文字領域を対
応する文字候補画像領域の大きさに一致させるべくテン
プレートの寸法を変更する寸法変更部と、各文字候補画
像領域と各テンプレートの文字領域との全ての組合せ毎
に、テンプレートと文字候補画像領域とのマッチング値
を算出する評価値算出部と、該評価算出部分によるマッ
チング値が最大値を与えるテンプレート位置をナンバー
プレート位置として出力するナンバープレート領域決定
部とで構成することが望ましい（請求項６に対応）。

【００１３】寸法変更部の採用と共に、評価値算出部の
出力値を寸法変更部分でのテンプレート寸法の変更倍率
に応じて正規化させることが、ナンバープレートの大小
あるいは撮影距離の相違等による撮影されたナンバープ
レート画像の大小に拘わらず、高い精度での安定したナ
ンバープレート検出作用を得る上で、望ましい（請求項
７に対応）。

【００１４】請求項８に記載のナンバープレート検出装
置は、ナンバープレートを含む車両を撮影して多値デジ
タル画像を得る撮像手段と、前記多値デジタル画像から
ナンバープレート位置を検出するナンバープレート位置
検出手段とを含み、該ナンバープレート位置検出手段が
デジタル画像をそれぞれの画素濃度に応じて統合する領
域分割処理により、複数の文字候補領域を生成し、生成
した文字候補領域の幾何的特徴を基準値と比較し、その
比較条件に合致する文字候補領域を抽出する文字候補領
域抽出部と、抽出された文字候補領域について文字であ
るか否かを判定する文字領域判定部と、文字であると判
定された文字候補領域からナンバープレート位置を決め
るプレート抽出機能部とを備えることを特徴とする。

【００１５】請求項８に記載のナンバープレート検出装
置では、多値デジタル画像が２値化処理あるいは微分処
理を受けることなく、直接に画素濃度に応じて領域分割
処理を受け、この分割処理により抽出された文字候補領
域についてマッチング処理が施され、その類似度に基づ
いて文字候補領域が判定を受けることから、従来に比較
して天候変化の影響を強く受けることなく、文字領域が
高い精度で確実に抽出される。

【００１６】請求項８に記載のナンバープレート検出装
置において、請求項５におけると同様な画像縮小部およ
び座標値変換部を挿入することが望ましい（請求項９に
対応）。この画像縮小部および座標値変換部の採用によ
り、画像処理の高速化により、高速走行中の車両につい
てのリアルタイムでの正確なナンバープレート検出処理
が可能となる。

【００１７】請求項８に記載のナンバープレート検出装
置において、請求項６におけると同様なプレート抽出機
能部を採用することができる（請求項１０に対応）。ま
た、請求項１０に記載のナンバープレート検出装置にお
いて、請求項７におけると同様、評価値算出部の出力値
を寸法変更部でのテンプレート寸法の変更倍率に応じて
正規化させることが、望ましい（請求項１１に対応）。

【００１８】請求項１１に記載のナンバープレート検出
装置において、文字候補領域抽出部は、具体的には、閾
値を可変とする等濃度領域合併法により生成される文字
候補領域の数が所定の範囲外にあるとき、閾値を変更し
て領域分割処理を繰り返し、これにより、より高い精度
での文字領域の抽出が可能となる（請求項１２に対
応）。

【００１９】請求項１３に記載のナンバープレート検出
装置は、基本的には、請求項３に記載のフィルタ処理部
により検出された文字画像候補領域を抽出する第１の文
字候補領域抽出部およびこの第１の文字候補領域抽出部
により得られた文字候補画像領域からナンバープレート
位置を決めるプレート抽出機能部と、請求項８に記載の
領域分割処理により、複数の文字候補領域を生成し、生
成した文字候補領域の幾何的特徴を基準値と比較し、そ
の比較条件に合致する文字候補領域を抽出する文字候補
領域抽出部および抽出された文字候補領域について文字
であるか否かを判定する文字領域判定部との組み合わせ
で構成される。

【００２０】この組み合わせに加えて、請求項１３に記
載のナンバープレート検出装置は、さらに、プレート抽
出機能部および第２の文字候補抽出部により抽出された
文字候補画像領域の一部が重複するときプレート抽出機
能部により得られたナンバプレート位置をナンバプレー
ト位置として出力するナンバプレート位置検証手段を設
けたことを特徴とする。

【００２１】請求項１３に記載のナンバープレート検出
装置では、文字候補領域の判定に、周期的な明暗部分を
強調するフィルタ処理を用いた手法と、領域分割処理を
用いて手法との組み合わせにより、ナンバープレート位
置の検出が行われることから、ナンバープレート検出精
度を一層高めることができる。

【００２２】請求項１３に記載のナンバープレート検出
装置において、そのナンバプレート位置検証手段に、プ
レート抽出機能部および第２の文字候補抽出部により抽
出された文字候補画像領域に重複する領域がなかったと
き、プレート抽出機能部により得られたナンバプレート
位置をナンバプレート位置として出力させると共に、ナ
ンバープレート位置の再確認が必要である旨の警告を発
せさせることが望ましい（請求項１４に対応）。

【００２３】この警告により、処理結果が誤っている可
能性があるとき、その旨を使用者に知らせることができ
ることから、信頼性の向上に有用である。

【００２４】請求項１４に記載のナンバープレート検出
装置に、さらに、プレート抽出機能部および第２の文字
候補抽出部により抽出された文字候補画像領域に重複す
る領域がなかったとき、第２の文字候補抽出部により抽
出された文字領域についてプレート抽出機能部に抽出動
作を指示するリトライ判別手段を設けることが望ましい
（請求項１５に対応）。

【００２５】リトライ判別手段を設けることにより、第
２の文字候補抽出部により抽出された文字候補領域につ
いて、プレート抽出機能部により、ナンバープレート位
置の再検出が行われることから、フィルタ処理を用いた
手法と、領域分割処理を用いて手法のいずれか一方の判
定にたとえ誤認があっても、他方の手法によりその誤認
を修正することが可能となり、ナンバープレート検出結
果の信頼性を大きく向上させることが可能となる。

【００２６】

【発明の実施の形態】以下、本発明を図示の実施の形態
について説明する。〈具体例１の構成〉図１は、具体例１に係るナンバープ
レート検出装置１０を組み込んだナンバープレート認識
装置のブロック図であり、ナンバープレート検出装置１
０が文字認識手段１１と組み合わされて、ナンバープレ
ート認識装置を構成する。

【００２７】ナンバープレート検出装置１０は、例えば
走行中の車両の画像を得るための撮像手段１２と、撮像
手段によって得られたナンバープレートを含む画像から
ナンバープレート位置を検出するための第１および第２
のナンバープレート位置検出手段１３および１４と、第
１のナンバープレート位置検出手段１３により判定され
たナンバープレート位置についての情報を格納するナン
バープレート位置情報格納部１５および第２のナンバー
プレート位置検出手段１４により判定された文字情報位
置についての情報を格納する文字情報格納部１６と、両
格納部１５および１６の情報から最終的に判定されたナ
ンバープレート位置についての情報を文字認識手段１１
に出力するナンバープレート位置検証手段１７とを含
む。

【００２８】撮像手段１２では、例えばテレビカメラの
ようなビデオ入力部１８で得られたアナログ画像がＡＤ
変換部１９により多値デジタル画像に変換され、この多
値デジタル画像がメモリ２０に格納される。

【００２９】メモリ２０に格納された多値デジタル画像
は、第１のナンバープレート位置検出手段１３の文字抽
出機能部２１により、画像強調処理を受けた後、強調処
理を受けた領域が文字候補領域として抽出される。この
抽出された文字候補領域は、プレート抽出機能部２２に
より、後述するテンプレートを用いてナンバープレート
位置を決定され、このナンバープレート位置についての
情報がナンバープレート位置情報格納部１５に格納され
る。

【００３０】文字抽出機能部２１は、メモリ２０の多値
デジタル画像に強調処理を施す Gaborフィルタ処理部２
３と、この Gaborフィルタ処理部２３により明暗部が強
調された画像強調領域の外接矩形の例えば左上および右
下の各座標値を求める第１の文字候補領域抽出部２４
と、この第１の文字候補領域抽出部２４により求められ
た座標値を格納する座標値格納部２５とを備える。

【００３１】図示の例では、文字抽出機能部２１には、
Gaborフィルタ処理部２３での高速画像処理を可能とす
るための画像縮小部２６が Gaborフィルタ処理部２３の
前段に挿入されている。また、第１の文字候補領域抽出
部２４の後段には、画像縮小部２６による縮小画像を縮
小前の原画像座標に戻すための座標値変換部２７が挿入
されている。

【００３２】Gaborフィルタ処理部２３は、周期性を示
す模様（テクスチャ）に反応してこの周期性を強調する
フィルタ作用を、メモリ２０に格納された多値デジタル
画像に施す。空間領域での２次元 Gaborフィルタは、次
式で表される。

【００３３】ｈ(x,y)=exp ｛(-1/2)・[(x² /σx² )+(y²/ σy²)]｝ cos(2πu₀x+Φ) …（１）ここで、σx 、σy は、ガウス分布のｘ軸方向およびｙ
軸方向のそれぞれの標準偏差を表し、u₀、Φはそれぞれ
周波数および位相を表す。

【００３４】図２は、 Gaborフィルタの一例を示すグラ
フである。図２（Ａ）は、式（１）において、u₀＝２・
√２、Φ＝０、σx ＝（３／４）π、σy ＝（１／２）
πとした条件下で、ｙ＝０のときの値ｈ（ｘ，ｙ）をプ
ロットしたグラフを示す。また、図２（Ｂ）は、図２
（Ａ）におけると同一条件下で、ｈ（ｘ，ｙ）＝０を満
たす（ｘ，ｙ）をプロットしたグラフを示す。図２
（Ｂ）のグラフで、楕円内部の斜線部分は負の値を示
し、斜線部分以外の楕円の内部部分は正の値を示し、楕
円の外部部分は０の値を示す。

【００３５】多値デジタル画像に Gaborフィルタ処理を
施すには、ｍ×ｎの大きさのマスクパターンを作成し、
画像をこれに畳み込み処理することで実現できる。この
とき、前記した式（１）の各パラメータおよびマスクパ
ターンの大きさは、ビデオ入力部１８のカメラの設置条
件により決まる撮影可能なナンバープレートの大きさ、
このナンバープレートに付された文字の間隔等に応じ
て、適宜選択される。

【００３６】図３は、メモリ２０に格納された入力画像
（ａ）、この入力画像の Gaborフィルタ処理部２３での
処理後の画像（ｂ）および第１の文字候補領域抽出部２
４での２値化処理後の画像（ｃ）の一例をそれぞれ示
す。Gaborフィルタ処理部２３でのフィルタ処理によ
り、図３（ｂ）から明らかなように、道路のような高周
波領域、あるいは車体のような低周波領域は低い輝度レ
ベルを示し、ナンバープレート内領域のように水平方向
に周期性を示す領域は高い輝度レベルを示すことによ
り、この周期性の部分が強調されている。

【００３７】第１の文字候補領域抽出部２４は、 Gabor
フィルタ処理部２３により周期性部分が強調された画像
に２値化処理を施し、図３（ｃ）に示すような画像情報
の強調部分（画素値が０の白画素）についての外接矩形
の座標値を座標値変換部２７を経て、文字画像候補領域
として、座標値格納部２５に格納する。

【００３８】プレート抽出機能部２２は、座標値格納部
２５に格納された各文字画像候補領域について、それが
ナンバープレート数字部分であるか否かを複数のナンバ
ーテンプレートを用いて判定し、ナンバープレート位置
を求める。

【００３９】プレート抽出機能部２２は、複数のテンプ
レートを格納するテンプレート格納部２８と、このテン
プレート格納部２８のテンプレートを対象となる文字画
像候補領域群の各文字画像候補領域の大きさに適合する
ように、テンプレートの大きさを拡大あるいは縮小する
寸法変更部２９と、評価値算出部３０とを備える。

【００４０】評価値算出部３０は、各テンプレートと文
字画像候補領域群とのマッチング値である評価値を算出
し、かつ各評価値を寸法変更部２９による変更倍率に応
じて正規化し、正規化された評価値の最大値を与えるテ
ンプレートについての情報をナンバープレート領域決定
部３１に出力する。

【００４１】図４は、テンプレート格納部２８に格納さ
れたテンプレート群を示す説明図である。図４に示す例
では、図４（ａ）〜図４（ｄ）にそれぞれ位置合わせ用
テンプレート３２ａ〜３２ｄが示されており、図４
（ｅ）に評価値算出用の標準テンプレート３２ｅが示さ
れている。

【００４２】標準テンプレート３２ｅには、法律で規定
されたナンバープレートの文字区画に対応する文字領域
８ａ〜８ｇが規定されている。各位置合わせ用テンプレ
ート３２ａから３２ｄには、標準テンプレート３２ｅの
文字領域８ａ〜８ｇを部分的に含み、それぞれが相互に
異なるパターンで配置された文字領域７ａ〜７ｇが規定
されている。テンプレート３２ｄの文字領域７ｇは、プ
レート枠の全域に一致する。

【００４３】これらテンプレートの文字領域７ａ〜７
ｇ、８ａ〜８ｇは、プレート枠の例えば左上を原点とす
る（ｘ，ｙ）座標として、あるいは文字領域文字領域７
ａ〜７ｇ、８ａ〜８ｇを例えば画素値１の画素とし他の
領域を画素値０の画素とする画像として、テンプレート
格納部２８に格納しておくことができる。

【００４４】図５は、本発明に係る評価値算出部３０に
よるテンプレート重ね合わせ処理の説明図である。評価
値算出部３０が例えば図３（ｃ）に示されているような
２値画像を対象とし、１つの文字候補画像領域（ａ）に
ついてテンプレート３２ａでの位置合わせを行うが、こ
の位置合わせに際し、図５（ａ）に示されているよう
に、位置合わせを行う文字候補画像領域（ａ）が選択さ
れた文字領域７ａに高さ寸法が一致するように、寸法変
更部２９がテンプレート３２ａの大きさを調整する。

【００４５】大きさが調整されたテンプレート３２ａ
は、評価値算出部３０により、図５（ｂ）および図５
（ｃ）に示されているように、文字候補画像領域（ａ）
が文字領域７ａの例えば左端から右端に移動するよう
に、相対的に、順次、画素単位で移動される。各移動位
置では、評価値算出部３０が位置調整用テンプレート３
２ａ位置に一致する標準テンプレート３２ｅを用いて、
このテンプレート３２ｅの文字領域８ａ〜８ｇと、文字
候補画像領域（ａ）を含む文字候補画像領域群とのマッ
チング値を算出する。

【００４６】このマッチング値の算出では、標準テンプ
レート３２ｅの文字領域８ａ〜８ｇと文字候補画像領域
（ａ）を含む文字候補画像領域群との重なりにおける各
文字領域８ａ〜８ｇでの各画素の諧調レベルの総和であ
る濃淡値の総和と、非文字領域８ｈにおける同様な濃淡
値の総和との差の絶対値が、評価値算出部３０により、
評価値として算出される。この評価値は、寸法変更部２
９による拡大あるいは縮小倍率の例えば２乗の値で除す
ることにより、正規化される。正規化された評価値およ
びこの評価値が得られた標準テンプレート３２ｅの位置
の情報が記憶される。

【００４７】続いて、文字候補画像領域（ａ）がテンプ
レート３２ａの文字領域７ｂでマッチング処理を受け
る。そのため、テンプレート３２ａの文字領域７ｂの高
さが文字候補画像領域（ａ）のそれに一致するように拡
大あるいは縮小され、文字領域７ａにおけると同様、各
相対位置で、標準テンプレート３２ｅの文字領域８ａ〜
８ｇと文字候補画像領域（ａ）を含む文字候補画像領域
群との重なりによる正規化された評価値が算出される。

【００４８】このようなマッチング処理は、すべての文
字候補画像領域に関して、全ての位置合わせ用テンプレ
ート３２ａ〜３２ｄにおける全ての文字領域７ａ〜７ｇ
について行われ、それらの最大評価値を与える標準テン
プレート３２ｅのプレート位置情報およびそのときの倍
率についての情報がナンバープレート領域決定部３１に
より選択され、それらの情報がナンバープレート位置情
報格納部１５に格納される。

【００４９】このように、各テンプレート３２ａ〜３２
ｅの拡大および縮小が可能であることから、大判、中判
および小判といったナンバープレートの大きさに拘わら
ず、また走行車両の速度差による撮影距離差に基づく画
像上でのナンバープレートの大きさの変化に拘わらず、
画像上のナンバープレートの大きさに柔軟に対応するこ
とができ、高い精度でナンバープレート位置の情報を得
ることができる。

【００５０】再び図１を参照するに、第２のナンバープ
レート位置検出手段１４は、 Gaborフィルタ処理部２３
を用いた処理とは異なる手法により、メモリ２０の多値
デジタル画像からナンバープレート位置を検出する。

【００５１】第２のナンバープレート位置検出手段１４
は、多値デジタル画像にそれぞれの画像濃度に応じて統
合する領域分割処理を施して、複数の分割領域を生成
し、生成した文字候補領域の幾何的特徴を基準値と比較
し、その比較条件に合致する文字候補領域を抽出する文
字候補領域抽出部３２と、抽出された文字候補領域につ
いて文字であるか否かを判定する文字領域判定部３３
と、その比較基準値を含むその他の情報を格納する辞書
格納部３４とを備える。

【００５２】第２の文字候補領域抽出部３２は、等濃度
領域合併法により多値デジタル画像を複数の領域に分割
する。ナンバープレート内の文字と背景との濃淡値の差
よりも、ナンバープレートの文字領域を構成する画素の
濃淡値の差は、小さい。従って、第２の文字候補領域抽
出部３２による領域分割処理によってナンバープレート
の文字領域部を含む文字候補領域が生成される。

【００５３】第２の文字候補領域抽出部３２は、さら
に、メモリからなる辞書格納部３４に格納されたナンバ
ープレートの文字部についての情報、例えばナンバープ
レートプレートの文字部の数についての情報、各文字部
の縦横比についての情報等を基準に、文字候補領域を抽
出する。辞書格納部３４には、第２の文字候補領域抽出
部３２の等濃度領域合併法での閾値を可変とするステッ
プ値αが格納されている。

【００５４】また、第２のナンバープレート位置検出手
段１４にも、第１のナンバープレート位置検出手段１３
におけると同様な画像縮小部３５および座標値変換部３
６を適用することができる。図１に示す例では、画像縮
小部３５および座標値変換部３６が、それぞれ第２の文
字候補領域抽出部３２および文字領域判定部３３の前段
に挿入されている。

【００５５】図６は、第２の文字候補領域抽出部３２の
動作フローチャートであり、この第２の文字候補領域抽
出部３２の動作を図６に沿って説明する。

【００５６】第２の文字候補領域抽出部３２は、ステッ
プＳ１０１で、等濃度領域合併法を実行する。この等濃
度領域合併法により、各１つの画素ごとに、この画素
と、これに隣接する８個の周囲の画素との濃度を順次比
較し、その濃度差が閾値（ｔｈｄ）以下であれば、その
画素を合併し、統合によって複数の領域すなわち文字候
補領域を生成する。

【００５７】第２の文字候補領域抽出部３２は、分割さ
れた文字候補領域の数（nr）、各文字候補領域の外接矩
形、および領域分割後の画像についての情報を求める。
同一領域に分類された全ての画素は、１〜nrの値のう
ち、同一ラベル値が付される。また、第２の文字候補領
域抽出部３２は、辞書格納部３４に格納された最小分割
数（min nr）および最大分割数（max nr）を基準とし
て、文字候補領域の数（nr）が最小分割数（min nr）よ
りも小さいと（ステップＳ１０２）、領域分割時の閾値
（ｔｈｄ）が大きすぎると判断し、閾値をステップ値α
分、減少させる（ステップＳ１０３）。この新たな閾値
により、再度、ステップＳ１０１が繰り返される。

【００５８】続いて、第２の文字候補領域抽出部３２
は、文字候補領域の数（nr）が最大分割数（max nr）よ
りも大きいと（ステップＳ１０４）、領域分割時の閾値
（ｔｈｄ）が小さすぎると判断し、閾値をステップ値α
分、増大させる（ステップＳ１０５）。この新たな閾値
により、第２の文字候補領域抽出部３２は、再度、ステ
ップＳ１０１を繰り返す。最小分割数（min nr）には、
例えばナンバープレートプレートが持つ文字の最小値で
ある５を設定し、最大分割数（max nr）には、１０〜１
００の適正な値を設定することができる。

【００５９】文字候補領域の数（nr）が最小分割数（mi
n nr）と最大分割数（max nr）との間の適正な値を示す
ように領域分割がなされると、第２の文字候補領域抽出
部３２は、文字候補数の初期値を「０」に設定し（ステ
ップＳ１０６）、判定すべき分割領域番号（０〜nr）を
設定する（ステップＳ１０７）。次に、第２の文字候補
領域抽出部３２は、各分割領域の縦横比（ｈｔ／ｗｄ）
を、辞書格納部３４に格納された縦横比の最小値（min
r ）、最大値（max r ）とそれぞれ比較する。この比較
により、最小値（min r ）よりも小さな縦横比（ｈｔ／
ｗｄ）、あるいは最大値（max r ）よりも大きな縦横比
（ｈｔ／ｗｄ）を持つ分割領域は、いずれも文字領域で
はないと判定され、該当する分割領域の全画素に画素値
「０」が与えられる。第２の文字候補領域抽出部３２
は、再びステップＳ１０７に戻り、全ての分割領域に同
様な処理を施す。

【００６０】さらに、第２の文字候補領域抽出部３２
は、ステップＳ１０９で、ステップＳ１０８を経た文字
候補領域である分割領域について、各分割領域の画素数
（Ｓ）を辞書格納部３４に格納された画素数の最小値
（min Ｓ）、最大値（max Ｓ）とそれぞれ比較する。こ
の比較により、最小値（min Ｓ）よりも小さな画素数
（Ｓ）、あるいは最大値（max Ｓ）よりも大きな画素数
（Ｓ）を持つ分割領域は、いずれも文字領域ではないと
判定され、該当する分割領域の全画素に画素値「０」が
与えられる。第２の文字候補領域抽出部３２は、再びス
テップＳ１０７に戻り、全ての分割領域に同様な処理を
施す。

【００６１】ステップＳ１０９を経た文字候補領域は、
文字である可能性が高いことから、第２の文字候補領域
抽出部３２は、ステップＳ１１０において、その分割領
域の外接矩形に関する座標位置を一時的に保持する。ま
た、第２の文字候補領域抽出部３２は、ステップＳ１１
１で、文字候補数を順次インクリメントする。

【００６２】第２の文字候補領域抽出部３２は、全ての
分割領域について、前記した判定による抽出処理を施
し、さらに、ステップＳ１１２において、文字領域であ
ると判定された分割領域が１つ以上あるか否かを判定す
る。文字領域として、１つ以上分割領域の位置情報があ
れば、第２の文字候補領域抽出部３２は、抽出動作を終
了する。他方、文字領域として１つの文字領域も検出さ
れていなければ、第２の文字候補領域抽出部３２は、領
域分割時の閾値（ｔｈｄ）が大きすぎると判断し、閾値
をステップ値α分、減少させる（ステップＳ１１３）。
その結果、この新たな閾値により、再度、ステップＳ１
０１からの手順が繰り返される。

【００６３】続いて、文字領域判定部３３は、第２の文
字候補領域抽出部３２により抽出された、文字としての
可能性が高い文字候補領域について、辞書格納部３４に
格納された文字パターンに沿って、従来よく知られたパ
ターンマッチング手法を施す。このパターンマッチング
法では、文字候補領域のパターンと、辞書格納部３４に
格納された文字パターンとの重なり具合が類似度として
算出され、この類似度が閾値を越える文字候補領域を文
字として判定し、閾値以下の文字候補領域を文字ではな
いと判定する。文字ではないと判定された文字候補領域
の画素の値は「０」に設定される。他方、文字として判
定された文字候補領域についての外接矩形の座標、その
画素に割り当てられたラベル値等が文字情報格納部１６
に格納される。

【００６４】ナンバープレート位置検証手段１７は、ナ
ンバープレート位置情報格納部１５および文字情報格納
部１６に格納された情報を比較して、第１のナンバープ
レート位置検出手段１３によって求められたナンバープ
レート位置情報格納部１５の情報が妥当であるか否かを
検証する。

【００６５】ナンバープレート位置検証手段１７による
検証は、第１のナンバープレート位置検出手段１３で得
られたナンバープレート領域と、第２のナンバープレー
ト位置検出手段１４で検出された文字領域とが相互に重
複するか否かについておこなわれる。第１のナンバープ
レート位置検出手段１３で得られたナンバープレート領
域に、第２のナンバープレート位置検出手段１４で得ら
れた文字領域が１つでもその一部が重複していれば、ナ
ンバープレート位置検証手段１７は、第１のナンバープ
レート位置検出手段１３で得られたナンバープレート領
域が妥当であると判断する。

【００６６】図７は、ナンバープレート位置検証手段の
動作説明図である。この図７（ａ）に示されているよう
に、第１のナンバープレート位置検出手段１３で検出さ
れたナンバープレートプレート領域３７から第２のナン
バープレート位置検出手段１４で検出された文字領域３
８の一部がはみ出して重複するとき、ナンバープレート
位置検証手段１７は、はみ出し部を取り込むべく拡大さ
れた新たな領域３９をナンバープレート位置として、そ
の矩形座標の情報を文字認識手段１１に送る。

【００６７】他方、第１のナンバープレート位置検出手
段１３で得られたナンバープレート領域と、第２のナン
バープレート位置検出手段１４で得られた文字領域とに
全く重複する部分がないと、ナンバープレート位置検証
手段１７は、第１のナンバープレート位置検出手段１３
で得られたナンバープレート領域をナンバープレート位
置として文字認識手段１１に送るが、この場合、その結
果の再確認が必要である旨の警報を意味する信号を発
し、ユーザに警告を与えることが望ましい。

【００６８】文字認識手段１１は、例えば従来における
同様な文字切り出し手法を用いて、ナンバープレート位
置検証手段１７から得たナンバープレート領域から文字
を切り出し、それぞれの文字をパターンマッチングの手
法により読み取る。

【００６９】このように、ナンバープレート検出装置１
０では、多値デジタル画像を直接に２値化、あるいは微
分処理することのない相互に異なる手法を利用した第１
のナンバープレート位置検出手段１３および第２のナン
バープレート位置検出手段１４からの情報に基づいて、
天候の影響等を受けることなくナンバープレート位置が
正確に特定される。

【００７０】また、プレート抽出機能部２２で使用され
るテンプレートは、対象となる処理画像の大きさに応じ
て可変であることから、車両間での撮影距離の増減に伴
う画像上のナンバープレートの大きさに柔軟に対応する
ことができ、撮影距離の増減等があっても高い精度でナ
ンバープレート位置を検出することができる。

【００７１】さらに、第１具体例では、第１および第２
の各検出手段１３および１４に、画像の高速処理のため
の画像縮小部２６および３５と、これに関連して座標値
変換部２７および３６を組み込んだ例を示したが、これ
らを不要とすることができる。しかしながら、ビデオ入
力部１８として高解像度のカメラを使用したり、このカ
メラによって大きな原画像が得られる場合、画素数の低
減が大きな問題を引き起こさない限り、高速処理を可能
とする図示の例が望ましい。

【００７２】図８は、第２具体例を部分的に示すグロッ
ク図である。図８に示す例では、図１に示したナンバー
プレート検出装置１０のナンバープレート位置検証手段
１７と、文字認識手段１１との間にリトライ判別手段４
０が挿入されている。

【００７３】リトライ判別手段４０は、例えば、第１の
ナンバープレート位置検出手段１３で得られたナンバー
プレート領域と、第２のナンバープレート位置検出手段
１４で得られた文字領域とに全く重複する部分がない
と、第１のナンバープレート位置検出手段１３で得られ
たナンバープレート位置が誤っている可能性があると判
断する。

【００７４】このような場合、リトライ判別手段４０
は、第２のナンバープレート位置検出手段１４で得られ
た文字領域情報に基づいて、第１のナンバープレート位
置検出手段１３のプレート抽出機能部２２に再抽出作業
を命じる。

【００７５】図１に示した例では、プレート抽出機能部
２２の寸法変更部２９で取り扱われた情報は文字抽出機
能部２１によって得られた文字候補領域の外接矩形であ
ったが、リトライ判別手段４０は、文字情報格納部１６
に格納された文字領域の外接矩形の情報をプレート抽出
機能部２２に送る。

【００７６】これにより、第１のナンバープレート位置
検出手段１３のプレート抽出機能部２２は、第２の文字
候補領域抽出部３２により求められた文字領域情報に基
づいて、図４に示したテンプレートテンプレート３２ａ
〜３２ｅを用いて、評価値算出部３０で評価値を算出
し、ナンバープレート領域決定部３１でナンバープレー
ト位置を求める。このナンバープレートプレート位置の
情報が最終決定として、文字認識手段１１に送られる。

【００７７】この第２具体例では、第１のナンバープレ
ート位置検出手段１３により求められたナンバープレー
ト位置に誤りがあっても、第２のナンバープレート位置
検出手段１４により求められた文字候補領域についての
情報によって、正しいナンバープレート位置を検出する
ことが可能となる。従って、ナンバープレート位置の誤
認識およびそれに伴うナンバープレートの誤認識の可能
性を大きく低減することができる。

【００７８】各具体例では、第１のナンバープレート位
置検出手段１３および第２のナンバープレート位置検出
手段１４を組み合わせた例について説明したが、これら
を独立的に用いることができる。第２のナンバープレー
ト位置検出手段１４を独立的に用いる場合、第２具体例
で説明したとおり、第２のナンバープレート位置検出手
段１４によって求められた文字領域からナンバープレー
ト領域を特定するために、第２のナンバープレート位置
検出手段１４に第１のナンバープレート位置検出手段１
３のプレート抽出機能部２２が組み合わせて使用され
る。

【００７９】各ナンバープレート位置検出手段１３およ
び１４は、いずれも多値デジタル画像を直接に２値化、
あるいは微分処理を施すことなく多値デジタル画像処理
を領域分割処理しあるいは周期反応フィルタ処理を利用
していることから、天候の影響等を受けることなくナン
バープレート位置を正確に特定することが可能となる。

【００８０】本発明に係る文字領域抽出方法は、前記し
たようなナンバープレート検出装置の他、例えばＯＣＲ
のような文字読み取り装置における文字領域の抽出法に
も適用することができる。このような文字読み取り装置
等の抽出法では、文字パターンとのマッチング処理に使
用される辞書は、それぞれの分野あるいは用途に応じて
最適な辞書を適宜利用することが望ましい。

【００８１】

【発明の効果】本発明の文字領域抽出法によれば、多値
デジタル画像に２値化処理あるいは微分処理を施すこと
なくこの多値デジタル画像の領域分割処理によって得ら
れた文字領域候補をその幾何的特徴に基づいて選択し、
さらに文字パターンとのマッチング処理により類似度が
算出されることから、従来のような天候変化の影響を強
く受けることなく、文字領域を高い精度で確実に抽出す
ることができる。

【００８２】また、本発明のナンバープレート検出装置
では、多値デジタル画像に直接２値化処理を施すことな
く、また微分処理を施すことなく、多値デジタル画像に
領域分割法を施しあるいは周期的明暗部を強調するフィ
ルタ処理を施し、その処理画像に基づいて文字候補領域
の抽出操作が行われる。

【００８３】従って、本発明のナンバープレート検出装
置によれば、従来の検出装置における程に強く悪天候の
影響を受けることなく、文字候補画像領域から雑画部分
に対応する領域をより確実に排除することができ、これ
により、安定した高い精度でナンバープレート位置を検
出することができる。

【図面の簡単な説明】

【図１】本発明に係るナンバープレート検出装置を組み
込んだナンバープレート認識装置を示すブロック図であ
る。

【図２】本発明に係る第１のナンバープレート位置検出
手段に組み込まれた２次元のＧａｂｏｒフィルタの一例
を示すグラフである。

【図３】本発明に係る入力画面、 Gaborフィルタ処理画
像および第１の文字候補領域抽出部処理画像の一例を示
す画像図である。

【図４】本発明に係るテンプレート群を示す説明図であ
る。

【図５】本発明に係る評価値算出部によるテンプレート
重ね合わせ処理の説明図である。

【図６】本発明に係る第２の文字候補領域抽出部の動作
フローチャートである。

【図７】本発明に係るナンバープレート位置検証手段の
動作を説明するための説明図である。

【図８】本発明に係る第２具体例を部分的に示すブロッ
ク図である。

【符号の説明】

１０ナンバープレート検出装置１２撮像手段１３第１のナンバープレート位置検出手段１４第２のナンバープレート位置検出手段１５ナンバープレート位置情報格納部１６文字情報格納部１７ナンバープレート位置検証手段２３フィルタ処理部２４第１の文字候補領域抽出部２５座標値格納部２６、３５画像縮小部２７、３６座標値変換部２８テンプレート格納部２９寸法変更部３０評価値算出部３１ナンバープレート領域決定部３２第２の文字候補領域抽出部３３文字領域判定部３４辞書格納部４０リトライ判別手段

Claims

【特許請求の範囲】

【請求項１】文字を含む多値デジタル画像から文字領
域を抽出する方法であって、前記画像をそれぞれの画素
濃度に応じて統合する領域分割処理により、複数の文字
候補領域を生成し、生成された文字候補領域の幾何的特
徴を基準値と比較し、その比較条件に合致する文字候補
領域について、予め設けられた文字パターンとのマッチ
ング処理により類似度を算出し、該類似度が規定値を越
えているとき該当文字候補領域を文字領域として抽出す
ることを特徴とする文字領域抽出方法。
【請求項２】前記領域分割処理の実行は閾値を可変と
する等濃度領域合併法により行われ、統合により生成さ
れる文字候補領域の数が所定の範囲外にあるとき、前記
閾値を変更して前記領域分割処理を繰り返すことを特徴
とする請求項１記載の文字領域抽出方法。
【請求項３】ナンバープレートを含む車両を撮影して
多値デジタル画像を得る撮像手段と、前記多値デジタル
画像からナンバープレート位置を検出するナンバープレ
ート位置検出手段とを含み、該ナンバープレート位置検
出手段が前記前記デジタル画像の周期的な明暗部分を検
出して該明暗部分を強調するフィルタ処理部と、該フィ
ルタ処理部により検出された画像強調領域を文字候補画
像領域として抽出する文字候補領域抽出部と、該文字候
補領域抽出部により得られた文字候補画像領域からナン
バープレート位置を決めるプレート抽出機能部とを備え
るナンバープレート検出装置。
【請求項４】前記フィルタ処理部は、 Gaborフィルタ
を備える請求項３記載のナンバープレート検出装置。
【請求項５】前記フィルタ処理部の前段には、画像縮
小部が挿入されており、前記文字候補抽出部の後段に
は、その出力を縮小前の画像座標に対応させるための座
標値変換部が挿入されていることを特徴とする請求項４
記載のナンバープレート検出装置。
【請求項６】前記プレート抽出機能部は、互いに異な
る文字領域のパターンが規定された複数のテンプレート
を格納するテンプレート格納部と、前記文字候補画像領
域と前記テンプレートの前記文字領域との組合せに応じ
て、該文字領域を対応する文字候補画像領域の大きさに
一致させるべく前記テンプレートの寸法を変更する寸法
変更部と、前記各文字候補画像領域と前記各テンプレー
トの前記文字領域との全ての組合せ毎に、前記テンプレ
ートと前記文字候補画像領域とのマッチング値を算出す
る評価値算出部と、該評価算出部によるマッチング値が
最大値を与えるテンプレート位置をナンバープレート位
置として出力するナンバープレート領域決定部とを備え
る請求項３記載のナンバープレート検出装置。
【請求項７】前記評価値算出部は、前記寸法変更部分
による前記テンプレートの変更倍率に応じて、正規化さ
れた値のマッチング値を前記ナンバープレート領域決定
部に出力する請求項６記載のナンバープレート検出装
置。
【請求項８】ナンバープレートを含む車両を撮影して
多値デジタル画像を得る撮像手段と、前記多値デジタル
画像からナンバープレート位置を検出するナンバープレ
ート位置検出手段とを含み、該ナンバープレート位置検
出手段が前記デジタル画像をそれぞれの画素濃度に応じ
て統合する領域分割処理により、複数の文字候補領域を
生成し、生成した文字候補領域の幾何的特徴を基準値と
比較し、その比較条件に合致する文字候補領域を抽出す
る文字候補領域抽出部と、抽出された文字候補領域につ
いて文字であるか否かを判定する文字領域判定部と、文
字であると判定された文字候補領域からナンバープレー
ト位置を決めるプレート抽出機能部とを備えるナンバー
プレート検出装置。
【請求項９】前記文字候補領域抽出部の前段には、画
像縮小部が挿入されており、前記文字候補抽出部の後段
には、その出力を縮小前の画像座標に対応させるための
座標値変換部が挿入されていることを特徴とする請求項
８記載のナンバープレート検出装置。
【請求項１０】前記プレート抽出機能部は、互いに異
なる文字領域のパターンが規定された複数のテンプレー
トを格納するテンプレート格納部と、前記文字候補画像
領域と前記テンプレートの前記文字領域との組合せに応
じて、該文字領域を対応する文字候補画像領域の大きさ
に一致させるべく前記テンプレートの寸法を変更する寸
法変更部と、前記各文字候補画像領域と前記各テンプレ
ートの前記文字領域との全ての組合せ毎に、前記テンプ
レートと前記文字候補画像領域とのマッチング値を算出
する評価値算出部と、該評価算出部によるマッチング値
が最大値を与えるテンプレート位置をナンバープレート
位置として出力するナンバープレート領域決定部とを備
える請求項８記載のナンバープレート検出装置。
【請求項１１】前記評価値算出部は、前記寸法変更部
による前記テンプレートの変更倍率に応じて、正規化さ
れた値のマッチング値を前記ナンバープレート領域決定
部に出力する請求項１０記載のナンバープレート検出装
置。
【請求項１２】前記文字候補領域抽出部は、閾値を可
変とする等濃度領域合併法により生成される文字候補領
域の数が所定の範囲外にあるとき、前記閾値を変更して
前記領域分割処理を繰り返すことを特徴とする請求項１
１記載のナンバープレート検出装置。
【請求項１３】ナンバープレートを含む車両を撮影し
て多値デジタル画像を得る撮像手段と、前記多値デジタ
ル画像からナンバープレート位置を検出する第１および
第２のナンバープレート位置検出手段とを含み、前記第
１のナンバープレート位置検出手段が前記デジタル画像
の周期的な明暗部分を検出して該明暗部分を強調するフ
ィルタ処理部、該フィルタ処理部により検出された画像
強調領域を文字候補画像領域として抽出する第１の文字
候補領域抽出部および該文字候補領域抽出部により得ら
れた文字候補画像領域からナンバープレート位置を決め
るプレート抽出機能部を備え、前記第２のナンバープレ
ート位置検出手段が前記デジタル画像をそれぞれの画素
濃度に応じて統合する領域分割処理により、複数の文字
候補領域を生成し、生成した文字候補領域の幾何的特徴
を基準値と比較し、その比較条件に合致する文字候補領
域を抽出する文字候補領域抽出部および抽出された文字
候補領域について文字であるか否かを判定する文字領域
判定部を備え、さらに前記プレート抽出部および第２の
文字候補抽出部により抽出された文字候補画像領域の一
部が重複するとき前記プレート抽出部により得られたナ
ンバプレート位置をナンバプレート位置として出力する
ナンバプレート位置検証手段が設けられたことを特徴と
する、ナンバプレート検出装置。
【請求項１４】前記ナンバプレート位置検証手段は、
前記プレート抽出部および第２の文字候補抽出部により
抽出された文字候補画像領域に重複する領域がなかった
とき前記プレート抽出部により得られたナンバプレート
位置をナンバプレート位置として出力すると共に、ナン
バープレート位置の再確認が必要である旨の警告を発す
ることを特徴とする請求項１３記載のナンバープレート
検出装置。
【請求項１５】さらに、前記プレート抽出部および第
２の文字候補抽出部により抽出された文字候補画像領域
に重複する領域がなかったとき前記第２の文字候補抽出
部により抽出された文字領域について前記プレート抽出
部に抽出動作を指示するリトライ判別手段が設けられた
ことを特徴とする請求項１３記載のナンバプレート検出
装置。