JP4977440B2 - 車両認識装置 - Google Patents

Description

本発明は、車両認識装置に係り、とくにカメラでナンバープレートを撮影して文字を読み取って車両を認識する車両認識装置に関する。

近年、車番認識装置が普及してきた。この装置は道路上にカメラを設置し、通過する車両のナンバープレート（以下単にプレートと称することがある）の番号などを自動認識する装置である。このような装置は駐車場などの入出門管理、旅行時間計測、犯罪車両検知などに利用されている。車番認識装置は、一般的にはカメラ、近赤外照明、画像処理装置で構成される。

ところで、日本のナンバープレートには字光式（文字が背後からの照明によって光る）タイプがある。この字光式プレートは近赤外光を照射すると文字部がハレーションを起し、文字認識できない場合がある。

また、一般車両のナンバープレート（標準プレートと称する）とは別に、自衛隊用のプレート、外交官用のプレート、回送車用のプレートなどがあるが、従来の装置ではこれらのプレートは認識対象外として扱うことが多い。

図３０は、従来の車番認識装置の基本構成を示す図である。夜間も撮影可能なようにカメラ１としては近赤外感度の高いカメラを用いる。ＬＥＤ照明２はカメラのシャッタ開放タイミングに合わせて点灯する。カメラ１の映像信号は画像処理装置３に伝送され、Ａ／Ｄ変換器４を介して画像メモリ５に格納される。画像メモリ５は各種画像処理のため、数十枚の画像を記憶できるように構成されている。画像メモリ５に格納されたカメラ映像を画像処理し、プレート検出部６で画像内におけるナンバープレートの位置を検出し、プレート認識部７でプレート領域の文字を抽出し、車番を認識する。なお、プレート検出部６、プレート認識部７はＣＰＵ８によりで制御される。

認識した結果は、通信部１０を介して上位システムに送信される。また、ＬＥＤとカメラの同期を合わせるための同期信号発生回路１１備えている。

このような、従来の車番認識装置は、一般的なナンバープレートを認識するための構成であり、字光式プレート、近赤外カットフィルタを装着したプレート、自衛隊用プレート、外交官用プレートなどの特殊プレートに対する認識は前述のように除外されることが多い。

しかしながら、近年、ナンバープレート認識システムへの性能要求は高まる傾向にあり、種々のナンバープレートを認識することが望まれている。また、プレートの文字情報以外の車両の特徴を認識することも望まれている。

なお、字光式ナンバープレートを認識する従来技術としては特許文献１が知られている。この文献では極めて大きな光パワーを有する照明設備を点灯し、該設備による発光波長の光だけをカメラで受光して字光式プレートを読み取ることが示されている。また、特許文献２には、何らかのセンサで字光式プレートか否かを判定し、字光式プレートの場合は照明を消して撮影することが示されている。

なお、赤外カットプレート、自衛隊用プレートなどの認識についての文献は見当たらない。また、特許文献３には、ナンバープレートの文字を全て読み取ることが示されている。また、非特許文献１には、文字が欠けている場合の対応方式が示されている。また、非特許文献２には、文字が欠けている場合に文字列の配列規則を用いて対応することが示されている。
特開平１１−３３９１７６号公報 特開平７−１２１７９４号公報 特開平６−２１５２９３号公報 「環境の明るさの変化にロバストな走行車両のナンバープレート認識」：電子通信学会論文誌D-IIVol.J81-D-IINo.9(1998) 「部分文字列の配置規則を考慮したナンバープレート領域抽出」：電子通信学会論文誌D-IIVol.J81-D-IINo.10(1998)

前記特許文献１および２は、字光式プレートに限定した技術である。また、特許文献１に示される技術では、前述のように、様々な波長成分の光を放射する字光式プレートの照明に勝る前記照明設備に膨大な光パワーが必要とされる。このため照明設備が大型化し高価格となる。

また、前記特許文献２に示される技術では、字光式と判断するために、光センサなどを必要とするため高速で走行する車両に対して反応できない場合がある。

また、従来技術では字光式ナンバープレートの照明用のランプ切れを考慮していないため、十分な認識率が得られないことがある。更に、ナンバープレートに近赤外線カットフィルタを装着したプレート、自衛隊用プレート、外交官用プレートなどを認識することができない。

また、非特許文献１に示す文字抽出方法は、ナンバープレートの汚れ、あるいは影で文字が欠けた場合に、一連番号の周辺文字の存在度合いを評価し補正することが記載されている。しかしながら、一般に一連番号以外の文字は非常に小さく見えるため、一連番号を検出してからでなければ周囲の文字領域を正確には定めることができない。このため、ノイズなどの影響を受けやすい。また、字光式のようなプレートに対応できる方法ではない。 非特許文献２においては、得られた一連番号の候補文字のある文字をナンバープレートの所定桁の文字と仮定し（例えば右端の文字）、その左にある理想ピッチ間隔と、実際の物体の間隔を求め、候補を選択する手法が記載されている。この方式の場合、ひらがな（用途コード）の情報を用いて欠損した一連番号の位置を強制的に設定しているが、ひらがな文字は一連番号に比べ小さな文字であるとともに、例えば、文字「あ」と「つ」では文字高さの差が大きい。また、「い」のように文字が分離するなどの問題があり、常に精度良く抽出できる方式ではない。

本発明は、これらの問題点に鑑みてなされたもので、一連番号の文字を正確に切り出すとともに、普通車などに取り付けられた標準プレート、および標準プレート以外のプレート、すなわち字光式プレート、近赤外カットプレート、自衛隊用プレート、外交官用プレート、回送車用プレート等の特殊プレートを高い認識率で認識することのできる車両認識装置を提供するものである。また、ナンバープレートの文字情報以外の特徴（ナンバープレートのさび、車両の色など）を認識し、より高度な車両認識情報を得ることのできる車両認識装置を提供するものである。

本発明は上記課題を解決するため、次のような手段を採用した。

近赤外カメラおよび可視カメラを用いて車両を撮影する撮影部と、近赤外カメラで撮影した画像と可視カメラで撮影した画像とを切り替えてプレート検出部に供給するカメラ画像切り替え制御部と、前記撮影部で撮影した画像を処理してナンバプレート領域を切り出すプレート検出部と、前記ナンバプレート領域から一連番号を切り出して文字認識するプレート認識部と、撮影した画像からナンバプレート以外の車両の特徴を抽出する特徴抽出部とを備え、前記近赤外カメラで撮影した画像、または近赤外カメラで撮影した画像から文字情報を認識できないときに切り替えられた可視カメラで撮影した画像をもとにプレート認識部が認識した文字情報、および特徴抽出部が抽出したナンバプレート以外の車両の特徴をもとに車両認識情報を得る車両認識装置において、前記プレート認識部は、撮影した画像を２値化して文字候補を抽出する一連番号候補検出部、ドット画像を作成するドット画像作成部、およびプレートの種別毎の文字配列を記憶した記憶部を備え、プレート領域を２値化処理して一連番号候補を抽出するとともに、ドット画像を抽出し、抽出した文字候補の一文字を選択して基準文字に設定し、この基準文字を基準に、あらかじめ設定しているプレートの種別毎の一連番号配列規則に応じて理想位置を設定し、この理想位置に最も近い文字あるいはドットを選択するとともに、理想位置と選択した文字あるいはドットの位置の誤差を累積し、さらに前記基準文字を文字候補数分入れ替えて前記誤差の累積を求め、最も誤差の累積が小さい基準文字および選択した文字あるいはドットを一連番号候補として抽出する。

本発明は、以上の構成を備えるため、一連番号の文字を正確に切り出すとともに、標準プレートおよび標準プレート以外の特殊プレートを高い認識率で認識することのできる車両認識装置を提供することができる。また、ナンバープレートの文字情報以外の特徴を認識し、より高度な車両認識情報を得ることのできる車両認識装置を提供することができる。

以下、最良の実施形態を添付図面を参照しながら説明する。図１は、標準プレートおよび特殊プレートを認識可能な車両認識装置を説明する図である。図１において、１−Ａは近赤外カメラ、１−Ｂはカラーあるいはモノクロの可視カメラ、２は人間に見えない波長の近赤外光を照射するＬＥＤ照明装置である。

３は画像処理装置であり、Ａ／Ｄ変換器４−Ａ，４−Ｂ、複数の画像メモリ５、画像メモリ５のデータを処理してプレート領域を切り出すプレート検出部６、プレート領域から一連番号を切り出してプレート（標準プレートを含む特殊プレート）を文字認識する特殊プレート認識部１２、一連番号が切り出せなかった場合に近赤外、可視カメラの画像を相互に切り替えて処理するカメラ画像切り替え制御部１３、車両の特徴を求める車両特徴抽出部１４から構成されている。なお、図１において図３０に示される部分と同一部分については同一符号を付して説明を省略する。

プレート検出部６は、図２のように入力画像を処理してプレート候補を抽出するもので、縦エッジ強調処理などによりプレート候補を作成し、最もプレートの形状に類似している物体位置を検出する。プレート候補に抽出には多種多様な方式があるが、本発明には直接関与しないため詳細は省略する。

図３は、特殊プレート認識部の詳細を説明する図である。特殊プレート認識部１２は、図３に示すように４つの機能を備える。プレート領域２値化部２０はプレート領域を所定のしきい値で２値化する。一連番号抽出部２１は、２値画像から一連番号の候補を抽出する。文字領域算出部２２は得られた一連番号の候補が標準プレートの場合は一連番号の位置座標から相対的に陸運支局コード、車種コード、用途コードの位置を算出する。文字認識部２３は、各領域を切り出しパターンマッチングあるいはニューラルネットワークなどの識別器を用いて文字認識する。

図４は、プレート領域画像の取得から各文字領域算出までの処理例を示す図である。なお、図中で陸運支局コードの画像を意図的に消しているのはプライバシー対応であり、本来は漢字やひらがなが表示されている。以下同様にプレート部の一部を消した画像を示す。

図５は、字光式プレートにおいて左側のランプが消えている場合の一連番号抽出例を示す図である。ランプが消えると文字が白文字と黒文字の２通りになるため、プレート領域を２値化したときに、黒い文字を検出することができない。

図６は、このような場合にも対応できる一連番号抽出部２１を説明する図である。図に示すように特殊プレート認識部１２の一連番号抽出部２１を構成する。すなわち、プレート２値化画像３０を対象に文字候補を抽出し３１、抽出した文字候補画像に対してピッチ誤差最小文字抽出処理３２を実行する。

前記プレート２値化画像だけでは一連番号が検出できない場合は、ドット画像２値化画像３３からドット候補を抽出し３４、抽出したドット候補画像に対してピッチ誤差最小文字抽出処理３２を実行する。ドット画像２値化画像３３から一連番号が検出できない場合は、エッジ２値化画像３５から文字候補を抽出し、抽出した画像３６を対象にピッチ誤差最小文字抽出処理３２を実行する。

次に、文字抽出処理の処理概要を、まずは一般のプレートを対象とする例で説明する。

図７は、図６のピッチ誤差最小文字抽出処理３２の処理例を説明する図である。文字候補が４つある場合に、例として文字「８」を基準とする。この文字「８」が４桁の一連番号の先頭文字か、２番目かなどを順次仮定し、１番目とすると図７の（１）のように理想位置が文字「８」の右に３文字分設定され、その理想位置と実際の文字座標とのずれを誤差として求める。右の２桁分の理想位置には該当する物体が無いため誤差が大きくなる。また、文字「８」が２桁目と仮定すると、図７（２）のように理想位置と実際の文字位置がずれているためやはり誤差が大きくなる。文字「８」が３桁目と仮定すると理想位置と実際の文字位置はほぼ一致するため誤差が小さくなる。同様に文字「８」が４桁目と仮定する処理を実行する。このような処理を文字候補数分繰り返し実行し、最も誤差が小さい条件で処理したときに各理想位置に近い物体を切り出すことで、一連番号を正確に抽出することが可能となる。

なお、日本車には中型プレートおよび大型プレートの２種類のプレートサイズがあるため、２種類の基準ピッチで実行する。また、プレートが傾いている場合もあるため、所定の角度に対応した基準位置を算出し、誤差を計算する。

図８は、一連番号抽出処理を説明する図である。まず、一連番号の候補サイズを算出する（ステップＳ４０）。候補サイズは日本車の場合、中型プレートは８０ｍｍ×４０ｍｍ、大型プレートは１２０ｍｍ×６０ｍｍであるが、プレートの傾きなどを考慮し高さ４０ｍｍ相当から１４０ｍｍ相当までの画素サイズで算出する。

一般にカメラは固定されているため、このサイズは一意に決まる場合もあるが、ナンバープレートが撮影される画面の位置によって大きさが多少変動する（画面の上になるほど文字が小さく見える）ため、プレートの撮影位置によって可変することが望ましい。

求めた文字サイズに該当する物体をプレートの２値画像から選択し（画像処理で一般的なラベリング処理、ラベル毎の領域抽出後、物体の大きさがしきい値以内のラベルのみを抽出する処理）、その物体の位置座標（Ｘ最小／最大、Ｙ最小／最大座標）を求める（ステップＳ４１）。その後に、文字数分ループ（図８では４個分）（ステップＳ４２）、基準位置数ループ（日本車の標準プレートの場合は４桁分）（ステップＳ４３）、中型／大型ループ（ステップＳ４４）、傾き−θ度、０度、＋θ（θは５度程度）度ループを行い（ステップＳ４５）、理想位置算出を実行する（ステップＳ４６）。なお、理想位置は図９のように中型、大型、およびそれらの傾きに応じて算出する。

誤差の算出（ステップＳ４７）は、理想位置の中心Ｘ，Ｙ座標と、抽出した文字候補の中心座標との差を累積するもので次式によって算出する。

ここで、ｎは理想位置の文字桁番号（０〜３：基準文字を除く）、ｊは理想位置ｎに最も近い物体の番号であり、obj_xcjは選択した物体ｊの中心Ｘ座標。同様にobj_ycjは選択した物体ｊの中心Ｙ座標を示す。st_xcnは理想位置ｎの中心Ｘ座標、st_ycnは理想位置ｎの中心Ｙ座標である。また、αは係数で１〜２の値をあらかじめ設定する。

基準文字が先頭桁の場合は、ｎが１〜３桁目の理想位置とそれぞれ近い物体の中心座標との差の絶対値を累積する。

ここで、図１０は、理想位置からの誤差算出処理を説明する図である。この処理では理想位置の中心座標と各物体の座標誤差が最も小さい物体を探す処理を実行する。図１０では理想位置ｎに最も近い物体は物体３であり、そのときの誤差は４となる（数式１のｊは３になる）。なお、理想位置から所定距離内に物体が無い場合は、誤差を１０００とおく。

以上の各処理を繰り返すと、条件毎に誤差と理想位置それぞれに最も近い位置にある物体の番号、座標が求まるのでこれを格納し、全ての条件での処理を実行する（ステップＳ４８）。全ての処理が終了すると、誤差が最も小さい組み合わせを選択する（ステップＳ４９）。なお、図７は中型プレートだけの例であるが、３番目に実行した誤差が最も小さいことから、そのときの理想位置に近い物体４つを選択することになる。

以上の処理（ステップＳ４２〜Ｓ４９）が標準プレート（中型プレート）の一連番号選択処理（ステップＳ５０）である。

ところで、理想位置との誤差を検出するだけでは一連番号を選択できない。すなわち、日本車にはドットを含む１〜４桁の文字が存在するため、文字の有無だけでなくドットの有無をチェックする必要がある。

図１１は、２桁のナンバープレートの例を示す図である。このナンバープレートでは、基準文字は２文字であり、理想位置に文字が無い場合が２箇所存在する。理想位置の周辺に文字が無い場合は、前述の例では誤差が１０００になる。しかし、このような場合には、図１１（４）のように、あらかじめドット画像からドットの位置座標（中心Ｘ，Ｙ座標）を求めておき、その位置と理想位置との差が所定以内にあれば、そのドット位置と理想位置の差を誤差として求める。これによりドットを含む１〜４桁の場合に対応することができる。

図１２は、字光式プレートにおいて、文字が右側しか切り出せない場合（左側のランプが切れた場合）を説明する図である。このような場合には、理想位置の近傍に文字が無い箇所が２箇所発生する。そのうち１箇所はドットもなく誤差が１０００となり、一連番号の選択が不可能になる。このため、図１２の（４）のようにあらかじめエッジ画像を２値化し文字の大きさに相当する物体を切り出しておき、その物体の位置座標（中心Ｘ，Ｙ座標）と理想位置との誤差を求め、所定以内にあればその物体を文字候補とする。

エッジ画像は文字色によらず候補が抽出できるので、ドット画像、エッジ画像を併用することで、字光式プレートでも認識可能となる。ただし、エッジ画像はノイズに敏感であるため、必ずしも文字候補を正確に抽出できない場合があるが、従来の全く抽出できない状態に比べると認識率は格段に向上する。

また、エッジ画像を２値化し文字候補を抽出する他に、プレートを２値化する場合の抽出色を反転して候補を選択することもできる。すなわち、図１２（１）では白文字を抽出しているが、黒文字を抽出する処理をエッジ画像での一連番号候補抽出の代用とすることができる。

図１３は、図１３に示すような４桁以外の文字あるいは欠損文字に対応可能な一連番号抽出処理処理を説明する図である。ドット画像から候補物体を抽出しその座標を記憶するドット画像の候補抽出処理（ステップＳ５５）、エッジ画像から文字候補を抽出しその座標を記憶するエッジ画像での一連番号候補抽出（ステップＳ５６）、およびドット、エッジ併用誤差算出処理（ステップＳ５７）を備える点で図８における処理とは異なる。

図１４は、前記ドット、エッジ併用誤差算出処理（ステップＳ５７）を説明する図である。ドット、エッジ併用誤差算出処理５７は、図１４に示すように文字候補との誤差算出６０の誤差がしきい値より大きければ、ドット候補との誤差算出６２を実行し、誤差がしきい値より大きければ、エッジ候補との誤差算出６４を実行することで実現する。エッジ画像での一連番号抽出処理（ステップＳ５６）は、反転文字抽出にしてもよい。

図１３に示す処理方式は、非特許文献２に類似した手法であるが、非特許文献２では文字が欠損しない場合（４桁ある）と３桁の場合は文字ピッチの比率の比較のみを利用している。また、２文字以上欠損した場合は文字ピッチが求められないため文字高さとピッチの比率を利用している。これに対し、本実施形態ではプレートのドット情報およびエッジ画像からの文字抽出を併用し、最も一連番号の配列に類似している文字候補を選択する手法であり、正確に一連番号を選択することが可能である。

また、ひらがな（用途コード）の情報も不要であり、正確な判断が可能である。また、非特許文献２は文字の桁を仮決めしたときに、左側に存在する文字だけを評価対象としているが、本実施形態では、基準文字が１桁目のときは右の３文字分の理想位置との誤差、４桁目のときは左３文字分の誤差というように基準文字が１〜４桁全てのケースを仮定し、かつ、文字候補が１０個あれば全ての文字候補を基準として誤差を求めているため字光式プレートの場合は特に明るさの影響で文字が太くなったり細くなったりしても正確に一連番号候補を選択することが可能である。

以上説明したように本実施形態によれば一連番号を正確に切り出せるとともに、ランプ切れが発生した字光式ナンバープレートのように一部の文字が不鮮明でも切り出すことが可能となり、認識率が大幅に向上する。

以上、標準プレートから一連番号を選択する方法を説明した。次に、自衛隊用ナンバープレート、外交官用ナンバープレート、回送車用ナンバープレート等の特殊プレートに対する認識処理について説明する。

図１５は、特殊プレートの例を示す図である。自衛隊用プレートは６桁であり、左２桁と右４桁が離れている構成、外交官用プレートは４桁であり、文字は等ピッチで並んでいる構成、回送車用プレートは３〜４桁で中心にドットがある構成となっている。

図１６は、特殊プレートを含むプレートに対する一連番号抽出処理を説明する図である。自衛隊用プレートの左４文字だけを見ると、ほとんど標準プレートと同じ配列であるため、処理の流れとしては、図１６に示すように実行する。

この処理は図８のステップＳ５０の処理（一連番号抽出処理）に相当するので、図１３の一連番号の候補抽出処理（ステップＳ４１）、ドット画像の候補抽出処理（ステップＳ５５）、エッジ画像での一連番号候補抽出（ステップＳ５６）の処理後に実行する。

図１６において、まず、文字候補が５文字以上かをチェックし（ステップＳ７０）、５文字以上の場合（文字候補数は図８の一連番号の候補抽出処理（ステップＳ４１）で求まっている）には自衛隊配列でピッチ誤差最小文字抽出を実行し７１、誤差が所定値以内であれば、自衛隊用プレート認識領域算出処理７３を実行し、文字認識処理７４を実行する。自衛隊用プレートの場合は文字桁が６桁であるため、図１３の基準位置ループ処理（ステップＳ４３）のｎは０〜５の６回になる。

また、誤差が大きい場合、あるいは文字候補が４文字以下の場合は標準プレートの配列でピッチ誤差最小文字抽出を実行し（ステップＳ７５）、誤差が所定値以内であれば、標準／回送プレート判定（ステップＳ７７）を実行し、標準プレートの場合は標準プレート認識領域算出処理（ステップＳ７９）を実行し、回送プレートの場合は、回送プレート認識領域算出処理（ステップＳ８０）を実行し、文字認識処理（ステップＳ８４）を実行する。

また、標準プレートでの配列チェック（ステップＳ７５）でＮＧと判定された場合は、外交官用プレートの配列でピッチ誤差最小文字抽出処理を実行し（ステップＳ８１）、誤差が所定値以内であれば、外交官用プレート認識領域算出処理８３を実行し、文字認識処理（ステップＳ８４）を実行する。

このように処理することにより、特殊プレートに対しても柔軟に認識処理を施すことが可能になる。

図１７は、標準プレートと回送車用プレートの判定処理を説明する図である。回送車用プレートは３文字以上であるため、２文字以下かをチェックし（ステップＳ９０）、２文字以下の場合は標準プレートと判断する（ステップＳ９４）。文字が３桁以上の場合は、文字が４桁かをチェックする（ステップＳ９１）。４桁の場合は標準／回送プレートともにハイフンが常にセンタにドットとして存在するため、周辺の陸運支局、車種領域に文字があるがをチェックし、文字があれば標準プレートと判断し（ステップＳ９４）、なければ回送車用プレートと判定する（ステップＳ９５）。また、３桁の場合は中央にドットがあるかをチェックし、無ければ標準プレートと判定し（ステップＳ９４）、ドットがあれば回送車用プレートと判定する（ステップＳ９５）。

ここで、図１８は自衛隊用プレートにおける認識領域設定例を示す図、図１９は標準プレートにおける認識領域設定例を示す図、図２０は外交官用プレートにおける認識領域設定例を示す図、図２１は回送車用プレートにおける認識領域設定例を示す図、図２２外交官用プレート（中国）における認識領域設定例を示す図である。

図１６に示す自衛隊プレート認識領域算出処理（ステップＳ７３）では、図１８に示すように、プレートに数字しかないので検出した文字候補の領域をそのまま設定する。標準プレート認識領域算出処理（ステップＳ７９）では、図１９に示すように陸運支局コード、車種コード、用途コードの位置を一連番号からの相対位置ａ〜ｄなどの値で設定する。外交官用プレート認識領域算出処理（ステップＳ８３）では、図２０に示すように、一連番号から相対的に漢字領域までの距離ａで設定する。また、回送プレート認識領域算出処理（ステップＳ８０）では、図２１に示すように一連番号から相対的に漢字領域までの距離ａで設定する（３桁と４桁でａの値を変える）。

また、中国外交官用プレートの場合であれば、図２２に示すように配列が決まるので、その配列でのピッチ誤差最小文字抽出を実行すれば、容易に中国外交官用プレートを認識することが可能となる。なお、中国外交官用プレートの場合、先頭文字は漢字であり、一連番号のサイズにならないことが多いため、基準文字位置は先頭を除く２〜７桁目と仮定し誤差を算出すればよい。以上により、図１に示す特殊プレート認識部１２を構成することができる。

次に、図１に示すカメラ画像切り替え制御部１３の詳細を説明する。

図２３は、近赤外カメラ１−Ａおよび可視カメラ１−Ｂを併用した認識処理を説明する図である。近赤外カットプレートを装着したナンバープレートの場合、図２３に示すように近赤外カメラではプレートを認識することができない。しかし、可視カメラではコントラストは低下するもののプレートを読み取ることが可能である。

このため、図２３に示すように、画像メモリ５に近赤外カメラ１−Ａおよび可視カメラ１−Ｂで取得した画像を取り込んでおき、まず、近赤外カメラで認識処理を実行し、認識できたか否かを判断する（ステップＳ１００，１０１）。認識できた場合は次の車両を認識、認識できない場合は、可視カメラの映像に切り替え認識する（ステップＳ１０２）。

図２４は、近赤外カメラ１−Ａおよび可視カメラ１−Ｂを併用した認識処理（近赤外カットプレートを装着したナンバープレートを考慮）を説明する図である
まず、画像メモリ５に近赤外カメラ１−Ａおよび可視カメラ１−Ｂで取得した画像を取り込んでおき、近赤外カメラで認識処理を実行し、認識できたか否かを判断する（ステップＳ１００，１０１）。近赤外カメラの映像で認識できない場合は、特殊プレート判定を実行し（ステップＳ１０５）、赤外カットプレートを装着したナンバープレートであると判定した場合は感度補正を実行し（ステップＳ１０７）、その後可視カメラの映像で認識処理を実行する（ステップＳ１９２）。

特殊プレート判定（ステップＳ１０５）は、近赤外カメラの映像で認識できない場合に、画像中に黒い四角の物体があるか否かを判定するもので、所定しきい値より暗い濃度を抽出する２値化処理を実行し、得られた物体の形状をチェックすることで実現する。なお、赤外カットプレートを装着しているナンバープレートの場合は、夜間は可視カメラでも撮影することは困難である。このため、認識処理を中止し、赤外カットプレートを装着したナンバープレートである旨を通知するのみとしてもよい。

なお、図１に示すプレート検出部６は、処理の対象領域がプレートの形状に近いかどうかを判定し、対象領域毎に優先順位を計算している。図２ではプレート候補を１個示しているだけであるが、実際には図２５に示すようにプレート候補の優先順位に従ってプレート２値化、文字抽出を実行する。近赤外カメラと可視カメラを併用した場合、各画像のプレート候補優先順位はそれぞれ図２６のようになる。

なお、近赤外カメラにプレートが映っていなくても、画像処理において、文字が無いと判断することは難しい。このため、近赤外の候補の数だけ２値化、文字抽出処理を実行し、プレートの文字がなければ可視カメラのプレート候補の優先順位に従って処理することになる。

しかしながら、このように処理すると処理時間が大幅に増加する。このため、予め近赤外カメラおよび可視カメラでプレート候補を作成し、それぞれの優先順位を求めるのでなく、図２７に示すように、近赤外カメラおよび可視カメラの両画像を比較して優先順位を定める。この処理により、プレート形状に類似する順番に処理が進むため、２カメラ併用方式でも高速にプレートを認識することが可能となる。なお、優先順位の求め方は、種々あるが、例えば標準プレートのＸ幅、Ｙ幅をあらかじめ設定し、このサイズと各プレート候補のサイズの誤差が小さい順に順位付けするなどがある。

図２８は、近赤外カメラ１−Ａおよび可視カメラ１−Ｂを併用し、設定されたプレート候補優先順位に従って行う認識処理を説明する図である。なお、図において図２４に示される部分と同一部分については同一符号を付して説明を省略する。

図２８において、まず、特殊プレート判定を実行し（ステップＳ１０５）、赤外カットプレートを装着したナンバープレートであると判定した場合は感度補正を実行し（ステップＳ１０７）。次に、プレート優先順位を１に設定し、その候補が近赤外カメラの映像であるか否かをチェックし（ステップＳ１１１）、近赤外カメラの画像である場合は、近赤外カメラの画像に対し認識処理を実行する（ステップＳ１００）。可視カメラの画像の場合は可視カメラ画像に対して認識処理を実行する（ステップＳ１０２）。

前記認識処理の結果がＯＫであるか否かを判定し（ステップＳ１０３）、ＯＫの場合は終了し、ＮＧの場合は、他に候補があるか否かを判断し（ステップＳ１１３）、他に候補がある場合には優先番号を更新して（ステップＳ１１４）、再処理を実行する。

次に、図１に示す車両特徴抽出部１４の処理の詳細を説明する。車両特徴抽出部１４は、以下の機能を有する。

（１） 字光式プレート、赤外線カットプレートを判定
近赤外カメラの映像と可視カメラの映像をチェックすることにより、両プレートを判別することができる。例えば、近赤外カメラ画像に黒い四角の物体あるいは凸形状の物体があれば、赤外線カットプレートと判定する。また、文字認識できたプレート領域についてカラーカメラで色をチェックし、緑色成分があれば字光式と判定する。

（２）車両かそれ以外
近赤外画像、可視画像ともに全く認識できない場合は、車両のフロント画像であるか否かをチェックし、車両以外であれば、その情報を通信部を介して上位システムに伝送する。例えば、路面の画像、バイクなどの二輪車を判定する。車両を撮影した画像の場合は長い水平エッジがほとんどの場合存在するが、二輪車の場合は水平エッジより縦エッジの方が多い。このため、エッジの縦、横成分の比率によって、二輪車か車両かを判定することができる。また、路面を撮影した画像の場合は、濃度値が画面においてほぼ一定となる。このため、濃度の分散値が所定値以下であれば路面と判定することができる。

（３）ヘッドライトの点灯状態
夜間では、プレート認識したときのプレート領域を基準として、その近傍に高輝度の領域が２つあるか否かを判定し、1個しかない場合は、片目ランプ車両、何も無い場合は無灯火車両と判定する。具体的処理としては、プレート位置の上部に処理領域を設定し、その領域に対して所定しきい値より明るい物体を検出する２値化処理を実行し、所定サイズより大きな物体の数をカウントすればよい。なお、画面より外れる場合があるが、見つけた高輝度物体の中心座標から所定の幅（プレートの中型/大型車両の判定がプレート認識時に終了しているので中型プレートの場合なら１．５〜１．８ｍ程度の幅）が画面にあるかをチェックすれば、片目ランプ車両の判定精度を向上することができる。

（４）ナンバープレートの状態
ナンバープレートを取り付ける止めねじが錆びていると、その下にある陸運支局コード、車種コードの認識に悪影響を与える。このため、錆の有無をカラーカメラでチェックし、チェック結果を上位システムに伝送する。これにより、錆びている場合は、認識結果を手動で確認するなどの対応が可能となる。また、封印に取付けられているアクセサリの有無をチェックする。また、プレート全体が汚れているかを茶色成分の検出によって判定する。

（５）エンブレムなどの画像抽出
近赤外カメラの画像に対し、プレートの近傍にある、エッジの強い領域で所定サイズの大きさの領域を抽出し、この画像を上位システムに伝送することにより車種等を特定することができる。例えば、あらかじめエンブレムのパターンを複数登録しておき、パターンマッチングによりエンブレムを認識することができる。また、あらかじめエンブレムパターンを学習しておき、その学習データによりニューラルネットワークなどの識別器を用いてパターン認識することによりし、エンブレムを認識することができる。これにより、例えば、「ｘｘ」のマークがある車といった検索が可能となる。また、カラーカメラの場合は、赤、青など指定の色の物体の所定サイズの領域を切り出すことにより車両の色を認識することができる。

以上、近赤外カメラと可視カメラを併用する例を説明したが、紫外カメラと可視カメラを併用することもできる。

近年、紫外領域に高い感度を有するＣＣＤを用いた紫外カメラが普及し、また紫外ＬＥＤも市販されるようになった。この紫外カメラと紫外ＬＥＤを用いることで、赤外カットプレート、字光式プレートを認識することが可能となる。

また、中国外交官用プレートでは、プレートに青色の塗料が背景として塗布されている。この塗料は近赤外を反射する特性である。このため、近赤外カメラで撮影すると、文字の白色と背景の青色が同じように白く見えるため認識できないことが多い。このため、前記紫外カメラでの撮影は有効である。

図２９は、紫外カメラを用いた車両認識装置の例を説明する図である。この例では、図１におけるカメラおよび照明を、紫外カメラ２００および紫外ＬＥＤ２０１に変更している。紫外ＬＥＤは赤外ＬＥＤに比して照射パワーが小さいため、カメラ入力画像に対し明るさを補正する感度補正回路２０２を付加する。なお、図１に示すカメラ画像切り替え制御部１３は紫外カメラを単体で使用する場合には不要である。その他の構成要素は図１と同じである。

可視カメラ（カラーカメラ）を装着して車両特徴抽出部においてカラー情報による判定を実行することができる。このように、紫外カメラ２００および紫外ＬＥＤ２０１を用いることにより、字光式プレート、赤外カットプレート、赤外反射プレートを共に認識することが可能となる。

また、紫外カメラの感度が不足する場合は、紫外カメラ２００と近赤外カメラあるいは、可視カメラ（カラー、モノクロ）とを併用し、少なくとも昼間だけは赤外カット、赤外反射プレートを紫外カメラで認識し、夜間は近赤外あるいは可視カメラで認識する構成としてもよい。なお、近赤外カメラと併用する場合は、ＬＥＤ照明に近赤外ＬＥＤ、紫外ＬＥＤを装着するすることになる。この場合各カメラによってシャッター開放タイミングが異なるので、同期信号発生回路はそれぞれのカメラのタイミングに合わせるため２つ設けることになる。

以上説明したように、本実施形態によれば、標準プレートの外に、字光式、自衛隊用、外交官用、あるいは回送車用、あるいは赤外カットプレートなどの特殊プレートを認識することが可能となり、車両の認識率の大幅な向上が可能となる。これにより、入出門管理、犯罪車両検知などにおける運用効率が向上する。

標準プレートおよび特殊プレートを認識可能な車両認識装置を説明する図である。 プレート検出部の処理例を説明する図である。 特殊プレート認識部の詳細を説明する図である。 プレート領域画像の取得から各文字領域算出までの処理例を示す図である。 字光式プレートにおいて左側のランプが消えている場合の一連番号抽出例を示す図である。 一連番号抽出部２１の詳細を説明する図である。 図６のピッチ誤差最小文字抽出処理３２の処理例を説明する図である。 一連番号抽出処理を説明する図である。 理想位置の設定例を示す図である。 理想位置からの誤差算出処理を説明する図である。 ２桁のナンバープレートの例を示す図である。 字光式プレートにおいて、文字が右側しか切り出せない場合を説明する図である。 ４桁以外の文字あるいは欠損文字に対応可能な一連番号抽出処理処理を説明する図である。 ドット、エッジ併用誤差算出処理（ステップＳ５７）を説明する図である。 特殊プレートの例を示す図である。 特殊プレートを含むプレートに対する一連番号抽出処理を説明する図である。 標準プレートと回送車用プレートの判定処理を説明する図である。 自衛隊用プレートにおける認識領域設定例を示す図である。 標準プレートにおける認識領域設定例を示す図である。 外交官用プレートにおける認識領域設定例を示す図である。 回送車用プレートにおける認識領域設定例を示す図である。 外交官用プレート（中国）における認識領域設定例を示す図である。 近赤外カメラおよび可視カメラを併用した認識処理を説明する図である。 近赤外カメラおよび可視カメラを併用した認識処理（近赤外カットプレートを装着したナンバープレートを考慮）を説明する図である。 プレート候補の優先順位を説明する図である。 複数カメラの場合のプレート候補優先順位を説明する図である。 複数カメラの場合のプレート候補優先順位を説明する図である。 近赤外カメラおよび可視カメラを併用し、設定されたプレート候補優先順位に従って行う認識処理を説明する図である。 紫外カメラを用いた車両認識装置の例を説明する図である。 従来の車番認識装置の基本構成を示す図である。

符号の説明

１−Ａ 近赤外カメラ
１−Ｂ 可視カメラ
２ ＬＥＤ照明
３ 画像処理装置
４Ａ、４Ｂ Ａ／Ｄ変換器
５ 画像メモリ
６ プレート検出部
８ ＣＰＵ
９ ＲＡＭ
１０ 通信部
１１ 同期信号発生開路
１２ 特殊プレート認識部
１３ カメラ画像切り替え制御部
１４ 車両特徴抽出部
２００ 紫外カメラ
２０１ 紫外ＬＥＤ

Claims (5)

1. 近赤外カメラおよび可視カメラを用いて車両を撮影する撮影部と、
   近赤外カメラで撮影した画像と可視カメラで撮影した画像とを切り替えてプレート検出部に供給するカメラ画像切り替え制御部と、
   前記撮影部で撮影した画像を処理してナンバプレート領域を切り出すプレート検出部と、
   前記ナンバプレート領域から一連番号を切り出して文字認識するプレート認識部と、
   撮影した画像からナンバプレート以外の車両の特徴を抽出する特徴抽出部とを備え、
   前記近赤外カメラで撮影した画像、または近赤外カメラで撮影した画像から文字情報を認識できないときに切り替えられた可視カメラで撮影した画像をもとにプレート認識部が認識した文字情報、および特徴抽出部が抽出したナンバプレート以外の車両の特徴をもとに車両認識情報を得る車両認識装置において、
   前記プレート認識部は、撮影した画像を２値化して文字候補を抽出する一連番号候補検出部、ドット画像を作成するドット画像作成部、およびプレートの種別毎の文字配列を記憶した記憶部を備え、
   プレート領域を２値化処理して一連番号候補を抽出するとともに、ドット画像を抽出し、抽出した文字候補の一文字を選択して基準文字に設定し、この基準文字を基準に、あらかじめ設定しているプレートの種別毎の一連番号配列規則に応じて理想位置を設定し、この理想位置に最も近い文字あるいはドットを選択するとともに、
   理想位置と選択した文字あるいはドットの位置の誤差を累積し、さらに前記基準文字を文字候補数分入れ替えて前記誤差の累積を求め、最も誤差の累積が小さい基準文字および選択した文字あるいはドットを一連番号候補として抽出することを特徴とする車両認識装置。
2. 請求項１記載の車両認識装置において、前記プレート認織部は、前記画像を２値化して文字候補を抽出する一連番号候補検出部、ナンバプレートのドットを検出するドット検出部、エッジ画像を２値化したエッジ画像から一連番号候補を検出するエッジ画像一連番号候補検出部を備え、プレートの種別に応じて設定されたナンバプレートの一連番号の配列情報にしたがって配置された理想位置に一連番号候補検出部の候補として文字が無い場合、前記理想位置の近傍を探索してエッジ画像の文字候補あるいはドット候補を選択することを特徴とする車両認識装置。
3. 請求項１に記載の車両認識装置において、特殊プレート認織部を備え、特殊プレート認織部は、プレートの種別を、自衛隊用、外交官用、回送車両用を含む文字配列として記憶し、抽出した一連番号の配列が、記憶した何れかの配列の場合、特殊プレートと判断することを特徴とする車両認識装置。
4. 請求項１に記載の車両認識装置において、前記特徴抽出部は近赤外線カメラで撮影した画像からナンバプレートが認識不可能であり、かつ、近赤外カメラで撮影した画像中に黒い四角形あるいは凸型の画像を検出したとき、ナンバプレートが赤外線カットプレートであると判定することを特徴とする車両認識装置。
5. 請求項１に記載の車両認識装置において、可視カメラで撮影した画像からナンバプレートが認識可能であり、認識した文字領域に、緑色成分があるとき、ナンバプレートは字光式プレートであると判定することを特徴とする車両認識装置。