JP5222779B2 - ナンバープレート認識装置 - Google Patents

Description

本発明は道路などに適用されるカメラでナンバープレートを撮影して文字を読み取り、更に車両のボディ色などを認識するのに好適な物体認識装置、ナンバープレート認識装置および物体の色判定装置に関する。

車番認識装置が普及している。この車番認識装置は道路上にカメラを設置し、通過する車両の番号などを自動認識するものである。このようなシステムは駐車場などの入出門管理、旅行時間計測、犯罪車両検知などに利用されているが、一般的には、カメラ、近赤外照明、画像処理装置で構成されている。

〔特許文献１〕の図１に示されているように、従来のカラーカメラ、モノクロカメラを利用した車番認識装置の基本構成は、次のようになっている。

夜間も撮影可能なようにカメラは、近赤外感度の高いカメラが使用され、カメラのシャッター開放タイミングに合わせＬＥＤ照明を点灯する。近赤外カメラの映像信号は、画像処理装置のＡ／Ｄ変換器を介して、各種画像処理のため、数十枚の複数画像で構成されている画像メモリに格納される。

画像メモリに格納されたカメラ映像に画像処理をして、プレート検出部でプレートの位置を検出し、プレート認識部でプレート領域の文字を認識する。認識された結果は、通信部により上位システムへ送信される。また、ＬＥＤと近赤外カメラの同期をとるため、同期信号発生回路が設けられている。

また、カラーカメラが設けられ、カラーカメラの映像信号は、Ａ／Ｄ変換器を介して画像メモリに格納され、車両のボディ色の認識や、字光式プレートの認識のためにプレート認識に用いられる。

この場合のモノクロカメラ、カラーカメラの認識処理は、モノクロカメラで認識できなければ、カラーカメラで認識するように構成されている。カメラの切り替えは、カメラ画像切り替え制御部で制御され、ボディの色などの特徴抽出する車両特徴抽出部が設けられている。この構成により、モノクロ画像、カラー画像を併用して字光式ナンバープレートなどを認識可能となっている。

〔特許文献１〕に記載の車番認識装置では、受光素子（ＣＭＯＳやＣＣＤなど）それぞれにレンズが設けられており、車番認識装置の設置時には、それぞれのレンズのフォーカス、ズーム倍率の設定が必要であり、十分に調整できたとしても、モノクロ画像、カラーの画像では、まったく同じに対象物を撮影することはできない。

これを改善するための従来の技術としては、〔特許文献２〕に記載のように、一つのレンズで受光した光を分離し、２つの受光素子で受光する方式がある。モノクロＣＣＤとカラーＣＣＤで構成することも記載されている。しかし、車番認識装置でこの構成を使用するためには、モノクロ、カラーの感度の相違を考慮した制御が必要であるが、この点については配慮されていない。

また、〔特許文献３〕には、カラーカメラでナンバープレートを認識するとともに、車両の色を判定し、更に、プレートの輝度情報とカラー情報でアイリスを制御することが記載されている。

また、車両のボディ色を判定することが記載されているが、照度が暗くなると、シャッター速度が遅くなり、カラーの画像はぶれてしまう問題がある。〔非特許文献１〕には、ナンバープレートのぶれ補正技術が記載されている。

特開２００８−１０８０６３号公報 特開平１１−１２２５３６号公報 特開２００１−２２２６８０号公報

走行車両ナンバープレート画像のぶれ補正：電気学会論文誌Ｃ、１１７巻６号、平成９年

〔特許文献１〕に記載の従来の技術では、２つのカメラにそれぞれレンズが具備されており、それぞれのレンズの調整作業が必要であり、調整コストが高くなる問題がある。また、カメラのシャッター速度については配慮がなされていないため、カラーカメラの映像は夜間、真っ暗な映像になり、カラー認識できる時間帯が昼間に限定されるという問題がある。

また、〔特許文献２〕に記載の従来技術のように、モノクロ、カラーＣＣＤを１つのレンズで受光する方式でナンバープレートを撮影する場合、モノクロＣＣＤとカラーＣＣＤでは感度が異なるため、移動物体（走行する車両）を撮影するためには、シャッター速度を短く設定する必要があるが、シャッター速度を短く設定した場合、夜間になるとカラーカメラ用の照明がないので、十分な明るさの画像を得ることができなくなる問題がある。

ナンバープレート認識装置は、屋内に設置される場合は別として、屋外に設置される場合でも、昼夜を問わず認識することが望ましい。可視の照明は一般には取り付けできないため、〔特許文献３〕に記載の従来技術のように、カラーカメラだけでは、夜間の認識ができないという問題がある。

また、〔非特許文献１〕に記載のぶれ補正は、ナンバープレートの認識をするための方式であるが、ぶれている画像から移動画素（移動量）を算出するのが困難であり、補正が十分にできているとは言えないという問題がある。

本発明の目的は、１つのレンズを介して２つの異なる受光素子に光を受光し、移動物体をぶれなく撮影できるシャッター速度で、明るさを適切に制御して、ナンバープレートの認識、およびボディの色またはプレートの色を認識できるナンバープレート認識装置を提供することにある。

上記目的を達成するために、本発明は、一つの光学レンズと、その光学レンズの光を二つの光に分光する分光器と、その分光器で分光された光のそれぞれをカラー用固体撮像素子とモノクロ用固体撮像素子で受光し、モノクロ用固体撮像素子に、近赤外の照明を同期させて点灯させ、昼間は、モノクロ用またはカラー用固体撮像素子の映像でナンバープレートを認識し、カラー用固体撮像素子でボディまたはナンバープレートの色を判定するものである。

また、モノクロ用固体撮像素子のシャッター速度を少なくとも設定された速度以下にならないようにプレートの濃度を用いてレンズの絞りとシャッター速度を制御し、カラー用固体撮像素子のシャッター速度をモノクロ用のプレート濃度、カラー用固体撮像素子で検出したプレート濃度で制御するものである。

本発明によれば、昼夜を問わず、ナンバープレートの認識が良好に実行でき、夜間でもボディ色またはプレートの色判定が可能となる。

本発明の実施例１であるナンバープレート認識装置の全体構成を示す図である。 ナンバープレート認識部の構成図である。 プレート検出の概念を示す図である。 プレートの文字を認識する流れを示す図である。 プレートの文字の認識例を示す図である。 照度とシャッター速度の関係を示す図である。 プレート認識、色認識および絞り制御、シャッター制御のフロー図である。 絞り制御、シャッター速度制御のフロー図である。 モノクロのシャッター速度を固定にした場合の絞り制御、カラーＣＣＤのシャッター制御のフロー図である。 カラーＣＣＤのシャッター制御のフロー図である。 プレート認識できた場合のボディ色判定領域を示す図である。 色空間をブロックに分けた図である。 色空間の各ブロックに相当する画素数を頻度分布例を示す図である。 プレート認識できない場合のボディ色判定領域を示す図である。 プレートの色情報を求める領域を示す図である。 プレートの位置から移動画素を求める手法を説明する図である。 人物監視を例にしたカラー認識を説明する図である。

本発明の各実施例について図面を用いて説明する。

本発明の実施例１を図１から図１７により説明する。図１は、本実施例のナンバープレート認識装置１０の構成図である。

ナンバープレート認識装置１０は、カメラ部２０と、ナンバープレート認識部３０と、ＬＥＤ照明部４０で構成されている。ここで、後述する人物等を認識する場合は、ナンバープレート認識部３０を物体認識部といい、ナンバープレートの代わりに物体を認識する。

カメラ部２０は、レンズ１の光軸上に配置されるフィルタ８−１と、フィルタ８−１のレンズ１側とは反対の側に配置されるカラーＣＣＤ３−１と、カラーＣＣＤ３−１に接続されるドライバ回路７−１と、レンズ１とフィルタ８−１の間に配置されるハーフミラーと、レンズ１の光軸と直交する方向に配置されるフィルタ８−２と、フィルタ８−２のレンズ１側とは反対の側に配置されるモノクロＣＣＤ３−２と、モノクロＣＣＤ３−２に接続されるドライバ回路７−２とで構成される。ここで、ハーフミラーは、プリズムでもよい。ハーフミラーやプリズムを含めて分光器２という。フィルタ８−１は、近赤外カット（可視透過）であり、フィルタ８−２は、可視カット（近赤外透過）である。これらのフィルタ８−１、８−２は、各素子の映像を適切に撮影するために用いられるが、必須のものではない。

カラ−ＣＣＤ３−１はドライバ回路７−１によって駆動され、モノクロＣＣＤ３−２はドライバ回路７−２によって駆動される。

各ＣＣＤの映像信号４−１、４−２は、ナンバープレート認識部３０に入力され、ナンバープレートの認識を実行する。ナンバープレート認識部３０から各ＣＣＤのドライバ回路７−１、７−２へは、各ＣＣＤのシャッター速度制御信号５−１、５−２が入力され、各ＣＣＤのシャッター速度を制御する。ナンバープレート認識部３０からカメラ部２０には、レンズの絞り制御信号６が入力され、レンズ１の絞りを制御している。

ナンバープレート認識部３０からＬＥＤ照明４０へは、モノクロＣＣＤ３−２のシャッター開放タイミングに合わせるための、同期信号９が入力され、ＬＥＤ照明４０の点灯制御が行われる。なお、図１では、電源線などは省略して示している。

なお、本実施例では受光素子にＣＣＤを適用した場合を説明するが、ＣＭＯＳを適用することもできる。カラー用のＣＣＤやＣＭＯＳを含めてカラー用固体撮像素子といい、モノクロ用のＣＣＤやＣＭＯＳを含めてモノクロ用固体撮像素子という。

図２にナンバープレート認識部３０の構成を示す。ナンバープレート認識部３０は、映像信号４−１を受信する映像信号入力部１１−１、映像信号４−２を受信する映像信号入力部１１−２、映像信号入力部１１−１に接続された画像メモリ１２−１、映像信号入力部１１−２に接続された画像メモリ１２−２、画像メモリ１２−１、１２−２とバスを介して接続されるプレート検出部１３、プレート認識部１４、色認識部１５、シャッター速度制御部１６、絞り制御部１７、ＬＥＤ同期信号発生部１８、通信制御部１９で構成されている。

映像信号入力部１０−１、１０−２でそれぞれ受信された映像信号４−１、４−２は、画像メモリ１１−１、１１−２に入力される。この画像メモリに記録された画像信号を、プレート検出部１３、プレート認識部１４、色認識部１５で画像処理してナンバープレートを読み取る。

プレート検出部１３は、入力された映像信号の中からプレート部の領域（プレート領域という）を検出する処理である。プレート認識部１４は、プレート検出部１３で検出されたプレート領域の中から文字を抽出し、漢字、ひらがな、数字を認識する処理である。色認識部１５は、プレート領域あるいは、プレートより上部のボディ領域のカラー情報から、ナンバープレートあるいはボディの色を認識する処理である。

プレート検出部１３は、図３に示すように、入力されたカメラ画像から、プレート候補を抽出する。プレート認識部１４は、図４に示すように、プレート領域を２値化処理するプレート領域２値化部４１、一連番号を抽出する一連番号抽出部４２、文字領域を算出する文字領域算出部４３、文字認識する文字認識部４４で構成されている。

例えば図５に示すように、プレート領域画像からプレート領域２値化部４１で２値化画像が、一連番号抽出部４２で一連番号が抽出され、文字領域算出部４３で文字領域が算出される。

図１に示すナンバープレート認識装置１０で、車両のナンバープレートを撮影した場合、モノクロＣＣＤ３−２とカラーＣＣＤ３−１では感度が異なる。昼間は、可視領域の光をすべて受光しているカラーＣＣＤ３−１の映像が明るくなり、逆に、夜間は、近赤外照明を受光しているモノクロＣＣＤ３−２の映像が明るくなる。このため、モノクロＣＣＤ３−２とカラーＣＣＤ３−１の２つのＣＣＤのシャッター速度を同一にして、絞りを制御する方式では、どちらかの画像がオーバーフローあるいはアンダーフローして、認識に適さない画像となる。

そこで、図２に示すシャッター速度制御部１６、絞り制御部１７を用いて、適切な明るさの映像が取得できるように制御する。この制御の詳細は後述する。

ＬＥＤ同期信号発生部１８は、モノクロＣＣＤ３−２のシャッター開放タイミングに合わせ、ＬＥＤ照明４０を点灯するためのパルス信号を発生する。図１に示すモノクロＣＣＤ３−２から同期信号を与えることも可能であるが、本実施例では、ナンバープレート認識部３０により同期信号を発生している。これにより、同期信号を発生できないＣＣＤにも対応することができる。

通信制御部１９は、認識した結果を上位制御装置に送信する、あるいはパラメータを受信するなどに使用するが、設けなくてもよい。各処理部は、一般的なＣＰＵ、ＲＡＭ、ＲＯＭなどで構成されている。

（シャッター速度制御部、絞り制御部の動作）
図２に示すシャッター速度制御部１６と絞り制御部１７の動作について説明する。人間の目に見えない近赤外のＬＥＤに感度を有するモノクロＣＣＤ３−２が設置されているので、昼夜を問わずナンバープレートを認識するために、モノクロＣＣＤ３−２のシャッター速度は、例えば設定値１／１０００秒のシャッター速度より早い速度とし、モノクロＣＣＤ３−２のシャッター速度とカラーＣＣＤ３−１のシャッター速度の比率を予め設定しておき、その比率のシャッター速度でカラーＣＣＤ３−１を制御している。

例えば、モノクロＣＣＤ３−２の方がカラーＣＣＤ３−１に比べ感度が高い場合の照度とシャッター速度の関係を図６（ａ）に示す。図６（ａ）に示すように、照度が明るい範囲では、モノクロＣＣＤ３−２は非常に早いシャッター速度で動作し、カラーＣＣＤ３−１は低い比率のシャッター速度としているので、ぶれのない状態になる。

照度が暗くなると、絞りが徐々に開いてくる。完全にＯＰＥＮ状態になると、モノクロＣＣＤ３−２は、シャッターを設定値のシャッター速度になるまでシャッターの時間を伸ばし、カラーＣＣＤ３−１は、シャッター速度が下限の速度（３０フレームの場合、３３ms程度）まで徐々に遅くする。ここで、蓄積型のカラーＣＣＤの場合は、更にシャッター
速度を伸ばすことができる。

カラー映像では、シャッター速度が設定値より遅くなると、移動物体はぶれてくるので、文字認識ができない状態となるが、モノクロでは、ぶれのない画像を得ることができる。

また、車輌の不通過時にも継続して安定なアイリス制御を行い車番の認識を正確に行えることが必要である。このアイリス制御については、特開２００１−２０２５９１号公報に記載のようになっている。

すなわち、アイリス制御を行う設定時間における道路面濃度（照度）の変化量から車番板濃度（照度）を推定し、推定された車番板濃度に基づきカメラのアイリスを制御するようにしている。車輌の不通過時間が実用的な時間内であれば、路面照度の変化割合と車輌の車番板照度の変化割合は比例するので、路面照度の変化量から推定する推定車番板照度によりアイリス制御を十分な精度で安定に行うことができる。

ナンバープレート認識装置３０は、画像処理を行い、車番板部分を抽出して車番を読み取る。屋外での画像取り込みであり、昼間でも天候によっては照度が変化し、特に朝夕等は一定の割合で照度の連続的に変化する。照度の変化に対しては、絞り制御部１７によりカメラのアイリスを制御し、映像（画像）の輝度（カメラの受光量）が一定となるようにする。

レンズの絞りの程度を表現するためにアイリスレベルという数値列を定義している。例えば、アイリスレベルとは、レンズの絞りの程度を１６段階に分けてレベル数字で表現する。レンズの絞りを全開にしたときにレベル１とし、レンズの絞りを全閉にしたときレベル１６とする。その間を１６等分（例えばレンズの開部面積の比率等による）する。このようにして、絞りの程度を１〜１６段階のレベル値で表現する。

通常の実用範囲では、画像濃度Ｇと照度（カメラ入力値）Ｌは近似的に比例する。車番板の照度Ｌが環境条件で変化したときに、画像に取り込んだ時の車番板の輝度すなわち濃度Ｇが、車番板の目標値濃度Ｇ_tに一定に保たれるようにアイリスレベルｉを制御する。

照度Ｌは対象物の明るさであり、ナンバープレート認識装置３０では直接計測できないが、画像として取り込んだ画像濃度Ｇ_kとして観測される。このような制御を行うことにより、画像中の車番の濃度は、目標値Ｇ_t付近に保持されるので、画像処理による車番の検知は確実に行われる。

また、時刻ｔ＝ｔ０において車輌通過後に不通過が発生したとする。車輌不通過時には、不通過時間計により連続して不通過となった時間Δｔをカウントする。車輌不通過時間Δｔが設定時間（一定時間）になっても車番板を検知しない場合には、車番板濃度推定により時刻ｔ０＋Δｔに車輌が通過したと仮定した場合に車番板を計測したときに推定される車番板の画像濃度Ｇｖ（ｔ０＋Δｔ）を計算する。

まず、時刻ｔ０＋Δｔにおける車番板以外の路面の画像濃度Ｇｄ（ｔ０＋Δｔ）を路面濃度検知部により検知する。車番板濃度推定により車番板の画像濃度Ｇｖ（ｔ０＋Δｔ）を数１により推定計算する。

この計算値Ｇｖ（ｔ０＋Δｔ）が、目標値Ｇ_tの範囲に入るようにアイリス制御部により通常のアイリス制御と同じように制御を行う。車輌不通過時の車番板の濃度による制御を、その濃度値は実測値ではなく、上述の計算値により行うことができる。

ここで、プレート濃度は、プレート領域の濃度ヒストグラムを求め、文字が黒いときは、背景が明るいので、平均濃度より明るい濃度値の平均とすることで背景濃度を求めることができる。

このように、絞り制御を行うことで、少なくともモノクロＣＣＤ３−２では、ぶれのない鮮明な映像が得られ、カラーＣＣＤ３−１も照度がある場合は、ぶれのない映像を得ることができる。

なお、カラーＣＣＤ３−１は、ぶれが発生しても、色判定には十分使用できるし、対象車両が遅い場合は、ぶれのない画像が得られるので、文字認識にも使用可能な場合もある。

また、カラーＣＣＤ３−１の方がモノクロＣＣＤ３−２に比べ感度が高い場合の照度とシャッター速度の関係を図６（ｂ）に示す。

図６（ｂ）に示すように、昼間、カラーＣＣＤ３−１の感度がモノクロＣＣＤ３−２より高い場合は、モノクロＣＣＤ３−２のシャッター速度を一定にし、プレートの濃度に応じた絞り制御を実行し、カラーＣＣＤ３−１のシャッター速度を上限から、照度に応じて徐々に遅くしていく方法もある。この場合は、カラーＣＣＤ３−１のシャッター速度は、モノクロ画像で認識したプレート領域の濃度と同じとなるように、カラー画像のプレート領域の濃度に応じてシャッター速度を制御していく。

図７に全体処理フローを示す。ステップ７０で、モノクロ画像と、カラーカメラの画像を入力し、ステップ７１で、モノクロ画像でプレートを認識する。ステップ７２で、プレートを認識できたかを判定し、できない場合は、近赤外照明をカットするプレートカバー装着車両の可能性があるので、ステップ７３で、カラーカメラの画像でプレート認識する。ステップ７４で、プレートを認識できたかを判定し、プレート認識できた場合は、ボディの領域は通常プレートより上にあるので、ステップ７６で、ボディ色判定領域算出１を実行する。

ステップ７４で、プレート認識できない場合、すなわちカラー、モノクロの両方の画像でプレート認識できなかった場合は、ステップ７７で、ボディ色判定領域算出２を実行する。色の判定は、プレート認識できなかった場合でもできるので、図１４に示すように、移動領域全体の例えば２／３（予め設定）の領域を色判定領域として算出する。ステップ７７で、ボディ色判定領域算出２により決定した領域について色判定を実行する。その後、ステップ７８で、絞りとシャッター速度の制御を後述する方法で制御する。

なお、ステップ７３のカラーカメラ画像でプレート認識する処理は、カラーＣＣＤ３−１のシャッター速度が設定された値より高速な場合に行うように限定することで、全体の処理時間向上を図ることができる。

図７に示すステップ７８の絞り制御、シャッター制御のフローの詳細を図８に示す。図８は、モノクロＣＣＤ３−２の映像でプレート認識できた場合のフローを示している。

ステップ１２１で、モノクロ画像のプレート濃度を計測する。この計測では、プレートの一連番号領域近傍の、白濃度（文字の背景）の平均濃度を求める。

ステップ１２２で、この平均濃度と予め定めた目標値とを比較し、目標値と一致度が高い場合は、処理を終了する。一致度の判定は、例えば平均濃度が予め定めた数値範囲にあるか否かで行う。

目標値より明るい場合は、ステップ１２３で、シャッター速度が可変中か否かを判定し、シャッター速度が可変中でなく固定の場合は、ステップ１２５で、絞りがCloseでなければ絞りを一段絞る。可変中の場合は、シャッターをできるだけ速くしたいので、ステップ１２６で、シャッターを一段高速化し、シャッターが上限の場合は、ステップ１２８で、シャッター固定モードに設定する。上限でない場合は、ステップ１２９で、可変モードに設定する。

一方、目標より暗い場合は、ステップ１３０で、絞りが開放かを調べ、開放でない場合は、ステップ１３２で、絞りを１段開ける。開放の場合は、シャッター速度を遅くしていくことになるが、シャッター速度が下限（例えば１／１０００秒）でなければ、ステップ１３３で、シッターを１段低速化し、ステップ１３４で、シャッター可変モードに設定する。シャッター速度が下限の場合は、その状態を維持する。

ステップ１３５で、モノクロＣＣＤ３−２のシャッター速度に応じ、カラーＣＣＤ３−１のシャッター速度制御を実行する。具体的には、例えば、モノクロＣＣＤ３−２のシャッター速度が１／３０００秒で、比率が０.８倍であれば、カラーＣＣＤ３−１のシャッター速度を１／２４００秒に設定する。この他に、プレート領域がモノクロ画像で求まっているので、カラー画像の同一領域の濃度を求め、目標値に応じ、シャッター速度を制御することもできる。

次に、図６（ｂ）に示すように、モノクロＣＣＤ３−２のシャッター速度を設定値に固定する場合の制御方法のフローを図９に示す。この場合、モノクロＣＣＤ３−２のシャッター速度は固定であるので、ステップ１４０で、モノクロ画像のプレート濃度を算出し、プレート濃度が目標値より明るい場合は、絞りがCloseでなければ、ステップ１４５で、絞りを１段絞る。プレート濃度が目標値より暗い場合は、絞りが開放でなければ、ステップ１４３で、絞りを１段開ける。

ステップ１４６で、カラーＣＣＤのシャッター速度制御を実行する。具体的には、図１０に示すフローのように、モノクロ、あるいはカラーカメラで認識したプレート領域について、ステップ１５０で、カラー画像のプレート濃度を求め、プレート濃度が目標濃度より暗い場合は、シャッター速度が下限でなければ、ステップ１５３で、シャッターを１段低速化する。プレート濃度が目標濃度より明るい場合は、シャッター速度が上限でなければ、ステップ１５５で、シャッターを１段高速化する。

次に、カラーカメラ、モノクロカメラを使った絞り制御、シャッター速度制御方法を次の（１）〜（３）の場合について説明する。
（１）モノクロカメラだけが認識できた場合
カラーＣＣＤ３−１の映像からプレート認識できない場合は、図８に示す制御フローの中で、絞り制御だけであれば、その状態を維持し、シャッター速度制御があれば、予め定めている比率に応じ、モノクロＣＣＤ３−２のシャッター速度に比率を乗じた速度にカラーＣＣＤ３−１のシャッター速度を設定する。または、モノクロ画像で認識できたプレート領域と同一の領域についてカラー画像の濃度を求めて制御する。
（２）カラーカメラだけ認識できた場合
図８に示すステップ１２１のモノクロ画像のプレート濃度を求める処理を、カラーＣＣＤ３−１の映像からプレート濃度を求める処理に変更し、図８に示す制御フローの中で、絞り制御だけであれば、モノクロカメラの制御は行わず、シャッター速度制御があれば、予め定めている比率に応じ、カラーＣＣＤのシャッター速度に比率を乗じた速度にモノクロＣＣＤのシャッター速度を設定する。または、カラー画像で認識できたプレート領域と同一の領域についてモノクロ画像の濃度を求めて制御する。
（３）両方とも認識できないとき
設定されている時間アイリス制御を実行していない場合で、かつ路面の濃度が目標濃度とかけ離れている場合は、図８に示す制御フローのステップ１２１のモノクロ画像のプレート濃度を求める処理を、路面の濃度を求める処理とし、ステップ１２２の目標濃度を、予め定めている路面の目標濃度と比較し、絞り速度、シャッター速度の制御を図８に示す制御フローにより実行する。

（色判定方法）
図２に示す色認識部１５の動作について説明する。ボディ色判定を行うために、計測領域を決定する。図７に示すステップ７６のボディ色判定領域算出１は、プレートを認識できた場合の領域で行われる。ボディ色判定領域算出１は、図１１に示すように、プレート領域より上で、かつ移動領域を色判定領域とする。ここで、移動領域は、複数の画像を入力し、フレーム間差分処理で求められる。

カラーの画像をＹＵＶ空間で入力した場合、図１２に示すＵＶの空間で色が定まることになる。このＵＶ空間をｎ×ｍ分割した領域を予め定めておき、図１２の例では３×３分割の９色を示しているが、色判定領域１のＵＶ値がどのブロックにあるかの頻度分布を図１３に示すように求め、最大頻度となるブロックの色を出力して色判定する方式をとる。なお、ＵＶ空間の中央付近は無彩色に相当する。

または、最大頻度と２番目に頻度の大きい第２頻度の色を出力する。このような処理で、部分的にペイントされた車両でも正確にボディの色を判定することができる。

色の判定は、プレート認識できなかった場合でもできるので、図７のステップ７７のボディ色判定領域算出２で算出された領域、すなわち、図１４に示すように、移動領域全体の例えば２／３（予め設定）の領域を色判定領域と設定する。

なお、ＲＧＢ空間など色空間には種々の空間があるが、領域を正しく定めれば、どのようなカラー空間でも適用可能である。

軽自動車の判定には、プレートのカラー認識が必要である。この場合、ナンバープレートが認識できている場合は、図１５に示すように、プレート領域１６０についてカラー画像の色分布を調べる。日本の車両で使用されるプレートには白、緑、黄色、黒しかないので、前述の色空間を緑と黄色が分離しやすいブロックに分ければ良い。なお、海外の車両で使用されるプレート認識の場合や、日本の外交団プレートを認識する場合は青色が追加される。

前述のように、絞り制御、シャッター速度制御は色判定の後に実行しているので、白背景のプレートを基準として、緑ナンバー、黄色ナンバーの場合は絞り、シャッター速度の制御を実行しないようにすることで、適切な明るさに制御できる。

（ぶれ補正方法）
カラーカメラの映像は、照度が暗くなると、可視の照明が無いためシャッター速度が遅くなり、ぶれがある画像となる。しかし、前述のようにモノクロカメラは、シャッター速度が最低限の速度を確保するように制御しているので、ぶれの無い画像を取得できる。このため、図１６に示すように、時間差Δｔで撮影した複数枚の画像１７０、１７１を入力し、それぞれの画像からナンバープレートの位置（Ｘ１、Ｙ１）と位置（Ｘ２、Ｙ２）を算出し、移動量（Ｙ２−Ｙ１）を計測することにより、対象物体の速度を求めることができる。

従来のように、ぶれた映像からぶれの大きさ、方向を求めるのは非常に難しく、プレートの認識をするためのぶれ補正であるため、精度が要求される。

これに対し、本実施例では、カラー画像からプレートの文字を認識するための補正で無く、色判定のための補正であること、およびモノクロＣＣＤ３−２、カラーＣＣＤ３−１の二つを備えているので、容易にカラー画像のぶれを補正可能である。この補正は、図示していないぶれ量算出部で行う。

本実施例では、移動量からぶれを補正する。補正の手法は一般的なウィナーフィルタを用いる。ウィナーフィルタについては、例えば画像解析ハンドブック：東京大学出版会、ｐｐ.３９９−４０２に記載されている。

ウィナーフィルタは、原画像と平均二乗誤差を最小とする画像を与える復元作用素であり、具体的には、数２による周波数空間で補正を実行する。ここで、Ｆ（ｕ、ｖ）は補正画像、Ｇ（ｕ、ｖ）はぶれ画像であり、Ｈ（ｕ、ｖ）は点広がり関数であり、αは定数であり、予め実験により定める。

Ｈ（ｕ、ｖ）は数３によって求めることができる。

数３のＶは、移動の大きさであり、位置（Ｘ１、Ｙ１）と位置（Ｘ２、Ｙ２）から求まる移動の大きさｙ＝（Ｙ２−Ｙ１）は、１フレームの移動の大きさであるので、カラーＣＣＤ３−１のシャッター速度がＯＦＦ状態であれば、数３のＶはｙとなり、シャッター速度が１６msであれば、ｙ／２が、８msであれば、ｙ／４がＶに相当する。

すなわち、Ｖは数４で計算する。ｙは移動の大きさ（画素）、ＳはカラーＣＣＤ３−１のシャッター速度（ms）、Ｔは１フレームの時間（通常、約３３ms）である。

カラーＣＣＤ３−１のシャッター速度が分かっているので、ぶれに相当する移動の大きさはこのようにして算出可能であり、色認識するのに十分な補正を実行することができる。なお、厳密なぶれ補正を実施するためには、移動の方向も考慮する必要があるが、色認識が目的であるため、移動の大きさだけで十分な補正が可能である。

なお、プレート認識できない場合は、ぶれの補正はできないが、ボディの領域が大きければ、ぶれてもカラー情報が残るので、ボディ色判定は可能である。逆に白、黒のようにまだらになっている場合にぶれが補正できない場合は、中間色になるため、色判定精度は低下するが、通常、プレートの検出率はほぼ１００％であるので、特に問題にはならない。

また、上述した例ではプレートの位置を求めてぶれ量を算出しているが、２枚のモノクロ画像のオプティカルフローから求める方式や、図１６に示すＦ（ｔ）の画像の特徴点を定め、その点の画像がＦ（ｔ＋Δｔ）の画像でどこにあるかをマッチング処理で検出する方式を用いても良い。

１レンズ、２つのＣＣＤの場合に、それぞれのＣＣＤの位置を０.５画素上下、左右にずらして配置することで、高解像度の映像を取得可能である。

カラーＣＣＤ３−１のシャッター速度が十分速いときに、輝度情報を、モノクロカメラと補間合成することで、解像度を見かけ上高めることが可能である。カラーＣＣＤのシャッター速度が遅い場合は、合成できない。補間は画素があるところはそのまま適用し、無いところは、モノクロとカラーの画素値の４点補間あるいは１６点補間処理によって補間可能である。

これにより、文字認識精度を更に向上させることが可能となる。

各実施例の説明では、１レンズ、２つのＣＣＤ（モノクロ、カラー）について記載したが、レンズの調整コストを無視できるならば、それぞれのＣＣＤにレンズを装着し、それぞれのレンズの絞り、およびシャッター速度を制御することも可能である。但し、調整コスト、レンズが２台必要なことから小型化には不向きである。

ナンバープレート認識を例にとり各実施例を説明したが、一般の監視システムである人物検出と服装の色検出にも１レンズ、２つのＣＣＤのシステムが適用可能である。図１７のモノクロカメラ映像１８０とカラーカメラ映像１８１に示すように、人物１８２をモノクロカメラで検出し、カラーカメラで人物領域１８３の色情報を求める。この場合も、モノクロＣＣＤ、カラーＣＣＤの感度が異なるので、シャッター速度の制御が必要である。

ナンバープレート認識の場合は、プレートの濃度を用いて制御していたが、一般の監視の場合は、モノクロのシャッター速度を一定にし、絞りを画面全体の濃度を目標値に合わせるように制御する。カラーＣＣＤの場合は、シャッター速度を画面全体の濃度を目標値に合わせるように制御する。色抽出の処理は、人物の場合は、上下に分けて計測することで、上着、ズボンの色をそれぞれ計測することが可能である。夜間のカラー画像のぶれ補正の方式は、ナンバープレート認識と同様に、検出した物体の移動画素から補正することができる。

本発明の各実施例によれば、昼夜を問わず、ナンバープレートの認識が良好に実行でき、夜間でもボディ色またはプレートの色判定が可能となる。また、レンズが１つであるため、設置調整コストの低減を図ることが可能である。また、２つのＣＣＤの輝度情報を複合することで擬似的な超高解像度画像を得ることが可能となり、安価なカメラで認識率の高いナンバープレート認識装置を提供することが可能となる。

１ レンズ
２ 分光器
３−１ カラーＣＣＤ
３−２ モノクロＣＣＤ
４ 映像信号
５ シャッター速度制御信号
１２ 画像メモリ
１３ プレート検出部
１４ プレート認識部
１５ 色認識部
１６ シャッター速度制御部
１７ 絞り制御部
１８ ＬＥＤ同期信号発生部
２０ カメラ部
３０ ナンバープレート認識部
４０ ＬＥＤ照明

Claims (4)

1. 一つの光学レンズと、該光学レンズの光を二つの光に分光する分光器と、該分光器で分光された光の一方を受光し電気信号に変換するカラー用固体撮像素子と、前記分光器で分光された光の他方を受光し電気信号に変換するモノクロ用固体撮像素子と、前記カラー用固体撮像素子およびモノクロ用固体撮像素子からの電気信号を処理してナンバープレートを認識するナンバープレート認識部と、ボディあるいはナンバープレートの色を判定する色判定部と、前記ナンバープレート認識部で認識されたナンバープレートの画像濃度に基づいて前記光学レンズの絞りを制御する絞り制御部と、前記各個体撮像素子のシャッター速度を個別に制御するシャッター速度制御部を備え、さらに、前記シャッター速度制御部は、前記モノクロ用固体撮像素子のシャッター速度を設定値に固定し、前記モノクロ用固体撮像素子で撮影した画像からナンバープレート領域を切り出し、切り出されたプレート領域の濃度値を算出し、算出された濃度値が目標濃度に近づくようにレンズの絞りを制御し、前記カラー用固体撮像素子のシャッター速度を、カラー画像におけるプレート領域の濃度値が目標濃度に近づくように制御することを特徴とするナンバープレート認識装置。
2. 前記色判定部は、前記ナンバープレート認識部で認識したナンバープレートの位置から定まるボディ領域を算出し、算出されたボディ領域の色またはナンバープレートの色を認識する請求項１に記載のナンバープレート認識装置。
3. 前記色判定部は、前記モノクロ用固体撮像素子で撮影した少なくとも２枚の画像を連続して取り込み、取り込んだ複数の画像から移動画素を算出し、算出された移動画素からカラー用固体撮像素子のシャッター速度に応じたぶれ量を算出するぶれ量算出部と、該ぶれ量算出部で算出されたぶれ量に基づいて、前記カラー用固体撮像素子で撮影されたカラー画像のぶれ補正処理し、該補正処理されたカラー画像を用いてボディまたはプレートの色を認識する請求項１に記載のナンバープレート認識装置。
4. 前記シャッター速度制御部は、前記色判定部で判定されたプレートの色が白色の場合には、レンズ絞り、シャッター速度を制御する請求項１に記載のナンバープレート認識装置。

Images