JP4706693B2 - 車色判定装置、車色判定システム及び車色判定方法 - Google Patents

Description

本発明は、道路を走行する車両を撮像して得られた撮像画像に基づいて車両の色を判定する車色判定装置、該車色判定装置を備える車色判定システム及び車色判定方法に関する。

道路を走行する車両のナンバープレート（車番）を複数の地点で識別し、識別したナンバープレートを照合することにより、所定の地点間を走行するのに要する旅行時間を求めるための技術が開発されている。

一方で、ナンバープレートの曲がり又は汚れなどにより、一部文字を認識することができないという課題があった。そこで、道路上に設置したカメラからのカラー画像データを取得し、取得したカラー画像データから車両のボンネットなどの車両の色を判別する判別エリアを抽出し、抽出した判別エリアの色を識別することにより車両の色を判別する車色判別装置が開示されている（特許文献１参照）。
特開２０００−２２２６７３号公報

しかしながら、特許文献１の技術は、ナンバープレートの文字情報が一部認識できない場合を想定して文字情報とは異なる車両の色を識別するものであり、ナンバープレートの文字情報と車両の色の両者を識別するためには、高解像度であって、視野が広くかつカラー画像を取得することができるカメラを必要とする。しかし、このようなカメラは高価であり、道路の複数の地点にこのようなカメラを多数設置することは現実的ではない。また、画像データから車両のボンネットなどの判別エリアを抽出する場合、誤ってフロントウィンドを抽出するおそれもあり、精度よく車両の色を識別する方法が望まれていた。

本発明は、斯かる事情に鑑みてなされたものであり、低コストで精度良く車両の色を判定することができる車色判定装置、該車色判定装置を備える車色判定システム及び車色判定方法を提供することを目的とする。

第１発明に係る車色判定装置は、道路を走行する車両を撮像する２つの撮像部それぞれで撮像して得られたモノクロの第１の撮像画像及びカラーの第２の撮像画像に基づいて車両の色を判定する車色判定装置であって、撮像時点が異なる複数の第１の撮像画像に基づいて該第１の撮像画像それぞれで車両の特徴部位を検出する特徴部位検出手段と、前記第１の撮像画像の前記撮像時点のうちの一の撮像時点から所定時間経過した撮像時点の第２の撮像画像を取得する取得手段と、前記特徴部位検出手段で検出した特徴部位の前記第１の撮像画像上の移動距離に応じた前記第２の撮像画像上の位置に基づいて車両の色を判定するための判定領域を前記第２の撮像画像上で特定する判定領域特定手段と、該判定領域特定手段で特定した判定領域の各画素の色成分に基づいて車両の色を判定する車色判定手段とを備えることを特徴とする。

第２発明に係る車色判定装置は、第１発明において、前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の移動距離を算出する移動距離算出手段と、該移動距離算出手段で算出した移動距離に応じて、前記特徴部位の第２の撮像画像上の垂直位置を算出する垂直位置算出手段とを備え、前記判定領域特定手段は、前記垂直位置算出手段で算出した垂直位置に基づいて判定領域を特定するように構成してあることを特徴とする。

第３発明に係る車色判定装置は、第１発明において、前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の移動距離を算出する移動距離算出手段と、該移動距離算出手段で算出した移動距離及び第２の撮像画像の撮像時点と第１の撮像画像の撮像時点との撮像時間差に応じて、前記特徴部位の第２の撮像画像上の垂直位置を算出する垂直位置算出手段とを備え、前記判定領域特定手段は、前記垂直位置算出手段で算出した垂直位置に基づいて判定領域を特定するように構成してあることを特徴とする。

第４発明に係る車色判定装置は、第１発明乃至第３発明のいずれか１つにおいて、前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の水平位置を算出する第１水平位置算出手段と、該第１水平位置算出手段で算出した水平位置に応じて、前記特徴部位の第２の撮像画像上の水平位置を算出する第２水平位置算出手段とを備え、前記判定領域特定手段は、前記第２水平位置算出手段で算出した水平位置に基づいて判定領域を特定するように構成してあることを特徴とする。

第５発明に係る車色判定装置は、第１発明乃至第４発明のいずれか１つにおいて、前記特徴部位は、ナンバープレートであることを特徴とする。

第６発明に係る車色判定装置は、第１発明乃至第５発明のいずれか１つにおいて、前記第２の撮像画像の解像度は、前記第１の撮像画像の解像度より小さいことを特徴とする。

第７発明に係る車色判定システムは、１又は複数の前述の発明のいずれか１つに係る車色判定装置と、該車色判定装置から所定の情報を受信する受信装置とを備える車色判定システムであって、前記車色判定装置は、車両の特徴部位に関する情報及び判定した車色に関する情報を前記受信装置へ送信する送信手段を備えることを特徴とする。

第８発明に係る車色判定方法は、道路を走行する車両を撮像する２つの撮像部それぞれで撮像して得られたモノクロの第１の撮像画像及びカラーの第２の撮像画像に基づいて車両の色を判定する車色判定装置による車色判定方法であって、撮像時点が異なる複数の第１の撮像画像に基づいて該第１の撮像画像それぞれで車両の特徴部位を特徴部位検出手段が検出し、前記第１の撮像画像の前記撮像時点のうちの一の撮像時点から所定時間経過した撮像時点の第２の撮像画像を取得手段が取得し、検出された特徴部位の前記第１の撮像画像上の移動距離に応じた前記第２の撮像画像上の位置に基づいて車両の色を判定するための判定領域を取得された第２の撮像画像上で判定領域特定手段が特定し、特定された判定領域の各画素の色成分に基づいて車両の色を車色判定手段が判定することを特徴とする。

第１発明及び第８発明にあっては、車色判定装置は、一方の撮像部（第１撮像部）で異なる撮像時点に撮像して得られたモノクロの第１の撮像画像それぞれに基づいて車両の特徴部位を検出する。車両の特徴部位は、例えば、ナンバープレートである。なお、ナンバープレートに代えて車両の車頭部、車尾部、車両前方又は後方の角部などであってもよい。車両の特徴部位は、例えば、車両が存在しない場合の画像と車両が存在する場合の画像との差に基づいて車両を検出し、検出した車両の画像に基づいて、矩形状のナンバープレート部の切り出し処理を行うことにより検出することができる。車色判定装置は、第１の撮像画像の撮像時点から所定時間経過した撮像時点の第２の撮像画像を取得し、取得した第２の撮像画像上で判定領域を特定する。仮に、車両の特徴部位を検出した第１の撮像画像の撮像時点と同一時点の第２の撮像画像において車両の色を判定するための判定領域を確保するためには、車両の特徴部位と色を判定するための判定領域とは異なることから、第２撮像部の設置条件（例えば、第２撮像部の路面からの高さ、レンズの光軸の角度、撮像地点までの距離など）を調整する必要がある。しかし、第２撮像部の設置条件を異なる設置位置で個別に調整することは困難である。車両の特徴部位を検出した第１の撮像画像の撮像時点から所定時間経過した撮像時点の第２の撮像画像を取得することにより、第２の撮像画像上で車両の特徴部位は中心付近に移動し、第２撮像部の設置条件を調整することなく車両の色を判定するための判定領域を第２の撮像画像上で確保することができ、設置場所での調整を不要にすることができる。車色判定装置は、検出した特徴部位の第１の撮像画像上の移動距離に応じた第２の撮像画像上の位置に基づいて、他方の撮像部（第２撮像部）で撮像して得られたカラーの第２の撮像画像上で車両の色を判定するための判定領域（例えば、車両のボンネット）を特定する。なお、特徴部位の位置は、ある撮像時点の位置のみならず、異なる撮像時点の間の位置の変位も含む。判定領域の特定は、例えば、第１の撮像画像上の特徴部位の位置に対応する対応位置を第２の撮像画像上で特定し、第２の撮像画像上の対応位置を基準として所定の大きさの判定領域を特定することができる。

車色判定装置は、特定した判定領域の各画素の色成分に基づいて車両の色を判定する。例えば、判定領域の各画素の色成分をＲＧＢからＨＳＩ（Ｈ：色相、Ｓ：彩度、Ｉ：輝度）に変換し、色相Ｈ及び／又は輝度Ｉに基づいて車両の色を判定することができる。車両の特徴部位を基準として色の判定領域を特定することにより、従来の方法に比べて精度良く車両の色を判定することができる。また、車両の特徴部位を検出するためのモノクロの第１の撮像画像と車両の色を判定するためのカラー画像の第２の撮像画像とを用いることにより、従来のように車両の特徴部位を検出するためにカラー画像かつ高解像度の撮像部を用いる必要がなく、例えば、車両の特徴部位の検出には、高解像度、視野が狭くかつモノクロ画像を用い、車両の色判定には、低解像度、視野が広くかつカラー画像を用いることで、装置全体としてのコストを低減することができる。

第２発明にあっては、車色判定装置は、検出した特徴部位の第１の撮像画像上の移動距離を算出する。例えば、撮像時点がｔの第１の撮像画像上の特徴部位の位置と、撮像時点がｔ＋１の第１の撮像画像上の特徴部位の位置との差により移動距離を算出する。車色判定装置は、算出した移動距離に応じて、特徴部位の第２の撮像画像上の垂直位置を算出する。この場合、特徴部位の移動距離と特徴部位の第２の撮像画像上の垂直位置との関係を予め設定しておくことができる。これにより、所定時間の間の特徴部位の移動距離、すなわち、車両の速度に対応させて第２の撮像画像上での特徴部位の位置を精度良く求めることができ、車両の速度に関わらず車両の色を判定する判定領域を精度良く特定することが可能となる。

第３発明にあっては、車色判定装置は、検出した特徴部位の第１の撮像画像上の移動距離を算出する。例えば、撮像時点がｔの第１の撮像画像上の特徴部位の位置と、撮像時点がｔ＋１の第１の撮像画像上の特徴部位の位置との差により移動距離を算出する。車色判定装置は、算出した移動距離及び第２の撮像画像の撮像時点と第１の撮像画像の撮像時点との撮像時間差に応じて、特徴部位の第２の撮像画像上の垂直位置を算出する。この場合、特徴部位の移動距離及び撮像時間差と特徴部位の第２の撮像画像上の垂直位置との関係を予め設定しておくことができる。これにより、所定時間の間の特徴部位の移動距離、すなわち、車両の速度及び撮像時間差に対応させて第２の撮像画像上での特徴部位の位置を一層精度良く求めることができ、車両の速度に関わらず車両の色を判定する判定領域を一層精度良く特定することが可能となる。

第４発明にあっては、車色判定装置は、検出した特徴部位の第１の撮像画像上の水平位置を算出する。車色判定装置は、算出した水平位置に応じて、第２の撮像画像上での特徴部位の水平位置を算出し、算出した水平位置に基づいて判定領域を特定する。この場合、第１の撮像画像上の特徴部位の水平位置と第２の撮像画像上の特徴部位の水平位置との関係を予め設定しておくことができる。これにより、第２の撮像画像上での特徴部位の水平位置を求めることができ、車両の色を判定する判定領域を精度良く特定することが可能となる。

第５発明にあっては、特徴部位は、ナンバープレートである。これにより、車両のナンバープレートと車両の色とを対応付けることができ、仮にナンバープレートの文字の一部を認識することができないような場合でも、車両の色により車両の識別を補完することができ、車両の識別精度を向上させることができる。

第６発明にあっては、第２の撮像画像の解像度は、第１の撮像画像の解像度より小さい。これにより、第１の撮像画像は、高解像度、視野が狭くかつモノクロ画像（例えば、白黒画像）とし、第２の撮像画像は、低解像度、視野が広くかつカラー画像とすることにより、高解像度であって、視野が広くかつカラー画像を取得することができる撮像部が必要なく、装置全体としてのコストを低減することができる。

第７発明にあっては、車色判定装置は、車両の特徴部位に関する情報（例えば、ナンバープレートの文字情報）及び判定した車色に関する情報を受信装置（例えば、受信機能を備える中央装置、監視装置など）へ送信する。これにより、車両のナンバープレートと車両の色とを対応付けることができ、仮にナンバープレートの文字の一部を認識することができないような場合でも、車両の色により車両の識別を補完することができ、車両の識別精度を向上させることができる。

本発明にあっては、従来の方法に比べて精度良く車両の色を判定することができる。また、装置全体としてのコストを低減することができる。

実施の形態１
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る車色判定システムの構成の一例を示すブロック図である。本発明に係る車色判定システムは、車色判定装置１００、中央装置３００などを備えている。車色判定装置１００には、撮像装置２００を接続してある。なお、撮像装置２００は、車色判定装置１００に内蔵する構成であってもよい。

撮像装置２００は、照明部２１０、プレート認識用カメラ２２０、車体色判定用カメラ２３０などを備えている。照明部２１０は、複数のＬＥＤを備え、プレート認識用カメラ２２０で車両を撮像するタイミング（例えば、３３ｍｓの都度）に併せて近赤外光を、道路を走行する車両に対して照射する。これにより、例えば、夜間においても、プレート認識用カメラ２２０で車両を撮像してナンバープレート（車番）を認識することができる。

プレート認識用カメラ２２０は、道路を走行する車両を撮像し、撮像して得られた画像データを車色判定装置１００へ出力する。プレート認識用カメラ２２０で撮像して得られるプレート用撮像画像（第１の撮像画像）は、高解像度（例えば、横×縦が１４００×１０５０、１６００×１２００など）であり、視野（画角）は狭く（例えば、１０°〜１５°）、白黒画像である。ここで、白黒画像は、白、黒、それらの中間のグレーなどで構成される濃淡画像である。

車体色判定用カメラ２３０は、道路を走行する車両を撮像し、撮像して得られた画像データを車色判定装置１００へ出力する。車体色判定用カメラ２３０で撮像して得られる色判定用撮像画像（第２の撮像画像）は、低解像度（例えば、横×縦が７２０×４８０、８００×６００など）、視野（画角）は広く（例えば、２０°〜５０°）、カラー画像である。これにより、高解像度であって、視野が広くかつカラー画像を取得することができるカメラ（撮像装置）が必要なく、装置全体としてのコストを低減することができる。

プレート認識用カメラ２２０、車体色判定用カメラ２３０は撮像装置２００に内蔵され、すなわち、同一筐体内に組み込まれ、それぞれのカメラの取り付け位置、レンズの光軸等は、撮像装置２００を製造する際に所定の位置に固定される。これにより、撮像装置２００を道路脇に設置する場合、プレート認識用カメラ２２０、車体色判定用カメラ２３０それぞれの取り付け位置を調整する必要はない。

図２はプレート認識用カメラ２２０で撮像したプレート用撮像画像の一例を示す説明図であり、図３は車体色判定用カメラ２３０で撮像した色判定用撮像画像の一例を示す説明図である。図２に示すように、プレート用撮像画像は、高解像度であり、撮像画像の左上を座標の中心として横軸をｘｐ、縦軸をｙｐで示す。また、図３に示すように、色判定用撮像画像は、プレート用撮像画像の解像度より低解像度であり、撮像画像の左上を座標の中心として横軸をｘｓ、縦軸をｙｓで示す。

プレート認識用カメラ２２０及び車体色判定用カメラ２３０を撮像装置２００内の所定の位置に固定することにより、図２に示すように、ある撮像時刻ｔにおいて、プレート用撮像画像に車両の前部が映っている場合、撮像時刻ｔから所定の時間経過した撮像時刻ｔ＋Δｔにおいては、図３に示すように色判定用撮像画像には、前記車両の全体が映し出されている。

車色判定装置１００は、装置内の各部を制御する制御部１０、プレート認識用画像入力部１１、車体色判定用画像入力部１２、車両検出部１３、プレート認識部１４、プレート位置算出部１５、文字認識部１６、車体色判定領域特定部１７、車体色判定部１８、記憶部１９、昼夜判定部２０、時計２１、通信部２２などを備えている。

プレート認識用画像入力部１１は、プレート認識用カメラ２２０で撮像して得られた画像データを取得し、取得した画像データをフレーム単位に撮像時刻に対応付けて記憶部１９に記憶する。

車体色判定用画像入力部１２は、車体色判定用カメラ２３０で撮像して得られた画像データを取得し、取得した画像データをフレーム単位に撮像時刻に対応付けて記憶部１９に記憶する。

車両検出部１３は、プレート認識用カメラ２２０で撮像して得られた画像データを記憶部１９から取り出し、取り出した画像データに基づいて、車両（車両の一部を含む）を検出する。車両の検出処理としては、例えば、車両が存在しない場合のプレート用撮像画像と車両が存在する場合のプレート用撮像画像との差に基づいて車両を検出することができる。車両検出部１３は、検出した車両画像をプレート認識部１４へ出力する。なお、車両画像は、プレート用撮像画像から車両の部分を抽出した車両部分のみの画像でもよく、あるいは、プレート用撮像画像の中の車両部分の範囲を特定するものでもよい。

プレート認識部１４は、検出された車両画像に基づいて、矩形状のナンバープレート部の切り出し処理を行うことによりナンバープレートを認識する。プレート認識部１４は、認識したナンバープレートのプレート画像、プレート用撮像画像上のナンバープレートの座標などをプレート位置算出部１５、文字認識部１６へ出力する。

プレート位置算出部１５は、内部に画像メモリを備え、プレート認識部１４から出力されたプレート画像のプレート用撮像画像上の座標から、ナンバープレート部の所定の位置（例えば、矩形状のナンバープレート部の上部中央の位置、以下、「プレート位置」という）を算出するとともに、算出したプレート位置の座標（ｘｐ、ｙｐ）と、そのプレート用撮像画像の撮像時刻とを関連付けて画像メモリに記憶する。なお、プレート位置は、上述の位置に限定されるものではなく、ナンバープレート部の他の箇所であってもよい。

プレート位置算出部１５は、異なる撮像時刻（例えば、時刻ｔ、時刻ｔ＋１）におけるプレート位置の座標に基づいて、時刻ｔ、ｔ＋１の間のプレート位置の移動ベクトル（ｘｍ、ｙｍ）を算出する。

図４はプレート位置及びその移動距離の一例を示す説明図である。図４に示すように、プレート位置のｘｐ軸方向の移動距離ｘｍは、ｘｍ＝ｘｐ（ｔ＋１）−ｘｐ（ｔ）となり、プレート位置のｙｐ軸方向の移動距離ｙｍは、ｙｍ＝ｙｐ（ｔ＋１）−ｙｐ（ｔ）となる。ここで、ｘｐ（ｙ）、ｙｐ（ｔ）は、それぞれ時刻ｔにおけるプレート位置の座標ｘｐ、座標ｙｐである。プレート用撮像画像上で、プレート位置の縦方向（垂直方向）の移動距離はｙｍで求めることができ、横方向（水平方向）の移動距離はｘｍで求めることができる。

文字認識部１６は、プレート認識部１４から出力されたプレート画像に基づいて、ナンバー（車番）の文字を認識する。文字の認識処理は、例えば、プレート画像を二値化した二値化画像と、車番テンプレートである参照画像とを入力とするマッチドフィルタにより、二値化画像と参照画像との類似度を示す相関分布を作成し、ナンバープレートの支局名、分類番号、車種記号、一連番号の文字毎に、相関分布の最大値が示す文字を認識文字として抽出することができる。

車体色判定領域特定部１７は、プレート位置算出部１５が、例えば、撮像時刻ｔ＋１におけるプレート用撮像画像で算出したプレート位置の座標（ｘｐ、ｙｐ）、プレート位置の移動距離（例えば、ｙｍ）などに基づいて、撮像時刻ｔ＋１から所定の時間経過後の撮像時刻ｔ＋ｎにおける色判定用撮像画像上でのプレート位置の座標（ｘｓ、ｙｓ）を算出する。

図５は色判定用撮像画像上のプレート位置の一例を示す説明図であり、図６及び図７は色判定用撮像画像上のプレート位置の算出方法の一例を示す説明図である。図５の例では、撮像時刻ｔ＋１においてプレート用撮像画像で特定されたプレート位置に基づいて、撮像時刻がｔ＋ｎにおける色判定用撮像画像上でプレート位置を特定する様子を示している。

図６では、プレート用撮像画像でのプレート位置の移動距離ｙｍと色判定用撮像画像でのプレート位置の座標ｙｓとの関係を示している。すなわち、色判定用撮像画像でのプレート位置の座標ｙｓは、プレート用撮像画像でのプレート位置の移動距離ｙｍに応じて求めることができる。なお、図６に示す関係は、予め求めておくことができる。また、色判定用撮像画像でのプレート位置の座標ｙｓを算出する場合、図６に示す関係を演算により求めることもでき、あるいは、移動距離ｙｍと座標ｙｓとの対応付けをＬＵＴ等に記憶しておき、移動距離ｙｍを座標ｙｓに変換して求めることもできる。

これにより、所定時間の間（撮像時刻ｔと撮像時刻ｔ＋１との時間差）のプレート位置の移動距離、すなわち、車両の速度に対応させて色判定用撮像画像上でのプレート位置の垂直位置を精度良く求めることができ、結果として、後述する車両の色を判定するための車体色判定領域を、車両の速度に関わらず精度良く特定することが可能となる。

図６の例において、プレート用撮像画像の撮像時刻ｔ＋１と、色判定用撮像画像の撮像時刻ｔ＋ｎの撮像時間差（ｎ−１）に応じて、移動距離ｙｍに対応する座標ｙｓを変えることもできる。例えば、撮像時間差が小さい場合には、座標ｙｓを小さくし、撮像時間差が大きくなるに応じて、座標ｙｓを大きくすることができる。これにより、所定時間の間のプレート位置の移動距離、すなわち、車両の速度及び撮像時間差に対応させて色判定用撮像画像上でのプレート位置の垂直位置を精度良く求めることができ、結果として、後述する車両の色を判定するための車体色判定領域を、車両の速度に関わらず精度良く特定することが可能となる。

図７では、プレート用撮像画像でのプレート位置の座標ｘｐと色判定用撮像画像でのプレート位置の座標ｘｓとの関係を示している。すなわち、色判定用撮像画像でのプレート位置の座標ｘｓは、プレート用撮像画像でのプレート位置の座標ｘｐに応じて求めることができる。なお、図７に示す関係は、予め求めておくことができる。また、色判定用撮像画像でのプレート位置の座標ｘｓを算出する場合、図７に示す関係を演算により求めることもでき、あるいは、ｘｐとｘｓとの対応付けをＬＵＴ等に記憶しておき、座標ｘｐを座標ｘｓに変換して求めることもできる。これにより、色判定用撮像画像上でのプレート位置の水平位置を求めることができ、車体色判定領域を精度良く特定することが可能となる。

図８及び図９は色判定用撮像画像上のプレート位置の算出方法の他の例を示す説明図である。図８では、プレート用撮像画像でのプレート位置の移動距離ｙｍと色判定用撮像画像でのプレート位置の座標ｙｓとの関係を示し、図９では、プレート用撮像画像でのプレート位置の座標ｘｐと色判定用撮像画像でのプレート位置の座標ｘｓとの関係を示している。図６及び図７の例との違いは、例えば、撮像する道路の車線が異なる場合などを想定しおり、移動距離ｙｍが０の場合の座標ｙｓの値、座標ｘｐが０の場合の座標ｘｓの値などが相違する。

車体色判定領域特定部１７は、算出した色判定用撮像画像上でのプレート位置の座標（ｘｓ、ｙｓ）に基づいて、色判定用撮像画像上の車体色判定領域を特定する。

図１０は車体色判定領域の一例を示す説明図である。図１０に示すように、車体色判定領域は、プレート位置の座標（ｘｓ、ｙｓ）より所定の画素数（例えば、１０〜２０画素）だけ上側の領域であって、１００画素×１００画素で構成される平行四辺形の領域とすることができる。この場合、平行四辺形の辺の傾きは、車両の進行方向又は道路方向に並行となるようにすることができる。なお、車体色判定領域の形状、大きさ、プレート位置からの距離等は、一例であって、これに限定されるものではなく、車両のボンネット又はトランクなど、比較的広い塗色部分に含まれる領域であればよい。

プレート用撮像画像の撮像時刻から所定の時間経過した撮像時刻の色判定用撮像画像を用いることにより、色判定用撮像画像上で車両のプレート位置は中心付近に移動する。これにより、車両色判定領域を色判定用撮像画像上で確保することができるため、設置場所でのカメラの設置条件の調整をする必要がなくなる。

車体色判定部１８は、特定された車体色判定領域の画素値を、例えば、ＲＧＢからＨＳＩ（Ｈ：色相、Ｓ：彩度、Ｉ：輝度）に変換し、彩度Ｓの値に応じて、有彩色か無彩色かを判定するとともに、色相Ｈ及び／又は輝度Ｉに基づいて車両の色を判定する。判定する色の種類は、適宜決定することができるが、例えば、色相Ｈの値に応じて、赤、黄、緑、水、青、紫などに区分することができ、また、輝度Ｉの値に応じて、白、灰、黒などに区分することができる。

より具体的には、車体色判定部１８は、車体色判定領域の全画素に対して、色相Ｈ、輝度Ｉを求め、画素毎に色を判定し、各色の画素数を集計する。車体色判定部１８は、集計した色毎の画素数に基づいて、車体の色を判定する。例えば、画素数が最も多い色を車体の色とすることができる。あるいは、所定の閾値以上の画素数であって、多い順に車体の色の第１候補、第２候補としてもよい。あるいは、所定の閾値以上の画素数のそれぞれの色を混合した色を車体の色と判定してもよい。

車体色判定部１８は、後述する昼夜判定部２０からの判定結果に応じて、例えば、昼間であれば、有彩色、無彩色を問わず色の判定を行い、夜間であれば、無彩色のみの色の判定を行う。

昼夜判定部２０は、時計２１からの出力（時刻）に応じて、昼夜の別（例えば、昼モードか否か）を判定し、判定結果を車体色判定部１８へ出力する。

通信部２２は、制御部１０の制御により、文字認識部１６で認識したナンバープレート（車番）も文字情報と、車体色判定部１８で判定した車両の色とを関連付けて、中央装置３００へ送信する。これにより、車両のナンバープレートと車両の色とを対応付けることができ、仮にナンバープレートの文字の一部を認識することができないような場合でも、車両の色により車両の識別を補完することができ、車両の識別精度を向上させることができる。

次に、車色判定装置１００の動作について説明する。図１１は車色判定装置１００の処理手順を示すフローチャートである。制御部１０は、プレート用撮像画像を取得し（Ｓ１１）、車両を検出する（Ｓ１２）。制御部１０は、車両画像から矩形状のナンバープレート部を抽出することにより、プレートを認識し（Ｓ１３）、認識したプレートから文字を認識する（Ｓ１４）。

制御部１０は、抽出したナンバープレート部の位置に基づいて、プレート位置を算出し（Ｓ１５）、異なる撮像時刻のプレート用撮像画像上のプレート位置に基づいて、プレート位置の移動距離を算出する（Ｓ１６）。

制御部１０は、プレート用撮像画像の撮像時刻から所定時間経過後の撮像時刻の色判定用撮像画像を取得し（Ｓ１７）、色判定用撮像画像上のプレート位置を求めることにより、車体色判定領域を特定する（Ｓ１８）。制御部１０は、車体色を判定する（Ｓ１９）。なお、車体色の判定処理の詳細は後述する。

制御部１０は、認識したプレート情報（車番の文字情報）、車体色を関連付けて外部の中央装置へ送信し（Ｓ２０）、処理終了指示の有無を判定する（Ｓ２１）。処理終了指示がない場合（Ｓ２１でＮＯ）、制御部１０は、ステップＳ１１以降の処理を続け、処理終了指示があった場合（Ｓ２１でＹＥＳ）、処理を終了する。

図１２は車体色判定の処理手順を示すフローチャートである。制御部１０は、車体色判定領域の画素値（各画素の色成分）をＲＧＢからＨＳＩ（Ｈ：色相、Ｓ：彩度、Ｉ：輝度）に変換し（Ｓ１９１）、彩度Ｓが所定の閾値（例えば、０．４）より大きいか否かを判定する（Ｓ１９２）。彩度Ｓが所定の閾値より大きい場合（Ｓ１９２でＹＥＳ）、制御部１０は、有彩色であるとして色相Ｈを算出し（Ｓ１９３）、彩度Ｓが所定の閾値より大きくない場合（Ｓ１９２でＮＯ）、無彩色であるとして輝度Ｉを算出する（Ｓ１９４）。

制御部１０は、色相Ｈ又は輝度Ｉに基づいて、画素の色を判定し（Ｓ１９５）、車体色判定領域のすべての画素の色判定が終了したか否かを判定する（Ｓ１９６）。すべての画素の色判定が終了していない場合（Ｓ１９６でＮＯ）、制御部１０は、ステップＳ１９２以降の処理を続ける。

すべての画素の色判定が終了した場合（Ｓ１９６でＹＥＳ）、制御部１０は、判定した各色の画素数を集計し（Ｓ１９７）、昼モードか否かを判定する（Ｓ１９８）。昼モードである場合（Ｓ１９８でＹＥＳ）、制御部１０は、有彩色又は無彩色により車体色を判定し（Ｓ１９９）、昼モードでない場合（Ｓ１９８でＮＯ）、無彩色により車体色を判定し（Ｓ２００）、処理を終了する。

上述のとおり、車両のナンバープレート（特徴部位）の位置を基準として車体色の判定領域を特定することにより、従来の方法に比べて精度良く車両の色を判定することができる。また、車両のプレート位置を検出するためのプレート用撮像画像と車両の色を判定するための色判定用撮像画像とを用いることにより、高解像度であって、視野が広くかつカラー画像を取得することができるカメラが必要なく、装置全体としてのコストを低減することができる。

実施の形態２
上述の実施の形態１では、撮像時刻ｔ＋１におけるプレート用撮像画像で算出したプレート位置の座標（ｘｐ、ｙｐ）、プレート位置の移動距離（例えば、ｙｍ）などに基づいて、撮像時刻ｔ＋１から所定の時間経過後の撮像時刻ｔ＋ｎにおける色判定用撮像画像上でのプレート位置の座標（ｘｓ、ｙｓ）を算出する構成であったが、プレート用撮像画像の撮像時刻と色判定用撮像画像の撮像時刻との関係は、これに限定されるものではない。例えば、プレート用撮像画像で算出したプレート位置の座標（ｘｐ、ｙｐ）、プレート位置の移動距離（例えば、ｙｍ）などに基づいて、色判定用撮像画像の撮像時刻を決定することもできる。

図１３は実施の形態２の車体色判定領域の特定方法の一例を示す説明図である。図１３に示すように、撮像時刻ｔ＋１におけるプレート用撮像画像で算出したプレート位置の座標（ｘｐ、ｙｐ）、プレート位置の移動距離（例えば、ｙｍ）などに基づいて、制御部１０は、色判定用撮像画像の撮像時刻ｔ＋ｍを決定する。すなわち、車両の色判定のための特定部位（例えば、車両のボンネット、トランクなど）の全部又は一部が色判定用撮像画像の所定の車体色判定領域（例えば、中心付近の領域）に含まれるように撮像時刻ｔ＋ｍを決定する。なお、この場合、プレート位置の移動距離、プレート位置の座標（ｘｐ、ｙｐ）と色判定用撮像画像の撮像時刻ｔ＋ｍ（プレート用撮像画像の撮像時刻ｔ＋１からの経過時間）との関係を予め設定しておくことができる。

また、プレート用撮像画像上のプレート位置の座標ｘｐ（水平位置）に応じて、車体色判定領域の色判定用撮像画像上の水平位置を決定することもできる。この場合、プレート用撮像画像上のプレート位置の座標ｘｐ（水平位置）と車体色判定領域の色判定用撮像画像上の水平位置との関係を予め設定しておくことができる。これにより、プレート位置の水平位置に応じて色判定用撮像画像上の車体色判定領域の水平位置を決定することができ、車両の色を精度良く判定することが可能となる。

図１４は実施の形態２の車色判定装置１００の処理手順を示すフローチャートである。制御部１０は、プレート用撮像画像を取得し（Ｓ３１）、車両を検出する（Ｓ３２）。制御部１０は、車両画像から矩形状のナンバープレート部を抽出することにより、プレートを認識し（Ｓ３３）、認識したプレートから文字を認識する（Ｓ３４）。

制御部１０は、抽出したナンバープレート部の位置に基づいて、プレート位置を算出し（Ｓ３５）、異なる撮像時刻のプレート用撮像画像上のプレート位置に基づいて、プレート位置の移動距離を算出する（Ｓ３６）。

制御部１０は、プレート位置の移動距離、座標などに基づいて、色判定用撮像画像の撮像時刻を決定し（Ｓ３７）、決定した撮像時刻の色判定用撮像画像を取得する（Ｓ３８）。制御部１０は、車体色を判定する（Ｓ３９）。なお、車体色の判定処理は、図１２の例と同様である。

制御部１０は、認識したプレート情報（車番の文字情報）、車体色を関連付けて外部の中央装置へ送信し（Ｓ４０）、処理終了指示の有無を判定する（Ｓ４１）。処理終了指示がない場合（Ｓ４１でＮＯ）、制御部１０は、ステップＳ３１以降の処理を続け、処理終了指示があった場合（Ｓ４１でＹＥＳ）、処理を終了する。

上述のとおり、車両のプレート位置の移動距離、すなわち、車両の速度に応じて車両の色を判定するための特定部位が色判定用撮像画像の所定の車体色判定領域に重なるように、色判定用撮像画像の撮像時刻を決定することにより、従来の方法に比べて精度良く車両の色を判定することができる。また、車両のプレート位置を検出するためのプレート用撮像画像と車両の色を判定するための色判定用撮像画像とを用いることにより、高解像度であって、視野が広くかつカラー画像を取得することができるカメラが必要なく、装置全体としてのコストを低減することができる。

上述の実施の形態では、１００画素×１００画素の大きさであって平行四辺形状の車体色判定領域を用いる構成であったが、車体色判定領域の大きさ、形状などは固定的なものに限定されるものではない。例えば、プレート用撮像画像又は色判定用撮像画像により車両の大きさを検出し、検出した車両の大きさに応じて車体色判定領域の大きさ、形状、プレート位置からの距離などを変化させることもできる。また、車両の大きさに代えて、車種などを検出するようにしてもよい。

上述の実施の形態では、道路を走行する車両の前方から車両を撮像する構成であるが、これに限定されるものではなく、車両の後方から撮像する構成であってもよい。この場合には、車体色判定領域は、車両のトランク、屋根などの塗色部分に含まれるようにすればよい。

上述の実施の形態では、車両の前面側のナンバープレートを読み取るようにカメラを設置した場合について記載したが、本発明は、車両の後面側のナンバープレートを読み取るようにカメラを設置した場合にも応用できる。この場合、車両の走行する向きが逆になるため、図６〜図９の例において、直線の傾きは前面側の場合と比べて正負が反転する（すなわち、直線の傾きが負になる）。また、カメラの設置条件等によっては、図６〜図９に例示した直線は上下左右に移動し得る。

開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
（付記１：原請求項１＋３）
道路を走行する車両を撮像する２つの撮像部それぞれで撮像して得られたモノクロの第１の撮像画像及びカラーの第２の撮像画像に基づいて車両の色を判定する車色判定装置であって、第１の撮像画像に基づいて車両の特徴部位を検出する特徴部位検出手段と、該特徴部位検出手段で検出した特徴部位の前記第１の撮像画像上の位置に基づいて車両の色を判定するための判定領域を第２の撮像画像上で特定する判定領域特定手段と、該判定領域特定手段で特定した判定領域の各画素の色成分に基づいて車両の色を判定する車色判定手段とを備え、前記特徴部位検出手段は、異なる撮像時点の第１の撮像画像それぞれで特徴部位を検出するように構成してあり、前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の移動距離を算出する移動距離算出手段と、該移動距離算出手段で算出した移動距離に応じて、前記特徴部位の第２の撮像画像上の垂直位置を算出する垂直位置算出手段とをさらに備え、前記判定領域特定手段は、前記垂直位置算出手段で算出した垂直位置に基づいて判定領域を特定するように構成してあることを特徴とする車色判定装置。
（付記２：原請求項５）
前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の水平位置を算出する第１水平位置算出手段と、該第１水平位置算出手段で算出した水平位置に応じて、前記特徴部位の第２の撮像画像上の水平位置を算出する第２水平位置算出手段とを備え、前記判定領域特定手段は、前記第２水平位置算出手段で算出した水平位置に基づいて判定領域を特定するように構成してあることを特徴とする付記１に記載の車色判定装置。
（付記３：原請求項１＋５）
道路を走行する車両を撮像する２つの撮像部それぞれで撮像して得られたモノクロの第１の撮像画像及びカラーの第２の撮像画像に基づいて車両の色を判定する車色判定装置であって、第１の撮像画像に基づいて車両の特徴部位を検出する特徴部位検出手段と、該特徴部位検出手段で検出した特徴部位の前記第１の撮像画像上の位置に基づいて車両の色を判定するための判定領域を第２の撮像画像上で特定する判定領域特定手段と、該判定領域特定手段で特定した判定領域の各画素の色成分に基づいて車両の色を判定する車色判定手段と、前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の水平位置を算出する第１水平位置算出手段と、該第１水平位置算出手段で算出した水平位置に応じて、前記特徴部位の第２の撮像画像上の水平位置を算出する第２水平位置算出手段とを備え、前記判定領域特定手段は、前記第２水平位置算出手段で算出した水平位置に基づいて判定領域を特定するように構成してあることを特徴とする車色判定装置。
（付記４：原請求項８）
前記特徴部位は、ナンバープレートであることを特徴とする付記１乃至付記３のいずれか１つに記載の車色判定装置。
（付記５：原請求項９）
前記第２の撮像画像の解像度は、前記第１の撮像画像の解像度より小さいことを特徴とする付記１乃至付記４のいずれか１つに記載の車色判定装置。
（付記６：原請求項１０）
１又は複数の付記１乃至付記５のいずれか１つに記載の車色判定装置と、該車色判定装置から所定の情報を受信する受信装置とを備える車色判定システムであって、前記車色判定装置は、車両の特徴部位に関する情報及び判定した車色に関する情報を前記受信装置へ送信する送信手段を備えることを特徴とする車色判定システム。
（付記７：原請求項１＋３相当）
道路を走行する車両を撮像する２つの撮像部それぞれで撮像して得られたモノクロの第１の撮像画像及びカラーの第２の撮像画像に基づいて車両の色を判定する車色判定方法であって、第１の撮像画像に基づいて車両の特徴部位を検出するステップと、検出された特徴部位の前記第１の撮像画像上の位置に基づいて車両の色を判定するための判定領域を第２の撮像画像上で特定するステップと、特定された判定領域の各画素の色成分に基づいて車両の色を判定するステップとを含み、前記特徴部位を検出するステップは、異なる撮像時点の第１の撮像画像それぞれで特徴部位を検出し、検出された特徴部位の第１の撮像画像上の移動距離を算出するステップと、算出された移動距離に応じて、前記特徴部位の第２の撮像画像上の垂直位置を算出するステップとをさらに含み、前記判定領域を特定するステップは、算出された垂直位置に基づいて判定領域を特定することを特徴とする車色判定方法。
（付記８：原請求項１＋５相当）
道路を走行する車両を撮像する２つの撮像部それぞれで撮像して得られたモノクロの第１の撮像画像及びカラーの第２の撮像画像に基づいて車両の色を判定する車色判定方法であって、第１の撮像画像に基づいて車両の特徴部位を検出するステップと、検出された特徴部位の前記第１の撮像画像上の位置に基づいて車両の色を判定するための判定領域を第２の撮像画像上で特定するステップと、特定された判定領域の各画素の色成分に基づいて車両の色を判定するステップと、検出された特徴部位の第１の撮像画像上の水平位置を算出するステップと、算出された水平位置に応じて、前記特徴部位の第２の撮像画像上の水平位置を算出するステップとを含み、前記判定領域を特定するステップは、算出された水平位置に基づいて判定領域を特定することを特徴とする車色判定方法。

本発明に係る車色判定システムの構成の一例を示すブロック図である。 プレート認識用カメラで撮像したプレート用撮像画像の一例を示す説明図である。 車体色判定用カメラで撮像した色判定用撮像画像の一例を示す説明図である。 プレート位置及びその移動距離の一例を示す説明図である。 色判定用撮像画像上のプレート位置の一例を示す説明図である。 色判定用撮像画像上のプレート位置の算出方法の一例を示す説明図である。 色判定用撮像画像上のプレート位置の算出方法の一例を示す説明図である。 色判定用撮像画像上のプレート位置の算出方法の他の例を示す説明図である。 色判定用撮像画像上のプレート位置の算出方法の他の例を示す説明図である。 車体色判定領域の一例を示す説明図である。 車色判定装置の処理手順を示すフローチャートである。 車体色判定の処理手順を示すフローチャートである。 実施の形態２の車体色判定領域の特定方法の一例を示す説明図である。 実施の形態２の車色判定装置の処理手順を示すフローチャートである。

符号の説明

１００ 車色判定装置
１０ 制御部
１１ プレート認識用画像入力部
１２ 車体色判定用画像入力部
１３ 車両検出部
１４ プレート認識部
１５ プレート位置算出部
１６ 文字認識部
１７ 車体色判定領域特定部
１８ 車体色判定部
１９ 記憶部
２０ 昼夜判定部
２１ 時計
２２ 通信部
２００ 撮像装置
２１０ 照明部
２２０ プレート認識用カメラ
２３０ 車体色判定用カメラ
３００ 中央装置

Claims (8)

1. 道路を走行する車両を撮像する２つの撮像部それぞれで撮像して得られたモノクロの第１の撮像画像及びカラーの第２の撮像画像に基づいて車両の色を判定する車色判定装置であって、
   撮像時点が異なる複数の第１の撮像画像に基づいて該第１の撮像画像それぞれで車両の特徴部位を検出する特徴部位検出手段と、
   前記第１の撮像画像の前記撮像時点のうちの一の撮像時点から所定時間経過した撮像時点の第２の撮像画像を取得する取得手段と、
   前記特徴部位検出手段で検出した特徴部位の前記第１の撮像画像上の移動距離に応じた前記第２の撮像画像上の位置に基づいて車両の色を判定するための判定領域を前記第２の撮像画像上で特定する判定領域特定手段と、
   該判定領域特定手段で特定した判定領域の各画素の色成分に基づいて車両の色を判定する車色判定手段と
   を備えることを特徴とする車色判定装置。
2. 前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の移動距離を算出する移動距離算出手段と、
   該移動距離算出手段で算出した移動距離に応じて、前記特徴部位の第２の撮像画像上の垂直位置を算出する垂直位置算出手段と
   を備え、
   前記判定領域特定手段は、
   前記垂直位置算出手段で算出した垂直位置に基づいて判定領域を特定するように構成してあることを特徴とする請求項１に記載の車色判定装置。
3. 前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の移動距離を算出する移動距離算出手段と、
   該移動距離算出手段で算出した移動距離及び第２の撮像画像の撮像時点と第１の撮像画像の撮像時点との撮像時間差に応じて、前記特徴部位の第２の撮像画像上の垂直位置を算出する垂直位置算出手段と
   を備え、
   前記判定領域特定手段は、
   前記垂直位置算出手段で算出した垂直位置に基づいて判定領域を特定するように構成してあることを特徴とする請求項１に記載の車色判定装置。
4. 前記特徴部位検出手段で検出した特徴部位の第１の撮像画像上の水平位置を算出する第１水平位置算出手段と、
   該第１水平位置算出手段で算出した水平位置に応じて、前記特徴部位の第２の撮像画像上の水平位置を算出する第２水平位置算出手段と
   を備え、
   前記判定領域特定手段は、
   前記第２水平位置算出手段で算出した水平位置に基づいて判定領域を特定するように構成してあることを特徴とする請求項１乃至請求項３のいずれか１つに記載の車色判定装置。
5. 前記特徴部位は、
   ナンバープレートであることを特徴とする請求項１乃至請求項４のいずれか１つに記載の車色判定装置。
6. 前記第２の撮像画像の解像度は、前記第１の撮像画像の解像度より小さいことを特徴とする請求項１乃至請求項５のいずれか１つに記載の車色判定装置。
7. １又は複数の請求項１乃至請求項６のいずれか１つに記載の車色判定装置と、該車色判定装置から所定の情報を受信する受信装置とを備える車色判定システムであって、
   前記車色判定装置は、
   車両の特徴部位に関する情報及び判定した車色に関する情報を前記受信装置へ送信する送信手段を備えることを特徴とする車色判定システム。
8. 道路を走行する車両を撮像する２つの撮像部それぞれで撮像して得られたモノクロの第１の撮像画像及びカラーの第２の撮像画像に基づいて車両の色を判定する車色判定装置による車色判定方法であって、
   撮像時点が異なる複数の第１の撮像画像に基づいて該第１の撮像画像それぞれで車両の特徴部位を特徴部位検出手段が検出し、
   前記第１の撮像画像の前記撮像時点のうちの一の撮像時点から所定時間経過した撮像時点の第２の撮像画像を取得手段が取得し、
   検出された特徴部位の前記第１の撮像画像上の移動距離に応じた前記第２の撮像画像上の位置に基づいて車両の色を判定するための判定領域を取得された第２の撮像画像上で判定領域特定手段が特定し、
   特定された判定領域の各画素の色成分に基づいて車両の色を車色判定手段が判定することを特徴とする車色判定方法。

Images