(実施形態1)
本実施形態の車種判別システムは、撮像装置で撮像した車両の画像を車種の判別基準と比較した結果に基づいて、車両の車種を判別する。本実施形態における車種の判別基準は、車両の様々な面の画像を含む辞書データである。以下、本実施形態の詳細について説明する。
図1は、本実施形態にかかる車種判別システム1の全体構成の一例を示す図である。図1に示すように、本実施形態の車種判別システム1は、撮像装置101と、車種判別装置103と、管理端末51とを備えている。
本実施形態の撮像装置101は、道路を通行する車両10を撮像する単眼カメラ等である。撮像装置101としては、道路の管理や通行量の計数のために設置された既設のカメラ等を採用することができる。具体的には、撮像装置101は、道路を通行する車両群を撮像して車両10の台数を計数するトラフィックカウンター用に設置された既設のCCTVカメラであっても良い。撮像装置101が撮像する撮像画像は、動画でも良いし、静止画でも良い。
撮像装置101は、例えば、図1に示すように、車両10を斜め上方から撮像する角度に設置されるものとする。また、他の例としては、撮像装置101は、道路を通行する車両10を側面から撮影する位置に設置されるものとしても良く、撮像装置101の設置位置や設置角度、画角等の撮像条件については厳格な制限をするものではない。
撮像装置101は、車両10を撮像した撮像画像を、車種判別装置103に送信する。
車種判別装置103は、車両10の車種を判別するための車種判別処理を実行するコンピュータである。
本実施形態における車種は、車両10の種別である。例えば、本実施形態における車種は、普通車、中型車、大型車、特大車、特殊車の分類のことをいう。また、本実施形態における車種は、大型車以上の車種をさらに詳細に分類するものであってもよい。例えば、本実施形態においては、大型車の中でも、トラックとバスとを異なる車種としてもよい。
車種判別装置103は、撮像装置101と電気的に接続されている。また、車種判別装置103は、管理センター5に設置された管理端末51と、インターネット等のネットワークにより通信可能に接続されている。本実施形態の車種判別装置103は、図1では道路脇に設置されているが、これに限定されず、管理センター5に設置される構成を採用しても良い。
管理センター5は、車両情報を集中管理する管理事務所等である。また、管理端末51は、管理センター5に設置され、車種判別装置103から車種の判別結果についての情報を受信するコンピュータである。
本実施形態における管理端末51のユーザは、道路のインフラ設備の管理者等である。本実施形態において道路のインフラ設備とは、路面や、高架橋、橋桁等のことをいう。これらのインフラ設備は、適切なタイミングでの点検および補修等のメンテナンスを必要とする。インフラ設備のメンテナンスのタイミングは、道路にかかる重量負荷によって変化する。例えば、道路を通行した車両の重量の累積値が大きいほど、インフラ設備がダメージを受けるため、メンテナンスのタイミングが早まる。
そこで、本実施形態の管理端末51は、車種判別装置103から取得した車両10の車種の判別結果から、道路にかかる重量負荷を推定し、インフラ設備の点検等のために必要な情報をユーザに提供する。管理端末51は、本実施形態における情報処理装置の一例である。
次に、車種判別装置103の詳細について説明する。
図2は、本実施形態にかかる車種判別装置103のハードウェア構成の一例を示す図である。図2に示すように、車種判別装置103は、CPU(Central Processing Unit)111と、メモリ112と、HDD(Hard Disk Drive)113と、表示装置114と、入力装置115と、通信インタフェース(I/F)116と、バス117とを備える。
CPU111は、車種判別装置103の全体的な制御を行う制御装置である。例えば、CPU111は、メモリ112に記憶されているプログラム等を実行することで、様々な構成を実現する。
メモリ112は、読み出し可能なデータを記憶するメモリであり、例えばROMである。また、車種判別装置103は、書込み可能なRAM等のメモリをさらに備える構成を採用しても良い。
HDD113は、外部記憶装置(補助記憶装置)である。車種判別装置103は、HDD113の代わりに、フラッシュメモリ等の記憶媒体を備える構成を採用しても良い。
表示装置114は、液晶パネル等からなるディスプレイ等である。
入力装置115は、例えばキーボードやマウス、タッチパネル等であり、ユーザの操作を受け付ける装置である。なお、入力装置115は取り外し可能であっても良く、車種判別装置103は、通常時は入力装置115を備えない構成を採用しても良い。
通信インタフェース116は、ネットワーク等を介して車種判別装置103が送受信を行うためのインタフェースである。
また、バス117は、車種判別装置103の内部のデータ伝送路である。
図2に示す車種判別装置103の構成は一例であり、一般的なコンピュータの機能を備えるものであれば良い。
図3は、本実施形態にかかる車種判別装置103の機能的構成の一例を示すブロック図である。図3に示すように、車種判別装置103は、取得部121と、領域設定部122と、検出部123と、第一の判別部124と、追跡部125と、第二の判別部126と、統合判別部127と、送信部128と、記憶部150とを備える。
記憶部150は、例えば、HDD113によって構成される。記憶部150は、辞書データ151を記憶する。
辞書データ151は、撮像装置101ごとに、車種と、当該車種に対応する車両10の様々な面の画像とが対応付けられたデータである。辞書データ151に含まれる画像は、基準画像とは、各車種に該当する車両10の各面を予め撮像した画像であり、車両10の複数の面のそれぞれの判定基準となる。辞書データ151は本実施形態における車種の判別基準の一例である。
また、撮像装置101が設置される高さや角度によって撮像可能な車両10の面や、撮像画像における車両10の大きさや角度が異なるため、記憶部150は、撮像装置101ごとに異なる辞書データ151を記憶する。辞書データ151は、車種判別システム1の管理者等によって、記憶部150に予め保存される。本実施形態における車種判別システム1の管理者等は、車種判別システム1および車種判別装置103の開発または保守運用を行うエンジニア等である。
図4は、本実施形態にかかる辞書データ151の一例を示す図である。図4では、2台の撮像装置Aと撮像装置Bとを例として説明する。撮像装置Aと撮像装置Bは共に、撮像装置101の一例である。
撮像装置Aが撮像した撮像画像11Aは、車両10の前面の画像1171と、上面の画像1172と、側面の画像1173とを含む。
この場合、記憶部150は、辞書データ151として、撮像画像11Aに含まれる前面の画像1171と、上面の画像1172と、側面の画像1173とを、車両10の車種と対応付けて記憶する。
また、車両10の撮像位置によって、撮像装置Aが車両10のさらに異なる面を撮像可能な場合は、記憶部150は、辞書データ151として、車両10のさらに異なる面の画像を記憶する。例えば、辞書データ151として、前向きの車両10の前面、上面、左側面、後ろ向きの車両10の後面、上面、右側面の6面分の画像が、車種ごとに記憶部150に登録されても良い。
車種は、例えば「大型車」であってもよいし、図4に示すようにさらに詳細な分類である「トラック」としてもよい。辞書データ151の登録の際、各画像に対応する車両10の車種は、車種判別システム1の管理者等によって登録される。
また、同一の車種であっても様々な車両10が存在するため、辞書データ151は、車種ごとに、複数の画像を含む。
また、図4に示すように、撮像装置Bが撮像した撮像画像11Bは、車両10の後面(背面)の画像1174と、上面の画像1175と、側面の画像1176とを含む。
この場合、記憶部150は、辞書データ151として、撮像画像11Bに含まれる後面の画像1174と、上面の画像1175と、側面の画像1176とを、車両10の車種と対応付けて記憶する。
図4に示すように、記憶部150は、車両10の複数の面の画像と車両10の車種とを対応付けた辞書データ151を、撮像装置101と対応付けて記憶する。このため、後述の第一の判別部124または第二の判別部126がパターンマッチングをする際に、各撮像装置101が撮像する撮像画像と辞書データ151との画像とを、容易にマッチングすることができる。本実施形態においては、既設のカメラ等を各撮像装置101として採用するため、各撮像装置101の設置される高さや角度が統一されないことが想定される。このような場合であっても、記憶部150が各撮像装置101の画角に応じた画像を辞書データ151として各撮像装置101と対応付けて記憶することにより、より高精度に車両10の車種を判別することができる。
また、図4では記憶部150は、2台の撮像装置101に対応する辞書データ151を記憶する構成を採用しているが、記憶部150は、1台分の撮像装置101に対応する辞書データ151を記憶してもよい。あるいは、記憶部150は、さらに多数の撮像装置101に対応する辞書データ151を記憶してもよい。
また、辞書データ151に含まれる画像は、後述する判別処理においてマッチングが容易になるよう、予め特徴点を検出した画像でも良い。
図3に戻り、取得部121は、撮像装置101から、撮像装置101が車両10を撮像した撮像画像を取得する。この際、取得部121は、複数フレーム分の撮像画像を一定期間ごとにまとめて取得するものとしても良い。取得部121は、取得した撮像画像を領域設定部122に送出する。
領域設定部122は、撮像装置101が撮像した撮像画像を複数の画像領域に分割する。
図5Aは、本実施形態にかかる撮像画像の一例を示す図である。図5Aに示す撮像画像11aと、撮像画像11bとは、同一の撮像装置101によって、異なる時刻に撮像された画像である。本実施形態では、先に撮像された撮像画像11aを第一の撮像画像11a、後に撮像された撮像画像11bを第二の撮像画像11bと称する。異なる撮像画像に含まれる車両10が同一の車両10であることを特定する手法については、後述の追跡部125で説明する。
図3に戻り、領域設定部122は、撮像画像中の道路と交差する方向に、撮像画像を分割する。図5Aに示す例では、領域設定部122は、第一の撮像画像11aと第二の撮像画像11bとをそれぞれ横方向に3つの画像領域に分割する。画像領域の分割数は2以上であればよく、撮像装置101の画角等に応じて適宜決定されるものとする。また、領域設定部122は、各画像領域の大きさが、検出対象の車両10の各面の大きさ以上となるように、撮像画像を分割する。分割される各画像領域の大きさは、車種判別システム1の管理者等によって予め設定される。例えば、記憶部150に、撮像画像の分割位置を示す座標情報が予め記憶される構成を採用しても良い。
図5Aに示すように車両10が撮像画像の手前側(下)から奥(上)に向けて通行する場合、検出部123は、分割した画像領域のうち、一番下に位置する画像領域を、第一の画像領域12とする。また、領域設定部122は、分割した画像領域のうち、下から二番目(中央)に位置する画像領域を、第二の画像領域13とする。
また、図5Bは、本実施形態にかかる撮像画像の他の一例を示す図である。図5Bは、図5Aとは異なる設置位置および角度が異なる撮像装置101によって撮像された第一の撮像画像11aと第二の撮像画像11bとを示す。図5Aに示した例と同様に、図5Bに示す第一の撮像画像11aと、第二の撮像画像11bとは、同一の撮像装置101によって、異なる時刻に撮像された画像である。
図5Bに示す例では、車両10は撮像画像の奥(上)から手前側(下)に向けて通行する。この場合、領域設定部122は、分割した画像領域のうち、一番上に位置する画像領域を、第一の画像領域12とする。また、領域設定部122は、分割した画像領域のうち、上から二番目(中央)に位置する画像領域を、第二の画像領域13とする。
領域設定部122は、画像領域を設定した撮像画像を、検出部123および追跡部125に送出する。具体的には、領域設定部122は、撮像画像と、当該撮像画像の画像領域の分割位置を示す座標の情報とを対応付けて検出部123および追跡部125に送出する。また、領域設定部122は、撮像画像から第一の画像領域12のみを抽出して、検出部123に送出しても良い。
図3に戻り、検出部123は、撮像装置101が撮像した第一の撮像画像11aの第一の画像領域12から、車両10の画像を検出する。
撮像装置101の設置位置および角度、または撮像対象の道路の形状(直線または曲線)によって、各画像領域に含まれる車両10の面が、前面、後面、上面、側面のいずれであるかは予め決まっている。このため、上述の領域設定部122が設定した各画像領域は、それぞれ、車両10のいずれかの面を検出するための画像領域となる。各画像領域における検出対象の面は、車種判別システム1の管理者等によって、予め記憶部150に記憶されても良い。
図5Aに示す例では、第一の画像領域12は、車両10の上面の画像14aを検出するための画像領域である。
また、図5Bに示す第一の撮像画像11aと第二の撮像画像11bの画角は図5Aの画角とは異なるため、図5Bに示す第一の撮像画像11aと第二の撮像画像11bの各画像領域に含まれる車両10の面は、図5Aとは異なる。図5Bに示す例では、第一の画像領域12は、車両10の前面の画像14cを検出するための画像領域である。
また、1つの画像領域から車両10の複数の面が検出可能である場合は、検出部123が検出可能な車両10の面のうち、画像領域における面積が最も大きな面を検出対象とする構成を採用しても良い。例えば、検出部123が車両10の前面と側面の両方を検出可能である場合に、画像領域において車両10の前面の方が側面よりも大きく写っている場合は、車両10の前面を当該画像領域の検出対象としても良い。
図6Aは、本実施形態にかかる差分検出による車両10の画像の検出手法の一例を示す図である。図6Aに示す背景画像15は、予め撮像された車両10を含まない撮像画像である。背景画像15は、例えば記憶部150に予め保存される。
検出部123は、撮像装置101が撮像した車両10を含む撮像画像11aと、背景画像15とを、各画像を構成するピクセル単位で比較し、差分画像16を生成する。生成された差分画像16には、背景画像が削除されているため、車両10の画像のみが含まれる。検出部123は、差分画像16から、車両10の画像を検出する。図6Aに示す例では、検出部123は、車両10の上面の画像14aを検出する。
背景画像15は予め撮像され、撮像画像11aは車種判別の処理において撮像されるため、背景画像15と撮像画像11aとは、本実施形態における、異なる時刻に撮像された撮像画像の一例である。
また、検出部123は、MoG(Mixture of Gaussian Distribution、混合正規分布)やLBP(Local Binary Pattern)等の既知の技術や、これらを組み合わせた手法により差分画像を生成しても良い。
ここで、車両10以外の物体等が撮像画像11aに含まれた場合も差分が検出されるため、検出部123は、当該物体も車両10の画像として検出してしまうおそれがある。そこで、検出部123は、検出した車両10の画像の大きさが、閾値以上であるか否かを判断することにより、検出した画像が車両10の画像であるか否かを判断する。検出した車両10の画像の大きさは、例えばピクセル数で表される。
閾値は、例えば、画像が車両10の画像である場合に想定されるピクセル数の最小値である。閾値は、記憶部150に予め記憶されても良い。また、閾値は、撮像装置101ごとに異なる値であっても良い。
差分画像16から検出された上面の画像14aの大きさが閾値より小さい場合、検出部123は、当該画像は車両10の画像ではないと判断する。また、差分画像16から検出された上面の画像14aの大きさが閾値以上である場合、検出部123は、当該画像は車両10の画像であると判断する。
閾値との比較を行うまでは、検出部123が検出した画像が車両10の画像であるか否かが確定しない。このため、本実施形態において、検出部123が閾値との比較を行う前の時点においては、検出された画像を、「車両10の画像の候補」と称する。
また、検出部123は、差分画像を用いずに、撮像画像から車両10のエッジ(輪郭)を検出することにより車両10の画像を検出しても良い。
図6Bは、本実施形態にかかるエッジ検出による車両10の画像の検出手法の一例を示す図である。図6Bに示すように、検出部123は、撮像画像11aから縦または斜め方向のエッジを検出する。図6Bのエッジ画像17は、検出部123よって検出されたエッジを示す画像である。検出部123は、エッジ画像17から、検出されたエッジを含む画像を、車両10の画像の候補として検出する。
そして、検出部123は、検出した車両10の画像の候補となる画像の大きさが、閾値以上であるか否かを判断する。検出した車両10の画像の候補となる画像の大きさが、閾値以上である場合、検出部123は、当該画像は車両10の画像であると判断する。このようにして、図6Bに示す例では、検出部123は、車両10の上面の画像14aを検出する。
検出部123は、図6A,6Bに示す差分検出またはエッジ検出の手法を用いて、図5A,5Bに示した第一の撮像画像11aとから、車両10の上面の画像14aまたは前面の画像14cを検出する。検出部123が第一の撮像画像11aから検出した車両10の上面の画像14aまたは前面の画像14cは、本実施形態における車両10の第一の画像の一例である。
上述の領域設定部122が撮像画像を複数の画像領域に分割することにより、車両10の各面の検出対象の領域を限定するため、検出部123は、撮像画像の一部の領域のみを検出処理の対象とする。このため、撮像画像全体に対して車両10の各面の検出の処理を行う場合と比較して、処理負荷が低減する。また、予め、各画像領域ごとに車両10の検出対象の面が定められているため、検出部123は、検出した画像が、車両10のいずれの面の画像であるかを容易に特定することができる。
検出部123は、第一の撮像画像11aから検出した車両10の画像の座標と、第一の撮像画像11aとを第一の判別部124と、追跡部125とに送出する。
車両10の画像の座標は、第一の撮像画像11aにおける車両10の画像の位置および範囲を特定する情報である。
図3に戻り、第一の判別部124は、検出部123が第一の撮像画像11aから検出した車両10の画像と、辞書データ151の画像とをパターンマッチング(テンプレートマッチング)し、当該車両10の画像が、各車種の画像と、どの程度類似しているかを判断する。
例えば、図5Aに示した例のように、第一の撮像画像11aから車両10の上面の画像14aが検出された場合は、第一の判別部124は、車両10の上面の画像14aと、図4に示した辞書データ151に登録された車両10の上面の画像1175とをパターンマッチングする。
また、図5Bに示した例のように、第一の撮像画像11aから車両10の前面の画像14cが検出された場合は、第一の判別部124は、車両10の前面の画像14cと、図4に示した辞書データ151に登録された車両10の前面の画像1171とをパターンマッチングする。
また、第一の判別部124は、さらに、検出部123が検出した車両10の画像の座標から、上下左右に数ピクセルずつ移動した位置の画像を、辞書データ151に登録された車両10の画像とパターンマッチングしても良い。検出部123によって車両10の画像として検出された範囲の周辺も含めてパターンマッチングすることにより、検出した範囲にずれが生じている場合であっても、高精度に辞書データ151に登録された画像とのマッチングをすることができる。
また、第一の判別部124は、第一の撮像画像11aから検出された車両10の画像と、辞書データ151に登録された画像との差異を比較することができれば良く、パターンマッチング以外の手法を用いても良い。例えば、第一の判別部124は、部分空間法やSVM(Support Vector Machine)等の既知の手法を用いても良い。
上述のように、辞書データ151には複数の車種のそれぞれに対応付けられた車両10の各面の画像が含まれる。このため、第一の判別部124は、第一の撮像画像11aから検出された車両10の上面の画像14aまたは前面の画像14cが、それぞれの車種に対応付けられた辞書データ151の画像とどの程度類似しているかを算出する。類似度が高いほど、撮像された車両10が、当該車種である可能性が高くなる。そして、第一の判別部124は、第一の撮像画像11aから検出された車両10の画像がある車種であることの尤度を、車種ごとに算出する。
図7は、本実施形態にかかる車種判別結果の一例を示す図である。図7に示すように、第一の判別部124は、第一の撮像画像11aから検出された車両10の上面の画像14aについて、車種ごとの尤度を算出する。例えば、図7に示す例では、車両10が“普通車”であることの尤度は“0.2”である。また、車両10が“特大車”であることの尤度は“0.7”である。また、第一の判別部124は、「トラック」「バス」等のさらに詳細な車種ごとに尤度を算出しても良い。
換言すれば、第一の判別部124は、第一の撮像画像11aから検出された車両10の上面または前面の画像と、辞書データ151とを比較した結果に基づいて車両10の車種を判別する。本実施形態においては、第一の判別部124が行う車両10の車種の判別処理を、第一の車種判別処理と称する。
第一の判別部124は、第一の車種判別処理の結果として、車種ごとの尤度を統合判別部127に送出する。
図3に戻り、追跡部125は、検出部123が第一の撮像画像11aから検出した車両10の画像の座標に基づいて、車両10が第一の画像領域12から、第二の画像領域13へ移動するまでの、撮像画像における車両10の位置の変化を追跡する。追跡部125は、車両10の画像全体が第二の画像領域13に入った場合に、当該第二の画像領域13を含む撮像画像を第二の撮像画像11bであると判断する。
換言すれば、第二の撮像画像11bは、第一の撮像画像11aで検出された車両10が撮像された撮像画像である。また、追跡部125は、追跡した車両10の画像を、第二の撮像画像11bから検出する。
例えば、図5Aに示した例では、追跡部125は、第一の撮像画像11aの第一の画像領域12から検出された車両10の上面の画像14aの移動を複数の撮像画像を跨いで追跡する。
具体的には、追跡部125は、第一の撮像画像11aよりも後に撮像された複数の撮像画像を、領域設定部122から取得する。追跡部125は、複数の撮像画像を時系列に比較し、各撮像画像における車両10の位置を検出することにより、車両10を追跡する。そして、撮像画像上の車両10の全体が第二の画像領域13に入った場合に、追跡部125は、当該撮像画像を第二の撮像画像11bと判断する。また、追跡部125は、車両10の追跡をするために、各撮像画像における車両10の位置を検出しているため、第二の撮像画像11bを判断した時点で、車両10の画像の位置は検出済みである。
また、上述のように、第二の画像領域13で検出される車両10の面は、撮像装置101の画角に応じて、管理等により予め定められている。例えば、図5Aに示した例では、第二の画像領域13は、車両10の後面の画像14bを検出するための画像領域である。このため、追跡部125が図5Aに示す第二の画像領域13から検出した車両10の画像は、後面の画像14bである。
図5Bに示す例の場合は、追跡部125は、第一の撮像画像11aの第一の画像領域12から検出された車両10の前面の画像14cの移動を複数のフレームの撮像画像を跨いで追跡する。そして、車両10が第二の画像領域13が第二の画像領域13に入った場合に、追跡部125は、第二の撮像画像11bの第二の画像領域13から、車両10の画像を検出する。図5Bに示す例では、第二の画像領域13は、車両10の上面の画像14dを検出するための画像領域である。このため、追跡部125が図5Aに示す第二の画像領域13から検出した車両10の画像は、車両10の上面の画像14dである。
追跡部125が第二の撮像画像11bから検出した車両10の後面の画像14bまたは上面の画像14dは、本実施形態における車両10の第二の画像の一例である。
具体的には、追跡部125は、テンプレートマッチングの手法を用いて第一の撮像画像11aから検出された車両10の画像と、新たに撮像された撮像画像とを比較した結果に基づいて、撮像画像における車両10の移動の軌跡を追跡しても良い。
または、追跡部125は、その他の既知の手法を用いて撮像画像における車両10の移動の軌跡を追跡しても良い。例えば、追跡部125は、Mean−Shiftの手法を用いても良い。また、追跡部125は、検出された車両10の画像に複数の初期点を設定し、各点の位置の変化量を推測することによって車両10の画像範囲の移動を追跡するパーティクルフィルタ(粒子フィルタ)の手法を用いても良い。また、追跡部125は、検出された車両10の画像から特徴点を検出し、画像のフレーム間における特徴点の移動量を推測することにより車両10の移動を追跡するオプティカルフローの手法を用いても良い。また、追跡部125は、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)の手法を用いて、車両10の画像から局所特徴点を抽出し、フレーム間で各特徴点のマッチングをした結果に基づいて車両10の移動を追跡する手法を用いても良い。
時刻の変化と共に移動する車両10の撮像画像における位置を、追跡部125が追跡することにより、異なる撮像画像に含まれる車両10を、同一の車両10として対応付けることができる。
追跡部125は、第二の撮像画像11bの第二の画像領域13から検出した車両10の画像の座標と第二の撮像画像11bとを、第二の判別部126に送出する。
図3に戻り、第二の判別部126は、追跡部125が第二の撮像画像11bから検出した車両10の画像と、辞書データ151の画像とをパターンマッチング(テンプレートマッチング)し、当該車両10の画像が、いずれの車種の画像と類似しているかを判断する。第二の判別部126によるパターンマッチングの手法は、上述した第一の判別部124の手法と同様である。
第二の判別部126は、パターンマッチングの結果に基づいて、第二の撮像画像11bから検出された車両10の画像が、ある車種であることの尤度を、車種ごとに算出する。例えば、図7に示す例では、第二の判別部126は、車両10が“普通車”であることの尤度を“0.1”、車両10が“特大車”であることの尤度を“0.7”と算出する。また、第二の判別部126は、「トラック」「バス」等のさらに詳細な車種ごとに尤度を算出しても良い。
図7に示す例では、第二の撮像画像11bから検出された車両10の画像は車両10の後面の画像14bであるが、撮像装置101の設置場所または角度によっては、図5Bに示すように車両10の上面の画像14dが検出される。この場合、第二の判別部126は、車両10の上面の画像14dと辞書データ151の画像とをパターンマッチングした結果に基づいて、車種毎の尤度を算出する。
換言すれば、第二の判別部126は、第二の撮像画像11bから検出された車両10の後面または上面の画像と、辞書データ151とを比較した結果に基づいて車両10の車種を判別する。本実施形態においては、第二の判別部126が行う車両10の車種の判別処理を、第二の車種判別処理と称する。
第二の判別部126は、第二の車種判別処理の結果として、車種ごとの尤度を統合判別部127に送出する。
図3に戻り、統合判別部127は、第一の判別部124の判別結果と、第二の判別部126の判別結果とを統合し、車両10の車種を判別する。具体的には、統合判別部127は、第一の判別部124が算出した車種ごとの尤度と、第二の判別部126が算出した車種ごとの尤度とを車種ごとに合計する。そして、統合判別部127は、合計した尤度の値が最も大きい車種を、車両10の車種として判別する。
図7に示す例では、合計された尤度の値が最も大きい車種は“特大車”である。この場合、統合判別部127は、車両10の車種は特大車であると判別する。
図7に示す例では、統合判別部127は、第一の判別部124が算出した車種ごとの尤度と、第二の判別部126が算出した車種ごとの尤度とを単に合計しているが、判別結果の統合の手法はこれに限定されるものではない。
例えば、統合判別部127は、重み付け係数を用いて、第一の判別部124が算出した尤度と、第二の判別部126が算出した尤度とを重み付け加算しても良い。例えば、図7に示す例では、第一の撮像画像11aの方が、第二の撮像画像11bよりも、車両10をより近距離から撮像している。このような場合、第一の撮像画像11aに基づいて車種の判別を行った第一の判別部124の判別結果の方が第二の判別部126の判別結果よりも精度が高い可能性がある。この場合、統合判別部127は、第一の判別部124の判別結果に対して重み付け係数として“2”を乗算し、第一の判別部124が算出した尤度を2倍にしてから、第二の判別部126が算出した尤度と合計しても良い。重み付け係数の値は一例であり、これに限定されるものではない。
従来技術においては、撮像装置101が1台である場合、1台の車両10の複数の面に対して車種判別処理を行うことは困難であった。また、従来技術においては、複数の面に対して車種判別処理を行う場合であっても、1台の撮像装置101を用いて1台の車両10を複数の撮像角度から撮像した撮像画像を得ることは困難であった。
これに対して、第一の判別部124と、第二の判別部126とは、1台の撮像装置101から撮像された撮像画像を用いて、車両10のそれぞれ別の面に対して車種判別処理を行っている。本実施形態の車種判別装置103は、第一の判別部124と、第二の判別部126とがそれぞれ車種を判別し、統合判別部127がその結果を統合して最終的な車種の判別を行う。このため、本実施形態の統合判別部127は、車両10の車種を高精度に判別することができる。
統合判別部127は、車両10の車種として判別した車種と、合計した尤度とを、送信部128に送出する。
図3に戻り、送信部128は、統合判別部127によって判別された車両10の車種と、合計された尤度とを、判別結果として管理端末51に送信する。また、送信部128は、さらに、第二の撮像画像11bが撮像された時刻と、第一の撮像画像11aまたは第二の撮像画像11bとを管理端末51に送信しても良い。
次に、管理端末51の詳細について説明する。管理端末51のハードウェア構成は、図2で説明した車種判別装置103のハードウェア構成と同様である。
図8は、本実施形態にかかる管理端末51の機能的構成の一例を示すブロック図である。図8に示すように、管理端末51は、受信部510と、算出部511と、表示制御部512と、記憶部550とを備える。
記憶部550は、例えば、HDDによって構成される。記憶部550は、車両重量データベース(DB)551と、車種判別記録データベース(DB)552と、累積重量の閾値とを記憶する。
車両重量データベース551は、車種ごとの車両10の推定重量が登録されたデータベースである。
図9は、本実施形態にかかる車両重量データベース551のテーブル構成の一例を示す図である。図9に示すように、車両重量データベース551には、車種ごとに、推定重量が対応付けられて登録される。
推定重量は、車両10の車体の重量と積荷の重量とを含めた総重量の推定値である。図9に示す推定重量の値は一例であり、これに限定されるものではない。また、車両重量データベース551には、「大型車」「特大車」等の車種をさらに詳細化した「トラック」「バス」等の詳細な車種ごとに推定重量が登録されても良い。
図8に戻り、車種判別記録データベース552は、車種判別装置103から送信された車両10の車種の判別結果を記録するデータベースである。
図10は、本実施形態にかかる車種判別記録データベース552のテーブル構成の一例を示す図である。車種判別記録データベース552は、一例として、項目「場所」、「日時」、「車種」、「尤度」を含む。
「場所」は、撮像装置101が設置された場所を示す。撮像装置101と、車両10の車種の判別結果とが対応付けて保存されれば良いため、車種判別記録データベース552は、場所の代わりに撮像装置101の識別情報等を保存しても良い。
また、「日時」は、車両10は撮像された日時を示す。例えば、「日時」には、第二の撮像画像11bが撮像された日付と時刻が登録される。あるいは、「日時」は、管理端末51が車種判別装置103から当該車種の判別結果を受信した日付と時刻でも良い。
「車種」は、車種判別装置103の統合判別部127が判別した車両10の車種である。また、「尤度」は、統合判別部127が合計した車種ごとの尤度のうち、車両10の車種として判別した車種に対応付けられた尤度である。
図8に戻り、累積重量の閾値は、道路のインフラ設備のメンテナンスが必要となるタイミングにおける、当該道路を通行した車両10の重量の累積値である。上述したように、インフラ設備が受けるダメージは、道路にかかる重量負荷によって変化する。そこで、道路にかかる重量負荷が、点検や改修等のメンテナンスをすべき累積重量となる値を、累積重量の閾値とする。累積重量の閾値は、例えば“1,0000t”のように一律で定められても良いが、場所ごとに異なる値が定められても良い。累積重量の閾値は、予め、ユーザ等によって記憶部550に登録されるものとする。また、累積重量の閾値は、重量負荷の累積値の閾値とも称されうる。
受信部510は、車種判別装置103から、車両10の車種として判別した車種と、合計した尤度と、第二の撮像画像11bが撮像された時刻とを受信する。また、本実施形態では、図1に示すように撮像装置101と車種判別装置103とは1対1で対応付けられているため、受信部510は、送信元である車種判別装置103から、撮像装置101を特定する。受信部510は、受信したこれらのデータと、撮像装置101の設置場所とを対応付けて、車種判別記録データベース552に登録する。
また、1台の車種判別装置103に対して複数の撮像装置101が対応付けられている場合には、上述の車種判別装置103の送信部128は、撮像装置101を特定する情報と対応付けて、車両10の車種と、合計された尤度と、第二の撮像画像11bが撮像された時刻とを送信しても良い。当該構成を採用する場合、受信部510は、車種判別装置103から送信された撮像装置101を特定する情報と、車両10の車種と、合計された尤度と、第二の撮像画像11bが撮像された時刻とを対応付けて、車種判別記録データベース552に登録する。
算出部511は、車種判別記録データベース552に登録された車種の判別結果と、車両重量データベース551に登録された車種ごとの車両10の推定重量とに基づいて、各地点における道路を通行する車両10の累積重量を算出する。例えば、図9に示す車両重量データベース551の例では、特大車が通行した場合、推定重量は“20t”である。また、その次に大型車が通行した場合、推定重量は“10t”であり、累積重量は“30t”となる。
算出部511は、算出した累積重量を、表示制御部512に送出する。
表示制御部512は、車両10の累積重量の算出結果をディスプレイに表示する。ディスプレイは、本実施形態における表示部の一例である。また、表示制御部512は、車両10の累積重量の算出結果をプリンタ等に出力する構成を採用しても良い。
図11は、本実施形態にかかる車両10の累積重量を表示する画面イメージの一例である。図11に示す例では、表示制御部512は、車両10の累積重量と、累積重量の閾値とを比較してディスプレイに表示する。
図11は縦軸が車両10の累積重量、横軸が時間を示す。また、図11の“a”は、累積重量の閾値を示す。図11のグラフでは、“地点A”を“1/1〜12/31”の期間に通行した車両10の累積重量が、時間の経過と共に時系列に表示される。“地点A”は、撮像装置101の設置場所である。
図11に示すグラフでは、車両10の累積重量は累積重量の閾値aに達していないが、ユーザは、当該グラフから累積重量の増加の速度を確認することによって、累積重量の閾値aに達する時期を予測することができる。このため、表示制御部512が表示する当該グラフにより、インフラ設備のメンテナンスのタイミングをユーザに知らせることができる。
図11に示す表示形式は一例であり、これに限定されるものではない。
次に、以上のように構成された本実施形態における車種判別処理について説明する。
図12は、本実施形態にかかる車種判別処理の流れの一例を示すフローチャートである。
まず、取得部121は、撮像装置101から、車両10を撮像した撮像画像を取得する(S1)。取得部121は、取得した撮像画像を領域設定部122に送出する。
領域設定部122は、撮像装置101が撮像した撮像画像を複数の画像領域に分割し、車両10の検出対象となる画像領域を設定する(S2)。具体的には、領域設定部122は、図5Aに示すように、撮像画像を横方向に分割し、一番下に位置する画像領域を、車両10の上面の画像14aを検出するための、第一の画像領域12とする。また、領域設定部122は、下から二番目に位置する画像領域を、車両10の後面の画像14bを検出するための、第二の画像領域13とする。
領域設定部122は、画像領域ごとに分割した撮像画像を、検出部123および追跡部125に送出する。
検出部123は、第一の撮像画像11aの第一の画像領域12から、差分検出の手法またはエッジ検出の手法を用いて、車両10の画像の候補を検出する(S3)。
次に、検出部123は、車両10の画像の候補となる画像の大きさが、閾値以上であるか否かを判断する(S4)。
車両10の画像の候補として検出された画像の大きさが閾値より小さい場合(S4“No”)、検出部123は、当該画像は車両10の画像ではないと判断する。この場合、S1の処理に戻り、取得部121は、次の撮像画像を取得する。
また、車両10の画像の候補として検出された画像の大きさが閾値以上である場合(S4“Yes”)、検出部123は、当該画像は車両10の画像であると判断する。検出部123は、第一の撮像画像11aから検出した車両10の画像の位置および範囲を示す座標を、第一の判別部124と、追跡部125とに送出する。
第一の判別部124は、第一の撮像画像11aから検出された車両10の画像に対して第一の車種判別処理を実行する(S5)。
第一の車種判別処理については、図13を用いて説明する。
図13は、本実施形態にかかる第一の車種判別処理の流れの一例を示すフローチャートである。
第一の判別部124は、第一の撮像画像11aから検出された車両10の画像と、辞書データ151に登録された画像とをパターンマッチングする(S501)。パターンマッチングの際、第一の判別部124は、第一の撮像画像11aから検出された車両10の画像と同じ面の画像を辞書データ151から抽出し、マッチング対象とする。例えば、第一の判別部124は、第一の撮像画像11aから検出された車両10の画像が上面の画像である場合は上面の画像、前面の画像である場合は前面の画像を辞書データ151から抽出する。また、第一の判別部124は、パターンマッチングの結果として、辞書データ151の画像と第一の撮像画像11aから検出された車両10の画像との類似度をマッチング対象の画像ごとに算出する。
第一の判別部124は、パターンマッチングの結果に基づいて、当該車両10の画像が、各車種の画像と、どの程度類似しているかを判断する。そして、第一の判別部124は、第一の撮像画像11aから検出された車両10の画像が、ある車種であることの尤度を、車種ごとに算出する(S502)。第一の判別部124は、第一の車種判別処理の結果として、車種ごとの尤度を統合判別部127に送出する。
ここで、第一の車種判別処理は終了し、図12のフローに戻る。
追跡部125は、検出部123が第一の撮像画像11aから検出した車両10の画像の座標に基づいて、車両10が第一の画像領域12から、第二の画像領域13へ移動するまでの、撮像画像における車両10の位置の変化を追跡する(S6)。
追跡部125は、車両10の全体が第二の画像領域13へ入った場合に、当該第二の画像領域13を含む撮像画像を第二の撮像画像11bであると判断する。追跡部125は、第二の撮像画像11bから検出した車両10の画像を、第二の判別部126に送出する。
第二の判別部126は、第二の撮像画像11bから検出された車両10の画像に対して第二の車種判別処理を実行する(S7)。第二の車種判別処理の流れは、図13で説明した第一の車種判別処理と同様である。
第二の判別部126は、第二の車種判別処理の結果として、車種ごとの尤度を統合判別部127に送出する。
統合判別部127は、第一の判別部124の判別結果と、第二の判別部126の判別結果とを統合する(S8)。具体的には、統合判別部127は、第一の判別部124が算出した車種ごとの尤度と、第二の判別部126が算出した車種ごとの尤度とを車種ごとに合計する。そして、統合判別部127は、合計した尤度の値が最も大きい車種を、車両10の車種として判別する。統合判別部127は、車両10の車種として判別した車種と、合計した尤度とを、送信部128に送出する。
送信部128は、判別結果を管理センター5に送信する(S9)。具体的には、送信部128は、統合判別部127によって判別された車両10の車種と、合計された尤度とを、管理センター5に設置された管理端末51に送信する。
上述のように、本実施形態の撮像装置101は、道路の管理や通行量の計数のために設置された既設のカメラ等を採用することができる。このような既設のカメラ等は、一般的に画質が低いことが多い。このため、従来技術においては、既設のカメラ等を用いて高精度に車両10の車種を判別することは困難であった。
一方、本実施形態の車種判別装置103では、第一の判別部124が、第一の撮像画像11aから検出された車両10の画像と、車種の判別基準とに基づいて、車両の車種を判別し、さらに、第二の判別部126が、第二の撮像画像11bから検出された車両10の画像と、車種の判別基準とに基づいて、車両10の車種を判別する。そして、統合判別部127が、第一の判別部124の判別結果と、第二の判別部126の判別結果とを統合し、車両10の車種を判別する。このため、本実施形態の車種判別装置103によれば、車種判別処理を2段階で行うことにより、画質の低い既設のカメラ等で撮像された撮像画像であっても、車両10の車種を高精度に判別することができる。
さらに、本実施形態の車種判別装置103によれば、第一の判別部124は第一の撮像画像11aから検出された車両10の上面または前面と、辞書データ151とを比較した結果に基づいて車両10の車種を判別する。また、第二の判別部126は、第二の撮像画像11bから検出された車両10の後面または上面と、辞書データ151とを比較した結果に基づいて車両10の車種を判別する。また、統合判別部127がこれらの判別結果を統合して車両10の車種を判別する。このように、車種判別装置103によれば、第一の判別部124と第二の判別部126がそれぞれ車両10の別の面に基づいて車種を判別した結果を統合するため、車両10の車種をより高精度に判別することができる。
例えば、車両10の前面からでは大型車と特大車と特殊車とを区別することは困難な場合があるが、上面や後面等からは、これらの車種を区別することが比較的容易である。このため、本実施形態の車種判別装置103によれば、車両10の複数の面の画像に基づいて車種判定をすることにより、特に大型車以上の車種(大型車、特大車、特殊車)をより高精度に判別することができる。また、大型車以上の車種の車両10は、道路のインフラ設備等に与える重量負荷が特に高いため、これらの車種の通行量は、インフラ設備等に与える重量負荷を高精度に推定するために有益な情報である。本実施形態の車種判別装置103によれば、大型車以上の車種を高精度に特定することにより、インフラ設備等に与える重量負荷を高精度に推定するために有益な情報を提供することができる。
さらに、本実施形態の車種判別装置103の検出部123は、異なる時刻に撮像された撮像画像の差分を検出することにより、撮像画像から車両10の画像を検出する。このため、本実施形態の車種判別装置103によれば、撮像画像に車両10が含まれることを、高精度に検出することができる。特に、高速道路等においては、車両10以外の物体が道路上に存在する可能性は低いため、図6Aに示すように背景画像15と撮像画像11aとの差分を検出することにより、撮像画像から車両10の画像を高精度に検出することができる。
あるいは、本実施形態の車種判別装置103の検出部123は、撮像画像から縦方向または斜め方向のエッジを検出することにより、撮像画像から車両10の画像を検出する。このため、本実施形態の車種判別装置103によれば、差分検出用の背景画像を予め記憶していなくとも、撮像画像から車両10の画像を検出することができる。このため、本実施形態の車種判別装置103によれば、車種判別装置103の管理者等が背景画像の撮像等をする作業負荷を低減することができる。
また、本実施形態の車種判別装置103の記憶部150は、辞書データ151に含まれる車両10の複数の面の画像と、撮像装置101とを対応付けて記憶し、第一の判別部124および第二の判別部126は、撮像装置101が撮像した撮像画像から検出された車両10の画像と、辞書データ151とを比較した結果に基づいて車両10の車種を判別する。このため、本実施形態の車種判別装置103によれば、第一の判別部124および第二の判別部126は、辞書データ151と車両10の画像とを、より高精度にマッチングすることができる。例えば、撮像装置101の撮像画像と、辞書データ151に含まれる車両10の複数の面の画像の撮像とで撮像角度等が大きく異なると、撮像装置101の撮像画像とのパターンマッチングの精度が低下したり、撮像画像の形状を補正するための処理負荷が増加したりする場合がある。これに対して、本実施形態の辞書データ151は予め撮像装置101ごとに登録されるため、本実施形態の車種判別装置103によれば、撮像装置101の撮像画像と辞書データ151とを高精度にパターンマッチングすると共に、処理負荷を低減することができる。
また、本実施形態の車種判別システム1は、車種判別装置103と、管理端末51とを含み、管理端末51の算出部511は、記憶部550に記憶した車種ごとの車両10の重量の推定値と、車種判別装置103から受信した車両10の車種とから、道路を通行する車両10の累積重量を算出する。そして、表示制御部512が、車両10が通行する道路の道路を通行する車両10の累積重量と、累積重量の閾値aとを比較して表示部に表示する。このため、本実施形態の車種判別システム1によれば、道路の重量負荷の状態をユーザに知らせることにより、ユーザが適切なタイミングでインフラ設備のメンテナンスをすることを支援することができる。
なお、本実施形態においては、送信部128は、判別された車種を管理端末51に逐次送信するものとしたが、送信のタイミングはこれに限定されるものではない。例えば、車種判別装置103は、記憶部150に判別結果を記憶し、一定期間ごとに管理端末51にまとめて送信しても良い。あるいは、車種判別装置103は、判別した車種ごとに車両10の台数を累計した結果を一定期間ごとに管理端末51に送信しても良い。
また、本実施形態においては、辞書データ151は予め記憶部150に記憶されるものとするが、車種判別装置103の稼動中に撮像された画像に基づいて、辞書データ151が生成される構成を採用しても良い。当該構成を採用する場合、車種判別装置103は、車種判別結果と撮像画像11とに基づいて辞書データ151を新たに生成する学習部を備えても良い。
また、本実施形態においては、車種判別装置103は、第一の判別部124と第二の判別部126により2段階の車種判別処理を行うものとしたが、車種判別処理の回数はこれに限定されるものではない。車種判別装置103は、3段階以上の車種判別処理を行う構成を採用しても良い。例えば、本実施形態においては、撮像画像を3つの画像領域に分割したうち、第一の画像領域12と、第二の画像領域13とを車種判別に用いたが、残る第三の画像領域をさらに車種判別に用いても良い。
(実施形態2)
上述の実施形態1の車種判別システム1では、車種判別装置103は、車種の判別基準として辞書データ151を用いていた。これに対して、本実施形態の車種判別装置103は、車種の判別基準として車種判別データベースを用いる。以下、本実施形態の詳細について説明する。
本実施形態の車種判別システム1の全体構成は、図1で説明した実施形態1の構成と同様である。また、本実施形態の車種判別装置103のハードウェア構成は、図2で説明した実施形態1の構成と同様である。
また、本実施形態の管理センター5に設置された管理端末51の構成は、図8で説明した実施形態1の構成と同様である。
図14は、本実施形態にかかる車種判別装置103の機能的構成の一例を示すブロック図である。図14に示すように、本実施形態の車種判別装置103は、取得部121と、領域設定部122と、検出部123と、第一の判別部1124と、追跡部125と、第二の判別部1126と、統合判別部127と、送信部128と、登録部129と、記憶部1150とを備える。
本実施形態の取得部121、領域設定部122、検出部123、追跡部125、統合判別部127、送信部128は、図3で説明した実施形態1と同様の機能を備える。
また、本実施形態の記憶部1150は、実施形態1と同様に、HDD113等によって構成される。また、実施形態の記憶部1150は、図14に示すように、車種判別データベース(DB)152を記憶する。
車種判別データベース152は、車種ごとの特徴が撮像装置101ごとに対応付けられて登録されたデータベースである。車種判別データベース152は、本実施形態における車両10の車種の判別基準の一例である。
図15は、本実施形態にかかる車種判別データベース152のテーブル構成の一例を示す図である。図15に示すように、車種判別データベース152は、項目「撮像装置」、「車種」、「車長」、「窓の有無」、「上面の反射」、「後面の形状」、「車軸の数」、「白線情報」を含む。
「撮像装置」は、当該車種判別データベース152に登録されたデータが、いずれの撮像装置101で撮像された撮像画像に対応するかを示す項目である。例えば、図15に示す例では、項目「撮像装置」に“撮像装置A”と設定されたレコードは、撮像装置Aに対応するデータが設定される。
「車長」は、各撮像装置101が撮像した撮像画像における、車種ごとの車両10の前後方向(長手方向)の長さの範囲が設定される項目である。例えば、車長は、ピクセル数によって表される。撮像装置101ごとに車両10との距離が異なるため、撮像画像における車両10の車長は撮像装置101ごとに異なる。例えば、図15に示す例では、“撮像装置A”の撮像画像上の普通車の車長(L)は、“0ピクセル以上n1ピクセル以下”である。また、“撮像装置B”の撮像画像上の普通車の車長(L)は、“0ピクセル以上n11ピクセル以下”である。図15に示す例では、n1〜n3、n11〜n13、n21〜n23はそれぞれ正の整数である。また、n1<n2<n3、n11<n12<n13、n21<n22<n23とする。
撮像画像における車両10の車長が車種判別データベース152に登録されているため、後述する第一の判別部1124および第二の判別部1126は、撮像画像から検出された車両10の画像の車長と、車種判別データベース152に登録された車長とを容易に比較することができる。例えば、車種判別データベース152に車両10の実寸の車長が登録されていた場合、第一の判別部1124および第二の判別部1126は換算処理等を行うが、本実施形態では当該処理をしなくとも良い。
また、車種判別データベース152の各項目のうち、「車種」と、「窓の有無」と、「上面の反射」と、「後面の形状」と、「車軸の数」とは、撮像装置101ごとに変わる情報ではないため、どの撮像装置101に対応付けられた場合であっても、同じ車種であれば同じデータが設定される。
「車種」は、車両10の車種が設定される項目である。当該項目には、例えば、図15に示すように、“普通車”、“バス”“中型車”、“大型車”、“特大車”、“特殊車”等の車種が登録される。図15に示すように、本実施形態では、中型車において、バスとその他の車両10とを区別する。例えば、本実施形態における“中型車”はバス以外の中型車を示す。また、車種判別データベース152は、大型車についても、バスとそれ以外の車両10とを区別しても良い。
「窓の有無」は、車両10の側面における窓の有無が車種ごとに設定される項目である。例えば、普通車やバスの側面には窓があるが、バス以外の中型車や、大型車の側面には窓がないのが一般的である。また、ここでは運転席または助手席のドアの窓は含まないものとする。このように、「窓の有無」は、特にバスとバス以外の車両10(トラック等)とを区別することができる。バスとバス以外の車両10(トラック等)とでは、総重量の差が大きいことが推測されるため、車種判別データベース152が当該項目を含むことにより、道路への重量負荷をより高精度に推定することが可能となる。
また、図15では“特殊車”に対応付けられたレコードの「窓の有無」に“‐”が設定されている。これは、特殊車については様々な形状の車両10が含まれるため、側面に窓があるものもないものも存在することを示す。
また、「上面の反射」は、撮像画像における車両10の上面が、太陽光等を反射しているか否かが車種ごとに設定される項目である。例えば、バス以外の中型車や、大型車、特殊車は、荷台部分の車高が高いため、車両10の上面と撮像装置101との距離が、普通車やバスと比較して近距離である。このため、撮像画像におけるバス以外の中型車や、大型車、特殊車の上面は、太陽光が反射して輝度が高くなる。撮像画像における車両10の上面の画像の輝度が所定の値以上であれば上面の反射は“有”、輝度が所定の値未満であれば上面の反射は“無”となる。
「後面の形状」は、撮像画像における車両10の後面の形状が車種ごとに設定される項目である。車両10の車種がバス、中型車、大型車のいずれかである場合は、撮像画像における車両10の後面の形状が、正方形、長方形(矩形)、平行四辺形等を含む四角形となる。一方、車両10の車種が普通車または特殊車である場合、後面の形状は多様な形状であり、一般に、四角形以外の形状である。
「車軸の数」は、車両10の車軸の数が車種ごとに設定される項目である。車種ごとに、車軸の数は決められている。例えば、車両10の車種がバスの場合は、車軸の数は“2”であり、バス以外の中型車である場合は、車軸の数は“3”である。撮像装置101の設置位置や角度によっては、撮像画像から車軸の数を検出することが困難な場合があるため、車軸の数は、撮像装置101が車軸を撮像可能な位置に設置されている場合にのみ、車種の判別基準として使用されてもよい。
「白線情報」は、車両10の車種判別処理ではなく、撮像装置101の新規登録のために用いられるデータである。白線情報については、登録部129の説明で後述する。
図15に示す車種判別データベース152の項目および設定されたデータは一例であり、これに限定されるものではない。例えば、車種判別データベース152は、項目「車種」、「車長」、「窓の有無」の3つを含む構成を採用しても良い。また、図15では、車種判別データベース152は項目「撮像装置」を含むが、車種判別装置103が1台の撮像装置101に対応する情報のみを記憶する場合、車種判別データベース152は項目「撮像装置」を含まなくとも良い。
図14に戻り、第一の判別部1124は、検出部123が第一の撮像画像11aから検出した車両10の画像と、車種判別データベース152とに基づいて、車両10の車種を判別する。
具体的には、本実施形態の第一の判別部1124は、検出部123が第一の撮像画像11aから検出した車両10の画像から、車両10の車長と、側面の窓の有無と、上面の反射の有無と、後面の形状と、車軸の数とを検出する。第一の判別部1124は、これらの情報を検出する手法として、エッジ検出や差分検出、パターンマッチング等の既知の手法を採用することができる。また、1つの撮像画像からこれらの情報を全て検出することは困難であるため、撮像装置101の画角に応じて、第一の判別部1124が検出対象の情報は予め管理者等により設定されるものとしても良い。
例えば、図5Aに示した例では、検出部123が第一の撮像画像11aから検出した車両10の画像は、車両10の上面の画像14aである。この場合、第一の判別部1124は車両10の車長と、上面の反射の有無とを検出する。
また、夜間等で照明等の光源に乏しく、車両10のエッジや差分画像を高精度に抽出することが困難な場合は、第一の判別部1124は、車両10のヘッドライトとテールライトの間隔から、車両10の車長を検出しても良い。
図16は、本実施形態にかかる車両10の車長の検出手法の一例を示す図である。図16に示すように、第一の判別部1124は、撮像画像11における車両10のヘッドライト20と、テールライト21との間隔を、車両10の車長として検出する。
また、第一の判別部1124は、車両10の画像から検出した情報と、車種判別データベース152に設定されたデータとを比較する。そして、第一の判別部1124は、車両10の画像から検出した情報が当てはまる車種が、車両10の車種である可能性が高いと判断する。例えば、第一の判別部1124が車両10の車長Lが“n2ピクセル”、上面の反射が“有”と検出した場合、当該検出した情報は、車種判別データベース152に設定された車種“中型車”の特徴に当てはまる。この場合、第一の判別部1124は、車両10の車種は中型車である可能性が高いと判断する。
また、第一の判別部1124は、車種判別データベース152に設定された車種ごとに、車両10の情報と当てはまるか否かを判断し、その結果に基づいて、車種ごとの尤度を算出する。換言すれば、第一の判別部1124は、車両10の画像から検出した情報と、車種判別データベース152とを比較した結果に基づいて、車両10の車種を判別する。
検出した情報が複数の車種の特徴に当てはまる場合、第一の判別部1124は、車種判別データベース152の項目のうち、車両10の画像から検出した情報が当てはまる項目の数に応じて、車種ごとの尤度を算出してもよい。また、第一の判別部1124は、車種判別データベース152の項目によって尤度の算出における重要度を変更しても良い。例えば、上面の反射の有無は、日照条件等や時間帯によって検出の精度が左右されるため、車両10の画像から検出した情報が当該項目に当てはまる場合の尤度に与える影響は他の項目よりも低くても良い。また、車軸の数が検出された場合、当該項目が尤度に与える影響は他の項目よりも高くても良い。車種判別データベース152の各項目の重要度は、予め管理者等によって記憶部1150等に設定されるものとしても良い。
また、第一の判別部1124は、第一の車種判別処理の結果として、車種ごとの尤度を統合判別部127に送出する。
図14に戻り、本実施形態の第二の判別部1126は、追跡部125が第二の撮像画像11bから検出した車両10の画像と、車種判別データベース152とに基づいて、車両10の車種を判別する。
第二の判別部1126が車両10の画像から、車両10の車長と、側面の窓の有無と、上面の反射の有無と、後面の形状と、車軸の数とを検出する手法は、上述の第一の判別部1124と同様である。また、第二の判別部1126が、車両10の画像から検出した情報と車種判別データベース152とを比較する手法および尤度の算出基準については、上述の第一の判別部1124と同様である。
第二の判別部1126は、車種判別データベース152に設定された車種ごとに、車両10の情報と当てはまるか否かを判断し、その結果に基づいて、車種ごとの尤度を算出する。換言すれば、第二の判別部1126は、車両10の画像から検出した情報と、車種判別データベース152とを比較した結果に基づいて、車両10の車種を判別する。
また、第二の判別部1126は、第二の車種判別処理の結果として、車種ごとの尤度を統合判別部127に送出する。
登録部129は、新たに追加される撮像装置101についての情報を、車種判別データベース152に登録する。登録部129の機能の詳細については後述する。
次に、以上のように構成された本実施形態における車種判別処理について説明する。本実施形態にかかる車種判別処理の全体の流れは、図12で説明した実施形態1の車種判別処理の流れと同様である。具体的には、図12のS1の撮像画像の取得から、S4の画像の大きさと閾値との比較の処理までは、実施形態1と同様である。
本実施形態においては、第一の車種判別処理(S5)および第二の車種判別処理(S7)において辞書データ151ではなく車種判別データベース152を用いる点が、実施形態1と異なる。
図17は、本実施形態にかかる第一の車種判別処理の流れの一例を示すフローチャートである。
第一の判別部1124は、検出部123が第一の撮像画像11aから検出した車両10の画像から、車両10の車長と、側面の窓の有無と、上面の反射の有無と、後面の形状と、車軸の数とを検出する(S1501)。また、第一の判別部1124は、撮像装置101の画角に応じて、これらの情報のうちのいくつかを検出しても良い。
また、第一の判別部1124は、車両10の車長と、側面の窓の有無と、上面の反射の有無と、後面の形状と、車軸の数の検出結果と、車種判別データベース152の各項目に設定されたデータとを比較する(S1502)。
また、第一の判別部1124は、比較結果に基づいて、車種ごとの尤度を算出する(S1503)。例えば、第一の判別部1124は、車種判別データベース152に設定された車種ごとに、車両10の情報と当てはまるか否かを判断し、当てはまる項目が多いほど、当該車種の尤度を高く算出する。第一の判別部124は、第一の車種判別処理の結果として、車種ごとの尤度を統合判別部127に送出する。
その後の追跡部125の車両追跡処理は、図12で説明した実施形態1のS6の処理と同様である。
また、S7の第二の車種判別処理の流れは、図17の第一の車種判別処理の流れと同様である。第二の判別部126は、第二の車種判別処理の結果として、車種ごとの尤度を統合判別部127に送出する。
S8の車種判別結果の統合の処理から、S9の判別結果の管理センター5への送信の処理は、図12で説明した実施形態1と同様である。
このように、本実施形態においては、車種判別装置103は、車種判別データベース152を用いて車種判別処理を行う。上述のように、車種判別データベース152の項目「車長」に設定されるデータは、撮像装置101ごとに異なる。このため、新規に撮像装置101を登録する場合、当該撮像装置101に合わせて車長のデータを計測し、管理者等が手動で登録する作業が発生する。
本実施形態において、新規に撮像装置101を登録するとは、既設の撮像装置101を、車種判別のために使用するために車種判別装置103に登録することと、新たに設置される撮像装置101を車種判別のために使用するために車種判別装置103に登録することの両方を含む。
ここで、本実施形態の車種判別装置103の登録部129は、新規に撮像装置101を登録する場合において、車種判別データベース152に登録済みの撮像装置101のデータから、新規に登録される撮像装置101と、撮像条件が類似しているものを抽出する。そして、登録部129は、抽出した登録済みの撮像装置101に対応付けられた車長を、新規に登録される撮像装置101と対応付けて、車種判別データベース152に登録する。
撮像条件は、撮像装置101と道路との距離、撮像角度、撮像対象の道路の曲率等を含む。登録部129は、撮像条件が類似しているか否かを判断する基準として、車種判別データベース152に登録された「白線情報」を用いる。
白線情報は、撮像画像における、道路に引かれた白線の傾きおよび曲率を含む情報である。また、白線情報は、本実施形態における、車両10が通行する車線を示す情報の一例である。車線を示す情報は、車線の形状を識別可能な情報であれば良く、白線に限定されるものではない。例えば、車線を示す情報は、中央分離帯や縁石等の情報であっても良い。また、車線を示す情報は、撮像画像における車線の位置を示す座標情報であって良い。
例えば、図15に示す例では、車種判別データベース152には、“撮像装置A”の白線情報として、傾き“a°”、曲率“x1”が予め登録されている。
撮像装置101同士の白線情報の傾きおよび曲率の値が類似する場合、これらの撮像装置101が撮像した撮像画像における車線の形状は類似する。このことから、撮像装置101同士の白線情報の傾きおよび曲率の値が類似する場合、これらの撮像装置101の撮像条件は類似する。このため、登録部129は、新規に登録される撮像装置101と白線情報の傾きおよび曲率の値が類似する登録済みの撮像装置101の車長を、新規に登録される撮像装置101の車長として車種判別データベース152に登録する。
図18は、本実施形態にかかる撮像装置101ごとの撮像画像と車長の一例を示す図である。図18に示す例では、撮像装置A、撮像装置B、撮像装置Cは車種判別データベース152に登録済みの撮像装置101である。また、撮像装置Dは、新規に登録される撮像装置101である。
図18に示すように、登録済みの撮像装置A〜Cが撮像した撮像画像11A〜11Cにおける車両10の大きさはそれぞれ異なる。このため、各撮像装置A〜Cに対応付けられて車種判別データベース152に登録された車長の値も、それぞれ異なる。
撮像装置A〜Cの車長の値は、撮像画像11A〜11Cにおける車種ごとの車長の長さを計測した結果が管理者等によって登録される。図18のグラフは、撮像装置A〜Cごとの撮像画像11A〜11Cにおける車両10の車長の、車種ごとの出現頻度を示す。例えば、撮像装置Aにおいては、普通車は車長が“0”から“n1”の範囲の出現頻度が高い。このような計測結果に基づいて、撮像装置A〜Cにおける車種ごとの車長の範囲が車種判別データベース152に登録される。撮像画像11A〜11Cにおける車種ごとの各車長の出現頻度は、様々な車種の車両10を実際に撮像した撮像画像から管理者等が計数しても良い。また、撮像画像11A〜11Cに含まれる白線や中央分離帯の間隔や車幅等を基準として車両10の実寸値の換算が可能な場合、車種ごとの各車長の出現頻度は、市場で流通している車両10の寸法の情報に基づいて、管理者等によって算出されても良い。
また、撮像装置A〜Cの白線情報は、撮像画像11A〜11Cに含まれる白線31a〜31cの位置から予め算出され、管理者等によって車種判別データベース152に登録される。例えば、撮像画像11A〜11Cに含まれる白線31a〜31cがエッジ検出等により抽出され、各白線31a〜31cの傾きおよび曲率が算出される。白線情報の算出の処置は、車種判別装置103内で行われても良いし、他のコンピュータ等で算出された結果が、管理者等によって車種判別データベース152に登録されても良い。
登録部129は、このような登録済みの撮像装置A〜Cの情報に基づいて、新規に登録される撮像装置Dの車長を、車種判別データベース152に登録する。登録部129が実行する車長登録処理については、図19のフローチャートを用いて説明する。
図19は、本実施形態にかかる車長登録処理の流れの一例を示すフローチャートである。
まず、登録部129は、新規に登録される撮像装置Dから、撮像画像11Dを取得する(S31)。
そして、登録部129は、撮像画像11Dから白線31a〜31cに該当する部分を抽出する(S32)。白線31a〜31cの抽出の手法は、エッジ検出等の既知の手法を採用しても良い。
また、登録部129は、抽出した白線31a〜31cの傾きおよび曲率を算出する(S33)。
そして、登録部129は、登録済みの撮像装置A〜Cの白線情報と、撮像装置Dの白線情報とを比較する。具体的には、登録部129は、撮像装置A〜Cの白線情報として車種判別データベース152に登録された傾きおよび曲率と、撮像装置Dの白線31a〜31cの傾きおよび曲率との差を算出する。そして、登録部129は、差の算出結果に基づいて、登録済みの撮像装置A〜Cのうち、白線情報として登録された傾きおよび曲率が、撮像装置Dの白線31a〜31cの傾きおよび曲率と最も近似するものを特定する(S34)。
図18に示す例では、撮像装置A〜Cのうち、白線情報として登録された傾きおよび曲率が、撮像装置Dの白線31a〜31cの傾きおよび曲率と最も近似するのは、撮像装置Bである。
登録部129は、撮像装置Bの白線情報として登録された傾きと撮像装置Dの白線31a〜31cの傾きとの差と、撮像装置Bの白線情報として登録された曲率と撮像装置Dの白線31a〜31cの曲率との差とが、それぞれ閾値以下であるか否かを判断する(S35)。
本実施形態における傾きの差の閾値と曲率の差の閾値は、例えば、当該車種判定処理において許容され得る車長の長さの誤差の範囲に応じて定められても良い。
傾きの差と曲率の差が、それぞれ閾値以下である場合(S35“Yes”)、登録部129は、撮像装置Bの白線情報は、撮像装置Dの白線情報と一定以上近似すると判断する。この場合、登録部129は、白線情報として登録された傾きと曲率が撮像装置Dの白線情報と最も近似する撮像装置Bに対応付けられた車長を、撮像装置Dに対応する車長として車種判別データベース152に登録する(S36)。
図15に示す例では、撮像装置Bに対応付けられて登録された車長の値が、登録部129によってコピーされて、撮像装置Dに対応付けられて車種判別データベース152に登録されている。
また、傾きの差と曲率の差が、それぞれ閾値より大きい場合(S35“No”)、登録部129は、撮像装置Bの白線情報は、撮像装置Dの白線情報と一定以上近似しないと判断する。この場合、登録部129は、登録済みの撮像装置A〜Cのいずれの車長も撮像装置Dの車長として採用せず、このフローチャートの処理は終了する。
この場合、新規に登録される撮像装置Dの撮像条件は登録済みの撮像装置A〜Cのいずれとも近似しないため、撮像装置Dに対応する車長は、管理者等によって手動で登録される。
上述の車長登録処理では、登録部129は、登録済みの撮像装置A〜Cのうち、白線情報が撮像装置Dの白線情報と最も近い撮像装置Bを特定した上で、閾値との比較を行ったが、車長登録処理の流れはこれに限定されるものではない。
また、本実施形態の登録部129は、撮像装置101の新規登録時だけではなく、車種判別装置103の運用中においても、車種判別データベース152に登録されたデータの変更等を行う構成を採用しても良い。例えば、登録部129は、第一の判別部1124および第二の判別部1126による車種の判別結果と、検出された車長とに基づいて車種判別データベース152に設定された車長を更新する学習機能を備えても良い。
このように、本実施形態の車種判別装置103の記憶部1150は、車両10の車長と、窓の有無と、当該車両10の車種とを対応付けた車種判別データベース152を記憶する。また、第一の判別部1124および第二の判別部1126は、第一の撮像画像11aまたは第二の撮像画像11bから検出された車両10の画像から、車両10の車長と、窓の有無とを検出し、検出結果を車種判別データベース152に登録された情報と比較した結果に基づいて車両10の車種を判別する。そして、統合判別部127が、第一の判別部1124の判別結果と、第二の判別部1126の判別結果とを統合し、車両10の車種を判別する。このため、本実施形態の車種判別装置103によれば、実施形態1の効果を備えた上で、撮像装置101ごとに車両10の画像を撮像して辞書データ151を作成するための管理者等の作業負荷が低減される。また、車種判別データベース152は辞書データ151と比較してデータ量が少ないため、本実施形態の車種判別装置103によれば、記憶部1150に記憶されるデータ量を削減することができる。
また、本実施形態の車種判別装置103の記憶部1150は、車両10の車長と、窓の有無と、当該車両10の車種と、白線情報とを、撮像装置101と対応付けて車種判別データベース152に保存する。また、第一の判別部1124および第二の判別部1126は、撮像装置101が撮像した撮像画像から検出された車両10の画像と、車種判別データベース152に保存された撮像装置101ごとの車両10の車長と、窓の有無とに基づいて車両10の車種を判別する。このため、本実施形態の車種判別装置103によれば、車種判定の処理において、撮像装置101が撮像した撮像画像における車両10の車長を実際の車長に換算しなくとも良いため、車種判定の際の処理負荷を軽減することができる。
さらに、本実施形態の車種判別装置103の登録部129は、車種判別データベース152に予め登録された白線情報のうち、新規に登録される撮像装置Dの白線情報に含まれる傾きまたは曲率と一定以上近似する白線情報に対応する車両10の車長を、新規に登録される撮像装置Dと対応付けて車種判別データベース152に登録する。このため、本実施形態の車種判別装置103によれば、撮像装置101を新規に登録する際の管理者等の作業負荷および作業時間を削減することができる。
なお、本実施形態における車種判別装置103の登録部129は必須の構成ではない。例えば、上述の車長登録処理を行わない場合、本実施形態の車種判別装置103は、取得部121と、領域設定部122と、検出部123と、第一の判別部1124と、追跡部125と、第二の判別部1126と、統合判別部127と、送信部128と、記憶部1150とを備える構成を採用しても良い。
また、本実施形態では、第一の判別部1124および第二の判別部1126は、車種判別データベース152に基づいて車両10の車種を判別していたが、さらに、辞書データ151を用いた車種の判別を併用する構成を採用しても良い。当該構成を採用する場合、記憶部1150は、辞書データ151と車種判別データベース152の両方を記憶する。また、第一の判別部1124と第二の判別部1126とはそれぞれ、辞書データ151に基づく車種判別と、車種判別データベース152に基づく車種判別を行うため、車種判別装置103は合計して4段階の車種判別処理を実行する。当該構成を採用する場合、車種判別装置103は、さらに高精度に車両10の車種を判別することができる。
(実施形態3)
上述の実施形態1では、車種判別装置103は、1つの撮像地点における撮像画像に基づいて、車両10の車種を判別していた。本実施形態の車種判別装置103は、さらに、複数の撮像地点における車種ごとの尤度の算出結果に基づいて車両10の車種を判別することにより、より高精度に車両10の車種を判別する。
本実施形態の車種判別システム1の全体構成は、図1で説明した実施形態1の構成と同様である。また、本実施形態の車種判別装置103のハードウェア構成は、図2で説明した実施形態1の構成と同様である。
また、本実施形態の管理センター5に設置された管理端末51の構成は、図8で説明した実施形態1の構成と同様である。
図20は、本実施形態にかかる車種判別装置103の機能的構成の一例を示すブロック図である。図20に示すように、本実施形態の車種判別装置103は、取得部1121と、領域設定部122と、検出部1123と、第一の判別部124と、追跡部125と、第二の判別部126と、統合判別部1127と、送信部128と、記憶部150とを備える。
本実施形態の領域設定部122、第一の判別部124、追跡部125、第二の判別部126、送信部128、記憶部150は、図3で説明した実施形態1と同様の機能を備える。
本実施形態の取得部1121は、実施形態1の機能に加えて、他の車種判別装置から、前地点において算出された車種ごとの尤度と、撮像された撮像画像と、を取得する。本実施形態における他の車種判別装置とは、車種判別装置103よりも前の地点で車両10の車種を判別する車種判別装置である。
図21は、本実施形態にかかる異なる地点で撮像された撮像画像の一例を示す図である。図21に示す撮像画像11Aは、地点Aに設置された撮像装置Aが撮像した撮像画像である。また、撮像画像11Bは、地点Bに設置された撮像装置Bが撮像した撮像画像である。車両10は、地点Aを通過した後に、地点Bを通過する。
本実施形態においては、車種判別装置103は撮像装置Bと共に、地点Bに設置される。また、他の車種判別装置は、撮像装置Aと共に、地点Aに設置される。地点Aは、前地点とも称されうる。撮像装置Aと撮像装置Bは共に、撮像装置101の一例である。また、地点Aに設置された撮像装置Aは、本実施形態における第一の撮像装置の一例である。また、地点Bに設置された撮像装置Bは、本実施形態における第二の撮像装置の一例である。
図21に示すように、撮像装置Aが撮像した撮像画像11Aと、撮像装置Bが撮像した撮像画像11Bとには、同じ標識40が含まれる。このことから、撮像画像11Aと、撮像画像11Bとには重複する範囲があることがわかる。このように、撮像画像に重複する範囲がある場合、異なる撮像装置A,Bが撮像した撮像画像であっても、車両10を追跡することが可能となる。換言すれば、撮像画像11Bから、撮像画像11Aに含まれる車両10を検出することが可能となる。撮像画像11Bの車両10の検出については、検出部1123の説明で後述する。
標識40は、撮像画像11Aと、撮像画像11Bとの撮像画像が重複する範囲を識別する基準の一例であり、建物や、看板等であっても良い。撮像画像が重複する範囲は、例えば、撮像装置A,Bが登録される時点で、管理者等によって設定される。撮像装置A,Bの登録時に撮像画像が重複する範囲が設定されることにより、その後に標識40が撤去された場合も、撮像画像が重複する範囲が変更されることはない。撮像画像が重複する範囲は、管理者等によって、記憶部150等に予め保存されても良い。
地点Aにおける他の車種判別装置は、撮像装置Aから取得した撮像画像に基づいて、車種判別処置を行う。具体的には、他の車種判別装置は、図12,13で示した実施形態1の車種判別処理と同様に、第一の車種判別処理および第二の車種判別処理を実行し、車種ごとの尤度を算出する。
取得部1121は、地点Aにおける車種判別の結果として算出された車種ごとの尤度を、他の車種判別装置から取得する。取得部1121は、取得した車種ごとの尤度を統合判別部1127に送出する。また、取得部1121は、撮像装置Aによって撮像された撮像画像11Aと、撮像画像11Aから検出された車両10の画像の位置を示す座標とを他の車種判別装置から取得する。取得部1121は、取得した撮像画像11Aと、車両10の画像の位置を示す座標とを検出部1123に送出する。
図20に戻り、検出部1123は、実施形態1の機能を備えた上で、地点Aにおいて撮像装置Aに撮像された撮像画像11Aから検出された車両10を、地点Bにおいて撮像装置Bに撮像された撮像画像11Bから検出する。例えば、検出部1123は、予め設定された撮像画像11Aと撮像画像11Bとが重複する範囲から、テンプレートマッチングの手法等により、車両10を検出する。また、検出部1123は、Mean−Shift、パーティクルフィルタ、オプティカルフロー、SIFTまたはSURF等のその他の既知の手法を用いて、車両10を撮像画像11Bから検出しても良い。
統合判別部1127は、地点Bにおける第一の車種判別処理の結果および第二の車種判別処理の結果と、地点Aにおける車種判別結果とを統合し、車両10の車種を判別する。
図22は、本実施形態にかかる車種判別結果の一例を示す図である。図22に示すように、統合判別部1127は、第一の車種判別結果と、第二の車種判別結果と、前地点(地点A)における車種判別結果とを統合する。具体的には、統合判別部1127は、各車種判別結果として算出された車種ごとの尤度を合計する。そして、統合判別部1127は、合計した尤度の値が最も大きい車種を、車両10の車種と判別する。図22に示す例では、合計された尤度の値が最も大きい車種は“特大車”である。この場合、統合判別部1127は、車両10の車種は特大車であると判別する。
また、統合判別部1127は、重み付け係数を用いて、各車種判別結果として算出された車種ごとの尤度を重み付け加算しても良い。例えば、前地点における車種判別結果を優先する場合、統合判別部1127は、前地点における車種判別結果の尤度に重み付け係数として“2”を乗算してから、他の車種判別結果の尤度と合計しても良い。重み付け係数の値は一例であり、これに限定されるものではない。
前地点においても、第一の車種判別処理と、第二の車種判別処理とが行われているため、本実施形態における統合判別部1127は、合計4回分の車種判別処理の結果に基づいて車両10の車種を判別する。このため、統合判別部1127は、より高精度に車両10の車種を判別することができる。また、本実施形態における統合判別部1127は、複数の撮像装置101に撮像された撮像画像に基づく車種判別の結果を統合する。このため、統合判別部1127は、1台の撮像装置101の撮像画像から車種判別を行う場合と比較して、より高精度に車両10の車種を判別することができる。
次に、以上のように構成された本実施形態における車種判別処理について説明する。
図23は、本実施形態にかかる車種判別処理の流れの一例を示すフローチャートである。
まず、取得部1121は、撮像装置B(撮像装置101)から、車両10を撮像した撮像画像を取得する。また、取得部1121は、前地点(地点A)における車種判別の結果として算出された車種ごとの尤度と、前地点において撮像された撮像画像と、当該撮像画像における車両10の画像の位置(座標)を示す情報とを、他の車種判別装置から取得する(S41)。
取得部1121は、撮像装置Bから取得した撮像画像を領域設定部122に送出する。また、取得部1121は、取得した前地点における車種ごとの尤度を統合判別部1127に送出する。また、取得部1121は、取得した前地点における撮像画像と、当該撮像画像における車両10の画像の位置を示す座標とを検出部1123に送出する。
S42における検出対象の領域の設定の処理は、図12に示す実施形態1の車種判別処理のS2と同様である。
また、検出部1123は、領域設定部122から取得した第一の撮像画像11aの第一の画像領域12から、パターンマッチング等の手法を用いて、前地点において検出された車両10の画像を検出する(S43)。
検出部1123は、第一の撮像画像11aから検出した車両10の画像の位置および範囲を示す座標を、第一の判別部124と、追跡部125とに送出する。
S44の第一の車種判別処理から、S46の第二の車種判別処理までは、図12に示す実施形態1の車種判別処理のS5〜S7と同様である。
統合判別部1127は、S44の第一の車種判別処理の結果と、S46の第二の車種判別処理の結果と、取得部1121が取得した前地点における車種判別の結果とを統合する(S47)。具体的には、統合判別部1127は、第一の判別部124が算出した車種ごとの尤度と、第二の判別部126が算出した車種ごとの尤度と、取得部1121が取得した前地点における車種ごとの尤度と、を車種ごとに合計する。そして、統合判別部1127は、合計した尤度の値が最も大きい車種を、車両10の車種として判別する。
統合判別部1127は、車両10の車種として判別した車種と、合計した尤度とを、送信部128に送出する。
S48の判別結果の送信の処理は、図12に示す実施形態1のS9の処理と同様である。
このように、本実施形態の車種判別装置103の取得部1121は、撮像装置Aが撮像した撮像画像から他の車種判別装置によって算出された車両10の車種ごとの尤度と、撮像装置Bが車両10を撮像した撮像画像とを取得する。また、統合判別部1127は、第一の判別部124が算出した車種ごとの尤度と、第二の判別部126が算出した車種ごとの尤度と、取得部1121が取得した前地点における車種ごとの尤度と、を車種ごとに合計する。そして、統合判別部1127は、合計した尤度が最も高い車種を、車両10の車種と判別する。このため、本実施形態の車種判別装置103によれば、実施形態1の効果を備えた上で、複数の撮像装置101に撮像された撮像画像に基づいて、より高精度に車両10の車種を判別することができる。
なお、本実施形態においては、車種判別装置103は、他の車種判別装置から前地点における車種判別結果と撮像画像11Aとを取得しているが、前地点に設置された撮像装置Aから撮像画像11Aを取得する構成を採用しても良い。
また、本実施形態においては、2つの地点で撮像された撮像画像に基づいて車両10の車種を判定しているが、3つ以上の地点で撮像された撮像画像に基づいて車種を判定しても良い。
また、本実施形態においては、取得部1121は、前地点における車種ごとの尤度を取得しているが、取得する情報はこれに限定されるものではない。例えば、取得部1121は、前地点における最も尤度の値が高い車種と、当該尤度の値とを取得しても良い。
また、本実施形態の車種判別装置103の構成は、実施形態2の車種判別装置103に組み合わせることができる。例えば、本実施形態の車種判別装置103は、辞書データ151の代わりに車種判別データベース152を備えても良い。また、車種判別装置103はさらに、登録部129を備えても良い。
以上説明したとおり、実施形態1から実施形態3の車種判別装置103によれば、道路の管理等のために用いられる既設のカメラを用いて、通行する車両10の車種を高精度に判別することができる。
上述の各実施形態の車種判別装置103で実行される車種判別プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述の各実施形態の車種判別装置103で実行される車種判別プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述の各実施形態の車種判別装置103で実行される車種判別プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、上述の各実施形態の車種判別装置103で実行される車種判別プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
上述の各実施形態の車種判別装置103で実行される車種判別プログラムは、上述した各部(取得部、領域設定部、検出部、第一の判別部、追跡部、第二の判別部、統合判断部、送信部、登録部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から車種判別プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、領域設定部、検出部、第一の判別部、追跡部、第二の判別部、統合判断部、送信部、登録部が主記憶装置上に生成されるようになっている。
また、上述の各実施形態の管理端末51で実行される累積重量の算出プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述の各実施形態の管理端末51で実行される累積重量の算出プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述の各実施形態の管理端末51で実行される累積重量の算出プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、上述の各実施形態の管理端末51で実行される累積重量の算出プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
上述の各実施形態の管理端末51で実行される累積重量の算出プログラムは、上述した各部(受信部、算出部、表示制御)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から累積重量の算出プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受信部、算出部、表示制御が主記憶装置上に生成されるようになっている。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。