JP6602595B2 - 車種判別装置、及び車種判別方法 - Google Patents

Description

本願は、車種判別装置、及び車種判別方法に関する。

道路の疲弊等を守るため、道路交通法で取締対象の車種区分は、細かく区分され、例えばタンクローリー等の大型車では、車種ごとに許可される車両の幅、長さ、高さ、重量等の規定条件が定められている。

特開２０１４−１６４６０１号公報 特開２００２−００８１８８号公報 特開２００６−０１２１７８号公報

しかしながら、従来技術では、上述した取り締まりを自動化するための大型車等の車種判別は不十分であり、高精度な車種判別が求められていた。

そこで、車種判別の精度を向上させる車種判別装置、及び車種判別方法を提供する。

実施形態の車種判別装置は、車両の後方に存在する荷台、荷物、又は客車の形状を表した第１の形状情報を記憶する記憶部と、撮像部から撮像された車両の画像を取得する取得部と、前記取得部から得られる画像に表されている前記車両の後方領域と、前記記憶部に記憶されている前記第１の形状情報と、を用いた照合を行い、前記車両の後方に存在する荷台、荷物、又は客車の形状の組み合わせから、前記車両の車種を判別する車種判別部と、を有する。

図１は、第１の実施形態における車種判別システムの概略構成の一例を示す図である。 図２は、単眼カメラから得られるカメラ画像の一例を示す図である。 図３は、第１の実施形態における車種判別装置の機能構成の一例を示す図である。 図４は、第１の実施形態の車両検知用の辞書パターンを例示した図である。 図５は、第１の実施形態のトレーラ部品ＤＢを例示した図である。 図６は、第１の実施形態における車種判別処理の一例を示すフローチャートである。 図７は、認証対象となる大型車両を例示した図である。 図８は、トラクタ部を消去して生成した画像を例示した図である。 図９は、第２の実施形態における車種判別システムの概略構成の一例を示す図である。 図１０は、第２の実施形態における車種判別装置の機能構成の一例を示す図である。 図１１は、第２の実施形態の３次元形状のクレーン部品群を例示した図である。 図１２は、第２の実施形態の車両の側面から見た部分画像ＤＢを例示した図である。 図１３は、第２の実施形態の３次元形状の牽引棒部品群を例示した図である。 図１４は、第２の実施形態における車種判別処理の一例を示すフローチャートである。 図１５は、クレーン部分の検出例を示す図である。 図１６は、トラクタ後部の空間計測例を示す図である。 図１７は、牽引棒の検出例を示す図である。

（第１の実施形態）
第１の実施形態における車種判別システムについて説明する。

（車種判別システムの概略構成例）
図１は、第１の実施形態における車種判別システムの概略構成の一例を示す図である。図１に示す車種判別システム１は、単眼カメラ（撮像部）１０と、車両検知器２０と、電子計算機（情報処理装置）の一例である車種判別装置３０と、車重計４０とを有する。単眼カメラ１０と、車両検知器２０と、車種判別装置３０と、車重計４０とは、有線又は無線の通信ネットワーク５０によりデータの送受信が可能な状態で接続されている。

図１の例に示す車種判別システム１は、例えば大型の車両６０が通行する道路７０や、駐車場の出入口、高速道路の料金所等に設置されるが、これに限定されるものではない。

単眼カメラ１０は、車両６０の斜め上方を撮影するよう設置されているが、設置位置については、これに限定されるものではない。単眼カメラ１０は、例えば車両６０に対して上方から高さ５〜７ｍ程度（車高の法定上の高さは３．８ｍ）、俯角２５〜４５度程度で見下ろすように調整されている。単眼カメラ１０を設置する場合には、視野内を移動する車両６０に対して、車両６０の全景が映るように画角の設定を行う。

撮像対象の車両６０の全景は、車両６０が単眼カメラ１０のカメラ画角に対して所定の位置まで移動した際に、車種判別装置３０に転送される。

車両検知器２０は、例えば道路７０に設置されたレーザセンサ（赤外センサ等）であるが、これに限定されるものではない。例えば、車両検知器２０は、単眼カメラ１０からのカメラ画像を走査することにより、車両の進入を検知しても良い。車両検知器２０は、車両６０が進入すると単眼カメラ１０で撮影する撮影トリガを生成し、単眼カメラ１０に送信する。

車種判別装置３０は、例えば内部アルゴリズム（車種判別プログラム等）により、車種情報を判別する。車種判別装置３０は、例えば車両検知器２０から得られる検知結果のタイミングで、単眼カメラ１０から得られるカメラ画像や、車重計４０から得られる車重を取得し、取得した各種情報に基づいて車種判別を行う。

本実施形態の車種とは、車両を区別するための情報である。車種としては、例えば大型車、乗用車、自動二輪自動車等があるが、これに限定されるものではない。また、車種は、車両の区分に加えて、車両の形状に関する情報（例えば、車両の幅、高さ、及び長さのいずれか１つ以上の形状に関する情報等）を含めたものとする。

車重計４０は、道路７０に埋め込まれていても良く、道路７０上に設置された板状、鉄板状等の平面等であっても良く、タイヤを乗せる溝等があってもよい。車重計４０は、車両６０のタイヤが車重計４０上を通過する際に、その車両の重さを測定する。

図２は、単眼カメラから得られるカメラ画像の一例を示す図である。図２に示すように、単眼カメラ１０の画角は、例えば、車両６０の前面のトラクタ部の下端と、車両６０のうちトラクタ部より後方に存在するトレーラ部の後端と、がカメラ画像８０の上下方向に収まるように設定される。車両６０は、例えば大型車の場合には、全長も長い。したがって、単眼カメラ１０は、図２に示す車両６０の上下方向が広く撮れるように、例えばｒｏｌｌ方向に９０度傾けて撮影すると良い。

第１の実施形態の車種判別装置３０は、図２に示すカメラ画像８０から、車両６０の運転席等を含む所定の形状を有するトラクタ部（前方領域）６１と、車両６０の後段（荷台）のトレーラ部（後方領域）６２と、を識別し、後方領域６２を車種判別に用いる。第１の実施形態では、共通形状であることが多い大型車両の前方領域６１の代わりに、特徴部分である後方領域６２を車種判別に用いることで、より高精度な車種判別を実現することが可能となる。

（車種判別装置３０の機能構成例）
次に、上述した車種判別装置３０の機能構成例について説明する。図３は、第１の実施形態における車種判別装置の機能構成の一例を示す図である。図３の例に示す車種判別装置３０は、記憶部９０と、取得部９１と、車両検知部９２と、トラクタ部検出部９３と、トレーラ部切出部（切出部）９４と、マッチング部９５と、車種判別部９６と、ネットワーク接続部９７と、制御部９８とを有する。

ところで、大型車両は、道路を走行する際に、通常の車両と比べて、道路に負担を掛ける場合も多い。このため、大型車両に含まれる特殊車両の無許可運行や、過積載運行等の問題が生じる。これに伴い、近年、大型車両の車種の判別を精度良く行うことが求められている。

そこで、第１の実施形態の車種判別装置３０は、大型車両について詳細に車種を判別する。

第１の実施形態では、大型車両がトラクタ部とトレーラ部とを含むように構成されるものとする。トラクタ部とは、大型車のうち、荷台や、客車を牽引するために設けられた運転席を含む、前方の部分（先頭部分、牽引車両）とする。トレーラ部とは、大型車のうち、荷台や、荷物、客車を含み、トラクタ部により牽引される、後方の部分（後続部分、被牽引車両）とする。なお、荷台に載せられた荷物もトレーラ部に含めても良い。なお、上述した被牽引車両を含む大型車を牽引車両として説明する。

記憶部９０は、第１の実施形態において必要な各種情報を記憶する。例えば、記憶部９０は、車種判別処理を実行するための各種プログラム（アプリケーション、ソフトウェア等）や、各種設定情報等を記憶する。

記憶部９０は、車両検知用の辞書パターン１０１を記憶する。図４は、第１の実施形態の車両検知用の辞書パターンを例示した図である。図４に示すように、車両検知用の辞書パターン１０１は、車両のトラクタ部の形状を示した形状パターン（第２の形状情報）が格納されたデータベースである。

他には、記憶部９０は、トレーラ部品データベース（ＤＢ）２０１を記憶する。トレーラ部品ＤＢ２０１は、車両のトレーラ部に含まれる、荷台、荷物、客車（コンテナ等の部品群）等の基本的な形状を示した形状パターン（第１の形状情報）を記憶したデータベースとする。図５は、第１の実施形態のトレーラ部品ＤＢを例示した図である。図５に示すように、トレーラ部品ＤＢ２０１は、車種に応じた、車両の荷台、荷物、客車を表した形状パターンが格納されている。これにより、トレーラ部の形状を特定する際に、車種の特定が可能となる。

なお、記憶部９０に記憶される情報は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークを介して接続される他の装置（例えば、データベースサーバ）等から取得しても良い。

取得部９１は、単眼カメラ１０、車両検知器２０、及び車重計４０のそれぞれから得られる情報を取得する。なお、取得部９１は、車両検知器２０により車両６０を検知したタイミングで単眼カメラ１０の画像及び車重計４０の車重情報を取得しても良い。

取得部９１は、単眼カメラ１０から撮像された車両の前面を含み、車両の全景が撮像された画像を取得する。本実施形態では、車両の前面を含む車両の全景を撮像する例について説明するが、取得部９１は、車両の後面を含んだ画像データを取得しても良い。

車両検知部９２は、単眼カメラ１０から得られたカメラ画像から車両６０の検知を行う。具体的には、画像中に含まれている物体の大まかな大きさから、車両であるか否か、また車両の大きさ（例えば、大型車、小型車、バイク）等を検知する。

トラクタ部検出部９３は、車両６０が大型車の場合、上述した図２に示すような車両６０のトラクタ部である前方領域６１を検出する。

トラクタ部検出部９３は、記憶部９０の車両検知用の辞書パターン１０１に記憶された形状パターンとマッチングを行うことで、前方領域６１を検出する。なお、車両検出用の辞書パターン１０１には、車両の進入速度や単眼カメラ１０の設置パラメータ等により、トラクタ部の見え方を推定したパターン（仮想モデル）を登録しておくと良い。

トレーラ部切出部９４は、識別対象のトレーラ部を切り出す。例えば、トレーラ部切出部９４は、単眼カメラ１０から取得したカメラ画像のうち、トラクタ部検出部９３より検出された前方領域６１や、カメラ画像に写る背景や周辺の道路部分を分離して、トレーラ部である後方領域６２を切り出す。

マッチング部９５は、注視領域としてトレーラ部切出部９４により得られた後方領域６２を、記憶部９０のトレーラ部品ＤＢ２０１に予め記憶されたコンテナ等の部品群（後続で牽引している貨物（荷物）を分類する基本的な形状を示した形状パターン）と照合（マッチング）する。

また、分類対象となる車種には、車両運搬用コンテナのように複数の部品が組み合わされた複合的な構成も存在する。そこで、マッチング部９５は、複数の部品の組み合わせが可能となる部品群に対してそれぞれマッチングを行うことでマッチングスコアを算出しても良い。

車種判別部９６は、マッチング部９５から得られたマッチングスコアに基づいて、車種を判別する。また、車種判別部９６は、各部品の組み合わせにより加算（又は累積）したマッチングスコアに基づいて車種を判別しても良い。なお、車種判別部９６は、上述した車両検出用の辞書パターンや基本的な形状を示した形状パターンに基づいて、判別した車種に対応する幅、長さ、高さ等の形状情報を取得することも可能である。

ネットワーク接続部９７は、通信ネットワーク５０を介して、単眼カメラ１０と、車両検知器２０と、車重計４０とのデータの送受信を行う。また、ネットワーク接続部９７は、インターネットやＬＡＮ等を介して管理サーバ等と接続されても良く、車種判別装置３０で取得した車種判別結果等を管理サーバに送信したり、管理サーバから上述したマッチングで用いるパターン等を取得したりしても良い。

制御部９８は、車種判別装置３０の各構成部全体の制御を行う。また、制御部９８は、例えば第１の実施形態における各種処理の開始や終了等の制御やエラー発生時の制御等を行っても良い。

また、第１の実施形態では、車種判別部９６において、取得部９１から得られる車重が、車種判別により判別された車種の制限重量以下か否かを判別しても良い。この場合、取得部９１から取得した車重が、車種の制限重量を超えていた場合には、規定違反車として管理サーバ等に通知することも可能である。

（第１の実施形態における車種判別処理の一例）
次に、第１の実施形態における車種判別処理の一例について説明する。図６は、第１の実施形態における車種判別処理の一例を示すフローチャートである。

図６に示すように、車種判別装置３０の車両検知部９２は、単眼カメラ１０から得られたカメラ画像から大型車である車両６０を検知する（Ｓ１０）。

次に、トラクタ部検出部９３は、単眼カメラ１０により撮影されたカメラ画像から、車両検知用の辞書パターン１０１を参照して、車両６０のトラクタ部（前方領域）６１を検出する（Ｓ１１）。

次に、トレーラ部切出部９４は、単眼カメラ１０で取得したカメラ画像から、トレーラ部（後方領域）６２を切り出す（Ｓ１２）。

次に、マッチング部９５は、Ｓ１２の処理で切り出されたトレーラ部６２について、予め設定された認識対象であるコンテナ等の部品群（基本的な形状を示した形状パターン）とのマッチングを行う（Ｓ１３）。Ｓ１３の処理では、マッチングスコアを算出する。

次に、車種判別部９６は、Ｓ１３の処理で得られたマッチングスコアに基づいて、車種を判別して（Ｓ１４）、処理を終了する。例えば車両運搬用コンテナの場合、橋状フレームに乗用車を搭載する複合的な部品構成となるため、橋状フレーム及び乗用車の双方のマッチングスコアが相対的に大きくなる。

そこで、Ｓ１４の処理では、橋状フレーム及び乗用車のそれぞれ単独のマッチングスコアを比較するのに加えて、双方の組み合わせが可能である場合には、複合部品候補としてそれぞれのマッチングスコアを加算して比較対象に加える。これにより、より高精度な車種判別が可能となる。

なお、上述したＳ１１及びＳ１３の処理において、マッチングする対象の学習パターンを増やすことで精度を向上させても良い。また、Ｓ１４の処理において、認識対象の大型の車両から切り出したトレーラ部のサンプルを教示し、新たに学習サンプルに加えることで、車種の判別精度を向上させることも可能である。

（辞書パターンとの照合とトレーラ部切り出しの具体例）
次に、上述したＳ１１及びＳ１２の処理における辞書パターンとの照合や、トレーラ部の切り出しの具体例について説明する。

例えば、トラクタ部検出部９３は、図４に示される車両検出用の辞書パターン１０１を参照して、車両６０のトラクタ部に最もマッチングする形状パターン１０２を選出する。

上述したように、単眼カメラ１０の画面に写る車両６０のトラクタ部６１の下端位置や車両６０が進入するときのトラクタ部６１の見え方は、単眼カメラ１０の設置パラメータや車両６０の進入速度等により変化する。このため、車両検出用の辞書パターン１０１には、予め上述した変化を想定した形状パターン（仮想モデル）を格納している。

図７は、認証対象となる大型車両を例示した図である。図７に示される例では、トラクタ部検出部９３は、車両検出用の辞書パターン１０１に記憶されている形状パターン１０２と、車両６０に含まれる前方領域６１と、が最もマッチングしていると判定する。これにより、トラクタ部検出部９３は、車両６０に含まれる前方領域６１を、トラクタ部として検出する（以下、「前方領域６１」を「トラクタ部６１」とも称す）。

トレーラ部切出部９４は、図７に示された車両６０に、トラクタ部６１として選出された形状パターン１０２を当てはめて、重なり部分を消去する。図８は、トラクタ部を消去して生成した画像を例示した図である。トレーラ部切出部９４は、図８に示される画像データ８１では、トラクタ部が消去され、トレーラ部６２が表されている。

そこで、トレーラ部切出部９４は、トレーラ部６２の画像を切り出す。なお、トレーラ部切出部９４は、車両６０のトラクタ部をより詳細に合わせたい場合には、頻出するトラクタのパターンを予め登録しておき、トラクタ部の下端位置と単眼カメラ１０の角度により決定される幾何計算によって、トレーラ部との境界を求めても良い。

（形状パターンとの照合による車種判別の具体例）
次に、上述したＳ１３及びＳ１４の処理における形状パターンとの照合による車種判別の具体例について説明する。

マッチング部９５は、図５に示されるようなトレーラ部品ＤＢ２０１を参照して、トレーラ部切出部９４により切り出された、図８で示されるようなトレーラ部６２とマッチングを行う。上述したように、トレーラ部品ＤＢ２０１には、コンテナ等の部品群（基本的な形状を示した形状パターン）が格納されている。

車両６０のトレーラ部には、車両運搬用コンテナのように橋状フレームに乗用車を組み合わせた複合的な部品構成も存在する。したがって、トレーラ部品ＤＢ２０１には、橋状フレーム２０２や乗用車２０３等の形状パターンを用意しておくと良い。

上述した車両運搬用コンテナの場合、橋状フレーム２０２や乗用車２０３の双方の形状パターンのマッチングスコアが相対的に大きくなる。そこで、車種判別部９６は、橋状フレーム２０２や乗用車２０３の形状パターンとのマッチングスコアを比較するとともに、双方の組み合わせが可能である場合には、複合部品候補としてそれぞれを加算したマッチングスコアを比較対象とすると良い。

上述した第１の実施形態の車種判別装置３０は、単眼カメラ１０から取得したカメラ画像のうちトラクタ部とトレーラ部とを分離し、トレーラ部の形状に基づいて大型車の車種判別を行う。これにより、大型車の車種判別の精度を向上させることが可能となる。

（第２の実施形態）
次に、第２の実施形態における車種判別システムについて説明する。なお、以下の説明において、第１の実施形態における車種判別システム１と同様の構成については、同様の符号を付し、ここでの具体的な説明は省略する。

（車種判別システムの概略構成例）
図９は、第２の実施形態における車種判別システムの概略構成の一例を示す図である。図９に示す車種判別システム２は、ステレオカメラ１１と、電子計算機（情報処理装置）の一例である車種判別装置３１と、車重計４０とを有する。ステレオカメラ１１と、車種判別装置３１と、車重計４０とは、有線又は無線の通信ネットワーク５０によりデータの送受信が可能な状態で接続されている。

第２の実施形態では、走行中の車両６０を横方向から撮影して車両を判別する。ステレオカメラ１１は、複数の撮像部（例えば、カメラ１１Ａ及びカメラ１１Ｂ）を有する。ステレオカメラ１１は、車両６０の側面が撮影可能な位置に設けられ、車両６０に対して高さ２〜３ｍ程度、道路幅３．５ｍ程度の視野範囲を見るように調整されているが、調整内容についてはこれに限定されるものではない。

ステレオカメラ１１は、ステレオ方式を採用しているため、例えばカメラ１１Ａ及びカメラ１１Ｂにより道路７０上の立体物（車両６０等の物体）を同時に検出することが可能である。本実施形態のステレオカメラ１１は、静止画を撮像する撮像部に限定するものではなく、動画を撮像する撮像部であっても良い。

車種判別装置３１は、ステレオカメラ１１から取得したカメラ画像や、車重計４０により得られる車両６０の車重等に基づいて車種判別等を行う。

（車種判別装置の機能構成例）
次に、上述した車種判別装置３１の機能構成例について説明する。図１０は、第２の実施形態における車種判別装置の機能構成の一例を示す図である。

図１０に示す車種判別装置３１は、記憶部３００と、取得部３０１と、画像特徴抽出部３０２と、距離計測部３０３と、基準区間変化量推定部３０４と、状態判定部３０５と、車両全景復元部３０６と、台数計数処理部３０７と、外郭情報取得部３０８と、クレーン検出部３０９と、トラクタ後部空間計測部（空間計測部）３１０と、牽引棒検出部３１１と、マッチング部３１２と、車種判別部３１３と、ネットワーク接続部３１４と、制御部３１５とを有する。

記憶部３００は、例えば、車種判別処理を実行するための各種プログラム、各種設定情報等を記憶する。なお、記憶部３００に記憶される情報は、例えばインターネットやＬＡＮ等に代表される通信ネットワークを介して接続される他の装置等から取得しても良い。

また、記憶部３００は、３次元座標系において、車両の側面方向の、車両の部品の特徴部分を、立体的に表した第３の形状情報を記憶する。例えば、記憶部３００は、車両の部品として、クレーン車両が搭載するクレーン部品形状や、牽引車両を特徴付けるトラクタ部やトレーラ部の部分画像、トレーラ部を牽引するための索引棒等を示した、第３の形状を記憶する。本実施形態では、記憶部３００に記憶された、車両の部品の特徴部分を、３次元サーフェスモデルとして記憶する例について説明するが、車両の部品の特徴部分を、立体的に表していれば、どのようなモデルであっても良い。

記憶部３００は、第３の形状情報の一例として、クレーン車両を側面から見たときの３次元形状のクレーン部品群４０１を記憶する。図１１は、第２の実施形態の３次元形状のクレーン部品群を例示した図である。図１１に示すように、３次元形状のクレーン部品群４０１には、クレーン車両の車種を特定する３次元形状の各クレーン部品４０２が１又は複数格納されている。なお、クレーン部品群は、図１１に示すように、クレーン車両を特徴付けるための車両のフレームの形状、配置等の一部の特徴情報を含むがこれに限定されるものではない。

また、記憶部３００は、第３の形状情報の一例として、車両の側面から見た部分画像データベース（ＤＢ）５０１を記憶する。図１２は、第２の実施形態の車両の側面から見た部分画像ＤＢを例示した図である。図１２に示すように、車両の側面から見た部分画像ＤＢ５０１には、一般車両とトレーラを有する車両とを区別するためのトレーラ部分５０２を含む車両の側面を３次元形状で表した部分画像（構成パターン）が格納されている（以下、トレーラ部分５０２を必要に応じて「構成パターン５０２」という）。部分画像とは、車両の一部の領域を含む画像であり、例えば車両の先頭部分であるトラクタ部の運転席部分、車両の後続部分であるトレーラ部のコンテナの荷物を積載する荷台部分等であるが、これに限定されるものではない。

また、記憶部３００は、第３の形状情報の一例として、牽引車両を側面から見たときの３次元形状の牽引棒部品群６０１を記憶する。図１３は、第２の実施形態の３次元形状の牽引棒部品群を例示した図である。図１３に示すように、３次元形状の牽引棒部品群６０１には、１又は複数のトレーラ等を牽引する車両の車種を特定する３次元形状の索引棒６０２が格納されている。牽引棒部品群とは、車両と車両が牽引する対象物との間の部品であり、横からの撮影画像では棒状に見えるものである。牽引棒の位置や向き、前後の物体の関係からその部品が牽引棒であるかを判別する。また、牽引棒の数等も判別する。牽引棒の判別結果により、対象車両が牽引車両か否かを判別することが可能となる。

取得部３０１は、ステレオカメラ１１、及び車重計４０のそれぞれから得られる情報を取得する。例えば、取得部３０１は、ステレオカメラ１１により車両の側面を撮像した画像を取得する。ステレオカメラ１１が動画を撮像可能な場合に、取得部３０１は、フレーム単位で、車両の側面を撮像した画像（以下、「フレーム画像」と称す）を取得する。

画像特徴抽出部３０２は、取得部３０１からステレオカメラ１１により撮影された画像を取得すると、道路７０上の立体物を抽出する。例えば、画像特徴抽出部３０２は、ステレオカメラ１１の画像から車両６０の外郭形状等の特徴等を抽出する。

距離計測部３０３は、取得部３０１からカメラ１１Ａ及びカメラ１１Ｂにより撮影された画像を取得すると、それぞれの画像のマッチング処理により得られた視差情報から幾何計算を行う。これにより、距離計測部３０３は、例えばステレオカメラ１１の位置から、車両６０の側面上の各位置（画像から抽出された、車両６０の側面上の特徴ごとの位置）までの距離値を計測する。

基準区間変化量推定部３０４は、フレーム画像内で表された撮像領域を、予め定められた領域を示した基準区間で分割する。基準区間変化量推定部３０４は、フレーム画像ごとに分割した基準区間内で、車両の側面上の特徴の移動量を計測する。これにより、基準区間変化量推定部３０４は、フレーム画像間の車両の変化量を推定する。

つまり、本実施形態は、基準区間変化量推定部３０４によりフレーム画像ごとに分割された基準区間を、車両の移動量を考慮して、つなぎ合わせることで、車両の全体が写っている全景画像を生成できる。

状態判定部３０５は、それぞれの基準区間における車両６０の変化量に応じて、車両６０の進入から退出までの車両６０の存在位置を状態変化として把握する。

車両全景復元部３０６は、車両通行時に撮像された各フレーム画像から抽出された車両６０の各特徴の遷移を、車両６０の移動に合わせて追跡し、車両６０の進行方向に重ね合わせて車両の側面を立体的に表した全景情報を生成する。

具体的には、車両全景復元部３０６は、車両６０の縦エッジ及び円等の典型的な特徴量を車両の進行方向に走査させながら、直前及び直後のフレーム画像の特徴点を照合する。

更に、車両全景復元部３０６は、フレーム画像の各特徴点に対する距離計測部３０３により得られた距離値を参照することで、車両６０の側面の特徴点の各位置を示した、３次元座標系における座標（例えば、ステレオカメラ１１近傍を原点とした、当該原点からの距離座標）を有する全景情報を再現する。このように、車両６０の全景情報は、ステレオカメラ１１で撮像された車両６０の側面片側の３次元形状を示している。

台数計数処理部３０７は、状態判定部３０５により把握される車両６０の存在位置について、その状態変化が「退出」と判断された場合に、１台の車両６０が通行したと判断する。なお、具体的な手法については、例えば特許第５６５１４１４号公報等に記載の手法を用いることができるが、これに限定されるものではない。

外郭情報取得部３０８は、車両６０の全景情報に基づいて、ステレオカメラ１１から得られる車両６０の各特徴点との距離座標から算出される、３次元座標系で表した各特徴点の集合から、例えば平面射影変換を用いて、車両６０の外郭を３次元の表面形状として表した３次元サーフェスモデル（以下、「外郭情報」と称す）を生成する。

つまり、本実施形態は、車両６０の３次元形状を示した外郭情報で、車種の識別を行うことで、高い精度で車種の識別を可能とする。例えば、車両６０の３次元形状を示した外郭情報と、記憶部３００に記憶された、車両の部品の３次元形状を示した第３の形状と、の間で、３次元形状のマッチングを行うことで、高い精度で車両の部品を特定できる。これにより、高い精度の車種の識別を実現する。

クレーン検出部３０９は、クレーン車両等の工事車両に搭載されているクレーン部分を検出する。クレーン検出部３０９は、例えば外郭情報取得部３０８により得られた外郭情報を用いて、車体よりも前方の領域において地面と接触しない状態で、地面から所定以上の高さに車両の一部分が存在する場合に、その一部を含む領域をクレーン部分として検出する。なお、クレーン検出部３０９は、例えば、車両全景復元部３０６により生成された車両６０の全景情報を、クレーン部品群４０１とマッチングすることでクレーン部分を検出しても良い。

トラクタ後部空間計測部３１０は、車両全景に含まれる空間を計測する。トラクタ後部空間計測部３１０は、例えば外郭情報取得部３０８により得られた外郭情報を用いて、車両６０の先頭部分と車両６０の後続部分との間の隙間に相当する空間（トラクタ後部の空間）を計測する。また、トラクタ後部空間計測部３１０は、計測した空間が所定の閾値以上である場合には、車両の外郭情報のうち、車両の先頭部分をトラクタ部として、車両の後続部分をトレーラ部や貨物部分として分離する。

牽引棒検出部３１１は、例えば外郭情報取得部３０８により得られた外郭情報から、牽引棒を検出する。

牽引棒検出部３１１は、外郭情報で示された３次元サーフェスモデルのうち、例えばトレーラ間に相当する隙間に対応するような、車両６０の外郭（３次元サーフェスモデル）が予め定められた閾値以上変化する変化領域を抽出する。牽引棒検出部３１１は、当該変化領域から、牽引棒を検出する。なお、予め定められた閾値とは、実施態様に基づいて定められるものとする。また、牽引棒検出部３１１は、抽出された変化領域付近の計測距離を、距離計測部３０３の計測結果を用いて判定し、判定結果に基づいて牽引棒を検出しても良い。

マッチング部３１２は、トラクタ後部空間計測部３１０により分離されたトレーラ部の先端から後端までの領域を注視領域として設定し、車両の側面から見た部分画像ＤＢ５０１に登録された構成パターンとのマッチングを行う。マッチング部３１２は、部分画像のマッチングスコアを算出する。なお、部分画像の組み合わせ等がある場合にも予め登録しておくと良い。

車種判別部３１３は、上述した各検出部による検出結果や、マッチング部３１２によるマッチング結果に基づいて車種を判別する。なお、車種判別部３１３は、上述した外郭情報を用いることで、判別した車種の車長等の形状情報を取得しても良い。

ネットワーク接続部３１４は、通信ネットワーク５０を介して、ステレオカメラ１１と、車重計４０とのデータの送受信を行う。また、ネットワーク接続部３１４は、インターネットやＬＡＮ等を介して管理サーバ等と接続されても良く、車種判別装置３１で取得した車種判別結果等を管理サーバに送信したり、管理サーバから上述したマッチングで用いるパターン等を取得したりしても良い。

制御部３１５は、車種判別装置３１の各構成部全体の制御を行う。また、制御部３１５は、例えば第２の実施形態における各種処理の開始や終了等の制御やエラー発生時の制御等を行っても良い。

また、第２の実施形態では、車種判別部３１３において、取得部３０１から得られる車重が、車種判別により判定された車種の制限重量以下か否かを判定しても良い。この場合、取得部３０１から取得した車重が、車種の制限重量を超えていた場合には、規定違反車として管理サーバ等に通知することも可能である。

（第２の実施形態における車種判別処理の一例）
次に、第２の実施形態における車種判別処理の一例について説明する。図１４は、第２の実施形態における車種判別処理の一例を示すフローチャートである。

図１４に示すように、車種判別装置３１の画像特徴抽出部３０２は、ステレオカメラ１１により撮影された画像から立体物（車両）の外郭形状等の特徴を抽出する（Ｓ２０）。次に、距離計測部３０３は、カメラ１１Ａ及び１１Ｂから得られた画像のマッチング処理を行い、視差情報から幾何計算を行い、例えばステレオカメラ１１の位置から車両の側面上の各位置との距離を計測する（Ｓ２１）。

次に、基準区間変化量推定部３０４は、フレーム画像ごとに分割した基準区間内で、車両の側面上の特徴の移動量を計測する。これにより、フレーム画像間の車両の変化量を推定する（Ｓ２２）。次に、状態判定部３０５は、車両の進入から退出までの存在位置を状態変化として把握する（Ｓ２３）。

次に、車両全景復元部３０６は、車両の側面上の特徴点を３次元座標系の位置座標で示すことで、立体的に表した車両の全景情報を生成する（Ｓ２４）。Ｓ２４の処理では、生成した全景情報を記憶部３００に保存しておくと良い。

次に、台数計数処理部３０７は、状態判定部３０５により把握される車両の存在位置について、その状態変化が「退出」と判断された場合に、１台の車両が通過したと判断して、車両の台数計数処理を行う（Ｓ２５）。

台数計数処理部３０７は、Ｓ２５の処理の結果、車両が１台通過したか否か判断する（Ｓ２６）。台数計数処理部３０７は、車両が１台通過していないと判断した場合（Ｓ２６において、Ｎｏ）、Ｓ２０の処理に戻る。

また、台数計数処理部３０７は、車両が１台通過したと判断した場合（Ｓ２６において、Ｙｅｓ）、外郭情報取得部３０８は、車両が１台通過するまでの全景情報に基づいて、当該１台の車両の側面の外郭を、３次元の表面形状を表した外郭情報を取得する（Ｓ２７）。

次に、クレーン検出部３０９は、Ｓ２７の処理で取得した外郭情報を用いて、クレーン部分があるか否か判断する（Ｓ２８）。クレーン検出部３０９は、クレーン部分がないと判断すると（Ｓ２８において、Ｎｏ）、トラクタ後部空間計測部３１０は、外郭情報を用いて車両の先頭部分と車両の後続部分との間の隙間に相当する空間を計測する（Ｓ２９）。

次に、トラクタ後部空間計測部３１０は、Ｓ２９の処理で計測した空間のうち、所定の閾値以上となる空間があるか判断する（Ｓ３０）。トラクタ後部空間計測部３１０は、所定の閾値以上となる空間があると判断すると（Ｓ３０において、Ｙｅｓ）、マッチング部３１２は、トラクタ後部空間計測部３１０によりトレーラ部として分離された注視領域についてマッチングを行う（Ｓ３１）。

また、トラクタ後部空間計測部３１０は、所定の閾値以上となる空間がないと判断すると（Ｓ３０において、Ｎｏ）、牽引棒検出部３１１は、外郭情報を用いて、車両の外郭が所定の閾値以上変化する変化領域を抽出することにより牽引棒を検出する（Ｓ３２）。

上述したＳ２８の処理でクレーン部分があると判断された場合（Ｓ２８において、Ｙｅｓ）、Ｓ３１の処理の後、又はＳ３２の処理の後、車種判別部３１３は、それぞれの結果に基づいて車種を判別し（Ｓ３３）、処理を終了する。

（第２の実施形態の具体例）
（クレーン部分の検出）
次に、上述した第２の実施形態の具体例について説明する。図１５は、クレーン部分の検出の具体例を示す図である。

クレーン検出部３０９は、例えば、車両６０の外郭情報を用いて、図１５（Ａ）に示すようなクレーン車両等の工事車両７０１の車両の前方に搭載されているクレーン部分を検出する。図１５（Ｂ）に示すように、クレーン検出部３０９は、例えば工事車両７０１の車体よりも前方の領域７０３において地面と接触しない状態で、地面から所定以上の高さで存在するクレーン部分７０２を検出する。

なお、クレーン車両に類似する車両として、ポール状の部品を搭載するトラックが考えられる。ポール状の部品とクレーン部分とを比較すると、クレーン部分のサイズが大きいため、例えば距離計測部３０３により計測されたクレーン部分の形状に関する情報を参照することで、ポール状の部品とクレーン部分とを区別しても良い。

また、クレーン検出部３０９は、例えば車両全景復元部３０６により生成された車両の全景情報を用いて、図１１に示すクレーン部品群４０２とマッチングすることで、クレーン部分として検出しても良い。

なお、クレーン車両を判別する場合に、例えば単眼カメラを用いてクレーン車両の車両前面のマッチングを行っても良い。例えば、図１１に示すように、クレーン車両の運転席部分は、片側に操縦席が存在するパターン４０３と、それよりも低い位置に座席が存在するパターン４０４等、他の車両と比較して非対称性が存在する。そのため、他の車両との相違が大きい。

つまり、類似パターンが少ないためマッチング精度が向上する。したがって、クレーン車両のトラクタ部をマッチングすることで、クレーン車両であることを判別することも可能である。

（トラクタ後部の空間計測及びトレーラ部のマッチング）
図１６は、トラクタ後部の空間計測例を示す図である。トラクタ後部空間計測部３１０は、例えば図１６（Ａ）に示す大型車両のフレーム８０１〜８０５から抽出された車両の縦エッジや円等の特徴点８０６に基づき生成される画像の全景情報から算出された外郭情報を用いる。

具体的には、トラクタ後部空間計測部３１０は、上述した外郭情報のうち、図１６（Ｂ）に示すように、大型車両の先頭部分と後続部分との間の隙間に相当する空間（トラクタ後部の空間）８０７を計測する。トラクタ後部空間計測部３１０は、例えば計測した空間８０７が所定の閾値以上である場合には、先頭部分をトラクタ部として、後続部分をトレーラ部や貨物部分として分離する。

マッチング部３１２は、トラクタ後部空間計測部３１０により分離されたトレーラ部の先端から後端までの領域を注視領域として設定し、上述した図１２に示すような側面から見た部分画像ＤＢ５０１に登録された構成パターン５０２とのマッチングを行う。

マッチング部３１２は、上述した部分画像のマッチングスコアを算出する。この結果、車種判別部３１３は、例えば、図１２に示すような牽引するトレーラがある車両５０３と一般車両５０４とを判別することが可能となる。

（索引棒の検出）
図１７は、牽引棒の検出例を示す図である。牽引棒検出部３１１は、例えば図１７（Ａ）に示す車両通行時の動画フレーム１００１〜１００５から抽出された車両の特徴点１００６に基づき生成される画像の全景情報から算出された外郭情報を用いる。

牽引棒検出部３１１は、上述した外郭情報である座標列を追跡し、図１７（Ｂ）に示すトレーラ間の隙間１００７において外郭（３次元サーフェスモデル）が予め定められた閾値以上変化する変化領域を抽出することで、牽引棒を検出する。また、牽引棒検出部３１１は、車両中に存在する牽引棒の数を計測する。

車種判別部３１３は、上述した図１３に示す牽引棒部品群６０１を参照し、牽引棒の数が１つであればダブルス又は牽引車両６０３であるとして車種を判別する。また、車種判別部３１３は、牽引棒の数が２つ以上であればフルトレーラ６０４であるとして車種を判別する。また、車種判別部３１３は、上述したトラクタ部の隙間や索引棒がない場合には、通常の大型トラック６０５であるとして車種を判別する。

上述した第２の実施形態の車種判別装置３１は、ステレオカメラ１１から取得した画像から車両の全景情報を生成し、生成した全景情報に基づき、クレーン部分やトレーラ部、索引棒等の大型車両を側面から見たときの特徴的な部品形状を検出する。これにより、大型車両の車種判別の精度を向上させることが可能となる。

また、上述した仕組みは、車重計の情報と組み合わせれば、過積載車両の発見が可能となり、更にはロードプライシングを考慮した一般道にまで拡張可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１，２…車種判別システム、１０…単眼カメラ（第１の撮像部）、１１…ステレオカメラ（第２の撮像部）、２０…車両検知器、３０，３１…車種判別装置（情報処理装置）、４０…車重計、５０…通信ネットワーク、６０…車両、６１…前方領域、６２…後方領域、７０…道路、９０，３００…記憶部、９１，３０１…取得部、９２…車両検知部、９３…トラクタ部検出部、９４…トレーラ部切出部（切出部）、９５，３１２…マッチング部、９６，３１３…車種判別部、９７，３１４…ネットワーク接続部、９８，３１５…制御部、３０２…画像特徴抽出部、３０３…距離計測部、３０４…基準区間変化量推定部、３０５…状態判定部、３０６…車両全景復元部、３０７…台数計数処理部、３０８…外郭情報取得部、３０９…クレーン検出部、３１０…トラクタ後部空間計測部、３１１…牽引棒検出部。

Claims (16)

1. 車両の後方に存在する荷台、荷物、又は客車の形状を表した第１の形状情報を記憶する記憶部と、
   撮像部から撮像された車両の画像を取得する取得部と、
   前記取得部から得られる画像に表されている前記車両の後方領域と、前記記憶部に記憶されている前記第１の形状情報と、を用いた照合を行い、前記車両の後方に存在する荷台、荷物、又は客車の形状の組み合わせから、前記車両の車種を判別する車種判別部と、
   を有する車種判別装置。
2. 前記記憶部は、前記撮像部による撮影時の車両の進入速度及び前記撮像部のパラメータ情報に基づいて、車両の前方領域の見え方を表した第２の形状情報を記憶し、
   前記第２の形状情報を、前記取得部が取得した画像に表されている前記車両の前方領域に当てはめて、当該領域以外の前記車両の後方領域を切り出す切出部を有し、
   前記車種判別部は、前記切出部により切り出された前記車両の後方領域と、前記記憶部に記憶されている前記第１の形状情報と、を用いた照合を行う、
   請求項１に記載の車種判別装置。
3. 前記車両の車種は、前記車両の幅、高さ、及び長さのいずれか１つ以上の形状に関する情報を含む、
   請求項１に記載の車種判別装置。
4. 車両を構成する各部品の側面を立体的に表した第３の形状情報を記憶する記憶部と、
   複数の撮像部により車両の側面を撮像した複数の画像を取得する取得部と、
   前記取得部により取得した前記複数の画像に基づいて、前記車両の側面上の各位置との距離を計測する距離計測部と、
   前記距離計測部により得られる前記距離の情報と、前記複数の画像と、に基づいて、前記車両の側面を立体的に表した前記車両の全景情報を生成する車両全景復元部と、
   前記車両全景復元部により生成された前記車両の全景情報と、前記記憶部に記憶された前記第３の形状情報と、に基づいて、前記車両を構成する各部品から、前記車両の車種を判別する車種判別部と、
   を有する車種判別装置。
5. 前記車両の全景情報に基づいて、前記車両の側面の外郭を、３次元の表面形状として示した外郭情報を取得する外部情報取得部を有する、
   請求項４に記載の車種判別装置。
6. 前記車両の外郭情報に基づいて、前記車両を構成する前記部品として、地面と接触しない状態で、前記地面から所定以上の高さを有するクレーン部を検出するクレーン検出部を有する、
   請求項５に記載の車種判別装置。
7. 前記車両の外郭情報に基づいて、前記車両を構成する前記部品として、前記車両の先頭部分と前記車両の後続部分との間の所定以上の空間を計測する空間計測部を有する、
   請求項５に記載の車種判別装置。
8. 前記車両の外郭情報に基づいて、前記車両の外郭が予め定められた閾値以上変化する変化領域を抽出することで、前記車両を構成する前記部品として、前記車両の牽引棒を検出する牽引棒検出部を有する、
   請求項５に記載の車種判別装置。
9. 撮像部から撮像された車両の画像を取得する取得ステップと、
   前記取得ステップで得られる画像に表されている前記車両の後方領域と、予め記憶部に記憶された前記車両の後方に存在する荷台、荷物、又は客車の形状を表した第１の形状情報と、を用いた照合を行い、前記車両の後方に存在する荷台、荷物、又は客車の形状の組み合わせから、前記車両の車種を判別する車種判別ステップと、
   を有する車種判別方法。
10. 予め前記撮像部による撮影時の車両の進入速度及び前記撮像部のパラメータ情報に基づいて、前記記憶部に記憶された車両の前方領域の見え方を表した第２の形状情報を、前記取得ステップが取得した画像に表されている前記車両の前方領域に当てはめて、当該領域以外の前記車両の後方領域を切り出す切出ステップを有し、
    前記車種判別ステップは、前記切出ステップにより切り出された前記車両の後方領域と、前記記憶部に記憶されている前記第１の形状情報と、を用いた照合を行う、
    請求項９に記載の車種判別方法。
11. 前記車両の車種は、前記車両の幅、高さ、及び長さのいずれか１つ以上の形状に関する情報を含む、
    請求項９に記載の車種判別方法。
12. 複数の撮像部により車両の側面を撮像した複数の画像を取得する取得ステップと、
    前記取得ステップで取得した前記複数の画像に基づいて、前記車両の側面上の各位置との距離を計測する距離計測ステップと、
    前記距離計測ステップで得られる前記距離の情報と、前記複数の画像と、に基づいて、前記車両の側面を立体的に表した前記車両の全景情報を生成する車両全景復元ステップと、
    前記車両全景復元ステップで生成された前記車両の全景情報と、予め記憶部に記憶された前記車両を構成する各部品の側面を立体的に表した第３の形状情報と、に基づいて、前記車両を構成する各部品から、前記車両の車種を判別する車種判別部と、
    を有する車種判別方法。
13. 前記車両の全景情報に基づいて、前記車両の側面の外郭を、３次元の表面形状として示した外郭情報を取得する外部情報取得ステップを有する、
    請求項１２に記載の車種判別方法。
14. 前記車両の外郭情報に基づいて、前記車両を構成する前記部品として、地面と接触しない状態で、前記地面から所定以上の高さを有するクレーン部を検出するクレーン検出ステップを有する、
    請求項１３に記載の車種判別方法。
15. 前記車両の外郭情報に基づいて、前記車両を構成する前記部品として、前記車両の先頭部分と前記車両の後続部分との間の所定以上の空間を計測する空間計測ステップを有する、
    請求項１３に記載の車種判別方法。
16. 前記車両の外郭情報に基づいて、前記車両の外郭が予め定められた閾値以上変化する変化領域を抽出することで、前記車両を構成する前記部品として、前記車両の牽引棒を検出する牽引棒検出ステップを有する、
    請求項１３に記載の車種判別方法。

Images