JP7225993B2 - 同一車両判定装置、同一車両判定方法およびプログラム - Google Patents

Description

本発明は、同一車両判定装置、同一車両判定方法およびプログラムに関する。

近年、ＩＴＳ（Intelligent Transport Systems：高度道路交通システム）の一つである、ＥＴＣ（Electronic Toll Collection：電子料金収受システム）が発達したことにより、ノンストップ料金所やフリーフローＥＴＣシステムの普及が進んでいる。フリーフローＥＴＣシステムは、車両に搭載されたＥＴＣ車載器とＤＳＲＣ（Dedicated Short Range Communication：狭域通信）通信を行うことにより、料金所等で車両を停止させることなく、該当する有料道路を走行する車両から自動的に通行料金を徴収するシステムである。

フリーフローＥＴＣは、料金所ＥＴＣと異なりゲートがない。そのため、フリーフローＥＴＣの出口で通信異常となり、料金徴収ができなかった車両をその場で停止させることができない。したがって、何らかの要因により出口で通信異常となってしまった疑義車両と、故意に不正通行する不正車両とに対して、後日適正な通行料金を請求できるように、システム側で対策をとることが必要である。例えば、入口の料金所ＥＴＣで車両のナンバープレートを撮影して取得されたナンバー情報と、チェックポイントで車両のナンバープレートを撮影して取得されたナンバー情報とを比較して対応付ける。

また、車両にＥＴＣ車載器が搭載されていない場合には、ＤＳＲＣ通信を用いて通行料金の徴収を行うことができないため、該当車両のナンバープレートの画像を取得して、取得した画像を後日通行料金を徴収するために利用する。

特許文献１には、車両の前部のナンバープレートを撮影して前部登録ナンバーを読み取る前部ナンバー読取装置と、車両の後部のナンバープレートを撮影して後部登録ナンバーを読み取る後部ナンバー読取装置と、車両の速度を計測する車速計測手段と、車両の全長を計測する車長検出手段と、車両の速度と車両の全長とに基づいて前部登録ナンバーと後部登録ナンバーとを対応付けて車両の前後の登録ナンバーを特定する手段とを備える前後部ナンバープレート読取装置が記載されている。特許文献１に記載の前後部ナンバープレート読取装置は、前方カメラから車両の速度を算出し、超音波感知器により車長を計測する。速度と車長から後方カメラの通過時間を算出して、けん引車両のナンバープレートを対応付ける。

有料道路では、車両の車種区分（例えば、「軽自動車」、「普通車」、「中型車」、「大型車」、「特大車」の別）に応じて異なる通行料金を課金する場合があるため、車載器には、予め車両の車種区分が登録されている。例えば、車両がトレーラーのような被けん引車をけん引しているか否かに応じて、車載器に登録された車種区分よりも上または下のランクの車種区分に変化（ランクアップまたはランクダウン）することがある。
トレーラヘッドのようなけん引車両に対しても、けん引の有無を確実に判別し、車種に応じた料金収受を正確に行う必要がある。

特開２００３－２２８７９３号公報

特許文献１に記載の装置では、前後のナンバープレートの情報を利用して識別精度を高める方法が記載されている。しかしながら、前後でナンバープレートが異なるけん引車両を同一車両として対応付けることが困難である。特許文献１には、車両の速度と車長を用いて通過時間を想定して対応付ける方法が提案されているが、以下のような課題がある。
（１）前後カメラの設置距離が既知である必要がある。すなわち、設置場所毎に正確な相対位置測定を行って前後カメラの設置距離を調整するキャリブレーション（Calibration）が必要である。
（２）車長を計測するために別途装置（超音波感知器）が必要である。

そこで、本発明は、正確な相対位置測定を行って前後カメラの設置距離を調整するキャリブレーションが不要な同一車両判定装置、同一車両判定方法およびプログラムを提供することを目的とする。

前記課題を解決するため、本発明の同一車両判定装置は、前方カメラが撮影した車両の画像から前部ナンバープレートの番号を認識する第１の認識部と、後方カメラが撮影した車両の画像から後部ナンバープレートの番号を認識する第２の認識部と、車両の速度を算出する車両速度算出部と、前記第１の認識部で認識された前部ナンバープレートの番号と前記第２の認識部で認識された後部ナンバープレートの番号が一致した場合に、番号が一致した車両について前記前方カメラで撮影した時刻と前記後方カメラで撮影された時刻の時間差を通過時間として算出する通過時間算出部と、前記車両速度算出部が算出した前記番号の一致する車両の速度と前記通過時間をもとに、前記前方カメラと前記後方カメラの検出距離を推定する検出距離推定部と、前記第１の認識部で認識された前部ナンバープレートの番号と前記第２の認識部で認識された後部ナンバープレートの番号が不一致の場合に、前記車両速度算出部が算出した前記車両の速度と、前記検出距離推定部が推定した前記前方カメラと前記後方カメラの前記検出距離とに基づいて当該車両の前記後方カメラにおける想定通過時間を算出し、前記想定通過時間内で前記第２の認識部が認識した後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号であると判定する同一車両判定部と、を備える。

本発明によれば、正確な相対位置測定を行って前後カメラの設置距離を調整するキャリブレーションが不要な同一車両判定装置、同一車両判定方法およびプログラムを実現することができる。

本発明の実施の形態に係る同一車両判定装置の構成を示すブロック図である。 上記実施の形態に係る同一車両判定装置の閾値記憶部に記憶された閾値の一例を示す図である。 上記実施の形態に係る同一車両判定装置のハードウェア構成を示すブロック図である。 上記実施の形態に係る同一車両判定装置の前後カメラ間の検出距離の算出方法を説明する図である。 上記実施の形態に係る同一車両判定装置の通過時間による同一車両対応付け方法を説明する図である。 上記実施の形態に係る同一車両判定装置の同一車両判定装置の前後カメラ間の検出距離の算出処理を示すフローチャートである。 上記実施の形態に係る同一車両判定装置の通過時間による同一車両対応付け処理を示すフローチャートである。 上記実施の形態に係る同一車両判定装置の同一車両判定部の同一車両判定処理を示すフローチャートである。 上記実施の形態に係る同一車両判定装置の同一車両判定部の同一車両判定処理を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態（以下、「本実施の形態」と称する）につき詳細に説明する。
（実施の形態）
図１は、本発明の実施の形態に係る同一車両判定装置の構成を示すブロック図である。本実施の形態の同一車両判定装置は、料金収受システムの料金所設備に適用した例である。

図１に示すように、料金収受システムの料金所設備Ｓは、前方カメラ１と、後方カメラ２と、車両Ａに搭載された車載器１０とＤＳＲＣ通信を行うＥＴＣシステム２０と、同一車両判定装置１００と、を備え、ＥＴＣシステム２０および同一車両判定装置１００は、無線または専用回線により料金収受システムを管理する集中監視システム３０に接続されている。
車両Ａは、トレーラーのような被けん引車両を含む自動車である。けん引車両は、前後のナンバープレートの識別結果が一致しない車両である。
前方カメラ１は、車両Ａの前部ナンバープレートの登録ナンバーを読み取る前部ナンバー読取装置である。
後方カメラ２は、車両Ａの後部ナンバープレートの登録ナンバーを読み取る後部ナンバー読取装置である。後方カメラ２は、前方カメラ１に対して、車両進行方向の後方に設置されている。前方カメラ１で、車両Ａの前部ナンバープレートの登録ナンバー（以下、番号という）を読み取り、その後、後方カメラ２で、車両Ａの後部ナンバープレートの番号を読み取る。

同一車両判定装置１００は、第１の認識部１２１と、第２の認識部１２２と、車両速度算出部１３０と、通過時間算出部１４０と、検出距離推定部１５０と、検出距離記憶部１６０と、同一車両判定部１７０と、を備える。
第１の認識部１２１、第２の認識部１２２、車両速度算出部１３０、通過時間算出部１４０、検出距離推定部１５０、および検出距離記憶部１６０のうち一部または全部は、プロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらのうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

以降、「○○部は」と主体を記した場合は、同一車両判定部１７０が必要に応じＲＯＭ・ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）から各プログラムを読み出した上でＲＡＭにロードし、各機能（後記）を実行するものとする。各プログラムは、予めＲＯＭ１０２（図３参照）に記憶されていてもよいし、他の記憶媒体または通信媒体を介して、必要なときに同一車両判定装置１００に取り込まれてもよい。

<第１の認識部１２１および第２の認識部１２２>
第１の認識部１２１は、前方カメラ１が撮影した車両の画像から前部ナンバープレートの番号を認識する。
第２の認識部１２２は、後方カメラ２が撮影した車両の画像から後部ナンバープレートの番号を認識する。
なお、前方カメラ１と後方カメラ２を総称して前後カメラと呼ぶことがある。

<車両速度算出部１３０>
車両速度算出部１３０は、前方カメラ１または後方カメラ２が撮影した映像から車両の速度ｖを算出する。具体的には、車両速度算出部１３０は、同一車両の前方カメラ１の映像から、例えば２フレームナンバープレート検出を行い、ナンバープレート検出座標の移動量を車両の速度ｖとして算出する。
なお、本実施形態では、速度を算出するために最低限必要な２フレームを用いて速度の算出を行っているが、３フレーム以上を使って、より精度の高い速度推定を行う構成としてもよい。

<通過時間算出部１４０>
通過時間算出部１４０は、前方カメラ１の識別結果と後方カメラ２の識別結果が一致する車両の通過時間を検出時刻の差分により通過時間ｔとして算出する。具体的には、通過時間算出部１４０は、第１の認識部１２１で認識された前部ナンバープレートの番号と第２の認識部１２２で認識された後部ナンバープレートの番号が一致した場合に、当該番号が一致した車両について前方カメラ１で撮影した時刻ｔｆと後方カメラ２で撮影された時刻ｔｐの時間差（ｔｐ－ｔｆ）を当該車両の通過時間ｔとして算出する。
なお、通過時間算出部１４０による、前部ナンバープレートの番号と後部ナンバープレートの番号が一致しているかどうかの判断に関しては、前後どちらかのナンバープレートが汚れていて一部の文字だけ認識できない場合もある。このため、ナンバープレートの番号の一致は、完全一致だけではなく、番号が部分一致した車両を含めてもよい。

<検出距離推定部１５０>
検出距離推定部１５０は、車両速度算出部１３０が算出した前記番号が一致した車両の速度ｖと通過時間ｔを用いて、前方カメラ１と後方カメラ２の検出距離ｄを推定する（後記図４参照）。
前後カメラの検出距離ｄは、複数台の車両について推定した前方カメラ１と後方カメラ２の検出距離の平均で求めてもよいし、重み付き平均（移動平均）を用いて常に更新してもよい。また、更新範囲を設定しておき、推定が誤ったデータをはじいて精度の劣化を防いでもよいし、識別スコアに閾値（後記図２の閾値とは異なる閾値）を持たせて良質なデータのみを検出距離ｄの更新に用いてもよい。
さらに、識別したナンバープレートサイズ（大板、中板）から、車長のバラツキが小さい中板のみを更新に採用してもよい。中板を更新に採用する場合、大板に対して車長のオフセットを引いた値から更新してもよい。

<検出距離記憶部１６０>
検出距離記憶部１６０は、第１の認識部１２１で認識された前部ナンバープレートの番号と第２の認識部１２２で認識された後部ナンバープレートの番号が一致した場合に、検出距離推定部１５０が推定した前方カメラ１と後方カメラ２の検出距離ｄを記憶する。すなわち、検出距離記憶部１６０には、前部ナンバープレートの番号と第２の認識部１２２で認識された後部ナンバープレートの番号が一致した場合の前後カメラの検出距離ｄが記憶される。
なお、検出距離記憶部１６０は、検出距離推定部１５０の内部に備える構成でもよい。

<同一車両判定部１７０>
同一車両判定部１７０は、第１の認識部１２１で認識された前部ナンバープレートの番号と第２の認識部１２２で認識された後部ナンバープレートの番号が不一致の場合に、車両速度算出部１３０が算出した前記車両の速度ｖと、検出距離推定部１５０が推定し検出距離記憶部１６０に記憶された前方カメラ１と後方カメラ２の検出距離ｄとに基づいて当該車両の想定通過時間Ｔを算出し、想定通過時間Ｔ内で第２の認識部１２２が認識した後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号であると判定する。
同一車両判定部１７０は、閾値記憶部１７１と、車種判定部１７２と、を備える。

図２は、同一車両判定部１７０の閾値記憶部１７１に記憶された閾値の一例を示す図である。図２の縦軸には、前方カメラ１と対応付くナンバープレートが無い車両で想定した検出時刻と実際に検出した時刻との誤差をとり、図２の横軸には、通過車両の速度をとる。
閾値記憶部１７１は、前方カメラ１と対応付くナンバープレートが無い車両で想定した検出時刻と実際に検出した時刻との誤差と、車両の速度とからなる２次元マップを閾値として記憶する。同一車両判定部１７０は、前方カメラ１と対応付くナンバープレートが無い車両で想定した検出時刻と実際に検出した時刻との差分が最小で前記閾値以下の車両を同一車両として対応付ける。閾値は、例えば速度が遅いほど誤差のバラツキが大きく、速度が速いほど誤差のバラツキが少なくなるように１次関数（図２実線参照）や指数関数（図２破線参照）で近似してもよい。

車種判定部１７２は、前方カメラ１および後方カメラ２で車両を含む画像を撮影した画像データを取得し、取得した画像データから画像データに含まれるナンバープレートサイズ（大板、中板など）から車両の車種を判定する。ナンバープレートサイズによる車種判定は、既に設置されている前方カメラ１と後方カメラ２を使用するので、低コストであり、各種センサの設置工事も不要である。
ここで、車種は、高速道路などの有料道路において通行料金を決定するための基準となるものであり、車両の大きさあるいは形状などに基づいて区分される。例えば、小型、普通、中型、大型、特大などに区分するようにしてもよい。ただし、車種は、運用形態に応じて設定されるものであり、特定の規定に限定されるものではない。

なお、有料道路の料金所などには、赤外線センサおよび踏板など多数種類のセンサ（通過車両の車軸数、車軸間距離、タイヤパターン、タイヤ間距離、タイヤ幅、車長など）による車種判定装置が設置されている。車種判定部１７２は、この車種判定装置から通過車両の車種を取得するものでもよい。

同一車両判定部１７０は、車種判定部１７２が判定した車種に基づいて、けん引車両など一般車両に対して車長が長い車両を判定する。同一車両判定部１７０は、車長が長い車両の場合、検出距離記憶部１６０に記憶された前方カメラ１と後方カメラ２の検出距離ｄに、車長オフセットαを加算して想定通過時間Ｔを算出する。車長オフセットαは、プレートサイズを判定して適応してもよい。
けん引車両以外にも、例えばナンバープレートの汚れにより文字識別できなかった車両に対しても対応付けが可能となる。

図３は、本実施形態に係る同一車両判定装置１００のハードウェア構成を示すブロック図である。
図３に示すように、同一車両判定装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、内部バス１０４、入出力インターフェース１０５、入力装置１０６、出力装置１０７、ＨＤＤ（Hard Disk Drive）１０８、ネットワークインターフェース１０９、ドライブ１１０および接続ポート１１１を有する。

ＣＰＵ１０１は、マイクロプロセッサなどのプロセッサにより構成され、演算処理装置および制御装置として、各種プログラムに従って同一車両判定装置１００内の動作全般を制御する。
ＲＯＭ１０２は、ＥＥＰＲＯＭを含み、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。
ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。

内部バス１０４は、ＣＰＵバスなどから構成される。この内部バス１０４は、ＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３を相互に接続する。
入出力インターフェース１０５は、ＨＤＤ１０８、およびネットワークインターフェース１０９を、内部バス１０４と接続する。例えばＨＤＤ１０８は、この入出力インターフェース１０５および内部バス１０４を介して、ＲＡＭ１０３などとの間でデータをやり取りする。

入力装置１０６は、同一車両判定装置１００の操作部の一例として構成される。入力装置１０６は、例えばユーザが同一車両判定装置１００へ情報を入力操作するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。
出力装置１０７は、同一車両判定装置１００の表示部の一例として構成される。出力装置１０７は、表示部として、液晶ディスプレイ装置、ＯＬＥＤ（Organic Light Emitting Diode）などの表示装置を含む。この表示装置は、ＣＰＵ１０１により生成された画像等を表示する。

ＨＤＤ１０８は、同一車両判定装置１００の記憶部５０２として機能する、データ格納用の装置である。このＨＤＤ１０８は、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
ネットワークインターフェース１０９は、例えばＥＴＣシステム２０（図１参照）の通信網に接続するための通信デバイス等で構成された通信インターフェースである。このネットワークインターフェース１０９は、通信部として機能する。
ドライブ１１０は、磁気ディスク、光ディスク、または半導体メモリなどのリムーバブル記録媒体１１２のためのリーダライタであり、同一車両判定装置１００に内蔵、あるいは外付けされる。ドライブ１１０は、装着されているリムーバブル記録媒体１１２に情報を書き込むことができる。また、ドライブ１１０は、装着されているリムーバブル記録媒体１１２に記録されている情報を読み出して、ＲＡＭ１０３に出力する。

接続ポート１１１は、外部装置（図示省略）を同一車両判定装置１００に直接接続するためのポートである。接続ポート１１１は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート等である。接続ポート１１１は、接続ポート１１１に外部装置を接続することにより、同一車両判定装置１００と外部装置との間で各種のデータが交換される。

以上のように構成された同一車両判定装置１００の動作について説明する。
<前後カメラ間の検出距離の算出方法>
図４は、前後カメラ間の検出距離の算出方法を説明する図である。
図４に示すように、例えば料金収受システムの料金所には、前方カメラ１と、後方カメラ２とが設置されている。後方カメラ２は、前方カメラ１に対して、車両進行方向の後方に設置されている。
前方カメラ１と後方カメラ２の設置に際し、設置場所毎のキャリブレーションは行わないので、前後カメラの設置距離は、既知ではない。同一車両判定装置１００は、前方カメラ１と後方カメラ２の検出距離ｄを推定し、検出距離記憶部１６０（図１参照）に記憶することを特徴とする。すなわち、設置場所毎のキャリブレーションを行うことなく、前後カメラの設置距離（検出距離ｄ）を算出する。

図４に示すように、車両Ａは、前後カメラの設置位置を速度ｖで通過する。車両Ａは、トレーラーを含む自動車であるが、前後の登録ナンバープレートが同じ同一車両である。
前方カメラ１は、車両Ａの前部のナンバープレートの登録ナンバーを読み取る。その後、後方カメラ２は、車両Ａの後部のナンバープレートの登録ナンバーを読み取る。前方カメラ１の識別結果と後方カメラ２の識別結果は一致し、前後のナンバープレートが同じである同一車両であると判定される。

前方カメラ１の識別結果と後方カメラ２の識別結果が一致する車両Ａであるので、前方カメラ１の識別結果と後方カメラ２の識別結果が一致する車両Ａの通過時間を検出時刻の差分により通過時間ｔとして算出する。具体的には、ナンバープレートの番号が一致した車両Ａについて前方カメラ１で撮影した時刻ｔｆと後方カメラ２で撮影された時刻ｔｐの時間差（ｔｐ－ｔｆ）を当該車両の通過時間ｔとして算出する。

前方カメラ１の映像から２フレームナンバープレート検出を行い、ナンバープレート検出座標の移動量を算出し、この移動量をもとに車両Ａの車速ｖを得る。撮影した映像のフレームレートｆｐｓ（frames per second）があらかじめ設定（既知）であるので、２フレームのナンバープレート検出座標の移動量から速度を検出することができる。

前部のナンバープレートと後部のナンバープレートの番号の一致する車両Ａの車速ｖと通過時間ｔをもとに、前方カメラ１と後方カメラ２の検出距離ｄを推定する。
検出距離ｄは、複数台からの平均で求めてもよいし、重み付き平均で常に更新してもよい。また、更新範囲を設定しておき推定が誤ったデータをはじいて精度の劣化を防いでもよいし、識別スコアに閾値を持たせて良質なデータのみを検出距離ｄの更新に用いてもよい。
さらに、識別したナンバープレートサイズ（大板、中板）から、車長のバラツキが小さい中板のみを更新に採用してもよい。この場合、大板に対して車長のオフセットを引いた値から更新してもよい。

前方カメラ１の識別結果と後方カメラ２の識別結果が一致する車両について、推定した検出距離ｄは、例えば機械学習のための教師データとして検出距離記憶部１６０（図１参照）に記憶される。

なお、上記<前後カメラ間の検出距離の算出方法>は、後記<通過時間による同一車両対応付け方法>とは、別個に実行してもよいし、<通過時間による同一車両対応付け方法>に先立って前処理として実行してデータ（前方カメラ１と後方カメラ２の検出距離ｄ推定データ）を蓄積する態様でもよい。

<通過時間による同一車両対応付け方法>
図５は、通過時間による同一車両対応付け方法を説明する図である。
図５に示すように、車両Ｂは、前後カメラの設置位置を速度ｖで通過する。車両Ｂは、トレーラーのような被けん引車Ｃをけん引している。このため、車両Ｂおよび被けん引車Ｃは、前後で登録ナンバープレートが異なる車両である。
前方カメラ１は、車両Ｂの前部のナンバープレートの登録ナンバーを読み取る。その後、後方カメラ２は、被けん引車Ｃの後部のナンバープレートの登録ナンバーを読み取る。前方カメラ１の識別結果と後方カメラ２の識別結果は一致しない車両であり、異なる車両であると判定される可能性がある。

図５の例では、前方カメラ１の識別結果と後方カメラ２の識別結果が不一致の車両Ｂである。
前方カメラ１の映像から２フレームナンバープレート検出を行い、ナンバープレート検出座標の移動量を算出し、この移動量をもとに車両Ｂの車速ｖを得る。また、上記<前後カメラ間の検出距離の算出方法>で推定し記憶した前方カメラ１と後方カメラ２の検出距離ｄを読み出す。

車両Ｂの速度ｖと、推定した前方カメラ１と後方カメラ２の検出距離ｄとに基づいて車両Ｂの後方カメラ２における想定通過時間Ｔを次式（１）に従って算出する。
Ｔ＝（ｄ＋α）／ｖ …（１）
α：車長オフセット

けん引車両は、一般車両に対して車長が長いため車長オフセットαを加算して想定通過時間Ｔを算出する。車長オフセットαは、プレートサイズを判定して適応してもよい。

図５に示すように、前方カメラ１と対応付くナンバープレートが無い車両Ｂの検出時刻ｔｆとすると、後方カメラ２と対応付く想定検出時刻ｔｂは、次式（２）で示される。
ｔｂ≒ｔｆ＋Ｔ …（２）

そして、想定通過時間Ｔ内で第２の認識部１２２が認識した後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号と判定する。すなわち、前後のナンバープレートが相違するトレーラー等の車両Ｂが通過した際には、車両Ｂの速度とカメラ間の相対距離（検出距離ｄ）から、車両Ｂ（ここでは被けん引車Ｃ）の後部ナンバープレートが後方カメラ２に写るタイミング（想定検出時刻ｔｂ）を推定し、このタイミング（ｔｂ）で得られた想定通過時間Ｔ内でのナンバープレートの番号を車両Ｂの後部ナンバープレートと判定する。

上記車両の後部ナンバープレートの番号の判定において、実際には、車両で想定した検出時刻と実際に検出した時刻とがずれることが想定され、このような時刻が所定値以上乖離したデータ用いると同一車両判定の精度が低下する。また、上記時刻のずれ（誤差）は、車両の速度が遅いほど大きい。
そこで、前方カメラ１が撮影した車両で想定した検出時刻と実際に検出した時刻との誤差と、前記車両の速度とからなる２次元マップを閾値（図２参照）としてあらかじめ記憶する。
前方カメラ１と対応付くナンバープレートが無い車両Ｂで想定した検出時刻と実際に検出した時刻との差分が最小で閾値（図２参照）以下の車両Ｂと被けん引車Ｃを同一車両Ｂとして対応付ける。
想定通過時間Ｔ内で認識した後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号であると判定する。

図６は、同一車両判定装置１００の前後カメラ間の検出距離の算出処理を示すフローチャートである。本フローは、図３のＣＰＵ１０１により所定周期で繰り返し実行される。
ステップＳ１で第１の認識部１２１は、前方カメラ１が撮影した車両の画像から前部ナンバープレートの番号を認識する。
ステップＳ２で第２の認識部１２２は、後方カメラ２が撮影した車両の画像から後部ナンバープレートの番号を認識する。
ステップＳ３で車両速度算出部１３０は、前方カメラ１または後方カメラ２が撮影した映像から車両の速度ｖを算出する。例えば、図４に示すように、車両速度算出部１３０は、同一車両Ａの前方カメラ１の映像から、２フレームナンバープレート検出を行い、ナンバープレート検出座標の移動量を車両Ａの速度ｖとして算出する。

ステップＳ４において、検出距離推定部１５０は、ステップＳ１で認識された前部ナンバープレートの番号とステップＳ２で認識された後部ナンバープレートの番号が一致したか否かを判定する。
認識された前部ナンバープレートの番号と後部ナンバープレートの番号が一致した場合（ステップＳ４：Ｙｅｓ）、ステップＳ５に進み、認識された前部ナンバープレートの番号と後部ナンバープレートの番号が一致しない場合（ステップＳ４：Ｎｏ）、本フローの処理を終了する。

ステップＳ５で通過時間算出部１４０は、認識された前部ナンバープレートの番号と後部ナンバープレートの番号が一致した車両について前方カメラ１で撮影した時刻と後方カメラ２で撮影された時刻の時間差を通過時間ｔとして算出する。例えば、図４に示すように、通過時間算出部１４０は、第１の認識部１２１で認識された前部ナンバープレートの番号と第２の認識部１２２で認識された後部ナンバープレートの番号が一致した場合に、番号が一致した車両Ａについて前方カメラ１で撮影した時刻ｔｆと後方カメラ２で撮影された時刻ｔｐの時間差（ｔｐ－ｔｆ）を車両Ａの通過時間ｔとして算出する。

ステップＳ６で検出距離推定部１５０は、算出した番号の一致する車両Ａの速度ｖと通過時間ｔをもとに、前方カメラ１と後方カメラ２の検出距離ｄを推定する。検出距離ｄは、複数台からの平均で求めてもよいし、重み付き平均で常に更新してもよい。また、更新範囲を設定しておき推定が誤ったデータをはじいて精度の劣化を防いでもよい。
ステップＳ７で検出距離推定部１５０は、検出距離記憶部１６０に推定した検出距離ｄを記憶して本フローの処理を終了する。

図７は、同一車両判定装置１００の通過時間による同一車両対応付け処理を示すフローチャートである。本フローは、図３のＣＰＵ１０１により所定周期で繰り返し実行される。
ステップＳ１１で第１の認識部１２１は、前方カメラ１が撮影した車両の画像から前部ナンバープレートの番号を認識する。
ステップＳ１２で第２の認識部１２２は、後方カメラ２が撮影した車両の画像から後部ナンバープレートの番号を認識する。
ステップＳ１３で車両速度算出部１３０は、前方カメラ１または後方カメラ２が撮影した映像から車両の速度ｖを算出する。例えば、図４に示すように、車両速度算出部１３０は、車両Ｂの前方カメラ１の映像から、２フレームナンバープレート検出を行い、ナンバープレート検出座標の移動量を車両の速度ｖとして算出する。

ステップＳ１４において、検出距離推定部１５０は、ステップＳ１１で認識された前部ナンバープレートの番号とステップＳ１２で認識された後部ナンバープレートの番号が一致したか否かを判定する。図５に示すように、車両Ｂは、被けん引車Ｃをけん引している。このため、車両Ｂおよび被けん引車Ｃは、前後で登録ナンバープレートが異なる車両である。

認識された前部ナンバープレートの番号と後部ナンバープレートの番号が一致した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５に進み、認識された前部ナンバープレートの番号と後部ナンバープレートの番号が一致しない場合（ステップＳ１４：Ｎｏ）、ステップＳ１８に進む。

ステップＳ１５で通過時間算出部１４０は、認識された前部ナンバープレートの番号と後部ナンバープレートの番号が一致した車両Ａ（図４参照）について前方カメラ１で撮影した時刻と後方カメラ２で撮影された時刻の時間差を通過時間ｔとして算出する。

ステップＳ１６で検出距離推定部１５０は、算出した番号の一致する車両Ａ（図４参照）の速度ｖと通過時間ｔをもとに、前方カメラ１と後方カメラ２の検出距離ｄを推定する。
ステップＳ１７で検出距離推定部１５０は、検出距離記憶部１６０に推定した検出距離ｄを記憶して本フローの処理を終了する。

上記ステップＳ１４で第１の認識部１２１で認識された前部ナンバープレートの番号と第２の認識部１２２で認識された後部ナンバープレートの番号が不一致の場合、ステップＳ１８で同一車両判定部１７０は、算出した車両の速度ｖと、記憶された前方カメラ１と後方カメラ２の検出距離ｄとに基づいて被けん引車Ｃ（図５参照）の後方カメラ２における想定通過時間Ｔを算出する。そして、同一車両判定部１７０は、想定通過時間Ｔ内で認識した後部ナンバープレートの番号を、車両Ｂの後部ナンバープレートの番号であると判定して本フローの処理を終了する。

図８は、同一車両判定装置１００の同一車両判定部１７０の同一車両判定処理を示すフローチャートであり、図７のステップＳ１４のサブルーチンである。図８のフローは、図７のステップＳ１４のサブルーチンコールにより呼び出されて実行される。
ステップＳ２１で閾値記憶部１７１は、前方カメラ１が撮影した車両で想定した検出時刻と実際に検出した時刻との誤差と、車両の速度とからなる２次元マップを閾値（図２参照）として記憶する。

ステップＳ２２で同一車両判定部１７０は、前方カメラ１が撮影したナンバープレートの番号が不一致の車両Ｂ（図５参照）で想定した検出時刻と実際に検出した時刻との差分が最小で閾値以下の車両を同一車両として対応付けて図７のステップＳ１４に戻る。例えば、図５に示すように、前方カメラ１と対応付くナンバープレートが無い車両Ｂで想定した検出時刻と実際に検出した時刻との差分が最小で閾値（図２参照）以下の車両Ｂと被けん引車Ｃを同一車両Ｂとして対応付ける。

図９は、同一車両判定装置１００の同一車両判定部１７０の同一車両判定処理を示すフローチャートであり、図７のステップＳ１４のサブルーチンである。図９のフローは、図７のステップＳ１４のサブルーチンコールにより呼び出されて実行される。
ステップＳ３１で車種判定部１７２は、前方カメラ１および後方カメラ２で車両を含む画像を撮影した画像データを取得し、取得した画像データから画像データに含まれるナンバープレートサイズ（大板、中板など）から車両の車種を判定する。

ステップＳ３２で同一車両判定部１７０は、車種判定部１７２が判定した車種に基づいて、けん引車両など一般車両に対して車長が長い車両を判定する。例えば、図５に示すように、同一車両判定部１７０は、車長が長い車両Ｂおよび被けん引車Ｃの場合、検出距離記憶部１６０に記憶された前方カメラ１と後方カメラ２の検出距離ｄに、車長オフセットαを加算して想定通過時間Ｔを算出する。
そして、同一車両判定部１７０は、前方カメラ１と対応付くナンバープレートが無い車両Ｂで想定した検出時刻と実際に検出した時刻との差分が最小で閾値（図２参照）以下の車両Ｂと被けん引車Ｃを同一車両Ｂとして対応付ける。

以上説明したように、本実施形態の同一車両判定装置１００は、前方カメラ１が撮影した車両の画像から前部ナンバープレートの番号を認識する第１の認識部１２１と、後方カメラ２が撮影した車両の画像から後部ナンバープレートの番号を認識する第２の認識部１２２と、車両の速度ｖを算出する車両速度算出部１３０と、第１の認識部１２１で認識された前部ナンバープレートの番号と第２の認識部１２２で認識された後部ナンバープレートの番号が一致した場合に、番号が一致した車両について前方カメラ１で撮影した時刻と後方カメラ２で撮影された時刻の時間差を通過時間ｔとして算出する通過時間算出部１４０と、を備える。そして、同一車両判定装置１００は、車両速度算出部１３０が算出した番号の一致する車両の速度と通過時間ｔをもとに、前方カメラ１と後方カメラ２の検出距離ｄを推定する検出距離推定部１５０と、第１の認識部１２１で認識された前部ナンバープレートの番号と第２の認識部１２２で認識された後部ナンバープレートの番号が不一致の場合に、車両速度算出部１３０が算出した車両の速度ｖと、検出距離推定部１５０が推定した前方カメラ１と後方カメラ２の検出距離ｄとに基づいて当該車両の想定通過時間Ｔを算出し、想定通過時間Ｔ内で第２の認識部１２２が認識した後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号であると判定する同一車両判定部１７０と、を備える。

この構成により、ナンバープレート認識用のカメラを設置する際に大きな工数となっているキャリブレーションを不要にすることができる。設置場所毎のキャリブレーションが不要になるため、作業工数を大幅に低減できるとともに、熟練者による作業を軽減することができる。これにより、設置コストを低減することができる。

また、車両を通過させるだけで、前後カメラ間の検出距離ｄを推定できる。通過させる車両の台数を増やすことで推定の精度を高めることができる。キャリブレーションのための作業時間も不要になるので、同一車両判定装置１００の導入後に速やかに運用が可能となる。

また、車両の速度を算出するための超音波感知器などが不要であり、低コストで実施も容易である。

さらに、図３に示すコンピュータ資源（例えば、ＰＣ）に本プログラムを導入するだけで同一車両判定が可能になるので、低コストで汎用性に優れたシステムを構築することができる。また、実施も容易である。

また、本実施形態では、検出距離推定部１５０は、車両速度算出部１３０が算出した番号が一致した車両が複数台検出された場合、複数台の車両からそれぞれ推定した複数の前記検出距離を平均することを含む統計処理を行って、推定する検出距離を更新する。これにより、検出距離ｄの検出精度を高めることができる。なお、平均（移動平均を含む）のほか、例えば分散などの統計的処理を用いてもよい。

また、本実施形態では、検出距離推定部１５０が推定した検出距離を記憶する検出距離記憶部１６０を備え、同一車両判定部１７０は、検出距離記憶部１６０に記憶された前方カメラ１と後方カメラ２の検出距離ｄとに基づいて車両の想定通過時間Ｔを算出する。これにより、ナンバープレートの番号が不一致の場合に、車両の想定通過時間Ｔを算出して、後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号であると判定することができる。

また、本実施形態では、前方カメラ１が撮影した車両で想定した検出時刻と実際に検出した時刻との誤差と、車両の速度とからなる２次元マップを閾値として記憶する閾値記憶部を備え、同一車両判定部１７０は、前方カメラ１が撮影したナンバープレートの番号が不一致の車両で想定した検出時刻と実際に検出した時刻との差分が最小で閾値以下の車両を同一車両として対応付ける。これにより、ナンバープレートの番号が不一致の場合に、想定した検出時刻と実際に検出した時刻との誤差と、車両の速度とからなる２次元マップを閾値として参照することで、車両の想定通過時間Ｔの精度を高めることができる。

また、本実施形態では、車両の車種を判定する車種判定部１７２を備え、同一車両判定部１７０は、車種判定部１７２が判定した車両の車種に基づいてその車長を求め、一般車両に対して車長が長い車両の場合、検出距離記憶部１６０に記憶された前方カメラ１と後方カメラ２の検出距離ｄに、車長オフセットαを加算して想定通過時間Ｔを算出する。これにより、ナンバープレートの番号が不一致の場合に、けん引車両など一般車両に対して車長が長いため車長オフセットαを加算して想定通過時間を算出することで、車両の想定通過時間Ｔの精度を高めることができる。

上記した実施形態例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態例の構成の一部を他の実施形態例の構成に置き換えることが可能であり、また、ある実施形態例の構成に他の実施形態例の構成を加えることも可能である。また、実施形態例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、本発明の車両制御装置および車両制御方法は、コンピュータを本車両制御装置および車両制御方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）～（ｃ）のようなものがある。
（ａ） 速度算出は、後方カメラ２で撮影された映像をもとに算出してよいし、前後両方のカメラで撮影された映像をもとに算出してもよい。

（ｂ） 第１の認識部１２１と第２の認識部１２２の両方あるいは一方の前段に、撮影された映像中に車両が存在することを検出する車両検出部を設けてもよい。

（ｃ） 上記（ｂ）において、第１の認識部１２１の前段に車両検出部を設け、速度算出を後方カメラ２で行う構成とすると、車両検出部で検出されたバイクの前方画像と、後方カメラ２で撮影した画像から取得されたナンバープレートの対応付けが行えるので、ナンバープレートが後方にしかついていないバイクにも本発明を適用することができる。また、バイクのナンバープレートサイズの規格は小板なので、検出されたナンバープレートサイズに基づいて、車種判別部でバイクを判別することが可能である。この場合、バイクの車長に合わせた車長オフセットを設定することで、より精度の高い算出を行うことが可能になる。

１ 前方カメラ
２ 後方カメラ
１０ 車載器
２０ ＥＴＣシステム
３０ 集中監視システム
１００ 同一車両判定装置
１２１ 第１の認識部
１２２ 第２の認識部
１３０ 車両速度算出部
１４０ 通過時間算出部
１５０ 検出距離推定部
１６０ 検出距離記憶部
１７０ 同一車両判定部
１７１ 閾値記憶部
１７２ 車種判定部
Ｓ 料金収受システムの料金所設備
Ａ 車両（同一車両）
Ｂ 車両（前方カメラと対応付くナンバープレートが無い車両）
Ｃ 被けん引車（前方カメラと対応付くナンバープレートが無い車両）

Claims (7)

1. 前方カメラが撮影した車両の画像から前部ナンバープレートの番号を認識する第１の認識部と、
   後方カメラが撮影した車両の画像から後部ナンバープレートの番号を認識する第２の認識部と、
   車両の速度を算出する車両速度算出部と、
   前記第１の認識部で認識された前部ナンバープレートの番号と前記第２の認識部で認識された後部ナンバープレートの番号が一致した場合に、番号が一致した車両について前記前方カメラで撮影した時刻と前記後方カメラで撮影された時刻の時間差を通過時間として算出する通過時間算出部と、
   前記車両速度算出部が算出した前記番号の一致する車両の速度と前記通過時間をもとに、前記前方カメラと前記後方カメラの検出距離を推定する検出距離推定部と、
   前記第１の認識部で認識された前部ナンバープレートの番号と前記第２の認識部で認識された後部ナンバープレートの番号が不一致の場合に、前記車両速度算出部が算出した前記車両の速度と、前記検出距離推定部が推定した前記前方カメラと前記後方カメラの前記検出距離とに基づいて当該車両の前記後方カメラにおける想定通過時間を算出し、前記想定通過時間内で前記第２の認識部が認識した後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号であると判定する同一車両判定部と、を備える
   ことを特徴とする同一車両判定装置。
2. 前記検出距離推定部は、前記車両速度算出部が算出した前記番号が一致した車両が複数台検出された場合、複数台の前記車両からそれぞれ推定した複数の前記検出距離を平均することを含む統計処理を行って前記検出距離を更新する
   ことを特徴とする請求項１に記載の同一車両判定装置。
3. 前記検出距離推定部が推定した前記検出距離を記憶する検出距離記憶部を備え、
   前記同一車両判定部は、前記検出距離記憶部に記憶された前方カメラと後方カメラの検出距離とに基づいて前記車両の想定通過時間を算出する
   ことを特徴とする請求項１または請求項２に記載の同一車両判定装置。
4. 前記前方カメラが撮影した車両で想定した検出時刻と実際に検出した時刻との誤差と、前記車両の速度とからなるマップを閾値として記憶する閾値記憶部を備え、
   前記同一車両判定部は、前記前方カメラが撮影したナンバープレートの番号が不一致の車両で想定した検出時刻と実際に検出した時刻との差分が最小で前記閾値以下の車両を同一車両として対応付ける
   ことを特徴とする請求項１に記載の同一車両判定装置。
5. 車両の車種を判定する車種判定部を備え、
   前記同一車両判定部は、前記車種判定部が判定した車両の車種に基づいてその車長を求め、一般車両に対して車長が長い車両の場合、前記検出距離記憶部に記憶された前記前方カメラと前記後方カメラの前記検出距離に、車長オフセットを加算して前記想定通過時間を算出する
   ことを特徴とする請求項３に記載の同一車両判定装置。
6. 前方カメラが撮影した車両の画像から前部ナンバープレートの番号を認識する第１の認識ステップと、
   後方カメラが撮影した車両の画像から後部ナンバープレートの番号を認識する第２の認識ステップと、
   車両の速度を算出する車両速度算出ステップと、
   前記第１の認識ステップで認識された前部ナンバープレートの番号と第２の認識ステップで認識された後部ナンバープレートの番号が一致した場合に、番号が一致した車両について前記前方カメラで撮影した時刻と前記後方カメラで撮影された時刻の時間差を通過時間として算出する通過時間算出ステップと、
   前記車両速度算出ステップで算出した前記番号の一致する車両の速度と前記通過時間をもとに、前記前方カメラと前記後方カメラの検出距離を推定する検出距離推定ステップと、
   前記検出距離推定ステップで推定した前記検出距離を記憶する検出距離記憶ステップと、
   前記第１の認識ステップで認識された前部ナンバープレートの番号と前記第２の認識ステップで認識された後部ナンバープレートの番号が不一致の場合に、前記車両速度算出ステップで算出した前記車両の速度と、前記検出距離記憶ステップに記憶された前記前方カメラと前記後方カメラの前記検出距離とに基づいて当該車両の前記後方カメラにおける想定通過時間を算出し、前記想定通過時間内で前記第２の認識ステップで認識した後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号であると判定する同一車両判定ステップと、を実行する
   ことを特徴とする同一車両判定方法。
7. 走行している車両が同一であるかを判定する同一車両判定装置としてのコンピュータを、
   前方カメラが撮影した車両の画像から前部ナンバープレートの番号を認識する第１の認識手段、
   後方カメラが撮影した車両の画像から後部ナンバープレートの番号を認識する第２の認識手段、
   車両の速度を算出する車両速度算出手段、
   前記第１の認識手段で認識された前部ナンバープレートの番号と前記第２の認識手段で認識された後部ナンバープレートの番号が一致した場合に、番号が一致した車両について前記前方カメラで撮影した時刻と前記後方カメラで撮影された時刻の時間差を通過時間として算出する通過時間算出手段、
   前記車両速度算出手段が算出した前記番号の一致する車両の速度と前記通過時間をもとに、前記前方カメラと前記後方カメラの検出距離を推定する検出距離推定手段、
   前記第１の認識手段で認識された前部ナンバープレートの番号と前記第２の認識手段で認識された後部ナンバープレートの番号が不一致の場合に、前記車両速度算出手段が算出した前記車両の速度と、前記検出距離推定手段が推定した前記前方カメラと前記後方カメラの前記検出距離とに基づいて当該車両の前記後方カメラにおける想定通過時間を算出し、前記想定通過時間内で前記第２の認識手段が認識した後部ナンバープレートの番号を、当該車両の後部ナンバープレートの番号であると判定する同一車両判定手段、として機能させるためのプログラム。

Images