JP4291571B2 - ナンバープレート読み取りシステムおよび方法 - Google Patents

Description

本発明は、概括的には電子料金徴収（収受）システムに関し、より具体的には、車両のナンバープレートを読み取るシステムおよび方法に関する。

電子的または自動的な料金収受の用途では、道路を走行する車両を最小限のオペレータの介入によって正確に識別することが望ましい。さらに、課金および執行の目的で車両の１つの画像または複数の画像内に含まれる車両のナンバープレートの番号を読み取る必要のあることが多い。それら画像は、車両が料金徴収ゲートまたは執行ゲートウェイを通過する際に取得される。料金徴収ゲートは、例えばメカニカルアームのような、車両の通過を物理的に阻止することができるデバイスを有することもあるし、有しないこともある。ナンバープレート画像の取り込みの要求は、車線ベースの自動料金収受システムおよび一般道路（車線障壁の無い）自動料金収受システムに対して存在する。ナンバープレート読み取り操作は、通常、自動的な光学式文字認識（ＯＣＲ）システム、マニュアルによるシステム、または両システムの組み合わせを用いて実行される。ＯＣＲおよびマニュアルによる読み取りの双方とも、料金収受システムの性能を劣化させ、収益を減少させるエラーを受けやすい。自動読み取りのエラーは、通常、人間のオペレータのマニュアルによる読み取りエラーと異なり、また、同じナンバープレート画像を見る２人の異なるオペレータは、異なるナンバープレートの番号を読み取ることがある。

料金収受システムの中には、トランスポンダを用いて、車両が料金収受ポイントを通過すると自動的に車両を識別するものがある。このトランスポンダは、認可されていない車両に移動されたり、あるいは、車両から盗まれたりすることがある。このような状況では、車両のナンバープレートの番号（または複数の番号）を判断することは有益である。他の料金収受システムでは、すべての車両、例えば有料道路を散発的に利用する車両に、トランスポンダを装備することは実用的ではない。さらに、システムの信頼性を増加し、料金収益を維持するためには、トランスポンダの読み取りに失敗した場合に、ナンバープレートを読み取ることが必要となる。

自動料金収受システムでは、車両の識別が不正確であるか、または、車両を識別できない場合には、コスト高になる。従来のシステムでは、エラー率は、２パーセントから１０パーセントに及ぶ。ナンバープレートの読み取りエラーによって顧客が正しく課金されないと、結果として、収益の損失、顧客サポート費用の増加および顧客の不満につながる。車両のナンバープレートが識別できないと、料金収益は得られない。

従来のシステムは、ナンバープレートが正しいことを検証するために、すべてのナンバープレート画像に対して複数の読み取りを必要とする。これは、通常、読み取り操作の少なくとも１つは、オペレータによるマニュアルで実行されなければならいことから、コストの高い解決法である。他のシステムは、エラーが顧客アカウントに書き込まれることを許容し、顧客から苦情が来るのを待つことになる。このプレートの読み取りに関する問題のいくつかは、ナンバープレートをマニュアル（手作業）で読み取ることによって訂正することができる。マニュアルによる読み取り操作では、人間のオペレータが、通常、ナンバープレートを有する車両の後部の蓄積（記憶）された画像からナンバープレートの番号を読み取る。ナンバープレート画像は、車両が料金収受ポイントまたは執行ゲートウェイを通過する時に取り込まれる。しかしながら、マニュアルによるナンバープレートの読み取りに要するコストは、比較的高価であり、大量のナンバープレートの読み取りに対してマニュアルによる読み取りを実施するのは不可能である。従来の自動ナンバープレート読み取りシステムおよびナンバープレートの画像のマニュアルによる読み取りを組み込んだ従来のシステムの双方とも、ナンバープレート画像の読み取りに関して本来的に種々の問題を有する。大量のナンバープレートをマニュアルで読み取るオペレータは疲労しやすく、エラー率が、就業日に読み取るナンバープレートの数と共に増加する傾向がある。自動的な画像の収集および処理は、画像の読み取りミスを起こしやすく、装置の故障および定期保守の対象となる。

したがって、最小限のエラー率および最小回数のマニュアルによる読み取りでナンバープレートを読み取ることが望まれる。さらに、複数のオペレータからなるグループによりマニュアルで読み取ったナンバープレートの番号を有効に用いて、自動ナンバープレート読み取りシステムのエラー率を最小にすること、および、自動料金収受システムを有する道路の車両の走行で収集された付加情報を用いて、ナンバープレートの読み取りエラー率およびマニュアルによる読み取り回数を低減させることが望まれている。

本発明によれば、車両に配置されたナンバープレートを読み取る方法は、ナンバープレート画像が必要とされるかどうかを判断することと、上記ナンバープレート画像が必要とされるとの判断に応じて、上記ナンバープレート画像を自動的に処理することと、少なくとも１つの検証された画像を提供することと、上記ナンバープレート画像を上記少なくとも１つの検証された画像と照合することにより、上記ナンバープレート画像をマニュアルで読み取るべきかどうかを判断することと、を含む。このような技法によって、プレート読み取りの正確さを向上させ、かつ、マニュアルによる読み取りの全回数を低減させるために、ナンバープレートが人間のオペレータによってマニュアルで読み取られるべき場合を判断して、自動的な読み取りを補完することができる。

本発明の別の態様によると、本方法は、上記ナンバープレート画像を上記少なくとも１つの検証された画像と相関させることと、整合信頼性（確度）の大きさを提供することと、整合確度の大きさを予め定められた整合閾値と比較することに応じて、上記ナンバープレート画像がマニュアルで読み取られるべきかどうかを判断することと、をさらに含む。このような技法によって、ナンバープレートの記憶された信頼できる画像との画像相関および利用可能な料金収受データが、ナンバープレート読み取りシステムの正確さを向上させ、マニュアルによる読み取り回数を低減させる。

本発明の別の態様によると、料金収受システム内を走行する車両に配置されたナンバープレートを読み取る方法は、第１の複数の車両検出を提供することと、トリップを形成する可能性のある第２の複数の車両検出を決定することと、上記第２の複数の車両検出が、少なくとも１つのナンバープレート画像を含むかどうかを判断することと、上記少なくとも１つのナンバープレート画像を自動的に処理することと、を含む。このような技法によって、課金目的のため、ナンバープレート読み取りシステムの正確さを改善するため、およびマニュアルによる読み取り回数の低減のために、数個のトランザクションを単一のトリップに結合することができる。

本発明の別の態様によると、データを、前に読み取られたデータと相関させて、複数の車両のそれぞれについての情報を取得し、道路に沿ったインシデントによって影響を受ける可能性のある複数の車両のそれぞれの番号を求める方法が提供される。さらに、本方法は、インシデントによって影響を受ける可能性のある上記複数の車両のそれぞれの上記番号をサンプル閾値と比較するステップを含む。このような技法によって、本方法は、広く間隔を空けて配置された自動車両識別（ＡＶＩ：automatic vehicle identification）リーダおよび道路に沿って配置されたナンバープレートリーダからのデータを分析することにより、誤ったナンバープレート番号の判断を削減することができる。このような技法によって、ナンバープレート番号を判断する画像処理方法のみを使用することにより判断する場合よりも正確にナンバープレートの識別を行うことができ、このような技法は、人間のオペレータのマニュアルによる大量の読み取りには依存しない。

一実施の形態では、どの検出がトリップを形成する可能性があるかを判断するために、交通インシデントデータが使用される。トリップ形成方法は、センサの配置場所間において、警察官が存在し得ること、道路の等級の変化、機械的な故障、サービス／休憩ステーションでの停止、オンランプから入ってくる車両、およびオフランプに存在する車両による個々の車両速度の変動を説明することができる。

本発明のさらに別の態様によると、車両ナンバープレートを読み取るシステムは、複数の車両ナンバープレート画像および複数の車両トランザクションを提供する複数の路側料金収受装置と、上記複数の路側料金収受装置に結合され、上記複数の画像およびトランザクションを受信する少なくとも１つのトランザクションプロセッサと、上記少なくとも１つのトランザクションプロセッサに結合され、上記画像を受信するように適応され、かつ、対応するナンバープレート番号を提供する少なくとも１つのビデオ画像プロセッサと、を含む。本システムは、さらに、上記少なくとも１つのトランザクションプロセッサに結合され、上記車両ナンバープレートがマニュアルで読み取られるように、上記画像を受信し、かつ、上記画像を表示するように適応されているビデオ例外プロセッサと、上記少なくとも１つのトランザクションプロセッサに結合され、上記マニュアルでの読み取り回数を最小にするように適合されている料金プロセッサと、を含む。このような装置によって、自動道路料金収受および管理システムは、一組の履歴プレート画像を保持および適用し、パターン照合装置を利用して、エラーの削減を達成する。このパターン照合装置は、履歴ナンバープレート画像情報に加えて車両のトリップに関連した情報を検討することにより、実質的な運用コストの追加を招くことなくプレート読み取りエラーを最小にするために、どのプレート画像がオペレータによって読み取り／再読み取りされるべきかを選択する。このような装置は、エラーになりがちな画像に対する検証および複数回の読み取りのみを実行することによって、比較的大量のマニュアルによるナンバープレートの読み取り操作が必要になるという問題を解決する。したがって、ほとんど画像は、１度だけ読み取られ、ＯＣＲを使用するシステムでは、その結果、ナンバープレート画像のほとんどは、性能を大幅に劣化させることなく、また、顧客の不満を増大させることなく、オペレータを完全に除外（バイパス）することができる。このような装置は、これに限定されるものではないが、例えば光学式文字認識および画像相関といった自動画像処理技法を利用する。

本発明の別の態様によると、ナンバープレートを読み取って、違反者を検出する方法は、ナンバープレート画像からナンバープレート番号を自動的に認識することと、上記車両ナンバープレート番号が、法の執行の対象となる違反者のリストに含まれると判断することと、警報を自動的に表示することと、車両の場所を自動的に更新することと、を含む。この技法を用いると、警察官は、違反者が検出されるまで長い時間の間、ゲートウェイで待つ必要がなく、道路全体を自由にパトロールすることができる。執行範囲は、数名の警察官しか存在しないすべてのゲートウェイに対して効率的に提供することも可能である。

本発明の上記特徴、さらに本発明それ自体については、図面に関連する以下の説明からより十分に理解することができるであろう。

本発明の詳細な説明をする前に、ここに使用される用語のいくつかを定義することが役に立つであろう。自動車両識別（ＡＶＩ：automatic vehicle identification）リーダは、固有のトランスポンダＩＤを読み取るデバイスである。トランスポンダの読み取りは、通常動作におけるナンバープレートの番号と関連する。ビデオ画像プロセッサ（ＶＩＰ：video image processor）によって行われるビデオ画像処理は、これに限定されるものではないが、画像内におけるナンバープレートの位置を自動的に検出すること、ナンバープレートの番号を含むサブ画像を提供すること、光学式文字認識（ＯＣＲ：optical character recognition）技法を用いてナンバープレートの番号を読み取ること、相関技法を用いてナンバープレート画像を照合すること、および他の画像処理方法を含む。ナンバープレート画像は、これに限定されるものではないが、相関を含んだ光学式文字認識技法および画像照合技法を含む技法によって自動的に処理することができる。

ビデオ例外プロセッサ（ＶＥＰ：video exception processor）によって行われるビデオ例外処理（video exception processing）は、ナンバープレート画像の位置を検出すること、サブ画像を提供すること、およびこのサブ画像からマニュアルによりナンバープレートの番号を読み取ることを含む。サブ画像は、ナンバープレートおよび最小の背景を含む画像の一部である。ナンバープレートの視野（ＦＯＶ：field of view）を含んだサブ画像は、ナンバープレートを光学的にズームインするハードウェア、もしくはオペレータの選択を用いるか、または、車両の先端部分もしくは後端部分のより幅広いＦＯＶ画像のソフトウェア画像処理によって提供することができる。登録されたプレート（トランスポンダ登録ナンバープレート番号ともいう）は、車両に関連したナンバープレートであり、料金を課金する目的で顧客アカウントに対して登録される。

ゴールデン部分（サブ）画像（golden sub-image）６６は、高い確率でナンバープレートの番号に正確に対応する、保存された履歴画像データアイテムである。このゴールデンサブ画像６６（検証画像ともいう）は、少なくとも２回の読み取りによって検証される。２回の読み取りは、１回はＯＣＲによる読み取りであり、１回はマニュアルによる読み取りであることが好ましい。一組のゴールデンサブ画像６６は、複数のナンバープレートの番号用に保持される。相関マッチングは、この技術分野で公知の画像処理技法を用いて、２つまたはそれ以上のサブ画像のパターンを自動的に比較するプロセスを含む。２つまたはそれ以上のサブ画像のパターンのうちの１つは、ゴールデンサブ画像６６の組からのものである。

非最終プレート読み取り（Non-Final Plate Read）は、プレートの番号が読み取られたものの、以前に読み取られたナンバープレートの番号が高い確率でエラーになると後に判断された場合に、当該プレートの番号が再読み取りの対象となり得ることを示す処理条件である。最終プレート読み取り（Final Plate Read）は、十分な確度で読み取られ、プレート画像の再読み取りはもはや必要とされないことを示す処理条件である。トランザクションは、料金ゲートウェイ、または、横切る車両の記録を取ることができる道路上の別のポイントを横切る車両の記録である。トリップは、個々の車両による有料道路上の完全な行路である。

トランザクションは、料金ゲートウェイ、またはそのポイントを横切る車両の記録を取ることができる道路上の他の路側デバイスを通過する車両の記録である。検出は、トランザクションまたは複数のトランザクションからなる群を処理し、複製のトランザクションおよび所定の不明瞭なトランザクションを選択除去するトリッププロセッサによって提供される。

ナンバープレートの番号の検証は、ＯＣＲによる読み取りまたは以前のマニュアルによる読み取りが正しいことを、ナンバープレート画像のマニュアルによる読み取りによって確認することを含む。必要な場合には、ＶＩＰを用いるか、または、プレート画像をマニュアルで読み取ることによってプレート画像を処理することにより、ＡＶＩ読み取りを確認することができる。

次に図１を参照して、有料道路用の自動道路料金収受および管理システム１００は、路側料金収受サブシステム１０と、トランザクションおよび料金処理（ＴＴＰ：transaction and toll processing subsystem）サブシステム１２とを含む。これらのサブシステム１０および１２は、例えばネットワーク３６を介して相互に接続されている。路側料金収受サブシステム１０は、複数の路側料金収受装置（ＲＴＣ：roadside toll collector）１４ａ〜１４ｎ（ＲＴＣ１４と総称する）を含む。それぞれのＲＴＣ１４は、複数のトラフィックプローブリーダ（ＴＰＲ：traffic probe reader）１６ａ〜１６ｍ（ＴＰＲ１６と総称する）、複数の執行ゲートウェイ１７ａ〜１７ｌ（執行ゲートウェイ１７と総称する）、および複数の料金ゲートウェイ（ＴＧ：toll gateway）１８ａ〜１８ｋ（ＴＧ１８と総称する）に結合されている。これらＴＰＲ１６、執行ゲートウェイ１７、およびＴＧ１８は、ネットワーク３６を介して相互に接続されている。ＴＰＲ１６、執行ゲートウェイ１７、およびＴＧ１８は、集合的に路側デバイスと呼ばれる。トランザクションおよび料金処理（ＴＴＰ）サブシステム１２は、画像サーバ３０に結合された複数のトランザクションプロセッサ２４ａ〜２４ｋ（トランザクションプロセッサ（ＴＰ：transaction processor）２４と総称する）、少なくとも１つの電子プレート読み取りビデオ画像プロセッサ（ＶＩＰ）２２ａ、手動プレート読み取りサブシステム２６（ビデオ例外プロセッサ（ＶＥＰ）２６ともいう）、料金プロセッサ２８、およびリアルタイム（実時間）執行プロセッサ３２を含む。システム１００は、オプションとして、付加的なＶＩＰ（ＶＩＰ２２ｎと示す）を含む。システム１００は、交通監視および報告サブシステム（ＴＭＳ：traffic monitoring and reporting subsystem））２０をさらに含む。このＴＭＳ２０は、ネットワーク３６を介して路側料金収受サブシステム１０およびＴＴＰ１２に接続されている。路側職員ステーション３４は、例えばラップトップコンピュータであり、無線ネットワーク３８を介してネットワーク３６に接続することができる。

「プロセッサ」、「プロセッササブシステム」または「サブシステム」と表記されるブロックは、コンピュータソフトウェアの複数の命令または複数の命令からなる群を表すことができる。ＲＴＣ１４の一部も、コンピュータソフトウェアの複数の命令を用いて実施することができる。このような処理は、例えば自動道路料金収受および管理システムの一部として提供することができる単一の処理装置によって実行することができる。

動作時において、ＲＴＣ１４は、車両が検出されると、トランザクションデータの収集を制御する。トランザクションは、画像およびトランザクションデータを含む。これら画像およびトランザクションデータは、ＴＴＰ１２に含まれる複数のトランザクションプロセッサ２４による処理のため、ネットワーク３６を介して送信される。トランザクションは、顧客の有料道路の走行に対して課金を行う料金プロセッサ２８へデータを提供するためにさらに処理される。料金プロセッサ２８は、車両が、少なくとも１つのトランザクションを含むトリップをいつ完了するかを判断する（これについては、図６と共に後にさらに詳細に説明する）。一実施の形態では、画像は画像サーバ３０に記憶される。ナンバープレート画像は、システム１００の全体に配信することができる。

車両は、例えば、道路上のＴＰＲ１６、執行ゲートウェイ１７またはＴＧ１８の１つを横切ると検出される。車両の検出後または検出と同時に、可能ならば、トランスポンダの読み取りが収集される。車両がトランスポンダを有していないか、トランスポンダが機能しないか、または、トランスポンダの使用の検証が必要とされる場合には、ビデオ画像が収集される。画像は、まずＲＴＣ１４によって処理され、次に、画像サーバ３０に送信される。画像は、ＯＣＲ技法または照合技法、例えば、以前に記憶された車両ナンバープレートの１つの検証された画像または複数の検証された画像を使用する相関を用いて、ＶＩＰプロセッサ２２の１つにより自動的に処理される。画像が自動的に処理できない場合には、人間のオペレータがＶＥＰプロセッサ２６を用いてマニュアルで画像を見て、プレートの番号を判断しなければならない。システム１００は、図４〜図７と共に以下に説明するように、マニュアルの操作回数の低減を試みる。リアルタイム執行プロセッサ３２は、法の執行問題に関連する情報を判断し、このような情報を法執行官（警察職員）に配信する。

ＴＭＳ２０は、インシデント検出システムを含む。このインシデント検出システムは、予測される期限切れのトランザクションを説明するために使用される情報を提供する。一実施の形態では、ＴＰＲは、主として、交通情報を収集するために使用される。この情報は、システム１００が、有料道路システムを走行する車両によって完了されるトリップを判断することを援助することができ、したがって、マニュアルで読み取られるナンバープレート画像の数を削減することをさらに援助することができる。インシデント検出システムは、２００１年３月１４日に出願された「Predictive Automatic Incident Detection Using Automatic Vehicle Identification」という発明の名称の米国特許出願第０９／８０５，８４９号に説明されたタイプのものとすることができる。上記特許出願は、本発明の譲受人に譲渡されており、参照により本明細書に援用される。

次に図２を参照して、図２において、同様の参照番号は、図１と同様の要素を示しており、例示的な路側料金収受サブシステム１０の構成のブロック図が示されている。路側料金収受サブシステム１０は、複数のＲＴＣ１４を含む。それぞれのＲＴＣ１４は、路側設備を制御する。この路側設備は、道路に沿って既知の間隔で配置された複数のＴＰＲ１６、道路に沿って既知の位置に配置された複数のＴＧ１８、および道路に沿って既知の固定位置に配置された複数の執行ゲートウェイ１７を含む。執行ゲートウェイ１７は通常、１次料金徴収が、例えばプリペイドパスまたは全地球測位衛星（ＧＰＳ）のような別の技術を用いて行われるときに使用される。代替的な実施の形態では、執行ゲートウェイ１７は、可動式であって、道路内に配置され、対応するＲＴＣ１４と例えば無線で通信する。それぞれのＲＴＣ１４は、可変数のＴＰＲ１６、ＴＧ１８、および執行ゲートウェイ１７を制御し、それらは通常、制御を行うＲＴＣ１４に比較的近い場所に位置する。

一実施の形態では、ＴＰＲ１６、執行ゲートウェイ１７およびＴＧ１８はそれぞれ、自動車両識別（ＡＶＩ）リーダ４０、およびビデオカメラ４６を含み、オプションとして、複数の視点からの車両の画像、例えば車両の前端を画像化するための複数のビデオカメラ４６’を含むことができる。ＴＰＲ１６、執行ゲートウェイ１７およびＴＧ１８は、制御を行うＲＴＣ１４に直接接続されるか、または、ネットワーク３６を介して接続することができる。ＴＧ１８および執行ゲートウェイ１７は、付加センサに結合される。付加センサは、これに限定されるものではないが、誘導ループセンサ４２、およびビームセンサ４８を含む。誘導ループセンサ４２は、車両の存在を検出するために提供される。例えばレーザビームのビームセンサ４８は、分類の目的で車両の高さおよび幅を検出するために提供される。ＲＴＣ１４は、オプションとして、画像サーバ３０（図１）に送信するために画像を圧縮することができる。ナンバープレート画像を取り込んで処理するために、例えばディジタルカメラのような他の画像取り込みデバイスを使用することができ、また、車両の検出および分類のために、これに限定されるものではないが、光センサ、レーザビーム、赤外線ビーム、熱センサ、およびレーダを含む他のセンサを使用できることが、当業者には理解されるであろう。自動道路料金収受および管理システム１００においてデータを収集するために、ＲＴＣ１４、ならびに関連するＴＰＲ１６、執行ゲートウェイ１７、およびＴＧ１８について、様々な構成が可能であることが理解されるべきであり、また、ＲＴＣ１４によって収集されるデータを、ＴＰＲ１６、執行ゲートウェイ１７、およびＴＧ１８から転送するために、様々なネットワーク構成およびデータ送信プロトコルを使用できることが理解されるべきである。

路側料金収受サブシステム１０およびＡＶＩリーダ４０は、数タイプのトランスポンダと共に動作することができる。数タイプのトランスポンダは、これに限定されるものではないが、時分割多重接続方式（ＴＤＭＡ）トランスポンダ規格ＡＳＴＭ Ｖ．６／ＰＳ１１１−９８、ＣＥＮ ２７８規格、またはＣａｌｔｒａｎｓ Ｔｉｔｌｅ ２１規格の下で動作するトランスポンダを含む。ＴＧ１８、執行ゲートウェイ１７およびＴＰＲ１６はそれぞれ、それぞれのトランスポンダ１６に割り当てられた固有のＩＤを読み取ることができるＡＶＩリーダ４０を含む。インシデント検出システム１００は、様々なトランスポンダおよびＡＶＩリーダ４０を使用できることが理解されるべきである。

動作中、ＲＴＣ１４は、ＴＰＲ１６、執行ゲートウェイ１７およびＴＧ１８と共に、固有のトランスポンダ識別コード（ＩＤ）を有するトランスポンダを含んだそれぞれの車両を個別に識別することができる。本明細書で説明される新規のアプローチは、利用可能なＡＶＩデータを、従来システムで既に検討されたものよりも多く利用して、例えば、複数のトランザクション４４を含むトリップを形成する。ＡＶＩ情報が疑わしい場合、例えば車両内ユニット（ＩＶＵ：In-Vehicle Unit）、すなわち実際のトランスポンダが盗難されたとの報告があった場合、ＡＶＩ情報は、トリップを連鎖させるためには使用されない。システム１００の代替的な実施の形態は、システム１００の構成および課金ポリシーに従って、「疑わしい」ＡＶＩトランザクションの様々な判断基準を含むことができる。

一実施の形態では、路側設備のＴＰＲ１６およびＴＧ１８は、それぞれのトランスポンダ（図示せず）のデータを処理して、次の情報を求める。この情報は、これらに限定されるものではないが、（ｉ）指定されたトランスポンダが、予測された走行方向の検出場所を横切った高い確度の表示、（ｉｉ）協定世界時（ＵＴＣ：universal coordinated time）での検出日時、（ｉｉｉ）前の検出から現在の検出までの時間差、（ｉｖ）前の検出場所（この情報はトランスポンダのメモリに記憶されている）、（ｖ）登録されている車両分類、（ｖｉ）ＴＧ１８において収集される瞬間車両速度、（ｖｉｉ）ＴＧ１８においてのみ収集され、通常、オーバヘッドセンサによって検出される、道路の全幅に対する車両の占有率の評価値、および（ｖｉｉｉ）測定された車両の分類（一般にＴＧ１８においてのみ）を含む。一実施の形態では、システム１００は、単一の時間帯の基準とされる協定世界時（ＵＴＣ）を用いて動作する。道路区分走行時間は、道路区分（図示せず）の開始点および終了点における車両検出時刻間の時間差であり、±１秒内の精度である。さらに、ＴＧ１８は、外挿可能な非ＡＶＩ車両の総数、速度、および占有率を求め、ＴＰＲ１６によって生成されたＡＶＩデータを補強することができる。交通監視および報告サブシステム（ＴＭＳ）２０が、従来の料金所の代わりに一般道路の自動車両識別料金徴収と共に使用可能であること、および、システム１００が、いかなる特定の料金収受方法または道路構成にも限定されないことは、理解されるべきである。車両の分類が、トランスポンダに割り当てられた分類と整合しない場合、システム１００は、プレートの画像を取り込み、「クラス不一致」であるという矛盾を判断する。その場合、高額の罰金が道路事業者によって科せられることがあるので、プレートは、違反が起こったことを検証するために、高度な正確さで読み取られなければならない。システム１００は、例えば自動車局（ＤＭＶ：department of motor vehicles）のような車両分類の信頼されたデータベースを使用する。この技法は、プレートの交換には効果がなく、プレートの交換は、警察の問題とみなされる。一実施の形態では、１ヵ月につき１つの罰金のみが科せられるので、システム１００は、いくつかの余分な画像を前もって廃棄し、ＶＩＰ２２およびＶＥＰ２６の作業負荷を軽減する。別の実施の形態では、システムは、車両の後部画像または側面画像を用いて、マニュアルにより、および／または自動的に分類を検証する。

ある特定の実施の形態では、執行ゲートウェイ１７は、車両が料金を前払いしていること、車両が事前の取り決め（例えば１日パス）に従って走行していること、または、車両が道路または事前に決められた料金もしくは取り決めに対して適切な分類（乗用車、トラックなど）であることを検証する。こうした状況では、オペレータまたはＤＭＶの記録と照合するために、車両ナンバープレートを確実に読み取る必要がある。

ＡＶＩデータの有効性を検証し、トランスポンダを装備していない車両を識別するために、ＡＶＩトランスポンダのデータに加えて、ナンバープレート画像が、すべての非ＡＶＩ車両、例外リストにあるＡＶＩ車両、および分類不一致の可能性があるものとして検出されるＡＶＩ車両について取得される。一意に識別されるデータ、例えば車両に関連するデータ、ならびに測定された車両分類およびナンバープレート画像データなどの他のデータは、通常、データネットワーク３６を介して送信される。このデータネットワーク３６は、光ファイバ、無線伝送、または有線伝送路を含むことができる。それぞれのＲＴＣ１４は、複数のＴＧ１８、複数のＴＰＲ１６、および複数の執行ゲートウェイ１７と結合されている。ＲＴＣ、ＴＰＲ１６、執行ゲートウェイ１７およびＴＧ１８は、収集されたデータを送受信するために無線通信によって相互接続可能であることが、当業者には理解されるであろう。

政府機関の中には、後部のナンバープレートに加えて前部のナンバープレートを必要とするものがある。前部のナンバープレートは、車両の前部の画像を取り込むように配置された１つまたは複数のカメラによって記録することができる。前部の画像化は、政府規制により必要な場合には、後部の画像化と組み合わされる。代替的な一実施の形態では、前部の画像化は、後部の画像化なしに使用される。

次に図３Ａを参照して、ＶＩＰプロセッサ２２は、電子プレート読み取りプロセッサ（ＥＰＲ）５２に結合されたＯＣＲプロセッサ５４および相関プロセッサ５６を含む。ＥＰＲ５２は、複数のリクエストおよび複数のゴールデンサブ画像６６ａ〜６６ｎ（図７と共に後述）（ゴールデンサブ画像６６と総称する）のそれぞれに対するナンバープレート画像６５を受信し、ＶＩＰナンバープレート番号６４を提供する。

動作中、ＥＰＲ５２は、ＴＰ２４ａ〜２４ｋから、トランザクションデータおよび対応する画像を含む複数のリクエストを受信する。トランザクションデータは、例えば、トランザクションのタイムスタンプに基づいてタスクの優先順位を決定するために使用される。ＥＰＲ５２は、トランザクション４４およびナンバープレート画像を、ＯＣＲプロセッサ５４または相関プロセッサ５６のいずれかに送る。所定のリクエストに応答して、この画像は、ＯＣＲプロセッサ５４、相関プロセッサ５６またはプロセッサ５４および５６の双方によって自動的に処理される。この処理は、ナンバープレート画像のＯＣＲ、および、画像サーバ３０（図１）に記憶されたゴールデンサブ画像６６との相関を含む。ＯＣＲおよび相関処理の結果、ＥＰＲ５２は、ナンバープレート画像の処理後のＶＩＰナンバープレート番号６４を提供する。

一実施の形態では、個々のＶＩＰプロセッサ２２は、複数のディジタル信号プロセッサ（ＤＳＰ）を含む。一実施の形態では、ＶＩＰが求めた「特徴データ」は、それぞれのゴールデンサブ画像とともに保存される。特徴データは、処理されたバイナリデータのストリームであり、照合処理を高速化しようとする次の照合の試行のために、記憶され、取り出され、かつＶＩＰに供給される。この機構によって、ＶＩＰプロセッサ２２は、サブ画像を、検証された画像と相関させるために必要な画像処理ステップ数を削減する。代替的な実施の形態では、他のプレート相関プロセッサ５６が、照合処理を高速化するために特徴データを保存してもよいし、あるいは保存しなくてもよい。

一実施の形態では、ＥＰＲ５２のタスクは、ＴＰ２４および料金プロセッサ２８上で実施される。ＥＰＲ５２は、複数のＴＰ２４ａ〜２４ｋ上、料金プロセッサ２８上、およびＶＩＰ２２の別個のプロセッサ上で実行される分散処理タスクを含み得ることが、当業者には理解されるであろう。

次に図３Ｂを参照して、ＶＥＰプロセッサ２６は、手動プレート読み取りプロセッサ（ＭＰＲ）５８に結合された複数の手動プレート読み取りＶＥＰワークステーション６０ａ〜６０ｍを含む。ＶＥＰワークステーション６０ａ〜６０ｍは、それぞれのＭＰＲモニタ６２ａ〜６２ｍに結合されている。ＭＰＲ５８は、それぞれの検証リクエストに対するナンバープレート画像６５を受信する。ＶＥＰワークステーション６０およびＭＰＲ５８は、ネットワーク３６（図１）に結合され、ＴＰ２４（図１）または料金プロセッサ２８（図１）からのリクエストを処理し、複数のＶＥＰナンバープレート番号６８ａ〜６８ｎ（ＶＥＰプレート番号６８と総称する）を提供し、かつ、相関プロセッサ５６と共に使用される複数のゴールデンサブ画像６６ａ〜６６ｎを提供する。

ＭＰＲプロセッサは、ＶＥＰワークステーション６０にタスクを割り当て、その結果を処理する。ナンバープレート画像の読み取りリクエストを受信した後、ワークステーション６０は、処理対象となる画像を取り出し、表示する。オペレータは、それぞれのＶＥＰワークステーション６０のＭＰＲモニタ６２に表示されているナンバープレートの番号を見て、画像を読み取ることができるならば、ＶＥＰプレート番号６８を入力する。画像の可読性が低い場合、画像は、異なるオペレータによって複数回読み取られ、システム１００は、これら異なる読み取りの間で何らかの一致があるかどうかを判断する（これについては、図５Ａ〜図５Ｂと共に以下でさらに詳細に説明する）。一実施の形態では、ＭＰＲプロセッサ５８のタスクは、料金プロセッサ２８上で実施される。ＭＰＲプロセッサ５８は、複数のＴＰ２４ａ〜２４ｋ上、料金プロセッサ２８上、およびＶＥＰ２６の別個のプロセッサ上で実行される分散処理タスクを含み得ることが、当業者には理解されるであろう。

次に図４〜図７を参照して、フローチャートは、ナンバープレートの読み取りを含む、トランザクション４４（図２）を処理するステップを示している。ナンバープレートの読み取りエラーの削減は、エラーの削減を達成するために、相関プロセッサ（図４および図７と共に説明される）を用いて、一組の検証された画像（ゴールデン画像、ゴールデンサブ画像６６、および履歴プレート画像ともいう）を保持および適用するプロセスと、現車両に関連した情報を検討することによって実質的な運用コストの追加を招くことなくプレートの読み取りエラーを最小にするために、どのプレート画像がオペレータによって読み取り／再読み取りされるべきかを選択するプロセスとを組み合わせることによって得られる。自動道路料金収受および管理システム１００は、これに限定されるものではないが、トランザクション形成、プレート読み取り、トリップ形成、課金および違反処理を含んだ機能を含む。これらの機能は、図４〜図７に関連して以下に説明する。

図４〜図７のフローチャートにおいて、長方形の要素は、本明細書では、「処理ブロック」（図４の要素２００によって象徴される）として示され、コンピュータソフトウェアの複数の命令または複数の命令からなる群を表す。フローチャートのダイヤモンド形の要素は、本明細書では、「判定ブロック」（図４の要素２０４によって象徴される）として示され、処理ブロックの動作に影響を与えるコンピュータソフトウェアの複数の命令または複数の命令からなる群を表す。あるいは、処理ブロックは、例えばディジタル信号プロセッサ回路または特定用途向け集積回路（ＡＳＩＣ）のような機能的に等価な回路によって実行されるステップを表す。フローチャートに示されるステップのうちのいくつかは、コンピュータソフトウェアを介して実施できる一方、それ以外のものは、異なる形式（例えば経験的な手順を介して）で実施できることが、当業者には理解されるであろう。これらフローチャートは、どの特定のプログラミング言語のシンタックス（構文）も示すものでない。むしろ、フローチャートは、必要とされる処理を実行するコンピュータソフトウェアを生成するために使用される機能的な情報を示している。例えばループおよび変数の初期化ならびに一時変数の使用のような多くのルーチンプログラム要素は、示されていないことに留意すべきである。本明細書に別段の指定がない限り、示されるステップの特定の順序は、例示にすぎず、本発明の精神から逸脱しないで変更可能であることは、当業者には理解されるであろう。

次に図４を参照して、フローチャートは、車両トランザクション４４（図２）の処理を示している。処理は、ステップ２００において、ＲＴＣ１４または他のトランザクション収集ゲートウェイの１つでトランザクション４４を取り込むこと（捕捉）によって開始される。トランザクション４４は、ＲＴＣ１４の場所、協定世界時によるタイムスタンプ、利用可能ならばナンバープレートの画像、および利用可能ならば車両のトランスポンダＩＤを含むことが好ましい。処理は、ステップ２０２に続く。

ステップ２０２では、トランザクション４４が、トランザクションおよび料金処理サブシステムＴＴＰ１２（図１）で受信される。トランザクション４４は、１つまたは複数のトランザクションプロセッサ２４に配信される。処理は、ステップ２０４に続く。

ステップ２０４では、車両ナンバープレートのビデオ画像が、処理対象の現トランザクション４４にとって利用可能であるかどうかが判断される。例えば、トランスポンダの読み取りが利用可能でなかったか、トランスポンダの紛失もしくは盗難の報告があったか、トランスポンダＩＤおよび関連する顧客／車両ＩＤ番号が、例外リストにあるか、または、付加的な顧客特有の理由のため道路事業者によって必要とされるとの理由により、ナンバープレート画像が取り込まれる場合には、ビデオは利用可能である。一実施の形態では、ＲＴＣ１４および路側料金収受サブシステム１０（図１）が、ナンバープレート画像が必要とされる場合、および、その画像が取り込まれて、その後の自動的なまたはマニュアルによる処理に利用可能となる場合を判断する。ＲＴＣ１４は、例えば、トランスポンダ信号が存在しないことを検出することによるか、車両クラス不一致を検出することによるか、検出されたトランスポンダが例外リストに存在すると判断することによるか、または、ランダムな監査もしくは保守要求に応じて、画像が必要とされると判断する。トランスポンダ信号が存在しない状態は、例えば、トランスポンダの故障、ＡＶＩ設備の故障、またはＡＶＩ設備の保守によって引き起こされる。例外リストは、紛失した、盗難された、監査対象のすべてのトランスポンダ、または付加的な顧客特有の理由のため道路事業者によって必要とされるすべてのトランスポンダを追跡するためのメカニズムである。監査は、顧客監査およびシステム性能監査を含む。顧客監査では、ランダムなトランスポンダが例外リストに掲載され、それらのプレート番号は、画像を用い、かつ、プレート番号が、関連した登録済みプレート番号と同じであることを検証することにより取り込まれる。システム性能監査では、ＯＣＲ、相関または前のマニュアルによる読み取りが正しかったことを検証するために、画像が、マニュアルで読み取られるか、または、再読み取りされる。システム性能監査は、システム１００の信頼性を増大させる。ＲＴＣ１４は、画像取り込みのローカルな判定を行うことができるか、または、判断を行うために他のサブシステムもしくはプロセッサと通信することができる。他のサブシステムまたはプロセッサは、プレート画像が必要とされる場合を判断できること、および、ＲＴＣ１４は、車両が検出されるごとに、プレート画像の取り込みを試行できることが、当業者には理解されるであろう。ビデオが利用可能でない場合には、処理はステップ２２６に続き、現トランザクション４４がトリップの一部であるかどうかが判断される。ビデオ画像が利用可能な場合には、処理はステップ２０６に続く。

ステップ２０６では、クラス不一致が存在するかどうかが判断される。クラス、すなわち分類は、例えば、オートバイ、乗用車、小型トラック、牽引トレーラ、マルチトレーラトラックといった車両タイプを表す。一実施の形態では、クラス不一致は、車両内ユニット（ＩＶＵ）に割り当てられたクラス、例えば実際のトランスポンダを、路側デバイスからの測定されたクラスと比較することにより検出される。クラス不一致が発生し、かつ、その車両が例外リストに存在しない場合には、処理はステップ２０８に続く。そうでない場合には、処理はステップ２１０に続く。例外リストは、ＩＶＵトランスポンダの読み取りが車両のナンバープレートと整合することを検証するために、ビデオ画像が必要とされるＩＶＵのリストを含む。このリストは、例えば、ＩＶＵが盗難された場合またはＩＶＵに関連する顧客への郵便物が返送された場合に使用される。

ステップ２０８では、クラス不一致の結果として取り込まれたビデオが処理される。路側デバイスが車両を検出した時に、ＲＴＣデバイスが機能低下の状態にあったか、または、保守を受けていたことを、故障／保守ステータスが示すかどうかが判断され、したがって、クラス不一致の確度が低いかどうか、および、ビデオが廃棄されるべきかどうかが判断される。さらに、クラス不一致の確度が高いビデオが廃棄されるべきかどうかが判断される。この廃棄は、場合によっては、追加収益が、繰り返される分類違反からほとんどまたは全く発生しないことから、システムの負荷を軽減するために行われる。一実施の形態では、調整可能パラメータが、クラス不一致の確度が高い画像のうちの何割を廃棄すべきかを示す。あるいは、ビデオ画像を廃棄する判定は、それぞれの顧客アカウントについての実際の違反履歴に基づく。画像を廃棄するための最適なプロセスは、所定の道路を管理する運営手順に依存する。不要な違反画像を廃棄することにより、ＶＩＰプロセッサ２２およびＶＥＰプロセッサ２６の負荷が軽減され、マニュアルによる読み取り回数が低減される。故障または保守作業が発生している場合、または、ビデオ画像の廃棄が選択されている場合には、ビデオ画像は、ステップ２２０で廃棄され、そうでない場合には、処理は、ステップ２１０に続く。

ステップ２１０では、ビデオ画像プロセッサＶＩＰが、好ましくは、光学式文字認識（ＯＣＲ）を用いてナンバープレート画像を処理し、プレート画像を英数字のプレート番号に変換する。このＯＣＲプロセスは、認識プロセスの正確さを示す読み取り確度値を生成する。ＶＩＰサブシステム２２（図１）によって自動的に読み取られたプレート番号は、ＶＩＰプレート番号６４（図３Ａ）と呼ばれる。処理は、ステップ２１２に続く。

ステップ２１２では、ＶＩＰナンバープレート番号が、トランスポンダＩＤが利用可能であるならば、トランスポンダＩＤと共に登録されているナンバープレート番号と同一であるかどうかが判断される。登録されているプレート番号が、利用可能でないか、または、ＶＩＰナンバープレート番号と整合しない場合には、処理は、ステップ２１４に続き、それ以外の場合には、プレート読み取りは、ステップ２１６で最終とみなされる。

ステップ２１４では、読み取り確度値が、予め定められた最小ＯＣＲ閾値と比較される。読み取り確度値が、予め定められた最小ＯＣＲ閾値以上である場合には、処理は、ステップ２２２に続く。読み取り確度値が、予め定められた最小ＯＣＲ閾値未満である場合には、処理は、ステップ２３８に続き、マニュアルでプレート画像が読み取られる。

ステップ２１６では、プレート読み取りが、最終としてマークを付けられ、ＶＩＰのプレート番号の読み取りは、最終プレート読み取りとみなされる。そして、ＶＩＰプレート番号は、料金トランザクションプロセッサによりプレート番号として処理される。そして、処理はステップ２１８に続く。

ステップ２１８では、車両が「違反常習者」として指定されている場合、リアルタイムの執行が影響を受ける。プレートの文字は、法の執行措置の対象となる違反者の予め定められたリストと比較される。この予め定められたリストを決定する判断基準は、それぞれの道路を管理する法律に従って変化する。一実施の形態では、常習的に料金を支払うことなく道路を使用している顧客のみが、執行の対象となる。プレートの文字が違反者のリスト上で発見されると、警報が、対応可能なすべての警察官に即座に送信される。警報は、警察官に自動的に表示され、違反者が検出された時刻および場所、ならびに、その違反者が違反者リストに加えられた時の前の画像から検証される車両の内容を表示する。この情報を用いて、最も近い警察官が、違反者がまだ道路にいる間に、違反者を取り押さえる。違反者が、取り押さえられる前に、さらに別のゲートウェイを横切った場合には、更新された報告が警察官に送信され、より正確な車両の場所を警察官に与える。処理は、ステップ２２６に続く。

ステップ２２０では、現トランザクション４４についてのプレート画像が廃棄される。そして、処理は、トランザクション４４のＡＶＩ部分を使用するトリップ処理ステップ２２６（図６）を続ける。

ステップ２２２では、車両が「違反常習者」として指定されている場合、リアルタイムの執行が、ステップ２１８と同様に作用する。そして、処理はステップ２２８に続く。
ステップ２２４では、処理が、あらゆる最終または非最終のプレート読み取り動作から戻ってくる。そして、処理は、ステップ２２６に続き、現トランザクション４４が、他のトランザクションと連鎖されて、トリップを形成できるかどうかが判断される。

ステップ２２６において、処理は、トリップ処理（図６と共に説明される）を続ける。トリップ決定のプロセスは、２００２年１月ｘｘ日に出願された「Vehicle Trip Determination System And Method」という発明の名称の米国特許出願第１０／ 号に説明されているタイプのものとすることができる。この特許出願は、本発明の譲受人に譲渡されており、参照により本明細書に援用される。

ステップ２２７の処理は、トリップ処理後に検証されたプレート読み取りが要求された場合に続く。そして、処理は、ステップ２３８に続く。トランザクション４４は、ステップ２２４に到達する前に１度だけステップ２２７を巡って、ステップ２３８へ向かう。

ステップ２２８において、トランスポンダＩＤまたはＶＩＰナンバープレート番号によって識別された車両に、ＶＥＰによる読み取りを強制するフラグが立てられている場合には、処理は、ステップ２３８に続き、マニュアルによるプレート画像の読み取りを行わせる。そうでない場合には、処理はステップ２３０に続く。

ステップ２３０において、１つまたは複数のゴールデンサブ画像６６が、ＶＩＰによる番号の照合に利用可能である場合には、処理はステップ２４４に続く。そうでない場合には、処理はステップ２３２に続き、可能性のある（候補としての）ゴールデンサブ画像６６をチェックし、検証された画像の組を更新する。

ステップ２３２では、ゴールデンサブ画像の候補が存在するかどうかが判断される。ゴールデンサブ画像６６の候補リストは、ステップ２３６で構築される。ゴールデンサブ画像６６の候補リストは、図５Ａ〜図５Ｂの処理ステップが完了すると、消去される（図示せず）。ゴールデンサブ画像６６の候補が存在すると判断された場合には、処理はステップ２３４に続き、そうでない場合には、処理はステップ２３６に続く。

ステップ２３４では、予め定められた時間の遅延が設けられる。例えば、システムは、ゴールデンサブ画像６６が利用可能になったかどうかを判断するために、約１時間の間、処理を延期することができる。

ステップ２３８において、処理は、（図５Ａ〜図５Ｂと共に説明するように）プレート画像がＶＥＰプロセッサを用いて読み取られる処理を続ける。このステップは、ナンバープレート画像の最初のマニュアルによる読み取りの際に到達するか、または、トリップ処理（ステップ２２６）が、プレートの読み取りの検証を要求する場合に到達する。ＶＥＰプロセスがプレート画像を読み取ることができないと判断された場合には、処理はステップ２３９に続く。ＶＥＰプロセスがプレート画像を読み取ることができると判断された場合には、処理はステップ２２４に続く。

ステップ２３９では、マニュアルで読み取ることができるプレートが存在しないと判断された後に、利用可能なＡＶＩデータが存在するかどうかが判断される。ステップ２３９では、ＶＩＰ２２（ＯＣＲまたは相関マッチング）によって戻されたプレート番号が存在したかもしれないし、存在しなかったかもしれない。前のトランスポンダの読み取りから利用可能なＡＶＩデータが存在する場合には、処理はステップ２４１に続き、そうでない場合には、処理はステップ２４０に続く。

ステップ２４０では、トランザクション４４が、読み取り不能であるとして送られ、処理はステップ２４２に続く。一実施の形態では、トランザクション４４は、監査の目的で課金システムに送られる。

ステップ２４１では、現トランザクション４４についてのプレート画像が廃棄され、処理は、トランザクション４４のＡＶＩ部分を用いるトリップ処理ステップ２２６（図６）を続ける。

ステップ２４２において、現トランザクション４４に対する処理は終了する。
ステップ２４４では、読み取り確度値が、予め定められた高いＯＣＲ閾値と比較される。読み取り確度値が、予め定められた高いＯＣＲ閾値以上である場合には、処理はステップ２５０に続き、ステップ２５０において、ＶＩＰ読み取りプレート番号６４が、非最終プレート読み取りとみなされる。読み取り確度値が、予め定められた高いＯＣＲ閾値未満である場合には、処理はステップ２４６に続き、ゴールデンサブ画像６６（図３Ａ）との照合を実行する。ゴールデンサブ画像６６は、既知のナンバープレート番号に対応する、検証されたナンバープレート画像である。

ステップ２４６では、ビデオ画像プロセッサ（ＶＩＰ）が、好ましくは画像相関を用いてナンバープレート画像を処理し、参照されるＶＩＰ読み取りプレート番号と関連する、前もって記憶されたゴールデンサブ画像（または複数のゴールデンサブ画像）と、ナンバープレート画像を照合する。例えばＰＵＬＮｉＸ Ａｍｅｒｉｃａ社のモデル番号：ＶＩＰ Ｃｏｍｐｕｔｅｒ、品番：１０−４０１６のような市販のパターン照合装置（pattern matcher）が、一組の前もって記憶されたゴールデンサブ画像６６の１つとナンバープレート画像を照合するために使用されることが好ましい。変化する環境条件の下で、より良い性能を達成するために、ＶＩＰは、複数のゴールデンサブ画像６６に対して照合を試み、検出された最も高い確度を使用する。ゴールデンサブ画像交換技法（図７と共に詳述）は、画像照合を効率的に用いて、エラー率を低減し、かつ、マニュアルによる読み取り回数を最小にするための重要な特徴である。このステップは、処理される画像のＯＣＲのチェックを提供する。したがって、このステップにより、誤った課金情報が顧客アカウントに計上される前に、ＯＣＲエラーが検出され、ＶＥＰによって解決されるので、ナンバープレート読み取りエラー率は低減する。一組の検証された画像を、照合目的の使用に提供するために、他の技法を使用できること、および、他のパターン照合技法を使用できることは、当業者に理解されるであろう。相関プロセスは、相関プロセスの正確さを示す整合確度値を生成する。処理は、ステップ２４８に続く。

ステップ２４８では、ステップ２４６で得られた最も高い整合確度値が、予め定められたシステム整合閾値と比較される。最も高い整合確度値が、予め定められたシステム整合閾値以上である場合には、処理はステップ２５０に続き、ステップ２５０において、ＶＩＰ読み取りプレート番号が、非最終プレート読み取りとみなされる。最も高い整合確度値が、予め定められたシステム整合閾値未満である場合には、処理はステップ２３８に続き、ステップ２３８において、プレート画像は、マニュアルにより読み取られる。

ステップ２５０では、ＶＩＰ読み取りプレート番号が、非最終プレート読み取りとみなされ、正確なナンバープレート番号を得るために追加の試行が行われる。そして、処理は、ステップ２２６に続き、現トランザクション４４がトリップの一部であるかどうかを判断する。このチェックは、最初のマニュアルによる読み取りが要求される前に実行される。ステップ２２６のトリップ処理は、最初のマニュアルによるプレートの読み取りを省略することができる。特に、ステップ２１６および２５０で処理された画像は、ステップ２３８の最初のマニュアルによる読み取りをバイパス（回避）し、トリップ処理を通じて最初に処理される。

次に図５Ａ〜図５Ｂを参照して、フローチャートは、ナンバープレート画像のマニュアルによる読み取りまたは再読み取りのステップを示している。プレート画像のＶＥＰ処理は、ステップ２６０で開始される。ＶＥＰ処理の結果として、ステップ３２８に示すように、新しいゴールデンサブ画像６６が生成され得る。いくつかのプレート画像に対して、数回のマニュアルによる読み取りが必要とされ、ステップ２９８、３００、３０８、３１８、３２０、および３２２と共に説明するように、投票アプローチが使用される。相関、すなわちゴールデンサブ画像６６との照合は、ステップ２９０、２９２、３０６、３１６、および３２４と共に説明するように、ＶＥＰ処理で使用され、マニュアルによる読み取り回数をさらに低減させる。

ステップ２６２では、前のＶＩＰまたはＶＥＰの読み取りステップからのサブ画像が、読み取り用に利用可能であるかどうかが判断される。サブ画像が、ナンバープレート画像６５内で前もって発見されている場合には、処理はステップ２７６に続く。そうでない場合には、処理はステップ２６４に続き、サブ画像を提供する。

ステップ２６４では、トランザクション４４の時刻にＲＴＣ１４によって取り込まれたオリジナルのナンバープレート画像６５（図２）から、サブ画像がマニュアルにより切り取られる。このサブ画像は、情報を失うことなく視野（ＦＯＶ）を縮小し、かつ、画像の記憶要件を削減するために、ナンバープレート画像６５の約２パーセントまで削減することができる。一実施の形態では、全画像が、高圧縮によって記憶される一方、ナンバープレートの画像を含むサブ画像は、圧縮されずに記憶されるか、または、低損失の技法によって圧縮されて記憶される。この記憶方法により、サブ画像のみをズームして強調することができ、マニュアルによる読み取りの正確さが改善される。処理は、ステップ２６６に続く。

ステップ２６６において、サブ画像が発見されたと判断された場合には、プレートは、ステップ２７６において、オペレータによるマニュアルで読み取られる。そうでない場合には、処理はステップ２６８に続く。

ステップ２６８において、プレート無し検証条件が有効である場合には、処理はステップ２７０に続く。そうでない場合には、ＶＥＰ処理は、読み取り可能なプレートが存在しない状態で、ステップ２７２で終了する。プレート無し検証は、道路事業者の現在の営業政策に従って設定される切り換え可能な処理条件である。プレート無し検証条件を選択することにより、エラーの低減とより高いオペレータの仕事負荷とのトレードオフが行われる。

ステップ２７０において、ナンバープレート画像からナンバープレート番号のサブ画像をマニュアルで切り取る試行が２回またはそれ以上行われている場合、すなわち、ステップ２６４でのマニュアルによる切り取りが２回行われている場合には、処理はステップ２７２で終了する。そうでない場合には、プレート画像処理は、もう一度マニュアルによるサブ画像の切り取りを試行する。処理は、ステップ２６４において、異なる見解（判断）を持ち得るか、または、少なくとも読み取りエラーをしないであろう異なるオペレータに回されて、２回目のマニュアルによる読み取りの試行を続ける。

ステップ２７２では、現トランザクション４４が、マニュアルによる読み取り可能なプレートを含まないとの判断がなされている。この判断は、例えば、車両にプレートがないか、または、検出センサが車両以外の物体によってトリガされた場合になされる。ＶＥＰ２６（図３Ｂ）は、この判断をステップ２３９（図４）に戻す。ステップ２７２で処理されたトランザクション４４は、トリップに連鎖されるプレート番号が存在しないので、（利用可能なＡＶＩデータも存在しない限り）トリップ処理に進まない。

ステップ２７６では、オペレータは、ＶＥＰ２６を用いてマニュアルでプレートの読み取りを試行する。一実施の形態では、複数のＶＥＰオペレータが、ＶＥＰワークステーションで画像を読み取り、図５Ａ〜図５Ｂに示されるマニュアルのステップを実行する。オペレータは、まず、ステップ２７８で、プレートが読み取り可能かどうかについての判断を行う。

ステップ２７８において、プレート画像が読み取り可能である場合には、処理はステップ３０２に続く。そうでない場合には、処理はステップ２８０に続く。オペレータによって読み取られたプレート番号は、ＶＥＰプレート番号６８（図３Ｂ）と呼ばれる。

ステップ２８０において、サブ画像がプレート番号を含まない場合には、処理はステップ２７０に続き、そうでない場合には、処理はステップ２８２に続く。
ステップ２８２において、読み取り不能プレート検証条件が有効である場合には、処理はステップ２８４に続き、そうでない場合には、処理はステップ２７２で終了する。読み取り不能プレート検証条件は、道路事業者の現在の営業規則に従って設定される切り換え可能な処理条件である。この条件を選択することにより、エラーの低減とより高いオペレータの仕事負荷とのトレードオフが行われる。この条件は、所定の動作条件下でマニュアルによる読み取り回数を最小にするために使用される。

ステップ２８４において、ナンバープレート番号のサブ画像をマニュアルで読み取る試行が２回またはそれ以上行われる場合、すなわちステップ２７０の処理を行うことなく、ステップ２７６でのマニュアルによる読み取りが２回行われている場合には、ＶＥＰ処理はステップ２７２で終了する。そうでない場合には、同じサブ画像は、ステップ２７６において、異なるオペレータに送られて読み取られる。

ステップ３０２において、最終のサブ画像用に、マニュアルによる２回の良好な読み取りが行われている場合、すなわち、ステップ２７０の処理を行うことなく、ステップ２７６でマニュアルによる２回の読み取りが行われている場合には、処理はステップ２９８に続く。そうでない場合には、処理はステップ３１４に続く。マニュアルによる２回の読み取りは、例えば、シングルゲートウェイビデオトリップのマニュアルによる最初の読み取りが検証を必要とする場合、または、前のマニュアルによる読み取りに続いて、ステップ３０４、３１０および２９０から起因する２回目の読み取りを行う場合に行われる。

ステップ２９８では、２回のマニュアルによる読み取りが比較される。２回のマニュアルによる読み取りが異なる場合には、プレートは、ステップ３１８において、最初の２回の読み取りとは異なるオペレータを用いてマニュアルで読み取られる。そうでない場合には、プレートの読み取りは、ステップ３００において、現トランザクション４４に対して最終とみなされる。

ステップ３００では、ＶＥＰ読み取りプレート番号が、最終プレート読み取りとみなされ、ＶＥＰプレート番号は、料金トランザクションプロセッサによってプレート番号として処理される。そして、処理はステップ２２４（図４）に戻る。

ステップ３１４において、ＶＥＰプレート番号６８が、ＶＩＰプレート番号が存在する場合においてＶＩＰプレート番号６４と同じであるときは、処理はステップ３２６に続き、そうでない場合には、処理はステップ３０４に続く。

ステップ３０４において、ＶＥＰプレート番号６８（図３Ｂ）が、システム１００に登録されている場合には、処理はステップ３１６に続く。登録されたプレートは、既存のＡＶＩおよびビデオユーザアカウントと関連するプレートである。そうでない場合には、処理はステップ２７６に続き、登録されていないプレートは、低い確度レベルを含むので、プレート画像は、マニュアルにより読み取られる。

ステップ３１６では、処理されるトランザクションと関連した画像が、ステップ２６４においてマニュアルで切り取られているかどうかの判断がなされる。画像が切り取られている場合（すなわちＶＥＰ切り取りサブ画像の場合）には、処理はステップ３１０に続き、そうでない場合には、処理はステップ３２４に続く。

ステップ３２４において、１つのゴールデンサブ画像６６または複数の画像が利用可能である場合には、ＶＥＰ読み取りプレート番号の処理は、ステップ３０６に続く。そうでない場合には、処理はステップ３１０に続き、ステップ３１０において、ＶＥＰプレート番号６８は、非最終プレート読み取りとみなされる。

ステップ３０６において、ＶＩＰ２２は、好ましくは画像相関を用いてナンバープレート画像を処理し、参照されるＶＩＰ読み取りプレート番号と関連する、前もって記憶された画像のゴールデンサブ画像（または複数のゴールデンサブ画像）と、ナンバープレート画像を照合する。このステップは、処理される画像のマニュアルによる読み取りのチェックを提供する。したがって、このステップにより、誤った課金情報が顧客アカウントに書き込まれる前に、エラーが検出されるので、マニュアルによる読み取りエラー率は低減し、マニュアルにより読み取るオペレータが、より速くマニュアルでプレートを効率的に読み取ることが可能になる。相関プロセスは、相関プロセスの正確さを示す整合確度値を生成する。処理は、ステップ２９０に続く。

ステップ３０８では、いずれかの２回のマニュアルによる読み取りが、同じナンバープレート番号で一致するかどうかについての判断がなされる。このステップでは、最後のサブ画像用に３回のマニュアルによる読み取りが存在する。いずれかの２回のマニュアルによる読み取り結果のプレート番号が整合すると判断された場合には、処理はステップ３００に続き、そうでない場合には、処理はステップ３２２に続く。

ステップ３１０では、現在の処理タスクが検証タスクであるかどうか、すなわち、現在の処理タスクが、トリップ処理ステップに起因したものであるかどうかについての判断がなされる。現在のタスクが、検証タスクでない場合には、処理はステップ３１２に続く。そうでない場合には、処理はステップ２７６に続く。

ステップ３１２では、ＶＥＰプレート番号６８が、非最終プレート読み取りとみなされ、処理はステップ２２４（図４）で再開する。
ステップ２９０では、最も高い整合確度値が、予め定められたシステム整合閾値と比較される。整合確度値が、予め定められたシステム整合閾値以上である場合には、処理はステップ２９２に続き、ステップ２９２において、ＶＥＰプレート番号は、最終プレート読み取りとみなされる。最も高い整合確度値が、予め定められたシステム整合閾値未満である場合には、処理はステップ２７６に続き、正確なナンバープレート番号の取得を試みるために、プレート画像は、マニュアルで読み取られる。

ステップ２９２では、ＶＥＰプレート番号が、最終プレート読み取りとみなされ、処理はステップ２２４（図４）に戻る。
ステップ３１８では、既にサブ画像を読み取った２人のオペレータとは異なる現在のオペレータが、プレートの「再読み取り」を試行する。システム１００は、この操作を再読み取りとみなすが、現在のオペレータは、以前にそのサブ画像を見たことはない。現在のオペレータは、まず、ステップ３２０において、プレートが読み取り可能かどうかについての判断を行う。

ステップ３２０において、プレート画像が読み取り可能である場合には、処理はステップ３０８に続き、そうでない場合には、処理はステップ３２２に続く。
ステップ３２２では、現トランザクション４４は、マニュアルで読み取ることができるプレートを含んでいないとの判断がなされている。これは、例えば、不明瞭なプレートまたは障害物で妨害されたプレートが存在する場合に起こり得る。ＶＥＰプロセスは、ステップ２３９（図４）でこの判断を返す。

ステップ３２６では、処理されるトランザクションと関連した画像が、ステップ２６４においてマニュアルで切り取られているかどうかの判断がなされる。画像が切り取られている場合（すなわちＶＥＰ切り取りサブ画像の場合）には、処理はステップ３１０に続き、そうでない場合には、処理はステップ３２８に続く。

ステップ３２８では、ＶＩＰ切り取りサブ画像が、一組のゴールデンサブ画像６６をステップ４５０（図７）で場合によっては更新するために使用される。
次に図６を参照して、ステップ３８０において、処理が開始し、個別の車両によって行われるトリップを形成する何らかの追加検出が、車両のプレート番号の判断および検証に役に立つ情報を追加するかどうかが判断される。例えば、同じプレート番号が、２つの連続したＴＧ１８で読み取られ、２つのＴＧ１８間の通過時間が、現在の交通状況に対して妥当であった場合には、プレート番号が正しいという比較的高い確度が得られる。ナンバープレート画像は通常、画像が必要とされるとＲＴＣ１４が判断したときの検出に含まれ、画像が含まれることにより、結果的に、マニュアルによる読み取り操作が行われる可能性がある。上述した連続した読み出しは、例えば、マニュアルによる読み取り回数を減少させる。なぜならば、上記場合には、２つの検出がビデオ画像を含んでいたとしても、２つの検出に対して検証目的でのマニュアルによる読み取りは必要とされないからである。車両がトランスポンダを装備している比率が高く、トランザクションおよびその結果の検出の大部分がＡＶＩ読み取りのみを含むシステム１００の一実施の形態では、通常の状況下で、これらＡＶＩ読み取りの検証は、必要とされないであろう。表１は、トリップ処理に使用され、かつ、図６と共に使用される４つの異なるタイプの検出カテゴリーを示している。検出は、１つまたは複数のトランザクションの処理の結果であり、路側デバイスによって検出される車両の実際のイベントを表す。ほとんどの検出は、検証を必要としないが、ビデオ画像が必要とされ、トリップ決定サブシステム４０に利用可能となるいくつかの状況が存在する。ＡＶＩ読み取りの比率が比較的低いシステムおよびビデオキャプチャを頼りにする程度が大きなシステムでは、比較的多くの回数の検証が必要とされる。車両ＩＤは、システムによって識別されるそれぞれの車両に割り当てられた固有の番号である。この車両ＩＤは、ナンバープレート番号（プレート文字ともいう）と関連する。

例えば、「Ａ」検出は、トランスポンダの読み取りのみを含む。この「Ａ」タイプの検出は、ハードウェアの問題がなく、クラス不一致もなく、ＡＶＩ読み取りに関連した顧客アカウントに関して報告された問題もないトランスポンダユーザの場合の通常の検出である。Ａ’検出は、例えば、顧客がトランスポンダをある車両から別の車両に認可なく切り換えたこと、および、どの車両がトランスポンダを実際に使用しているかを判断するために、システム１００が、ビデオ画像が必要とされると判断したことを示すことができる検出である。Ａ検出およびＡ’検出の双方において、ＩＶＵ ＩＤが、車両ＩＤを判断するために使用される。

Ｖ’検出は、例えば、トランスポンダの読み取りと共にビデオ画像も含む検出であるが、トランスポンダが盗難されたとの報告があった場合に使用することができる。この状況において、トランスポンダは、そのトランスポンダに登録された車両ＩＤによって識別される車両とは異なる車両に存在する確率が高いので、システム１００は、ナンバープレートの番号を判断するために、プレート画像の読み取りを試みる。Ａ’検出およびＶ’検出の少なくとも一方を検証することは重要であり、多くの状況において、この検証は、ＶＥＰ２６を用いたマニュアルによる読み取りを含むであろう。

検出が、ＡＶＩコンポーネントおよびビデオコンポーネントの双方を有する場合に、車両ＩＤは、通常、ＩＶＵ ＩＤから導出される。車両ＩＤが導出されるこの特定の状況は、道路事業者の政策に依存する。

追加のマニュアルによる読み取りは、以下のステップ３８０ないし４２４で説明するトリッププロセッサによって要求される検証の結果として行われ得る。検証では、マニュアルによる読み取りサブシステムが負荷を負う。このサブシステムは、識別手段が他にない画像も処理しなければならない。検証回数が減少すると、必要とされるマニュアルによる読み取りの回数全体が減少する。検証は、例えば、システムが車両のクラス不一致を発見した場合に必要とされる。これは、トランスポンダが乗用車からトラックに移動された場合に起こり得る。システムは、この状況を検出すると共に、どの車両がトランスポンダを使用しているかを判断するために、ナンバープレートのビデオ画像を取り込むであろう。別の状況として、トランスポンダが盗難された場合にも、トランスポンダの使用に関して検証が必要とされる。この状況では、法の執行を伴う確率が高いので、ナンバープレートを検証することが重要である。

ステップ３８２では、複製されたトランザクション４４および矛盾するゲートウェイの交差が、それぞれのトランザクション４４に割り当てられた固有の内部システムＩＤを用いることによってフィルタリングされる。複製のトランザクション４４は、例えば、ネットワークがトランザクション４４を誤って再送信した場合に発生し得る。矛盾するゲートウェイ交差は、２つのトリップ間の断絶を示すトランザクション４４、または、経過時間内では到達して横切ることが物理的に不可能な交差地点を示すトランザクション４４を有する、道路を離れる車両によって引き起こされることがある。このような不明瞭なトランザクション４４の場合、そのトランザクションはフィルタリングされ、オプションとして、別個に課金される。また、そのトランザクションは、料金逃れをする者を示すことがあるので、ログに記録される。一実施の形態では、フィルタリングを行い、不明瞭な組の最初のトランザクションに優先度を与えることによって、不明瞭さが除去される。処理はステップ３８４に続く。

ステップ３８４では、ナンバープレートのビデオ画像が検証を受けておらず、かつ、ランダムな監査のために選択されるかどうかが判断される。ビデオ画像が検証を受けておらず、かつ、ランダムな監査のために選択される場合には、処理はステップ３８６に続き、そうでない場合には、処理はステップ３８８に続く。

ステップ３８６では、プレート読み取りが検証され、処理はステップ２２７（図４）に続く。検証は、そのサブ画像をまだ見ていないオペレータにプレート番号を読み取らせることにより、マニュアルで実行される。そのオペレータが同じプレート番号を読み取った場合には、検証は成功したことになる。そうでない場合には、図５Ａ〜図５Ｂと共に説明したように、ＶＥＰ２６によって追加処理が実行され、真のプレート番号が判断される。

ステップ３８８では、二重検出選択除去（フィルタリング）が、無関係なビデオトランザクション４４を選択除去し、そして、処理はステップ３９０に続く。設備が劣化した結果、同じ料金ゲートウェイを横切ることに対して分離したビデオおよびＡＶＩトランザクション４４を得る可能性がある。複数のトランザクション４４を発生させることができるが、これら複数のトランザクションは、単一の検出内に処理される。一実施の形態では、ステップ３８８において、検出には、タイプＡ、Ａ’、ＶまたはＶ’に関するタグが付される。

ステップ３９０において、システムは、最初に処理され、監査を受けるために連鎖し得るすべての検出を待つ。マニュアルによる読み取りを減らすために、システムは、トリップに組み込むことができるナンバープレートの読み取りが、マニュアルによって検証される必要がないかどうかを判断することができる。マニュアルによる読み取りを減らすために、トリッププロセッサは、トリップの一部となり得る可能な限りすべての検出を待たなければならない。可能な限りすべての検出が処理に利用可能となる前に、いくつかの検出が遅延することがあるか、または、いくつかの検出が、監査プロセスにおいて遅延することがあるので、システムは、処理および監査されるいくつかの検出を待たなければならない。システム１００は、トランザクション処理に比べて長い時間を待つか、または、トリップ決定に利用可能なトランザクションの時間枠を識別するスライディングタイムウィンドウプロセスを用いるかのいずれかを行うことができる。連鎖し得る検出を待つプロセスおよびトリップ形成プロセスは、２００２年１月ｘｘ日に出願された「Vehicle Trip Determination System And Method」という発明の名称の米国特許出願第１０／ 号にさらに詳細に説明されている。連鎖し得るすべての検出は、検証回数が低減される可能性を持ったグループとして処理することができる。トリップの候補は、Ａ検出、Ａ’検出、Ｖ検出またはＶ’検出について、道路の幾何学的形態によってのみ制限される任意の個数またはシーケンスの任意の組み合わせを持つことができる。実際には、Ａ’検出およびＶ’検出の双方を含む単一のトリップの候補は稀ではあるが、その可能性は存在する。

ステップ３９１では、トリップの候補を形成し得る複数の検出が、ともに連鎖され、処理はステップ３９２に続く。
ステップ３９２では、トリップの候補にＡ’検出が存在するかどうかが判断される。例えば、その検出に対応する車両の測定されたクラスが不一致であるかどうかが判断される。Ａ’検出が存在する場合には、処理はステップ３９４に続き、そうでない場合には、処理はステップ３９６に続く。トリップの候補の残りのすべての検出は、ステップ３９４およびステップ３９６で処理される検出に含まれることに留意すべきである。

ステップ３９４では、いずれかのＡ’検出が、最終プレート読み取りを備えたビデオを有する検出であるかどうかが判断される。最終プレート読み取りが存在する場合には、処理はステップ３９６に続き、そうでない場合には、処理はステップ４１４に続く。トリップの候補の残りのすべての検出は、ステップ４１４およびステップ３９６で処理される検出に含まれることに留意すべきである。

ステップ３９６では、例えば、ＡＶＩデータを含む１つのＶ’検出もしくは１つのビデオＶ検出のいずれかを備えたマルチゲートウェイトリップまたはシングルゲートウェイビデオトリップを含む、Ｖ検出またはＶ’検出のいずれかであるたった１つの検出のみが、トリップの候補に存在するかどうかが判断される。ステップ３９６、３９７、３９８、４００、４０４、４０６、および４０８は、画像のプレート文字の読み間違いによって、比較的高い確率のエラーが、トリップの候補の検出の１つと関連した車両ＩＤに存在するかどうかを判断する。このような画像のマニュアルによる読み取りまたは再読み取りを強制することにより、システムは、高い確率のエラーを有する画像にＶＥＰオペレータの資源を集中させることができ、ＶＥＰオペレータの仕事負荷を過度に増やすことなく、課金エラーの大幅な低減が達成される。シングルゲートウェイビデオトリップは、車両が単一のゲートウェイのみを横切り、ナンバープレートのビデオ画像が取り込まれ、かつその車両が有料道路から離れる場合に発生する。このようなトリップは、たった１度の読み間違いが、直接、課金エラーにつながる可能があるので、Ａ検出およびＡ’検出のみを有するトリップまたはマルチゲートウェイビデオトリップよりも高い確率のエラーを有する。しかしながら、このようなトリップが非常に多く走行する場合、または、ある特定の場所のＲＴＣ設備の故障によって、故障がなければＡ検出であったものに対して、非常に多くのビデオのみの（Ｖ）検出が作成される場合には、すべてのシングルゲートウェイビデオトリップを検証することは望ましくない。シングルゲートウェイビデオトリップは、検証を実行する必要性をさらに検討するためにステップ３９７へ送られるトリップの最も単純な例である。一方で、ステップ３９６は、マルチゲートウェイビデオトリップとなる、同じトリップ内でＶ検出およびＶ’検出の双方をともに有するトリップではなく、正確に１つのＶ検出またはＶ’検出を有する任意のトリップのより一般的な場合も許容する。たった１つのＶ検出またはＶ’検出のみの処理が存在する場合には、処理はステップ３９７に続き、そうでない場合には、処理はステップ４１２に続く。

ステップ３９７では、ＶまたはＶ’（これらの１つのみが存在する）が、複数の検出の中から選択され、ステップ３９８で処理される。残り（選択されなかった検出）は、ステップ４１２で処理される。

ステップ３９８では、このＶまたはＶ’が、この画像についての最終プレート読み取りかどうか、すなわち、このＶまたはＶ’が、「最終プレート読み取り」または「非最終」プレート読み取りとしてマークを付けられた、ステップ３９７からの１つのビデオ検出であるかどうかが判断される。このＶまたはＶ’が、そのビデオ検出についての最終プレート読み取りである場合には、処理はステップ４１２に続き、そうでない場合には、処理はステップ４００に続く。

ステップ４００では、この検出と関連した顧客が、ビデオユーザであるかどうか、すなわち読み取られたプレートに対する登録されたトランスポンダが存在しないかどうかが判断される。未登録のユーザは、一実施の形態におけるデフォルトによって「ビデオユーザ」とみなされる。この顧客がビデオユーザである場合には、処理はステップ４０８に続き、そうでない場合には、処理はステップ４０４に続く。

ステップ４０４では、路側デバイスが通常動作であったかどうか、すなわち、デバイス故障または保守活動が、検出の時刻および場所で発生していなかったかどうかが判断される。ステップ４０４において、設備の故障または保守、例えばＲＦアンテナの電源オフのためにＶ検出として取り込まれたＡ検出またはＡ’検出は、マニュアルによる読み取りの仕事負荷を低減するために検証されない。これらの活動のいずれかが発生し、現在の検出と関連している場合には、処理はステップ４１２に続き、それ以外の場合には、処理はステップ４０６に続く。

ステップ４０６では、プレート読み取りが検証され、処理はステップ２３８（図４）に続く。
ステップ４０８では、ＶＩＰ整合が良好であるかどうか、すなわち、検証された画像との、前に行われた相関の結果が、ステップ２４８（図４）またはステップ２９０（図５Ｂ）において、最終プレート読み取りまたは非最終プレート読み取りに帰着する、閾値を越えた整合であったかどうかが判断される。ＶＩＰ整合が良好である場合には、処理はステップ４１２に続き、それ以外の場合には、処理はステップ４０６に続く。

ステップ４１２において、システム１００は、連鎖し得るすべての検出に必要とされる検証を待つ（ステップ３９０と同様）。検出のバッチが処理されると、処理はステップ４１６に続く。一実施の形態では、料金プロセッサ２８は、検出を処理する前に遅延を含むことができる。代替的な実施の形態では、料金プロセッサ２８は、スライディングタイムウィンドウを含むことができる。このスライディングタイムウィンドウは、ステップ３９０におけるウィンドウとは異なるウィンドウである。

ステップ４１４では、トリップの候補内のビデオによる最初のＡ’検出が、ステップ３８６での検証用に選択される。検証を迂回する、選択されなかった残りの検出（もしあれば）は、ステップ３９６で処理される。ステップ４１４では、複数のＡ’検出のビデオ画像のすべてを検証するのではなく、ここでは最初のＡ’検出である単一の検出が、検証される。この結果、マニュアルによる読み取り操作がより少なくなる。

ステップ４１６では、複数の検出が、ともに連鎖されて、確定したトリップを形成し、そして、処理はステップ４１８に続く。検出を連鎖することの詳細は、「Vehicle Trip Determination System And Method」という発明の名称の米国特許出願第１０／ 号にさらに説明されている。

ステップ４１８では、プレート読み取りおよびトリップ連鎖のプロセスが完了し、トリップの価格を見積もって（料金を決定して）計上することができ、顧客に課金することができる。ステップ４１８では、プレート読み取りプロセスが完了し、検出またはトリップが決定されると、検出またはトリップの価格を見積もって計上することができ、顧客に課金することができる。確定したトリップが決定された後、連鎖した検出に対して、もはやプレート読み取りは行われない。トリップの候補のすべての検証および評価は、そのトリップが形成される前に行われる。したがって、トリップの決定は、課金システムへのインタフェースを単純化し、マニュアルによる読み取り回数を低減させる。トリップ処理は、マニュアルによる検証を行うために検出を戻すことによって、プレート読み取りに影響するが、これは、確定したトリップではなく、トリップの候補を評価する結果として発生する。処理は、ステップ４２０に続く。

ステップ４２０では、ＩＶＵ故障またはプレート不一致が存在するかどうかが判断される。ＩＶＵ故障またはプレート不一致が存在する場合には、ステップ４２２で、通知および／またはクラス不一致の違反料（罰金）が、顧客に送信され、そして、処理はステップ４２４で終了する。ステップ４２４において、処理は終了する。

次に図７を参照して、ステップ４５０において、処理は、現在のプレート画像が、ゴールデンサブ画像６６（検証された画像）の集合に追加されるべきかどうか、または、ゴールデンサブ画像６６（検証された画像）の集合を取り替えるべきかどうかの判断を開始する。それぞれのサブ画像６６が、その車両について通常取り込まれる画像をどれだけ良く代表しているかを判断するために、それぞれのサブ画像６６には、履歴が保持される。このようにして、ＶＥＰを通過したものの、かろうじて読み取ることができる程度の低品質の画像は、最終的には除外される。読み取れないプレート画像を、これまでに取り込まれた車両のすべてのプレート画像と照合することは必要ない。

相関マッチングのために画質を維持することによって、トランザクション４４に最終的に必要とされるマニュアルの読み取り回数は最小になる。画質を維持し、ゴールデンサブ画像６６がいつ取り替えられるべきかを判断するいくつかの方法が存在することは、当業者に理解されるであろう。

ステップ４５２では、最大数のゴールデンサブ画像が保存されたかどうかが判断される。一実施の形態では、この最大数は３つの画像である。最大数の画像より小さい画像が保存された場合には、処理はステップ４６２に続き、そうでない場合には、処理はステップ４５４に続く。

ステップ４５４では、いずれかのゴールデンサブ画像６６が取り替え可能かどうかの判断がなされる。ゴールデンサブ画像６６は、そのヒットおよびストライクの合計が、設定可能なサンプルサイズより大きく、かつ、ヒット／（ヒット＋ストライク）が、設定可能な閾値より小さい場合に取り替え可能であることが好ましい。一実施の形態では、サンプルサイズは８であり、閾値は０．５である。「ヒット」は、ゴールデンサブ画像６６との相関マッチングの結果、整合確度がシステム整合閾値以上であり、かつ、処理されるサブ画像が読み取り不能と宣言されないか、または、その後のＶＥＰオペレータによって異なる番号に読み取られない場合に、その都度、カウントされる。「ストライク」は、ゴールデンサブ画像６６との相関マッチングの結果、整合確度がシステム整合閾値未満であり、かつ、処理されるサブ画像が読み取り不能と宣言されないか、または、その後のＶＥＰオペレータによって異なる番号に読み取られない場合に、その都度、カウントされる。「ボーク」は、ゴールデンサブ画像６６との相関マッチングの結果、整合確度がシステム整合閾値以上であり、かつ、処理されるサブ画像がその後のＶＥＰオペレータによって異なる番号に読み取られた場合に、分析目的のためログに記録される。いずれの画像も取り替えることができない場合には、処理はステップ４５８に続き、制御はステップ２２４（図４）に戻る。ステップ２２４では、プレート番号は、最終プレート読み取りとみなされる。ゴールデンサブ画像６６の１つが取り替え可能である場合には、処理はステップ４５６に続く。

ステップ４５６では、取り替え可能なゴールデンサブ画像６６の１つが取り替えられ、プレート番号（ＶＩＰプレート番号およびＶＥＰプレート番号はこのステップでは同一であるので、ＶＩＰプレート番号またはＶＥＰプレート番号のいずれか）は、最終プレート読み取りとみなされ、処理はステップ４５８に続き、制御はステップ２２４（図４）に戻る。ステップ２２４では、プレート番号は、最終プレート読み取りとみなされる。

ステップ４６２では、現在のサブ画像が、ゴールデンセット（検証された画像の組）に加えられ、この最後のプレート番号の読み取りは、最終プレート読み取りとみなされる。そして、処理はステップ４５８に続き、制御はステップ２２４（図４）に戻る。ステップ２２４では、プレート番号は、最終プレート読み取りとみなされる。

本明細書に引用されるすべての刊行物および参考文献は、参照によってその全体を本明細書に援用されるものとする。
本発明の好ましい実施の形態について説明してきたが、それらの概念を援用した他の実施の形態が使用可能であることは、当業者には明らかであろう。したがって、これらの実施の形態は、開示された実施の形態に限定されるべきではなく、特許請求の範囲の精神および範囲によってのみ限定されるべきであると考える。

本発明による自動道路料金収受および管理システムの概略ブロック図である。 本発明による路側センサを含む路側料金収受サブシステムのブロック図である。 図３Ａは、図１のシステムのビデオ画像プロセッサ（ＶＩＰ）のブロック図である。 図３Ｂは、図１のシステムのビデオ例外プロセッサ（ＶＥＰ）のブロック図である。 本発明によるＶＩＰを用いて自動的にナンバープレート画像を処理するステップを示すフローチャートである。 本発明によるＶＥＰを用いてマニュアルによりナンバープレート画像を読み取るステップを示すフローチャートである。 本発明によるＶＥＰを用いてマニュアルによりナンバープレート画像を読み取るステップを示すフローチャートである。 本発明によるナンバープレート読み取りエラーを低減するためのトリップ決定処理のステップを示すフローチャートである。 本発明による「ゴールデン」（検証された）画像を更新するステップを示すフローチャートである。

Claims (40)

1. 車両に配置されたナンバープレートを読み取る方法であって、
   車両トランスポンダが、存在しないか、車両クラス不一致を示すか、または例外リストに載っているかの少なくとも１つである、車両トランスポンダの読み取り試行に応答して、ナンバープレート画像が必要とされるかどうかを判断し、
   前記ナンバープレート画像を取り込み、
   前記ナンバープレート画像と関連する少なくとも１つの検証された画像を検索し、
   前記ナンバープレート画像を自動的に処理し、該自動的処理はナンバープレート画像を前記少なくとも１つの検証された画像と比較することを含み、
   前記比較に応じて、前記ナンバープレート画像をマニュアルで読み取るかどうかを判断する、
   ことを含む方法。
2. 前記ナンバープレート画像をマニュアルで読み取ることをさらに含む、請求項１に記載の方法。
3. 前記ナンバープレート画像のマニュアルによる読み取りは、ナンバープレート画像の記憶量を削減するサブ画像を提供することを含む、請求項２に記載の方法。
4. 前記サブ画像の提供は、前記ナンバープレート画像における前記ナンバープレートをズームインすることを含む、請求項３に記載の方法。
5. 前記ナンバープレート画像のマニュアルによる読み取りは、
   少なくとも３人の異なるオペレータに前記ナンバープレート画像を表示し、
   前記少なくとも３人の異なるオペレータによって決定された少なくとも３つのナンバープレート番号を入力し、
   前記少なくとも３つの決定されたナンバープレート番号のうちの少なくとも２つが同一であるかどうかを判断する、
   ことを含む請求項２に記載の方法。
6. 前記ナンバープレート画像の比較は、前記ナンバープレート画像を前記少なくとも１つの検証された画像と相関させることを含む、請求項１に記載の方法。
7. 前記ナンバープレート画像から導出された特徴データを生成し、
   前記少なくとも１つの検証された画像から導出された特徴データを生成し、前記相関は、前記ナンバープレート画像から導出された特徴データを前記少なくとも１つの検証された画像から導出された特徴データと相関させることを含む、
   ことをさらに含む請求項６に記載の方法。
8. 整合確度の大きさを提供し、
   整合確度の大きさを予め定められた整合閾値と比較することに応答して、前記ナンバープレート画像がマニュアルで読み取られるべきかどうかを判断する、
   ことをさらに含む請求項６に記載の方法。
9. 前記整合確度の大きさが、前記予め定められた整合閾値未満であることに応答して、前記ナンバープレート画像をマニュアルで読み取る、
   ことをさらに含む請求項８に記載の方法。
10. 前記ナンバープレート画像の自動的処理は、ナンバープレート番号を認識するために、光学式文字認識を用いることを含む、請求項１に記載の方法。
11. 前記ナンバープレート番号の認識に応答して、読み取り確度の大きさを提供し、
    前記読み取り確度の大きさを予め定められた読み取り閾値と比較し、
    前記読み取り確度の大きさが前記予め定められた読み取り閾値未満であることに応答して、前記ナンバープレート画像がマニュアルで読み取られるべきであると判断する、
    ことをさらに含む請求項１０に記載の方法。
12. 前記車両を検出することをさらに含み、該車両の検出は、
    前記車両に配置されたトランスポンダを読み取ることと、
    レーザビームにより前記車両を走査することと、
    誘導ループにより前記車両を検知することと、
    の少なくとも１つを含む請求項１に記載の方法。
13. 前記ナンバープレート画像の比較は、前記ナンバープレート画像を前記少なくとも１つの検証された画像と照合することを含む、請求項１に記載の方法。
14. 前記ナンバープレート画像から導出された特徴データを生成し、
    前記少なくとも１つの検証された画像から導出された特徴データを生成し、前記照合は、前記ナンバープレート画像から導出された特徴データを前記少なくとも１つの検証された画像から導出された特徴データと照合することを含む、
    ことをさらに含む請求項１３に記載の方法。
15. 前記少なくとも１つの検証された画像を更新することをさらに含む、請求項１に記載の方法。
16. 前記ナンバープレート画像と関連した前記ナンバープレート番号が、登録されたプレート番号であるかどうかを判断し、
    前記ナンバープレート画像と関連した前記ナンバープレート番号が、登録されたプレート番号であるとの判断に応答して、前記ナンバープレート画像をマニュアルで読み取ることを回避する、
    ことをさらに含む請求項１に記載の方法。
17. マニュアルで読み取られたナンバープレート番号を提供するために、前記ナンバープレート画像をマニュアルで読み取り、
    自動的に読み取られたナンバープレート番号を提供するために、前記ナンバープレート画像を自動的に読み取り、
    前記マニュアルで読み取られたナンバープレート番号と前記自動的に読み取られたナンバープレート番号とを比較し、
    前記マニュアルで読み取られたナンバープレート番号と前記自動的に読み取られたナンバープレート番号とが同一であるとの判断に応答して、前記ナンバープレート画像をマニュアルで読み取ることを回避する、
    ことをさらに含む請求項１に記載の方法。
18. 前記ナンバープレート画像を自動的に処理することに応答して、自動的に読み取られたナンバープレート番号を提供し、
    トランスポンダの読み取りをトランスポンダ登録ナンバープレート番号と関連付け、
    前記自動的に読み取られたナンバープレート番号と、前記トランスポンダ登録ナンバープレート番号とを比較し、
    前記自動的に読み取られたナンバープレート番号と、前記トランスポンダ登録ナンバープレート番号とが同一であるとの判断に応答して、前記ナンバープレート画像をマニュアルで読み取るべきかどうかを判断する、
    ことをさらに含む請求項１に記載の方法。
19. 前記ナンバープレート画像が廃棄されるべきかどうかを判断し、
    前記ナンバープレート画像が廃棄されるべきであるとの判断に応答して、前記ナンバープレート画像を廃棄する、
    ことをさらに含む請求項１に記載の方法。
20. 前記少なくとも１つの検証された画像の検索は、
    前記ナンバープレートの少なくとも１つの記憶された画像および対応するナンバープレート番号を提供し、
    前記少なくとも１つの検証された画像を提供するために、前記少なくとも１つの記憶された画像を検証する、
    ことを含む請求項１に記載の方法。
21. 前記少なくとも１つの記憶された画像の検証は、
    マニュアルで読み取られたナンバープレート番号を提供するために、前記ナンバープレート画像をマニュアルで読み取り、
    トランスポンダの読み取りをトランスポンダ登録ナンバープレート番号と関連付け、
    前記マニュアルで読み取られたナンバープレート番号と前記トランスポンダ登録ナンバープレート番号とが同一であると判断する、
    ことを含む請求項２０に記載の方法。
22. 前記少なくとも１つの記憶された画像の検証は、
    マニュアルで読み取られたナンバープレート番号を提供するために、前記ナンバープレート画像をマニュアルで読み取り、
    自動的に読み取られたナンバープレート番号を提供するために、前記ナンバープレート画像を自動的に読み取り、
    前記マニュアルで読み取られたナンバープレート番号と前記自動的に読み取られたナンバープレート番号とが同一であると判断する、
    ことを含む請求項２０に記載の方法。
23. 前記少なくとも１つの記憶された画像を検証することに応答して、かつ、検証された画像の組が、前記対応するナンバープレート番号についての最大の画像数よりも少ない画像を有することに応答して、前記検証された画像の組に、新しいナンバープレート画像を追加することをさらに含む、請求項２０に記載の方法。
24. 前記少なくとも１つの検証された画像の１つが取り替え可能な場合、前記少なくとも１つの検証された画像の１つを更新することをさらに含む、請求項２０に記載の方法。
25. 前記少なくとも１つの検証された画像の１つの画像の画質比が、予め定められた閾値より小さいと判断し、かつ、前記画質比と関連する相関マッチング数が、予め定められたサンプルサイズより大きいと判断することに応答して、前記少なくとも１つの検証された画像の１つが取り替え可能であると判断することをさらに含む、請求項２４に記載の方法。
26. 前記画質比は、ヒットカウントを、前記ヒットカウントおよびストライクカウントの合計で除算した比を含む、請求項２５に記載の方法。
27. 前記ヒットカウントは、予め定められた整合閾値以上の整合確度の大きさを有する相関マッチング数を含み、前記ナンバープレート画像が読み取り可能であり、前記ナンバープレート画像のマニュアルでの読み取りに矛盾がない、請求項２６に記載の方法。
28. 前記ストライクカウントは、予め定められた整合閾値未満の整合確度の大きさを有する相関マッチング数を含み、処理される前記ナンバープレート画像が読み取り可能であり、前記ナンバープレート画像のすべてのマニュアルでの読み取りに矛盾がない、請求項２６に記載の方法。
29. 複数の路側料金収受装置であって、それぞれが、トラフィックプローブリーダ、料金ゲートウェイまたは執行ゲートウェイの少なくとも１つに結合されて、車両に配置されたトランスポンダを読み取る路側料金収受装置を、道路に沿って間隔をおいて配置し、
    前記車両からの前記トランスポンダの読み取りに対応するナンバープレート番号を判断し、
    前記トランスポンダに対応する前記ナンバープレート番号を、前記ナンバープレート画像から認識された前記ナンバープレート番号と比較し、
    前記トランスポンダに対応する前記プレート番号が、前記ナンバープレート画像から認識された前記ナンバープレート番号と同じであることに応答して、前記ナンバープレートのそれ以上の識別は必要としないと判断する、
    ことをさらに含む請求項１に記載の方法。
30. 複数のトランザクションを結合してトリップを形成し、
    マニュアルでの読み取り回数を最小にするために、前記トリップの第１のトランザクションからのナンバープレートの識別を、異なる第２のトランザクションと関連付ける、
    ことをさらに含む請求項１に記載の方法。
31. 前記ナンバープレート画像が必要とされるかどうかの判断は、顧客監査、システム監査、またはシステム保守の少なくとも１つに応答して、ナンバープレート画像を必要とするかどうかを判断することを含む、請求項１に記載の方法。
32. 車両ナンバープレートを読み取るシステムであって、
    複数の車両ナンバープレート画像および複数の車両トランザクションを提供する複数の路側料金収受装置と、
    前記複数の路側料金収受装置に結合され、前記複数の画像およびトランザクションを受信する少なくとも１つのトランザクションプロセッサと、
    前記少なくとも１つのトランザクションプロセッサに結合され、前記複数の画像を受信し、少なくとも１つの対応する検証された画像を受信し、前記複数の画像の少なくとも１つを前記少なくとも１つの検証された画像と比較するように適応され、対応するナンバープレート番号を提供する少なくとも１つのビデオ画像プロセッサと、
    前記少なくとも１つのトランザクションプロセッサに結合され、前記車両ナンバープレートがマニュアルで読み取られるように、前記画像を受信するとともに、前記画像を表示するように適応されているビデオ例外プロセッサと、
    前記少なくとも１つのトランザクションプロセッサに結合され、前記マニュアルでの読み取り回数を最小にするように適応されている料金プロセッサと、
    を備えたシステム。
33. 前記料金プロセッサはトリップ決定プロセッサを備える、請求項３２に記載のシステム。
34. 前記路側料金収受装置は、
    トラフィックプローブリーダと、
    料金ゲートウェイと、
    執行ゲートウェイと、
    の少なくとも１つに結合される、請求項３２に記載のシステム。
35. 交通監視および報告プロセッサをさらに備える、請求項３２に記載のシステム。
36. リアルタイム執行プロセッサをさらに備える、請求項３２に記載のシステム。
37. 画像サーバをさらに備える、請求項３２に記載のシステム。
38. 前記ビデオ画像プロセッサはＯＣＲプロセッサを備える、請求項３２に記載のシステム。
39. 前記ビデオ画像プロセッサは画像相関プロセッサを備える、請求項３２に記載のシステム。
40. 前記ビデオ例外プロセッサは少なくとも１つのマニュアルプレート読み取りワークステーションを備える、請求項３２に記載のシステム。

Images