JP6527678B2 - プライバシー保護のための延滞車両特定 - Google Patents

Description

例示的な実施形態は対象の認識に関し、条件が満たされるまで車両に関する識別子の特定を遅らせるシステムおよび方法と連動させる特定の目的を見つけ出す。

車両の特定とは、１つまたは複数のセンサを用いて、一連の車両の特性を測定し、一意の識別子にマッピングする処理として定義することができる。大抵の場合、視覚センサ（例えば、カメラ）を用いて、ナンバープレートが写った画像を取り込み、そして自動ナンバープレート認識（ＡＬＰＲ）処理を適用する。車両のナンバープレートが写った画像を受信すると、ＡＬＰＲシステムは、通常、一意の識別子をなす車両のナンバープレートの数字を出力する。認識された識別子は、通行料金の自動徴収、スピード違反の検知などの取り締まり、駐車場の管理、交通パターンの分析のためのデータマイニングなど、様々な目的で使用可能である。

しかし、駐車場のオーナーなどの車両の識別子を取得することは、大抵の場合、車両のオーナーを追跡可能なデータを処理することであるため、この自動車両特定により、プライバシーの権利に関する、いくつかの懸念すべき問題が引き起こされている。データが関係者以外の人間よりアクセスされ、本来その情報が集められる合法的な目的以外の目的で使用可能となってしまう恐れもある。

したがって、いくつかの国では、そのようなデータが集められることに対して、政府や国民がよりいっそう懸念を抱くようになり、そのようなデータの収集に対して制限が設けられている。ヨーロッパの国の中には、車両識別子を永続メモリ内に格納することが、プライバシーの権利の侵害とみなされる国もある。こういった問題に対処するため、通過する車両の識別子をそれぞれ一時的な記憶装置内に記憶させ、その車両識別子に直接リアルタイムにアクセスして、異常な状況（制限速度を超過している車両など）に対する確認を行う、ナンバープレート認識システムが開発されてきた。異常な状況と確認できない場合は、そのデータは恒久的に格納されない。

たとえ政府が規制しなかったとしても、駐車場のユーザのプライバシーを保護するために、身元情報の処理および格納を含む、駐車場およびその他の場所での自動の車両特定処理を修正すべきという圧力がかかっている。

識別子を処理することが特に必要ない場合には、識別子に関する人間のプライバシーを保護しながら、車両などの対象の一意の識別子を認識するシステムおよび方法が依然として必要である。

例示的な実施形態の一様態に従って、識別子を特定する方法が提供される。この方法には、複数の対象ごとに、第１の位置で取り込まれた対象の第１の画像の少なくとも一部から抽出された第１の視覚シグニチャー、および第１の取り込み画像に関連する第１の情報を格納するステップが含まれる。第２の視覚シグニチャーと、第１の視覚シグニチャーの少なくともいくつかとの間の類似点の測定値を計算して、この計算された類似点の測定値に基づいて、第１の視覚シグニチャーのうちの一致したものを特定する。第２の視覚シグニチャーが、第２の画像の少なくとも一部に基づいて、第２の位置で取り込まれた第２の対象の第２の画像の少なくとも一部から抽出されている。第１の視覚シグニチャーのうちの一致したものに関連する第１の格納情報、および第２の取り込まれた画像に関連する第２の格納情報の両方を検索する。検索された第１の格納情報と第２の格納情報との関数であるテストを行う。この方法には、テストが満たされたことが確認されると、取り込まれた第２の対象の画像に基づいて、第２の対象の識別子の認識を供給するステップがさらに含まれる。この方法のステップのうちの１つ以上は、コンピュータのプロセッサを用いて行われる。

別の様態では、識別子を特定するシステムが提供される。このシステムは、複数の対象ごとに、第１の視覚シグニチャー、および第２の視覚シグニチャーを格納するメモリを含む。第１の視覚シグニチャーは、第１の位置で取り込まれた対象の第１の画像の少なくとも一部から抽出されたものである。第２の視覚シグニチャーは、第２の位置で取り込まれた対象の第２の画像の少なくとも一部から抽出されたものである。メモリには、第１の視覚シグニチャーに関する第１の情報、および第２の視覚シグニチャーに関する第２の情報が格納されている。シグニチャー照合コンポーネントが、第２の視覚シグニチャーのうちの１つと、第１の視覚シグニチャーのうちの少なくともいくつかのそれぞれとの間の類似点の測定値を計算して、この計算された類似点の測定値に基づいて、第１の視覚シグニチャーのうちの一致したものを特定する。情報処理コンポーネントが、第１の視覚シグニチャーのうちの一致したものに関する検索された第１の格納情報と、第２の視覚シグニチャーのうちの一致したものに関する第２の格納情報との関数であるテストを行う。テストが満たされたことが確認されると、取り込まれた第２の対象の画像に基づいて、識別子認識コンポーネントがその対象のうちの１つの識別子を認識する。プロセッサは、シグニチャー照合コンポーネント、情報処理コンポーネント、および識別子認識コンポーネントを実装する。

例示的な実施形態の別の様態に従って、車両識別子を認識する方法が提供される。この方法には、複数の車両ごとに、第１の時間に第１の位置で車両の第１の画像を取り込むステップと、第１の時間より後の第２の時間に第２の位置でその車両の第２の画像を取り込むステップと、第１の画像の取り込みに関する第１の情報、および第２の画像の取り込みに関する第２の情報を取得するステップであって、第１の情報および第２の情報のそれぞれが、それぞれのタイムスタンプを含む、ステップと、が含まれる。第１の視覚シグニチャーは、車両の第１の画像の少なくとも一部に基づいて計算される。第２の視覚シグニチャーは、車両の第２の画像の少なくとも一部に基づいて計算される。第１の視覚シグニチャーはそれぞれ格納され、それぞれの第１の情報にリンクされる。第２の視覚シグニチャーはそれぞれ格納され、それぞれの第２の情報にリンクされる。第２の視覚シグニチャーのうちの１つと、第１の視覚シグニチャーのうちの少なくともいくつかとの間の類似点の測定値を計算して、この計算された類似点の測定値に基づいて、第１の視覚シグニチャーのうちの一致したものを特定する。第１の視覚シグニチャーのうちの一致したものに関する第１の格納情報、および第２の視覚シグニチャーのうちの１つに関連する第２の格納情報の両方を検索する。検索された第１の格納情報と検索された第２の格納情報のタイムスタンプの関数であるテストを実行する。テストが満たされたことが確認されると、車両の撮影された第２の画像に基づいて、車両のうちの１つの識別子の認識が提供される。この方法のステップのうちの１つ以上は、コンピュータのプロセッサを用いて行うことができる。

図１は、例示的なシステムおよび方法の概略図である。 図２は、例示的な一実施形態に従った、対象の識別子の遅延認識を行うシステムが動作する環境の機能ブロック図である。 図３は、別の例示的な実施形態に従った、対象の識別子の遅延認識を行う方法における視覚シグニチャーの計算を図で示した図である。 図４は、別の例示的な実施形態に従った、対象の識別子の遅延認識の方法を示すフローチャートである。 図５は、ある例における、異なる車両特定の方法の精度を示すグラフである。 図６は、この例における、２つの異なる車両特定の方法でのエラーを示すスクリーンショットである。

図１を参照すると、プライバシーを保護する対象の識別子の遅延認識を行うための例示的なシステムおよび方法の概略図が示されている。例示的な実施形態では、この対象は原動機付き車両などの車両であり、その識別子は車両のナンバープレートの数字である、あるいは車両のナンバープレートの数字を含む。しかし、人間と、各個人の指紋、および／または、アイスキャン、船積み小包とそれらの追跡情報またはアドレス情報などの、その他の移動する対象、およびそれらの識別子も考慮可能であることは理解されよう。図１には、１から８までの数字が示され、これらの数字により、例示的な方法のステップが実行され得る順番が示されているが、これらの順番は制限を意図したものではない。

車両の特定は、例えば、駐車場の出入り口、あるいは道路上の異なるポイントといった複数の位置、および／または、異なる時間で所望され得る。ＸおよびＹは同じ位置でも、あるいは同じ位置に近くてもよいが、簡略化する目的で、距離Ｚだけ互いに間隔を開けた２つの位置ＸおよびＹを考察する。

ある実施形態では、ＸとＹとの車両の身元情報の間の対応関係を見つけ出し、２つの身元情報の間の対応関係が確立されたとき、ＸとＹで取り込まれた情報に依存する特定の条件が満たされているかどうかを判定することが目的である。この条件が満たされている場合にのみ、ナンバープレート認識などの特定な動作が起動される。

例えば、スピードの取り締まりの用途では、ＸとＹで取り込まれた画像から、ＸとＹにおける車両の身元情報の間の対応関係が確立された場合、取り込まれた画像に関する情報には、車両がＸとＹに存在したタイムスタンプ（Ｔ_Ｘ，Ｔ_Ｙ）、および、例えば、ＸとＹの地理上の座標である、それぞれの地理上の位置（Ｌ_Ｘ，Ｌ_Ｙ）が含まれ得る。確認される条件は、特定された車両の速度が閾値を超えているかどうかでよい。この速度は、Ｌ_ＹとＬ_Ｙの間の距離ＺをＴ_Ｙ−Ｔ_Ｘの時間差で除算して計算された平均速度でよい。この条件が満たされていれば、例えば、この速度は前もって規定された閾値を超えており、例えば、ポイントＹで取り込まれた車両の画像からの識別子が認識される。さらに起動され得る動作は、スピード違反を犯した特定された車両に警告を発し、スピード違反チケットを発行することなどの好適な対応処理を開始することなどの処理を実施することである。

自動ナンバープレート認識（ＡＬＰＲ）に基づく標準的なアプローチでは、画像が取り込まれた全ての車両の身元情報が認識されている。これとは対照的に、このシステムおよび方法では、例えば、請求目的のために違反車両の身元情報のみ認識する。非違反車両の身元を認識する必要がないため、このシステムおよび方法では、膨大な数の車両（非違反車両）の匿名性を尊重し、必要なときだけ車両を特定している。

例示的な実施形態では、車両など移動していている対象を認識する処理は、２つの別の動作に分けられている。

１．ポイントＸとポイントＹの間の車両照合（識別子の認識（例えば、ＡＬＰＲによる）に依存しない）。

２．ポイントＸでの車両身元の認識、ポイントＹでの車両身元の認識、または両方の位置での車両身元の認識（例えば、ＡＬＰＲに依存する）。

１）ナンバープレートを認識しないで行う動作は車両照合に関して非常に満足いくものであり得るということが分かってきた。例えば、下記の例で実証される通り、この動作は、ＡＬＰＲを用いて２つのポイントで車両を特定し、その後、ナンバープレートの数字がきっちりと一致したことを確認することよりも精度がある。

例示的な実施形態では、車両の照合は、シグニチャーを照合することにより行われる。シグニチャーとは、車両、またはその一部を表す一連の値である。同じ車両で２回発生するシグニチャーは、２つの異なる車両のシグニチャーよりも類似している。シグニチャー間の類似点が、事前に規定された閾値を超えた場合、２台の車両は、同じ身元を有すると考えられる。

この例示的なシグニチャーは、ナンバープレートの画像領域から計算された一連の視覚の特徴、例えば、フィッシャーベクトル（Ｆｉｓｈｅｒ Ｖｅｃｔｏｒ）から派生し得る。この場合、シグニチャー間の類似点は、ベクトルからベクトルへの類似点により計算可能である。その他の視覚のキューを用いて、車両製造および／または車両のモデルあるいはキズ（キズの形状、位置など）の存在などの車両の示差的な特徴などの視覚的な特徴を補完することができる。これらのキューの有効性は、取り込まれた画像内でその車をどの程度見ることができるかに部分的に依存する。

視覚シグニチャーを用いる１つの利点として、車両を特定しようと明示的に試みることなしに、２つのシグニチャーが同じ車両に対応しているか（していないか）に関して判定を行うことができることが挙げられる。例として、ポイントＹを通過して移動する車両ごとに、ポイントＹで計算されたシグニチャーとポイントＸでのシグニチャーとの間の一致部分を見つけようと試みることができる。一致部分が見つかると、それに関連するデータ（タイムスタンプなどの）を抽出し、使用して好適な条件を確認する。この処理全体を通して、この車両はシステムから見て匿名のままである。条件が満たされた場合にのみ、車両のＡＬＰＲによる特定が要求され対応する動作が起動する。

プライバシーを保護する局面に加えて、精度に関して、シグニチャーを直接照合する方式の方が、２つのＡＬＰＲの出力の照合する方式よりも堅牢である傾向があることが判明してきた。

図２には、実質的に図１に示した通り、動作可能な動作環境における、対象の識別子の遅延認識を行うための例示的なシステム１０が示されている。この説明では、車両の識別子は匿名となっている。

位置ＸおよびＹで、これらの位置に配置されたカメラなどの画像取り込み装置１６および１８により画像Ｉ_ＸおよびＩ_Ｙが取り込まれ、これらの画像Ｉ_ＸおよびＩ_Ｙの集合１２および１４をシステム１０が、例えば、ネットワークインターフェース１９を介して、入力として受け取る。これらの画像取り込み装置１６および１８を、それぞれの位置を通過する各車両の画像を自動的に取り込むよう設定することができる、あるいは、用途により車両のうちの何台かのみの画像を取り込むよう設定することができる。取り込まれた各画像Ｉ_ＸおよびＩ_Ｙには、例えば、２か所の位置の間の道路、バスルート、駐車のレーンなどの、予め規定された経路２４に沿って、２か所の位置ＸとＹの間を移動可能な車両２０および２２の少なくとも一部が含まれる。各画像取り込み装置１６および１８、または分離した情報取り込みコンポーネント２６および２８は、例えば、各タイムスタンプ、および／または、その他の種類の有効な情報などの画像のメタデータＭ_ＸおよびＭ_Ｙの形態で、各画像の取り込みに関連する情報３０および３２を取り込む。例示的な実施形態では、所与の車両に関して、画像Ｉ_Ｘ、およびそれに関連するメタデータＭ_Ｘが、画像Ｉ_Ｙ、およびそれに関連するメタデータＭ_Ｙよりも早い時間に取り込まれるように位置Ｘは位置Ｙから上流の経路上の位置に配置される。

このシステムはメモリ４０を含み、このメモリ４０には、画像１２と１４、およびそれらに関連するメタデータ３０と３２を処理するための命令４２が格納されている。プロセッサ４４は、メモリ４０と通信し命令４２を実行する。図示された命令４０には、シグニチャー計算コンポーネント４４、シグニチャー照合コンポーネント４６、情報処理コンポーネント４８、識別子認識コンポーネント５０、および、処理実施コンポーネント５２が含まれている。

簡単に説明すると、シグニチャー計算コンポーネント４４は、位置Ｘで取り込まれた各車両２０および２２の画像Ｉ_Ｘを入力として受信し、各画像Ｉ_Ｘから視覚シグニチャーＶ_Ｘ６２を抽出する。受信した画像１２が車両の大部分の場合、例えば、図３に示される通り、シグニチャー計算コンポーネント４４は、切り取りコンポーネントを含むことができ、この切り取りコンポーネントが受信画像１２から切り取られた画像６０を自動的に抽出する。この切り取られた画像６０には、関心の対象（例えば、ナンバープレートのナンバーを含む領域）が含まれると予測される。次いで、このシグニチャー計算コンポーネント４４は、例えば、切り取り領域の画素にのみ基づいて、視覚シグニチャーを計算し、計算された視覚シグニチャーＶ_Ｘをデータベース６４内に格納する。シグニチャーＶ_Ｘを計算した後、オリジナルの画像１２、および切り取られた画像６０は保持されることなく、メモリから削除される、あるいは暗号化された形態で暗号化画像６６として格納され得る。

視覚シグニチャーの計算の前、および／または、その最中ならいつでも、取り込まれた画像１２および６０に、縮小・拡大、傾き除去、画素解像度の削減、画像向上技術、カラーから白黒への変換などのいくつかの前処理を施すことができることは理解されよう。

例えば、切り取られた画像７０を生成し、そこから視覚シグニチャー７２を抽出することにより、シグニチャー計算コンポーネント４４、または分離シグニチャー計算コンポーネントは、同様に画像Ｉ_Ｙから視覚シグニチャーＶ_Ｙを抽出する。これらの視覚シグニチャーは、データベース６４、分離データベース、またはこのシステムの一時的なメモリ内に格納可能である。

シグニチャー照合コンポーネント４６が、それぞれの新しい視覚シグニチャーＶ_Ｙを伴ってデータベース６４にアクセスして、位置Ｘで以前に取り込まれた画像の車両に関して計算された視覚シグニチャーＶ_Ｘから１つ以上の一致したシグニチャーを特定する。シグニチャー照合コンポーネントは、最も一致している視覚シグニチャーＶ_Ｘ（Ｖ^＊と呼ぶ）をそれに関連するメタデータＭ_Ｘ（Ｍ^＊と呼ぶ）と一緒に検索する。

情報処理コンポーネント４８はテストを行って、Ｍ_ＹとＭ^＊との関数である条件が満たされているかどうかを判定する。例えば、コンポーネント４８は、Ｍ^＊とＭ_Ｙとの間の時間差に基づいて平均速度を計算する。テストが満たされている場合（例えば、テストの結果が陽性の場合）にのみ、情報処理コンポーネント４８は、識別子認識コンポーネント５２を呼び出し、テストが満たされたことを確認する情報７４を出力する。テストが満たされていない場合、識別子認識コンポーネント５０は、識別子の認識を行うための呼び出しを受け取らない。

識別子認識コンポーネント５０は、（テストが満たされたことを確認すると）画像Ｉ_Ｙ７０上で文字認識（ＡＬＰＲ）を行って、ナンバープレートの数字などの認識された車両の識別子に対応する文字シーケンス７６を生成する。その後、処理実施コンポーネント５２が、例えば、下記の出力のうちの１つ以上を含むことができる証拠パッケージ７８の出力など好適な動作を行うことができる。：シグニチャー照合コンポーネント（例えば、必要な場合、オリジナル画像Ｉ_Ｘを検索させることが可能な識別子）の出力、情報処理コンポーネントの出力７４、および識別子認識コンポーネントの出力７６。このパッケージ７８を、システム１０からネットワークインターフェース７９を介して出力することができ、かつ／または、さらなる処理のためにメモリ４０内に格納することもできる。この動作には、例えば、用途によりスピード違反チケット、車両通行料金の未払い、駐車券などの違反が発生したことの通知の自動生成も含まれ得る。

このシステム１０は、画像取り込み装置１６および１８などの外部装置と、電話線、ローカルエリアネットワーク、またはインターネットなどのワイドエリアネットワークなどの有線接続または無線接続８０を介して通信することができる。いくつかの実施形態では、画像取り込み装置からのデータ１２、３０、１４、３２が、中間サーバを介して、システム１０に転送される。システムのハードウェアの構成要素１９、４０、４４、７９は、データ／制御バス８２を介して通信可能である。

システム１０は、デスクトップコンピュータ、ラップトップコンピュータなどのＰＣ、パームトップコンピュータ、携帯デジタル端末（ＰＤＡ）、サーバコンピュータ、携帯電話、タブレットコンピュータ、ポケットベル、およびそれらの組み合わせ、または例示的な方法を行うための命令を実行可能なその他のコンピュータ装置などの１つ以上のコンピュータ装置８４上に常駐可能である。システム１０の一部が、２つ以上のコンピュータ装置に分配されてもよいことは理解されよう。例えば、画像１２に関する画像シグニチャーを装置８４から分割したコンピュータ装置で計算し、コンピュータ装置８４からアクセス可能なデータベース６４内に格納することが可能である。

ユーザに情報を表示するためのＬＣＤスクリーンまたはコンピュータモニタなどの１つ以上のディスプレイ装置８６と、テキストを入力するため、かつユーザの入力情報および命令の選択をプロセッサ４４に通信するためなどの、キーボード、あるいはタッチスクリーンまたは書き込み可能スクリーン、および／または マウス、トラックボールなどのカーソル制御装置などのユーザ入力装置８８と、入力／出力インターフェース７９を介してシステム１０は通信可能である。ディスプレイ装置およびユーザ入力装置は、クライアントコンピュータ装置９０の一部として示されているが、他の実施形態では、これらをコンピュータ８４に直接接続することもできる。

メモリ４０は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、磁気ディスクまたは磁気テープ、光ディスク、フラッシュメモリ、またはホログラフィックメモリなどのあらゆる種類の非一時的なコンピュータ可読媒体を表すことができる。ある実施形態では、メモリ４０には、ランダム・アクセス・メモリとリード・オンリ・メモリの組み合わせが含まれる。いくつかの実施形態では、プロセッサ４４およびメモリ４０を、単一のチップに組み合わせることができる。

ネットワークインターフェース１９および７９により、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）、すなわちインターネットなどのコンピュータネットワークを介した、このコンピュータとその他の装置との通信が可能となり、これらのインターフェース１９および７９は、変調器／復調器（モデム）、ルータ、ケーブル、および／またはイーサネット（登録商標）ポートを含むことができる。

単一コアのプロセッサ、デュアルコアのプロセッサ（または、より一般的に、マルチコアのプロセッサ）、デジタルプロセッサ、および協働する数値演算コプロセッサ、デジタル制御装置などとして様々なかたちでデジタルプロセッサ４４を具体化することができる。コンピュータ８４の動作の制御に加えて、デジタルプロセッサ４４は、図４に概説された方法を行うための、メモリ４０内に格納された命令を実行する。

図４を参照すると、図２のシステムを用いて実行することができる、遅延識別子認識に関する方法が示されている。この方法はＳ１００から始まる。

Ｓ１０２で、位置Ｘで取り込まれた各車両の第１の画像Ｉ_Ｘを受信する。

Ｓ１０４で、シグニチャー計算コンポーネント４４により、第１の画像Ｉ_Ｘから視覚シグニチャーＶ_Ｘが抽出される。

Ｓ１０６で、例えば、第１の画像取り込み装置１６内のメタデータ抽出コンポーネント２６、および／または情報処理コンポーネント４８により、取り込まれた第１の画像に関するメタデータＭ_Ｘを抽出する。

Ｓ１０８で、各第１の画像に関する視覚シグニチャーＶ_Ｘ、およびそれに関連するメタデータＭ_Ｘをデータベース６４に格納する。このデータベース６４は、位置Ｘを通過する多くの車両に関する、このようなデータを集めるために用いられる。後程、視覚シグニチャーＶ_Ｘに基づいて、情報Ｍ_Ｘを、例えば、この２つにリンクする索引を通して、検索できるように、各視覚シグニチャーＶ_Ｘは、それぞれの情報Ｍ_Ｘとリンクする。

そして、一連の各視覚シグニチャーＶ_Ｘは、後で取得される画像Ｉ_Ｙに関する一致候補とみなすことができる。いくつかの実施形態では、データベース６４を定期的に切り詰めて、例えば、所定の期間より長い間格納された、すなわち関連している可能性が少なくなった視覚シグニチャーＶ_Ｘ、およびそれに関連する情報Ｍ_Ｘを取り除くことができる。例えば、速度を確認するよう設計されたアプリケーションのケースでは、その後に車両画像が一致した場合でも、時間延滞の閾値が速度条件に対して長くなりすぎて一致しなくなる可能性があるため、データベースを１時間に１度あるいは１日に１度、切り詰めることができる。

Ｓ１１０で、例えば、画像Ｉ_Ｘを削除、あるいは暗号化することにより、オリジナルの（および、切り取られた）画像Ｉ_Ｘへのアクセスを制限、あるいは拒否することができる。

Ｓ１１２で、位置Ｙで取り込まれた各車両の第２の画像Ｉ_Ｙを受信する。

Ｓ１１４で、第２の画像Ｉ_Ｙから視覚シグニチャーＶ_Ｙを抽出する。

Ｓ１１６で、取り込まれた画像に関連するメタデータＭ_Ｙを抽出する。

Ｓ１１８で、視覚シグニチャーＶ_Ｙ、およびそれに関連するメタデータＭ_Ｙを、例えば、データベース６４、および／または、システム１０の一時的なメモリに格納する。各視覚シグニチャーＶ_Ｙは、それぞれの情報Ｍ_Ｙにリンクされる。

Ｓ１２０で、視覚シグニチャーＶ_Ｙごとに、同様の視覚シグニチャーＶ_Ｘに対するデータベース６４内の検索を行い、最も近い一致Ｖ^＊を特定する。いくつかのケースでは、類似点の閾値を確立することができ、この閾値に少なくとも一致していない画像シグニチャーを一致とはみなさない。

Ｓ１２２で、一致したシグニチャー（複数可）Ｖ^＊に関するメタデータＭ^＊を検索する。Ｓ１２４で、Ｍ_ＹおよびＭ^＊に基づく条件を含むテストを行って、テストが満たされるかどうかを判定する。

Ｓ１２６で、テストが満たされたことが確認された場合（テストが満たされた場合、およびその場合に限って）、次いで、この方法はＳ１２８に続き、例えば、Ｉ_Ｙ（および／またはＩ_Ｘ）に対して、ＡＬＰＲを実行することにより、この車両に関する識別子を認識する。そうでない場合には、この方法はＳ１３０に進み、テストされる画像シグニチャーＶ_Ｙがまだ存在すれば、この方法はＳ１２０に戻り、そうでない場合には、この方法はＳ１３２で終了する。

認識された識別子に基づいた情報７８が出力され、かつ／または、コンピュータで実施する処理でさらに用いられる場合、この方法はＳ１２８からＳ１３４に進むことができる。次いで、この方法はＳ１３０またはＳ１３２に進むことができる。

図４に示されている方法は、コンピュータ上で実行されるコンピュータプログラム製品内で実施可能である。このコンピュータプログラム製品には、制御プログラムが記録された（格納された）、ディスク、ハードドライブ、ＣＤ−ＲＯＭ、ＤＶＤ、またはその他の全ての光媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、あるいは、その他のメモリチップまたはカートリッジ、あるいは、コンピュータが読み出し使用可能な、その他の全ての非一時的な媒体などの非一時的なコンピュータ可読記録媒体が含まれ得る。

この例示的な方法は、１つ以上の汎用コンピュータ、専用コンピュータ（複数可）、プログラム済マイクロプロセッサ、またはマイクロ制御装置、および周辺集積回路の要素、あるいは図４に示されるフローチャートを実施可能な有限状態機械を実施可能な全ての装置上で実施可能である。

次に、このシステムおよび方法をさらに詳細に説明する。

画像およびメタデータの取り込み（Ｓ１０２、Ｓ１１２、Ｓ１０６、Ｓ１１６）
取り込まれた画像１２および１４（Ｉ_ＸおよびＩ_Ｙ）は、ＪＰＥＧ、ＧＩＦ、ＪＢＩＧ、ＢＭＰ、ＴＩＦＦなどの、あらゆる便利なファイル形式、または画像に対して用いられる、その他の普通のファイル形式でシステム１０により受信され得、かつ処理する前に、随意的に別の好適な形式に変換可能である。処理中、データメモリに入力画像を格納可能である。画像は、ビデオ画像などの画像のシーケンスから抽出された、写真または画像などの個々の画像でよい。一般に、入力された各デジタル画像には、画像を形成する画素のアレイに関する画像データが含まれている。画像データは、Ｌ^＊ａ^＊ｂ^＊、またはＲＧＢなどの一連の色分解ごとに、グレースケール値などの着色剤値を含むことができる、あるいは、異なる色を表すことができる別々の色空間で表すことができる。一般に、「グレースケール」とは、全ての単一のカラーチャネルの光学密度値のことを指し、（Ｌ^＊ａ^＊ｂ^＊、ＲＧＢ、ＹＣｂＣｒなど）で表される。この方法は、白黒（モノクロ）の画像に関しても適している。「色」という用語を用いて、色相、彩度、明度などの絶対色値、および色相、彩度、明度の差などの相対色値を含む、規定可能な全ての色の様態を指すことができるが、これらには限定されない。実施形態によっては、色とは、約８００ｎｍから２５００ｎｍの近赤外線（ＮＩＲ）領域などの電磁スペクトルの非視覚領域を指すこともできる。

所与の位置ＸおよびＹでの画像の取り込みは、全ての好適な方式で開始させることができる。ある実施形態では、ループセンサを局所的、例えば、地中に配置することができ、このループセンサが車両の存在を検知し、撮影（もしかすると、フラッシュ）を開始する。ある実施形態では、カメラ１６および１８が、画像のシーケンスを含むビデオを撮影し、動作検出アルゴリズムまたは対象検出アルゴリズム（または両方の組み合わせ）が用いられ、これらのアルゴリズムにより、画像シーケンス内の車両が検知され、それに応じて、このシーケンスから１枚の画像が選択される。車両検知技術は周知であり、例えば、米国特許第４，４３３，３２５号明細書、同第５，０８３，２００号明細書、同第５，５９２，５６７号明細書、同第５，８０９，１６１号明細書、同第５，９９５，９００号明細書、同第６，９９６，２５５号明細書、および米国特許公開番号第２０１４００６３２６３号明細書で開示されている。画像は、フルカラー、モノクロ、ＮＩＲ（近赤外線）、またはそれらの組み合わせの状態で取り込むことができる。

いくつかの実施形態では、駐車場などで、同じ画像取り込み装置を用いて、画像Ｉ_ＸおよびＩ_Ｙの両方を取り込むことができる。

関連するメタデータ３０および３２にはそれぞれ、所定の条件が満たされているかどうかの判定を下すことができるよう十分な情報が含まれ得る。１種類以上の異なる種類の情報を取得することができる。例として、タイムスタンプ、車両の現在速度、ＧＰＳの位置、支払状況、気象情報などの１種類以上の情報が挙げられる。

視覚シグニチャーの計算（Ｓ１０４、Ｓ１１４）
例示的な実施形態では、視覚シグニチャー６２および７２には、車両（または、車両の一部）を一意に特定するための十分な情報を含まれるが、これらの視覚シグニチャー６２および７２は、視点または照明条件のばらつきに対応するために十分に堅牢なものでなければならない。視覚シグニチャーを考慮するとき、オリジナル画像および識別子のどちらもその視覚シグニチャーから再構築できないよう、この視覚シグニチャーは構築される。

例示的な実施形態では、視覚シグニチャー６２および７２は、ナンバープレート、または少なくともナンバープレートの数字を含むその一部を包含する領域などの、識別子が含まれると予想される画像領域から抽出される。この領域を特定するために、画像の対応する部分を抽出する検知アルゴリズムを稼働させることができる。より大きな画像において、関心の領域を特定する方法は、例えば、米国特許公開番号第２０１３０１８２９０９号明細書、および米国特許出願第１３／５９２，９６１号明細書に記載されている。

関心の領域が特定されこの領域を含む切り取られた画像６０および７０が生成されると、切り取り領域上で視覚シグニチャー６２および７２を計算することができる。一般に、視覚シグニチャーとは、切り取られた画像の画素の統計的な表現形式のことである。例えば、グリッド上の１つのまたは複数のスケールに密集した、切り取られた画像の一連のパッチが抽出される。画像を区分すること、特定関心位置検知子を適用すること、規則的なグリッドとみなすこと、あるいは、簡単に画像のパッチをランダムにサンプリングすることなどにより、パッチを取得することができる。例示的な実施形態では、切り取られた画像全体、または少なくとも画像の一部、あるいは画像の大部分を覆った、随意的な複数のスケールの規則的なグリッド上でパッチを抽出する。例えば、少なくとも１０個のパッチ、または少なくとも２０個のパッチ、または少なくとも５０個のパッチが、それぞれの切り取られた画像から抽出される。各パッチには、少なくとも４０画素、または少なくとも１００画素、および１，０００，０００画素以上までの画素が含まれ得る。

パッチごとに、形状、色、および／または、階調（ＳＩＦＴ）の特徴などの低レベルの特徴が抽出される（Ｄ．Ｌｏｗｅによる「Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ」（２００４年ＩＪＣＶ）参照）。パッチに関して、抽出された低レベルの特徴の表現形式である、ベクトルまたはヒストグラムなどのパッチの記述子を生成する。全てのパッチの記述子に基づいて、その画像全体の視覚シグニチャーを生成する。具体的には、これらのパッチの記述子に対する数値が計算され、次いで、それらの数値が合計される。

各視覚シグニチャーは、Ｄ次元空間内の（切り取られた）画像の固定長のベクトル表現形式である。ある実施形態では、この視覚シグニチャーはフィッシャーベクトル（ＦＶ）に基づく。例えば、ＰｅｒｒｏｎｎｉｎおよびＤａｎｃｅによる、「Ｉｍｐｒｏｖｉｎｇ ｔｈｅ Ｆｉｓｈｅｒ ｋｅｒｎｅｌ ｆｏｒ ｌａｒｇｅ−ｓｃａｌｅ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（２００７年ＣＶＰＲ）、Ｐｅｒｒｏｎｎｉｎ、ＳａｎｃｈｅｚおよびＭｅｎｓｉｎｋによる、「Ｉｍｐｒｏｖｉｎｇ ｔｈｅ Ｆｉｓｈｅｒ ｋｅｒｎｅｌ ｆｏｒ ｌａｒｇｅ−ｓｃａｌｅ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」の１４３〜１５６ページ（２０１０年ＥＣＣＶ）、ＳａｎｃｈｅｚおよびＰｅｒｒｏｎｎｉｎによる、「Ｈｉｇｈ−ｄｉｍｅｎｓｉｏｎａｌ ｓｉｇｎａｔｕｒｅ ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ ｌａｒｇｅ−ｓｃａｌｅ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（２０１１年ＣＶＰＲ）、ならびに米国特許公開番号第２０１２００７６４０１号明細書、および同第２０１２００４５１３４号明細書を参照。訓練されたＧＭＭは、関心の範囲の中の全ての画像のコンテンツ（例えば、関心の範囲がナンバープレートの場合、全てのナンバープレートの画像）を記述することを目的とする。フィッシャーベクトルを合計することにより、フィッシャーカーネルの表現形式を生成することができる。Ｃｓｕｒｋａらの「ｂａｇ−ｏｆ−ｖｉｓｕａｌ−ｗｏｒｄｓ」表現、「Ｖｉｓｕａｌ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｗｉｔｈ Ｂａｇｓ ｏｆ Ｋｅｙｐｏｉｎｔｓ」（２００４年ＥＣＣＶ Ｗｏｒｋｓｈｏｐ）などの、その他の画像表現形式を用いることも可能である。

フィッシャーベクトルは、ナンバープレートの処理で見られる、光測定および幾何学のばらつきの範囲に対して堅牢さを示す。簡単に説明すると、フィッシャーベクトルは、局所的なパッチの記述子を集めて固定長の表現形式にすることで機能する。最初に、規則的なグリッド上の複数のスケールから抽出されたパッチからＳＩＦＴ記述子が抽出され、それらの次元数は主成分分析（ＰＣＡ）を用いて随意的に減らされる。提供された画像の集合から抽出されたパッチ記述子を用いて、ガウス混合モデル（ＧＭＭ）を推定することにより、視覚ボキャブラリー（ｖｉｓｕａｌ ｖｏｃａｂｕｌａｒｙ）を増やす。その他のアプローチでは、画像のパッチの局所的な記述子がクラスタに割り当てられる。例えば、視覚ボキャブラリーは、Ｋ平均クラスタリング分析を用いて、画像を訓練することにより抽出される局所的な記述子をクラスタリングすることで、前もって取得することができる。次いで、各パッチベクトルは、最も近いクラスタに割り当てられ、割り当てられたパッチベクトルのヒストグラムを生成することができる。その他のアプローチでは、上記のフィッシャーベクトルのケースで確率論的フレームワークが用いられる。例えば、ガウス混合モデル（ＧＭＭ）などの下部の生成モデルが存在し、そこから全ての局所的な記述子が放出されていると仮定すると、ベクトルの重み、すなわち、一連の（例えば、少なくとも５個または１０個の）混合モデルを形成するガウス関数の１つの重みにより、各パッチを特徴付けることができる。この場合、期待値最大化（ＥＭ）アルゴリズム用いて、視覚ボキャブラリーを推定することができる。いずれの場合でも、ボキャブラリー内の各視覚ワードは、一般的な低レベルの特徴のグループに対応する。これらの視覚ワードは、例えば、（デジタルよりもむしろ）視覚の対象（例えば、直線、曲線などの文字の特徴）、固有の背景（例えば、明るい面または暗い面など）などの種類などの中レベルの画像の特徴にそれぞれ（おおよそに）対応することができる。視覚シグニチャーに割り当てられる画像を考慮すると、それぞれに抽出された局所的な記述子が、前もって訓練されたボキャブラリーの中のその最も近い視覚ワードに割り当てられる、あるいは、確率的モデルの場合、全ての視覚ワードに確率的に割り当てられる。各視覚ワードの出現を合計することにより、ヒストグラムが計算される。このヒストグラムは、視覚シグニチャーとして機能することができる、あるいは、それに基づいて視覚シグニチャーを出力する生成モデルに入力される。

切り取られた画像に関する特別な情報を含めるため、この画像を、例えば、少なくとも３つの領域に分けることができ、パッチごとの数値を領域レベルで合計し、次いで、領域レベルの表現形式を鎖状につないで画像の表現形式を形成する。

例示的な視覚シグニチャーは、固定された次元Ｄを有する、すなわち、各画像の表現形式が同じ数の要素を有する。一般に、各画像の表現形式は、少なくとも３０個、または少なくとも６０個、または少なくとも１００個、または少なくとも５００個の次元、および１０００個以上の次元を有し、各次元がそれぞれの特徴値を有するが、これらをより少ない次元に減らすことができる。

一例として、低レベルの特徴には、パッチごとに１つのＳＩＦＴ記述子などの勾配特徴が含まれる。例えば、Ｌｏｗｅによる、「Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ」（２００４年、ＩＪＣＶ、ｖｏｌ．６０）を参照。ＳＩＦＴ特徴を用いるある説明例では、これらの特徴が、５つのスケールでの規則的なグリッド（１６画素ごとに）上の３２×３２画素のパッチから抽出される。これらの記述子の次元数を、１２８次元から３２次元に減らすことができる。その他の抽出可能な好適な局所的な記述子には、単純な９６次元の色の特徴が含まれ、この色の特徴では、パッチは４×４のサブ領域にさらに分割され、各サブ領域では、３つのチャネル（Ｒ、Ｇ、およびＢ）に関する平均と標準偏差が計算される。これらは単なる説明例であり、付加的な、および／または、その他の特徴を使用することもできる。下記の例では、ＧＭＭにおいて６４ガウシアン（Ｇａｕｓｓｉａｎｓ）の視覚ボキャブラリーが用いられ、平均パラメータに対する勾配だけを考慮する。切り取られた画像は４つの領域に分けられる（４本の垂直なストライプ）。その結果、３２×６４×４＝８，１９２次元のＦＶ表現形式となる。この表現形式には、従来の技術（局所性鋭敏型ハッシュ（ＬＳＨ）、直積量子化、主成分分析（ＰＣＡ）など）を用いて、索引をつけ圧縮して処理の速度を速くすることができる。

この視覚シグニチャーは、その視覚シグニチャーからの識別子の認識を認めないシグニチャーである。ＦＶなどの視覚シグニチャーは、それに対するオリジナル画像の再構築ができないという所望の特性を満たしており、したがって、その視覚シグニチャーからオリジナル画像（すなわち、ナンバープレートの数字）を回復させるための実行可能な方法がないため、オリジナル画像のハッシュ鍵として見ることができる。これは、集計処理の際に個々のパッチの身元が失われるためである。したがって、サービスオペレータが全ての車両の身元情報にアクセスしないで、開始する動作を引き起こす車両（例えば、制限速度を超えて走行する車両）の非常に小さい部分だけにアクセスするため、これによりプライバシーに対する懸念が小さくなる。パスワードを格納するために用いられるハッシュ関数と同様に、オリジナル画像を回復させるための唯一の方法は、全ての可能性のある画像と総当たりの照合を行うことである。

その他の例示的な画像の表現形式を計算する方法は、例えば、米国特許公開番号第２００３００２１４８１号明細書、同第２００７００５３５６号明細書、同第２００７０２５８６４８号明細書、同第２００８００６９４５６号明細書、同第２００８０２４０５７２号明細書、同第２００８０３１７３５８号明細書、同第２００９０１４４０３３号明細書、同第２００９０２０８１１８号明細書、同第２０１０００４０２８５号明細書、同第２０１０００８２６１５号明細書、同第２０１０００９２０８４号明細書、同第２０１０００９８３４３号明細書、同第２０１００１８９３５４号明細書、同第２０１００１９１７４３号明細書、同第２０１００２２６５６４号明細書、同第２０１００３１８４７７号明細書、同第２０１１００２６８３１号明細書、同第２０１１００４０７１１号明細書、同第２０１１００５２０６３号明細書、同第２０１１００７２０１２号明細書、同第２０１１００９１１０５号明細書、同第２０１１０１３７８９８号明細書、同第２０１１０１８４９５０号明細書、同第２０１２００４５１３４号明細書、同第２０１２００７６４０１号明細書、同第２０１２０１４３８５３号明細書、および同第２０１２０１５８７３９号明細書に開示されている。

格納（Ｓ１０８）
シグニチャー照合コンポーネント４６が、新しい画像Ｉ_ＹのシグニチャーＶ_Ｘと視覚シグニチャーＶ_Ｙとの間の一致が見つかったときにいつでも、関連するメタデータを戻すことができるように、このシグニチャー／メタデータの組（Ｖ_Ｘ，Ｍ_Ｘ）は、互いにリンクして、データベース６４に格納される。

アクセスの制限（Ｓ１１０）
オリジナルの画像Ｉ_Ｘおよび／またはＩ_Ｙへのアクセスの制御は、用途および／または、個人情報の使用を制限する現地のプライバシーに関する法律に依存し得る。いくつかのアプリケーションでは、シグニチャーの照合が正確であるという視覚の証拠が必要な場合のために、オリジナル画像を保持することが可能である。しかし、オリジナル画像は、許可された場合、例えば、車両のオーナー、または法執行機関、あるいは裁判所により承認を受けた場合に、承認されたユーザだけが、暗号化された画像を復号することができる暗号方式、例えば、公開鍵／非公開鍵方式、を用いて暗号化することができる。その他の実施形態では、画像シグニチャーが計算された後すぐに、オリジナル画像Ｉ_Ｘ、およびその全てのコピー／切り取られたバージョンをコンピュータのメモリから削除することができる。画像を取り込む間、およびシグニチャーを計算する間の時間に、人による取り込まれた画像へのアクセスを防ぐための予防策を講じることができる。いくつかの実施形態では、画像シグニチャーの計算を、画像取り込み装置１６および１８内でソフトウェアの構成要素を用いて行うことで、画像自体が傍受されてしまうことを避けることが可能である。

画像Ｉ_Ｘが削除される、または暗号化される場合、Ｓ１０６からＳ１２８（テストが満たされた場合）またはＳ１３０（テストが満たされなかった場合）のうちの少なくとも１つの前に、これを実行することができる。ある実施形態では、Ｓ１１２の前にＳ１１０を実行することができる。

視覚検索（Ｓ１２０）
クエリーの視覚シグニチャーＶ_Ｙを考慮すると、その最も近い一致（複数可）を求めてデータベース６４を検索する。使用する類似点の測定値は、用いられる視覚シグニチャーの種類に依存し得る。ＦＶに関する好適な類似点の測定値としてコサイン距離が示されてきた。しかし、ユークリッド距離およびマンハッタン距離などのその他の類似点の測定値も検討することができる。例えば、「ｉｎ ｔｈｅ ｂａｇ−ｏｆ」視覚ワード法などの、その他の種類の視覚シグニチャーに関する類似点の計算に、ユークリッド距離、ドット積、「ｃｈｉ^２」距離、「Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ」（ＫＬ）発散、「Ｊｅｎｓｅｎ−Ｓｈａｎｎｏｎ」発散などを用いることができる。

データベース６４内に格納される視覚シグニチャーＶ_Ｘの数が、十分に少ない場合（例えば、約数千の視覚シグニチャー）、最も近い一致Ｖ^＊を求める検索は網羅的な方法、すなわち、その視覚クエリーを全てのデータベースの入力と比較することにより行うことが可能である。データベース６４により大きな画像の数が含まれる場合には、この網羅的な検索は時間の浪費となり得る。このような場合、近接検索の技術を用いることができる。高次元ベクトルの近接検索に関する技術は、例えば、Ｊｅｇｏｕらによる「Ａｇｇｒｅｇａｔｉｎｇ ｌｏｃａｌ ｉｍａｇｅ ｄｅｓｃｒｉｐｔｏｒｓ ｉｎｔｏ ｃｏｍｐａｃｔ ｃｏｄｅｓ」（２０１２年、ＩＥＥＥ ＴＰＡＭＩ，３４（９）１７０４−１７１６）に開示されている。

フィッシャーベクトルは、フィッシャーカーネルの明示的な埋め込みであるため、このような２つの画像記述子Ｖ_ＸとＶ_Ｙの間の対応するコサインの類似点の測定値は、ドット積「Ｖ_Ｘ ^ＴＶ_Ｙ」となる。ナンバープレートの候補がデータベース内の全ての画像と比べられ、類似点が十分に高い場合、最も近い一致の身元が割り当てられる。

ある実施形態では、例えば、ベクトル空間に視覚シグニチャーを埋め込むための、計量を学習することにより得ることができる投影を適用することにより、視覚シグニチャー（例えば、ＦＶ）をより特徴的にすることができ、このベクトル空間では、類似点が実際の類似点（識別子を形成する文字のシーケンスに関して）に関する好適な指標となる。一例として、低ランクのＭａｈａｌａｎｏｂｉｓ計量を用いることができる。例えば、Ｒｏｄｒｉｇｕｅｚ−Ｓｅｒｒａｎｏらによる、「Ｄａｔａ−Ｄｒｉｖｅｎ Ｖｅｈｉｃｌｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｂｙ Ｉｍａｇｅ Ｍａｔｃｈｉｎｇ」（コンピュータ視覚（ＥＣＣＶ）ワークショップに関する第１２回ヨーロッパ会議、２０１２年１０月７〜１３日、のコンピュータサイエンスのレクチャーノートｖｏｌ．７５８４、ｐｐ ５３６〜５４５）を参照。また、例示的な埋め込み技術の明細書である米国特許出願番号第２０１４００５６５２０号明細書、同第１３／７５７，０１４号明細書、および同第１３／９０３，２１８号明細書を参照。具体的には、特に学習した投影と組み合わせたナンバープレートの画像の照合に、ＦＶが非常に適していることを実験的に示してきた。フィッシャーベクトルは、標準的なナンバープレートの照合のアプローチより優れたものとして下記にも示される。この標準的なアプローチでは、ＡＬＰＲを行い、次いでシーケンスを比較する。

メタデータの処理（Ｓ１２４）
情報処理コンポーネント４８は、２つの位置（２つより多い位置）で集められたメタデータに基づいて種々の計量を計算することができる。例えば、タイムスタンプとＧＰＳ座標を用いて、平均速度を推測することが可能である。この平均速度を閾値速度（例えば、最大制限速度）と比較して、制限速度を超えているかどうかを判定可能である。気象条件（例えば、検知された降雨または可視性）に関する情報の場合、これを用いて車両の平均速度が、通常掲示されている制限速度より遅い天候に関する速度制限を超えているかどうか判定可能である。

いくつかの用途では、「入口」で取り込まれた画像は「チケット」に関連する。したがって、メタデータには、チケットＩＤ、チケットステータス（支払い済、未払い）、支払金額、承認時間（例えば、支払金額に基づく）などが含まれ得る。例えば、ユーザが２時間駐車することを承認するためにチケットの支払いが行われていたが、そのユーザが４時間駐車をした場合、ペナルティと共に未払いの金額を随意的に計算することができる。この場合、Ｓ１２４で適用されたテスト条件で、計算された時間と承認された時間の間の関係を規定して、例えば、多少の余裕を認めることができる。例えば、５分、１０分、または１５分、あるいは承認時間の一定の割合などの少なくとも所定の量だけ計算された時間が承認された時間を超過した場合に、この条件によりテストが満たされたことを規定することができる。

このテストには、複数の条件が含まれ得、所与のテストが満たされるためには、そのテストは、その１つ以上の条件（または全ての条件）が満たされることが必要であり得ることは理解されよう。いくつかのケースでは、条件を選択的に評価することが可能である。例えば、ある条件では、次のように規定することができる。：条件１が満たされた場合、条件２をテストする、そうでない場合には、条件３をテストする。異なる条件が、メタデータの同じ部分、またはメタデータの異なる部分に依存し得る。例えば、ある条件は、その日の／その週の日の天候または時間に関連し得、別の条件は、計算された車両の速度、駐車場に停められた長さなどに関連する。

ＡＬＰＲ（Ｓ１２８）
Ｓ１２４において、メタデータ上で行われたテストが陽性の場合にのみ（例えば、掲示される制限速度より速い速度、支払金額に対応しない駐車時間、チケットの支払いを行わないで駐車場を出る場合）、識別子が認識され、例えば、ＡＬＰＲが実行される。このＡＬＰＲは、切り取り処理、またはその他の処理の前後に、画像Ｉ_Ｙ上で実行することができる。例えば、切り取られた画像７０に基づいて、ナンバープレートの数字を認識するために、全ての好適なＡＬＰＲシステムを用いることができる。複数の位置Ｙで画像Ｉ_Ｙがビデオシーケンスとして取得される場合、それらは画像Ｉ_Ｙと同じものとみなされる。

ナンバープレートの数字の認識の場合、この識別子（時として、位置合わせ識別子と呼ばれる）は、文字と数字などの予め規定されたアルファベットから書かれた文字のシーケンス（文字の有限集合）を含む。ナンバープレートの数字は、その車両を一意に特定する、発行地域のデータベース内の数字または英数字コードでよく、このナンバープレートの数字はその車両に取り付けられる。

ナンバープレート認識コンポーネント５０は、光学文字認識（ＯＣＲ）を単独で、あるいは、その他の技術と組み合わせて用いて、切り取られた画像７０内の文字に対応すると予測される有限アルファベットで書かれた文字のシーケンスを特定することができる。有限アルファベット内の空間および文字以外のものは無視することができる。いくつかの実施形態では、認識コンポーネント５０は、発行の状態などの付加的な文字情報を抽出することができる。格納されたロゴのデータベースからのロゴを認識することもできる。

ナンバープレートの数字およびナンバープレートの画像は例示のためだけのものであり、例示的な実施形態を説明するために用いられていることは言うまでもない。その他の実施形態では、ＡＳＣＩＩ、ＵＮＩＣＯＤＥ、および／または、ＵＴＦ−８の文字のより大きな集合をアルファベットとして用いることができる。

使用可能なナンバープレート認識の方法は、例えば、上記の米国特許公開番号第２０１３０１２９１５１号明細書、同第２０１３０１２９１５２号明細書、同第２０１３０１８２９０９号明細書、および同第２０１３０２５９３１４号明細書、および米国特許出願第１３／５９２，９６１号明細書、同第１３／７５７，０１４号明細書、同第１３／８３６，３１０号明細書、および同第１３／９０３，２１８号明細書、およびＪ−Ａ内の、Ｒｏｄｒｉｇｕｅｚ−Ｓｅｒｒａｎｏ，Ｈ．Ｓａｎｄｈａｗａｌｉａ，Ｒ．Ｂａｌａ，Ｆ．Ｐｅｒｒｏｎｎｉｎ、およびＣ．Ｓａｕｎｄｅｒｓによる「Ｄａｔａ−Ｄｒｉｖｅｎ Ｖｅｈｉｃｌｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｂｙ Ｉｍａｇｅ Ｍａｔｃｈｉｎｇ（コンピュータ視覚（ＥＣＣＶ）ワークショップに関する第１２回ヨーロッパ会議、２０１２年１０月７〜１３日、のコンピュータサイエンスのレクチャーノートｖｏｌ．７５８４、ｐｐ ５３６〜５４５）に開示されている。ある実施形態では、Ｘｅｒｏｘ社製のナンバープレート認識（ＸＬＰＲ）ソフトウェアが用いられている。

動作（Ｓ１３４）
処理実施コンポーネント５２により開始される動作は、用途の種類に依存し得る。ナンバープレートの場合、引き起こされた動作は、Ｓ１２８で特定されたそれぞれのナンバープレートの数字に関連する（例えば、違反者の告訴、パーキングオペレータの警告、駐車違反の罰金の送金など）。

不完全な一致の説明
いくつかの実施形態では、視覚シグニチャー照合コンポーネント４６が、１００％の精度を発揮することを前提とした方が都合いい。このような場合、次のような動作を実行することができる。

１．位置Ｘで、シグニチャーが計算された後、位置Ｘで取り込まれた全ての画像を破棄することができる。

２．位置Ｙで、Ｓ１２６の後、非違反車両の全ての画像およびシグニチャーを破棄することができる。

しかし、実際には１００％の精度がいつも可能であるとは限らない。例えば、次のような失敗の原因が見受けられ得る。第１に、例えば、最も近い一致の信頼性が低すぎるために、Ｓ１２２で、視覚シグニチャー照合コンポーネント４６がときどき結果を戻さない。このような場合、ステップＳ１２４およびＳ１２６などは単純に実行されない。このことは、Ｖ^＊として検索されたはずの対応するシグニチャーが、ひょっとすると無制限に、データベース内に残ったままになることを意味する。２度と必要とされ得ないシグニチャーでデータベース内が一杯になることを避けるために、このデータベースは、定期的にパージ処理を行って、例えば、最も古い項目が所定の長さの時間よりも長くシステム内に駐在した場合、その項目を取り除くことができる。Ｓ１２４でテストされた条件が、所定の長さの時間経過した後満たされない場合（例えば、計算された速度がもはや制限速度を超過し得ない場合）、特定の条件を満たすことができないシグニチャーＶ_Ｘをパージ処理することができる。

第２の失敗の原因は偽陽性である。つまり、シグニチャー照合コンポーネント４６が 、所定の信頼性の閾値より高い信頼性で不正確な結果を戻してしまう可能性があることである。これにより、車両のオーナーが誤って駐車違反チケット／スピード違反チケットを受けてしまう、またはその他の実行される、動作を受けてしまう恐れがある。このような場合、そのエラーに気が付いた人間のオペレータが、そのようなエラーを修正できることが確実であることが所望され得る。例えば、車両のドライバ、サービスプロバイダ、法律の執行当局が、システムに異議を申し立てる手順を確立することができる。失敗が発生したことの立証をアシストするために、画像Ｉ_Ｘをデータベースに格納することができ（例えば、暗号化形式で）、かつＩ_ＸおよびＩ_Ｙの両方を証拠パッケージに含ませることができる。そして、この証拠パッケージをＳ１３４で出力する。画像は非暗号化形式で格納することができるが、Ｘを通過したが、まだＹを通過していない関係者以外の人間が、データベース内の画像を目で見て検査することによって、ユーザの身元へのアクセスができてしまうリスクが残る。この問題に対処するために、例えば、各画像（および／または、切り取られた画像）を公開鍵で暗号化することにより、画像を暗号化形式で格納することができる。証拠パッケージ７８にアクセスする承認を受けた人（例えば、法の役人）だけが、画像を復号するために必要な非公開鍵にアクセスすることができる。

例示的なシステムの使用
例示的なシステムおよび方法が、用いられる用途の例として以下のものが含まれる。：

１．ポイントからポイントの取り締まり、例えば、中間範囲／長い範囲での速度の取り締まり。

２．駐車場の出入り口の監視。車両が駐車場を出るとき、シグニチャー照合コンポーネント４６が、その視覚シグニチャーを入口のトランザクションと関連付ける。チケットが入口で顧客に渡されると想定すると、メタデータにはタイムスタンプ、チケット番号、およびそのチケットに関する支払状況が含まれ得る。出口で、Ｓ１２４でのメタデータの処理により、チケットが支払われ、かつ支払金額が正確な時間に対応しているかが確認される。チケットが出入り口で同じ車に関連しているかを確認して、チケットが交換されることを避けることも可能である。壁のある駐車場では、オペレータが行って問題を解決するよう警告を出すことができる。壁のない駐車場では、罰金を顧客に送ることができる。

３．自動通行料金徴収：これには、自動支払のための銀行口座／クレジットカード（ドライバが加入している）に車両ＩＤを関連付けることが含まれ得る。

４．違反の取り締まり：これには、告訴のために車両オーナーの身元に車両ＩＤを関連付けることが含まれ得る。

５．駐車場管理：これには、発行されるパーキングチケットに車両ＩＤを関連付け、駐車場の出口で壁を自動的に開く、あるいは加入している顧客の口座に車両ＩＤを関連付け、全ての壁を自動的に開くことが含まれ得る。

６．交通量分析／データマイニング：これには、同時に存在する車両ＩＤを追跡して移動時間を測定し、移動パターンなどを分析することが含まれ得る。

例示的な実施形態の範囲を制限することを意図しないで、この方法をナンバープレートの認識に適用する例について以下に説明する。

画像照合（フィッシャーベクトルを用いた、例示的な視覚シグニチャーを用いた）の精度を、駐車場の出入り口の位置で同じ車両を特定する方法として評価した。出入りに関連する正確な数をカウントした。図５に示されるプロットには、精度を無視した２つの従来のＡＬＰＲシステム（ＡＬＰＲ１およびＡＬＰＲ２で示される）を用いたシグニチャー照合の特性が比較されている。視覚シグニチャーの照合の方法では、入口と出口で約９６％を正確に関連付ける。これとは対照的に、各画像で特定された文字のシーケンスがきっちりとした一致することに依存するＯＣＲシステムでは、９０％より下の精度を有する結果しか産み出さない。厳密ではないＯＣＲ照合を適用することにより、シグニチャーの照合の方法と同様の精度を産み出すが、ナンバープレートの数字が細かい場合、厳密ではない照合を行うことは可能ではない。

図６は、この評価で用いられた駐車場で取り込まれたデータを実演したスクリーンショットである。このスクリーンショットには、シグニチャーの照合とＡＬＰＲベース（ＯＣＲ）の照合により読み出された、駐車場の出口で取り込まれた画像と、それに関連する入口での画像が表示されている。両方の方法で同じ画像を読み出したが、この場合平均で、この視覚シグニチャーの照合システム（３．４１％）よりも多くのエラー（１１．２％）がＡＬＰＲシステムで発生した。それに加えて、この視覚シグニチャーの照合の方法を最適化させて、照明などの要因を考慮することができる。

Claims (10)

1. 識別子を認識する方法であって、
   複数の対象ごとに、第１の位置で取り込まれた前記対象の第１の画像の少なくとも一部から抽出された第１の視覚シグニチャー、および取り込まれた前記第１の画像に関連する第１の情報を格納するステップと、
   第２の位置で取り込まれた第２の対象の第２の画像の少なくとも一部から抽出された第２の視覚シグニチャーと、前記第１の視覚シグニチャーのうちの少なくともいくつかとの間の類似点の測定値を計算して、計算された前記類似点の測定値に基づいて、前記第１の視覚シグニチャーのうち前記第２の視覚シグニチャーと前記測定値が最も近い一致を示したものを特定するステップと、
   前記第１の視覚シグニチャーのうちの前記最も近い一致を示したものに関連する格納された前記第１の情報、および取り込まれた前記第２の画像に関連する格納された第２の情報を検索するステップと、
   検索された前記第１の情報と検索された前記第２の情報との関数である、条件を満たすか否かを判断するためのテストを行うステップと、
   前記条件を満たしたことが確認されると、前記第２の画像に基づいて、前記第２の対象の識別子の認識を提供するステップと
   を含む方法。
2. 前記複数の対象ごとに、
   前記第１の位置で取り込まれた前記対象の前記第１の画像、および取り込まれた前記第１の画像に関連する前記第１の情報を受信するステップと、
   前記第１の画像の少なくとも一部に基づいて、前記第１の視覚シグニチャーを抽出するステップと、
   前記第１の視覚シグニチャー、および前記第１の画像に関連する前記第１の情報を格納するステップと
   をさらに含む請求項１に記載の方法。
3. 前記第１の視覚シグニチャーを抽出した後で、少なくとも前記識別子の前記認識の前に、各第１の画像を削除または暗号化するステップをさらに含む請求項２に記載の方法。
4. 前記第２の位置で取り込まれた前記第２の対象の前記第２の画像、および前記第２の画像に関連する前記第２の情報を受信するステップと、
   前記第２の画像の少なくとも一部に基づいて、前記第２の視覚シグニチャーを抽出するステップと、をさらに含む請求項１に記載の方法。
5. 前記第１の視覚シグニチャーおよび前記第２の視覚シグニチャーはそれぞれ、各前記画像の少なくとも一部の画素の特徴の多次元のベクトル表現形式を含む、請求項１に記載の方法。
6. 各対象には車両が含まれ、各識別子にはひと続きの文字が含まれる、請求項１に記載の方法。
7. 前記識別子の前記認識には、前記第１の画像または前記第２の画像上で自動ナンバープレート認識を行うことが含まれる、請求項６に記載の方法。
8. 前記第１の情報には、第１のタイムスタンプが含まれ、前記第２の情報には、前記第１のタイムスタンプより後の時間である、第２のタイムスタンプが含まれる、請求項１に記載の方法。
9. 前記認識された識別子に基づいて、違反者の告訴、パーキングオペレータの警告、駐車違反の罰金の送金のうちの少なくとも１つを含む処理を実施するステップをさらに含む請求項１に記載の方法。
10. 識別子を認識するシステムであって、
    複数の対象ごとに、
    第１の位置で取り込まれた前記対象の第１の画像の少なくとも一部から抽出された第１の視覚シグニチャー、および前記第１の視覚シグニチャーに関連する第１の情報と、
    第２の位置で取り込まれた前記対象の第２の画像の少なくとも一部から抽出された第２の視覚シグニチャー、および前記第２の視覚シグニチャーに関連する第２の情報と
    を格納するメモリと、
    前記第２の視覚シグニチャーのうちの１つと前記第１の視覚シグニチャーのうちの少なくともいくつかとの間の類似点の測定値を計算して、計算された前記類似点の測定値に基づいて、第１の視覚シグニチャーのうち前記第２の視覚シグニチャーと前記測定値が最も近い一致を示したものを特定するシグニチャー照合コンポーネントと、
    前記第１の視覚シグニチャーのうちの最も近い一致を示したものに関連する検索された前記第１の情報と、前記第２の視覚シグニチャーのうちの前記１つに関連する前記第２の情報との関数である、条件を満たすか否かを判断するためのテストを行う情報処理コンポーネントと、
    前記条件を満たしたことが確認されると、前記第２の画像に基づいて、前記対象のうちの１つの識別子を認識する識別子認識コンポーネントと、
    前記シグニチャー照合コンポーネント、前記情報処理コンポーネント、および前記識別子認識コンポーネントを実装するプロセッサと
    を含むシステム。
    

Images