JP2023516502A - 画像ベースの場所決定及び駐車モニタリングのためのシステム及び方法 - Google Patents

Abstract

実施形態は、画像処理動作によって、都市部における駐車モニタリングのためのシステム、方法、及びコンピュータ可読媒体に関する。実施形態は、都市部の画像を捕捉することと、場所及び駐車条件を決定するために、捕捉画像を参照画像と比較することとによって駐車モニタリングを行う。実施形態は、駐車条件に対する車両の順守を決定するために、捕捉画像を処理して、ナンバープレート、車両、又は駐車標識を検出する。

Description

技術分野
[0001] 実施形態は、場所推定又は決定のためのシステム及び方法に関する。実施形態は、画像ベースの場所推定又は決定のためのシステム及び方法に関する。実施形態は、駐車モニタリングのために、画像ベースの場所推定又は決定を使用するシステム及び方法にも関する。

背景
[0002] 全地球測位システム（ＧＰＳ）技術は、ＧＰＳ受信機と通信するＧＰＳ専用衛星との通信によって、場所の決定を支援する。各ＧＰＳ衛星は、現在の時刻及びその位置に関するデータを含む電波信号を継続的に送信する。衛星が信号を送信した時と、受信機がそれを受信した時との間の時間遅延は、衛星から受信機までの距離に比例する。ＧＰＳ受信機は、複数の衛星をモニタリングし、受信機の厳密な位置、及び実際の時刻からのずれを決定するために式を解く。正確な場所情報を得るために、ＧＰＳ受信機が４つの未知数（３つの位置座標及び衛星時刻からのクロックのずれ）を計算するために、４つの衛星がＧＰＳ受信機の視野内に存在しなければならない。

[0003] ＧＰＳベースの場所推定は、ＧＰＳ受信機の位置を正確に特定するために、少なくとも４つの衛星に対して、遮るもののない見通し線を必要とする。ＧＰＳ衛星に対する不十分な接続性、又は４つ未満のＧＰＳ衛星への接続性は、ＧＰＳに基づいた場所の決定の不正確さにつながる。ＧＰＳ衛星への接続性は、地磁気嵐などの極端な大気条件によっても影響を受け得る。壁、建物、超高層ビル、及び木などの障害物は、ＧＰＳ受信機の見通し線を遮る場合があり、それによって、不正確な場所推定がもたらされる。超高層ビル又は木などの幾つかの障害がある都市の一部などの幾つかの障害が存在するエリアでは、ＧＰＳ場所情報は、信頼性を欠く、又は不正確な場合がある。

[0004] 本明細書に含まれる文献、行為、材料、デバイス、又は物品などの何れの記述も、これらの物の何れか又はすべてが、先行技術の基礎の一部を形成すること、又は本出願の各クレームの優先日前にそれが存在したため、本開示に関連した分野において共通の一般知識であったと認めるものと解釈されるものではない。

[0005] 本明細書全体を通して、「含む（comprise）」という言葉、又は「comprises」若しくは「comprising」などのバリエーションは、記述された要素、整数値、若しくはステップ、又は一群の要素、整数値、若しくはステップの包含を意味するが、その他の要素、整数値、若しくはステップ、又は一群の要素、整数値、若しくはステップの排除は意味しないことが理解されるだろう。

概要
[0006] 幾つかの実施形態は、都市部における駐車モニタリングのためのシステムであって、システムが、
少なくとも１つのカメラであって、少なくとも１つのカメラが、都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
捕捉画像を受信するために、少なくとも１つのカメラと通信するコンピューティングデバイスと、を含み、
コンピューティングデバイスが、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、
メモリが、参照背景画像及び各参照背景画像のメタデータのライブラリを含み、メタデータが、駐車場所情報及び駐車条件情報を含み、
メモリが、
第１の捕捉画像内のターゲット車両に対応したナンバープレート番号を決定するために、第１の捕捉画像を処理することと、
マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、第２の捕捉画像を処理することと、
マッチする参照背景画像のメタデータに基づいて、ターゲット車両の識別された駐車場所及び少なくとも１つの駐車条件を決定することと、
決定された少なくとも１つの駐車条件に対するターゲット車両の順守を決定することと、
を行うように少なくとも１つのプロセッサを構成するための、少なくとも１つのプロセッサによって実行可能なプログラムコードを保存する、システムに関する。

[0007] 幾つかの実施形態では、第１の捕捉画像は、第２の捕捉画像と同じ捕捉画像である。

[0008] 都市部における駐車モニタリングのためのシステムであって、システムが、
少なくとも１つのカメラであって、少なくとも１つのカメラが、都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
捕捉画像を受信するために、少なくとも１つのカメラと通信するコンピューティングデバイスと、を含み、
コンピューティングデバイスが、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、
メモリが、参照背景画像及び各参照背景画像のメタデータのライブラリを含み、メタデータが、駐車場所情報を含み、
メモリが、
捕捉画像の少なくとも１つにおける駐車指標を識別するために、駐車指標検出機械学習モデルを使用して捕捉画像を処理することと、
駐車指標の識別時に、捕捉画像の１つにマッチする、マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、捕捉画像を処理することと、
マッチする参照背景画像に関連付けられたメタデータに基づいて、駐車場所を決定することと、
識別された駐車指標に基づいて、駐車条件を決定することと、
ターゲット車両に対応したナンバープレート番号を決定するために、捕捉画像を処理することと、
決定された駐車条件に対するターゲット車両の順守を決定することと、
を行うように少なくとも１つのプロセッサを構成するための、少なくとも１つのプロセッサによって実行可能なプログラムコードも含む、システムに関する。

[0009] 幾つかの実施形態では、ターゲット車両に対応したナンバープレート番号は、ナンバープレート検出機械学習モデルを使用して決定される。

[0010] 幾つかの実施形態では、駐車指標は、駐車標識又はナンバープレートを含み、駐車指標検出機械学習モデルは、捕捉画像内の駐車標識又はナンバープレートを検出する。

[0011] 幾つかの実施形態では、メモリは、各参照背景画像に関連付けられた駐車外周メタデータをさらに含み、少なくとも１つのプロセッサは、
捕捉画像の１つにおけるターゲット車両に対応した画像部分を識別するために、少なくとも１つの捕捉画像を処理することと、
マッチする参照背景画像に関連付けられた駐車外周メタデータ、及びターゲット車両に対応した画像部分に基づいて、決定された駐車条件に対するターゲット車両の順守を決定することと、
を行うようにさらに構成される。

[0012] 幾つかの実施形態では、ターゲット車両に対応した画像部分は、車両検出機械学習モデルを使用して識別される。

[0013] 幾つかの実施形態では、背景マッチングモジュールは、背景特徴抽出器ニューラルネットワークを含み、少なくとも１つのプロセッサは、
背景特徴抽出器ニューラルネットワークを使用して、少なくとも１つの捕捉画像から背景記述子を抽出することと、
抽出された背景記述子に基づいて、背景画像のライブラリから１つ又は複数の候補マッチング画像を選択することと、
マッチする参照背景画像を選択するために、少なくとも１つの捕捉画像と候補マッチング画像との間で幾何学的マッチングを行うことと、
によって、マッチする参照背景画像を識別するようにさらに構成される。

[0014] 幾つかの実施形態では、幾何学的マッチングは、ランダムサンプルコンセンサスプロセスを使用して行われる。

[0015] 駐車場所情報は、街路名及び番地を含んでもよく、又は駐車場所情報は、街路名、番地、及び駐車区画識別子を含んでもよく、又は駐車場所情報は、駐車場所に関連付けられた経度座標及び緯度座標を含んでもよい。

[0016] 幾つかの実施形態では、１つ又は複数のカメラは、監視車両に取り付けられ、
コンピューティングデバイスは、監視車両によって運ばれ、及び
システムは、コンピューティングデバイスとリモートコンピュータシステムとの間の無線通信を可能にするための通信モジュールをさらに含む。

[0017] 幾つかの実施形態は、監視車両が都市部を移動するときに駐車モニタリングをリアルタイムで行うように構成される。

[0018] 幾つかの実施形態では、システムは、少なくとも２つのカメラを含み、監視車両の両側で駐車モニタリングを行うために、少なくとも１つのカメラが、監視車両のそれぞれの側に位置決めされる。

[0019] 幾つかの実施形態では、システムは、少なくとも２つのカメラを含み、両方のカメラが、監視車両の片側で画像を捕捉するように位置決めされ、背景マッチングモジュールは、マッチする参照背景画像を識別するために、少なくとも２つのカメラのそれぞれからの捕捉画像を使用して背景マッチングを行うように構成される。

[0020] 幾つかの実施形態は、監視車両が都市部を移動する際の捕捉画像にわたりターゲット車両を追跡するようにさらに構成される。

[0021] 幾つかの実施形態は、通信モジュールを介して、決定された駐車条件に対するターゲット車両の決定された順守、ターゲット車両に対応した決定されたナンバープレート番号、決定された駐車場所、又はターゲット車両の捕捉画像の１つ又は複数をリモートコンピュータシステムに送信するようにさらに構成される。

[0022] 幾つかの実施形態では、ナンバープレート検出機械学習モデルは、ターゲット車両のナンバープレートに対応した捕捉画像の部分を識別するように構成され、及びナンバープレート番号は、文字認識モジュールによって、ナンバープレートに対応した捕捉画像の部分の処理に基づいて決定される。

[0023] 幾つかの実施形態では、駐車条件は、文字認識モジュールを使用して、識別された駐車標識に対応した少なくとも１つの捕捉画像の部分を処理することによって認識された文字に基づいて決定される。

[0024] 幾つかの実施形態では、少なくとも１つの参照背景画像は、駐車区域開始場所に関し、及び別の少なくとも１つの参照背景画像は、駐車区域終了場所に関し、識別された少なくとも１つの駐車条件に対するターゲット車両の順守の決定は、識別された駐車場所と、駐車区域開始場所との間の距離、又は識別された駐車場所と、駐車区域終了場所との間の距離に基づく。

[0025] 幾つかの実施形態は、メモリと通信する少なくとも１つのプロセッサを含むコンピューティングデバイスによって行われる駐車モニタリングのためのコンピュータ実装方法であって、メモリが、参照背景画像のライブラリを含み、方法が、
コンピューティングデバイスと通信するカメラによって捕捉された都市部の画像を受信することと、
少なくとも１つの捕捉画像内の１つ又は複数の駐車指標を識別するために、駐車指標検出機械学習モデルを使用して捕捉画像を処理することと、
少なくとも１つの捕捉画像内の少なくとも１つの駐車指標の識別時に、マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、少なくとも１つの捕捉画像を処理することと、
マッチする参照背景画像に基づいて、駐車場所を決定することと、
決定された駐車場所、又は識別された１つ又は複数の駐車指標に基づいて、駐車条件を決定することと、
少なくとも１つの捕捉画像内のターゲット車両に対応したナンバープレート番号を決定するために、少なくとも１つの捕捉画像を処理することと、
決定されたナンバープレート番号及び決定された駐車条件に基づいて、決定された駐車条件に対するターゲット車両の順守を決定することと、
を含む、コンピュータ実装方法に関する。

[0026] 幾つかの実施形態は、場所決定のためのシステムであって、システムが、
少なくとも１つのプロセッサと、少なくとも１つのプロセッサにアクセス可能なメモリと、を含むコンピューティングデバイスを含み、
メモリが、参照背景画像及び各参照背景画像のメタデータのライブラリを含み、メタデータが、場所情報を含み、
メモリが、
リモートコンピューティングデバイスから入力画像データを受信することであって、入力画像データが、決定されるべき場所でリモートコンピューティングデバイスによって捕捉された少なくとも１つの画像の画像データを含む、受信することと、
マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、受信した入力画像データを処理することと、
ライブラリ内のマッチする参照背景画像のメタデータに基づいて、入力画像データに対応した場所情報を決定することと、
決定された場所情報をリモートコンピューティングデバイスに送信することと、
を行うように少なくとも１つのプロセッサを構成するための、少なくとも１つのプロセッサによって実行可能なプログラムコードを保存する、システムに関する。

[0027] 幾つかの実施形態では、背景マッチングモジュールは、背景特徴抽出器ニューラルネットワークを含み、少なくとも１つのプロセッサは、
背景特徴抽出器ニューラルネットワークを使用して、少なくとも１つの捕捉画像から背景記述子を抽出することと、
抽出された背景記述子に基づいて、背景画像のライブラリから１つ又は複数の候補マッチング画像を選択することと、
マッチする参照背景画像を選択するために、少なくとも１つの捕捉画像と候補マッチング画像との間で幾何学的マッチングを行うことと、
によって、マッチする参照背景画像を識別するようにさらに構成される。

[0028] 幾つかの実施形態では、幾何学的マッチングは、少なくとも１つの捕捉画像と候補マッチング画像のそれぞれとにおいて、共通の視覚的特徴を識別することを含む。

[0029] 幾つかの実施形態では、幾何学的マッチングは、ランダムサンプルコンセンサスプロセスを使用して行われる。

[0030] 幾つかの実施形態では、背景特徴抽出器ニューラルネットワークは、少なくとも１つの捕捉画像内の１つ又は複数の静止した特徴に対応した背景記述子を抽出するように訓練される。

[0031] 幾つかの実施形態では、メモリは、
リモートコンピューティングデバイスから入力画像に対応したＧＰＳデータを受信することであって、ＧＰＳデータが低データ品質指標を含む、受信することと、
決定された場所情報に基づいて、ＧＰＳ訂正信号を生成することと、
ＧＰＳ訂正信号をリモートコンピューティングデバイスに送信することと、
を行うように少なくとも１つのプロセッサをさらに構成するための、少なくとも１つのプロセッサによって実行可能なプログラムコードを保存する。

[0032] 幾つかの実施形態は、都市部における場所決定のための車両搭載システムであって、システムが、
少なくとも１つのカメラであって、少なくとも１つのカメラが、都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
捕捉画像を受信するために、少なくとも１つのカメラと通信するコンピューティングデバイスであって、コンピューティングデバイスが、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、メモリが、参照背景画像のライブラリを含む、コンピューティングデバイスと、
を含み、
メモリが、
少なくとも１つの捕捉画像から背景記述子を抽出することと、
抽出された背景記述子に基づいて、背景画像のライブラリから１つ又は複数の候補マッチング参照画像を選択することと、
単一のマッチする参照背景画像を選択するために、少なくとも１つの捕捉画像と１つ又は複数の候補マッチング参照画像との間で幾何学的マッチングを行うことと、
単一のマッチする参照背景画像に基づいて、車両の場所を決定することと、
を行うように少なくとも１つのプロセッサを構成するための、少なくとも１つのプロセッサによって実行可能なプログラムコードを含む、車両搭載システムに関する。

[0033] 幾つかの実施形態では、メモリは、各参照背景画像に対応した場所メタデータをさらに含み、及び車両の場所は、単一のマッチする参照背景画像に対応した場所メタデータに基づいて決定される。

[0034] 幾つかの実施形態では、背景記述子は、背景特徴抽出器ニューラルネットワークを使用して、少なくとも１つの捕捉画像から抽出される。

[0035] 幾つかの実施形態では、場所を決定することは、リアルタイムで行われる。

[0036] 幾つかの実施形態は、車両の場所を決定するためのコンピュータ実装方法であって、方法が、メモリと通信する少なくとも１つのプロセッサを含む車両搭載コンピューティングデバイスによって行われ、メモリが、参照背景画像のライブラリを含み、方法が、
コンピューティングデバイスと通信するカメラによって捕捉された都市部の画像を受信することと、
カメラによって捕捉された少なくとも１つの画像から背景記述子を抽出することと、
抽出された背景記述子に基づいて、背景画像のライブラリから１つ又は複数の候補マッチング参照画像を選択することと、
単一のマッチする参照背景画像を選択するために、少なくとも１つの捕捉画像と１つ又は複数の候補マッチング参照画像との間で幾何学的マッチングを行うことと、
単一のマッチする参照背景画像に基づいて、車両の場所を決定することと、
を含む、コンピュータ実装方法に関する。

[0037] 幾つかの実施形態は、都市部における車両の場所を決定するためのコンピュータ実装方法であって、方法が、メモリ及び少なくとも１つのカメラと通信する少なくとも１つのプロセッサを含む車両搭載コンピューティングデバイスによって行われ、メモリが、参照背景画像のライブラリを含み、方法が、
少なくとも１つのカメラが都市部を移動中に都市部の画像を捕捉することと、
マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して捕捉画像を処理することと、
マッチする参照背景画像のメタデータに基づいて、車両の場所を決定することと、
を含む、コンピュータ実装方法に関する。

[0038] 幾つかの実施形態では、少なくとも１つのカメラは、車両に取り付けられる。

[0039] 幾つかの実施形態では、車両の場所の決定は、車両搭載コンピューティングデバイスによってリアルタイムで行われる。

[0040] 幾つかの実施形態は、都市部における場所決定のためのシステムであって、システムが、
少なくとも１つのカメラであって、少なくとも１つのカメラが都市部を移動中に、少なくとも１つのカメラが都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
少なくとも１つのカメラと共に移動し、及び捕捉画像を受信するために少なくとも１つのカメラと通信するコンピューティングデバイスと、
を含み、
コンピューティングデバイスが、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、
メモリが、参照背景画像及び各参照背景画像のメタデータのライブラリを含み、メタデータが、場所情報を含み、
メモリが、
マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、捕捉画像を処理することと、
マッチする参照背景画像のメタデータに基づいて、少なくとも１つのカメラ及びコンピューティングデバイスの場所を決定することと、
を行うように少なくとも１つのプロセッサを構成するための、少なくとも１つのプロセッサによって実行可能なプログラムコードを保存する、システムに関する。

[0041] 幾つかの実施形態では、背景マッチングモジュールを使用して捕捉画像を処理することは、
捕捉画像から背景記述子を抽出することと、
抽出された背景記述子に基づいて、参照背景画像のライブラリから１つ又は複数の候補マッチング画像を選択することと、
マッチする参照背景画像を選択するために、捕捉画像と候補マッチング画像との間で幾何学的マッチングを行うことと、
を含む。

[0042] 幾つかの実施形態では、背景マッチングモジュールは、少なくとも１つの捕捉画像内の１つ又は複数の静止した特徴に対応した背景記述子を抽出するように構成された背景特徴抽出器ニューラルネットワークを含む。

[0043] 幾つかの実施形態では、幾何学的マッチングは、ランダムサンプルコンセンサスプロセスを使用して行われ、及び幾何学的マッチングは、少なくとも１つの捕捉画像と候補マッチング画像のそれぞれとにおいて、共通の視覚的特徴を識別することを含む。

[0044] 幾つかの実施形態では、コンピューティングデバイスは、場所をリアルタイムで決定するように構成される。

[0045] 幾つかの実施形態では、少なくとも１つのカメラは、車両の付近の画像を捕捉するために、車両に取り付けられる。

[0046] 幾つかの実施形態では、車両は、自律運転車両である。

[0047] 幾つかの実施形態では、車両は、車載ＧＰＳ受信機を含み、車両は、画像ベースの場所決定トリガイベントに応答して、場所決定のためのシステムを使用して、場所決定をトリガするように構成される。

[0048] 幾つかの実施形態では、画像ベースの場所決定トリガイベントは、
車載ＧＰＳ受信機による低確度ＧＰＳデータの生成、又は
車両による所定のジオフェンスの横断、
の少なくとも一方を含み得る。

[0049] 幾つかの実施形態は、場所決定のためのコンピュータ実装方法であって、方法が、メモリと通信する少なくとも１つのプロセッサを含むコンピューティングデバイスによって行われ、方法が、
リモートコンピューティングデバイスからコンピューティングデバイスによって入力画像を受信することであって、入力画像が、決定されるべき場所に対応する、受信することと、
メモリに保存された参照背景画像のライブラリの中からマッチする参照背景画像を識別するために、コンピューティングデバイスのメモリに設けられた背景マッチングモジュールを使用して、受信した入力画像を処理することと、
マッチする参照背景画像のメタデータに基づいて、入力画像に対応した場所情報を決定することと、
決定された場所情報をリモートコンピューティングデバイスに送信することと、
を含む、方法に関する。

[0050] 幾つかの実施形態では、背景マッチングモジュールは、背景特徴抽出器ニューラルネットワークを含み、方法は、
背景特徴抽出器ニューラルネットワークを使用して、少なくとも１つの捕捉画像から背景記述子を抽出することと、
抽出された背景記述子に基づいて、背景画像のライブラリから１つ又は複数の候補マッチング画像を選択することと、
マッチする参照背景画像を選択するために、少なくとも１つの捕捉画像と候補マッチング画像との間で幾何学的マッチングを行うことと、
によって、マッチする参照背景画像を識別することをさらに含む。

[0051] 幾つかの実施形態では、幾何学的マッチングは、少なくとも１つの捕捉画像と候補マッチング画像のそれぞれとにおいて、共通の視覚的特徴を識別することを含む。

[0052] 幾つかの実施形態では、幾何学的マッチングは、ランダムサンプルコンセンサスプロセスを使用して行われる。

[0053] 幾つかの実施形態では、背景特徴抽出器ニューラルネットワークは、少なくとも１つの捕捉画像内の１つ又は複数の恒久的な静止した特徴に対応した背景記述子を抽出するように訓練される。

[0054] 幾つかの実施形態では、方法は更に、
リモートコンピューティングデバイスから入力画像に対応したＧＰＳデータを受信することであって、ＧＰＳデータが低データ品質指標を含む、受信することと、
決定された場所情報に基づいて、ＧＰＳ訂正信号を生成することと、
ＧＰＳ訂正信号をリモートコンピューティングデバイスに送信することと、
をさらに含み、
ＧＰＳ訂正信号は、より正確なＧＰＳ場所データを決定するためにリモートコンピューティングデバイスによってアクセス可能な情報を含む。

[0055] 幾つかの実施形態は、コンピュータによって実行されると、コンピュータに上記実施形態の何れか１つに記載の駐車モニタリングの方法を行わせる命令を保存するコンピュータ可読ストレージ媒体に関する。

[0056] 幾つかの実施形態は、都市部における駐車モニタリングのためのシステムであって、システムが、
少なくとも１つのカメラであって、少なくとも１つのカメラが、都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
捕捉画像を受信するために、少なくとも１つのカメラと通信するコンピューティングデバイスと、を含み、
コンピューティングデバイスが、少なくとも１つのプロセッサと、少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、
メモリが、参照背景画像のライブラリを含み、
メモリが、
少なくとも１つの捕捉画像における１つ又は複数の駐車指標を識別するために、駐車指標検出機械学習モデルを使用して捕捉画像を処理することと、
少なくとも１つの捕捉画像における少なくとも１つの駐車指標の識別時に、マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、少なくとも１つの捕捉画像を処理することと、
マッチする参照背景画像に基づいて、駐車場所を決定することと、
決定された駐車場所又は識別された１つ又は複数の駐車指標に基づいて、駐車条件を決定することと、
少なくとも１つの捕捉画像においてターゲット車両に対応したナンバープレート番号を決定するために、少なくとも１つの捕捉画像を処理することと、
決定されたナンバープレート番号及び決定された駐車条件に基づいて、決定された駐車条件に対するターゲット車両の順守を決定することと、
を行うように少なくとも１つのプロセッサを構成するための、少なくとも１つのプロセッサによって実行可能なプログラムコードも含む、システムに関する。

図面の簡単な説明
[0057]幾つかの実施形態による、駐車モニタリングシステムのブロック図である。 [0058]幾つかの実施形態による、駐車モニタリングのためのプロセスのフローチャートである。 [0059]幾つかの実施形態による、場所決定のためのプロセスのフローチャートである。 [0060]駐車指標識別及び車両識別を示す捕捉画像の例である。 [0060]駐車指標識別及び車両識別を示す捕捉画像の例である。 [0060]駐車指標識別及び車両識別を示す捕捉画像の例である。 [0060]駐車指標識別及び車両識別を示す捕捉画像の例である。 [0061]背景マッチングプロセスを示す例示的な画像ペアである。 [0062]参照背景画像の一例である。 [0063]図９の参照背景画像と同じ駐車場所に対応した捕捉画像の一例である。 [0064]図９の画像を図１０の画像上に重ね合わせることによって取得された画像である。 [0065]幾つかの実施形態による、監視車両の一部の画像である。 [0066]幾つかの実施形態による、画像注釈のためのプロセスのフローチャートである。 [0067]幾つかの実施形態による、画像注釈ユーザインタフェースのスクリーンショットである。 [0068]幾つかの実施形態による、自動場所外挿の結果を示す画像である。 [0069]幾つかの実施形態による、駐車モニタリングの幾つかの態様を示す模式図である。 [0070]幾つかの実施形態による、駐車モニタリングの幾つかの態様を示す模式図である。 [0071]幾つかの実施形態による、場所決定のためのシステムのブロック図である。 [0072]図１８のシステムによって行われる場所決定のプロセスのフローチャートである。 [0073]幾つかの実施形態による、自律走行車両の一部のブロック図である。 [0074]背景マッチングプロセスを示す例示的な画像ペアである。 [0075]幾つかの実施形態による、例示的なコンピュータシステムを示す。

詳細な説明
[0076] 記載の実施形態は、画像を使用した場所推定のためのシステム及び方法に関する。建物の密度が高い都市部では、ＧＰＳ信号の接続性及び精度は、路上又は地表面上では劣っていることが多く、それによって、ＧＰＳデバイスを使用した不正確な場所推定が引き起こされる。記載の実施形態は、場所情報をリアルタイムで、又はほぼリアルタイムで決定するために、画像処理技術に依存する。

[0077] 幾つかの記載の実施形態は、都市部における駐車及び駐車条件の順守をモニタリングするためのシステム及び方法にも関する。都市部では、駐車スペースが、限られた資源であることが多い。都市部は、交通の効率を管理しながら限られた駐車資源を最善に割り当てるための幾つかの駐車条件又は制約も適所に有し得る。駐車スペースは、地方自治体の財源にもなる場合がある。駐車条件又は制約の効果は、継続的施行の程度によって決まる。適所で適切な施行がなければ、駐車条件は、違反されることが多く、公正な駐車資源の割り当てに影響を与え、交通の効率を害する可能性がある。

[0078] 幾つかの実施形態は、自律走行車両による使用、又は自律走行車両における使用に適した場所推定のためのシステム及び方法に関する。

[0079] 記載の実施形態は、画像内の持続的な背景をマッチングさせることによって都市部における場所を決定するために、画像処理技術に依存する。幾つかの実施形態は、駐車標識、車両、及びナンバープレートなどの物体を識別するためにも、画像処理技術に依存する。幾つかの実施形態は、駐車標識又は車両ナンバープレートの文字を認識するために、文字認識技術に依存する。幾つかの実施形態は、識別された物体の重複を排除し、より信頼性のある結果を提供するために、幾つかの画像にわたり識別された物体の追跡も行う。幾つかの実施形態は、都市部を回って駐車条件の順守をリアルタイムで評価する監視車両に取り付けられてもよい。監視車両は、例えば、乗用車、バン、又は都市部の街路又は道路を横断可能な他の移動車両を含み得る。

[0080] 図１は、幾つかの実施形態による、システム１００のブロック図である。システム１００は、ネットワーク１７０上でリモートコンピュータシステム１８０と無線通信する監視車両１１０を含む。監視車両は、少なくとも１つのカメラ１２０を含む。幾つかの実施形態では、監視車両は、複数のカメラ１２０を含んでもよい。幾つかの実施形態では、カメラ１２０は、監視車両１１０の屋根に取り付けられてもよい。カメラ１２０は、駐車モニタリングを行うのに適した画像を取得するために、監視車両１１０の移動方向に対して適切な角度を成すことができる。幾つかの実施形態では、監視車両は、６つのカメラを含んでもよく、３つのカメラが、監視車両の各側方（左及び右）を向く。それぞれの側の３つのカメラは、例えば、監視車両の移動方向に対してそれぞれ４５度、９０度、及び１３５度の角度で位置決めされてもよい。異なる角度は、異なる視点から都市部の画像を捕捉することを可能にし得る。異なる角度からの画像を使用して様々な動作を重複して行うことによってシステムの精度を向上させるために、異なる複数の視点からの画像が使用され得る。さらに、一部の路上の看板は、街路と平行の場合があり、他の路上の看板は、街路に対して垂直、又は角度を成す場合がある。異なる角度のカメラ１２０は、様々な角度で路上の看板を捕捉することを可能にし得る。各カメラ１２０は、例えば、３０７２×１７２８ピクセルの解像度で画像を捕捉し得る。

[0081] システム１００は、画像処理コンピューティングデバイス１３０も含む。画像処理コンピューティングデバイス１３０は、カメラ１２０と通信する。コンピューティングデバイス１３０は、車両１１０内に、又は車両１１０上で安全なハウジング内に位置決めされてもよい。コンピューティングデバイス１３０は、少なくとも１つのプロセッサ１３２、通信モジュール１３４、及びメモリ１３６を含む。メモリ１３６は、揮発性及び不揮発性両方のメモリを含み得る。幾つかの実施形態では、プロセッサ１３２は、機械学習プログラム又はプロセスの動作を加速させるように特別に設計されてもよい。具体的には、少なくとも１つのプロセッサ１３２は、機械学習プロセス又はプログラムの実行を加速させるためのグラフィック処理ユニット（ＧＰＵ）を含んでもよい。ＧＰＵは、高度並列計算動作を可能にし、したがって、リアルタイムで、又はほぼリアルタイムで結果を取得するための機械学習プロセス又はプログラムの実行により適する。例えば、幾つかの実施形態は、プロセッサ１３２を提供するために、NVIDIA（商標）Jetson組み込みコンピューティングボードを組み込んでもよい。

[0082] メモリ１３６は、駐車指標検出機械学習（ＭＬ）モデル１４２、参照背景画像ライブラリ１４４、車両検出ＭＬモデル１５８、ナンバープレート検出ＭＬモデル１５９、背景マッチングモジュール１５２、駐車条件及び順守決定モジュール１６２、並びに文字認識モジュール１６４を含む。参照背景画像ライブラリ１４４は、参照背景画像１４６及び参照背景画像に関連付けられたメタデータ１４８を含む。背景マッチングモジュール１５２は、背景特徴抽出器モジュール１５４及び幾何学的マッチ検証モジュール１５６を含む。通信モジュール１３４は、コンピューティングデバイス１３０とネットワーク１７０との間の無線通信を容易にするために必要なハードウェア及びソフトウェアを含む。無線通信は、例えば３Ｇ、４Ｇ、又は５Ｇネットワークなどの無線テレコミュニケーションネットワークによって達成することができる。

[0083] 幾つかの実施形態では、車両１１０は、任意選択的に、画像処理コンピューティングデバイス１３０と通信するＧＰＳ受信機１２６を含んでもよい。ＧＰＳ受信機１２６は、コンピューティングデバイス１３０に対して、車両１１０に対応したＧＰＳデータを送信することができる。ＧＰＳ受信機によって生成されたＧＰＳデータは、ＧＰＳ信号の品質表示を含む。例えば、米国海洋電子機器協会（ＮＭＥＡ：National Marine Electronics Association）０１８３規格によって規定された「ＳＧＰＧＧＡ」（全地球測位システム修正データ（Global Positioning System Fix Data））フォーマットで示されたＧＰＳデータは、例えば、ＧＰＳ修正品質指標（GPS fix quality indicator）、水平方向確度低下率指標（ＨＤＯＰ：horizontal dilution of precision）を含む。画像処理コンピューティングデバイス１３０は、ＧＰＳ受信機１２６によって生成されたＧＰＳデータを処理し、受信した１つ又は複数のＧＰＳデータ品質指標が、品質の劣ったＧＰＳ信号データ又は望ましい確度に届かないＧＰＳ信号データを示すかどうかを決定するように構成され得る。幾つかの実施形態では、望ましい確度に届かないＧＰＳ信号データは、比較のための背景画像１４６を絞り込むために、背景マッチングモジュール１５２によって使用されてもよく、背景マッチングモジュール１５２における検討する画像の数を相対的に絞り込むことによって、計算上の利点が提供される。

[0084] 幾つかの実施形態では、画像処理コンピューティングデバイス１３０は、車両１１０内に、又は車両１１０上になくてもよく、場所決定が行われる都市部から離れて位置してもよい。例えば、画像処理コンピューティングデバイス１３０は、リモートコンピュータシステム１８０などのリモートサーバシステムの一部でもよく、又はそれを形成してもよい。このような実施形態では、画像処理コンピューティングデバイス１３０は、場所決定をリモートで行うために、カメラ１２０ａ、１２０ｂによって捕捉された画像を受信し得る。

[0085] 幾つかの実施形態では、画像処理コンピューティングデバイス１３０は、メモリ１３６に設けられたＧＰＳ訂正信号生成モジュール１６７を含み得る。従来のＧＰＳ受信機によって生成される信号は、様々な形態のエラーを受けやすい。これらのエラーには、例えば、建物又は木などの恒久的構造物によるＧＰＳ信号の障害、建物によるＧＰＳ信号の反射、電波障害、太陽嵐によるエラーが含まれ得る。ＧＰＳ信号エラーの訂正を行うための代替手段の１つは、差分全地球測位システム（ＤＧＰＳ：Differential Global Positioning System）を使用することである。ＤＧＰＳは、ＧＰＳ衛星システムによって示される位置と、地上参照ステーション（ground-based reference station）の既知の固定位置との間の差を放送するために、固定地上参照ステーションのネットワークを使用する。ＤＧＰＳシステムから信号を受信するように構成されたＧＰＳ受信機は、計算された場所を訂正するために、ＤＧＰＳシステムによって送信された信号を使用する。

[0086] 幾つかの実施形態では、ＧＰＳ訂正信号生成モジュール１６７は、１つ又は複数の受信画像に基づいて決定された場所情報に基づいて、ＧＰＳ訂正信号を生成する。生成されたＧＰＳ訂正信号は、ＧＰＳ場所をリアルタイムで、又はほぼリアルタイムで訂正するために、画像処理コンピューティングデバイス１３０によって他のコンピューティングデバイスに送信され得る。このような他のコンピューティングデバイスは、スマートフォン、又は自律走行車両、又は場所データを使用する場合があり、場所精度の向上の恩恵を受け得る他のコンピューティングデバイスを含み得る。

[0087] ネットワーク１７０は、例えば、１つ又は複数のメッセージ、パケット、信号、又はこれらのある組み合わせなどの送信、受信、転送、生成、バッファリング、保存、ルーティング、切換え、処理、又はそれらの組み合わせなどを行う１つ又は複数のノードを有する１つ又は複数のネットワークの少なくとも一部を含み得る。ネットワーク１７０は、例えば、無線ネットワーク、有線ネットワーク、インターネット、イントラネット、公衆網、パケット交換網、回線交換網、アドホックネットワーク、インフラネットワーク、公衆交換電話網（ＰＳＴＮ）、ケーブルネットワーク、セルラーネットワーク、光ファイバネットワーク、又はこれらのある組み合わせなどの１つ又は複数を含み得る。

[0088] 車両１１０は、カメラ１２０及び画像処理コンピューティングデバイス１３０に電力を供給するための電源１２５も含む。電源１２５は、車両１１０の電力供給システム、又はバッテリ、又はこれら２つの組み合わせによって生成された電力を供給することができる。

[0089] 駐車指標検出ＭＬモデル１４２、ナンバープレート検出ＭＬモデル１５９、及び車両検出ＭＬモデル１５８は、画像処理技術に基づいて物体検出を行う。物体検出を行うために、実施形態によって様々な機械学習技術が用いられ得る。幾つかの実施形態では、駐車指標検出ＭＬモデル１４２、ナンバープレート検出ＭＬモデル１５９、及び車両検出ＭＬモデル１５８は、深層学習ベースのニューラルネットワークを使用して物体検出を行い得る。幾つかの実施形態では、物体検出のためのＹＯＬＯ（you look only once）フレームワーク、又はＳＳＤ（single shot multibox detector）ベースのモデルを使用して、物体検出が行われてもよい。幾つかの実施形態では、物体検出のための深層学習ベースのフレームワークは、Ｒ－ＣＮＮ（regions with convolutional neural networks）、又はFast R-CNN（fast region-based convolutional network）法、又はFaster R-CNN（faster region-based convolutional network）法を含み得る。

[0090] 幾つかの実施形態によって実装されるＣＮＮは、構造及び動作が互いに異なり得る複数のニューロン層を含み得る。ＣＮＮの第１の層は、ニューロンの畳み込み層でもよい。ニューロンの畳み込み層は、入力画像のピクセル間の空間的関係を維持しながら、入力画像から特徴を抽出する機能を行う。畳み込み演算の出力は、入力画像の特徴マップを含み得る。畳み込みの演算は、フィルタ又はカーネル行列を使用して行われ、フィルタ又はカーネル行列における具体的な重みは、以下に記載されるプロセスによってＣＮＮを訓練することによって取得又は較正される。

[0091] 畳み込み層の後に、ＣＮＮは、幾つかの実施形態では、プーリング層、又は正規化線形ユニット（ＲｅＬＵ：rectified linear unit）層、又はその両方を実装する。プーリング層は、最も重要な特徴情報は保持しながら、各特徴マップの次元を減少させる。ＲｅＬＵ演算は、入力画像から学習されるべき現実世界のデータのほとんどが非線形であるため、ＣＮＮにおいて非線形性を導入する。ＣＮＮは、複数の畳み込み層、ＲｅＬＵ層、及びプーリング層を含んでもよく、先行するプーリング層の出力が、後続の畳み込み層への入力として供給され得る。この多数のニューロンの層は、ＣＮＮが深層学習アルゴリズム又は技術と呼ばれる理由である。ＣＮＮの最後の１つ又は複数の層は、出力を生じさせるために畳み込み層及びプーリング層によって抽出された高位特徴を使用する従来の多層パーセプトロンニューラルネットワークでもよい。ＣＮＮの設計は、動物の視覚野におけるニューロンのパターン及び接続性に発想を得たものである。ＣＮＮの設計のこの基礎は、画像内の物体検出の機能を行うためにＣＮＮが選ばれ得る理由の１つである。

[0092] 駐車指標検出ＭＬモデル１４２は、カメラ１２０によって捕捉された画像内の駐車指標を検出するように構成される。駐車指標は、駐車標識、又は車両上のナンバープレートを含む。駐車標識は、パーキングエリアに関連付けられた条件に関する制約を示す、パーキングエリア付近の看板を含む。条件は、ある特定の期間中に車両に許容された駐車の最大時間、駐車料金の適用、パーキングエリアにおける駐車許可要件、又はパーキングエリア内の車両が従う必要があるその他の関連の駐車条件を含み得る。パーキングエリアは、車両を駐車するよう指定された街路に隣接したエリアでもよい。パーキングエリアは、１つ又は複数の駐車区画又はスロットを含む場合があり、１つの区画又はスロットは、単一の車両用である。駐車標識は、パーキングエリア内のすべての区画、又はパーキングエリア内の区画の一部に関する駐車条件を規定し得る。駐車標識は、パーキングエリアの範囲又は境界も示し得る。

[0093] 駐車指標検出ＭＬモデル１４２は、駐車指標を検出するために、カメラ１２０によって捕捉された画像を処理するように訓練される。駐車指標検出ＭＬモデル１４２の訓練は、画像の訓練データセット内の各画像において識別された駐車指標（グラウンドトゥルース物体）を有する訓練データセットに基づいてもよい。訓練データセットを使用して、駐車指標検出ＭＬモデル１４２は、逆伝搬などの教師あり学習方法論によって訓練される。訓練された駐車指標検出ＭＬモデル１４２は、入力画像内の駐車指標を識別し、駐車指標に対応した入力画像の部分を分離することもできる。訓練された駐車指標検出ＭＬモデル１４２は、様々な駐車指標を駐車標識又はナンバープレートなどの別個のカテゴリに分類することもでき得る。異なる都市は、異なる駐車標識を有する場合があり、それに応じて、駐車指標検出ＭＬモデル１４２は、例えば、特定の都市の駐車標識を認識するように訓練されてもよい。

[0094] 車両検出ＭＬモデル１５８は、カメラ１２０によって捕捉された画像内でターゲット車両を識別するために、駐車指標検出ＭＬモデル１４２と類似の物体検出技術を使用する。ターゲット車両は、駐車条件が適用され得る二輪車、又は四輪車、又はトラックなどのより大型の車両を含み得る。車両検出ＭＬモデル１５８は、捕捉画像内の１つ又は複数のターゲット車両を検出し、識別された車両に対応した画像の部分の識別するように訓練される。

[0095] 参照背景画像ライブラリ１４４は、参照背景画像１４６及び背景画像メタデータ１４８を含む。参照背景画像１４６は、場所を決定するためにカメラ１２０によって捕捉された画像をマッチングするプロセス中に、背景マッチングモジュール１５２用の参照として機能する画像を含む。参照背景画像メタデータ１４８は、各参照背景画像に関するメタデータを含む。メタデータ１４８は、参照背景画像に関連付けられた場所情報を含み得る。幾つかの実施形態では、場所情報は、経度座標情報及び緯度座標情報を含み得る。メタデータ１４８は、各参照背景画像に関連付けられた場所の付近にある駐車場所又はパーキングエリアに関連付けられた駐車条件を含み得る。駐車場所は、街路名、番地、駐車区画番号、及び都市名を含み得る。

[0096] 幾つかの実施形態では、背景画像メタデータ１４８は、駐車区域を規定する情報を含み得る。駐車区域は、共通の駐車条件セットを有する、駐車用に指定された、街路に隣接した連続エリアでもよい。背景画像１４６は、駐車区域の複数の画像を含み得る。各駐車区域は、駐車区域の始まりを示す標識又は標柱などの駐車区域開始指標によって規定されてもよい。同様に、各駐車区域の終わりは、駐車区域の終わりを示す標識又は標柱によって指定されてもよい。幾つかの実施形態では、メタデータ１４８は、特定の背景画像１４６が駐車区域の始まり、又は駐車区域の終わりに関するという表示を含み得る。幾つかの実施形態では、背景画像１４６は、規定された駐車区域を越えた、並びに駐車区域の始まり及び終わりに隣接した背景画像も含み得る。規定された駐車区域を越えた背景画像の包含は、規定された駐車区域を越えた駐車モニタリング中の場所の推定を可能にする。

[0097] 文字認識モジュール１６４は、画像内に存在する文字を認識するために、文字を含む画像又は画像の部分を処理するプログラムコードを含む。文字認識は、認識に備えて画像を準備するために画像の前処理を行うこと、及びパターンマッチング、又は代替的に特徴抽出（その後に、テキスト又は文字を認識するための、抽出された特徴の分類が続く）によって行われ得るテキスト認識を伴う。

[0098] 駐車条件及び順守決定モジュール１６２は、駐車条件を決定し、決定された駐車条件に対する車両の順守を評価する機能を行う。幾つかの実施形態では、駐車条件は、文字認識モジュール１６４を使用して駐車指標検出ＭＬモデル１４２によって検出された駐車標識に対応した捕捉画像の部分を処理することによって決定され得る。文字認識モジュール１６４は、駐車標識に存在する文字を決定し、認識された文字は、駐車標識によって示される駐車条件を決定するために、駐車条件及び順守決定モジュール１６２のプログラムコードを実行するプロセッサ１３２によって処理され得る。決定された駐車条件は、例えば、特定の車両に関する最大駐車時間制限、又は特定の期間中の駐車禁止の場合がある。幾つかの実施形態では、駐車条件及び順守決定モジュール１６２は、パーキングエリア又はパーキングエリア内の駐車区画の場所に基づいて、駐車条件を決定し得る。駐車条件は、参照背景画像ライブラリ１４４内に背景画像メタデータ１４８の一部として保存されてもよい。駐車場所の捕捉画像が参照背景画像ライブラリ１４４内の画像とマッチした際に、捕捉画像内のパーキングエリアに関連付けられた駐車条件を取得するために、マッチした参照画像に関連付けられたメタデータが問い合わせされてもよい。駐車条件及び順守決定モジュール１６２は、ターゲット車両に関する情報に基づいて、ターゲット車両の駐車条件の順守も決定し得る。この情報は、ターゲット車両の輪郭を含み得る。この情報は、ターゲット車両に対応したナンバープレートが最初に特定のパーキングエリアで識別されたタイムスタンプも含み得る。

[0099] 背景マッチングモジュール１５２は、カメラ１２０によって捕捉された画像を参照背景画像ライブラリ１４４内の画像とマッチングさせる機能を行う。背景比較を効率的に行うために、幾つかの実施形態では、背景マッチングモジュール１５２は、大規模画像検索及び比較に適した注意深い局所的特徴記述子に基づいた、ＤＥＬＦ（Deep Local Feature）として知られる画像検索及び比較プロセスを組み込んでもよい。

[0100] 駐車モニタリングのためのシステム１００を実装する前に、都市部の様々な駐車スペースの調査が行われ得る。調査は、パーキングエリアの写真を撮ること、及び写真をそれらが対応する場所にマッピングすることを含み得る。調査は、基本的に参照背景画像ライブラリ１４４の内容を拡充する。パーキングエリアの各駐車区画又はパーキングエリアの部分に関する写真が撮られてもよい。駐車モニタリング中の決定された駐車場所の特定性に対する要求が、途切れのないパーキングエリアをカバーするのに必要とされる写真の数を決定し得る。例えば、決定された場所が、特定の駐車区画にマッピングされる必要がある場合には、参照背景画像ライブラリ１４４を拡充するために、各駐車区画の写真が撮られてもよい。決定された場所が、１０メートルの範囲内で許容可能に存在するとするならば、参照背景画像ライブラリ１４４を拡充するために、途切れのないパーキングエリアにわたり、１０メートルごとに写真が撮られてもよい。幾つかの実施形態では、参照背景画像を収集するための調査は、照明又は天候条件の変化にかかわらず場所の決定を可能にするために、様々な照明条件又は天候条件下で行われ得る。

[0101] パーキングエリアの調査の完了後に、背景特徴抽出器モジュール１５４は、捕捉画像内の背景特徴又は背景特徴記述子を抽出するために捕捉画像を処理するように訓練され得る。背景記述子は、捕捉画像の背景の符号化表現である。背景記述子は、最近傍探索などの計算最適化技術を使用して様々な画像の背景の比較を可能にする。

[0102] 背景記述子は、恒久的な、又は静止した画像の領域又は部分に対応し得る。したがって、決定された背景記述子は、ある場所に対応した画像の静止部分と動的部分を区別するために使用することができる。例えば、掲示板を備えたバス停の画像内で、掲示板の画像領域は、動的と見なすことができ、背景特徴抽出器モジュール１５４は、掲示板に対応する画像の部分又は領域を無視するように訓練することができる。バス停の同じ画像内で、標識又は支柱若しくは待合所などの恒久的構造物に対応する画像の部分が、背景特徴抽出器モジュール１５４によって、この画像の背景記述子として抽出され得る。したがって、背景特徴抽出器モジュール１５４は、同じ場所に対応する他の画像との比較のための効率的な、及び信頼性のある基礎を提供する、恒久的構造物、又は静止構造物に対応する画像内の背景記述子を識別するように訓練される。

[0103] 幾つかの実施形態では、特徴抽出器モジュール１５４は、捕捉画像から背景特徴記述子を抽出するように訓練されたＣＮＮを含み得る。ＣＮＮは、捕捉画像内の特徴に関する注意指標（attention indicator）又は重みを決定するように訓練されたニューロンのさらなる層（注意決定層（attention determination layer））を含み得る。例えば、持続的な背景に対応する特徴は、高い注意重み（attention weight）を与えられ、非持続的又は一時的な背景に対応する特徴は、低い注意重みを与えられてもよい。注意決定層は、本質的に、背景特徴抽出器モジュール１５４が、捕捉画像の持続的な部分と一時的な部分を区別することを助け、参照背景画像ライブラリ１４４内の画像の背景に対する捕捉画像の背景の効率的な比較を支援する。

[0104] 幾つかの実施形態では、システム１００は、駐車監視をリアルタイムで、又はほぼリアルタイムで行うことができる。駐車違反は、非常に一時的で、時間特定的な罪の場合があるため、効果的な駐車条件施行戦略のためには、このような違反をそれらが生じた際に捕捉することが非常に重要となり得る。都市部では、車両が利用可能な全パーキングエリアを詳しく調査するために、非常に多数の参照背景画像が必要となり得る。加えて、監視車両１１０は、都市部を走り回って画像を捕捉し得る。リアルタイム、又はほぼリアルタイムの駐車監視を可能にするためには、背景比較を行うために利用可能な計算時間（又はコンピューティング資源）が比較的少なくなり得る。背景マッチングモジュール１５２によって組み込まれたＤＥＬＦプロセスは、捕捉画像と参照背景ライブラリ１４４内の画像の効率的な比較を可能にする。

[0105] 幾つかの実施形態では、背景特徴抽出器モジュール１５４は、２つ以上のマッチする背景画像を識別し得る。これは、背景の相対類似性によるものの場合がある。そのような場合、幾何学的マッチ検証モジュール１５６が、単一のマッチした画像に絞り込むことを支援し得る。幾何学的マッチ検証モジュール１５６は、単一のマッチした参照背景画像に絞り込むために、ホモグラフィテストプロセスに依存し得る。幾つかの実施形態では、幾何学的マッチ検証モジュール１５６は、単一のマッチした参照背景画像に絞り込むために、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：random sample consensus）プロセスに依存し得る。

[0106] 幾何学的マッチ検証モジュール１５６は、２つの画像を解析し、これら２つの画像内の１つ又は複数の共通の視覚的特徴を決定又は識別するためのプログラムコードを含む。例えば、幾何学的マッチ検証モジュール１５６は、２つの画像から特徴のある視覚的特徴又は形状又は曲線を抽出し得る。これら２つの画像がマッチであると見なすことができ、したがって、共通の場所に対応すると見なすことができるか否かを評価するために、各画像からの対応する特徴のある視覚的特徴又は形状又は曲線間の重複が決定されてもよい。

[0107] 幾つかの実施形態では、背景マッチングモジュール１５２は、背景マッチングを行うために画像内の局所的特徴を検出及び記述するために、ＳＩＦＴ（scale-invariant feature transform）プロセスに依存し得る。幾つかの実施形態では、背景マッチングモジュール１５２は、背景マッチングを行うために画像内の局所的特徴を検出及び記述するために、ＳＵＲＦ（speeded-up robust features）プロセスに依存し得る。

[0108] リモートコンピュータシステム１８０は、駐車違反に応答したアクションを管理し、及び例えば監視車両１１０又は別のコンピューティングデバイスで展開された参照背景画像ライブラリ１４４の内容を管理するためのシステムでもよい。監視車両１１０から受信した駐車条件不順守情報に基づいて、リモートコンピュータシステム１８０は、例えば、罰金の賦課、又は違反に関して官庁に通報することなどの施行アクションを支援すること、又は施行アクションを取ることを行い得る。

[0109] リモートコンピュータシステム１８０は、メモリ１７２と通信する少なくとも１つのプロセッサ１７４を含む。幾つかの実施形態では、メモリ１７２は、背景画像注釈ツール１４９を実装するためのプログラムコードを含む。

[0110] 背景画像注釈ツール１４９は、背景画像１４６の注釈及び背景画像メタデータ１４８の管理のためのユーザインタフェースを実装するためのプログラムコードを含む。背景画像注釈ツール１４９は、様々なバージョンの参照背景画像ライブラリ１４４の作成及び管理を可能にする。リモートコンピュータシステム１８０上で作成された参照背景画像ライブラリ１４４の１つのバージョンが、駐車モニタリングを行うために画像処理コンピューティングデバイス１３０に送信され得る。

[0111] 背景画像注釈ツール１４９は、ユーザが背景画像１４６を見直し、背景画像１４６に注釈を付け、及び注釈プロセスによって背景画像メタデータ１４８を作成することを可能にする注釈ユーザインタフェースモジュール１９２を含む。背景画像注釈ツール１４９は、背景画像１４６に関して場所の外挿を可能にする場所外挿モジュール１９４を含む。背景画像注釈ツール１４９を使用した注釈及び外挿の説明は、図１３、図１４、及び図１５を参照して行う。

[0112] 図２は、幾つかの実施形態による、駐車モニタリングのためのプロセス２００のフローチャートである。図２の駐車モニタリングプロセスの動作の前提条件として、関連の都市部の様々なパーキングエリアの調査が行われ、参照背景画像ライブラリ１４４は、例えば場所データ及び駐車条件を含む関連の画像メタデータと共に拡充される。駐車指標検出ＭＬモデル１４２、車両検出ＭＬモデル１５８、及び背景マッチングモジュール１５２は、モニタリングされている関連の都市部から取得された画像データに関して訓練される。

[0113] ２１０では、カメラ１２０は、都市部の画像を捕捉し、処理のために画像をプロセッサ１３２が利用できるようにする。画像は、監視車両１１０が都市部の中を移動するときに捕捉され得る。カメラ１２０は、駐車車両及び駐車標識の良好なビューを得るために、パーキングエリアに向けられ得る。複数のカメラ１２０を備えた幾つかの実施形態では、異なる角度で撮られた画像が、処理のためにプロセッサ１３２が利用できるようにされてもよい。異なる角度からの画像の利用可能性は、システム１００によって行われる様々な物体検出及び背景マッチング動作の照合を可能にする。

[0114] ２１２では、駐車指標検出ＭＬモデル１４２は、捕捉画像内の１つ又は複数の駐車指標を識別するために捕捉画像を処理する。駐車指標検出ＭＬモデル１４２は、出力として、捕捉画像内で識別された各駐車指標の周りの境界ボックスを規定する座標を返し得る。駐車指標検出ＭＬモデル１４２は、出力として、駐車指標の性質（例えば、駐車指標が駐車標識であるか、それともナンバープレートであるか）も返し得る。幾つかの実施形態では、駐車指標検出ＭＬモデル１４２は、駐車の時間制限を規定する駐車指標、又はレッカー移動区域を知らせる駐車指標などの駐車指標のタイプを識別し得る。２１４では、捕捉画像内で少なくとも１つの駐車指標が決定された場合には、プロセスは、２１６に進む。駐車指標が検出されなければ、監視車両が移動しながら都市部の画像を捕捉し続けることを伴う２１０で、プロセスが継続する。幾つかの実施形態では、ステップ２１２及び２１４は、任意選択であってもよい。ステップ２１２及び２１４が任意選択である実施形態では、場所に関連付けられた駐車条件は、背景マッチングモジュール１５２によって推定された場所に基づいて、及び推定された場所に関連付けられた、背景画像メタデータ１４８に保存された駐車条件データを参照することによって、決定され得る。

[0115] ２１６では、駐車指標が識別される捕捉画像が、背景マッチングモジュール１５２によって処理される。背景マッチングモジュール１５２は、単一のマッチする参照背景画像を識別するために、捕捉画像を参照背景画像ライブラリ１４４内の画像と比較する。識別された単一の参照背景画像に基づいて、単一のマッチする参照背景画像に関連付けられた背景画像メタデータ１４８を問い合わせることによって、駐車場所が決定される。駐車場所は、例えば、街路名、番地、駐車区画識別子、又は駐車区域識別子を含み得る。

[0116] 幾つかの実施形態では、カメラ１２０は、都市部の中を移動するときに、画像ストリームを捕捉する。画像ストリームは、ストリーム内の幾つかの捕捉画像内の駐車指標を識別するために、駐車指標検出ＭＬモデル１４２によって処理され得る。画像ストリーム内で検出された駐車指標は、物体追跡画像処理技術を使用して、捕捉画像のストリームを通して追跡され得る。捕捉画像のストリーム内の識別された物体の追跡は、識別された駐車指標の重複の排除を可能にする。同様に、捕捉画像のストリームは、２１６の背景マッチングに使用され得る。２１２及び２１６における画像ストリームの使用は、捕捉画像のストリーム全体にわたる潜在的エラーがクロスチェック及び照合され得るため、駐車モニタリングプロセスの精度を向上させることができる。

[0117] ２１８では、駐車条件及び順守決定モジュール１６２が、２１６で識別された駐車場所に関連付けられた駐車条件を決定する。幾つかの実施形態では、駐車条件は、文字認識モジュール１６４を使用して駐車標識を含む識別された駐車指標を処理して駐車標識内の文字又はテキストを識別することと、その文字を処理して駐車条件を決定することとによって決定され得る。例えば、駐車標識が「1P 730AM-630PM」と表示されている場合、駐車条件及び順守決定モジュール１６２は、午前７時３０分～午後６時３０分の期間中、最大で１時間、駐車スポットに駐車してもよいと決定することができる。幾つかの実施形態では、文字認識モジュール１６４は、パーキングエリアの始まり又は終わりを示す矢印記号などのシンボルも読み取ることができる。駐車条件及び順守決定モジュール１６２は、駐車条件が適用されるエリアの範囲を決定するために、このようなシンボルを解釈することができる。

[0118] 幾つかの実施形態では、駐車条件は、特定の駐車場所にマッピングされた背景画像メタデータ１４８として保存され得る。駐車条件は、駐車場所又は駐車場所の駐車区画に関連付けられた駐車外周を含み得る。幾つかの駐車条件は、即時に確かめることができ得る。例えば、駐車禁止区域に駐車した車両は、即時に、駐車条件に違反していると見なされ得る。特定の最大時間の駐車などの他の駐車条件は、ある期間にわたる、監視車両１１０による同じパーキングエリアの２つ以上の観測を必要とし得る。

[0119] ２２２では、捕捉画像は、ターゲット車両のナンバープレートを検出するために、ナンバープレート検出ＭＬモデル１５９によって処理される。ナンバープレート検出ＭＬモデルは、ナンバープレートに対応した捕捉画像の部分を識別することができ、それは、ナンバープレートの文字を読み取るために、文字認識モジュール１６４を呼び出すことができる。２２２では、プロセス２００は、ターゲット車両のナンバープレートの検出に関連付けられたタイムスタンプも記録し得る。タイムスタンプは、日付、及び１２時間又は２４時間の時刻表示形式の時刻、及びタイムゾーンを含み得る。記録されたタイムスタンプは、時間ベースの駐車条件の順守をチェックするための基準を提供し得る。

[0120] ステップ２２４、２２６、及び２２７は、駐車場所に関して規定された駐車外周内にターゲット車両が存在するかどうかを決定するためにシステム１００が構成される幾つかの実施形態では、任意選択である。ステップ２２４、２２６、及び２２７は、駐車条件及び順守決定モジュールによって行われる。２２４では、車両検出ＭＬモデル１５８は、捕捉画像内のターゲット車両を検出する。ターゲット車両の検出は、例えば、ターゲット車両に対応した捕捉画像の部分の検出を含み得る。ターゲット車両の検出は、例えば、ターゲット車両に対応した輪郭の検出を含み得る。２２６では、駐車条件及び順守決定モジュール１６２は、識別された駐車場所に関連付けられた駐車外周を検索し、識別されたターゲット車両が駐車外周内に位置するかどうかを決定することができる。識別されたターゲット車両が少なくとも部分的に駐車外周内に位置しない場合には、駐車条件及び順守決定モジュール１６２は、決定された駐車条件の不順守を識別し得る。識別されたターゲット車両が駐車外周内に位置するかどうかを決定する画像処理技術は、ポリゴンワーピング（polygon warping）と呼ばれることがある。ポリゴンワーピングは、捕捉画像上に駐車外周を重ね合わせるための変換行列の計算を含み得る。変換行列は、捕捉画像内のピクセルをマッチした参照背景画像内のピクセルにマッピングする。行列変換は、例えば、プロクルステス分析又は透視変換を含み得る。

[0121] ２２７では、駐車条件及び順守決定モジュール１６２は、同じ駐車場所におけるターゲット車両の前の観測を問い合わせることができる。時間制限の駐車条件が駐車場所に適用される場合には、駐車条件及び順守決定モジュール１６２は、前の観測に基づいて、駐車場所におけるターゲット車両の最初の観測以来の継続時間を推定することができる。第１の観測以来の計算された継続時間に基づいて、駐車条件及び順守決定モジュール１６２は、ターゲット車両が時間ベースの駐車条件を順守しているかどうかを決定することができる。

[0122] ２２８では、駐車条件及び順守決定モジュール１６２は、２１８で決定された駐車条件に対するターゲット車両の順守を決定する。２２８における順守の決定は、２２２で検出されたナンバープレート、及び同じ場所における同じナンバープレートの前の観測に基づき得る。２２８における順守の決定は、ステップ２２４、２２６、及び２２７の何れか１つ又は複数の出力にも基づき得る。２２８における順守の決定は、不順守決定をもたらす場合があり、その場合には、駐車条件及び順守決定モジュール１６２は、例えば、フラグ、オブジェクト、又は遠隔若しくは局所伝送のためのパケットの形式で不順守結果を生成する。

[0123] ２２９では、コンピューティングデバイス１３０は、２２８における順守決定の結果をリモートコンピュータシステム１８０に送信する。２２８で不順守決定が行われた場合には、結果の送信は、不順守を示す１つ又は複数の捕捉画像、ターゲット車両のナンバープレート番号、ターゲット車両が検出された時点の１つ又は複数のタイムスタンプ、及びターゲット車両が違反していた１つ又は複数の駐車条件を含み得る。不順守結果の送信は、例えば、駐車条件の不順守に対する処罰が関係当局によって賦課されることを可能にするのに十分な証拠となる詳細を含み得る。不順守結果の送信は、リアルタイムで、又はほぼリアルタイムで駐車条件を守らせるために、不順守が決定された直後に生じ得る。例えば、不順守結果の送信は、近くの監視職員が、車両に関して適切な施行アクションを取ることができるように、職員が携行するローカルクライアントデバイスに転送されてもよい。代替的又は追加的に、不順守結果の送信は、リモートコンピュータシステム１８０などのサーバデバイスが、不順守を記録し、並びに不順守車両の登録名義人に適切な通知を発行するため、及び／又は罰金を科するために、ネットワーク１７０を介してサーバデバイスに転送されてもよい。

[0124] 図３は、幾つかの実施形態による場所決定のためのプロセス３００のフローチャートである。幾つかの実施形態では、場所決定３００のプロセスは、監視車両１１０に取り付けられたカメラ１２０ａと通信する画像処理コンピューティングデバイス１３０によって行われてもよい。幾つかの実施形態では、場所決定３００のプロセスは、監視車両１１０に設けられておらず、場所決定のために入力画像を受信するように、又は入力画像にアクセスできるように構成されたコンピューティングデバイス１３０によって行われてもよい。

[0125] ３１０では、車両１１０に取り付けられたカメラ１２０が、都市部の画像を捕捉し、画像をプロセッサ１３２が利用できるようにする。幾つかの実施形態では、ステップ３１０は、監視車両に位置しないコンピューティングデバイス１３０が、リモートコンピューティングデバイス又はリモートカメラ１２０から都市部の捕捉画像を受信することを含み得る。

[0126] ３１２では、プロセッサ１３２は、背景特徴抽出器モジュール１５４を使用して、画像に関連付けられた背景記述子を決定するために、捕捉画像を処理する。背景記述子は、本質的に、捕捉画像内に存在する背景を一意的に識別する、捕捉画像の持続的な示差的側面である。幾つかの実施形態では、背景記述子は、分類損失を用いて訓練された畳み込みニューラルネットワーク（ＣＮＮ）の特徴抽出層を使用することによって構築された全層畳み込みネットワーク（ＦＣＮ：fully convolutional network）を適用することによって抽出され得る。背景特徴抽出器モジュール１５４は、背景記述子の適合率を明示的に測定するための注意パラメータを有する分類子を含んでもよく、それは、持続的な背景特徴と一時的な背景特徴を区別するために訓練され得る。持続的な背景特徴は、例えば、背景内の建物の特徴的な部分、又は恒久的な灯柱若しくはボラードを含み得る。一時的な背景特徴は、例えば、変更される可能性がある掲示板又は広告板を含み得る。ステップ３１２の出力として、捕捉画像に関する背景記述子又は特徴のセットが取得される。これらの背景記述子又は特徴は、ベクター又は行列の形式で表されてもよい。ステップ３１２の結果として、（高解像度画像でもよい）捕捉画像が、関連した背景記述子又は特徴の圧縮された（compressed）、又は簡潔な（succinct）ベクター又は行列に変換され得る。

[0127] 参照背景画像ライブラリ１４４内の画像の数は、かなり大きくなり得るため（例えば、１０，０００～１００万個の画像）、従来の画像比較技術の使用は、３１０で捕捉又は受信された画像を参照背景画像ライブラリ１４４内の各画像と比較するための実質的に正確な、又は実質的に計算効率の良い手法を提供しない場合がある。捕捉内の関連した背景記述子又は特徴の簡潔なベクター又は行列として表される、ステップ３１２で抽出された背景記述子は、参照背景画像ライブラリ１４４内の画像と比較するための計算効率の良い基礎を提供する。ステップ３１２で抽出された背景記述子は、参照背景画像ライブラリ１４４内の画像との比較に無関係の捕捉画像内の特徴を無視し、又は除外し、又はそれらの優先度を下げながら、持続的な、又は静止した背景特徴に関連した特徴のサブセットの効果的な符号化を提供する。参照背景画像ライブラリ１４４内の画像との比較に無関係の捕捉画像内の特徴は、例えば、人、掲示板、又は動的看板に関連した画像部分又は特徴を含み得る。

[0128] ３１４では、参照背景画像のライブラリ１４４から１つ又は複数の候補マッチング画像を選択するために、探索が行われる。幾つかの実施形態では、探索は、ＫＤ木及び積量子化（ＰＱ：product quantisation）の組み合わせによって実装された最近傍探索でもよい。探索は、参照背景画像のライブラリ１４４内の画像の所定の背景記述子又は特徴を使用して行われる。３１４の出力は、捕捉画像の有力なマッチである候補参照背景画像のセットである。候補マッチング画像内の点に対応する捕捉画像の点は、重要点と呼ばれることがある。捕捉画像と参照背景画像ライブラリ１４４内の画像との間で識別された重要点の数は、これら２つの画像における背景の類似性を決定する際の因子と見なされ得る。

[0129] ３１６では、捕捉画像と候補参照背景画像との間で幾何学的マッチング又は照合が行われる。幾何学的照合は、２つの画像が共通の背景を共有するかどうかを評価するための２つの画像間のより詳細な比較を含む。ステップ３１４で取得される候補参照背景画像の数の減少により、幾何学的マッチングステップは、参照背景画像ライブラリ１４４全体にわたり幾何学的マッチングを行うことと比較して、それほど計算負荷が高くない。幾つかの実施形態では、幾何学的照合は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）を使用して行われ得る。３１６の結果は、捕捉画像のマッチとしての単一の候補参照画像の確認となり得る。幾何学的マッチ検証の一部として、捕捉画像と、各候補参照背景画像との間で、マッチする関心対象点の数が識別され得る。捕捉画像内の各関心対象点は、画像内の静止した、又は恒久的な背景に対応し得る。２つの画像間のマッチする関心対象点の数は、２つの画像がマッチする度合いを数値化するための測定基準として使用され得る。例えば、３０個のマッチする関心対象点を有する画像Ａ及びＢは、１０個のマッチする関心対象点を有する画像Ａ及びＣよりも、より良いマッチとなり得る。最多数のマッチする関心対象点を有する候補参照背景画像が、捕捉画像に最も近いマッチと見なされ得る。最小数のマッチする点の関心対象点マッチ閾値を使用することによって、最低限の幾何学的マッチングを確立することができる。候補参照背景画像が、関心対象点マッチ閾値を超えるマッチする関心対象点を含まない場合、捕捉画像は、マッチしないと見なすことができる。幾つかの実施形態では、関心対象点マッチ閾値は、例えば、５個の点、１０個の点、１５個の点、２０個の点、又は２５個の点であり得る。図８及び図２１は、２つの画像間のマッチする関心対象点の例を示す。３１８では、マッチした参照背景画像に関連付けられた場所メタデータを問い合わせることによって、車両の場所が決定され得る。

[0130] 図４は、フローチャート２００のステップ２１２の後の識別された駐車指標を示す捕捉画像４００の一例である。識別された駐車指標は、ナンバープレート４４０及び４２０を含む。画像４００は、識別された車両４１０及び４３０も示す。車両及びナンバープレートは、それぞれ車両及びナンバープレートに対応する捕捉画像の部分を示す境界ボックスによって取り囲まれる。

[0131] 図５は、フローチャート２００のステップ２１２の後の識別された駐車指標を示す捕捉画像５００の一例である。画像５００では、駐車標識に対応した駐車指標５１０及び５２０は、駐車指標検出ＭＬモデル１４２によって識別されたものである。同様に、図６は、駐車指標６３０、６２０、及び車両６１０が、それぞれ駐車指標検出ＭＬモデル１４２及び車両検出ＭＬモデル１５８によって識別されたものである捕捉画像６００の一例である。図７は、駐車指標７１０が駐車指標検出ＭＬモデル１４２によって識別されたものである捕捉画像７００の一例である。

[0132] 図８は、背景マッチングモジュール１５２によって行われる背景マッチングのプロセスにおけるある段階を示す例示的画像８００である。画像８００は、２つの部分、すなわち画像８１０及び画像８２０を含む。画像８１０は、参照背景画像ライブラリ１４４に保存された参照背景画像である。画像８２０は、都市部における駐車監視中にカメラ１２０によって捕捉された画像である。画像８２０内の持続的な背景の様々な部分が、画像８１０との比較のための基礎を提供し、参照画像８１０に関連付けられた場所メタデータに基づいた駐車場所の決定を可能にする。例えば、画像８１０内の特徴８１６（灯柱の一部）は、捕捉画像８２０内の同一の特徴８２６に対応する。画像８１０内の特徴８１２（駐車道路標識の一部）は、捕捉画像８２０内の同一の特徴８２２に対応する。画像８１０内の特徴８１４（背景の建物の一部）は、捕捉画像８２０内の同一の特徴８２４に対応する。画像８１０内の特徴８１８（沿道の縁石の一部）は、捕捉画像８２０内の同一の特徴８２８に対応する。

[0133] 図９は、参照背景画像９００の一例である。参照背景画像９００のメタデータは、適切な駐車エリアを規定する外周９１０も含む。

[0134] 図１０は、参照画像９００に対応した場所における捕捉画像１０００の一例である。図１０は、ターゲット車両１０１０を示す。

[0135] 図１１は、参照画像９００を捕捉画像１０００上に重ね合わせることによって取得された画像１１００である。画像１１００から認識できるように、重ね合わせは、駐車条件及び順守決定モジュール１６２による、駐車外周９１０の駐車条件に対する車両１０１０の順守の照合を可能にする。

[0136] 図１２は、幾つかの実施形態による、カメラ１２０を含む車両搭載システムを示す監視車両１２１０の一部の画像である。図１２の監視車両１２１０は、例えば４つのカメラ１２２１、１２２２、１２２３、及び１２２４を有し、これらはすべて、安全な外部ハウジング１２２９内に設けられる。他の実施形態では、６個又は８個以上のカメラが外部ハウジング１２２９内に取り付けられてもよい。外部ハウジング１２２９は、外部ハウジング１２２９の下側の周囲の周りで間隔を空けた場所に複数の撮像窓（又は撮像開口部）を規定する、一般的な耐候性を持つ硬いシェル外郭を有してもよい。各カメラ１２０（例えば、カメラ１２２１、１２２２、１２２３、１２２４）は、外部ハウジング１２２９の各撮像窓を通して車両１２１０の周りの異なるエリアの画像を捕捉するように位置決めされる。例えば、２つのカメラが車両の正面を向き、２つのカメラが車両の後部を向く。カメラは、監視車両１２１０が走行し得る街路の脇のパーキングエリアに向けて最良の視角を得るように適切に角度が付けられる。

[0137] 車両１２１０は、内部にコンピューティングデバイス１３０が位置し得るコンピュータハウジング１２２７も含む。コンピュータハウジング１２２７は、安全な外部ハウジング１２２９の内部に配置される。コンピュータハウジング１２２７及びカメラ１２０は、一般にコンピュータハウジング１２２７及びカメラ１２０を包囲する安全な外部ハウジング１２２９によって保護される。安全な外部ハウジング１２２９及びコンピュータハウジング１２２７は、カメラ１２０及びコンピューティングデバイス１１０の動作をいたずらから守り、並びに雨又は雪の中などの好ましくない天候条件においてカメラ１２０及びコンピューティングデバイス１３０の動作を保護するために耐候性であってもよい。安全な外部ハウジング１２２９の内部空洞は、手動で施錠可能でもよく、及び安全な外部ハウジング１２２９内の様々なコンポーネントを更新又は交換するために容易にアクセスできるように開けることが可能であってもよい。コンピュータハウジング１２２７の内部空洞は、手動で施錠可能でもよく、及びコンピュータハウジング１２２７内の様々なコンピューティングコンポーネントを更新又は交換するために容易にアクセスできるように開けることが可能であってもよい。安全な外部ハウジング１２２９は、例えばルーフラック１２３３に対して１つ又は複数のクランプを使用して、車両１２１０の上に固定されてもよい。

[0138] 図１２では、カメラ１２０は、車両１２１０の走行方向（前方及び後方）に対して約４５度の角度を向く。幾つかの実施形態では、カメラ１２０は、車両１２１０の走行方向に対して約６０度又は９０度の角度を向いてもよい。異なる視野をカバーするように配置された複数のカメラ１２０は、異なる視点からの駐車場所の画像の捕捉を可能にする。駐車場所は、車両による様々な種類の不明瞭さにさらされる可能性があり、異なる角度から画像を取得することは、参照背景画像ライブラリ１４４内の画像との比較を可能にする。背景マッチングを行うために複数のカメラ１２０を使用することは、冗長性を導入すること、及び異なる視点から捕捉された画像を使用したマッチングの照合を可能にすることによって、背景マッチングモジュール１５２の精度及び信頼性を向上させる。

[0139] 図１３は、幾つかの実施形態による、画像注釈のためのプロセス１３００のフローチャートである。画像注釈のためのプロセス１３００は、背景画像注釈ツール１４９を使用して行われ得る。画像注釈のプロセス１３００は、参照背景画像ライブラリ１４４の作成を可能にし、参照背景画像ライブラリ１４４は、画像処理コンピューティングデバイス１３０による場所推定の基礎を形成する。プロセス１３００によって生成される注釈情報は、背景画像メタデータ１４８の一部を形成する。

[0140] １３１０では、駐車モニタリングが行われるエリアの画像が捕捉される。画像は、駐車モニタリングが行われるエリアを走行して回る車両に取り付けられたカメラを使用して捕捉され得る。エリアは、例えば、パーキングエリアが数キロメートルの長さに沿って間隔を置いて位置し、又は数キロメートルの長さに沿って延在する、数平方キロメートル～数十平方キロメートルに及ぶ大型の都市部を含み得る。ステップ１３１０は、駐車モニタリングが行われる都市部全体を調査することを伴う。画像は、車両１１０が画像を捕捉する際の車両１１０の移動方向によって規定されるシーケンスで、車両１１０によって捕捉される。捕捉画像に関連付けられたシーケンス情報は、後続の注釈ステップを支援するために保持される。

[0141] 都市部の駐車区域は、歩道上の、駐車区域又はパーキングエリアに隣接して位置する標識又は標柱又は指標によって規定されることが多い。標識又は標柱は、駐車区域の始まり又は終わりを示し、それによって区域の始まり又は終わりの境界を定めることができる。特定の駐車条件が、駐車区域に関連付けられ得る。駐車モニタリングのために、駐車区域内又は駐車区域外として場所を決定することは、駐車条件に対する車両の順守の評価を可能にする。

[0142] １３１２では、駐車区域の始まりに対応した画像が、注釈ユーザインタフェース１９２を使用して注釈を付けられる。注釈は、駐車区域の始まりに対応した画像に場所を指定すること、及びその場所を駐車区域の始まりとして識別することを含む。場所は、駐車区域の始まりに対応した場所の経度及び緯度座標を示すことによって指定されてもよい。

[0143] 同様に、１３１４において、駐車区域の終わりに対応した画像が、注釈ユーザインタフェース１９２を使用して注釈を付けられる。注釈は、駐車区域の終わりに対応した画像に場所を指定すること、及びその場所を駐車区域の終わりとして識別することを含む。場所は、駐車区域の終わりに対応した場所の経度及び緯度座標を示すことによって指定されてもよい。

[0144] 駐車区域の始まりの場所に対応した画像（又は複数の画像）及び駐車区域の終わりの場所に対応した別の画像（又は複数の画像）は、特定の駐車条件を有する特定の駐車区域の範囲を一緒に規定し得る。幾つかの実施形態では、規定された駐車区域は、地方自治体によって規定された正式な駐車区域に対応してもよく、注釈プロセスは、規定された駐車区域に対する地方自治体駐車区域コードの指定を含み得る。地方自治体駐車区域コードの指定は、例えば、画像処理コンピューティングデバイス１３０に対してリモートの地方自治体駐車条件データベースから、規定された駐車区域に関連付けられた駐車条件の抽出を可能にし得る。

[0145] １３１０で捕捉された画像がシーケンス情報を含むため、駐車区域の始まり及び終わりの識別及び注釈付けを行うことによって、駐車区域の始まりに関連付けられた画像と、駐車区域の終わりに関連付けられた画像との間の画像が、駐車区域の始まり及び終わりによって規定される駐車区域に自動的に指定され得る。幾つかの実施形態では、規定された駐車区域に対する画像の指定は、駐車区域の始まりを規定する画像と終わりを規定する画像との間で順序付けられた１つ又は複数の画像の注釈によって支援され得る。一部の駐車区域は、街角を通って、街角全体にわたって、又は街角の周辺で延在する場合があり、自動外挿又は規定された駐車区域に対するあるシーケンスの画像の割り当てを支援するために、街角に対応した画像に注釈を付けることが有益となる場合がある。任意選択のステップ１３１６において、駐車区域の始まりに対応した画像と終わりに対応した画像との間で順序付けられた画像に注釈が付けられてもよい。注釈は、規定された駐車区域に対する画像の指定、及び画像に対する場所の指定を伴い得る。

[0146] １３１８では、場所外挿モジュール１９４は、規定された駐車区域の始まりに対応した画像と終わりに対応した画像との間の画像のシーケンスの注釈を自動的に付けるために、ステップ１３１２、１３１４、及び１３１６において注釈を処理する。自動注釈は、駐車区域の始まりに対応した画像と終わりに対応した画像との間で順序付けられた画像に対する外挿場所の自動割り当てを伴い得る。幾つかの実施形態では、自動注釈は、駐車区域の始まりに対応した場所と終わりに対応した場所との間の距離の計算、駐車区域の始まりと終わりとの間で順序付けられた画像の数で上記距離を除算すること、及び駐車区域の始まりと終わりとの間で順序付けられた各画像に対する場所座標の増分割り当て（incremental allocation）を伴い得る。

[0147] 例えば、駐車区域の始まりと終わりとの間の距離が９ｍであり、及び駐車区域の始まりと終わりとの間に８個の画像が存在する場合には、各画像は、駐車区域の始まり及び終わりに対応した場所によって規定される直線上で、１ｍ離された場所を指定され得る。駐車区域が街角を通って延在する実施形態では、街角に対応した、１３１６で注釈が付けられた画像が、場所外挿プロセスを支援し得る。幾つかの実施形態では、場所外挿モジュール１９４は、駐車区域の始まり及び終わりに関連付けられた場所情報に基づいて、場所情報の自動外挿を支援するために、Google（商標）Roads APIなどの公開されているストリートルーティングアプリケーションプログラミングインタフェース（ＡＰＩ）に依存してもよい。

[0148] ステップ１３１２及び１３１８により、１３１０で捕捉された画像のシーケンスが、場所及び駐車区域の指定によって注釈が付けられる。１３２０では、ステップ１３１２及び１３１８によって生成された注釈情報に基づいた場所推定を可能にするために、注釈が付けられた画像が参照背景画像ライブラリ１４４に含められる。プロセス１３００が、画像処理コンピューティングデバイス１３０に対してリモートのコンピュータシステム上で行われる実施形態では、注釈が付けられた画像は、背景画像メタデータ１４８に含めるために、注釈情報と共に画像処理コンピューティングデバイス１３０に送信され得る。

[0149] 図１４は、幾つかの実施形態による、画像注釈ユーザインタフェース１９２のスクリーンショット１４００を示す。ユーザインタフェースのパネル１４１０は、注釈用の画像シーケンスの一連のファイル名を列挙する。パネル１４１０内の個々のファイル名をクリックすると、パネル１４２０に画像が示される。パネル１４３０は、Google（商標）ストリートビューインタフェースを示す。Google（商標）ストリートビューインタフェース１４３０は、パネル１４２０に示された画像の場所の注釈のための効率的な機構を提供する。代替実施形態では、場所注釈のための他の類似の機構が使用されてもよい。パネル１４２０のGoogle（商標）ストリートビューインタフェースは、パネル１４２０内の画像に注釈を付けるのに望ましい場所を取得するために、クリック可能であり、及びナビゲート可能である。パネル１４３０の特定の部分をクリックすることにより、Google（商標）ストリートビューの場所にピンがドロップされ、ピンがドロップされた場所に関連付けられた座標が検索される。検索された場所は、比較的高い精度で、経度情報及び緯度情報を含み得る。ピンをドロップして場所を選択するためにパネル１４３０をクリックした後に、パネル１４３０でピンをドロップすることによって選択された場所に対して選択された画像に注釈を付けるために、ボタン１４５０がクリックされ得る。ボタン１４５０は、様々な画像を見て回り、それらに注釈を付けるためにクリックされ得る。図１３のプロセス１３００に関連して述べた通り、各画像に注釈を付ける必要はない。駐車区域の始まり及び終わりを示す注釈により、シーケンス情報、及びGoogle（商標）Roads APIなどの道路の配置に関する公開情報を使用して、画像の残りの部分の場所を外挿することが可能となり得る。

[0150] 幾つかの実施形態では、場所注釈は、Google（商標）ストリートビューパネル１４３０及びパネル１４２０の画像の両方で目に見える共通の静止又は恒久的構造物に依存し得る。スクリーンショット１４００に示されるように、パネル１４２０内の画像、及びパネル１４３０内のGoogle（商標）ストリートビューの場所は、標柱１４７０を有する。標柱１４７０などの恒久的構造物の基部を使用して、場所に注釈を付けることが有益である。スクリーンショット１４００に示されるように、注釈用マーカ１４４０は、歩道又は小道の高さにある標柱１４７０の基部又は底部に位置決めされる。従来、標柱などの恒久的構造物は、街路から比較的均一な距離に位置することから、標柱などの恒久的構造物の底部に注釈用マーカを位置決めすることにより、場所の自動外挿の効率が向上する。恒久的構造物は、街路から比較的均一な距離に位置するため、このような恒久的構造物の脚部又は基部を注釈のために使用することにより、注釈のためのより体系的な、及びより一貫した基礎が提供される。

[0151] 図１５は、幾つかの実施形態による、自動場所外挿の結果を示す画像１５００である。画像１５００は、図１３のプロセス１３００に従って画像注釈が行われたエリアに対応したマップである。マーカ１５１０及び１５３０は、それぞれ駐車区域の始まり及び駐車区域の終わりとして識別された場所に対応する。マーカ１５２０及び１５２２は、駐車区域の始まり及び終わりに対応した場所１５１０及び１５３０の外挿に基づいて、自動的に画像に指定された場所に対応する。

[0152] 図１６は、幾つかの実施形態による、駐車モニタリングの幾つかの態様を示す模式図１６００である。図１６００は、ターゲット車両１６８０及び監視車両１１０を示す。ターゲット車両１６８０は、駐車区域開始場所１６１０及び駐車区域終了場所１６２０によって規定される駐車区域内に位置する。監視車両１１０は、１６４０によって示される視線を有する、監視車両１１０に取り付けられたカメラ１２０を備える。カメラ１２０によって捕捉された画像を使用して、点１６５０に対応した場所座標が、図２のフローチャート２００のステップ２１６を使用して決定される。点１６５０の決定された場所情報を使用して、画像処理コンピューティングデバイス１３０は、場所１６１０及び１６２０に対応した座標を検索することができる。場所１６１０は、駐車区域の始まりに対応し、場所１６２０は、駐車区域の終わりに対応する。場所１６１０及び１６２０に対応した座標は、参照背景画像ライブラリ１４４の背景画像メタデータ１４８に保存されてもよい。

[0153] 点１６１０及び１６５０の座標を使用して、距離Ｄｉ（駐車区域の始まりと識別された場所との間の距離）が、駐車条件順守決定モジュール１６２によって決定される。同様に、距離Ｄｅ（駐車区域の終わりと識別された場所との間の距離）は、点１６５０及び１６２０の座標を使用して決定され得る。図示した位置において、画像処理コンピューティングデバイス１３０は、ナンバープレート検出機械学習モデル１５９を使用して、ターゲット車両１６８０に関連付けられたナンバープレートも決定する。距離Ｄｏ（オフセット距離）は、視線１６４０に対応した場所とターゲット車両１６８０の決定されたナンバープレートとの間の予め決定されたオフセット距離である。Ｄｏ値は、カメラ１２０又はカメラ１２０ａ、１２０ｂが位置決めされる角度、及び駐車場のサイズなどの都市環境自体の条件に依存し得る。オフセット距離は、都市部での実験に基づいて予め決定される。決定されたオフセット距離は、共通の駐車条件を持つ都市部又は都市部内の領域の一部に関して固定される。

[0154] 幾つかの実施形態では、カメラ１２０ａは、監視車両１１０の移動方向に対して９０度の角度で位置決めされてもよく、及び隣接する歩道に向けられてもよく、カメラ１２０ｂは、移動方向に対して４５度の角度で位置決めされてもよい。このような実施形態では、カメラ１２０ａによる画像は、場所推定に使用することができ、カメラ１２０ｂによる画像は、ナンバープレート検出に使用することができる。このような実施形態では、オフセット距離（Ｄｏ）は、例えば、３ｍ～８ｍの範囲に及び得る。

[0155] 駐車区域の始まり（１６１０）からのターゲット車両１６８０の距離（Ｄｓ）は、図１６に示されるように、ＤｏにＤｉを加算することによって決定することができる。駐車区域の全長（Ｄｚ）は、１６２０と１６１０との間の距離を決定することによって決定され得る。Ｄｓ＜Ｄｚである場合には、ターゲット車両１６８０は、識別された駐車区域に駐車されたと見なされ得る。Ｄｓ＞Ｄｚである場合には、ターゲット車両１６８０は、駐車区域の外に駐車されたと見なされ得る。

[0156] 図１７は、幾つかの実施形態による、駐車モニタリングの幾つかの態様を示す別の模式図１７００である。図１７００は、点１６１０及び１６２０によって規定される図１６の駐車区域を示す。参照背景画像ライブラリ１４４は、カメラ１２０の視線１７４０が駐車区域の外のエリアに向けられているときでも、監視車両１１０がその場所を決定することを可能にするために、駐車区域内からの参照画像だけでなく、駐車区域の外の参照画像も含む。

[0157] 模式図１７００では、カメラ１２０ａの視線は、場所１７５０に向けられる。カメラ１２０ａによって捕捉された画像を使用して、場所１７５０の座標が、背景マッチングモジュール１５２によって決定され得る。それと同時に、ターゲット車両１７８０に対応したナンバープレートは、ナンバープレート検出機械学習モデル１５９を使用して、画像処理コンピューティングデバイス１３０によって検出され得る。場所１７５０の決定された場所座標に基づいて、駐車区域開始場所１６１０及び駐車区域終了場所１６２０の座標が、背景画像メタデータ１４８を参照することによって、画像処理コンピューティングデバイス１３０によって決定され得る。決定された点１６１０、１６２０、及び１７５０の座標を用いて、１６１０と１７５０との間の距離Ｄｉが計算される。図１６に関して述べたように、オフセット距離Ｄｏは、予め決定される。ターゲット車両１７８０に対応した場所１７３０を取得するために、総和Ｄｉ＋Ｄｏが決定される。決定された場所１７３０に基づいて、ターゲット車両１７８０と駐車区域の始まり１６１０との間の距離Ｄｓが決定される。図１６に類似して、駐車区域の始まりと終わりとの間の距離Ｄｚが決定される。Ｄｓ＞Ｄｚである場合には、ターゲット車両１７８０は、駐車区域の外に位置すると見なされ得る。Ｄｓ＜Ｄｚである場合には、ターゲット車両１７８０は、駐車区域の中に駐車されたと見なされ得る。図１７に示されるように、Ｄｓ＞Ｄｚである。したがって、ターゲット車両１７８０は、駐車区域の外に位置すると決定される。

[0158] 図１８は、幾つかの実施形態による、場所決定のためのシステム１８００のブロック図を示す。システム１８００は、リモートコンピューティングデバイス１８１０から入力画像及びＧＰＳ場所データを受信するように構成される。リモートコンピューティングデバイス１８１０は、スマートフォン、タブレットデバイス、又はＧＰＳ場所データを使用する別のポータブルコンピューティングデバイスなどのハンドヘルドコンピューティングデバイスでもよい。リモートコンピューティングデバイス１８１０は、例えば、自律走行乗用車若しくは作業車両などの車両の車載コンピュータシステムを含んでもよく、又はそれの一部を形成してもよい。入力画像及びＧＰＳ場所データに応答して、画像処理コンピューティングデバイス１３０は、ＧＰＳ訂正信号を生成し、及びＧＰＳ訂正信号をリモートコンピューティングデバイス１８１０に送信するように構成される。リモートコンピューティングデバイス１８１０は、メモリ１８４０と通信する少なくとも１つのプロセッサ１８１０を含む。リモートコンピューティングデバイス１８１０は、カメラ１８２０及びＧＰＳ受信機１８３０も含む。メモリ１８４０は、場所決定モジュール１８５０、及び幾つかの実施形態では、背景特徴抽出器モジュール１８５５を実装するためのコンピュータプログラムコードを含む。

[0159] 場所決定モジュール１８５０は、画像処理コンピューティングデバイス１３０から受信したＧＰＳ訂正信号を処理し、及び訂正された場所を決定するように構成される。リモートコンピューティングデバイス１８１０は、スマートフォン、又は例えば場所の調査に使用されるコンピューティングデバイスでもよい。ＧＰＳデータへのアクセスが限られた、又は不正確な環境では、リモートコンピューティングデバイス１８１０は、カメラ１８２０を使用して、その場所の１つ又は複数の画像を捕捉し、ネットワーク１７０上で、その１つ又は複数の画像を画像処理コンピューティングデバイス１３０に送信する。幾つかの実施形態では、リモートコンピューティングデバイス１８１０は、各捕捉画像内の持続的な、又は静止した背景物体に対応した特徴のベクター又は行列を抽出するために、背景特徴抽出器モジュール１８５５を使用して捕捉画像を処理し得る。捕捉画像内の持続的な、又は静止した背景物体に対応した特徴のベクター又は行列の使用は、画像データをオリジナルの捕捉画像のサイズよりも小さいサイズに圧縮する方法である。捕捉画像のフルデータを画像処理コンピューティングデバイス１３０に送信する代わりに、リモートコンピューティングデバイス１８１０は、捕捉画像内の持続的な、又は静止した背景物体に関する十分に詳細なデータを保持しながら、送信されるデータ量を削減するために、捕捉画像内の持続的な、又は静止した背景物体に対応した特徴の捕捉画像データベクター又は行列を送信し得る。

[0160] リモートコンピューティングデバイス１８１０は、ＧＰＳ受信機１８３０から取得されたＧＰＳデータも画像処理コンピューティングデバイス１３０に送信し得る。送信された１つ又は複数の画像に応答して、画像処理は、１つ又は複数の画像に対応した場所情報をリモートコンピューティングデバイス１８１０に返し得る。幾つかの実施形態では、画像処理コンピューティングデバイス１３０は、ＧＰＳ訂正信号もリモートコンピューティングデバイス１８１０に返し得る。

[0161] 図１９は、図１８のシステム１８００によって行われる場所決定の方法１９００のフローチャートを示す。方法１９００は、図３の方法３００のステップ３１２、３１４、３１６、及び３１８を含む。ステップ１９１０では、画像処理コンピューティングデバイス１３０は、１つ若しくは複数の画像（又は各捕捉画像に関する持続的な、若しくは静止した背景物体に対応した特徴のベクター若しくは行列）をリモートコンピューティングデバイス１８１０から受信する。ステップ１９１０では、画像処理コンピューティングデバイス１３０は、リモートコンピューティングデバイス１８１０からＧＰＳデータも受信し得る。受信したＧＰＳデータは、コンピューティングデバイス１８１０が訂正しようとしている、リモートコンピューティングデバイス１８１０によって取得された低品質ＧＰＳデータの場合がある。

[0162] ステップ３１２では、図３を参照して説明したように、画像処理コンピューティングデバイス１３０は、ステップ１９１０で受信した１つ又は複数の画像から背景記述子を抽出する。抽出された背景記述子は、ベクター又は行列の形式で表されてもよい。ステップ３１４では、背景マッチングモジュール１５２によって、１つ又は複数の候補マッチング画像が参照背景画像ライブラリ１４４から選択される。ステップ３１６では、幾何学的マッチ検証モジュール１５６が、幾何学的マッチ検証を行い、背景画像ライブラリ１４４から単一のマッチする参照背景画像を決定する。３１８では、ステップ１９１０で受信された１つ又は複数の画像に対応した場所情報を取得するために、マッチする参照背景画像の場所メタデータがチェックされる。

[0163] 幾つかの実施形態では、ＧＰＳ訂正信号の生成の任意選択のステップ１９２０が行われる。ＧＰＳ訂正信号は、ステップ３１８で識別された場所情報、及びステップ１９１０で受信された、リモートコンピューティングデバイス１８１０からのＧＰＳ信号に基づいて生成され得る。ＧＰＳ訂正信号は、正確な場所情報を取得するために、ＧＰＳ受信機１８３０から取得されたＧＰＳ場所データを修正するために、リモートコンピューティングデバイス１８１０の場所決定モジュール１８５０によって処理され得る情報を符号化し得る。ステップ１９３０では、ステップ３１８で決定された場所情報、及び１９２０で決定されたＧＰＳ訂正信号が、リモートコンピューティングデバイス１８１０に送信され得る。

[0164] 図１８のシステム１８００及び図１９のフローチャート１９００によって示されるように、幾つかの実施形態は、画像処理コンピューティングサービスが、リモートコンピューティングデバイスから画像を受信すること、画像に基づいて場所情報を決定すること、及び受信画像に応答して場所情報又はＧＰＳ訂正信号を送信することに関する。したがって、幾つかの実施形態は、画像内で捕捉された視覚的情報に基づいた場所決定のための代替方法及びシステムを提供することによって、特定の環境におけるＧＰＳ信号の不正確さ又は低品質に対処する。

[0165] 図２０は、幾つかの実施形態による、画像処理コンピューティングデバイス１３０を備えた自律走行車両２０００の一部のブロック図である。自律走行車両２０００は、自律走行車両２０００の運転動作を制御するための様々な動作を行うための自律走行車両コンピューティングデバイス２０３０を含む。幾つかの実施形態では、自律走行車両コンピューティングデバイス２０３０は、画像処理コンピューティングデバイス１３０と通信し、幾つかの実施形態では、画像処理コンピューティングデバイス１３０のコンポーネント及び機能は、自律走行車両コンピューティングデバイス２０３０に組み込まれ、及びその一部を形成する。自律走行又は自動運転車両２０００は、それの場所を決定するために、ＧＰＳ受信機１２６及び画像処理コンピューティングデバイス１３０の組み合わせに依存し得る。自律走行車両２０００は、都市環境及び／又はＧＰＳ受信機によって受信された信号の品質若しくは確度が自律運転にとって最適ではないエリアにおいて、画像処理コンピューティングデバイス１３０に基づいた場所決定に切り替えることができる。画像ベースの場所決定トリガイベントは、自律走行車両２０００が頻繁に画像処理コンピューティングデバイス１３０を使用してそれの場所の決定を行う動作モードを起動し得る。トリガイベントは、ＧＰＳ受信機１２６によって受信された低品質若しくは低確度データ、又は画像ベースの場所推定がより信頼でき得るエリアを指定する所定のジオフェンスを車両１１０が通過することを含み得る。幾つかの実施形態では、画像処理及び場所推定計算能力の一部は、リモートサーバシステム２０４０上に実装されてもよく、自律走行車両コンピューティングデバイス２０３０は、無線でリモートサーバシステム２０４０と通信するように構成され得る。無線通信は、例えば、３Ｇ、４Ｇ、又は５Ｇセルラーネットワークなどのセルラーネットワークによって行われ得る。

[0166] 図２１は、背景マッチングモジュール１５２によって行われる背景マッチングのプロセスにおけるある段階を示す例示的な画像ペア２１００である。画像２１００は、２つの部分、すなわち第１の画像２１３０及び第２の画像２１４０を含む。画像２１４０は、参照背景画像ライブラリ１４４に保存された参照背景画像である。画像２１３０は、ある都市部の駐車監視の過程でカメラ１２０によって捕捉された画像である。画像２１４０内の背景の様々な部分は、画像２１３０との比較のための基礎を提供し、参照画像２１４０に関連付けられた場所メタデータに基づいた駐車場所の決定を可能にする。各捕捉画像２１３０は、様々な動的画像特徴が経時的に変化するとしても、実質的に同じ場所で撮影された参照画像２１４０内にも存在する様々な静的画像特徴を有すると考えられる。例えば、画像２１４０内の特徴２１１２（灯柱の一部）は、捕捉画像２１３０内の同一の特徴２１０２に対応する。画像２１４０内の特徴２１１４（郵便ポストの脚部の一部）は、捕捉画像２１３０内の同一の特徴２１０４に対応する。画像２１４０内の特徴２１１６（建物のファサードの一部）は、捕捉画像２１３０内の同一のファサード特徴２１０６に対応する。画像２１４０内の特徴２１１８（凹凸模様の格子（textured grate）又は歩道の一部）は、捕捉画像２１３０内の同一の格子又は歩道の特徴２１０８に対応する。画像２１４０内の特徴２１２０（看板の非動的／静的部分）は、捕捉画像２１３０内の同一の特徴２１１０に対応する。図８の画像とは異なり、図２１の画像は、監視車両１１０の走行方向に対して約９０度の角度で捕捉されたものである。

[0167] 実験中に、実施形態の性能をベンチマークテストにかけるために、実施形態の精度を評価した。精度は、例えば０．５ｍ～２ｍの誤差を使用して、ステップ２１６又はステップ３１８で決定された場所の精度に基づいて測定した。幾つかの実施形態に関して、決定された場所の精度は、場所推定が例えば３０ｋｍ、４０ｋｍ、５０ｋｍ、６０ｋｍ、又は７０ｋｍの長さにわたり延在する都市部全体にわたって行われたときに、およそ９５％以上であった。９５％以上の精度性能は、昼間及び夜間両方の条件で、並びに冬及び夏を含む１年の異なる季節にわたり取得された。

[0168] 駐車指標検出機械学習モデル１４２、背景マッチングモジュール１５２、ナンバープレート検出機械学習モデル１５９、車両検出機械学習モデル１５８を含む、コンピューティングデバイス１３０の様々なモデル及びモジュールは、プログラムコード、ライブラリ、アプリケーションプログラミングインタフェース（ＡＰＩ）、メタデータ、コンフィギュレーションデータ、従属性、フレームワーク、及び様々なモジュール若しくはモデルの機能性を実装するための他の必要なコードコンポーネント若しくはハードウェアコンポーネントでもよく、又はそれらを含んでもよい。様々な機械学習モデル又はコンポーネントは、例えば、教師あり、教師なし、半教師あり、又は強化学習ベースの方法論を含む、代替の機械学習方法論を組み込んでもよい。様々な機械学習モデル又はコンポーネントは、例えば、OpenCV、TensorFlow、PyTorch、Caffe、EmuCV、VXL、GDAL、MIScnn、Marvin、及びKorniaを含む機械学習フレームワークから１つ又は複数のコンポーネントを組み込んでもよい。

[0169] 図２２は、幾つかの実施形態による、例示的なコンピュータシステム２２００を示す。特定の実施形態では、１つ又は複数のコンピュータシステム２２００が、本明細書に記載又は図示した１つ又は複数の方法の１つ又は複数のステップを行う。特定の実施形態では、１つ又は複数のコンピュータシステム２２００が、本明細書に記載又は図示した機能性を提供する。特定の実施形態では、１つ又は複数のコンピュータシステム２２００上で走るソフトウェアが、本明細書に記載若しくは図示した１つ若しくは複数の方法の１つ若しくは複数のステップを行い、又は本明細書に記載若しくは図示した機能性を提供する。特定の実施形態は、１つ又は複数のコンピュータシステム２２００の１つ又は複数の部分を含む。本明細書では、コンピュータシステムへの言及は、コンピューティングデバイスを包含する場合があり、適切な場合には、逆もまた同様である。また、コンピュータシステムへの言及は、適切な場合には、１つ又は複数のコンピュータシステムを包含する場合がある。コンピューティングデバイス１３０は、コンピュータシステム２２００の一例である。コンピューティングデバイス１８１０は、コンピュータシステム２２００の別の例である。

[0170] 本開示は、任意の適切な数のコンピュータシステム２２００を企図する。本開示は、コンピュータシステム２２００が任意の適切な物理的形態を取ることを企図する。限定としてではなく例として、コンピュータシステム２２００は、埋込式コンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）又はシステムオンモジュール（ＳＯＭ）など）、特殊用途コンピューティングデバイス、デスクトップコンピュータシステム、ラップトップ若しくはノートブック型コンピュータシステム、携帯電話、サーバ、タブレットコンピュータシステム、又はこれらの２つ以上の組み合わせでもよい。必要に応じて、コンピュータシステム２２００は、１つ若しくは複数のコンピュータシステム２２００を含んでもよく、単体でもよく、若しくは分散されてもよく、複数の場所に及んでもよく、複数の機械に及んでもよく、複数のデータセンターに及んでもよく、又はコンピューティングクラウド（これは、１つ若しくは複数のネットワーク内に１つ若しくは複数のクラウドコンピューティングコンポーネントを含み得る）内に部分的に、若しくは全体的に存在してもよい。必要に応じて、１つ又は複数のコンピュータシステム２２００は、実質的な空間的又は時間的制限なしに、本明細書に記載又は図示した１つ又は複数の方法の１つ又は複数のステップを行い得る。限定ではなく例として、１つ又は複数のコンピュータシステム２２００は、リアルタイムで、又はバッチモードで、本明細書に記載又は図示した１つ又は複数の方法の１つ又は複数のステップを行い得る。１つ又は複数のコンピュータシステム２２００は、必要に応じて、異なる時点で、又は異なる場所で、本明細書に記載又は図示した１つ又は複数の方法の１つ又は複数のステップを行い得る。

[0171] 特定の実施形態では、コンピュータシステム２２００は、少なくとも１つのプロセッサ２２０２、メモリ２２０４、ストレージ２２０６、入出力（Ｉ／Ｏ）インタフェース２２０８、通信インタフェース２２１０、及びバス２２１２を含む。本開示は、特定の配置にある特定の数の特定のコンポーネントを有する特定のコンピュータシステムを記載及び図示しているが、本開示は、任意の適切な配置にある任意の適切な数の任意の適切なコンポーネントを有する任意の適切なコンピュータシステムを企図する。

[0172] 特定の実施形態では、プロセッサ２２０２は、コンピュータプログラムを構成する命令などの命令を実行するためのハードウェアを含む。限定ではなく例として、命令を実行するために、プロセッサ２２０２は、内部レジスタ、内部キャッシュ、メモリ２２０４、又はストレージ２２０６から命令を検索し（又はフェッチし）、それらを復号及び実行し、その後、１つ又は複数の結果を内部レジスタ、内部キャッシュ、メモリ２２０４、又はストレージ２２０６に書き込むことができる。特定の実施形態では、プロセッサ２２０２は、データ、命令、又はアドレスのための１つ又は複数の内部キャッシュを含み得る。本開示は、必要に応じて、プロセッサ２２０２が、任意の適切な数の任意の適切な内部キャッシュを含むことを企図する。限定ではなく例として、プロセッサ２２０２は、１つ又は複数の命令キャッシュ、１つ又は複数のデータキャッシュ、及び１つ又は複数のＴＬＢ（translation lookaside buffer）を含み得る。命令キャッシュ内の命令は、メモリ２２０４又はストレージ２２０６内の命令のコピーの場合があり、命令キャッシュは、プロセッサ２２０２によるこれらの命令の検索を加速させることができる。データキャッシュ内のデータは、プロセッサ２２０２で作用するように実行される命令、プロセッサ２２０２で実行される後続の命令によるアクセスのため、又はメモリ２２０４若しくはストレージ２２０６に書き込むための、プロセッサ２２０２で実行された前の命令の結果、又は他の適切なデータ用のメモリ２２０４又はストレージ２２０６内のデータのコピーの場合がある。データキャッシュは、プロセッサ２２０２による読取り動作及び書込み動作を加速させることができる。ＴＬＢは、プロセッサ２２０２の仮想アドレス変換を加速させることができる。特定の実施形態では、プロセッサ２２０２は、データ、命令、又はアドレス用の１つ又は複数の内部レジスタを含み得る。本開示は、必要に応じて、プロセッサ２２０２が、任意の適切な数の任意の適切な内部レジスタを含むことを企図する。必要に応じて、プロセッサ２２０２は、１つ若しくは複数の演算論理装置（ＡＬＵ）を含んでもよく、マルチコアプロセッサでもよく、又は１つ若しくは複数のプロセッサ２２０２を含んでもよい。本開示は、特定のプロセッサを記載及び図示しているが、本開示は、任意の適切なプロセッサを企図する。

[0173] 特定の実施形態では、メモリ２２０４は、プロセッサ２２０２が実行する命令、又はプロセッサ２２０２が操作するデータを保存するためのメインメモリを含む。限定ではなく例として、コンピュータシステム２２００は、ストレージ２２０６又は別のソース（例えば、別のコンピュータシステム２２００など）からメモリ２２０４へと命令をロードし得る。次に、プロセッサ２２０２は、メモリ２２０４から内部レジスタ又は内部キャッシュへと命令をロードし得る。命令を実行するために、プロセッサ２２０２は、内部レジスタ又は内部キャッシュから命令を検索し、それらを復号し得る。命令の実行中、又は命令の実行後に、プロセッサ２２０２は、１つ又は複数の結果（中間又は最終結果でもよい）を内部レジスタ又は内部キャッシュに書き込み得る。次に、プロセッサ２２０２は、これらの結果の１つ又は複数をメモリ２２０４に書き込み得る。特定の実施形態では、プロセッサ２２０２は、１つ又は複数の内部レジスタ又は内部キャッシュ内の、又は（ストレージ２２０６又は他の場所とは対照的に）メモリ２２０４内の命令のみを実行し、１つ又は複数の内部レジスタ又は内部キャッシュ内の、又は（ストレージ２２０６又は他の場所とは対照的に）メモリ２２０４内のデータのみを操作する。１つ又は複数のメモリバス（各メモリバスは、アドレスバス及びデータバスを含み得る）は、プロセッサ２２０２をメモリ２２０４に結合させ得る。バス２２１２は、以下に記載する通り、１つ又は複数のメモリバスを含み得る。特定の実施形態では、１つ又は複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ２２０２とメモリ２２０４との間に存在し、プロセッサ２２０２によって要求されたメモリ２２０４へのアクセスを容易にする。特定の実施形態では、メモリ２２０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて、揮発性メモリでもよい。必要に応じて、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）又はスタティックＲＡＭ（ＳＲＡＭ）でもよい。また、必要に応じて、このＲＡＭは、シングルポート又はマルチポートＲＡＭでもよい。本開示は、任意の適切なＲＡＭを企図する。メモリ２２０４は、必要に応じて、１つ又は複数のメモリ２２０４を含んでもよい。本開示は、特定のメモリを記載及び図示しているが、本開示は、任意の適切なメモリを企図する。

[0174] 特定の実施形態では、ストレージ２２０６は、データ又は命令用のマスストレージを含む。限定ではなく例として、ストレージ２２０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、又はユニバーサルシリアルバス（ＵＳＢ）ドライブ、又はこれらの２つ以上の組み合わせを含み得る。ストレージ２２０６は、必要に応じて、リムーバブル又は非リムーバブル（若しくは固定）媒体を含み得る。ストレージ２２０６は、必要に応じて、コンピュータシステム２２００の内部又は外部に存在してもよい。特定の実施形態では、ストレージ２２０６は、不揮発性の固体メモリである。特定の実施形態では、ストレージ２２０６は、読取り専用メモリ（ＲＯＭ）を含む。必要に応じて、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、又はフラッシュメモリ、又はこれらの２つ以上の組み合わせを含む。本開示は、マスストレージ２２０６が、任意の適切な物理的形態を取ることを意図する。ストレージ２２０６は、必要に応じて、プロセッサ２２０２とストレージ２２０６との間の通信を容易にする１つ又は複数のストレージ制御ユニットを含み得る。必要に応じて、ストレージ２２０６は、１つ又は複数のストレージ２２０６を含み得る。本開示は、特定のストレージを記載及び図示しているが、本開示は、任意の適切なストレージを企図する。

[0175] 特定の実施形態では、Ｉ／Ｏインタフェース２２０８は、コンピュータシステム２２００と１つ又は複数のＩ／Ｏデバイスとの間の通信用の１つ又は複数のインタフェースを提供する、ハードウェア、ソフトウェア、又はその両方を含む。コンピュータシステム２２００は、必要に応じて、これらのＩ／Ｏデバイスの１つ又は複数を含み得る。これらのＩ／Ｏデバイスの１つ又は複数は、人とコンピュータシステム２２００との間の通信を可能にし得る。限定ではなく例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロホン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なＩ／Ｏデバイス、又はこれらの２つ以上の組み合わせを含み得る。Ｉ／Ｏデバイスは、１つ又は複数のセンサを含み得る。本開示は、任意の適切なＩ／Ｏデバイス、及びそれらのＩ／Ｏデバイスのための任意の適切なＩ／Ｏインタフェース２２０８を企図する。必要に応じて、Ｉ／Ｏインタフェース２２０８は、プロセッサ２２０２がこれらのＩ／Ｏデバイスの１つ又は複数を駆動することを可能にする１つ又は複数のデバイス又はソフトウェアドライバを含み得る。Ｉ／Ｏインタフェース２２０８は、必要に応じて、１つ又は複数のＩ／Ｏインタフェース２２０８を含み得る。本開示は、特定のＩ／Ｏインタフェースを記載及び図示しているが、本開示は、任意の適切なＩ／Ｏインタフェースを企図する。

[0176] 特定の実施形態では、通信インタフェース２２１０は、コンピュータシステム２２００と、１つ若しくは複数の他のコンピュータシステム２２００又は１つ若しくは複数のネットワークとの間の通信（例えば、パケットベースの通信など）のための１つ又は複数のインタフェースを提供する、ハードウェア、ソフトウェア、又はその両方を含む。限定ではなく例として、通信インタフェース２２１０は、WI-FI又はセルラーネットワークなどの無線ネットワークと通信するための無線アダプタと通信するためのネットワークインタフェースコントローラ（ＮＩＣ）又はネットワークアダプタを含み得る。本開示は、任意の適切なネットワーク、及びそのネットワークのための任意の適切な通信インタフェース２２１０を企図する。限定ではなく例として、コンピュータシステム２２００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、又はインターネットの１つ若しくは複数の部分、又はこれらの２つ以上の組み合わせと通信し得る。これらのネットワークの１つ又は複数のネットワークの１つ又は複数の部分は、有線又は無線でもよい。例として、コンピュータシステム２２００は、無線携帯電話ネットワーク（例えば、ＧＳＭ（Global System for Mobile Communications）ネットワーク、又は３Ｇ、４Ｇ、若しくは５Ｇセルラーネットワークなど）、又は他の適切な無線ネットワーク、又はこれらの２つ以上の組み合わせと通信し得る。コンピュータシステム２２００は、必要に応じて、これらのネットワークの何れかのための任意の適切な通信インタフェース２２１０を含み得る。通信インタフェース２２１０は、必要に応じて、１つ又は複数の通信インタフェース２２１０を含んでもよい。本開示は、特定の通信インタフェースを記載及び図示しているが、本開示は、任意の適切な通信インタフェースを企図する。

[0177] 特定の実施形態では、バス２２１２は、コンピュータシステム２２００のコンポーネントを互いに結合させる、ハードウェア、ソフトウェア、又はその両方を含む。限定ではなく例として、バス２２１２は、ＡＧＰ（Accelerated Graphics Port）若しくは他のグラフィックバス、ＥＩＳＡ（Enhanced Industry Standard Architecture）バス、フロントサイドバス（ＦＳＢ）、HYPERTRANSPORT（ＨＴ）相互接続、ＩＳＡ（Industry Standard Architecture）バス、INFINIBAND相互接続、ＬＰＣ（low-pin-count）バス、メモリバス、ＭＣＡ（Micro Channel Architecture）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩｅ（PCI-Express）バス、ＳＡＴＡ（serial advanced technology attachment）バス、ＶＬＢ（Video Electronics Standards Association local bus）、又は別の適切なバス、又はこれらの２つ以上の組み合わせを含み得る。バス２２１２は、必要に応じて、１つ又は複数のバス２２１２を含んでもよい。本開示は、特定のバスを記載及び図示しているが、本開示は、任意の適切なバス又は相互接続を企図する。

[0178] 本明細書では、１つ又は複数のコンピュータ可読非一時的ストレージ媒体は、必要に応じて、１つ又は複数の半導体ベース若しくは他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、若しくは特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ（ＦＤＤ）、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、又はその他の適切なコンピュータ可読非一時的ストレージ媒体、又はこれらの２つ以上の任意の適切な組み合わせを含み得る。コンピュータ可読非一時的ストレージ媒体は、必要に応じて、揮発性、不揮発性、又は揮発性及び不揮発性の組み合わせでもよい。

[0179] 本開示の範囲は、当業者が理解するであろう、本明細書に記載又は図示した例示的実施形態に対するすべての変更、置換、バリエーション、改変、及び修正を包含する。本開示の範囲は、本明細書に記載又は例示した例示的実施形態に限定されない。また、本開示は、特定のコンポーネント、要素、特徴、機能、動作、又はステップを含むものとして本明細書の各実施形態を記載及び図示しているが、これらの実施形態の何れも、当業者が理解するであろう、本明細書のどこかに記載又は図示したコンポーネント、要素、特徴、機能、動作、又はステップの何れかの任意の組み合わせ又は並べ替えを含み得る。さらに、添付の特許請求の範囲において、特定の機能を行うように適応した、特定の機能を行うように配置された、特定の機能を行うことが可能な、特定の機能を行うように構成された、特定の機能を行うことを可能にされた、特定の機能を行うように動作可能な、又は特定の機能を行うように機能する装置、又はシステム、又は装置若しくはシステムのコンポーネントへの言及は、その装置、システム、又はコンポーネントが、そのように適応し、配置され、可能であり、構成され、可能にされ、動作可能であり、又は機能する限り、その装置、システム、コンポーネント（それ又はその特定の機能が起動されるかどうか、オンにされるかどうか、又はアンロックされるかどうかに関わりなく）を包含する。加えて、本開示は、特定の利点を提供するものとして特定の実施形態を記載又は図示しているが、特定の実施形態は、これらの利点を全く提供しなくてもよいし、これらの利点の一部又はすべてを提供してもよい。

[0180] 本開示の広い一般的範囲から逸脱することなく、上記の実施形態に対して多数のバリエーション及び／又は変更形態を作ることができることを当業者は理解するだろう。したがって、本実施形態は、あらゆる面で、制限的なものではなく、理解を助けるものと見なされるものである。

Claims (51)

1. 都市部における駐車モニタリングのためのシステムであって、前記システムが、
   少なくとも１つのカメラであって、前記少なくとも１つのカメラが、前記都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
   捕捉画像を受信するために、前記少なくとも１つのカメラと通信するコンピューティングデバイスと、を含み、
   前記コンピューティングデバイスが、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、
   前記メモリが、参照背景画像及び各参照背景画像のメタデータのライブラリを含み、前記メタデータが、駐車場所情報及び駐車条件情報を含み、
   前記メモリが、
   第１の捕捉画像内のターゲット車両に対応したナンバープレート番号を決定するために、前記第１の捕捉画像を処理することと、
   マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、第２の捕捉画像を処理することと、
   前記マッチする参照背景画像の前記メタデータに基づいて、前記ターゲット車両の識別された駐車場所及び少なくとも１つの駐車条件を決定することと、
   前記決定された少なくとも１つの駐車条件に対する前記ターゲット車両の順守を決定することと、
   を行うように前記少なくとも１つのプロセッサを構成するための、前記少なくとも１つのプロセッサによって実行可能なプログラムコードを保存する、システム。
2. 前記第１の捕捉画像が、前記第２の捕捉画像と同じ捕捉画像である、請求項１に記載のシステム。
3. 都市部における駐車モニタリングのためのシステムであって、前記システムが、
   少なくとも１つのカメラであって、前記少なくとも１つのカメラが、前記都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
   前記捕捉画像を受信するために、前記少なくとも１つのカメラと通信するコンピューティングデバイスと、を含み、
   前記コンピューティングデバイスが、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、
   前記メモリが、参照背景画像及び各参照背景画像のメタデータのライブラリを含み、前記メタデータが、駐車場所情報を含み、
   前記メモリが、
   前記捕捉画像の少なくとも１つにおける駐車指標を識別するために、駐車指標検出機械学習モデルを使用して前記捕捉画像を処理することと、
   前記駐車指標の識別時に、前記捕捉画像の１つにマッチする、マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、前記捕捉画像を処理することと、
   前記マッチする参照背景画像に関連付けられた前記メタデータに基づいて、駐車場所を決定することと、
   前記識別された駐車指標に基づいて、駐車条件を決定することと、
   ターゲット車両に対応したナンバープレート番号を決定するために、前記捕捉画像を処理することと、
   前記決定された駐車条件に対する前記ターゲット車両の順守を決定することと、
   を行うように前記少なくとも１つのプロセッサを構成するための、前記少なくとも１つのプロセッサによって実行可能なプログラムコードも含む、システム。
4. 前記ターゲット車両に対応した前記ナンバープレート番号が、ナンバープレート検出機械学習モデルを使用して決定される、請求項１～３の何れか一項に記載のシステム。
5. 前記駐車指標が、駐車標識又はナンバープレートを含み、前記駐車指標検出機械学習モデルが、前記捕捉画像内の駐車標識又はナンバープレートを検出する、請求項３又は４に記載のシステム。
6. 前記メモリが、各参照背景画像に関連付けられた駐車外周メタデータをさらに含み、前記少なくとも１つのプロセッサが、
   前記捕捉画像の１つにおける前記ターゲット車両に対応した画像部分を識別するために、前記少なくとも１つの捕捉画像を処理することと、
   前記マッチする参照背景画像に関連付けられた前記駐車外周メタデータ、及び前記ターゲット車両に対応した前記画像部分に基づいて、前記決定された駐車条件に対する前記ターゲット車両の順守を決定することと、
   を行うようにさらに構成される、請求項１～５の何れか一項に記載のシステム。
7. 前記ターゲット車両に対応した前記画像部分が、車両検出機械学習モデルを使用して識別される、請求項６に記載のシステム。
8. 前記背景マッチングモジュールが、背景特徴抽出器ニューラルネットワークを含み、前記少なくとも１つのプロセッサが、
   前記背景特徴抽出器ニューラルネットワークを使用して、前記少なくとも１つの捕捉画像から背景記述子を抽出することと、
   前記抽出された背景記述子に基づいて、前記背景画像のライブラリから１つ又は複数の候補マッチング画像を選択することと、
   前記マッチする参照背景画像を選択するために、前記少なくとも１つの捕捉画像と前記候補マッチング画像との間で幾何学的マッチングを行うことと、
   によって、前記マッチする参照背景画像を識別するようにさらに構成される、請求項１～７の何れか一項に記載のシステム。
9. 前記幾何学的マッチングが、ランダムサンプルコンセンサスプロセスを使用して行われる、請求項８に記載のシステム。
10. 前記駐車場所情報が、街路名及び番地を含み、又は
    前記駐車場所情報が、街路名、番地、及び駐車区画識別子を含み、又は
    前記駐車場所情報が、前記駐車場所に関連付けられた経度座標及び緯度座標を含む、請求項１～９の何れか一項に記載のシステム。
11. 前記１つ又は複数のカメラが、監視車両に取り付けられ、
    前記コンピューティングデバイスが、前記監視車両によって運ばれ、及び
    前記システムが、前記コンピューティングデバイスとリモートコンピュータシステムとの間の無線通信を可能にするための通信モジュールをさらに含む、請求項１～１０の何れか一項に記載のシステム。
12. 前記システムが、前記監視車両が前記都市部を移動するときに駐車モニタリングをリアルタイムで行うように構成される、請求項１１に記載のシステム。
13. 前記システムが、少なくとも２つのカメラを含み、前記監視車両の両側で駐車モニタリングを行うために、少なくとも１つのカメラが、前記監視車両のそれぞれの側に位置決めされる、請求項１１又は１２に記載のシステム。
14. 前記システムが、少なくとも２つのカメラを含み、両方のカメラが、前記監視車両の片側で画像を捕捉するように位置決めされ、
    前記背景マッチングモジュールが、マッチする参照背景画像を識別するために、前記少なくとも２つのカメラのそれぞれからの捕捉画像を使用して背景マッチングを行うように構成される、請求項１１又は１２に記載のシステム。
15. 前記少なくとも１つのプロセッサが、前記監視車両が前記都市部を移動する際の前記捕捉画像にわたり前記ターゲット車両を追跡するようにさらに構成される、請求項１１～１４の何れか一項に記載のシステム。
16. 前記少なくとも１つのプロセッサが、前記通信モジュールを介して、
    前記決定された駐車条件に対する前記ターゲット車両の前記決定された順守、
    前記ターゲット車両に対応した前記決定されたナンバープレート番号、
    前記決定された駐車場所、又は
    前記ターゲット車両の捕捉画像
    の１つ又は複数を前記リモートコンピュータシステムに送信するようにさらに構成される、請求項１１に記載のシステム。
17. 前記ナンバープレート検出機械学習モデルが、前記ターゲット車両のナンバープレートに対応した前記捕捉画像の部分を識別するように構成され、及び
    前記ナンバープレート番号が、文字認識モジュールによって、前記ナンバープレートに対応した前記捕捉画像の前記部分の処理に基づいて決定される、請求項４に記載のシステム。
18. 前記駐車条件が、文字認識モジュールを使用して、前記識別された駐車指標に対応した前記少なくとも１つの捕捉画像の部分を処理することによって認識された文字に基づいて決定される、請求項３に記載のシステム。
19. 少なくとも１つの参照背景画像が、駐車区域開始場所に関し、及び別の少なくとも１つの参照背景画像が、駐車区域終了場所に関し、
    前記識別された少なくとも１つの駐車条件に対する前記ターゲット車両の順守の決定が、
    前記識別された駐車場所と、前記駐車区域開始場所との間の距離、又は
    前記識別された駐車場所と、前記駐車区域終了場所との間の距離、
    に基づく、請求項１～１８の何れか一項に記載のシステム。
20. メモリと通信する少なくとも１つのプロセッサを含むコンピューティングデバイスによって行われる駐車モニタリングのためのコンピュータ実装方法であって、前記メモリが、参照背景画像のライブラリを含み、前記方法が、
    前記コンピューティングデバイスと通信するカメラによって捕捉された都市部の画像を受信することと、
    少なくとも１つの捕捉画像内の１つ又は複数の駐車指標を識別するために、駐車指標検出機械学習モデルを使用して前記捕捉画像を処理することと、
    前記少なくとも１つの捕捉画像内の少なくとも１つの駐車指標の識別時に、マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、前記少なくとも１つの捕捉画像を処理することと、
    前記マッチする参照背景画像に基づいて、駐車場所を決定することと、
    前記決定された駐車場所、又は前記識別された１つ又は複数の駐車指標に基づいて、駐車条件を決定することと、
    前記少なくとも１つの捕捉画像内のターゲット車両に対応したナンバープレート番号を決定するために、前記少なくとも１つの捕捉画像を処理することと、
    前記決定されたナンバープレート番号及び前記決定された駐車条件に基づいて、前記決定された駐車条件に対する前記ターゲット車両の順守を決定することと、
    を含む、コンピュータ実装方法。
21. 場所決定のためのシステムであって、前記システムが、
    少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサにアクセス可能なメモリと、を含むコンピューティングデバイスを含み、
    前記メモリが、参照背景画像及び各参照背景画像のメタデータのライブラリを含み、前記メタデータが、場所情報を含み、
    前記メモリが、
    リモートコンピューティングデバイスから入力画像データを受信することであって、前記入力画像データが、決定されるべき場所で前記リモートコンピューティングデバイスによって捕捉された少なくとも１つの画像の画像データを含む、受信することと、
    マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、前記受信した入力画像データを処理することと、
    前記ライブラリ内の前記マッチする参照背景画像の前記メタデータに基づいて、前記入力画像データに対応した場所情報を決定することと、
    前記決定された場所情報を前記リモートコンピューティングデバイスに送信することと、
    を行うように前記少なくとも１つのプロセッサを構成するための、前記少なくとも１つのプロセッサによって実行可能なプログラムコードを保存する、システム。
22. 前記背景マッチングモジュールが、背景特徴抽出器ニューラルネットワークを含み、前記少なくとも１つのプロセッサが、
    前記背景特徴抽出器ニューラルネットワークを使用して、前記少なくとも１つの捕捉画像から背景記述子を抽出することと、
    前記抽出された背景記述子に基づいて、前記背景画像のライブラリから１つ又は複数の候補マッチング画像を選択することと、
    前記マッチする参照背景画像を選択するために、前記少なくとも１つの捕捉画像と前記候補マッチング画像との間で幾何学的マッチングを行うことと、
    によって、前記マッチする参照背景画像を識別するようにさらに構成される、請求項２１に記載のシステム。
23. 前記幾何学的マッチングが、前記少なくとも１つの捕捉画像と前記候補マッチング画像のそれぞれとにおいて、共通の視覚的特徴を識別することを含む、請求項２２に記載のシステム。
24. 前記幾何学的マッチングが、ランダムサンプルコンセンサスプロセスを使用して行われる、請求項２２又は２３に記載のシステム。
25. 前記背景特徴抽出器ニューラルネットワークが、前記少なくとも１つの捕捉画像内の１つ又は複数の静止した特徴に対応した背景記述子を抽出するように訓練される、請求項２２～２４の何れか一項に記載のシステム。
26. 前記メモリが、
    前記リモートコンピューティングデバイスから前記入力画像に対応したＧＰＳデータを受信することであって、前記ＧＰＳデータが低データ品質指標を含む、受信することと、
    前記決定された場所情報に基づいて、ＧＰＳ訂正信号を生成することと、
    前記ＧＰＳ訂正信号を前記リモートコンピューティングデバイスに送信することと、
    を行うように前記少なくとも１つのプロセッサをさらに構成するための、前記少なくとも１つのプロセッサによって実行可能なプログラムコードを保存する、請求項２１～２５の何れか一項に記載のシステム。
27. 都市部における場所決定のための車両搭載システムであって、前記システムが、
    少なくとも１つのカメラであって、前記少なくとも１つのカメラが、前記都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
    前記捕捉画像を受信するために、前記少なくとも１つのカメラと通信するコンピューティングデバイスであって、前記コンピューティングデバイスが、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、前記メモリが、参照背景画像のライブラリを含む、コンピューティングデバイスと、
    を含み、
    前記メモリが、
    少なくとも１つの捕捉画像から背景記述子を抽出することと、
    前記抽出された背景記述子に基づいて、前記背景画像のライブラリから１つ又は複数の候補マッチング参照画像を選択することと、
    単一のマッチする参照背景画像を選択するために、前記少なくとも１つの捕捉画像と前記１つ又は複数の候補マッチング参照画像との間で幾何学的マッチングを行うことと、
    前記単一のマッチする参照背景画像に基づいて、前記車両の場所を決定することと、
    を行うように前記少なくとも１つのプロセッサを構成するための、前記少なくとも１つのプロセッサによって実行可能なプログラムコードを含む、車両搭載システム。
28. 前記メモリが、各参照背景画像に対応した場所メタデータをさらに含み、
    前記車両の前記場所が、前記単一のマッチする参照背景画像に対応した前記場所メタデータに基づいて決定される、請求項２７に記載のシステム。
29. 前記背景記述子が、背景特徴抽出器ニューラルネットワークを使用して、少なくとも１つの捕捉画像から抽出される、請求項２７又は２８に記載のシステム。
30. 前記場所を決定することが、リアルタイムで行われる、請求項２７～２９の何れか一項に記載のシステム。
31. 車両の場所を決定するためのコンピュータ実装方法であって、前記方法が、メモリと通信する少なくとも１つのプロセッサを含む車両搭載コンピューティングデバイスによって行われ、前記メモリが、参照背景画像のライブラリを含み、前記方法が、
    前記コンピューティングデバイスと通信するカメラによって捕捉された都市部の画像を受信することと、
    前記カメラによって捕捉された少なくとも１つの画像から背景記述子を抽出することと、
    前記抽出された背景記述子に基づいて、前記背景画像のライブラリから１つ又は複数の候補マッチング参照画像を選択することと、
    単一のマッチする参照背景画像を選択するために、前記少なくとも１つの捕捉画像と前記１つ又は複数の候補マッチング参照画像との間で幾何学的マッチングを行うことと、
    前記単一のマッチする参照背景画像に基づいて、前記車両の場所を決定することと、
    を含む、コンピュータ実装方法。
32. 都市部における車両の場所を決定するためのコンピュータ実装方法であって、前記方法が、メモリ及び少なくとも１つのカメラと通信する少なくとも１つのプロセッサを含む車両搭載コンピューティングデバイスによって行われ、前記メモリが、参照背景画像のライブラリを含み、前記方法が、
    前記少なくとも１つのカメラが前記都市部を移動中に前記都市部の画像を捕捉することと、
    マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して前記捕捉画像を処理することと、
    前記マッチする参照背景画像のメタデータに基づいて、前記車両の場所を決定することと、
    を含む、コンピュータ実装方法。
33. 前記少なくとも１つのカメラが、前記車両に取り付けられる、請求項３２に記載の方法。
34. 前記車両の前記場所の前記決定が、前記車両搭載コンピューティングデバイスによってリアルタイムで行われる、請求項３２又は３３に記載の方法。
35. 都市部における場所決定のためのシステムであって、前記システムが、
    少なくとも１つのカメラであって、前記少なくとも１つのカメラが前記都市部を移動中に、前記少なくとも１つのカメラが前記都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
    前記少なくとも１つのカメラと共に移動し、及び前記捕捉画像を受信するために前記少なくとも１つのカメラと通信するコンピューティングデバイスと、
    を含み、
    前記コンピューティングデバイスが、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、
    前記メモリが、参照背景画像及び各参照背景画像のメタデータのライブラリを含み、前記メタデータが、場所情報を含み、
    前記メモリが、
    マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、捕捉画像を処理することと、
    前記マッチする参照背景画像の前記メタデータに基づいて、前記少なくとも１つのカメラ及び前記コンピューティングデバイスの場所を決定することと、
    を行うように前記少なくとも１つのプロセッサを構成するための、前記少なくとも１つのプロセッサによって実行可能なプログラムコードを保存する、システム。
36. 背景マッチングモジュールを使用して前記捕捉画像を処理することが、
    前記捕捉画像から背景記述子を抽出することと、
    前記抽出された背景記述子に基づいて、前記参照背景画像のライブラリから１つ又は複数の候補マッチング画像を選択することと、
    前記マッチする参照背景画像を選択するために、前記捕捉画像と、前記候補マッチング画像との間で幾何学的マッチングを行うことと、
    を含む、請求項３５に記載のシステム。
37. 前記背景マッチングモジュールが、前記少なくとも１つの捕捉画像内の１つ又は複数の静止した特徴に対応した背景記述子を抽出するように構成された背景特徴抽出器ニューラルネットワークを含む、請求項３６に記載のシステム。
38. 前記幾何学的マッチングが、ランダムサンプルコンセンサスプロセスを使用して行われ、
    前記幾何学的マッチングが、前記少なくとも１つの捕捉画像と前記候補マッチング画像のそれぞれとにおいて、共通の視覚的特徴を識別することを含む、請求項３６又は３７に記載のシステム。
39. 前記コンピューティングデバイスが、前記場所をリアルタイムで決定するように構成される、請求項３５～３８の何れか一項に記載のシステム。
40. 請求項３５～３９の何れか一項に記載のシステムを取り付けた車両であって、前記少なくとも１つのカメラが、前記車両の付近の画像を捕捉するために、前記車両に取り付けられる、車両。
41. 前記車両が自律運転車両である、請求項４０に記載の車両。
42. 前記車両が、車載ＧＰＳ受信機を含み、前記車両が、画像ベースの場所決定トリガイベントに応答して、場所決定のための前記システムを使用して、場所決定をトリガするように構成される、請求項４１に記載の車両。
43. 前記画像ベースの場所決定トリガイベントが、
    前記車載ＧＰＳ受信機によって生成された低確度ＧＰＳデータ、又は
    前記車両による所定のジオフェンスの横断、
    の少なくとも一方を含み得る、請求項４２に記載の車両。
44. 場所決定のためのコンピュータ実装方法であって、前記方法が、メモリと通信する少なくとも１つのプロセッサを含むコンピューティングデバイスによって行われ、前記方法が、
    リモートコンピューティングデバイスから前記コンピューティングデバイスによって入力画像を受信することであって、前記入力画像が、決定されるべき場所に対応する、受信することと、
    前記メモリに保存された参照背景画像のライブラリの中からマッチする参照背景画像を識別するために、前記コンピューティングデバイスの前記メモリに設けられた背景マッチングモジュールを使用して、前記受信した入力画像を処理することと、
    前記マッチする参照背景画像の前記メタデータに基づいて、前記入力画像に対応した場所情報を決定することと、
    前記決定された場所情報を前記リモートコンピューティングデバイスに送信することと、
    を含む、方法。
45. 前記背景マッチングモジュールが、背景特徴抽出器ニューラルネットワークを含み、前記方法が、
    前記背景特徴抽出器ニューラルネットワークを使用して、前記少なくとも１つの捕捉画像から背景記述子を抽出することと、
    前記抽出された背景記述子に基づいて、前記背景画像のライブラリから１つ又は複数の候補マッチング画像を選択することと、
    前記マッチする参照背景画像を選択するために、前記少なくとも１つの捕捉画像と、前記候補マッチング画像との間で幾何学的マッチングを行うことと、
    によって、前記マッチする参照背景画像を識別することをさらに含む、請求項４４に記載の方法。
46. 前記幾何学的マッチングが、前記少なくとも１つの捕捉画像と前記候補マッチング画像のそれぞれとにおいて、共通の視覚的特徴を識別することを含む、請求項４５に記載の方法。
47. 前記幾何学的マッチングが、ランダムサンプルコンセンサスプロセスを使用して行われる、請求項４５又は４６に記載の方法。
48. 前記背景特徴抽出器ニューラルネットワークが、前記少なくとも１つの捕捉画像内の１つ又は複数の恒久的な静止した特徴に対応した背景記述子を抽出するように訓練される、請求項４５～４７の何れか一項に記載の方法。
49. 前記方法が、
    前記リモートコンピューティングデバイスから前記入力画像に対応したＧＰＳデータを受信することであって、前記ＧＰＳデータが低データ品質指標を含む、受信することと、
    前記決定された場所情報に基づいて、ＧＰＳ訂正信号を生成することと、
    前記ＧＰＳ訂正信号を前記リモートコンピューティングデバイスに送信することと、
    をさらに含み、
    前記ＧＰＳ訂正信号が、より正確なＧＰＳ場所データを決定するために前記リモートコンピューティングデバイスによってアクセス可能な情報を含む、請求項４５～４８の何れか一項に記載の方法。
50. コンピュータによって実行されると、前記コンピュータに請求項２０、３１～３４、及び４４～４９の何れか一項に記載の方法を行わせる命令を保存するコンピュータ可読ストレージ媒体。
51. 都市部における駐車モニタリングのためのシステムであって、前記システムが、
    少なくとも１つのカメラであって、前記少なくとも１つのカメラが、前記都市部の画像を捕捉するように位置決めされる、少なくとも１つのカメラと、
    前記捕捉画像を受信するために、前記少なくとも１つのカメラと通信するコンピューティングデバイスと、を含み、
    前記コンピューティングデバイスが、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサにアクセス可能なメモリと、を含み、
    前記メモリが、参照背景画像のライブラリを含み、
    前記メモリが、
    少なくとも１つの捕捉画像における１つ又は複数の駐車指標を識別するために、駐車指標検出機械学習モデルを使用して前記捕捉画像を処理することと、
    前記少なくとも１つの捕捉画像における少なくとも１つの駐車指標の識別時に、マッチする参照背景画像を識別するために、背景マッチングモジュールを使用して、前記少なくとも１つの捕捉画像を処理することと、
    前記マッチする参照背景画像に基づいて、駐車場所を決定することと、
    前記決定された駐車場所又は前記識別された１つ又は複数の駐車指標に基づいて、駐車条件を決定することと、
    前記少なくとも１つの捕捉画像においてターゲット車両に対応したナンバープレート番号を決定するために、前記少なくとも１つの捕捉画像を処理することと、
    前記決定されたナンバープレート番号及び前記決定された駐車条件に基づいて、前記決定された駐車条件に対する前記ターゲット車両の順守を決定することと、
    を行うように前記少なくとも１つのプロセッサを構成するための、前記少なくとも１つのプロセッサによって実行可能なプログラムコードも含む、システム。

Images