JP6709283B2 - 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 - Google Patents
低解像度リモートセンシング画像を用いた移動車両の検出及び分析 Download PDFInfo
- Publication number
- JP6709283B2 JP6709283B2 JP2018526502A JP2018526502A JP6709283B2 JP 6709283 B2 JP6709283 B2 JP 6709283B2 JP 2018526502 A JP2018526502 A JP 2018526502A JP 2018526502 A JP2018526502 A JP 2018526502A JP 6709283 B2 JP6709283 B2 JP 6709283B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- blobs
- vehicle
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本出願は、参照によりその全体が本明細書に組み込まれる、2015年11月16日に出願された米国仮出願第62/256,072号の利益を主張する。
(構成の概要)
例示的な実施形態として、低解像度空中画像から移動車両を識別するためのシステム、方法、および/またはコンピュータプログラム製品(例えば、1つまたは複数の処理ユニットによって実行可能な命令を記憶するコンピュータ可読記憶媒体)が開示される。1つの例示的な実施形態では、移動車両分析システムは、衛星、無人機または他の衛星に構成された撮像システムなどの空中撮像装置から地理的領域の低解像度画像を受信する。空中撮像装置内には、異なる瞬間に画像を取り込む複数の画像センサがある。単一の撮像センサが特定の時間に画像を取り込む。
(例示的なシステム環境)
図1は、移動車両分析システム101が動作する例示的なシステム環境のブロック図を示す。図1に示す例示的なシステム環境は、空中撮像装置110、移動車両分析システム101、交通データベース109、クライアント装置120、及び車両130を含むことができる。空中撮像装置110は、低解像度画像を取り込むことができる、衛星、無人機、または他の衛星に構成された撮像システムであってもよい。空中撮像装置110内の撮像システムは、異なる時間に取り込む複数の撮像センサを含むことができることに留意されたい。空中撮像装置110は、時間差を有する複数の画像を取り込むことができる。複数の画像は、同じスペクトル帯域または異なるスペクトル帯域に対応してもよく、スペクトル帯域は光の波長範囲に対応する。例示的なスペクトル帯域には、赤色スペクトル帯域、緑色スペクトル帯域、青色スペクトル帯域、赤外スペクトル帯域、およびパンクロマティックスペクトル帯域が含まれる。
(例示的なシステムアーキテクチャ)
図2は、移動車両分析システム101の例示的なシステムアーキテクチャのブロック図を示す。図2に示されるシステムは、外部システムインターフェース201、画像記憶部102、オプションの車両経路検出モジュール105、オプションのピクセルブロブ識別モジュール103、オプションの特徴抽出モジュール104、オプションの特徴記憶部202、機械学習モデル106、機械学習トレーニングエンジン203、移動車両記憶部204、交通分析モジュール107、および交通パターン記憶部206を含む。図2のオプションの構成要素は、破線で示されている。
(低解像度の空中画像)
ここで、図3を参照すると、空中撮像装置110内の3つの赤色、青色および緑色撮像センサから組み合わされた例示的な低解像度空中画像300が示されており、各センサは異なる帯域の別個の画像を取り込む。組み合わされた画像300は、青いブロブ301、緑のブロブ301、赤いブロブ303、および車両経路304を含む。空中撮像装置110内の3つの撮像センサは、小さな時間差で別個の画像を取り込む。画像内の大部分の物体(例えば、車両経路304、樹木、住宅など)は動いていないため、取り込まれた画像は画像300に組み合わされたときに同じように見える。しかし、移動車両は、異なる画像が結合されたときの取り込み時間の差のために完全に並んでいない。例えば、移動車両は、赤、青、緑の帯域の異なる位置にブロブとして現れることがある。これは、3つの画像が単一の画像300に結合されたときに明らかである。画像300において、図3に青色ピクセルの集合として示されるブロブ301は、青色スペクトル撮像センサによって取り込まれる。画像300において、図3に緑色ピクセルの集合として示されるブロブ302は、緑色スペクトル撮像センサによって取り込まれる。画像300において、図3に赤色ピクセルの集合として示されるブロブ303は、赤色スペクトル撮像センサによって取り込まれる。青色ブロブ301及び緑色ブロブ302は、これらの2つのスペクトル帯域間の時間遅延が、青色スペクトル帯域と赤色スペクトル帯域との間の時間遅延または緑色スペクトル帯域と赤色スペクトル帯域との間の時間遅延と比較して小さいため、画像300において互いに接近している。
(機械学習トレーニングプロセスの例)
図4は、移動車両分析システム101内の機械学習モデル106のための機械学習トレーニングエンジン203の例示的なトレーニングプロセスを示す。プロセスは、トレーニング画像401、ピクセルブロブ識別モジュール103、画像記憶部102、車両経路検出モジュール105、特徴抽出モジュール104、特徴ベクトル410、機械学習モデル106、交通データベース109、およびトレーニングラベル402を用いることができる。オプションの要素は、図4の破線を用いて示される。一実施形態では、図4に示すピクセルブロブ識別モジュール103は、ピクセルクラスタリングを実行して、トレーニング画像401の各画像について、隣接ピクセルを含むブロブを識別することによってブロブを識別する。隣接ピクセルはピクセル属性に基づいて互いに一致する。ピクセルブロブ識別モジュール103は、識別されたブロブを含むトレーニング画像401を特徴抽出モジュール104に送信することができる。
(機械学習モデルの例示的なトレーニングセット)
図5は、移動車両分析システム101における機械学習モデル106に関する例示的なトレーニングセット500および510を示す。各トレーニングセットは、図4に例示及び記載されたトレーニング画像401およびトレーニングラベル402を含む。図5に示す正のトレーニングセット500は、移動車両の存在を有すると決定された特徴410を含む。正のトレーニングセット500は、異なる時間に撮影された画像からの合成画像である。正のトレーニングセット500は、2つのラベルされたピクセルブロブ501および502を含む。一例では、ピクセルブロブ501は緑色スペクトル帯域に対応し、ピクセルブロブ502は赤色スペクトル帯域に対応する。正のトレーニングセット500は、2つのピクセルブロブ501および502が移動車両に対応することを機械学習モデル106にトレーニングするために、機械学習モデルトレーニングエンジン203によって使用される移動車両トレーニングラベル503をさらに含む。正のトレーニングセット500は、機械学習トレーニングエンジン203によって使用される車両経路エッジトレーニングラベル504をさらに含み、エッジが車両経路に対応することを機械学習モデル106にトレーニングする。
(例示的なプロセス)
図6は、移動車両分析システム101の例示的なプロセスを例示する。いくつかの実施形態では、本プロセスは、図6に関連して記載したものとは異なるステップおよび/または追加のステップを有することができる。例えば、オプションのステップは、図6に点線で示されている。本プロセスのステップは、図6に関連して記載した順序と異なる順序で実行されてもよい。いくつかのステップは、並行して実行することができる。代替的に、いくつかのステップは並列に実行されてもよく、いくつかのステップは逐次実行されてもよい。代替的に、いくつかのステップは、前のステップの実行の前にステップの実行が開始されるように、パイプライン方式で実行されてもよい。
(プロセスの応用例)
図7は、低解像度空中画像を処理する移動車両分析システム101のための、図6を参照して上記で詳細に例示及び記載されるプロセスの応用例を例示する。本プロセスは、画像701と、オプションのピクセルブロブ識別モジュール103と、画像記憶部102と、車両経路検出モジュール105と、特徴ベクトル410と、機械学習モデル106と、移動車両記憶部204と、交通分析モジュール107と、交通データベース109と、交通パターン記憶部205とを含む。オプションの要素は、図7に破線で示されている。移動車両分析システム101は、外部システムインターフェース201を介して地理的領域の画像701を受信する。各画像701は、別個の時間に取り込まれる。画像701は、1つまたは複数のスペクトル帯域に対応することができる。図7に示す受信画像701は、図2を参照して上記で詳細に説明したように、画像記憶部102に記憶される。
(地理的領域の例示的な画像)
図8は、図1を参照して上記で詳細に説明したように、空中撮像装置110内の複数の撮像センサから組み合わされた地理的領域の例示的な低解像度空中画像800である。画像800は、図2を参照して上記で詳細に説明したように、移動車両分析システム101によって受信される。空中撮像装置110内の複数の撮像センサは、図1を参照して上記で詳細に説明したように、異なるスペクトル帯域に対応し、異なる時間に画像を取り込む。車両経路検出モジュール105または機械学習モデル106(CNNの形態)によって検出された車両経路801、802および803は、画像800内で可視である。車両経路801上のブロブ804は、機械学習モデル106によって識別される移動車両に対応する。移動車両経路801上のブロブ805は、機械学習モデル106によって識別される別の移動車両に対応する。移動方向806は、対応するブロブ804及び805内の緑色から赤色ブロブへの方向に対応する。緑色のスペクトル帯域画像が赤色のスペクトル帯域画像の前に取り込まれるためである。
(ピクセル画像を含む例示的な画像)
図9は、図2を参照して上記で詳細に説明したように、複数の撮像センサから組み合わされ、移動車両分析システム101によって識別されるピクセルブロブおよび車両経路を含む例示的な低解像度空中画像900を例示する。画像900において、移動車両分析システム101は、車両経路に対応するエッジを含まない背景領域901および902を特定した。図9に示すピクセルブロブ910及び909は、図2を参照して上記で詳細に説明したように識別されている。図7を参照して上記で詳細に説明したように、ピクセルブロブ910および909は、エッジを含まない背景領域901および902に位置付けられ、移動車両に対応するものとして識別されない。
(交通分析の例示的な出力)
図10は、交通分析モジュール107の例示的な出力1000を示す。図10において例示される画像は、図7を参照して上記で詳細に説明したプロセスの適用によって識別された移動車両に対応する車両経路1001と2つのピクセルブロブ1002および1003とを含む。 交通分析モジュール107は、対応するブロブの各々の重心間の差を決定することによって、各移動車両に対応するブロブの方向ベクトルを決定する。図2を参照して上記で詳細に説明したように、図10に示す交通分析モジュール107の例示的な出力1000では、交通分析モジュール107は、小ブロブ1002の重心1004を、小ブロブ1002内のすべてのピクセル位置の算術平均位置Σij(i,j)/mとして決定した。ここで、(i,j)はブロブ1002内のピクセルの位置を表し、m、ブロブ1002内のピクセルの数を表す。
(単一の撮像センサからの例示的な入力画像)
図11は、それぞれが異なる時間t1およびt2で単一の撮像センサから取り込まれる、低解像度空中画像1100および1110を例示する。ここで、t1はt2より時間的に早い。画像1100および1110は、移動車両分析システム101によって入力として受信される。一例では、時刻t1に取り込まれた画像1100は、緑色スペクトル帯域に対応する。この例では、時間t2で取り込まれた画像1110は、赤色スペクトル帯域に対応する。画像1100は、車両経路1101と、車両経路1101に対応する2つのエッジ1102および1103とを含む。画像1100は、緑色スペクトル帯域に対応する2つのピクセルブロブ1104および1105をさらに含む。両方のブロブ1104および1105は、車両経路1101に対応する一対のエッジ1102および1103の間に位置付けられる。ピクセルブロブ1104は、エッジ1103よりもエッジ1102の近くに位置付けられ、ブロブ1105は、エッジ1102よりもエッジ1103の近くに位置付けられる。
(機械学習モデルの例示的な出力)
図12Aは、図6のプロセスに従った、図11に示す受信画像1100および1110に関する機械学習モデル106の例示的な出力1200を示す。機械学習モデル106の出力1200は、図12Aに示す識別された車両経路1101を含む。機械学習モデル106の出力1200は、車両経路1101に対応するエッジ内に位置付けられた画像1100および1110からのブロブ1104および1114をさらに含む。ブロブ1104は緑色スペクトル帯域に対応し、ブロブ1114は赤色スペクトル帯域に対応するため、機械学習モデル106は、画像1100および1110からのブロブ1104および1114が、車両経路1101の上方のエッジのより近くを走行中の車両1204に対応することを識別した。
(交通分析の出力例)
図12Bは、図12Aからの2つの移動車両1204および1205に関する交通分析モジュール107の例示的な出力1210を示す。図12Bでは、図2を参照して上記で詳細に説明したように、交通分析モジュール107は、図12Aからの移動車両1204に関する方向ベクトル1214を計算した。移動車両1204は、時間t1で取り込まれた緑色スペクトル帯域に対応するブロブ1104によって、および時間t2で取り込まれた赤色スペクトル帯域に対応するブロブ1114によって、図12Aに示されている。ここで、t1はt2より時間的に早い。したがって、交通分析モジュール107は、図12Aからの移動車両1204の図12Bに示す方向ベクトル1214を、ブロブ1104からブロブ1114への方向に移動するものとして計算する。
(例示的な機械アーキテクチャ)
図13は、本明細書においてプロセスとして説明された命令を機械可読媒体から読み取り、それらを少なくとも1つのプロセッサ(またはコントローラ)において実行できる例示的な機械の構成要素を例示するブロック図である。具体的には、図13は、コンピュータシステム1300の例示的な形態の機械の概略図を示す。コンピュータシステム1300は、本明細書に記載された任意の1つまたは複数の方法(またはプロセス)を機械に実行させるための命令1324(たとえば、プログラムコードまたはソフトウェア)を実行するために使用されることができる。代替の実施形態では、機械は、スタンドアロン装置または他の機械に接続する(例えば、ネットワーク接続)接続装置として動作する。ネットワーク展開では、機械は、サーバ−クライアントネットワーク環境内のサーバマシンまたはクライアントマシンとして、またはピアツーピア(または分散型)ネットワーク環境のピアマシンとして動作することができる。
(その他の考慮事項)
開示された移動車両分析システムは、ピクセルのクラスタを移動車両のデジタル表現に変換すること、及び各移動車両について、移動車両のサイズ、移動車両の速度、および移動車両の方向のデジタル表現に変換することを含む利点および利点を提供する。このシステムの他の利点には、空中画像の処理の高速化、電力消費の低減、移動車両の検出におけるより低い待ち時間、ネットワークを介して送信されるデータの減少などを含む。
Claims (20)
- 空中撮像装置からの画像を処理する方法であって、
地理的領域の複数の画像を受信するステップであって、前記複数の画像の各画像は、異なる時間に取り込まれる、ステップと、
前記複数の画像の各画像について、ピクセルクラスタリングを実行して前記画像における複数の隣接ピクセルを含むブロブを識別するステップであって、前記隣接ピクセルは、ピクセル属性に基づいて互いに一致する、ステップと、
前記複数の画像から特徴ベクトルを抽出するステップであって、前記特徴ベクトルは、前記複数の画像の各ブロブの相対位置を示す特徴を少なくとも含む、ステップと、
前記特徴ベクトルに基づく機械学習モデルによって、
各ブロブが前記複数の画像の異なる画像に対応する、複数のブロブと、
前記複数のブロブが移動車両に対応する可能性を示すスコアであって、前記スコアは、前記機械学習モデルに入力される前記特徴ベクトルを使用して生成される、スコアと、
を含む出力を生成するステップと、
閾値を超える前記生成したスコアに応答して、前記複数のブロブと前記移動車両との間の関連を記憶するステップと、
前記複数の画像における1つまたは複数の移動車両の数を決定するステップであって、各移動車両は、対応する複数のブロブに関連付けられる、ステップと、
前記1つまたは複数の移動車両の視覚的表現をユーザ装置に配信するステップと、
を含む方法。 - 空中撮像装置からの画像を処理する方法であって、
地理的領域の複数の画像を受信するステップであって、前記複数の画像の各画像は、異なる時間に取り込まれる、ステップと、
前記複数の画像に基づく機械学習モデルによって、
各ブロブが前記複数の画像の異なる画像における1つまたは複数の隣接ピクセルを含み、前記隣接ピクセルは、ピクセル属性に基づいて互いに一致する、複数のブロブと、
前記複数のブロブが移動車両に対応する可能性を示すスコアであって、前記スコアは、前記複数の画像の前記複数のブロブのそれぞれの相対位置を示す、前記機械学習モデルに入力される特徴ベクトルを使用して生成される、スコアと、
を含む出力を生成するステップと、
閾値を超える前記生成したスコアに応答して、前記複数のブロブと前記移動車両との間の関連を記憶するステップと、
前記複数の画像における1つまたは複数の移動車両の数を決定するステップであって、各移動車両は、対応する複数のブロブに関連付けられる、ステップと、
を含む方法。 - 前記複数の画像の各画像は、スペクトル帯域に対応し、スペクトル帯域は光の波長範囲に対応する、請求項2に記載の方法。
- 前記複数の画像の各画像について、ピクセルクラスタリングを実行してブロブを識別するステップをさらに含む、請求項2に記載の方法。
- 前記出力は、
ブロブに対応する1つまたは複数のピクセル位置及び前記1つまたは複数のピクセル位置がブロブに対応する可能性を示すスコアと、
車両経路に対応する複数のピクセル位置及び前記複数のピクセル位置が車両経路に対応する可能性を示すスコアと、
複数のブロブのうちの各ブロブにおけるピクセルの数と、
前記複数のブロブと移動車両との間の関連と、
のうちの少なくとも1つをさらに含む、請求項2に記載の方法。 - 複数のトレーニングセットを受信するステップであって、各トレーニングセットは移動車両に対応するラベル付きの複数のブロブを含む、ステップと、
前記トレーニングセットを用いて前記機械学習モデルをトレーニングするステップであって、前記機械学習モデルは、複数のブロブと、前記複数のブロブが移動車両に対応する可能性を示すスコアとを含む出力を生成するように構成される、ステップと、
をさらに含む、請求項2に記載の方法。 - 前記複数の画像のピクセル解像度を受信するステップと、
前記複数のブロブの各ブロブにおけるピクセルの数を決定するステップと、
前記ピクセル解像度と、前記移動車両に関連付けられた前記対応する複数のブロブの各ブロブにおけるピクセルの数とに基づいて、前記1つまたは複数の移動車両における各車両のサイズを決定するステップと、
をさらに含む、請求項2に記載の方法。 - 前記複数の画像のピクセル解像度を受信するステップと、
車両経路の長さに関連付けられたピクセルの数を決定するステップと、
前記ピクセル解像度と、前記車両経路の前記長さに関連付けられた前記ピクセルの数とに基づいて、前記車両経路の前記長さを決定するステップと、
をさらに含む、請求項7に記載の方法。 - 前記1つまたは複数の移動車両の数及び前記車両経路の前記長さに基づいて、移動車両の密度を決定するステップをさらに含む、請求項8に記載の方法。
- 前記1つまたは複数の移動車両の各々について、前記対応する複数のブロブの各ブロブの重心間の差を決定することにより、前記移動車両に関連付けられた前記対応する複数のブロブに関する方向ベクトルを決定するステップであって、前記方向ベクトルは、前記移動車両の速度及び方向に対応する、ステップをさらに含む、請求項9に記載の方法。
- 前記複数の画像のピクセル解像度を受信するステップと、
前記1つまたは複数の移動車両の各々について、前記ピクセル解像度に基づいて前記方向ベクトルの長さを決定するステップと、
をさらに含む、請求項10に記載の方法。 - 前記1つまたは複数の移動車両の各々について、前記方向ベクトルの長さを前記複数の画像の間の時間差によって割ることにより速度を決定するステップをさらに含む、請求項11に記載の方法。
- 前記1つまたは複数の移動車両の前記速度の合計を前記1つまたは複数の移動車両の数によって割ることにより平均速度を決定するステップをさらに含む、請求項12に記載の方法。
- 前記複数の画像のうちの画像の取り込み時間と、
前記1つまたは複数の移動車両の数と、
前記1つまたは複数の移動車両の各車両のサイズと、
前記平均速度と、
前記移動車両の密度と、
前記車両経路の前記長さと、
のうちの少なくとも1つを含む交通パターンを分析するステップと、
閾値を超える前記分析された交通パターンに応答して、前記1つまたは複数の移動車両に再経路指定情報を送信するステップと、
をさらに含む、請求項13に記載の方法。 - 前記複数の画像のうちの画像においてエッジ分析を実行して、一対のエッジを識別するステップであって、前記一対のエッジは、車両経路に対応する、ステップをさらに含む、請求項2に記載の方法。
- 前記複数の画像から特徴ベクトルを抽出するステップであって、前記特徴ベクトルは、ブロブが前記車両経路に対応する前記一対のエッジの間に位置付けられるかどうかを示す特徴を少なくとも含む、ステップをさらに含む、請求項15に記載の方法。
- 特徴は、前記複数のブロブの2つのブロブがそれぞれ、前記複数の画像において互いに重なるピクセル位置を有する、請求項16に記載の方法。
- 特徴は、前記複数のブロブのうちの各ブロブの重心間の差が前記車両経路のラベル付きの方向と一致するかどうかを示す、請求項16に記載の方法。
- 特徴は、複数のピクセル位置と前記ピクセル属性との間の関連を示す、請求項16に記載の方法。
- 少なくとも1つのプロセッサによって実行可能な命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、前記プロセッサによって実行されるとき、前記プロセッサに、
地理的領域の複数の画像を受信するステップであって、前記複数の画像の各画像は、異なる時間に取り込まれる、ステップと、
前記複数の画像に基づく機械学習モデルによって、
各ブロブが前記複数の画像の異なる画像における1つまたは複数の隣接ピクセルを含み、前記隣接ピクセルは、ピクセル属性に基づいて互いに一致する、複数のブロブと、
前記複数のブロブが移動車両に対応する可能性を示すスコアであって、前記スコアは、前記複数の画像の前記複数のブロブのそれぞれの相対位置を示す、前記機械学習モデルに入力される特徴ベクトルを使用して生成される、スコアと、
を含む出力を生成するステップと、
閾値を超える前記生成したスコアに応答して、前記複数のブロブと前記移動車両との間の関連を記憶するステップと、
前記複数の画像における1つまたは複数の移動車両の数を決定するステップであって、各移動車両は、対応する複数のブロブに関連付けられる、ステップと、
を実行させる、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562256072P | 2015-11-16 | 2015-11-16 | |
US62/256,072 | 2015-11-16 | ||
PCT/US2016/061925 WO2017087334A1 (en) | 2015-11-16 | 2016-11-14 | Moving vehicle detection and analysis using low resolution remote sensing imagery |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018536236A JP2018536236A (ja) | 2018-12-06 |
JP6709283B2 true JP6709283B2 (ja) | 2020-06-10 |
Family
ID=58691278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018526502A Active JP6709283B2 (ja) | 2015-11-16 | 2016-11-14 | 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10255523B2 (ja) |
EP (1) | EP3378222A4 (ja) |
JP (1) | JP6709283B2 (ja) |
WO (1) | WO2017087334A1 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9992977B2 (en) * | 2015-06-03 | 2018-06-12 | Keltronix, Inc. | Agricultural monitoring system using image analysis |
US20180276578A1 (en) * | 2017-03-22 | 2018-09-27 | Facebook, Inc. | Providing travel related content to modify travel itineraries |
US11037330B2 (en) * | 2017-04-08 | 2021-06-15 | Intel Corporation | Low rank matrix compression |
EP3399460B1 (en) * | 2017-05-02 | 2019-07-17 | Dassault Systèmes | Captioning a region of an image |
CA3065340A1 (en) * | 2017-06-05 | 2018-12-13 | Citifyd, Inc. | Parking objects detection system |
US11367354B2 (en) * | 2017-06-22 | 2022-06-21 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Traffic prediction based on map images for autonomous driving |
US10599161B2 (en) * | 2017-08-08 | 2020-03-24 | Skydio, Inc. | Image space motion planning of an autonomous vehicle |
CN108230421A (zh) * | 2017-09-19 | 2018-06-29 | 北京市商汤科技开发有限公司 | 一种道路图生成方法、装置、电子设备和计算机存储介质 |
CN107944484B (zh) * | 2017-11-17 | 2021-06-01 | 长春工程学院 | 一种基于范围能量差的高分辨率遥感影像聚类方法 |
US11380054B2 (en) * | 2018-03-30 | 2022-07-05 | Cae Inc. | Dynamically affecting tailored visual rendering of a visual element |
CN108664994A (zh) * | 2018-04-17 | 2018-10-16 | 哈尔滨工业大学深圳研究生院 | 一种遥感图像处理模型构建系统和方法 |
US10878588B2 (en) * | 2018-06-22 | 2020-12-29 | X Development Llc | Detection and replacement of transient obstructions from high elevation digital images |
US10845806B2 (en) | 2018-07-31 | 2020-11-24 | GM Global Technology Operations LLC | Autonomous vehicle control using prior radar space map |
CN109214334B (zh) * | 2018-09-03 | 2020-12-29 | 百度在线网络技术(北京)有限公司 | 车道线处理方法和装置 |
US11715111B2 (en) * | 2018-09-25 | 2023-08-01 | Capital One Services, Llc | Machine learning-driven servicing interface |
US10747230B2 (en) * | 2018-10-08 | 2020-08-18 | Mando Corporation | Vehicle control apparatus, vehicle control system, and image sensor |
US11700356B2 (en) * | 2018-10-26 | 2023-07-11 | AutoBrains Technologies Ltd. | Control transfer of a vehicle |
EP3690704B1 (en) * | 2019-01-29 | 2021-02-24 | Accenture Global Solutions Limited | Distributed and self-validating dense object detection in digital images |
JP6742037B1 (ja) * | 2019-03-19 | 2020-08-19 | 株式会社 システムスクエア | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム |
JP6749655B1 (ja) * | 2019-03-19 | 2020-09-02 | 株式会社 システムスクエア | 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル |
WO2020209078A1 (ja) * | 2019-04-09 | 2020-10-15 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US11574409B2 (en) * | 2019-09-30 | 2023-02-07 | Ghost Autonomy Inc. | Scene filtering using motion estimation |
CN114787739A (zh) * | 2019-11-15 | 2022-07-22 | 伟摩有限责任公司 | 使用向量化输入的智能体轨迹预测 |
JP7398249B2 (ja) * | 2019-11-19 | 2023-12-14 | アジア航測株式会社 | 写真画像を用いた移動体軌跡生成装置 |
KR20210065605A (ko) * | 2019-11-27 | 2021-06-04 | 한국전자통신연구원 | 선인출 정보를 이용한 메모리 제어 방법 및 장치 |
JP7405607B2 (ja) * | 2019-12-26 | 2023-12-26 | ファナック株式会社 | 三次元データを補間する三次元データ生成装置及びロボットシステム |
SG10201913873QA (en) * | 2019-12-30 | 2021-07-29 | Singpilot Pte Ltd | Sequential Mapping And Localization (SMAL) For Navigation |
CN111259797A (zh) * | 2020-01-16 | 2020-06-09 | 南开大学 | 一种基于点的迭代式遥感图像道路提取方法 |
US11676018B2 (en) * | 2020-01-30 | 2023-06-13 | Mediatek Inc. | Feature extraction with keypoint resampling and fusion (KRF) |
CN112052773B (zh) * | 2020-08-31 | 2022-02-11 | 郑州工程技术学院 | 基于图像传感的无人机交通疏导智能播音方法及装置 |
CN112632315B (zh) * | 2020-12-30 | 2022-03-29 | 珠海大横琴科技发展有限公司 | 一种遥感图像检索的方法和装置 |
US11941895B1 (en) * | 2021-04-01 | 2024-03-26 | Endera Corporation | Vehicle-based facial recognition system and method |
CN113297947B (zh) * | 2021-05-19 | 2022-04-15 | 徐州工程学院 | 一种基于无人机监测的交通目标检测和识别方法 |
CN115082310B (zh) * | 2022-06-07 | 2023-04-07 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种卫星视频的超分辨率重建方法、装置及处理设备 |
US11551459B1 (en) * | 2022-06-27 | 2023-01-10 | Plusai, Inc. | Ambiguous lane detection event miner |
CN117036756B (zh) * | 2023-08-08 | 2024-04-05 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 基于变分自动编码器的遥感图像匹配方法及系统 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2132515C (en) | 1992-03-20 | 2006-01-31 | Glen William Auty | An object monitoring system |
US7000200B1 (en) * | 2000-09-15 | 2006-02-14 | Intel Corporation | Gesture recognition system recognizing gestures within a specified timing |
US9919723B2 (en) * | 2002-06-04 | 2018-03-20 | General Electric Company | Aerial camera system and method for determining size parameters of vehicle systems |
US7809061B1 (en) * | 2004-01-22 | 2010-10-05 | Vidiator Enterprises Inc. | Method and system for hierarchical data reuse to improve efficiency in the encoding of unique multiple video streams |
JP4461977B2 (ja) * | 2004-09-21 | 2010-05-12 | 株式会社デンソー | 道路混雑度予測システムおよび道路混雑度予測装置 |
US8381982B2 (en) * | 2005-12-03 | 2013-02-26 | Sky-Trax, Inc. | Method and apparatus for managing and controlling manned and automated utility vehicles |
WO2007124502A2 (en) | 2006-04-21 | 2007-11-01 | Sarnoff Corporation | Apparatus and method for object detection and tracking and roadway awareness using stereo cameras |
US8358806B2 (en) * | 2007-08-02 | 2013-01-22 | Siemens Corporation | Fast crowd segmentation using shape indexing |
CA2840860C (en) * | 2007-11-14 | 2015-05-26 | Intergraph Software Technologies Company | Method and apparatus of taking aerial surveys |
EP2243125B1 (en) * | 2007-12-13 | 2020-04-29 | Clemson University Research Foundation | Vision based real time traffic monitoring |
US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
US8374462B2 (en) * | 2008-11-14 | 2013-02-12 | Seiko Epson Corporation | Content-aware image and video resizing by anchor point sampling and mapping |
TWI401409B (zh) * | 2009-12-29 | 2013-07-11 | Avermedia Information Inc | 具有物體實際尺寸估計功能之實物攝影機 |
US8611598B2 (en) * | 2011-07-26 | 2013-12-17 | Harman International (China) Holdings Co., Ltd. | Vehicle obstacle detection system |
US9286516B2 (en) | 2011-10-20 | 2016-03-15 | Xerox Corporation | Method and systems of classifying a vehicle using motion vectors |
US10018703B2 (en) * | 2012-09-13 | 2018-07-10 | Conduent Business Services, Llc | Method for stop sign law enforcement using motion vectors in video streams |
WO2013081985A1 (en) * | 2011-11-28 | 2013-06-06 | Magna Electronics, Inc. | Vision system for vehicle |
JP5971341B2 (ja) * | 2012-08-09 | 2016-08-17 | トヨタ自動車株式会社 | 物体検出装置及び運転支援装置 |
WO2014031615A1 (en) * | 2012-08-20 | 2014-02-27 | Behavioral Recognition Systems, Inc. | Method and system for detecting sea-surface oil |
US9582722B2 (en) * | 2012-08-31 | 2017-02-28 | Xerox Corporation | Video-based vehicle speed estimation from motion vectors in video streams |
US9465997B2 (en) * | 2012-09-26 | 2016-10-11 | General Electric Company | System and method for detection and tracking of moving objects |
FR3013876B1 (fr) * | 2013-11-28 | 2016-01-01 | Sagem Defense Securite | Analyse d'une image multispectrale |
CN106536299B (zh) * | 2014-05-22 | 2019-06-28 | 御眼视觉技术有限公司 | 基于检测对象制动车辆的系统和方法 |
US9489581B2 (en) * | 2014-08-11 | 2016-11-08 | Nokia Technologies Oy | Vehicle counting and emission estimation |
US10015394B2 (en) * | 2015-10-06 | 2018-07-03 | Genetec Inc. | Camera-based speed estimation and system calibration therefor |
US9910441B2 (en) * | 2015-11-04 | 2018-03-06 | Zoox, Inc. | Adaptive autonomous vehicle planner logic |
-
2016
- 2016-11-14 JP JP2018526502A patent/JP6709283B2/ja active Active
- 2016-11-14 WO PCT/US2016/061925 patent/WO2017087334A1/en active Application Filing
- 2016-11-14 EP EP16866922.4A patent/EP3378222A4/en not_active Withdrawn
- 2016-11-14 US US15/351,373 patent/US10255523B2/en active Active
-
2019
- 2019-03-22 US US16/362,223 patent/US20190220696A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP3378222A1 (en) | 2018-09-26 |
WO2017087334A1 (en) | 2017-05-26 |
JP2018536236A (ja) | 2018-12-06 |
US10255523B2 (en) | 2019-04-09 |
US20190220696A1 (en) | 2019-07-18 |
US20170140245A1 (en) | 2017-05-18 |
EP3378222A4 (en) | 2019-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6709283B2 (ja) | 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 | |
US10902615B2 (en) | Hybrid and self-aware long-term object tracking | |
US10192323B2 (en) | Remote determination of containers in geographical region | |
US10607362B2 (en) | Remote determination of containers in geographical region | |
Ouyang et al. | Deep CNN-based real-time traffic light detector for self-driving vehicles | |
Fan et al. | Multi-level contextual rnns with attention model for scene labeling | |
US9400936B2 (en) | Methods and systems for vehicle tag number recognition | |
JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
Ye et al. | A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification | |
EP3553700A2 (en) | Remote determination of containers in geographical region | |
WO2023231991A1 (zh) | 交通信号灯感知方法、装置、设备及存储介质 | |
CN112465854A (zh) | 基于无锚点检测算法的无人机跟踪方法 | |
CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
Gautam et al. | Image-based automatic traffic lights detection system for autonomous cars: a review | |
Zhang et al. | Detection-by-tracking of traffic signs in videos | |
Dong et al. | Fast segmentation-based object tracking model for autonomous vehicles | |
Zhang et al. | Bus passenger flow statistics algorithm based on deep learning | |
Imad et al. | Navigation system for autonomous vehicle: A survey | |
Maher et al. | Deep-patch orientation network for aircraft detection in aerial images | |
CN113449629A (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 | |
Truong et al. | Rotated Mask Region-Based Convolutional Neural Network Detection for Parking Space Management System | |
Wang et al. | A Multi-Objective Recognition Algorithm with Time and Space Fusion | |
Gonthina et al. | Robust Pedestrian Detection in Challenging Environmental Conditions Using FCOS | |
Cam et al. | Vehicle License Plates Recognition Using Object Detection and Classification Algorithms | |
Velesaca et al. | Video Analytics in Urban Environments: Challenges and Approaches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6709283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |