JP2023538676A - 自動化された仮想トリップワイヤ配置 - Google Patents
自動化された仮想トリップワイヤ配置 Download PDFInfo
- Publication number
- JP2023538676A JP2023538676A JP2023513171A JP2023513171A JP2023538676A JP 2023538676 A JP2023538676 A JP 2023538676A JP 2023513171 A JP2023513171 A JP 2023513171A JP 2023513171 A JP2023513171 A JP 2023513171A JP 2023538676 A JP2023538676 A JP 2023538676A
- Authority
- JP
- Japan
- Prior art keywords
- movement
- target object
- grid
- images
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 132
- 238000000034 method Methods 0.000 claims abstract description 101
- 239000013598 vector Substances 0.000 claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 43
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 33
- 230000015654 memory Effects 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 14
- 238000012935 Averaging Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000000712 assembly Effects 0.000 description 7
- 238000000429 assembly Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- CYTYCFOTNPOANT-UHFFFAOYSA-N Perchloroethylene Chemical compound ClC(Cl)=C(Cl)Cl CYTYCFOTNPOANT-UHFFFAOYSA-N 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000007418 data mining Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 241000220317 Rosa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- -1 gravel Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Die Bonding (AREA)
- Placing Or Removing Of Piles Or Sheet Piles, Or Accessories Thereof (AREA)
- Supplying Of Containers To The Packaging Station (AREA)
Abstract
1つまたは複数のコンピューティングデバイスは、地理的座標グリッドの格子点上に仮想トリップワイヤを配置するための方法を実施する。デバイスのプロセッサは、カメラを制御してカメラの視野内の一連の画像を撮影させる。プロセッサは、画像における対象物体を特定し、画像を通して物体の動きを決定する。プロセッサは、対象物体の移動方向を特定し、その移動方向における変動を決定する。さらに、プロセッサは、グリッド上の対象物体に対応するベクトル点のための移動方向の中央値のベクトルを決定する。次いで、プロセッサは、少なくとも1つの対象物体の移動方向とほぼ直交する方向においてグリッドの格子点にわたってトリップワイヤを配置するための複数の候補位置を決定し、移動方向の中央値のベクトルおよび移動方向の変動に基づいて1つの候補位置を自動的に選択する。【選択図】図10
Description
本発明は、一般に、道路の上方で空中に搭載され、動画収集および分析のために配置されたノードに関する。より詳細には、本発明は、動画を分析し、仮想トリップワイヤのための適切な位置を自動的に決定するように空中に搭載されたノードに関するが、これに限定されるものではない。
町、市、およびその他の様々な他の自治体は、様々な道に沿った交通の流れを分析することを所望する場合が多い。例えば、交通の流れを分析して、所与の時間内に比較的多くの自動車が輸送される道を決定することができる。このような交通の流れに関する情報は、例えば、自転車レーンを設置するためにどの道の幅を広げるか狭めるかを決定するために利用される場合がある。このような情報は、警告信号(例えば、追加の信号機、可聴警告など)、横断歩道、標識、およびその他の有用な都市の付属物を追加する場所、取り除く場所、または変更する場所を決定するために利用される場合がある。
一部の交通監視システムにおいて、動画は、道路の一部で継続的に記録、撮影、または監視される場合がある。撮影した動画または画像は、道に沿って走行する車両の数、または交通の流れに関するその他の情報を決定するために処理される場合がある。その他の情報として、比較的交通量の多い時間帯、比較的交通量の少ない時間帯、または他の特性を含む。
1つの従来の例において、例えば、道の特定の部分を交通技師が手動で選択して、道のその部分を通過する交通を監視することができる。別の特定の例において、交通技師は、道に沿った交通の移動方向に対して垂直な方向に延在する特定のトリップワイヤまたは線を手動で選択することができ、この場合、その線を越える交通を監視することができる。
「背景技術」で説明したすべての主題は、必ずしも先行技術ではなく、「背景技術」の説明だけでそれらが先行技術であると仮定されるべきではない。また、「背景技術」で説明した先行技術またはそのような主題に関連する問題点の認識は、先行技術であると明示されていない限り、先行技術のものとして扱われるべきではない。むしろ、「背景技術」で説明した主題の議論は、特定の問題に対する発明者のアプローチの一部として扱われるべきであり、それ自体もまた、進歩性があるといえる。
以下は、いくつかの特徴および文脈の初期理解を提供するための本発明の要約である。この要約は、本発明の重要または重大な要素を特定すること、または本発明の範囲を画定することを意図していない。この要約は、後述するより詳細な説明の前段階として、本発明の特定の概念を簡略化した形で示すものである。
例示的な実施形態の一態様によれば、1つまたは複数のコンピューティングデバイスによって実行される方法が、仮想トリップワイヤを配置する位置を決定してもよい。カメラの視野内の道路の少なくとも一部に関する一連の画像が、カメラから取得または撮影されてもよい。格子点または格子点のセットは、一連の画像のうちの各画像の画素または画素グループにそれぞれ対応する。一連の画像は、対象物体を特定するために処理されてもよい。一連の画像を通して対象物体の動きが決定されてもよい。格子点のセットを通しての各対象物体の1つまたは複数の点の移動方向が特定されてもよい。対象物体のそれぞれの移動方向の変動が決定されてもよい。格子点のセットにおける対象物体に対応する複数のベクトル点の各々に関する移動方向の中央値のベクトルが決定されてもよい。一連の画像を通しての対象物体の少なくとも一部の動きを監視するための仮想トリップワイヤを格子点のセット上に配置するための複数の候補位置が決定されてもよい。仮想トリップワイヤは、道路の少なくとも一部に沿った移動方向とほぼ直交する方向に延在する仮想セグメントを含んでもよい。仮想トリップワイヤを配置するための特定の候補位置が自動的に選択されてもよい。ここで、特定の候補位置は、複数のベクトルおよび移動方向の関連する変動に基づいて、複数の候補位置から自動的に選択されてもよい。仮想トリップワイヤを配置するための特定の候補位置を自動的に選択することは、格子点にわたってスライディングウィンドウを移動させて、スライディングウィンドウに重なる格子点における移動方向の変動の最小化をもたらす位置を特定することを含んでもよい。場合によっては、特定の候補位置のためのスライディングウィンドウ内の仮想トリップワイヤの配置は、格子点における移動方向の変動の最小化をもたらすスライディングウィンドウ内の配置を決定することに基づいてもよい。画像は、経路の少なくとも一部に関する動画をサンプリングすることで取得されてもよい。対象物体は、1つまたは複数の車、1つまたは複数のトラック、1つまたは複数の自転車、あるいは1つまたは複数の歩行者を含んでもよい。場合によっては、仮想トリップワイヤを越える少なくとも1つの対象物体の速度は、連続する画像における対象物体のうちの少なくとも1つに対応する画素のそれぞれの位置に基づいて、所定の時間間隔について推定されてもよい。場合によっては、所定の時間間隔について、仮想トリップワイヤを越えた車両の数のカウントが決定されてもよい。場合によっては、各対象物体に対する境界周囲のための地理的座標が決定されてもよい。
例示的な実施形態の別の態様によれば、システムは、ビデオカメラおよび第1のプロセッサを有する空中搭載型ノードを含んでもよい。第1のプロセッサは、道路の少なくとも一部に関する一連の画像を取得するように配置されるか動作可能であってもよく、ここで、格子点または格子点のセットが一連の画像のうちの各画像の画素または画素グループにそれぞれ対応する。また、第1のプロセッサは、一連の画像のうちの画像を処理して対象物体を特定するように配置されるか動作可能であってもよい。また、第1のプロセッサは、一連の画像のうちの少なくとも1つの画像における各対象物体のそれぞれの境界周囲を決定するように配置されるか動作可能であってもよく、ここで、それぞれの境界周囲は、それぞれの対象物体を囲む幾何学的物体を含む。また、第1のプロセッサは、各対象物体について、境界周囲上または境界周囲内の少なくとも1つの点を表す地理的座標を決定するように配置されるか動作可能であってもよい。また、第1のプロセッサは、決定した地理的座標を含むメッセージを送信するように配置されるか動作可能であってもよい。
該システムは、第2のプロセッサを有するリモートコンピューティングデバイスをさらに含んでもよい。第2のプロセッサは、空中搭載型ノードが送信したメッセージの少なくとも一部を受信するように配置されるか動作可能であってもよい。また、第2のプロセッサは、一連の画像を通して対象物体の動きを決定するように配置されるか動作可能であってもよい。また、第2のプロセッサは、格子点のセットを通しての各対象物体の1つまたは複数の点の移動方向を特定するように配置されるか動作可能であってもよい。また、第2のプロセッサは、各対象物体について、移動方向の変動を決定するように配置されるか動作可能であってもよい。また、第2のプロセッサは、格子点のセット上の対象物体に対応する複数のベクトル点の各々について、移動方向の中央値のベクトルを決定するように配置されるか動作可能であってもよい。また、第2のプロセッサは、一連の画像を通しての対象物体の少なくとも一部の動きを監視するための仮想トリップワイヤを格子点のセット上に配置するための複数の候補位置を決定するように配置されるか動作可能であってもよく、ここで、仮想トリップワイヤは、道路の少なくとも一部に沿った移動方向とほぼ直交する方向に延在する仮想セグメントを含む。また、第2のプロセッサは、仮想トリップワイヤを配置するための特定の候補位置を自動的に選択するように配置されるか動作可能であってもよく、ここで、複数のベクトルおよび移動方向の関連する変動に基づいて、複数の候補位置から特定の候補位置が選択される。また、リモートコンピューティングデバイスは、格子点のセットにわたってスライディングウィンドウを移動させて、スライディングウィンドウに重なる格子点における移動方向の変動の最小化をもたらす位置を特定するように配置されるか動作可能であってもよい。さらに、リモートコンピューティングデバイスは、格子点における移動方向の変動の最小化をもたらすスライディングウィンドウ内の配置を決定することに基づいて、特定の候補位置のためのスライディングウィンドウ内の仮想トリップワイヤの配置を特定するように配置されるか動作可能であってもよい。
さらに、リモートコンピューティングデバイスは、各対象物体について、境界周囲のための地理的座標を決定するように配置されるか動作可能であってもよい。特定の候補位置は、移動方向の決定された低変動に関連する候補を含んでもよい。リモートコンピューティングデバイスは、連続する画像における対象物体のうちの少なくとも1つに対応する画素のそれぞれの位置に基づいて、所定の時間間隔で仮想トリップワイヤを越える対象物体のうちの少なくとも1つの速度を推定するように配置されるか動作可能であってもよい。リモートコンピューティングデバイスは、所定の時間間隔で仮想トリップワイヤを越える車両の数をカウントするように配置されるか動作可能であってもよい。
例示的な実施形態のさらなる一態様によれば、物品は、1つまたは複数のプロセッサによって実行可能な機械読取可能命令を含む非一時的な記憶媒体を含む。これにより、1つまたは複数の空中搭載型ノードから受信したメッセージを処理することができる。ここで、少なくとも1つのメッセージは、1つまたは複数の空中搭載型ノードが取得した道路の少なくとも一部に関する一連の画像のうちの少なくとも1つの画像における複数の対象物体のうちの各対象物体の境界周囲上または境界周囲内の少なくとも1つの点を表す地理的座標を含む。また、上記により、一連の画像を通して対象物体の動きを決定することができ、格子点のセットを通しての各対象物体の1つまたは複数の点の移動方向を特定することができ、各対象物体について、移動方向の変動を決定することができ、格子点のセット上の対象物体に対応する複数のベクトル点の各々について、移動方向の中央値のベクトルを決定することができ、一連の画像を通しての対象物体の少なくとも一部の動きのための仮想トリップワイヤを格子点のセット上に配置するための複数の候補位置を決定することができる。ここで、仮想トリップワイヤは、道路の少なくとも一部に沿った移動方向とほぼ直交する方向に延在する仮想セグメントを含む。また、上記により、仮想トリップワイヤを配置するための特定の候補位置を自動的に選択することができる。ここで、複数のベクトルおよび移動方向の関連する変動に基づいて、複数の候補位置から特定の候補位置が選択される。
さらに、機械読取可能命令は、格子点にわたってスライディングウィンドウを移動させて、スライディングウィンドウに重なる格子点における移動方向の変動の最小化をもたらす位置を特定するように、仮想トリップワイヤを配置するための特定の候補位置を自動的に選択する1つまたは複数のプロセッサによって実行可能であってもよい。さらに、機械読取可能命令は、格子点における移動方向の変動の最小化をもたらすスライディングウィンドウ内の配置を決定することに基づいて、特定の候補位置のためのスライディングウィンドウ内の仮想トリップワイヤの配置を特定するように、1つまたは複数のプロセッサによって実行可能であってもよい。特定の候補位置は、移動方向の決定された低変動に関連する候補を含んでもよい。さらに機械読取可能命令は、連続する画像における対象物体のうちの少なくとも1つに対応する画素のそれぞれの位置に基づいて、所定の時間間隔で仮想トリップワイヤを越える少なくとも1つの対象物体の速度を推定するように、1つまたは複数のプロセッサによって実行可能であってもよい。
例示的な実施形態の一態様によれば、1つまたは複数のプロセッサが実行する方法は、仮想トリップワイヤを配置する位置を決定してもよい。カメラの視野内の道路の少なくとも一部に関する一連の画像が取得または撮影されてもよい。格子点のセットは、一連の画像のうちの各画像の画素または画素グループに対応してもよい。一連の画像は、対象物体を特定するために処理されてもよい。一連の画像を通した対象物体の動きが決定されてもよい。各対象物体の1つまたは複数の点の移動方向は、格子点のセットを通して特定されてもよい。移動方向の変動は、格子点ごとに決定されてもよい。移動方向の中央値の複数のベクトルは、格子点のセットに対応する複数のベクトル点について決定されてもよい。一連の画像を通しての1つまたは複数の対象物体の動きを監視するための仮想トリップワイヤを格子点のセット上に配置するための複数の候補位置が決定されてもよい。仮想トリップワイヤは、道路の少なくとも一部に沿った移動方向とほぼ直交する方向に延在するセグメントを含んでもよい。格子点と交差する移動方向に垂直な仮想トリップワイヤの配置のために、複数のベクトルおよび移動方向の関連する変動に基づいて、複数の候補位置から特定の候補位置が選択されてもよい。仮想トリップワイヤを配置するための特定の候補位置の選択に基づいて、警告が生成されてもよい。
別の例示的な実施形態の一態様によれば、仮想トリップワイヤを配置する位置を決定することができるシステムが提供されてもよい。該システムは、道路の少なくとも一部に関する一連の画像を取得するために、少なくともビデオカメラと少なくとも第1のプロセッサとを備える1つまたは複数の動画撮影デバイスを含んでもよい。1つまたは複数の動画撮影デバイスは、対象物体を特定するように画像を処理してもよい。また、1つまたは複数の動画撮影デバイスは、一連の画像のうちの少なくとも1つの画像における各対象物体について、それぞれの境界周囲を決定してもよい。さらに、1つまたは複数の動画撮影デバイスは、少なくとも1つの画像における対象物体のそれぞれの境界周囲のための地理的座標を含むメッセージを送信してもよい。
また、該システムは、1つまたは複数の動画撮影デバイスからメッセージを受信するための少なくとも第2のプロセッサを備えるネットワークデバイスを含んでもよい。また、ネットワークデバイスは、一連の画像を通して対象物体の動きを決定し、格子点のセットを通しての各対象物体の1つまたは複数の点の移動方向を特定してもよい。また、ネットワークデバイスは、格子点のための移動方向の変動を決定し、格子点のセットに対応する複数のベクトル点について、移動方向の中央値の複数のベクトルを決定してもよい。さらに、ネットワークデバイスは、一連の画像を通しての1つまたは複数の対象物体の動きを監視するための仮想トリップワイヤを格子点のセット上に配置するための複数の候補位置を決定してもよい。また、ネットワークデバイスは、複数のベクトルおよび移動方向の関連する変動に基づいて、格子点と交差する移動方向に垂直な仮想トリップワイヤの配置のために、複数の候補位置を選択してもよい。また、ネットワークデバイスは、仮想トリップワイヤを配置するための特定の候補位置の選択に基づいて、警告を生成してもよい。
別の例示的な実施形態の一態様によれば、物品は、1つまたは複数のプロセッサによって実行可能な機械読取可能命令を含む非一時的な記憶媒体を備えてもよい。命令は、仮想トリップワイヤを配置する位置を決定するために1つまたは複数のプロセッサによって実行可能であってもよい。カメラの視野内の道路の少なくとも一部に関する一連の画像が取得または獲得されてもよい。格子点のセットは、一連の画像のうちの各画像の画素または画素グループに対応してもよい。一連の画像は、対象物体を特定するために処理されてもよい。一連の画像を通して対象物体の動きが決定されてもよい。各対象物体の1つまたは複数の点の移動方向は、格子点のセットを通して特定されてもよい。移動方向の変動は、格子点ごとに決定されてもよい。移動方向の中央値の複数のベクトルは、格子点のセットに対応する複数のベクトル点について決定されてもよい。一連の画像を通しての1つまたは複数の対象物体の動きを監視するための仮想トリップワイヤを格子点のセット上に配置するための複数の候補位置が決定されてもよい。格子点と交差する移動方向に垂直な仮想トリップワイヤの配置のために、複数のベクトルおよび移動方向の関連する変動に基づいて、複数の候補位置から特定の候補位置が選択されてもよい。
その他の特徴および態様は、添付の図面および特許請求の範囲を参照して記載する以下の詳細な説明から明らかになるであろう。
上記要約は、以下の詳細な説明においてさらに説明する特定の概念を簡略化して説明するために提供されたものである。上記要約は、特許請求の範囲の主題を限定するものではなく、特許請求の範囲の内容自体がその主題の範囲を決定する。
添付の図面を参照して、非限定的且つ非網羅的な実施形態を説明する。様々な図面を通して、特に明示されない限り、同様の参照符号が同様の部分を指す。図面における要素のサイズおよび相対的な位置は、必ずしも縮尺通りに描かれていない。例えば、様々な要素の形状は、図面の読みやすさを向上させるために選択され、拡大され、配置される。要素の特定の形状は、図面での認識を容易にするために選択される。以下、添付の図面を参照して、1つまたは複数の実施形態を説明する。
ニアミス状態を検出するように配置された、空中搭載型ノードを有する街灯アセンブリの一実施形態を示す図である。
道路に沿った交通を監視するためのシステムの一実施形態を示す図である。
街灯アセンブリに取り付けられた空中搭載型ノードによって獲得された動画から撮影された画像の一実施形態を示す図である。
道路に沿った対象物体の動きを示す画像である。
道路に沿った対象物体の動きを示す画像である。
道路に沿った対象物体の動きを示す画像である。
図4A~図4Cに示す対象物体の近似中心点の位置を表す、道路の生成画像上にある、情報担持グリッドベクトルのセットを示す図である。
様々な対象物体の移動方向と関連する変動を表す、別の道路の生成画像上にある、情報担持グリッドベクトルの別のセットを示す図である。
図5に示す情報担持グリッドベクトルのセットと、自動的に生成および配置された仮想トリップワイヤの図である。
仮想トリップワイヤを自動的に生成および配置するように配置された空中搭載型ノードの一実施形態を示す図である。
リモートコンピューティングデバイスの一実施形態を示す図である。
空中搭載型ノードがリモートコンピューティングサーバと通信するためのシステムの一実施形態を示す図である。
特定のビデオカメラの視野に対応する格子点のセット上に仮想トリップワイヤを配置する位置を特定する処理を表すデータフロー図である。
本発明は、本明細書および添付の図面を参照することでより容易に理解される。本明細書で使用される用語は、特定の実施形態を説明する目的のために提供され、裁判所または管轄権を有する機関がそのような用語が限定的であると判断しない限り、特許請求の範囲を限定するものではない。本明細書において特に定義されない限り、本明細書で使用される用語は、関連技術において知られているような従来の意味を有すると見なされる。
以下の説明では、様々な開示された実施形態の完全な理解を提供するために、特定の詳細が記載されている。しかしながら、当業者であれば、これらの特定の詳細の1つまたは複数がなくても実施形態を実現することができること、または他の方法、構成要素、または材料などを用いて実施形態を実現することができることを認識するであろう。他の実施例において、実施形態のより詳細な説明を不必要に不明瞭にすることを避けるために、クライアントおよびサーバコンピューティングシステム、ならびにネットワークを含むコンピューティングシステムに関連する既知の構造の詳細を省略している。
本明細書に記載のデバイス、方法、およびシステムの実施形態(すなわち本明細書の教示)は、実質的に下方に焦点を合わせ、動画を撮影して、仮想トリップワイヤの自動分析を実行するか許可する空中搭載型ノード(例えば、道路の上方で街灯に取り付けられたノード)を実装する。
従来の場合、交通技師は、道路に沿った交通の移動方向に対して実質的に正常(すなわち垂直)な方向に延在する特定のトリップワイヤまたは線を手動で選択して、トリップワイヤの線を越える交通を監視することができる。技師は、特定の時間帯、特定の位置、またはその他の理由で交通の流れを監視するためにこの行動をとることができる。このような分析から収集されたデータは、交通レーン(例えば、右折/左折レーン、「直進」レーン、自転車レーン、バスレーンなど)の追加または取り除き、信号機のタイミングまたはパターンの変更、横断歩道の設置またはその変更、またはその他の交通関連情報につながる場合がある。しかしながら、このようなトリップワイヤを手動で選択することは、しばしば恣意的であり、交通を監視するための道路の最適な部分を代表するものではないことが、本発明者らは見出した。
例えば、道路上での平均速度、曲がる車両の数対曲がらない車両の数、車両間の平均距離または時間などを決定する場合などの特定の状況において、道路の第1の選択領域(例えば位置「A」)に配置されたトリップワイヤは、道路の別の第2の選択領域に位置するトリップワイヤよりも交通監視に適した位置にある場合がある。特定の場合において、その目的は道路に沿った車両の平均速度または速さを決定することである。ここで、例えば交差点および/または信号機などの車両が通常一定の速さで走行する位置から比較的遠い、車両の運転者が速度を変更しやすい位置にトリップワイヤを設置することが好ましい場合がある。別の場合において、その目的は交差点で特定の方向に曲がる車両の数を決定することである。この場合、トリップワイヤを交差点に対して10フィート以内または30フィート超ではなく、約20フィートの位置に配置することが最適である場合がある。
本明細書に記載の1つまたは複数の実施形態は、一般に、人および車両(例えば、自動車、自転車、歩行者、およびその他の移動する物体および/または団体)の移動手段に使用される道路に沿った交通を監視するための仮想トリップワイヤの自動化された選択および/または配置を提供する。動画分析の分野において、仮想トリップワイヤは、交通量、密度、速さ、方向、または人および車両を含む移動する物体の他の特性を監視するために使用されてもよい。例えば、自動化されたプロセスにより、特定の基準に基づいて、場合によっては人の介入なしに、他の場合にはわずかな人の介入だけで(例えば、道路の特定、収集するデータの種類の特定、およびその他の管理情報など)、所与のカメラの視野内に仮想トリップワイヤを配置する位置を決定することができる。
本明細書で使用される「仮想トリップワイヤ」は、画像または一連の画像内の、プロセッサが生成した仮想境界を指す。仮想トリップワイヤは、画像、一連の画像、格子点のセット(例えば、「グリッド」または格子点のグリッド)、またはデータのその他の収集物上の2つ以上の点の間の1つまたは複数の線またはセグメントを表す。例えば、同じ位置(例えば、カメラの視野内の道路の一部)の複数の画像(例えば、スケジュール、動き、または別の基準に基づいて撮影された複数の画像)を、連続的または断続的に(例えば、周期に基づいて)固有の画像のストリーミング動画として撮影するようにカメラが構成されている場合、仮想トリップワイヤは、画像内またはその画素に対応する実世界における対応する地理的座標内の2つの画素間に延在する線を表してもよい。
仮想トリップワイヤは、コンピューティングデバイスによるアクションを直接的または間接的に開始するために利用されてもよい。交通監視に関しては、例えば、仮想トリップワイヤは、仮想トリップワイヤのしきい値を越える車両に基づいて、車両をカウントするタイミングを決定するため、または車両のアクションのパフォーマンスを監視するために利用されてもよい。
本発明の実施形態において、車両の道路に関する一連の画像は、仮想トリップワイヤを配置する最適な位置を自動的に(すなわち人の介入なしに)決定するために分析されてもよい。一部の実施形態において、単一の仮想トリップワイヤは、単一のソースカメラが撮影した画像に対応する特定のカメラの視野内に配置されてもよい。しかしながら、一部の実施形態において、2つ以上の仮想トリップワイヤが利用されてもよく、2つ以上のカメラが利用されてもよく、任意の数の仮想トリップワイヤの最適位置を自動的に決定する処理がローカルで(例えば、街灯ベースのコンピューティングデバイスによって)、またはリモートで、または単一のコンピューティングデバイスによって個別に、または協働するコンピューティングデバイスのセットによって集合的に、または他の任意の適切な方法で実施されてもよいことも、当業者であれば理解されるであろう。仮想トリップワイヤは、例えば、特定の時間間隔の間に道路を走行する車両の数をカウントし、車両の平均速度または速さを決定し、交差点を特定の方向に曲がる車両の数をカウントし、道路の特定の部分における混雑を分析することを決定またはトリガし、車両の後続距離(平均後続距離、最小後続距離、最大後続距離、およびこれらのすべてまたは一部の後続距離のセットなど)を決定し、様々な信号機のタイミングパターンの効果を分析することを決定またはトリガし、歩行者の効果の分析を決定またはトリガし、大型商業輸送車の数をカウントし、乗用車の数をカウントし、公共交通車両の数をカウントしてそのスケジュールを分析することをトリガし、自転車の交通量をカウントし、歩行者数をカウントし、その他多くの事象を直接的または間接的に引き起こすか実施するために利用されてもよい。
一実施例において、1つまたは複数の静止画像または動画が撮影されるか取得される。画像または動画は、車両の道路に沿って1つまたは複数の視野をそれぞれ有する1つまたは複数のカメラによって撮影される。撮影された動画は、2次元動画、3次元動画、赤外線または強化された動画、または当業者が知っているか学んだ技術を用いた他の形式の動画/画像のストリームを含んでもよい。動画は、一連の画像を取得または撮影するために、様々な間隔でサンプリングされてもよい。場合によっては、例えば、動画は、1秒間に30回、または異なる実装のための異なるサンプリングレートでサンプリングされてもよい。サンプリングされた画像を分析するための利用可能な処理能力または容量に少なくとも部分的に基づいてサンプリングレートが利用されてもよく、少なくともいくつかの場合において、サンプリングレートは動的に調整可能であってもよい。例えば、街灯ベースのノードは、1秒間に60フレーム以上で高解像度の動画または画像を撮影および処理することができる1つまたは複数のプロセッサと共に1つまたは複数のカメラを有する。代替的に、このような街灯ベースのノードは、1秒間に15フレーム以下の動画または画像を撮影および処理のみすることができる。
一実施形態において、撮影された画像の画素と緯度/経度座標などの実世界の地理的座標との間のマッピングは、事前に知られていてもよいし、サンプリングされた画像の各々について決定されてもよい。例えば、ビデオカメラが実質的に固定されているか特定の方向に向けられており、カメラが比較的静的な位置に配置された視野で動画を撮影するように構成されるか配置されている場合、動画のサンプリング画像における様々なアンカー点と実世界の地理的座標および/または格子点のセットとの間でマッピングが知られていてもよい。例えば、マンホール蓋、歩行者用横断歩道、縁石、街灯、または他の特定のアンカー点(例えば、物体、対象点、マーキング、物体間の関係など)を含む道路は、サンプリングされた画像の画素を実世界の地理的座標にマッピングするための基準として、そのようなアンカー点または点を利用してもよい。少なくともいくつかの場合において、空中搭載型ノードは、地理的座標システム内のノードの位置(例えば、経度、緯度、高度など)を提供する測位回路(例えば、グローバルポジショニングシステム(GPS))を含み、ノードの位置を用いて、ノードのカメラの視野内の実世界の地理的座標が、許容できる精度内で数学的に決定されてもよい。
また、任意の適切な数のサンプリングされた画像は、道路に沿った1つまたは複数の走行または静止している対象物体を特定するために処理されてもよい。例えば、トラックが道路に沿って走行している場合、トラックは、トラックが走行する際の異なる時点において道路のサンプリングされた画像内の異なる位置に配置された対象物体である可能性がある。トラックが比較的直線的な経路に沿って比較的高速で走行している場合、トラックは、一連のサンプリング画像の一方の側から一連のサンプリング画像の他方の側へ迅速に移動する可能性がある。その一方で、信号または交通渋滞で停止しているときのようにトラックが移動していない場合、一連の撮影された画像のうちの連続する画像においてトラックがほぼ同じ位置にある可能性がある。これらの線に沿って、分析されるシーンにおける他の物体を単独で、またはそれを参照して、トラックのその後の位置を予測するために、場合によっては分析が実行される可能性がある。トラックの速さ(例えば、真の対地速度、または他の車両に対する速さなど)、トラックの軌跡、トラックの動きの一貫性または矛盾、またはその他の要因のいずれかまたはすべてが、分析において考慮されてもよい。
1つまたは複数のサンプリング画像の処理は、少なくとも1つの画像における特定の対象物体に対してそれぞれの境界周囲を生成することを含んでもよい。画像における対象物体は、1つまたは複数の特定された車両(例えば、自動車、トラック、自転車など)、歩行者、動物、消火栓、制御信号、ユーティリティボックス、アクセスパネル、マンホール蓋、縁石、店先、または任意の他の対象物体を含んでもよい。場合によっては、境界周囲は、画像の幾何学的平面内で対象物体を囲む幾何学的形状を有する仮想物体を指す。例えば、画像が2次元画像を含む場合、境界周囲は、対象物体を囲む物体(例えば箱形、矩形、またはその他の封入物体)を含んでもよい。一実施例において、境界周囲は、対象物体を完全に包むか囲む幾何学的形状を有する物体を含んでもよい。
1つまたは複数の実施形態によれば、ビデオカメラは、様々な街灯上またはその周辺にある空中搭載型ノード内、そのノード上、またはそれに関連するように配置されてもよい。本明細書で使用される空中搭載型ノードは、「動画処理デバイス」、「動画処理モジュール」、または少なくとも1つのビデオカメラを有するコンピューティングデバイスを備える他の情報捕捉モジュールであってもよい。特定の一実施形態において、空中搭載型ノードは、街灯に固定されるか取り外し可能に取り付けられたハウジング(例えば、パッケージまたはその他の格納構造体)を含む。ハウジングは、ビデオカメラが道路の動画(すなわち、独立している、または完全または部分的な画像のストリームの一部として存在する静止画像またはストリーミング画像を表すデータ)を撮影することができるように配置されている。一実施例において、ビデオカメラは、動画のストリームを撮影するように配置され、コンピューティングデバイスは、動画ストリームの画像データを周期的な速度でサンプリングするように配置される。コンピューティングデバイスは、単独で、または離れて配置された他のコンピューティングデバイスと組み合わせて、一連の撮影された動画画像を処理するようにニューラルネットワークを実装してもよい。このような処理は、対象物体を特定してその物体に対する危険領域を決定するように実装されてもよい。
特定の実施形態によれば、空中搭載型ノードの1つまたは複数のコンピューティングデバイス、または空中搭載型ノードに関連する1つまたは複数のコンピューティングデバイスは、ディープラーニングニューラルネットワークなどのニューラルネットワークを実装してもよい。例えば、このようなニューラルネットワークは、教師あり学習、教師なし学習、および/または強化学習を介して学習してもよい。一実施形態によれば、本明細書に記載のニューラルネットワークは、例えば、畳み込みニューラルネットワーク(CNN)または長短期記憶(LSTM)ニューラルネットワークを含んでもよい。
空中搭載型ノードのコンピューティングデバイスが実行する1つまたは複数のプロセス、または空中搭載型ノードに関連するコンピューティングデバイスが実行する1つまたは複数のプロセスは、撮影された画像内の異なる画素位置に対応する緯度および経度またはその他の座標などの地理的座標を特定してもよい。対象物体について境界周囲の位置の地理的座標が特定されてもよい。一連の1つまたは複数の画像における各対象物体(例えば、対象物体の周りの境界周囲)について、おおよその先導点、中心点、重心、または他のそのような指定子が決定されてもよい。例示的な一実施形態において、境界周囲が対象物体を囲む矩形などの形状を有する場合、境界周囲の縁の座標が特定されてもよい。境界周囲の座標は、境界周囲によって定義される領域のほぼ中央に位置する点など、物体のおおよその前縁、中心、またはその他の対象点を決定するために利用されてもよい。車両またはその他の対象物体が一連の撮影された画像を通して動いている場合、物体の近似対象点も、一連の撮影された画像を通して動いていることになる。少なくとも一部の例示的な実施形態において、一連の撮影された画像を通しての対象物体の近似中心点に対応する対象点の位置は、仮想トリップワイヤを配置するかどうか、または仮想トリップワイヤを配置する位置、あるいはその両方を決定するために自動的に利用されてもよい。
一部の実施形態において、十分な数の画像(例えば、1つ、数十、数百、数千、数万、または処理されると50%、75%、90%、98%、または他の正確さの尺度で正確な判定を示す他の数の画像)が処理された後、画像を通しての特定の対象物体の近似対象点に対応する点の動きが、各対象物体の特定の特性を決定するために利用されてもよい。例えば、一連の画像を通しての対象物体のおおよその移動方向が決定されてもよく、一連の画像を通しての対象物体のおおよその速さまたは速度の推定値が決定されてもよく、対象物体の動きの一貫性または安定性の度合いが決定されてもよく、その他の特性が決定されてもよい。
例示的な一実施形態において、撮影された画像の各々は、画像が撮影された時間帯またはその他の時間ベース(例えば、協定世界時(UTC)、グローバルポジショニングシステム時間など)に対応するタイムスタンプと関連付けられてもよい。道路に沿って走行している対象物体(例えば、車両)の近似対象点が連続して撮影された一連の画像内で決定され、それらの各々がタイムスタンプに関連付けられる場合、画像の近似対象点間の距離を決定し、それらの画像に対するタイムスタンプ間の時間差を考慮して特定の時間しきい値における対象物体の走行距離を推定することで、対象物体(例えば、車両)の速さまたは速度を推定することができる。
一部の実装例において、境界周囲の角の地理的座標は、境界周囲を特定するのに十分であってもよい。例えば、空中搭載型ノードまたは別のコンピューティングデバイスのビデオカメラは、画像を撮影してもよく、その1つまたは複数のプロセスは、これらの画像をローカルに処理して、対象物体および対応する境界周囲を特定してもよい。1つまたは複数のプロセスは、対象物体について、境界周囲に対応する地理的座標を特定するメタデータまたはその他の情報を生成してもよく、プロセスは、その後の処理のためにメタデータをローカルまたはリモートのコンピューティングサーバへ送信してもよい。一部の実装例において、メタデータおよび対応する画像の両方が、コンピューティングサーバへ送信されてもよい。処理帯域幅および/または伝送帯域幅が制限されている一部の実装例において、例えば、メタデータだけがコンピューティングサーバによって処理されてもよく、またはコンピューティングサーバへ送信されてもよい。コンピューティングサーバは、メタデータを受信してもよく、対象物体の境界パラメータ、動き、速度、ならびにその他の特性および状態を特定してもよい。
場合によっては、対象物体の境界周囲が矩形形状を有する場合、境界周囲の4つの角の地理的座標を決定することで、または4つの角のうちの2つの角の地理的座標を決定することで、境界周囲が定義されてもよい。このような地理的座標は、空中搭載型ノードまたは他のコンピューティングデバイスの送信機から、さらなる処理のために、クラウドベースのネットワークなどのネットワークに送信されてもよい。一部の実装例において、境界周囲のいくつかまたはすべての近似対象点も、1つまたは複数のプロセスによって決定されてもよく、対象物体の近似対象点に対する地理的座標は、さらなる処理のためにネットワークに送信されてもよい。別の実装例において、リモートコンピューティングサーバまたはその他のネットワークデバイスは、例えば、空中搭載型ノードまたは他のコンピューティングデバイスの送信機から受信した地理的座標に基づいて、特定の画像における対象物体の近似対象点を特定してもよい。
メタデータおよび対応する画像の両方がローカルまたはリモートのコンピューティングサーバに送信される実装例において、メタデータは、撮影された画像および/または撮影された画像内の境界周囲を説明または特徴付ける情報を含んでもよい。一部の実装例によれば、メタデータは、特定の画像が撮影されたタイミング、位置情報、画像データが撮影された空中搭載型ノード識別子、または他の適切なメタデータを含んでもよい。処理帯域幅および/または伝送帯域幅が制限されている一部の実装例において、例えば、メタデータだけがローカルまたはリモートのコンピューティングサーバへ送信されてもよい。コンピューティングサーバは、メタデータを受信してもよく、特定の画像について1つまたは複数の仮想トリップワイヤを配置する最適な位置を決定してもよい。
1つまたは複数の仮想トリップワイヤの最適な位置を決定した後、そのような仮想トリップワイヤの位置に対応する情報は、ローカルまたはリモートのリポジトリ(例えば、メモリデバイス)に格納されるか、空中搭載型ノードのコンピューティングデバイスから受信した画像、またはその他の関連する画像の将来の処理に利用されてもよい。撮影された画像は、仮想トリップワイヤに対応する情報を含んでもよい。一部の実施形態において、そのような仮想トリップワイヤの位置に関するメタデータなどの情報は、リモートコンピューティングサーバまたは他のそのようなネットワークデバイスから、撮影された画像が取得された空中搭載型ノードまたは他のデバイスへ送信されてもよい。
仮想トリップワイヤの位置が特定または決定された後、仮想トリップワイヤは、例えば、その後に処理される撮影画像に対して特定の交通関連分析を実行させるために直接的または間接的に利用されてもよい。特定の一実施形態において、仮想トリップワイヤは、しきい値として利用されてもよい。ここで、対象物体がその平面を越えた場合、選択した対象物体の交通量、密度、速さ、移動方向、または他のそのような特性を測定させるために1つまたは複数のプロセスが実行されてもよく、そのように指示されてもよい。
一部の実施形態において、スプレッドシートまたは他の文書などのレポートが、交通の分析を特定するためにユーザフレンドリーに生成されてもよい。例えば、レポートは、安全でない(例えば、衝突、ニアミス、歩行者または動物との相互作用などの発生率が許容できないほど高い)可能性がある道路に沿った位置を決定するために利用されてもよい。これにより、制限速度を下げるか、信号機または停止標識などの交通標識を追加するか、またはその他のアクションをとるかどうかを決定することができる。
一部の実装例において、例えば、監視された交通の分析に基づいて、警告が生成されてもよい。例えば、比較的多くの車両(例えば、数十、数百、またはそれ以上)が監視され、または車両の比較的遅い速度(例えば、2マイル/時間(mph)未満、10mph未満、20mph未満、またはその他の速さの測定値)が決定された場合、青色、黄色、および赤色の間で切り替えられる交通信号のタイミングを調整すべきことを交通技師に通知するように、警告が生成されてもよい。このような警告は、例えば、交通技師に対するショートメッセージサービス(SMS)、テキストメッセージ、電子メール(Eメール)の生成、または可聴アラームの鳴動を含んでもよい。
図1は、空中搭載型ノード102を有する街灯アセンブリ100の一実施形態を示している。街灯アセンブリ100は、任意の適切な材料、寸法、または他の特性のライトポール104を含んでもよい。ライトポール104には、照明器具106および空中搭載型ノード102が、恒久的にまたは取り外し可能に結合されるか取り付けられてもよい。街灯アセンブリ100は、照明器具106から発せられる光が道路の少なくとも一部を照らすように道路に沿って配置されてもよい(すなわち、街灯アセンブリは車道の「上方」に配置される)。道路の上方への街灯アセンブリ100の配置は、車両の運転者、自転車、歩行者、および車道を越え、交差、または横断する可能性のあるあらゆる人のための視認性および安全性を向上させるように選択される。少なくともいくつかの場合において、空中搭載型ノード102は、特に、歩行者用横断歩道に近接する街灯アセンブリ100上に配置される。混乱を避けるために、空中搭載型アセンブリ102の線に沿って空中搭載型アセンブリ102aが設けられており、空中搭載型アセンブリは、個々にまたはまとめて、本明細書において空中搭載型アセンブリ102と呼ばれる場合がある。
特定の一実施形態において、街灯アセンブリ100は、20フィートを超える高さを有してもよい。例えば、空中搭載型ノード102は、道のレベルよりも20フィート高い位置に取り付けられてもよい。このような実施形態において、道路の動画の範囲は、動画が取得される高さの数倍(例えば、2倍、4倍、8倍、または他の倍数)であってもよい。したがって、少なくとも1つの実施形態において、動画が20フィートの高さから撮影される場合、幅、半径、直径、または他のそのような寸法で80フィートの領域が、空中搭載型ノード102によって撮影された動画を介して観察または監視されてもよい。図1に示す実施形態において、空中搭載型ノード102は、ライトポール104から電力を得てもよく、充電式電池などの1つまたは複数の電池、太陽電池ベースの回路、照明器具106と一体化したコネクタ、またはその他の供給源から電力を得てもよい。これらの線に沿って、1つまたは複数の任意の空中搭載型ノード102aは、街灯アセンブリ100の支持アーム上、照明器具106の下方、照明器具106の上方、またはその他の位置に配置されてもよい。
図2は、道路108に沿った交通量120を監視するためのシステムの一実施形態を示している。本実施形態において、2つの街灯アセンブリ100aおよび100bが示されている。第1の街灯アセンブリ100aおよび第2の街灯アセンブリ100bは、図1に示す街灯アセンブリ100の線に沿って配置される。街灯アセンブリ100a、100bの各々は、動画を撮影して動画内の道路108の画像を処理するように配置された空中搭載型ノード102を含む。一部の実施形態において、空中搭載型ノード102は、道路108に沿って配置された街灯アセンブリのすべてではなく、いくつかの街灯アセンブリに取り付けられるかそこに含まれる。例えば、一部の実施形態において、1つおきの街灯アセンブリ、またはその他の数の街灯アセンブリが空中搭載型ノード102を含んでもよい。一部の実施形態において、街灯アセンブリに取り付けられた空中搭載型ノード102は、双方向道路の片側または双方向道路の両側に沿った物体の動画を取得し、その画像を処理するために利用されてもよい。これらの場合または他の場合において、第1の街灯アセンブリ100aの空中搭載型ノード102は、第2の街灯アセンブリ100bの空中搭載型ノード102と協働して、特定の対象物体に関連する情報を処理するための1つまたは複数の画像を生成する。
図2に示す交通量120を監視するためのシステムにおいて、2つの車両(例えば、トラック)114a、114bは、第1の街灯アセンブリ100aおよび第2の街灯アセンブリ100bに最も近い道路を走行している。これらの車両は、第1の車両114aおよび第2の車両114bを含んでもよい。また、横断歩道112を介して道路を横断している歩行者116が示されている。一実施形態によれば、1つまたは複数の空中搭載型ノード102は、動画を取得し、動画から画像を生成、撮影、またはサンプリングして、対象物体および場合によっては対象物体に関連する対象点を特定する。
図3は、街灯アセンブリに取り付けられた空中搭載型ノードのビデオカメラによって取得された動画から捕捉された画像130の一実施形態を示している。画像130は、道路108に沿って配置された街灯アセンブリに取り付けられた空中搭載型ノードによって生成、撮影、または実現されたものである。場合によっては、画像130の線に沿った複数の画像が撮影および処理される。
図3に示す道路108は、図2に示す道路108の同じ部分であってもよく、異なる部分であってもよい。空中搭載型ノード、すなわちリモートコンピューティングデバイスは、撮影された画像130における1つまたは複数の対象物体を特定するように配置される。
図3に示す画像130において、4つの異なる対象物体が特定される。これらの4つの物体は、第1の車両114c(すなわち、トラック)、第2の車両114d(すなわち、トラック)、第3の車両114e(すなわち、車)、および歩行者116を含む。各物体は、動画からの連続する一連の撮影画像において特定されてもよく、場合によっては、画像130は、動画ストリームの連続する画像のうちの1つであってもよい。その他の場合において、画像130は、1つまたは複数の動画ソースから合成または生成された画像であってもよい。連続して撮影された一連の画像を処理することで、例えば、対象物体の速さまたは速度が推定されてもよく、物体の将来の位置の軌跡が予測されてもよい。例えば、地理的座標またはグリッドの格子点と、撮影された画像の画素との間のマッピングが知られているか決定されている場合、物体が道路108に沿って走行している速さが推定され得る。
境界周囲は、対象物体の各々について計算または決定されてもよい。本発明において、境界周囲は、対象物体を部分的にまたは完全に取り囲むまたは包む、幾何学的または異なる形状の仮想物体である。図3に示す画像130において、第1の車両114cは第1の境界周囲124cと関連付けられ、第2の車両114dは第2の境界周囲124dと関連付けられ、第3の車両114eは第3の境界周囲124eと関連付けられ、歩行者116は第4の境界周囲126と関連付けられる。画像130の個々の画素を分析するために2次元画素座標システム140が使用されてもよい。画像130のアンカー点を定義するためにグローバルポジショニングシステム(GPS)の地理的座標システム136が使用されてもよい。これは、画像内で決定された任意の適切な構造を含んでもよい。
少なくとも1つの実施形態によれば、各対象物体および物体の関連する境界周囲について、特定の地理的座標システム136の地理的座標は、空中搭載型ノードの1つまたは複数のプロセッサ、あるいは1つまたは複数の空中搭載型ノードに関連する任意のローカルまたはリモートのコンピューティングデバイスによって実装されるニューラルネットワークによって決定されてもよい。例えば、境界周囲の地理的座標を示すメタデータが決定されてもよく、メタデータは、さらなる処理のためにバックエンドサーバなどのリモートコンピューティングデバイスへ送信されてもよい。1つまたは複数の実施形態によれば、リモートコンピューティングデバイスは、対象物体に関する境界周囲について受信した地理的座標を受信、分析、翻訳、または処理してもよい。一部の実施形態において、リモートコンピューティングデバイスは、対象物体に関連する境界周囲について受信した地理的座標に基づいて、対象物体の近似中心点を推定してもよい。別の実施形態において、空中搭載型ノードまたはそのニューラルネットワークなどの他のコンピューティングデバイスにおける処理は、対象物体の近似中心点を推定し、その後、さらなる処理のために、対象物体の近似中心点の地理的座標をリモートコンピューティングデバイスに送信してもよい。
一実施形態によれば、空中搭載型ノードまたはリモートコンピューティングデバイスなどの他のコンピューティングデバイスは、一連の画像に関連するタイムスタンプ付きメタデータにおける各対象物体の地理的座標を取得または処理してもよい。これらの場合または他の場合、1つまたは複数の画像のメタデータは、タイムスタンプ情報、位置情報、空中搭載型ノード識別子、およびさらに他の情報を含んでもよい。例えば、画像が特定の期間(例えば、15分、2時間、10時間、24時間、または他の長いまたは短い期間)撮影される場合、画像130を生成したビデオカメラの視野に対応する格子点のセットにおいて仮想トリップワイヤを配置する最適な位置を決定するのに十分な情報が存在する可能性がある。図3に示す画像130は、自動的に生成された位置における仮想トリップワイヤ138aの配置を示している。例えば、特定の空中搭載型ノードに関連する特定のビデオカメラから空中搭載型ノードまたはリモートコンピューティングデバイスなどの他のコンピューティングデバイスによって受信された地理的座標データから決定された様々な分析に基づいて、仮想トリップワイヤ138aの配置が決定されてもよい。
より詳細には、対象物体のための受信された地理的座標データは、地理的座標に関連するグリッドの格子点によって表される様々な対象物体のための移動方向を特定するために、空中搭載型ノードまたはリモートコンピューティングデバイスなどの他のコンピューティングデバイスで処理されてもよい。例えば、特定の空中搭載型ノードに関連するビデオカメラが撮影した各画素または隣接する画素グループは、1つまたは複数の特定の実世界の地理的座標または地理的座標のグリッドの格子点に対応してもよい。換言すると、画像130の各画素または画素グループとグリッドの格子点との間でマッピングが決定されてもよい。
少なくとも1つの例示的な実施形態において、一連の撮影された画像における対象物体の中心点の位置は、グリッドの格子点と相関してもよい。例えば、撮影された画像の各々について、1つまたは複数の対象物体の中心点に対応する地理的座標が特定されてもよく、これらの地理的座標に対応する格子点が決定されてもよい。一連の画像を通しての対象物体が動いている場合、対象物体の近似中心点の地理的座標は、一連の画像に関連する時点において、グリッドを横切って異なる格子点に移動するように見える動きによって表される。対象物体に対するこれらの格子点の表された動きは、対象物体に対する特定のベクトル情報を決定するために利用されてもよい。場合によっては、例えば、異なる時点における対象物体の、決定された近似中心点、または他の点、あるいは点情報の移動に基づいて、対象物体の移動方向が特定されてもよい。
図4A~図4Cは、道路に沿った対象物体114(例えば、移動する車両)の動きを示す画像130a~130cを示している。図4Dは、図4A~図4Cに示す対象物体の近似中心点の位置を表す、道路の画像130d上の、情報担持グリッドベクトルのセットを示している。画像130a~130cは、1つまたは複数の空中搭載型ノード102のビデオカメラデバイスによって生成されてもよい。生成される画像130dは、1つまたは複数の空中搭載型ノード102またはリモートコンピューティングデバイスの1つまたは複数のプロセッサによって生成されてもよい。本発明において、図4A~図4Dは、まとめて図4と称される場合がある。上述した構造の説明は、図を簡潔にするために繰り返さない。
図4Aに示す画像において、自動車などの対象物体114は、特定の時間で道路に沿って走行している。この時間は、時間t1などのタイムスタンプによって表されてもよい。境界周囲124は、対象物体114を囲んでいる。
近似中心点132aは、画像130aにおける時間tlでの対象物体114について決定されてもよい。場合によっては、近似中心点132は、物体の決定された長さおよび幅から数学的に生成されてもよい。場合によっては、近似中心点132aは、画素グループのおおよその幾何学的中心として生成されてもよい。これらの場合またはさらに他の場合、近似中心点132aは、他の方法で生成されてもよい。少なくともいくつかの場合において、近似中心点132aは、人工知能アルゴリズム(例えば、機械学習、機械視覚、ニューラルネットワークなど)が対象物体を認識し、近似中心点などの物体に関するメタデータを提供することなどにより、アルゴリズム的に決定される。
図4Bに示す画像130bにおいて、同じ対象物体114および境界周囲124が、適宜、撮影、生成、または決定される。ただし、画像130bは、t2などの異なるタイムスタンプと関連付けられる。ここで、対象物体124は、時間t2における対象物体114の近似中心点132bが時間tlにおける画像130aにあったのとは異なる位置にあるように、道路に沿って移動した可能性がある。
これに対応して、図4Cに示す画像130cは、同じ対象物体114および境界周囲124を示している。ただし、画像130cは、t3などのさらに異なるタイムスタンプと関連付けられている。画像130cにおいて、対象物体114は、時間t3における対象物体114の近似中心点132cが、時間tlにおける画像130aまたは時間t2における画像130bにおけるそれとは異なる第3の位置にあるように、車道路に沿って移動を続けていたことになる。
一連の画像130a、130b、130cを通しての対象物体114の近似中心点132a、132b、132cの移動は、対象物体114の移動方向を決定するために利用されてもよい。簡潔にするために、近似中心点132a~132cは、個々に、またはまとめて近似中心点132と称される場合がある。少なくとも1つの特定の実施形態において、対象物体114の近似中心点132の位置または関連する移動方向に関連する地理的座標は、2次元画素座標システム140などの格子点のセット上にプロットされてもよい。このような場合、例えば、ビデオカメラによって撮影された画像の各画素または隣接する画素グループは、特定の地理的座標およびグリッド上の格子点に対応してもよい。
図4Dは、生成された画像130dを示している。ここで、時間tl、t2、およびt3における対象物体114の近似中心点132a~132cの位置に対する格子点がそれぞれ示されている。また、近似中心点132a、132b、132cがグリッド上に示され、対象物体114の移動方向を示すそれぞれ対応するベクトル134a、134b、134cも決定される。図に示すように、近似中心点132aは、時間tlにおける対象物体114のおおよその移動方向を示すベクトル134aに関連付けられる。近似中心点132bは、時間t2における対象物体114のおおよその移動方向を示すベクトル134bと関連付けられる。近似中心点132cは、時間t3における対象物体114のおおよその移動方向を示すベクトル134cに関連付けられる。
簡略化のために、図4A~図4Cに示す実施形態において、対象物体114の3つの画像および対応する近似中心点132a~132cのみが示されている。しかしながら、他の企図された実施形態において、特定の長さの時間にわたって1つまたは複数のビデオカメラによって撮影された画像における対象物体について、数十、数百、数千、数万、およびそれ以上の近似中心点が特定、生成、または決定される。また、場合によっては、移動方向134a、134b、134cを示すベクトルが、これらの近似中心点の各々について決定され、図4Dに示す2次元画素座標システム140などの仮想グリッドまたは他の組織構造に適用されてもよい。十分な数の対象物体の移動が経時的に特定された場合、その結果をグリッドなどの座標システムに適用し、その結果をさらに利用して、仮想トリップワイヤの1つまたは複数の最適または好ましい位置を特定してもよい。
図5は、様々な対象物体についての移動方向および関連する変動を表す、別の道路の生成画像上の情報担持グリッドベクトル142の別のセットを示している。図5に示す実施形態は、グリッド上の様々な点についての移動方向および関連する変動を示している。図5に示す道路は、コンパスローズ144によって示されるように、南北の走行レーンと東西の走行レーンとに一般に整列されている。場合によっては、コンパスローズ144は存在せず、代わりに、経度および緯度座標、または移動方向を理解し処理するための他の機構が提供される。
図5に示す実施形態は、空中搭載型ノード102のビデオカメラなど、ビデオカメラの視野に対応する格子点のセット上に配置された情報担持ベクトルのセットを含む。複数の近似中心点および走行方向ベクトルが実施形態142に示されている。これらの各々は、変動と関連付けられてもよい。例えば、各点(すなわち、対象物体の各近似中心点)は、円またはドットによって表されてもよい。さらに、各点は、移動方向の中央値および移動方向の変動を示すベクトルと関連付けられてもよい。例えば、様々な移動方向を示すベクトルを示す様々な矢印が示されている。図に示すように、いくつかの点は、東から西への移動方向を示すような、画像の左方向を指す矢印を有する。その他の点は、北から南への移動方向を示すように、画像の下側を指す矢印を有する。
さらに、図5に示す情報担持グリッドベクトル142のセットのそれぞれにおいて、基準指標が示されている。点のうちの1つにおける例えばマイナス記号は、その点が移動方向の比較的低い変動と関連していることを示してもよい。さらに、点のうちの1つを通る、例えば十字(または「x」)は、移動方向の比較的高い変動と関連していることを示している。図5に示す実施形態において、交差点またはその近くに位置する点は、移動方向の比較的高い変動と関連付けられてもよく、交差点から比較的遠くに位置する点は、移動方向の比較的低い変動と関連付けられてもよい。情報担持グリッドベクトル142のセットとして図5に示す生成された画像は、交通技師および道路計画者などに役立つ可能性がある。したがって、場合によっては、任意の適切な数の生成画像が形成され、重ね合わされ、表示され、または実装される。これらの場合および他の場合、各近似点は、例えばデータベース、ファイル、メモリ、または他のリポジトリにおいて、仮想的に表される。このようにして、メディアの移動方向を示すベクトルおよび移動方向の変動の程度を表す指標に加えて、他の適切なメタデータも、1つまたは複数の近似中心点に関連付けることができる。このようなメタデータの非限定的且つ非網羅的なリストには、タイムスタンプ情報、カメラに関する識別情報、対象物体に関する識別情報、および画像と同時にタイムリーに収集された天候または他の環境情報などが含まれてもよい。他のメタデータも企図されている。
図5に示す点のセットは、図の簡略化のために、比較的大きく示されている。しかしながら、一部の実施形態において、任意の適切な数(例えば、数十、数百、数千、数万)の点が利用されてもよいこと、ひいては他の生成された画像が異なる方法で、例えば比較的小さい点をレンダリングしてもよいことに留意されたい。
移動方向における変動および/または移動方向を示すベクトルは、仮想トリップワイヤを配置する位置を決定するために利用されてもよい。例えば、図6に示すように、自動的に生成されて配置された仮想トリップワイヤ138bが、図5に示す情報担持グリッドベクトル142の上にオーバーレイされている。図6は、2次元画素座標システム140(例えば、グリッド)上の様々な点についての移動方向および関連する変動を示す実施形態を示している。例示的な本実施形態において、仮想トリップワイヤ138bを配置する位置を決定するためにスライディングウィンドウ146が利用されてもよい。例えば、スライディングウィンドウ146は、グリッドを横切って移動されてもよく、スライディングウィンドウ146に重なっている1つまたは複数の点に関連するデータは、仮想トリップワイヤ138bを配置するための様々な候補位置を決定するために処理されてもよい。一部の実施形態において、スライディングウィンドウ146は、例えば、道路に沿った移動方向など、グリッドを横切って自動的にスライドされる。スライディングウィンドウ146のそのような「スライド」は、計算上実行され、生成された画像は、そのような動きを示すように更新されてもよい。図6に示す実施形態において、左右の矢印(指定なし)は、スライディングウィンドウ146の動きを示している。
一実施例において、仮想トリップワイヤ138bを横切る車両をカウントし、各車両の平均速度または速さを決定することが目標となる。この場合、仮想トリップワイヤ138bは、スライディングウィンドウ146が移動方向における比較的低い変動に関連する点に重なる決定された地理的位置に形成されることが好ましい場合がある。例えば、スライディングウィンドウ146または仮想トリップワイヤ138bが、生成された画像において移動方向の最小レベルの変動を有する点と重なるまで、スライディングウィンドウ146は一連の格子点にわたって仮想的に「移動」されてもよい。
その一方で、南北の道路と東西の道路との間の交差点など、方向を変える車両をカウントすることが目的である場合、スライディングウィンドウ146が移動方向の比較的高い変動に関連する点と重なる点に仮想トリップワイヤ138bを配置することが望ましい場合がある。このような実施例において、スライディングウィンドウ146または仮想トリップワイヤ138bが移動方向の最高レベルの変動を有する点と重なるまで、スライディングウィンドウ146は計算上、仮想的に、またはその他の方法で移動されてもよい。
移動方向の変動の好ましいレベルまたは値を有する点が重なるスライディングウィドウ146に関連する位置が特定されると、仮想トリップワイヤ138bは、スライディングウィンドウ146内の位置に配置され得る。
場合によっては、仮想トリップワイヤ138bは、所定の位置またはスライディングウィンドウ146内の所定の位置に配置される。その他の場合において、スライディングウィンドウ605内の仮想トリップワイヤ138bの最適な位置は、手動調整またはより高いレベルの精度を可能にするその他の機構を介してさらに選択されてもよい。
仮想トリップワイヤ138bの最適な配置の位置に対応する情報は、その後、さらなる処理のためにログに記録または保存されてもよい。
また、図6には、任意の第2の仮想トリップワイヤ138cが示されている。実装された第2の仮想トリップワイヤ138cの位置は、仮想トリップワイヤ138bに関して説明したのと同じまたは同様の方法で、スライディングウィンドウを使用して配置される。一般に、第2の仮想トリップワイヤ138cは、第1の仮想トリップワイヤ138bとは異なるパラメータで形成され、異なる情報を提供するように配置される。したがって、第1の仮想トリップワイヤ138bの最適な位置は、第2の仮想トリップワイヤ138cの最適な位置とは異なる。これらの線に沿って、任意の適切な数の仮想トリップワイヤが、それぞれの最適な位置とともに、本発明の教示に従って形成されてもよい。
図7は、仮想トリップワイヤを自動的に生成して配置するように配置された空中装着型ノード102の実施形態を示している。一部の実施形態において、図7に示す空中搭載型ノード102は、ローカルオンボードコンピューティングリソースを有するスタンドアロンビデオ処理デバイスとして配置されてもよく、別の実施形態において、空中搭載型ノード102は、1つまたは複数のリモートコンピューティングサーバと通信してもよい。図2に示すように、空中搭載型ノード102は、道路108に沿って位置する街灯アセンブリ上に、またはそれに近接するように配置されてもよい。
空中搭載型ノード102は、ビデオカメラ150、メモリ152a、受信機154a、プロセッサ156a、送信機158a、および他のロジック160aなどの様々な構成要素を含んでもよい。ビデオカメラ150は、例えば、道路108に沿った交通および他の対象物体の動画を撮影するように配置された動画撮影デバイスである。プロセッサ156aは、動画から、一連の画像などの1つまたは複数の画像をサンプリングまたは撮影してもよい。また、プロセッサ156aは、単独で、あるいは1つまたは複数の他のローカルまたはリモートのコンピューティングデバイスと共に、1つまたは複数の撮影された画像において1つまたは複数の対象物体を特定してもよく、1つまたは複数の対象物体に関連する周囲境界の地理的座標を特定してもよい。プロセッサ156aは、周囲境界の地理的座標を示すメタデータを生成してもよく、そのような情報をメモリ152aに記憶してもよい。メモリ152aは、追加的または代替的に、周囲境界の特定、スライドウィンドウ146の生成、スライドウィンドウの移動、および仮想トリップワイヤ138bの1つまたは複数の適切な位置の決定など、1つまたは複数のプロセスを実行するためにプロセッサ156aによって実行可能であるコンピュータで実行可能な命令を含んでもよい。送信機158aは、周囲境界の地理的座標または他の情報を示すメタデータを含むメッセージなど、1つまたは複数のメッセージを送信してもよい。例えば、送信機158aは、このようなメッセージを、その後の処理のためにサーバに送信してもよい。受信機154aは、リモートコンピューティングサーバから、またはその他のデバイスから発信された1つまたは複数のメッセージを受信してもよい。少なくともいくつかの場合において、受信機154aおよび送信機158aは、単一の送受信デバイスに組み合わされる。
一実施形態によれば、空中搭載型ノード102は、道路の少なくとも一部の一連の画像を取得してもよく、画像を処理して対象物体を特定してもよく、一連の画像のうちの1つまたは複数の画像における対象物体のそれぞれの境界周囲を決定してもよく、対象物体の各々について、様々な時間(例えば、一連の画像におけるタイムスタンプに対応するt1、t2、tnなど)における中心点の位置と共に近似中心点を決定してもよい。場合によっては、それぞれの境界周囲は、画像の少なくとも1つの幾何学的平面内で2つ以上の対象物体のそれぞれを囲む仮想幾何学的物体として形成される。送信機158aは、それぞれの境界周囲に対する地理的座標、近似中心点、または画像の少なくとも1つにおける対象物体に関連する他の選択されたデータ、またはメタデータを含むメッセージを、例えば、さらなる処理のためにリモートコンピューティングデバイスに送信してもよい。
空中搭載型ノード102の実施形態は、任意の適切な回路、実行可能なソフトウェア、データ、および他のロジックを含むことができる他のロジック160aを含む。場合によっては、例えば、他のロジック160aは、地理的座標システム内のノードの位置(例えば、経度、緯度、高度など)を提供する測位回路(例えば、グローバルポジショニングシステム(GPS))を含む。場合によっては、他のロジック160aは、空中搭載型ノード102のシステム内で各空中搭載型ノード102を一意的に識別するための識別ロジックを含む。これらの場合および他の場合において、他のロジック160aは、ビデオカメラ150によって撮影された任意の画像から個人を特定できる情報(PII)を除去、匿名化、難読化、集約、または処理するためのセキュリティロジックを含んでもよい。このようなセキュリティロジックは、代替的または追加的に、ノードのPIIおよび他のデータを暗号化または保護し、特定の他のセキュリティ機能を実行してもよい。
図8は、リモートコンピューティングデバイス172の実施形態を示している。リモートコンピューティングデバイス172は、例えばコンピューティングサーバを備えてもよい。リモートコンピューティングデバイス172は、スタンドアロン型のデバイスであってもよく、コンピューティングデバイスのネットワーク(例えば、クラウドコンピューティングシステムやサーバファームなど)であってもよい。このようにして、リモートコンピューティングデバイス172は、単一のコンピューティングリソースのセットを有するスタンドアロン型のコンピューティングデバイスであってもよく、任意の適切な数のリモートコンピューティングデバイスを含んでもよい。
リモートコンピューティングデバイス172は、メモリ152b、受信機154b、プロセッサ156b、送信機158b、および他のロジック160bなど、様々な構成要素を含む。リモートコンピューティングデバイス172の受信機144bは、空中搭載型ノード102から単一のメッセージまたは複数のメッセージを受信してもよい。場合によっては、メッセージは、1つまたは複数の空中搭載型ノード102からの1つまたは複数の画像(すなわち、単一の画像または画像のストリーム)を含む。これらの場合または他の場合において、メッセージは、例えば、一連の画像における1つまたは複数の対象物体の周囲境界のための地理的座標を含む。場合によっては、この情報は、受信したメッセージのメタデータに含まれる。言うまでもなく、他のメッセージも企図されている。
場合によっては、プロセッサ156bは、図4Aの第1、第2、および第3の画像130a~130cを処理するように配置されてもよく、場合によっては、プロセッサ156bは、図4Dの画像130dを生成するように配置されてもよい。これらの線に沿って、プロセッサ156bは、追加的または代替的に画像データを処理して、図5および図6に示す情報担持グリッドベクトル142のセットを生成してもよい。場合によっては、例えば、図6に関して本明細書に記載するプロセッサ156bは、スライディングウィンドウ146の使用を介して、グリッド上に仮想トリップワイヤ138bを配置するのに適した位置を特定するように配置されてもよい。
メモリ152bは、追加的または代替的に、プロセッサ156bによって実行可能な、コンピュータで実行可能な命令を含むように配置されてもよい。プロセッサ156bによって実行される1つまたは複数のプロセスは、仮想トリップワイヤのための位置を特定してもよく、場合によっては、1つまたは複数のプロセスは、対象物体の近似中心点を決定してもよい。
送信機158bは、動画処理デバイスへのメッセージなど、仮想トリップワイヤのための地理的座標および/または格子点を介したような位置を示す1つまたは複数のメッセージを送信してもよい。また、送信機158bは、例えば、仮想トリップワイヤのための位置の特定に基づく警告を送信してもよい。
リモートコンピューティングデバイス172の実施形態は、任意の適切な回路、実行可能なソフトウェア、データ、および他のロジックを含むことができる他のロジック160bを含む。場合によっては、例えば、他のロジック160aは、ウェブサーバ機能、データベース機能、セキュリティロジック(例えば、暗号化/復号化、難読化、または他のデータ保護操作を行うように配置されたハードウェアまたはソフトウェア、あるいはハードウェアおよびソフトウェア)、並列処理、1つまたは複数のユーザインタフェース、および1つまたは複数のマシンインタフェースを含むが、これらに限定されるものではない。
当業者であれば、空中搭載型ノード102に関して説明した他のロジック160aの特徴は、リモートコンピューティングデバイス172の他のロジック160bにも実装され得ること、およびその逆もまた可能であることを認識するであろう。
場合によっては、空中搭載型ノード102の他のロジック160a(図7)および/またはリモートコンピューティングデバイス172の他のロジック160bは、対象物体の位置、対象物体の移動方向、その方向を変える可能性、変動、または他の同様の予測情報を予測するための地球統計学的な計算を実施してもよい。このような地球統計学的な計算は、仮想トリップワイヤの最適な位置を特定するために適用されてもよい。ユーザは、仮想トリップワイヤに関連するサイズ、形状、長さ、幅、アクティブデータ収集の時間、および他のパラメータを選択してもよい。情報の一部またはすべてが、本明細書に記載するように適用され、仮想トリップワイヤの位置が生成される。
本明細書で使用される地球統計学的な計算は、ガウス過程回帰(例えば、クリギングアルゴリズム)、単純内挿法、時空間平均化、モデリング、および多くの他の技術を含んでもよい。一部の実施形態において、特定のタイプの予測条件(例えば、方向転換の可能性、加減速の可能性、第1の対象物体が第2の対象物体を追い越す(すなわち、越える)可能性など)を作成するために特定の技術が使用される。また、別の実施形態において、他のタイプの予測条件を作成するために異なる技術が使用される。例えば、交通量の多い地域や交差点が密集している道路では、時空間平均化技術が予測位置決め、予測移動方向、および予測変動の計算に影響を与える場合がある。画像の更新が遅い地域、または実際のデータが限られているか古すぎる地域では、予測情報を生成するためにクリギング技術がより重視される場合がある。さらに他の場合、非周期的なイベント(例えば、葬列、建設、嵐または悪天候、人気のあるコンサートまたはスポーツイベントなど)が行われる場合、データマイニングおよびモデリング技術を使用して、1つまたは複数の対象物体に関連する予測情報を生成してもよい。
少なくともいくつかの場合において、クリギングアルゴリズムは、アンカーポイントまたは危険区域境界データが収集された地理的地点間の計算された距離に基づいて重み付け係数を適用することにより空間的補間を行う。クリギング技術は、距離の関数として画像から解析されたデータの相関構造をモデル化し、対象物体間の予測された分離または分離の欠如と他の空間情報との間の既知の共変動に関する情報(共クリギング)を含んでもよい。
本発明で企図する実施形態において、クリギングアルゴリズムは、定量的尺度(例えば、予測された方向転換が実際にいくつ発生するか)の予測を提供する。特定のマッピングされたグリッドが、実際の対象物体をほとんど含まないかまったく含まない場合、またはそのような物体を示す画像が最近の過去の時間に撮影された場合(すなわち、データが「古くない」場合)、許容できる精度を有する予測レーン変更およびターンなどが、方向転換および速度変化などの可能性について行われ得る。この予測は、多くの類似の道路位置にわたって撮影されたトレーニングデータの相関構造の時空間モデル(例えば、純粋な空間的補間の場合にはクリギングまたは共クリギング)から導き出すことができ、データ補間のための一貫した定量的なプロセスを提供する。したがって、本明細書に記載の補間アルゴリズムは、危険な状態の予測に対して分析に基づく推定をもたらす。これにより、仮想トリップワイヤの配置の自動決定が実行され得る有用なデータを提供することができる。
本明細書に記載の時空間平均化技術は、地理的空間および/または経時的に収集された複数の画像から引き出されたデータのセットを平均化することを含む。平均化されたデータは、予測条件の決定において使用することができる。そのようなデータが実際の道路状況の画像から引き出される場合、そのデータは、データが収集された時点の地理的位置に対して正確であると認識される。
一部の実施形態において、データは、M×N画素のグリッドセグメントなどの領域内で収集され、空間的に平均化される。ここで、MおよびNは画素のカウントを示す整数を表し、MおよびNは、特定の画像における画素の「長さ」および「幅」を表す。別の実施形態において、データは、複数の領域にわたって収集されて空間的に平均化される。空間的平均化には、値の合計をサンプル数で割る単純平均化、重み付け平均化、または他の平均化技術が含まれてもよい。対象物体の挙動の一例では、重み付けデータ平均化を用いて、1つの画像の1つの領域の画素から解析されたデータが完全に重み付けされ、直接隣接する画素領域から解析されたデータは第1のレベルで部分的に重み付けされ、近くの、隣接しない画素領域から解析されたデータは第1のレベルよりも低い第2のレベルで部分的に重み付けされる。重み付けされたデータサンプルは、本実施形態において合計が出され、その総和がサンプル数で割られてもよい。
一部の実施形態において、境界周囲、仮想トリップワイヤの配置、および/または実際の対象物体を表す画素データが収集され、時間的に平均化されてもよい。いくつかの条件(例えば、真昼とラッシュアワー、昼間と夕方または夜間、冬と夏、および他の同様の条件)に基づいて、特定のデータは、予測レーン変更、ターンなどの計算への関連性が低くなることが認識されている。したがって、データが古くなるにつれて、特定のデータの影響を減らすための技術を採用することができる。例えば、重み付け係数を特定の画像データに適用して、決定された時間数に対して1時間当たり「X」パーセント(例えば、5パーセント、10パーセント、25パーセント、または他の割合)、1ヶ月当たり「X」パーセント、対象物体のサイズまたは速度に基づいて「X」パーセント、または他の任意の条件に対してその影響力を変更(例えば、増加または減少)することができる。重み付け係数は、その後、条件の変化に応じてさらに減少させることができ、重み付け係数の増加または減少の割合も変更することができる。例えば、ラッシュアワーにはより多くのレーン変更が発生するが、昼間の時間帯には発生しないことが、一部の実施形態で認識されている。したがって、本実施形態において、ラッシュアワー中に予測データを完全に重み付けし、その後、1時間ごとに、重み付けが所望のレベルに達するまで、予測データの重み付けを特定の量だけ減少させることが可能である。このようにして、特定の時間帯の重み付けデータは、レーン変更およびターンなどの予測計算にほとんど影響を及ぼさず、他の時間帯の重み付けデータは不釣り合いなほど大きな影響を及ぼすことがある。このような時間ベースの対象物体の行動条件は、仮想トリップワイヤの位置の改善された自動選択を可能にすることができる。
様々な対象物体の行動データを生成するために適用される他の技術には、データマイニング技術が含まれる。データマイニング技術は、分類アルゴリズムおよび/または回帰アルゴリズムに分類される場合がある。これらのタイプの分類および回帰技術は、ツリーベースのアルゴリズム(例えば、分類木・回帰木(CART)技術)として実行される場合がある。CART技術を使用して、所定の空中搭載型ノード102またはリモートコンピューティングデバイス172における分析は、バイナリ(例えば、if-then)決定の漸進的または再帰的シーケンスを適用してもよい。少なくともいくつかの場合、CART技術は、クリギングアルゴリズム内で使用するために複数の画像から引き出されたデータを準備するために実行される。これらの分類技術は、決定された期間にわたって連続的にカテゴリ変数を予測するためにデータを反復処理し、回帰技術は、連続変数を予測するためにデータを反復処理する。本明細書で企図される技術には、「バギング」技術、「ランダムフォレスト」技術、およびその他が含まれてもよい。
対象物体の行動値を生成するための本発明において説明する例示的なCART技術は、ノンパラメトリック且つ非線形である。ツリーベースの分類および回帰アルゴリズムから得られる値は、一握り(例えば、2、5、10、25、または他の数)のロジック的if-then条件(ツリーノード)から導かれる。このアルゴリズムは、予測変数と従属変数の間の基礎的な関係についての暗黙の仮定を必要とせず、実際の関係は必ずしも直線的ではない。非線形の一例として、特定の特性(例えば、横断歩道がある交差点)を有する選択された領域(例えば、グリッドセグメント)において、入力変数が特定の量(例えば、2つの対象物体の間の相対速度、近接する観察された第3の対象物体など)よりも小さい場合(例えば、時速20キロメートル(km)、時速10キロメートル、または他の速度)、連続的な結果変数(例えば、2つの対象物体が共に同時にレーンを変更する、速度を上げる、減速する、下がるなどの可能性)は、入力変数(例えば、2つの対象物体の間の相対速度、近接する観察された第3の対象物体など)に対して正の関係を持つが、異なる特性の下で変数が同じか、どの特性の下でもその量よりも多い(より高速である)場合、負の関係を持つと考えられる。このようにして、ツリーアルゴリズムは、単一の入力変数の値に基づいて2つ以上の分岐を明らかにすることもあり、変数間の非線形関係を照らし出す役割を果たすことができる。
さらに他の技術を使用して、レーン変更、ターン、および他の任意の対象物体の行動予測を表す値を生成することができる。例えば、モデル選択を改善する技術は、より関連性の高いデータを取得するために使用することができる。より詳細には、モデル選択技術は、道路特性の1つのセットにおいて、他の道路で類似しているデータを選択または特定するために使用することができる。モデル選択技術を改善することにより、例えば、検出された道の穴に近接して曲がる可能性が高いと予測することができる、またはスポーツスタジアム付近の日曜日の午後に高速走行すると予測することができるなど、モデルのオーバーフィットを回避することができる。
図9は、空中搭載型ノードがリモートコンピューティングデバイス172と通信するためのシステム170の一実施形態を示している。第1のビデオカメラデバイス150a、第2のビデオカメラデバイス150b、およびN番目のビデオカメラデバイス150nなどの様々なビデオカメラデバイスは、様々な空中搭載型ノード102b、102c、102nと一体化されてもよく、それらに関連付けられてもよい。図5の空中搭載型ノード102b、102c、102nは、本発明の他の空中搭載型ノード102の線に沿ったものである。場合によっては、空中搭載型ノード102cは、それに関連する複数のカメラを有してもよく、その他の場合において、空中搭載型ノード102nは、それに関連する単一のビデオカメラ150nのみを有してもよく、またはビデオカメラを有さない構成であってもよい。
ビデオカメラ150a、150b、150nのいずれかからの情報は、例えば1つまたは複数の有線または無線(例えば、ファイバ接続、モバイル接続など)を介して、リモートコンピューティングデバイス172に向けて通信されてもよい。例えば、空中搭載型ノード102b、102c、102nおよびその関連するビデオカメラデバイスの各々は、図1の街灯アセンブリ100のような街灯アセンブリに取り付けられてもよい。
図9には3つのビデオカメラデバイス150a、150b、150nのみが示されているが、一部の実装例において、3つよりも多いまたは少ない数のビデオカメラデバイスが利用されてもよいことに留意されたい。ビデオカメラデバイスの各々は、動画から画像を撮影してもよく、画像を処理して、画像における対象物体に関連する周囲境界の地理的座標を決定してもよい。ビデオカメラデバイス150a、150b、150nの各々は、それぞれの対象物体の近似中心点のための地理的座標、ならびに対象物体および/またはこれらの対象物体が特定された画像を特定する他の情報を記述するメタデータを生成することもできる。
空中搭載型ノード102b、102c、102nは、例えば、インターネットまたはモバイルネットワークなどのネットワーク174を介した送信を介して、1つまたは複数の画像における周囲境界に対応するメタデータをリモートコンピューティングデバイス172に伝達してもよい。リモートコンピューティングデバイス172は、受信したメタデータを処理または解析して、例えば設定された格子点上など、仮想トリップワイヤを配置する最適な位置を特定することができる。仮想トリップワイヤのための位置が特定された後、その位置に対応する情報が、データストレージデバイス176内のようなリポジトリに記憶されてもよい。図9のシステム170には1つのリモートコンピューティングデバイス172のみが示されているが、一部の実装例において、例えば、リモートコンピューティングサーバデバイスのセットのクラウドベースのネットワークデバイスが利用されてもよいことに留意されたい。
図10は、ビデオカメラの視野に対応するグリッドポイントのセット上に仮想トリップワイヤを配置する位置を特定するプロセス1000を表すデータフロー図である。特許請求の範囲に記載の主題に従ったこの実施形態は、モジュール1002~1018のすべてを含んでもよく、その一部を含んでもよく、他のモジュールを含んでもよい。また、モジュール1002~1018の順序は、単に例示的な順序である。ここで、プロセスは、モジュール1002で開始する。
モジュール1004において、カメラの視野内の道路の少なくとも一部における一連の画像が取得される。例えば、格子点のセットは、一連の画像の各画像の画素または画素グループに対応してもよい。
モジュール1006において、一連の画像は、対象物体を特定するために処理されてもよい。
モジュール1008において、一連の画像を通しての対象物体の移動が決定され、格子点のセットを通しての各対象物体の1つまたは複数の点の移動方向が特定されてもよい。
モジュール1010において、個々の格子点または格子点グループに対する移動方向の変動が決定されてもよい。
モジュール1012において、格子点のセットに対応する複数のベクトル点について、移動方向の中央値の複数のベクトルが決定されてもよい。
モジュール1014において、一連の画像を通しての1つまたは複数の対象物体の動きを監視するための仮想トリップワイヤを格子点のセット上に配置するための複数の候補位置が決定されてもよい。例えば、仮想トリップワイヤは、道路の少なくとも一部に沿った移動方向とほぼ直交する方向に延在するセグメントを含んでもよい。
モジュール1016において、格子点と交差する移動方向に垂直な仮想トリップワイヤの配置のために、複数の候補位置から、特定の候補位置が選択されてもよい。例えば、選択は、複数のベクトルおよび移動方向の関連する変動に基づいていてもよい。
モジュール1018において、仮想トリップワイヤを配置するための特定の候補位置の選択に基づいて、警告が生成されてもよい。
仮想トリップワイヤを設置する位置を特定するための処理が進行する。
以上、特定の実施形態を説明したが、本発明において進歩性があるとみなされるもののより完全な理解を提供するために、本明細書で使用される特定の用語をさらに明確化する。
本発明において、仮想トリップワイヤの位置を選択する文脈で使用される「最適」、「最良」、「理想的」、「完全」などの用語は、関係を示す用語であり、絶対的な優位性を示す用語ではない。例えば、仮想トリップワイヤのための位置「A」と位置「B」との間の選択において、位置「A」が「最適」または「最良」として決定されてもよい。このような決定は、位置「A」と位置「B」の両方に適用される特定の要因の考察に基づいている。1つまたは複数の他の位置(すなわち、位置「C」、位置「D」、位置「N」など)は、位置「A」よりも改善された結果を提供する場合があるが、本明細書の文脈において、位置「A」が別の位置または他の多くの位置に対して最適、最良、理想的、上位、最高、格別、優れた、際立つ、最上級、卓越した、比類のない、無比、最上位、最大、最高、または最も高いものなどでなくても、これらと同様のものであると決定されてもよい。別の言い方をすれば、本発明は、任意の特定の1つまたは複数の理由、要因、またはパラメータのセットのために、仮想トリップワイヤの他の考慮された位置よりも最適な位置(例えば、位置「A」)を自動的に決定するためのシステム、方法、およびデバイスを示している。
一般に、本明細書で使用される「対象物体」は、仮想トリップワイヤの最適位置の決定において使用される、ある時間の経過にわたって決定された位置(例えば、物体の動き、静止している他の物体または動いている他の物体に対する物体の位置など)を有する物体を意味する。例えば、対象物体は、車両などの所定の物体、生体(例えば、街灯ポール、制御ボックス、消火栓、または他の恒久的または一時的に動かない物体)、またはその他の物体(例えば、ゴミまたは他の破片、交通コーンまたは他の作業現場資材、他の検出可能または決定可能な物体)を含んでもよい。任意の所与のインスタンスにおいて、1つまたは複数の対象物体が、画像化、分析、追跡、または処理されてもよい。一部の実装例において、一連の撮像画像を通して、1つまたは複数の対象物体の相対的な動きに基づいて、対象物体が特定されてもよい。一部の実装例において、対象物体は、その推定サイズに基づいて特定されてもよい。例えば、静止していない物体が一連の撮影画像において特定の最小数の隣接画素を含む場合、その物体は、対象物体と見なされてもよい。
本発明において、動画は、2次元動画に関して説明された。この説明は限定的なものではなく、他の撮像技術および情報生成技術も使用され得ることが当業者には理解される。例えば、3次元動画、他の多次元動画、「ヒートマッピング」動画、赤外線、マイクロ波、レーダー、LiDARなどが、本発明の原理に従って分析のためにノード収集された情報を提供してもよい。これらの線に沿って、本明細書に記載のビデオカメラ(例えば、図4および図9のビデオカメラ150、150a、150b、150c)は、対象物体、対象領域、(すなわち、境界周囲)、および仮想トリップワイヤに対する位置などを決定するのに適した画像または画像ストリームなどの情報を提供するように配置された任意のデバイスであってもよい。
本発明において、境界周囲は、画像の幾何学的平面内で対象物体を取り囲む幾何学的物体として説明された。この説明は限定的なものではなく、意の適切な2次元、3次元、または他の多次元形状が対象領域として使用されてもよく、そのような対象領域は、本明細書に記載の境界周囲として交換可能に理解され得ることが当業者によって理解される。例示的な境界周囲は、矩形、正方形、円形、卵形、三角形、または六角形であってもよい。他の例示的な境界周囲は、不規則な形状を有する。場合によっては、境界周囲は、1つまたは複数の所定の距離だけ対象物体の形状を追跡する。境界周囲によって定義される対象領域は、場合によっては、対象物体を実質的に包むことがあるが、他の場合には、対象領域(すなわち、境界周囲)は、対象物体を部分的にしか包まないことがある。例えば、車両が特定の方向に前進している場合、対象領域(すなわち、境界周囲)は、場合によっては、車両の前部の周囲にのみ形成され、または車両の前部および側部の周囲にのみ形成され、車両の後部には形成されなくてもよい。本明細書の文脈におけるコンピューティング環境において、境界周囲は、決定された地理的位置を参照して、またはそれに従って配置された境界周囲仮想物体として実現されてもよい。
本明細書で使用されるメタデータという用語は、「データ」に関する「情報」を意味する。「情報」は、任意の適切な情報であってもよく、コンピューティングデバイスにおいて表現される、または表現可能な任意の適切な形態であってもよい。「データ」は、対象物体の検出およびそのような物体のニアミス状態に関連する任意の適切なデータであってもよい。例えば、メタデータは、地理的座標、対象物体への識別子、住所、時間帯、曜日、年、センサ識別子、カメラ識別子、空中搭載型ノード識別子、および他の任意のそのような好適な情報を含んでもよいが、これらに限定されるものではない。
本明細書で使用される道路という用語は、車両が走行する任意の表面を含む。車両は、自動車、車、トラック、バス、バン、ローリー、カート(例えば、ゴルフカート、小型バス)、オートバイ、自転車、スクーター、RV車、ワゴン、トレーラー、トラクター、ソリ、スノーモビル、建設機械(例えば、ローダー、ブルドーザー、蒸気ローラーなど)、電車、トロリー、トラム、モノレール、地上の飛行機などであってもよい。車両は、ガソリンエンジン、電気、化学反応、または他の動力源によって動かされてもよい。車両は、局所的または遠隔的に手動で制御され、部分的に自律的に制御され、または完全に自律的に制御されてもよい。道路は、アスファルト、コンクリート、砂利、鋼鉄、タイル、木材、複合材料、ハードパックされた土、または車両の走行に適した任意の他の表面で形成されてもよい。道路は、任意の適切な長さ、幅、または他の寸法の任意の経路であってもよい。道路は、屋外、屋内、または部分的に屋外および部分的に屋内であってもよい。本発明において企図されている例示的な道路は、通路、路地、幹線道路、通り、アウトバーン、自転車専用道路、並木通り、乗馬経路、乗馬道、大通り、バイパス、横道、校庭、細い農道、土手道、サークル、コース、横断歩道、袋小路、行き止まり、トラック(tracks)、私有地道、私道、高速道路、工場、車庫、無料の高速道路、木立、レーン、軍事基地、自動車道、陸橋、駐車場、道、ランプ、道路、路線、環状道路、サービス道路、路肩、側道、広場、店舗、段丘、主要道路、小道、トンネル、ターンパイク、立体交差の下側の道路、および倉庫などを含むがこれらに限定されるものではない。
本発明のいくつかの場合において、空中搭載型ノードが照明器具(例えば、図1)の上方、下方、または近接するように配置された実施形態を説明した。これらの場合および他の場合において、空中搭載型ノードは、照明器具の標準化された電力線インタフェースに電気機械的に結合されてもよい。標準化された電力線インタフェースは、ANSI C136.41(例えば、NEMAベースのコネクタ/ソケットシステム)などの標準化団体が推進する道路区域照明標準であるが、他の標準化された電力線インタフェースも企図される(例えば、LED照明産業における業界標準を作成する国際団体であるZHAGA CONSORTIUMに準拠するインタフェースなど)。本開示の少なくともいくつかの態様において、標準化された電力線インタフェースは、信号が街灯照明器具に入るか、または街灯照明器具から外に渡され得る、限られた数の電気/通信コンジットを定義する。いくつかの態様において、インタフェースは、NEMAインタフェース、NEMAソケット、ANSI C136インタフェース等と呼ばれることがある。
少なくとも1つの既知のNEMAインタフェースは、7つの電気/通信導管(例えば、ピン、ブレード、ばね、コネクタ、レセプタクル、ソケット、および他の同様の「接点」)を含むコネクタおよびレセプタクルで電力線インタフェースを実装している。3つの1次接点のセットは、ライン電圧信号、負荷電圧信号、およびニュートラル電圧信号を伝達する。4つの2次接点は、電力、制御情報、状態情報などを渡すために、街灯コントローラによって使用されてもよい。
上述した明細書に基づいて理解されるように、本開示の上述の実施例の1つまたは複数の態様は、コンピュータソフトウェア、ファームウェア、ハードウェアまたはそれらの任意の組み合わせ、あるいはサブセットを含むコンピュータプログラミングまたはエンジニアリング技術を使用して実施されてもよい。コンピュータ読取可能コードを有する任意のそのような結果として得られるプログラムは、1つまたは複数の非一時的なコンピュータ読取可能媒体内に具現化または提供されてもよい。これにより、本明細書に記載の実施例によるコンピュータプログラム製品、すなわち製造物品が作られる。例えば、非一時的なコンピュータ読取可能媒体は、固定ドライブ、フラッシュメモリ、読み取り専用メモリ(ROM)などの半導体メモリ、および/またはインターネット、クラウドストレージ、モノのインターネット、または他の通信ネットワークあるいはリンクなどの任意の送信/受信媒体であってもよいが、これらに限定されるものではない。コンピュータコードを含む製造物品は、特定の媒体から直接コードを実行することによって、または特定の媒体から別の媒体にコードをコピーすることによって、またはネットワークを介してコードを送信することによって、製造および/または使用されてもよい。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、「アプリ」、またはコードとも呼ばれる)は、プログラム可能なプロセッサ用の機械命令を含み、高レベルの手続き型および/または物体指向プログラミング言語、および/またはアセンブリ/機械言語で実装されてもよい。本明細書で使用される「機械読取可能媒体」および「コンピュータ読取可能媒体」という用語は、機械読取可能信号として機械命令を受信する機械読取可能媒体を含む、機械命令および/またはデータをプログラム可能なプロセッサに提供するために用いられる任意のコンピュータプログラム製品、装置、クラウドストレージ、モノのインターネット、および/または装置(例えば、メモリ、プログラム可能なロジックデバイス(PLD))を意味する。しかしながら、「機械読取可能媒体」および「コンピュータ読取可能媒体」は、一過性の信号を含まない。「機械読取可能信号」という用語は、機械命令および/または他のあらゆる種類のデータをプログラム可能なプロセッサに提供するために使用され得るあらゆる信号を指す。
図10は、本発明において説明した空中搭載型ノードおよび他のコンピューティングシステムの実施形態によって使用され得る非限定的なプロセスを例示するデータフロー図を含む。これに関して説明されたプロセスの各々は、指定されたロジック機能を実装するための1つまたは複数の実行可能命令を含む、ソフトウェアコードのモジュール、セグメント、または一部を表すことができる。また、一部の実装例において、プロセスで指摘された機能は、異なる順序で発生してもよく、追加の機能を含んでもよく、同時に発生してもよく、および/または省略されてもよいことに留意されたい。したがって、本明細書におけるプロセスの説明および図示は、プロセスステップを実行するための固定された順序を暗示するものとみなされるべきではない。むしろ、プロセスステップは、少なくともいくつかのステップの同時実行を含む、実行可能な任意の順序で実行され得る。本開示は、特定の実施例に関連して説明されたが、当業者に明らかな様々な変更、置換、および改変が、添付の請求項に規定される本開示の精神および範囲から逸脱することなく、開示された実施形態になされ得ることを理解されたい。
特定の装置または特別な目的のコンピューティングデバイスまたはプラットフォームのメモリ内に格納されたバイナリデジタル信号に対する操作のアルゴリズムまたはシンボリック表現の観点から、詳細な説明の一部が本明細書に示されている。この特定の明細書の文脈では、特定の装置などという用語は、プログラムソフトウェアからの指示に従って特定の機能を実行するようにプログラムされた後の汎用コンピュータを含む。アルゴリズム記述または記号表現は、信号処理または関連技術の当業者が、その仕事の内容を当業者に伝えるために用いる技術の一例である。アルゴリズムとは、ここでは、一般的に、所望の結果を導く操作または同様の信号処理の自己一貫したシーケンスであると考えられている。この文脈では、操作または処理は、物理的な量の物理的な操作を含む。必ずしもそうではないが、典型的には、このような量は、記憶、転送、結合、比較、またはその他の操作を行うことができる電気信号または磁気信号の形態をとることができる。
本発明における図面は、空中搭載型ノード102の1つまたは複数の構成要素などの1つまたは複数の非限定的なコンピューティングデバイスの実施形態の一部を示している。コンピューティングデバイスは、1つまたは複数のプロセッサ、揮発性および不揮発性メモリ、様々な標準およびプロトコルに準拠したシリアルおよびパラレル入出力(I/O)回路、有線および/または無線ネットワーキング回路(例えば、通信送受信機)、1つまたは複数のユーザインタフェース(UI)モジュール、ロジック、および他の電子回路などの従来のコンピューティングデバイス装置に見られる動作ハードウェアを含んでもよい。
本明細書に記載の処理デバイスまたは「プロセッサ」は、中央処理装置(CPU)、マイクロコントローラ(MCU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、周辺インタフェースコントローラ(PIC)、または状態機械などを含む。したがって、本明細書に記載のプロセッサは、少なくとも1つの動作を制御する任意のデバイス、システム、またはその一部を含み、そのようなデバイスは、ハードウェア、ファームウェア、またはソフトウェア、またはそれらの少なくとも2つの組み合わせで実装されてもよい。特定のプロセッサに関連する機能は、集中型であっても変動型であってもよく、局所的であっても遠隔的であってもよい。プロセッサは、プログラムされたソフトウェア命令を実行するように構成された任意のタイプの電子制御回路を互換的に指してもよい。プログラムされた命令は、高レベルソフトウェア命令、コンパイルされたソフトウェア命令、アセンブリ言語ソフトウェア命令、物体コード、バイナリコード、またはマイクロコードなどであってもよい。プログラムされた命令は、内部または外部メモリに存在してもよく、状態機械または制御信号のセットとしてハードコードされてもよい。本明細書に記載の方法およびデバイスによれば、1つまたは複数の実施形態は、プロセッサによって実行可能なソフトウェアを実現し、このソフトウェアが実行されると、1つまたは複数の方法の行動を実施する。
本願は、1つまたは複数のコンピューティングデバイスを含むか協働するいくつかの実施形態について説明している。これらのコンピューティングデバイスは、本明細書で教示される様々な概念を実施するための1つまたは複数のアルゴリズムを実行するように配置されていることが認識される。アルゴリズムの各々は、ロジック的または数学的問題を解決するため、またはタスクを実行するための有限のステップのシーケンスであると理解される。本開示で教示されるアルゴリズムのいずれかまたはすべては、数式、フローチャート、データフロー図、明細書の説明、および本開示で明らかな他のそのような手段によって示されてもよい。これらの線に沿って、本明細書に開示されたアルゴリズムを実行する構造は、少なくとも1つのメモリデバイスから取得された少なくとも1つのソフトウェア命令を実行する少なくとも1つの処理デバイスを含む。構造体は、場合により、当業者に知られている適切な入力回路(例えば、キーボード、ボタン、メモリデバイス、通信回路、タッチスクリーン入力、および任意の他の集積回路および周辺回路入力(例えば、加速度計、温度計、光検出回路、および他のそのようなセンサ))、当業者に知られている適切な出力回路(例えば、ディスプレイ、光源、オーディオデバイス、触覚デバイス、制御信号、スイッチ、リレーなど)、および本開示において教示される任意の追加の回路または他の構造を含んでもよい。このため、特許請求の範囲の請求項のいずれかにおける手段またはステッププラス機能要素のすべての呼び出しは、所望される場合、明示的に示されることになる。
当業者によって知られているように、コンピューティングデバイスは1つ以上のメモリを有し、各メモリは、読み書きのための揮発性および不揮発性のコンピュータ読取可能媒体の任意の組み合わせを備える。揮発性コンピュータ読取可能媒体には、例えば、ランダムアクセスメモリ(RAM)などが含まれる。不揮発性コンピュータ読取可能媒体には、例えば、読み取り専用メモリ(ROM)、ハードディスク、光ディスク、および/またはフラッシュメモリデバイスなどの磁気媒体などが含まれる。場合によっては、特定のメモリは、第1のメモリ、第2のメモリ、第3のメモリなどのように、仮想的または物理的に別々の領域に分離される。これらの場合、メモリの異なる分割は、異なるデバイスにある場合もあれば、単一のメモリに具現化される場合もあることが理解される。いくつかの場合におけるメモリは、プロセッサによって実行されるように配置されたソフトウェア命令を格納するように構成された非一時的なのコンピュータ媒体である。メモリの記憶された内容の一部または全部は、1つまたは複数の特定の行動を実行するために処理装置によって実行可能なソフトウェア命令を含むことができる。
本明細書に記載のコンピューティングデバイスは、オペレーティングシステムまたはタスクループ、I/O回路、ネットワーク回路、および他の周辺コンポーネント回路を介して動作を指示するソフトウェアドライバなど、従来のコンピューティングデバイスに見られる動作可能なソフトウェアをさらに含んでもよい。また、コンピューティングデバイスは、他のコンピューティングデバイスと通信するためのネットワークソフトウェア、データベースを構築および維持するためのデータベースソフトウェア、ならびに通信および/または動作の作業負荷を様々なプロセッサ間で変動させるための適切な場合にはタスク管理ソフトウェアなどの操作可能なアプリケーションソフトウェアを含んでもよい。場合によっては、コンピューティングデバイスは、本明細書に記載のハードウェアおよびソフトウェアの少なくとも一部を有する単一のハードウェアマシンであり、その他の場合において、コンピューティングデバイスは、サーバファームにおいて協働して、本明細書に記載の1つまたは複数の実施形態の機能を実行するハードウェアおよびソフトウェアマシンのネットワークされた集合体である。コンピューティングデバイスの従来のハードウェアおよびソフトウェアのいくつかの態様は、簡略化のために図に示されていない。
このような信号をビット、データ、値、要素、記号、文字、用語、数字、数値などと呼ぶことは、主に一般的な使用法の理由から、時に便利であることが証明されている。しかしながら、これらまたは類似の用語はすべて、適切な物理量と関連付けられるべきものであり、単に便利なラベルであることを理解されたい。特に明示されない限り、以下の説明から明らかなように、本明細書を通じて、「処理」、「計算」、「計算」、「決定」などの用語を利用する説明は、特殊用途コンピュータまたは同様の特殊用途電子コンピューティングデバイスなどの特定の装置の動作またはプロセスを指すと理解される。したがって、本明細書の文脈では、特別用途コンピュータまたは類似の特別用途電子コンピューティングデバイスは、特別用途コンピュータまたは類似の特別用途電子コンピューティングデバイスのメモリ、レジスタ、または他の情報ストレージデバイス、伝送デバイス、または表示デバイス内の物理電子量または磁気量として通常表される信号を操作または変換することができる。換言すると、本明細書に記載のように配置されると、各コンピューティングデバイスは、一般的で特定されていないコンピューティングデバイスから、決定された技術的解決策を提供するような特定で専用の目的のために構成されたハードウェアおよびソフトウェアから配置された組み合わせデバイスへと変化することができる。ここで、本明細書に記載された発明概念のいずれかが、有能な裁定機関によって抽象的なアイデアに包含されると判断される限りにおいて、本明細書に記載されたように配置された要素および制限の順序付けられた組み合わせは、抽象的アイデアをその抽象的アイデアの有形かつ具体的な実用化へと変換することによって、必要な発明概念を提供するために明示的に提示される。
本明細書に記載の実施形態は、衝突回避の技術を改善するためにコンピュータ化技術を使用するが、衝突を回避するために他の技術およびツールが依然として利用可能である。したがって、特許請求の範囲の主題実施形態は、衝突回避技術領域全体または実質的な衝突回避技術領域をも排除するものではない。本明細書に記載の発明は、他の構造および制限とともに新規且つ有用な方法で組み合わされた新規および既知のビルディングブロックの両方を使用して、これまで従来から知られていた以上のものを作り出すことができる。これらの実施形態は、プログラムされていない場合、または異なる方法でプログラムされた場合、本明細書で主張する特定のニアミス検出機能を実行または提供することができないコンピューティングシステムを改善する。本発明において説明する実施形態は、既知の衝突回避プロセスおよび技術を改善する。本明細書の実施形態に記載されるコンピュータ化された行動は、純粋に従来のものではなく、よく理解されていない。むしろ、その行動は、業界にとって新しいものである。さらに、本実施形態に関連して説明したような行動の組み合わせは、行動を個別に検討したときには既にない新しい情報、動機、およびビジネスの成果を提供する。抽象的なアイデアを構成するものについては、一般に受け入れられている定義はない。本開示で説明する概念が抽象的と見なされ得る範囲において、特許請求の範囲は、抽象的とされる概念の、著しく具体的で、実用的で、具体的なアプリケーションを提示する。また、特許請求の範囲は、衝突回避動作を行う従来型のコンピュータベースシステムを改善するものでもある。
ソフトウェアは、完全に実行可能なソフトウェアプログラム、単純な構成データファイル、追加指示へのリンク、または既知のソフトウェアタイプの任意の組合せを含むことができる。コンピューティングデバイスがソフトウェアを更新するとき、その更新は、小さくても大きくてもよい。例えば、コンピューティングデバイスは、ソフトウェアの一部として小さな設定データファイルをダウンロードする場合もあれば、コンピューティングデバイスが自身または別のコンピューティングデバイス上の現在のソフトウェアのほとんどまたはすべてを新しいバージョンと完全に置き換える場合もある。場合によっては、ソフトウェアまたはデータ、あるいはソフトウェアとデータは、セキュリティ、プライバシー、データ転送速度、データコストなどを含む理由で、暗号化、符号化、および/またはその他の方法で圧縮される。
本明細書に記載のニアミス検出システムにデータベース構造が存在する場合、データベース構造は、単一のデータベースまたは複数のデータベースで形成されてもよい。場合によっては、ハードウェアまたはソフトウェアのストレージリポジトリは、それらが関連付けられる特定のシステムの様々な機能の間で共有される。データベースは、ローカルシステムまたはローカルエリアネットワークの一部として形成されてもよい。代替的または追加的に、データベースは、ワイドエリアネットワークまたはその他のネットワークを介してアクセス可能である変動型「クラウド」コンピューティングシステム内など、離れた位置に形成されてもよい。
入出力(I/O)回路およびユーザインタフェース(UI)モジュールには、シリアルポート、パラレルポート、ユニバーサルシリアルバス(USB)ポート、IEEE802.11送受信機および1つまたは複数の標準化団体が管理するプロトコルに準拠した他の送受信機、ディスプレイ、プロジェクター、プリンタ、キーボード、コンピュータマウス、マイクロフォン、加速度計などのMEMS(マイクロエレクトロ・メカニカル)デバイスなどが含まれる。
少なくとも1つの実施形態において、空中搭載型ノード102などのデバイスは、ネットワークを介した通信を介して他のデバイスと通信してもよい。ネットワークは、インターネット接続、または他のタイプのローカルエリアネットワーク(LAN)あるいはワイドエリアネットワーク(WAN)を含んでもよい。ネットワークを可能にする、またはネットワークの一部を形成する構造の非限定的な例として、イーサネット、ツイストペアイーサネット、デジタル加入者ループ(DSL)デバイス、無線LAN、Wi-Fi、マイクロ波アクセス(WiMAX)用の世界的相互運用性、または同様のものが挙げられるが、これらに限定されるものではない。
本発明において、メモリは、1つの構成または別の構成で使用されてもよい。メモリは、データを記憶するように構成されてもよい。代替的または追加的に、メモリは、非一時的なのコンピュータ読取可能媒体(CRM)であってもよい。CRMは、空中搭載型ノード102のプロセッサによって実行可能なコンピューティング命令を記憶するように構成される。コンピューティング命令は、個々に、またはファイル内の命令グループとして記憶されてもよい。ファイルは、関数、サービス、ライブラリなどを含んでもよい。ファイルは、1つまたは複数のコンピュータプログラムを含んでもよく、より大きなコンピュータプログラムの一部であってもよい。代替的または追加的に、各ファイルは、ニアミス検出システムのコンピューティング機能を遂行するのに有用なデータまたは他の計算支援材料を含んでもよい。
本明細書および添付の特許請求の範囲で使用される「リアルタイム」または「実時間」という用語は、場合により瞬時の処理、送信、受信、またはその他を意味することを意図していない。代わりに、用語、「リアルタイム」および「実時間」は、アクティビティが許容できるほど短い期間にわたって(例えば、マイクロ秒またはミリ秒の期間にわたって)発生し、アクティビティが継続的に実行され得ることを意味する(例えば、ニアミス状態を検出または他の方法で決定するためにビデオを収集し分析する)。リアルタイムでないアクティビティの例としては、長時間(例えば、数時間または数日)にわたって発生するもの、またはユーザによる介入あるいは指示または他のアクティビティに基づいて発生するものが挙げられる。
特に明示されない限り、本明細書で使用される技術用語および科学用語は、本発明が属する技術分野における当業者によって一般的に理解されるのと同じ意味を有する。本明細書に記載のものと類似または同等の任意の方法および材料も、本発明の実施または試験に使用することができるが、限定された数の例示的な方法および材料が、本明細書に記載されている。
本発明において、要素(例えば、構成要素、回路、デバイス、装置、構造、層、材料など)が、別の要素の「上」にある、別の要素に「結合」している、または別の要素と「接続」されると表現される場合、要素は、直接上に配置され、直接結合しており、または直接接続していてもよく、介在する要素が存在していてもよい。対照的に、要素が別の要素に「直接的に乗っている」、「直接的に結合している」、または「直接的に接続されている」と言及される場合、介在する要素は存在しない。
「含む」および「備える」という用語、ならびにそれらの派生語および変形語は、そのすべての構文的文脈において、オープンで包括的な意味で制限なく解釈される(例えば、「含むが、限定されない」)ものとする。「または」という用語は、包括的であり、「および/または」を意味する。「関連する」という表現、ならびにその派生語は、含む、中に含まれる、相互接続する、結合する、通信可能である、協働する、挟み込む、並べる、近づける、共に結合する、有する、特性を有する、または同様の意味を有するとして理解することができる。
本明細書全体を通して「一実施形態」およびその変形を参照することは、その実施形態に関連して説明される特定の特徴、構造、または特性が、少なくとも一実施形態に含まれることを意味する。したがって、本明細書を通じて様々な箇所で「一実施形態において」という表現が現れるのは、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、1つまたは複数の実施形態において、任意の適切な方法で組み合わされてもよい。
本発明において、第1、第2などの用語は、様々な要素を説明するために使用され得るが、文脈上明らかにそのような限定が必要とされない限り、これらの要素は、これらの用語によって限定されることはない。これらの用語は、1つの要素を別の要素から区別するためにのみ使用される。例えば、本発明の概念の範囲から逸脱することなく、第1の機械を第2の機械と呼ぶことができ、同様に、第2の機械を第1の機械と呼ぶこともできる。
本発明における単数形「a」、「an」、および「the」は、内容および文脈が明らかに指示しない限り、複数の参照語を含む。接続語である「および」および「または」は、内容および文脈がそうでないと明示しない限り、一般に「および/または」を含む広義で採用される。本明細書で「および/または」として示される「および」および「または」の構成は、それに関連する要素のすべてを含む実施形態と、それに関連する要素のすべてよりも少ないものを含む少なくとも1つのより多くの代替実施形態とを包含する。
本開示において、連続的なリストは、コンマを利用し、これは、オックスフォードコンマ、ハーバードコンマ、シリアルコンマ、または他の同様の用語として知られてもよい。このようなリストは、コンマに続くものもリストに含まれるように、単語、節、または文を接続することを意図している。
「基づく」という用語および/または同様の用語は、必ずしも排他的な要因のセットを示すことを意図するものではなく、必ずしも明示されていない追加の要因の存在を許容するものと理解される。言うまでもなく、上記のすべてについて、説明の特定の文脈および/または使用法が、引き出されるべき推論に関する有用な指針を提供する。本明細書は、単に1つまたは複数の例示的な実施例を提供し、本開示の主題は、これらの1つまたは複数の例示的な実施例に限定されないことに留意されたい。
本明細書の説明では、様々な例示的な実施形態の徹底的な理解を提供するために、具体的な詳細を定めている。実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本開示の精神および範囲から逸脱することなく、他の実施形態および用途に適用され得ることを理解されたい。さらに、以下の説明において、説明のために多数の詳細が記載されている。しかしながら、業者であれば、これらの特定の詳細を使用しなくても、実施形態が実施され得ることを理解するであろう。他の実施例において、不要な詳細を記載することで説明を不明瞭にすることを避けるために、周知の構造およびプロセスは示していないか、説明を省略している。したがって、本発明は、示された実施形態に限定されることを意図しておらず、代わりに、本明細書に記載の原理および特徴と一致する最も広い範囲が与えられる。したがって、上記の詳細な説明に照らして、これらおよび他の変更を実施形態に加えることができる。一般に、添付の特許請求の範囲において使用される用語は、請求項を、明細書に記載の特定の実施形態に限定するように解釈されるべきではなく、そのような請求項が権利を有する等価物の全範囲とともに、すべての可能な実施形態を含むように解釈されるべきものである。したがって、特許請求の範囲は、本開示によって限定されるものではない。
Claims (11)
- 1つまたは複数のコンピューティングデバイスによって実行される方法であって、
カメラの視野内で撮影された一連の画像における対象物体を特定するステップであって、前記一連の画像のうちの各画像は、画素のセットを含み、前記画素のセットのうちの1つまたは複数の画素は、地理的座標グリッドの格子点に対応する、ステップと、
前記一連の画像を通して前記対象物体の動きを決定するステップと、
決定した前記動きに基づいて、前記地理的座標グリッドの格子点を通しての前記対象物体の移動方向を特定するステップと、
前記対象物体の各々について前記移動方向の変動を決定して、複数の移動方向の変動を生成するステップと、
前記地理的座標グリッド上の前記対象物体に対応する複数のベクトル点の各々について、移動方向の中央値のベクトルを決定して、複数のベクトルを生成するステップと、
前記一連の画像を通しての前記対象物体の少なくとも一部の動きを監視するための仮想トリップワイヤを、前記地理的座標グリッドの格子点上に配置するために複数の候補位置を決定するステップであって、前記仮想トリップワイヤは、少なくとも1つの前記対象物体の移動方向とほぼ直交する方向に延在する仮想セグメントを含む、ステップと、
前記仮想トリップワイヤを配置するための特定の候補位置を自動的に選択するステップであって、前記複数のベクトルおよび前記複数の移動方向の変動に基づいて、前記複数の候補位置から前記特定の候補位置が選択される、
方法。 - 前記仮想トリップワイヤを配置するための特定の候補位置を自動的に選択するステップは、前記地理的座標グリッドの格子点にわたってスライディングウィンドウを移動させて、前記スライディングウィンドウに重なる前記格子点における少なくとも1つの前記対象物体の前記移動方向の変動の最小化をもたらす位置を特定するステップを含む、請求項1に記載の方法。
- 選択した前記格子点における少なくとも1つの前記対象物体の前記移動方向の変動の最小化をもたらす前記スライディングウィンドウ内の位置において、前記地理的座標グリッドの選択した前記格子点にわたって前記仮想トリップワイヤを配置するステップをさらに含む、請求項2に記載の方法。
- 前記一連の画像は、前記カメラからのサンプリング動画によって取得される、請求項1に記載の方法。
- 前記対象物体は、車両、自転車、および歩行者のうちの少なくとも1つを含む、請求項1に記載の方法。
- 連続する前記画像における少なくとも1つの前記対象物体に対応する画素のそれぞれの位置に基づいて、所定の時間間隔について、前記仮想トリップワイヤを越える少なくとも1つの前記対象物体の速度を推定するステップをさらに含む、請求項1に記載の方法。
- 所定の時間間隔について、前記仮想トリップワイヤを越えた前記対象物体の数をカウントするステップをさらに含む、請求項1に記載の方法。
- 前記対象物体の各々について、境界周囲のための地理的座標を決定するステップをさらに含む、請求項1に記載の方法。
- 前記仮想トリップワイヤを配置するための特定の候補位置を自動的に選択するステップは、前記地理的座標グリッドの格子点にわたってスライディングウィンドウを移動させて、前記スライディングウィンドウに重なる前記格子点における少なくとも1つの前記対象物体の前記移動方向の変動が比較的小さくなる位置を特定するステップを含む、請求項1に記載の方法。
- ビデオカメラおよび第1のプロセッサを含む空中搭載型ノードと、前記空中搭載型ノードから離れて配置され且つ第2のプロセッサを含むコンピューティングデバイスと、を備えるシステムであって、
前記第1のプロセッサは、前記ビデオカメラの視野内で撮影された一連の画像における対象物体を特定するように動作可能であり、前記一連の画像のうちの各画像は、画素のセットを含み、前記画素のセットのうちの1つまたは複数の画素は、地理的座標グリッドの格子点に対応し、
前記第1のプロセッサは、前記一連の画像のうちの少なくとも1つの画像における前記対象物体のための境界周囲を決定するように動作可能であり、前記境界周囲の各々は、対応する前記対象物体を囲み、
前記第1のプロセッサは、前記地理的座標グリッド上の格子点に対応する地理的座標セットを決定するように動作可能であり、前記地理的座標セットは、前記対象物体のための前記境界周囲上または前記境界周囲内の点を表し、
前記第1のプロセッサは、前記地理的座標セットを含む少なくとも1つのメッセージを送信するように動作可能であり、
前記第2のプロセッサは、前記第1のプロセッサから前記少なくとも1つのメッセージを受信するように動作可能であり、
前記第2のプロセッサは、前記一連の画像を通して前記対象物体の動きを決定するように動作可能であり、
前記第2のプロセッサは、決定した前記動きに基づいて、前記格子点を通しての前記対象物体の移動方向を特定するように動作可能であり、
前記第2のプロセッサは、前記対象物体の各々について前記移動方向の変動を決定して、複数の移動方向の変動を生成するように動作可能であり、
前記第2のプロセッサは、前記地理的座標グリッド上の前記対象物体に対応する複数のベクトル点の各々について、移動方向の中央値のベクトルを決定して、複数のベクトルを生成するように動作可能であり、
前記第2のプロセッサは、前記一連の画像を通しての前記対象物体の少なくとも一部の動きを監視するための仮想トリップワイヤを、前記格子点のセットの少なくとも一部の上に配置するための複数の候補位置を決定するように動作可能であり、前記仮想トリップワイヤは、少なくとも1つの前記対象物体の移動方向とほぼ直交する方向に延在する仮想セグメントを含み、
前記第2のプロセッサは、前記仮想トリップワイヤを配置するための特定の候補位置を自動的に選択するように動作可能であり、前記複数のベクトルおよび前記複数の移動方向の変動に基づいて、前記複数の候補位置から前記特定の候補位置が選択される、
システム。 - 前記第2のプロセッサは、前記格子点の少なくとも一部にわたってスライディングウィンドウを移動させて、前記仮想トリップワイヤのための特定の候補位置を自動的に選択するように動作可能であり、これにより、前記スライディングウィンドウに重なる格子点における少なくとも1つの前記対象物体の前記移動方向の変動が比較的小さくなる位置を特定することができる、請求項10に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063068864P | 2020-08-21 | 2020-08-21 | |
US63/068,864 | 2020-08-21 | ||
US17/408,115 US11727684B2 (en) | 2020-08-21 | 2021-08-20 | Automated virtual tripwire placement |
US17/408,115 | 2021-08-20 | ||
PCT/US2021/047032 WO2022040611A1 (en) | 2020-08-21 | 2021-08-21 | Automated virtual tripwire placement |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023538676A true JP2023538676A (ja) | 2023-09-08 |
Family
ID=80270833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023513171A Pending JP2023538676A (ja) | 2020-08-21 | 2021-08-21 | 自動化された仮想トリップワイヤ配置 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11727684B2 (ja) |
EP (1) | EP4200825A4 (ja) |
JP (1) | JP2023538676A (ja) |
AU (1) | AU2021329638A1 (ja) |
CA (1) | CA3189642A1 (ja) |
MX (1) | MX2023001931A (ja) |
WO (1) | WO2022040611A1 (ja) |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5801943A (en) * | 1993-07-23 | 1998-09-01 | Condition Monitoring Systems | Traffic surveillance and simulation apparatus |
JP2001357484A (ja) * | 2000-06-14 | 2001-12-26 | Kddi Corp | 道路異常検出装置 |
US8370111B2 (en) | 2008-03-31 | 2013-02-05 | The Boeing Company | System and method for forming optimized perimeter surveillance |
US9472097B2 (en) * | 2010-11-15 | 2016-10-18 | Image Sensing Systems, Inc. | Roadway sensing systems |
US9197861B2 (en) * | 2012-11-15 | 2015-11-24 | Avo Usa Holding 2 Corporation | Multi-dimensional virtual beam detection for video analytics |
CN105431864A (zh) * | 2013-05-17 | 2016-03-23 | 国际电子机械公司 | 区域中的操作监视 |
US10110856B2 (en) * | 2014-12-05 | 2018-10-23 | Avigilon Fortress Corporation | Systems and methods for video analysis rules based on map data |
US10325373B2 (en) * | 2017-09-07 | 2019-06-18 | Here Global B.V. | Method, apparatus, and system for constructing a polygon from edges for object detection |
US10572738B2 (en) | 2018-05-16 | 2020-02-25 | 360Ai Solutions Llc | Method and system for detecting a threat or other suspicious activity in the vicinity of a person or vehicle |
US10572737B2 (en) | 2018-05-16 | 2020-02-25 | 360Ai Solutions Llc | Methods and system for detecting a threat or other suspicious activity in the vicinity of a person |
US10572740B2 (en) | 2018-05-16 | 2020-02-25 | 360Ai Solutions Llc | Method and system for detecting a threat or other suspicious activity in the vicinity of a motor vehicle |
US20190356885A1 (en) * | 2018-05-16 | 2019-11-21 | 360Ai Solutions Llc | Camera System Securable Within a Motor Vehicle |
US10572739B2 (en) | 2018-05-16 | 2020-02-25 | 360Ai Solutions Llc | Method and system for detecting a threat or other suspicious activity in the vicinity of a stopped emergency vehicle |
US11455705B2 (en) * | 2018-09-27 | 2022-09-27 | Qualcomm Incorporated | Asynchronous space warp for remotely rendered VR |
US10963734B1 (en) * | 2018-10-19 | 2021-03-30 | Waymo Llc | Perception visualization tool |
EP3680858A1 (en) * | 2019-01-11 | 2020-07-15 | Tata Consultancy Services Limited | Dynamic multi-camera tracking of moving objects in motion streams |
US11994863B2 (en) * | 2019-12-03 | 2024-05-28 | International Business Machines Corporation | Trajectory similarity search |
-
2021
- 2021-08-20 US US17/408,115 patent/US11727684B2/en active Active
- 2021-08-21 JP JP2023513171A patent/JP2023538676A/ja active Pending
- 2021-08-21 EP EP21859256.6A patent/EP4200825A4/en active Pending
- 2021-08-21 WO PCT/US2021/047032 patent/WO2022040611A1/en unknown
- 2021-08-21 AU AU2021329638A patent/AU2021329638A1/en active Pending
- 2021-08-21 CA CA3189642A patent/CA3189642A1/en active Pending
- 2021-08-21 MX MX2023001931A patent/MX2023001931A/es unknown
-
2023
- 2023-06-26 US US18/214,011 patent/US20230351749A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4200825A1 (en) | 2023-06-28 |
EP4200825A4 (en) | 2024-02-28 |
US20230351749A1 (en) | 2023-11-02 |
CA3189642A1 (en) | 2022-02-24 |
US20220058392A1 (en) | 2022-02-24 |
US11727684B2 (en) | 2023-08-15 |
WO2022040611A1 (en) | 2022-02-24 |
MX2023001931A (es) | 2023-04-10 |
AU2021329638A1 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11663830B2 (en) | Node-based near-miss detection | |
US11847908B2 (en) | Data processing for connected and autonomous vehicles | |
US20210078562A1 (en) | Planning for unknown objects by an autonomous vehicle | |
JP6785939B2 (ja) | 緊急時の地表のマップ情報を生成するシステムおよび方法 | |
JP6414255B2 (ja) | 道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現 | |
US10621670B2 (en) | Determination and display of driving risk | |
CN109641589B (zh) | 用于自主车辆的路线规划 | |
US10083606B2 (en) | Glare detection systems and methods for automated vehicular control | |
Chen et al. | Deer crossing road detection with roadside LiDAR sensor | |
Gunson et al. | Road–wildlife mitigation planning can be improved by identifying the patterns and processes associated with wildlife‐vehicle collisions | |
JP2019536175A (ja) | 自律走行車両のソリューションパスオーバーレイインタフェース | |
US11651593B2 (en) | Cloud-based road segment vehicle and pedestrian trend analysis | |
Newton et al. | Spatial temporal dynamics of vehicle stopping behavior along a rustic park road | |
Pi et al. | Visual recognition for urban traffic data retrieval and analysis in major events using convolutional neural networks | |
JP2023538676A (ja) | 自動化された仮想トリップワイヤ配置 | |
Dallmeyer et al. | GIS-based Traffic Simulation using OSM | |
Makhloga | IMPROVING INDIA’S TRAFFIC MANAGEMENT USING INTELLIGENT TRANSPORTATION SYSTEMS | |
Farah | State of Art on Infrastructure for Automated Vehicles | |
Caruntu et al. | Cyber-physical systems-based architecture for signalized traffic corridors: Monitoring and synchronized coordination | |
Ciont et al. | Comparative studies regarding traffic flow improvement scenarios using software modelling and real measured data | |
Samson et al. | SMART TRAFFIC SIGNAL CONTROL SYSTEM FOR TWO INTER-DEPENDENT INTERSECTIONS IN AKURE, NIGERIA | |
Bandyopadhyay et al. | GIS-based Analysis of Traffic Congestion in Midnapore Municipality | |
US20230408276A1 (en) | Methods and apparatuses for late lane change prediction and mitigation | |
Sivakumar et al. | Design and Implementation of a Suburban Signal Traffic Control and Management System in the Field of Informatics | |
Bekiaris et al. | Digital Twins for CCAM Applications–The Case of Augmented CCAM and Beyond |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230421 |