JP2023547884A - 分散型固定センサによる集中型追跡システム - Google Patents

Abstract

センサシステムは、敷地に非コロケートな複数のセンサユニットを備えている。メモリに作動可能に結合された処理回路は、動作を実行するように構成される。動作は、センサユニットトラックを生成する工程を備えている。各センサユニットトラックは、相対オブジェクト位置属性と非位置属性とを備えている１つまたは複数のオブジェクト属性を備えている。動作は、各センサユニットトラックについて、センサユニットトラックの１つまたは複数の相対オブジェクト位置属性を、１つまたは複数の普遍オブジェクト位置属性に翻訳する工程と、対応オブジェクト属性を備えている統一敷地トラックを生成するべく、センサユニットトラックセットの対応オブジェクト属性に少なくとも部分的に基づき、センサユニットトラックセットを融合する工程と、統一敷地トラックを非一時記憶装置に格納する工程と、を備えている。

Description

本開示は、分散型固定センサによる集中型追跡（トラッキング）システムに関する。

（関連出願の相互参照）
本出願は、米国仮出願シリアル番号６３／１９８，５３３、２０２０年１０月２６日出願、名称：ＯＢＪＥＣＴ ＬＯＣＡＴＩＯＮ ＣＯＯＲＤＩＮＡＴＩＯＮ ＩＮ ＲＡＤＡＲ ＡＮＤ ＣＡＭＥＲＡ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＴＯ ＶＩＳＵＡＬＩＺＥ ＴＨＥ ＴＲＡＣＫ ＡＮＤ ＬＯＣＡＴＩＯＮ「レーダとカメラのユーザインタフェースにおけるオブジェクトの位置調整による軌跡（トラック）および位置（ロケーション）の視覚化（可視化）」に対する優先権を主張する。その全体がこの参照によって本書に組み込まれる。

センサユニットには、レーダ（Ｒａｄａｒ）、画像（イメージ）センサ、ライダー（Ｌｉｄａｒ）、などさまざまなセンサを搭載することができる。個々のセンサは、通常、視野（ＦＯＶ、フィールドオブビュー）が限られている。そのため、大規模な敷地（現場、サイト）や複雑な敷地を見張り（サーベイル）および監視（モニタリング）するべく、複数のセンサが配置されることが多い。しかし、これらの複数のセンサによって収集された情報は、敷地の断片的なビューを提示することができる。そこで、複数のセンサで監視された敷地を統一的かつ包括的に把握できるセンサシステムが必要とされている。

国際公開第２０２０／２１４２７２号

分散型固定センサによる集中型トラッキング（追跡）システムの改良の余地がある。

本開示は、一般に、レーダデータおよび画像データを処理するように構成された機械（そのような特殊目的機械のコンピュータ化された変形例およびそのような変形例に対する改良を備えている）に関するとともに、そのような特殊目的機械がレーダデータおよび画像データを処理する技術を提供する他の特殊目的機械とで比べて改良されることになる技術に関する。特に、本開示は、非コロケートなレーダユニットおよび画像ユニットの複数の視野を越えて、データを追跡（トラッキング）するためのシステムおよび方法を扱う。

本明細書に記載の技術のいくつかの態様によれば、システムは、処理回路と、メモリと、敷地における複数の非コロケートなセンサユニットと、を備えている。処理回路は、複数のセンサユニットの各々において、複数のセンサユニットの各々において１つまたは複数のセンサトラックを生成する。各センサユニットトラックは、１つまたは複数の相対オブジェクト位置（ロケーション）属性と、１つまたは複数の非位置属性と、を備えている、１つまたは複数のオブジェクト属性を備えている。各センサユニットトラックについて、処理回路は、センサユニットトラックの１つまたは複数の相対オブジェクト位置属性を、１つまたは複数の普遍（ユニバーサル）オブジェクト位置属性に翻訳（トランスレーション、変換）する。処理回路は、センサユニットトラックのセットの対応オブジェクト属性に基づき、センサユニットトラックの１つまたは複数のセットを融合することで、１つまたは複数の対応オブジェクト属性を備えている１つまたは複数の統一（統合、ユニファイド）敷地トラックを生成する。処理回路は、１つまたは複数の統一敷地トラックを非一時的記憶装置（ストレージデバイス）に保存する。

いくつかの実施形態に従った、例示的なセンサシステムの例示的なブロック図。 いくつかの実施形態に従って図１のシステムを使用することで実行される、例示的な方法を表す例示的なフロー図。 図１のセンサシステムのセンサユニット同士の配置（アレンジメント）例を有している敷地（サイト）の航空図を表す、例示的な敷地マップ（サイトマップ）を表示する電子表示画面の例示的な図面。 図１のシステムのユニット横断追跡装置（クロスユニットトラッカ）に、個々の時系列データストリーム同士で通信ネットワークを介して、センサユニットトラック同士を送信する工程を表す例示的な機能フロー図。 ユニット横断追跡装置において記憶メモリ（ストレージメモリ）に記憶された、第１統一敷地トラックを表す例示的な図面。 ユニット横断追跡装置において記憶メモリに記憶された、第２統一敷地トラックを表す例示的な図面。 例示的なセンサユニットを示す例示的なブロック図。 レーダ前処理およびターゲット検出を表す例示的な図面。 複数の例示的なレーダセンサトラックと、複数の例示的な画像センサトラックと、を融合することで、複数の例示的な融合（融合された、融合済）センサユニットオブジェクトトラックを生成するセンサユニット融合モジュールを表す例示的な図面。 統一敷地トラックを作成するべく、センサユニットオブジェクトトラック同士を融合する融合方法を表す例示的なフロー図。 敷地算（サイトマス）とオブジェクト経路を備えている、統一ビューを生成するための例示的な処理を表す例示的なフロー図。 いくつかの実施形態に従った例示的な計算機（コンピューティングマシン）の例示的なブロック図。 いくつかの例示的な実施形態による、機械学習プログラムの学習および使用を示す図。 いくつかの実施形態に従った、例示的なニューラルネットワークを例示する。 いくつかの実施形態による、画像認識機械学習プログラムの学習（トレーニング、訓練）を説明する図。 いくつかの例示的な実施形態による、特徴量抽出処理および分類器学習を説明する図。

本開示は、一般に、敷地（サイト）に位置しつつ個々のセンサ視野を有している複数のセンサを使用するように構成される、特殊用途計算機に関する。特殊用途計算機は、人、車両、または他のエンティティ、を含み得るオブジェクトを各々が個別に識別および追跡する個々のセンサユニットトラックを作成するべく、および個別のオブジェクトセンサユニットトラックを使用することで敷地全体でオブジェクトを識別および追跡するべく、複数のセンサを使用するように構成される。本開示はまた、このような特殊目的機械が、オブジェクト同士を識別および追跡する技術を提供する他の特殊目的機械とで比較して、改良されたものとなる技術に関する。また、本開示は、互いに異なる視野同士と、互いに異なるローカルセンサユニット座標系同士と、を有している複数の非コロケートなセンサユニット同士を配備することで、追跡するべきセンサユニットトラック同士の位置情報を、ローカル座標系同士から普遍（ユニバーサル）座標系に翻訳することによって、それらの互いに異なる視野同士にわたってオブジェクト同士を追跡することに関連する。さらに、本開示は、敷地（サイト）における互いに異なるセンサユニット同士によって生成された、オブジェクトに対応するセンサユニットトラック同士の融合に基づき、敷地におけるオブジェクトの位置同士の統一視覚表示を生成するシステムおよび方法を扱っている。センサトラック同士は、敷地（サイト）における際のオブジェクトの互いに異なる位置（ロケーション）同士を示す。集合的に、融合されたセンサユニットトラックは、オブジェクトが敷地内において通過した一連の位置（ロケーション）のマッピングを提供する位置情報を備えている。

＜センサシステム全体の構成＞
図１は、いくつかの実施形態に従った例示的なセンサシステム１００の例示的なブロック図である。センサシステム１００は、複数のセンサユニット１０２_１～１０２_ｎ、（有線（例えば、ＣＡＴ７イーサネット）または無線（例えば、ＷｉＦｉ（登録商標））であってもよい物理的接続を備え得る）ネットワーク（モジュール）１０５、ユニット横断追跡装置（ユニット横断トラッカ）１０４、出力処理システム１０６、および活動データアクセスシステム１０８、を備えている。

例示的なセンサユニット１０２_１～１０２_ｎは各々、深度センサを含んでいる１つまたは複数のセンサを備えている。例示的なセンサシステム１００では、センサユニットの少なくとも２つは、部分的に重なる視野を有している。各センサユニットは、非一時的メモリ装置に格納された命令を用いて構成された計算機を備えているので、センサユニットの１つまたは複数のセンサを用いて感知されたオブジェクトの追跡を制御することができる。より詳細には、各センサユニットの計算機は、センサユニットの視野ＦＯＶ内のオブジェクトを検知および追跡するように構成される。本明細書で使用されるように、オブジェクトを「追跡」（トラッキング）する行為は、位置、速度、加速度、向き、およびオブジェクトアイデンティティ、などのオブジェクトの属性を決定するべく使用される、敷地内のオブジェクトからキャプチャされた（取り込まれた、捕捉された）センサデータ、例えば、感知された電磁エネルギー、光、熱エネルギー、反射レーダ信号、反射ソナー信号、または超音波信号、からのデータを分析する工程を指す。さらに、各センサユニットの計算機は、センサユニットの１つまたは複数のセンサを使用することで検出された各オブジェクトのセンサユニットトラックを作成するとともに、１つまたは複数のメモリ装置に格納するように構成される。本明細書で使用する「センサユニットトラック」は、センサユニットによるオブジェクトの追跡に基づき決定される情報を指すとともに、検出されたオブジェクトについて決定された属性を示す、メモリに格納された情報を指す。オブジェクトトラックに格納される例示的な属性は、時間間隔の経過にわたってオブジェクトを追跡するセンサユニットに対するオブジェクト位置（本明細書では「相対オブジェクト位置」と呼ぶ）、オブジェクト速度、オブジェクト加速度、オブジェクト向き（ヘディング）、オブジェクト分類、およびトラック識別子（「オブジェクトＩＤ」と呼ぶ）、である。

個々の各センサユニット１０２_１～１０２_ｎは、当該センサユニットの位置に対するオブジェクトの相対位置に少なくとも部分的に基づき、１つまたは複数のオブジェクト属性を決定する。各センサユニット１０２_１～１０２_ｎは、対応するローカルセンサユニット座標系１０３_１～１０３_ｎを有している。個々のセンサユニットは、個々のセンサユニットの座標系に対するオブジェクトの位置およびオブジェクトの動き（モーション、運動、移動）を決定する。個々のセンサユニットによって決定されるオブジェクト属性は、本明細書において「相対オブジェクト属性」と称される。より詳細には、各個別センサユニットは、センサユニットが配置されている敷地における物理的位置を表す個別（別個）の普遍座標系（例えば、図３に示す例示的な普遍座標系３０３）とは独立して、センサユニットの座標系に対するオブジェクトの位置、速度、加速度、および向き、のうちの１つまたは複数を示すデータを取り込んで（キャプチャして）分析することによって、１つまたは複数の相対オブジェクト属性を決定する。本明細書で使用する場合、「普遍（ユニバーサル）座標系」という用語は、センサユニット１０２_１～１０２_ｎが配置されている物理的な敷地に対して指定される座標系を指す。

本明細書で使用する場合、「敷地」（サイト）という用語は、センサユニット１０２_１～１０２_ｎが配置される物理的領域（フィジカルエリア）を意味する。敷地は、屋内、屋外、または部分的に屋内および部分的に屋外、であることができる。例示的な敷地は、建物のような構造物の内部から完全に構成され得る。あるいは、例示的な敷地は、建物構造の内部と外部との両方を備えているとともに屋外空間を備えている、屋内／屋外キャンパスを包含することができる。

個々のセンサユニット１０２_１～１０２_ｎは、センサユニット１０２_１～１０２_ｎが集合的に配置される敷地において、既知の所定物理的位置（フィジカルロケーション）と、既知の物理的視野ＦＯＶと、を有している。したがって、各センサユニットは、普遍座標系に対する既知の位置（ロケーション）を有しているとともに、普遍座標系に対する既知の視野ＦＯＶを有している。

例示的なセンサシステム１００は、現実世界の地理的位置（ジオグラフィックロケーション）に対して相対的に指定された「グローバル」普遍座標系を使用する。「グローバル普遍（ユニバーサル）座標系」は、現実世界における位置および方向に対するセンサユニットの物理的位置とセンサユニット視野ＦＯＶとを参照する。本明細書で使用する「ジオロケーション」（ジオ位置）は、現実世界における地理的位置（ジオグラフィックロケーション）を意味する。二次元（２Ｄ）ジオロケーションは、通常、世界測地系（ＷＧＳ８４）を用いて指定された現実世界地図に対する緯度および経度（「ｌａｔ／ｌｏｎ」）のようなグローバル座標で指定されることで、世界におけるエンティティ（実体）の物理的位置を記述する。３次元（３Ｄ）ジオロケーションは、通常、グローバル座標（緯度、経度、および高さ（高度と呼ばれることもある））について指定される。例示的なセンサユニットには、ＧＮＳＳ（グローバルナビゲーションサテライトシステム）ユニットや他のジオロケーション装置が搭載されていることで、各々の正確なジオロケーションを決定することができる。あるいは、センサユニットのジオロケーションは、設置時に測量士によって決定されるか、設置時におおよそ決定されているとともに、その後、センサ測定値に基づき、例えば、センサ視野ＦＯＶ内の既知のランドマーク（既知のジオロケーションを有している）に対する、または既知の他のセンサユニットに対する、センサユニットの位置を決定するにあたってさらに改良され得る。

代替例のセンサシステム（図示せず）は、世界ビュー（ワールドビュー）とは無関係に、ローカル敷地マップに対して指定された「敷地マップ」普遍（ユニバーサル）座標系を使用する。本明細書で使用する「敷地マップ」（サイトマップ）は、敷地（サイト）におけるセンサユニットの物理的位置と、互いに対する向きと、を表すマップを指す。「敷地固有の普遍座標系」は、敷地マップに対するセンサユニットの物理的位置と、センサユニットの視野ＦＯＶと、を参照する。センサユニットがグローバルナビゲーションサテライトシステムＧＮＳＳ通信にすぐにアクセスできない屋内敷地では、ローカル敷地マップ座標系を使用することができることが想定される。

例示的なセンサシステム１００において、例示的なセンサユニット１０２_１～１０２_ｎは各々、センサユニットトラック内の１つまたは複数の相対オブジェクト属性を、対応する普遍オブジェクト属性に翻訳（トランスレーション、変換）するように構成される。本明細書で使用されるように、「普遍オブジェクト属性」は、普遍座標系に対して相対的に決定されるオブジェクトの普遍位置に基づく、１つまたは複数のオブジェクト属性を指す。個々のセンサユニットに対応する相対オブジェクト属性は、センサユニットの所定の普遍位置および普遍視野ＦＯＶに基づき、普遍オブジェクト属性に翻訳される。例示的なセンサシステム１００では、個々のセンサユニット自身が、相対オブジェクト属性情報から普遍オブジェクト属性情報への翻訳を行なう（例えば、相対位置から普遍位置への翻訳）。代替の例示的なセンサシステム（図示せず）において、ユニット横断追跡装置１０４は、相対オブジェクト属性情報を普遍オブジェクト属性情報に翻訳するように構成される。例示的なセンサシステム１００では、相対オブジェクト位置を普遍オブジェクト位置に翻訳するべく、以下でより詳細に説明される投影法が使用される。

センサユニット１０２_１～１０２_ｎの各々は、ネットワーク１０３を介してセンサユニットトラック同士のストリームを、ユニット横断追跡装置１０４に提供する。各センサユニットは、各センサユニットの視野内の複数のオブジェクトを、同時に追跡（トラック）することができる。さらに、各センサユニットは、対応するオブジェクトがセンサユニットの視野ＦＯＶ内で移動すると、センサユニットトラック内の情報を連続的にリフレッシュする。各センサユニットは、複数のセンサユニットオブジェクトトラックを備えている情報ストリームを生成する。各センサユニットオブジェクトトラックは、対応オブジェクト属性と、対応メタデータと、を備えている。例示的なセンサシステム１００では、メタデータは、オブジェクトクラス、速度、加速度、トラック識別子、分類、向き（ヘディング）、およびバウンディングボックス、を備えている。

ユニット横断追跡装置１０４は、センサシステム１００の複数のセンサユニットの視野ＦＯＶ同士にわたるオブジェクト活動の統一普遍表現（すなわち、普遍座標系に参照される）を作成するべく、１つまたは複数の非一時的記憶装置（非一過性メモリ装置）に格納された命令を使用することで構成される計算機を備えている。ユニット横断追跡装置１０４は、集約モジュール１２０および融合モジュール１２２を備えている。融合モジュール１２２は、互いに異なるセンサユニット同士によって追跡された共通オブジェクトに対応する（すなわち、同じオブジェクトに対応する）センサユニットトラック同士を、融合させるように構成される。ユニット横断追跡装置１０４は、任意で、例えばアマゾンウェブサービス（Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ）などの商用クラウドコンピューティングプロバイダが所有している施設内、などセンサユニットとは別の構内（プレミス）に配置されることができる、サーバコンピュータシステムを備えていることができる。

例示的な出力処理システム１０６は、融合されたセンサユニットトラックに基づき１つまたは複数の互いに異なる出力動作を各々実行する、複数の出力サブシステムを備えている。例示的な出力サブシステムは、活動視覚化（可視化）サブシステム１１０、アラーム監視サブシステム１１２、およびクエリデータベースサブシステム１１４、を備えている。例示的な活動データアクセスシステム１０８は、クエリデータベースサブシステム１１４に格納された活動データを照会（クエリ）する際に使用するためのクラウドホスト型ウェブアプリケーションユーザインタフェース１１６を備えているとともに、記録された活動を照会する際に使用するための制御塔（コントロールタワー）ビュー再生システム１１８を備えている。

＜センサシステム全体の動作＞
図２は、図１のセンサシステム１００を使用することで実行される例示的な方法を表す、例示的な流れ図である。敷地に位置するセンサユニット１０２_１～１０２_ｎの１つまたは複数の計算機と、ユニット横断追跡装置（クロスユニットトラッカ）１０４と、は以下の動作を実行するべく、機械可読メモリ装置に格納された命令で、プログラムされる。動作２０２において、敷地における複数のセンサユニットは、各々の視野内で感知されたオブジェクトについて、１つまたは複数の相対オブジェクト属性を個別に決定する。例示的なセンサシステム１００では、複数のセンサユニットは、相対位置、相対速度、相対加速度、相対向き（レラティブヘディング）、およびオブジェクト分類、を別々に決定する。さらに各センサユニットは、任意に、或る瞬間の追跡されたオブジェクトに関連する追加メタデータを、決定することができる。例えば、センサユニットは、視覚的外観または空間における文脈の観点から、オブジェクトの特定の特性を埋め込みおよび要約する、深層ニューラルネットワークまたは他のコンピュータビジョン方法によって計算された画像特徴セットを、エクスポートすることができる。これらの特徴は、同じオブジェクトを別のセンサユニットで見たときに再識別するべく、またはデータベースのクエリで使用するべく、またはターゲットの追跡、分類、または認識、に寄与する他の高レベルのルールまたはアルゴリズムを実行するべく、使用することができる。速度、加速度、および位置（ロケーション）、などのオブジェクト位置属性とは異なり、例示の追加メタデータは、普遍（ユニバーサル）座標系への翻訳を経ない。

動作２０４では、オブジェクトの相対オブジェクト属性の１つまたは複数を測定する各センサユニットにおいて、個別（別個）にセンサユニットトラックが作成される。動作２０６において、各センサユニットトラックについて、センサユニットトラック内に示された１つまたは複数の相対オブジェクト位置属性は、１つまたは複数の普遍オブジェクト位置属性に翻訳される。相対オブジェクト位置は、普遍オブジェクト位置に翻訳される。相対オブジェクト速度は、普遍オブジェクト速度に翻訳される。相対オブジェクトの加速度は、普遍オブジェクトの加速度に翻訳される。相対オブジェクト向き（ヘディング）は、普遍オブジェクト向きに翻訳される。融合動作２０８において、共通オブジェクト（すなわち、同じオブジェクト）に対して互いに異なるセンサユニット同士によって作成されたセンサユニットトラック同士が融合されることで、当該オブジェクトに対応する統一敷地トラックが生成される。動作２１０では、電子表示画面において、融合されたセンサユニットトラック同士内に示された普遍位置同士に基づき、敷地マップに関連付けられた普遍座標系に対するオブジェクト位置を示す、視覚マップ（ビジュアル地図）が作成される。融合動作２０８において、センサユニットトラック内の普遍オブジェクト位置情報は、同じオブジェクトに対応するセンサユニットトラック同士を融合することで、オブジェクトに対応する統一敷地トラックを作成するための基礎として使用されるだけでなく、動作２１０において、センサユニットトラック同士内の普遍オブジェクト位置情報は、敷地内のオブジェクトの経路の視覚マップを作成するべく使用される、ということが理解できるであろう。

＜センサシステム配備敷地マップの例＞
図３は、センサシステム１００のセンサユニット１０２_１～１０２_ｎおよび対応する視野ＦＯＶ３１０_１～３１０_１４の配置例を有している敷地（サイト）３０２の空中図を表す、例示的な敷地マップ３０１を表示する、電子表示画面３０５の例示図面である。図３の配置例では、センサユニットの数は１４であるので、ｎ＝１４である。センサ同士は、共同配置されていない一方で、一部重複している互いに異なる視野ＦＯＶを有しているとともに、センサユニット位置（ロケーション）に対するオブジェクト位置（ロケーション）を決定するべく使用される互いに異なるローカルセンサユニット座標系１０３_１～１０３_ｎに関連付けられている。敷地３０２は、敷地における位置を特定するべく使用される普遍座標系３０３に、関連付けられている。

例示的な敷地３０２は、第１建物３０４および第２建物３０６を備えている。例示的な敷地３０２は、第１建物３０４に位置する複数のセンサユニット（１０２_１～１０２_１１）を備えているとともに、第２建物３０６に位置する複数のセンサユニット（１０２_１２～１０２_１４）を備えている。各センサは、上記で説明したように、既知の普遍位置（ユニバーサルロケーション）を有している。個々の各センサユニットは、対応する個々の視野（ＦＯＶ）を有しているように位置決めされる。図示のように、例えば、第１センサユニット１０２_１は、対応する第１視野ＦＯＶ３１０_１を有しており、第２センサユニット１０２_２は、対応する第２視野ＦＯＶ３１０_２を有している。第３センサユニット１０２_３は、対応する第３視野ＦＯＶ３１０_３を有しており、第４センサユニット１０２_４は、対応する第４視野ＦＯＶ３１０_４等を有している。個々のセンサユニットは、センサユニット１０２_１～１０２_１４の配置例では、１つまたは複数の他のセンサユニットの視野ＦＯＶとで部分的に重なる視野ＦＯＶを有しているように配置される。例えば、第２センサユニット１０２_２は、当該第２センサユニット１０２_２の第２視野ＦＯＶ３１０_２が、第１センサユニット１０２_１に対応する第１視野ＦＯＶ３１０_１とで部分的に重なるだけでなく、第３センサユニット１０２_３に対応する第３視野ＦＯＶ３１０_３とで部分的に重なるように、位置決めされる。しかしながら、代替例のセンサユニット配置（図示せず）において、１つまたは複数のセンサユニット視野ＦＯＶは、他のセンサユニット視野ＦＯＶとは重なり合わない。以下でより詳細に説明するように、オブジェクトが通過した視野ＦＯＶの外方のオブジェクトの予測された位置が、隣接する視野ＦＯＶにおけるオブジェクトの位置を予測するのに十分な時間に対して正確なままであるという、視野ＦＯＶ同士が十分に近い間隔で配置されているという条件に基づき、重なり合わない視野ＦＯＶ同士にわたって、オブジェクトを追跡することができる。

＜統一敷地ビューの例＞
電子表示画面３０５の敷地マップ３０１にオーバレイ（重複）表示されているのは、表現された敷地３０２内の第１オブジェクト経路（パス）３１４を表す画像である。また、敷地マップ３０１の電子表示画面３０５にオーバレイ表示されているのは、表現された敷地３０２内の第２オブジェクト経路８２２を表す画像である。電子的に表示された敷地マップ３０１は、オーバレイされた第１オブジェクト経路３１４および第２オブジェクト経路８２２の画像とともに、敷地３０２全体の視覚的表現の文脈で第１オブジェクト経路３１４および第２オブジェクト経路８２２全体の視覚的表現を示す統一（ユニファイド）敷地ビューとなる。

＜例示的な第１オブジェクト経路＞
第１オブジェクト経路３１４は、第７、第８、および第９視野ＦＯＶ３１０_７、３１０_８、および３１０_９内で測定された第１オブジェクトＯ_Ａの普遍オブジェクト属性同士に基づき、組み立てられる。例示的な第１オブジェクトＯ_Ａは、例示的な第７、第８、および第９視野ＦＯＶ３１０_７、３１０_８、および３１０_９を順番に横断したことが示されている。第１オブジェクトＯ_Ａは、例えば、人または車両であり得る。第１オブジェクトＯ_Ａは第１物理経路３１４を辿った。第１物理経路３１４は、第７視野ＦＯＶ３１０_７内のみの第１経路セグメント３１４_１と、第７および第８視野ＦＯＶ３１０_７～３１０_８の重複部分内の第２経路セグメント３１４_２と、第８視野ＦＯＶ３１０_８内のみの第３経路セグメント３１４_３と、第８および第９視野ＦＯＶ３１０_８～３１０_９の重複部分内の第４経路セグメント３１４_４と、および、第９視野ＦＯＶ３１０_９内のみの第５経路セグメント３１４_５と、を備えている。この例では、第７センサユニット１０２_７は、第１オブジェクトＯ_Ａを追跡しているので、第１オブジェクトＯ_Ａが第１および第２経路セグメント３１４_１、３１４_２を横断（トラバース）する際に、第７センサユニット１０２_７の位置に対する第１オブジェクトＯＡの位置を決定する。第８センサユニット１０２_８は、第１オブジェクトＯ_Ａを追跡しているので、第１オブジェクトＯ_Ａが第２、第３、および第４経路セグメント３１４_２、３１４_３、３１４_４を横断するにつれて、第８センサユニット１０２_８の位置に対する第１オブジェクトＯ_Ａの相対位置を決定する。第９センサユニット１０２_９は、第１オブジェクトＯ_Ａを追跡しているので、第１オブジェクトＯ_Ａが第４および第５経路セグメント３１０_４、３１０_５を横断するにつれて、第９センサ３１０_９の位置に対する第１オブジェクトＯ_Ａの位置を決定する。

＜例示的な第２オブジェクトの経路＞
第２オブジェクト経路８２２は、第５、第４、第９、第８、および第７視野ＦＯＶ３１０_５、３１０_４、３１０_９、３１０_８、および３１０_７内で測定された第２オブジェクトＯ_Ｂの普遍オブジェクト属性同士に基づき、組み立てられている。例示的な第２オブジェクトＯ_Ｂは、例示的な第５、第４、第９、第８、および第７視野ＦＯＶ３１０_５、３１０_４、３１０_９、３１０_８、および３１０_７、を順番に横断したことが示されている。第２オブジェクトＯ_Ｂは第２物理経路８２２を辿った。第２物理経路８２２は、第５視野ＦＯＶ３１０_５と第４視野ＦＯＶ３１０_４との重複部分内の第１経路セグメント８２２_１と、第４視野ＦＯＶ３１０_４内のみの第２経路セグメント８２２_２と、第９視野ＦＯＶ３１０_９内にのみ存在する第３経路セグメント８２２_３と、第８視野ＦＯＶ３１０_８内にのみ存在する第４経路セグメント８２２_４と、第８および第７視野ＦＯＶ３１０_８、３１０_７の重複部分内に存在する第５経路セグメント８２２_５と、および、第７視野ＦＯＶ３１０_７内にのみ存在する第６経路セグメント８２２_６と、を備えている。この例では、第５センサユニット１０２_５は、第２オブジェクトＯ_Ｂを追跡しているので、第２オブジェクトＯ_Ｂが第１経路セグメント８２２_１を横断（トラバース）する際に、第５センサユニット１０２_５の位置に対する第２オブジェクトＯ_Ｂの位置を決定する。第４センサユニット１０２_４は、第２オブジェクトＯ_Ｂを追跡しているので、第２オブジェクトＯ_Ｂが第１および第２経路セグメント８２２_１、８２２_２を横断するときに、第４センサユニット１０２_４の位置に対する第２オブジェクトＯ_Ｂの相対位置を決定する。第９センサユニット１０２_９は、第２オブジェクトＯ_Ｂを追跡しているので、第２オブジェクトＯＢが第３経路セグメント８２２_３を横断するにつれて、第９センサ３１０_９の位置に対する第２オブジェクトＯ_Ｂの相対位置を決定する。第８センサユニット１０２_８は、第２オブジェクトＯ_Ｂを追跡しているので、第２オブジェクトが第４および第５経路セグメント８２２_４、８２２_５を横断するときに、第８センサユニット１０２_８の位置に対する第２オブジェクトＯ_Ｂの相対位置を決定する。第７センサユニット１０２_７は、第２オブジェクトＯ_Ｂを追跡しているので、第２オブジェクトＯ_Ｂが第５および第６経路セグメント８２２_５、８２２_６を横断するにつれて、第７センサユニット１０２_７の位置に対する第２オブジェクトＯ_Ｂの相対位置を決定する。

＜実施例の敷地におけるセンサシステムの動作例＞
図３および図２を参照すると、視覚敷地マップとしての敷地（サイト）マップ３０１に示された第１オブジェクト経路３１４は、方法２００に従って生成され得る複数の第７～第９視野ＦＯＶ３１０_７～３１０_９の表現同士にわたって広がる例示的な第１オブジェクト経路３１４の画像の形態で、第１オブジェクトＯ_Ａの活動の統一普遍表現を表す。第１オブジェクトＯ_Ａの例示的な第１オブジェクト経路３１４の画像の活動表現は、互いに異なる各々のセンサユニットの視野ＦＯＶ同士内の同じ各々の第１オブジェクトＯ_Ａの感知に基づき生成された第１オブジェクトＯ_Ａに対応する互いに異なる各々の位置（ロケーション）オブジェクト属性同士を、関連付けることに基づき生成される。

より詳細には、動作２０２中、第７センサユニット１０２_７は、第７センサユニット１０２_７に対する第１および第２経路セグメント３１４_１、３１４_２に沿った第１オブジェクトＯＡの相対オブジェクト属性を、決定する。動作２０４中、第７センサユニット１０２_７は、第１および第２経路セグメント３１４_１、３１４_２に沿って横断したオブジェクト第１オブジェクトＯ_Ａの相対オブジェクト属性を示すセンサユニットトラックを、生成する。動作２０６中、センサシステム１００は、第７センサユニット１０２_７によって生成されたセンサユニットトラック内の相対オブジェクト属性を、第７センサユニット１０２_７によって追跡（トラック）された第１オブジェクトＯ_Ａに対応する位置オブジェクト属性に、翻訳（トランスレート）する。

同様に、動作２０２中、第８センサユニット１０２_８は、第８センサユニット１０２_８に対して相対的に、第２、第３、および第４経路セグメント３１４_２、３１４_３、および３１４_４に沿って、第１オブジェクトＯ_Ａの相対オブジェクト属性同士を決定する。動作２０４中、第８センサユニット１０２_８は、第２、第３、および第４経路セグメント３１４_２、３１４_３、および３１４_４に沿って横断した、第１オブジェクトＯ_Ａの相対オブジェクト属性同士を示すセンサユニットトラックを生成する。動作２０６中、センサシステム１００は、第８センサユニット１０２_８によって生成されたセンサユニットトラック内の相対オブジェクト属性同士を、第８センサユニット１０２_８によって追跡された第１オブジェクトＯＡに対応する普遍オブジェクト属性同士に翻訳（トランスレーション）する。

同様に、動作２０２中、第９センサユニット１０２_９は、第９センサユニット１０２_９に対して相対的に、第４および第５経路セグメント３１４_４、３１４_５に沿って、第１オブジェクトＯ_Ａの相対オブジェクト属性同士を決定する。動作２０４中、第９センサユニット１０２_９は、第４および第５経路セグメント３１４_４、３１４_５に沿って横断した、第１オブジェクトＯ_Ａの相対オブジェクト属性同士を示すセンサユニットトラックを生成する。動作２０６中、センサシステム１００は、第９センサユニット１０２_９によって生成されたセンサユニットトラック内の相対オブジェクト属性同士を、第９センサユニット１０２_９によって追跡された第１オブジェクトＯ_Ａに対応する普遍オブジェクト属性同士に翻訳する。

上記で説明したように、オブジェクト普遍オブジェクト属性同士に対する相対オブジェクト属性の翻訳同士は、例示的なセンサシステム１００における第７、第８、および第９センサユニット１０２_７、１０２_８、および１０２_９で実行される。翻訳は、代替の例示的なセンサシステム（図示せず）のユニット横断追跡装置１０４で実行されることが企図される。

融合動作２０８中、ユニット横断追跡装置１０４は、動作２０６でオブジェクトトラック同士に関連付けられた普遍オブジェクト属性同士に基づき、互いに異なるセンサユニット同士によって生成された別々のセンサユニットオブジェクトトラック同士を融合させる。動作２１０中、活動視覚化サブシステム１１０は、第７、第８、および第９センサユニット１０２_７、１０２_８、および１０２_９によって追跡された第１オブジェクトＯ_Ａに対応する普遍オブジェクト属性同士を関連付けることに少なくとも部分的に基づき、第１オブジェクト経路３１４の表現を生成する。

＜集中型ユニット横断追跡装置例において処理される、センサユニットオブジェクトトラック同士の時系列データストリーム＞
図４は、図３の第１オブジェクトＯ_Ａおよび第２オブジェクトＯ_Ｂに対応するセンサユニットトラック同士を、個々の時系列データストリーム同士で、ネットワーク１０５を介してユニット横断追跡装置１０４に送る工程を表す、例示的な機能フロー図である。第１オブジェクトＯ_Ａに対応する第１センサユニットトラックＴＯ_Ａ／７は、第７センサユニット１０２_７において作成されており、メモリ（記憶メモリ）４１４_７に格納される。第１センサユニットトラックＴＯ_Ａ／７は、第１オブジェクトが第７視野ＦＯＶ３１０_７を横切る中、第７センサユニット１０２_７による第１オブジェクトＯ_Ａのトラッキングに基づき決定される、第１オブジェクトＯ_Ａの属性同士を備えている。第１オブジェクトＯ_Ａに対応する第２センサユニットトラックＴＯ_Ａ／８は、第８センサユニット１０２_８において作成されており、メモリ４１４_４に格納される。第２センサユニットトラックＴＯ_Ａ／８は、第１オブジェクトが第８視野ＦＯＶ３１０_８を横切る中、第８センサユニット１０２_８による第１オブジェクトＯ_Ａのトラッキングに基づき決定される、第１オブジェクトＯ_Ａの属性同士を備えている。第１オブジェクトＯ_Ａに対応する第３センサユニットトラックＴＯ_Ａ／９は、第９センサユニット１０２_９で作成されており、メモリ４１４_６に格納される。第３センサユニットトラックＴＯ_Ａ／９は、第１オブジェクトＯ_Ａが第９視野ＦＯＶ３１０_９を横切る中、第９センサユニット１０２_９による第１オブジェクトＯ_Ａのトラッキングに基づき決定される、第１オブジェクトＯ_Ａの属性同士を備えている。第２オブジェクトＯ_Ｂに対応する第４センサユニットトラックＴＯ_Ｂ／５は、第５センサユニット１０２_５で作成されており、メモリ４１４_５に格納される。第４センサユニットトラックＴＯ_Ｂ／５は、第２オブジェクトＯ_Ｂが第５視野ＦＯＶ３１０_５を横切る中、第５センサユニット１０２_５による第２オブジェクトＯ_Ｂのトラッキングに基づき決定される、第２オブジェクトＯ_Ｂの属性同士を備えている。第２オブジェクトＯ_Ｂに対応する第５センサユニットトラックＴＯ_Ｂ／４は、第４センサユニット１０２_４で作成されており、メモリ４１４_４に格納される。第５センサユニットトラックＴＯ_Ｂ／４は、第２オブジェクトＯＢが第４視野ＦＯＶ３１０_４を横切る中、第４センサユニット１０２_４による第２オブジェクトＯＢのトラッキングに基づき決定された、第２オブジェクトＯ_Ｂの属性同士を備えている。第２オブジェクトＯ_Ｂに対応する第６センサユニットトラックＴＯ_Ｂ／９は、第９センサユニット１０２_９で作成されており、メモリ４１４_９に格納される。第６センサユニットＴＯ_Ｂ／９は、第２オブジェクトＯＢが第９視野ＦＯＶ３１０_９を横切る中、第９センサユニット１０２_９による第２オブジェクトＯＢの追跡に基づき決定された、第２オブジェクトＯＢの属性同士を備えている。第２オブジェクトＯ_Ｂに対応する第７センサユニットトラックＴＯ_Ｂ／８は、第８センサユニット１０２_８で作成されており、メモリ４１４_８に格納される。第７センサユニットトラックＴＯ_Ｂ／８は、第２オブジェクトＯ_Ｂが第８視野ＦＯＶ３１０_８を横切る中、第８センサユニット１０２_８による第２オブジェクトＯ_Ｂのトラッキングに基づき決定される、第２オブジェクトＯ_Ｂの属性同士を備えている。第２オブジェクトＯ_Ｂに対応する第８センサユニットトラックＴＯ_Ｂ／７は、第７センサユニット１０２_７で作成されており、メモリ４１４_７に格納される。第８センサユニットトラックＴＯ_Ｂ／７は、第２オブジェクトＯ_Ｂが第７視野ＦＯＶ３１０_７を横切る中、第７センサユニット１０２_７による第２オブジェクトＯ_Ｂのトラッキングに基づき決定される、第２オブジェクトＯ_Ｂの属性同士を備えている。

第７センサユニット１０２_７は、第１センサユニットトラックＴＯ_Ａ／７および第８センサユニットトラックＴＯ_Ｂ／７を、ネットワーク１０５を介して、第１時系列データストリーム１０１２でユニット横断追跡装置１０４に送信する。第８センサユニット１０２_８は、第２センサユニットトラックＴＯ_Ａ／８および第７センサユニットトラックＴＯ_Ｂ／８を、ネットワーク１０５を介して、第２時系列データストリーム１０１４においてユニット横断追跡装置１０４に送信する。第９センサユニット１０２_９は、第３センサユニットトラックＴＯ_Ａ／９および第６センサユニットトラックＴＯ_Ｂ／９を、第３時系列データストリーム１０１６において、ネットワーク１０５を介してユニット横断追跡装置１０４に送信する。第４センサユニット１０２_４は、第５センサユニットトラックＴＯ_Ｂ／４を、ネットワーク１０５を介して、第４時系列データストリーム１０１８においてユニット横断追跡装置１０４に伝送する。第５センサユニット１０２_５は、第５時系列データストリーム１０２０において、第４センサユニットトラックＴＯ_Ｂ／４を、ネットワーク１０５を介してユニット横断追跡装置１０４に送信する。

ユニット横断追跡装置１０４は、第１オブジェクト経路３１４に対応するセンサユニットトラックＴＯ_Ａ／７、ＴＯ_Ａ／８、およびＴＯ_Ａ／９の第１セットを、第１統一敷地トラックデータ構造４５２に融合させる。ユニット横断追跡装置１０４は、第２オブジェクト経路８２２に対応するセンサユニットトラックＴＯ_Ｂ／５、ＴＯ_Ｂ／４、ＴＯ_Ｂ／９、ＴＯ_Ｂ／８、およびＴＯ_Ｂ／７の第２セットを、第２統一敷地トラックデータ構造４５４に融合する。第１統一敷地トラックデータ構造４５２のセンサユニットトラック同士における普遍位置属性情報は、敷地マップ３０１における第１オブジェクト経路３１４のオーバレイ画像を生成するべく使用される。第２統一敷地トラックデータ構造４５４のセンサユニットトラック同士における普遍位置属性情報は、敷地マップ３０１における第２オブジェクト経路８２２のオーバレイ画像を生成するべく使用される。このように、センサシステム１００は、互いに異なるローカルセンサユニット座標系１０３_１～１０３_ｎを有しているとともにタイムスタンプされた普遍オブジェクト位置情報を収集するべく用いられる、敷地における複数の非コロケートなセンサユニット１０２_１～１０２_ｎの視野ＦＯＶ同士にわたってオブジェクトを追跡するべく、互いに異なる時間における敷地におけるオブジェクトの位置を示すタイムスタンプ付き普遍オブジェクト位置情報を備えている、統一敷地トラックを作成する。

図５は、ユニット横断追跡装置１０４において記憶メモリ１１１２に保存された第１統一敷地トラックデータ構造４５２を表す、例示的な図面である。第１統一敷地トラックデータ構造は、１つまたは複数のポインタ構造１１１４または他のソフトウェア参照装置を用いて互いに関連付けられた、第１、第２、および第３センサユニットトラックＴＯ_Ａ／７、ＴＯ_Ａ／８、およびＴＯ_Ａ／９の各々を備えている。第１統一敷地トラックデータ構造４５２内のセンサユニットトラック同士は、時系列順に並べられる。図６は、ユニット横断追跡装置１０４において記憶メモリ１１１２に保存された第２統一敷地トラックデータ構造４５４を表す、例示的な図面である。第２統一敷地トラックデータ構造４５４は、１つまたは複数のポインタ構造１１１４または他のソフトウェア参照装置を用いて互いに関連付けられた、第４、第５、第６、第７、第８センサユニットトラックＴＯ_Ｂ／５、ＴＯ_Ｂ／４、ＴＯ_Ｂ／９、ＴＯ_Ｂ／８、およびＴＯ_Ｂ／７、の各々を備えている。第２統一敷地トラックデータ構造４５４内のセンサユニットトラック同士は、時系列順に並べられる。以下によって詳細に説明するように、例示的な第１および第２統一敷地トラックデータ構造４５２、４５４は、リアルタイム処理のために一時的なデータバッファに保存され得るか、または例えばデータベース記憶メモリに長期保存され得る。

＜センサユニット＞
図７は、いくつかの実施形態に従った例示的なセンサユニット４０２を示す例示的なブロック図である。センサユニット４０２は、レーダセンサユニット４０４、画像センサユニット４０６、グローバルナビゲーションサテライトシステム（ＧＮＳＳ）ユニット４０８、慣性運動ユニット（ＩＭＵ）４１０（姿勢推定）、実行可能命令４１６を記憶する非一時的記憶媒体（４１４）に作動可能に結合された計算機（コンピューティングマシーン）４１２、および、処理したデータをユニット横断追跡装置１０４に送信するネットワーク通信ユニット４１８、を備えている。レーダセンサユニット４０４と画像センサユニット４０６と、はセンサユニット視野４２０を共有している。レーダセンサユニット４０４は、例えばレーダレンジデータを通じて、深度センサとして作動することができる。画像センサユニット４０６もまた、例えばステレオ撮像を通じて、深度センサとして作動することができる。計算機４１２は、記憶メモリ４１４に作動可能に結合された１つまたは複数の処理回路を備えている。代替例のセンサユニット（図示せず）は、例えばライダー（Ｌｉｄａｒ）のような追加または代替のセンサモダリティを備えていることができる。

慣性運動ユニットＩＭＵ４１０は、静的姿勢（スタティックポーズ）変化および動的姿勢変化を推定する。慣性運動ユニットＩＭＵ４１０の主要な機能は、センサユニット４０２の静的姿勢を推定することであるので、これには方向およびコンパスデータ（例えば、注視点または視野ＦＯＶの中心線の測定）およびセンサの向き（例えば、センサのピッチおよびロール）が含まれるが、それらに限定されるわけではない。センサユニット４０２の姿勢の動的変化を示す動的な慣性運動ユニットＩＭＵデータを生成することは、慣性運動ユニットＩＭＵの二次機能である。動的慣性運動ユニットＩＭＵデータは、プラットフォームの動きおよび振動、ならびにこれらがセンサデータに与える影響、を補正するべく使用されることで、本質的にセンサ出力をクリーンアップする。例えば、動的慣性運動ユニットＩＭＵデータは、センサユニット４０２が取り付けられているポールが風による振動／揺れを経験した場合に、センサ測定値を補正するべく使用することができる。

例示的なレーダセンサユニット４０４は、２ＧＨｚ～１００ＧＨｚの範囲、好ましくは２０ＧＨｚ～８０ＧＨｚの範囲、の周波数で作動するとともに、ＭＩＭＯ（多重入力多重出力）モードで作動する複数の送信（Ｔｘ）および／または受信（Ｒｘ）アンテナ要素および対応するＴｘ／Ｒｘチャネルを備えているアンテナアレイ４２２を備えている。例示的なアンテナアレイ４２２は、少なくとも１つのアンテナが送信アンテナとして機能するとともに複数のアンテナが受信アンテナとして機能する、ｍ－アンテナ素子を備えている。動作において、レーダセンサユニット４０４は、送信アンテナ（複数可）を使用することで、センサユニット視野ＦＯＶ４２０内のオブジェクト（図示せず）によって反射され得るレーダ波形信号を、レーダセンサユニット４０４の受信アンテナ（複数可）に送信する。レーダセンサユニット４０４は反射されたレーダデータ信号を受信することで、センサユニット視野ＦＯＶ４２０内のオブジェクトに関する角度（仰角およびアジマス（方位））およびドップラ、ならびに範囲情報などのレーダシーン情報を推測するための処理のために、アナログからデジタル形式へそれら反射されたレーダデータ信号を変換させる。

反射されたレーダデータは、様々な送信レーダ波形を用いて得ることができる。レーダデータは、センサユニット視野ＦＯＶ４２０内のオブジェクトから反射された後方散乱データを備えている。一般的な送信波形は、チャープ音のシーケンス（列）である。別の一般的な送信波形は、短いパルスのシーケンスである。さらに別の送信波形は、直接シーケンス（配列）スペクトル拡散信号である。１つまたは複数の送信アンテナ（複数可）は、フレームとも呼ばれるバーストでチャープのシーケンスを送信する。後方散乱レーダデータは、受信アンテナによって受信されるとともに、（典型的には、送信されたチャープ波形とで混合することによって）ダウンコンバートされ、周波数フィルタリングされ、サンプリングされ、アナログ／デジタル変換器（図示せず）を使用することでデジタルフォーマットに変換される。

計算機４１２は、記憶メモリ４１４に格納されたコンピュータ実行可能命令である実行可能命令４１６に従って構成されていることで、ダウンストリーム（下流）検出、分類、および追跡（トラッキング）、を可能にするべく、受信したレーダデータに対する動作を実行する、レーダ前処理およびターゲット検出モジュール４２４を実装する。例示的なレーダ前処理およびターゲット検出モジュール４２４は、レーダデータに対して高速フーリエ変換（ＦＦＴ）を実行することで、レーダ視野ＦＯＶ内のオブジェクト同士を検出しているので、レーダ検出オブジェクト同士の範囲（レンジ）、ドップラ、および角度、などの対応するレーダメタデータを生成する。向き（ヘディング）、対地速度、および加速度、もまたレーダメタデータに基づく後処理によって、例えば、レーダ追跡モジュール４３２を使用することによって、決定することができる。

図８は、センサユニット視野ＦＯＶ４２０内のターゲットを検出するべく、レーダデータに適用される例示的な３次元高速フーリエ変換（ＦＦＴ）５００を用いた、レーダ前処理およびターゲット検出モジュール４２４の動作を示している。示されるように、受信レーダデータモジュール５０２は、軸線ＡＤＣサンプルインデックス、チャープインデックス、および受信機アンテナインデックス、を有している。レーダ前処理およびターゲット検出モジュール４２４は、受信レーダデータモジュール５０２に３Ｄ高速フーリエ変換ＦＦＴを適用することで、処理済みレーダデータモジュール５０４をもたらす。レーダデータモジュール５０４は、軸線角度（アクシズアングル）、ドップラ、およびレンジ（範囲）、の軸線を有している。図８に示されるように、受信レーダデータモジュール５０２は、３次元を有している：チャープあたりのＡＤＣサンプル（「速い時間」）と、フレーム内のチャープインデックス（「遅い時間」）と、および受信アンテナ要素と、である。図８に示すように、これは次に、３Ｄ高速フーリエ変換ＦＦＴを取ることによって、レンジ（範囲）－ドップラ－角度の空間（処理済みレーダデータモジュール５０４）に変換（コンバート）されることができる。速い時間の高速フーリエ変換ＦＦＴがレンジビンを生成している一方で、遅い時間にわたる高速フーリエ変換ＦＦＴはドップラビンを生成しているとともに、受信要素同士にわたる高速フーリエ変換ＦＦＴは角度ビンを生成する。収集されたデータの幾何学的解釈を提供するので、いくつかの側面（アスペクト）は、このような変換領域（トランスフォームドメイン）で作動する。したがって、例示的なレーダ前処理およびターゲット検出モジュール４２４は、少なくとも範囲、角度、およびドップラ、の観点からターゲット同士を検出および識別する。

レーダ前処理およびターゲット検出モジュール４２４は方位（アジマス）、ドップラ、およびレンジ（範囲）、を計算するべく３Ｄ高速フーリエ変換ＦＦＴを使用することに留意されたい。レンジとドップラのみを計算する代替例の処理モジュール（図示せず）は、２Ｄ高速フーリエ変換ＦＦＴを使用する。標高を追加する（図示せず）には、標高領域（エレベーションドメイン）にわたる別の高速フーリエ変換ＦＦＴが必要である。

再び図７を参照すると、レーダ関心領域ＲＯＩ分類モジュール４２６は、検出されたレーダ関心領域ＲＯＩに対応する移動オブジェクトを、複数のカテゴリ値（例えば、人、動物、車両など）のうちの１つに分類することで、対応するレーダ分類信頼度スコアを生成する。例示的なレーダ関心領域ＲＯＩ分類モジュール４２６は、レーダ関心領域ＲＯＩを分類するべく、リカレント（再帰）ニューラルネットワークに基づく深層学習モデルを使用する。複数の移動オブジェクトは、レーダ視野ＦＯＶ内で捕捉されたレーダ情報に基づき、識別および分類され得る。

依然として図７を参照すると、画像センサユニット（画像ユニット）４０６は、視野ＦＯＶ４２０内の３次元（３Ｄ）世界シーンから、２次元（２Ｄ）画像フレームをキャプチャする。例示的な画像センサユニット４０６は、ＣＣＤカメラを備えていることができるか、またはＣＭＯＳカメラを備えていることができる。計算機４１２は、記憶メモリ４１４に格納された実行可能命令４１６を用いることで、画像前処理モジュール４２８を実装するとともに、追加的高レベル処理のために画像情報を備準備するように構成される。例示的な画像前処理モジュール４２８は、露光器（レンズによって異なる）およびヒストグラム等化器を備えている。オブジェクト検出および分類モジュール（画像検出および分類モジュール４３０）は、センサユニット視野ＦＯＶ４２０内の３Ｄ世界オブジェクトに対応する画像フレームのシーケンス内の個々の関心領域（ＲＯＩ）を検出する。例示的な画像検出および分類モジュール４３０は、画像フレームのシーケンス内の各画素に分類を割り当てるべく、セマンティックセグメンテーションを実行する。別の例では、画像検出および分類モジュール４３０は、深層学習ＣＮＮベースのアルゴリズムを使用することで、関心領域ＲＯＩ分類を実行する。さらに別の例では、例示的な分類ブロックは、検出および分類を同時に実行できるＳｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒなどの深層学習ＣＮＮベースのオブジェクト検出アルゴリズムを使用することができる。

計算機４１２は、レーダ追跡モジュール４３２を実装するとともにまたカメラ検出ターゲット追跡モジュール（４３４）を実装するべく、記憶メモリ４１４に格納された実行可能命令４１６を有しているように構成される。レーダ追跡モジュール４３２は、レーダ関心領域ＲＯＩを時間経過とともに追跡する。例示的なレーダ追跡モジュール（ブロック）４３２は、複数の移動するレーダ関心領域ＲＯＩを追跡することができる。例示的なレーダ追跡モジュール４３２は、検出された各レーダについてレーダトラックを作成しており、これは、対応するレーダ関心領域ＲＯＩ、レーダトラック識別子（レーダトラックＩＤ）、レーダオブジェクトメタデータ（例えば、距離、速度、加速度、向き（ヘディング））、タイムスタンプ情報、およびレーダオブジェクト分類および関連する信頼度スコア、を備えている。画像追跡モジュール４３４は、カメラ視野ＦＯＶ内のオブジェクトに対応する分類された画像関心領域ＲＯＩを、時間にわたって追跡する。例示的な画像追跡モジュール４３４は、オブジェクト画像に対応する画像関心領域ＲＯＩを追跡する。例示的な画像追跡モジュール（画像追跡ブロック）４３４は、検出された各オブジェクト画像についてカメラトラックを作成しており、これは、対応する画像関心領域ＲＯＩ、カメラトラック識別子（画像トラックＩＤ）、タイムスタンプ情報、およびオブジェクト画像分類および関連する信頼性スコア、を備えている。

センサユニット４０２の代替の例示的な実施形態では、計算機４１２は、レーダ関心領域ＲＯＩおよび画像関心領域ＲＯＩを取る（テイクする）ことで、両方のモダリティからの特徴のジョイントセットに基づき分類を実行する統一／マルチモーダル分類器（不図示）を備えている。センサユニット４０２の代替の例示的な実施形態では、計算機４１２は、レーダと画像のオブジェクト検出、追跡（トラッキング）、および分類、を共同（ジョイント）で実行するミッドフュージョン（途中融合）またはアーリーフュージョン（早期融合）モジュール（不図示）を備えている。

＜センサユニットオブジェクトトラック作成＞
引き続き図７を参照すると、計算機４１２は、センサユニット視野ＦＯＶ４２０内の同じオブジェクトを追跡するレーダトラックおよび対応するカメラトラックを融合するセンサユニットトラック融合モジュール４３６を実装するべく、記憶メモリ４１４に格納された実行可能命令４１６を備えて構成される。オブジェクトは、センサユニット内の１つまたは複数のセンサによって検知されてもよいので、例えば、オブジェクトは、レーダセンサユニット４０４のみによって、または画像センサユニット４０６のみによって、またはレーダセンサユニット４０４および画像センサユニット４０６の両方によって、検知され得る。例示的なセンサユニットトラック融合モジュール４３６は、同じオブジェクトを追跡するレーダトラックおよびカメラトラックをマッチングするとともに、追跡（トラック）されたオブジェクトに対応する単一の統一センサユニットトラックにそれらレーダトラックおよびカメラトラックを融合させる。例示的なセンサユニットトラック融合モジュール４３６は、各々のトラック内に含まれる情報の比較に基づき、レーダトラックとカメラトラックとをマッチングさせる。例示的なセンサユニットトラック融合モジュール４３６は、トラックの：レーダ分類とカメラ分類、レーダタイムスタンプとカメラタイムスタンプ情報、レーダ関心領域ＲＯＩとカメラ関心領域ＲＯＩ、のうちの１つまたは複数のトラックの比較に基づき、レーダトラックとカメラトラックとをマッチングする。例示的なセンサユニットトラック融合モジュール４３６は、マッチしたレーダトラック／カメラトラックペアからの情報を、マッチしたレーダトラック／カメラトラックペアの各メンバーによって表される単一のオブジェクトを表す単一のセンサユニットトラックに融合させる。

図９は、複数の例示的なレーダセンサトラック６０２_１、６０２_２、６０３_３と、複数の例示的な画像センサトラック６０４_１、６０４_２、６０４_３と、を融合することで、複数の例示的な融合センサユニットオブジェクトトラック６０６_１、６０６_２、６０６_３を生成するセンサユニットトラック融合モジュール（センサユニット融合ブロック）４３６を表す説明図である。センサユニットトラック融合モジュール４３６は、各々が複数の検出されたオブジェクトのうちの１つに対応する複数のセンサユニットオブジェクトトラックを生成し得る。各センサユニットトラックは、センサユニットの視野ＦＯＶ内に張り付けられたオブジェクトに関する以下の情報：アクティブ状態、分類、運動状態推定（速度、加速度、向き）、各々のセンサ上の１つまたは複数のバウンディングボックス、タイムスタンプデータポイント、レーダ関心領域ＲＯＩおよびカメラ関心領域ＲＯＩ、アクティブ状態、およびトラックＩＤ、を備えているがこれらに限らない記憶メモリに格納されるデータ構造からなる。

＜相対位置属性から普遍位置属性への翻訳＞
再び図７を参照すると、計算機４１２は、例示的なセンサユニット４０２において記録された相対オブジェクト位置属性情報を、対応する普遍オブジェクト位置属性情報に翻訳する翻訳モジュール４３８を実装するべく、記憶メモリ４１４に格納された実行可能命令４１６を備えているように構成されている。具体的には、翻訳モジュール４３８は、相対位置、相対速度、相対加速度、および相対向き（すなわち、センサユニット座標系に対する相対）、を普遍位置、普遍速度、普遍加速度、および普遍向き（すなわち、普遍基準系に対する相対）、へ翻訳する。

翻訳モジュール４３８は、投影を使用することで、３次元（３Ｄ）相対オブジェクト属性情報を、３次元普遍オブジェクト属性情報に翻訳する。上記で説明したように、センサユニットの普遍位置は、予め決定されているとともに知られている（例えば、（Ｘ，Ｙ，Ｚ）位置であり、例えば、普遍座標系３０３上の位置）。追跡されたオブジェクト（対象物、物体）の相対位置（例えば、個々のセンサユニット基準系上の（ｘ，ｙ，ｚ）位置）は、センサユニットにおけるセンサ同士による測定に基づき既知である。翻訳モジュール４３８は、個々のセンサユニット座標系上の（ｘ，ｙ，ｚ）位置から、普遍座標系内の（Ｘ，Ｙ，Ｚ）位置への座標マッピング（コーディネート写像）を実行する。この同じマッピング（写像）技法は、普遍基準系に対する相対速度、相対加速度、および相対向き、をマッピング（写像）するべく使用される。レーダセンサが３Ｄ位置情報、具体的には、レンジ、方位（アジマス）、および潜在的には仰角、を提供するので、翻訳モジュール４３８は、センサユニット４０２に対するオブジェクトの相対位置を提供するべく、レーダセンサを使用する。バウンディングボックスは、例えば、分類のための入力として対応する領域を切り取るべく、または所与のオブジェクトに対して投影されるべき点または一連の点を特定するべく、使用され得る。例示的なセンサユニット４０２は、任意に、センサ融合技術を使用することで、改善された相対位置を得ることができることが企図される。例えば、センサユニット４０２は、カメラおよびレーダからのデータを組み合わせることで、センサユニット４０２に対する、より正確な（ｘ，ｙ，ｚ）相対位置を得ることができる。

代替例の翻訳モジュール４３８は、投影を使用することで、２次元（２Ｄ）相対オブジェクト属性情報を、２次元普遍オブジェクト属性情報に翻訳する。
＜統一敷地トラックを作成するためのセンサユニットトラック融合＞
図１を参照すると、ユニット横断（クロスユニット）追跡装置１０４は、トラック関連付けモジュール（１２２）による処理のために、図４に示すように時系列データストリーム同士を集約および前処理する、集約モジュール１２０を備えている。ユニット横断追跡装置１０４はまた、図４に示されるように、統一敷地トラックを作成するべくセンサユニットトラック同士を融合する、図２の融合動作２０８を実行するトラック融合モジュールとしての融合モジュール１２２を備えている。

図１０は、統一敷地トラックを作成するべく、センサユニットオブジェクトトラック同士を融合する方法１１００を表す例示的な流れ図である。方法１１００は、いくつかの実施形態に従って、図２の融合動作２０８の追加的な詳細を提供する。動作（オペレーション）１０１１は、トラック同士が受信されており、集約（アグリゲート）されており、融合処理の準備ができたか、どうかを判定する。処理の準備が整ったセンサユニットトラック同士は、まだ融合処理の対象になっていないセンサユニットトラック同士と、既に対象となっているセンサユニットトラック同士と、を備えている。動作１０１２は、互いに異なるセンサユニット同士からのセンサユニットトラック同士を、互いにおよび／または敷地トラック同士に、関連付けるべくコスト関数を使用する。より詳細には、動作１０１２は、センサユニットトラックのペア同士の、および／または、敷地トラックへのセンサユニットトラックの、対応する属性同士間の類似性および相関性を識別する。一実施形態では、動作１０１２は、目的コスト関数を使用することで関連付けの尤度を計算することによって、相関性（相関関係）を特定する。さらに動作１０１２は、特定された相関性が、センサユニットトラック同士の１つまたは複数のペアを互いに関連付けるための閾値を満たすか、および／または、単一トラックの敷地トラックからなる１つまたは複数のペアを、センサユニットトラックに関連付けるための閾値を満たすか、を判定する。一実施形態では、閾値は、相関の最小パーセンテージ（割合）か、相関の信頼区間か、または、関連付けが有効であることを融合モジュール１２２が保証することを促進する別のメトリックか、を示し得る。動作１０１４は、閾値を満たさない各センサユニットトラックを、新しい単一（シングル）トラック敷地トラックに変換する。センサユニットトラックに基づき単一トラック敷地トラックを作成する工程は、新たに作成された単一トラック敷地トラックのための敷地トラック識別子を作成する工程を備えている。動作１０１４は、各新たに作成された単一トラック敷地トラックを、方法１１００の後続の反復で考慮するべく、動作１０１１において準備ができていると示された集約トラックに追加する。動作１０１６は、関連付けられた各単一またはペア（一対）のセンサユニットトラックについて、統一敷地トラックを構築または更新する。一実施形態では、動作１０１６は、カルマンフィルタを、閾値を満たすセンサユニットトラック同士の関連するペアに適用することで、関連するセンサユニットトラック同士に対応する統一敷地トラックを組み立てる（アセンブリングする）。同様に、動作１０１６は、カルマンフィルタを、閾値を満たす単一の関連するセンサユニットトラックに適用することで、関連する単一トラック敷地トラックに対応する対応統一敷地トラックを生成および／または組み立てる（アセンブルする）。統一敷地トラックを組み立てる工程は、対応する新しい敷地トラックを作成するべく、または既存の敷地トラックを更新するべく、複数の関連するセンサユニットトラック同士を使用する工程か、または閾値を満たす単一の関連するセンサユニットトラックを使用する工程か、を備え得ることが理解されるであろう。一実施形態では、動作１０１６は、敷地トラックに含まれる関連トラック同士を識別するべく、複数のセンサユニットトラック同士からオブジェクト属性情報にアクセスする。その後、制御は動作１０１１に戻るので、処理は再帰する。時間の経過とともに、動作１０１６は、オブジェクトに対応する統一敷地トラックを構築することで、物理的敷地においてオブジェクトによって横断される敷地位置同士のマップのフレームワークを作成する。各センサユニットトラックは、互いに異なる時間におけるオブジェクトについての、増分統一位置属性情報と、他の増分オブジェクト属性情報と、を備えている。集合的に、統一敷地トラック内で融合されたセンサユニットトラック同士は、敷地におけるオブジェクトの動き（モーション）の統一ビューを提供する。また、複数の統一敷地トラック同士は、各々が敷地において追跡された互いに異なるオブジェクトに対応しているので、時間の経過とともに構築され得ることが理解されるであろう。カルマンフィルタを使用することで、時間軸に沿った各トラックの相関特性を探索することは、当業者には理解されるであろう。追跡されたオブジェクトは、或る期間にわたって滑らかに移動すると仮定される。

融合処理１１００は、位置ベース（ロケーションベース）属性と非位置属性との間の両方の相関に依存することが理解されよう。例えば図３を参照すると、第９視野ＦＯＶ３１０_９のように第１オブジェクト経路３１４および第２オブジェクト経路８２２が遠く離れている領域では、位置ベース属性は、互いに異なるオブジェクト同士に関連するセンサユニットトラック同士を区別する上で最も有用であり得る。しかしながら、第１および第２オブジェクト経路３１４、８２２は２回交差する。第１交差点は、第７および第８視野ＦＯＶ３１０_７、３１０_８の重なり合う領域で生じており、第２交差点は、第７視野ＦＯＶ３１０_７の非重なり合う領域で生じる。第１交差点を考慮すると、第７および第８センサユニット１０２_７、１０２_８の両方が、第１オブジェクトＯ_Ａに対するセンサユニットトラックおよび第２オブジェクトＯ_Ｂに対するセンサユニットトラックを生成する。例えば、第７センサユニット１０２_７は、図４を参照して上述した第１および第２オブジェクトＯ_ＡおよびＯ_Ｂに各々対応するセンサユニットトラックＴＯ_Ａ／７およびセンサユニットトラックＴＯ_Ｂ／７を生成する。同様に、第８センサユニット１０２_８は、図４を参照して上述した、第１および第２オブジェクトに各々対応するセンサユニットトラックＴＯ_Ａ／８およびセンサユニットトラックＴＯ_Ｂ／８を生成する。融合処理１１００は、ＴＯ_Ａ／７をＴＯ_Ａ／８とで融合させるべきであるだけでなく、ＴＯ_Ｂ／７をＴＯ_Ｂ／８とで融合させるべきであろう。しかし、その結果に到達するべく、融合処理１１００は、おそらく、どのセンサユニットトラック同士を融合させるかを決定するべく、分類のような非位置ベース属性に、より大きく依存するだろう。

＜シナリオの例＞
図３を参照すると、例えば、第１建物３０４および第２建物３０６が、大規模な倉庫の一部であると仮定する。倉庫敷地（ウエアハウスサイト）は、建物の外方周縁からいくつかの所定距離に及ぶ、建物の外方の所定地理的領域を備えている。所定地理的領域を包含する倉庫敷地は、センサユニット１０２_１～１０２_１４の視野ＦＯＶによって完全に覆われている。トラック車両、歩行者、セダン、および野生動物、を含んでいるがこれらに限定されない互いに異なるクラスのオブジェクトは、１日のどの時間帯でも敷地内（サイト内）を移動する。第１オブジェクトＯ_Ａは、倉庫敷地への配達を行なうトラック車両であると仮定する。トラック車両つまり第１オブジェクトＯ_Ａ、の運転手は、第１建物３０４の側面に沿って走行しているとする。第７、第８、第９センサユニット１０２_７、１０２_８、１０２_９の各々は、センサユニットに対するトラック車両の位置と、トラック車両の向き、速度、およびオブジェクト分類、などのトラック車両の他の属性と、を検出する。複数のセンサユニットは、属性情報をユニット横断タッカー１０４にストリーミングする。センサシステム１００は、個々の第７、第８、第９センサユニット１０２_７、１０２_８、１０２_９のいずれかにおいてまたはユニット横断タッカー１０４において、第７、第８、第９センサユニット１０２_７、１０２_８、１０２_９の既知の位置に基づき、トラック車両の世界ジオロケーションを「緯度／経度／高さ」において決定する。ユニット横断タッカー１０４は、世界ジオロケーション座標に少なくとも部分的に基づき、センサユニット同士から受信する互いに異なるデータストリーム同士にわたって、トラックの関連付けを実行する。センサユニットを用いて得られた検出と追跡属性との組み合わせは、１つまたは複数のメモリ装置で接続されていることで、１つのトラックを形成する。データがストリームインされると、互いに異なるセンサユニット同士によって個別に生成された複数の検出および追跡結果は、ユニット横断追跡装置１０４に連続的に供給される。最終的には、互いに異なるセンサユニット同士を使用することで作成された多数の切断された経路同士の代わりに、敷地全体にわたるトラック車両の移動の全軌跡を示す、単一の統一トラックが得られる。

オブジェクト属性同士を備えているこの連続的なトラックは、様々な分析を可能にする。例えば、ユーザはウェブアプリにログインすることで、敷地の地図（または航空写真）を見ることができる。ユーザが敷地マップをパンすると、トラック車両が移動した場所の軌跡（トラック）を見ることができる。ユーザはタイムラインを指定するとともに再生ボタンを押すと、或る時間帯にトラック車両が移動した場所を見ることができる。トラック車両が敷地内を移動中に、トラック車両の現在地を示すアイコンをライブマップ上に表示することができる。アイコンは、追跡されたオブジェクトの分類（車両／歩行者／その他）を説明するべく表示することができる。敷地の航空写真（またはマップビュー）のヒートマップを表示することもできるとともに、敷地の最も移動したエリアを示すことができる。活動（アクティビティ）表示は、オブジェクトの分類（トラック車両／歩行者／セダン／その他）、日付／時間／１日のうちの時間帯、ゾーン、および移動のパターン、に基づきフィルタリングすることができる。その他の（追加）オブジェクト属性も、地図上に視覚化（可視化、ヴィジュアライゼーション）することができる。例えば、色で速度を示しとともに、三角形／矢印で向きを示すことができる。

＜視覚化サブシステム＞
図１を参照すると、活動視覚化（ビジュアライゼーション）サブシステム１１０は、敷地におけるアクティビティ（活動）のリアルタイム視覚化を提供するべく、記憶メモリに格納された実行可能命令を用いて構成された計算機を備えている。活動は、敷地上のエンティティ（例えば、人／車両）の、物理的存在または動き（モーション）を備え得る。例示的な活動視覚化サブシステム１１０は、図３の電子表示画面（ディスプレイスクリーン）３０５上に、敷地における１つまたは複数の追跡されたオブジェクト位置をオーバレイした、敷地の鳥瞰図（ＢＥＶ、バードアイビュー）マップを表示するように構成される。オブジェクト位置同士のシーケンスは、敷地におけるオブジェクト経路を備えている。図１１は、活動視覚化サブシステム１１０を使用することで実行される処理を表す、例示的なフロー図である。動作１１０２は、図３の電子表示画面３０５に、敷地の視覚的画像を表示させるべく、敷地マップを作成する。敷地マップは、互いに異なる時間のインスタンスにおける物理的敷地におけるオブジェクトの位置の視覚的画像（ビジュアルイメージ）の表示のための、視覚的コンテキストを提供する。例示的な敷地マップは、鳥瞰図（例えば、衛星ビュー）や、または物理的敷地の２Ｄまたは３Ｄマップ表現、などの物理的敷地の１つまたは複数のリアル画像同士を備え得る。動作１１０４は、図５の第１統一敷地トラックデータ構造４５２または図６の第２統一敷地トラックデータ構造４５４のような、メモリ内の統一敷地トラックから、普遍オブジェクト位置情報を取得する。動作１１０６は、取得された普遍オブジェクト位置同士に基づき、敷地マップ上での１つまたは複数の追跡されたオブジェクト位置同士のオーバレイを決定する。統一敷地トラックを作成するべく融合される個々のセンサユニットトラック同士は、敷地マップ上の位置同士にマッピングされる普遍オブジェクト位置情報を備えている。したがって、相対オブジェクト位置同士の普遍オブジェクト位置同士への翻訳は、翻訳された普遍オブジェクト位置情報を備えている統一敷地トラックを使用することで、非コロケートなセンサユニット同士の視野ＦＯＶ同士を越えてオブジェクトを追跡する工程を可能にする。動作１１０８は、活動視覚化（可視化）サブシステム１１０の計算機に、電子表示画面３０５に敷地マップを表示させるとともに、決定されたオブジェクト経路を敷地マップに重ねて表示させる。視覚化は、速度を示すための色分け、または方向を示すための矢印／三角形、のような補強を備えていることができる。ヒートマップのような視覚的増強は、例えば、オブジェクト同士が最も頻繁に通過する敷地の領域同士を示すべく、使用することができる。

＜アラーム監視サブシステム＞
アラーム監視サブシステム１１２は、記憶メモリ１１１２に格納された統一敷地トラック（例えば４５２、４５４）に基づき検出されたアラームイベントに応答してアラームをトリガするべく、時系列データストリーミング中のリアルタイム処理用の一時バッファメモリ（図示せず）または長期メモリに保存された実行可能命令を用いて構成される計算機を備えている。アラームイベント規則（ルール）は、アラームをトリガするイベントを指定する。敷地オブジェクトデータ構造は、時系列データストリームに応答してリアルタイムで組み立てられる。敷地オブジェクトトラックデータ構造内に含まれる属性は、アラームイベントを特定するべく監視および観察される。例えば、車両が制限速度を超えていることを示す敷地オブジェクトトラックデータ構造内の速度属性は、アラームイベントとして指定され得る。例えば、敷地の地理的領域は、制限されたアクセスとして指定されて得るとともに、制限された領域にエンティティが入ったことを示す敷地オブジェクトトラックデータ構造内のジオロケーション属性は、アラームイベントとして指定される可能性がある。

＜データベース記憶サブシステム＞
データベース／記憶サブシステム１１４は、クエリ（照会、問合せ）データベースに対する記憶メモリに保存された実行可能命令で構成された計算機を備えている。敷地オブジェクトトラックデータ構造は、敷地オブジェクトトラックデータ構造内に含まれる属性のタイプに基づき検索できるように、クエリデータベースに保存される。属性と当該属性のパラメータとを指定するデータベースクエリをデータベースで起動することができるので、応答として、データベースはクエリに準拠するすべての敷地オブジェクトトラックデータ構造を返す。例えば、クエリは、タイムスタンプ属性と、特定の日付および時間フレームと、を指定することができる。これに対して、データベースは、クエリを満たすすべての敷地オブジェクトトラックデータ構造のインジケータ（例えば、識別情報）を返す（リターンする）。次に、ユーザは、図３の敷地３０２のような敷地の鳥瞰図（ＢＥＶ、バードアイビュー）マップへのオーバレイとしてコンピュータディスプレイ上に表示するべく、リターンされた敷地オブジェクトトラックデータ構造同士のうちの１つまたは複数を選択できる。

＜計算機＞
図１２は、いくつかの実施形態に従った例示的な計算機１２００の例示的なブロック図である。いくつかの実施形態において、計算機１２００は、図１２の回路ブロック図に示される構成要素を格納することができる。例えば、ハードウェアプロセッサ１２０２に存在しているとともに「処理回路」と呼ばれることがある回路が、挙げられる。処理回路は、例えば、１つまたは複数の中央処理装置（ＣＰＵ）、１つまたは複数のグラフィックス処理装置（ＧＰＵ）、等の処理ハードウェアを含んでもよい。代替実施形態では、計算機１２００は、スタンドアロン装置として作動してもよいし、または他のコンピュータに接続（例えば、ネットワーク化）されてもよい。ネットワーク化された展開において、計算機１２００は、サーバクライアントネットワーク環境において、サーバ、クライアント、またはその両方、の能力で作動し得る。一例では、計算機１２００は、ピアツーピア（Ｐ２Ｐ）（または他の分散）ネットワーク環境においてピアマシンとして作動することができる。本書では、Ｐ２Ｐ、装置同士間（Ｄ２Ｄ）、およびサイドリンク、という語句は、互換的に使用され得る。計算機１２００は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、スマートフォン、ｗｅｂアプライアンス、ネットワークルータ、スイッチ、ブリッジ、またはそのマシンによって行なわれるべき動作を指定する命令（シーケンシャルまたはその他）を実行することができる任意のマシン、であり得る。図１のセンサユニット１０２_１～１０２_ｎ、およびユニット横断追跡装置１０４、ならびに図７のセンサユニット４０２、は１つまたは複数の計算機と、計算機を使用することで実行されると計算機にセンサユニット１０２_１～１０２_ｎおよび４０２ならびにユニット横断追跡装置１０４の上述の処理を実行させる命令を記憶する記憶装置と、を使用することで実装される。

本明細書で説明されるような例は、論理または多数の構成要素、モジュール、または機構、を備え得るかまたはそれらで作動し得る。モジュールおよび構成要素は、指定された動作を実行することができる有形実体（例えば、ハードウェア）であるとともに、特定の方法で構成または配置されることがある。モジュールは、計算機１２００またはその一部を備えていることができる。一例では、回路は、モジュールとして特定の方法で（例えば、内部で、または他の回路などの外部エンティティに関して）配置されてもよい。一例では、１つまたは複数のコンピュータシステム／装置（例えば、スタンドアロン、クライアントまたはサーバコンピュータシステム）または１つまたは複数のハードウェアプロセッサの全体または一部は、ファームウェアまたはソフトウェア（例えば、命令、アプリケーション部分、またはアプリケーション）によって、所定の動作を行なうように作動するモジュールとして構成される場合がある。一例では、ソフトウェアは、機械可読媒体に常駐していてもよい。一実施例では、ソフトウェアは、モジュールの基礎となるハードウェアによって実行されると、ハードウェアに、指定された動作を実行させる。

したがって、用語「モジュール」（および「構成要素」（コンポーネント））は、物理的に構成されるか、具体的に構成されるか（例えば、ハード有線）、または一時的に（例えば、トランジトリーに）構成されるか（例えば、プログラムされ）、所定の方法で作動するかまたは本明細書に記載の任意の動作の一部または全部を実行する実体（エンティティ）であって、有形実体を包含すると理解される。モジュールが一時的に構成される例を考慮すると、モジュールの各々は、任意の１つの瞬間にインスタンス化される必要はない。例えば、モジュールが、ソフトウェアを用いて構成された汎用ハードウェア処理回路からなる場合、汎用ハードウェア処理回路は、互いに異なる時間に各々の互いに異なるモジュールとしてメモリ装置に格納された命令を実行する工程を通じて構成され得る。ソフトウェアは、それに応じて、例えば、或る時間のインスタンスにおいて特定のモジュールを構成するだけでなく、互いに異なる時間のインスタンスにおいて互いに異なるモジュールを構成するように、ハードウェア処理回路を構成してもよい。

計算機１２００は、ハードウェア処理回路１２０２（例えば、中央処理装置（ＣＰＵ）、ＧＰＵ、ハードウェアプロセッサコア、またはそれらの任意の組み合わせ）、主（メイン）メモリ１２０４および静的（スタティック）メモリ１２０６、を備え得る。それらの一部または全部は、インターリンク（例えば、バス）１２０８を介して互いに通信し得る。図示されていないが、主メモリ１２０４は、取外可能ストレージおよび取外不可能ストレージ、揮発性メモリ、または不揮発性メモリ、のいずれかまたはすべてを備えていることができる。計算機１２００はさらに、ビデオ表示装置１２１０（または他の表示装置）、英数字入力装置１２１２（例えば、キーボード）、およびユーザインタフェース（ＵＩ）ナビゲーション装置１２１４（例えば、マウス）、を備えていることができる。一例では、ビデオ表示装置１２１０、英数字入力装置１２１２、およびＵＩナビゲーション装置１２１４、はタッチスクリーンディスプレイであってもよい。計算機１２００はさらに、記憶装置（例えば、駆動装置）１２１６、信号生成装置１２１８（例えば、スピーカ）、ネットワークインタフェース装置１２２０、および１つまたは複数のセンサ１２２１、を含んでもよい。１つまたは複数のセンサ１２２１は、グローバルポジショニングシステム（ＧＰＳ）センサ、コンパス、加速度計、または他のセンサ、などである。計算機１２００は、１つまたは複数の周辺装置（例えば、プリンタ、カードリーダなど）を通信または制御するためのシリアル（例えば、普遍シリアルバス（ＵＳＢ））、パラレル、または他の有線または無線（例えば、赤外線（ＩＲ）、近距離無線通信（ＮＦＣ）などの）接続などの出力コントローラ１２２８を備え得る。

駆動装置１２１６（例えば、記憶装置）は、本明細書に記載された技術または機能のいずれか１つまたは複数によって具現化または利用されるデータ構造または命令（指令）１２２４（例えば、ソフトウェア）の１つまたは複数のセットが格納されている機械可読媒体１２２２を備えていることができる。命令１２２４はまた、完全にまたは少なくとも部分的に、主（メイン）メモリ１２０４内、静的メモリ１２０６内、または計算機１２００によるその実行中にハードウェアプロセッサ１２０２内、に存在し得る。一例では、ハードウェアプロセッサ１２０２、主メモリ１２０４、静的メモリ１２０６、または記憶装置１２１６、のうちの１つまたは任意の組み合わせは、機械可読媒体を構成し得る。

機械可読媒体１２２２は単一の媒体として図示されているが、「機械可読媒体」という用語は、１つまたは複数の命令１２２４を記憶（格納）するように構成された単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および／または関連するキャッシュおよびサーバ）を備えていることができる。

「機械可読媒体」という用語は、計算機１２００による実行のための、計算機１２００に本開示の技術のいずれか１つまたは複数を実行させる命令を記憶、符号化、または搬送、することが可能な、あるいは、かかる命令によってまたはかかる命令に関連して使用されるデータ構造を記憶、符号化、または搬送、することが可能な、任意の媒体を含みうる。非限定的な機械可読媒体の例は、固体メモリ、ならびに光学および磁気媒体を備え得る。機械可読媒体の具体例としては、半導体メモリ装置（例えば、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ（ＥＰＲＯＭ）、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ（ＥＥＰＲＯＭ））、およびフラッシュメモリ装置、などの不揮発メモリ；内蔵ハードディスクおよびリムーバブルディスクなどの磁気ディスク；光磁気ディスク；Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）；およびＣＤ－ＲＯＭディスクおよびＤＶＤ－ＲＯＭディスク、などが考えられる。いくつかの例では、機械可読媒体は、非一時的（非一過性）機械可読媒体を備え得る。いくつかの例では、機械可読媒体は、一時的な伝搬信号ではない機械可読媒体を含んでもよい。

命令１２２４はさらに、多数の転送プロトコル（例えば、フレームリレー、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）等）のうちの任意の１つを利用することでネットワークインタフェース装置１２２０を介して伝送媒体を使用することによって、通信ネットワーク１２２６上で送信または受信されてもよい。例示的な通信ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パケットデータネットワーク（例えば、インターネット）、携帯電話ネットワーク（例えば、セルラーネットワーク）、Ｐｌａｉｎ Ｏｌｄ Ｔｅｌｅｐｈｏｎｅ（ＰＯＴＳ）ネットワーク、および無線データネットワーク（例えば、電気電子技術者協会（ＩＥＥＥ）８０２．１１規格ファミリー（Ｗｉ－Ｆｉ（登録商標）として知られている規格）、ＩＥＥＥ８０２．１６規格ファミリー（ＷｉＭａｘ（登録商標）として知られている規格））、ＩＥＥＥ８０２．１５．４規格ファミリー、ＬＴＥ（ロングタームエボリューション）規格ファミリー、ＵＭＴＳ（ユニバーサルモバイルテレコミュニケーションシステム）規格ファミリー、ピアツーピア（Ｐ２Ｐ）ネットワーク、などである。一例では、ネットワークインタフェース装置１２２０は、通信ネットワーク１２２６に接続するための１つまたは複数の物理ジャック（例えば、イーサネット（登録商標）、同軸、または電話ジャック）または１つまたは複数のアンテナを備え得る。

＜機械学習について＞
図１３～図１６は、いくつかの実施形態に従って、例えば、レーダ関心領域ＲＯＩ分類モジュール４２６と、画像検出および分類モジュール４３０と、を学習するべく使用することができる機械学習技術およびシステムを説明する例示的な図面である。１つまたは複数の計算機は、メモリ装置に格納された命令を用いて特別に構成することができ、この命令は、計算機によって実行されると、計算機に図１３～図１６の方法を実行させる。図１３は、いくつかの例示的な実施形態による、機械学習プログラムの学習および使用を示している。いくつかの例示的な実施形態において、機械学習アルゴリズムまたはツールとも呼ばれる機械学習プログラム（ＭＬＰ）は、画像認識または機械翻訳などの、機械学習タスクに関連する動作を実行するべく利用される。

機械学習は、コンピュータに明示的にプログラムされることなく、学習する能力を与える学問分野である。機械学習は、既存のデータから学習することで、新しいデータについて予測を行なうことができる、本明細書ではツールとも呼ばれるアルゴリズムの研究および構築を探求するものである。このような機械学習ツールは、出力または評価１３２０として表されるデータ駆動型の予測または決定を行なうべく、例示の学習データ１３１２からモデルを構築することによって作動する。例示的な実施形態は、いくつかの機械学習ツールに関して提示されているが、本明細書で提示される原理は、他の機械学習ツールに適用することができる。

いくつかの例示的な実施形態では、互いに異なる機械学習ツールが使用され得る。例えば、ロジスティック回帰（ＬＲ）、ナイーブベイズ、ランダムフォレスト（ＲＦ）、ニューラルネットワーク（ＮＮ）、行列分解、およびサポートベクターマシン（ＳＶＭ）ツール、が求人情報の分類またはスコアリングのために使用されてもよい。

機械学習における一般的な問題は、分類問題と回帰問題の２種類である。分類問題は、カテゴリ化問題とも呼ばれ、アイテム（項目）をいくつかのカテゴリ値のいずれかに分類することを目的とする（例えば、このオブジェクトはリンゴかオレンジか）。回帰アルゴリズムは、いくつかの項目を定量化することを目的としている（例えば、実数である値を提供することによって）。機械学習アルゴリズムは、学習データ１３１２を利用することで、結果に影響を与える識別された特徴量１３０２同士の間の相関を見つける。

機械学習アルゴリズムは、評価１３２０を生成するべく、データを分析するための特徴量１３０２を利用する。特徴量１３０２は、観察されている現象の個々の測定可能な特性である。特徴量の概念は、線形回帰のような統計技術で使用される説明変数の概念に関連している。情報量が多く、識別力があり、独立した特徴量を選択することは、パターン認識、分類、および回帰、における機械学習プログラムＭＬＰの効果的な動作のために重要である。特徴量は、数値特徴量、文字列、およびグラフ、などの互いに異なるタイプであってもよい。

例示的な一実施形態では、特徴量１３０２同士は互いに異なるタイプであってもよく、メッセージの単語１３０３、メッセージの概念（コンセプト）１３０４、通信履歴１３０５、過去のユーザ行動１３０６、メッセージの主題１３０７、他のメッセージ属性１３０８、送信者１３０９、およびユーザデータ１３１０、のうちの１つまたは複数を含んでもよい。

機械学習アルゴリズムは、学習データ１３１２を利用することで、結果または評価１３２０に影響を与える特定された特徴量１３０２同士の間の相関を見つける。いくつかの例示的な実施形態では、学習データ１３１２は、通信パターンの検出、メッセージの意味の検出、メッセージの要約の生成、メッセージ内のアクションアイテムの検出、メッセージ内の緊急性の検出、送信者に対するユーザの関係の検出、スコア属性の計算、メッセージスコアの計算、などの１つまたは複数の特定した特徴量１３０２および１つまたは複数の結果に対する、既知のデータであるラベル付きデータを備えている。

学習データ１３１２と、特定された特徴量１３０２と、によって動作１３１４で機械学習ツールが学習される。機械学習ツールは、学習データ１３１２に相関する特徴量１３０２の価値を鑑定する。学習の結果は、学習された機械学習プログラム１３１６である。

機械学習プログラム１３１６を用いて評価を行なう場合、学習済みの機械学習プログラム１３１６への入力として新たなデータ１３１８が提供されることで、機械学習プログラム１３１６は、出力として評価１３２０を生成する。例えば、メッセージがアクションアイテムについてチェックされるとき、機械学習プログラムは、メッセージコンテンツおよびメッセージメタデータを利用することで、メッセージ内にアクションのための要求があるかどうかを判定する。

機械学習技術は、モデルに入力されたデータ（例えば、或る発言でユーザが何を言ったか、名詞が人、場所、物、のどれであるか、明日の天気はどうか、など）を正確に予測するモデルを学習する。学習段階では、与えられた入力に対して出力を正しく予測するようにモデルを最適化するべく、入力の学習データセットに対してモデルが開発される。一般に、学習段階は、教師有り、半教師有り、または教師無し、とすることができるとともに、学習入力に対応して「正しい」出力が提供されるレベルが低下することを示す。教師有り学習段階では、すべての出力がモデルに提供されているとともに、モデルは、入力を出力に対応させる一般的なルールまたはアルゴリズムを開発するように指示される。一方、教師無し学習では、入力に対して望ましい出力が提供されないので、モデルは独自のルールを開発することで学習データセット内の関係を発見することができる。半教師有り学習では、不完全にラベル付けされた学習セットが提供されているので、その学習データセットに対して、或る出力は既知、或る出力は未知、である。

モデルは、学習データセットに対して数回のエポック（例えば、反復）を行なって実行されることがあり、その際、学習データセットが繰り返しモデルに供給されることで、モデルの結果を改良する。例えば、教師有り学習のフェーズ（段階）では、与えられた入力セットに対する出力を予測するべく、モデルが開発される。モデルは、学習データセットの最大数の入力に対して、与えられた入力に対応すると指定される出力を、より確実に提供するべく、いくつかのエポックにわたって評価される。別の例では、教師無し学習フェーズでは、データセットをｎ個のグループにクラスタリングするモデルが開発されている。モデルは、数回のエポックにわたって、与えられた入力を、与えられたグループにどれだけ一貫して配置しているか、各エポックにわたってどれだけ確実にｎ個の望ましいクラスタを生成するか、について評価される。

エポックが実行されると、モデルは評価されるだけでなく、その変数の値が調整されるので、反復的にモデルをより良く改良することが試みられる。様々な側面において、評価は、偽陰性に偏るか、偽陽性に偏るか、または、モデルの全体的な精度に関して均等に偏る。値は、使用される機械学習技術に応じて、いくつかの方法で調整することができる。例えば、遺伝的アルゴリズムや進化的アルゴリズムでは、所望の出力を予測するのに最も成功したモデルの値を使用することで、その後のエポック中に使用するモデルの値を開発しているので、追加のデータポイントを提供するためのランダムな変動／突然変異を備えていることができる。当業者であれば、線形回帰、ランダムフォレスト、決定木学習、ニューラルネットワーク、深層ニューラルネットワーク、などを備えている、本開示とともに適用され得るいくつかの他の機械学習アルゴリズムに精通しているであろう。

各モデルは、入力に影響を与える１つまたは複数の変数の値を変化させることで、数回のエポックにわたってルールやアルゴリズムを開発しているので、より望ましい結果に近づける。しかし、学習データセットは様々であるし、好ましくは非常に大きいので、各モデルは、完全な精度や正確さを達成できない場合がある。したがって、学習フェーズを構成するエポックの数は、所定の試行回数または固定時間／計算予算（パジェット）として設定されてもよいし、所定のモデルの精度が十分に高いか低いか、または精度のプラトーに達したときには、所定の回数／予算に達する前に終了されてもよい。例えば、学習フェーズがｎ個のエポックを実行していることで、少なくとも９５％の精度を有しているモデルを生成するように設計されており、そのようなモデルがｎ番目のエポックの前に生成される場合、学習フェーズは早期に終了しているので、生成されたモデルを使用することで、最終目標の精度閾値を満足させることができる。同様に、所定のモデルがランダムチャンス閾値を満たすほど不正確である場合（例えば、所定の入力に対して真／偽の出力を決定する際に、モデルが５５％しか正確ではない）、そのモデルの学習フェーズは早期に終了することができるが、学習フェーズの他のモデルは学習を続けることができる。同様に、或るモデルが複数のエポックにわたって同じような精度を提供し続けるか、または結果が変化し続ける場合（性能がプラトーに達した場合）、そのモデルの学習フェーズは、エポック数／計算予算に達する前に終了することができる。

学習フェーズが完了すると、モデルは最終的に決定される。いくつかの例示的な実施形態では、最終化されたモデルは、テスト基準に対して評価される。第１例では、入力に対する既知の出力を備えているテストデータセットが、最終化されたモデルに供給されることで、学習されていないデータをモデルが処理する際のモデルの精度を判定する。第２例では、最終化後のモデルを評価するべく、偽陽性率または偽陰性率を使用することができる。第３例では、データのクラスタリング同士間の区切りが、データのクラスタ同士に対して最も明確な境界を生成するモデルを選択するべく使用される。

図１４は、いくつかの実施形態に従った、例示的なニューラルネットワーク１４０４を示す。示されるように、ニューラルネットワーク１４０４は、入力として、ソースドメインデータ１４０２を受け取る。入力は、出力に到達するべく複数の層１４０６を通過される。各層１４０６は、複数のニューロン１４０８（２４０８）を備えている。ニューロン１４０８は、前の層１４０６のニューロンから入力を受け取ることで、ニューロン出力を生成するべく、それらのニューロン１４０８から受け取った値に重みを適用する。最終の層１４０６からのニューロン出力は、ニューラルネットワーク１４０４の出力を生成するべく結合される。

図１４の下部に図示されているように、入力はベクトルｘである。入力は複数の層１４０６を通過しており、重みＷ_１、Ｗ_２、．．．、Ｗ_ｉが各層への入力に適用されることでｆ^１（ｘ）、ｆ^２（ｘ）、．．．、ｆ^ｉ－１（ｘ）に到達しており、最後に出力ｆ（ｘ）が計算される。

いくつかの例示的な実施形態では、ニューラルネットワーク１４０４（例えば、深層学習、深層畳み込み、またはリカレントニューラルネットワーク）は、ネットワークに配置された長短期メモリ（ＬＳＴＭ）ノードなどの一連のニューロン１４０８からなる。ニューロン１４０８は、データ処理および人工知能、特に機械学習、において使用されるアーキテクチャ要素である。ニューロン１４０８は、所定のニューロン１４０８に提供される入力の重みに基づき、そのメモリに保持される値をいつ「記憶」（思い出し）するとともに、いつ「忘れる」か、を決定し得るメモリを備えている。本明細書で使用されるニューロン１４０８の各々は、ニューラルネットワーク１４０４内の他のニューロン１４０８から予め定義された数の入力を受け入れるとともに、分析されているフレームのコンテンツに対する関係出力およびサブ関係出力を提供するように構成される。個々のニューロン１４０８は、ニューラルネットワークのさまざまな構成において、一緒に連鎖させおよび／または木構造に編成することで、発話中のフレームの各々が互いにどのように関連しているかについての相互作用および関係学習モデリングを提供することができる。

例えば、ニューロンとして機能するＬＳＴＭは、入力ベクトル（例えば、発話からの音素）、メモリセル、および出力ベクトル（例えば、文脈表現）、を扱うための複数のゲートを備えている。入力ゲートと出力ゲートは、各々メモリセルへの情報の流入と流出を制御する。忘却ゲートは、ニューラルネットワークの以前のリンクされたセルからの入力に基づき、メモリセルから任意に情報を削除する。様々なゲートの重みとバイアスベクトルは、学習フェーズの過程で調整される。学習フェーズが完了すると、それらの重みとバイアスは、通常の動作のために最終決定される。当業者であれば、ニューロンおよびニューラルネットワークは、プログラム的に（例えば、ソフトウェア命令を介して）構築することが、または、各ニューロンを連結することでニューラルネットワークを形成する専用のハードウェアを介して構築することが、できることを理解するであろう。

ニューラルネットワークは、データを分析することで評価を生成する（例えば、音声の単位を認識する）べく、特徴量を利用する。特徴量は、観察されている現象の、個々の測定可能な特性である。特徴量の概念は、線形回帰などの統計技術で使用される説明変数の概念に関連している。さらに、深層特徴量は、深層ニューラルネットワークの隠れ層のノードの出力を表する。

ニューラルネットワークは、人工ニューラルネットワークと呼ばれることもあり、動物の脳の生物学的な神経回路網を考慮した計算システム／装置である。このようなシステム／装置は、通常、タスク固有のプログラミングを行なうことなく、タスクを実行するべく、学習と呼ばれる性能を徐々に向上させる。例えば、画像認識において、ニューラルネットワークは、オブジェクトに対する名前がタグ付けされた例示画像を分析することによって、オブジェクトを備えている画像を識別するように学習されている。オブジェクトおよび名前を学習した後、分析結果を使用することで、ニューラルネットワークは、タグ付けされていない画像においてオブジェクトを識別することができるかもしれない。ニューラルネットワークは、ニューロンと呼ばれる接続ユニットの集合体に基づいており、ニューロン同士間のシナプスと呼ばれる各接続は、接続の強さに応じて変化する活性化強度を持つ一方向の信号を伝送することができる。受信ニューロンは、当該受信ニューロンに接続された下流のニューロンに対して信号を活性化および伝播することができる。一般的には、活性化および伝播は、潜在的に多くの送信ニューロンからの信号を組み合わせた受信信号が十分な強度であるかどうかに基づいており、ここで強度はパラメータである。

深層ニューラルネットワーク（ＤＮＮ）は、複数の層で構成される積層型ニューラルネットワークである。層は複数のノードで構成されており、ノードは計算が行なわれる場所であり、十分な刺激に遭遇したときに発火する人間の脳の神経細胞を緩やかに模している。ノードは、データからの入力と、その入力を増幅または減衰させる係数（重み）と、のセットを組み合わせることで、アルゴリズムが学習しようとしているタスクの入力に重要性を持たせる。これらの入力と重みとの積は合計されるとともに、その合計はノードの活性化関数と呼ばれるものに渡されることで、その信号がネットワーク内をさらに進んで最終的な結果に影響を与えるかどうかを、またその程度を、決定する。深層ニューラルネットワークＤＮＮは、特徴量抽出と変換（トランスフォーメーション）のために、非線形処理ユニットの何層ものカスケードを使用する。連続する各層は、前の層からの出力を、入力として使用する。上位の特徴量は下位の特徴量から派生することで、階層的な表現を形成する。入力層に続く層は、入力のフィルタリング結果である特徴量マップを生成するとともに、次の畳み込み層で使用される畳み込み層である場合がある。

深層ニューラルネットワークＤＮＮアーキテクチャの学習において、変数同士間の関係を推定するための一連の統計処理として構成される回帰は、コスト関数の最小化を備えていることができる。コスト関数は、学習例を正しい出力にマッピング（写像）する際に、ニューラルネットワークがどの程度うまくいったかを表す数値を返す関数として実装することができる。学習において、既知の学習画像に基づき、コスト関数値が予め決められた範囲内に存在しない場合、逆伝播（バックプロパゲーション）が使用される。逆伝播は、確率勾配降下（ＳＧＤ）法などの最適化法とともに使用される、人工ニューラルネットワークの一般的な学習方法である。

逆伝播の使用は、伝搬および重みの更新を備えていることができる。入力がニューラルネットワークに提示されると、その入力は、出力層に到達するまで、層ごとに、ニューラルネットワークの中を前方に伝搬される。次に、ニューラルネットワークの出力は、コスト関数を用いて所望の出力とで比較されることで、出力層の各ノードについて誤差（エラー）値が計算される。各ノードが元の出力への寄与をほぼ表す関連した誤差値を持つまで、誤差値は出力から後方に伝搬される。逆伝播は、これらの誤差値を用いることで、ニューラルネットワークの重みに対するコスト関数の勾配を計算することができる。計算された勾配は、選択された最適化手法に供給されることで、重みを更新してコスト関数を最小化しようとする。

図１５は、いくつかの実施形態による、画像認識機械学習プログラムの学習を示す図である。機械学習プログラムは、１つまたは複数の計算機で実装されてもよい。示されるように、学習セット１５０２は、複数のクラス１５０４を備えている。各クラス１５０４は、そのクラスに関連する複数の画像１５０６を備えている。各クラス１５０４は、画像１５０６内のオブジェクトのタイプ（例えば、数字０～９、男性または女性、猫または犬、など）に対応してもよい。一例では、機械学習プログラムは、米国の大統領の画像を認識するように学習されているとともに、各クラスは各大統領に対応する（例えば、１つのクラスはドナルド・トランプに対応しており、１つのクラスはバラク・オバマに対応しており、１つのクラスはジョージ・Ｗ・ブッシュに対応する、など）。モジュール１５０８において、機械学習プログラムは、例えば、深層ニューラルネットワークを使用することで、学習される。モジュール１５０８の学習によって生成された学習済みの分類器１５１０は、画像１５１２を認識しているので、モジュール１５１４において、画像が認識される。例えば、画像１５１２がビル・クリントンの写真である場合、分類器１５１０は、モジュール１５１４において、画像がビル・クリントンに対応すると認識する。

機械学習アルゴリズムは、顔を認識するべく設計されており、学習セット１５０２は、サンプルをクラス１５０４にマッピング（写像）するデータを備えている（例えば、クラスは、財布のすべての画像を備えている）。クラスは、ラベルまたは注釈（アノテーション）とも呼ばれることがある。本明細書で提示される実施形態は、オブジェクト認識を参照することで提示されるが、同じ原理は、任意のタイプのアイテムを認識するべく使用される機械学習プログラムを学習するべく適用され得る。

学習セット１５０２は、各クラス１５０４に対する複数の画像１５０６（例えば、画像１５０６）を備えており、各画像は、認識されるべきカテゴリのうちの１つ（例えば、クラス）に関連付けられる。機械学習プログラムは、画像を認識するように作動可能なモジュール１５１０で分類器を生成するべく、学習データを用いてモジュール１５０８で学習される。いくつかの例示的な実施形態において、機械学習プログラムは、深層ニューラルネットワークＤＮＮである。

入力画像１５１２が認識される場合、分類器１５１０は、入力画像１５１２を分析することで、入力画像１５１２に対応するクラスを特定する。このクラスは、モジュール１５１４において、認識された画像にラベル付けされる。

図１６は、いくつかの例示的な実施形態による、特徴量抽出処理および分類器学習（トレーニング）を示す。分類器の学習は、特徴量抽出層１６０２と分類器層１６１４とに分けられることがある。各画像は、特徴量抽出層１６０２の複数の層１６０６～１６１３によって順番に分析される。

深層畳み込みニューラルネットワークの発達に伴い、顔認識では、同一人物の顔同士は近く、互いに異なる人物の顔同士は遠い、という良好な顔特徴量空間を学習することが重視されるようになった。例えば、ＬＦＷ（Ｌａｂｅｌｅｄ Ｆａｃｅｓ ｉｎ ｔｈｅ Ｗｉｌｄ）データセットによる検証タスクは、顔認証によく使われてきた。

多くの顔識別タスク（ＭｅｇａＦａｃｅやＬＦＷなど）は、ギャラリーセット内の画像とクエリセットとの類似性比較に基づいており、基本的にはＫ近傍法（Ｋ－ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｒｈｏｏｄ、ＫＮＮ）法で人物の身元（アイデンティティ、同一性）を推定する。理想的なケースでは、優れた顔特徴量抽出器（クラス同士間距離がクラス内距離よりも常に大きい）があるので、ＫＮＮ法は人物の身元を推定するのに十分である。

特徴量抽出は、大規模なデータセットを記述するべく必要なリソースの量を減らすための処理である。複雑なデータの分析を行なう場合、大きな問題のひとつは、関係する変数の数に起因する。一般に、多数の変数を用いた分析には、大量のメモリと計算能力が必要であったり、分類アルゴリズムが学習サンプルに過剰に適合していたり、新しいサンプルへの一般化がうまくいかなかったり、することがある。特徴量抽出は、これらの大規模なデータセットの問題を回避しつつ、所望の目的のために十分な精度でデータを記述するべく、変数の組み合わせを構築する方法を説明する一般用語である。

いくつかの例示的な実施形態では、特徴量抽出は、測定データの初期セットから始まり、情報量が多いだけでなく冗長ではないことを意図した派生値（特徴量）を構築しており、その後の学習および一般化工程を促進する。さらに特徴量抽出は、大きなベクトル（場合によっては非常に疎なデータ）を、同じまたは類似の情報量を捕捉する小さなベクトルに減らす、などの次元削減に関連する。

初期特徴量のサブセットを決定する工程を、特徴量選択という。選択された特徴量は、入力データから関連する情報を備えていることが期待されているので、完全な初期データの代わりにこの縮小表現を使用することで、目的のタスクを実行することができる。深層ニューラルネットワークＤＮＮは層のスタックを利用しているので、各層は或る機能を実行する。例えば、層は、畳み込み、非線形変換、平均値の計算、などである。最終的にこの深層ニューラルネットワークＤＮＮは、分類器層１６１４による出力を生成する。図１６では、特徴量が抽出されるにつれて、データは左から右へ移動する。ニューラルネットワークを学習する目的は、所望のタスクに対して適切なものとなるすべての層のパラメータを、見つけることである。

Claims (20)

1. システムであって、前記システムは、
   敷地に非コロケートな複数のセンサユニットであって、各センサユニットは深度センサを備えている、前記複数のセンサユニットと、
   処理回路と、および
   前記処理回路によって実行されたときに前記処理回路に動作を実行させる命令を記憶するメモリと、
   を備えており、前記動作は、
   前記複数のセンサユニットの各々において、１つまたは複数のセンサユニットトラックを生成する工程であって、前記各センサユニットトラックは、１つまたは複数の相対オブジェクト位置属性と１つまたは複数の非位置属性と、を備えている１つまたは複数のオブジェクト属性を備えている、前記１つまたは複数のセンサユニットトラックを生成する工程と、
   前記各センサユニットトラックについて、前記センサユニットトラックの前記１つまたは複数の相対オブジェクト位置属性を、１つまたは複数の普遍オブジェクト位置属性に翻訳する工程と、
   対応オブジェクト属性の１つまたは複数を備えている１つまたは複数の統一敷地トラックを生成するべく、前記センサユニットトラックのセットの前記対応オブジェクト属性に少なくとも部分的に基づき、前記センサユニットトラックの１つまたは複数のセットを融合する工程と、および
   前記１つまたは複数の統一敷地トラックを、非一時的記憶装置に保存する工程と、
   を備えている、システム。
2. 前記１つまたは複数のセンサユニットは、前記深度センサとして作動するレーダセンサを備えている、
   請求項１に記載のシステム。
3. 前記１つまたは複数のセンサユニットは、前記深度センサとして作動する画像センサを備えている、
   請求項１に記載のシステム。
4. 前記１つまたは複数のセンサユニットは、前記深度センサとして作動するレーダセンサを備えているとともに、画像センサを備えており、前記レーダセンサおよび前記画像センサは共通視野ＦＯＶを共有しており、前記動作はさらに、
   前記１つまたは複数のセンサユニットの各々から、前記レーダセンサに対応するレーダセンサトラックにアクセスする工程と、
   前記１つまたは複数のセンサユニットの各々から、前記画像センサに対応する画像センサトラックにアクセスする工程と、
   前記センサユニットに対応する１つまたは複数のセンサユニットトラックを生成するべく、前記１つまたは複数のセンサユニットの各々について、前記センサユニットに対応する１つまたは複数のレーダトラックを、前記センサユニットに対応する１つまたは複数の画像トラックとで融合させる工程と、
   を備えている、請求項１に記載のシステム。
5. 前記各センサユニットは、互いに異なるローカルセンサユニット座標系に関連付けられており、
   前記敷地は普遍座標系に関連付けられており、および
   前記各センサユニットトラックについて、前記１つまたは複数の相対オブジェクト位置属性を前記１つまたは複数の普遍オブジェクト位置属性に翻訳する工程は、前記１つまたは複数の相対オブジェクト位置属性を、前記ローカルセンサユニット座標系から前記普遍座標系に翻訳する工程を備えている、
   請求項１に記載のシステム。
6. 前記各センサユニットは、互いに異なるローカルセンサユニット座標系に関連付けられており、
   前記敷地は普遍座標系に関連付けられており、および
   前記各センサユニットトラックについて、前記１つまたは複数の相対オブジェクト位置属性を前記１つまたは複数の普遍オブジェクト位置属性に翻訳する工程は、前記ローカルセンサユニット座標系に対する追跡オブジェクトの位置を、前記普遍座標系に翻訳する工程を備えている、
   請求項１に記載のシステム。
7. 前記各センサユニットは、互いに異なるローカルセンサユニット座標系に関連付けられており、
   前記敷地は普遍座標系に関連付けられているおり、および
   前記各センサユニットトラックについて、前記１つまたは複数の相対オブジェクト位置属性を前記１つまたは複数の普遍オブジェクト位置属性に翻訳する工程は、前記ローカルセンサユニット座標系に対する追跡オブジェクトの位置、速度、向き、および加速度、のうちの２つ以上を、前記普遍座標系に翻訳する工程を備えている、
   請求項１に記載のシステム。
8. 前記各センサユニットは、互いに異なるローカルセンサユニット座標系に関連付けられており、
   前記敷地は普遍座標系に関連付けられており、および
   前記普遍座標系はグローバル普遍座標系である、
   請求項１に記載のシステム。
9. 前記各センサユニットは、互いに異なるローカルセンサユニット座標系に関連付けられており、
   前記敷地は普遍座標系に関連付けられており、および
   前記普遍座標系は、敷地固有の普遍座標系である、
   請求項１に記載のシステム。
10. ２つ以上の前記センサユニットは、重複するセンサ視野ＦＯＶを有している、
    請求項１に記載のシステム。
11. 前記各センサユニットは、
    前記敷地における固定位置と、
    前記敷地の一部の固定視野ＦＯＶと、
    を有している、請求項１に記載のシステム。
12. 非位置オブジェクト属性は、分類、タイムスタンプ、およびバウンディングボックス、のうちの２つ以上を備えており、
    位置オブジェクト属性は、位置、速度、加速度、および向き、のうちの２つ以上を備えている、
    請求項１に記載のシステム。
13. 前記動作はさらに、
    前記１つまたは複数の統一敷地トラックに含まれる対応する普遍オブジェクト位置属性に少なくとも部分的に基づき、前記敷地における１つまたは複数のオブジェクト経路を示す視覚敷地マップを電子表示画面に表示させる工程を備えている、
    請求項１に記載のシステム。
14. 前記各センサユニットは、互いに異なるローカルセンサユニット座標系に関連付けられており、
    前記敷地および前記視覚敷地マップは、各々普遍座標系に関連付けられており、
    前記動作はさらに、
    前記１つまたは複数の統一敷地トラックに含まれる普遍オブジェクト位置にアクセスする工程と、および
    アクセスされた前記普遍オブジェクト位置と前記普遍座標系とに基づき、前記電子表示画面に表示された前記視覚敷地マップに、前記１つまたは複数のオブジェクト位置を電子的にオーバレイする工程と、
    を備えている、請求項１３に記載のシステム。
15. 前記動作はさらに、
    アラームイベントを識別するべく、前記１つまたは複数の統一敷地トラック内の属性を監視する工程と、および
    アラームイベントの発生を検出したことに応答して、アラームをトリガする工程と、
    を備えている、請求項１に記載のシステム。
16. 前記センサユニットに対応する前記センサユニットトラックを生成する工程は、前記センサユニットに対応する前記センサユニットトラックの時系列データストリームを生成する工程を備えており、および
    融合は、前記対応オブジェクト属性の１つまたは複数を備えている１つまたは複数の統一敷地トラックを生成するべく、前記センサユニットトラックの１つまたは複数の時系列データストリームの前記対応オブジェクト属性に少なくとも部分的に基づき、前記センサユニットトラックの前記１つまたは複数の時系列データストリームを融合する工程を備えている、
    請求項１５に記載のシステム。
17. 前記動作はさらに、
    １つまたは複数のオブジェクト属性に少なくとも部分的に基づき、１つまたは複数のオブジェクト位置を表示する要求を受信する工程と、
    前記１つまたは複数のオブジェクト属性を備えている、前記非一時的記憶装置に保存された１つまたは複数の統一敷地トラックを特定する工程と、
    前記敷地における前記１つまたは複数のオブジェクト経路を示す視覚敷地マップを、電子表示画面上に表示する工程と、
    を備えている、請求項１に記載のシステム。
18. センサユニットに対応する前記センサユニットトラックを生成する工程は、前記センサユニットに対応するセンサユニットトラックの時系列データストリームを生成する工程を備えており、
    融合は、前記対応オブジェクト属性の１つまたは複数を備えている１つまたは複数の統一敷地トラックを生成するべく、前記センサユニットトラックの前記１つまたは複数の時系列データストリームの前記対応オブジェクト属性に少なくとも部分的に基づき、前記センサユニットトラックの前記１つまたは複数の時系列データストリームを融合する工程を備えている、
    請求項１７に記載のシステム。
19. 前記処理回路は第１処理回路および第２処理回路を備えており、
    前記メモリは第１メモリ回路および第２メモリ回路を備えており、
    前記第１処理回路は、各センサユニットに配置された個別第１処理回路を備えており、
    前記第１処理回路は、各センサユニットに配置された個別第１処理回路を備えており、
    前記第１メモリ回路は、各センサユニットに配置された個別第１メモリ回路を備えており、
    各々の個別第１メモリ回路は、個別第１処理回路によって実行されると、対応する個別第１処理回路に第１動作を実行させる第１命令を記憶しており、
    前記第１動作は、
    センサユニットトラックを生成する工程であって、各センサユニットトラックは、１つまたは複数の相対オブジェクト位置属性と１つまたは複数の非位置属性とを備えている１つまたは複数のオブジェクト属性を備えている、センサユニットトラックを生成する工程と、
    各センサユニットトラックについて、センサユニットトラックの１つまたは複数の相対オブジェクト位置属性を、１つまたは複数の普遍オブジェクト位置属性に翻訳する工程と、および
    前記第２処理回路における処理のために、ネットワークを介して各センサユニットトラックを送信する工程と、
    を備えており、
    前記第２メモリ回路は、前記第２処理回路によって実行されると前記第２処理回路に第２動作を実行させる第２命令を記憶しており、
    前記第２動作は、
    前記ネットワークを介して送信された前記センサユニットトラックを受信する工程と、
    前記対応オブジェクト属性の１つまたは複数を備えている１つまたは複数の統一敷地トラックを生成するべく、前記センサユニットトラックのセットの前記対応オブジェクト属性に少なくとも部分的に基づき、センサユニットトラックの１つまたは複数のセットを融合する工程と、および
    前記１つまたは複数の統一敷地トラックを、前記非一時的記憶装置に保存する工程と、
    を備えている、請求項１に記載のシステム。
20. 前記処理回路は第１処理回路および第２処理回路を備えており、
    前記メモリは第１メモリ回路および第２メモリ回路を備えており、
    前記第１処理回路は、各センサユニットに配置された個別第１処理回路を備えており
    前記第１メモリ回路は、各センサユニットに配置された個別第１メモリ回路を備えており、
    各々の個別第１メモリ回路は、個別第１処理回路によって実行されると、対応する個別第１処理回路に第１動作を実行させる第１命令を記憶しており、前記第１動作は、
    センサユニットトラックを生成する工程であって、各センサユニットトラックは、１つまたは複数の相対オブジェクト位置属性と１つまたは複数の非位置属性とを備えている１つまたは複数のオブジェクト属性を備えている、センサユニットトラックを生成する工程と、
    各センサユニットトラックについて、センサユニットトラックの１つまたは複数の相対オブジェクト位置属性を、１つまたは複数の普遍オブジェクト位置属性に翻訳する工程と、および
    前記第２処理回路における処理のために、ネットワークを介して各センサユニットトラックを送信する工程と、
    を備えており、
    前記第２メモリ回路は、前記第２処理回路によって実行されると前記第２処理回路に第２動作を実行させる第２命令を記憶しており、前記第２動作は、
    前記ネットワークを介して送信された前記センサユニットトラックを受信する工程と、
    各センサユニットトラックについて、センサユニットトラックの１つまたは複数の相対オブジェクト位置属性を、１つまたは複数の普遍オブジェクト位置属性に翻訳する工程と、
    前記対応オブジェクト属性の１つまたは複数を備えている１つまたは複数の統一敷地トラックを生成するべく、センサユニットトラックのセットの前記対応オブジェクト属性に少なくとも部分的に基づき、センサユニットトラックの１つまたは複数のセットを融合する工程と、および
    前記非一時的記憶装置に、前記１つまたは複数の統一敷地トラックを保存する工程と、
    を備えている、請求項１に記載のシステム。

Images