JP6807925B2 - ビデオ識別および分析認識システム - Google Patents

Description

（関連出願の相互参照）
本願は、２０１５年８月４日に出願された米国特許出願第１４／８１７，８７１号に対する優先権およびその利益を主張するものである。また、本願は、２０１４年４月１８日に出願された米国特許出願第１４／２５６，３８５号に関連しており、これは、２０１３年４月１９日に出願された米国仮出願第６１／８１３，９４２号、２０１４年３月１４日に出願された米国特許出願第１４／２１３，５４８号に対する優先権およびその利益を主張するものであり、これは、２０１３年３月１５日に出願された米国仮出願第６１／７９８，７４０号に対する優先権およびその利益を主張するものである。これらの先行する出願の各々の開示は、本明細書中に完全に開示されているのと同然に参照により本明細書中に援用される。

以下は、ビデオ観察、監視、および照合システム、および使用方法に関する。具体的アプリケーションは、監視システム、路上カメラ、パーソナルビデオ、店舗内カメラシステム、駐車場カメラシステム等と協働し得、１つまたはそれを上回るビデオストリームのリアルタイムおよび／またはポストタイムデータ分析を提供するように構成される。

企業は、企業のスループットおよび効率を向上させるために、具体的ユーザ挙動を識別しようとし続けている。例えば、小売産業の状況におけるユーザ挙動を理解することによって、企業は、製品売上の向上および製品シュリンケージの低減の両方を行うことができる。後者に焦点を当てると、従業員による窃盗が、小売在庫縮小の最大要因のうちの１つである。したがって、企業は、在庫シュリンケージを低減させ、最終的に排除するために、ユーザ挙動を理解しようとしている。

企業は、従業員のシュリンケージを防止するために、種々の方法を利用している。小売店舗において窃盗されやすいアイテムに取り付けられる受動的電子機器デバイスが、アラームをトリガするために使用されるが、顧客および／または従業員は、店舗からアイテムを持ち去る前にこれらのデバイスを無効化し得る。いくつかの小売業者は、顧客および従業員の両方に対してバッグおよび／またはカート検査を実行する一方、他の小売業者は、ＰＯＳトランザクションのビデオ監視を組み込む損失防止システムを実装し、実装されたプロシージャに違反して実行された可能性があるトランザクションを識別している。殆どのプロシージャおよび技術は、これらの事象中に起こる潜在的なユーザ挙動を理解する代わりに、個々の出来事を識別することに焦点を当てている。したがって、企業は、個人が窃盗を犯すことを可能にする潜在的条件に対処することが不可能である。

監視システム、路上カメラシステム、店舗カメラシステム、駐車場カメラシステム、および同等物が、広く使用されている。ある事例では、カメラビデオは、連続的にストリーミングし、例えば、８、１２、２４、４８時間のバッファ期間が、使用され、次いで、上書きが、ビデオに対して起こる必要はないはずである。他のシステムでは、より長い時間期間が、利用され得る、またはバッファは、特定の目的のために記憶および保存される数週間または数ヶ月のデータである。理解され得るように、ある事象が起こると、ビデオは、ビデオデータの精査および分析のために利用可能である。いくつかの事例では、ビデオストリームは、データを捕捉し、特定の目的に応じて、自動、ユーザ入力、またはプログラミングに基づいて、種々の事前判定されたシナリオを分析する。例えば、ビデオは、在庫制御および／または顧客のビデオ監視のために、入口から店舗の中に、および店舗全体を通して移動する物体を追尾するようにプログラムされ得る。

他の事例では、警察、ＦＢＩ、また救助隊員は、調査目的のために、例えば、容疑者を追跡するため、自動車事故精査のため、またはその調査に必要な他のビデオ証拠のために、特定のエリアまたは活動領域内の種々のカメラシステムを精査する必要がある。大抵の場合、エリア全体を通した種々のカメラシステムからのビデオの断片は、当該事象の視覚マップをともにつなぎ合わせる際に重要であり得る。他のシナリオでは、個人の習慣または挙動が、疑わしくなり、リアルタイムの分析およびアラートおよび／またはポストタイムの調査分析のために監視または追跡が必要になり得る。

セキュリティおよび調査目的およびマーケティング目的のために、本分析技術をさらに発展させ、ビデオストリームのリアルタイムおよびポストタイム分析を提供する必要性が存在する。

本開示のある側面によると、分析認識システムが、提供される。分析認識システムは、ビデオカメラと、アンテナと、データ分析モジュールとを含む。ビデオカメラは、ビデオデータを捕捉するように構成される。アンテナは、モバイル通信デバイスデータを捕捉するように構成される。データ分析モジュールは、ビデオデータおよびモバイル通信デバイスデータを相関させ、ビデオデータおよびモバイル通信デバイスデータと関連付けられる人物のプロファイルを生成するように構成される。プロファイルは、捕捉されたビデオデータおよび捕捉されたモバイル通信データのうちのいずれか１つまたはそれらの組み合わせを含む、プロファイルデータを有する。

前述の側面のうちのいずれか１つでは、データ分析モジュールは、ビデオデータおよびモバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせに基づいて、ある場所における人物の到着時間およびその場所における人物の出発時間のうちのいずれか１つまたはそれらの組み合わせを判定し、到着時間および出発時間のうちのいずれか１つまたはそれらの組み合わせに基づいて、ビデオデータおよびモバイル通信デバイスデータを相関させるように構成される。

前述の側面のうちのいずれか１つでは、ビデオカメラは、本システム内に含まれ、複数のビデオデータを捕捉するように構成される、複数のビデオカメラのうちの１つであり、アンテナは、本システム内に含まれ、複数のモバイル通信デバイスデータを捕捉するように構成される、複数のアンテナのうちの１つである。データ分析モジュールはさらに、複数のビデオデータおよび複数のモバイル通信デバイスデータを相関させ、複数のビデオデータおよび複数のモバイル通信デバイスデータとそれぞれ関連付けられる、複数の人物の複数のプロファイルを生成するように構成されることができる。

本開示の別の側面によると、複数のビデオカメラおよび複数のアンテナは、複数の施設に位置する。

本明細書の別の例示的側面では、分析認識システムはさらに、ユーザ入力された基準に基づいて、複数のプロファイルがマイニングされることを可能にするように構成される、ユーザインターフェースを含む。

本明細書のまたさらなる側面によると、複数のアンテナのうちの少なくとも１つは、複数のビデオカメラのうちの少なくとも１つに添着され、複数のアンテナのうちの少なくとも１つは、複数のカメラから遠隔に位置する。

前述の側面のうちのいずれか１つでは、プロファイルは、捕捉されたビデオデータ、捕捉されたモバイル通信デバイスデータ、捕捉されたビデオデータまたは捕捉されたモバイル通信デバイスデータと関連付けられる時間データ、および捕捉されたビデオデータまたは捕捉されたモバイル通信デバイスデータと関連付けられる場所データのうちのいずれか１つまたはそれらの組み合わせを含むことができる。捕捉されたビデオデータは、捕捉された静止画像およびビデオ映像のうちのいずれか１つまたはそれらの組み合わせを含むことができる。モバイル通信デバイスデータは、アンテナと通信するモバイル通信デバイスと関連付けられる、ＷｉＦｉ識別子、媒体アクセス制御（ＭＡＣ）識別子、Ｂｌｕｅｔｏｏｔｈ（登録商標）識別子、セルラー識別子、近距離無線通信識別子、および無線周波数識別子のうちのいずれか１つまたはそれらの組み合わせを含むことができる。時間データは、ビデオデータが捕捉される時間およびモバイル通信デバイスデータが捕捉される時間のうちのいずれか１つまたはそれらの組み合わせを含むことができる。場所データは、ビデオデータが捕捉される場所およびモバイル通信デバイスデータが捕捉される場所のうちのいずれか１つまたはそれらの組み合わせを含むことができる。

前述の側面のうちのいずれか１つでは、データ分析モジュールはさらに、相関されたビデオデータおよびモバイル通信デバイスデータに基づいて、プロファイルに、ある施設への人物の訪問回数およびその施設への人物の訪問頻度のうちのいずれか１つまたはそれらの組み合わせを追加するように構成される。

前述の側面のうちのいずれか１つでは、データ分析モジュールはさらに、第１のソースからのデータと、捕捉されたビデオデータ、捕捉されたモバイル通信デバイスデータ、相関されたビデオデータおよびモバイル通信デバイスデータ、およびプロファイルのうちのいずれか１つまたはそれらの組み合わせとの間の比較に基づいて、人物を識別するように構成され、第１のソースは、非政府データベース、政府データベース、および１つまたはそれを上回る以前に生成されたプロファイルのうちのいずれか１つまたはそれらの組み合わせを含む。

前述の側面のうちのいずれか１つでは、分析認識システムはさらに、調査基準を受信し、基準に基づいて、ビデオデータ、モバイル通信デバイスデータ、およびプロファイルデータのうちのいずれか１つまたはそれらの組み合わせをマイニングするように構成される、調査モジュールを含む。

本明細書のさらなる側面では、調査基準は、時間フレームを含み、調査モジュールはさらに、その存在が時間フレーム中にある施設で検出された人物のリストを生成するように構成される。

本開示の別の側面によると、調査モジュールはさらに、第１の場所において取得されたモバイル通信デバイスデータと合致する信号を検出することによって、人物の現在の場所を判定するように構成される。

前述の側面のうちのいずれか１つでは、アンテナは、ＷｉＦｉアンテナ、媒体アクセス制御（ＭＡＣ）アンテナ、Ｂｌｕｅｔｏｏｔｈ（登録商標）アンテナ、セルラーアンテナ、近距離無線通信アンテナ、および無線周波数識別アンテナのうちのいずれか１つまたはそれらの組み合わせを含む。

前述の側面のうちのいずれか１つでは、データ分析モジュールはさらに、ビデオデータ、モバイル通信デバイスデータ、プロファイルデータ、およびユーザ入力された基準のうちのいずれか１つまたはそれらの組み合わせに基づいて、人物をポジティブリスト、未判定リスト、またはネガティブリストに割り当てるように構成される。

本開示の別の側面によると、データ分析モジュールはさらに、ビデオデータ、モバイル通信デバイスデータ、およびプロファイルのうちのいずれか１つまたはそれらの組み合わせが、従業員または事前判定された人物のリスト上の人物に対応するという判定に基づいて、人物をポジティブリストに割り当てるように構成される。

前述の側面のうちのいずれか１つでは、アンテナは、アンテナの範囲内に位置するモバイル通信デバイスからデータを無線で受信することによって、モバイル通信デバイスデータを捕捉するように構成される。

前述の側面のうちのいずれか１つでは、データ分析モジュールはさらに、人物の挙動を検出し、挙動に対応する挙動データをプロファイル内に記憶するように構成される。

本開示の別の側面によると、データ分析モジュールは、ビデオデータおよびモバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせから挙動情報を抽出することによって、人物の挙動を検出するように構成される。挙動は、ある方向を見ること、商品アイテムに手を伸ばすこと、商品アイテムを購入すること、施設において経路に沿って進行すること、施設における通路または場所を訪問すること、施設においてある時間量を費やすこと、施設における場所においてある時間量を費やすこと、およびいくつかの別個の事例にわたって施設を訪問することのうちのいずれか１つまたはそれらの組み合わせを含む。

本明細書のさらなる側面では、データ分析モジュールは、プロファイル内に記憶された施設訪問データに基づいて、人物を施設における新規顧客またはリピート顧客として分類し、人物が施設における新規顧客であるか、またはリピート顧客であるかのインジケータをプロファイルに追加する、またはプロファイル内で更新するように構成される。

本明細書の別の側面によると、データ分析モジュールは、ビデオデータ、モバイル通信デバイスデータ、およびプロファイルデータのうちのいずれか１つまたはそれらの組み合わせを、施設における通路場所のマッピング、施設における商品場所のマッピング、および施設における棚場所のマッピングのうちのいずれか１つまたはそれらの組み合わせと相関させることによって、人物の挙動を検出するように構成される。

本明細書のさらなる側面では、分析認識システムはさらに、報告基準に基づいて、ビデオデータ、モバイル通信デバイスデータ、プロファイルデータ、および売上データのうちのいずれか１つまたはそれらの組み合わせをマイニングするように構成される、調査モジュールを含む。調査モジュールはさらに、ビデオデータ、モバイル通信デバイスデータ、およびプロファイルデータのうちのいずれか１つまたはそれらの組み合わせのマイニングに基づいて、報告を生成するように構成される。報告は、商品アイテム、商品カテゴリ、施設における通路、施設における棚、または施設における事前判定された場所のうちのいずれか１つまたはそれらの組み合わせに対応する販売成約率を含む。

本明細書の別の側面によると、データ分析モジュールはさらに、ビデオデータおよびモバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせに基づいて、挙動に対応する場所データを生成し、挙動データと関連してプロファイル内に場所データを記憶するように構成される。
本明細書は、例えば、以下の項目も提供する。
（項目１）
分析認識システムであって、
ビデオデータを捕捉するように構成される、ビデオカメラと、
モバイル通信デバイスデータを捕捉するように構成される、アンテナと、
前記ビデオデータおよび前記モバイル通信デバイスデータを相関させ、前記ビデオデータおよび前記モバイル通信デバイスデータと関連付けられる人物のプロファイルを生成するように構成されたデータ分析モジュールであって、前記プロファイルは、前記捕捉されたビデオデータおよび前記捕捉されたモバイル通信データのうちのいずれか１つまたはそれらの組み合わせを含む、プロファイルデータを含む、データ分析モジュールと
を備える、システム。
（項目２）
前記データ分析モジュールは、
前記ビデオデータおよび前記モバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせに基づいて、ある場所における前記人物の到着時間および前記場所における前記人物の出発時間のうちのいずれか１つまたはそれらの組み合わせを判定することと、
前記到着時間および前記出発時間のうちのいずれか１つまたはそれらの組み合わせに基づいて、前記ビデオデータおよび前記モバイル通信デバイスデータを相関させることと
を行うように構成される、項目１に記載のシステム。
（項目３）
前記ビデオカメラは、前記システム内に含まれ、複数のビデオデータを捕捉するように構成される、複数のビデオカメラのうちの１つであり、前記アンテナは、前記システム内に含まれ、複数のモバイル通信デバイスデータを捕捉するように構成される、複数のアンテナのうちの１つであり、
前記データ分析モジュールはさらに、
前記複数のビデオデータおよび前記複数のモバイル通信デバイスデータを相関させ、前記複数のビデオデータおよび前記複数のモバイル通信デバイスデータとそれぞれ関連付けられる、複数の人物の複数のプロファイルを生成すること
を行うように構成される、項目１に記載のシステム。
（項目４）
前記複数のビデオカメラおよび前記複数のアンテナは、複数の施設に位置する、項目３に記載のシステム。
（項目５）
ユーザ入力された基準に基づいて、前記複数のプロファイルがマイニングされることを可能にするように構成される、ユーザインターフェースをさらに備える、項目４に記載のシステム。
（項目６）
前記複数のアンテナのうちの少なくとも１つは、前記複数のビデオカメラのうちの少なくとも１つに添着され、前記複数のアンテナのうちの少なくとも１つは、前記複数のカメラから遠隔に位置する、項目３に記載のシステム。
（項目７）
前記プロファイルは、前記捕捉されたビデオデータ、前記捕捉されたモバイル通信デバイスデータ、前記捕捉されたビデオデータまたは前記捕捉されたモバイル通信デバイスデータと関連付けられる時間データ、および前記捕捉されたビデオデータまたは前記捕捉されたモバイル通信デバイスデータと関連付けられる場所データのうちのいずれか１つまたはそれらの組み合わせを含み、
前記捕捉されたビデオデータは、捕捉された静止画像およびビデオ映像のうちのいずれか１つまたはそれらの組み合わせを含み、
前記モバイル通信デバイスデータは、前記アンテナと通信するモバイル通信デバイスと関連付けられる、ＷｉＦｉ識別子、媒体アクセス制御（ＭＡＣ）識別子、Ｂｌｕｅｔｏｏｔｈ識別子、セルラー識別子、近距離無線通信識別子、および無線周波数識別子のうちのいずれか１つまたはそれらの組み合わせを含み、
前記時間データは、前記ビデオデータが捕捉される時間および前記モバイル通信デバイスデータが捕捉される時間のうちのいずれか１つまたはそれらの組み合わせを含み、
前記場所データは、前記ビデオデータが捕捉される場所および前記モバイル通信デバイスデータが捕捉される場所のうちのいずれか１つまたはそれらの組み合わせを含む、
項目１に記載のシステム。
（項目８）
前記データ分析モジュールはさらに、前記相関されたビデオデータおよびモバイル通信デバイスデータに基づいて、前記プロファイルに、ある施設への前記人物の訪問回数および前記施設への前記人物の訪問頻度のうちのいずれか１つまたはそれらの組み合わせを追加するように構成される、項目１に記載のシステム。
（項目９）
前記データ分析モジュールはさらに、第１のソースからのデータと、前記捕捉されたビデオデータ、前記捕捉されたモバイル通信デバイスデータ、前記相関されたビデオデータおよびモバイル通信デバイスデータ、および前記プロファイルのうちのいずれか１つまたはそれらの組み合わせとの間の比較に基づいて、前記人物を識別するように構成され、前記第１のソースは、非政府データベース、政府データベース、および１つまたはそれを上回る以前に生成されたプロファイルのうちのいずれか１つまたはそれらの組み合わせを含む、項目１に記載のシステム。
（項目１０）
調査基準を受信し、前記基準に基づいて、前記ビデオデータ、前記モバイル通信デバイスデータ、および前記プロファイルデータのうちのいずれか１つまたはそれらの組み合わせをマイニングするように構成される、調査モジュールをさらに備える、項目１に記載のシステム。
（項目１１）
前記調査基準は、時間フレームを含み、前記調査モジュールはさらに、その存在が前記時間フレーム中にある施設で検出された人物のリストを生成するように構成される、項目１０に記載のシステム。
（項目１２）
前記調査モジュールはさらに、第１の場所において取得された前記モバイル通信デバイスデータと合致する信号を検出することによって、前記人物の現在の場所を判定するように構成される、項目１０に記載のシステム。
（項目１３）
前記アンテナは、ＷｉＦｉアンテナ、媒体アクセス制御（ＭＡＣ）アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナ、セルラーアンテナ、近距離無線通信アンテナ、および無線周波数識別アンテナのうちのいずれか１つまたはそれらの組み合わせを含む、項目１に記載のシステム。
（項目１４）
前記データ分析モジュールはさらに、前記ビデオデータ、前記モバイル通信デバイスデータ、前記プロファイルデータ、およびユーザ入力された基準のうちのいずれか１つまたはそれらの組み合わせに基づいて、前記人物をポジティブリスト、未判定リスト、またはネガティブリストに割り当てるように構成される、項目１に記載のシステム。
（項目１５）
前記データ分析モジュールはさらに、前記ビデオデータ、前記モバイル通信デバイスデータ、および前記プロファイルのうちのいずれか１つまたはそれらの組み合わせが、従業員または事前判定された人物のリスト上の人物に対応するという判定に基づいて、前記人物を前記ポジティブリストに割り当てるように構成される、項目１４に記載のシステム。
（項目１６）
前記アンテナは、前記アンテナの範囲内に位置するモバイル通信デバイスからデータを無線で受信することによって、前記モバイル通信デバイスデータを捕捉するように構成される、項目１に記載のシステム。
（項目１７）
前記データ分析モジュールはさらに、前記人物の挙動を検出し、前記挙動に対応する挙動データを前記プロファイル内に記憶するように構成される、項目１に記載のシステム。
（項目１８）
前記データ分析モジュールは、前記ビデオデータおよび前記モバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせから挙動情報を抽出することによって、前記人物の挙動を検出するように構成され、
前記挙動は、ある方向を見ること、商品アイテムに手を伸ばすこと、前記商品アイテムを購入すること、前記施設において経路に沿って進行すること、前記施設における通路または場所を訪問すること、前記施設においてある時間量を費やすこと、前記施設における前記場所においてある時間量を費やすこと、およびいくつかの別個の事例にわたって前記施設を訪問することのうちのいずれか１つまたはそれらの組み合わせを含む、
項目１７に記載のシステム。
（項目１９）
前記データ分析モジュールは、前記プロファイル内に記憶された施設訪問データに基づいて、前記人物を前記施設における新規顧客またはリピート顧客として分類し、前記人物が前記施設における新規顧客であるか、またはリピート顧客であるかのインジケータを前記プロファイルに追加する、または前記プロファイル内で更新するように構成される、項目１８に記載のシステム。
（項目２０）
前記データ分析モジュールは、前記ビデオデータ、前記モバイル通信デバイスデータ、および前記プロファイルデータのうちのいずれか１つまたはそれらの組み合わせを、施設における通路場所のマッピング、前記施設における商品場所のマッピング、および前記施設における棚場所のマッピングのうちのいずれか１つまたはそれらの組み合わせと相関させることによって、前記人物の挙動を検出するように構成される、項目１７に記載のシステム。
（項目２１）
調査モジュールであって、
報告基準に基づいて、前記ビデオデータ、前記モバイル通信デバイスデータ、前記プロファイルデータ、および売上データのうちのいずれか１つまたはそれらの組み合わせをマイニングすることと、
前記ビデオデータ、前記モバイル通信デバイスデータ、および前記プロファイルデータのうちのいずれか１つまたはそれらの組み合わせのマイニングに基づいて、報告を生成することと
を行うように構成されており、
前記報告は、商品アイテム、商品カテゴリ、前記施設における通路、前記施設における棚、または前記施設における事前判定された場所のうちのいずれか１つまたはそれらの組み合わせに対応する販売成約率を含む、調査モジュール
をさらに備える、項目２０に記載のシステム。
（項目２２）
前記データ分析モジュールはさらに、
前記ビデオデータおよび前記モバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせに基づいて、前記挙動に対応する場所データを生成することと、
前記挙動データと関連して前記プロファイル内に前記場所データを記憶することと
を行うように構成される、項目１７に記載のシステム。

図１は、本開示による、ビデオ観察、監視、および照合システムの実施形態のシステムブロック図である。

図２は、本開示のある実施形態による、データ／ビデオ／画像シーケンサである。

図３は、図２のシーケンサによって生成される画像マップおよび関連付けられるタイムラインの図示である。

図４は、本開示の別の実施形態による、物体識別および追跡のために使用される分析認識システムの概略図示である。

図５は、本開示の別の実施形態による、集合追跡のために使用される分析認識システムの概略図示である。

図６は、本開示の別の実施形態による、人物特性認識のために使用される分析認識システムの概略図示である。

図７は、本開示の別の実施形態による、コミュニティ監視ネットワークのために使用される分析認識システムの概略図示である。

図８は、本開示による、調査を表示する調査モジュールの実施形態のスクリーンショットである。

図９は、本開示の例示的実施形態による、分析認識方法のフローチャートである。

（定義）
以下の定義は、（上記を含む）本開示全体を通して適用可能である。

「ビデオカメラ」は、視覚記録のための装置を指し得る。ビデオカメラの実施例は、ビデオイメージャおよびレンズ装置、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、モノクロームカメラ、カメラ、カムコーダ、ＰＣカメラ、ウェブカメラ、赤外線（ＩＲ）ビデオカメラ、低光度ビデオカメラ、サーマルビデオカメラ、閉回路テレビ（ＣＣＴＶ）カメラ、パン／チルト／ズーム（ＰＴＺ）カメラ、およびビデオ感知デバイスのうちの１つまたはそれを上回るものを含み得る。ビデオカメラは、着目エリアの観察を実施するように位置付けられ得る。

「ビデオ」は、アナログおよび／またはデジタル形態において表される、ビデオカメラから取得されるモーションピクチャを指し得る。ビデオの実施例は、テレビ、動画、ビデオカメラまたは他の観測器からの画像シーケンス、ライブフィードからの画像シーケンス、コンピュータ生成画像シーケンス、コンピュータグラフィックスエンジンからの画像シーケンス、コンピュータ可読媒体、デジタルビデオディスク（ＤＶＤ）、または高解像度ディスク（ＨＤＤ）等の記憶デバイスからの画像シーケンス、ＩＥＥＥ １３９４ベースのインターフェースからの画像シーケンス、ビデオデジタイザからの画像シーケンス、またはネットワークからの画像シーケンスを含み得る。

「ビデオデータ」は、ビデオの視覚部分である。

「非ビデオデータ」は、ビデオデータから抽出される非視覚情報である。

「ビデオシーケンス」は、ビデオデータおよび／または非ビデオデータの選択された部分を指し得る。

「ビデオ処理」は、例えば、圧縮、編集、およびビデオから非ビデオデータを生成するアルゴリズムの実施を含む、ビデオデータの任意の操作および／または分析を指し得る。

「フレーム」は、ビデオ内の特定の画像または他の離散単位を指し得る。

「コンピュータ」は、構造化された入力を受け取り、規定されたルールに従って構造化された入力を処理し、処理の結果を出力として生産することが可能である、１つまたはそれを上回る装置および／または１つまたはそれを上回るシステムを指し得る。コンピュータの実施例は、コンピュータ、定常および／またはポータブルコンピュータ、並列および／または非並列に動作し得る、単一のプロセッサ、複数のプロセッサ、またはマルチコアプロセッサを有するコンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、クライアント、双方向テレビ、ウェブアプライアンス、インターネットアクセスを伴う遠隔通信デバイス、コンピュータおよび双方向テレビのハイブリッド組み合わせ、ポータブルコンピュータ、タブレットパーソナルコンピュータ（ＰＣ）、携帯情報端末１２３（ＰＤＡ）、ポータブル電話、例えば、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、チップ、複数のチップ、またはチップセット等のコンピュータおよび／またはソフトウェアをエミュレートするための特定用途向けハードウェア、システムオンチップ（ＳｏＣ）またはマルチプロセッサシステムオンチップ（ＭＰＳｏＣ）、光学コンピュータ、量子コンピュータ、バイオコンピュータ、および、データを受け取り得、１つまたはそれを上回る記憶されたソフトウェアプログラムに従ってデータを処理し得、結果を生成し得、典型的には、入力、出力、記憶、演算、論理、および制御ユニットを含み得る装置を含み得る。

「ソフトウェア」は、コンピュータを動作させるために規定されたルールを指し得る。ソフトウェアの実施例は、ソフトウェア、コードセグメント、命令、アプレット、事前コンパイルされたコード、コンパイルされたコード、解釈されたコード、コンピュータプログラム、およびプログラムされた論理を含み得る。本説明では、用語「ソフトウェア」および「コード」は、ソフトウェア、ファームウェア、またはソフトウェアおよびハードウェアの組み合わせに適用可能であり得る。

「コンピュータ可読媒体」は、コンピュータによってアクセス可能なデータを記憶するために使用される任意の記憶デバイスを指し得る。コンピュータ可読媒体の実施例は、磁気ハードディスク、フロッピディスク、ＣＤ−ＲＯＭおよびＤＶＤ等の光学ディスク、磁気テープ、フラッシュ可撤性メモリ、メモリチップ、および／またはその上に機械可読命令を記憶し得る他のタイプの媒体を含み得る。「非一時的」コンピュータ可読媒体は、あらゆるコンピュータ可読媒体を含み、唯一の例外は、一時的伝搬信号である。

「コンピュータシステム」は、１つまたはそれを上回るコンピュータを有するシステムを指し得、各コンピュータは、コンピュータを動作させるためのソフトウェアを具現化するコンピュータ可読媒体を含み得る。コンピュータシステムの実施例は、ネットワークによってリンクされるコンピュータシステムを介して情報を処理するための分散コンピュータシステム、コンピュータシステム間で情報を伝送および／または受信するためにネットワークを介してともに接続される２つまたはそれを上回るコンピュータシステム、および、データを受け取り得、１つまたはそれを上回る記憶されたソフトウェアプログラムに従ってデータを処理し得、結果を生成し得、典型的には、入力、出力、記憶、演算、論理、および制御ユニットを含み得る、１つまたはそれを上回る装置および／または１つまたはそれを上回るシステムを含み得る。

「ネットワーク」は、通信設備によって接続され得る、いくつかのコンピュータおよび関連付けられるデバイスを指し得る。ネットワークは、ケーブル等の永久的接続または電話または他の通信リンクを通して成されるもの等の一時的接続を伴い得る。ネットワークはさらに、有線接続（例えば、同軸ケーブル、ツイストペア、光ファイバ、導波管等）および／または無線接続（例えば、無線周波数波形、自由空間光波形、音響波形等）を含み得る。ネットワークの実施例は、Ｉｎｔｅｒｎｅｔ等のインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、およびインターネットおよびイントラネット等のネットワークの組み合わせを含み得る。例示的ネットワークは、インターネットプロトコル（ＩＰ）、非同期転送モード（ＡＴＭ）、および／または同期光ネットワーク（ＳＯＮＥＴ）、ユーザデータグラムプロトコル（ＵＤＰ）、ＩＥＥＥ ８０２．ｘ等のいくつかのプロトコルのいずれかを用いて動作し得る。

「リアルタイム」分析または分析論は、概して、リアルタイムまたは「ライブ」ビデオを処理し、１つまたは複数のビデオストリームにおける要素（顧客、常連客、群衆等）の挙動に基づいて、異常な条件（事前プログラムされた条件）、異常なシナリオ（徘徊、集中、衣類またはバックパックの分離、ブリーフケース、異常な時間の食料品等）、または他のシナリオの準瞬間的報告または警告を提供することを指す。

「ポストタイム」分析または分析論は、概して、カメラソースから（特定のカメラシステム（例えば、店舗、駐車場、路上）または他のビデオデータ（携帯電話、ホームムービー等）から）記憶または保存されたビデオを処理し、１つまたはそれを上回る記憶されたビデオストリームにおける要素（顧客、常連客、群衆等）の挙動に基づいて、異常な条件（事前プログラムされた条件）、異常なシナリオ（徘徊、集中、衣類またはバックパックの分離、ブリーフケース、異常な時間の食料品等）、または他のシナリオの報告または警告を提供することを指す。

「モバイル通信デバイスデータ」は、概して、無線または有線通信プロトコルを用いてモバイル通信デバイスによって伝送される、および／またはそれから取得されるデータを指す。
（詳細な説明）

本開示の特定の実施形態が、付随の図面を参照して本明細書の以下に説明されるが、しかしながら、開示される実施形態は、種々の形態で具現化され得る、本開示の実施例にすぎないことを理解されたい。周知の機能または構造は、不必要な詳細で本開示を不明瞭にすることを回避するために、詳細に説明されない。したがって、本明細書で開示される具体的構造および機能的詳細は、限定的として解釈されるものではなく、単に、請求項の根拠として、および当業者が事実上任意の適切に詳述された構造において本開示を様々に採用するように教示するための代表的な根拠として解釈されたい。本説明、および図面では、同様の参照番号は、同一、類似、または同等の機能を実施し得る要素を表す。

加えて、本開示は、機能ブロックコンポーネント、コード列挙、随意の選択、ページ表示、および種々の処理ステップの観点から本明細書に説明され得る。そのような機能ブロックは、規定された機能を実施するように構成される、任意の数のハードウェアおよび／またはソフトウェアコンポーネントによって実現され得ることを理解されたい。例えば、本開示は、１つまたはそれを上回るマイクロプロセッサまたは他の制御デバイスの制御下で種々の機能を実行し得る、種々の集積回路コンポーネント、例えば、メモリ要素、処理要素、論理要素、ルックアップテーブル、および同等物を採用し得る。

同様に、本開示のソフトウェア要素は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ＣＯＢＯＬ、アセンブラ、ＰＥＲＬ、Ｐｙｔｈｏｎ、ＰＨＰまたは同等物等の任意のプログラミングまたはスクリプト言語を用いて実装され、種々のアルゴリズムは、データ構造、オブジェクト、プロセス、ルーチン、または他のプログラミング要素の任意の組み合わせを用いて実装され得る。作成されるオブジェクトコードは、限定ではないが、Ｗｉｎｄｏｗｓ（登録商標）、Ｍａｃｉｎｔｏｓｈ ＯＳＸ（Ｒ）、ｉＯＳ（Ｒ）、 Ｌｉｎｕｘ（登録商標）、および／またはＡｎｄｒｏｉｄ（Ｒ）を含む、種々のオペレーティングシステム上で実行され得る。

さらに、本開示は、データ伝送、信号伝達、データ処理、ネットワーク制御、および同等物のための任意の数の従来の技法を採用し得ることに留意されたい。本明細書で示され、説明される特定の実装は、本開示およびその最良の様態を例証し、本開示の範囲をいかようにも別様に限定することは意図されないことを理解されたい。実施例として意図され、限定的として解釈されるべきではない、サンプルデータ項目（例えば、名前、日付等）を含み得る実施例が、本明細書に提示される。実際には、簡潔にするために、本システム（および本システムの個々の動作コンポーネントのコンポーネント）の従来のデータネットワーキング、アプリケーション開発、および他の機能的側面が、本明細に詳細に説明されない場合がある。さらに、本明細書に含有される種々の図に示される接続線は、種々の要素間の例示的な機能的関係、および／または物理的または仮想結合を表すことが意図される。多くの代替的または付加的な機能的関係、または、物理的または仮想的な接続が、実践的な電子データ通信システム内に存在し得ることに留意されたい。

当業者によって理解されるであろうように、本開示は、方法、データ処理システム、データ処理のためのデバイス、および／またはコンピュータプログラム製品として具現化され得る。故に、本開示は、完全にソフトウェアの実施形態、完全にハードウェアの実施形態、またはソフトウェアおよびハードウェアの両方の側面を組み合わせる実施形態の形態をとり得る。さらに、本開示は、記憶媒体内で具現化されたコンピュータ可読プログラムコード手段を有する、コンピュータ可読媒体上のコンピュータプログラム製品の形態をとり得る。ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光学記憶デバイス、磁気記憶デバイス、半導体記憶デバイス（例えば、ＵＳＢサムドライブ）、および／または同等物を含む、任意の好適なコンピュータ可読媒体が、利用され得る。

本明細書に含有される議論では、用語「ユーザインターフェース要素」および／または「ボタン」は、非限定的であるように理解され、限定ではないが、ハイパーリンク、クリック可能画像、および同等物等の他のユーザインターフェース要素を含む。

本開示は、本開示の種々の側面による、方法、装置（例えば、システム）、およびコンピュータプログラム製品のブロック図およびフローチャート図示を参照して以下に説明される。それぞれ、ブロック図およびフローチャート図示の各機能ブロックおよびブロック図およびフローチャート図示内の機能ブロックの組み合わせは、コンピュータプログラム命令によって実装され得ることを理解されたい。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能データ処理装置上で実行される命令が、フローチャートブロックまたは複数のブロックにおいて規定される機能を実装するための手段を生成するように、マシンを生成するために汎用コンピュータ、専用コンピュータ、モバイルデバイス、または他のプログラム可能データ処理装置上にロードされ得る。

これらのコンピュータプログラム命令はまた、コンピュータ可読メモリ内に記憶される命令が、フローチャートブロックまたは複数のブロックにおいて規定される機能を実装する命令手段を含む、製造品を生産するように、コンピュータまたは他のプログラム可能データ処理装置に、特定の様式で機能するように命令し得る、コンピュータ可読メモリ内に記憶され得る。コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能装置上で実行される命令が、フローチャートブロックまたは複数のブロックにおいて規定される機能を実装するためのステップを提供するように、一連の動作ステップをコンピュータまたは他のプログラム可能装置上で実施させ、コンピュータ実装プロセスを生産するために、コンピュータまたは他のプログラム可能データ処理装置上にロードされ得る。

故に、ブロック図およびフローチャート図示の機能ブロックは、規定された機能を実施するための手段の組み合わせ、規定された機能を実施するためのステップの組み合わせ、および規定された機能を実施するためのプログラム命令手段をサポートする。また、ブロック図およびフローチャート図示の各機能ブロック、およびブロック図およびフローチャート図示における機能ブロックの組み合わせは、規定された機能またはステップを実施する専用ハードウェアベースのコンピュータシステムまたは専用ハードウェアおよびコンピュータ命令の好適な組み合わせのいずれかによって実装され得ることを理解されたい。

当業者はまた、セキュリティの理由から、本開示の任意のデータベース、システム、またはコンポーネントが、単一の場所または複数の場所で、データベースまたはコンポーネントの任意の組み合わせから成り得、各データベースまたはシステムは、ファイアウォール、アクセスコード、暗号化、解読、圧縮、解凍、および／または同等物等の種々の好適なセキュリティ特徴のいずれかを含むことを理解するであろう。

本開示の範囲は、本明細書に与えられる実施例によってではなく、添付される請求項およびそれらの法的均等物によって判定されるべきである。例えば、任意の方法請求項に列挙されるステップは、任意の順序で実行され得、請求項に提示される順序に限定されない。さらに、「重要」または「不可欠」と本明細書に具体的に説明されない限り、いかなる要素も、本開示の実践に不可欠ではない。

図１を参照すると、本開示の実施形態による、ビデオ観察、監視、および照合を含む分析認識システムが、１００として示される。システム１００は、１つまたはそれを上回るカメラ１１０（例えば、アナログおよび／またはＩＰカメラ）からのビデオおよび１つまたはそれを上回るアンテナ１５０を用いて取得される他のデータを記録する能力を含む、ネットワークビデオおよびデータレコーダである。ビデオカメラ１１０は、接続１３０を横断してコンピュータ１２０に接続する。接続１３０は、ビデオをコンピュータ１２０に提供するアナログ接続であり得る、ビデオカメラ１１０とコンピュータ１２０との間にネットワーク接続を提供するデジタル接続であり得る、または接続１３０は、アナログ接続およびデジタル接続を含み得る。

各ビデオカメラ１１０は、コンピュータ１２０およびユーザインターフェース１２２に接続し、ユーザ接続をコンピュータ１２０に提供する。１つまたはそれを上回るビデオカメラ１１０は、それぞれ、個々の接続を介して接続し得、共通ネットワーク接続を通して、またはそれらの任意の組み合わせを通して接続し得る。

１つまたはそれを上回るアンテナ１５０は、１つまたはそれを上回るビデオカメラ１１０またはコンピュータ１２０に添着される、またはその中に含まれ得る、および／または１つまたはそれを上回るビデオカメラ１１０およびコンピュータ１２０から遠隔に位置し得る。１つまたはそれを上回るアンテナ１５０は、接続１３０を用いてコンピュータ１２０に通信可能に結合され得る、またはコンピュータ１２０のアンテナを用いてコンピュータ１２０と無線で通信し得る。

１つまたはそれを上回るアンテナ１５０は、種々のタイプのアンテナのうちのいずれか１つまたはそれらの組み合わせであり得る。１つまたはそれを上回るアンテナ１５０の例示的タイプは、ＷｉＦｉアンテナ、媒体アクセス制御（ＭＡＣ）アンテナ、Ｂｌｕｅｔｏｏｔｈ（登録商標）アンテナ、セルラーアンテナ、近距離無線通信アンテナ、無線周波数識別（ＲＦＩＤ）アンテナ、および全地球測位システム（ＧＰＳ）アンテナを含む。図１に示されるアンテナ１５０の例示的配列は、例証のみを目的として提供され、他の構成のアンテナ１５０も、想定されることを理解されたい。例えば、単一のカメラ１１０が、複数の異なるタイプのアンテナを含み得る。

本明細書により詳細に議論されるように、１つまたはそれを上回るアンテナ１５０は、本明細書の種々の例示的実施形態に従って、１つまたはそれを上回るアンテナ１５０の範囲内に位置する１つまたはそれを上回るモバイル通信デバイス（例えば、スマートフォン）からモバイル通信デバイスデータを捕捉し、捕捉されたモバイル通信デバイスデータを処理のためにデータ分析モジュール１４０に伝送するように構成される。アンテナ１５０は、アンテナの範囲内に位置するモバイル通信デバイスによって伝送されるデータを無線で受信することによって、モバイル通信デバイスデータを捕捉するように構成され得る。アンテナ１５０は、モバイル通信デバイスに周期的または連続的にｐｉｎｇすることによって、および／またはｐｉｎｇを使用することなく近傍モバイル通信デバイスによって伝送されるデータを周期的または連続的にリッスンおよび捕捉するように構成されることによって、近傍モバイル通信デバイスからデータを無線で受信するように構成され得る。

システム１００は、少なくとも１つのデータ分析モジュール１４０を含む。データ分析モジュール１４０は、コンピュータ１２０内および／またはビデオカメラ１１０のうちの１つまたはそれを上回るものの中に常駐し得る。データ分析モジュール１４０は、ビデオおよび／またはモバイル通信デバイスデータの処理を実施する。例えば、データ分析モジュール１４０は、ビデオから、および／またはモバイル通信データから非ビデオデータを生成するために、１つまたはそれを上回るアルゴリズムを実施する。非ビデオデータは、例えば、フレーム内に識別される物体、フレーム内に識別される物体の１つまたはそれを上回るプロパティ、およびフレームの事前定義された部分に関連する１つまたはそれを上回るプロパティ等、個々のフレームのコンテンツを記述する非ビデオフレームデータを含む。非ビデオデータはまた、２つまたはそれを上回るフレーム間の時間コンテンツを記述する、非ビデオ時間データを含み得る。非ビデオ時間データは、ビデオおよび／または非ビデオフレームデータから生成され得る。非ビデオ時間データは、２つまたはそれを上回るフレーム内に識別される物体の時間プロパティおよび２つまたはそれを上回るフレームの１つまたはそれを上回る事前定義された部分の時間プロパティ等の時間データを含む。非ビデオフレームデータは、識別される物体のカウント（例えば、物体は、人物および／またはその任意の部分、無生物物体、動物、車両、またはユーザ定義および／または開発された物体を含み得る）および１つまたはそれを上回る物体プロパティ（例えば、物体の位置、物体の任意の部分の位置、物体の寸法プロパティ、物体の一部および／または識別された特徴の寸法プロパティ）および関係プロパティ（例えば、第２の物体に対する第１の物体の位置）、またはフレーム内に識別され得る任意の他の物体を含み得る。物体は、ビデオに出現する物体またはビデオから除去された物体として識別され得る。物体は、ビデオに実際には出現しないが、調査目的、訓練目的、または他の目的のために追加され得る仮想物体として識別され得る。

本明細書の種々の例示的実施形態では、データ分析モジュール１４０は、それぞれ、ビデオカメラおよびアンテナによって捕捉されたビデオデータおよびモバイル通信デバイスデータを相関させ、ビデオデータおよびモバイル通信デバイスデータと関連付けられる人物のプロファイルを生成するように構成される。プロファイルは、捕捉されたビデオデータ、捕捉されたモバイル通信データ、および／または人物と関連付けられる他のタイプのデータ（例えば、名前、生年月日、住宅住所、および／または同等物）等のプロファイルデータを含み得る。

プロファイルは、捕捉されたビデオデータ、捕捉されたモバイル通信デバイスデータ、捕捉されたビデオまたはモバイル通信デバイスデータと関連付けられる時間データ、および／または捕捉されたビデオまたはモバイル通信デバイスデータと関連付けられる場所データを含み得る。捕捉されたビデオデータは、捕捉された静止画像および／または捕捉されたビデオ映像を含み得る。モバイル通信デバイスデータは、アンテナと通信するモバイル通信デバイスと関連付けられる、ＷｉＦｉ識別子、媒体アクセス制御（ＭＡＣ）識別子、Ｂｌｕｅｔｏｏｔｈ（登録商標）識別子、セルラー識別子、近距離無線通信識別子、および無線周波数識別子、および／または任意の他の識別子またはデータを含み得る。時間データは、対応するビデオデータが捕捉される時間および／または対応するモバイル通信デバイスデータが捕捉される時間を含み得る。場所データは、ビデオデータが捕捉される場所および／またはモバイル通信デバイスデータが捕捉される場所を含み得る。

データ分析モジュール１４０は、相関されたビデオデータおよびモバイル通信デバイスデータに基づいて、プロファイルに、ある施設への人物の訪問回数および／またはその施設への人物の訪問頻度を追加するように構成され得る。データ分析モジュール１４０はまた、第１のソース（例えば、非政府データベース、政府データベース、および１つまたはそれを上回る以前に生成されたプロファイル）から取得されたデータを、捕捉されたビデオデータ、捕捉されたモバイル通信デバイスデータ、相関されたビデオおよびモバイル通信デバイスデータ、および／またはプロファイルと比較し、比較に基づいて人物を識別するように構成され得る。

データ分析モジュール１４０はまた、捕捉されたビデオおよび／またはモバイル通信デバイスデータに基づいて、特定の施設または場所における人物の到着時間および／または出発時間を判定するように構成され得る。データ分析モジュール１４０は、到着時間および／または出発時間に基づいて、ビデオデータおよびモバイル通信デバイスデータを相関させ得る。本時間ベースの相関は、例えば、データ分析モジュール１４０が、モバイル通信デバイスデータの特定のアイテム（例えば、ＷｉＦｉ識別子）をビデオ上に捕捉された特定の人物と関連付けることを可能にし得る。

一実施例では、ビデオカメラ１１０は、システム１００内に含まれる複数のビデオカメラ１１０のうちの１つであり得、ビデオカメラ１１０は、それぞれ、ビデオデータの複数のセットを捕捉するように構成され得る。同様に、アンテナ１５０は、本システム内に含まれる複数のアンテナ１５０のうちの１つであり得、複数のアンテナ１５０は、それぞれ、モバイル通信デバイスデータの複数のセットを捕捉するように構成され得る。データ分析モジュール１４０はまた、ビデオデータおよびモバイル通信デバイスデータの複数のセットを相関させ、個別のビデオデータおよびモバイル通信デバイスデータと関連付けられる複数の人物に関する個別のプロファイルを生成するように構成され得る。ビデオカメラおよびアンテナは、複数の異なる場所および／または施設に位置し得る。

別の実施例では、データ分析モジュール１４０は、ビデオデータ、モバイル通信デバイスデータ、プロファイルデータ、および／またはユーザ入力された基準（例えば、以下に説明される調査モジュール８００を介して入力される）に基づいて、人物をポジティブリスト、未判定リスト、またはネガティブリストに割り当てるように構成され得る。データ分析モジュール１４０はまた、ビデオデータ、モバイル通信デバイスデータ、および／またはプロファイルが、従業員または事前判定された人物のリスト上の人物に対応することを判定するように構成され得、その判定に基づいて、人物をポジティブリストに割り当て得る。

本明細書のいくつかの例示的実施形態では、データ分析モジュール１４０は、人物の挙動を検出し、挙動に対応する挙動データをプロファイル内に記憶するように構成され得る。データ分析モジュール１４０は、例えば、ビデオデータおよび／またはモバイル通信デバイスデータから挙動情報を抽出することによって、人物の挙動を検出するように構成され得る。挙動は、特定の方向を見る、商品アイテムに手を伸ばす、商品アイテムを購入する、施設において経路に沿って進行する、施設における通路または場所を訪問する、施設においてある時間量を費やす、施設における場所においてある時間量を費やす、および／またはいくつかの別個の事例にわたって施設を訪問する人物を含み得る。データ分析モジュール１４０はさらに、プロファイル内に記憶された施設訪問データに基づいて、人物を施設における新規顧客またはリピート顧客として分類するように構成され得る。データ分析モジュール１４０は、人物が施設における新規顧客であるか、またはリピート顧客であるかのインジケータをプロファイルに追加する、またはプロファイル内で更新し得る。データ分析モジュール１４０は、いくつかの場合では、ビデオデータ、モバイル通信デバイスデータ、および／またはプロファイルデータを、施設における通路場所のマッピング、施設における商品場所のマッピング、および／または施設における棚場所のマッピングと相関させることによって、人物の挙動を検出するように構成され得る。

本明細書のいくつかの例示的側面では、データ分析モジュール１４０は、捕捉されたビデオおよび／またはモバイル通信デバイスデータに基づいて、特定の挙動に対応する場所データを生成し、対応する挙動データと関連してプロファイル内に場所データを記憶するように構成され得る。

データ分析モジュール１４０は、カメラ１１０内に位置付けられ、ビデオツービデオデータおよび非ビデオデータを変換し、ビデオデータおよび非ビデオデータをネットワークを経由してコンピュータ１２０に提供し得る。したがって、システム１００は、ビデオ処理をネットワークのエッジに分散し、それによって、コンピュータ１２０によって実施されるように要求される処理量を最小限にする。

コンピュータ１２０は、ユーザ挙動を監視するためのソフトウェアを備えるコンピュータ可読媒体を含み、そのソフトウェアは、コンピュータ１２０によって実行されると、コンピュータ１２０に動作を実施させる。ユーザインターフェース１２２は、コンピュータ１２０にインターフェースを提供する。ユーザインターフェース１２２は、コンピュータ１２０に直接接続する、またはユーザネットワークを通してコンピュータ１２０に間接的に接続し得る。システムユーザインターフェース１２２はまた、ユーザから１つまたはそれを上回る基準を受信するように構成され得、プロファイルが基準に基づいてマイニングされることを可能にし得る。本明細書のいくつかの例示的実施形態では、ユーザインターフェース１２２は、以下にさらに詳細に説明されるように、調査モジュール８００をホストし得る。

ユーザ挙動は、活動、不活動、移動、複数の事象発生、時間的事象、外部から生成された事象、またはそれらの任意の組み合わせによって定義される。特定のユーザ挙動が、定義され、コンピュータ１２０に提供される。

活動は、物体を手に取ることを含み得、物体は、特定の場所に配置または放置されている。活動は、扉、引き出し、またはコンパートメントの開放等、特定の物体を移動させることを含み得る。活動は、手をポケット内に配置すること、または特定の場所において繰り返し自身に触れること（武器が隠されている可能性があるインジケーション）等、身体部分を位置付けること（または再位置付けすること）を含み得る。活動は、特定の位置に移動すること、第１の個人が第２の個人と関わること、および／または手、腕、脚、および／または足を特定の運動において移動させることを含み得る。活動はまた、例えば、セキュリティ人員またはセキュリティカメラ１１０を直接見ること等、頭部を特定の方向に位置付けることを含み得る。種々の他の実施例が、本明細書の上記に議論されている。

不活動は、物体に手を伸ばすことに失敗することを含み得、物体は、落下する、または位置付けられ、個人（例えば、物体）は、落下した物体を回収しない。不活動はまた、特定の場所へ歩行することの失敗または特定のタスクを実施することの失敗を含み得る。例えば、防犯扉がロックされていることを確認することは、これが開放されないであろうことを確実にするために、扉に接近する活動および扉を叩く活動を要求するであろう。したがって、ユーザ挙動は、扉が開放されないであろうことを確認するための、扉に接近することの不活動および／または扉を叩くことの不活動として定義され得る。不活動の種々の他の実施例が、本明細書の上記に議論されている。

時間的事象は、唐突に店舗を出る顧客、店舗入口または出口に滞在する個人、ある閾値を超える時間期間にわたって特定の場所に留まる個人の識別を含み得る。時間的事象の種々の他の実施例が、本明細書の上記に議論されている。

ユーザは、特定のユーザ挙動を識別し、コンピュータ１２０内に特定のユーザ挙動の特性を提供および／または定義し得る。コンピュータ１２０は、カメラ１１０から非ビデオデータを受信し、非ビデオデータは、挙動情報データを含む。特定のユーザ挙動は、挙動のモデル１４３によって定義され得、モデル１４３は、サイズ、形状、長さ、幅、縦横比、または任意の他の好適な識別または識別可能属性（例えば、タトゥーまたは本明細書に議論される他の種々の実施例）等の１つまたはそれを上回る属性を含む。コンピュータ１２０は、特定のユーザ挙動の定義された特性および／またはモデル１４３を定義された非ビデオデータ内のユーザ挙動と比較する、コンパレータ等の合致アルゴリズムまたは合致モジュール１４１を含む。合致アルゴリズムまたはモジュール１４１による合致のインジケーションは、調査を生成し、調査は、合致アルゴリズム１４１によって識別されたビデオデータおよび／または非ビデオデータを含む。調査は、識別された事象に関連するデータの集合であり、概して、着目挙動を記録する。したがって、調査は、特定の挙動を理解するために、さらなる精査および調査を要求する。

調査は、合致または識別を細かく調べ、アラートするために、所与のネットワーク上で他のカメラまたはシステムに送信される、またはネットワークのコミュニティにわたって提供され得る。合致アルゴリズム１４１は、独立したモジュールとして構成される、またはコンピュータ１２０または任意のカメラ１１０内のデータ分析モジュール１４０の中に組み込まれ得る。データ分析モジュール１４０はまた、特定のユーザ挙動のモデル１４３および非ビデオデータを比較するように構成される、コンパレータモジュール１４２を含み得る。

特定のユーザ挙動は、観察カメラ１１０に向かって頭部を位置付けることが、事前設定された期間を超える、またはマネージャのオフィスに向かって直接頭部を位置付けることが、事前設定された期間を超えるとして定義され得る。本特定のユーザ挙動は、顧客が、窃盗中に検出されることを防止しようとして、店舗内の観察カメラ１１０を識別しようとすること、または従業員が、マネージャが自身の挙動を観察しているかどうかを判定しようとしていることを示す。データ分析モジュール１４０は、物体の頭部位置を識別する非ビデオデータを生成するためのアルゴリズムを実施する。ビデオ分析モジュール１４０はまた、顔および／または眼の方向を示すベクトルを提供し得る。合致アルゴリズム１４１は、頭部位置および／または顔の方向を示すベクトルが事前設定された期間を超えているかどうかを判定するために、非ビデオデータを検索する。合致は、調査の生成をもたらす。

図２を参照すると、本開示の実施形態による、データ／ビデオ／画像シーケンサが、２００として示される。シーケンサ２００は、ビデオの種々のソース（例えば、１つまたはそれを上回るビデオカメラ１１０の種々のもの）から、および／または１つまたはそれを上回るアンテナ１５０の種々のものから、ビデオ、ビデオデータ、非ビデオデータ、ビデオシーケンス、静止画像、および／またはモバイル通信デバイスデータを受信するように構成される。例えば、連続的ビデオが、場所１および２から提供され得る一方、運動のみのデータが、場所７から提供され得る。短い持続時間のビデオクリップが、場所３および６から提供され得、静止画像が、場所４および５から提供され得る。モバイル通信デバイスデータが、場所１−７から提供され得る。本データは、任意の好適な通信媒体（例えば、ＬＡＮ、ＷＡＮ、イントラネット、インターネット、有線、モデム接続、無線等）によってシーケンサ２００に通信され得る。図２に示されるように、各場所からのデータは、例えば、連続的に、事前判定されたレートにおいて周期的に、非同期的に、トリガの受信に応答して、および同等物等、任意の好適な様式で通信され得る。

シーケンサ２００は、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータを提供されるデータからタイムスタンプを生成する。タイムスタンプは、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータの中に内蔵される、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータの一部として提供され得る、またはタイムスタンプは、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータを含有するファイルを提供され得る。代替として、シーケンサ２００は、ユーザ入力されたデータを受信するように構成され、含まれるタイムスタンプ情報が、各入力と関連付けられ得る。

シーケンサ２００は、加えて、または代替として、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータを提供されるデータから地理的場所を生成し得る。地理的場所情報は、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータに内蔵される、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータの一部として提供される、またはビデオデータ、画像データ、および／またはモバイル通信デバイスデータを含有するファイルを提供され得る。例えば、ビデオ、画像、および／またはモバイル通信デバイスデータは、画像が撮られた場所を識別するために使用され得る、ランドマーキング特徴を含有し得る。

シーケンサ２００は、加えて、または代替として、ビデオデータおよび／または画像データに関する視野データ（以降では、「ＦＯＶデータ」）を生成し得る。ＦＯＶデータは、カメラ場所情報から取得される、ビデオ内に含有される情報（例えば、ランドマーク識別）から取得される、および／またはユーザによって入力され得る。シーケンサ２００は、加えて、または代替として、モバイル通信デバイスデータに関するアンテナ範囲データを生成し得る。アンテナ範囲データは、アンテナ１５０の場所情報から取得される、モバイル通信デバイスデータ内に含有される情報から取得される、および／またはユーザによって入力され得る。

図３は、シーケンサ２００によって生成される画像マップ３００および関連付けられるタイムライン３１０の図示である。シーケンサ２００は、タイムスタンプデータ、地理的場所データ、ＦＯＶデータ、および／またはアンテナ範囲データを利用し、シーケンサ２００に提供される全てのビデオデータ、画像データ、および／またはモバイル通信デバイスデータ（またはそれらの任意の部分）から画像マップ３００およびタイムライン３１０を組み立てるように構成され得る。

ユーザは、シーケンサ２００に特定の時間および／または時間フレームを提供し得、シーケンサ２００は、特定の時間に関連する全てのビデオ、画像、および／またはモバイル通信デバイスデータを提供する。時間および／または時間フレームは、タイムライン３１０上で選択され得、画像マップ３００は、選択された時間および／または時間フレームに関連する全てのビデオデータ、画像データ、および／またはモバイル通信デバイスデータを含むように更新され得る。

ユーザは、加えて、または代替として、シーケンサ２００に選択された場所を提供し得、シーケンサは、その特定の場所に関連する全てのビデオデータ、画像データ、および／またはモバイル通信デバイスデータを提供する。選択された場所は、画像マップ３００上で選択される、または地理的場所データとしてシーケンサ２００に提供され得る。

ユーザは、加えて、または代替として、シーケンサ２００に、地理的場所に加えて、特定の時間および／または時間フレームを提供し、その特定の場所に関連する全てのビデオデータ、画像データ、および／またはモバイル通信デバイスデータをさらに絞り、分離し得る。

特定の時間後、時間フレームおよび／または地理的場所は、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータを識別するために使用され、ユーザは、本明細書に説明される検索アルゴリズム、方法、およびシステムを利用し、ビデオデータ、画像データ、および／またはモバイル通信デバイスデータ内に含有される特定の着目アイテム、パターン、および／または個人を識別し得る。

本開示は、（これと併用され得る）顔認識ソフトウェアの範囲を超えて、以下に説明されるように、追跡および／または調査目的のための付加的アルゴリズムおよび分析を提供する。加えて、ある事例では、顔認識が、誰かまたは何かをフラグ化または追跡するために利用される必要はなく、本説明されるシステムは、ある道徳、連邦法、または現地法に対して配慮がないと分かり得る顔認識ソフトウェアまたはアルゴリズムを伴わずに採用され得る。

本開示はまた、事前プログラムされたパラメータに基づくリアルタイム／ポストタイム物体追跡、例えば、人物上のある物体の形状、色、サイズ、数、特定の状況に対する奇異性（例えば、華氏８０度の暑いときの冬物コート）、一連の特定の時間フレームにわたる特定の物体の類似性（特定のエリア内の類似するアイテム、例えば、バックパック）、事前設定された時間期間にわたる人物からの注意が必要な物体の分離、特定のエリア内の奇妙な物体、注意が必要な物体に近接して配置される物体、類似するエリア内に配置され、人物から分離されている類似する物体、特定の色の対比および組み合わせ（例えば、黒いシャツの下に暴露される赤いシャツ、または黒い髪の上の白い帽子）に基づく、種々の事前プログラムされた（または事後プログラムされた）既知の物体または手動でプログラムされた物体のリアルタイムおよびポストタイム分析、認識、追跡のための分析認識システムに関連する。

プログラムされる物体は、（携行する人物の数、携行する人物の歩き方、物体が携行される方法等によって判定されるような）または物体のルックアップライブラリおよびマッピングアルゴリズムに基づく、特定の既知の形状、サイズ、色、または重量を伴う物体を含み得る。これらの物体は、分析ソフトウェアに事前プログラムされ、分析のためにリアルタイムおよび／またはポストタイムで追跡され得る。手動でプログラムされる物体は、色、サイズ、形状、重量等によってソフトウェアに入力され、異常な条件を判定するために、または他の目的のために、リアルタイムおよび／またはポストタイムで分析および追跡され得る。手動でプログラムされる物体、例えば、顔認識画像、タトゥー、ピアス、ロゴ、または以下により詳細に説明されるような他の印が、分析のためにリアルタイムでアップロードされ得る。加えて、ユーザ生成されたアイテムおよび／または画像が、ビデオデータ（例えば、フレームデータ）および／または静止画像から生成され、分析のために提供され得る。例えば、図４の分析認識システム４００に示されるように、静止画像および／またはビデオフレーム内に識別される（または本明細書に説明される異常な条件のうちの１つの結果として識別される）物体４１０（例えば、帽子、バックパック、衣服、または任意の識別可能な特徴）が、事前設定された時間量（時間的事象）にわたって個人４０５から分離され、ライブビデオ４２０において識別のためにユーザ生成されたアイテム４１０’として提供される、または記憶されたビデオ４２５、例えば、ビデオフレームおよび／または静止画像において検索および識別され得る。

人物４０５は、それによって１つまたはそれを上回る信号（例えば、モバイル通信デバイスデータ）が無線で伝送される、１つまたはそれを上回るアンテナ（図４に図示せず）を具備するモバイル通信デバイス４４０（例えば、スマートフォン）を保有し得る。そのようなモバイル通信デバイスデータの実施例は、モバイル通信デバイス４４０が、ＷｉＦｉ通信プロトコル、媒体アクセス制御（ＭＡＣ）ベースの通信プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコル、セルラープロトコル、近距離無線通信プロトコル、および無線周波数識別プロトコル等の１つまたはそれを上回る無線通信プロトコルに従って伝送する信号（例えば、ハンドシェイク信号）を含む。上記に議論されるように、１つまたはそれを上回るアンテナ１５０は、本明細書の種々の例示的実施形態に従って、これが１つまたはそれを上回るアンテナ１５０の範囲内に位置するとき、モバイル通信デバイスによって伝送されるモバイル通信デバイスデータを捕捉し、捕捉されたモバイル通信デバイスデータを処理のためにデータ分析モジュール１４０に伝送するように構成される。

システム４００は、ビデオおよび非ビデオデータ（例えば、モバイル通信デバイスデータ）のリアルタイムおよび／またはポストタイム分析および特定のエリア内または特定のカメラビュー内のバックパック４１０を伴う全ての人物の追跡を実施するように構成される、データ分析モジュール１４０を含み得る。１人またはそれを上回る人物の疑わしい挙動および／または着目挙動が、追跡および記録され、リアルタイムまたはポストタイムのいずれかで分析され得る。例えば、図４に識別されるように、バックパック４１０が、人物４０５から分離され、事前判定された時間期間にわたって放置される場合、本ビデオは、リアルタイムアラートおよび／またはポストタイム分析のためにフラグ化され得る。物体、例えば、バックパック４１０は、フラグ化され、後の分析のためにタイムスタンピングされる、および／または個々のビデオストリームに分離され得る。ユーザは、リアルタイムまたはポストタイム分析において、高解像度追跡のために、または本明細書に議論されるようなデータ／ビデオ／画像シーケンサ２００への組み込みのためにズームインすることができる。事前プログラムされた疑わしい物体、例えば、バックパック４１０（または画像のライブラリ４３０、（入力デバイスを介して）ユーザ生成された画像／オブジェクト４３５、またはあるマッピングアルゴリズムまたはモジュール１４０によって認識される任意の他の物体）を落とした人物４０５は、リアルタイムアラートおよび／またはポストタイム分析のために追跡および分析され得る。システム４００は、１つまたはそれを上回るカメラ１１０、カメラ１１０、１１０ａ、１１０ｂのネットワーク、１つまたはそれを上回るアンテナ１５０、および／またはアンテナ１５０のネットワーク等を通して、リアルタイムまたはポストタイム分析のために、物体４１０の追跡および人物４０５のフラグ化および追跡の両方を行い得る。

別の実施例では、システム４００は、夏に冬物コート、晴れたときに長いレインコートを着用する人物等を、アラート目的またはポストタイム分析のためにリアルタイムでフラグ化および追跡し得る。これもまた、アラートまたは異常な条件として分類されるであろう。

システム４００は、１つまたはそれを上回る異常なシナリオ（またはその組み合わせ）に関してアラートするために、事前プログラムされた分析を組み合わせることが可能であり得る。例えば、セミオートマチックまたはオートマチックライフルを携行することが可能なケースを携行する人物および事前判定された時間期間にわたって注意が必要な建物の外側を徘徊するその人物は、自動的にフラグ化され、追跡され、アラートが、セキュリティに送信され得る。

システム４００は、特定の物体を追跡および分析することが可能であり得、ソフトウェアまたはデータ分析モジュール１４０は、後で取得されるビデオストリームおよび／または静止画像内で同一の物体を識別するように事前プログラムされ得る。例えば、特定の重要な人物が、記者会見を行うようにスケジューリングされる、または具体的時間に特定の場所に到着するようにスケジューリングされる。スケジューリングされた事象は、（意図的にまたは意図せず）延期される。ソフトウェアまたはデータ分析モジュール１４０は、リスケジューリングされた事象のために新しく生成されたビデオ内に出現するある物体（または物体４１０を伴う人物またはユーザ生成されたオブジェクト４３５）を認識するように事前プログラムされ得る。ある事例では、スケジューリングされた事象の元々の時間からのオリジナルビデオが、精査され得、ユーザは、現在のリスケジューリングされた事象のリアルタイムビデオ映像内のある「リピート」物体４１０（バックパック、コート、帽子、衣類、ブリーフケース、人物等）を探すようにソフトウェアまたはデータ分析モジュール１４０を事前プログラムし得る。人物はまた、徘徊者として分類され、後のスケジューリングされた事象における精査のためにフラグ化され得る。それが着目人物であった場合、警告が、テープを精査するセキュリティチームにリアルタイムで送信されることができる。

データ分析モジュール１４０は、異常なパターンの挙動または予期せぬパターンの挙動を認識し、セキュリティまたは調査者に潜在的に異常なシナリオ、事象、または条件をアラートするように構成され得る。ビデオおよび／またはデータは、リアルタイム分析または事象後分析のために構成され得る。例えば、データ分析モジュール１４０は、特定の地理的エリアに向かう集中パターンおよび／または特定の地理的エリアから離れる拡散パターンを認識するようにプログラムされることができる。全地球測位ソフトウェアおよびベクトル化が、本目的を遂行するために利用され得る。集中パターンおよび／または拡散パターンの認識は、潜在的なフラッシュモブ、集団強盗、または他の異常な事象を自動的に認識する際に有用であり得る。例えば、図５に示されるように、分析認識システム５００は、特定の時間５２２またはその付近で特定の場所５２０に到着する異常な数の常連客５０４ａ−５０４ｌを追跡するように構成され得る、データ分析モジュール１４０を含む。データ分析モジュール１４０はまた、特定の場所５２０に到着する、またはそれから出発する常連客５０４ａ−５０４ｌおよび／または個人の異常な速度を追跡するように構成され得る。典型的な到着および／または出発速度が、事前設定される、または、事前設定された時間または可変量の時間にわたって特定の場所に到着した、またはそれから出発した可能性のある以前の個人のアルゴリズムから取得され得る。到着および／または出発速度からの逸脱は、異常な条件をトリガし得る。

図５に明示的に示されないが、人物５０４のうちの１人またはそれを上回る人は、それによって１つまたはそれを上回る信号（例えば、モバイル通信デバイスデータ）が無線で伝送される１つまたはそれを上回るアンテナを具備する、１つまたはそれを上回る対応するモバイル通信デバイス４４０（例えば、スマートフォン）を保有し得る。上記に議論されたように、本明細書の種々の例示的実施形態に従うと、１つまたはそれを上回るアンテナ１５０は、それらが１つまたはそれを上回るアンテナ１５０の個別の範囲内に位置するとき、モバイル通信デバイス４４０によって伝送されるモバイル通信デバイスデータを捕捉し、捕捉されたモバイル通信デバイスデータを処理のためにデータ分析モジュール１４０に伝送するように構成される。

データ分析モジュール１４０および１つまたはそれを上回るカメラアレイまたはシステム５１０ａ−５１０ｇを伴うセキュリティシステム５００は、事前設定された時間にわたって特定の地理的エリア５２０に向かって集中する異常な数の人物を認識するように構成され得る。データ分析モジュール１４０は、１つまたはそれを上回る集中パターンを評価するために、ベクトル分析および／または画像およびデータベクトル分析アルゴリズムおよび／または機械学習アルゴリズムを利用するように構成され得る。さらに、システム５００は、衣類、年齢、携行されている物品（例えば、ブリーフケース、バックパック、他の類似するアイテム）における類似性を認識し、セキュリティまたは調査者に可能性として考えられる異常な条件をアラートするように構成され得る。これは、いわゆる「フラッシュモブ」またはパレード、マラソン、政治スピーチ等の間の他の非常に注意が必要な状況を認識する際に有用であり得る。

拡散パターンおよび／または速度は、特定のエリア５２０から出発する個人の通常ではないパターン識別するために使用され得る。例えば、パニックのような状況の場合では、個人の拡散速度は、事前設定または計算された平均拡散速度を上回ることが予期される。したがって、平均速度またはパニックのような速度を下回る速度において特定のエリアおよび／または状況から離れる１人またはそれを上回る個人の識別は、場合によっては人物が特定のパニックのような状況をもたらした、またはそれを認知していたという事実に起因して、個人がパニックのような状態になかったことを示し得る。さらに、平均速度よりも速くエリアを離れる人物は、「ある事象から逃れている」、例えば、強盗から逃れている、または次の爆発から逃れている場合がある。

データ分析モジュール１４０はまた、特定の場所および／または事象に関連するウェブトラフィックおよび／またはソーシャルメディアサイト（Ｆａｃｅｂｏｏｋ（Ｒ）、ＭｙＳｐａｃｅ（Ｒ）、ＬｉｎｋｅｄＩｎ（Ｒ））を監視し、その性質のアラートをセキュリティに提供する、または事象または地理的エリアに関連するウェブトラフィックを集中パターンを認識するビデオ分析と組み合わせ、潜在的なフラッシュモブまたはギャング強盗をアラートするように構成され得る。データ分析モジュール１４０はまた、集中パターンが認識されると、逆に機能し、ウェブトラフィックまたは種々のソーシャルメディアサイトにアクセスし、これらのサイトのうちの１つまたはそれを上回るものにｐｉｎｇし、場合によってはより多くのパターンアクティビティを明らかにするために、または特定の場所におけるフラッシュモブ事象を明らかにするために、付加的情報を収集し得る。

データ分析モジュール１４０はまた、特定のタイムスタンプに先行するアクティビティに関してウェブトラフィックまたはソーシャルメディアサイトを監視するように構成され得る。例えば、特定の事象と同時に起こる、またはそれに先行する特定の事象に関する哀悼を伝えるソーシャルメディア投稿は、その事象の予示を示し、来る事象の事前知識を示し得る。

システム５００およびデータ分析モジュール１４０は、事前プログラムされた異常な条件または手動でプログラムされた条件をリアルタイムで判定するために、１つまたはそれを上回る路上カメラ、駐車場カメラ、店舗／モールカメラ、または他のカメラシステム５１０ａ−５１０ｇからのビデオおよび／またはモバイル通信デバイスデータを分析するように構成され得る。システム５００は、異常な数の自動車が特定のスポット（例えば、ショッピングモール）に集中している場合、アラートを提供し、何人の人物が特定の店舗または場所に集中しているかを確認するためにその情報を駐車場監視カメラからの映像と結合し、特定の時間またはデルタ時間における特定のスポットにおける徘徊を判定するためにその分析を店舗内カメラと結合するように構成され得る。これは、フラッシュモブまたはギャング強盗の典型的な挙動である。再び、システム５００は、付加的情報および／または確認のために、１つまたはそれを上回るソーシャルメディアサイトに接続し得る。

同様に、ビデオおよび／またはモバイル通信デバイスデータから取得される、接近する自動車の速度パターンおよび／または個人がそれらの自動車から出発する速度もまた、異常な条件を示し得る。

データ分析モジュール１４０がリアルタイムおよび／またはポストタイムで実施し得る分析の他の実施例は、ギャングタイプ認識に関連し得る。例えば、図６の分析認識システム６００は、ギャングの色および／または色の組み合わせおよび／またはパターンを認識し、特定の色または色の組み合わせおよび／またはパターンを伴う異常な数の個人（または異常な割合の個人）が、特定の地理的エリア上に集合している、またはそこにおいて徘徊している場合、ビデオ６１８をフラグ化する、および／またはセキュリティにアラートするように構成され得る。データ分析モジュール１４０は、個人または複数の個人６０５ａの特定の特性または特質６１５、例えば、衣類、帽子類、パンツスタイル、シャツ／コートの色、これが着用される様式、シンボル、コートのロゴ、タトゥー、ピアス、髪型、ハンドジェスチャ、自動車、モータバイク等を認識し、セキュリティに異常な条件またはコンピュータ６２０内に以前の画像６２５として記憶される以前の調査をアラートするように事前プログラムされ得る。代替として、および／または加えて、データ分析モジュール１４０は、個人６０５ａのモバイル通信デバイス４４０ａのモバイル通信デバイスデータ（例えば、セルラー識別子）を認識し、セキュリティに既知の着目人物であり得る個人６０５ａの存在をアラートするように事前プログラムされ得る。これらの個人６０５ａは、事前設定された時間期間にわたって、または人物がエリアを離れるまでフラグ化および追跡され得る。群衆における特定の常連客のグループの全体的画像および特性６１５（色、ユニホーム、帽子類、衣類スタイル、髪型、ロゴ、ピアス、タトゥー、シンボル、他のギャング関連の印、自動車、モータバイク、または衣類等）が、認識され、アラートをトリガし得る。データ分析モジュール１４０は、特定の群衆におけるｘ％の個人が、特定の特質６１５を有していること、例えば、同一のタトゥー、赤いシャツ、同一のロゴを有していること、髪型に具体的物体が付いていること等のアラートを提供し得る。データ分析モジュール１４０は、特定の群衆における事前判定された数の個人が特定の特質６１５を有しているという評価に基づいて、アラートを提供するように構成され得る。

データ分析モジュール１４０は、多数の異常な条件のグラフ表現を提供し、１つまたはそれを上回る異常な条件のパターンまたは非常に高いレベル（および／または事前判定されたレベル）の認識をより良好に促進するように構成され得る。これは、より多くの数のパターンが、１つまたはそれを上回る個人によって追跡および分析されることを可能にし得る。データ分析モジュール１４０はまた、個人間の接触を認識し得、接触は、物理的接触（例えば、握手、抱擁、または物体の交換）であり得る、または接触は、非接触（例えば、会話への従事、長期のアイコンタクト、またはそれらの間の認知を示すであろう他の非物理的接触への従事）であり得る。

他のアラートタイプの条件は、異常なシナリオに関連し得、データ分析モジュール１４０は、特定のエリアに関して通常ではない、個人６０５ｂによって携行されている物体を認識する。例えば、図６に示されるように、モール６２３内でピッチフォークまたはシャベル（図示せず）を携行する人物またはモール６２３内でバット６１６を携行し、特定のエリア上に集中するグループ（６０５ｂおよび６０５ｃ）である。再び、ビデオのリアルタイム分析は、最も有用であり、セキュリティに異常な条件のアラートを提供するであろう。事後分析は、ある事象が起こる場合、支援のために当局が呼ばれるとき、犯罪者を判定するために有用であり得る。

本明細書に留意される前述のシナリオまたはアラートのいずれかを用いて、データ分析モジュール１４０は、画像またはアルゴリズムのビデオライブラリ６５０と協働する、および／または集約されたモバイル通信デバイスデータの１つまたはそれを上回るデータベースと協働し、アラートをトリガする、またはクエリに応答し得る。ライブラリ画像および／またはユーザ生成された画像６５０等の付加的画像が、データ分析モジュール１４０に入力として提供され、データ分析モジュール１４０の認識側面を通してビデオを分析するために使用され得る。これは全て、リアルタイムで、またはポストタイム分析中に起こり得る。再び、クエリが、特定の目的に応じて入力され得、システム１００、２００、３００、４００、５００、および／または６００は、リアルタイムまたはポストタイムで、クエリが行われた条件に関してビデオを分析することができる。

システム１００、２００、３００、４００、５００、および／または６００は、３次元顔認識を実施するように構成され得る。システム１００、２００、３００、４００、５００、および／または６００は、衣類タイプ、ピアス、タトゥー、髪型等に基づいて、調査における個人または注意人物６０５ａ（または前科者）を認識するように手動でプログラムされ得る（組織の権限（ＦＢＩ対地方のモールセキュリティ）に応じて利用されることもあり得る顔認識以外）。注意人物７０５ａの画像が、データ分析モジュール１４０に走査され得、ピアス、タトゥー、髪型、ロゴ、および帽子類等のアイテムが、リアルタイムまたはポストタイム分析において後で分析するために、フラグ化され、画像データベースにアップロードされ得る。例えば、窃盗犯６０５ａがコンビニエンスストアを略奪し、その人物の顔画像が１つまたはそれを上回るカメラ６１０上に捕捉される場合、その人物の画像だけではなく、他の識別情報または特性または特質６１５、例えば、髪型、タトゥー、ピアス、宝石、衣類ロゴ等も同様に、全ての店舗カメラ６１０にアップロードされ得る。窃盗犯６０５ａが再び店舗に進入する場合、アラートが、セキュリティに自動的に送信されるであろう。本システムが異なる人物上の類似するタトゥーまたはピアスパターンまたはロゴ６１５を認識する場合であっても、その人物は、当局による尋問のために注意人物と見なされ得る。再び、これは、単なる顔認識の範囲を超え、そのいわゆる異なる人物は、必ずしも、フラグ化および追跡されないであろう。

システム１００、２００、３００、４００、５００、および／または６００はまた、特定の場所に定期的に来る、または訪問する個人および／または常連客のライブラリを生成し、それによって、これらの特定の個人を追跡する必要性を排除し、システム１００、２００、３００、４００、５００、および／または６００が、以前に識別されておらず、ライブラリ内に保存されていない個人の識別および追跡に焦点を当てることを可能にし得る。常連客のライブラリ（図示せず）はまた、販売時点（ＰＯＳ）システムにリンクし、それによって、識別され、ライブラリ内に記憶された個人が通常の常連客であることを検証し得る。

図７に最良に示されるように、別の分析認識システム７００が、店舗チェーン、モール、またはある町またはコミュニティ内の一連の店舗７５０と併用されるデータ分析モジュール１４０とともに示される。店舗のコミュニティまたは店舗チェーン７５０ａ−７５０ｅは、同一のデータ分析モジュール１４０を利用して（または画像７２４をアップロードし、個々の店舗分析システム７４０ａ−７４０ｅ上で情報を識別して）カメラ７１０ａ−７１０ｅのネットワークを横断して、ビデオ画像７２４、モバイル通信デバイスデータ、および／または既知の犯罪者７０５の特性または特質の他の識別情報を共有することが可能である。これらの地方の店舗所有者または店舗チェーン７５０ａ−７５０ｅは、いったん人物７０５が店舗、例えば、店舗７５０ａに進入すると、（上記に説明されるような事前の特性または特質および／または画像および／または情報データベースに入力された識別情報に基づいて）既知の特定の着目個人７０５をフラグ化および追跡することによって、付加的損失を防止することが可能であり得る。アラートが、これらの個人（または個人のグループ）の地方当局に送信され得、それらの人物は、コミュニティネットワークに沿った駐車場カメラ、路上カメラ等を含む、カメラ７１０ａ−７１０ｅのネットワーク全体を通して追跡され得る。いったん個人７０５がフラグ化され、アラートが存在すると、自動車、自動車タイプ、自動車ルート、共犯者等に関連する他の情報も、捕捉され得る。さらに、システム７００内の全てのカメラ７１０ａ−７１０ｅおよび／またはアンテナ１５０ａ−１５０ｅは、リアルタイムで、および／またはポストタイム分析のために、個人７０５および共犯者をフラグ化および追跡するようにアラートされ得る。

種々の説明されるシステム１００、２００、３００、４００、５００、６００、７００、および８００はまた、「非接触」条件を伴う個人を識別するために利用され得る。例えば、建物の住人が、特定の個人がある近接範囲内に入ることを防止する、裁判所によって発行された接近禁止命令を有し得る。画像、例えば、７２４は、本システム、例えば、システム７００に入力され得、データ分析モジュール１４０は、個人７０５を識別し、通知および／または証拠書類を建物の住人および／または当局に提供し得る。同様に、政府生成データベース７２０が、システム７００に提供され得、データベース７２０は、特定の法的に義務付けられた登録プログラムにおいて識別される個人７０５の画像のライブラリ７２４を含む。

コミュニティは、本目的のために、カメラ７１０ａ−７１０ｅのコミュニティネットワークを設定するように選定し得る。地方企業の新しい所有者は、１回毎のサブスクリプション（例えば、金額）で分析のために（すなわち、地方でのアラートのために）特定の犯罪者の画像７２４、例えば、特に暴力的な犯罪者の画像７２４をアップロードすることを選び得、付加的識別情報が、全てのネットワーク化されたカメラ７１０ａ−７１０ｅ（またはさらにはスタンドアロンシステム）上にアップロードするためにコミュニティ全体に特に着目され得る一方、短時間の万引き犯は、着目されない場合がある。

データ分析モジュール１４０はまた、個人または注意人物のインジケータとして、ひきずり足、すり足、頭部の角度、歩幅、手の振り、ハンドジェスチャ等の歩き方を利用し得る。人物の歩き方は、指紋と同程度に個性的であり、変装した犯罪者を識別するために使用され得る。多くの変数が、個人の歩き方に寄与し、本情報は、データ分析モジュール１４０にアップロードされることができる（例えば、歩行速度、歩数頻度、脚間の角度、手／腕の位置、手／腕の振り、ひきずり足、すり足等）。

データ分析モジュール１４０はまた、ある回数の既知の画像または事象または習慣が、特定の時間期間以内に起こる（例えば、事前設定された時間期間以内にＸ回数自身の特定のエリアに触れること、武器を携行する、または隠すために既知のエリアを触れる、または握ること、Ｘ回数緊張して痙攣する、または急速に頭部を方向転換させること、横目でちらっと見ること、事前設定された時間期間以内にＸ回数ビデオカメラを見ること等）場合、セキュリティにアラートするように構成され得る。データ分析モジュール１４０は、事前設定された時間制限以内に異常または過剰な習慣または事象が起こること、または事前設定された時間期間以内に事象のいずれかの組み合わせが起こることに基づいて、セキュリティにアラートする、またはユーザに情報を提供するように構成され得る。例えば、手でズボンの上を握り、急速に頭部を方向転換させながら店舗を通って歩行する人物は、アラートまたは異常な状況をトリガし得る。別の実施例では、セキュリティが、フラグ化または強調され（またはシステム１００、２００、３００、４００、５００、６００、７００、および／または８００によってあるエリア内で別様に識別され）、その方向を繰り返し横目で見る、または自身の頭部をその方向に繰り返し方向転換させる注意人物が、アラートまたは異常な状況をトリガし得る。別の実施例では、典型的には、短い滞在時間を伴うエリア（例えば、化粧品エリアにおいて、女性の滞在時間は、典型的には、必ずしもではないが、長い一方、男性の滞在時間は、典型的には、短い）である店舗のエリア内で買い物をする、および／または長居する個人である。

上記に言及されるように、本開示の分析認識システム１００、２００、３００、４００、５００、６００、７００、および／または８００は、データ分析モジュール１４０にある習慣的挙動を事前プログラムし、同一物を（リアルタイムおよび／またはポストタイムで）分析することによって、銃または武器検出を判定するために利用され得る。例えば、武器を格納するための既知のあるエリアを繰り返し掴み、ある歩き方で歩行する（例えば、ひきずり足での歩行は、ショットガンの携行を示し得る）人物は、武器を携行する人物のインジケーションであり得る。本情報は、アラートまたは異常な状況をトリガするために、他の識別情報または印（例えば、タトゥー、ギャングの色、ギャングのシンボル、ロゴ等）とともに分析され得る。別の実施例では、個人が、雨が降っていないとき、または夏の晴れた日にトレンチコートを着用し、横目で見ている、または頭部を方向転換させている。本事例では、データ分析モジュール１４０は、雨または温度または日照（日光）に関する何らかの感覚入力および／またはそのようなデータを提供するシステムへの接続を必要とするであろう。時刻もまた、例えば、より多くの強盗が起こる傾向がある夜のかなり遅く、または深夜過ぎにアラートをトリガするときにデータ分析モジュール１４０の「認識度」を高めるために、データ分析モジュール１４０の分析に事前プログラムされるトリガまたは付加的事象となり得る。

他の実施例では、データ分析モジュール１４０は、セキュリティ人員が、リアルタイムまたはポストタイムで分析認識システム１００、２００、３００、４００、５００、６００、７００、および／または８００にクエリを行うことを可能にし得る。「何人の赤い野球帽を冠った人物が５〜１０分のデルタ以内に店舗またはエリアに進入したか？」、「何人の人物が本時刻に、または本デルタ時間にわたって中央噴水に集中しているか？」、「何人の人物がデルタ分にわたって噴水において長居しているか？」他のクエリは、以下の命令を含み得る。「（華氏９０度の夏の日に）長ズボンまたは冬物コートを着用している人物を走査および認識／フラグ化／追尾／追跡する」、「赤い帽子を着用している人物を走査および認識／フラグ化／追尾／追跡する」、「複数のバックパックを携行している人物を走査および認識／フラグ化／追尾／追跡する」、「物体（例えば、持ち主不在のバックパック）を放置した人物を走査および認識／フラグ化／追尾／追跡する。システム、複数のシステム、物体のフラグ場所等にわたって人物を追跡する」、「注意が必要なエリアに近接して徘徊し、注意が必要なエリアに近接して物体を放置した人物を走査および認識／フラグ化／追尾／追跡する。システム、複数のシステム、フラグ場所にわたって人物を追跡する」、および／または「デルタ数の持ち主不在の物体が事前設定された時間に、または事前設定された時間にわたって放置されている場合、アラートする」。

別の実施例では、データ分析モジュール１４０は、リアルタイムビデオ処理および分析を実施し、物理的空間のビデオシーケンスの自動化処理によって、群衆パラメータ（例えば、リアルタイム群衆カウントまたはリアルタイム群衆密度推定）を判定するように構成され得る。ビデオ分析モジュール１４０は、群衆パラメータにおける変化率を判定するように構成される、１つまたはそれを上回るアルゴリズムを含み得る。群衆パラメータにおける変化率は、群衆集中または群衆拡散を示し得る。

群衆パラメータにおける変化率が事前判定された閾値を超えると、データ分析モジュール１４０は、アラートを自動的に発行する。例えば、群衆パラメータにおける変化率が群衆集中を示すと、データ分析モジュール１４０は、セキュリティに潜在的なフラッシュモブまたはギャング強盗をアラートし得る。データ分析モジュール１４０は、１つまたはそれを上回る集中パターンを評価するために、ベクトル分析および／または画像およびデータベクトル分析アルゴリズムおよび／または機械学習アルゴリズムを利用するように構成され得る。

データ分析モジュール１４０は、ネットワークにおいて編成されたカメラ５１０ａ−５１０ｇのアレイに接続され得、アラートの発行に応じて、ネットワーク内の各カメラは、１つまたはそれを上回る物体または個人（例えば、図５に示される常連客５０４ａ−５０４ｌ）を追跡するために利用され得る。群衆パラメータにおける変化率が群衆拡散を示すと、データ分析モジュール１４０は、セキュリティに潜在的に危険な状況または犯罪行為をアラートし得る。

図８は、本開示のある実施形態による、生成された調査を表示する調査モジュール８００のスクリーンショットである。調査モジュール８００は、特定のユーザ挙動を記録するために要求される情報を生成および記憶するように構成される。

加えて、調査モジュール８００は、ユーザまたは機械によって入力される調査基準を受信し、基準に基づいて、ビデオデータ、モバイル通信デバイスデータ、および／またはプロファイルデータをマイニングするように構成され得る。一実施例では、調査基準は、時間フレームを含み得、調査モジュール８００は、その存在がその時間フレーム中にある施設で検出された人物のリストを生成するように構成され得る。調査モジュール８００はまた、別の場所において以前に取得されたモバイル通信デバイスデータと合致する信号を検出することによって、人物の現在の場所を判定するように構成され得る。

本明細書のいくつかの例示的実施形態では、調査モジュール８００は、特定のタイプの報告を要求するユーザによって入力された報告基準を受信し、ビデオカメラ１１０および／またはアンテナ１５０から取得されるビデオデータ、モバイル通信デバイスデータ、および／またはプロファイルデータ、および／または（例えば、売上データベースから取得される）売上データをマイニングし、データのマイニングに基づいて、報告を生成するように構成される。報告は、例えば、商品アイテム、商品カテゴリ、施設における通路、施設における棚、および／または施設における事前判定された場所に対応する、算出された販売成約率を含み得る。

調査モジュール８００は、上側および下側閲覧制御バー８１２ａ、８１２ｂを伴う閲覧ウィンドウ８１０と、テキスト入力ウィンドウ８１４と、タイムラインウィンドウ８２０と、カメラウィンドウ８３０と、検索ウィンドウ８４０と、再生選択肢ウィンドウ８５０と、クリップ選択肢ウィンドウ８６０と、ファイルメンテナンスウィンドウ８７０とを含む。

システム１００によって自動的に生成された調査は、本明細書の上記に議論されるような特定のユーザ挙動に関連する情報を投入される。例えば、図８に図示される調査は、第１のビデオシーケンス８２０ａと、第２のビデオシーケンス８２０ｂとを含み、第１のビデオシーケンス８２０ａは、階段カメラからであり、第２のビデオシーケンス８２０ｂは、エレベータに位置するカメラからである。一実施形態では、第１のビデオシーケンス８２０ａは、自動的に生成された調査を通して提供され、自動的に生成された調査は、損失防止担当者に提供された。

第１のビデオシーケンス８２０ａは、タイムラインウィンドウ８２０において選択され、閲覧ウィンドウ８１０において再生される。本説明を進めるために、例えば、損失防止担当者が、ＰＤＡ上での第１のビデオシーケンス８２０ａの閲覧に応じて、階段エリアから会社のラップトップコンピュータを持ち去る個人を観察すると仮定する。調査を生成する際に、本システムは、本ユーザ挙動を特定のユーザ挙動として識別し、精査に応じて、損失防止担当者は、自動的に生成された調査がメリットを有することに同意し、自動的に生成された調査を窃盗調査に拡大させた。

自動的に生成された調査は、ほぼリアルタイムで損失防止担当者に提供され、したがって、会社のラップトップをこの時点で保有している個人は、ラップトップが持ち去れた場所からわずか数歩しか進んでいなかった。

ＰＤＡを使用して、損失防止担当者は、ＰＤＡ上で調査モジュール８００を通して利用可能な時間的に関連するビデオおよびビデオデータを観察することによって、自動的に生成された調査（ここでは窃盗調査）を進める。

検索ウィンドウ８４０は、調査に関連する時間フレームを自動的に選択し得る。タイムラインは、ＰＤＡを通して手動で制御され得る。

カメラウィンドウ８３０内に列挙される１つまたはそれを上回るカメラからのビデオおよび／またはビデオデータが、閲覧ウィンドウ８１０において閲覧するために選択され得る。個々のカメラ（図１参照）からの複数のビデオストリームが、上側閲覧制御バー８１２ａから代替閲覧スクリーンを選択することによって、同時に閲覧され得る。

下側閲覧制御バー８１２ｂは、リアルタイムまたは他の選択された速度で、閲覧ウィンドウ８１０においてビデオを閲覧することを可能にする。調査モジュール８００は、調査再生速度を提供し、再生速度は、損失防止担当者がビデオシーケンスの全フレームを閲覧することを要求する再生速度においてビデオを再生するように自動的に計算される。ビデオは、わずかな移動を検出するために、人間の眼の能力を超える速度で記録および保存される。加えて、再生デバイスはまた、再生デバイスがビデオの全フレームを表示することを防止するハードウェアおよび／またはソフトウェア限界を有し得る。したがって、「リアルタイム」におけるビデオの再生は、人間の閲覧限界および／またはコンピュータ表示限界に起因して、ビデオの個々のフレームの欠落をもたらす。調査再生速度は、人間の閲覧限界および調査モジュール８００を閲覧するために使用されている特定のデバイスの表示限界に基づいて計算される。

再生選択肢ウィンドウ８５０は、各カメラからのビデオシーケンスおよび／またはビデオが、種々のモードで再生されることを可能にする。全フレーム表示モードは、計算された調査再生速度においてビデオを再生し、全フレームが、再生中に表示され、閲覧可能である。運動のみ表示モードは、運動を含むビデオのビデオシーケンスを提供する。トリガのみ表示モードは、トリガに時間的に関連するビデオシーケンスを含む。

トリガは、内部トリガおよび／または外部トリガを含む。内部トリガは、ユーザによって定義され、データ分析モジュール１４０によって判定される運動トリガ、ＰＯＳモジュール１４１によって生成されるＰＯＳトリガ、およびトリップラインおよび／または区域（例えば、ある区域に進入すること、および／またはそれから退出すること）によって定義され、データ分析モジュール１４０によって判定される分析事象を含む。外部トリガは、コンピュータ１２０に直接または間接的に接続される外部ハードウェアデバイスによって生成される。

調査の任意の時点で、損失防止担当者は、ビデオシーケンスをタイムラインに割り当て得る。例えば、図８では、損失防止担当者は、第２のビデオシーケンス８２０ｂを調査に追加した。第２のビデオシーケンス８２０ｂは、エレベータおよび階段に位置付けられるカメラから提供されるビデオを含む。本明細書の上記に説明されるシナリオを進めるために、損失防止担当者は、第２のビデオシーケンス８２０ｂにおいて表示される、ラップトップを携行し、エレベータに接近する注意人物を識別したと仮定する。窃盗調査を促進するために、損失防止担当者は、第２のビデオシーケンス８２０ｂを調査のタイムライン内に含めた。

損失防止担当者は、ビデオクリップウィンドウ８６０から種々の選択肢を選択し得る。タイムラインウィンドウ８２０は、１つまたはそれを上回るビデオシーケンス、ビデオから生成された静止画像、またはテキスト入力ウィンドウ８１４を通して入力されたテキストを含むビデオクリップを投入され得る。ビデオクリップは、連続ビデオシーケンスを含み得る。代替として、（再生選択肢ウィンドウ８５０において選択される）運動のみの再生選択肢を使用するビデオクリップは、運動を含む複数のビデオシーケンスを含む（例えば、ビデオの非運動部分は、ビデオクリップから除外される）。最後に、損失防止担当者は、フレームの静止画像を捕捉し、顔画像、特定のツール、または窃盗中に使用される物体等の個人の特徴、または調査を進めるために要求され得る任意の他の有意な画像を捕捉し得る。

最後に、調査は、ほぼリアルタイムで生成されるため、損失防止担当者は、現在進行中の窃盗の確認に応じて、窃盗犯が施設から離れることが可能である前に、セキュリティに通知し、窃盗犯を逮捕することが可能である。

ここで、本開示の例示的実施形態による、分析認識方法９００のフローチャートを示す、図９を参照する。本明細書の例示的実施形態によると、方法９００は、少なくとも部分的に、それぞれ、１つまたはそれを上回るビデオカメラ１１０および／または１つまたはそれを上回るアンテナ１５０によって捕捉されたビデオデータおよび／またはモバイル通信デバイスデータに基づいて、データベースに、セキュリティ目的、調査目的、マーケティング目的、および／または同等物のために有用であり得るデータを投入するために採用され得る。

ブロック９０２において、図１に関してさらに詳細に上記に説明されるように、ビデオデータが、１つまたはそれを上回るビデオカメラ１１０によって捕捉され、モバイル通信デバイスデータが、１つまたはそれを上回るアンテナ１５０によって捕捉される。ビデオデータは、一実施例では、ある時間に１つまたはそれを上回るカメラ１１０の視野内に位置していた１人またはそれを上回る人物の画像を含み、モバイル通信デバイスデータは、ある時間に１つまたはそれを上回るアンテナ１５０の無線通信範囲内に位置していた、１つまたはそれを上回るモバイル通信デバイス４４０から捕捉されたデータを含む。モバイル通信デバイスデータの各アイテムは、その１つまたはそれを上回る画像が捕捉された人物のうちの個別の１人によって携行されていた個別のモバイル通信デバイスと関連付けられ得る。

ブロック９０４において、ブロック９０２において捕捉されたビデオデータのアイテムが、捕捉されたビデオデータおよびモバイル通信デバイスデータ内に含まれる１つまたはそれを上回るキーに基づいて、ブロック９０２において捕捉されたモバイル通信デバイスデータの個別のアイテムと相関される。一実施例では、ブロック９０４における相関に基づいて、ビデオデータおよび／またはモバイル通信デバイスデータの１つまたはそれを上回る個別のアイテムと関連付けられる人物の個別のプロファイルが、生成される。各プロファイルは、捕捉されたビデオデータ、捕捉されたモバイル通信データ、および／または付加的データのうちのいずれか１つまたはそれらの組み合わせを含む、プロファイルデータを有し得る。

ブロック９０４において利用される１つまたはそれを上回るキーは、ビデオデータまたはモバイル通信デバイスデータのアイテム内に含まれる属性のうちのいずれか１つまたはそれらの組み合わせを含むことができ、これは、ビデオデータまたはモバイル通信デバイスデータのアイテムを識別するために、および／またはビデオデータおよび／またはモバイル通信デバイスデータの複数のアイテムを相互に関連するものとして相関させるために使用されることができる。例えば、第１の日付および時間に捕捉されたビデオデータのアイテム内に含まれる人物の顔画像が、キーとして使用され得、それによって、ビデオデータのそのアイテムは、第２の日付および時間に捕捉されたビデオデータの別のアイテムと相関されることができる。別の実施例として、第１の場所で（例えば、第１のビデオカメラ１１０またはアンテナ１５０によって）捕捉されたモバイル通信データのアイテム内に含まれるＩＰアドレスが、キーとして使用され得、それによって、モバイル通信データのそのアイテムは、第２の場所で（例えば、第２のビデオカメラ１１０またはアンテナ１５０によって）捕捉されたモバイル通信データの別のアイテムと相関されることができる。キーの例示的タイプは、限定ではないが、コレクタ／ビーコンの識別子（例えば、ビデオデータまたはモバイル通信デバイスデータのアイテムを捕捉した特定のビデオカメラ１１０またはアンテナ１５０の一意の識別子）、モバイルデバイス４４０から捕捉されたモバイル通信デバイスデータ内に含まれるモバイル通信デバイスアドレス（例えば、Ｗｉ−Ｆｉアドレス、Ｂｌｕｅｔｏｏｔｈ（登録商標）アドレス、ＮＦＣアドレス、ＲＦＩＤアドレス、セルラーアドレス、ＧＰＳデバイスアドレス、ＭＡＣアドレス、移動加入者識別番号（ＩＭＳＩ）識別子、および／または任意の他の好適なアドレスまたは識別子）、モバイルデバイス４４０から捕捉されたモバイル通信デバイスデータの信号強度、ビデオデータまたはモバイル通信デバイスデータのアイテムが捕捉される日付、ビデオデータまたはモバイル通信デバイスデータのアイテムが捕捉される時間、ビデオデータまたはモバイル通信デバイスデータのアイテムが捕捉される場所、それによってモバイル通信デバイスデータのアイテムが捕捉される媒体（例えば、特定の無線通信プロトコル）、および／または同等物を含む。ブロック９０４において利用されるキーおよび方法９００のステップから捕捉、生成、または別様にもたらされる任意の他のデータは、既知の様式で１つまたはそれを上回る好適な暗号化アルゴリズムを使用して暗号化されることができる。

ブロック９０６において、ブロック９０４において生成されたプロファイルデータは、１つまたはそれを上回る正規化基準に基づいて正規化される。例えば、プロファイルデータは、（１）人物が特定の場所（例えば、それによってビデオデータおよび／またはモバイル通信データがブロック９０２において捕捉された、１つまたはそれを上回るカメラ１１０およびアンテナ１５０を有する店舗の場所）を訪問した回数、（２）人物が特定の場所に留まった時間の持続時間、および／または（３）人物が特定の場所を訪問した頻度またはその繰り返し率に基づいて正規化されることができる。これは、リピート顧客、強盗を犯す前に店舗を下見する犯罪者、および／または同等物を識別するために有用であり得る。

ブロック９０８において、ブロック９０４において生成され、ブロック９０６において正規化されたプロファイルデータが、経時的にプロファイル／人物毎に集約されたデータに基づいて、個別のプロファイルに関して生成された１つまたはそれを上回る属性を含むように更新される。そのような属性の実施例は、人物が、再来店した買い物客、初めての買い物客、従業員、（例えば、ある場所における非常に短い滞在持続時間によって、例えば、人物が、単に、店舗を通り過ぎるが、店舗に位置するカメラ１１０および／またはアンテナ１５０の範囲内を通り過ぎる場合に判定されるような）通行人であるか、人物が、その人物のビデオデータおよび／またはモバイル通信データが捕捉された特定の小売業者の他の場所で買い物をするかどうか、人物が、店舗に位置する間に従業員に関与したかどうか、および／または同等物を含み得る。ブロック９０８後、方法９００は、上記に説明されるようにビデオデータおよび／またはモバイル通信デバイスデータを連続的に保続するように、ブロック９０２に戻ることができる。

上記に説明されるように、方法９００の種々のステップから捕捉、生成、または別様にもたらされるデータは、セキュリティおよび／または調査目的（例えば、店舗における強盗後）のために、マーケティング目的のために、および／または多くの他の目的のために利用されることができる。例えば、データは、１つまたはそれを上回る前向きな、または内密の用途において（例えば、犯罪調査目的のために仮想ラインナップを生成するために、祝日買い物シーズン等、事前判定された事象と関連した売上またはマーケティングデータの分析を可能にするために、遭遇した売上の真の顧客転換率を算出するために、顧客滞在統計を分析するために、店舗内の区画における実際の売上履歴に基づいて、ヒートマップを生成するために、複数のカメラ１１０および／またはアンテナ１５０から捕捉されたデータに基づいて、ユーザが通る経路を生成するために、店舗の閉店時間後にその店舗内に留まる人物を識別するために、および／または同等物のために）利用されることができる。

種々の変更が、本開示の範囲から逸脱することなく、上記の構造において成され得るため、上記の説明内に含有される全ての事項は、限定的意味ではなく、例証として解釈されるものとするように意図される。以下の請求項の範囲によって定義されるように、本開示のいくつかの目的が、達成され、他の有利な結果が、成し遂げられることが分かるであろう。

Claims (20)

1. 分析認識システムであって、
   ビデオデータを捕捉するように構成される、ビデオカメラと、
   モバイル通信デバイスデータを捕捉するように構成される、アンテナと、
   データ分析モジュールと
   を備え、
   前記データ分析モジュールは、
   前記ビデオデータおよび前記モバイル通信デバイスデータを相関させ、前記ビデオデータおよび前記モバイル通信デバイスデータと関連付けられる人物のプロファイルを生成することであって、前記プロファイルは、前記捕捉されたビデオデータおよび前記捕捉されたモバイル通信データのうちのいずれか１つまたはそれらの組み合わせを含む、プロファイルデータを含む、ことと、
   前記人物の挙動を検出し、前記挙動に対応する挙動データを前記プロファイル内に記憶することと、
   前記ビデオデータおよび前記モバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせに基づいて、前記挙動に対応する場所データを生成することと、
   前記挙動データと関連して前記プロファイル内に前記場所データを記憶することと
   を行うように構成される、システム。
2. 前記データ分析モジュールは、
   前記ビデオデータおよび前記モバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせに基づいて、ある場所における前記人物の到着時間および前記場所における前記人物の出発時間のうちのいずれか１つまたはそれらの組み合わせを判定することと、
   前記到着時間および前記出発時間のうちのいずれか１つまたはそれらの組み合わせに基づいて、前記ビデオデータおよび前記モバイル通信デバイスデータを相関させることと
   を行うように構成される、請求項１に記載のシステム。
3. 前記ビデオカメラは、前記システム内に含まれ、複数のビデオデータを捕捉するように構成される、複数のビデオカメラのうちの１つであり、前記アンテナは、前記システム内に含まれ、複数のモバイル通信デバイスデータを捕捉するように構成される、複数のアンテナのうちの１つであり、
   前記データ分析モジュールはさらに、
   前記複数のビデオデータおよび前記複数のモバイル通信デバイスデータを相関させ、前記複数のビデオデータおよび前記複数のモバイル通信デバイスデータとそれぞれ関連付けられる、複数の人物の複数のプロファイルを生成すること
   を行うように構成される、請求項１に記載のシステム。
4. 前記複数のビデオカメラおよび前記複数のアンテナは、複数の施設に位置する、請求項３に記載のシステム。
5. ユーザ入力された基準に基づいて、前記複数のプロファイルがマイニングされることを可能にするように構成される、ユーザインターフェースをさらに備える、請求項４に記載のシステム。
6. 前記複数のアンテナのうちの少なくとも１つは、前記複数のビデオカメラのうちの少なくとも１つに添着され、前記複数のアンテナのうちの少なくとも１つは、前記複数のビデオカメラから遠隔に位置する、請求項４に記載のシステム。
7. 前記プロファイルは、前記捕捉されたビデオデータ、前記捕捉されたモバイル通信デバイスデータ、前記捕捉されたビデオデータまたは前記捕捉されたモバイル通信デバイスデータと関連付けられる時間データ、および前記捕捉されたビデオデータまたは前記捕捉されたモバイル通信デバイスデータと関連付けられる場所データのうちのいずれか１つまたはそれらの組み合わせを含み、
   前記捕捉されたビデオデータは、捕捉された静止画像およびビデオ映像のうちのいずれか１つまたはそれらの組み合わせを含み、
   前記モバイル通信デバイスデータは、前記アンテナと通信するモバイル通信デバイスと関連付けられる、ＷｉＦｉ識別子、媒体アクセス制御（ＭＡＣ）識別子、Ｂｌｕｅｔｏｏｔｈ識別子、セルラー識別子、近距離無線通信識別子、および無線周波数識別子のうちのいずれか１つまたはそれらの組み合わせを含み、
   前記時間データは、前記ビデオデータが捕捉される時間および前記モバイル通信デバイスデータが捕捉される時間のうちのいずれか１つまたはそれらの組み合わせを含み、
   前記場所データは、前記ビデオデータが捕捉される場所および前記モバイル通信デバイスデータが捕捉される場所のうちのいずれか１つまたはそれらの組み合わせを含む、
   請求項１に記載のシステム。
8. 前記データ分析モジュールはさらに、前記相関されたビデオデータおよびモバイル通信デバイスデータに基づいて、前記プロファイルに、ある施設への前記人物の訪問回数および前記施設への前記人物の訪問頻度のうちのいずれか１つまたはそれらの組み合わせを追加するように構成される、請求項１に記載のシステム。
9. 前記データ分析モジュールはさらに、第１のソースからのデータと、前記捕捉されたビデオデータ、前記捕捉されたモバイル通信デバイスデータ、前記相関されたビデオデータおよびモバイル通信デバイスデータ、および前記プロファイルのうちのいずれか１つまたはそれらの組み合わせとの間の比較に基づいて、前記人物を識別するように構成され、前記第１のソースは、非政府データベース、政府データベース、および１つまたはそれを上回る以前に生成されたプロファイルのうちのいずれか１つまたはそれらの組み合わせを含む、請求項１に記載のシステム。
10. 調査基準を受信し、前記調査基準に基づいて、前記ビデオデータ、前記モバイル通信デバイスデータ、および前記プロファイルデータのうちのいずれか１つまたはそれらの組み合わせをマイニングするように構成される、調査モジュールをさらに備える、請求項１に記載のシステム。
11. 前記調査基準は、時間フレームを含み、前記調査モジュールはさらに、その存在が前記時間フレーム中にある施設で検出された人物のリストを生成するように構成される、請求項１０に記載のシステム。
12. 前記調査モジュールはさらに、第１の場所において取得された前記モバイル通信デバイスデータと合致する信号を検出することによって、前記人物の現在の場所を判定するように構成される、請求項１０に記載のシステム。
13. 前記アンテナは、ＷｉＦｉアンテナ、媒体アクセス制御（ＭＡＣ）アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナ、セルラーアンテナ、近距離無線通信アンテナ、および無線周波数識別アンテナのうちのいずれか１つまたはそれらの組み合わせを含む、請求項１に記載のシステム。
14. 前記データ分析モジュールはさらに、前記ビデオデータ、前記モバイル通信デバイスデータ、前記プロファイルデータ、およびユーザ入力された基準のうちのいずれか１つまたはそれらの組み合わせに基づいて、前記人物をポジティブリスト、未判定リスト、またはネガティブリストに割り当てるように構成される、請求項１に記載のシステム。
15. 前記データ分析モジュールはさらに、前記ビデオデータ、前記モバイル通信デバイスデータ、および前記プロファイルのうちのいずれか１つまたはそれらの組み合わせが、従業員または事前判定された人物のリスト上の人物に対応するという判定に基づいて、前記人物を前記ポジティブリストに割り当てるように構成される、請求項１４に記載のシステム。
16. 前記アンテナは、前記アンテナの範囲内に位置するモバイル通信デバイスからデータを無線で受信することによって、前記モバイル通信デバイスデータを捕捉するように構成される、請求項１に記載のシステム。
17. 前記データ分析モジュールは、前記ビデオデータおよび前記モバイル通信デバイスデータのうちのいずれか１つまたはそれらの組み合わせから挙動情報を抽出することによって、前記人物の挙動を検出するように構成され、
    前記挙動は、ある方向を見ること、商品アイテムに手を伸ばすこと、前記商品アイテムを購入すること、施設において経路に沿って進行すること、前記施設における通路または場所を訪問すること、前記施設においてある時間量を費やすこと、前記施設における前記場所においてある時間量を費やすこと、およびいくつかの別個の事例にわたって前記施設を訪問することのうちのいずれか１つまたはそれらの組み合わせを含む、
    請求項１に記載のシステム。
18. 前記データ分析モジュールは、前記プロファイル内に記憶された施設訪問データに基づいて、前記人物を前記施設における新規顧客またはリピート顧客として分類し、前記人物が前記施設における新規顧客であるか、またはリピート顧客であるかのインジケータを前記プロファイルに追加する、または前記プロファイル内で更新するように構成される、請求項１７に記載のシステム。
19. 前記データ分析モジュールは、前記ビデオデータ、前記モバイル通信デバイスデータ、および前記プロファイルデータのうちのいずれか１つまたはそれらの組み合わせを、施設における通路場所のマッピング、前記施設における商品場所のマッピング、および前記施設における棚場所のマッピングのうちのいずれか１つまたはそれらの組み合わせと相関させることによって、前記人物の挙動を検出するように構成される、請求項１に記載のシステム。
20. 調査モジュールであって、
    報告基準に基づいて、前記ビデオデータ、前記モバイル通信デバイスデータ、前記プロファイルデータ、および売上データのうちのいずれか１つまたはそれらの組み合わせをマイニングすることと、
    前記ビデオデータ、前記モバイル通信デバイスデータ、および前記プロファイルデータのうちのいずれか１つまたはそれらの組み合わせのマイニングに基づいて、報告を生成することと
    を行うように構成されており、
    前記報告は、商品アイテム、商品カテゴリ、前記施設における通路、前記施設における棚、または前記施設における事前判定された場所のうちのいずれか１つまたはそれらの組み合わせに対応する販売成約率を含む、調査モジュール
    をさらに備える、請求項１９に記載のシステム。
    

Images