JP5866559B2 - コンピュータシステムおよび店内通路を管理する方法 - Google Patents

Description

本開示は、データマイニングの分野に関する。より詳細に述べれば、この開示は、異常を検出することにより現場業務を向上させるためのデータマイニングに関する。

小売店又はそのほかの現場においては、効率的な業務を達成するべく指定された作業フローパターンに基づき、労働者と経営者が複数のタスクを行なって顧客とのインタラクションを行なう。この作業フロープロシージャは、頻繁に生じるパターンをカバーしている一方、異常な状況が周期的に生じてサービスの中断又は顧客の不満を招き、販売機会の損失をもたらす。

商店環境について言えば、いくつかの店舗は、販売時点管理（ＰＯＳ）、監視、アクセス制御、及びこれらの類を含むイベントログを生成する多様なシステムを有している。現在の監視記録は、動き検出、ビデオロス等の監視デバイスに関係する限られたイベントタイプを用いてカメラのビデオを記録することが可能であるが、容易かつ手軽に多様なタイプのイベントソースを受け入れ、これらのイベントの記録、管理、インデクス、及び検索が可能な監視レコーダは存在しない。商店経営者は、これらのシステムからのイベント及び出来事のモニタを必要とするだけでなく、従業員の日々の業務の管理も必要とする。小売店は、ＰＯＳログ、アクセス制御ログ、ビデオ監視アラームログの手作業による結合を通じて順調に行かなかったことをサーチして解決する全ての出来事の取り扱いを商店経営者に頼らなければならない。ビデオ監視を用いた環境制御といった部分的に統合されたシステムは利用可能であると見られるが、相関された全てのイベント及び全てのイベントからのシーケンスを迅速にサーチし、表示する容易な方法は存在しない。たとえば、監視レコーダだけを取り上げても商店が監視レコーダをモニタするリソースを有することになるという前提を基礎としてユーザインターフェイスが設計されており、それにもかかわらず多くの中小規模のビジネス（ＳＭＢ）は、監視テクノロジを必要としつつもその種のリソースもなければ、ユーザインターフェイスをモニタする時間もまったくない。

今日利用できる監視レコーダは、特定のイベントタイプ、たとえば動き検出及びその類の発生に基づいてビデオを記録することが可能である。ユーザは、ビデオのアクセス及び検索のためのサーチ評価基準においてイベントタイプをいくつか結合することが可能であるが、特定の高い異常イベント（アラーム）とともに全ての下位イベントを掘り出して相関させ、それらの関係イベントを複合イベントログとして管理することを自動的に行なうために利用可能なシステムは存在しない。その種の従来的なシステムは、たとえば特許文献１及び特許文献２の中で述べられており、それらの開示は、参照により全てが明示的にこれに援用される。

現在のビデオ監視システムは、顧客の場所及び到着情報を提供することができる（たとえば通路内の通行量に基づくか、又はカメラの視野内に現われる）。複数のカメラから収集される情報が接続されるが、しばしばシステムは、同一の人が１つのカメラから別のカメラに移動している場合と２人の異なる人がいる場合の間が区別できず、正確性の問題を引き起こす。同様に、追跡誤り又は物体が移動して背景に溶け込むことに起因して物体を見失うことがあり、あるいは同一物体が異なる識別子を伴って現われてシステムが同一の人を追跡する代わりに異なる物体／人と見なしてしまう。

現在のところ、実用的かつ系統的な態様で異常イベントの分析を系統的に行なうために利用可能なシステムは存在しない。したがって、正常な作業フローの中で定義されたタスクに取り組む労働者によってその種の分析を系統的に行なうことは可能でない。

さらに、セキュリティシステム、ユニファイドコミュニケーション（ＵＣ）システム、オンライン注文システム、施設管理システム、アクセス制御システム、顔認識システム、無線周波数識別（ＲＦＩＤ）システム、顧客関係管理（ＣＲＭ）システムといった個別のシステムを相関させることができる利用可能なシステムも存在しない。また、たとえばビデオ分析＋セキュリティ、ビデオ分析＋マーケティング、ＰＯＳ＋ビデオ分析（たとえば、幽霊返品）、無線注文システム＋ＰＯＳ、顔認識（年齢、性別）＋ＰＯＳ＋ＣＲＭ、及びＵＣ＋アクセス制御＋セキュリティなど統合された応用を相関させることができる利用可能なシステムも存在しない。ここで使用されている『ＵＣ』は、インスタントメッセージング（チャット）、プレゼンス情報、電話（ＩＰ電話を含む）、テレビ会議、データ共有（ウェブ接続された電子ホワイトボード、別名ＩＷＢ、すなわちインタラクティブホワイトボードを含む）、呼び出し制御、発話認識等のリアルタイム通信サービスとユニファイドメッセージング（ボイスメール、Ｅメール、ＳＭＳ、及びファクシミリの統合）等の非リアルタイム通信サービスの統合として定義される。

現場業務のモニタのために統合化されたシステムの欠如に起因して、組織化された小売犯罪グループが、小売店舗（チェーンストア等）のセキュリティ脆弱性を利用し、同一店舗の異なる支店に対して行為を繰り返す。有線テレビジョン（ＣＣＴＶ）が使用される場合には、各支店が記録済みビデオを有する。しかしながらＬＰ（損害防止）要員がこれらの長々しいビデオを個別に再検討し、異なるビデオ／店舗内の個々の人が同一であるか否かといったパターンを決定しなければならない。ＶＳａａＳ（サービスソリューションとしてのビデオ監視）等のいくつかのソリューションは、出来事ビデオデータを中央サーバに引き込んでＬＰ調査を容易にするが、その種のソリューションもまた、見終わった全てのビデオの内容を正確に思い出すことができないかも知れない個人によって手作業の調査が行なわれることを必要とする。

現在の統合されたソリューションは垂直に統合されており、それ自体はオープンではない（ＰＯＳとレコーダの統合、速度検出と記録の統合、ドアスイッチとカメラ記録の統合等）。残念ながら全てのこれらの統合は、概して有線接続を介しており、スケーラブルでなく柔軟でもない。

周知のドライブスルー業務現場（たとえば、ファーストフードレストラン）においては、一般に、注文の受け取り、食物の準備、支払の受理、及び顧客への注文品の提供の順序で注文処理が生じる。サービス窓がタスクのシーケンスと整合するように、異なる現場が、これらのステップを異なる態様で設計し組み合わせる。注文取りは、概して、ヘッドセットを装着したフロア従業員に対するオーディオ呼び出しによって取り扱われる。従業員は注文を受理し、それを注文処理システムに入力する。顧客受け取り窓口（１つ又は複数）は、支払及び注文応需を取り扱う。残念ながら、店舗の受け取り窓口はまた、従業員の窃盗に対しても脆弱である。しばしば業務コストの５０％超がドライブスルー業務における労働コストに起因することを考えると、注文処理作業フローにおける何らかの自動化が財政的ボトムラインを向上させることになるであろう。

上記に鑑みれば、このように、事態の承知及び出来事管理のために、受信した現場応用のためのマルチメディア情報（たとえば、ＰＯＳ端末、ユニファイドコミュニケーションデバイス、顧客関係管理、サウンドレコーダ、アクセス制御ポイント、動き検出器、バイオメトリックセンサ、速度検出器、温度センサ、ガスセンサ、及び位置センサ）をはじめ、関係のあるイベント情報を密接させて組織化することの必要性が生じている。また、外部デバイスから獲得された多様なデータによって註釈が付けられた（たとえば、カメラからの）取り込み済みの内容をサーチできるようになる必要性も生じている。残念ながらこれまでのところ、小売現場における多くの応用（たとえば、ドア、ＰＯＳ、ＣＯセンサ等）を考慮すると、ほかのデバイスとマルチメディアレコーダの接続による統合が実行可能でない。

異常管理の効率に焦点を当てることによって、この開示の非限定的な特徴は、業務における異常の発生が、たとえば管理下にあるチェーンストアにおいてほかの点では最適化されている業務フローの非効率の強力な指標となることから総合的なシステム効率を向上させる。

この開示の非限定的な特徴によれば、複数のシステムから正常な挙動を自動的に学習し、かつ異常イベントを検出することによって小売店内の作業フローのプロセスをモニタし、制御するための方法が提供される。

この開示の非限定的な特徴は、相関されたイベント及び異常イベントの分析及び記録を行ない、リアルタイム通知及び出来事管理レポートをモバイル労働者及び／又は経営者にリアルタイムで提供することを自動化する。

この開示の非限定的な特徴は、効率的に複数のイベントを記録し、管理することが可能であり、かつマルチメディアイベントジャーナルから業務インテリジェンス要約レポートを提供することが可能なシステムを提供する。

この開示の非限定的な特徴は、容易にアクセス可能なイベントジャーナルとして相関済みイベントを系統化し、格納する。この開示の非限定的な特徴は、必要時に現場を遠隔チェックするリアルタイム通知の配信をはじめ着呼機能のために監視レコーダへのユニファイドコミュニケーションシステムの統合を提供する。

この開示の非限定的な特徴においては、安全なリモートアクセスを伴うネットワークサービスが、たとえば商店経営者が多くの商店をモニタすることを可能にし（それによって、１人の経営者が複数の商店をモニタできることからチェーンストアのための効率が増加する）、かつ経営者が毎日、各商店まで出向く無駄を省く。むしろ経営者は、各商店の場所まで自動車を駆り、エネルギと時間を無駄にすることに代えて、自分の時間の多くを複数の現場業務のモニタに費やし、顧客サービス及び商店の収入を向上させることが可能である。

したがって、この開示の非限定的な特徴によるモニタリング及び通知インターフェイスが、応用の目的に関係してフィルタリングされ、かつ集計されたマルチメディア及びイベントデータの理解容易なビューを提供する。

この開示の非限定的な特徴は、応用固有の記録済みマルチメディア註釈の容易な作成を（ＰＯＳ、動きセンサ、光センサ、温度センサ、ドアスイッチ、オーディオ認識等のイベントリソースを通じて）提供し、ユーザが応用固有のイベントを定義すること（カスタム化、柔軟性）、イベントから註釈データをどのように収集するかを定義すること、及び全ての出来事関係のマルチメディアデータを統一されたビューの中で効率的に検索すること（自動化の効率に帰する）を可能にする。

この開示の非限定的な特徴は、異なるタイプのイベントを統合し、サービスプロセスの最適化を可能にする統一されたデータモデルを作り出し、顧客のためのサービス及び待ち時間を短縮する。この開示の非限定的な特徴は、異常検出管理に焦点を当てて、正常な顧客需要に基づいて異常イベントシーケンス及びイベントシーケンスの相互関係を検出し、商店の業務を向上させる。

この開示の非限定的な特徴は、ビデオベースの検出（立ち去った顧客のカウント、検出）、ＰＯＳ、及びスタッフのパフォーマンスデータ（特定の準備タスクについてのサービスレベルを示す）から収集した以前のデータから抽出される期待顧客需要に基づいて人員配置決定をサポートするデータマイニングプロセスを提供する。

この開示の非限定的な特徴によるシステムは、自動的にイベント相関ベースの記録を作成し、労働者及び経営者が有意の手作業の操作を伴うことなく容易に見ることができるビデオジャーナルを生成する。この開示の非限定的な特徴における記録されたマルチメディアジャーナルは、複数タイプのイベント及び、すばやい閲覧を容易にするべくランク付けされたイベント相関を含む。

本発明の非限定的な特徴は、異常イベントを統合することのみによって統合コストを低減し、それによって時間を節約する。また、異なる意味及び単位を伴う異なるシステム変数から正規化された異常スコアを抽出することによってカスタム化コストも低減できる。

この開示の非限定的な特徴による異常業務インテリジェンスレポートは、各システムの最適化プロセスの適合性の長い持続時間にわたる漸進的変化を手作業で観察する必要性を低減する。また、注文パイプライン内の現場労働者のスピードアップしたペースの同期、又はリアルタイムで必要とされるときの労働者の追加が、サービス待ち時間及び総合的なシステムコストを低減することができる。

この開示の非限定的な特徴によるシステムは、多様なイベント情報リソースからのビデオのほかに複数タイプのイベント及びマルチメディア情報を記録することが可能である。記録された情報は、時間及びイベントタイプに基づくだけでなく、相関されたイベント、時間、イベントシーケンス、空間（場所）、及びこれらの類など複数の要素に基づいて系統化及びインデクス付けが行なわれる。

この開示の非限定的な特徴によるシステムは、ユーザが、自動化されたイベントジャーナルの組織化についての応用目的を表現するビジネスインテリジェンス応用コンテキストを定義することを可能にする。

この開示の非限定的な特徴によるシステムは、複数のイベントリソースからのマルチメディア記録とともにイベント入力を取り込み、それらのイベントのフィルタリング及び集計を行なう。イベントシーケンスマイニングエンジンは、イベントシーケンスマイニング、確率を伴う前方及び後方追跡イベントシーケンスのリンケージを用いたイベントの相関、及びイベントの予測を行なう。

この開示の非限定的な特徴によるシステムは、チェーンストア用のすばやいビジネスインテリジェンスモニタリングのための要約ダッシュボードを伴う自動化されたオンラインの統一されたビューを提供し、検索されたマルチメディア記録は、鍵となるイベントに基づいており、時間、空間、及びチェーンストアの場所（単一／市内／地域／州／全世界）の範囲に沿ってリンクされた全ての下位イベントとともに容易に閲覧することができる。またこの開示の非限定的な特徴によるシステムは、ユニファイドコミュニケーションを介して自動化された通知をシームレスに統合する。

この開示の非限定的な特徴によるシステムは、小売従業員管理、販売管理、及び異常イベント管理のために、マルチモデルの時間−空間イベント相関、シーケンスマイニング、及び日々のビジネス管理イベントジャーナリング及びビジネスインテリジェンスのためのシーケンスのバックトラッキングをサポートするマルチメディアイベントジャーナルサーバを提供する。

この開示の非限定的な特徴によるマルチメディアイベントジャーナルサーバは、小売店ビジネス業務における複数タイプのイベント入力リソースからの、イベントの収集及び記録、イベントの集計、イベントのフィルタリング、イベントのシーケンスのマイニング、及びイベントの相関を行なうことが可能である。これは、ビジネスインテリジェンス要約の統一されたレポーティングビュー又はダッシュボードを用いて自動化されたオンラインリアルタイム異常相関イベントジャーナルを、またユニファイドコミュニケーション通知を、コンピュータ又はモバイルデバイスを介して商店経営者に対して提供する。

イベントジャーナルサーバシステムは、イベントＡＰＩ（アプリケーションプログラミングインターフェイス）経由のイベント収集、イベントシーケンスマイニング及び相関エンジン、イベント及びトランザクションジャーナルのためのマルチメディアストレージ、イベントジャーナリング管理、ビジネスインテリジェンス要約レポート、及び警報ＵＣ通知を提供する。

この開示の非限定的な態様による統合された異常検出システムの特徴は次のとおりである。
− 異常イベントの統合のみによる統合コストの低減、
− 異なる意味及び単位を伴う異なるシステム変数から正規化された異常スコアを抽出することによるカスタム化コストの低減、
− 異常のビジネスインテリジェンスレポートによる各システムの最適化プロセスを決定するために長い持続時間にわたる漸進的変化を従業員が手作業で観察する必要性の低減、及び
− 注文パイプライン内の労働者の作業ペースにおける増加の同期、又はリアルタイムで必要とされるときの労働者の追加による顧客のサービス待ち時間及び総合的なシステムのコストの削減。

このシステムは、ユーザが応用目的を表現するビジネスインテリジェンスコンテキストを定義することを可能にし、複数タイプのデバイス又はセンサからのマルチメディア記録とともにデバイスからイベント入力を取り込み、イベント及びシーケンスを結合し、ユニファイドコミュニケーション（ＵＣ）を介して柔軟な通知を提供し、迅速なサーチ及びモニタのためのオンラインのリアルタイムの統一された要約ビューダッシュボードをサポートする。

この開示の非限定的な特徴によるマルチメディアイベントジャーナルサーバは、応用固有の複合イベントの定義、検出、及び出来事データ収集のための多様なイベントの統合を可能にする拡張可能なシステムを提供する。柔軟なフレームワークは、ユーザが全てのイベント関係のデータを統一されたビューで見ることを可能にする。プレゼンテーションレイヤは、垂直応用セグメントのためにカスタム化することができる。応用イベント取り込みボックスが、メンテナンス、構成データのバックアップ、拡張された時間期間にわたる出来事データストレージ（現場レコーダに代わる）、ビジネスインテリジェンスレポート、及び多現場管理を可能にすることができるクラウド−ベースのサービスへのブロードバンド接続を提供できる。

この開示の非限定的な特徴によるシステムは、単一のデバイスから又は複数のデバイス又はセンサから生イベントを受信し、その後、相関されたイベントの複合である応用複合イベントを検出するべくそれが蓄積される。またシステムは、多段階マルコフ連鎖モデル学習方法又はベイジアンビリーフネットワーク学習方法のいずれかに基づいてイベントシーケンス『発生間隔』統計分布を実行することができる。システムの学習の後、イベントの統計的リンケージが自動的に構築され、時間及び空間をはじめ『複数の以前のイベント』に基づく異常なシーケンスのバックトラックが可能になる。

このシステムの別の特徴は、１つの異常イベントが発生した後に全ての異常イベントを遡る。結果は、ランク付けされたイベントの異常スコアに基づいて順序設定することができる。また、管理されたイベントデータ及びビデオを、ネットワークされた追加の中央管理現場に提供することができる。記録されたマルチメディアは、収集された複合イベント情報を用いて註釈が付けられるようにできる（たとえば、調査のために記録全体を注視することに代えて、選択された食料品アイテムがスキャンされたセグメントにユーザがジャンプすることを可能にする）。また、不正行為が内部的であり、かつ組織的である場合には、監視システム内におけるトレースを対象が覆いがちであることを仮定すれば、多様な異常（警備員からの註釈を含む）に対するサーチが内部不正の試みの発見に重要になることから、警備員が出来事ビデオの註釈付け／評価を行なっている間における警備員からのデータを格納することができる。それに加えて、システムは、顔特徴データ（ＬＰ記録から抽出される）のセットに関して警備／保全幹部の評価を掘り出し、たとえば幹部のＩＤ、顔のクラスタ、及びＬＰ記録の評価の間に相関が存在するか否かを調べることが可能であり、それによってユーザが、たとえば特定の警備員から好都合な評価を得ているＬＰ記録のセット（同一の顔特徴ベクトルのセットを含む）があるか否かを決定することが可能になる。さらにシステムは、複数の警備員によるＬＰ事例の評価のクエリを行なって、評価の誠実性又は逸脱の交差チェックを行なうことができる。さらに（又はランダムに）検討するために、システムは、検出された異常に基づいて特定の保全幹部による特定のＬＰ事例の評価にフラグ付けすることが可能である。システムは、上記の状況について仮説を立てて（ある種の勘）仮想事例を設定し、証拠の収集を、人間（監督者）による調査のための仮想事例ファイルを調べることを監督者に知らせる実質的な証拠が見つかるまで行なう。

また、この開示の非限定的な特徴によるシステムは、さらに、生イベント及びそれらの潜在的なシーケンシングに基づいて応用固有のイベントを表現することを含むこともできる。効率のために表現内において多くのイベントを結合する検出表現を提供することもできる。また、定義済みの応用固有のイベントを動的に更新すること（たとえば、それらの追加、削除、又は修正を行なう）、及びそれらを動的又は持続性ストレージ内に格納することもできる。

小売産業における主要な経費負担は、窃盗、返品詐欺、及び偽傷害／労働者の補償請求からもたらされる。したがって、この開示の非限定的な態様は、以下を行なう実行可能かつ効率的な方法を提供する。
ａ．これらのイベントの記録、
ｂ．イベントシーケンスに基づく相関及び発生した異常イベントの決定、
ｃ．相関されたイベント及び媒体の内容の遠隔モニタ、
ｄ．イベント情報データのすばやいサーチのための体系化、
ｅ．特定イベントの相関された情報の検索及び註釈付き表示、及び／又は
ｆ．柔軟かつ効率的なアラーム通知イベントの提供。

この開示の非限定的な特徴によるシステムは、関連する取り込み済みメタデータを用いた取り込み済み内容の効率的な註釈付けを可能にする統一されたフレームワーク内において多様なマルチメディアデバイスを統合する、ユーザ及びソリューションプロバイダのための使用容易なカスタム化フレームワークを提供する。

複数タイプのマルチメディアデバイス及びセンサイベント取り込みモジュールの統合は、イベントマイニングモジュールが異常な、限定ではないが以下を含む業務パターン及び／又はイベントを学習することを可能にする。
ａ．ＰＯＳ開パターン、
ｂ．ＵＣ呼び出しパターン、
ｃ．システムが現場又は商店が閉まりつつあることを検出しているときのＰＯＳ開イベント、
ｄ．商店が閉まりつつあるか又は閉じられているときにＰＯＳデバイス内に異常な量の現金が残されていることをシステムが検出、
ｅ．商店が閉まりつつあるか又は閉じられているときに取り外し可能な現金ボックスがＰＯＳデバイス内に残されていることをシステムが検出、及び／又は
ｆ．商店が閉まりつつあるか又は閉じられているときに暖房／オーブン／ＨＶＡＣ等が開かれるか、又は通電されたことをシステムが検出。
システムによって上記の異常な業務のいずれかが観察されたときに警報又はアラームを生成する能力をシステムは有する。

この開示の非限定的な特徴によるシステムは、商店オーナーのための単一商店から複数商店の範囲をはじめ、本社のための全国又は全世界規模の要約ビューを伴うオンラインのリアルタイムイベントシーケンスジャーナル及びビジネスインテリジェンス要約レポート及びダッシュボードを、ビジネスインテリジェンス及び販売分析のために提供することができる。

この開示の非限定的な特徴によるシステムは、検知されたイベントに対するイベントシーケンスマイニング及び相関を実行し、相関されたイベントについてのアラームを生成する。この開示の非限定的な特徴によるシステムは、容易なアクセス及び再生表示のためにビデオ上の統一されたビュー及び註釈を用いてイベントデータを管理し、アラームのために関係のあるイベントをまとめてリンクする。モニタリングの間に、この開示の非限定的な特徴によるシステムは、選択されたコンテキストを使用して、各ビデオマイニングスコア付けエンジン目標（カメラに関連付けされる）の選択注目領域（ＲＯＩ）からのビデオと外部データ（ＰＯＳトランザクション）を１つの統一されたビューに結合する。通知については、この開示の非限定的な特徴によるシステムが、応用固有の複合イベントが認識されると、ユニファイドコミュニケーション又は統一されたビューポータルを用いた通知の配信のために選択されたコンテキストを使用する。

コンテキストは、ビデオ、オーディオ、ＰＯＳ、バイオメトリックデータ、ドアアラーム等のイベント及びデータの応用固有のフィルタリング及びプレゼンテーションのための１つのビューへの集成を定義するメカニズムとして使用できる。コンテキストの補助があることから、ユーザには、応用が必要とするものだけが見える。コンテキスト定義は、ビデオマイニングエージェント（ＶＭＡ）スコアリングエンジンのセットを、それらのＲＯＩ、原始的なイベント（ＰＯＳ、ドアアラームイベント、ＶＭＡスコア、オーディオイベント等）に基づく複合イベント定義とともに含む。

統一されたビューポータルは、集成ビュー内において異種のソースの同期されたビューを提供し、ユーザ／顧客が状況を容易に理解することを可能にする。アラームが検出されたときに外部（オフサイト）通知を送信するユニファイドコミュニケーション経由の自動化された通知ケイパビリティ。

ＵＣ互換を伴うこの開示の非限定的な特徴によるシステムは、モニタリング、メンテナンス、更新等の目的をはじめ通信のために、外部エンティティがシステムにログインしてデバイスに接続することを許容する。

この開示の１つの態様は、待ち行列管理目的のために顔検出及びマッチングを使用することによる商店管理のシステムも提供し、現場／商店業務を向上させる。その種のシステムは、顔を検出し、顔特徴ベクトルを抽出し、顔データを顧客テーブルモジュール及び／又は待ち行列統計モジュールに送信するシステムを含むことができる。また、ＰＯＳインタラクションデータを収集して待ち行列統計モジュールに送信するシステムをはじめ、受信した顔がすでに待ち行列の顧客テーブル内にあるか否かを判断するシステム（たとえば、顧客テーブルモジュール）も含めることができる。また、ＰＯＳイベント／データ及び顔データ（メタデータの一部とすることができる）を用いてビデオフレームに註釈を付け、顧客テーブルモジュールから顧客の待ち行列到着時間を獲得し、ナレッジベースからキャッシャパフォーマンスデータを獲得し、データウェアハウスにそれぞれの完了したＰＯＳトランザクションについてのキャッシャパフォーマンスを挿入し、各待ち行列についての平均顧客待ち時間を査定し、リアルタイム待ち行列ステータス情報をディスプレイに送信するシステム（待ち行列統計モジュール等）も提供できる。

ディスプレイは、リアルタイム待ち行列パフォーマンス統計及び、リアルタイム待ち行列ステータスならびにキャッシャの期待される作業パフォーマンスに基づいて待ち行列の負荷の増加を示す視覚的な警報を表示できる。また、ディスプレイは、各待ち行列ステータスを個人に、たとえば経営者等に、視覚又は聴覚レンダリングのうちの少なくとも１つによって通知することもできる。

それに加えて、顔を検出するシステムは、良好な質の顔特徴を選択して、マッチングの正確度を増加させる一方で送信されるべきデータの量を減ずることが可能であるとし得る。また、受信した顔がすでに待ち行列の顧客テーブル内にあるか否かを判断するシステムは、良好な顔表現のセットを選択して必要なストレージを低減し、かつマッチングの正確度を増加させることができる。さらに、註釈付きビデオフレームデータを自動化されたマルチメディアイベントジャーナルサーバ内に保存すること、自動化されたマルチメディアイベントサーバがそれらの内容の類似性を用いてリンクすること、ディスプレイが自動化されたマルチメディアイベントサーバからアクセスし、リンクされた撮影済みビデオを閲覧して待ち行列に入る前の顧客の場所を抽出することができる。

したがって、この開示の非限定的な特徴は、異常を検出することによって現場業務を向上させるためのシステムであって、当該システムは、第１のセンサと、第１のセンサに接続され、前記第１のセンサから送信される検出されたデータに基づいて第１の正常挙動シーケンスを学習するよう構成された第１のセンサ異常検出器であって、前記学習された正常挙動シーケンスに対応する第１のセンサデータに正常スコアを割り当て、かつ前記学習された正常挙動シーケンスに対応する第１のセンサデータの値外の値を有する第１のセンサデータに異常スコアを割り当てるよう構成された第１のスコアラを有する前記第１のセンサ異常検出器と、第２のセンサと、前記第２のセンサに接続され、前記第２のセンサから送信される検出されたデータに基づいて第２の正常挙動シーケンスを学習するよう構成された第２のセンサ異常検出器であって、前記学習された正常挙動シーケンスに対応する第２のセンサデータに正常スコアを割り当て、かつ前記学習された正常挙動シーケンスに対応する第２のセンサデータの値外の値を有する第２のセンサデータに異常スコアを割り当てるよう構成された第２のスコアラを有する前記第２のセンサ異常検出器と、異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータを受信するよう構成された異常相関サーバであって、前記第１及び第２のセンサによって同時に検知された前記受信した異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータを相関させて、異常イベントを決定するようさらに構成された前記異常相関サーバと、前記相関された受信した異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータに基づいて異常レポートを生成するよう構成された異常レポート生成器と、を備える。前記第１のセンサ及び前記第２のセンサは、異なるタイプのセンサであり、異なるタイプのデータを生成してもよい。また、前記第１のセンサ及び前記第２のセンサの少なくとも１つはビデオカメラである。

また、この開示の非限定的な特徴が提供するシステムにおいて、前記第１のセンサ異常検出器及び前記第２のセンサ異常検出器の少なくとも１つは、センサデータを記録するよう構成されたメモリを有し、前記記録されるセンサデータは、イベント頻度のメタデータ及びセンサ変数の分布を有し、前記第１のセンサ異常検出器及び前記第２のセンサ異常検出器の少なくとも１つは、時間にわたる前記メタデータの変化及び前記分布の変化を検出するよう構成される。また、前記第１及び第２のセンサと前記第１及び第２のセンサ異常検出器の間に配置されるプロトコルアダプタを備えてもよい。

また、前記異常相関サーバに接続され、異常イベントが前記システムの外部のエンティティによって確認されているを検出するよう構成された介入検出器を備えてもよい。前記異常レポート生成器に接続され、前記異常レポートが生成されたときにユーザに警報を送信するよう構成されたページャを備えてもよい。

さらに、この開示の非限定的な特徴は、異常を検出することによって現場業務を向上させるためにコンピュータによる読み出しが可能な少なくとも１つの非一過性コンピュータ可読媒体であって、当該少なくとも１つの非一過性コンピュータ可読媒体は、実行されたときに、第１のセンサから送信される検出されたデータに基づいて第１の正常挙動シーケンスを学習する第１のセンサ異常検出コードセグメントであって、前記学習された第１の正常挙動シーケンスに対応する第１のセンサデータに正常スコアを割り当て、かつ前記学習された第１の正常挙動シーケンスに対応する第１のセンサデータの値外の値を有する第１のセンサデータに異常スコアを割り当てるよう構成された第１のスコア付けコードセグメントを有する前記第１のセンサ異常検出コードセグメントと、実行されたときに、第２のセンサから送信される検出されたデータに基づいて第２の正常挙動シーケンスを学習する第２のセンサ異常検出コードセグメントであって、前記学習された第２の正常挙動シーケンスに対応する第２のセンサデータに正常スコアを割り当て、かつ前記学習された第２の正常挙動シーケンスに対応する第２のセンサデータの値外の値を有する第２のセンサデータに異常スコアを割り当てるよう構成された第２のスコア付けコードセグメントを有する前記第２のセンサ異常検出コードセグメントと、実行されたときに、異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータを受信する異常相関コードセグメントであって、前記第１及び第２のセンサによって同時に検知された前記受信した異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータを相関させて、異常イベントを決定するようさらに構成された前記異常相関コードセグメントと、実行されたときに、前記相関された受信した異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータに基づいて異常レポートを生成する異常レポート生成コードセグメントとを有する。

この開示の非限定的な特徴においては、前記第１及び第２のセンサが異なるタイプであるか、前記第１及び第２のセンサの少なくとも１つはビデオカメラである。また、前記第１のセンサ異常検出コードセグメント及び前記第２のセンサ異常検出コードセグメントの少なくとも１つは、実行されたときに、センサデータを記録するよう構成されたメモリに作用を及ぼし、前記記録されるセンサデータは、イベント頻度のメタデータ及びセンサ変数の分布を有し、前記第１のセンサ異常検出コードセグメント及び前記第２のセンサ異常検出コードセグメントの前記少なくとも１つは、実行されたときに、時間にわたる前記メタデータの変化及び前記分布の変化を検出する。

また、実行されたときに、異常イベントが外部のエンティティによって確認されているかを検出する介入検出コードセグメントを有してもよい。さらにまた、実行されたときに、前記異常レポートが生成されたときにユーザに警報を送信するページングコードセグメントを有してもよい。

この開示の非限定的な特徴によれば、第１のセンサから送信される検出されたデータに基づいて第１の正常挙動シーケンスを学習することと、前記学習された正常挙動シーケンスに対応する第１のセンサデータに正常スコアを割り当て、かつ前記学習された第１の正常挙動シーケンスに対応する前記第１のセンサデータの値外の値を有する第１のセンサデータに異常スコアを割り当てることと、第２のセンサから送信される検出されたデータに基づいて第２の正常挙動シーケンスを学習することと、前記学習された正常挙動シーケンスに対応する第２のセンサデータに正常スコアを割り当て、かつ前記学習された第２の正常挙動シーケンスに対応する第２のセンサデータの値外の値を有する第２のセンサデータに異常スコアを割り当てることと、異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータを受信することと、前記第１及び第２のセンサによって同時に検知された前記受信した異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータを相関させて、異常イベントを決定することと、前記相関された受信した異常スコアが与えられた第１のセンサデータ及び異常スコアが与えられた第２のセンサデータに基づいて異常レポートを生成することと、を有する方法が提供される。また、前記第１及び第２のセンサは前記現場の異なる領域に配置されてもよい。

この開示のさらに別の非限定的な特徴においては、モバイルデバイスからの注文を処理する方法が提供され、当該方法は、モバイルデバイスの位置に基づいて少なくとも１つの最も近い施設を検出することと、前記検出した少なくとも１つのより最も近い施設をユーザに伝えることと、前記少なくとも１つの最も近い施設の検出済み施設を選択することと、前記選択された検出済み施設において、購入のために用意されたアイテムから少なくとも１つのアイテムを選択することと、前記少なくとも１つのアイテムのための注文を注文処理のための現場に送信することと、前記注文した少なくとも１つのアイテムの確認を受信することと、を有する。さらにこの方法は、前記１つ又は複数のアイテムのための支払を送信することをさらに有してもよい。

この開示のさらに別の非限定的な特徴によれば、現場において注文品を受け取る顧客の身元を検証する方法は、モバイルデバイスから、顧客識別データを含む注文を受信することと、前記顧客のための注文確認を生成することと、前記顧客識別データと前記注文確認を関連付けすることと、を有する。前記顧客識別データは乗り物タグデータを含み、前記方法は、前記顧客の乗り物の現場到着時に前記乗り物タグデータを検出することと、前記現場に到着する乗り物の順序を決定することと、前記現場に到着する前記乗り物の前記順序に対応して顧客の注文品を準備することと、をさらに有してもよい。

さらにこの方法は、前記顧客の位置を獲得することと、前記顧客の到着の時を見積もることと、前記見積もった前記顧客の到着時間に基づいて前記注文品を準備することと、を有してもよい。また、この方法は、前記現場の労働者の画像を前記顧客に送信することと、前記現場への顧客の到着時に、前記送信した画像に対応する前記労働者までの前記顧客の経路設定をすることと、を有してもよい。

この開示のさらに別の非限定的な特徴によれば、現場における商品の損失を防止するための方法は、複数のビデオのビデオ記録であって、各ビデオがビデオ画像及びビデオ画像のメタデータを含み、前記メタデータが一意の顔の顔値に対応するデータを含む、前記複数のビデオを格納することと、前記複数のビデオの顔値を比較することと、前記複数のビデオのうちの１つのビデオの顔値と前記複数のビデオのうちの別のビデオの顔値の間の相関度を獲得することと、前記１つのビデオと前記別のビデオの間において予め決定済みの相関しきい値に達したときにレポートを生成することと、を有する。

また別の特徴においては、前記メタデータは、ビデオ記録時間間隔及びカメラの視野の少なくとも１つをさらに含み、前記方法は、ビデオ記録時間間隔及びカメラの視野の前記少なくとも１つを比較して複合値を獲得することと、前記複数のビデオのうちの１つのビデオの複合値と複数のビデオのうちの別のビデオの複合値の間の相関度を獲得することと、をさらに有する。

この開示の別の非限定的な特徴においては、現場における労働力を管理する方法であって、この方法は、前記現場における少なくとも１人の従業員の位置をモニタすることと、前記現場における少なくとも１人の顧客の位置をモニタすることと、前記少なくとも１人の従業員と前記少なくとも１人の顧客の位置関係を決定することと、前記決定された位置関係が予め決定済みの値の範囲内にあるとき、前記少なくとも１人の顧客が前記少なくとも１人の従業員によってアシストされていると決定することと、前記決定された位置関係が予め決定済みの値の範囲外にあるとき、前記少なくとも１人の顧客が前記少なくとも１人の従業員によってアシストされていないと決定することと、前記決定された位置関係が予め決定済みの値の範囲外にあるとき、レポートを生成することとを有する。

前記現場における少なくとも１人の顧客の位置をモニタすることは、複数の顧客の位置をモニタすることを有し、前記方法は、各顧客が前記少なくとも１人の従業員によってアシストされていない時間期間を決定することをさらに有する。また、前記現場における少なくとも１人の顧客の位置をモニタすることは、複数の顧客の位置をモニタすることを有し、前記方法は、前記少なくとも１人の従業員によってアシストされていない各顧客の現場到着の時を決定することをさらに有する。

この開示のさらなる非限定的な特徴は、現場にいる顧客の身元を決定する方法であって、この方法は、少なくとも１つのビデオ撮像器を用いて、前記現場にいる顧客の顔に基づく一意の顧客を、一意の顔の顔値に対応する顔データに基づいて検出することと、前記現場のＰＯＳ端末において、少なくとも顧客の名前及び以前格納された顔データを含む一意の顧客データを獲得することと、前記検出された顔データと前記以前格納された顔データを比較し、前記一意の顧客の身元が前記一意の顧客データと対応するかを決定することと、を有する。

本開示の態様に従った汎用コンピュータシステムの実施態様を図解した説明図である。 本開示の態様に従った異常検出エージェント及びサーバの概略図である。 本開示の態様に従った異常検出エージェント及びサーバの別の概略図である。 本開示の態様に従った異常相関サーバの概略図である。 本開示の態様に従った労働力管理を示したフローチャートである。 本開示の態様に従った位置認識注文処理の概略図である。 本開示の態様に従った顔追跡を使用する労働力管理のためのシステムを示した概略図である。 本開示の態様に従った複数のカメラを使用する顔検出及びマッチングのためのシステムを示した概略図である。 本開示の態様に従った顧客検証のシステムを示した概略図である。 本開示の態様に従った注文コードの受信後に識別される顧客を図解した説明図である。 本開示の態様に従った顧客の到着のシーケンスに基づいて顧客注文のシーケンスがアレンジされる態様を図解した概略図である。 本開示の態様に従ったリンクされた損失防止システムを図解した説明図である。 本開示の態様に従った損失防止システムのフレームを図解した説明図である。 本開示の態様に従った損失防止システムのフレームを図解した説明図である。 本開示の態様に従った待ち行列管理システムを図解した説明図である。 本開示の態様に従った顔セットによるマッチング物体軌跡によってパーソナル化された宣伝及びマーケティングの有効性のためのシステムを示した概略図である。 本開示の態様に従ったイベントジャーナルサーバを示した概略図である。 本開示の態様に従ったビジネスインテリジェンスダッシュボードを例示した説明図である。 本開示の態様に従った複合イベントを示した説明図である。 本開示の態様に従ったイベントジャーナルサーバデータモデルを示した説明図である。 本開示の態様に従ったイベントジャーナルインターフェイスデータスキーマを示した説明図である。

以上に鑑み、本開示は、その多様な側面、実施態様、及び／又は特定の特徴又は下位構成要素のうちの１つ又は複数を通じて、以下に特に述べるとおりの利点のうちの１つ又は複数をもたらすべく意図されている。

図面においては類似の記号が類似の要素を表わすために使用され、図１は、異常を検出することによって現場業務を向上させるためのシステム及び方法を実装することが可能な１００として示される汎用コンピュータシステムの実施態様の図解である。コンピュータシステム１００は、インストラクションのセットを含むことが可能であり、それが実行されると、この中に開示されている方法又はコンピュータベースの機能のうちの任意の１つ又は複数をコンピュータシステム１００に実行させることができる。コンピュータシステム１００は、スタンドアロンデバイスとして動作すること、又はそのほかのコンピュータシステム又は周辺デバイスに、たとえばネットワーク１０１を使用して接続することができる。

ネットワーク展開においては、コンピュータシステムが、サーバ−クライアントユーザネットワーク環境におけるサーバとして又はクライアントユーザコンピュータとして動作すること、又はピアツーピア（又は分散）ネットワーク環境におけるピアコンピュータシステムとして動作することができ、それには限定ではないがフェムトセル又はマイクロセルが含まれる。またコンピュータシステム１００を、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、モバイルデバイス、グローバルポジショニングサテライト（ＧＰＳ）デバイス、パームトップコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、通信デバイス、無線電話、スマートフォン７６（図９参照）、固定電話、制御システム、カメラ、スキャナ、ファクシミリ装置、プリンタ、ページャ、個人用信頼済みデバイス、ウェブアプライアンス、ネットワークルータ、スイッチ又はブリッジ、又はそのほか任意のマシンであって、それによって取られるべきアクションを指定するインストラクションのセットを（シーケンシャルに、又はそのほかの形で）実行する能力を持ったマシン等々の多様なデバイスとして実装すること、又はそれの中に組み込むことも可能である。特定の実施態様においては、音声、ビデオ、又はデータ通信を提供する電子デバイスを使用してコンピュータシステム１００の実装が可能である。さらに、ここには単一のコンピュータシステム１００が図解されているが、用語『システム』が、個別に又は連帯的にインストラクションのセット又は複数セットを実行して１つ又は複数のコンピュータ機能を実行するシステム又はサブシステムの任意の集合を含むものであるという解釈もなされるものとする。

図１に図解されているとおりコンピュータシステム１００は、プロセッサ１１０、たとえば中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、又はこれらの両方を含むことができる。さらにまたコンピュータシステム１００は、メインメモリ１２０及び静的メモリ１３０を含むことも可能であり、それらはバス１０８を介して互いに通信することができる。ここに示されているとおり、コンピュータシステム１００は、さらに液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、ソリッドステートディスプレイ、又は陰極線管（ＣＲＴ）等のビデオディスプレイ（ビデオ表示部）１５０を含むことができる。それに加えてコンピュータシステム１００は、キーボード又はタッチスクリーン等の入力（入力デバイス）１６０、及びマウス又はトラックボール又はトラックパッド等のカーソル制御／ポインティングコントローラ（カーソル制御デバイス）１７０を含むことができる。コンピュータシステム１００はまた、ディスクドライブユニット１８０等のストレージ、スピーカ又はリモート制御等の信号生成器（信号生成デバイス）１９０、及びネットワークインターフェイス（たとえば、ネットワークインターフェイスデバイス）１４０も含むことが可能である。

特定の実施態様においては、図１に図示されているとおり、ディスクドライブユニット１８０がインストラクション１８４の１つ又は複数のセット、たとえばソフトウエアを埋め込むことが可能なコンピュータ可読媒体１８２を含むことができる。コンピュータ可読媒体１８２は、インストラクション１８４の１つ又は複数のセットを読み出すことが可能な有体の製品である。さらにインストラクション１８４は、この中に述べられている方法又はロジックの１つ又は複数を具体化することができる。特定の実施態様においては、インストラクション１８４が、コンピュータシステム１００による実行の間に完全に、又は少なくとも部分的にメインメモリ１２０、静的メモリ１３０、及び／又はプロセッサ１１０内に常駐することがある。メインメモリ１０４及びプロセッサ１１０は、コンピュータ可読媒体を含むこともできる。

代替実施態様においては、専用のハードウエア実装、たとえば特定用途向け集積回路、プログラマブルロジックアレイ、及びそのほかのハードウエアデバイスを、この中に述べられている方法のうちの１つ又は複数を実装するよう構成することが可能である。多様な実施態様の機器及びシステムを含むことができる応用は、広く、多様なエレクトロニクス及びコンピュータシステムを含むことが可能である。この中に述べられている１つ又は複数の実施態様は、モジュール間又はそれを通じて通信することが可能な関連する制御信号及びデータ信号を用いて２つ又はそれより多くの特定の相互接続されたハードウエアモジュール又はデバイスを使用して、又は特定用途向け集積回路の部分として機能を実装できる。したがって、このシステムは、ソフトウエア、ファームウエア、及びハードウエア実装を範囲に含む。

本開示の多様な実施態様によれば、この中で述べられている方法は、コンピュータシステムにより実行可能なソフトウエアプログラムによって実装することができる。さらに、一例の非限定的実施態様においては、実装が、分散処理、構成要素／オブジェクト分散処理、及び並列処理を含むことができる。代替として、仮想コンピュータシステム処理を構築し、この中で述べられている方法又は機能のうちの１つ又は複数を実装することも可能である。

本開示は、ネットワーク１０１に接続されたデバイスがネットワーク１０１を介して音声、ビデオ、及び／又はデータの通信が可能となるように、インストラクション１８４を含むか、又はインストラクション１８４を受信して伝播された信号に応答して実行するコンピュータ可読媒体１８２を企図している。さらに、インストラクション１８４は、ネットワークインターフェイスデバイス１４０を介し、ネットワーク１０１にわたって送信及び／又は受信を行なうことができる。

［異常検出エージェント及びサーバ］
図２−３は、この開示の態様に従った異常検出エージェント及びサーバ（ＡＤＳ）３０の概略図を示している。ＡＤＳは、分離したセンサ４２、４４、４６、４８、５０のそれぞれの入力及び出力のセットから異常な入力及び出力のイベントを抽出するためのエージェント３２、３４、３６、３８、及び４０を含む。例示的なセンサは、販売時点（ＰＯＳ）４４、ビデオ４４、ユニファイドコミュニケーション（ＵＣ）４６、現場アクセス制御４８、及び施設／エコ制御５０であるが、本発明のほかの態様（たとえば、図１７に示されるような態様）においてはこのほかのタイプの多様なセンサが使用できることを当業者は認識するものとし、それには、限定ではないが、スチルカメラ、顧客関係管理（ＣＲＭ）２１０、サウンドレコーダ２１２、赤外線動き検出器、バイオメトリックセンサ２１４、速度検出器、温度センサ、ガスセンサ、位置センサ２１６、及びこれらの類が含まれる。各センサ４２、４４、４６、４８、５０は、それぞれの対応するエージェント、すなわちＰＯＳ異常検出エージェント（ＰＭＡ）３２、ビデオ異常検出エージェント（ビデオマイニングエージェント又はＶＭＡともいう）３４、ＵＣ異常検出エージェント（ＣＭＡ）３６、アクセス制御異常検出エージェント（ＡＭＡ）３８、及び施設制御異常検出エージェント（ＦＭＡ）４０に接続される。

エージェント３２、３４、３６、３８、及び４０は、図３に略図的に示した異常イベントシーケンス相関サーバ（ＡＣＳ）５２に接続され、当該サーバは、イベントシーケンスマイニングとして知られている自動的なシーケンスのパターンの学習及び異常イベントシーケンスの検出を行なう。

自動学習ステップは、２段階のプロセスを含む。最初に各エージェント３２、３４、３６、３８、及び４０が、現場で使用されているそれぞれのセンサ４２、４４、４６、４８、５０からイベントデータを収集し、選択したセンサ４２、４４、４６、４８、５０の入力及び出力の選択したサブセットから正常パターンを学習する。各イベントには、異常スコアが与えられる。データマイニングは、人間の介入を伴うことなく自動的に行なわれる。異常スコアが生成された後、異常が中及び高のスコアだけが、図３に略図的に示されている異常イベントシーケンス相関サーバ（ＡＣＳ）５２に送られる。ＡＣＳ５２は、たとえば時空分布の形式の顧客、労働者、ドライブスルーの自動車の挙動の異常に基づいて異常な挙動のスコア付けを行なったマイニングエージェントを使用して異常なアクティビティ（たとえば、異常な顧客注文要求）を翻訳する。スコアに基づいてイベントがランク付けされると、異なるタイプのイベントの間における異常のための共通基準が設定される。

第２に、ＡＣＳ５２が、動的かつバースト性の分布が静的分布の上に分析可能となるようにメタプロパティ（たとえば、抽象価値メタデータ（ＡＶＭＤ）５４）を検出する。スコア異常イベントのメタプロパティは、発生、到着間レート、及び異なるタイプのイベントの相関に基づく。ＡＣＳ５２は、交差到着分布パターン学習も行なってイベント間における異常な相互関係を検出する。またシステムは（たとえば、フロントエンドにおいて）ディープパケットインスペクションを使用してアプリケーションレベルのメッセージを取り込むこともできる。センサデータの出力シーケンスは、異なるセンサ４２、４４、４６、４８、５０の間の対応するシーケンスが移動窓内において正常シーケンスと異なり始めたとき、パターンの統計的分布としてログされて学習される。たとえば、ａ（ｉ）、ｂ（ｊ）、ｃ（ｋ）は、複合分布を形成することができるセンサａ、ｂ、ｃからの異常挙動スコアである。相関異常は、多くの形で定義することが可能である。１つの例示的な方法は、シーケンスの各タイプの発生頻度によって重み付けした全ての可能順序付きシーケンスのＬ２距離（ｐ＝２のときのミンコウスキ距離、すなわちユークリッド距離）とすることができる。ａ（ｉ）、ｂ（ｊ）、ｃ（ｋ）の全ての組合せについてＲＭＳ（（Ａ（ｉ）−ａ（ｉ），Ｂ（ｊ）−ｂ（ｊ），Ｃ（ｋ）−ｃ（ｋ））。システムは、続いて、複数のセンサ４２、４４、４６、４８、５０の間の異常挙動値の異常な次数及び大きさを検出することができる。非常に発生頻度が低いか、又は非常に異なるスコアを有するシーケンスの場合には、相関器が、制御可能な間隔で、バンドルされたイベントとして、又は各入力イベントのための複合異常挙動値のシーケンスを発行することができる。また、異常の値を獲得するために、システムのアルゴリズムが、各行が上記のセンサ入力のうちの１つを表わし、かつ時間間隔によって列が獲得される行列を獲得する。最終列の時間窓は、状態情報を取り込む行列を定義する。記号シーケンスマイニングベースのアルゴリズムを利用するために、システムは、その種の行列データを収集し、クラスタリングを適用してクラスタを見つけ出す。続いて各クラスタに記号（クラスタ記号）が割り当てられる。この多次元シーケンスデータが、シーケンス学習及び異常の検出を期待されるシーケンスパターンに基づいて適用する記号のシーケンスに変換される。この開示の別の特徴は、時間長の変動に対する堅牢性をサポートし、上記の行列を異なる時間窓サイズ（１秒、２秒、４秒等）を用いて獲得することが可能である。これらの行列データにウェーブレット変換を適用して、上記のシーケンスのクラスタリング及びクラスタ記号割当てのために利用可能なベクトルを獲得することも可能である。これらは、シーケンスを学習し、発見されたシーケンスを使用することによって異常を検出する例示的な方法である。

現場（たとえば、ファーストフードレストラン）における相互関係異常の例示的なタイプは、順序の異常、たとえば、自動車がドライブスルーエリアに入るが、注文又は受け取りエリアに止まらないこと、顧客が注文エリアに向かわずに商店に入ること、多くの自動車がその時間帯の正常なサービスレートよりはるかに高いレートで押しかけること、及びドライブスルーの入口に自動車が止まっている時間間隔が長すぎ、長い待ち行列又は自動車の故障が示されていることを含む。

相互関係イベントシーケンス異常の例示的なタイプは、自動車がＰＯＳトランザクションなしに食品の注文に乗り入れる状況、顧客が離れた後又はＰＯＳ／キャッシャエリアに顧客が入るより早くにＰＯＳトランザクションが生じる状況（損害防止イベントのための可能性のある機会を合図する）、正常な営業時間に必要とされるよりはるかに多くの食品を調理場が作る状況、販売員が挨拶しない顧客の数が正常時より多い状況（販売要員が不在の可能性を示す）、商店に入る顧客のレートが正常より高い（ＶＭＡによって決定される）が、販売が正常より低い（ＰＯＳによって決定される）状況、商店の予め決定済みのセクション内に顧客が立ち止まる時間がほかのエリア内で顧客が立ち止まる時間より有意に長いが、パターンが変化している状況（特別な販促の有効性又は関心に変化があることを示す）を含む。

したがってＡＣＳ５２は、図４に示されているとおり、現場で使用されている複数のシステムから異なるタイプのイベントを収集し、これらのイベントに基づいて複数のデータモデル／マップ５６を構築／更新する。たとえば、エージェント３２、３４、３６、３８、及び４０から受信した動き異常スコアリングエンジンＳＥ１…ＳＥｎからのデータとＡＶＭＤ５４が相関されて、動きマップデータキューブ５８が生成され、その後それが使用されてイベントシーケンスマップ５６が作成される。イベントシーケンスマップ５６は、その後、異常イベント６０の識別に使用されるが、システムは、これらの異常イベントの通知６２又はレポートを生成するよう構成できる。通知６２は、異常イベントが発生し、ＡＣＳ５２がイベントの分析及び相関を行なった後に生成される。複数のシステムにわたって異常を識別することによって同期イベントがトリガされ、アクション同期ページングサーバ６６を介して労働者及び／又は経営者に通知し、たとえば顧客サービスレートをスピードアップすることができる。

異常業務インテリジェンスレポートシステム６４（図３参照）は、異常イベントが生じた時刻及び場所についての詳細な情報を提供し、異常イベントの頻度が増加するときには、現場処理の変更の必要性を知らせることができる。

本発明の追加の特徴は、たとえば先進ビデオ動き追跡デバイス等（たとえば、トラッカ出力物体バウンディングボックス）のプラグ−アンド−プレイデバイスに基づく追加の異常スコア検出エンジン５２を追加するためのスケーラビリティである。したがって、システムは、ユーザの必要性に応じてカスタム化可能である。

図３に示されているとおり、ＡＣＳ５２、異常業務インテリジェンスレポートシステム６４、及びアクション同期ページングサーバ６６は、フェムトセルハブ７４を含むネットワーク１０１を介してモバイル顧客注文システム６８、自動監督システム７０、及び商店業務ジャーナル７２（詳細は後述）に接続できる。ここで使用される場合のフェムトセルは、小さいエリア内のモバイルネットワークのカバレッジを向上させるために使用されるデバイスである。フェムトセルは、通常の接続を通じてモバイルデバイスとローカルに接続し、その後その接続を、通常の携帯電話アンテナ塔をバイパスしてブロードバンドインターネット接続にわたってキャリアまでルーティングする。

［労働力管理］
このシステムに提案される１つの用途は、労働力管理である。たとえば、小売環境においては、アクション同期ページングサーバ６６が、顧客の数が販売スタッフの数より少ないときに顧客が販売スタッフ要員のアシストを受けていたか否かを小売店経営者に知らせることができる。しかしながら、顧客の数が販売スタッフの数より多いときには、アクション同期ページングサーバ６６がアラーム又はページを生成しなくてもよい。販売スタッフ要員がマーカ、ＲＦＩＤ、又はそのほかの自分自身を識別し、位置を知らせる手段を装着しているときは、システムが、販売員が顧客とインタラクションする方法を追跡することが可能になる。

システムはまた、携帯電話又はアクティブタグ（ＲＦＩＤシステム等）等の複数のモバイルデバイスからトランザクションデータを収集できる。これらのモバイルデバイスは、業務ジャーナル７２を通じてビデオ画像と結合することが可能な場所情報をシステムが獲得することを可能にする。業務ジャーナル７２は、自動的にシステムによって検出され、ジャーナル内にログされた累積的な商店業務イベントシーケンス及び異常イベントを含む。モバイルデバイスもまた、モバイルデバイス及びアクティブタグからトランザクションデータを収集する。

収集されるトランザクションデータは、たとえば次に示すデータを含むことができる。
Ａ．ある場所におけるデバイスの動作開始及び終了時に関連付けされるデータ。その種のトランザクションデータは、注文されたか、又は処理されるべきアイテム又はサービスを含むことができる。たとえば、システムがモバイルデバイスから注文情報をオンラインで収集し、それを、その注文の充足が可能なマシンへ転送する。トランザクション、ビデオベースのカウント、ビデオベースの立ち去った顧客の検出、従業員追跡レコードは、注文及びＲＦＩＤ追跡に基づくことができる。
Ｂ．各スタッフ要員のパフォーマンスに関連付けされるデータは、完了した各アイテムについて生成及び／又は更新ができる。この連続的に更新されるモデルは、特定のスタッフによるそれぞれの個別の製品のためのサービス時間を取り込むことができる。
Ｃ．時間帯及び曜日に基づく顧客需要に関連付けされるデータは、たとえば携帯電話トランザクションデータ及びビデオベースのデータに基づいてそれぞれの製品ごとに生成及び／又は更新ができる。
Ｄ．提案されているシステムは、スタッフによりオンライン注文に応答して実行される業務のシーケンスを、ＲＦＩＤトレースに関連付けされるデータと注文情報に関連付けされるデータ（携帯電話トランザクション）を結合することによって学習する。この結合されたデータは、検出イベントを通じてカメラの視野と相関され、特定の注文の準備時のスナップショットが学習される。これらのシーケンスは、ジャーナル７２の構築（たとえば、損害防止のため）及び期待されるシーケンスが観察されないときの異常の検出のために使用される（かつ、リアルタイム警報を商店経営者に提供できる）。スタッフ及びそのほかの人々の動きのレートと比較したときに高速サンプリングレートにはしばしば多くの冗長性が存在するため３０ＦＰＳ（フレーム／秒）のビデオデータの記録及び処理を常には必要としないことから、スナップショットシーケンス内の相違を検出することは好都合である。
Ｅ．スタッフのパフォーマンスに関連付けされるデータ及び期待される製品需要及び待ち行列の時間が結合されると、システムは、サービス時間と適正なスタッフを平衡させつつ人員配置決定を行なうことができる（たとえば、システムは、より経験の少ないスタッフを予定してもサービスレベルを満たすことが可能であり、より経験のあるスタッフを同一商店内のほかの場所に使用できることから、システムが最もすばやいスタッフをドライブスルーに割り当てる必要がない）。
Ｆ．期待されるサービス／待ち時間情報が、ドライブスルーにおける待ち時間についての何らかの考えを与えるべくリアルタイムで商店の正面のディスプレイに表示されることはもとより、オンラインで顧客が利用可能となる。

より良好な顧客サービスを提供するために、システムは、サイト／商店に最初に到着した顧客を示すことができる。到着の優先順位を強調することは、『ラインの割り込み』及び顧客憎悪を低減させる。この種の商店内において顧客が費やした時間についてのデータを生み出すシステムは、商店に、顧客のトラフィックについての価値のある見識を提供する。

システムは、場所情報、到着時刻見積、及び注文処理作業フローステータスから複数タイプの統計を収集する。システムは、複数のセンサの入力及び出力を使用し、たとえば以下のような経営者又は労働者が手動で行う場合に容易でない分析を行なうことができる。
Ａ．ドライブスルーにおける通常のサービスレートを超えた異常に速い乗り物の到着を、注文がＰＯＳシステムに入力される前にビデオによって検出することができる。システムは、労働者（自動車の数及び注文等のリアルタイムの商店業務データも表示する特殊な眼鏡を着用できるか、又は労働者の注文処理をスピードアップするリアルタイム表示を見ることができる）に注文処理レートをスピードアップすること、又は経営者に余剰リソースをドライブスルーのために宛がうことを喚起できる。
Ｂ．多数の特定アイテム（たとえば、ハンバーガー）の異常な注文は、大量注文がほかの顧客の注文の注文処理を妨げないように、調理場が注意して大量注文とそのほかのより少ない注文を平衡させることを必要とする。
Ｃ．正常な到着の下において立ち去りレート（すなわち、顧客又は乗り物が注文待ち行列から離脱するとき）が異常に高いことは、何らかの現場業務誤りに注意が必要となっている可能性がある。
Ｄ．異常に長い到着間隔は、交通渋滞に起因している可能性がある。
Ｅ．異常に高い返品レートは、損失防止のための幽霊返品（たとえば、実際に返品されなかったアイテムの返品フォームを顧客が受け取るとき）の確率が高いと見られる。
Ｆ．現場のある領域内における異常に低い顧客の立ち止まり時間は、商品配置に伴う問題を示している可能性がある。

異常イベントが決定されると、次に示すようにシステムによって自動的にアクションがとられる。
Ａ．システムは、顧客の注文パターン及び高又は低在庫品総量の異常に基づいてリアルタイム通知を提供し、販促活動を自動的にトリガすることができる。紙の、又は仮想の販促クーポンをオプトインロイヤルティ顧客（たとえば、ベンダーの顧客ポイントサービスに会員登録された買い物客で、たとえばＣＲＭを介して識別される）に対して商店近傍で配ることができる。会員顧客のプロファイルは、パーソナル化されたクーポンの提供を伴うアップセル及びクロスセルの機会を見るために使用することが可能である。パーソナル化されたクーポン払い出しシステムは、現在の有効な注文を調査し、会員顧客の好み及び現在の利用可能な在庫を比較してアップセル機会を識別することができる。たとえば、会員顧客が通常は朝にコーヒーを注文するが、今回は注文せず、現場に豊富な供給量のコーヒーがある場合に、会員顧客用のコーヒーのための割引クーポンを、パーソナル化されたクーポン払い出しシステムによって提示することができる（たとえば、その会員顧客のモバイルデバイスのアプリケーションに送信することができる）。販促システムに対する最小限の入力には、限定ではないが、現在の注文、調理場の状態、及び顧客の離脱／切り換えを予測するチャーンモデルを用いた顧客の評価を含む。たとえばシステムは、期待されるチャーン確率（商店を今後は訪れない顧客の（人口統計をはじめ食品人口統計に関して）類似する人口統計からのデータによって獲得される）に基づいて顧客が離脱／切り換えをしようとしているとの評価をシステムが得たことから、無料ドリンクの提供を（調理場に過剰供給が期待されない場合でさえも）決定することができる。システムは、これらのデータをさらに、商店への顧客の関心を維持するために使用されるストラテジの評価に使用できることから、トランザクションにおけるそのタイプの販促をマークすることができる。また、環境配慮のデジタルレシートを（直接かつ安全に電子的にデジタルレシートを顧客のスマートフォン又はそのほかの場所（クラウド上のオフサイト保管庫等）に送信することによって）使用して紙消費を抑えることができる。その後、顧客は、そのデジタルレシートに署名し、それをＰＯＳに安全に送り返すことができる。
Ｂ．顧客の位置情報を使用し、その顧客の期待される到着時刻に基づいて、ちょうどのタイミングで注文処理をスケジュールすることが可能である。労働者がモニタされ、顧客が受け取るちょうどのタイミングで注文品の準備が可能となるようにすることができる。準備の遅延が異常である場合には、そのことが生産性の問題又は特別な注文の異常を示している可能性がある。注意されるものとするが、顧客は自分の位置情報の追跡にオプトインすることができる。その種の場合には、顧客の位置データを特定の間隔又は目印において（各時間単位における厳密な位置に代えて）サンプリングすることが可能である。
Ｃ．顧客が商店に入るときには、労働者によってその顧客に提供されるサービスレベルをモニタすることが重要である。ビデオ分析サブシステムは、販売要員のミートアンドグリート挙動又はキャッシャによる返品される物品の取り扱い方と相関させることが可能なデータを取り込むことができる。異常に高いか、又は低い相関又は発生は、販売又は損失防止機会を示している可能性がある。
Ｄ．労働者の時間及び随伴（レコーダはビデオのログを有する）を決定するか、又は顧客のセルフサービスシーケンスの異常を決定する顔検出及び認識は、オンデマンドベースで自動的に労働者に対して顧客サポートを提供することを通知できる。労働者の携帯電話を、顔検証を伴うアクセス制御カードとして使用し、システムの信頼性を増加することができる。
Ｅ．デジタルサイネージ（宣伝内容と大多数の顧客プロファイルを整合させる宣伝マネージャに対する入力としての顧客のプロファイル、年齢、人種等に応答）。異常プロファイルに遭遇すると、システムは、労働者に対する警報レベルを上げることができる。統合化ＰＯＳシステム及びデジタルサイネージはソリューションを提供する。ＰＯＳ端末のカメラが顧客に面しており、顧客の顔画像を取り込む（その先の処理及び認識タスクのために顔画像の最良セットを選択する）。収集された顔画像が、年齢、性別等の決定モジュールに供給されて、顧客プロファイル情報が得られる。この情報は、プロファイルベースの宣伝システムによってデジタルサイネージ上の内容を制御するべく使用される。同一の認識システムが、安全及びセキュリティ応用（個人の関心をサーチする場合）のためにも使用される。オプションとしてシステムのセキュリティ応用の要件を、たとえば収集可能な情報の種類及び情報の保持期間を規制する適用可能なプライバシ規則に従うために、ほかの応用（マーケティング、運用、販促、人員配置、マーチャンダイジング、ポイントサービス等）から分離することができる。これに関して言えば、システムによる個人情報の使用許可をオプトアウトした顧客の「識別」を伴うことなくパーソナル化された機能を実行することができる。

この開示の特徴は、ＰＯＳデータの追跡に加えて、又はそれに代えてトラフィックデータを追跡する。ＰＯＳデータは、販売、トランザクション、及び在庫品の動きの履歴の追跡に使用されるが、トラフィックデータは、販売ポテンシャルの理解のための理想的なメトリックである。トラフィックデータセットがＰＯＳデータセットより大きいことから（商店に入る人の全てが購入を行なうわけでないため）トラフィックデータの分析は、現場に機会ベースの販売ストラテジを与える。たとえば、商店が適切な時間に適切な場所で適切な人員を展開できるとすれば、追加の人員コストを負うことなく顧客の需要及び期待を満たすことができる（すなわち、システムは、商店がスタッフの有用性を最大化することを可能にする）。この開示のさらなる特徴は、システムが最適の現場フロア構成（たとえば、現場のサイズ及び／又はフロアプラン）を決定するために、このトラフィックデータを使用して現場の平方フィート当たりの収入（又は利益）を決定する。

この開示の別の特徴は、現場が、アシストを受けていない顧客を検出することを可能にする。この種の状況においては、潜在的な販売の損失を避けるために、顧客が迅速にアシストを受けることが確保されると望ましい。これに関して言えば、各販売スタッフ要員が位置識別デバイス（たとえば、モバイルＰＯＳ、ＲＦＩＤタグ、タブレットＰＣ、モバイルＰＣ、ページャ、スマートフォン、及びこれらの類）を保持し、待機している顧客の身元及び場所を（たとえば、顔認識、ＣＲＭ、スマートフォンを使用して）識別する。注意されたいが、実際の身元（名前等）は、システムの動作に必要ではなく、一意的に個人が識別されるだけでよい（たとえば、アジア人の男性、年齢１８−３５）。

図５を参照すると、ステップＳ５０において（好ましくは手空きの）従業員の位置がモニタされ、ステップＳ５２において顧客の位置がモニタされる。上記のとおりに位置アイデンティティを使用し、ステップＳ５３において、従業員と顧客の位置関係が決定される。ステップＳ５４において従業員と顧客の距離が予め決定済みの値の範囲外であれば、ステップＳ５６において、顧客がアシストを必要としていることが従業員に喚起される。ステップＳ５４において従業員と顧客の距離が予め決定済みの値の範囲内であれば、システムは、従業員によって顧客がアシストされていると判断し、プロセスがステップＳ５０に戻る。システムはまた、従業員が顧客に挨拶する時間の長さを追跡し、記録する能力をはじめ、顧客の元に向かわせるときにおける従業員の起点位置を決定する能力も有する。労働者／スタッフ要員の位置を決定する追跡テクノロジの使用は一般的に容認可能であるが、顧客の中には、位置が追跡されることに抗議する者がいることに注意されるものとする。これに関して言えば、システムは、顧客が自分の位置の追跡及び／又は決定がなされることにオプトイン又はオプトアウトすることを可能にする。顧客が、上記のとおりの自分の位置の厳密な追跡がなされることにオプトアウトする場合には、システムは、厳密な位置（±３フィート内の正確度）ではなく、ビデオ及び／又は無線テクノロジを利用して粗い位置（たとえば、所定の通路）における顧客の存在を決定することが可能である。

図７−８を参照すると、この開示の特徴は、顔検出及びマッチングも使用して顧客到着情報等の顧客情報を獲得する。顧客追跡の正確度を増加するために、システムは、追加の特徴として、それぞれの追跡された目標軌跡ＯｂｊＴｉ、ＯｂｊＴｊに関連付けされた顔データの集合｛Ｆ｝を使用する。目標は、目標トラッカ８０を有するか、又はそれに接続されたセンサ（カメラ４４等）によって最初に取り込まれる。追跡される目標は、マッチングモジュール８２を通じて処理され、それが目標軌跡の間における類似性を、それらの動きパターン及び顔特徴のセットを使用して決定する。マッチングモジュール８２は、類似する目標軌跡のセットを識別し、それらを同一人物に属すると見なす。注意されたいが、実際の身元（名前等）は、システムの動作に必要ではなく、一意的に個人が識別されるだけでよい。

さらにまた、マッチングモジュール８２は、リアルタイムの類似性サーチのための異なるカメラから到来する目標軌跡データＯｂｊＴｉ、ＯｂｊＴｊを処理し、目標軌跡データに関連付けされる顔データ／特徴のセットを利用することによって同一人物に属する目標軌跡を復元する。また目標軌跡データを、複数のカメラの較正目的のために使用することもできる。

また追跡処理をスピードアップするために、マッチングモジュール８２は、カメラの間の学習済みの時空関係に基づいて候補を絞り込むことができる。上記の軌跡のグルーピングが完了した後、システムは、人が現われたとき、及び消えたときのタイムスタンプを更新して、たとえばどの顧客が最初であったか、顧客が待っていた長さ、顧客が商店内にいた長さを、人テーブル８４を使用して決定することができる（可能性としてはモニタ上に表示される）。その種の情報は、たとえば負荷軽減する待ち行列の決定、キャッシャのパフォーマンスの決定に使用することが可能である。この場合においても実際の身元（名前等）がシステムの動作に必要ではなく、一意的に個人が識別されるだけでよいことに注意が必要である。

システムは、獲得された顔画像の品質が良好であるか否かを判断すること、代表的な顔画像のセットの品質が良好であるか否かを判断すること、１つの顔と代表的な顔のセット（かつカメラアウェアとし得る）の間における類似性を計算することも可能である。

図７は、同一カメラの視野内の目標軌跡が、顔データ及び顔の特徴のセットを使用して関連付けされる方法を例証している。図７においては、トラッカ８０が、顔の検出及び獲得された顔画像の品質が良好であるか否かの決定を抽出できるが、全ての目標軌跡が顔データを有することにはならない（たとえば、カメラが背後から個人を観察している状況）。

目標テーブル８６内において軌跡のマッチングが完了すると、それらのマッチング軌跡が人のビューにマップされ、それにおいてシステムは、人テーブル８４を使用して一意の識別子を割り当て、その人の到着時刻を抽出することができる。

キャッシャのパフォーマンスは、したがって、待ち行列の時間情報、立ち去った（購入することなく商店を去った）顧客の数、ＰＯＳトランザクションの数、アイテム及び量、及びこれらの類を組み合わせることによって評価できる。キャッシャが複数である場合においては、商店の経営者が、各キャッシャについての平均顧客待ち時間を即座に見ることができる。損失機会の測定は、期待される顧客トラフィックの適正な予測を商店が行なう上でしばしば重要になる。商店は、ＰＯＳのみから誰が忍耐強く待って商品の支払いを行なったかということだけを知り得るが、開示の特徴によれば、上記の収集された情報を各キャッシャについてのパフォーマンスメトリクスに変換することができる。その後、パフォーマンスの高いキャッシャのビデオ記録を利用し、たとえばほかのキャッシャに多忙な期間を効率的に取り扱う方法を見せ、ほかのキャッシャの教育に利用することができる。

図８は、複数のカメラ４４を使用する顔検出及びマッチングのためのシステムを示している。複数のカメラ４４を使用する場合に、マッチングモジュール８２は、カメラ固有の軌跡パターンをカメラ関連付けパターンとともに使用して、不可能なケースを取り除くことによってマッチング実行時間を短縮する。人テーブル８４は、上記と同じ態様で埋められる。

最も長く待っている顧客（目標）は、最小のタイムスタンプを伴っている顧客である。この情報は、追跡メタデータ『メタ』とともにカメラのビデオストリーム内に挿入される。顧客待ち時間又は顧客が店内にいた時間長は、目標のメタデータが表示されるときに、たとえばリアルタイム転送プロトコルを使用して表示することができる。この方法においては、平均的な買い物客の平均買い物時間のプロファイルを利用して、モニタリング要員に、特定の目標／人が平均より長く店内にいる旨の注意喚起を提供することが可能であり、損失防止のためのプレスクリーニングを行なうことができる。この情報は、ネットワークビデオストレージ（ＮＶＲ）に格納することができる。

顧客をアシストするための手空きの従業員がいない状況においては、システムが顧客のアシストに収入期待モデルを使用する。たとえば、アシストを受けていない顧客がたとえばコンピュータ等の高価値アイテム（たとえば、アイテム上のＲＦＩＤタグによって決定される）を保持しているか、又は店内の高価品の場所（たとえば、コンピュータ通路）に立ち止まっており、アシストを受けている別の顧客がより価値の低いアイテム（たとえば、テレビゲームのカートリッジ）を保持しているか、又は店内の廉価品の通路（たとえば、テレビゲーム通路）に立ち止まっている場合に、より価値の低いアイテムを保持しているか又は店内の廉価品の通路に立ち止まっている顧客をアシストしている従業員に、その顧客をそのままにして高価値アイテムを保持しているか又は店内の高価品の場所に立ち止まっている顧客のアシストを指示する。この方法においては、より大きな収入期待を伴う顧客が優先される。システムは、各販売員の販売及び教育のスキルセットを蓄積し、その後それと商品のタイプのマッチングを行なうことができる。システムは、スキルセットの情報を利用して販売要員を選択し（複数の手空きの販売スタッフの中から、又は複数の従事中の販売スタッフの中から）、適したタイプの商品が置かれている店内のエリアに向かわせることができる。

この開示のさらなる特徴は、複数の顧客の位置をモニタし、アシストを受けていない各顧客がアシストを受けなかった時間期間を決定し、それに基づいて最も長く待っている顧客の順で顧客の元に販売スタッフを向かわせることができる。

この開示の別の特徴は、商品のタイプに応じて適切な顧客待ち時間を決定するためのシステム及び方法を提供する。店内の各通路／セクションは異なるタイプの商品を担持しており、顧客は、通路／セクション内の商品のタイプに応じて異なる量の時間を費やし、したがって、しばしば販売アシストを求めることになる。

前述したとおり、システムは、ビデオデータマイニングテクニックを使用して顧客の期待待ち時間を検出及び／又は予測することが可能である。システムは、機能の提供にＲＦＩＤ追跡（スタッフ及び商品）及びビデオ（顧客、スタッフ、商品）を利用する。システムが、期待されるより長く顧客がとどまっていることを検出すると、システムは販売要員をそこへ向かわせる。収集されたトランザクションデータは、顧客が待っていた通路、どのくらい長く顧客が待っていたか、いつ販売要員が到着したか、販売要員のＩＤ、どのくらい長く販売要員が顧客をアシストしていたか、そのアシストが販売に結び付いたか否か、及びその額はいくらかといったことを記録している。システムは、顧客が販売要員からアシストを受けることなく離れた時を記録する（損失機会）。変換レート（顧客に対するアシストが販売をもたらしたか否かに基づくレート）が、購入が発生したか否かについて（たとえば、ＲＦＩＤタグデータを使用して）計算される。その後システムは、観察された変換レートの成功に応じて顧客がとどまるしきい値を調整することができる。この開示のさらなる特徴は、『ヘルプ』ボタンを店内の通路に提供でき、顧客が補助のために手を伸ばした時の判定にそれを利用できる。ビデオベースのデータ、立ち止まっている時間、及び『ヘルプ』ボタンが押された時の組合せがシステムによって処理され、この情報を利用して販売要員を前もって向かわせておき、顧客に閲覧のための適切な長さの時間を与えることと適時にアシストを提供することの間における均衡のとれた解決策を見出し、それによって挫折及び不安がより少ない結果を顧客の側にもたらし、より良好な買い物経験を提供することができる。また、システムは、通路固有のその種の期待モデルを生成することが可能であり、顧客の「人口統計」も利用できるときには通路及び顧客の人口統計固有の期待モデルを生成することも可能である。目標の足どり、顔等を使用して顧客についての追加のデータを抽出することによる遠隔感情識別等（たとえば、リラックスしているか、幸せそうか／ほほえんでいるか、不安レベルは高いか、動揺しているか、困惑しているか、行ったり来たりしているか等）といったそのほかのビデオベースのテクノロジもこのシステムによって適宜利用可能である。その種のデータを使用して、顧客に不安／挫折を最も多く与えた通路をはじめ、顧客があまり時間を費やさずに物品を拾い上げることが多かった『ハッピー通路』を識別することができる。

取り込み済みビデオ（変換を導く）は、ほかの要員のトレーニングのために利用可能である。この種の資産は、獲得したか又は失った機会を用いて人的リソース部門が販売要員の教育及び再教育を行なうことを可能にする。

ＰＯＳトランザクションデータが商店ごとに収集された後は、システムが、天候情報及び休日情報とともに時間期間のデータを集計することができる。この集計は、販売、販売アイテム、及びスタッフの需要を予測するための基本的なモデルを生み出す。中央データウェアハウスに個別の商店のデータが収集されると、別のアルゴリズムが商店の地理的な位置によってそれらを集計し、それによって地理的な類似性及び非類似性モデルが提供される。この測度を使用して異常な商店のパフォーマンスを検出することが可能であり、それにおいてパフォーマンスの高い商店は、いずれの販売及び／又はマーケティングテクニックが効果的であるかについて本社の学習を助け、その結果、パフォーマンスの低い商店は、プログラムに加えられるか又は閉店されるかのいずれかとなる。この開示のさらなる特徴は、次の事項によって容易に実現可能な「フロアプラン」テスト（又は、そのほかの任意のマーケットテスト）の比較を可能にする。
（１）類似の商店を（プロファイル（販売、アイテム、顧客人口統計、フロア、販売要員等に関連付けされるデータ）に基づいて）選ぶこと、
（２）２セット又はそれより多くのセットのフロアプラン、販売促進、又はユーザが比較を希望するあらゆるセットを比較すること、及び
（３）予め決定済みの時間長にわたってデータを収集し、提案された変更によって何らかの相違／効率が得られたか否かをチェックすること。
上記を使用し、この開示の非限定的な特徴によるシステムは、本社が、非常に統制のとれた比較可能な向上テストを走らせ、リアルタイム、日毎、又は時間毎で比較結果を見ることを可能にする。

期待される販売アイテムの決定は、個別の商店に対する物品の引渡しを可能にし、多様な現場への物品の引渡しの最適化に集計ビューを利用することができる。供給トラックに複数の商店の場所のための物品を詰めることが可能であり、それによって供給引渡しをはじめ各個別の商店の在庫を改善し、各商店は、最も売れる物品を次の供給トラックの到着まで有することになる。このデータを使用し、システムは、在庫切れのコストと供給トラックの急派のコストを比較することができる。この一定した情報収集、集計、予測、及び多様な業務活動への転化が、現場業務の効率を向上させることになる。

この開示の別の特徴によれば、統合自動車ナビゲーションシステム（又はスマートフォン）及び顧客注文システムが、最も近い到達可能なショップまでの実際の運転距離を与えることができる。さらにまた、統合システムは、リアルタイムの交通渋滞データと履歴データを組み合わせて、時間帯、道路、道路工事、顧客の現在位置、顧客の注文、ショップの営業時間等に依存する『最も近いショップ』の新しい定義をもたらすことができる。たとえば、日１と日２について顧客の現在位置が同一であるが、たとえば、日２について計画されている道路の改修又は道路の閉鎖／通行止め（たとえば、要人訪問のため）に起因して日１と日２ではユーザに返される『最も近いショップ』データが異なるといったことがあり得る。

注文が１つのステーションから別のステーションに渡されるとき（たとえば、選択、梱包、出荷ステップ及びこれらの類を有するウェアハウスにおける注文充足プロセスの間に）、このパイプラインの間の注文のスナップショットをカメラが撮り、システムによって注文がどのように充足されるかを記録し、又はジャーナルに残すことができる。損失防止要員は、特定の注文がどのように満たされたかを説明するジャーナルにアクセスすることによって損失又は苦情ケースを調査することができる。実践においては、複数のテクノロジの効率的な統合によってこの操作を実現できる。たとえば、追跡、注文処理、カメラ、及びカメラの位置及びＦＯＶ（視野）、処理済みの注文を承知している制御モジュールが、画像を取り込み、それをマルチメディアサーバに格納するべく準備することをカメラに指示する。コントローラは、タグ読み込みイベントによってトリガされ、かつ期待されるタグ番号（注文と関連付けされる）とのマッチングが行なわれるアクションを用いて各カメラを予め設定することができる。コントローラは、タグ読み込みイベントに応答して注文の画像を取り込むことができる全てのカメラを予め設定することができる。また、各アクションは、取り込み済みのマルチメディア情報をどこに格納するかについてのインストラクションも含む。さらにまたコントローラは、期待されるタグ読み込みイベントが所定の時間窓内に観察されない場合にトリガされて期待される場所に注文が現われなかったか否かを検出するアクションも構成する。それに加えて、類似／同じ注文から収集された以前のデータに基づいて時間窓の学習が行なわれる。さらにまた、期待される読み込みが生じなかった場合には、そのイベントが例外／異常アラームを生じさせて経営者の注意を向けさせ、問題の調査及び修正を行なわせる。その種の場合においては、システムが経営者への通知を行なう一方で、経営者と労働者の間のＵＣ通信を起動することができる。

小売ＰＯＳトランザクションの場合においては、現金トランザクション、特定価格しきい値を超えるか、又は特定の注目アイテム（たとえば、ＳＫＵ番号に基づく）の返品、クーポン又は割引を伴うトランザクション、支払セグメント、特定のクレジットカードタイプ、特定のキャッシャ等の特定の業務を損失防止（ＬＰ）要員が調査する。関係のある部分を含むマルチメディア（ビデオ、オーディオ、顔等）記録の『セグメント』をＬＰ要員がピンポイントで指摘できることは有益である。ＬＰ要員に必要なマルチメディアセグメントを与えることは、ＬＰ要員が自分の仕事をより効率的に行なうことを可能にする。

［位置認識注文処理］
この開示の態様は、ファーストフードのドライブスルー業務等の現場又は図６に示されているように先に注文して後に受け取る形を容認するそのほかの現場のための位置認識注文処理を提供する。位置認識注文アプリケーションは、たとえば顧客の無線デバイス、たとえば携帯電話７６又はそのほかのモバイルデバイス上で実行できる。このアプリケーションは、ネットワーク１０１に接続され、ステップＳ６０において実行される、顧客の位置に基づいて近隣のドライブスルー現場を見つけ出すサービスを使用する。ステップＳ６１においては、アプリケーションが（オーディオ警報又はそのほかの形で）顧客に近隣の商店について（顧客が運転中かそのほかの形で移動中に）通知する。ステップＳ６２においては、顧客が近隣の商店のうちの１つを選択し、その商店で入手可能なアイテムのメニューについて尋ねる。ステップＳ６３においては、アプリケーションが顧客に入手可能なアイテムを知らせる。顧客が注文を希望している場合には、ステップＳ６４においてアプリケーションが（運転している顧客が気を散らさないように、たとえば発話インターフェイスを使用して）注文を取る。ステップＳ６５においてアプリケーションが顧客に注文を確認した後、アプリケーションは、ステップＳ６６において商店に注文を提出し、受け取りのためのコードを獲得する。アプリケーションは、ナビゲーション案内を顧客に提供することもできる。顧客は、現場に乗り入れて現場にコードを（たとえば、携帯電話のスクリーン上のチケットを見せることによって）通知し、注文品を受け取る。このソリューションは、注文取り及び支払のステップを自動化する。支払は、顧客が到着したときに現場によって処理されるか、又は携帯電話７６によって電子的に行なわれるようにできる。

したがって、労働及びトランザクションの時間ならびに費用を削減すること、トランザクション時間を低減すること、自動化された集金に起因してＬＰ機会を低減すること、消費者の待ち時間を短縮すること、及び混雑の緩和から顧客への提供がより多くなることから商店当たりの利益及び収入を増加することができる。

商店／現場の効率をさらに増加するために、見積による顧客の到着時刻に基づいて注文品をスケジュールし、準備することができる。たとえば、システムが顧客から携帯電話７６を通じて注文を受け入れた後、システムは、顧客の位置を受信することによって到着時刻を見積もる。

車内又は携帯電話７６のナビゲーションシステムからの情報が、注文処理システム７８（クラウド−ベースとすること又は受け取り現場の位置にあるものとすることができる）に通知し、続いてそれが到着時刻情報と見積による注文品準備時間を組み合わせて顧客の注文品の準備をいつスケジュールするべきかを決定する。ちょうどの時間の注文品の準備によって、顧客は、できたての食品（又はそのほかのアイテム）を受け取り、それによって顧客満足が向上する。さらに商店の調理場は、その後、食品をより効率的に準備することが可能になる。

開示の１つの態様においては、注文処理システム７８が、顧客の注文品を準備し、提供することになる労働者の顔の画像を顧客に送信することもできる。顧客は、ドライブスルーに到着したときにその労働者の顔の画像を顔認識システムに提示し、それにより通知システム（ページャ、音声通信システム、及びこれらの類等）を通じて顧客の注文品の受け取りがその労働者に知らされる。注文処理システム７８は、注文及び支払に関連付けされたコード（クイックレスポンス『ＱＲ』コード（登録商標）及びこの類）を送信する。顧客は、ドライブスルーに到着したときにそのコード（無線デバイス／電話７６上の画像とすることができる）を注文コード認識システムに提示し、それが労働者に注文品の受け取りのための顧客の到着を知らせる。

また、人口統計（年齢、性別、人種等）に基づく顧客のカウントを使用し、労働力管理システムが、期待される顧客トラフィックの人口統計と労働力を整合させて、それにより顧客ケア及び顧客経験を向上させることもできる。

［顧客検証］
図９−１０を参照すると、顧客が到来してドライブスルー施設等の現場から自分の注文品を受け取るとき、システムは、顧客の身元の検証、すなわち注文した顧客が注文品を受け取ろうとしている顧客と同じであることの検証が可能である。

顧客が注文を行なうとき、商店の従業員が顧客の顔を見ながら注文に取り付けられた顔画像との突き合わせを行なうことによって容易に顧客を識別できるように、顧客の顔の画像を含むデータがシステムに提供される（顧客のスマートフォンから、又はＣＲＭを通じて予め格納されていること等）。代替として、商店の従業員が顧客の顔のマッチングを視覚的に確認することに代えて、注文している顧客の顔の画像と注文品を受け取る顧客の顔の比較に顔検出及び認識システムを使用できる。業務効率の増加のために、顔認識システムが注文品を受け取る顧客の身元を検証できない場合には、顔認識システムから労働者に、顧客の顔の検証をさらに行なう必要がある旨を喚起できる。労働者は、グラフィカルユーザインターフェイス（ＧＵＩ）を使用して注文品を受け取ることが期待される者の顔の画像を表示できる拡張機能付きの眼鏡を装着することができる。

注文プロセスが修正され、また注文処理サービスは、顧客が注文品を受け取るときに見せることになる注文コード（限定ではないがＱＲコードを含む）も返す。顧客に送信されるＱＲコードは、たとえば、顧客の名前、モバイルデバイスの一意的デバイス識別子（ＵＤＩＤ）、携帯電話番号、ＣＲＭ会員番号、ナンバープレート、注文番号等から獲得されるエンコード済み情報を含む。このコードは、現場にも提供される。

図１０は、顧客が注文コードを受信した後に識別される例示的な態様を示している。顧客が乗り物に乗って施設に到着すると、ステップＳ１０１においてナンバープレート読み取り器８８が顧客のナンバープレート情報を収集する。ステップＳ１０２においては、フェムトセル等の無線プロトコルシステムが顧客のＵＤＩＤ情報をその顧客のスマートフォン７６から収集し（たとえば、フェムトセルが注文処理システムを有効にしてデバイス又は会員データベースからの登録を容認する）、その結果、システムは、顧客のナンバープレート及びモバイルデバイスのＵＤＩＤを使用して顧客についてのデータを蓄積する。

ステップＳ１０３において顧客が自分の携帯電話上のＱＲコードを見せると、ＱＲ認識モジュールがそのコードを検出し、コードの抽出及びデコードを行なう。ＱＲ認識モジュールは、注文されたアイテム、ＬＰＲ及び無線プロトコルシステムによって収集された注文処理システム内の情報に照らしてその情報をチェックする。２又はそれより多くの（又は、それに代えて全ての）情報項目が容認可能な整合のために必要とされることから、システムは、注文品を受け取る顧客が注文を行なった顧客であることを検証できる。

上記のシステムは、ＱＲコードがエンコードされる方法に関して強化することが可能である（すなわち、ＵＤＩＤ、顔画像等から演繹される鍵の使用によって暗号化できる）。代替実施態様においては、システムが、電話の位置（ＧＰＳ又はそのほかのジオロケーションによって）又はソシアルメディアサイト（会員の情報がわかっている場合）をチェックできる。

前述のシステムは、顧客の到着レートを決定することができる。たとえば、カメラ４４又はそのほかのセンサが、ドライブスルーの入口を観察し、自動車がドライブスルーレーン内に進入したか否かを検出する。続いてシステムは、これらの『進入』イベントを収集し、毎時間の到着カウントデータを生成する。任意の所定時間にわたる到着レートは、同一時間間隔のカウント標本の平均を取ることによって計算される。

上記のシステムは、連続学習モデル及び現在の観察を使用することによって、期待されるより異常に高い顧客到着レートも検出できる。システムは、現在の時間間隔及び最後のアラームタイムスタンプについて期待される／学習された到着レートに関して最後のサービス時間（移動窓）内における到着の数のときにレポート又はアラームを生成できる。

上記のシステムは、さらに、以前の学習済みモデル及び現在の観察に基づき、レポート又はアラームを生成することによって、期待されるより異常に低い顧客到着レートも検出できる。システムは、周期的に最後の到着イベントを、現在の時間間隔について期待される到着間時間に照らしてチェックできる。時間的寸法における離隔が、現在のタイムスタンプのための学習済みの到着間時間に関して期待されるより長くなっており、最後のアラームタイムスタンプが期待される到着間時間を超える場合には、この方法がアラーム又はレポートを生成してその状況を知らせる。

図１１に示されているとおり、さらに上記のシステムは、顧客の到着順序に基づいて顧客の注文の順序を並べることができる。乗り物が現場に到着するときにそれのナンバープレートを読み取るナンバープレート読み取り器（ＬＰＲ）８８は、乗り物の到着順で乗り物のドライブスルーナンバープレートリスト（ＬＰ）を生成する。注文処理システムは、顧客が受け取り窓に到着する順序での顧客への注文品の引渡がより容易にできるように、できあがり顧客注文品の注文品できあがりリストを参照し、それらの注文品をドライブスルーナンバープレートリストに対応させて並べる。

［損失防止（ＬＰ）］
この開示の態様は、自動化されたマルチメディアイベントサーバ内の損失防止／商店セキュリティビデオ（複数の商店からのものとすることができる）をリンクしてそれらの類似点を明らかにし、組織化された窃盗組織の識別を補助することによって損失防止の回避において援助する。ＬＰケースはそれらの内容の類似性に基づいてランク付けされる。ＬＰ要員は、ＬＰビデオを調査し、それらのリンクを有効にすることができる（イベントマルチメディアジャーナル７２を用いてＬＰビデオの間の閲覧のためのリンクを増加させる）。リンクされた閲覧は、調査するべきビデオの数を低減し、ＬＰ要員の焦点をより長々しくなく、より関連のあるビデオのセットに当てさせることによってＬＰ要員の有効性を向上させる。ＬＰ要員は、したがって、より容易にビデオ内容の類似性を思い出すことが可能となり、それによって調査コストを削減する一方、ＬＰマルチメディアデータのソート及びリンクによってシステムの効率が向上する。図１２は、クラウドサービスを使用する、この開示の特徴に従ったリンクされた損失防止システムの例を示している。

この開示の特徴は、図１３−１４に示されているとおり、ＬＰケースの間における相関のために顔データのセットを使用する。顔の特徴のセットがメタデータの形でＬＰビデオ内に存在し、ＬＰ（ｉ）とＬＰ（ｊ）の間における内容の類似性の判断に使用される。ＬＰサーバ９０は［ＬＰｉ，ＦＶｉ］タプルを含み、それにおいてＦＶｉは、ＬＰ（ｉ）のメタデータを含む（ＦＶは、顔特徴ベクトルとして定義される）。ＦＶ（ｉ）は、異なる数のメタデータ特徴を有することができる（検出された顔、ＰＯＳアイテム等の数に起因する）。

図１３及び１４において、ＬＰ１＝｛｛｝，｛｝，｛｝，．．｝及びＬＰ２＝｛｛｝，｛｝，｛｝，．．｝は、それぞれ、検出済みオブジェクトのそれぞれについての顔のセットを有する。ＬＰ１∩ＬＰ２は、両方のＬＰケース内に共通する者を示す。（ＬＰ１∩ＬＰ２）のスコアは、ＬＰケースのランク付けに使用できる。より高い相関は、相関されたＬＰケースが関連付けされたことを意味する。Ｄ（ＬＰ１，ＬＰ２）は、内容の類似性を示す。スコア関数は、正確度（時間間隔，カメラのエリア，カメラＩＤ）∈［０，．．，１００］によって定義されるとおり、特定の観察されたエリアの正確度について掘り出された結果からの追加の情報を有することができる（たとえば、特定の時間間隔及びカメラの視野（ＦＯＶ）内の特定のエリア／領域で獲得された標本）。

さらに、パン−チルト−ズーム（ＰＴＺ）が使用され、ホームポジション情報が、正確度（時間間隔，カメラのエリア，カメラＩＤ，ＰＴＺ）∈［０，．．，１００］によって定義されるとおり、正確度関数の部品になる（すなわち、ＰＴＺ座標情報を考慮する必要がある）。顔検出の正確度はカメラ及びＰＴＺ内のビューに依存し、『ホーム』ポジションは、そのビューを指定する１つの方法である。カメラの（静的及びＰＴＺ）視点の間におけるリンクがＰＴＺカメラのビューによって影響を受けることから、カメラ間における目標軌跡をリンクするときにもＰＴＺのホームポジションが重要になる。この情報は、ビデオストリームメタデータ内において運ばれる。

これについても注意が必要であるが、顔特徴を含むメタデータに加えて、たとえばＰＯＳトランザクションデータ、報告書情報及びこれらの類を追加的に含むことができるメタデータもまたビデオ画像に関連付けできる。

別の態様によれば、各ＬＰｉがグラフのノードとしてモデリングされ、アルゴリズムが、ＬＰ１∩ＬＰ２の関数として、ＬＰ１をＬＰ２に接続するリンクに強度値を割り当てることができる。その後、ランク付けアルゴリズムが、ＬＰビデオの接続性の強度に起因して強い接続を伴ったＬＰケースのグループ（グラフ内の島）を選択することができる。

図８は、ＬＰｉ∩ＬＰｊのスコアに基づいてリンクされたＬＰビデオのグループを示しており、それによってシステムは、人々の共通集合（たとえば、ＬＰ出来事に責任を有する）を抽出することができる。ビデオをリンクするコストは、オンデマンドのスケーラブルクラウドプラットフォーム上で走るシステムを使用することによって抑えることができる。ユーザは、必要時にその種のサービスを利用することが可能である（ＬＰ出来事の数と結びつけられ、それが期待される出来事レベルを超えるときにこのサービスをトリガする）。サービスのトリガは、ＬＰ事例を、それらの時刻及び場所の類似点を使用することによって選択して、演算時間を短縮する。また、顔解像度向上モジュールが、利用可能な顔画像の多くの部品を利用してより高い解像度の顔画像を（たとえば、超解像度テクニックによって）獲得すること、又は３Ｄ再現された顔画像を獲得することができる。

窃盗防止のための顔データの認識に加えて、又はそれに代わるものとして、システムは、損失防止下位イベントデータを、それが小売窃盗に関係するとき、複合イベントとして記録し、格納し、小売窃盗が進行中のときにはリアルタイム警報を発生する能力を有する。たとえば、特定の小売窃盗組織が、次に示すシーケンスのような各小売窃盗イベントについての標準的な手口、すなわち、（１）仲間Ａが商店の後方に店員の注意を向けさせる；（２）仲間Ｂが床の上に倒れることによって救急を要する振りをする；（３）仲間Ｃがたばこを掴み取り、店外に走り出る、といった手口を有しているとした場合に、これらの下位イベントに関係するデータ（マルチメディア及びメタデータを含む）がシステムによって格納され、特定の小売窃盗組織に対応するとして識別される。その後に続いてシーケンス１及び２が始まり、店内センサ４２、４４、４６、４８、５０によって識別されると、システムが、可能性のある小売窃盗が進行中であることについて経営陣に警報を発し、それによって経営者に介入の時間を与える。

上で述べた損失防止システムの態様は、返品詐欺を最小化するために顔特徴を使用して返品の検証を行なうことができる。ＣＲＭシステムによって扱われるポイントサービスの場合においても、顧客アカウントに関連付けされる多くの顔特徴が存在し得る。

顧客が購入を行なうとＰＯＳ近傍のカメラが顧客の顔の画像を取り込み、その後に続いて顔検出及び特徴抽出が実行される。その後、そのトランザクションが、抽出された顔特徴とともに格納される。顧客が返品のために商店に訪れたとき、ＰＯＳ近傍のカメラが返品中の顧客の顔の画像を取り込み、それに応答して返品中の顧客の顔特徴が、ＰＯＳトランザクション項目に加えてアイテムを購入した格納済みの顧客の顔特徴に照らして確認される。返品トランザクションが、返品中の顧客の顔特徴がそのアイテムを購入した顧客の顔特徴と整合するか否かということに少なくとも部分的に基づき、不正行為に関して評価される。このことは、キャッシャに、返品に係るアイテムを誰が購入したかについて確認し、顧客の返答を評価する機会を少なくとも与える。

このシステムは、返品の認証及び承認のための集中又はピアツーピアキテクチャを使用することによって複数の応用のために、たとえばあるアイテムが商店Ａから購入されたがそのアイテムが商店Ｂに返品されるといった状況において使用できる。

ＰＯＳ顔検出及び特徴抽出に続いて、顧客のクレジットカード又はそのほかの顧客に関連付けされたアカウント（バイオメトリックデータ又はバイオメトリックデータの認証のためのサービスアドレスを含むことができる）から獲得される信用に照らして検証を行なうことができる。

また、ＰＯＳが端末両側に顔検出カメラを有している場合には、顧客及びキャッシャ両方の顔を返品マルチメディア記録に含めることもできる。キャッシャを向いているカメラは、キャッシャが、ＰＯＳトランザクションが自分の顔を含むことが可能なビデオ画像を含むことになり、システムが感情分析のためにそれらのビデオを使用し、さらにその後の分析のためにそれらのビデオ画像に自動的に註釈を付けることが可能であると承知することから、従業員による窃盗の抑止力となり得る。

返品マルチメディア記録は、適切なレベルの顧客サービスを提供するために、見掛け及び音声／発話データから顧客及びキャッシャの感情分類を含むことができる。

システムは、返品中の顧客が、返品受付に到来する前に店内にいたか否かをチェックすることができる（概して、返品又は顧客サービスカウンタは入口にあり、返品を行なう顧客が直接返品カウンタに向かうという挙動が期待されている）。しかしながらこの仮定は、データが収集されて、この仮定が正しいか否かを明らかにする分析がなされるときに検証される。返品中の顧客が店内を歩き回っていたという事実は、その顧客がアイテムを掠めて詐欺的行為としてそれの返品を試みていることを示している可能性がある。

それに代えて、ＰＯＳ顔検出及び特徴抽出を顧客が使用すること、たとえばレシートを見つけられなかった顧客が返品を行なう場合にレシートの代わりとして使用することができ、システムがその顧客の顔とそのアイテムの以前の購入を関連付けする顧客情報を検索することができるので、それによって顧客の買い物経験を高めることができる。

［待ち行列管理］
図１５を参照すると、この開示の態様は、顔検出及びマッチングを待ち行列管理目的のために使用することによって現場／商店業務を向上させる商店管理のシステムも提供する。図１５は、システムの概略図、商店経営者ディスプレイ９６、及び顧客が円によって表わされた待ち行列Ｑ１−Ｑ５を示している。このシステムは、前述した、顔を検出して顔特徴ベクトルを抽出し、顔データを顧客テーブルモジュール９２及び待ち行列統計モジュール９４に送信するシステムを使用する。システムは、ＰＯＳインタラクションデータ及び顔データを収集し、待ち行列統計モジュール９４に送信することができる。顧客テーブルモジュール９２は、受信した顔が顧客テーブル内にすでにあるか否かを判定する。待ち行列統計モジュール９４は、ＰＯＳイベント／データ及び顔データ（メタデータの一部とすることができる）を用いてビデオフレームの註釈付けを行ない、顧客テーブルモジュールから待ち行列への顧客到着時間を獲得し、キャッシャパフォーマンスデータ（WID、WID_ServiceTime）をナレッジベース９８から獲得し、それぞれの完了ＰＯＳトランザクションについてのキャッシャパフォーマンスをデータウェアハウスに挿入し、各待ち行列についての平均顧客待ち時間を評価し、リアルタイム待ち行列ステータス情報を商店経営者ディスプレイ９６に送信する。

商店経営者ディスプレイ９６は、リアルタイム待ち行列パフォーマンス統計及び、リアルタイム待ち行列ステータスならびにキャッシャの期待される作業パフォーマンスデータ（ＷＩＤ、ＷＩＤ＿ＳｅｒｖｉｃｅＴｉｍｅ）に基づいて待ち行列Ｑ１−Ｑ５の負荷の増加を示す視覚的な警報を表示する。商店経営者ディスプレイ９６は、各待ち行列ステータスを経営者等に、視覚及び／又は聴覚レンダリングによって通知することもできる。

上記のシステムは、良好な質の顔特徴を選択して、マッチングの正確度を増加させる一方で送信されるべきデータの量を減ずることが可能である。また顧客テーブルモジュール９２は、良好な顔表現のセットを選択して必要なストレージを低減し、かつマッチングの正確度を増加させることができる。さらに、註釈付きビデオフレームデータを自動化されたマルチメディアイベントサーバ７２内に保存すること、自動化されたマルチメディアイベントサーバがそれらの内容の類似性を用いてリンクすること、商店経営者ディスプレイ９６が自動化されたマルチメディアイベントサーバからアクセスし、リンクされた撮影済みビデオを閲覧して待ち行列に入る前の顧客の位置を抽出することができる。商店経営者は、この情報を用いて、顧客を別の待ち行列へ移動させるか否か、新しい待ち行列を開けるか否か、あるいは待ち行列を占めるか否かを決定することができる。

［パーソナル化されたマーケティング］
図１６は、顔セットによるマッチング物体軌跡によってパーソナル化された宣伝及びマーケティングの有効性のためのシステムを示している。このシステムは、前述した複数カメラ顔検出及びマッチングシステムを使用して（店内のマーケティングビデオ上等の）宣伝をパーソナル化し、その種のパーソナル化した宣伝の有効性を、キャンペーン後の対象の挙動を追うことによって追跡する。

ステップＳ１６１において顧客が現場又は商店に入り、それによりステップＳ１６２においてその顧客の身元が、前述した複数カメラ顔検出及びマッチングシステムの使用により検出される。注意を要するが、その者の実際の身元（名前等）は、システムの動作に必要ではなく、一意的に個人が識別され、商店全体にわたって追跡されるだけでよい。それに代えて又はそれに加えて、顧客は、スマートフォン７６等の無線デバイスを（ジオロケーション又は他の無線システムを介して）使用するか、又は商店のキオスクを使用して「チェック−イン」することができ、それによりその者の実際の身元が獲得される。顧客の身元（実際又はそれ以外）が検出されると、年齢、性別、人口統計、髪の色、体型等の身元特性が抽出される。ステップＳ１６３においては、宣伝内容パーソナル化エージェント２０２が、抽出された身元特性を使用してカスタム／パーソナル化宣伝内容を決定する。宣伝内容が決定されると、１つ又は複数の宣伝Ａ１、Ａ３、Ａ５が、ステップＳ１６４において顧客が見るために、店内ディスプレイ２０４又は顧客の無線デバイスを介して顧客に送られる。表示されるこれらの宣伝は、その後の検索のためにデータベース内に格納される。好ましくはステップＳ１６１−Ｓ１６３がステップＳ１６４の前に生じる。これについても注意される必要があるが、決定されるカスタム宣伝は、予め作成済みの宣伝２０６から検索すること、又はちょうどのタイミングのベースで一意的な宣伝を準備し（それには、たとえばユーザの名前及び／又は顔を含めることもできる）、独特の買い物経験を作り出すこともできる。また、表示される宣伝（１つ又は複数）が、商店のエリアへの顧客の経路設定を行なうこともできる。

カスタム宣伝を見た後の顧客は、ステップＳ１６５において、ビデオカメラ４４又はそのほかのセンサ（たとえば、ユーザの無線デバイスの信号を追跡するためのセンサ）の使用により商店全体を通じて追跡され、それにおいては、顧客が各エリア内にどの程度長く立ち止まっていたか、顧客はアシストを求めたか否かといったことに関係するデータも含め、顧客が訪ねた商店のエリアが検出されて格納される。顧客が商店を出た後、ステップＳ１６６において、顧客が購入したか否か、購入した場合には購入したアイテムが宣伝の中で顧客に伝えられたものだったか否かが決定される。その後この情報は、将来的な参照及び分析のために格納される。たとえば顧客が訪ねた店内のエリアに基づいて、その顧客の次回の来店時にその顧客に異なる宣伝のセットを表示することができる。

この情報を用いて、商店の顧客トラフィックの分析が集計され、宣伝内容の有効性のランク付けに、たとえば、顧客が宣伝を見た後に向かったところ、宣伝内容を見た顧客の数、宣伝を見た後に宣伝のねらいであった場所に向かった顧客の数、宣伝を見た後に宣伝のねらいであった場所に向かった顧客の人口統計、ねらいであった場所において顧客が費やした平均時間、与えられた宣伝を見た顧客のうちねらいであったアイテムを購入した顧客の数を測定することによって利用される。このようにして顧客に提示された宣伝の有効性を、各顧客の人口統計に関する宣伝の有効性を含め、決定することができる。また、このシステムが、ネットワーク／クラウドサービスを伴うイベント管理を含めて複数の商店にわたって使用できることにも注意されるものとする。

パーソナル化された宣伝及びマーケティングの有効性のためのシステムの例として、店内において識別された買い物客に靴及びベビー用品についての宣伝を見せたが、靴フロアだけを訪れ、そこから購入した場合には、システムが靴の宣伝を成功として、かつベビー用品の宣伝を失敗としてログすることができ、それにより商店の経営陣は、その顧客の人口統計又は全体のために異なるタイプのマーケティングキャンペーンを決定することができる。この顧客がベビー用品フロアを訪れ、有意の時間を店内で費やしたが、購入しなかった場合には、おそらくは商店の経営陣が商品のタイプ及び／又は配置の評価を行なう必要がある。またその種の状況においては、顧客が商店を出るときに、期待された目標エリアを顧客が訪ねたか、又は訪ねなかった商店のエリアに基づいて追加の宣伝又は何らかのタイプの動機付け（クーポン、割引コード等）を提示することができる。

［マルチメディアイベントジャーナル］
図１７（図２−３の別バージョン）を参照すると、この開示の態様は、上で述べた特徴のいずれかとともに使用できる自動化されたマルチメディアイベントジャーナルサーバ（ＥＪＳ）２３０も提供し、これが、限定ではないがＰＯＳ４４、ビデオ４４、ユニファイドコミュニケーション（ＵＣ）４６、現場アクセス制御４８及び施設／エコ制御５０、ＣＲＭ２１０、サウンドレコーダ２１２、バイオメトリックセンサ２１４、位置センサ２１６、及びこれらの類を含むイベントセンサ源を介して、応用固有の記録が行なわれるマルチメディア註釈の作成を自動化する。ＥＪＳ２３０は、ＡＤＳと類似の機能（たとえば、イベントシーケンスマイニング）を提供するが、ＥＪＳは、下位イベントから作られる複合イベントを表示してユーザが現場の異常を容易に識別して適切なアクションを取ることを可能にする業務インテリジェンス（ＢＩ）ダッシュボード２３２（図１８に示す）として表示可能な、詳細を後述するマルチメディアイベントジャーナルも提供する。ＥＪＳ２３０は、応用固有のイベントを定義することが可能であり、ユーザがそれをカスタマイズすることができる。またＥＪＳ２３０は、イベント及び下位イベントから註釈データが収集される態様を定義することも可能であり、さらに関係するマルチメディアデータの出来事を効率的に、統一されたビューで検索することも可能である。ＥＪＳ２３０は、上記のイベントシーケンスマイニングに基づいて収集済みのイベントデータから頻繁にあるエピソードを決定し、既知のシーケンスをはじめ異常の検出のためのシーケンスモデルを生成する。たとえば、異なるマルチメディアソースからの下位イベントから集成される複合イベントを次のようにして生成できる。
ａ．キャッシャが不在で開いているキャッシュレジスタ／ＰＯＳ端末は、長い時間期間にわたってキャッシュレジスタ／ＰＯＳ端末が開いており、そのキャッシュレジスタ／ＰＯＳ端末にキャッシャが誰も付いていないという組合せ下位イベントに基づくことができる（ＰＯＳイベント、監視イベント、「どのくらい長いか」について抽出された知識等の組合せ）。
ｂ．損失イベント発生時の警備員からの応答をまったく含まない損失防止／幽霊返金の検出（前述）。

図１７に示されているとおり、ステップＳ１７０においてはＥＪＳ２３０が、センサ４４、４２、４６、２１０、２１２、４８、２１４、２１６から、メタデータ及び取り込み済みイベント及び媒体データを含むデータを受信する。その種のメタデータは、ビデオイベントメタデータ、トランザクションイベントメタデータ、及びイベントメタデータを含むことができる。ステップＳ１７２においては、このメタデータのイベントシーケンスマイニングが前述のとおりに実行される。その後、ステップＳ１７４において、複合応用イベント管理システムが識別済みの異常な下位イベントから複合イベントを作成する。ステップＳ１７６においては、自動化された統一イベントジャーナルレポーティングマネージャが、レポート、警報、及び／又はＢＩダッシュボード２３２上で見るための表示を作成する。ステップＳ１７８においては、複合イベント及び下位イベントを含むデータの統一ビューが、コンピュータ１００上の（ビューワを介した）表示のためにＧＵＩの形式で作成され、ユニファイドコミュニケーションもまた、そのほかの警報の形でコンピュータ１００に転送できる。

ネットワークサービス２４０の統合によりシステムは、さらに、異常スコア参照を伴う異常な相関済みイベントについての（複数の現場にわたる）業務インテリジェンスをインテリジェントに見つけるためのデータマイニング、フィルタリング、及び集計を含む複数の商店イベント管理をサポートすることが可能である。容易な観察及びサーチのための複合イベントの体系化されたビュー、及びユニファイドコミュニケーションケイパビリティ、フィルタリング、及びシステム構成要素（センサ４４、４２、４６、２１０、２１２、４８、２１４、２１６）からの異常イベント検出の集計を複数の現場にわたって結合するマルチメディアレコーダを伴う自動化されたＵＣ通知。

図１８は、この開示の態様に従って、たとえばコンピュータのディスプレイ１５０上に表示される例示的なイベントジャーナルＢＩダッシュボード２３２を示している。ＢＩダッシュボード２３２は、ユーザによる容易な理解のために現場及びイベントに関係する情報を表示する６つのエリアを有する（当業者は、ダッシュボードが６つより多くの、又はそれより少ないエリアを表示できることを理解するものとする）。エリアＤ１は、現場及びイベントに関係する全般情報を示し、それには日付、顧客数、トランザクション数、イベント数（重要度によってランク付けされる）及びこれらの類が含まれる。エリアＤ２は、モニタされている現場の空間的なビュー又は鳥瞰図を示している。エリアＤ２は、ユーザが同時に２つの、又はネットワークされた現場の観察を希望しているか否かに応じてズームイン又はズームアウトすることができる。

エリアＤ３は、リンクラインＬを使用して下位イベントがリンクされ、複合イベントＥ５、Ｅ１４、Ｅ２３が示されるインタラクティブ異常度パターンビューワを示す。Ｄ３は、多様なセンサ入力４４、４２、４６、２１０、２１２、４８、２１４、２１６についての下位イベントを示す。エリアＤ３内には５つのタイプのセンサ入力（カメラモーション、ＰＯＳ、ＡＣ／ＲＦＩＤ、顔検出、所在図／ヒートマップ）が示されているが、５つより多く、又は少ないセンサタイプが表示できることを当業者は認識されるものとする。各センサは、最も古いエリアＤ３の左側から最も新しいエリアＤ３の右側に向かってエリアＤ３にわたる時間的シーケンスで下位イベントを示す。この方法においては、ユーザが、たとえばポインティングデバイス１７０を使用し、デジタルビデオレコーダによく似た形で複合イベント及び下位イベントの巻き戻し及び早送りを行ない、所望のイベント又は下位イベントを表示させることができる。また、これについても注意されたいが、エリアＤ１内に複合イベントＥ５、Ｅ１４、Ｅ２３を表示して複合イベント（１つ又は複数）の場所を現場に関して示すことが可能である。

エリアＤ３は、センサイベント、すなわちカメライベントＣＩ、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８；ＰＯＳイベントＰ１、Ｐ２、Ｐ３、Ｐ４；ＡＣ／ＲＦＩＤイベントＡ１；顔認識イベントＦ１、Ｆ２、Ｆ３、Ｆ４；及び所在図／ヒートマップイベントＬ１、Ｌ２を示す。各センサは、使用を容易似するために異なるアイコン又は色により表わすことができる（ここでは、カメライベントが楕円により、ＰＯＳイベントが矩形により、ＡＣ／ＲＦＩＤイベントがプラス記号により、顔認識イベントがスマイリーフェイスにより、所在図／ヒートマップイベントが地球マークによりそれぞれ示されている）。同様に、下位イベントをリンクするリンクラインＬを色コード化するか、又はそのほかの形で各複合イベントの一意の識別を可能にすることができる。

エリアＤ４は、現場のカメラビューを示し、これをビデオ又は静止画のいずれとすることもできる。カメラビューは、現場のライブフィード、又は複合イベントもしくは下位イベントに関連付けされた記録済み画像のいずれとすることもできる。またカメラビューは、画像に関係するデータ、たとえば下位イベント、商品のタイプ、キャッシャのＩＤ、及びこれらの類を用いて註釈付けできる。エリアＤ５は、ユーザによるすばやい参照のために最も最近の複合イベントＥ５、Ｅ１４、Ｅ２３のリストを示す。エリアＤ６は、相関済み下位イベントを含む最も最近の下位イベントのリストを示す。

これについても注意されるものとするが、ユーザは、ダッシュボードの１つのエリア内に示されている下位イベント又は複合イベントをクリックするか、マウスオーバーするか、又はそのほかの形で作用を及ぼし、そのイベント又は下位イベントに関係する追加の情報をダッシュボードのほかのエリア内において獲得することが可能である。たとえば、複合イベントＥ１４に作用を及ぼすことにより、ユーザは、エリアＤ４内においてその複合イベントの画像（及びそのほかの、限定ではないが、サウンド、ジオロケーション、ＰＯＳデータ、現場アクセスデータ、顧客情報、及びこれらの類を含むマルチメディア情報）を得ること、かつ／又はエリアＤ６内において相関済みのイベント詳細を得ることができる。

図１９は、イベント及びトランザクションマルチメディアジャーナルサーバ７２内に格納されている複合イベントＥ１４の概略図を複合イベントジャーナル又は記録の形式で示している。複合イベントＥ１４は、下位イベントＣ５、Ｃ６、Ｐ２、Ａ１、及びＬ２、及び鍵となる下位イベントＣ７、Ｐ３を含み、通常それらは『鍵でない』下位イベントより高い異常スコア値を有する。システムは、鍵となる下位イベントに対する相関（すなわち、より後になって鍵となる下位イベントが検出されるまで鍵でない下位イベントの重要度が決定されないことがある）のバックトラッキングに基づいて鍵でない下位イベントＣ５、Ｃ６、Ｐ２、Ａ１、及びＬ２を複合イベントの部品として含むことができる。

上記のシステムを伴って、ＢＩダッシュボード２３２は、ビデオ及び関係する鍵となる下位イベント及び鍵でない下位イベントに関連付けされた情報を、ダッシュボードとして統一されたビューの形又はコンピュータ１００及びモバイルデバイス７６へのレポートの形で表示することができる。システムは、経営者が注目活動を観察するためのジャーナルを、出来事に基づいて、又は業務インテリジェンスコンテキストで自動的に生成することが可能であり、それによって長々しい記録を見る必要をなくして経営者／ユーザの時間が節約される。

図２０は、この開示の態様に従ったイベントジャーナルサーバデータモデルの図解であり、図２１は、この開示の態様に従ったイベントジャーナルインターフェイスデータスキーマの図解であり、次に示すサンプルのＸＭＬコードを用いてそれを表わすことができる。
<?xml version=”1.0” encoding=”utf-8”?>
<xs:schema id=”EventJournalAPI” targetNamespace=”http://tempuri.org/EventJournalAPI.xsd”
elementFormDefault=”qualified” xmlns=”http://tempuri.org/EventJournalAPI.xsd”
xmlns:mstns=”http://tempuri.org/EventJournalAPI.xsd”
xmlns:xs=”http://www.w3.org/2001 /XMLSchema”>
<xs:element name=”Journal”>
<xs:complexType>
<xs:sequence>
<xs:element name=”JournalID” type=”xs:string” />
<xs:element name=”CreationDate” type=”xs:dateTime” />
<xs:element ref=”JournalEvent” />
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name=”Event”>
<xs:complexType>
<xs:sequence>
<xs:element name=”EventID” type=”xs:string” />
<xs:element name=”EventCreationTime” type=”xs:dateTime” />
<xs:element name=”Duration” type=”xs:dateTime” />
<xs:element name=”EventType” type=”xs:string” />
<xs:element name=”ab_Score” type=”xs:positivelnteger” />
<xs:element ref=”EventMedia” />
<xs:element name=”Description” type=”xs:string” />
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name=”EventMedia”>
<xs:complexType>
<xs:sequence>
<xs:element name=”EventMediaID” type=”xs:string” />
<xs:element name=”MediaType” type=”xs:positiveInteger” />
<xs:element name=”MediaFile” type=”xs:string” />
<xs:element name=”Description” type=”xs:string” />
<xs:element name=”MediaExtension” type=”xs:string” />
<xs:element name=”MediaHelperProgram” type=”xs:string” />
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name=”CorrelatedEvents”>
<xs:complexType>
<xs:sequence>
<xs:element name=”CEID” type=”xs:string” />
<xs:element name=”Events” type=”Event” />
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name=”JournalEvent”>
<xs:complexType>
<xs:sequence>
<xs:element name=”JournalEventlD” type=”xs:string” />
<xs:element name=”JEventCreationTime” type=”xs:dateTime” />
<xs:element name=”Duration” type=”xs:dateTime” />
<xs:element ref=”Event” />
<xs:element ref=”CorrelatedEvents” />
<xs:element name=”Description” type=”xs: string” />
</xs:sequence>
</xs:complexType>
</xs:element>
</xs:schema>

例として述べるが、ファーストフードレストランの調理場で従業員同士が喧嘩しているという状況においては、この間に食物が作られることがない。また、ドライブスルーの顧客が食物を注文し、その喧嘩の直前にキャッシャがレジスタを開けたとする。食物が調理場から出てこないことから、キャッシャはレジスタから離れ、調理場で何が起こっているのかを確かめに行く。この遅延に起因して、ドライブスルーレーン内にはますます多くのドライブスルー顧客が待ち行列を作ることになる。ＰＯＳレジスタの抽斗は、特定時間期間にわたって閉じられることなく開けられたままであり、そのシーン内にはキャッシャがいない。最終的に数人の顧客は、注文することなくドライブスルーを離れることを決心する（『離脱』又は『立ち去り』という）。

後述するとおり、ジャーナル又は記録として『キャッシャ不在で開けられたままのレジスタ及びドライブスルー離脱の複合イベント』Ｅ１４が作られる（図１９参照）。例として述べるが、システムが最初にＰＯＳレジスタが、学習されたしきい値を超える特定時間期間にわたってオープンモードにあること（鍵となる下位イベント）Ｐ３を検出すると、システムは、相関済みのイベント（たとえば、セキュリティカメラ等）を自動的にチェックし、時間及び空間的（場所的な近さ）要因に関して相関させることができるイベントのバックトラッキングを行なう。システムは、これらの相関済みイベントを見つけるとイベントジャーナルからＰＯＳ正面にキャッシャがいないこと（人の動きがないこと）Ｃ６を取り入れ、手前の動き警報まで遡ってキャッシャがレジスタを開けたままいつそこを離れたかを明らかにする。またシステムは、鍵となる下位イベントであるドライブスルー顧客離脱の下位イベントＣ７を見つける。調理場のカメラもまた、異常な歩き回り及びエリア内の人数Ｃ５を検出する。

『鍵でない』下位イベントは、カメラの異常な人数及び歩き回りイベントＣ５、ＰＯＳ販売イベントＰ２、人の動きなし（キャッシャ不在）下位イベントＣ６である。システムは、これら全てのイベントを系統化し、関係する『鍵でない』下位イベントの詳細及び媒体（ビデオ、スナップショット、及びこれらの類）へのリンクを伴う鍵となるオープンＰＯＳ異常出来事の下位イベント及び鍵となる離脱の下位イベントとしてリンクする。「キャッシャ不在」の検出は、ビデオから動いている物体が検出されないこと、ＰＯＳ端末のキャッシャに面するカメラのビデオから顔が検出されないこと、又は無線から従業員タグの読み取りがないこと等からシステムによる推論が可能である。「キャッシャ不在」の状態は、追加として、又は代替として、生データ（たとえば、無線）、処理済みデータ（ビデオからのメタデータ）、又はいくつかの組合せ（移動物体ためのビデオからのメタデータ及び顔検出、又は移動物体の色ヒストグラムをチェックして販売要員がいるかいないかを見分けること、又は移動物体の上半身のロゴをチェックして物体が販売要員／従業員であるか否かを見分けること等）から直接、単一入力によって、又はほかの入力とともに推論が可能である。

システムは、ＢＩダッシュボードスクリーン２３２のエリアＤ２内の所在図上のビデオ画像を用いて警報を示し、ＵＣ通知を商店経営者のＰＣ１００及びモバイルデバイス７６に自動的に送信する。

統一されたビューへのデータの統合は、ユーザが事例の証拠及び処理を効率的に消化することを可能にする。複合イベントのハイパーリンク付きビューは（複合イベントフォルダとも呼ばれる）一意のクエリ結果表現をユーザに提供し、これらのリンクは、ユーザが関連性に基づいて複合イベントフォルダの間を移動することを可能にし、かつユーザ（保全幹部又は警備員）が与えられた状況を容易に理解することを可能にする。同一又は別の商店からの以前のマルチメディアＬＰ記録がリンクできることは、ユーザが即座にこれらのイベントの間の関連性を見ることを可能にする。これは、ユーザが即座に、直前のデータとともに進行中の状況を評価することを可能にする。ＬＰ事例を利用して共通の軌跡を抽出し、特に目をかける無防備な通路を見つけ出すことも可能である。これがシステムにキューを与え、（ａ）動きが検出されるか、又は類似した顔が検出されたときに特定エリアのための分解能を向上させること、及び／又は（ｂ）観察中のユーザの正面のモニタしているビデオを変更し、出来事をそれが生じている間に捕らえる機会を増加させることによってシステムの気付き（ＬＰ予測の一種）を向上／増加させることができる。したがって、システムは、日々の業務においてより順向性になり、よりユーザに役立つものとなる。

たとえば、複合イベントフォルダは、ＰＯＳ記録からのデータ、各スキャンと相関される１つの下向きカメラからの画像、別のカメラからの顔画像、ＰＯＳ端末からのキャッシャの名前、及びこれらの類を含むことができる。組織化された小売犯罪の場合において、複合イベントフォルダが、これらの利用可能な属性をはじめ類似性ベースの関連性を使用することによってリンクされるとき（たとえば、顔の類似性が複合イベントフォルダの間にリンクを生じさせる）、損失防止幹部が、これらのリンクされた複合イベントフォルダに効率的にアクセスし、調査することができる。

複合イベントは、下位イベントセンサによって取り込まれた追加のデータを含む原始的なイベントに基づく。プレゼンタは、従属イベントデータを、データがＸＭＬフォーマットされたドキュメントで表現される統一されたビューに集める。この表現は、レンダリング又は処理が可能である。

別の例においては、この開示の非限定的な特徴によるシステムを使用して遅いドライブスルー及び離脱を識別することができる。ドライブスルーの注文として特別に大量の食物の注文があるとき、この状況が調理場のリソース（たとえば、電子レンジ）を占有し、ほかのドライブスルー顧客のための特定タイプの食物（たとえば、マフィン）の生産を遅くする可能性がある。この単一の顧客の遅延は、待ち行列の先頭で全体のドライブスルーレーンの閉塞を生じさせ得る。その結果として、長く遅いドライブスルーレーンから顧客が離脱する。この開示の非限定的な特徴によるシステムは、ドライブスルーレーン内の長い待ち行列下位イベントを伴う自動車離脱下位イベント及び長いＰＯＳトランザクション間隔下位イベントを検出する。システムは、容易にこの状況を理解し、時間的に近い異常な大量注文下位イベントまで遡ることができる。したがって、システムは、商店経営者又はオーナーに、異常の高い出来事がいつ生じたかを、相関された下位イベントの要約情報及び詳細とともに異常複合イベントジャーナルの形式で通知し、その後その情報を経営者に提供して大量注文を行なった顧客を待ち行列から外し、待ち行列から外れることと引き換えにその顧客が無料の注文品を受け取ることができるようにする。

追加の例においては、この開示の非限定的な特徴によるシステムを使用してキャッシャの業務効率が通常より遅い状況を識別することができる。動き及びＰＯＳイベントを、各キャッシャについて集計し、メモリ１２０内に記録することができる。遅いキャッシャは、個々のキャッシャの集計済みイベントからシステムのイベントマイニング結果と比較して検出し、フィルタアウトすることが可能である。したがって、遅い業務は容易に検出できる。

さらに別の例においては、この開示の非限定的な特徴によるシステムを使用して返金エリアの正面に顧客を伴うことなくキャッシャがキャッシュレジスタを開ける状況を識別することができ、この状況は幽霊返金の疑いについてアラームをトリガする必要がある。システムは、ＰＯＳ開イベントとビデオ挙動イベント及びバイオメトリックイベント（顔検出／認識）を相関させて、この返品トランザクションのための顧客の不在を明らかにする。システムは、可能性のある返品詐欺イベントの通知を作成する。

またさらなる例においては、この開示の非限定的な特徴によるシステムを使用してアクセス制御アラームがトリガされる状況を識別することができ、システムは、アラームの確認及び相応じた呼び出しの取り扱いを行なう警備員への呼び出しを生成する。過去の（たとえば、警備員の能力が奪われているか、又は犯罪要素と連盟しているかのいずれかに起因する）応答時間経験から学習される特定の時間期間内に警備員からの応答がない場合には、システムが、スキル及び場所データに基づいてほかの警備員に対する別の呼び出しを行なって急派することができる。

本発明は、次に示す仮定の下に動作できる。
ａ．それぞれの個別のシステム（たとえば、ＰＯＳ、セキュリティ、ドライブスルーサービス、及びこれらの類）が合理的に最適化された固定リソースプランニング。経験を積んだ商店経営者又は労働者は、通常のポリシーに従って負荷を平衡させて一過性の過負荷を取り扱うことができる。
ｂ．各個人のサービスレートは変動し得る（繁忙時、ほかの皆がすばやく動くとき、又は経営者がいるとき等）。
ｃ．サービスのスループット及びサービスの待ち時間は、顧客によって注文されたアイテムが異なることに起因した一様でないサービス時間及び注文品の到着のバースト性に依存する。

本発明は、いくつかの例示的な実施態様を参照して説明されているが、この中で使用されている文言が、限定の文言ではなく、説明及び例証の文言であることが理解されるものとする。変更は、目下の陳述及び補正によるとおりの付随する特許請求の範囲内において、本発明の態様範囲ならびに精神から、それの態様において逸脱することなくなされ得る。本発明は、特定の意味、材料、及び実施態様を参照して説明されているが、本発明が特定の開示に限定されることは意図されてなく、むしろ本発明は、付随する特許請求の範囲内に含まれるような機能的に等価の構造、方法、及び用途全てに拡張される。

コンピュータ可読媒体は、単一の媒体として示されているが、用語『コンピュータ可読媒体』は、集中型又は分散型データベース、及び／又はインストラクションの１つ又は複数のセットを格納する関連付けされたキャッシュ及びサーバといった単一の媒体又は複数の媒体を含む。用語『コンピュータ可読媒体』は、また、プロセッサによる実行のため、又はこの中に開示されている方法又は動作のうちの任意の１つ又は複数をコンピュータシステムにさせるインストラクションのセットを格納し、エンコードし、又は担持する能力を有する任意の媒体を含む。

特定の非限定的かつ例示的な実施態様においては、コンピュータ可読媒体が、メモリカード又はそのほかの、１つ又は複数の不揮発性読出し専用メモリを収容しているパッケージ等のソリッドステートメモリを含むことができる。さらに、コンピュータ可読媒体をランダムアクセスメモリ又はそのほかの揮発性の再書き込み可能なメモリとすることも可能である。それに加えて、コンピュータ可読媒体は、ディスク又はテープ又はそのほかの、伝送媒体にわたって通信される信号等の搬送波信号を取り込むストレージデバイス等の光磁気又は光媒体を含むことができる。したがってこの開示は、データ又はインストラクションを格納することができる任意のコンピュータ可読媒体又はそのほかの等価又は後継の媒体を含むものと見なされる。

この明細書は、特定の標準及びプロトコルを参照する特定の実施態様の中で実装され得る構成要素ならびに機能を述べているが、この開示がその種の標準及びプロトコルに限定されることはない。たとえば、インターネット及びそのほかのパケット交換網送信（たとえば、ＷｉＦｉ、ブルートゥース、フェムトセル、マイクロセル、及びこの類）のための標準は、最先端技術の例を表わしている。その種の標準は、定期的に、より高速であるか又はより効率的であるが本質的に同一機能を有する等価標準に取って代わられる。したがって、同一もしくは類似の機能を有する置換標準及びプロトコルは、それと等価であると見なされる。

この中で説明した実施態様の例証には、多様な実施態様の構造の一般的な理解を提供することが意図されている。これらの例証が、この中に述べられている構造又は方法を利用する装置及びシステムの全ての要素及び特徴の完全な記述として働くことは意図されていない。この開示を検討すれば、当業者には多くのこのほかの実施態様が明らかとなり得る。このほかの実施態様が、この開示の範囲から逸脱することなく構造的及び論理的な代用及び変更が行なわれるようにしてこの開示を利用し、それから演繹されることはあり得る。それに加えて図解は、単なる表現に過ぎず、変倍するべく描かれていないことがある。図解中の特定の比率が誇張されていることもあり、ほかの比率が最小化されていることもある。したがって、開示及び図面は、限定ではなく例証として考えられるものとする。

開示の１つ又は複数の実施態様が、この中で個別にかつ／又は集合的に、用語『本発明』によって参照されているところがあるが、それは単に便宜的なものであり、この出願の範囲を任意の特定の発明又は発明概念に自発的に限定する意図は伴わない。さらにまた、この中では特定の実施態様が図解され、説明されているが、この後に続いて同一もしくは類似の目的を達成するために設計される任意の装置が、ここに示された特定の実施態様に代用され得ることは認識される必要がある。この開示は、いずれか又は全てのこの後に続く多様な実施態様の変形又は適合を保護するべく意図されている。前述の実施態様の組合せ及びそのほかのこの中に特に記述されていない実施態様は、この説明を検討したときに当業者には明らかなものとなるであろう。

開示の要約が、37 C.F.R.§1.72(b)の規定に従って特許請求の範囲又は意味の解釈又は限定に使用されないとの理解の下に準備され、提出される。それに加えて以上の詳細な説明においては、開示の効率化の目的で多様な特徴がグループ化されているか、又は単一実施態様の中で記述されている。この開示は、請求の範囲に記載された実施態様が、各請求項の中で明確に具陳されているより多くの特徴を必要とする意図を反映しているとして解釈されるべきでない。むしろ、以下の請求項が映し出すとおり、発明の内容は、開示された実施態様のうちのいずれかの全ての特徴より少ないことに向けられることがある。したがって以下の請求項は、各請求項が別々に請求される発明の内容を定義することからほかとは独立しているとして詳細な説明に組み込まれる。

上で開示された発明の内容は、限定ではなく例証と考えるべきであり、付随する特許請求の範囲には全てのその種の修正、強化、及びそのほかの、この開示の真の精神ならびに範囲内に入る実施態様を保護することが意図されている。したがってこの開示の範囲は、法律によって許容される最大範囲まで以下の特許請求の範囲及びそれらの均等の最も広い許容可能な解釈によって決定されるべきであって以上の詳細な説明によって制限もしくは限定されるものではない。

Claims (2)

1. 店内を撮影した映像に基づいて、店内通路を管理するコンピュータシステムであって、
   店内を撮影するカメラと、
   前記カメラに接続するコンピュータと、を有し、
   前記コンピュータが、
   前記カメラにより店内の顧客を撮影した映像に基づいて、顧客の位置を抽出するとともに、前記映像の顧客の行動から、当該顧客が所定時間以内に所望の物品を拾い上げることができた場合に当該顧客の幸福の感情を抽出し、一方、当該顧客が通路を行ったり来たりしている場合に、当該顧客の不安の感情を抽出し、前記顧客が位置した通路において前記顧客の幸福の感情または不安の感情のうち最も多く抽出された前記顧客の幸福または不安の感情を、前記通路に固有の情報として前記通路に関連付け、前記関連付けられた固有の情報によって前記通路を識別するコンピュータシステム。
2. カメラによって店内を撮影した映像に基づいて、前記カメラに接続するコンピュータが店内通路を管理する方法であって、
   前記カメラにより店内の顧客を撮影した映像に基づいて、顧客の位置を抽出するとともに、前記映像の顧客の行動から、当該顧客が所定時間以内に所望の物品を拾い上げることができた場合に当該顧客の幸福の感情を抽出し、一方、当該顧客が通路を行ったり来たりしている場合に、当該顧客の不安の感情を抽出し、前記顧客が位置した通路において前記顧客の幸福の感情または不安の感情のうち最も多く抽出された前記顧客の幸福または不安の感情を、前記通路に固有の情報として前記通路に関連付け、前記関連付けられた固有の情報によって前記通路を識別する店内通路を管理する方法。

Images