JP2023550084A - イベントを識別するためのセンサデータの分析 - Google Patents

Abstract

本開示は、環境（１０６）内の第１のユーザ（１０２）が、商品（１０４）に関連付けられたバーコードなどの視覚的な印をスキャンした後、その商品を第２のユーザ（１１０）に手渡す技術を対象とする。１つ以上のコンピューティングデバイス（１１８）は、スキャンの指標を受信し、環境（１０６）内のカメラ（１１６）から対話の画像データを取り出し、商品を受け取ったユーザ（１１０）を識別し、第２のユーザ（１１０）に関連付けられた仮想カート（１３８）を更新して商品（１０４）の追加を示し得る。【選択図】図１

Description

関連出願の相互参照
本出願は、２０２０年１１月３０日に出願された「ＡＮＡＬＹＺＩＮＧ ＳＥＮＳＯＲ ＤＡＴＡ ＴＯ ＩＤＥＮＴＩＦＹ ＥＶＥＮＴＳ」と題された米国特許出願第１７／１０６，７５５号の優先権を主張するものであり、その全内容は参照により本明細書に組み込まれる。

小売業者、卸売業者、及び他の製品販売業者は、典型的に、取引先又は顧客によって注文、購入、リース、借用、レンタル、閲覧などされ得る様々な商品の在庫を維持する。例えば、電子商取引ウェブサイトは、フルフィルメントセンタに在庫を維持し得る。顧客が商品を注文すると、商品は在庫から選択され、梱包ステーションに送られ、梱包されて顧客に出荷される。同様に、実店舗は、ショッピングエリア内などの顧客アクセス可能なエリア内に在庫を維持し、顧客は在庫から商品を選択し、購入、レンタルなどのためにそれらの商品をレジ係に持っていくことができる。多くの実店舗はまた、保管エリア、フルフィルメントセンタ、又は他の施設にも在庫を維持することができ、これらはショッピングエリアに位置する在庫を補充するため、又は他のチャネル（例えば、電子商取引）を通じて行われる商品の注文を満たすために使用することができる。在庫を保持する施設を維持するエンティティの他の例として、図書館、博物館、レンタルセンタなどが挙げられる。各事例では、商品をある場所から別の場所に移動させる場合、その商品は、現在の場所から選択され、新しい場所に移行され、ユーザは、施設内を移動することなどを行い得る。多くの場合、施設内で発生するイベントに関する情報を生成することが望ましい。

US１０３３２０６６

詳細な説明が、添付図を参照して記載される。各図において、参照番号の左端数字は、参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、類似又は同一の項目又は特徴を示す。

環境内の第１のユーザが、商品に関連付けられたバーコードなどの視覚的な印をスキャンした後、その商品を第２のユーザに手渡す例示的なアーキテクチャを例解する。アーキテクチャは、サーバコンピューティングデバイスも含み、サーバコンピューティングデバイスは、スキャンの指標を受信し、環境内のカメラから対話の画像データを取り出し、商品を受け取ったユーザを識別し、第２のユーザに関連付けられた仮想カートを更新して商品の追加を示すように構成されている。 第１のユーザが商品をスキャンし、その商品を第２のユーザに手渡し、一方、１つ以上のコンピューティングデバイスが、スキャンの時刻における対話の近くの環境の画像データを分析して、商品を受け取った第２のユーザに関連付けられたユーザ識別子を判定する、例示的な一連の動作を集合的に例解する。 第１のユーザが商品をスキャンし、その商品を第２のユーザに手渡し、一方、１つ以上のコンピューティングデバイスが、スキャンの時刻における対話の近くの環境の画像データを分析して、商品を受け取った第２のユーザに関連付けられたユーザ識別子を判定する、例示的な一連の動作を集合的に例解する。 第１のユーザが商品をスキャンし、その商品を第２のユーザに手渡し、一方、１つ以上のコンピューティングデバイスが、スキャンの時刻における対話の近くの環境の画像データを分析して、商品を受け取った第２のユーザに関連付けられたユーザ識別子を判定する、例示的な一連の動作を集合的に例解する。 マシンビジョンアルゴリズムを使用して画像データのフレームのセグメンテーションマップを生成する、画像分析コンポーネントを例解する。例解されるように、セグメンテーションマップは、背景、ユーザの手、商品などの異なる対象物に関連付けられた画素を示し得る。 画像データの個々のフレームについて、フレームに手が含まれるかどうかを判定し、そうであった場合、手の場所、及び手が空であるか満たされているかを判定するために、セグメンテーションマップと及び１つ以上の訓練された分類子を使用する、画像分析コンポーネントを例解する。画像分析コンポーネントは、この情報を使用して、スキャニングデバイスを使用して商品がスキャンされた後にこの商品を取得するユーザを、識別し得る。 スキャニングデバイスを使用して、別のユーザによってスキャンされた商品を受け取ったユーザの仮想カートデータを更新するための、例示的なプロセスのフロー図を集合的に例解する。 スキャニングデバイスを使用して、別のユーザによってスキャンされた商品を受け取ったユーザの仮想カートデータを更新するための、例示的なプロセスのフロー図を集合的に例解する。 商品を受け取るユーザの仮想カートデータを更新するための、別の例示的なプロセスのフロー図を例解する。 センサと、センサデータを使用して施設内で発生するイベントに関する出力を生成するように構成された在庫管理システムと、を含む例示的な材料取り扱い施設のブロック図である。 施設の運用をサポートするように構成された１つ以上のサーバのブロック図を例解する。

本開示は、施設内のセンサによって生成されたセンサデータを使用して、施設内で発生するイベントを識別するためのシステム及び技術を対象とする。一例では、本技術及びシステムは、スキャニングデバイスを使用して商品の視覚的な印（例えば、バーコード、ＱＲコード（登録商標）など）をスキャンする第１のユーザと、この商品を受け取る第２のユーザとに応答して、イベントを識別し得る。商品を受け取る第２のユーザを識別した後、システム及び技術は、商品の追加を示すために、第２のユーザに関連付けられた仮想カートを更新し得る。いくつかの例では、システム及び技術は、「ジャスト・ウォークアウト」小売環境内で実施され得、その場合、それぞれのユーザの仮想カートが維持され、これによりユーザは、商品を取り出すか別様に受け取り、次いで、ユーザが施設を退出するのに応答してユーザのそれぞれの事前記憶された支払い手段にユーザの仮想カートの費用を請求できるように、施設から「ジャスト・ウォークアウト（ただ歩いて出ていく）」することができる。

以下に説明されるいくつかの例では、施設の関係者（例えば、従業員など）は、商品の視覚的な印をスキャンした後、その商品を施設内の顧客に手渡し得る。いくつかの事例では、商品は、オーダーメイドの商品（例えば、カスタマイズされたサラダ又はサンドイッチなど）、可変重量の商品（例えば、一定量のシーフード又は肉など）、可変量の商品（例えば、一定長のキルティング生地）、又は顧客が実際に受け取った商品の量又は他のパラメータ（例えば、トッピング）に応じてコストが変化する任意の他のタイプの商品を含む。したがって、顧客が１ポンドのエビ、１ヤードの布地などの注文を行った後、関係者は、要求された量の要求された商品を包装し得、印刷デバイスを使用して、商品に関連付けられた視覚的な印を印刷し得る。例えば、関係者は、秤を使用して商品の量を計測し、プリンタを使用してバーコード、ＱＲコード（登録商標）などを印刷し得、この視覚的な印は、商品の商品識別子、商品の重量／量、商品の費用、スキャンの時刻など、商品に関する情報を符号化している。いくつかの事例では、関係者は、次いで、商品又は商品のパッケージに視覚的な印を貼り付け得る。例えば、プリンタは、視覚的な印を含む粘着ステッカを印刷し得、それを次に関係者が、商品又はパッケージに接着し得る。

商品に視覚的な印を貼り付けた後、関係者は、次いで、スキャニングデバイスを使用して視覚的な印をスキャンし得る。例えば、関係者は、バーコードスキャナ、タブレットコンピューティングデバイス、又はカメラ若しくは他の撮像デバイスを含む任意の他のデバイスを使用して、視覚的な印に関する情報を識別し得るか、又は別様にキャプチャし得る。スキャニングデバイスは、商品の識別情報、商品の重量／量、商品の費用、スキャンの時刻など、上記の情報を示すスキャンデータを生成し得る。次いで、このスキャンデータは、１つ以上のネットワークを介して１つ以上のコンピューティングデバイスに送信され得、この１つ以上のコンピューティングデバイスは、スキャンデータを検証し、その後、スキャンデータに関連付けられた商品に関連付けられたイベントを判定することを試みるように構成されている。コンピューティングデバイスに送信されるスキャンデータは、スキャニングデバイスにサインインした関係者の識別子、スキャニングデバイスの識別子などを含み得るか、又はそれを伴い得る。

コンピューティングデバイスは、スキャンデータを受信し得、それに応答して、又は後の時点で、スキャンデータに関与する任意のイベントを判定することを試み得る。例えば、コンピューティングデバイスは、スキャンデータを生成したスキャニングデバイスの識別子を判定し得、スキャニングデバイスに関連付けられた施設内の関心体積（ＶＯＩ）を判定し得る。すなわち、施設内の各スキャニングデバイスは、施設内のそれぞれのＶＯＩに関連付けられ得、ＶＯＩは、顧客が、スキャンデータに関連付けられた商品と相互作用する（例えば、商品を受け取る）可能性が高い、環境の一部分（例えば、ＸＹＺ座標で画定される）を含み得る。例えば、各スキャニングデバイスのＶＯＩは、上にスキャニングデバイスが据えられたカウンタトップの一部又は全てにわたる、事前定義された長さ（例えば、天井まで）上昇する境界ボックスなど、それぞれのスキャニングデバイスに対して画定されたＸＹＺの「ボックス」を含み得る。いくつかの事例では、これらのＶＯＩは、環境内の各スキャニングデバイスに対して手動で構成され、他の例では、ＶＯＩは、施設内のカメラ（例えば、頭上カメラ）を使用して、スキャニングデバイスの画像データ及びこれらのデバイスの周囲の領域を分析することによって判定され得る。

いずれの事例においても、スキャンデータを受信すると、又はその後のある時点で、コンピューティングデバイスは、スキャンデータを生成するために使用されるスキャニングデバイスの識別子を判定し得、これは次に、スキャニングデバイスのそれぞれのＶＯＩを判定するために使用され得る。ＶＯＩを識別すると、コンピューティングデバイスは、ＶＯＩを含む視野（ＦＯＶ）を有する施設内のカメラを判定し得る。加えて、コンピューティングデバイスは、スキャンデータから、商品のスキャンに関連付けられた時刻を判定し得る。それらのＦＯＶ内において、現在のＶＯＩを有する１つ以上のカメラを識別すると、コンピューティングデバイスは、このカメラ（又は複数のカメラ）によってスキャンの時刻の最も近くに生成された画像データを取り出し得る。すなわち、コンピューティングデバイスは、商品のスキャンにまたがる（例えば、スキャンの直前及びスキャン後）画像データ、スキャンの開始時又はスキャンの直後における画像データなどを取り出し得る。

この画像データを受信すると、コンピューティングデバイスは、１つ以上の訓練された分類子を使用して、スキャンに関連付けられた商品に関与する任意のイベントを判定し得る。例えば、コンピューティングデバイスは、最初に画像データの個々のフレームに対してセグメンテーション技術を実施して、フレーム内に表されるものを識別し得る。例えば、コンピューティングデバイスは、画像データのフレーム内で、ユーザ、ユーザの部分（例えば、手、頭、身体、腕など）、背景、カウンタトップなどを識別するように構成され得る。これらのデバイスは、教師あり学習又は他の技術を使用して訓練された分類子を利用して、事前定義された対象物を識別し得る。いくつかの事例では、これらの分類子は、第１の場所における第１の画素が背景に対応すること、第２の画素が手に対応することなどの指標のような、異なる対象物に対応する画素値の指標を出力する。

コンピューティングデバイスは、このセグメンテーションマップを使用して、商品のスキャニング前後の時空間ウィンドウ内に１つ以上の手が存在するかどうかを識別し得る。すなわち、デバイスは、スキャンの閾値時間量内にある画像データのフレームのいずれかが、スキャニングデバイスのＶＯＩ内にある手を含むと判断し得る。そうであった場合、コンピューティングデバイスは、スキャンの閾値時間量内に手がＶＯＩ内にあるユーザのユーザ識別子を判定し得る。このユーザ識別子を識別することに応答して、コンピューティングデバイスは、ユーザに関連付けられた仮想カートを更新し得る。

いくつかの事例では、コンピューティングデバイスは、単に画像データのフレーム内の手を識別することに基づいてではなく、経時的にこの判定を行い得る。例えば、ユーザの手を識別するように訓練されていることに加えて、分類子は、手が満たされている可能性が高いか、又は空である可能性が高いかを示すスコアを出力するように訓練され得る。更に、コンピューティングデバイスは、それぞれのフレームが手を含むかどうかを示す第１のスコア、識別された手（存在する場合）が空であるか又は満たされているかを示す第２のスコアのそれぞれの指標を格納し得る。コンピューティングデバイスはまた、識別された手の場所も格納し得る。この情報の一部又は全ては、デバイスが、識別された手が経時的にＶＯＩ内でどのように移動したかを示す動きベクトルを識別することができるなど、経時的に格納され得る。

例えば、スキャンデータに関連付けられた時空間ウィンドウを判定した後、コンピューティングデバイスは、画像データのフレームに関連付けられた特徴データを生成し、この特徴データを１つ以上の訓練された分類子に入力することによって、この時空間内の画像を分析し得る。これらの分類子は、画像データを用いた手の場所、（存在する場合）手が空であるか又は満たされているかの指標、及び（存在する場合）手の場所を示し得る。空の手がＶＯＩに「入る」こと、及び満たされた手がＶＯＩから「出る」ことを識別することに応答して、コンピューティングデバイスは、その手に関連付けられたユーザが商品を受け取ったと判定し得る。

このように、ユーザが商品を受け取ったと判定することに応答して、システムは、所与の時刻に施設内の各ユーザ識別子の場所を維持するように構成された場所特定コンポーネントを呼び出し得るか、又は別様にそれと対話し得る。すなわち、ユーザが施設に入場すると、システムは、このユーザにユーザ識別子を割り当て（これは、いくつかの事例では、個人識別データと無関係であり得る）、経時的に施設内のユーザ識別子の場所を維持するために、画像データ及び／又は同様のものを使用し得る。このように、コンピューティングデバイスが、手がスキャンデータに関連付けられた時空間ウィンドウ内で商品を受け取ったと判定すると、コンピューティングデバイスは、場所特定コンポーネントから、受け渡しの時点で商品の場所に存在していたユーザ識別子を判定し得る。ユーザ識別子の指標を受信すると、システムは、ユーザ識別子に関連付けられた仮想カートを更新して、商品の追加を示し得る。例えば、ユーザの仮想カートは、彼女が受け取ったことを示すように更新され得る。価格９．８９ドルの１．２ポンドのエビ。

このように、本技術により、顧客がオーダーメイド又は可変重量／サイズの商品を関係者に要求することを可能にし、関係者は、商品を準備し、商品の費用についての視覚的な印を印刷し、商品に視覚的な印を貼り付け、視覚的な印をスキャンし、要求するユーザに商品を有していた可能性がある。これに応答して、又はこの対話の後のある時点で、本明細書において説明されるシステム及び技術は、この対話を表す画像データを分析して、どのユーザが実際に商品を受け取ったかを判定し得る。例えば、システム及び技術は、スキャニングデバイスに関連付けられた事前定義されたＶＯＩを閾値時間量内に分析して、ＶＯＩ内の手の存在、並びに潜在的に、それが満たされていたか空であったか、その手の経時的な場所及び／又は同様のものなど、手に関する情報を識別し得る。この情報を使用して、手、したがってユーザが実際に商品を受け取ったことが判定され得る。この判定を行った後、システム及び技術は、次いで、その手にどのユーザが関連付けられているかを判定し得、この判定を行った後、適切なユーザの仮想カートを更新し得る。

いくつかの事例では、本明細書において説明されるシステム及び技術は、コンピューティングデバイスがスキャンデータの指標を受信することに応答して実施され得る。すなわち、関係者（又は他のユーザ）が商品をスキャンするのに応答して、本技術を実施し、それに応じて、商品を受け取るユーザに関連付けられたユーザ識別子を判定し得る。一方、他の事例では、異なるトリガがこの判定を引き起こし得る。例えば、本技術は、ユーザが施設を退出することに応答してユーザの仮想カートの内容を判定するシステム内で、実施され得る。この例では、システムは、施設内の潜在的な各イベントの候補ユーザのセットを判定し、ユーザが環境を出ることに応答して、特定のユーザの各イベントを解決し得る。例えば、商品が肉カウンタでスキャンされたときに、特定のユーザが施設の肉カウンタの近く（例えば、閾値距離内）にいた場合、このユーザは、スキャンされたこの商品に関与するこの特定のイベントの候補ユーザとしてマークされ得る。ユーザが店舗を退出すると、システムは、上記及び下記において説明される技術を使用して、この商品を受け取ったのが実際にこのユーザであったかどうかを判定し得、そうであった場合、この時点で、ユーザの仮想カートを更新し得る。要するに、異なるトリガが、本明細書において説明される技術の実行を引き起こし得る。

加えて、上記の例は、視覚ベースの分類子を使用して、商品を受け取るユーザを判定するためにＶＯＩ内の手の存在（及び潜在的に、状態及び方向）を判定することを説明するが、他の例では、１つ以上の他の要因を使用して、この判定を行うことができる。例えば、視覚アルゴリズムを使用して、スキャニングデバイスによってスキャンされる商品を、施設内の別のユーザによって受け取られるまで追跡し得る。すなわち、商品がスキャンされるときに、１つ以上のコンピュータビジョンアルゴリズムを使用して、スキャンされた商品を識別し、少なくとも商品をスキャンしたユーザとは異なるユーザがその商品を受け取るまで、経時的に画像データ内のスキャンされた商品の場所（例えば、ＶＯＩ内又はその他）を追跡し得る。この時点で、受け取りユーザの仮想カートが更新され得る。

加えて、又は代替として、関係者（又は商品をスキャンした他のユーザ）の場所は、経時的に維持され得る。例えば、関係者が商品をスキャンすると、１つ以上のコンピュータビジョンアルゴリズムを使用して、スキャンを実施した関係者を識別し、商品が別のユーザに渡されるまで、画像データ内で経時的にこの関係者を場所特定し続けることができる。その結果として、ここでも、受け取りユーザに関連付けられた仮想カートが更新され得る。

更に、上記及び下記の考察には、固定された場所に関連付けられたスキャニングデバイスの例が含まれるが、店舗の関係者がモバイルデバイスを使用して商品をスキャンし、それぞれのユーザにそれらの商品を手渡す例など、本技術がモバイルスキャニングデバイスにも適用され得ることを理解されたい。例えば、関係者がモバイルスキャニングデバイスを使用して商品をスキャンすると、デバイスは、上で説明される１つ以上のコンピューティングデバイスにスキャンデータを提供し得る。これらのコンピューティングデバイスは、モバイルスキャニングデバイスの識別子を使用して、施設内のモバイルデバイス及び／又は関係者の、現在の場所を判定し得る。すなわち、コンピューティングデバイスは、店舗内の顧客及び関係者の現在の場所を維持するシステムの追跡コンポーネントを使用して、デバイス及び／又は関係者の場所を判定し得る。次いで、この情報を使用して、モバイルスキャニングデバイスの現在の場所のＦＯＶを有する１つ以上のカメラ（例えば、頭上カメラ）を判定し得る。次いで、コンピューティングデバイスは、スキャニングデバイスの周りのＶＯＩを分析するために、これらのカメラから画像データを取得し得る。上記のように、ＶＯＩは、スキャニングデバイスの場所に対して画定され得る。次いで、コンピューティングデバイスは、上記で紹介され、以下で更に詳細に説明される技術を使用して、ＶＯＩに入る顧客の空の手及びＶＯＩから出る満たされた手など、ＶＯＩ内の顧客の手を識別し得る。次いで、この手に関連付けられたユーザ識別子を使用して、対応するユーザの仮想カートが更新され得る。

最後に、本明細書に含まれる例は、単一の商品を参照して説明されているが、本技術は、複数の商品にも適用され得ることを理解されたい。これらの事例では、関係者は、複数の商品を連続してスキャンした後、商品のグループ又は商品の容器（例えば、袋又は箱）を顧客に手渡し得る。ここで、コンピューティングデバイスは、最初に、それぞれのスキャンデータから、これらの商品が互いに相対的な閾値時間量内にスキャンされたと判定し得る。例えば、コンピューティングデバイスは、ある商品のスキャンと後続の商品との間の経過時間が閾値量未満であり、したがってこれらの商品が連続してスキャンされたことを判定し得る。この判定を行うことに応答して、コンピューティングデバイスは、上で説明される技術を使用して手についてＶＯＩを分析し得、連続してスキャンされた商品の各々を、手に関連付けられた、判定されたユーザ識別子に関連付け得る。このように、関係者が、例えば、５つの商品をスキャンした後にこれらの商品を（例えば、バッグで）顧客に手渡す場合、本技術は、これらの５つの商品の各々を、ＶＯＩ内で手が識別される同じ顧客に関連付け得る。更に、上記の例は、コンピューティングデバイスが、これらの商品が互いの閾値時間でスキャンされていることに基づいて、商品のグループが関連していると判断することを説明しているが、別の例では、スキャニングデバイスは、複数の商品がスキャンされることになること、かつこれらの商品が単一の顧客のためのものであることを示すための、関係者によって選択可能な制御（例えば、アイコン）を含み得る。このように、複数の商品のスキャンデータがコンピューティングデバイスによって受信されると、コンピューティングデバイスは、説明される手の識別技術及び手の追跡技術に基づいて、各商品を共通のユーザ識別子に関連付けることを判定し得る。

以下の説明では、材料取り扱い施設内での技術の使用について説明する。本明細書において説明される施設としては、倉庫、物流センタ、クロスドッキング施設、注文フルフィルメント施設、梱包施設、出荷施設、レンタル施設、図書館、小売店、卸売店、博物館、若しくは他の施設、又は材料（在庫）取り扱いの１つ以上の機能を実施するための施設の組み合わせが挙げられ得るが、これらに限定されない。他の実施態様では、本明細書において説明される技術は、他の施設又は状況で実施され得る。本開示の特定の実施態様及び実施形態はここで、様々な態様が示されている添付の図を参照しながら、以下により完全に説明される。しかしながら、それらの様々な態様は、多くの異なる形態で実装され得、本明細書に記載される実施態様に限定されるものと解釈されるべきものではない。本開示は、本明細書において説明されるように、それらの実施形態のバリエーションを包含する。同じ番号は、全体を通じて、同じ要素を指す。

図１は、第１のユーザ１０２がスキャニングデバイス１０８を使用して環境１０６内の商品１０４をスキャンする、例示的なアーキテクチャ１００を例解する。例えば、第１のユーザ１０２は、小売施設の関係者（例えば、従業員など）を含み得、商品の詳細を符号化するか又は別様に示すスキャンデータを生成することができる任意のタイプのデバイスを使用して、バーコード、ＱＲコード（登録商標）、テキストなど、商品１０４に関連付けられた視覚的な印をスキャンし得る。例えば、スキャニングデバイス１０８は、商品１０４に貼り付けられたバーコード又はＱＲコード（登録商標）を読み取るように構成されたデバイスを備え得る。一方、商品１０４は、いくつかの事例では、オーダーメイド又は可変重量商品を含み得、したがって、第１のユーザ１０２は、秤、印刷デバイス及び／又は同様のものを使用して、バーコードなどの視覚的な印を生成し得る。バーコードなどを物理的に印刷した後、第１のユーザは、商品１０４をスキャンする前又は後のいずれかにおいて、商品１０４に視覚的な印を貼り付け（例えば、接着し）得る。

スキャニングデバイス１０８を使用して商品１０４をスキャンした後、第１のユーザ１０２は、商品１０４を第２のユーザ１１０に渡し得、第２のユーザ１１０が取得するために商品１０４をカウンタの上に置くなどを行い得る。いずれの事例においても、第２のユーザ１１０は、商品１０４を受け取るために、スキャニングデバイス１０８に関連付けられた関心体積（ＶＯＩ）１１４の中に彼又は彼女の手１１２を伸ばす。ＶＯＩ１１４は、スキャニングデバイス１０８に関連付けられた、環境１０６内の三次元領域を含み得る。例解されていないが、環境１０６は、複数のスキャニングデバイスを含み得、それらの各々が、それぞれのＶＯＩに関連付けられ得る。

いくつかの事例では、環境１０６内の各ＶＯＩ１１４は、例解されたスキャニングデバイス１０８などのそれぞれのスキャニングデバイスに対して画定され得る。例えば、環境１０６が最初にスキャニングデバイス及びカメラなどのセンサを用いて構成されるとき、関連付けは、環境１０６のそれぞれの三次元空間である各スキャニングデバイスによって格納され得る。この三次元空間は、それぞれのスキャニングデバイス１０８に隣接し得るＶＯＩ１１４を含み得、スキャニングデバイス１０８及び／又は同様のものを含み得る。一例では、ＶＯＩ１１４は、上にスキャニングデバイス１０８が据えられたカウンタトップの上方の三次元空間に対応する。別の例では、ＶＯＩ１１４は、スキャニングデバイスを中心とした半径によって画定された体積を含む。したがって、ＶＯＩ１１４は、球、立方体などのような任意の形状の三次元体積を含み得る。更に、最初のＶＯＩがスキャナに関連付けて格納された後、ＶＯＩは、環境内で対話が発生するにつれて経時的に調整され得る。更にまた、上記の例は、ＶＯＩをスキャナと事前に関連付けることを説明しているが、他の事例では、ＶＯＩは、環境１０６内で対話が発生すると動的に判定され得る。

例解されるように、環境１０６は、商品１０４を受け取る第２のユーザ１１０を識別するなど、商品を受け取るユーザを識別するために使用され得る画像データを生成するための、カメラ１１６などの１つ以上のカメラを更に含み得る。環境１０６は、環境１０６の異なる及び／又は重なり合う部分の画像データを取得するように構成された、頭上カメラ、棚内カメラ及び／又は同様のものなどの複数のカメラを含み得る。更に、各ＶＯＩと、ＶＯＩの一部又は全てを含むそれぞれの視野（ＦＯＶ）を有する１つ以上のカメラとの間の関連付けが格納され得る。例えば、カメラ１１６のＦＯＶが環境１０６のＶＯＩ１１４を含むと仮定すると、例解されたＶＯＩ１１４と例解されたカメラ１１６との間の関連付けが格納され得る。

スキャニングデバイス１０８がスキャンデータを生成することに応答して、スキャニングデバイス１０８は、スキャンデータを１つ以上のネットワーク１２０を介して１つ以上のサーバコンピューティングデバイス１１８に送信し得る。ネットワーク１０２は、１つ以上の有線及び／又は無線ネットワークの任意の組み合わせを表し得る。一方、サーバコンピューティングデバイス１１８は、環境に存在し得、環境から離れて存在し得、かつ／又はそれらの組み合わせであり得る。例解されるように、サーバコンピューティングデバイス１１８は、１つ以上のプロセッサ１２２及びメモリ１２４を備え得、メモリ１２４は、場所特定コンポーネント１２６、画像分析コンポーネント１２８、イベント判定コンポーネント１３０、及び仮想カートコンポーネント１３２を、部分的に格納し得る。加えて、メモリ１２４は、環境内の１つ以上のセンサ（例えば、スキャニングデバイス、カメラなど）から受信したセンサデータ１３４、環境１０６内のユーザ識別子の場所を示すユーザデータ１３６、それぞれのユーザの仮想カートの内容を示す仮想カートデータ（又は「カートデータ」）１３８、及び環境内のセンサなどに関する情報、例えばセンサの場所などを示す環境データ１４０を、１つ以上のデータストアに格納し得る。

スキャニングデバイス１０８からスキャンデータを受信することに応答して、サーバコンピューティングデバイス１１８は、スキャンデータをセンサデータデータストア１３４に格納し得る。このスキャンデータを受信することに応答して、又は第２のユーザ１１０若しくは別のユーザが環境１０６を出ると検出されるような、別のトリガイベントに応答して、イベント判定コンポーネント１３０は、スキャンされた商品１０４に関与する任意のイベントの結果を判定しようと試み得る。例えば、イベント判定コンポーネントは、識別されたユーザに関連付けられたカートデータを更新して、商品の追加を示すために、商品を受け取ったユーザの個人情報を判定するためのプロセスを開始し得る。

スキャンされた商品１０４に関与するイベントの結果を判定するために、イベント判定コンポーネント１３０は、画像分析コンポーネント１２８に、ＦＯＶ内に適切なＶＯＩを有する環境内の１つ以上のカメラによって生成された画像データを分析して、商品１０４を受け取るユーザを識別するように指示し得る。加えて、イベント判定コンポーネントは、環境１０６内のユーザ識別子の現在及び過去の場所を経時的に格納する場所特定コンポーネント１２６を、画像分析コンポーネント１２８からの出力と組み合わせて利用して、商品１０４に関与するイベントの結果を判定し得る。結果を判定した後、イベント判定コンポーネント１３０は、それに応じて適切な仮想カートを更新するように仮想カートコンポーネント１３２に指示し得る。

まず、画像分析コンポーネント１２８は、特定の時間範囲における特定のＶＯＩについての画像データを分析するための指標を受信し得る。例として、イベント判定コンポーネント１３０は、スキャンデータから、スキャンが発生した場所及びスキャンが発生した時刻を判定し得る。例えば、スキャニングデバイス１０８から受信されたスキャンデータは、スキャンの時刻及びスキャニングデバイス１０８の識別子を含み得る。イベント判定コンポーネントは、この情報を画像分析コンポーネント１２８に提供し得るか、さもなければ、この情報を、以下で説明されるように、画像分析コンポーネントに適切な時空間ウィンドウを分析させるために使用し得る。

イベント判定コンポーネント１３０からの要求を受信した後、画像分析コンポーネント１２８は、環境データ１４０から、どのカメラがＶＯＩ１１４のＦＯＶを含むかを判定し得る。すなわち、環境データ１４０は、どのカメラがどのＶＯＩを有するかのそれぞれの指標を格納し得るか、又はそうでなければ、特定のＶＯＩ内で発生するイベントを判定するためにどのカメラが使用されるかの指標を格納し得る。この事例では、画像分析コンポーネント１２８は、例解されたカメラ１１６がＶＯＩ１１４を含むＦＯＶを有すると判定し得る。したがって、画像分析コンポーネント１２８は、画像データについて１つ以上のコンピュータビジョンアルゴリズムを実行するために、センサデータデータストア１３４から画像データを取り出し得る。いくつかの事例では、画像分析コンポーネント１２８は、スキャンの時刻に少なくとも部分的に基づく時間範囲内のＶＯＩ１１４の画像データを分析する。例えば、画像分析コンポーネント１２８は、スキャン時に開始し、その後３０秒続く画像データ、スキャンの１５秒前に開始して１分後に終了する画像データ、及び／又は同様のものを分析し得る。

画像データを取り出した後、現在のＶＯＩ１１４を表す判定された時間範囲について、画像分析コンポーネント１２８は、１つ以上の訓練された分類子を使用して、ＶＯＩ１１４内で発生したイベントを判定し得る。例えば、訓練された分類子は、最初に、画像データの各フレームに関する生成された特徴データを受信し、フレームごとに、それぞれのフレーム内に表される事前定義された対象物を示すセグメンテーションマップを出力するように構成され得る。例えば、画像分析コンポーネント１２８は、（例えば、教師あり学習を介して）訓練された分類子を利用して、背景、ユーザ、ユーザの特定の部分（例えば、手、頭、腕、身体など）、１つ以上の商品及び／又は同様のものを識別し得る。以下で考察される図３Ａは、例示的なセグメンテーションマップを例解する。

画像データの個々のフレームのセグメンテーションマップを生成することに加えて、画像分析コンポーネント１２８は、少なくともセグメンテーションマップを使用して、ＶＯＩ１１４内で発生するイベントを識別するように構成された、１つ以上の訓練された分類子を利用し得る。例えば、分類子は、画像データの各フレームが手を含むかどうか、かつそうであった場合、「空」（商品を保持していない）又は「満たされた」（商品を保持している）などの手の状態を判定するように構成され得る。いくつかの事例では、訓練された分類子は、画像データの個々のフレームから生成された特徴データを受信し得、出力として、個々のフレームが手を含むかどうかを示すスコア、任意のそのような手の場所、及び手が空であるか又は満たされているかを示すスコアを生成し得る。これらのスコアに対して１つ以上の閾値を適用して、各個々のフレームが手を含むかどうか、及びそうであった場合、手が空であるか満たされているかどうかを判定することができる。

各フレームについてこの情報を格納することに加えて、画像分析コンポーネント１２８は、ＶＯＩ１１４内の識別された手の動きベクトルを経時的に判定し得る。例えば、画像分析コンポーネント１２８が、第１のフレーム内の第１の場所で空の手が検出された、第２の後続のフレーム内の第２の場所で空の手が検出された、などを判定した場合、画像分析コンポーネントは、この情報を使用して、手に関連付けられた動きベクトルを判定し得る。更に、画像分析コンポーネント１２８は、これらの動きベクトル及び手の状態に関する関連情報に少なくとも部分的に基づいて、ユーザが商品を受け取ったか、商品を返したかなどを判定するように構成された、１つ以上の訓練された分類子を含み得る。例えば、画像分析コンポーネント１２８は、空の手がＶＯＩ１１４に「入り」、かつ満たされた手がＶＯＩ１１４から「出る」ことが、商品を取得する手に関連付けられたユーザを表すと判定するように、（例えば、教師あり学習を使用して）訓練されている場合がある。したがって、画像分析コンポーネント１１４は、この例では、「取る」又は「ピックする」の指標を出力し得る。反対の例では、分類子は、満たされた手がＶＯＩ１１４に入り、かつ空の手がＶＯＩ１１４から出ることが、返却を表し得ることを判定するように訓練され得る。

例解された例では、画像分析コンポーネント１２８は、（例えば、１つ以上の訓練された分類子を使用して）商品１０４のスキャンの時刻後に空の手がＶＯＩ１１４に入ったこと、及びその後、満たされた手がＶＯＩ１１４を出たことを判定し得る。画像分析コンポーネント１２８は、この情報及び／又は関連情報（例えば、「取る」の指標）を、イベント判定コンポーネント１３０に提供し得る。加えて、場所特定コンポーネント１２６は、対応するユーザが環境全体を移動するときにユーザ識別子の場所を特定し得、これらの場所を、ユーザデータ１３６として経時的に格納し得る。例えば、例解された第２のユーザ１１０が環境１０６に入ったとき、場所特定コンポーネント１２６は、このユーザに関連付けられた識別子を作成し得、このユーザ識別子に関連付けられたユーザの場所を経時的に格納し得る。いくつかの事例では、ユーザ識別子は、ユーザ１１０の実際の身元が追跡されないように、個人を特定できる情報を含まず、むしろユーザ１１０と他の識別可能な結びつきを有しない識別子であり得る。

イベント判定コンポーネント１３０は、画像分析コンポーネント１２８から受信したデータに加えて、このユーザデータ１３６を使用して、商品１０４を取得したユーザ１１０に関連付けられたユーザ識別子を判定し得る（すなわち、ＶＯＩ１１４内で識別された手に関連付けられたユーザ１１０を判定し得る）。例えば、画像分析コンポーネント１２８（又はイベント判定コンポーネント１２８）は、特定の時刻（例えば、１０：２３：５５）に商品１０４を「取る」ことが発生したと判定した可能性がある。場所特定コンポーネント１２６（又はイベント判定コンポーネント１３０）は、この特定の時点でどのユーザ識別子がＶＯＩ１１４の場所にあったかを判定し得、この情報を使用して、このユーザ識別子に関連付けられたユーザが商品１０４を取ったことを判定し得る。この判定に応答して、イベント判定コンポーネント１３０は、ユーザ１１０に関連付けられたユーザ識別子など、特定のユーザ識別子に関連付けられた仮想カートデータ１３８を更新するように仮想カートコンポーネント１３２に指示し得る。上で説明される技術を使用して、このように、イベント判定コンポーネントは、ユーザ１１０がユーザ１０２から直接（例えば、手渡しとして）商品１０４を受け取ったことに応答して、ユーザ１０２がカウンタ上に商品１０４を置いた後、ユーザ１１０がカウンタから商品１０４を取ることに応答して、かつ／又は同様のことに応答して、適切な仮想カートデータ１３８を更新するように仮想カートコンポーネントに指示し得る。

図２Ａ～Ｃは、図１で上で考察される第１のユーザ１０２が商品１０４をスキャンし、その商品１０４を第２のユーザ１１０に手渡し、一方、サーバコンピューティングデバイス１１８が、スキャンの時刻における対話の近くの環境の画像データを分析して、商品を受け取った第２のユーザ１１０に関連付けられたユーザ識別子を判定する、例示的な一連の動作２００を集合的に例解する。

まず、第２のユーザ１１０又は別のユーザが、特定の商品、そのような特定の量の食品、特定の長さの布地、特定のトッピングを乗せたサラダ及び／又は同様のものを要求し得る。これに応答して、第１のユーザが、カスタマイズされた商品を準備し得、バーコード、ＱＲコード（登録商標）などの商品に関連付けられた物理的又はデジタルの視覚的な印を印刷し得るか又は別様に生成し得る。いくつかの事例では、視覚的な印は、商品識別子、商品の重量、商品の長さ、商品の量、商品の費用、視覚的な印が作成された時点において商品が注文された時刻、及び／又は同様のものなど、商品に関する情報を符号化し得る。第１のユーザ１０２は、視覚的な印が物理的であるときに、視覚的な印を商品に貼り付けることができ、又は別様に、視覚的な印がデジタル若しくは物理的であるときに、視覚的な印を商品に関連付けることができる。

視覚的な印が商品１０４に貼り付けられたか又は別様に関連付けられた後、動作２０２は、スキャニングデバイスを使用して、商品１０４をスキャンしてスキャンデータを生成することを表す。例えば、第１のユーザ１０２は、任意のタイプのスキャニングデバイスを使用して視覚的な印をスキャンして、スキャンデータを生成し得る。上記のように、スキャンデータの指標を受信するシステムは、特定のスキャニングデバイスと環境内の場所との間の関連付けを格納し得る。例えば、システムは、特定のＶＯＩと特定の各スキャニングデバイスとの間の関連付けを格納し得る。

動作２０４は、スキャンデータを、上で説明されるサーバコンピューティングデバイス１１８などの１つ以上のコンピューティングデバイスに送信することを表す。いくつかの事例では、スキャンデータは、スキャニングデバイスの識別子、スキャンの時刻及び／又は同様のものなどの追加情報を含むか、又はそれを伴う。

動作２０６は、環境内のカメラを使用して画像データを生成することを表す。理解されるように、いくつかの事例では、カメラは、動作２０２でスキャンされた商品を含む、かつそれに加えて、イベントを識別するために、この画像データを継続的に生成し得る。

図２Ｂは、一連の動作２００の例解を継続し、動作２０８で、生成された画像データを、サーバコンピューティングデバイス１１８などの１つ以上のコンピューティングデバイスに送信することを含む。いくつかの事例では、カメラは、この画像データをコンピューティングデバイスに継続的に送信し、コンピューティングデバイスは、画像データを分析して、環境内で発生するイベントを識別し得る。

動作２１０は、スキャンデータを受信するコンピューティングデバイスが、そのスキャンデータから、スキャンに関連付けられた時刻とスキャニングデバイスに関連付けられたＶＯＩとを判定することを表す。例えば、この動作は、スキャンデータからスキャンのタイムスタンプを読み取り、スキャニングデバイスの識別子をキーとして使用することによって、施設データに格納されているスキャニングデバイスに関連付けられたＶＯＩを判定することを含み得る。次いで、コンピューティングデバイスは、スキャンの時刻及びＶＯＩを使用して、時空間ウィンドウを定義し得る。例えば、上で説明されるように、時空間ウィンドウは、ウィンドウの空間部分に関してはＶＯＩ、及びウィンドウの時間部分に関しては事前定義された時間量（例えば、１０秒、３０秒、２分など）の時間範囲を含み得る。この時空間ウィンドウを使用して、スキャン後に商品を取得するユーザの手を識別するための画像データを分析することができる。

動作２１２は、スキャンの時刻の後の閾値時間量の間に、画像データからＶＯＩを分析することを表す。例えば、この動作は、画像データに関連付けられた特徴データを生成すること、並びにその特徴データを、ユーザの手及びユーザの手の状態（例えば、満たされている又は空）を識別するように構成された訓練された分類子に入力することを含み得る。

図２Ｃは、一連の動作２００の例解を完結するものであり、動作２１４で、スキャンの時刻からの閾値時間量以内でＶＯＩ内のユーザの手を識別することを含む。いくつかの事例では、この動作は、訓練された分類子が、時空間ウィンドウの定義された時間範囲内にあるタイムスタンプを有する画像データのフレーム内で手が識別されたことを示す指標を出力することを含む。他の事例では、この動作は、分類子が空の手を識別した時空間ウィンドウ内の少なくとも１つのフレームと、分類子が満たされた手を識別した時空間ウィンドウ内の少なくとも１つの後続フレームとを識別することを含み得る。更に他の例では、この動作は、識別された手の動きベクトルをフレームにわたって生成することと、ＶＯＩに向かって更に入っていく空の手、及びＶＯＩから離れて出ていく満たされた手を識別することと、を含み得る。

動作２１６は、識別された手に関連付けられたユーザに関連付けられたユーザ識別子を判定することを表す。いくつかの事例では、この動作は、スキャンの時間中、又はスキャンによって定義された時間範囲中に、どのユーザ識別子がスキャニングデバイス及び／又はＶＯＩの、近く又はその場所にあったかを判定するために、場所特定コンポーネントによって生成されたユーザデータにアクセスすることを含み得る。

動作２１８は、商品の追加を示すために、ユーザ識別子に関連付けられた仮想カートデータを更新することを表す。例解された例では、例えば、ユーザの仮想カートは、１２．３４ドルの費用で「１．２ポンドのエビ」を追加することを含むように更新される。この例は、商品識別子を仮想カートに追加することを説明するが、スキャンされていない商品をユーザが返却する事例では、商品識別子は、これに対応して仮想カートから削除され得る。これらの例では、商品スキャンによってトリガされる時空間ウィンドウは、スキャンの前後の両方で定義され得、スキャンの前に生成された画像データは、ＶＯＩに入る満たされた手及びＶＯＩから出てくるユーザの空の手を識別するなど、返却を識別するために分析され得る。

図３Ａは、マシンビジョンアルゴリズムを使用して画像データのフレームのセグメンテーションマップ３００を生成する、画像分析コンポーネント１２８を例解する。図に示すように、セグメンテーションマップ３００は、背景、ユーザの手、商品などの異なる対象物に関連付けられた画素を示し得る。例えば、例解されたセグメンテーションマップ３００は、画像データのフレームの異なる領域が、例えば、画像分析コンポーネント１２８の１つ以上の訓練された分類子３０２を使用して、例示的な意味ラベル（例えば、「ラベル」）に関連付けられていることを示す。この例では、意味ラベルは、背景３０４、頭３０６、身体３０８、腕３１０、手３１２、及び商品（又は手の中の商品）３１４、及びドア３１６を含む。当然のことながら、これらは単なる例にすぎず、任意の他のタイプの意味ラベルが使用され得ることを理解されたい。また、この例示的なセグメンテーションマップ３０２を生成するために使用される分類子は、それぞれの意味ラベル３０４～３１６をフレームの異なる領域に割り当てるために、コンピュータグラフィックスツールを使用するために人間のユーザを採用することによって訓練され得ることに留意されたい。人間のユーザのうちの１人以上が、これらの意味ラベルを閾値量の画像データに割り当てた後、分類子は、意味ラベルを更に追加の画像データに適用するように訓練され得る。

いくつかの事例では、分類子３０２の第１の訓練された分類子は、フレームごとに、身体の特定の部分（例えば、手、下腕、上腕、頭など）及びこれらのそれぞれの部分の場所を示すセグメンテーションマップ３００を出力する。いくつかの事例では、この第１の訓練された分類子は、候補の手の輪郭に加えて、画像データのフレームの特定の部分が手を表す可能性を示すスコアを出力し得る。第１の分類子はまた、識別された各手を画像データ内の識別された頭に関連付けることができる。この頭は、ユーザのユーザ識別子を判定するために使用され得、したがって、各手は、ユーザ識別子に関連付けられ得る。

図３Ｂは、画像分析コンポーネント１２８が、セグメンテーションマップ３００及び１つ以上の訓練された分類子３０２を使用して、画像データの個々のフレームについて、フレームが手を含むかどうか、及びそうであった場合、手の場所、及びそれが空であるか満たされているかどうかを判定することを例解する。画像分析コンポーネント１２８は、スキャニングデバイスを使用して商品がスキャンされた後に、この情報を使用して、商品を取得するユーザを識別し得る。例えば、この例の例解されたフレームは、時空間ウィンドウの事前定義された時間範囲内にあるタイムスタンプに関連付けられた、ＶＯＩ１１４の画像データのフレームに対応し得る。

例解されるように、画像分析コンポーネントは、第１のフレーム３１８（１）を解析する。この例では、上で説明される第１の分類子は、手を識別しない。しかしながら、第１の分類子は、後続のフレーム３１８（２）内に空の手を識別する。例えば、上で説明されるように、分類子は、手の存在を示すスコア、識別された手が空であるか又は満たされているかを示すスコア、及び識別された手の場所を出力し得る。加えて、分類子は、手を頭に関連付けるだけでなく、手を、この頭に関連付けられたユーザ識別子に関連付けることができる。

第３の例示的なフレーム３１８（３）は、分類子によって、更に別の空の手を表すように判定され、一方、第４のフレーム３１８（４）及び３１８（５）は、それぞれ、分類子によって、満たされた手を表すように判定される。加えて、画像分析コンポーネント１２８は、フレームにわたって識別された手のそれぞれのユーザ識別子及び場所を使用して、手に関連付けられた１つ以上の動きベクトルを生成し得る。例えば、画像分析コンポーネントは、手に関連付けられたユーザ識別子を使用して、同じ手の動きを経時的に識別し得る。例解されるように、この例では、画像分析コンポーネント１２８は、空の手がＶＯＩ内に移動し、満たされた手がＶＯＩから離れてかつ／又はＶＯＩの外に移動したことを示す動きベクトルを識別し得る。分類子３０２又は別の分類子は、この情報を使用して、手に関連付けられたユーザがスキャンされた商品を確かに取ったという判定を行うことができる。

図４Ａ～Ｂは、スキャニングデバイスを使用して、別のユーザによってスキャンされた商品を受け取ったユーザの仮想カートデータを更新するための、例示的なプロセス４００のフロー図を集合的に例解する。このプロセス４００、及び本明細書で考察される他のプロセスは、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得る。ソフトウェアの文脈では、説明される動作は、１つ以上のハードウェアプロセッサによって実行されるときに、列挙された動作を実行する、１つ以上のコンピュータ可読記憶媒体上に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令には、特定の機能を実行するか、又は特定の抽象データ型を実装するルーチン、プログラム、対象物、コンポーネント、データ構造などが含まれる。当業者は、上の図に例解された特定のステップ又は動作は、削除され、組み合わされ、又は別の順序で実行され得ることを容易に理解するであろう。任意のステップ又は動作は、逐次に、又は並行して実行され得る。更に、動作が説明されている順番は、限定するものとして解釈されることを意図するものではない。加えて、これらのプロセスは、トート（例えば、カート、バスケット、バッグなど）、サーバ、他のコンピューティングデバイス、又はそれらの組み合わせによって実施され得る。

動作４０２は、スキャナがスキャンデータを生成したという指標を受信することを表す。例えば、イベント判定コンポーネント１３０は、環境内の特定のスキャニングデバイスが、商品に関連付けられた、バーコード、ＱＲコード（登録商標）などのスキャンされた視覚的な印を有するという指標を受信し得る。

動作４０４で、イベント判定コンポーネント１３０、又は別のコンポーネントは、スキャンされた商品と関連付けられた商品識別子を判定し得る。例えば、イベント判定コンポーネント１３０、又は別のコンポーネントは、スキャンデータを使用して、スキャンされた商品のバーコードなどを識別し得る。いくつかの事例では、この動作は、スキャンデータを受信することに応答して発生し得るが、他の事例では、この動作は、環境から出るスキャンデータに関連付けられたイベントの候補ユーザとして指定されたユーザなどの、異なるトリガに応答して発生し得る。したがって、この動作は、いくつかの事例では、以下に説明される後続の動作の後に発生し得る。

動作４０６は、スキャンデータを生成するスキャナに関連付けられた第１の時刻を判定することを表す。この第１の時刻は、スキャナがスキャンデータを生成した時刻、スキャナがスキャンデータを送信した時刻、コンピューティングデバイスがスキャンデータを受信した時刻、及び／又は同様のものを含み得る。

動作４０８で、画像分析コンポーネント１２８、又は別のコンポーネントは、スキャニングデバイスに関連付けられた関心体積（ＶＯＩ）を判定し得る。例えば、上記のように、システムは、施設内の各スキャニングデバイスと、それぞれのＶＯＩ（例えば、施設の三次元空間）との間の関連付けを格納し得る。画像分析コンポーネントは、スキャンデータに含まれ得る、又はスキャンデータに伴い得る、スキャニングデバイスの識別子を判定し得、このスキャニングデバイス識別子を使用して、対応するＶＯＩを判定し得る。

動作４１０は、ＶＯＩを含む画像データの第１のフレームを分析することを表す。例えば、この動作は、画像分析コンポーネント１２８、又は別のコンポーネントを含み得、ＦＯＶがＶＯＩを含むカメラを識別し（例えば、それぞれのカメラとＶＯＩとの間の関連付けを格納するデータストアにアクセスすることによって）、このカメラから、動作４０６で判定された第１の時刻の最も近くに生成された画像データを受信する。例えば、画像分析コンポーネント１２８は、第１の時刻で開始する、第１の時刻の前の、又は第１の時刻の直後の時間範囲中にカメラによって生成された画像データを受信し得る。

更に、この動作は、画像データのこの一部分が手を含むかどうかを判定するために、ＶＯＩに対応する画像データの一部分を分析することを含み得る。例えば、動作４１０は、画像データから生成された特徴データが分類子に入力される、サブ動作４１０（１）を含み得る。サブ動作４１０（２）で、分類子は、画像データが手を含むかどうかを示す第１のスコアと、手が空であるか又は満たされているかを示す第２のスコアとを出力し得る。いくつかの事例では、画像データを分析することは、上で説明されるように２段階のプロセス、すなわち、第１に、画像データの各フレームを、ユーザの手及び頭を含む異なる事前定義された対象物にセグメント化すること、第２に、任意の識別された手の動きをフレームにわたって追跡することを含む。例えば、第１の分類子は、少なくとも１つの手及び対応する頭を識別するセグメンテーションマップを生成し得、このうちの後者は、ユーザのユーザ識別子を判定するために使用され得る。このセグメンテーション情報は、第１の分類子によって出力され、例えば、各手をフレームにわたって追跡するための手追跡コンポーネントに入力され得る。

動作４１２で、この例では、画像分析コンポーネント１２８、又は別のコンポーネントは、ＶＯＩ内のユーザの空の手を識別する。例えば、画像分析コンポーネント１２８、又は別のコンポーネントは、１つ以上の分類子を使用して、スキャンデータに関連付けられた第１の時刻の後に、空の手がＶＯＩ内に存在すると判定する。

動作４１４は、画像分析コンポーネント１２８、又は別のコンポーネントが、ＶＯＩを含む画像データの第２のフレームを分析することを表し、第２のフレームは、第１のフレームに関連付けられた時刻に後続する時刻に対応している。ここでも、この動作は、画像データの第２のフレームから生成された特徴データが分類子に入力される、サブ動作４１４（１）を含み得る。サブ動作４１４（２）で、分類子は、画像データが手を含むかどうかを示す第３のスコアと、手が空であるか又は満たされているかを示す第４のスコアと、を出力し得る。

図４Ｂは、プロセス４００の例解を継続し、動作４１６で、動作４１４における第２のフレームの分析に基づいて、ユーザの満たされた手を識別することを含む。例えば、この動作は、画像データの第２のフレームがＶＯＩ内のユーザの満たされた手を表すという指標を、分類子から受信することを含み得る。いくつかの事例では、この表示はまた、満たされた手が、動作４１２において識別された空の手と同じユーザ識別子と関連付けられていることを示し得る。

最後に、動作４１８は、ユーザ識別子に関連付けられたユーザに関連付けられた仮想カートデータに、商品に関連付けられた商品識別子を格納することを表す。例えば、仮想カートコンポーネント１３２、又は別のコンポーネントは、適切なユーザカートを更新して商品の追加を示し得る。

いくつかの事例では、動作４１８は、ユーザの手が、空でＶＯＩに入り満たされてＶＯＩを出たと判定することに応答して発生し得る。一方、他の事例では、動作４１８は、第１の時刻によって定義される時間範囲内でＶＯＩ内のユーザの手を識別することに応答して、その時間範囲内でＶＯＩ内のユーザの満たされた手を識別することに応答して、などで発生し得る。例えば、いくつかの事例では、ユーザの仮想カートは、時間範囲中に単一の手が識別されるというイベントにおいて、ユーザの手を識別することに応答して更新され得る。しかしながら、時間範囲中にＶＯＩ内で（異なるユーザ識別子に対応する）複数の手が識別された場合、特定のユーザの仮想カートは、ユーザの空の手を識別し、その後、ユーザの満たされた手を識別することに応答して更新され得る。

図５は、商品を受け取るユーザの仮想カートデータを更新するための、別の例示的なプロセス５００のフロー図を例解する。動作５０２は、環境内のセンサによって生成されたセンサデータを受信することを表し、センサデータは、商品を識別する。いくつかの事例では、センサは、商品に関連付けられた視覚的な印をスキャンすることに応答してスキャンデータを生成する、スキャニングデバイスを備え得る。

動作５０４は、センサに関連付けられた環境の一部分を判定することを表す。上で説明されるように、環境のこの一部分を判定することは、環境内の、かつセンサに対して判定された、関心体積（ＶＯＩ）を判定することを含み得る。いくつかの事例では、説明されたシステムのデータストアは、スキャニングデバイスとＶＯＩとの間の関連、スキャニングデバイスとＶＯＩのＦＯＶを有するカメラとの間の関連などを格納し得る。

動作５０６は、環境内のカメラによって生成された画像データを受信することを表し、画像データは、センサに関連付けられた環境の一部分を表す。例えば、この動作は、ＶＯＩのＦＯＶを有するカメラから画像データを受信することを含み得る。いくつかの事例では、スキャンデータは、センサデータに関連付けられた第１の時刻（例えば、センサがセンサデータを生成した時刻）を示し得、したがって、画像データの受信は、第１の時刻に基づく時間範囲中に適切なカメラから画像データを受信することを含み得る。

動作５０８は、画像データを分析して、商品を受け取るユーザを識別することを表す。いくつかの事例では、この動作は、カメラによって生成された画像データを、第１の時刻の後、及び閾値時間量内に分析することを含み得る。更に、分析は、ＶＯＩ内のユーザの手を識別するために、ＶＯＩに対応する画像データの少なくとも一部分を分析することを含み得る。更に、これには、画像データを分析して、画像データの第１のフレームから、ＶＯＩ内のユーザの空の手を少なくとも識別し、画像データの第２のフレームから、ＶＯＩ内のユーザの満たされた手を識別することが含まれ得る。更に他の例では、この分析は、ＶＯＩに対応する画像データの第１のフレームの少なくとも一部分を分析して、ＶＯＩ内の第１の場所でユーザの空の手を識別することと、ＶＯＩに対応する画像データの第２のフレームの少なくとも一部分を分析して、ＶＯＩ内の第２の場所でユーザの空の手を識別することと、第１の場所及び第２の場所に少なくとも部分的に基づいて、第１の方向ベクトルを判定することと、ＶＯＩに対応する画像データの第３のフレームの少なくとも一部分を分析して、ＶＯＩ内の第３の場所でユーザの満たされた手を識別することと、ＶＯＩに対応する画像データの第４のフレームの少なくとも一部分を分析して、ＶＯＩ内の第４の場所でユーザの満たされた手を識別することと、第３の場所及び第４の場所に少なくとも部分的に基づいて、第２の方向ベクトルを判定することと、を含み得る。すなわち、商品を受け取るユーザを識別するために画像データを分析することは、いくつかの事例では、ユーザの空の手がＶＯＩに入り、かつユーザの満たされた手がＶＯＩを去ったと判定することを含み得る。

更に、上で説明されるように、画像データを分析することは、ＶＯＩ内の１つ以上の手を識別するためのセグメンテーションマップを生成することと、商品を受け取ったユーザを判定するためにこの情報を使用することと、を含み得る。例えば、この動作は、画像データの第１のフレームを使用してセグメンテーションマップを生成することとであって、セグメンテーションマップが、ユーザの手に対応する第１のフレームの第１の画素のセットを少なくとも識別する、生成することと、訓練された分類子に、ユーザの手に対応する第１のフレームの第１の画素のセットを示す第１のデータを入力することと、訓練された分類子の出力として、ユーザが商品を受け取ったかどうかを示す第２のデータを受信することと、を含み得る。更に、いくつかの事例では、ユーザの手に加えて、商品がＶＯＩ内で識別され、追跡され得る。これらの事例では、商品は、画像データのフレーム内で識別され、ユーザの手に置かれている商品を識別するためにフレームにわたって追跡され得る。本明細書において説明される例の各々では、ユーザの手は、別のユーザ（例えば、施設の関連者）の手から、別のユーザが商品を置いたカウンタから、かつ／又は任意の他の様式で、商品を受け取り得る。

最後に、動作５１０は、ユーザに関連付けられた仮想カートデータを更新して、商品に関連付けられた商品識別子を示すことを表す。この動作は、商品識別子、商品の費用、商品の説明、ユーザが商品を受け取った時刻、及び／又は同様のものなどの商品に関する情報を、適切な仮想カートに追加することを含み得る。

図６は、センサと、センサデータを使用して施設内で発生するイベントに関する出力を生成するように構成された在庫管理システムと、を含む例示的な材料取り扱い施設６０２のブロック図である。いくつかの事例では、施設６０２は、上で説明されるアーキテクチャ１００及び／又は環境１０６に対応する。

ただし、以下の説明は、単に、本明細書において説明される技術が利用され得る業界及び環境の１つの例解的な例であるにすぎない。材料取り扱い施設６０２（又は「施設」）は、１つ以上の商品６０４（１）、６０４（２）、…、６０４（Ｑ）（一般に、６０４として表記される）を保有し得る１つ以上の物理的構造又はエリアを含む。本開示で使用される場合、「（Ｑ）」などの括弧内の文字は、整数の結果を示す。商品６０４は、本、医薬品、修理部品、電子機器、食料雑貨品などの物理的な品物を含む。

施設６０２は、在庫の取り扱いに関する様々な機能のために指定される１つ以上のエリアを含み得る。この例解図では、施設６０２は、受け取りエリア６０６、保管エリア６０８、及び移行エリア６１０を含む。受け取りエリア６０６は、施設６０２への受け取りのために、納入業者などから商品６０４を受け入れるように構成され得る。例えば、受け取りエリア６０６は、トラック又は他の貨物輸送装置が商品６０４をおろす配送センタを含み得る。

保管エリア６０８は、商品６０４を保管するように構成されている。保管エリア６０８は、様々な物理的構成で整理され得る。一実施態様では、保管エリア６０８は、１つ以上の通路６１２を含み得る。通路６１２は、通路６１２の片側又は両側の在庫場所６１４で構成され得るか、又はその在庫場所６１４によって規定され得る。在庫場所６１４は、棚、ラック、ケース、キャビネット、収納箱、床場所、又は商品６０４を保有又は保管するための他の好適な保管機構のうちの１つ以上を含み得る。在庫場所６１４は、床又は施設の構造の別の部分に設けられ得るか、又は通路６１２の配置が再構成可能であり得るように、移動可能であり得る。いくつかの実施態様では、在庫場所６１４は、外部の業者とは独立して移動するように構成され得る。例えば、在庫場所６１４は、ラックを施設６０２内のある場所から別の場所に移動させることができるように、コンピューティングデバイスによって動作可能である、電源及びモータ付きラックを含み得る。

１人以上のユーザ６１６（１）、６１６（２）、…、６１６（Ｕ）、トート６１８（１）、６１８（２）、…、６１８（Ｔ）（一般に、６１８として表記される）、又は他の材料取り扱い装置は、施設６０２内を移動し得る。例えば、ユーザ６１６は、施設６０２内の周りを移動して、様々な在庫場所６１４内で商品６０４を選択又は配置し、輸送を容易にするために、それらをトート６１８上に置き得る。個々のトート６１８は、１つ以上の商品６０４を運搬又は別様に輸送するように構成されている。例えば、トート６１８は、バスケット、カート、バッグなどを含み得る。他の実施態様では、ロボット、フォークリフト、クレーン、無人飛行機などの他の仲介物が、施設６０２の周りを移動して、商品６０４を選択し、配置し、又は別様に移動させ得る。

１つ以上のセンサ６２０が、施設６０２内の情報を取得するように構成され得る。施設６０２内のセンサ６２０は、環境内に固定されたセンサ（例えば、天井装着カメラ）、又はそれ以外の場合では、ユーザが所有しているセンサなど（例えば、携帯電話、タブレット等）を含み得る。センサ６２０は、カメラ６２０（１）、重量センサ、高周波（ＲＦ）受信機、温度センサ、湿度センサ、振動センサなどを含み得るが、これらに限定されない。センサ６２０は、施設６０２に対して、静止した状態であり得るか、又は移動可能であり得る。例えば、在庫場所６１４は、施設６０２内のユーザ６１６（１）及び６１６（２）などの、棚上の商品６０４の選択又は配置の画像を取得するように構成されたカメラ６２０（１）を含み得る。別の例では、施設６０２の床は、ユーザ６１６、又はそのユーザ上の他の対象物の重量を判定するように構成された重量センサを含み得る。

施設６０２の運用中、センサ６２０は、対象物がどのように移動したか、又は施設６０２内での他の発生を追跡するために好適な情報を提供するように構成され得る。例えば、カメラ６２０（１）によって取得された一連の画像は、ユーザ６１６のうちの１人による、特定の在庫場所６１４からの商品６０４の除去、及びトート６１８のうちの１つへの、又はその内部への少なくとも部分的な、商品６０４の配置を示し得る。

保管エリア６０８は、１つ以上の通路６１２、商品６０４を保管する在庫場所６１４、センサ６２０などを有するものとして描写されているが、受け取りエリア６０６、移行エリア６１０、又は施設６０２の他のエリアは、同様に装備され得ることが理解される。更に、施設６０２内の様々なエリアの配置は、概略的ではなく、機能的に描写されている。例えば、複数の異なる受け取りエリア６０６、保管エリア６０８、及び移行エリア６１０は、施設６０２内で分離されるのではなく、分散され得る。

施設６０２は、在庫管理システム６２２を含み得るか、又はそれに結合され得、その在庫管理システムは、図１～５を参照して上で説明される技術のうちのいくつか又は全てを実施し得る。以下に説明されるように、在庫管理システム６２２は、請求項１で例解され、図１～５を参照して上で説明される、サーバ１１８のコンポーネントを含み得る。例えば、この在庫管理システムは、施設内の各ユーザの仮想カートを維持し得る。この在庫管理システムはまた、ユーザの個人情報、ユーザの場所、及びユーザが商品の手動的な精算を実行することなく、１つ以上の商品を持って施設を退出する資格があるかどうかを示す、各ユーザに関連付けられた記録も格納し得る。この在庫管理システムはまた、通知データをユーザに生成及び出力して、ユーザが十分資格があるか否かを示し得る。

例解されるように、在庫管理システム６２２は、施設６０２から遠隔地にあるサーバ１１８上の施設６０２に、（例えば、前提とされるサーバの一部として）それらの組み合わせで存在し得る。各事例では、在庫管理システム６２２は、受け取りエリア６０６、保管エリア６０８、又は移行エリア６１０のうちの１つ以上の中で、ユーザ６１６との、並びにそのユーザ間の対話及びイベント、センサ６２０などのデバイス、ロボット、材料取り扱い装置、コンピューティングデバイスなどを識別するように構成されている。上で説明されるように、一部の対話は、１つ以上のイベント６２４、又は事前定義された関心のある活動の存在を更に示し得る。例えば、イベント６２４には、施設６０２へのユーザ６１６の入場、在庫場所６１４における商品６０４の備蓄、在庫場所６１４からの商品６０４の選択、在庫場所６１４への商品６０４の返却、トート６１８内への商品６０４の配置、ユーザ６１６の互いに対する動き、ユーザ６１６によるジェスチャなどが含まれ得る。ユーザ６１６に関与する他のイベント６２４には、ユーザ６１６が施設６０２内で認証情報を提供すること、施設６０２にあるコンピューティングデバイスを使用して、個人情報を在庫管理システム６２２に確認させることなどが含まれ得る。いくつかのイベント６２４は、施設６０２内の１つ以上の他の対象物に関与し得る。例えば、イベント６２４は、車輪に装着されたカウンタなどの、在庫場所６１４の施設６０２内の移動を含み得る。イベント６２４は、センサ６２０のうちの１つ以上に関与し得る。例えば、センサの故障、位置合わせの変化などのセンサ６２０の動作の変化は、イベント６２４として指定され得る。この例を継続すると、視野６２８の配向の変化をもたらすカメラ６２０（１）の動き（誰か又は何かがカメラ６２０（１）に衝突して引き起こされることなど）（例えば、カメラ１０４）は、イベント６２４として指定され得る。

イベント６２４のうちの１つ以上の発生を判定することによって、在庫管理システム６２２は、出力データ６２６を生成し得る。この出力データ６２６は、イベント６２４についての情報を含む。例えば、イベント６２４が、在庫場所６１４から削除されている商品６０４を含む場合、出力データ６２６は、在庫場所６１４から削除された特定の商品６０４を示す商品識別子、及びその商品を削除したユーザのユーザ識別子を含み得る。

在庫管理システム６２２は、１つ以上の自動化システムを使用して、出力データ６２６を生成し得る。例えば、人工ニューラルネットワーク、１つ以上の分類子、又は他の自動化機械学習技術を使用し、１つ以上のセンサ６２０からのセンサデータを処理して、出力データ６２６を生成し得る。例えば、在庫管理システムは、上で詳細に説明したように、画像データ内のユーザ活動を識別するための分類子を生成及び利用するための技術のうちの一部又は全てを実行し得る。この自動化システムは、確率的又は非確率的技術を使用して動作し得る。例えば、その自動化システムは、ベイズネットワークを使用し得る。別の例では、その自動化システムは、サポートベクトルマシンを使用して、出力データ６２６又は暫定結果を生成し得る。自動化システムは、出力データ６２６又は暫定的なデータが物理的な世界に対応する精度又は信頼性を示す情報を提供する信頼レベルデータを生成し得る。

この信頼レベルデータは、使用中の自動化システムの種類に少なくとも部分的に基づいて、様々な技術を使用して生成され得る。例えば、ベイズネットワークを使用する確率的系は、その出力に割り当てられた確率を信頼レベルとして使用し得る。この例を継続すると、ベイズネットワークは、画像データに描写された商品が、メモリに以前格納された商品に対応する確率が９５％であることを示し得る。この確率は、画像データに描写されるように、その商品の信頼レベルとして使用され得る。

別の例では、サポートベクトルマシンなどの非確率的技術からの出力は、商品の画像データ、及び以前格納された商品の画像が分類された数学的空間内の距離に基づいて、信頼レベルを有し得る。以前格納された画像などの基準点から、その発生中に取得された画像データまでの、この空間内の距離が大きいほど、信頼レベルが低くなる。

更に別の例では、商品６０４、ユーザ６１６などの対象物の画像データは、以前格納された画像のセットと比較され得る。画像データと、以前格納された画像との間の差異が、評価されることが可能である。例えば、形状、色、画像内の特徴間の相対的割合などの差異である。それらの差異は、数学的空間との距離の観点から表現され得る。例えば、画像データに描写されるような対象物の色、及び以前格納された画像に描写されるような対象物の色は、色空間内の座標として表現され得る。

信頼レベルは、これらの差異に少なくとも部分的に基づいて、判定され得る。例えば、ユーザ６１６は、在庫場所６１４から、概して立方体形状である香水瓶などの商品６０４（１）を選択し得る。近くの在庫場所６１４にある他の商品６０４は、主に球体である可能性が高い。隣接する商品間の形状の違い（立方体対球体）、及び香水瓶商品６０４（１）の以前格納された画像との形状の一致（立方体及び立方体）に基づいて、ユーザ１０６が香水瓶商品６０４（１）をピックアップしたという信頼レベルは高い。

いくつかの状況では、自動化技術は、閾値結果を上回る信頼レベルを用いて出力データ６２６を生成することができない場合がある。例えば、自動化技術は、ユーザ６１６の群の中のどのユーザ６１６が在庫場所６１４から商品６０４をピックアップしたかを区別することができない場合がある。他の状況では、イベント６２４の人間による確認、又は出力データ６２６の精度の人間による確認を提供することが望ましい場合がある。例えば、いくつかの商品６０４は、それらが最小年齢閾値を超えるユーザ６１６のみによって取り扱われ得るように、年齢制限されるとみなされる場合がある。

人間の確認が望まれる事例では、イベント６２４に関連付けられたセンサデータは、問い合わせデータを生成するように処理され得る。この問い合わせデータは、イベント６２４に関連付けられたセンサデータのサブセットを含み得る。この問い合わせデータはまた、自動化技術によって判定されるような１つ以上の暫定結果のうちの１つ以上、又は補足データも含み得る。センサデータのサブセットは、１つ以上のセンサ６２０についての情報を使用して判定され得る。例えば、施設６０２内のカメラ６２０（１）の場所、カメラ６２０（１）の配向、及びカメラ６２０（１）の視野６２８などのカメラデータを使用して、施設６０２内の特定の場所が視野６２８内にあるかどうか判定し得る。センサデータのサブセットは、在庫場所６１４を示すことができるか、又は商品６０４がしまい込まれたことを示すことができる画像を含み得る。センサデータのサブセットはまた、視野６２８内にその在庫場所６１４を有さなかった、他のカメラ６２０（１）からの画像を省略し得る。視野６２８は、センサ６２０が周りでセンサデータを生成することができる、施設６０２内の一部分の場面を含み得る。

この例を継続すると、センサデータのサブセットは、商品６０４を含む視野６２８を有する１つ以上のカメラ６２０（１）によって取得されたビデオクリップを含み得る。暫定結果は、どの商品６０４がイベント６２４に関与した可能性があるかに関する「最良の推測」を含み得る。例えば、暫定結果は、最小閾値を上回る信頼レベルを有する、自動化システムによって判定された結果を含み得る。

施設６０２は、様々な納入業者から異なる種類の商品６０４を受け取り、顧客が商品６０４のうちの１つ以上を注文し、又は取り出すまで、それらの商品を保管するように構成され得る。施設６０２を通る商品６０４の大まかな流れは、図２の矢印によって示されている。具体的には、この例に例解されるように、商品６０４は、受け取りエリア６０６において、製造業者、販売業者、卸売業者などの１つ以上の納入業者から取り出し得る。様々な実施態様では、商品６０４は、施設６０２を運営する企業の特質に応じて、製品、日用品、生鮮食料品、又は任意の好適な種類の商品６０４を含み得る。商品６０４の受け取りは、在庫管理システム６２２が出力データ６２６を生成し得る１つ以上のイベント６２４を含み得る。

受け取りエリア６０６において、納入業者から受け取ると、商品６０４は、保管のために準備され得る。例えば、商品６０４は、開梱又は別様に再配置され得る。在庫管理システム６２２は、開梱又は再配置に関連付けられたイベント６２４に基づいて、在庫管理機能を提供するために、コンピュータシステム上で実行する１つ以上のソフトウェアアプリケーションを含み得る。これらの在庫管理機能は、商品６０４に関する種類、数量、状態、費用、場所、重量、又は任意の他の好適なパラメータを示す情報を維持することを含み得る。商品６０４は、パッケージ、カートン、枠箱、パレット、若しくは他の好適な集合体など、可算の個々の単位若しくは複数のものの観点から見て、備蓄され、管理され、又は払い出され得る。代替的に、大量製品、日用品などのいくつかの商品６０４は、本質的に可算単位に編成することができない、連続的又は任意に分割可能な量で保管され得る。そのような商品６０４は、長さ、面積、体積、重量、期間、持続時間、又は測定単位によって特徴付けられる他の寸法特性などの測定可能な量の観点から管理され得る。一般的に言えば、商品６０４の数量は、商品６０４の可算数の個々の単位か、若しくは集合単位かのどちらか、又は商品６０４の測定可能な量のいずれかを適宜指し得る。

受け取りエリア６０６を通って到着した後、商品６０４は、保管エリア６０８内に保管され得る。いくつかの実施態様では、同様の商品６０４は、収納箱の中、棚の上、ペグボードからの吊り下げなどの在庫場所６１４にともに保管又は表示され得る。この実施態様では、所与の種類の全ての商品６０４が、１つの在庫場所６１４に保管される。他の実施態様では、同様の商品６０４は、異なる在庫場所６１４に保管され得る。例えば、大規模な物理的施設６０２内に薄利多売の特定の商品６０４の検索を最適化するために、それらの商品６０４は、いくつかの異なる在庫場所６１４内に保管されて、単一の在庫場所６１４で発生する可能性がある混雑を減らし得る。商品６０４及びそれらのそれぞれの在庫場所６１４の格納領域は、１つ以上のイベント６２４を含み得る。

１つ以上の商品６０４を指定する顧客注文が受信されると、又は、ユーザ６１６が施設６０２を通って前進すると、対応する商品６０４は、それらの商品６０４を収容する在庫場所６１４から選び、又は「選択」され得る。様々な実施態様では、商品の選択は、手動的選択から完全に自動化された選択までの範囲が広がり得る。例えば、一実施態様では、ユーザ６１６は、所望の商品６０４のリストを有し得、施設６０２を通って進行して、保管エリア６０８内の在庫場所６１４から商品６０４を選択し、それらの商品６０４をトート６１８に置き得る。他の実施態様では、施設６０２の従業員は、顧客の注文から出ている書面又は電子的選択リストを使用して商品６０４を選択し得る。これらの選択された商品６０４は、従業員が施設６０２を通って前進するときに、トート６１８に置き得る。選択は、在庫場所６１４に移動するユーザ６１６、在庫場所６１４からの商品６０４の取り出しなど、１つ以上のイベント６２４を含み得る。

商品６０４が選択された後、それらの商品は、移行エリア６１０で処理され得る。移行エリア６１０は、商品６０４がある場所から別の場所に、又はあるエンティティから別のエンティティに移行される施設６０２内の任意の指定されたエリアであり得る。例えば、移行エリア６１０は、施設６０２内の梱包ステーションであり得る。商品６０４が移行エリア６１０に到着すると、商品６０４は、保管エリア６０８から梱包ステーションに移行され得る。移行することは、１つ以上のイベント６２４を含み得る。移行に関する情報は、それらのイベント６２４に関連付けられた出力データ６２６を使用して、在庫管理システム６２２によって維持され得る。

別の例では、商品６０４が施設６０２を出発している場合、商品６０４のリストは、在庫管理システム６２２によって取得及び使用されて、施設６０２から別のエンティティに、商品６０４の責任又は管理を移行し得る。例えば、運送業者は、輸送のために商品６０４を受け入れ得、その運送業者は、リストに示された商品６０４に対する責任を受け入れる。別の例では、顧客は、商品６０４を購入又は賃借し、施設６０２から商品６０４を削除し得る。この購入又は賃借は、１つ以上のイベント６２４を含み得る。

在庫管理システム６２２は、施設６０２、及びその中の内容物に関するセンサデータにアクセスするか、又はそのセンサデータを生成し得、そのセンサデータには、商品６０４、ユーザ６１６、トート６１８などが含まれる。このセンサデータは、センサ６２０のうちの１つ以上、他のシステムによって提供されるデータなどによって取得され得る。例えば、センサ６２０は、施設６０２内の場面の画像データを取得するように構成されたカメラ６２０（１）を含み得る。この画像データは、静止画像、ビデオ、又はそれらの組み合わせを含み得る。この画像データは、在庫管理システム６２２によって処理されて、ユーザ６１６の場所、トート６１８、ユーザ６１６の個人情報などを判定し得る。本明細書で使用されるとき、ユーザの個人情報は、ユーザの一意の識別子（例えば、名前、ユーザに関連付けられた番号、ユーザ名等）、環境に位置している他のユーザ間でユーザを区別する識別子などを表し得る。

在庫管理システム６２２、又はそれに結合されたシステムは、ユーザ６１６を識別し、並びに他の候補ユーザを判定するように構成され得る。一実施態様では、この判定は、センサデータを、以前に格納された個人情報データと比較することを含み得る。例えば、ユーザ６１６は、ユーザの顔を顔認識システムに表示することによって、認証資格情報を持ち運べるトークンを提示することによって、指紋を提示することによって、施設に入場するときのバーコード又は他のタイプの一意の識別子をスキャンすることなどによって、識別され得る。ユーザ６１６の個人情報は、施設６０２に入場する前、最中、又は後に判定され得る。ユーザ６１６の個人情報の判定は、施設６０２内のユーザ６１６に関連付けられたセンサデータを、以前に格納されたユーザデータと比較することを含み得る。

いくつかの事例では、在庫管理システムは、施設内のユーザをそれぞれのセッションにグループ化する。すなわち、在庫管理システム６２２は、センサデータを利用して、有効に「一緒に」（例えば、一緒に買い物をする）ユーザのグループを判定し得る。場合によっては、特定のセッションは、施設６０２に一緒に入場した、かつ施設を一緒にナビゲートする可能性の高い複数のユーザを含み得る。例えば、２人の大人及び２人の子供の家族が一緒に施設に入るときに、在庫管理システムは、各ユーザを特定のセッションに関連付け得る。個々のユーザに加えてセッションの場所を特定することにより、セッション内のユーザが個々に商品を選択、返却、又は別様に商品と対話し得るだけでなく、商品を互いの間で渡し合い得ることを考えると、個々のイベントの結果を判定することに役立ち得る。例えば、上記の例の子供は、子供の母親に箱を手渡す前に、穀物の箱を選択し得、その母親は、そのトート６１８にその箱を置き得る。子供及び母親を同じセッションに属しているものとして注目すると、その母親の仮想ショッピングカートに穀物の箱を首尾よく追加する機会を増加させることが可能になる。

１つ以上のイベント６２４、及びそれに関連付けられた出力データ６２６の発生を判定することによって、在庫管理システム６２２は、１つ以上のサービスを、施設６０２のユーザ６１６に提供することができる。１人以上の人間の関係者を利用し、問い合わせデータを処理し、次いで、出力データ６２６を生成するために使用され得る応答データを生成することによって、システム全体の精度を向上させ得る。その向上した精度は、施設６０２の１人以上のユーザ６１６のユーザ経験を改善し得る。いくつかの例では、出力データ６２６は、ネットワーク６３０を介して、１つ以上のサーバ１１８に送信され得る。

図７は、施設の運用をサポートするように構成された１つ以上のサーバ１１８のブロック図を例解する。サーバ１１８は、施設６０２において物理的に存在し得るか、ネットワーク６３０によってアクセス可能であり得るか、又は両方の組み合わせであり得る。サーバ１１８は、サービスを届けるシステムの物理的な場所及び構成について、エンドユーザの知識を必要としない。サーバ１１８に関連する共通の表現としては、「オンデマンドコンピューティング」、「サービスとしてのソフトウェア（ＳａａＳ）」、「クラウドサービス」、「データセンタ」などが挙げられ得る。サーバ１１８によって提供されるサービスは、１つ以上の物理的又は仮想的デバイスにわたって分散され得る。

サーバ１１８は、１つ以上の格納された命令を実行するように構成された１つ以上のハードウェアプロセッサ７０２（プロセッサ）を含み得る。このプロセッサ７０２は、１つ以上のコアを備え得る。サーバ１１８は、プロセッサ７０２、又はサーバ１１８の他の部分が他のデバイスと通信することを可能にするための１つ以上の入力／出力（Ｉ／Ｏ）インターフェース７０４を含み得る。Ｉ／Ｏインターフェース７０４は、インターインテグレイテッドサーキッツ（Ｉ２Ｃ）、シリアルペリフェラルインターフェースバス（ＳＰＩ）、ＵＳＢインプリメンターズフォーラムによって配布されたユニバーサルシリアルバス（ＵＳＢ）などを備え得る。

サーバ１１８はまた、１つ以上の通信インターフェース７０６を含み得る。この通信インターフェース７０６は、サーバ１１８と、センサ６２０、インターフェースデバイス、ルータなどの他のデバイスとの間の通信を提供するように構成されている。通信インターフェース７０６は、パーソナルエリアネットワーク（ＰＡＮ）、有線及び無線ローカルエリアネットワーク（ＬＡＮ）、有線及び無線ワイドエリアネットワーク（ＷＡＮ）などに結合するように構成されたデバイスを含み得る。例えば、通信インターフェース７０６は、イーサネット、Ｗｉ－Ｆｉ（商標）などと互換性のあるデバイスを含み得る。サーバ１１８はまた、サーバ１１８の様々なモジュールとコンポーネントとの間のデータ転送を可能にする１つ以上のバス又は他の内部通信ハードウェア若しくはソフトウェアを含み得る。

サーバ１１８はまた、電力供給源７４０を含み得る。電力供給源７４０は、サーバ１１８内のコンポーネントを動作させるために好適な電力を提供するように構成されている。

サーバ１１８は、１つ以上のメモリ７１０を更に含み得る。このメモリ７１０は、１つ以上のコンピュータ可読記憶媒体（ＣＲＳＭ）を備える。このＣＲＳＭは、電子記憶媒体、磁気記憶媒体、光学記憶媒体、量子記憶媒体、機械的コンピュータ記憶媒体などのうちのいずれか１つ以上であり得る。メモリ７１０は、サーバ１１８の動作のためのコンピュータ可読命令、データ構造、プログラムモジュール、及び他のデータの記憶装置を提供する。いくつかの例示的な機能モジュールが、メモリ７１０内に格納されて示されているが、同じ機能性は、代替的に、ハードウェア、ファームウェアで、又はシステムオンチップ（ＳＯＣ）として実装され得る。

メモリ７１０は、少なくとも１つのオペレーティングシステム（ＯＳ）コンポーネント７１２を含み得る。このＯＳコンポーネント７１２は、Ｉ／Ｏインターフェース７０４、通信インターフェース７０８などのハードウェアリソースデバイスを管理し、プロセッサ７０２上で実行するアプリケーション又はコンポーネントに様々なサービスを提供するように構成される。ＯＳコンポーネント７１２は、ＦｒｅｅＢＳＤプロジェクトによって配布されたＦｒｅｅＢＳＤ（登録商標）オペレーティングシステムの変形例、他のＵＮＩＸ（登録商標）又はＵＮＩＸ（登録商標）のような変形例、Ｌｉｎｕｓ Ｔｏｒｖａｌｄｓによって配布されたＬｉｎｕｘ（登録商標）オペレーティングシステムの変形例、Ｒｅｄｍｏｎｄ，Ｗａｓｈｉｎｇｔｏｎ，ＵＳＡのＭｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓ（登録商標）サーバオペレーティングシステムなどを実装し得る。

以下のコンポーネントのうちの１つ以上はまた、メモリ７１０内に格納され得る。これらのコンポーネントは、フォアグラウンドアプリケーション、バックグラウンドタスク、デーモンなどとして実行され得る。通信コンポーネント７１４は、センサ６２０のうちの１つ以上、関係者によって使用されるデバイスのうちの１つ以上、他のサーバ１１８、又は他のデバイスとの通信を確立するように構成され得る。これらの通信は、認証、暗号化などされ得る。

メモリ７１０は、在庫管理システム６２２を格納し得る。在庫管理システム６２２は、図１～５を参照して上で説明される技術の一部又は全てを提供するように構成されている。例えば、在庫管理システム６２２は、スキャンデータを受信し、スキャンされた商品に関して起こったイベントを判定し、ユーザの仮想カートを更新するなどのコンポーネントを含み得る。

在庫管理システム６２２は、メモリ７１０内の１つ以上のデータストア７１８に格納された情報にアクセスし得る。データストア７１８は、フラットファイル、データベース、リンクされたリスト、ツリー、実行可能コード、スクリプト、又は他のデータ構造を使用して、情報を格納し得る。いくつかの実施態様では、データストア７１８、又はデータストア７１８の一部分は、他のサーバ１１８、ネットワーク接続記憶デバイスなどを含む１つ以上の他のデバイスにわたって分散され得る。データストア７１８は、ユーザデータ１３６、環境データ１４０、センサデータ１３４、及びカートデータ１３６などの、上で説明されるデータストアを含み得る。

データストア７１８はまた、物理レイアウトデータ７２０も含み得る。この物理レイアウトデータ７２０は、センサ６２０、在庫場所６１４などのデバイス及び対象物の物理レイアウト内の物理的な場所のマッピングを提供する。物理レイアウトデータ７２０は、在庫場所６１４の施設６０２内の座標、その在庫場所６１４の視野内のセンサ６２０などを示し得る。例えば、物理レイアウトデータ７２０は、カメラ６２０（１）の施設６０２内の場所、カメラ６２０（１）の配向、動作可能な状態などのうちの１つ以上を含むカメラデータを含み得る。例を継続すると、物理レイアウトデータ７２０は、カメラ６２０（１）の座標、視野６２８が向けられる方向を示すパン及び傾斜情報、カメラ６２０（１）が動作又は誤作動しているかどうかなどを示し得る。

いくつかの実施態様では、在庫管理システム６２２は、物理レイアウトデータ７２０にアクセスして、イベント６２４に関連付けられた場所が１つ以上のセンサ６２０の視野６２８内にあるかどうかを判定し得る。上の例を継続すると、イベント６２４の施設６０２内の場所、及びカメラデータが与えられる場合、在庫管理システム６２２は、イベント６２４の画像を生成した可能性があるカメラ６２０（１）を判定し得る。

商品データ７２２は、商品６０４に関連付けられた情報を含む。この情報は、商品６０４のうちの１つ以上が格納されている１つ以上の在庫場所６１４を示す情報を含み得る。商品データ７２２はまた、注文データ、ＳＫＵ又は他の製品識別子、価格、在庫数量、重量、有効期限、商品６０４の画像、詳細な説明情報、評価、ランク付けなども含み得る。在庫管理システム６２２は、在庫管理機能と関連付けられた情報を商品データ７２２に格納し得る。

データストア７１８はまた、センサデータ１３４を含み得る。このセンサデータ１３４は、１つ以上のセンサ６２０から取得された、又はそれに基づいて取得された情報を含む。例えば、センサデータ１３４は、施設６０２内の対象物についての３Ｄ情報を含み得る。上で説明されるように、センサ６２０は、カメラ６２０（１）を含み得、そのカメラは、１つ以上の画像を取得するように構成されている。これらの画像は、画像データ７２６として格納され得る。画像データ７２６は、複数の画像要素又は画素を記述する情報を含み得る。非画像データ７２８は、マイクロフォン、重量センサなどからの入力などの、他のセンサ６２０からの情報を含み得る。

ユーザデータ７３０はまた、データストア７１８内に格納し得る。ユーザデータ７３０は、個人情報データ、プロファイルを示す情報、購入履歴、場所データ、ユーザ６１６の画像、人口統計データなどを含み得る。個々のユーザ６１６、又はユーザ６１６のグループは、在庫管理システム６２２による使用のために、ユーザデータ７３０を選択的に提供し得る。個々のユーザ６１６、又はユーザ６１６のグループはまた、施設６０２の使用中にユーザデータ７３０の収集を許可するか、又は他のシステムから取得されたユーザデータ７３０へのアクセスを許可し得る。例えば、ユーザ６１６は、ユーザデータ７３０の収集にオプトインして、施設６０２を使用している間に強化されたサービスを受け得る。

いくつかの実施態様では、ユーザデータ７３０は、特別な取り扱いのためにユーザ６１６を指定する情報を含み得る。例えば、ユーザデータ７３０は、特定のユーザ６１６が、出力データ６２６に関して増加したエラーの数に関連付けられていることを示し得る。在庫管理システム６２２は、この情報を使用して、このユーザ６１６に関連付けられたイベント６２４に追加の調査を適用するように構成され得る。例えば、閾値量を上回る費用又は結果を有する商品６０４を含むイベント６２４は、自動化システムによって生成されるように、出力データ６２６における判定された信頼レベルとは関係なく、処理するために関係者に提供され得る。

在庫管理システム６２２は、潜在的に他のコンポーネント７５６の中でもとりわけ、場所特定コンポーネント１２４、識別コンポーネント７３４、画像分析コンポーネント１２８、イベント判定コンポーネント１３０、仮想カートコンポーネント１３２、問い合わせコンポーネント７３８のうちの１つ以上を含み得る。

場所特定コンポーネント１２４は、施設の環境内の商品又はユーザの場所を特定して、在庫管理システム６２２が特定のイベントを正しいユーザに割り当てることができるように機能する。すなわち、場所特定コンポーネント１２４は、ユーザが施設に入場したときに、一意の識別子をユーザに割り当て得、ユーザの同意を得て、ユーザが施設６０２内に留まる期間にわたって、施設６０２全体にわたってユーザの場所を特定し得る。場所特定コンポーネント１２４は、画像データ７２６などのセンサデータ１３４を使用して、この場所特定を実施し得る。例えば、場所特定コンポーネント１２４は、画像データ７２６を受信し得、顔認識技術を使用して、画像からユーザを識別し得る。施設内で特定のユーザを識別した後に、次いで、場所特定コンポーネント１２４は、ユーザが施設６０２全体にわたって移動するときに、画像内でユーザの場所を特定し得る。更に、場所特定コンポーネント１２４が特定のユーザを一時的に「失う」場合には、場所特定コンポーネント１２４は、再度、顔認識に基づいて、かつ／又は音声認識などの他の技術を使用するなどして、施設内のユーザを識別しようと試み得る。

したがって、問題のイベントの時刻及び場所の指標を受信した際に、場所特定コンポーネント１２４は、データストア７１８に問い合わせて、イベントの特定の時刻に、どの１人以上のユーザがイベントの場所の閾値距離にいたか、又はその距離内にいたかを判定し得る。更に、場所特定コンポーネント１２４は、異なる信頼レベルを異なるユーザに割り当て得、その信頼レベルは、それぞれ対応するユーザが、実際に関心のあるイベントに関連付けられているユーザである可能性がどれくらいあるかを示している。

場所特定コンポーネント１２４は、センサデータ１３４にアクセスして、ユーザ及び／又は商品のこの場所データを判定し得る。場所データは、商品６０４、ユーザ６１６、トート６１８などの対象物の場所を示す情報を提供する。その場所は、施設６０２に対して、又は別の対象物若しくは基準点に対して、絶対的であり得る。絶対的という用語は、測地学上の基準点に対する緯度、経度、及び標高を含み得る。相対的という用語は、施設６０２の間取り図によって指定されるように、ｘ軸に沿って２５．４メートル（ｍ）、及びｙ軸に沿って７５．２ｍ、１６９°の進行方向に沿って在庫場所６１４から５．２ｍなどの場所を含み得る。例えば、場所データは、ユーザ６１６（１）が通路６１２（１）に沿って２５．２ｍのところにいて、在庫場所６１４の前部に立っていることを示し得る。比較すると、相対場所は、ユーザ６１６（１）がトート１１８に対して７３°の進行方向でトート６１８から３２ｃｍのところにいることを示し得る。場所データは、ユーザ６１６がどの方向に面しているかなどの配向情報を含み得る。その配向は、ユーザの身体が面している相対的な方向によって判定され得る。いくつかの実施態様では、配向は、インターフェースデバイスに対して相対的であり得る。この例を継続すると、場所データは、ユーザ６１６（１）が進行方向０°で配向されているか、又は北を見ていることを示し得る。別の例では、場所データは、ユーザ６１６がインターフェースデバイスに向かって面していることを示し得る。

識別コンポーネント７３４は、対象物を識別するように構成される。一実施態様では、識別コンポーネント７３４は、商品６０４を識別するように構成され得る。別の実施態様では、識別コンポーネント７３４は、ユーザ６１６を識別するように構成され得る。例えば、識別コンポーネント７３４は、顔認識技術を使用して、画像データ７２６を処理し、画像データ７２６内の特性を、以前格納された結果と比較することによって、画像に描写されるユーザ６１６の個人情報データを判定し得る。識別コンポーネント７３４はまた、ＲＦＩＤ読み取り機、ＲＦ受信機、指紋センサなどの他のセンサ６２０からのデータにアクセスし得る。

イベント判定コンポーネント１３０は、上で説明される技術及びその他の技術を使用して、センサデータ１３４を処理し、出力データ７２６を生成するように構成されている。イベント判定コンポーネント１３０は、データストア７１８に格納された情報にアクセスし得、その情報は、イベント記述データ７４２、信頼レベル７４４、又は閾値７４６を含むが、これらに限定されない。いくつかの事例では、イベント判定コンポーネント１３０は、イベント判定コンポーネント１０６に関して上で説明される技術の一部又は全てを実施するように構成され得る。例えば、イベント判定コンポーネント１３０は、場合によっては環境内の他のセンサによって取得された他のセンサデータを使用することなく、画像データ内のイベント（例えば、事前定義された活動）を識別するためのイベント分類子を作成及び利用するように構成され得る。

イベント記述データ７４２は、１つ以上のイベント６２４を示す情報を含む。例えば、イベント記述データ７４２は、「選択」のイベント６２４を用いて在庫場所６１４からの商品６０４の動きを指定する事前定義されたプロファイルを含み得る。イベント記述データ７４２は、手動的に生成され得るか、又は自動的に生成され得る。イベント記述データ７４２は、施設６０２内で発生するイベントに関連付けられたトリガを示すデータを含み得る。イベントは、トリガの検出時に発生するものとして、判定され得る。例えば、在庫場所６１４における、重量センサ６２０（６）からの重量の変化などのセンサデータ１３４は、商品６０４が追加されるか、又は在庫場所６１４から削除されるかのイベントの検出をトリガし得る。別の例では、トリガは、ユーザ６１６が在庫場所６１４に向かって手を伸ばす画像を含み得る。更に別の例では、そのトリガは、２人以上のユーザ６１６が互いの閾値距離内に近づくことを含み得る。

イベント判定コンポーネント１３０は、１つ以上の技術を使用して、センサデータ１３４を処理し得、その技術は、人工ニューラルネットワーク、分類子、決定木、サポートベクトルマシン、ベイズネットワークなどを含むが、これらに限定されない。例えば、イベント判定コンポーネント１３０は、決定木を使用して、センサデータ１３４に基づいて、「選択」イベント６２４の発生を判定し得る。イベント判定コンポーネント１３０は、センサデータ１３４を更に使用して、１つ以上の暫定結果７４８を判定し得る。この１つ以上の暫定結果７４８は、イベント６２４に関連付けられたデータを含む。例えば、イベント６２４がユーザ６１６の曖昧性除去を含む場合、暫定結果７４８は、可能性のあるユーザ６１６の個人情報のリストを含み得る。別の例では、イベント６２４が商品１０４間の曖昧性除去を含む場合、暫定結果７４８は、可能性のある商品識別子のリストを含み得る。いくつかの実施態様では、暫定結果７４８は、可能な作動を示し得る。例えば、その作動は、ユーザ６１６が商品６０４を選択し、置き、移動させ、商品６０４を傷つけ、ジェスチャ入力を提供することなどを含み得る。

いくつかの実施態様では、暫定結果７４８は、他のコンポーネントによって、生成され得る。例えば、イベント６２４に関与する、ユーザ６１６の１つ以上の可能な個人情報又は場所などの暫定結果７４８は、場所特定コンポーネント１２４によって生成され得る。別の例では、イベント６２４に関与した可能性があった商品６０４などの暫定結果７４８は、識別コンポーネント７３４によって生成され得る。

イベント判定コンポーネント１３０は、暫定結果７４８の判定に関連付けられた信頼レベル７４４を提供するように構成され得る。信頼レベル７４４は、暫定結果７４８の精度の予測レベルに関する印を提供する。例えば、低い信頼レベル７４４は、暫定結果７４８がイベント６２４の実際の環境に対応する低い確率を有することを示し得る。比較すると、高い信頼レベル７４４は、暫定結果７４８がイベント６２４の実際の環境に対応する高い確率を有することを示し得る。

いくつかの実施態様では、閾値を上回る信頼レベル７４４を有する暫定結果７４８は、十分に正確であると考えられ得、したがって、出力データ６２６として使用され得る。例えば、イベント判定コンポーネント１３０は、「選択」イベント６２４に対応する３つの可能性のある商品６０４（１）、６０４（２）、及び６０４（３）を示す暫定結果７４８を提供し得る。可能性のある商品６０４（１）、６０４（２）、及び６０４（３）に関連付けられた信頼レベル７４４は、それぞれ、２５％、７０％、９２％であり得る。この例を継続すると、閾値結果は、９０％の信頼レベル７４４が十分に正確であると考えられるように設定され得る。その結果、イベント判定コンポーネント１３０は、「選択」イベント６２４を、商品６０４（３）に関与するものとして指定し得る。

問い合わせコンポーネント７３８は、イベント６２４に関連付けられたセンサデータ１３４の少なくとも一部分を使用して、問い合わせデータ７５０を生成するように構成され得る。いくつかの実施態様では、問い合わせデータ７５０は、暫定結果７４８又は補足データ７５２のうちの１つ以上を含み得る。問い合わせコンポーネント７３８は、問い合わせデータ７５０を、１人以上の人間の関係者に関連付けられた１つ以上のデバイスに提供するように構成され得る。

関係者ユーザインターフェースは、関係者のそれぞれのデバイス上に提示される。関係者は、特定の暫定結果７４８を選択すること、新しい情報を入力すること、関係者が問い合わせに回答することができないことを示すことなどによって、応答データ７５４を生成し得る。

補足データ７５２は、イベント６２４に関連付けられた情報か、又はセンサデータ１３４を解釈するのに有効であり得る情報を含む。例えば、補足データ７５２は、商品６０４の以前格納された画像を含み得る。別の例では、補足データ７５２は、１つ以上の画像オーバーレイを含み得る。例えば、画像オーバーレイは、関心のある対象物の印を描写するオーバーレイなどのグラフィカルユーザインターフェース要素を含み得る。これらの印は、強調表示、文字枠、矢印などを含み得、それらは、関係者に提示している間、画像データ６２６の上に重ね合わせられるか、又は配置される。

問い合わせコンポーネント７３８は、１人以上の関係者によって提供された応答データ７５４を処理する。この処理は、応答データ７５４に関連付けられた１つ以上の統計結果を計算することを含み得る。例えば、統計結果は、関係者が特定の暫定結果７４８を選択した回数のカウント、特定の暫定結果７４８を選択した関係者のパーセンテージの判定などを含み得る。

問い合わせコンポーネント７３８は、応答データ７５４に少なくとも部分的に基づいて、出力データ６２６を生成するように構成される。例えば、関係者の大部分が、「選択」イベント６２４に関連付けられた商品６０４が商品６０４（５）であることを示す応答データ７５４を回答したことを考えると、出力データ６２６は、商品６０４（５）が選択されたことを示し得る。

問い合わせコンポーネント７３８は、特定の関係者に問い合わせを選択的に配布するように構成され得る。例えば、一部の関係者は、特定の種類の問い合わせに回答するのにより良好に適している可能性がある。関係者のパフォーマンスについての統計データなどのパフォーマンスデータは、関係者によって提供された応答データ７５４から、問い合わせコンポーネント７３８によって判定され得る。例えば、特定の関係者が、関係者の大部分に反対する応答データ７５４を選択した異なる問い合わせのパーセンテージを示す情報が、維持される場合がある。いくつかの実施態様では、以前に知られた正しい回答を有するテスト又は実践用問い合わせデータ７５０は、訓練又は品質保証の目的のために、関係者に提供され得る。関係者のセットが使用する判定は、パフォーマンスデータに少なくとも部分的に基づいている可能性がある。

問い合わせコンポーネント７３８を使用することによって、イベント判定コンポーネント１３０は、イベント６２４を正確に表す出力データ６２６に高い信頼性を提供することが可能であり得る。問い合わせコンポーネント７３８によって応答データ７５４から生成された出力データ６２６を再度使用して、在庫管理システム６２２によって使用される自動化システムを更に訓練し得る。例えば、センサデータ１３４及び出力データ６２６は、応答データ７５４に基づいて、プロセス改善の訓練のために、在庫管理システム６２２のコンポーネントのうちの１つ以上に提供され得る。この例を継続すると、この情報は、人工ニューラルネットワーク、ベイズネットワークなどに提供され得、これらのシステムを更に訓練し、その結果、同じ又は同様の入力について、将来生成される信頼レベル７４４及び暫定結果７４８が改善される。最後に、図７が例解するように、サーバ１１８は、他のデータ７５８を格納及び／又は利用し得る。

実施形態は、ソフトウェアプログラム又はコンピュータプログラム製品として提供され得、これらの製品には、コンピュータ（又は他の電子デバイス）をプログラムして、本明細書において説明されるプロセス又は方法を実行するために使用され得る命令（圧縮又は非圧縮形式で）をその上に格納した非一時的コンピュータ可読記憶媒体が含まれる。コンピュータ可読記憶媒体は、電子記憶媒体、磁気記憶媒体、光学記憶媒体、量子記憶媒体などのうちの１つ以上であり得る。例えば、このコンピュータ可読記憶媒体には、ハードドライブ、フロッピーディスク、光ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気若しくは光カード、半導体メモリデバイス、又は電子的命令を格納するために好適な他のタイプの物理媒体が含まれ得るが、これらに限定されない。更に、実施形態はまた、一時的機械可読信号（圧縮又は非圧縮形式で）を含むコンピュータプログラム製品として提供し得る。機械可読信号の例は、キャリアを使用して変調されるか、又は変調されないかにかかわらず、コンピュータプログラムをホスト又は実行するコンピュータシステム又はマシンがアクセスするように構成することができる信号を含み、この信号は、１つ以上のネットワークによって転送される信号を含むが、これに限定されない。例えば、一時的マシン可読信号は、インターネットによるソフトウェアの送信を含み得る。

これらのプログラムの別個の事例は、任意の数の別個のコンピュータシステム上で実行され得、又はそれらのコンピュータシステムを横断して配布され得る。したがって、特定のステップが、特定のデバイス、ソフトウェアプログラム、プロセス、又はエンティティによって実行されるものとして説明されているが、これは、そうである必要はなく、様々な代替的な実施態様が、当業者によって理解されるであろう。

更に、当業者は、上で説明される技術が、様々なデバイス、環境、及び状況において利用することができることを容易に認識する。本主題は、構造的特徴又は方法論的行為に特有の言語で説明されているが、添付の特許請求の範囲に定義された主題は、説明された具体的な特徴又は行為に必ずしも限定されるものではないことを理解されたい。逆に、具体的な特徴及び行為は、特許請求の範囲を実施する例示的な形式として開示されている。

前述の発明は、具体的な例に関して説明されているが、本発明の範囲がこれらの具体的な例に限定されないことを理解されたい。特定の動作要件及び環境に適合するように変更された他の修正及び変更は、当業者に明らかであるため、本発明は開示の目的で選択された実施例に限定されたとみなされず、本発明の真の概念及び範囲から逸脱しない全部の変更及び修正に及ぶ。

本開示の実施形態は、以下の条項を考慮して説明することができる。

１．システムであって、環境の画像データを生成するカメラと、環境内の商品に関連付けられたバーコードを示すスキャンデータを生成するスキャナと、１つ以上のコンピューティングデバイスと、を備え、１つ以上のコンピューティングデバイスは、１つ以上のプロセッサと、コンピュータ実行可能命令を格納する１つ以上のコンピュータ可読媒体と、を備え、コンピュータ実行可能命令は、実行されたときに、１つ以上のプロセッサに、スキャナがスキャンデータを生成したという指標を受信することと、スキャンデータを生成するスキャナに関連付けられた第１の時刻を判定することと、スキャナに関連付けられ、環境内にある、関心体積（ＶＯＩ）を判定することであって、ＶＯＩが画像データに表される、判定することと、画像データの第１のフレームを分析することであって、第１のフレームが、第１の時刻の後である第２の時刻に関連付けられている、分析することと、第１のフレームを分析することに少なくとも部分的に基づいて、ＶＯＩ内のユーザの空の手を識別することと、画像データの第２のフレームを分析することであって、第２のフレームが、第２の時刻の後である第３の時刻に関連付けられている、分析することと、第２のフレームを分析することに少なくとも部分的に基づいて、ＶＯＩ内のユーザの満たされた手を識別することと、スキャンデータから、商品に関連付けられた商品識別子を判定することと、商品の商品識別子を、ユーザの仮想カートに関連付けて格納することと、を含む行為を実施させる、システム。

２．画像データの第１のフレームを分析することが、第１のフレームに関連付けられた第１の特徴データを、訓練された分類子に入力することと、訓練された分類子の出力として、第１のフレームが手を含むかどうかを示す第１のスコアと、手が空であるか又は満たされているかを示す第２のスコアと、を受信することと、を含み、画像データの第２のフレームを分析することが、第２のフレームに関連付けられた第２の特徴データを、訓練された分類子に入力することと、訓練された分類子の出力として、第２のフレームが手を含むかどうかを示す第３のスコアと、手が空であるか又は満たされているかを示す第４のスコアと、を受信することと、を含む、条項１に記載のシステム。

３．１つ以上のコンピューティングデバイスは、１つ以上のプロセッサと、コンピュータ実行可能命令を格納する１つ以上のコンピュータ可読媒体と、を備え、コンピュータ実行可能命令は、実行されたときに、１つ以上のプロセッサに、環境内のセンサによって生成されたセンサデータを受信することであって、センサデータが、商品を識別する、受信することと、センサに関連付けられた環境の一部分を判定することと、環境内のカメラによって生成された画像データを受信することであって、画像データが、センサに関連付けられた環境の一部分を表す、受信することと、画像データを分析することと、分析することに少なくとも部分的に基づいて、画像データに表される手を識別することと、手に関連付けられたユーザ識別子を判定することと、ユーザ識別子に関連付けられた仮想カートデータを更新して、商品に関連付けられた商品識別子を示すことと、を含む行為を実施させる。

４．センサによって生成されたセンサデータを受信することが、商品に関連付けられた視覚的な印をスキャンしたスキャニングデバイスによって生成されたスキャンデータを受信することを含む、条項３に記載の１つ以上のコンピューティングデバイス。

５．１つ以上のコンピュータ可読媒体が、コンピュータ実行可能命令を更に格納し、コンピュータ実行可能命令が、実行されたときに、１つ以上のプロセッサに、センサがセンサデータを生成した第１の時刻を示すデータを受信することを含む行為を実施させ、分析することが、カメラによって生成された画像データを、第１の時刻の後、及び第１の時刻の閾値時間量内に分析することを含む、条項３に記載の１つ以上のコンピューティングデバイス。

６．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの少なくとも一部分を分析することを含む、条項３に記載の１つ以上のコンピューティングデバイス。

７．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの少なくとも一部分を分析することを含み、識別することが、手がＶＯＩに入った後に手を識別することを含む、条項３に記載の１つ以上のコンピューティングデバイス。

８．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの第１のフレームの少なくとも一部分を分析することと、ＶＯＩに対応する画像データの第２のフレームの少なくとも一部分を分析することと、を含み、識別することが、第１のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の空の手を識別することと、第２のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の満たされた手を識別することと、を含む、条項３に記載の１つ以上のコンピューティングデバイス。

９．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの第１のフレームの少なくとも一部分を分析することと、ＶＯＩに対応する画像データの第２のフレームの少なくとも一部分を分析することと、ＶＯＩに対応する画像データの第３のフレームの少なくとも一部分を分析することと、ＶＯＩに対応する画像データの第４のフレームの少なくとも一部分を分析することと、を含み、識別することが、第１のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の第１の場所で空の手を識別することと、第２のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の第２の場所で空の手を識別することと、第３のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の第３の場所で満たされた手を識別することと、第４のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の第４の場所で満たされた手を識別することと、を含み、１つ以上のコンピュータ可読媒体が、コンピュータ実行可能命令を更に格納し、コンピュータ実行可能命令が、実行されたときに、１つ以上のプロセッサに、第１の場所及び第２の場所に少なくとも部分的に基づいて、第１の方向ベクトルを判定することと、第３の場所及び第４の場所に少なくとも部分的に基づいて、第２の方向ベクトルを判定することと、を含む行為を実施させ、更新することが、第１の方向ベクトル及び第２の方向ベクトルに少なくとも部分的に基づいて、ユーザ識別子に関連付けられた仮想カートデータを更新することを含む、条項３に記載の１つ以上のコンピューティングデバイス。

１０．分析することが、画像データの第１のフレームを使用してセグメンテーションマップを生成することであって、セグメンテーションマップが、ユーザの手に対応する第１のフレームの第１の画素のセットを少なくとも識別する、生成することと、ユーザの手に対応する第１のフレームの第１の画素のセットを示す第１のデータを、訓練された分類子に入力することと、を含み、識別することが、訓練された分類子の出力として、手が商品を受け取ったことを示す第２のデータを受信することを含む、条項３に記載の１つ以上のコンピューティングデバイス。

１１．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの少なくとも一部分を分析することを含み、識別することが、ＶＯＩ内の手を識別することを含み、１つ以上のコンピュータ可読媒体が、コンピュータ実行可能命令を更に格納し、コンピュータ実行可能命令が、実行されたときに、１つ以上のプロセッサに、ＶＯＩ内の商品を識別することを含む行為を実施させる、条項３に記載の１つ以上のコンピューティングデバイス。

１２．方法は、環境内のセンサによって生成されたセンサデータを受信することであって、センサデータが、商品を識別する、受信することと、センサに関連付けられた環境の一部分を判定することと、環境内のカメラによって生成された画像データを受信することであって、画像データが、センサに関連付けられた環境の一部分を表す、受信することと、画像データを分析することと、分析することに少なくとも部分的に基づいて、画像データに表される手を識別することと、手に関連付けられたユーザ識別子を判定することと、ユーザ識別子に関連付けられた仮想カートデータを更新して、商品に関連付けられた商品識別子を示すことと、を含む。

１３．センサによって生成されたセンサデータを受信することが、商品に関連付けられた視覚的な印をスキャンしたスキャニングデバイスによって生成されたスキャンデータを受信することを含む、条項１２に記載の方法。

１４．センサがセンサデータを生成した第１の時刻を示すデータを受信することを更に含み、分析することが、カメラによって生成された画像データを、第１の時刻の後、及び第１の時刻の閾値時間量内に分析することを含む、条項１２に記載の方法。

１５．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの少なくとも一部分を分析することを含む、条項１２に記載の方法。

１６．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの少なくとも一部分を分析することを含み、識別することが、手がＶＯＩに入った後に手を識別することを含む、条項１２に記載の方法。

１７．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの第１のフレームの少なくとも一部分を分析することと、ＶＯＩに対応する画像データの第２のフレームの少なくとも一部分を分析することと、を含み、識別することが、第１のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の空の手を識別することと、第２のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の満たされた手を識別することと、を含む、条項１２に記載の方法。

１８．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの第１のフレームの少なくとも一部分を分析することと、ＶＯＩに対応する画像データの第２のフレームの少なくとも一部分を分析することと、ＶＯＩに対応する画像データの第３のフレームの少なくとも一部分を分析することと、ＶＯＩに対応する画像データの第４のフレームの少なくとも一部分を分析することと、を含み、識別することが、第１のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の第１の場所で空の手を識別することと、第２のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の第２の場所で空の手を識別することと、第３のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の第３の場所で満たされた手を識別することと、第４のフレームの少なくとも一部分を分析することに少なくとも部分的に基づいて、ＶＯＩ内の第４の場所で満たされた手を識別することと、を含み、１つ以上のコンピュータ可読媒体が、コンピュータ実行可能命令を更に格納し、コンピュータ実行可能命令が、実行されたときに、１つ以上のプロセッサに、第１の場所及び第２の場所に少なくとも部分的に基づいて、第１の方向ベクトルを判定することと、第３の場所及び第４の場所に少なくとも部分的に基づいて、第２の方向ベクトルを判定することと、を含む行為を実施させ、更新することが、第１の方向ベクトル及び第２の方向ベクトルに少なくとも部分的に基づいて、ユーザ識別子に関連付けられた仮想カートデータを更新することを含む、条項１２に記載の方法。

１９．分析することが、分析することを含み、分析することが、画像データの第１のフレームを使用してセグメンテーションマップを生成することであって、セグメンテーションマップが、ユーザの手に対応する第１のフレームの第１の画素のセットを少なくとも識別する、生成することと、ユーザの手に対応する第１のフレームの第１の画素のセットを示す第１のデータを、訓練された分類子に入力することと、を含み、識別することが、訓練された分類子の出力として、手が商品を受け取ったことを示す第２のデータを受信することを含む、条項１２に記載の方法。

２０．一部分を判定することが、センサに対する環境内の関心体積（ＶＯＩ）を判定することを含み、分析することが、ＶＯＩに対応する画像データの少なくとも一部分を分析することを含み、識別することが、ＶＯＩ内の手を識別することを含み、１つ以上のコンピュータ可読媒体が、コンピュータ実行可能命令を更に格納し、コンピュータ実行可能命令が、実行されたときに、１つ以上のプロセッサに、ＶＯＩ内の商品を識別することを含む行為を実施させる、条項１２に記載の方法。
?

Claims (15)

1. １つ以上のコンピューティングデバイスであって、
   １つ以上のプロセッサと、
   コンピュータ実行可能命令を格納する１つ以上のコンピュータ可読媒体と、を備え、前記コンピュータ実行可能命令が、実行されたときに、前記１つ以上のプロセッサに、
   環境内のセンサによって生成されたセンサデータを受信することであって、前記センサデータが、商品を識別する、受信することと、
   前記センサに関連付けられた前記環境の一部分を判定することと、
   前記環境内のカメラによって生成された画像データを受信することであって、前記画像データが、前記センサに関連付けられた前記環境の前記一部分を表す、受信することと、
   前記画像データを分析することと、
   前記分析することに少なくとも部分的に基づいて、前記画像データに表される手を識別することと、
   前記手に関連付けられたユーザ識別子を判定することと、
   前記ユーザ識別子に関連付けられた仮想カートデータを更新して、前記商品に関連付けられた商品識別子を示すことと、を含む行為を実施させる、１つ以上のコンピューティングデバイス。
2. 前記センサによって生成された前記センサデータを前記受信することが、前記商品に関連付けられた視覚的な印をスキャンしたスキャニングデバイスによって生成されたスキャンデータを受信することを含む、請求項１に記載の１つ以上のコンピューティングデバイス。
3. 前記１つ以上のコンピュータ可読媒体が、コンピュータ実行可能命令を更に格納し、前記コンピュータ実行可能命令が、実行されたときに、前記１つ以上のプロセッサに、前記センサが前記センサデータを生成した第１の時刻を示すデータを受信することを含む行為を実施させ、前記分析することが、前記カメラによって生成された画像データを、前記第１の時刻の後、及び前記第１の時刻の閾値時間量内に分析することを含む、請求項１に記載の１つ以上のコンピューティングデバイス。
4. 前記一部分を前記判定することが、前記センサに対する前記環境内の関心体積（ＶＯＩ）を判定することを含み、
   前記分析することが、前記ＶＯＩに対応する前記画像データの少なくとも一部分を分析することを含む、請求項１に記載の１つ以上のコンピューティングデバイス。
5. 前記一部分を前記判定することが、前記センサに対する前記環境内の関心体積（ＶＯＩ）を判定することを含み、
   前記分析することが、前記ＶＯＩに対応する前記画像データの少なくとも一部分を分析することを含み、
   前記識別することが、前記手が前記ＶＯＩに入った後に前記手を識別することを含む、請求項１に記載の１つ以上のコンピューティングデバイス。
6. 前記一部分を前記判定することが、前記センサに対する前記環境内の関心体積（ＶＯＩ）を判定することを含み、
   前記分析することが、
   前記ＶＯＩに対応する前記画像データの第１のフレームの少なくとも一部分を分析することと、
   前記ＶＯＩに対応する前記画像データの第２のフレームの少なくとも一部分を分析することと、を含み、
   前記識別することが、
   前記第１のフレームの前記少なくとも前記一部分を前記分析することに少なくとも部分的に基づいて、前記ＶＯＩ内の空の手を識別することと、
   前記第２のフレームの前記少なくとも前記一部分を前記分析することに少なくとも部分的に基づいて、前記ＶＯＩ内の満たされた手を識別することと、を含む、請求項１に記載の１つ以上のコンピューティングデバイス。
7. 前記一部分を前記判定することが、前記センサに対する前記環境内の関心体積（ＶＯＩ）を判定することを含み、
   前記分析することが、
   前記ＶＯＩに対応する前記画像データの前記第１のフレームの少なくとも一部分を分析することと、
   前記ＶＯＩに対応する前記画像データの第２のフレームの少なくとも一部分を分析することと、
   前記ＶＯＩに対応する前記画像データの第３のフレームの少なくとも一部分を分析することと、
   前記ＶＯＩに対応する前記画像データの第４のフレームの少なくとも一部分を分析することと、を含み、
   前記識別することが、
   前記第１のフレームの前記少なくとも前記一部分を前記分析することに少なくとも部分的に基づいて、前記ＶＯＩ内の第１の場所で空の手を識別することと、
   前記第２のフレームの前記少なくとも前記一部分を前記分析することに少なくとも部分的に基づいて、前記ＶＯＩ内の第２の場所で空の手を識別することと、
   前記第３のフレームの前記少なくとも前記一部分を前記分析することに少なくとも部分的に基づいて、前記ＶＯＩ内の第３の場所で満たされた手を識別することと、
   前記第４のフレームの前記少なくとも前記一部分を前記分析することに少なくとも部分的に基づいて、前記ＶＯＩ内の第４の場所で満たされた手を識別することと、を含み、
   前記１つ以上のコンピュータ可読媒体が、コンピュータ実行可能命令を更に格納し、前記コンピュータ実行可能命令が、実行されたときに、前記１つ以上のプロセッサに、
   前記第１の場所及び前記第２の場所に少なくとも部分的に基づいて、第１の方向ベクトルを判定することと、
   前記第３の場所及び前記第４の場所に少なくとも部分的に基づいて、第２の方向ベクトルを判定することと、を含む行為を実施させ、
   前記更新することが、前記第１の方向ベクトル及び前記第２の方向ベクトルに少なくとも部分的に基づいて、前記ユーザ識別子に関連付けられた前記仮想カートデータを更新することを含む、請求項１に記載の１つ以上のコンピューティングデバイス。
8. 前記分析することが、
   前記画像データの第１のフレームを使用してセグメンテーションマップを生成することであって、前記セグメンテーションマップが、前記ユーザの手に対応する前記第１のフレームの第１の画素のセットを少なくとも識別する、生成することと、
   前記ユーザの前記手に対応する前記第１のフレームの前記第１の画素のセットを示す第１のデータを、訓練された分類子に入力することと、を含み、
   前記識別することが、前記訓練された分類子の出力として、前記手が前記商品を受け取ったことを示す第２のデータを受信することを含む、請求項１に記載の１つ以上のコンピューティングデバイス。
9. 前記一部分を前記判定することが、前記センサに対する前記環境内の関心体積（ＶＯＩ）を判定することを含み、
   前記分析することが、前記ＶＯＩに対応する前記画像データの少なくとも一部分を分析することを含み、
   前記識別することが、前記ＶＯＩ内の前記手を識別することを含み、
   前記１つ以上のコンピュータ可読媒体が、コンピュータ実行可能命令を更に格納し、前記コンピュータ実行可能命令が、実行されたときに、前記１つ以上のプロセッサに、前記ＶＯＩ内の前記商品を識別することを含む行為を実施させる、請求項１に記載の１つ以上のコンピューティングデバイス。
10. 方法であって、
    環境内のセンサによって生成されたセンサデータを受信することであって、前記センサデータが、商品を識別する、受信することと、
    前記センサに関連付けられた前記環境の一部分を判定することと、
    前記環境内のカメラによって生成された画像データを受信することであって、前記画像データが、前記センサに関連付けられた前記環境の前記一部分を表す、受信することと、
    前記画像データを分析することと、
    前記分析することに少なくとも部分的に基づいて、前記画像データに表される手を識別することと、
    前記手に関連付けられたユーザ識別子を判定することと、
    前記ユーザ識別子に関連付けられた仮想カートデータを更新して、前記商品に関連付けられた商品識別子を示すことと、を含む、方法。
11. 前記センサによって生成された前記センサデータを前記受信することが、前記商品に関連付けられた視覚的な印をスキャンしたスキャニングデバイスによって生成されたスキャンデータを受信することを含む、請求項１０に記載の方法。
12. 前記センサが前記センサデータを生成した第１の時刻を示すデータを受信することを更に含み、前記分析することが、前記カメラによって生成された画像データを、前記第１の時刻の後、及び前記第１の時刻の閾値時間量内に分析することを含む、請求項１０に記載の方法。
13. 前記一部分を前記判定することが、前記センサに対する前記環境内の関心体積（ＶＯＩ）を判定することを含み、
    前記分析することが、前記ＶＯＩに対応する前記画像データの少なくとも一部分を分析することを含む、請求項１０に記載の方法。
14. 前記一部分を前記判定することが、前記センサに対する前記環境内の関心体積（ＶＯＩ）を判定することを含み、
    前記分析することが、前記ＶＯＩに対応する前記画像データの少なくとも一部分を分析することを含み、
    前記識別することが、前記手が前記ＶＯＩに入った後に前記手を識別することを含む、請求項１０に記載の方法。
15. 前記一部分を前記判定することが、前記センサに対する前記環境内の関心体積（ＶＯＩ）を判定することを含み、
    前記分析することが、
    前記ＶＯＩに対応する前記画像データの第１のフレームの少なくとも一部分を分析することと、
    前記ＶＯＩに対応する前記画像データの第２のフレームの少なくとも一部分を分析することと、を含み、
    前記識別することが、
    前記第１のフレームの前記少なくとも前記一部分を前記分析することに少なくとも部分的に基づいて、前記ＶＯＩ内の空の手を識別することと、
    前記第２のフレームの前記少なくとも前記一部分を前記分析することに少なくとも部分的に基づいて、前記ＶＯＩ内の満たされた手を識別することと、を含む、請求項１０に記載の方法。