JP7130069B2 - ユーザの間のグループ関連付けを判定するシステム - Google Patents

ユーザの間のグループ関連付けを判定するシステム Download PDF

Info

Publication number
JP7130069B2
JP7130069B2 JP2020571765A JP2020571765A JP7130069B2 JP 7130069 B2 JP7130069 B2 JP 7130069B2 JP 2020571765 A JP2020571765 A JP 2020571765A JP 2020571765 A JP2020571765 A JP 2020571765A JP 7130069 B2 JP7130069 B2 JP 7130069B2
Authority
JP
Japan
Prior art keywords
user
determining
data
facility
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020571765A
Other languages
English (en)
Other versions
JP2021530029A (ja
Inventor
ベンジャミン チャールズ スカボロー
ガレス ユジヴァロジー
ヴィノド ムタイア
マクスウェル アーロン コーマン
マザ サルヴァドール ベドレディン メディナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of JP2021530029A publication Critical patent/JP2021530029A/ja
Application granted granted Critical
Publication of JP7130069B2 publication Critical patent/JP7130069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0833Tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Description

店舗、図書館、病院、及びオフィスなどの施設は、施設内の相互に関連付けられたユーザを識別する能力を必要とすることがある。
添付図面を参照して、詳細な説明が説明される。図面では、参照符号の最も左の桁(複数可)は、参照符号が最初に表れる図を識別する。異なる図における同一の参照符号の使用は、同様または同一の項目または特徴を示す。図面は必ずしも、同一縮尺で描かれず、いくつかの図では、特定の態様の理解を促進するために、比率または他の態様が誇張される場合がある。
いくつかの実装態様に従った、施設におけるユーザがグループの一部であるかどうかを判定するシステムを示す。 いくつかの実装態様に従った、ゲートにおいて提供される走査ジェスチャを示す。 いくつかの実装態様に従った、ゲートを通過するユーザ及びそれらのそれぞれのグループ関連付けを示す。 いくつかの実装態様に従った、ユーザの入場及び退出、並びに相互に近くにあること、及び1人のユーザから別のユーザに物体を渡すことなどのいくつかの行動を示す。 いくつかの実装態様に従った、グループ化を示していることができるユーザ行動のシナリオを示す。 いくつかの実装態様に従った、様々なグループ化条件、及びユーザがグループのメンバであるかどうかを示す、セッションに対する総セッションスコアを判定するために使用することができる値の表を示す。 いくつかの実装態様に従った、第1のユーザが第2のユーザと関連付けられることを判定する処理のフローチャートを示す。 いくつかの実装態様に従った、第1のユーザが第2のユーザと関連付けられることを判定する別の処理のフローチャートを示す。 いくつかの実装態様に従った、第1のユーザが第2のユーザと関連付けられることを判定する更なる別のフローチャートを示す。 いくつかの実装態様に従った、システムを使用した材料取扱施設(facility)を示すブロック図である。 いくつかの実装態様に従った、施設の追加の詳細を示すブロック図である。 いくつかの実装態様に従った、施設の運営をサポートするサーバのブロック図である。
実装態様が例として本明細書で説明されるが、当業者は、実装態様が説明される実施例または図面に限定されないことを認識するであろう。図面及びそれらに対する詳細な説明は、実装態様を開示される特定の形式に限定することを意図しておらず、それどころか、発明は、添付の請求項によって定義されるような精神及び範囲に収まる全ての修正、同等物、及び代替物を網羅することになることが理解されるべきである。本明細書で使用される見出しは、構成のみを目的としており、説明及び請求項の範囲を限定するために使用されることを意味しない。本出願の全体を通じて使用されるように、用語「できる(may)」は、必須という意味ではなく(すなわち、必要であることを意味する)、許容的な意味(すなわち、~する見込みを有することを意味する)において使用される。同様に、用語「含む(include)」、「含む(including)」、及び「含む(includes)」は、限定しないが、~を含むことを意味する。
施設は、施設に入場するユーザに関する情報を維持してもよい。この情報は、施設に入場するユーザが権限を有するユーザまたは権限を有しないユーザであるかどうかを判定し、ユーザによって取られた相互作用を特定のアカウントと関連付けるなどのために使用されてもよい。権限を有するユーザは、施設または関連するシステムに支払アカウントを以前にセットアップしたユーザを含んでもよい。比較すると、権限を有しないユーザは、施設または関連するシステムに有効な支払アカウントを有さないユーザを含んでもよい。権限を有するユーザは、施設にそれらと共に誰かを連れて行くことがある。例えば、権限を有するユーザは、材料取扱施設に友人、同僚、及び子供などを連れて行くことがある。権限を有するユーザ及びゲストユーザは、相互に関連付けられることがあり、グループを形成する。グループメンバのアクションは、権限を有するユーザのアカウントに貢献することがあり、またはアカウントと関連付けられることがある。実施例を続けると権限を有するユーザの友人は、アイテムを選定することがあり、権限を有するユーザのアカウントがそのアイテムに対して料金を請求されることをもたらす。
グループのメンバを判定する1つの技術は、入場の間の「1回の走査、1回のユーザの入場」手順を厳密に施行することである。この技術は、権限を有するユーザが子供を連れているとき、または1人のユーザが別のユーザの「後を追い」もしくは「先にいる」ときなどの様々な状況においてグループのメンバシップを適切に判定することができないことがある。1人以上の追加の人がゲートを通じて権限を有するユーザに続くときに後を追うことが発生する。それらの後を追う者は、それらが続いた権限を有するユーザと関連付けられてもよく、または関連付けられなくてもよい。1人以上の追加の人がゲートを通じて権限を有するユーザに先行するときに先にいることが発生する。それらの先にいる者は、それらが先行した権限を有するユーザと関連付けられてもよく、または関連付けられなくてもよい。
本開示において説明されるのは、施設の2人以上のユーザがグループとして相互に関連付けられるかどうかを示すグループデータを判定するために使用することができる様々な技術及びシステムである。入場の間、ユーザは、入場位置におけるゲートを通過することができる。ゲートは、ゲートが開放したときを示すゲートデータ、ゲートが開放していた間にゲートを通ったと判定された人の総数を示すデータ、及びゲートにおいて提示された識別データなどを提供することができる。例えば、ゲートは、カメラを有するスキャナを含んでもよく、識別データは、ユーザの掌の画像、機械可読コードを提示するスマートフォンの画像、及び認証カードの画像などを含んでもよい。システムは、ユーザの入場前に識別データが有効であるかどうか、及び識別データが認証されているかどうかを考えてもよく、または考えなくてもよい。例えば、期限が経過した識別データまたは不正確な識別データを有するユーザは、施設に入場することがなおも許可されることがある。
施設におけるカメラは、画像データを取得してもよい。例えば、カメラは、入場ゲートの画像を取得してもよい。この画像データは、ユーザが走査ジェスチャを行ったかどうかを判定するよう処理されてもよい。例えば、走査ジェスチャは、スキャナに向かって、スキャナの上を、及びスキャナから離れる腕の移動を含んでもよい。画像データはまた、入場ゲートを通じて入場したユーザの総数などの他の情報を判定するために使用されてもよい。
施設の運営の間、独力で参列しているそれらのユーザは典型的には、各々の人が識別データと関連付けられ、識別データの1回の走査及び人の1回の入場をもたらすように、ゲートにおいてそれらの識別データを提示することが予測されることがある。ゲストを伴う権限を有するユーザは、ゲートを通過する各々のゲストに対してそれらの識別データを1回提示することがあり、人の入場ごとに1回の走査を生じさせる。
入場異常は、「1回の走査、1回の入場」条件が遵守されないときに発生することがある。入場異常は、ゲートデータ及び画像データなどに少なくとも部分的に基づいて検出されてもよい。例えば、画像データは、1人のユーザが走査ジェスチャを行わなかったことを示すことができる。別の実施例では、ゲートデータ及び画像データは、権限を有するユーザ及び別のユーザが相互の短い閾値の時間量内にゲートを通過したことを示すことができる。別の実施例では、ゲートにおいて提示された識別データの総数は、ゲートデータまたは画像データのうちの1つ以上によってゲートにおいて検出された人の総数とは異なってもよい。更なる別の実施例では、それらの入場を示すデータなしに画像データによって判定されるような施設内のユーザの存在は、入場異常と見なされてもよい。
入場位置にありまたは入場位置の近くにあり、及び他に施設内にいる個々のユーザの位置を示すユーザ位置データは、カメラからの画像データを使用して判定される。各々のユーザは、ユーザ識別子が割り当てられてもよい。ユーザ識別子は、その時間における施設内の1人のユーザを別のユーザから区別し、明確な一意なアイデンティティを必ずしも示さない。例えば、ユーザ識別子は、それらが表すユーザの実際のアイデンティティに関わらず、順次的な順序において割り当てられたシリアル番号であってもよい。
ユーザに関する他のデータは、画像データまたは他のセンサから取得されたデータに基づいて判定されてもよい。例えば、カメラは、ユーザの測定された身長を判定するために使用することができる深度データを提供することができる。
入場異常が判定されるとき、誰が入場異常の時間及び位置に存在するかに関わらず、初期の判定が行われる。例えば、入場異常は、第1の時間に第1の入場位置において判定されてもよい。ユーザ位置データは、第1のユーザ及び第2のユーザが第1の時間に第1の入場位置にいると判定されることを示すことができる。第1のユーザは、第1のユーザ識別子が割り当てられてもよく、第2のユーザは、第2のユーザ識別子が割り当てられてもよい。
第1のユーザ識別子が第2のユーザ識別子と関連付けられるかどうかを示すグループデータが生成されてもよい。この判定は、ゲートデータ、画像データ、ジェスチャデータ、ユーザ位置データ、身長データ、ユーザ行動データ、及び履歴データなどのうちの1つ以上と比較されるようなグループ化を示唆する1つ以上の条件を評価することに基づいてもよい。1つの実装態様では、利用可能なデータに基づいて、ユーザが独力であるかどうか、またはユーザがグループのメンバであるかどうかを示すスコアが各々のユーザ識別子に対して計算されてもよい。例えば、識別データの提示は、スコアを減少させることができると共に、識別データを提示することができないことは、スコアを増大させることができる。
グループデータも、ユーザ行動に関する情報に基づいてもよい。例えば、第1のユーザ及び第2のユーザが施設内にいる間に相互に近くにいるままである場合、それらは、グループを含んでもよい。別の実施例では、第1のユーザ及び第2のユーザが約同一の時間に、及び同一の退出位置の近くで施設を退出した場合、これは、それらのユーザがグループを含むことを示すことができる。
グループデータが判定されると、施設内の他の相互作用は、適切なアカウントに貢献することができる。例えば、権限を有するユーザ及びそれらのゲストが施設を通じて移動するにつれて、ゲストがアイテムを選定し、それらが施設を離れるとき、権限を有するユーザと関連付けられたアカウントは、アイテムに対して料金を請求されてもよい。
本開示において説明される技術及びシステムは、著しい技術的な改善を提供する。「1回の走査、1人の人」に対する厳密な遵守を必要とした前のシステムと比較して、本明細書で説明されるシステムは、人間の介入なしに、自動化システムが動的に変化する環境内でユーザのグループを効率的且つ正確に識別することを可能にする。これは、所与の時間量内に入口を通過することができるユーザの数を著しく増大させ、より少ない入場位置の使用を可能にし、またはより多くのユーザが施設を使用することを可能にするかのいずれかである。加えて、施設を管理することに関与する他のシステムは、少なくとも1つのアカウントを施設内の各々のユーザと関連付けさせることによって、データ品質及び操作における著しい改善を実現する。また、本明細書で説明される技術及びシステムは、システムに必ずしも登録されることなく、権限を有するユーザのゲストが施設に入場することを可能にすると共に、更に、妨害なしに権限を有するユーザに通常は与えられた機能性の少なくとも相当の部分を提供する。例えば、権限を有するユーザは、施設にゲストを連れて行くことがある。施設にいる間、ゲストは、入場を鈍化させ、またはそうでなければ入場を妨げることがある、いずれかの特別なステップに対する必要性なしに、権限を有するユーザに与えられた許可に依存する施設を使用することができる。比較すると、従来の技術は、セキュリティデスクにおいて一時的な信用証明書を受け取ることを停止することなど、特別な入場工程を使用して、ユーザ及びそれらのゲストを関与させていたことがある。
例示的なシステム
図1は、いくつかの実装態様に従った、施設102におけるユーザ118がグループの一部であるかどうかを判定するシステム100を示す。施設102は、1つ以上の入場位置104及び1つ以上の退出位置106などの1つ以上のポータルを含んでもよい。各々の入場位置104及び退出位置106は、1つ以上のゲート108を含んでもよい。
いくつかの実装態様では、ゲート108は、ユーザの移動を制御する可動境界を含んでもよい。例えば、ゲート108は、ユーザの通過を妨げるよう閉鎖することができ、またはユーザの通過を許可するよう開放することができるコンピュータ制御パネルを含んでもよい。ゲート108は、スキャナ110または他のセンサのうちの1つ以上を含んでもよい。例えば、スキャナ110は、ゲート108の1つの側面上の台座または操作卓に置かれてもよく、上方に向けられる視角を有するカメラを含んでもよい。
施設102は、カメラ112を含んでもよい。それらのカメラ112のいくつかは、在庫位置114に向かって向けられたそれらのそれぞれの視角を有してもよい。在庫位置114は、プラットフォーム、ラック、ケース、キャビネット、ビン、フロア位置、またはアイテム116を保持し、支持し、もしくは保管するための他の適切な保管機構のうちの1つ以上を含んでもよい。
使用の間、ユーザ118は、入場位置104においてゲート108に近づくことがあり、識別データを提供するために使用される何かをスキャナ110に提示することがある。例えば、識別データが生体情報に基づいている場合、スキャナ110は、ユーザ118の手またはその一部の画像を取得してもよい。別の実施例では、識別データは、ユーザ118がスキャナ110に提示するスマートフォンのディスプレイ上で提示された機械可読コードから取得されてもよい。更なる別の実施例では、識別データは、ユーザ118がスキャナ110に提示する事前に印刷されたカードから取得されてもよい。他の実装態様では、スキャナ110は、無線周波数周波数識別(RFID)リーダ及びBluetooth送受信機などを含んでもよい。
ユーザ118は、人間、ロボット、またはその両方を含んでもよい。例えば、ユーザ118は、施設102に行くことがあり、それらを支援するためにロボットを連れて行くことがある。
ユーザ118は、入場位置104を使用し、ゲート108(1)を通過して施設102に入る。施設102内にいる間、ユーザ118は、カート120を利用することができる。ユーザ118は、施設102の周りを移動することがあり、それらの移動は、この例示においてユーザ経路122によって示される。ユーザ118は、在庫位置114からアイテム116を選定することがあり、カート120にそれらを配置することがあり、または在庫位置114にアイテム116を戻すことがある。最終的に、ユーザ118は、それらの訪問を終え、退出位置106においてゲート108(2)を通過することによって施設102を離れる。いくつかの実装態様では、単一のゲート108は、同時に入場位置104及び退出位置106の両方として動作してもよい。例えば、ユーザ118は、ゲート108(1)を通じて入場及び退出することができる。他の実装態様では、ゲート108は、或る時間に入場位置104として動作してもよく、別の時間に退出位置106として動作してもよい。例えば、ピーク時間の間に、より多くのゲート108(1)が、より多くのユーザ118が入場することを可能にする入場位置104として指定されてもよい。ユーザ118は、同一または異なるゲート108を使用して、施設102を入場及び退出することができる。例えば、ここで表されるように、ユーザ118(1)は、ゲート108(2)を通じて入場することができ、ゲート108(2)を通じて退出することができる。
この例示では、4人のユーザ118(1)~(4)が表される。例示のために、及び必ずしも限定としてではなく、ユーザ118(1)は一人であり、ユーザ118(2)はゲストとしてのユーザ118(3)を伴う権限を有するユーザであり、ユーザ118(4)は一人である。1つ以上のサーバ124は、以下で説明される様々な動作を実行してもよい。
ゲートデータモジュール126は、ゲート108の操作と関連付けられたデータを受信してもよい。ゲートデータモジュール126は、境界状態130、ゲートセンサデータ132、または識別データ134のうちの1つ以上を含むことができるゲートデータ128を生成する。境界状態130は、特定の時間にゲート108における可動境界が開放または閉鎖しているかどうかを示すデータを含んでもよい。ゲートセンサデータ132は、可動境界に対する近接センサ、光学センサ、及びトルクセンサなど、ゲート108におけるセンサからのデータを含んでもよい。例えば、ゲートセンサデータ132は、ゲート108における物体の存在を示す、近接センサによって取得されたデータを含んでもよい。別の実施例では、トルクセンサからのデータに基づいて、ゲートセンサデータ132は、閉鎖を試みている間に可動境界が障害物に直面したことを示すことができる。ゲートデータ128は、ユーザ118が施設102に入場したときを示すことができる。
ゲート108におけるスキャナ110、またはそうでなければ入場位置104におけるスキャナ110は、識別データ134を生成する。例えば、スキャナ110がカメラ112を含む場合、識別データ134は、手の少なくとも一部、電子デバイスのディスプレイ、及び事前に印刷されたカードを表す画像データを含んでもよい。別の実施例では、スキャナ110が近接場通信(NFC)リーダを含む場合、識別データ134は、ユーザ118によって提示されたNFCタグから取得された情報を含んでもよい。
施設102内で、1つ以上のカメラ112は、入場位置104の少なくとも一部を含む視角を有してもよく、画像データ136を生成してもよい。例えば、カメラ112は、頭上から、及び傾いた角度において画像を取得するよう配列されてもよい。画像データ136は、施設102の全体を通じて他の位置から取得されてもよい。いくつかの実装態様では、カメラ112は、施設102の外側の周りに配列されてもよい。例えば、カメラ112は、それらが駐車場内などの入場位置104に近づくにつれて、ユーザ118の画像データ136を取得するよう配列されてもよい。いくつかの実装態様では、画像データ136は、施設102へのユーザ118の入場時間を判定するために使用されてもよい。
ジェスチャ分析モジュール138は、走査ジェスチャデータ140を判定するよう画像データ136にアクセスしてもよい。例えば、スキャナ110の上にあるカメラ112から取得された画像データ136は、ゲート108にいる間にユーザ118の手の経路を判定するよう処理及び使用されてもよい。走査ジェスチャは、スキャナ110からの識別データ134の生成などを示す、ユーザ118によって行われた1つ以上の移動または一連の移動を有する、スキャナ110に対して特定の時間における手または物体の存在を含んでもよい。例えば、走査ジェスチャは、特定の時間におけるスキャナ110の上にあるユーザの手の存在を含んでもよい。別の実施例では、走査ジェスチャは、ユーザ118が、スキャナ110の上でスマートフォンを渡す経路に沿ってスマートフォンを移動させることを含んでもよい。更なる別の実施例では、走査ジェスチャは、ユーザ118が、スキャナ110の上でそれらの手を移動させることを含んでもよい。走査ジェスチャに関与する特定の動きは、使用されるスキャナ110のタイプに少なくとも部分的に基づいてもよい。例えば、スキャナ110が後続の生体分析に対してユーザ118の手の少なくとも一部の画像を取得している場合、走査ジェスチャは、スキャナ110の上で短い中断または最小の量の休止時間を有する、スキャナ110に向かう全体的な移動と、それに続いてスキャナ110から離れる手の移動を含んでもよい。ジェスチャ分析モジュール138は、画像データ136が走査ジェスチャを表すか否かを判定するために、1つ以上の人工ニューラルネットワーク、分類器、または他の技術を利用してもよい。いくつかの実装態様では、走査ジェスチャデータ140は、走査ジェスチャが特定の時間に行われたかどうかを示すデータを含んでもよい。
ユーザ位置モジュール142は、動作の間に画像データ136または他のセンサからのデータのうちの1つ以上を使用してもよい。ユーザ位置モジュール142は、施設102内の各々のユーザ118にユーザ識別子144を割り当ててもよく、特定の時間での施設102内の位置を示すユーザ位置データ146を生成してもよい。例えば、ユーザ位置モジュール142は、ユーザ118であると判定された画像に存在する物体の位置を判定するよう、既知の位置及び既知の視角においてカメラ112によって取得された画像データ136を処理してもよい。他の実装態様では、ユーザ位置データ146を判定するための他の技術が使用されてもよい。
ユーザ位置モジュール142または別のモジュールは、ユーザ識別子144を各々のユーザ118と関連付けてもよい。ユーザ識別子144は、その時間での施設102内の1人のユーザ118を別のユーザ118から区別し、明確な一意なアイデンティティを必ずしも示さない。例えば、ユーザ識別子144は、それらが表すユーザ118の実際のアイデンティティに関わらず、順次的な順序において割り当てられたシリアル番号であってもよい。いくつかの実装態様では、ゲート108において提示された識別データ134は、特定のユーザ118を認証し、肯定的に識別するために使用されてもよい。例えば、スキャナ110が生体認証を実行するようユーザ118の手の少なくとも一部の画像を取得する場合、そのユーザ118にその後割り当てられたユーザ識別子144は、その特定のアイデンティティと関連付けられてもよい。
いくつかの実装態様では、ユーザ位置モジュール142または別のモジュールは、ユーザ118の身長データ148を判定してもよい。例えば、画像データ136は、それらがゲート108を通過し、またはそうでなければ施設102内にあるときのユーザ118の身長を判定するよう処理されてもよい。いくつかの実装態様では、カメラ112は、カメラ112とカメラ112の視角内の物体との間の距離を示す情報を提供することが可能な深度チャネルを含んでもよい。例えば、カメラ112は、画像、及び画像内の画素についての深度情報または距離情報を提供することが可能な、構造化照明システム、タイムオブフライトシステム、及び符号化開口を含み、またはそれらと関連付けられた距離カメラを含んでもよい。この情報に基づいて、ユーザ118の身長データ148が取得されてもよい。他の実装態様では、他の技術が使用されてもよい。例えば、ゲート108は、カーテンのうちの1つ以上のビームの遮断がゲート108を通過する物体の最大高さに関する情報を提供するように、垂直に配列された光学カーテンを含んでもよい。身長データ148は、特定のユーザ識別子144と関連付けられてもよい。
入場異常モジュール150は、入場位置104と関連付けられたデータが、1つ以上の条件の予め定められたセットと不一致でありまたは範囲外であるときを判定する。1つの実装態様では、入場異常は、「1回の走査、1人の人の1回の入場」条件が遵守されないときに行われると判定されてもよい。入場異常は、ゲートデータ128、または画像データ136もしくは他のセンサデータに基づいたデータのうちの1つ以上に基づいて判定されてもよい。入場異常は、以下のうちの1つ以上を含んでもよい。走査ジェスチャデータ140が、ゲート108におけるユーザ118が走査ジェスチャを行わなかったことを示すことができること。ユーザ118が、ゲート108を通過したが、使用可能な識別データ134が生成されなかったこと。2人のユーザ118が、相互の閾値時間内に同一のゲート108を通過し、その閾値時間が別個のユーザの典型的な通過に対して短すぎると考えられること。ゲート108が閉鎖されていたことを境界状態130が示す間にユーザ118が施設102に入場したこと。ゲートセンサデータ132が、後を追うことの起こり得る発生を示すこと。境界状態130が、ゲート108が閾値時間量よりも長い間開放していたことを示すこと。特定の時間にゲート108において提示された識別データ134の総数が、ゲート108において検出されたユーザ118の数の総数とは異なること。ユーザ118が、ゲート108へのそれらの通過を示すデータなしに、施設102の内部に存在すると理解されること。最小閾値身長を下回るユーザ118が、ゲート108を通過していることがあること。他の入場異常も判定されてもよい。
ユーザ行動モジュール152は、施設102内の2人以上のユーザ118の間の相互作用を示すユーザ行動データ154を生成する。ユーザ行動モジュール152は、動作の間に画像データ136及びユーザ位置データ146などのデータを使用してもよい。例えば、ユーザ行動モジュール152は、画像データ136を処理し、ユーザ118が、在庫位置114からアイテム116を選定し、または在庫位置114にアイテム116を配置しているかどうか、単一のカート120にアイテム116を配置し、または単一のカート120からアイテム116を取り出しているかどうか、及び相互間で物体を通しているかどうかなどを示す情報を生成する別のモジュールからデータを受信してもよい。実施例を続けると、ユーザ行動データ154は、ユーザ118(1)が、ユーザ118(2)にアイテム116などの物体を手渡していることを示すことができる。別の実施例では、ユーザ行動データ154は、2人のユーザ118が相互の閾値距離内にあること、及びその近接性した持続期間を示すことができる。更なる別の実施例では、ユーザ行動データ154は、1人のユーザ118(1)が閾値距離内にあり、別のユーザ118(2)と対面している回数の総数を示すことができる。
退出位置106は、ゲート108及びカメラ112などのうちの1つ以上を含んでもよい。ユーザ118が施設102を離れるにつれて、追加のゲートデータ128、画像データ136、または他のセンサデータが取得されてもよい。ユーザ118が施設102を離れたと見なされるときを示すこのデータは、ユーザ118の退出時間を判定するために使用されてもよい。例えば、ゲートデータ128は、ユーザ118が通ることを可能にするようゲート108が開放された時間を示すことができ、ゲート識別子は、その特定のゲート108を示す。
グループ分析モジュール156は、グループデータ160を判定するために、上記モジュールのうちの1つ以上からのデータを使用してもよく、いくつかの実装態様では、履歴データ158を使用してもよい。グループデータ160は、1つのユーザ識別子144が別のユーザ識別子144と関連付けられているかどうかを示すことができ、ユーザ118と関連付けられたアカウントを指定することができる、などの情報を含む。例えば、グループ分析モジュール156は、ユーザ118(3)がユーザ118(2)のアカウントと関連付けられることを示すグループデータ160を判定してもよい。別の実施例では、グループ分析モジュール156は、ユーザ118(2)及び118(3)が相互に関連付けられるグループデータ160を判定してもよい。いくつかの実装態様では、グループ分析モジュール156は、継続的にグループデータ160を判定してもよい。他の実装態様では、グループ分析モジュール156は、入場異常モジュール150が入場異常の発生を判定したことに応答して、グループデータ160を生成してもよい。
グループ分析モジュール156は、第1の時間での第1のゲート108における入場異常を示すデータを受信してもよい。ユーザ118(2)及びユーザ118(3)が第1の時間の閾値時間内に第1のゲート108に存在することの判定が行われてもよい。例えば、ゲートデータ128またはユーザ位置データ146のうちの1つ以上に基づいて、グループ分析モジュール156は、第1のユーザ118(2)及び第2のユーザ118(3)が同一の2秒間隔内にゲート108(1)にいると判定してもよい。実施例を続けると、データは、ユーザ118(1)及び118(4)が同一の2秒間隔内にゲート108に存在しなかったことを示す。
ゲートデータ128は、ユーザ118(1)、118(2)、及び118(4)がゲート108(1)において識別データ134を提示したことを示すことができる。上記説明されたように、ユーザ位置モジュール142は、ユーザ118(1)~(4)にそれぞれ、ユーザ識別子144(1)~(4)を割り当ててもよい。この実施例では、識別データ134は、ユーザ118(3)によって提供されていない。ユーザ118の各々と関連付けられた入場時間も判定されてもよい。例えば、入場時間は、ゲートセンサデータ132及び画像データ136などに基づいてもよい。
グループ分析モジュール156は、入場異常と関連付けられたユーザ118が、グループの一部として施設102に入場しているかどうか、または独力であるかどうかを判定することを試みる。この判定は、施設102に入場するそれらのユーザ118をグループに区分化することを伴ってもよい。例えば、識別データ134を提示し、先行するユーザ118及び後続のユーザ118から閾値時間も大きく分離されたユーザ118は、独力で、または「単独で」施設102に入場していると見なされてもよい。しかしながら、関連する識別データ134なしに入場するユーザ118は、グループに属するとして少なくとも一時的に指定されてもよい。
初期の区分化は、異なる識別データ134の順次的な提示または後続の提示に少なくとも部分的に基づいてもよい。例えば、2人を区分化すると見なされてもよく、同一のグループのメンバでないと見なされてもよい、ユーザ118(1)及び118(2)は、異なる識別データ134を提供する。別の実施例では、ユーザ118(10)~118(30)の各々が直前または直後のユーザ118とは異なる識別データ134を提示する場合、グループ分析モジュール156は、単独のユーザ118であり、グループのメンバでないとしてそれらを判定してもよい。
初期の区分化は、閾値を上回る入場時間における差に少なくとも部分的に基づいてもよい。例えば、10分よりも長く離れて入場するユーザ118は、明確に関連付けられない限り、単独であると見なされてもよい。そのような明確な関連付けは、後のユーザ118が、なおも施設102内にいる前のユーザ118と関連付けられた識別データ134を提示することであってもよい。
初期の区分化は、グループデータ160を判定するよう処理されるデータの量を削減するために、グループ分析モジュール156によって使用されてもよい。例えば、初期の区分化は、初期の区分内にそれらユーザ118を含む、取り得るグループまたは候補グループを判定するために使用されてもよい。例えば、ユーザ118(2)、118(3)、及び118(4)は、候補グループの一部であってもよい。グループ分析モジュール156は、ユーザ118(4)が単独で施設102を実際に使用している間、ユーザ118(3)がユーザ118(2)と関連付けられることを示すグループデータ160を更に判定するために、本明細書で説明されるような追加のデータを使用してもよい。
セッションは、ユーザ118が施設102にいる時間を含む。例えば、セッションは、施設102へのそのユーザ118の訪問の入場時間から退出時間まで延長してもよい。訪問の間、グループ分析モジュール156は、ユーザ118が独力であり、またはグループの一部である可能性があるかどうかを示すセッションスコアを生成してもよい。スコアがもしかするとグループのメンバであることを示す場合、グループ分析モジュール156は、どのユーザ識別子144が関連付けられ、またはどのアカウントが特定のユーザ118と関連付けられるかを判定することに進んでもよい。例えば、ユーザ118(3)が識別データ134なしに入場し、走査ジェスチャデータ140が、走査ジェスチャが行われないことを示し、ユーザ118(3)が別のユーザ118の閾値時間内に入場した場合、セッションスコアが高いことがあり、取り得るグループメンバシップを示す。ユーザ行動データ154などの更なる情報は、スコアを増大または減少させることができる。セッションスコアは、図6に関して以下で更に詳細に議論される。
グループ分析モジュール156は、グループデータ160を判定するために、ユーザ118の退出において取得されたゲートデータ128及びユーザ行動データ154などの他の情報を使用してもよい。例えば、ゲートデータ128が、相互の閾値時間内に入場したユーザ118(2)及び118(3)に対する入場異常を示し、次いで、それらのユーザが相互の閾値時間内に施設102を離れたことを示す場合、グループ分析モジュール156は、ユーザ118(3)がユーザ118(2)と関連付けられることを示すグループデータ160を判定してもよい。別の実施例では、2人のユーザ118(2)及び118(3)が、施設102内にいる間に相互に近くにいたままであり、単一のカート120にアイテム116を配置したことなどを示すユーザ行動データ154も、グループデータ160を判定するために使用されてもよい。
いくつかの実装態様では、履歴データ158は、グループ分析モジュール156によって使用されてもよい。例えば、ユーザ118が肯定的に識別される場合、これが予測された行動であるかどうかを判定するために、これらの前の使用がアクセス及び使用されてもよい。実施例を続けると、ユーザ118(2)は、ユーザ118(2)を「Alice Nelson」として肯定的に識別する識別データ134を提供する。Aliceの直後に入場したユーザ118(3)は、走査ジェスチャを行っておらず、ユーザ118(3)の通過により識別データ134が取得されていない。この入場異常は、ユーザ118(3)がグループのメンバであるとして評価されることをもたらすことができるが、ユーザ118(3)がユーザ118(2)(Alice)またはユーザ118(4)と関連付けられているかどうかについての判定が行われる必要がある。履歴データ158は、ユーザ118(2)「Alice」が、この日時及び曜日の間に施設102にゲストを連れて行くことの0.7の確率を有し、ユーザ118(4)が、ゲストを連れて行くことの0.1の確率を有することを示す。いくつかの実装態様では、履歴データ158は、特定のアカウントが施設内のゲストを有することと関連付けられることを示してもよい。例えば、履歴データ158は、ユーザ118(2)と関連付けられたアカウントが、施設102にゲストを連れて行くことの0.7の確率を有することを示すことができる。この情報に少なくとも部分的に基づいて、グループ分析モジュール156は、ユーザ118(3)がユーザ118(2)と関連付けられ、ユーザ118(4)とは関連付けられないことを判定してもよい。
グループ分析モジュール156は、入場の時間にグループデータ160を判定することに限定されない。グループ分析モジュール156は、入場異常を有し、またはそうでなければ有効なユーザアカウントと関連付けられていないそれらのユーザ118の全体セッションに対してデータを評価してもよい。結果として、グループデータ160は、施設102からの1人以上のユーザ118の退出後に判定されてもよい。この後の時間の結び付けは、料金請求モジュールなどの後続の処理が、アイテム116との相互作用に対する課金を特定のユーザアカウントに更に正確に関連付けることを可能にする。グループデータ160は、信頼値を示すデータを含んでもよい。例えば、高い信頼値は、2人以上のユーザ118が相互に関連付けられる強い尤度を示すことができる。実施例を続けると、ユーザ118(2)及び118(3)のセッションの間に取得されたデータに基づいたグループデータ160が、閾値よりも大きい信頼値によりそれらが相互に関連付けられることを示す場合、2人のユーザ118は、単一のグループのメンバとして関連付けられてもよい。結果として、Aliceのゲスト、ユーザ118(2)が在庫位置114からアイテム116を選定し、施設102からそれを取り除く場合、Aliceのアカウントは、アイテム116のコストに対して料金を請求される。
いくつかの実装態様では、入場異常の判定は、他のアクションを呼び起こすことがある。例えば、いくつかの入場異常は、ユーザ118を支援し、施設102及びグループメンバシップなどを使用するそれらの状態を判定するよう人間のオペレータに命令することをもたらすことができる。別の実施例では、入場異常と関連付けられ、料金を請求する目的で有効なユーザアカウントと関連付けられていないユーザ118は、閾値を上回るアイテム116を選定することがある。結果として、そのユーザ118が退出位置106を通じて施設102を離れるよう移動するにつれて、人間の関連付けは、この事項を解決するために退出ゲート108に仕向けられてもよい。別の実装態様では、ユーザ118は、退出する前に識別データ134または支払のいくつかの手段を提示することを求められることがある。
いくつかの実装態様では、グループデータ160は、人間または他のシステムによる確認に依存することがある。例えば、閾値信頼レベルを上回るグループデータ160に基づいて、それらが特定の日時に施設102にゲストを連れて行ったかどうかを確認するメッセージがユーザ118(2)に送信されてもよい。確認されると、ユーザ118(2)及び118(3)と関連付けられたグループデータ160は、肯定されてもよく、料金請求または他の目的のためにその後使用されてもよい。
1人以上のユーザ118から取得された情報も、グループデータ160を生成するために使用されてもよい。例えば、ユーザ118は、それらが施設102に連れて行くゲストの数、またはそれらが施設102に連れて行ったゲストの数を入力するために、それらのスマートフォン上のアプリケーションを使用してもよい。この情報に少なくとも部分的に基づいて、グループ分析モジュール156は、グループデータ160を生成してもよい。
施設管理モジュール162は、施設102の運営と関連付けられた様々な機能を提供することができる。施設管理モジュール162は、アイテム116の在庫レベルに関する情報を維持してもよく、アイテム116を再蓄積するときを判定してもよく、再蓄積するようロボットに命令してもよく、アイテム116の選定または配置など、ユーザ118による相互作用に対してユーザアカウントに料金を請求してもよい、などである。例えば、施設管理モジュール162は、ユーザ118(3)が在庫位置114(7)からアイテム116(1)を選定したことを判定するために、画像データ136などのセンサデータを使用してもよい。グループデータ160に基づいて、施設管理モジュール162は、ユーザ118(3)によって選定されたアイテム116(1)に対してユーザ118(2)のアカウントに料金を請求してもよい。
図2は、いくつかの実装態様に従った、ユーザ118がゲート108において走査ジェスチャを行うシナリオ200を示す。上記説明されたように、ゲート108は、1つ以上の可動境界204との通路202を提供することができる。1つ以上の可動境界204を開放することによって、ゲート108は、ユーザ118が通路202を通じて進むことを可能にすることができる。1つ以上の可動境界204を閉鎖することによって、ゲート108は、ユーザ118が通路202を通じて進むことを防止することができる。
1つ以上の可動境界204は、1つ以上の台座206によって支持されてもよい。例えば、左側台座206は、通路202の左側端を形成すると共に、右側台座206は、通路202の右側端を形成する。ゲート108は、1つ以上のスキャナ110を含んでもよい。この例示では、スキャナ110は、右側台座206内に位置する。予測されたジェスチャ領域208が指定される。予測されたジェスチャ領域208は、スキャナ110に近接した領域を規定する。予測されたジェスチャ領域208は、画像内のエリア、またはその中で走査ジェスチャが行われると予測される三次元空間内の容積を含んでもよい。例えば、表される予測されたジェスチャ領域208は、スキャナ110及び可動境界204の前の右側台座206の一部を含む、矩形エリアを含む。
ジェスチャ分析モジュール138は、ユーザ118の手210が走査ジェスチャを行っているかどうかを判定するために、1つ以上のセンサからのデータを使用してもよい。センサは、頭上に据え付けられた1つ以上のカメラ112、及びカメラ112またはスキャナ110内の他のセンサなどを含んでもよい。例えば、複数の画像は、1つ以上のカメラ112を使用して取得されてもよい。それらの画像は、画像内で表されるような手の存在、及び手の動きを判定するよう処理されてもよい。
ここで表されるシナリオでは、ユーザ118は、t=1にゲート108に近づき、それらの右手210を移動させることを開始し、それらがスキャナ110の上でそれらの手210を通す準備ができるにつれて、予測されたジェスチャ領域208の第1の末端に入る。時間t=2に、右手210がスキャナ110の上にあると共に、時間t=3に、手が予測されたジェスチャ領域208の第2の末端を出るよう進む。
走査ジェスチャビュー212は、予測されたジェスチャ領域208内のユーザ118の手210の移動を示す走査ジェスチャ軌道214を表す。走査ジェスチャ軌道214は、走査が行われたと見なされるかどうかを示す走査ジェスチャデータ140を判定する1つ以上の技術を使用して処理されてもよい。1つの実装態様では、予測されたジェスチャ領域208内のいずれかの動きは、走査ジェスチャであると見なされてもよい。別の実装態様では、予測されたジェスチャ領域208の画像データ136は、連続した時間にユーザの手210の位置を判定するよう処理されてもよく、それは、観察されたような走査ジェスチャ軌道214が走査ジェスチャである可能性があるかどうかを判定するよう、ニューラルネットワークによって処理されてもよい。
上記説明されたように、入場異常モジュール150は、走査ジェスチャデータ140に少なくとも部分的に基づいて、入場異常の発生を判定してもよい。例えば、識別データ134は、第1の時間にスキャナ110によって受信されるが、走査ジェスチャデータ140がその時間での走査を示さない場合、入場異常モジュール150は、入場異常が発生したことを判定してもよい。
図3は、いくつかの実装態様に従った、ユーザ118がゲート108を通過しているシナリオ300、及びそれらのそれぞれのグループ関連付けを示す。ここで、グループ所属は、例示を目的に示される。上記説明されたように、いくつかの状況では、グループデータ160は、1人以上のユーザ118が施設102を退出した後までに判定されなくてもよい。
この例示では、ゲート108を通じたユーザ302の移動は、左から右へとして表される。ユーザ118は、ゲート108を通過するために列を作る。閾値身長304が指定される。上記説明されたように、1つ以上のカメラ112などのセンサは、ユーザ118の身長データ148を判定してもよい。身長データ148が、ユーザ118が閾値身長304を下回る身長を有することを示す場合、これは、以下で説明されるように、グループメンバシップを判定するために使用される因子となることがある。
ユーザ118(1)は、ゲート108を通過しており、単独306(1)のユーザ118として指定される。ユーザ118(2)及び118(3)は、グループ308である。ユーザ118(4)は、単独306(2)のユーザ118である。ユーザ118(1)、118(2)、及び118(4)は、閾値身長304よりも高い。ユーザ118(3)の身長は、閾値身長304を下回る。
図4は、いくつかの実装態様に従った、ユーザ118の入場及び退出、並びに相互に近くにいること、及び1人のユーザから別のユーザに物体を渡すことなどのいくつかの行動を示すグラフ400である。このグラフでは、左から右に増大する時間が水平軸に沿って示される。ユーザ118(1)~(4)と関連付けられた情報は、垂直軸に沿って異なる位置においてそれぞれ表される。
各々のユーザ118の入場404及び退出406が示される。ここで表されるように、ユーザ118(1)は、t=2に入場し、t=32に退出する。ユーザ118(2)は、t=7に入場し、t=32に退出する。ユーザ118(3)は、t=8に入場し、t=17に退出し、t=20に再入場し、t=31に退出する。ユーザ118(4)は、t=8に入場し、t=25に退出する。入場閾値時間408が表される。例えば、ここで示される入場閾値時間408は、2つの時間単位に等しい。2つの時間単位の退出閾値時間410も示される。グループ分析モジュール156は、2回以上の入場404が入場閾値時間408の間に発生したかどうかを判定してもよい。2回の入場404が入場閾値時間408内に発生する場合、それらの入場404と関連付けられたユーザ118は、グループメンバである見込みがあってもよい。グループ分析モジュール156は、2回以上の退出406が退出閾値時間410の間に発生したかどうかを判定してもよい。2回の退出406が退出閾値時間410内に発生する場合、それらの退出406と関連付けられたユーザ118は、グループメンバである見込みがあってもよい。
上記説明されたように、ユーザ行動モジュール152は、ユーザ行動データ154を判定してもよい。この例示では、ユーザ118が相互の閾値距離412内にあることが追加の一致印を使用して示される。例えば、ユーザ118(1)及び118(3)は、t=9からt=12に相互の閾値距離内にある。ユーザ118(1)は、t=17からt=19にユーザ118(4)への閾値距離内にある。ユーザ118(2)及び118(3)は、t=8からt=15に、及びt=21からt=30に閾値距離内にある。
ユーザ行動モジュール152は、1人のユーザ118から別のユーザ118に物体が渡されることなどの行動を判定してもよい。例えば、ここで414において示されるように、ユーザ118(2)は、t=25にユーザ118(3)に物体を渡す。1つの実装態様では、画像データ136は、この判定を行うよう処理されてもよい。物体は、アイテム116を含んでもよく、またはそれは、ユーザ118が施設102に持ってきており、またはそうでなければ取得した財布、おもちゃ、及び帽子などのいくつかの他の物体を含んでもよい。416において示されるのは、ユーザ118(2)が、t=22nにトート120(1)に物体を配置すること、及びユーザ118(3)が、t=25に同一のトート120(1)に物体を配置することである。物体は、アイテム116、またはユーザ118の個人所有物を含んでもよい。
グループ分析モジュール156は、2人以上のユーザ118が共通グループ308のメンバであるかどうかを判定するために、ユーザ行動データ154及びゲートデータ128などの他の情報を使用してもよい。例えば、2人のユーザ118が相互の閾値距離412内にある時間が閾値を上回る場合、それらが共通グループ308内で関連付けられる尤度が増大することがある。同様に、ユーザ118が別のユーザ118に物体を渡す場合、これは、ユーザ118が関連付けられる尤度が増大することを示すことがある。それらの行動を評価することによって、グループ分析モジュール156は、2人以上のユーザ118が相互に関連付けられることを示すグループデータ160を生成してもよい。
図5は、いくつかの実装態様に従った、グループ化を示すことができるユーザ行動のシナリオ500を示す。行動は、少なくとも部分的にユーザ行動モジュール152によって判定されてもよく、ユーザ行動データ154において示されてもよい。
502において、ユーザ118(2)及び118(3)が相互の閾値距離412内にあることの判定が行われる。例えば、ユーザ行動モジュール152は、ユーザ118の位置が相互の閾値距離412内にあることを判定するために、ユーザ位置モジュール142によって提供されるユーザ位置データ146を使用してもよい。
504において、ユーザ118(2)は、物体506を保持している。例えば、ユーザ118(2)は、近くの在庫位置114からアイテム116を選定していることがある。
508において、ユーザ118(2)及びユーザ118(3)は、閾値角度内で相互に対面していると判定される。例えば、ユーザ118の頭の全方位は、相互に向かっていることがある。いくつかの実装態様では、1人のユーザ118が別のユーザに対面しているかどうかについての判定は、それらの肩、足、及び手などのうちの1つ以上の位置に少なくとも部分的に基づいてもよい。
510において、ユーザ118(2)は、ユーザ118(3)に物体506を渡したと判定される。例えば、ユーザ118(3)はここで、ユーザ118(2)によって元から選定されたアイテム116を保持していることがある。
図6は、いくつかの実装態様に従った、様々なグループ化条件、及びユーザ118がグループ308のメンバであるかどうかを示すセッションに対する総セッションスコアを判定するために使用することができる値の表600を示す。表が示されるが、他の実装態様では、条件および結果として生じる値は、少なくとも部分的に、実行可能コード、スクリプト、または情報を記憶するための他のデータ構造を使用して表されてもよい。一実装形態では、グループ分析モジュール156は、総セッションスコアを生成することができる。
上記説明されたように、セッションは、ユーザ118が施設102にいる時間を含む。例えば、セッションは、施設102へのユーザ118の訪問の入場時間から退出時間まで延長してもよい。表されるのは、ユーザ118が別のユーザ118と関連付けられてもよいかどうかを判定するために、グループ分析モジュール156によって使用することができるグループ化条件602である。各々の条件は、発生するごとになど、特定の値604と関連付けられてもよい。セッションの間のグループ化条件602の発生606の総数が維持されてもよい。他の実装態様では、総持続期間などの他のメトリックが使用されてもよい。セッションスコア608は、値604の積及び発生606の総数としてグループ化条件602に対して判定されてもよい。セッションスコア608は、総セッションスコア610を生成するよう合計されてもよい。
この例示では、総セッションスコア610が高くなるにつれて、ユーザ118が別のユーザ118と関連付けられる尤度が高くなる。同様に、総セッションスコア610が低くなるにつれて、ユーザ118がグループ308の一部である尤度が低くなる。この例示では、ユーザ118(3)と関連付けられたスコアが示される。例えば、ユーザ118(3)は、走査ジェスチャを行っておらず、識別データ134は、このユーザ118(3)と関連付けられず、ユーザ118(3)は、閾値身長304を下回り、7個の物体506の合計は、ユーザ118(3)と別のユーザ118(2)との間で渡されている。実施例を続けると、ユーザ118(3)は、別のユーザ118(2)の入場閾値時間408内に入場しており、他のユーザ118(2)の退出閾値時間410内に退出している。結果として、この例示における総セッションスコア610は、320である。70の閾値を上回る総セッションスコア610は、グループ308のメンバと見なされてもよいと共に、閾値未満のスコアは、単独のユーザ306を示すことができる。
示されるグループ化条件602のセットは、必ずしも限定としてではなく、例示として提供される。ユーザ118がグループ308のメンバである尤度を判定するために、追加のグループ化条件602が使用されてもよく、またはグループ化条件602のサブセットが使用されてもよいことが理解されよう。いくつかの実装態様では、入場異常モジュール150の動作及び入場異常の判定が省略されてもよい。例えば、グループ化条件602は、ユーザ118に対する総セッションスコア610を判定するために使用されてもよい。1つ以上の閾値との総セッションスコア610の比較に基づいて、グループ分析モジュール156は、グループデータ160を生成してもよい。
別の実装態様では、グループ化条件602のサブセットは、入場スコアを判定するために使用されてもよい。例えば、入場位置104における活動と関連付けられたそれらのグループ化条件602は、入場スコアを生成するために使用されてもよい。例えば、入場位置104と関連付けられたグループ化条件602は、人が第1の入場時間にゲート108に存在すること、可動境界204が第1の入場時間に開放していたかどうか、走査ジェスチャが行われたかどうか、及び識別データ134が取得されたかどうかなどを含んでもよい。入場スコアが閾値を上回る場合、システムは、それらがグループ308のメンバであるかどうかを判定するようユーザ118を評価することを続けてもよく、そうである場合、誰が関連付けられているかを評価することを続けてもよい。
上記説明されたように、ユーザ118が誰と関連付けられるかの判定は、他のユーザ118とのデータの対応関係、ユーザ行動データ154とのデータの対応関係、及び履歴データ158とのデータの対応関係などのうちの1つ以上に基づいてもよい。例えば、グループ化は、それぞれ入場閾値時間408及び退出閾値時間410内に発生する入場404の時間及び退出406の時間に基づいて判定されてもよい。しかしながら、潜在的なグループメンバシップの間で明確にするために、追加の情報が使用されてもよい。上記説明されたように、物体506を渡すことまたは共通カート120を使用することなどのユーザ行動データ154は、2人以上のユーザ118が関連付けられることの強いインジケータとなることがある。
図7は、いくつかの実装態様に従った、第1のユーザ118が第2のユーザ118と関連付けられることを判定する処理のフローチャート700を示す。処理は、少なくとも部分的に、本明細書で説明されるシステム100によって実装されてもよい。
702において、第1のユーザ118の第1の入場時間は、第1の入場位置104において判定される。例えば、第1のユーザ118は、第1の入場位置104における第1のゲート108に存在することがある。第1の入場時間は、ゲートデータ128及び画像データ136などのうちの1つ以上に基づいて判定されてもよい。例えば、第1の入場時間は、ユーザ118が可動境界204などの特定の閾値を通ったときの時間であってもよい。
704において、第1の入場位置104に第1のユーザ118によって提示された第1の識別データ134が判定されてもよい。例えば、スキャナ110は、画像データ136を生成する第1のカメラ112を含んでもよい。画像データ136は、第1のゲート108においてユーザ118によって提示された識別データ134の画像を含んでもよい。実施例を続けると、識別データ134は、手210の少なくとも一部、電子デバイスのディスプレイ、及び事前に印刷されたカードなどを表す画像データ136を含んでもよい。別の実施例では、スキャナ110が近接場通信(NFC)リーダを含む場合、識別データ134は、第1のユーザ118によって提示されたNFCタグから取得された情報を含んでもよい。
706において、第1の識別データ134と関連付けられた第1のアカウントが判定される。例えば、第1の識別データ134は、特定の名前またはアカウント番号と関連付けられるなど、第1のユーザ118の肯定的なアイデンティティを判定するために使用されてもよい。
708において、第1のユーザ識別子144は、第1のユーザ118に対して判定される。例えば、第1のユーザ識別子144は、ユーザ位置モジュール142によって割り当てられてもよい。いくつかの実装態様では、第1のユーザ識別子144は、第1の識別データ134を使用して判定された第1のアカウントと関連付けられてもよい。
710において、施設102への第2のユーザ118の第2の入場時間は、第1の入場位置104において判定される。第2の入場時間は、ゲートデータ128及び画像データ136などのうちの1つ以上に基づいて判定されてもよい。例えば、第2の入場時間は、ユーザ118が、ゲート108における可動境界204の閾値を通ったときの時間であってもよい。また、第2のユーザ118が識別データ134を提示しなかったことを判定されてもよい。例えば、識別データ134は、入場の第2の時間に第1のゲート108において受信されなくてもよい。
712において、第1の入場時間と第2の入場時間との間の第1の差は、第1の閾値未満であると判定される。例えば、第1のユーザ118及び第2のユーザ118は、入場閾値時間408内に入場している。
714において、第1のユーザ118及び第2のユーザ118が相互に対話したとの判定が行われる。例えば、ユーザ行動データ154は、物体506が第1のユーザ118から第2のユーザ118に渡されたこと、またはユーザが少なくとも第1の持続期間の間に相互の閾値距離412内にあったことを示すことができる。
716において、施設102からの第1のユーザ118の第1の退出時間は、第1の退出位置106において判定される。
718において、施設102からの第2のユーザ118の第2の退出時間は、第1の退出位置106において判定される。例えば、退出時間は、退出位置106の視角を有する1つ以上のカメラ112によって、または退出位置106におけるゲート108(2)内のセンサなどの他のセンサによって取得された画像データ136に基づいてもよい。いくつかの実装態様では、1つ以上のゲート108は、同一の時間または異なる時間のいずれかに、入場位置104及び退出位置106として動作してもよい。ユーザ118は、入場位置104として動作する1つのゲート108(1)において入場することがあり、退出位置106として動作する別のゲート108(2)を介して退出することがある。
720において、第1の退出時間と第2の退出時間との間の第2の差は、第2の閾値未満であると判定される。例えば、第1のユーザ118及び第2のユーザ118は、退出閾値時間410内に施設102を退出していることがある。
722において、第2のユーザ118は、第1のアカウントと関連付けられる。例えば、第2のユーザ118のユーザ識別子144は、第1のユーザ118と関連付けられた第1のアカウントと関連付けられてもよい。例えば、グループデータ160は、第1のユーザ118と第2のユーザ118との間の関連付け、及び第2のユーザ118と第1のアカウントとの間の関連付けなどを示すことができる。
上記技術が2人のユーザ118に関して説明されたが、技術は、いずれかの数のユーザ118のグループ308に拡張されてもよい。例えば、第1のユーザ118、第2のユーザ118、及び第3のユーザ118は、グループ308にあってもよい。
図8は、いくつかの実装態様に従った、第1のユーザ118が第2のユーザ118と関連付けられることを判定する別の処理のフローチャート800を示す。処理は、少なくとも部分的に、本明細書で説明されるシステム100によって実装されてもよい。
802において、施設102への入場異常は、第1の時間に第1の入場位置104において判定される。例えば、入場異常モジュール150は、入場異常を判定するために、ゲートデータ128、走査ジェスチャデータ140、ユーザ位置データ146、及び身長データ148などのうちの1つ以上を使用してもよい。1つの実装態様では、入場異常は、施設102に入場する人の数と、ゲート108によって取得されまたは取得されない識別データ134との間で不一致が存在するときに判定されてもよい。
入場異常は、以下のうちの1つ以上に基づいて判定されてもよい。走査ジェスチャデータ140が、ゲート108を通過するユーザ118が走査ジェスチャを行わなかったことを示すことができること。2人以上のユーザ118が、相互の閾値時間内に第1の入場位置104を通過することができること。第1の時間に第1の入場位置104において提示された識別データ134の総数が、第1の入場位置104において検出された人の数の総数とは異なることがあること。ユーザ118が、ユーザ118が入場位置104を通過したことを示すデータなしに施設102の内部で判定されてもよいこと。入場位置104におけるゲート108が閉鎖していた間に施設102に入場したユーザ118。他の実装態様では、他の異常が判定されてもよい。
804において、第1の時間の閾値時間内の第1の入場位置104における2人以上のユーザ118の存在が判定されてもよい。例えば、第1のユーザ118及び第2のユーザ118は、入場閾値時間408内に第1のゲート108において判定されてもよい。
806において、第1の入場位置104において第1のユーザ118によって提示されるような第1の識別データ134が判定されてもよい。識別データ134は、電子デバイスによって提示された機械可読コード、電子デバイスによって送信されたデータ、及び第1のユーザ118の手210の少なくとも一部の1つ以上の特徴などのうちの1つ以上を示すことができる。例えば、ゲート108のスキャナ110は、ユーザ118の生体認証に対して使用する第1のユーザの手210の少なくとも一部の画像データ136を取得してもよい。いくつかの実装態様では、識別データ134の検証および証明は、施設102への入場404に対して必須ではなくてもよい。例えば、ユーザ118は、それらのアカウントがもはやアクティブでないと考えられる場合でさえ、施設に入場することがある。この実施例を続けると、人間のオペレータは、この権限を有しないユーザ118を支援するよう仕向けられてもよい。
808において、第1の識別データ134と関連付けられた第1のアカウントが判定される。例えば、第1の識別データ134は、特定の名前またはアカウント番号と関連付けられるなど、第1のユーザ118の肯定的なアイデンティティを判定するために使用されてもよい。
810において、第1のユーザ識別子144は、第1のユーザ118に対して判定される。例えば、第1のユーザ識別子144は、ユーザ位置モジュール142によって割り当てられてもよい。別の実装態様では、第1のユーザ識別子144は、識別データ134と関連付けられたアイデンティティもしくはアカウントに基づいてもよく、または識別データ134と関連付けられたアイデンティティもしくはアカウントと関連付けられてもよい。
812において、第2のユーザ識別子144は、第2のユーザ118に対して判定される。実施例を続けると、第2のユーザ識別子144は、ユーザ位置モジュール142によって、第2のユーザ118に割り当てられてもよい。
814において、第2のユーザ識別子144は、第1のアカウントまたは第1のユーザ識別子144のうちの1つ以上と関連付けられる。例えば、ゲートデータ128、走査ジェスチャデータ140、ユーザ位置データ146、身長データ148、ユーザ行動データ154、または履歴データ158のうちの1つ以上に基づいて、それらのユーザ118の間の関連付けを示し、または第2のユーザ118もしくは第2のユーザ識別子144を第1のアカウントと関連付けるグループデータ160が生成されてもよい。
1つの実装態様では、関連付けは、ユーザ118の入場時間及び退出時間に少なくとも部分的に基づいてもよい。第1の入場位置104における施設102への第1のユーザ118の第1の入場時間が判定されてもよい。第1の入場位置104における施設102への第2のユーザ118の第2の入場時間が判定されてもよい。第1の入場時間と第2の入場時間との間の第1の差は、第1の閾値未満であると判定されてもよい。第1の退出位置106における施設102からの第1のユーザ118の第1の退出時間が判定されてもよい。第1の退出位置106における施設102からの第2のユーザ118の第2の退出時間が判定されてもよい。第1の退出時間と第2の退出時間との間の第2の差は、第2の閾値未満であると判定されてもよい。
入場時間及び退出時間は、特定の閾値と比較されてもよい。2人以上のユーザ118が最大時間量未満であるが、或る最小間隔により入場する場合、これは、それらの間の関連付けを示すことができる。第1の入場位置104における施設102への第1のユーザ118の第1の入場時間が判定されてもよい。第1の入場位置104における施設102への第2のユーザ118の第2の入場時間が判定されてもよい。第1の入場時間と第2の入場時間との間の第1の差は、第1の閾値未満であると判定されてもよい。その第1の差が第2の閾値よりも大きく、第1の閾値未満である場合、関与するユーザ118は、関連付けられると見なされてもよい。例えば、入場閾値時間408は、最大時間として第1の閾値を指定してもよいが、ユーザ118がゲート108を通じて物理的に移動するための或る最小時間が存在する。この閾値最小時間未満である複数のユーザ118の入場は、誤りであると見なされてもよく、よって、考慮から外されてもよい。
別の実装態様では、関連付けは、走査ジェスチャデータ140に少なくとも部分的に基づいてもよい。例えば、第1の入場位置104における第1のユーザ118による第1の走査ジェスチャが判定されてもよい。第1の走査ジェスチャは、第1のユーザ118による第1の識別データ134の提示と関連付けられる。識別データ134を提示するこの試みは、ユーザ118が単独306で施設に入場することを示すことができる。同様に、第2のユーザ118による走査ジェスチャの不存在は、グループメンバシップを示唆することができる。実施例を続けると、入場404の間に走査ジェスチャを省略する第2のユーザ118は、グループ308のメンバとして、第2のユーザ118が別のユーザと共に施設102に入場することを示すことができる。
別の実装態様では、関連付けは、身長データ148に少なくとも部分的に基づいてもよい。例えば、閾値身長304を下回るユーザ118は、グループ308のメンバであると判定されてもよい。この評価は、本明細書で説明されるその他と組み合わされてもよい。例えば、閾値身長304を下回り、識別データ134を提供することができないユーザ118は、何人かの他のユーザ118と関連付けられたグループ308のメンバであると見なされてもよい。
別の実装態様では、入場時間及び退出時間の使用の代わりに、またはそれらに加えて、ユーザ行動データ154において表されるユーザ118の間の対話は、第1のユーザ118と第2のユーザ118との間の関連付けを判定するために使用されてもよい。これに少なくとも部分的に基づいて、2人のユーザ118が関連付けられることを示すグループデータ160が生成されてもよい。
それらの対話は、以下のうちの1つ以上を含んでもよい。第1のユーザ118及び第2のユーザ118は、セッションの間の少なくとも第1の持続期間の間に施設102内で相互の第1の閾値距離内にあったと判定されてもよい。第1のユーザ118と第2のユーザ118との間の物体506の転送は、セッションの間に観察されてもよい。第1のユーザ118及び第2のユーザ118は、第2の閾値距離内にあり、また、セッションの間に少なくとも閾値の回数、相互に対面していると判定されてもよい。
関連付けの判定も、履歴データ158に少なくとも部分的に基づいてもよい。例えば、第1のユーザ118は、それらが特定のユーザアカウントと関連付けられるように、肯定的に識別されてもよい。その特定のユーザアカウントが、施設102へのゲストを伴う取引の履歴を有する場合、施設102内の別のユーザがそれらのゲストである信頼値が増大することがある。
施設102のユーザ118は、単独306の個人または取り得るグループ308のいずれかに区分化されてもよい。ユーザ118(1)~(4)に関して上記説明された実施例に戻り、ユーザ118(1)は、第2のユーザ118(2)の前に入場しており、第1の識別データ134を提示している。第2のユーザ118(2)は、第2の識別データ134を提示している。識別データ134における差に基づいて、一連のユーザが区分化され、ユーザ118(1)は、ユーザ118(3)と関連付けられることになる候補ではない。ユーザ118(3)がユーザ118(2)またはユーザ118(4)と関連付けられるかどうかについての潜在的な曖昧性を解決するために、本明細書で説明される他の技術が使用されてもよい。例えば、それらのユーザ118の退出時間及びユーザ行動データ154などのうちの1つ以上は、ユーザ118(4)がユーザ118(3)と関連付けられることが不適格であることを判定するために使用されてもよい。
いくつかの実装態様では、グループデータ160を判定するために、入場のシーケンスおよびタイプが使用されてもよい。例えば、「先にいる」状況では、ユーザ118(2)は、ゲストユーザ118(3)が入場ゲート108を通じてそれらに先行することを可能にすることができる。ユーザ118(3)は、ユーザ118(2)が続き、識別データ134を2回、自身に対して1回、ゲストに対して1回提供する間、識別データ134を提示することなく、または走査ジェスチャを行うことなく、入場することがある。この実施例では、グループデータ160は、入場したユーザ118の数に一致する走査ジェスチャの総数に起因して、それらのユーザ118の退出406の前に判定されてもよい。
図9は、いくつかの実装態様に従った、第1のユーザ118が第2のユーザ118と関連付けられることを判定する更なる別の処理のフローチャート900を示す。処理は、少なくとも部分的に、本明細書で説明されるシステム100によって実装されてもよい。
902において、第1の複数のユーザ118が判定され、各々のユーザ118は、閾値を上回る総セッションスコア610を有する。例えば、総セッションスコア610は、図6に関して上記説明されたように計算されてもよい。
904において、グループデータ160は、ゲートデータ128、走査ジェスチャデータ140、身長データ148、ユーザ行動データ154、または履歴データ158のうちの1つ以上に基づいて判定される。グループデータ160は、第1の複数のユーザ118の2人以上を共通グループ308と関連付ける。例えば、入場時間及び退出時間、並びにユーザ118(3)がユーザ118(2)と関連付けられた単一のカート120に物体506を配置することに基づいて、第3のユーザ118(3)が第2のユーザ118(2)と関連付けられることを示すグループデータ160が生成される。
906において、グループ308内の1人のユーザ118によって行われたアイテム116の1回以上の選定は、グループ308内の別のユーザ118と関連付けられたアカウントに課金される。例えば、第3のユーザ118(3)によって行われた選定は、第2のユーザ118(2)と関連付けられたアカウントに料金が請求されてもよい。他の実装態様では、アカウントに対する他の課金またはクレジットは、グループデータ160に基づいて判定されてもよい。例えば、ユーザ118(2)が在庫位置114からアイテム116を選定し、ユーザ118(3)にアイテム116を渡し、ユーザ118(3)は次いで、在庫位置114にアイテム116を戻す場合、ユーザ118(2)と関連付けられたアカウントに対する正味課金は存在しない。
図10は、いくつかの実装態様に従った、システム100を使用した材料取扱施設(facility)1002を示すブロック図1000である。施設1002は、その中で1つ以上のアイテム116(1)、116(2)、…、116(Q)を保持することができる1つ以上の物理構造またはエリアを含む。アイテム116は、本、薬剤、修理部品、及び電子ギアなどの物理的な物品を含んでもよい。
施設1002は、在庫の取り扱いに関して異なる機能に対して指定された1つ以上のエリアを含んでもよい。この例示では、施設1002は、受取エリア1004、保管エリア1006、及び転移エリア1008を含む。
受取エリア1004は、施設1002への取入れのために、供給者などからアイテム116を受け付けるように構成されてもよい。例えば、受取エリア1004は、トラックまたは他の貨物運送がアイテム116を降ろす搬出口を含んでもよい。いくつかの実装態様では、アイテム116は、アイテムデータの少なくとも一部を生成するよう、受取エリア1004において処理されてもよい。例えば、アイテム116は、受取エリア1004においてアイテム116の参照画像または表現を発展させるよう、重み付けされてもよく、撮像されてもよく、またはそうでなければ走査されてもよい。
保管エリア1006は、アイテム116を保管するように構成される。保管エリア1006は、様々な物理構成において配列されてもよい。1つの実装態様では、保管エリア1006は、1つ以上のアイル1010を含んでもよい。アイル1010は、アイル1010の片側または両側上の在庫位置114により構成されてもよく、または在庫位置114によって定義されてもよい。在庫位置114は、プラットフォーム、ラック、ケース、キャビネット、ビン、フロア位置、またはアイテム116を保持、支持、もしくは保管するための他の適切な保管機構のうちの1つ以上を含んでもよい。例えば、在庫位置114は、そこで指定されたレーンなどのエリアを有する棚を含んでもよい。在庫位置114は、フロアまたは施設1002の構造の別の部分に取り付けられてもよい。在庫位置114はまた、アイル1010の配列が再構成可能であることができるように移動可能であってもよい。いくつかの実装態様では、在庫位置114は、外部オペレータとは独立して移動するように構成されてもよい。例えば、在庫位置114は、ラックが施設1002内の1つの位置から別の位置に移動することを可能にするよう、コンピューティングデバイスによって操作される電源及びモータを有するラックを含んでもよい。
1人以上のユーザ118(1)、118(2)、…、118(U)、及びカート120(1)、120(2)、…、120(T)、または他の材料取扱装置は、施設1002内で移動してもよい。例えば、ユーザ118は、様々な在庫位置114内のアイテム116を選定し、または様々な在庫位置114にアイテム116を配置するよう、施設1002内で周りを移動してもよく、輸送を容易にするために、それらをカート120に配置する。カート120は、1つ以上のアイテム116を搬送またはそうでなければ輸送するように構成される。例えば、カート120は、バスケット、カート、バッグ、及びビンなどを含んでもよい。他の実装態様では、ロボット、フォークリフト、クレーン、及び空中ドローンなどの他の材料取扱装置は、施設1002の周りを移動してもよく、アイテム116を選定し、配置し、またはそうでなければ移動させる。例えば、ロボットは、第1の在庫位置114(1)からアイテム116を選定してもよく、第2の在庫位置114(2)にアイテム116を移動させてもよい。
保管エリア1006が1つ以上のアイル1010、アイテム116を保管する在庫位置114、及びセンサ1012などを有するとして表されるが、受取エリア1004、転移エリア1008、または施設1002の他のエリアも同様に備えられてもよいことが理解されよう。更に、施設1002内の様々なエリアの配列が概略的ではなく機能的に表される。例えば、いくつかの実装態様では、複数の異なる受取エリア1004、保管エリア1006、及び転移エリア1008は、施設1002内で分離されるのではなく、散在してもよい。
施設1002は、上記説明された施設管理モジュール162を提供する1つ以上のサーバ124を含んでもよく、または1つ以上のサーバ124に結合されてもよい。施設管理モジュール162は、受取エリア1004、保管エリア1006、または転移エリア1008のうちの1つ以上内で、ユーザ118、またはセンサ1012、ロボット、材料取扱機器、及びコンピューティングデバイスなどのデバイスと対話するように構成される。
施設1002の運営の間、重量センサ1012(1)及び他のセンサ1012は、施設管理モジュール162に、センサデータ、またはセンサデータに基づいた情報を提供するように構成されてもよい。重量センサ1012(1)から取得されたデータに加えて、センサデータは、画像データ136及び非画像データなどを含んでもよい。センサ1012は、それらに限定されないが、カメラ112及び重量センサ1012(1)などを含んでもよい。センサ1012は、施設1002に対して静止してもよく、または移動してもよい。例えば、施設1002は、施設1002内でユーザ118または他の物体506の画像を取得するカメラ12を含んでもよい。別の実施例では、在庫位置114は、そこに収容されたアイテム116の重量センサデータを取得する重量センサ1012(1)、及び棚上のアイテム116の選定または配置の画像を取得するカメラ112などを包含してもよい。センサ1012は、図11に関して以下で更に詳細に説明される。
施設管理モジュール162または他のシステムは、施設1002内の物体506の位置、物体506の移動を追跡し、または他の機能性を提供するために、センサデータを使用してもよい。物体506は、それらに限定されないが、アイテム116、ユーザ118、及びカート120などを含んでもよい。例えば、カメラ112によって取得された一連の画像は、在庫位置114における特定の位置からのアイテム116のユーザ118による除去、及びカート120上または少なくとも部分的にカート120内でのアイテム116の配置を示すことができる。
施設1002は、様々な供給者から異なる種類のアイテム116を受け取り、顧客がアイテム116のうちの1つ以上を注文し、または取り出すまでそれらを保管するように構成されてもよい。施設1002を通じたアイテム116の全体的な流れは、図10の矢印によって示される。特に、この実施例において示されるように、アイテム116は、受取エリア1004において、製造者、配給業者、及び卸売業者などの1つ以上の供給者から受け取られてもよい。様々な実装態様では、アイテム116は、施設1002を運営する企業の性質に応じて、商品、日用品、生鮮品、またはいずれかの適切なタイプのアイテム116を含んでもよい。
受取エリア1004において供給者から受け取られると、保管エリア1006に保管するためのアイテム116が用意されてもよい。例えば、いくつかの実装態様では、アイテム116は、荷ほどきされてもよく、またはそうでなければ再配列されてもよい。施設管理モジュール162は、在庫管理機能を提供するようコンピュータシステム上で実行する1つ以上のソフトウェアアプリケーションを含んでもよい。それらの在庫管理機能は、アイテム116に関するタイプ、量、状態、コスト、位置、重量、またはいずれかの他の適切なパラメータを示す情報を維持することを含んでもよい。アイテム116は、パッケージ、カートン、クレート、パレット、または他の適切な集合体など、可算単位、個々の単位、または複数の単位の観点で蓄積、管理、または分配されてもよい。代わりに、バルク製品及び日用品などのいくつかのアイテム116は、加算単位に本質的に整理されないことがある連続したまたは任意の分割可能な量において保管されてもよい。そのようなアイテム116は、長さ、エリア、容積、重量、時間、持続期間、または測定の単位によって特徴付けられる他の次元性の単位などの測定可能な量の観点で管理されてもよい。一般的に言えば、アイテム116の量は、必要に応じて、アイテム116の個々の単位もしくは集合の単位の加算可能数、またはアイテム116の測定可能な量のいずれかを指してもよい。
受取エリア1004を通じて到達した後、アイテム116は、保管エリア1006内に保管されてもよい。いくつかの実装態様では、同様のアイテム116は、ビン内、棚上、及びペグボードから吊るされるなど、在庫位置114内で共に保管または表示されてもよい。この実装態様では、所与の種類の全てのアイテム116は、1つの在庫位置114に保管される。他の実装態様では、同様のアイテム116は、異なる在庫位置114に保管されてもよい。例えば、大規模物理施設1002内で頻繁な回転率を有する特定のアイテム116の取り出しを最適化するために、それらのアイテム116は、単一の在庫位置114において発生することがある混雑を削減するよう、いくつかの異なる在庫位置114に保管されてもよい。
1つ以上のアイテム1016を指定する顧客注文が受け取られるとき、またはユーザ118が施設1002に進行するにつれて、対応するアイテム116は、それらのアイテム116を包含する在庫位置114から選択または「選定」されてもよい。様々な実装態様では、アイテムの選定は、手動から完全に自動化された選定に及んでもよい。例えば、1つの実装態様では、ユーザ118は、ユーザが要望するアイテム116のリストを有してもよく、施設1002に進行して、保管エリア1006内で在庫位置114からアイテム1016を選定し、それらのアイテム1016をカート120に配置してもよい。他の実装態様では、施設1002の従業員は、顧客注文から導出された手書きの選定リストまたは電子的な選定リストを使用して、アイテム116を選定してもよい。それらの選定されたアイテム116は、従業員が施設1002に進行するにつれてカート120に配置されてもよい。
アイテム116が選ばれた後、アイテム116は、移行領域1008で処理されてよい。移行領域1008は、アイテム116がある場所から別の場所へ、またはあるエンティティから別のエンティティに移行される施設1002内の任意の指定領域であってよい。例えば、移行領域1008は、施設1002内の梱包ステーションであってよい。アイテム116が移行領域1008に到達すると、アイテム116は、保管領域1006から梱包ステーションに移行されてよい。移行についての情報は、施設管理モジュール162によって維持されてよい。
別の例では、アイテム116が施設1102を出発する場合、アイテム116に対する責任またはアイテム116の管理を施設1002から別のエンティティに移行するために、アイテム116のリストが施設管理モジュール162によって取得され、使用されてよい。例えば、運送業者は、輸送のためにアイテム116を受け入れてよく、その運送業者はリストに示されるアイテム116に対する責任を受け入れる。別の例では、ユーザ118は、アイテム116を購入または賃貸し、施設1002からアイテム116を取り除いてよい。施設1002の使用中、ユーザ118は、アイテム116を在庫場所114で集荷または在庫場所114に配置するなど、様々な仕事を実行するために、施設1002の回りを動き回ってよい。
施設1002の運営を容易にするために、施設管理モジュール162は、相互作用データを生成するために識別データ134、センサデータ、及びアイテムデータ、物理レイアウトデータなどの他の情報を使用するように構成される。
相互作用データは、在庫場所114からのアイテム116の集荷、在庫場所114に対するアイテム116の場所、在庫場所114でアイテム116に対してなされた接触、在庫場所114でのアイテム116と関連するジェスチャなどの相互作用についての情報を提供してよい。相互作用データは、相互作用のタイプ、在庫場所114のどこで相互作用が起こったのかを示す相互作用場所識別子、アイテム識別子、アイテム116に対する数量変更、ユーザ識別子144などの1つ以上を含んでよい。相互作用データは、次いでさらにアイテムデータを更新するために使用されてよい。例えば、プラットフォーム上の特定のレーンでの手元のアイテム116の数量は、1つ以上のアイテム116を集荷または配置する相互作用に基づいて変更されてよい。
上述のように、施設管理モジュール162は、他の操作を実行し、補充する在庫を決定し、ユーザの請求書作成データを決定するなどしてよい。
図11は、いくつかの実施態様に係る施設1002の追加の詳細を示すブロック図1100である。施設1002は、1つ以上のネットワーク1102に接続されてよく、1つ以上のネットワーク1102は、同様にサーバ124などの1つ以上のコンピューティングデバイスに接続する。ネットワーク1102は、組織のまたは個人のイントラネットなどのプライベートネットワーク、インターネットなどのパブリックネットワーク、またはその組み合わせを含んでよい。ネットワーク1102は、有線技術(例えば、ワイヤ、光ファイバケーブルなど)、無線技術(例えば、無線周波数、赤外線、音響、光学など)、または他の接続技術を利用してよい。ネットワーク1102は、データネットワークまたは音声ネットワークの1つ以上を含む任意のタイプの通信ネットワークを表す。ネットワーク1102は、有線インフラストラクチャ(例えば、銅ケーブル、光ファイバケーブルなど)、無線インフラストラクチャ(例えば、セルラー、マイクロ波、衛星など)、または他の接続技術を使用し、実装されてよい。
サーバ124は、1つ以上のモジュールまたは施設管理モジュール162もしくは他のシステムと関連するソフトウェアアプリケーションを実行するように構成されてよい。サーバ124は施設1002の外部の場所にあるとして示されているが、他の実施態様では、サーバ124の少なくとも一部分は施設1002に位置してよい。サーバ124は、図12に関して以下により詳細に説明する。
施設1002の中のユーザ118、カート120、アイテム116、または他の物体は、1つ以上のタグ1106を備えてよい。タグ1106は、信号1108を発するように構成されてよい。一実施態様では、タグ1106は、外部信号による活性化時、RF信号1108を発するように構成された無線自動識別(RFID)タグ1106であってよい。例えば、外部信号は、無線周波数信号またはRFIDタグ1106を付勢または活性化するように構成された磁場を含んでよい。別の実施態様では、タグ1106は、送信機及び送信機に電力を供給するように構成された電源を含んでよい。例えば、タグ1106は、Bluetooth Low Energy(BLE)送信機及び電池を含んでよい。他の実施態様では、タグ1106は、タグ1106の存在を示すための他の技術を使用してよい。例えば、音響タグ1106は、対応する音響受信機によって検出される超音波信号1108を生成するように構成されてよい。さらに別の実施態様では、タグ1106は、光信号1108を発するように構成されてよい。
施設管理モジュール162は、物体の識別、物体の場所の決定などの1つ以上のためにタグ1106を使用するように構成されてよい。例えば、ユーザ118は、タグ1106を着用してよく、カート120は、タグ1106をはり付けられてよく、アイテム116はそのパッケージなどに、読み取って少なくとも部分的に信号強度に基づいて識別または場所の1つ以上を決定するために使用し得るタグ1106をはり付けられてよい。
一般に、施設管理モジュール162または施設1002と関連する他のシステムは、任意の数及び組み合わせの入力コンポーネント、出力コンポーネント、及びサーバ124を含んでよい。
1つ以上のセンサ1012は、施設1002内の1つ以上の場所に配置されてよい。例えば、センサ1012は、床、壁の上または中、天井に、在庫場所114に、カート120上に取り付けられてよい、ユーザ118によって運ばれるまたは着用されてよいなどである。
センサ1012は、1つ以上のカメラ112または他の画像センサを含んでよい。1つ以上のカメラ112は、場面の画像を取得するように構成された画像センサを含んでよい。カメラ112は、テラヘルツ、赤外線、可視、紫外線などを含むが、これに限定されるものではない1つ以上の波長の光を検出するように構成される。カメラ112は、電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)デバイス、マイクロボロメータなどを含んでよい。施設管理モジュール162は、施設1002の運営中にカメラ112によって取得された画像データ136を使用してよい。例えば、施設管理モジュール162は、アイテム116、ユーザ118、カート120などを、それらがカメラ112によって取得された画像データ136内に出現することに少なくとも部分的に基づいて、識別してよい。カメラ112は、施設1002内の様々な場所に取り付けられてよい。例えば、カメラ112は頭上に、在庫場所114に取り付けられてよい、ユーザ118によって着用または運ばれてよい、カート120にはり付けられてよいなどである。
1つ以上の重量センサ1012(1)は、アイテム116、カート120、または他の物体などの積荷の重量を測定するように構成される。重量センサ1012(1)は、在庫場所114、カート120、施設1002の床上などの1つ以上で積荷の重量を測定するように構成されてよい。例えば、在庫場所114のプラットフォームは、複数の重量センサ1012(1)を含んでよい。重量センサ1012(1)は、積荷の重量を決定するために1つ以上の検知機構を含んでよい。これらの検知機構は、ピエゾ抵抗デバイス、圧電デバイス、容量性デバイス、電磁デバイス、光学デバイス、電位差滴定デバイス、マイクロエレクトロメカニカルデバイスなどを含んでよい。重量センサ1012(1)の検知機構は、重力に起因する積荷の力など、印加された力に基づいて1つ以上の信号1018を生成するトランスデューサとして動作してよい。例えば、重量センサ1012(1)は、ひずみゲージと、重量が印加されるとわずかに変形する構造部材とを有するロードセルを含んでよい。キャパシタンスまたは抵抗などの、ひずみゲージの電気的特性の変化を測定することによって、重量は決定されてよい。別の例では、重量センサ1012(1)は、力検出抵抗器(FSR)を含んでよい。FSRは、圧縮時に1つ以上の電気的特性を変化させる弾力材を含んでよい。例えば、FSRの特定の一部分の電気抵抗は、特定の部分が圧縮されるのにつれ、減少する場合がある。施設管理モジュール162は、物体506を識別し、物体506の数量の変化を決定し、物体506の場所を特定し、出荷記録を維持するなどのために、重量センサ1012(1)によって取得されたデータを使用してよい。
センサ1012は、スマートフロア1012(2)を含んでよい。スマートフロア1012(2)は、ユーザ118、カート120などの物体の場所についての情報を提供できる。この情報は、物体を識別すること、物体の場所を特定すること、物体を追跡することなどを含んでよい。スマートフロア1012(2)は、床にまたは床の真下に位置するアンテナから電磁信号1108を放射または受信する送信機または受信機の1つ以上を含むスマートフロアデバイスを利用してよい。どのアンテナが信号1108を放射したのか、及びどのアンテナが信号1108を取得したのかについての情報に基づいて、床の上または上方の物体506についての情報が決定されてよい。例えば、スマートフロア1012(2)は、検知要素、つまりセグメントを含んでよい。各セグメントは、送信機または受信機の1つ以上に結合されるアンテナを含んでよい。動作中、セグメントは、アンテナによって放射される電磁信号1108を送信する、アンテナによって取得される電磁信号1108を受信する、または両方であってよい。いくつかの実施態様では、スマートフロア1012(2)は、床面高さで配備される物理的に大型のタッチセンサとして動作してよい。電磁信号1108は、その上の物体の存在についての情報を提供する。例えば、セグメントは、近くにある物体に電磁的に結合し、床と接触しているか、または床の上方にあるかのどちらかである物体の検出を可能にしてよい。いくつかの実装形態では、物体の視覚的な追跡の代わりにまたはそれに加えて、スマートフロア1012(2)は、物体表現移動データを提供するために使用されてよい。例えば、特定の時間帯の間に取得されたセグメントからの出力は、画像データ136と同様に処理されてよい。
また、1つ以上の無線受信機1012(3)もセンサ1012として含まれてよい。いくつかの実装形態では、無線受信機1012(3)は、トランシーバアセンブリの一部であってよい。無線受信機1012(3)は、RFID、Wi-Fi、Bluetooth、ZigBee、2G、3G、4G、LTE、または他の無線データ伝送技術と関連するRF信号1108を取得するように構成されてよい。無線受信機1012(3)は、RF信号1108の信号強度など、無線周波数を介して伝送されたデータと関連する情報を提供してよい。例えば、無線受信機1012(3)からの情報は、ユーザ118によって運ばれる送信機、カート120上の送信機、アイテム116上のタグ1106などのRF源の場所を特定するために施設管理モジュール162によって使用されてよい。
また、1つ以上の深度センサ1012(4)もセンサ1012に含まれてよい。深度センサ1012(4)は、視野(FOV)内の物体について、深度情報などの空間データまたは三次元(3D)データを取得するように構成される。深度センサ1012(4)は、距離カメラ、ライダーシステム、ソナーシステム、レーダーシステム、構造化光システム、立体視システム、光干渉法システムなどを含んでよい。施設管理モジュール162は、物体を識別し、3D実空間の中の物体の場所を特定し、ユーザ118を識別するなどのために深度センサ1012(4)によって取得された3Dデータを使用してよい。
1つ以上のボタン1012(5)は、ユーザ118から入力を受け入れるように構成されてよい。ボタン1012(5)は、機械的機構、容量性機構、光学的機構、または他の機構を含んでよい。例えば、ボタン1012(5)は、ユーザ118の接触から印加された力を受け入れて入力信号を生成するように構成された機械スイッチを含んでよい。施設管理モジュール162は、ユーザ118からの情報を受け取るためにボタン1012(5)からのデータを使用してよい。例えば、カート120は、ユーザ118からの入力を受け入れ、入力を示す情報を施設管理モジュール162に送信するためにボタン1012(5)で構成されてよい。
センサ1012は、1つ以上のタッチセンサ1012(6)を含んでよい。タッチセンサ1012(6)は、接触またはほぼ接触の位置を決定するために、抵抗キャパシタンス、容量性キャパシタンス、表面キャパシタンス、投影キャパシタンス、相互キャパシタンス、光学的機構、補間機構、力検出抵抗(IFSR)、または他の機構を使用してよい。例えば、IFSRは、印加された力に応じて電気抵抗を変化させるように構成された材料を含んでよい。電気抵抗で変化する材料内の場所は、接触の位置を示してよい。施設管理モジュール162は、ユーザ118から情報を受け取るためにタッチセンサ1012(6)からのデータを使用してよい。例えば、タッチセンサ1012(6)はカート120と統合されて、タッチスクリーンを提供してよく、タッチスクリーンを用いて、ユーザ118は、集荷のためにメニューから1つ以上の特定のアイテム116を選択し、在庫場所114でのアイテム116の手集計を入力するなどしてよい。
1つ以上のマイク1012(7)は、環境に存在する音を示す情報を取得するように構成されてよい。いくつかの実施態様では、マイク1012(7)のアレイが使用されてよい。これらのアレイは、利得の指向性を提供するためにビーム形成技術を実装してよい。施設管理モジュール162は、音響タグ1106から情報を取得し、ユーザ118から音声入力を受け入れ、周囲のノイズレベルを決定するなどのために1つ以上のマイク1012(7)を使用してよい。
センサ1012は、計装自動対面ユニット(instrumented auto facing units)(IAFU)1012(8)を含んでよい。IAFU1012(8)は、プッシャーの移動を示すデータを提供するように構成された位置センサを含んでよい。アイテム116がIAFU1012(8)から取り除かれると、プッシャーはバネの影響を受けてなど移動し、IAFU1012(8)の中の残りのアイテム116を在庫場所114の前部に押し出す。位置センサからのデータ及び個々のアイテム116の深度などの所与のアイテムデータを使用することによって、総数は、位置データの変化に基づいて決定されてよい。例えば、各アイテム116が深さ1インチであり、位置データが11インチの変化を示す場合、IAFU1012(8)によって保持される数量は、11のアイテム116分、変化した可能性がある。この総数情報は、重量センサ1012(1)からのセンサデータの分析など、他の手段によって取得された総数に対する照合を確認または提供するために使用されてよい。
センサ1012は、1つ以上の光学センサ1012(9)を含んでよい。光学センサ1012(9)は、光学センサに衝突する光の色または強度の1つ以上を示すデータを提供するように構成されてよい。例えば、光学センサ1012(9)は、フォトダイオードと、信号1108または入射する光子の束を示すデータを生成するように構成された関連する回路とを含んでよい。以下に説明するように、光センサアレイ1012(14)は、複数の光学センサ1012(9)を含んでよい。光学センサ1012(9)は、フォトダイオード、フォトレジスタ、光電池、量子ドット光伝導体、ボロメータ、焦電赤外線検出器などを含んでよい。例えば、光学センサ1012(9)は、赤外光を検出するためにゲルマニウムフォトダイオードを使用してよい。
1つ以上の無線自動識別(RFID)読み取り装置1012(10)、近距離無線通信(NFC)システムなどがセンサ1012として含まれてよい。例えば、RFID読み取り装置1012(10)は、RFタグ1106を読み取るように構成されてよい。RFID読み取り装置1012(10)によって取得された情報は、アイテム116、ユーザ118、カート120などのRFタグ1106と関連する物体を識別するために、施設管理モジュール162によって使用されてよい。例えば、特定の在庫場所114にあるRFタグ1106を検出するRFID読み取り装置1012(10)からの情報に基づいて、配置または集荷されているアイテム116が決定され得る。
センサ1012は、ユーザ118によって着用または運ばれてよい、カート120に取り付けられてよいなどの1つ以上の加速度計1012(11)を含んでよい。加速度計1012(11)は、課された加速の方向及び大きさなどの情報を提供してよい。加速の速度、方向の変化の決定、速度などのデータは、加速度計1012(11)を使用し、決定され得る。
ジャイロスコープ1012(12)は、ジャイロスコープにはり付けられた物体の回転を示す情報を提供してよい。例えば、カート120または他の物体は、物体の向きの変化を示すデータを提供するためにジャイロスコープ1012(12)を備えてよい。
磁力計1012(13)は、地磁界などの周囲磁場を測定することによって向きを決定するために使用されてよい。磁力計1012(13)は、ユーザによって着用または運ばれてよい、カート120に取り付けられてよいなどである。例えば、カート120に取り付けられた磁力計1012(13)は、コンパスとしての機能を果たし、カート120がどの方向に向けられるのかを示す情報を提供してよい。
光学センサアレイ1012(14)は、1つ以上の光学センサ1012(9)を含んでよい。光学センサ1012(9)は、グリッドなどの規則正しく反復するまたは周期的な二次元配列で配置されてよい。光学センサアレイ1012(14)は、画像データ136を生成してよい。例えば、光学センサアレイ1012(14)は、在庫場所114の中にまたは下方に配置され、アイテム116、ユーザ118の手210の影などについての情報を取得してよい。
センサ1012は、ユーザ118、カート120などの物体の存在を決定するために使用される近接センサ1012(15)を含んでよい。近接センサ1012(15)は、物体の存在を決定するために、光学技術、電気技術、超音波技術、電磁技術、または他の技術を使用してよい。いくつかの実施態様では、近接センサ1012(15)は、近接を決定するために光エミッタ及び光検出器を使用してよい。例えば、光エミッタは光を発してよく、光の一部分は次いで物体によって反射されて光検出器に戻され、物体が近接センサ1012(15)に近接している旨の表示を提供してよい。他の実施態様では、近接センサ1012(15)は、電場を提供し、電場内の物体の存在または不在に起因する静電容量の変化を決定するように構成された容量性近接センサ1012(15)を含んでよい。
近接センサ1012(15)は、物体の存在または不在、物体までの距離、または物体の特徴の1つ以上を示すセンサデータを提供するように構成されてよい。光学近接センサ1012(15)は、距離データを生成するために、飛行時間(ToF)、構造化光、干渉分光法、または他の技術を使用してよい。例えば、ToFは、反射される、またはそれ以外の場合、光検出器に戻される、光エミッタまたは発光体から発せられた光のパルスの伝搬時間(または「往復」時間)を決定する。伝搬時間を半分に分割し、結果を空気中の光の速度で乗算することによって、物体までの距離を決定してよい。別の実施態様では、構造化光パターンは、光エミッタによって提供されてよい。構造化光パターンの一部分は、次いで、カメラ112などのセンサ1012を使用し、物体上で検出されてよい。構造化光パターンの特徴間の見かけの距離に基づいて、物体までの距離を計算してよい。また、物体までの距離を決定するために、他の技術も使用されてよい。別の例では、反射光の色は、皮膚、衣類、カート120などの物体を特徴付けるために使用されてよい。
センサ1012は、他のセンサ1012(S)を含んでもよい。例えば、他のセンサ1012(S)は、ライトカーテン、超音波レンジファインダ、温度計、気圧センサ、湿度計などを含んでよい。
いくつかの実施態様では、センサ1012は、ハードウェアプロセッサと、メモリと、様々な機能を実行するように構成された他の要素とを含んでよい。例えば、カメラ112は、画像データ136を生成し、サーバ124などの別のデバイスに画像データ136を送信するなどのように構成されてよい。
施設1002は、1つ以上の無線ネットワークを確立するように構成された1つ以上のアクセスポイント1110を含んでよい。アクセスポイント1110は、Wi-Fi、NFC、Bluetooth、または他の技術を使用して、デバイスとネットワーク1102との間に無線通信を確立してよい。無線ネットワークによって、デバイスはセンサ1012、施設管理モジュール162、タグ1106、カート120の通信デバイス、または他のデバイスの1つ以上と通信できる。
また、出力装置1112は、施設1002内に設けられてよい。出力装置1112は、ユーザ118が知覚し得る、またはセンサ1012が検出し得る信号1108を生成するように構成される。いくつかの実施態様では、出力装置1112は、光学センサアレイ1012(14)の照明を提供するために使用されてよい。
ハプティック出力装置1112(1)ユーザ118に触感を生じさせる信号1108を提供するように構成される。ハプティック出力装置1112(1)は、信号1108を提供するために電気的刺激または機械的移動などの1つ以上の機構を使用してよい。例えば、ハプティック出力装置1112(1)は、ユーザ118の1つ以上の指で見かけの触感を生じさせる変調した電気信号1108を生成するように構成されてよい。別の例では、ハプティック出力装置1112(1)は、ユーザ118が感じ得る振動を提供するように構成された圧電モータデバイスまたは回転モータデバイスを含んでよい。
1つ以上の音声出力装置1112(2)は、音響出力を提供するように構成されてよい。音響出力は、超低周波音、可聴音、または超音波の1つ以上を含む。音声出力装置1112(2)は、音響出力を生成するために1つ以上の機構を使用してよい。これらの機構は、以下、つまり音声コイル、圧電要素、磁歪素子、静電素子などを含んでよいが、これに限定されるものではない。例えば、圧電ブザーまたはスピーカが、音響出力を提供するために使用されてよい。
表示装置1112(3)は、ユーザ118が確かめ得る、またはカメラ112または光学センサ1012(9)などの感光性センサが検出し得る出力を提供するように構成されてよい。いくつかの実施態様では、表示装置1112(3)は、赤外光、可視光、または紫外線光の1つ以上で出力を生じさせるように構成されてよい。出力は白黒またはカラーであってよい。表示装置1112(3)は、発光型、反射型、マイクロエレクトロメカニカルなどの1つ以上であってよい。LEDを使用するなど、発光型表示装置1112(3)は、動作中光を発するように構成される。比較すると、電気泳動素子を使用するなど、反射型表示装置1112(3)は、画像を提示するために周囲光に依存する。バックライトまたはフロントライトは、非発光型の表示装置1112(3)を照明して、周囲光のレベルが低い状況で出力の可視性を提供するために使用されてよい。
表示装置1112(3)は、施設1002内の様々な点に位置してよい。例えば、アドレス指定可能なディスプレイは、在庫場所114、カート120上に、施設1002の床上になど、位置してよい。
また、他の出力装置1112(P)も存在してよい。例えば、他の出力装置1112(P)は、芳香/臭気ディスペンサ、文書プリンタ、3Dプリンタ、または製作設備などを含んでよい。
図12は、いくつかの実施態様に従って、施設1002の運営をサポートするように構成されたサーバ124のブロック図1200を示す。サーバ124は、施設1002に物理的に存在する場合もあれば、ネットワーク1102によってアクセス可能である場合もあれば、両方の組み合わせである場合もある。サーバ124は、エンドユーザが、サービスを送達するシステムの物理的な場所及び構成を知っていることを必要としない。サーバ124と関連する一般的な表現は「オンデマンドコンピューティング」、「サービス型ソフトウェア(SaaS)」、「プラットフォームコンピューティング」、「ネットワーク対応プラットフォーム」、「クラウドサービス」、「データセンタ」などを含んでよい。サーバ124によって提供されるサービスは、1つ以上の物理デバイスまたは仮想デバイス全体で分散されてよい。
1つ以上の電源1202は、サーバ124のコンポーネントを操作するために適した電力を提供するように構成されてよい。1つ以上の電源1202は、電池、コンデンサ、燃料電池、光電池、無線受電装置、電気公益事業によって提供されるなど外部電源への取り付けに適した導電性連結器などを含んでよい。サーバ124は、1つ以上の格納された命令を実行するように構成された1つ以上のハードウェアプロセッサ1204(プロセッサ)を含んでよい。プロセッサ1204は1つ以上のコアを含んでよい。1つ以上のクロック1206は、日付、時間、目盛りなどを示す情報を提供してよい。例えば、プロセッサ1204は、特定の相互作用を特定の時点と関連付けるためにクロック1206からのデータを使用してよい。
サーバ124は、入力/出力(I/O)インタフェース1210、ネットワークインタフェース1212などの1つ以上の通信インタフェース1208を含んでよい。通信インタフェース1208によって、サーバ124またはそのコンポーネントは、他のデバイスまたはコンポーネントと通信できる。通信インタフェース1208は、1つ以上のI/Oインタフェース1210を含んでよい。I/Oインタフェース1210は、集積回路(12C)、シリアルペリフェラルインタフェースバス(SPI)、USB Implementers Forumによって広められているユニバーサルシリアルバス(USB)、RS-232などを含んでよい。
I/Oインタフェース(複数可)1210は、1つ以上のI/O装置1214に結合してよい。I/O装置1214は、センサ1012、キーボード、マウス、スキャナなどの1つ以上などの入力装置を含んでよい。また、I/O装置1214は、表示装置1112(3)、プリンタ、音声スピーカなどの1つ以上などの出力装置1112を含んでもよい。いくつかの実装形態では、I/O装置1214は、サーバ124と物理的に組み込まれる場合もあれば、外部に配置される場合もある。
ネットワークインタフェース1212は、サーバ124と、カート120、ルータ、アクセスポイント1110などの他のデバイスとの間で通信を提供するように構成されてよい。ネットワークインタフェース1212は、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、無線ローカルエリアネットワーク(WLAN)、広域ネットワーク(WAN)などに結合するように構成されたデバイスを含んでよい。例えば、ネットワークインタフェース1212は、Ethernet、Wi-Fi、Bluetoothなどと互換性のあるデバイスを含んでよい。
また、サーバ124は、さまざまなモジュールとサーバ124のコンポーネントとの間でデータの転送を可能にする1つ以上のバスまたは他の内部通信ハードウェアまたはソフトウェアを含んでもよい。
図12に示すように、サーバ124は1つ以上のメモリ1216を含む。メモリ1216は、1つ以上の非一過性コンピュータ可読記憶媒体(CRSM)を含んでよい。CRSMは、電子記憶媒体、磁気記憶媒体、光学記憶媒体、量子記憶媒体、機械コンピュータ記憶媒体などの任意の1つ以上であってよい。メモリ1216は、コンピュータ可読命令、データ構造、プログラムモジュール、及びサーバ124の動作のための他のデータのストレージを提供してよい。同じ機能はハードウェア、ファームウェアの中で、またはシステムオンチップ(SoC)としても実装され得るが、いくつかの例の機能モジュールは、メモリ1216に格納されて示されている。
メモリ1216は、少なくとも1つのオペレーティングシステム(OS)モジュール1218を含んでよい。OSモジュール1218は、I/Oインタフェース1210、I/Oデバイス1214、通信インタフェース1208などのハードウェアリソースデバイスを管理し、プロセッサ1204上で実行中のアプリケーションまたはモジュールに様々なサービスを提供するように構成される。OSモジュール1218は、FreeBSD Projectによって広められているFreeBSDオペレーティングシステムの別形、他のUNIXまたはUNIXのような別形、Linus Torvaldsによって広められているようなLinuxオペレーティングシステムの変種、Redmond、Washington、USAのMicrosoft CorporationのWindowsオペレーティングシステムなどを実装してよい。
データストア1220及び以下のモジュールの1つ以上も、メモリ1216に格納されてよい。これらのモジュールは、フォアグラウンドアプリケーション、バックグラウンドタスク、デーモンなどとして実行されてよい。データストア1220は、情報を格納するために、フラットファイル、データベース、リンクリスト、ツリー、実行可能コード、スクリプト、または他のデータ構造を使用してよい。いくつかの実施態様では、データストア1220またはデータストア1220の一部分は、サーバ124、ネットワーク接続ストレージデバイスなどを含む1つ以上の他のデバイス全体で分散されてよい。
通信モジュール1222は、カート120,センサ1012、表示装置1112(3)、他のサーバ124、または他のデバイスの1つ以上との通信を確立するように構成されてよい。通信は、認証、暗号化などされてよい。
メモリ1216は、施設管理モジュール162を格納してよい。施設管理モジュール162は、本書に説明するような機能を提供するように構成される。例えば、施設管理モジュール162は、異なる在庫場所114間で、カート120へ及びカート120からアイテム116を追跡し、補充命令を生成し、施設内のロボットの動作を命令し、特定のユーザアイデンティティを施設1002の中のユーザ118と関連付けるために識別データ134を使用するなどしてよい。動作中、施設管理モジュール162は、カメラ112からの画像データ136、重量センサ1012(1)からの重量データなどの1つ以上などのセンサデータ1226にアクセスしてよい。
施設管理モジュール162によって使用された情報は、データストア1220に格納されてよい。例えば、データストア1220は、物理レイアウトデータ1224、センサデータ1226、識別データ134、ユーザ場所データ146、相互作用データ1228などを格納するために使用されてよい。センサデータ1226は、施設1002の中のまたは施設1002と関連付けられたセンサ1012の1つ以上から取得した情報を含んでよい。
物理レイアウトデータ1224は、スキャナ110、カメラ112、重量センサ1012(1)、無線受信機1012(3)用アンテナ、在庫場所114などが互いに関して施設1002の中のどこにあるのかを示す情報を提供してよい。例えば、物理レイアウトデータ1224は、ゲート108のスキャナ110及び在庫場所114との相対的な位置を含む、施設1002のマップまたは間取り図を表す情報を含んでよい。
施設管理モジュール162は、相互作用を示す相互作用データ1228を作成してもよい。たとえば、在庫場所114からアイテム116を手に取ること、在庫場所114にアイテム116を置くこと、在庫場所114でアイテム116に触れること、在庫場所114でアイテム116に関係づけられるジェスチャなどである。相互作用データ1228には、相互作用の種類、在庫場所114のどこから相互作用が行われたかを示す相互作用位置識別子、アイテム識別子、アイテム116に対する数量変更、ユーザ識別子144などのうちの1つ以上が含まれていてもよい。次に相互作用データ1228を用いて、アイテムデータを更新すること、料金を特定のアカウントと関係づけることなどを行ってもよい。たとえば、ユーザ118がアイテム116を選んで、それを施設102から取り出した場合、ユーザ118に関係づけられる支払いアカウントに課金してもよい。グループデータ160を用いて、あるユーザ118の相互作用データ1228を別のユーザのものと関係づけてもよい。たとえば、ユーザ118(2)および118(3)が一緒にグループにされている場合、ユーザ118(3)がアイテム116を手に取るなどの相互作用を、ユーザ118(2)に関係づけられる支払いアカウントに課金してもよい。
施設管理モジュール162は、センサデータ1226を用いて相互作用データ1228を作成してもよい。相互作用データ1228には、関係するアイテム116の種類、関係する数量、相互作用が手に取ることだったのかまたは置くことだったのかについて情報などが含まれていてもよい。相互作用には、ユーザ118が在庫場所114からアイテム116を手に取ること、在庫場所114にアイテム116を置くこと、在庫場所114でアイテム116に触れること、在庫場所114でアイテム116を捜しまわることなどが含まれていてもよい。たとえば、施設管理モジュール162は、棚の特定のレーンからユーザ118がどのアイテム116を手に取ったかを示す相互作用データ1228を作成し、そしてこの相互作用データ1228を用いて、そのレーンに収容される在庫のカウントを調整してもよい。そして相互作用データ1228を用いて、アイテム116を手に取ったユーザ118に関係づけられるユーザ識別子144に関係づけられるアカウントに請求してもよい。
施設管理モジュール162はセンサデータ1226を処理して出力データを作成してもよい。たとえば、相互作用データ1228に基づいて、特定の在庫場所114でのアイテム116の種類の数量が閾値在庫補充レベルを下回る場合がある。システムは、在庫場所114を示す在庫補充順序、面積、およびストックを所定のレベルまで補充するのに必要な数量を含む出力データを作成してもよい。そして在庫補充順序を用いて、その在庫場所114に在庫補充するようにロボットに命令を出してもよい。
データストア1220内の他のデータ1232に加えて、他のモジュール1230もメモリ1216内に存在してもよい。たとえば、請求書発行モジュールが相互作用データ1228および識別データ134を用いて、特定のユーザ118、またはグループデータ160が示す同じグループ308内のユーザ118に関係づけられるアカウントに請求してもよい。
本明細書で説明したプロセスは、ハードウェア、ソフトウェア、またはそれらの組み合わせで実施してもよい。ソフトウェアに関しては、説明した動作は、1つ以上の非一時的なコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表している。コンピュータ実行可能命令は、1つ以上のプロセッサによって実行されると、説明した動作を行う。全般的に、コンピュータ実行可能命令には、特定の機能を行うかまたは特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。当業者であれば容易に分かるように、前述の図で例示した特定のステップまたは動作は取り除いてもよいし、組み合わせてもよいし、または代替的な順序で行ってもよい。任意のステップまたは動作を順次にまたは並行して行ってもよい。さらに、動作を説明した順番は、限定であると解釈されることは意図していない。
実施形態は、コンピュータ(または他の電子デバイス)をプログラミングして本明細書で説明するプロセスまたは方法を行うために用いてもよい、命令が(圧縮または非圧縮形式で)記憶された非一時的コンピュータ可読記憶媒体を含むソフトウェアプログラムまたはコンピュータプログラム製品として提供してもよい。コンピュータ可読記憶媒体は、電子記憶装置媒体、磁気記憶装置媒体、光学的記憶媒体、量子記憶媒体などのうちの1つ以上であってもよい。たとえば、コンピュータ可読記憶媒体としては、限定することなく、ハードドライブ、フロッピィディスケット、光ディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリ、磁気または光カード、ソリッドステートメモリデバイス、または他の種類の物理媒体であって、電子命令の記憶に適したものを挙げてもよい。さらに、実施形態を、一時的な機械可読信号(圧縮または非圧縮形式)を含むコンピュータプログラム製品として提供してもよい。一時的な機械可読信号の例としては、搬送波を用いて変調されていようと変調されていまいと、信号であって、コンピュータプログラムをホストまたは実行しているコンピュータシステムまたはマシンをこの信号にアクセスできるように構成することができる信号(1つ以上のネットワークを介して伝達される信号を含む)が挙げられるが、これに限定されない。たとえば、一時的な機械可読信号にはインターネットによるソフトウェアの伝達が含まれ得る。
これらのプログラムの別個の具体例を、任意の数の別個のコンピュータシステム上で実行することもできるし、これらのコンピュータシステムにわたって分配することもできる。以上、特定のステップを特定のデバイス、ソフトウェアプログラム、プロセス、またはエンティティによって行うと説明してきたが、これはそうである必要はなく、種々の代替的な実施態様が当業者によって理解される。
さらに、当業者であれば容易に分かるように、前述した技術は種々のデバイス、環境、および状況で用いることができる。主題を構造的特徴または方法行為に特有の言葉で説明してきたが、当然のことながら、添付の請求項で規定した主題は必ずしも、説明した具体的な特徴または行為に限定されるものではない。むしろ、具体的な特徴および行為は、請求項を実施する例示的な形態として開示している。
条項
1.システムであって、
施設におけるゲートであって、
それらの間に通路を形成する第1の側の第1の台座と第2の側の第2の台座と、
前記第2の台座における第1のカメラであって、視界が上方に向いている前記第1のカメラと、
前記ゲートおよび前記通路の少なくとも一部を含む第2の視界を有する第2のカメラと、
を含むゲートと、
第1のコンピューティング装置と、を備え、
前記第1のコンピューティング装置は、
前記第1のカメラからの画像データに基づいて、前記ゲートにおいて第1のユーザが識別データを示したことを決定することと、
第2のユーザが識別データを示さなかったことを決定することと、
前記第2のカメラからの画像データに基づいて、前記施設に対する前記第1のユーザの第1の入場時間と前記施設に対する前記第2のユーザの第2の入場時間とを決定することと、
前記第1の入場時間と前記第2の入場時間との間の第1の差が第1の閾値よりも小さいことを決定することと、
前記第2のカメラからの前記画像データに基づいて、前記施設からの前記第1のユーザの第1の退場時間と前記施設からの前記第2のユーザの第2の退場時間とを決定することと、
前記第1の退場時間と前記第2の退場時間との間の第2の差が第2の閾値よりも小さいことを決定することと、
前記第1のユーザが前記第2のユーザに関係づけられることを示すグループデータを決定することと、
前記第2のユーザが前記施設から品物を取ったことを示すデータを受け取ることと、前記第1のユーザに関係づけられるアカウントに対する前記アイテムの課金を決定することと、
を行う前記システム。
2.前記施設における第3の視界を有する第3のカメラをさらに備え、
前記第1のコンピューティング装置は、
前記第3のカメラからの画像データに基づいて、前記第1のユーザおよび前記第2のユーザが少なくとも第1の継続時間の間、互いの閾値距離内にいることを決定することを行い、
前記グループデータは少なくとも部分的に、前記第1のユーザおよび前記第2のユーザが少なくとも前記第1の継続時間の間、互いの前記閾値距離内にいることに基づく、
条項1に記載のシステム。
3.コンピュータにより実行される方法であって、
第1の時間における施設に対する第1の入場位置での入場異常を決定することと、
前記第1の時間の第1の閾値時間内に、前記第1の入場位置に第1のユーザがいることを決定することと、
前記第1の時間の第2の閾値時間内に、前記第1の入場位置に第2のユーザがいることを決定することと、
前記第1の時間に前記第1の入場位置で示された第1のデータを決定することと、
前記第1のデータに関係づけられる第1のアカウントを決定することであって、前記第1のアカウントは前記第1のユーザに関係づけられる、前記決定することと、
前記第2のユーザが前記第1のアカウントに関係づけられることを決定することと、
を含む、前記方法。
4.前記入場異常を前記決定することは、
前記第2のユーザが走査ジェスチャを行わなかったことを決定すること、
前記第1のユーザの第3の閾値時間内に前記第2のユーザが前記第1の入場位置を通過したことを決定すること、
または前記第1の時間の第4の閾値時間内に前記第1の入場位置で示されたデータのカウントが、前記第1の入場位置で検出された人数のカウントと異なることを決定すること、
のうちの1つ以上を含む、条項3に記載の方法。
5.前記入場異常を前記決定することは、
前記第1の入場位置の複数の画像を取得することと、
前記複数の画像に基づいて、前記第2のユーザが前記第1の入場位置にいた間に、前記第2のユーザの手が前記第1の入場位置におけるスキャナに隣接する指定領域内になかったことを決定することと、
を含む、条項3または4のいずれかに記載の方法。
6.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記第1のユーザの前記施設からの第1の出口における第1の退場時間を決定することと、
前記第2のユーザの前記施設からの前記第1の出口における第2の退場時間を決定することと、
前記第1の退場時間と前記第2の退場時間との間の第2の差が第2の閾値よりも小さいことを決定することと、
を含む、条項3、4、または5のいずれかに記載の方法。
7.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記施設内で前記第1のユーザが前記第2のユーザと相互に連絡されることを決定することを含む、条項3、4、5、または6のいずれかに記載の方法。
8.前記第1のユーザが前記第2のユーザと相互に連絡されることを前記決定することは、
さらに、前記第1のユーザおよび前記第2のユーザが、少なくとも第1の継続時間の間、前記施設内で互いの第1の閾値距離内にいることを決定すること、
前記第1のユーザと前記第2のユーザとの間で物体が移送されていることを決定すること、
または前記第1のユーザおよび前記第2のユーザが第2の閾値距離内にいて、閾値の回数、互いに向くことを決定すること、
のうちの1つ以上を含む、条項7に記載の方法。
9.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記第1の入場位置での前記第1のユーザによる第1のジェスチャを決定することであって、前記第1のジェスチャは、前記第1のユーザが前記第1のデータを示すことに関係づけられる、前記決定することと、
前記第1の入場位置でデータを示すために前記第2のユーザによる第2のジェスチャがないことを決定することと、
を含む、条項3、4、5、6、7、または8のいずれかに記載の方法。
10.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記第2のユーザの身長を決定することと、
前記身長が閾値身長よりも低いことを決定することと、
を含む、条項3、4、5、6、7、8、または9のいずれかに記載の方法。
11.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記第1のアカウントが前記施設における別のユーザにすでに関係づけられていることを履歴データが示すことを決定することを含む、条項3、4、5、6、7、8、9、または10のいずれかに記載の方法。
12.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記施設に対する前記第1の入場位置での前記第1のユーザの第1の入場時間を決定することと、
前記施設に対する前記第1の入場位置での前記第2のユーザの第2の入場時間を決定することと、
前記施設に対する前記第1の入場位置での第3のユーザの第3の入場時間を決定することであって、前記第3の入場時間は前記第1の入場時間よりも前であるかまたは前記第2の入場時間よりも後である、前記決定することと、
前記第1の入場位置で前記第3のユーザが示す第2のデータを決定することと、
前記第3のユーザは前記第1のアカウントに関係づけることから失格させることと、
を含む、条項3、4、5、6、7、8、9、10、11、または12のいずれかに記載の方法。
13.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することと、
前記施設に対する前記第1の入場位置での前記第1のユーザの第1の入場時間を決定することと、
前記施設に対する前記第1の入場位置での前記第2のユーザの第2の入場時間を決定することと、
前記第1の入場時間と前記第2の入場時間との間の第1の差が第1の閾値よりも小さくて第2の閾値よりも大きいことを決定することと、
を含む、条項3、4、5、6、7、8、9、10、11、または12のいずれかに記載の方法。
14.コンピュータにより実行される方法であって、
施設における1つ以上のセンサからデータを得ることと、少なくとも部分的に前記データに基づいて、前記施設に対する入場位置での第1の時間における入場異常を決定することと、
少なくとも部分的に前記データに基づいて、前記第1の時間に関係づけられる第1のユーザおよび第2のユーザを決定することと、
少なくとも部分的に前記データに基づいて、前記第2のユーザは、前記第1のユーザに関係づけられる第1のアカウントに関係づけられることを決定することと、
を含む、前記方法。
15.前記入場異常を前記決定することは、
前記第2のユーザが走査ジェスチャを行わなかったことを決定すること、
前記第1のユーザの閾値時間内に前記第2のユーザが前記入場位置を通過したことを決定すること、前記入場位置におけるゲートが閉じていた間に前記第2のユーザが前記施設に入場したことを決定すること、
前記第1の時間に前記入場位置で示されたデータのカウントが前記入場位置で検出された人数のカウントとは異なることを決定すること、
または前記第2のユーザが前記入場位置を通過していることを示すデータを伴わずに前記施設の内部に前記第2のユーザがいることを決定すること、
のうちの1つ以上を含む、条項14に記載の方法。
16.少なくとも部分的に前記データに基づいて、前記第1のアカウントに関係づけられる前記第2のユーザを前記決定することは、
前記施設に対する前記入場位置での前記第1のユーザの第1の入場時間を決定することと、
前記施設に対する前記入場位置での第2のユーザの第2の入場時間を決定することと、
前記第1の入場時間と前記第2の入場時間との間の第1の差が第1の閾値よりも小さいことを決定することと、
前記第1のユーザの前記施設からの第1の出口における第1の退場時間を決定することと、
前記第2のユーザの前記施設からの前記第1の出口における第2の退場時間を決定することと、
前記第1の退場時間と前記第2の退場時間との間の第2の差が第2の閾値よりも小さいことを決定することと、
を含む、条項14または15のいずれかに記載の方法。
17.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記第1のユーザおよび前記第2のユーザが、少なくとも第1の継続時間の間、前記施設内で互いの第1の閾値距離内にいることを決定すること、
前記第1のユーザと前記第2のユーザとの間で物体が移送されていることを決定すること、
または前記第1のユーザおよび前記第2のユーザが第2の閾値距離内にいて、閾値の回数、互いに向くことを決定すること、
のうちの1つ以上を含む、条項14、15、または16のいずれかに記載の方法。
18.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することとは、
前記入場位置での前記第1のユーザによる第1のジェスチャを決定することであって、前記第1のジェスチャは前記第1のユーザがデータを示すことに関係づけられる、前記決定することと、
前記入場位置での前記第2のユーザによる前記第1のジェスチャがないことを決定することと、
を含む、条項14、15、16、または17のいずれかに記載の方法。
19.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記第2のユーザの身長を決定することと、
前記身長が閾値身長よりも低いことを決定することと、
を含む、条項14、15、16、17、または18のいずれかに記載の方法。
20.前記第2のユーザが前記第1のアカウントに関係づけられることを前記決定することは、
前記施設に対する前記入場位置での前記第1のユーザの第1の入場時間を決定することと、
前記入場位置で前記第1のユーザが示す第1のデータを決定することと、
前記施設に対する前記入場位置での前記第2のユーザの第2の入場時間を決定することと、
前記入場位置で前記第2のユーザがデータを示さなかったことを決定することと、
前記施設に対する前記入場位置での第3のユーザの第3の入場時間を決定することであって、前記第3の入場時間は前記第1の入場時間よりも前であるかまたは前記第2の入場時間よりも後である、前記決定することと、
前記入場位置で前記第3のユーザが示す第2のデータを決定することと、
前記第3のユーザを前記第1のアカウントに関係づけることから失格させることと、
を含む、条項14、15、16、17、18、または19のいずれかに記載の方法。
21.前記第2のユーザが前記施設から品物を取ったことを決定することと、
前記第1のアカウントに対する前記アイテムの課金を決定することと、
をさらに含む、条項14、15、16、17、18、19、または20のいずれかに記載の方法。

Claims (13)

  1. コンピュータによって実行される方法であって、
    第1の時間での施設への第1の入場位置における入場異常を判定することと、
    前記第1の時間の第1の閾値時間内に、前記第1の入場位置における第1のユーザの存在を判定することと、
    前記第1の時間の第2の閾値時間内に、前記第1の入場位置における第2のユーザの存在を判定することと、
    前記第1の時間に前記第1の入場位置において提示された第1のデータを判定することと、
    前記第1のデータと関連付けられた第1のアカウントを判定することであって、前記第1のアカウントは、前記第1のユーザと関連付けられる、前記第1のアカウントを判定することと、
    前記第2のユーザが前記第1のアカウントと関連付けられることを判定することと、
    備え
    前記入場異常を判定することは、
    前記第2のユーザが走査ジェスチャを行わなかったことを判定すること、
    前記第2のユーザが前記第1のユーザの第3の閾値時間内に前記第1の入場位置を通過したことを判定すること、または
    前記第1の時間の第4の閾値時間内に前記第1の入場位置において提示されたデータの総数が、前記第1の入場位置において検出された人の数の総数とは異なることを判定すること、のうちの1つ以上を含む、方法。
  2. 前記入場異常を判定することは、
    前記第1の入場位置の複数の画像を取得することと、
    前記複数の画像に基づいて、前記第2のユーザが前記第1の入場位置にいた間に、前記第2のユーザの手が前記第1の入場位置においてスキャナに近接した指定された領域内になかったことを判定することと、
    を含む、請求項1に記載の方法。
  3. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、
    第1の退出における前記施設からの前記第1のユーザの第1の退出時間を判定することと、
    前記第1の退出における前記施設からの前記第2のユーザの第2の退出時間を判定することと、
    前記第1の退出時間と前記第2の退出時間との間の差が第1の閾値未満であることを判定することと、
    を含む、請求項1または請求項2に記載の方法。
  4. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、前記第1のユーザが前記施設内で前記第2のユーザと対話したことを判定することを含む、請求項1、2または3のいずれか一項に記載の方法。
  5. 前記第1のユーザが前記第2のユーザと対話したことを判定することは、
    前記第1のユーザ及び前記第2のユーザが、少なくとも第1の持続期間の間に、前記施設内で相互の第1の閾値距離内にあることを判定すること、
    前記第1のユーザと第2のユーザとの間の物体の転送を判定すること、または
    前記第1のユーザ及び前記第2のユーザが、閾値の回数、第2の閾値距離内にあり、相互に対面していることを判定すること、
    のうちの1つ以上を更に含む、請求項4に記載の方法。
  6. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、
    前記第1の入場位置における前記第1のユーザによる第1のジェスチャを判定することであって、前記第1のジェスチャは、前記第1のユーザによる前記第1のデータの提示と関連付けられる、前記判定することと、
    前記第1の入場位置においてデータを提示する、前記第2のユーザによる第2のジェスチャの不存在を判定することと、
    を含む、請求項1、2、3、4または5のいずれか一項に記載の方法。
  7. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、
    前記第2のユーザの身長を判定することと、
    前記身長が閾値身長未満であることを判定することと、
    を含む、請求項1、2、3、4、5または6のいずれか一項に記載の方法。
  8. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、
    前記第1の入場位置における前記施設への前記第1のユーザの第1の入場時間を判定することと、
    前記第1の入場位置における前記施設への前記第2のユーザの第2の入場時間を判定することと、
    前記第1の入場時間と前記第2の入場時間との間の第1の差が第1の閾値未満であり、第2の閾値よりも大きいことを判定することと、
    を含む、請求項1、2、3、4、5、6または7のいずれか一項に記載の方法。
  9. コンピュータにより実行される方法であって、
    施設における1つ以上のセンサからデータを取得することと、
    前記データに少なくとも部分的に基づいて、第1の時間での入場位置における前記施設への入場異常を判定することと、
    前記データに少なくとも部分的に基づいて、前記第1の時間と関連付けられた第1のユーザ及び第2のユーザを判定することと、
    前記データに少なくとも部分的に基づいて、前記第2のユーザが、前記第1のユーザと関連付けられた第1のアカウントと関連付けられることを判定することと、
    備え
    前記入場異常を判定することは、
    前記第2のユーザが走査ジェスチャを行わなかったことを判定すること、
    前記第2のユーザが前記第1のユーザの閾値時間内に入場位置を通過したことを判定すること、
    前記入場位置におけるゲートが閉鎖されていた間に、前記第2のユーザが前記施設に入場したことを判定すること、
    前記第1の時間に前記入場位置において提示されたデータの総数が、前記入場位置において検出された人の数の総数とは異なることを判定すること、または
    前記第2のユーザが前記入場位置を通過したことを示すデータなしに、前記施設の内部の前記第2のユーザの存在を判定すること、のうちの1つ以上を含む、方法。
  10. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、
    前記入場位置における前記施設への前記第1のユーザの第1の入場時間を判定することと、
    前記入場位置における前記施設への第2のユーザの第2の入場時間を判定することと、
    前記第1の入場時間と前記第2の入場時間との間の第1の差が第1の閾値未満であることを判定することと、
    第1の退出における前記施設からの前記第1のユーザの第1の退出時間を判定することと、
    前記第1の退出における前記施設からの前記第2のユーザの第2の退出時間を判定することと、
    前記第1の退出時間と前記第2の退出時間との間の第2の差が第2の閾値未満であることを判定することと、
    を含む、請求項9に記載の方法。
  11. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、
    前記第1のユーザ及び前記第2のユーザが、少なくとも第1の持続期間の間に、前記施設内で相互の第1の閾値距離内にあることを判定すること、
    前記第1のユーザと前記第2のユーザとの間の物体の転送を判定すること、または
    前記第1のユーザ及び前記第2のユーザが、閾値回数、第2の閾値距離内にあり、相互に対面していることを判定すること、
    のうちの1つ以上を含む、請求項9または請求項10に記載の方法。
  12. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、
    前記入場位置における前記第1のユーザによる第1のジェスチャを判定することと、
    前記入場位置における前記第2のユーザによる前記第1のジェスチャの不存在を判定することと、
    を含む、請求項9、10または11のいずれか一項に記載の方法。
  13. 前記第2のユーザが前記第1のアカウントと関連付けられることを判定することは、
    前記入場位置における前記施設への前記第1のユーザの第1の入場時間を判定することと、
    前記入場位置において前記第1のユーザによって提示された第1のデータを判定することと、
    前記入場位置における前記施設への前記第2のユーザの第2の入場時間を判定することと、
    前記第2のユーザが前記入場位置においてデータを提示しなかったことを判定することと、
    前記入場位置における前記施設への第3のユーザの第3の入場時間を判定することであって、前記第3の入場時間は、前記第1の入場時間の前または前記第2の入場時間の後である、前記判定することと、
    前記入場位置において前記第3のユーザによって提示された第2のデータを判定することと、
    前記第3のユーザが前記第1のアカウントと関連付けられることが不適格であると判定することと、
    を含む、請求項9、10、11または12のいずれか一項に記載の方法。
JP2020571765A 2018-06-29 2019-06-27 ユーザの間のグループ関連付けを判定するシステム Active JP7130069B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/023,748 US11734688B2 (en) 2018-06-29 2018-06-29 System to determine group association between users
US16/023,748 2018-06-29
PCT/US2019/039492 WO2020006223A1 (en) 2018-06-29 2019-06-27 System to determine group association between users

Publications (2)

Publication Number Publication Date
JP2021530029A JP2021530029A (ja) 2021-11-04
JP7130069B2 true JP7130069B2 (ja) 2022-09-02

Family

ID=67470633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020571765A Active JP7130069B2 (ja) 2018-06-29 2019-06-27 ユーザの間のグループ関連付けを判定するシステム

Country Status (5)

Country Link
US (1) US11734688B2 (ja)
EP (1) EP3815009A1 (ja)
JP (1) JP7130069B2 (ja)
CN (1) CN112437932A (ja)
WO (1) WO2020006223A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263583B1 (en) 2018-03-28 2022-03-01 Amazon Technologies, Inc. Inferred determination of interaction using data from weight sensors
US11468400B1 (en) 2018-03-28 2022-10-11 Amazon Technologies, Inc. System to determine item weight using data from weight sensors
US11436557B1 (en) * 2018-03-28 2022-09-06 Amazon Technologies, Inc. Interaction determination using data from weight sensors
US11308442B1 (en) 2018-03-28 2022-04-19 Amazon Technologies, Inc. Joint inference determination of interaction using data from weight sensors
US11301984B1 (en) 2018-06-28 2022-04-12 Amazon Technologies, Inc. System to determine user interaction with fixture
CN111208920A (zh) * 2018-11-21 2020-05-29 艾力普提实验室公司 功率调节
US11004033B1 (en) * 2019-02-04 2021-05-11 Vecna Robotics, Inc. System and method of asynchronous and automated order fulfillment
US11587384B1 (en) * 2019-12-13 2023-02-21 Amazon Technologies, Inc. Group determination and association
US11151874B2 (en) * 2020-01-23 2021-10-19 Frogparking Limited Vehicle flow monitoring system
US12094279B2 (en) 2022-08-29 2024-09-17 Motorola Solutions, Inc. Allowing access through a controlled-access point

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286872A (ja) 2006-04-17 2007-11-01 Konica Minolta Holdings Inc 通行管理システム、及び通行管理方法
JP2008014001A (ja) 2006-07-05 2008-01-24 Omron Corp ゲートシステム
JP2008117264A (ja) 2006-11-07 2008-05-22 Chuo Electronics Co Ltd 不正通過者検出装置及びこれを利用した不正通過者録画システム
US20120180103A1 (en) 2011-01-06 2012-07-12 Weik Iii Martin Herman Garage management system
JP2014142838A (ja) 2013-01-24 2014-08-07 Panasonic Corp 入室管理システムおよび入室管理装置
JP2015011597A (ja) 2013-07-01 2015-01-19 株式会社 日立産業制御ソリューションズ 共連れ制御入退出管理システムおよびその共連れ制御方法
US10007892B1 (en) 2016-03-28 2018-06-26 Amazon Technologies, Inc. Capacitive sensor system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
DE69733514T2 (de) * 1996-07-15 2006-03-02 Sumitomo Rubber Industries Ltd., Kobe Kautschukmischung
US5875305A (en) * 1996-10-31 1999-02-23 Sensormatic Electronics Corporation Video information management system which provides intelligent responses to video data content features
DE102004059608A1 (de) * 2004-12-10 2006-06-14 Skidata Ag Zugangskontrollsystem
TWI276993B (en) 2005-03-15 2007-03-21 Ind Tech Res Inst Cart applying RFID technology
US7843491B2 (en) * 2005-04-05 2010-11-30 3Vr Security, Inc. Monitoring and presenting video surveillance data
AU2008265503A1 (en) * 2007-06-19 2008-12-24 Burchill Consulting Pty Ltd Asset acquisition, management and occupation systems and methods
US8630924B2 (en) 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US7949568B2 (en) 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US8009864B2 (en) 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US8189855B2 (en) 2007-08-31 2012-05-29 Accenture Global Services Limited Planogram extraction based on image processing
US9135491B2 (en) 2007-08-31 2015-09-15 Accenture Global Services Limited Digital point-of-sale analyzer
US8903119B2 (en) 2010-10-11 2014-12-02 Texas Instruments Incorporated Use of three-dimensional top-down views for business analytics
US20120284132A1 (en) 2011-05-03 2012-11-08 Uniyoung Kim Display device attachable to shopping carts, shopping cart, and digital signage display
US20120295580A1 (en) * 2011-05-19 2012-11-22 Boku, Inc. Systems and Methods to Detect Fraudulent Payment Requests
US20130284806A1 (en) 2011-10-19 2013-10-31 Ran Margalit Automated purchasing system
WO2013112749A1 (en) 2012-01-24 2013-08-01 University Of Southern California 3d body modeling, from a single or multiple 3d cameras, in the presence of motion
US9367865B2 (en) * 2012-07-03 2016-06-14 Adam Phillip TREISER System and method for providing consumers with access to an article while preventing theft thereof
US9892289B2 (en) * 2012-12-07 2018-02-13 Hand Held Products, Inc. Reading RFID tags in defined spatial locations
US8924735B2 (en) * 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
US9473747B2 (en) 2013-07-25 2016-10-18 Ncr Corporation Whole store scanner
US9485266B2 (en) * 2014-06-02 2016-11-01 Bastille Network, Inc. Security measures based on signal strengths of radio frequency signals
US9697656B2 (en) * 2014-08-19 2017-07-04 Sensormatic Electronics, LLC Method and system for access control proximity location
US9148424B1 (en) * 2015-03-13 2015-09-29 Snapchat, Inc. Systems and methods for IP-based intrusion detection
US10397220B2 (en) 2015-04-30 2019-08-27 Google Llc Facial profile password to modify user account data for hands-free transactions
US10685383B2 (en) * 2016-02-05 2020-06-16 Adobe Inc. Personalizing experiences for visitors to real-world venues
US10380814B1 (en) * 2016-06-27 2019-08-13 Amazon Technologies, Inc. System for determining entry of user to an automated facility

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286872A (ja) 2006-04-17 2007-11-01 Konica Minolta Holdings Inc 通行管理システム、及び通行管理方法
JP2008014001A (ja) 2006-07-05 2008-01-24 Omron Corp ゲートシステム
JP2008117264A (ja) 2006-11-07 2008-05-22 Chuo Electronics Co Ltd 不正通過者検出装置及びこれを利用した不正通過者録画システム
US20120180103A1 (en) 2011-01-06 2012-07-12 Weik Iii Martin Herman Garage management system
JP2014142838A (ja) 2013-01-24 2014-08-07 Panasonic Corp 入室管理システムおよび入室管理装置
JP2015011597A (ja) 2013-07-01 2015-01-19 株式会社 日立産業制御ソリューションズ 共連れ制御入退出管理システムおよびその共連れ制御方法
US10007892B1 (en) 2016-03-28 2018-06-26 Amazon Technologies, Inc. Capacitive sensor system

Also Published As

Publication number Publication date
US11734688B2 (en) 2023-08-22
JP2021530029A (ja) 2021-11-04
CN112437932A (zh) 2021-03-02
EP3815009A1 (en) 2021-05-05
US20200005319A1 (en) 2020-01-02
WO2020006223A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
JP7130069B2 (ja) ユーザの間のグループ関連付けを判定するシステム
US10380814B1 (en) System for determining entry of user to an automated facility
US11657617B1 (en) Presentation of a user interface for confirming unreliable group data
JP7351861B2 (ja) ユーザ識別子を指定するシステム及びその方法
US11340373B1 (en) System to determine portable device presence at a portal
US11057751B1 (en) User identification system using directional antennas and cameras
US11263795B1 (en) Visualization system for sensor data and facility data
US10591348B1 (en) System to process load cell data using door sensor data
US10482421B1 (en) System for expediting delivery of items
US10520353B1 (en) System to process load cell data
US10520352B1 (en) System to validate load cell data
US10943285B1 (en) Updating cart state using auto-generated sensor data
US10990923B1 (en) System and method for tracking objects within a facility
US11443275B1 (en) Maintaining accurate cart-state using auto-generated sensor data
US11521170B1 (en) Maintaining accurate cart-state using auto-generated sensor data
US11941629B2 (en) Electronic device for automated user identification
US11301984B1 (en) System to determine user interaction with fixture
US12033419B2 (en) Electronic device for automated user identification
US11880779B1 (en) Generating event results using auto-generated sensor data
US11625725B1 (en) Stateless secure payment system
US11392889B1 (en) Analysis of events for state detection
US11068962B1 (en) Updating cart state using auto-generated sensor data
US11615663B1 (en) User authentication system
US11868956B1 (en) Session-based analysis of events
US10311397B1 (en) Automatic discovery of endpoint devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220823

R150 Certificate of patent or registration of utility model

Ref document number: 7130069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150