JP7379677B2 - 自動ユーザー識別用電子デバイス - Google Patents

自動ユーザー識別用電子デバイス Download PDF

Info

Publication number
JP7379677B2
JP7379677B2 JP2022517779A JP2022517779A JP7379677B2 JP 7379677 B2 JP7379677 B2 JP 7379677B2 JP 2022517779 A JP2022517779 A JP 2022517779A JP 2022517779 A JP2022517779 A JP 2022517779A JP 7379677 B2 JP7379677 B2 JP 7379677B2
Authority
JP
Japan
Prior art keywords
user
determining
graphical element
data
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517779A
Other languages
English (en)
Other versions
JP2022548730A (ja
Inventor
ニコル ストックマン
コーウィン ジョン スミス
ダグラス アンドリュー ハンガーター
ジョシュア アダム コーワン
ジャレッド コルソ
ラジーブ ランジャン
プリスビラジ バネルジー
マシュー クリストファー スミス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of JP2022548730A publication Critical patent/JP2022548730A/ja
Application granted granted Critical
Publication of JP7379677B2 publication Critical patent/JP7379677B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Position Input By Displaying (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
本出願は、２０１９年９月２７日に出願された「ＥＬＥＣＴＲＯＮＩＣ ＤＥＶＩＣＥ ＦＯＲ ＡＵＴＯＭＡＴＥＤ ＵＳＥＲ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ」と題された米国特許出願第１６／５８５，３２８号の優先権を主張するものであり、その全内容は参照により本明細書に組み込まれる。
小売業者、卸売業者、およびその他の製品販売業者は、多くの場合、顧客との取引を完了するためにレジ係または専用のセルフチェックアウトスタンドを利用する実店舗を管理する。これらの従来のチェックアウトプロセスでは、顧客は、支払いや身分証明のための物理的なオブジェクトを携帯して使用する必要がある場合があり、そのようなクレジットカードやデビットカード、運転免許証、電話など。将来的には、実店舗では様々な種類のセンサーを利用して、レジ係や専用のセルフチェックアウトスタンドなしでユーザーが商品を購入して支払うことができるようになり得る。いくつかの例では、物理的なオブジェクトの使用を必要としない方法を使用して顧客を識別し、顧客が実店舗から取り出したアイテムに対して適切な顧客アカウントに請求することが望ましい場合がある。
詳細な説明が添付の図を参照して記述される。図中、参照番号の左端の数字は、この参照番号が最初に出現する図を示す。異なる図で同じ参照番号を使用している場合、類似または同一の項目または機能を示す。
〈図１Ａから１Ｂ）生体認証データを取得する際の指示を提供するプロセスの例をまとめて示す。
〈図２Ａから２Ｆ〉ユーザー認識デバイス上の目標位置に手を置くための指示を提供するユーザーインターフェースの例を示す。
〈図３Ａから３Ｆ〉生体認証データを取得する際に追加情報を入力するための指示を提供するユーザーインターフェースの例を示す。
〈図４Ａから４Ｄ〉ユーザー認識デバイスが生体認証データを取得することができるように、ユーザーの一部を位置付けるための目標位置の例を示す。
〈図５〉手のひらの中心を識別するために手を分析する例を示す。
〈図６〉ユーザーがユーザー認識システムに登録したいと決定するためのユーザー認識デバイスを含む環境の例を示す。
〈図７〉ユーザー認識システムの機能の少なくとも一部をサポートするように構成された１つ以上のサーバのブロック図を含む環境の例と、ユーザーをユーザー認識システムに登録するためのシステム内のデータフローの例を示す。
〈図８〉ユーザー認識システムの機能の少なくとも一部をサポートするように構成された１つ以上のサーバのブロック図を含む環境の例と、ユーザー認識システムのユーザーを識別し、場合によってはユーザーの登録を更新するためのシステム内のデータフローの例を示す。
〈図９〉ユーザー認識システムの機能の少なくとも一部をサポートするように構成されたユーザー認識デバイスのコンポーネントの例を示す。
〈図１０Ａから１０Ｂ〉ユーザー認識デバイスに対して目標位置に手を置くことに関連する指示を提供するためのプロセスの例の流れ図をまとめて示す。
〈図１１〉生体認証データの入力に関連する指示を提供するためのプロセスの例の流れ図を示す。
〈図１２〉電子デバイスに対するユーザーの一部の位置を決定するためのプロセスの例の流れ図を示す。
〈図１３〉センサーと、センサーデータを使用して施設内で発生したイベントに関する出力を生成するように構成された在庫管理システムとを含む、マテリアルハンドリング施設の例のブロック図である。
〈図１４〉施設の運用をサポートするように構成された１つ以上のサーバのブロック図を示す。
本開示は、生体認証技術を使用してユーザーを識別するためのシステム、技術、およびユーザーインターフェースについて説明する。以下に説明するように、ユーザーは、様々な生体認証ベースの認識技術を利用するユーザー認識システムに登録できるため、ＩＤカードの提示や個人の電話へのアクセスなど、従来の形式の身分証明書を携帯したり使用したりする必要なしに、ユーザーは識別され得る。ユーザー認識システムは、登録ユーザーが施設内で選択したアイテムの購入を適切なユーザーアカウントに請求することにより、マテリアルハンドリング施設（または「施設」）での従来のチェックアウト体験を自動化するなど、様々な目的で登録ユーザーを認識または識別できる。
１つの用例では、このシステムおよび技術は、在庫管理システムを含むか、または在庫管理システムにアクセスできる、マテリアルハンドリング施設内のユーザーを認識または識別するために使用される。在庫管理システムは、アイテム、ユーザー、施設の状態などに関する情報を維持するように構成することができる。例えば、在庫管理システムは、特定のユーザーが選択または返品するアイテム、特定のユーザーの位置など、施設内で発生する様々なイベントの結果を示すデータを維持することができる。
在庫管理システムの運用は、１つ以上のセンサーによって取得されたセンサーデータによってサポートすることができる。センサーデータは、カメラなどのイメージングデバイスによって取得された画像データ、無線周波数タグ、重量センサーなどから取得された情報を含むことができる。例えば、在庫管理システムは、在庫場所から取り出されたアイテムと、そのアイテムを取り出したユーザーを自動的に識別することができる。それに応じて、在庫管理システムは、ユーザーの仮想ショッピングカートを自動的に更新することができる。
従来、ユーザーがショッピングセッションを終了すると、ユーザーはレジ係に商品をスキャンさせるか、専用のセルフチェックアウトスタンドを使用して商品の代金を支払う必要があった。本明細書で説明する技術は、ユーザー認識システムの使用に登録されたユーザーを認識または識別し、仮想ショッピングカートに含まれるアイテムのコストをそのユーザーのユーザーアカウントに請求することにより、従来のチェックアウ体験における摩擦を軽減する。本明細書に記載の技術によれば、ユーザー認識システムに登録されたユーザーは、ユーザー認識システムによって識別されるために、例えば、イメージングデバイスでユーザーの手のひらをスキャンする、ユーザーの指紋をスキャンする、施設内に設置されたユーザー認識デバイスのカメラを見つめるなどにより生体認証情報のみを提供しさえすればよい場合がある。
ユーザー認識システムを利用するために、ユーザーは、施設内に位置決めされたユーザー認識デバイスと対話することによって登録を要求することができる。例えば、ユーザーは、ユーザー認識デバイスのディスプレイ上で登録オプションを選択し、登録を要求する音声またはＧＵＩベースのコマンドを発行し、ユーザーＩＤカードをユーザー認識デバイスに挿入し、および／または登録プロセスを促すために、単にユーザー認識デバイスの前に手または手のひらを提示することができる。
ユーザー認識システムへの登録を要求すると、ユーザー認識デバイスは、ユーザーからの許可を得て、および／またはユーザーからの明示的な要求に応じて、ユーザーのために様々なタイプの生体認証データおよび／または他のデータの収集を開始することができる。例えば、ユーザー認識デバイスは、ユーザーの手のひら、ユーザーの顔などのユーザーの少なくとも一部の画像データ（例えば、個々の画像、一連の画像、ビデオなど）のキャプチャを開始する１つ以上の画像センサー（例えば、カメラ）を含むことができる。手のひらの例では、ユーザー認識デバイスは、ユーザー認識デバイスが画像データをキャプチャするときに、ユーザーが異なる角度および／または向きに手を動かすことを要求することができ、また、異なる照明条件（例えば、フラッシュなし、フラッシュ、異なる光の偏光など）下で画像データをキャプチャして、異なる環境条件下のユーザーの手のひらを表す画像データを生成することができる。
いくつかの例では、ユーザーは、ショッピングセッション中に選択したアイテムの支払いを行うために在庫管理システムに登録されたアカウントをすでに持っている場合がある。このような例では、ユーザー認識デバイスは、ユーザーに、個人ＩＤカード（例えば、運転免許証）を挿入する、ユーザーの電話のディスプレイに提示され得るバーコードをスキャンする、ユーザーのログイン資格情報を使用してログインする、などを要求することなどによって、様々な方法でユーザーが登録されているユーザーアカウントを判別することができる。
ユーザー認識デバイスが、ユーザーの手のひらまたは他の部分を表す画像データを取得すると、ユーザー認識デバイスは、このデータを利用して、ユーザーをユーザー認識システムに登録することができる。いくつかの例では、ユーザー認識システムは、本明細書で説明される技術を実装するためのソフトウェア、ファームウェア、および／またはハードウェアコンポーネントを含むことができるユーザー認識デバイス上に完全に実装できる。しかしながら、いくつかの例では、ユーザー認識システムは、ユーザー認識デバイスがクライアント側の登録および識別技術を実行し、より集中的および／または高度な処理がバックエンドのサーバベースの実装を使用して実行できる、分割アーキテクチャに従って実装することができる。例えば、ユーザー認識システムは、施設内の別個の位置、および／またはリモートのクラウドベースの位置に位置決めされた１つ以上のネットワークベースのコンピューティングデバイスを含むことができる。ネットワークベースのデバイスは、ユーザー認識システムを実装するための様々なコンポーネントを含むことができる。
そのような例では、ユーザー認識デバイスは、画像データ、および／または画像データを使用してユーザー認識デバイスによって生成された特徴データをネットワークベースのデバイスに送信して、ユーザーをユーザー認識システムに登録することができる。ユーザー認識システムのネットワークベースのデバイスは、ユーザー認識システムがその後に受信された画像データおよび／または特徴データからユーザーを識別できるように、画像データおよび／または特徴データに対して様々な処理技術を実行することができる。
ユーザー認識システムは、画像データを分析して、ユーザーの様々な特徴を決定することができる。例えば、ユーザー認識システムは、画像データに基づいて、ユーザーの手のひらを表す手のひら特徴データを抽出および／または生成することができる。この手のひらの特徴データは、ユーザーの手のひらのしわのパターン、ユーザーの手のひらの静脈のパターン、ユーザーの手の１つ以上の部分の形状（例えば、指のサイズ／形状、手のひらのサイズ／形状など）、および／または同様のものなど、ユーザーの手のひらに潜在的に固有の情報を表すことができる。ユーザー認識システムは、任意のタイプの処理技術を利用して手のひらの特徴データを生成することができ、特徴ベクトルなどの様々なタイプのデータ構造を使用して画像データに描写されるユーザーの手のひらを表すことができる。いくつかの例では、ユーザー認識システムは、入力としてユーザーの画像データを受信し、ユーザーの手のひらを表す特徴ベクトルを出力するように訓練された１つ以上の訓練されたモデル（例えば、機械学習モデル）を含むことができる。概して、訓練されたモデルは、ユーザーの手のひらおよび／またはユーザーの他の１つ以上の部分（例えば、顔など）を識別するように訓練できる、機械学習モデル（例えば、人工ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、分類器、ランダムフォレストモデルなど）など、任意のタイプのモデルを含むことができる。
ユーザーの手のひらを表す特徴データを取得すると、ユーザー認識システムは、特徴データを登録データベースに格納し、その特徴データをその特定のユーザーのユーザープロファイルに関連付けることができる。このようにして、ユーザー認識デバイスでユーザーの後続の画像データを受信すると、登録データベースに格納された特徴データを後続の画像データから生成された特徴データと比較して、後続の画像データと音声データで表されたユーザーのユーザープロファイルを識別することができる。
このようにして、ユーザーは、ユーザー認識システムの使用のために登録され得るため、その後のショッピングセッションを完了した後、ユーザーは、ユーザー認識システムがユーザーを自動的に認識できるようにユーザー認識デバイスのイメージングコンポーネントの上に手のひらを置くことによってチェックアウトすることができる。ユーザー認識デバイスは、ユーザーの存在を検出し（例えば、手のひらを検出し、顔を検出し、発話を検出し、タッチディスプレイを介してタッチ入力を検出するなど）、画像データおよび音声データをユーザー認識システムのバックエンドデバイスにストリーミングし始めることができる。次に、ユーザー認識システムのバックエンドデバイスは、訓練されたモデルを利用して、特徴データを抽出し、その特徴データを、登録されたユーザーのユーザープロファイルの格納された特徴データと比較することができる。さらに、または代替として、ユーザーは施設に入るときに認識のために手のひらをスキャンすることができ、場合によっては、手のひらを再度スキャンすることなく、選んだアイテムを持ってただ施設を出るだけでよい。これらの例では、ユーザーは入室時に識別され、ユーザーが施設内を移動するときにシステムによって位置を特定されるため、ユーザーは施設内の従業員やデバイスとさらに対話することなく「ただ外に出る」ことができる。
上記のように、ユーザー認識デバイスは、ユーザー認識デバイスが画像データをキャプチャするときに、ユーザーに、異なる位置、角度、および／または向きに手を動かすことを要求することができる。場合によっては、ユーザー認識デバイスは、手を異なる位置、角度、および／または向きに動かすようにユーザーに指示するのに役立つ１つ以上のユーザーインターフェースを提供することができる。例えば、ユーザー認識デバイスは、ユーザー認識デバイスのイメージングコンポーネント上にユーザーの手を位置付けるための指示を含むユーザーインターフェース（「第１のユーザーインターフェース」と呼ばれる）を表示することができる。第１のユーザーインターフェースは、ユーザーがまだユーザープロファイルを作成していない場合に、ユーザーが新しいユーザープロファイルを作成するために選択することができるインターフェース要素をさらに含むことができる。さらに、場合によっては、第１のユーザーインターフェースは、どのようにイメージングコンポーネント上に手を位置付けるかの図を含むことができる。ユーザー認識デバイスは、ユーザーが最初にユーザー認識デバイスに近づくときに、この第１のユーザーインターフェースを表示することができる。
第１のユーザーインターフェースを表示している間、ユーザー認識デバイスは、イメージングコンポーネント上にあるユーザーの手を検出することができる。いくつかの例では、ユーザー認識デバイスは、距離センサーを使用して手を検出することができる。他の例では、ユーザー認識デバイスは、１つ以上のイメージングセンサーを使用して手を検出することができる。いずれの例においても、ユーザーの手を検出することに基づいて、ユーザー認識デバイスは、イメージングコンポーネント上の目標位置に手を置かせるための指示を提供するユーザーインターフェース（「第２のユーザーインターフェース」と呼ばれる）を表示することができる。
本明細書で説明するように、イメージングコンポーネント上の目標位置は、イメージングコンポーネントに対する目標垂直位置（例えば、ｚ方向）と、イメージングコンポーネントに対する目標水平位置（例えば、ｘ方向およびｙ方向）の両方を含むことができる。いくつかの例では、目標垂直位置は、イメージングコンポーネントの上方の８～５ミリメートルなど、イメージングコンポーネントの上方の垂直距離に関連付けることができる。しかしながら、他の例では、目標垂直位置は、イメージングコンポーネントの上方の他の任意の垂直距離に関連付けることができる。さらに、いくつかの例では、目標水平位置は、ｘ方向およびｙ方向の両方で、イメージングコンポーネントの中央に関連付けることができる。場合によっては、目標垂直位置および／または目標水平位置はまた、生体認証データをキャプチャするときにいくらかのオフセットを許容できる。例えば、目標垂直位置は、手がイメージングコンポーネントから７５ミリメートル～９５ミリメートル上に位置することを許容できる。さらに、目標垂直位置は、手がｘ方向またはｙ方向のいずれかで２０ミリメートルに位置することを許容できる。
第２のユーザーインターフェースは、イメージングコンポーネント上の目標位置に関連付けられた第１のグラフィカル要素を含むことができる。いくつかの例では、第１のグラフィカル要素は、第２のユーザーインターフェースの中心に近接して位置する円を含む。円は、実線、破線、および／または他の任意のタイプの線を含むことができる。他の例では、第１のグラフィカル要素は、異なるタイプの形状を含むことができる。例えば、第１のグラフィカル要素は、正方形、長方形、五角形、六角形、手の形状、および／または他の任意の形状を含むことができるが、これらに限定されない。さらに、他の例では、第１のグラフィカル要素は、第１のユーザーインターフェース上の任意のポジションに位置することができる。
第２のユーザーインターフェースは、イメージングコンポーネントの上のユーザーの手の位置に関連する第２のグラフィカル要素をさらに含むことができる。例えば、ユーザーの手がイメージングコンポーネントの上にある間、ユーザー認識デバイスは、１つ以上のセンサーを使用して、イメージングコンポーネントの上にあるユーザーの手の位置を検出することができる。ユーザーの手の位置は、イメージングコンポーネントに対する垂直位置およびイメージングコンポーネントに対する水平位置を含むことができる。いくつかの例では、ユーザー認識デバイスは、設定された時間間隔でユーザーの手の位置を検出することができる。例えば、ユーザー認識デバイスは、ミリ秒、秒ごとなどでユーザーの手の位置を検出することができる。いくつかの例では、例えば、ユーザー認識デバイスが１つ以上のイメージングセンサーを使用して位置を検出する場合、ユーザー認識デバイスは、画像データによって表される各フレーム、画像データによって表される１つおきのフレーム、画像データによって表される５つごとのフレーム、および／または同様のものを使用してユーザーの手の位置を検出することができる。
次に、ユーザー認識デバイスは、ユーザーの手の検出された位置に基づいて、第２のグラフィカル要素を更新することができる。例えば、ユーザー認識デバイスは、ユーザーの手の垂直位置に基づいて、第２のグラフィカル要素のサイズを更新することができる。例えば、ユーザーの手の垂直位置がイメージングコンポーネントの目標垂直位置に近接している場合（例えば、イメージングコンポーネントの上方８～５ミリメートル）、ユーザー認識デバイスは、第２のグラフィカル要素のサイズを第１のグラフィカル要素のサイズと一致させることができる。しかしながら、ユーザーの手の垂直位置が、設定された垂直位置よりもイメージングコンポーネントから離れている場合（例えば、イメージングコンポーネントの１００ミリメートル上）、ユーザー認識デバイスは、第２のグラフィカル要素を第１のグラフィカル要素のサイズより大きくすることができる。これは、イメージングコンポーネントに近づくように手を下げるようにユーザーに通知することができる。それでも、ユーザーの手の垂直位置が目標垂直位置よりもイメージングコンポーネントに近い場合（例えば、イメージングコンポーネントの５０ミリメートル上）、ユーザー認識デバイスは、第２のグラフィカル要素を第１グラフィカル要素よりも小さくすることができる。これは、手をイメージングコンポーネントよりさらに上に上げることをユーザーに通知することができる。
ユーザー認識デバイスはまた、ユーザーの手の水平位置に基づいて、第２のグラフィカル要素のポジションを更新することができる。例えば、ユーザーの手の水平位置がイメージングコンポーネントの目標水平位置に近接している場合（例えば、イメージングコンポーネントの中央近く）、ユーザー認識デバイスは、第２のグラフィカル要素を第１のグラフィカル要素内の中心に置くことができる。ただし、ユーザーの手の水平位置がイメージングコンポーネントの水平位置のセットの左または右にある場合（例えば、ｘ方向のオフセット）、ユーザー認識デバイスは、第２のグラフィカル要素を第１のグラフィカル要素の中心から左または右方向にオフセットさせることができる。これは、イメージングコンポーネントに対してユーザーの手を左または右に動かすようにユーザーに通知することができる。それでも、ユーザーの手の水平位置が、イメージングコンポーネントの目標水平位置の前または後ろにある場合（例えば、ｙ方向のオフセット）、ユーザー認識デバイスは、第２のグラフィカル要素を第１のグラフィカル要素の中心から上または下方向にオフセットさせることができる。これは、イメージングコンポーネントに対してユーザーの手を前または後ろの方向に動かすようにユーザーに通知することができる。これらは、ユーザーの手の位置に基づいて第２のグラフィカル要素を更新するほんの数例であるが、他の例では、ユーザー認識デバイスは、追加および／または代替の技術を使用して第２のグラフィカル要素を更新することができる。
場合によっては、第２のユーザーインターフェースは、目標位置に手を置かせる指示をさらに含むことができる。第１の例では、ユーザーの手の水平位置がイメージングコンポーネントの目標水平位置の左側にある場合、第２のユーザーインターフェースは、ユーザーが手を「右」に動かす必要があることを示す指示を含むことができる。第２の例では、ユーザーの手の水平位置がイメージングコンポーネントの目標水平位置の右側にある場合、第２のユーザーインターフェースは、ユーザーが手を「左」に動かす必要があることを示す指示をふくむことができる。第３の例では、ユーザーの手の水平位置がイメージングコンポーネントの目標水平位置の前にある場合、第２のユーザーインターフェースは、ユーザーが手を「後ろ」に動かす必要があることを示す指示を含むことができる。第４の例では、ユーザーの手の水平位置がイメージングコンポーネントの目標水平位置の後ろにある場合、第２のユーザーインターフェースは、ユーザーが手を「前方」に動かす必要があることを示す指示を含むことができる。
第５の例では、ユーザーの手の垂直位置が目標垂直位置よりもイメージングコンポーネントに近い場合、第２のユーザーインターフェースは、ユーザーが手を「より高く」動かす必要があることを示す指示を含むことができる。さらに、第６の例では、ユーザーの手の垂直位置が目標垂直位置よりもイメージングコンポーネントから離れている場合、第２のユーザーインターフェースは、ユーザーが手を「より低く」動かす必要があることを示す指示を含むことができる。これらは、第２のユーザーインターフェースがユーザーに提供できる指示のほんの数例であるが、他の例では、第２のユーザーインターフェースは、ユーザーに手を位置付ける場所を指示するのを助ける追加および／または代替の指示を提供することができる。
場合によっては、ユーザー認識デバイスは、１つ以上の追加および／または代替の技術を使用して、第２のグラフィカル要素を更新することができる。例えば、ユーザー認識デバイスは、手の位置（例えば、垂直位置または水平位置）、手のポーズ、手の向き、手の傾きなどに基づいて、第２のグラフィカル要素のサイズ、形状、ポジション、および／または色を更新することができる。さらに、第２のユーザーインターフェースは、ユーザーが手のポーズ、手の向き、および／または手の傾きを変更する必要があることを示す指示を提供することができる。これらの指示は、ユーザーがユーザー認識デバイス上に手を置くための正しい位置、ポジション、向き、および／または傾斜を決定するのにさらに役立ち得る。
ユーザー認識デバイスは、ユーザー認識デバイスが、ユーザーの手が目標位置に近接していることを検出するまで、ユーザーに指示を提供し続けることができる。いくつかの例では、ユーザー認識デバイスは、手の垂直位置が、目標垂直位置まで閾値距離以内にあり（例えば、閾値距離未満）かつ手の水平位置が、目標水平位置まで閾値距離以内にあると判断することに基づいて、手が目標位置に近接していることを検出することができる。本明細書に記載されるように、閾値距離は、１０ミリメートル、２０ミリメートル、３０ミリメートル、および／または他の任意の距離を含むことができるが、これらに限定されない。
場合によっては、ユーザー認識デバイスが、ユーザーの手が目標位置の近くにあることを検出した後、ユーザー認識デバイスは、手が正しい場所にあることを示すユーザーインターフェース（「第３のユーザーインターフェースと呼ばれる）を表示することができる。さらに、ユーザーがすでにユーザー認識システムに登録している場合、ユーザー認識システムは、本明細書に記載のプロセスを実行して、ユーザーに関連付けられたユーザープロファイルを識別することができる。ユーザーがまだユーザー認識システムに登録していない場合、ユーザー認識デバイスは、ユーザー認識システムに登録するための追加情報を受信するための１つ以上の追加のユーザーインターフェースを提供することができる。
第１の例では、ユーザー認識デバイスは、ユーザーに関連する情報を入力するためのユーザーインターフェース（「第４のユーザーインターフェース」と呼ばれる）を表示することができる。情報は、ユーザーの識別子（例えば、名前、ユーザー名）、オンラインマーケットプレイスに関連付けられたアカウントの識別子、ユーザーに関連付けられた電話番号、ユーザーと関連付けられた電子メールアドレス、および／またはその他の情報を含むことができるが、これらに限定されない。第２の例として、ユーザー認識デバイスは、ユーザー認識デバイスのリーダーに支払い手段を挿入するようにユーザーに指示するユーザーインターフェース（「第５のユーザーインターフェース」と呼ばれる）を表示することができる。例えば、第５のユーザーインターフェースは、デビットカードまたはクレジットカードをユーザー認識デバイスのカードリーダーに挿入するようにユーザーに指示することができる。場合によっては、支払い手段をリーダーに挿入した後、第５のユーザーインターフェースは、支払い手段からの支払い情報が受信されたという表示を表示することができる。
上で論じたように、ユーザー認識デバイスは、１つ以上のセンサーを使用して、イメージングコンポーネントに対するユーザーの手の位置を決定することができる。いくつかの例では、ユーザー認識デバイスは、１つ以上の距離センサーを使用して、ユーザーの手の垂直位置を決定することができる。１つ以上の距離センサーは、赤外線センサー（ＩＲセンサー）、ＬＩＤＡＲセンサー、および／またはイメージングコンポーネントに対するユーザーの手の距離を検出できる他の任意のタイプのセンサーを含むことができるが、これらに限定されない。例えば、１つ以上の距離センサーは、イメージングコンポーネント内および／またはイメージングコンポーネントに近接して配置することができ、１つ以上の距離センサーが垂直方向（例えば、ｚ方向）に上向きに向けられるように位置決めすることができる。いくつかの例では、ユーザー認識デバイスは、１つ以上の追加および／または代替のタイプのセンサーを使用して、ユーザーの手の垂直位置を決定することができる。
ユーザー認識デバイスは、１つ以上の画像センサーを使用して、ユーザーの手の水平位置を決定することができる。例えば、上記のように、ユーザー認識デバイスは、１つ以上の訓練されたモデルを使用して、ユーザーの手を描写した画像データを使用して特徴データを生成することができる。特徴データは、手のひら上の様々な場所、手のひらの中心の場所、指上の場所（例えば、指の始点、指の関節の位置、指の間の部分など）、親指上の位置、手の方向、手のポーズ、手の向き、および／または手に関連付けられているその他の属性などの、手に関連付けられた属性を少なくとも示すことができるが、これらに限定されない。特徴データを使用して、ユーザー認識デバイスは、ユーザーの手の水平位置を決定することができる。例えば、ユーザー認識デバイスは、手のひらの中心を使用して、イメージングコンポーネントに対するユーザーの手の水平位置を決定することができる。
場合によっては、手を表す画像データを受け入れる前、および／またはイメージングコンポーネントに対する手の水平位置を決定する前に、ユーザー認識デバイスは、１つ以上の訓練されたモデルによって生成された特徴データを使用して１つ以上の追加のチェックを実行できる。第１の例では、ユーザー認識デバイスは、１つ以上の画像センサーによって検出されている物体が本物の手であること、および／または手が１つ以上の画像センサーの視野内にあることを決定することができる。例えば、１つ以上の訓練されたモデルは、手が１つ以上の画像センサーの視野内に位置している、物体が手である、物体が手ではない、または手が１つ以上の画像センサーの視野内に位置していないことを示すデータを出力することができる。
第２の例では、ユーザー認識デバイスは、手の角度の程度がイメージングコンポーネントに対して閾値角度内にあると決定することができる。ユーザー認識デバイスは、手の１つ以上の点の位置などの属性を使用して、手の角度の程度を決定することができる。閾値角度は、２度、５度、１０度、および／または他の任意の角度を含むことができるが、これらに限定されない。第３の例では、ユーザー認識デバイスは、手のポーズが許容可能であると決定することができる。場合によっては、ユーザー認識デバイスは、手がイメージングコンポーネントの平面に沿って位置決めされた平面形状を含むときに、ポーズが許容可能であると決定する。さらに、ユーザー認識デバイスは、手がカップ状、拳状に位置決めされているとき、および／または手がジェスチャをしているときに、手のポーズが許容できないと決定することができる。
第４の例では、ユーザー認識デバイスは、手の傾きが閾値傾き内にあると決定することができる。場合によっては、ユーザー認識デバイスは、手がイメージングコンポーネントの平面に平行であるとき、および／またはイメージングコンポーネントの平面に平行である閾値角度内にあるとき、手の傾きが閾値傾き内にあると決定することができる。さらに、ユーザー認識デバイスは、手がイメージングコンポーネントの平面と平行である閾値角度内にない場合、手の傾きが閾値傾き内にないと決定することができる。さらに、第５の例では、ユーザー認識デバイスは、手が右手を含むか左手を含むかを決定することができる。
いくつかの例では、１つ以上の追加のチェックを実行するとき、ユーザー認識デバイスは、少なくとも１つのチェックが失敗したときに、追加の画像データをキャプチャおよび分析する必要があると決定することができる。例えば、ユーザー認識デバイスが、手のポーズが拳を含むと決定した場合、ユーザー認識デバイスは、手の水平位置を決定するために、分析のために追加の画像データを生成することを決定することができる。別の例では、ユーザー認識デバイスが、手の角度の程度が閾値角度を超えると決定した場合、ユーザー認識デバイスは、手の水平位置を決定するために、分析のために追加の画像データを生成することを決定することができる。
場合によっては、ユーザー認識システムは、個々のユーザーについて、異なる時点でキャプチャされた画像データに対応する複数の画像データまたは手のひらの特徴データを格納することができる。例えば、特定のユーザーが最初にユーザー認識システムに登録するとき、システムは、ユーザーのアカウントに関連して、ユーザーの手のひらの画像データおよび／または画像データに基づいて生成された手のひら特徴データのうちの少なくとも１つを格納することができる。したがって、ユーザーが、識別のためにユーザー認識システムを利用し、ユーザーの手のひらの画像データを提供する施設に戻るとき、この新しい画像データを使用して生成された手のひら特徴データは、格納された手のひら特徴データと比較され、施設にいるユーザーがプロファイルに関連付けられたユーザーに対応する場合を決定することができる。この新しい手のひら特徴データは、ユーザーを識別するために、複数の異なるユーザープロファイルに関連付けられた手のひら特徴データと比較できることを理解されたい。
本明細書で説明する技術は、主に、マテリアルハンドリング施設から選択されたアイテムに請求するユーザーアカウントを識別する目的でユーザーを識別することに関するものであるが、この技術は、ユーザー認識に役立ち得る任意の業界に等しく適用可能である。例えば、ユーザー認識システムは、ロックされた場所へのアクセス、コンピューティングデバイスを介したユーザーアカウントへのアクセス、銀行口座へのアクセスなどのセキュリティ目的のために実装できる。さらに、特定のタイプの機械学習モデルとアルゴリズムが本明細書で論じられているが、この手法は他のタイプの技術を使用して採用でき、通常、様々なコンピューターベースの実装に拡張可能である。
さらに、上記の技術は、手の位置を決定するユーザー認識デバイスを含むが、他の例では、バックエンドデバイスが手の位置を決定することができる。例えば、ユーザー認識デバイスは、１つ以上のセンサーを使用して生成されたセンサーデータをバックエンドデバイスに送信することができる。次に、バックエンドデバイスは、ユーザー認識デバイスに関して、本明細書で説明されたプロセスを実行して、手の位置を決定することができる。さらに、バックエンドデバイスは、手の位置を示すデータをユーザー認識デバイスに送信することができる。次に、ユーザー認識デバイスは、ユーザーに指示を提供するときに、データを使用してユーザーインターフェースを更新することができる。
以下の説明では、マテリアルハンドリング施設内での技術の使用について説明する。本明細書に記載されている施設には、倉庫、配送センター、クロスドッキング施設、オーダーフルフィルメント施設、梱包施設、出荷施設、レンタル施設、図書館、小売店、卸売店、美術館、またはマテリアル（在庫）ハンドリングの１つ以上の機能を実行するためのその他の施設もしくは施設の組み合わせが含まれ得るが、これらに限定されない。他の実装では、本明細書で説明される技術は、他の施設または状況で実装できる。
ここで、本開示の特定の実装形態および実施形態は、様々な態様が示されている添付の図を参照して、以下でより完全に説明される。しかしながら、様々な態様は、多くの異なる形式で実装することができ、本明細書に記載の実装に限定されるものとして解釈されるべきではない。本開示は、本明細書に記載されるように、実施形態の変形を包含する。同様の数字は、全体を通して同様の要素を指す。
図１Ａ～図１Ｂは、生体認証データをキャプチャする際の指示を提供するプロセス例１００をまとめて示す。１０２において、ユーザー認識デバイス１０４は、デバイス上に位置する手１０６を検出することができる。例えば、ユーザー認識デバイス１０４は、手１０６をユーザー認識デバイス１０４の上に位置付けるための指示を含む第１のユーザーインターフェース１０８を表示することができる。図１Ａ～図１Ｂの例では、指示は、ユーザーがユーザー認識デバイス１０４の部分（例えば、リング）の上に手をかざすべきであることを示している。しかしながら、他の例では、指示は、ユーザー認識デバイス１０４の上に手１０６を位置付けるようにユーザーに示す他の任意の指示を含むことができる。次に、ユーザー認識デバイス１０４は、１つ以上のセンサーを使用して、手１０６を検出することができる。例えば、ユーザー認識デバイス１０４は、距離センサーを使用して、ユーザー認識デバイス１０４の上に配置された手１０６を検出することができる。別の例では、ユーザー認識デバイス１０４は、１つ以上の画像センサーを使用して、手１０６を表す画像データを生成することができる。次に、ユーザー認識デバイス１０４は、画像データを分析して、手１０６がユーザー認識デバイス１０４の上に位置していると決定することができる。
１１０で、ユーザー認識デバイス１０４は、手１０６を配置するための目標位置を示す第１のグラフィカル要素１１２を表示することができる。例えば、手１０６の検出に基づいて、ユーザー認識デバイス１０４は、第１のグラフィカル要素１１２を含む第２のユーザーインターフェース１１４を表示することができる。第１のグラフィカル要素１１２は、ユーザー認識デバイス１０４上に手１０６を配置するための目標位置に関連付けることができる。場合によっては、目標位置は、ユーザー認識デバイス１０４上の目標垂直位置および目標水平位置に関連付けることができる。
１１６で、ユーザー認識デバイス１０４は、手１０６の第１の位置を示す第２のグラフィカル要素１１８を表示することができる。例えば、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４上の手１０６の第１の位置を決定することができる。場合によっては、ユーザー認識デバイス１０４は、１つ以上のセンサーを使用して第１の位置を決定する。例えば、ユーザー認識デバイス１０４は、１つ以上の画像センサーを使用して、手１０６を表す画像データを生成することができる。次に、ユーザー認識デバイス１０４は、画像データを使用して特徴データを生成することができ、ここで、特徴データは、手１０６に関連付けられた１つ以上の属性を表す。１つ以上の属性は、手のひら上の様々な場所、手のひらの中心の場所、指上の場所（例えば、指の始点、指の関節の位置、指の間の部分の位置など）、親指上の位置、手１０６の方向、手１０６のポーズ、手１０６の向き、および／または手１０６に関連付けられているその他の属性を含むことができるが、これらに限定されない。特徴データを使用して、ユーザー認識デバイス１０４は、ユーザーの手の水平位置を決定することができる。
さらに、ユーザー認識デバイス１０４は、距離センサーを使用して、ユーザー認識デバイス１０４の上の手１０６の垂直位置を決定することができる。水平位置および垂直位置に少なくとも部分的に基づいて、ユーザー認識デバイス１０４は、第２のグラフィカル要素１１８を第２のユーザーインターフェース１１４上に表示することができ、第２のグラフィカル要素１１８は、水平位置および垂直位置を示す。例えば、図１Ａ～図１Ｂの例に示されるように、第２のグラフィカル要素１１８は、第２のユーザーインターフェース１１４上の第１のグラフィカル要素１１２から下方に位置している。これは、手１０６が、目標水平位置よりもユーザー認識デバイス１０４からさらに後ろに位置していることを示し得る。さらに、第２のグラフィカル要素１１８は、第１のグラフィカル要素１１２よりも小さい。これは、手１０６が、目標垂直位置よりもユーザー認識デバイス１０４の近くに位置していることを示し得る。
１２０で、ユーザー認識デバイス１０４は、デバイス上の手１０６の第２の位置を決定することができ、１２２で、ユーザー認識デバイス１０４は、手１０６の第２の位置を示す第２のグラフィカル要素１１８を表示することができる。例えば、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４上での手１０６の水平方向の動き１２４を検出することができる。場合によっては、ユーザー認識デバイス１０４は、１つ以上の画像センサーを使用して追加の画像データを生成することによって、水平方向の動き１２４を検出する。次に、ユーザー認識デバイス１０４は、追加の画像データを使用して特徴データを生成することができる。特徴データを使用して、ユーザー認識デバイス１０４は、手１０６の第２の位置を決定することができる。次に、ユーザー認識デバイス１０４は、第２のユーザーインターフェース１１４上の第２のグラフィカル要素１１８のポジションを更新して、手１０６の新しい水平位置を示すことができる。示されるように、第２のグラフィカル要素１１８は、ここで、第１のグラフィカル要素１１２内の中心に置かれる。これは、手１０６が目標水平位置に近接して位置していることを示し得る。
１２６で、ユーザー認識デバイス１０４は、デバイス上の手１０６の第３の位置を決定することができ、１２８で、ユーザー認識デバイス１０４は、手１０６の第３の位置を示す第２のグラフィカル要素１１８を表示することができる。例えば、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４上での手１０６の垂直方向の動き１３０を検出することができる。場合によっては、ユーザー認識デバイス１０４は、距離センサーを使用して垂直方向の動き１３０を検出する。次に、ユーザー認識デバイス１０４は、第２のユーザーインターフェース１１４上の第２のグラフィカル要素１１８のサイズを更新して、手１０６の新しい垂直位置を示すことができる。示されるように、第２のグラフィカル要素１１８のサイズは、ほぼ第１のグラフィカル要素１１２のサイズである。これは、手１０６が目標垂直位置に位置していることを示し得る。
１３２で、ユーザー認識デバイス１０４は、手１０６が目標位置に近接して位置していると決定することができる。例えば、ユーザー認識デバイス１０４は、手１０６の水平位置が目標水平位置まで閾値距離内に位置し、手１０６の垂直位置が目標垂直位置まで閾値距離内に位置することを決定することができる。したがって、ユーザー認識デバイス１０４は、手１０６が目標位置に近接して位置していると決定することができる。場合によっては、図１Ａ～図１Ｂの例に示されるように、ユーザー認識デバイス１０４は、次に、第１のグラフィカル要素１１２を更新して、手１０６が標的位置に近接して位置していることを示すことができる。例えば、ユーザー認識デバイス１０４は、実線を含むように第１のグラフィカル要素１１２の線を更新することができる。
図２Ａ～図２Ｆは、ユーザー認識デバイス１０４上の目標位置に手を置かせるための指示を提供するユーザー認識デバイス１０４の例を示す。示されるように、ユーザー認識デバイス１０４は、第１のグラフィカル要素２０４を含むユーザーインターフェース２０２を表示することができる。第１のグラフィカル要素２０４は、ユーザー認識デバイス１０４の上に手を置かせるための目標位置を示すことができる。例えば、第１のグラフィカル要素２０４は、ユーザー認識デバイス１０４上の目標垂直位置と目標水平位置の両方を示すことができる。場合によっては、図２Ａ～図２Ｆの例に示されるように、第１のグラフィカル要素２０４は、破線の円を含む。しかしながら、他の例では、第１のグラフィカル要素２０４は、他のタイプの線を有する他の任意の形状を含むことができる。
ユーザーインターフェース２０２は、ユーザー認識デバイス１０４上の手の位置を示す第２のグラフィカル要素２０６をさらに含む。さらに、ユーザー認識デバイス１０４は、目標位置に手を置かせるための指示２０８を含む。例えば、図２Ａの例では、第２のグラフィカル要素２０６は、第１のグラフィカル要素２０４の下に位置している。これは、手の水平位置が、目標水平位置よりもユーザー認識デバイス１０４のイメージングコンポーネントに対してさらに後ろ（例えば、負のｙ方向）に位置しているためであり得る。したがって、指示２０８（１）は、ユーザーが、イメージングコンポーネントに対して手を「前方に」（例えば、正のｙ方向に）動かす必要があることを示すことができる。
図２Ｂの例では、第２のグラフィカル要素２０６は、第１のグラフィカル要素２０４の上に位置している。これは、手の水平位置が、目標水平位置よりもイメージングコンポーネントに対してさらに前方（例えば、正のｙ方向）に位置しているためであり得る。したがって、指示２０８（２）は、ユーザーが、イメージングコンポーネントに対して手を「後方に」（例えば、負のｙ方向に）動かす必要があることを示すことができる。
図２Ｃの例では、第２のグラフィカル要素２０６は、第１のグラフィカル要素２０４の左側に位置している。これは、手の水平位置が、目標水平位置よりもイメージングコンポーネントに対してさらに左側（例えば、負のｘ方向）にあるためであり得る。したがって、指示２０８（３）は、ユーザーが、イメージングコンポーネントに対して手を「右」に（例えば、正のｘ方向に）動かす必要があることを示すことができる。
図２Ｄの例では、第２のグラフィカル要素２０６は、第１のグラフィカル要素２０４の右側に位置している。これは、手の水平位置が、目標水平位置よりもイメージングコンポーネントに対してさらに右側（例えば、正のｘ方向）にあるためであり得る。したがって、指示２０８（４）は、ユーザーが、イメージングコンポーネントに対して手を「左」に（例えば、負のｘ方向に）動かす必要があることを示すことができる。
図２Ｅの例では、第２のグラフィカル要素２０６のサイズは、第１のグラフィカル要素２０４のサイズよりも小さい。これは、手の垂直位置が目標垂直位置よりもイメージングコンポーネントの近くにある（例えば、負のｚ方向に）ためであり得る。したがって、指示２０８（５）は、ユーザーが、イメージングコンポーネントに対して手を「より高く」（例えば、正のｚ方向に）動かす必要があることを示すことができる。
図２Ｆの例では、第２のグラフィカル要素２０６のサイズは、第１のグラフィカル要素２０４のサイズよりも大きい。これは、手の垂直位置が、目標垂直位置よりもイメージングコンポーネントから離れている（例えば、正のｚ方向で）ためであり得る。したがって、指示２０８（６）は、ユーザーが、イメージングコンポーネントに対して手を「より低く」（例えば、負のｚ方向に）動かす必要があることを示すことができる。
図３Ａ～図３Ｆは、生体認証データをキャプチャする際に追加情報を入力するための指示を提供するユーザーインターフェースの例を示す。例えば、図３Ａの例に示されるように、ユーザー認識デバイス１０４は、手のひらをユーザー認識デバイス１０４上にかざして取引の支払いを行うことに関連する指示３０４を含むユーザーインターフェース３０２を提供することができる。ユーザーインターフェース３０２は、ユーザー認識デバイス１０４の画像３０６と、ユーザーが新しいアカウントにサインアップするために選択することができるグラフィカル要素３０８とをさらに含む。場合によっては、ユーザー認識デバイス１０４は、ユーザーが最初にユーザー認識デバイス１０４に接近したときに、ユーザーインターフェース３０２を表示することができる。
図３Ｂの例では、ユーザー認識デバイス１０４は、ユーザーの手のひらをユーザー認識デバイス１０４上にかざして取引の支払いを行うことに関連する指示３１２を含むユーザーインターフェース３１０を提供することができる。さらに、ユーザーインターフェース３１０は、ユーザー認識デバイス１０４の上に手のひらを置くユーザーの画像３１４を含む。言い換えれば、画像３１４は、ユーザーがどのように手のひらをユーザー認識デバイス１０４の上に位置付けるべきかを表す。場合によっては、ユーザー認識デバイス１０４は、ユーザーの手のひらを検出する直前にユーザーインターフェース３１０を表示することができる。
図３Ｃの例では、ユーザー認識デバイス１０４は、デビットカードまたはクレジットカードをユーザー認識デバイス１０４に挿入するための指示３１８を含むユーザーインターフェース３１６を提供することができる。ユーザーインターフェース３１６は、デビットカードまたはクレジットカードをどのようにユーザー認識デバイス１０４のカードリーダーに挿入するかの画像３２０をさらに含む。場合によっては、ユーザー認識デバイス１０４は、ユーザーが新しいアカウントを作成しているとき、および／または既存のアカウントの支払い情報を更新しているときに、ユーザーインターフェース３１６を表示することができる。
図３Ｄの例では、ユーザー認識デバイス１０４は、デビットカードまたはクレジットカードを取り出すための指示３２４を含むユーザーインターフェース３２２を提供することができる。ユーザーインターフェース３２２はまた、デビットカードまたはクレジットカードが依然としてユーザー認識デバイス１０４のカードリーダーにあることを示す画像３２６を含む。場合によっては、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４がデビットカードまたはクレジットカードから支払い情報を読み取り、デビットカードまたはクレジットカードが依然としてカードリーダーに挿入された後、ユーザーインターフェース３２２を表示する。
図３Ｅの例では、ユーザー認識デバイス１０４は、アカウントを選択するための指示３３０を含むユーザーインターフェース３２８を提供することができる。ユーザーインターフェース３２８は、ユーザーによって選択可能なグラフィカル要素３３２（１）～（３）をさらに含み、各グラフィカル要素３３２（１）～（３）は、ユーザーの可能なアカウントに関連付けられている。場合によっては、各グラフィカル要素３３２（１）～（３）は、アカウントに関連付けられた情報を含むことができる。情報は、電話番号、電子メールアドレス、ユーザー名、および／またはその他の種類の情報を含むことができるが、これらに限定されない。図３Ｅの例は、３つのグラフィカル要素３３２（１）～（３）を含むが、他の例では、ユーザーインターフェース３２８は、任意の数のグラフィカル要素を含むことができる。
図３Ｆの例では、ユーザー認識デバイス１０４は、アカウントに関連付けられた情報を入力するための指示３３６を含むユーザーインターフェース３３４を提供することができる。図３Ｆの例は電話番号を入力するためのものであるが、他の例では、ユーザーインターフェース３３４は、追加のおよび／または代替のタイプの情報を入力することを可能にし得る。示されるように、ユーザーインターフェース３３４は、情報がユーザー認識デバイス１０４に入力されているときにその情報３３８を表示する。ユーザーインターフェース３３４は、ユーザーが情報を入力するために使用することができるグラフィカル要素３４０をさらに含む。
図４Ａ～図４Ｂは、ユーザー認識デバイスが生体認証データをキャプチャすることができるように、手を置くための目標位置の例を示す。例えば、図４Ａの例に示されるように、ユーザー認識デバイス１０４は、ディスプレイ４０２（本明細書で説明されるユーザーインターフェースを表示することができる）、光リング４０４、およびイメージングコンポーネント４０６を含む。ユーザー認識デバイス１０４が画像データなどの生体認証データをキャプチャするために、ユーザーは、目標水平位置にあるイメージングコンポーネント４０６の上に手（例えば、手のひらの中心点）を位置付ける。目標水平位置は、ｘ方向とｙ方向の両方に関連付けることができる。例えば、目標水平位置は、イメージングコンポーネント４０６の中心を含むことができ、これは、ｘ方向の第１の線４０８とｙ方向の第２の線４１０との交点によって示される。
場合によっては、ユーザー認識デバイス１０４は、生体認証データをキャプチャするときに、手が目標水平位置に近接することを可能にできる。例えば、ユーザー認識デバイス１０４は、手が、目標水平位置の前の第１の閾値距離４１２（例えば、目標水平位置から正のｙ方向に移動する）、目標水平位置の後ろの第２の閾値距離４１４（例えば、目標水平位置から負のｙ方向に移動する）、目標水平位置の左側の第３の閾値距離４１６（例えば、目標水平位置から負のｘ方向に移動する）、および／または目標水平位置の右側の第４の閾値距離４１８（例えば、目標水平位置から正のｘ方向に移動する）にあることを可能にできる。場合によっては、第１の閾値距離４１２、第２の閾値距離４１４、第３の閾値距離４１６、および第４の閾値距離４１８は、同じ閾値距離を含むことができる。場合によっては、第１の閾値距離４１２、第２の閾値距離４１４、第３の閾値距離４１６、および第４の閾値距離４１８のうちの１つ以上は、異なる閾値距離を含むことができる。本明細書に記載されるように、閾値距離は、５ミリメートル、１０ミリメートル、２０ミリメートル、および／または他の任意の距離を含むことができるが、これらに限定されない。
さらに、図４Ｂの例に示されるように、ユーザー認識デバイス１０４は、イメージングコンポーネント４０６の上方の距離４２０（例えば、ｚ方向）に位置する目標垂直位置を含むことができる。いくつかの例では、距離４２０は８５ミリメートルを含む。しかしながら、他の例では、距離４２０は、他の任意の距離を含むことができる。場合によっては、ユーザー認識デバイス１０４は、手が目標垂直位置に近接することを可能にできる。例えば、ユーザー認識デバイス１０４は、手が、目標垂直位置より上の第１の閾値距離４２２、および／または目標垂直位置より下の第２の閾値距離４２４にあることを可能にできる。場合によっては、第１の閾値距離４２２は、第２の閾値距離４２４と同じである。他の場合では、第１の閾値距離４２２は、第２の閾値距離４２４とは異なる。
図４Ｂの例にさらに示されるように、ユーザー認識デバイス１０４は、イメージングコンポーネント４０６の上の最小距離４２６とイメージングコンポーネント４０６の上の最大距離４２８との間でユーザーの手を検出することができる。例えば、距離センサーは、最小距離４２６と最大距離４２８との間で手などの物体を検出するように構成することができる。場合によっては、最小距離４２６は、５ミリメートル、１０ミリメートル、２０ミリメートル、および／または他の任意の距離を含むことができるが、これらに限定されない。さらに、最大距離４２８は、１００ミリメートル、１２０ミリメートル、１５０ミリメートル、および／または他の任意の距離を含むことができるが、これらに限定されない。
図４Ｃの例では、ユーザー認識デバイス１０４は、イメージングコンポーネント４０６の上の円錐の体積形状などの体積形状４３０を含む目標位置を含むことができる。例えば、目標垂直位置は、依然として、イメージングコンポーネント４０６の上方の距離４２０に位置することができ、第１の閾値距離４２２および第２の閾値距離４２４を含むことができる。次に、目標水平位置は、体積形状４３０内で、目標垂直位置内にある位置に位置することができる。場合によっては、手のひらを目標位置内に配置する必要があり得るが、他の例では、手全体を目標位置内に配置する必要があり得る。
図４Ｄの例では、ユーザー認識デバイス１０４は、イメージングコンポーネント４０６の上の体積形状４３２を含む目標位置を含むことができる。例えば、目標垂直位置は、依然として、イメージングコンポーネント４０６の上方の距離４２０に位置することができ、第１の閾値距離４２２および第２の閾値距離４２４を含むことができる。次に、目標水平位置は、体積形状４３２内で、目標垂直位置内にある位置に位置することができる。場合によっては、手のひらを目標位置内に配置する必要があり得るが、他の例では、手全体をターゲット位置内に配置する必要があり得る。
図５は、手のひら５０２の中心を識別するために、手５０２を分析する例を示す。例えば、ユーザー認識デバイス１０４は、手５０２を描写する画像５０４を表す画像データを生成することができる。次に、ユーザー認識デバイス１０４は、画像データに対応する特徴データを生成することができ、ここで、特徴データは、手５０２に関連する様々な属性を表す。様々な属性は、手５０２の上に位置する点５０６～５１８を少なくとも含むことができる。例えば、ユーザー認識デバイス１０４は、手首の第１の端部に位置する点５０６と、手首の第２の反対側の端部に位置する点５０８とを識別することができる。ユーザー認識デバイス１０４は、手５０２の指の底に位置する点５１０～５１８をさらに識別することができる。示されているように、点５１２～５１８は、指の間の部分に位置している。
点５０６～５１８を識別した後、ユーザー認識デバイス１０４は、識別された点５０６～５１８のすべてを含む境界ボックス５２０を生成することができる。境界ボックス５２０は、境界ボックス５２０の角を表す４つの追加の点５２２～５２８に関連付けることができる。次に、ユーザー認識デバイス１０４は、境界ボックス５２０を使用して、手のひら５０２の中心点５３０を識別することができる。例えば、ユーザー認識デバイス１０４は、手のひらの中心点５３０が境界ボックス５２０の中心を含むことを決定することができる。したがって、いくつかの例では、手のひらの中心点５３０は、手５０２の水平位置に対応することができる。
場合によっては、本明細書で説明するように、ユーザー認識デバイス１０４は、画像５０４を使用して、手５０２に関連する１つ以上の追加の属性を識別することができる。例えば、手５０２はｙ方向に向けられているので、ユーザー認識デバイス１０４は、手５０２の向きが満たされていると決定することができる。ユーザー認識デバイス１０４は、手５０２がカップ、拳の形状ではない、および／または手５０２がジェスチャを行っているので、手５０２の平面形状が満たされていることをさらに決定することができる。むしろ、手５０２は、ユーザー認識デバイス１０４が画像５０４を分析して属性を決定することができるように開いている。さらに、ユーザー認識デバイス１０４は、手５０２がユーザー認識デバイス１０４のイメージングコンポーネントに平行であると決定することができる。これは、イメージングコンポーネントに対する手５０２の向きに基づいて、手５０２の手のひらがイメージングコンポーネントの方を向いているためであり得る。
図５の例は、点５０６～５１８を識別し、次に点５０６～５１８を使用して手のひらの中心点を決定することを説明しているが、他の例では、ユーザー認識デバイス１０４は、手５０２上の追加および／または代替の点を識別し、次に、追加および／または代替の点を使用して、手のひらの中心点５３０を識別することができる。
図６は、ユーザーの生体認証データをキャプチャするためのユーザー認識デバイス１０４を含むマテリアルハンドリング施設６０２の環境６００の例を示している。この例では、ユーザー認識システムの使用のために、ユーザー認識デバイス１０４は、ユーザー６０６の手のひらを描写する画像データを生成し、ユーザー６０６を登録するために使用される１つ以上のバックエンドサーバ６０８に画像データを送信する。概して、ユーザー認識システムは、ユーザー認識デバイス１０４および／またはサーバ６０８を含むことができる。
場合によっては、ユーザー認識システムの一部またはすべてがマテリアルハンドリング施設６０２から離れて存在し、他の場合では、ユーザー認識システムの一部またはすべてがマテリアルハンドリング施設６０２内またはその近くに存在する。図６で描写するように、ユーザー６０６は、マテリアルハンドリング施設６０２でのショッピングセッションに従事していてもよく、または従事しようとしていてもよい。例えば、ユーザー６０６は、在庫場所６１２（例えば、棚、通路など）からアイテム６１０を選択し、アイテム６１０をトート６１４（例えば、ショッピングカート）に入れる場合がある。在庫場所６１２は、１つ以上の異なるタイプのアイテム６１０を収容することができ、ユーザー６０６は、これらのアイテム６１０のうちの１つを選ぶ（すなわち、取り出す）ことができる。
図示のように、マテリアルハンドリング施設６０２（または「施設」）は、図示の画像センサー６１６などの１つ以上のセンサー、および／または在庫場所６１２上またはその近くに位置する他のセンサーのアレイを含むことができる。この例では、画像センサー６１６は、ユーザー６０６がアイテム６１０を選択するなどのイベントに関連する結果を決定する際に使用するために、施設６０２内のビデオデータをキャプチャするように構成される。図６は様々なセンサーの例を示しているが、施設６０２内のセンサーは、以下で詳細に説明するように、重量センサー（例えば、ロードセル）、マイクロフォンおよび／または同様のものなどの任意の他のタイプのセンサーを含むことができる。図１３および図１４に関してより詳細に説明されるように、施設６０２は、ユーザー６０６が購入したいアイテム６１０を取り出すなど、ユーザー６０６に関連する施設６０２内のイベントを決定するように構成された在庫管理システムに監視され、および／または他の方法で関連付けられ得る。在庫管理システムは、ユーザー６０６によって選択されたアイテム６１０を追跡し、ユーザー６０６によって取り出されたアイテム６１０のすべてを含む仮想ショッピングカートを維持することができる。したがって、ユーザー６０６が、ユーザーが取り出したアイテム６１０を持って施設６０２を離れたい場合、在庫管理システムは、取り出したアイテム６１０のコストを、ユーザー６０６に関連付けられたユーザーアカウントに請求することができる。
図６に示されるように、ユーザー６０６は、ユーザー認識デバイス１０４に関連付けられたチェックアウト位置６１８に近づくことができる。ユーザー６０６は、施設６０２をチェックアウトし、アイテム６１０の代金を支払うために、ユーザー認識システムの使用のために登録したいと決定することができる。あるいは、またはさらに、ユーザーは、施設６０２に入るときにユーザー認識デバイス１０４と対話することができる。いずれの場合でも、ユーザー６０６は、ユーザー認識システムに、ユーザー６０６を識別するために使用可能なデータを収集させたいと決定することができる。このデータは、ユーザー認識システムによって利用することができ、登録されると、ユーザー６０６は、ユーザーアカウントにアイテム６１０の購入を請求するためにユーザー認識システムによって識別されるために手のひらをスキャンするだけでよい。
図６は、ユーザー認識システムの使用のためにユーザー６０６を登録するための、およびユーザー認識システムがユーザー６０６の登録を経時的に更新するための技術を高レベルで説明する登録プロセス６４０の例を示す。ユーザー認識デバイス１０４は、サーバと同様に、登録プロセス６４０の技術の少なくとも一部を実行するためのコンポーネントを含むことができる。サーバ６０８のコンポーネントは、後続の図を参照して以下でさらに詳細に説明される。例えば、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４のコンポーネントに電力を供給するように構成された１つ以上のプロセッサ６２０を備えることができ、プロセッサ６２０によって少なくとも部分的に実行可能であるコンポーネント、および他のデータを格納するメモリ６２２をさらに含むことができる。例えば、メモリ６２２は、ユーザー６０６の存在を検出するための存在検出コンポーネント６３０、ユーザー認識システムの使用のためにユーザー６０６を登録するための様々な動作を実行するように構成されたフロントエンド登録コンポーネント６３２、およびディスプレイ６３６を介してユーザー６０６に提供されるユーザーインターフェースを制御するように構成されたユーザーインターフェースコンポーネント６３４を含むことができる。
６４２で、フロントエンド登録コンポーネント６３２は、ユーザー認識システムの使用のためにユーザー６０６を登録するための要求を受信することができる。要求は、登録プロセスを開始するためにディスプレイ６３６に提示されるユーザーインターフェース要素のＩ／Ｏインターフェース６２８（例えば、タッチスクリーン、マウス、キーボードなど）を介して行われる選択などの様々なタイプの入力を含むことができる。さらに、フロントエンド登録コンポーネント６３２は、登録要求を示すユーザー６０６からの発話を検出することができる（例えば、「私を登録してください」、「チェックアウトしたい」など）。別の要求例は、ユーザーが、クレジットカード、運転免許証などのようなユーザーＩＤカードをＩ／Ｏインターフェース６２８内へスライドさせることを含むことができる。しかし、任意のタイプの入力を、フロントエンド登録コンポーネント６３２によって要求として検出することができる。
いくつかの例では、登録プロセス６４０の６４４において、存在検出コンポーネント６３０は、ユーザー６０６の存在を示すトリガーを検出するために、プロセッサ６２０によって実行可能であり得る。存在検出コンポーネント６３０によって検出されるトリガーは、１つ以上のタイプの入力を含むことができる。例えば、存在検出コンポーネント６３０は、１つ以上のイメージングコンポーネント６２６および／または１つ以上の距離コンポーネント６３８を使用して、ユーザー認識デバイス１０４の上または近くにあるユーザー６０６の手のひらを検出するロジックを含むことができる。ユーザー６０６の存在を示すことができる存在検出コンポーネント６３０によって検出されるトリガーの他の例は、ユーザー認識デバイス１０４の１つ以上のＩ／Ｏインターフェース６２８を介してタッチ入力（またはマウスクリックなどの他の入力）を受信することを含むことができる。しかしながら、任意のタイプの入力を、６４４において存在検出コンポーネント６３０によってトリガーとして検出することができる。いくつかの例では、６４４でのトリガー検出は、実行されないことがあるか、または登録要求を受信することに含まれるか、もしくはそれと同じであることがある。
ユーザー６０６から登録要求を受信した後、フロントエンド登録コンポーネント６３２は、６４６で、１つ以上のイメージングコンポーネント６２６（例えば、カメラ）を使用して画像データ６５８の生成を開始することができる。例えば、フロントエンド登録コンポーネント６３２は、イメージングコンポーネント６２６を利用して、画像または静止画、一連の連続画像、および／またはビデオデータなどの画像データ６５８を取得することができる。画像データ６５８は、ユーザー６０６の手のひらを表すことができ、手のひらのしわ、手のひらの静脈、手のひらおよび手またはユーザー６０６のその他の部分などに関する幾何学的情報を識別するために使用することができる。場合によっては、画像データ６５８を取得している間、ユーザーインターフェースコンポーネント６３４は、ユーザー認識デバイス１０４に、ユーザー６０６の手をどのように位置付けるかについての指示を提供させることができる。フロントエンド登録コンポーネント６３２が、ユーザー６０６の手のひらまたは他の部分を表す画像データ６５８を取得すると、ユーザー認識デバイス１０４は、１つ以上の通信インターフェース６２４を使用して１つ以上のネットワーク６６０上で画像データ６５８をサーバ６０８に送信（例えば、アップロード、ストリーミングなど）することができる。
ネットワーク６６０は、機関もしくは個人のイントラネットなどのプライベートネットワーク、インターネットなどのパブリックネットワーク、またはそれらの組み合わせを含むことができる。ネットワーク６６０は、有線技術（例えば、ワイヤ、光ファイバーケーブルなど）、無線技術（例えば、無線周波数、赤外線、音響、光など）、または他の接続技術を利用することができる。ネットワーク６６０は、１つ以上のデータネットワークまたは音声ネットワークを含む、任意のタイプの通信ネットワークを表す。ネットワーク６６０は、有線インフラストラクチャ（例えば、銅ケーブル、光ファイバーケーブルなど）、無線インフラストラクチャ（例えば、セルラー、マイクロ波、衛星など）、または他の接続技術を使用して実装することができる。
通信インターフェース６２４は、パーソナルエリアネットワーク（ＰＡＮ）、有線および無線ローカルエリアネットワーク（ＬＡＮ）、有線および無線ワイドエリアネットワーク（ＷＡＮ）などに結合するように構成されたデバイスを含むことができる。例えば、通信インターフェース６２４は、イーサネット、Ｗｉ－Ｆｉ（商標）などと互換性のあるデバイスを含むことができる。いくつかの例では、通信インターフェース６２４は、使用されているプロトコルまたは規格のタイプに応じて、ネットワーク６６０を介して送信する前に、ユーザー認識デバイス１０４によって生成された画像データ６５８および／または他のデータ６６２（例えば、距離センサーからの距離データ）を符号化することができる。
画像データ６５８を受信すると、バックエンドサーバ６０８の１つ以上のコンポーネントは、画像データ６５８を使用して特徴データを生成することができる。この特徴データは、ベクトル形式とすることができ、手のひらを他のユーザーの手のひらから区別するために使用することができる、ユーザーの手のひらに関する特性を表すことができる。この登録プロセス６４０は、特徴データを生成するサーバ６０８を説明しているが、他の場合では、ユーザー認識デバイス１０４は、特徴データを生成するように構成することができ、画像データ６５８に加えてまたは画像データ６５８以外の特徴データをサーバへ送信することができることを理解されたい。
６５０で、サーバ６０８の１つ以上のコンポーネントは、ユーザー６０６のユーザープロファイルに関連して、登録データベースに特徴データを格納する。すなわち、この手のひら特徴データは、施設６０２またはユーザー認識システムに関連する他の施設でユーザー６０６を後で識別するために、後続の画像データから生成される特徴データと比較できるように格納される。
例えば、６５２で、イメージングコンポーネント６２６は、ユーザー６０６が後日施設６０２に戻ったときなどに、ユーザー６０６の手のひらの追加の画像データ６５８を受信する。サーバ６０８がユーザー認識デバイス１０４から追加の画像データ６５８を受信した後、サーバは、追加の画像データに基づいて追加の特徴データを生成することができる。この時点で、サーバ６０８の１つ以上のコンポーネントは、追加の画像データ６５８に関連付けられたユーザー６０６を識別する目的で、追加の特徴データをそれぞれのユーザープロファイルに格納された特徴データと比較することができる。この例では、ユーザー認識システムは、６５４で生成された追加の特徴データを、６４８で生成され、ユーザー６０６のユーザープロファイルに関連して格納された特徴データと比較し、したがって、６５６で、それがユーザープロファイルを識別することを決定する。場合によっては、ユーザープロファイルを識別することに加えて、ユーザー認識システムは、ユーザー６０６のユーザープロファイルに関連する登録データベースに追加の特徴データを格納することができる。
図７は、ユーザー認識システムの機能の少なくとも一部をサポートするように構成されたサーバ６０８のブロック図、ならびにユーザー認識システムを使用するためにユーザー６０６を登録するためのシステム内のデータのフローの例を含む、環境７００の例を示す。
図示のように、環境７００は、クライアント側７０２およびサーバ側７０４を含む。しかしながら、これは単なる例示であり、技術の一部またはすべては、完全にクライアント側７０２で、または完全にサーバ側７０４で実行することができる。「１」で、フロントエンド登録コンポーネント６３２は、ユーザー認識システムの使用のためにユーザー６０６を登録するための要求を受信することができる。例えば、要求は、登録プロセスを開始するためにディスプレイ上に提示されるユーザーインターフェース要素のＩ／Ｏインターフェース６２８（例えば、タッチスクリーン、マウス、キーボードなど）を介して行われる選択などの様々なタイプの入力を含むことができる。さらに、フロントエンド登録コンポーネント６３２は、登録要求を示すユーザー６０６からの発話を検出することができる（例えば、「私を登録してください」、「チェックアウトしたい」など）。別の要求例は、ユーザー６０６が、クレジットカード、運転免許証などのようなユーザーＩＤカードをＩ／Ｏインターフェース６２８内へスライドさせることを含むことができる。しかし、任意のタイプの入力を、フロントエンド登録コンポーネント６３２によって要求として検出することができる。
登録要求を受信すると、フロントエンド登録コンポーネント６３２は、イメージングコンポーネント６２６をアクティブ化するか、他の方法で利用して、ユーザー６０６の手のひらを表す画像データ６５８を生成することができる。次に、「２」で、ユーザー認識デバイス１０４は、画像データ６５８をキャプチャし、「３」で、画像データ６５８をサーバ６０８に送信する。例えば、ユーザー認識デバイス１０４は、画像データ６５８を符号化して、ネットワーク６６０を介してサーバ６０８に送信することができる。さらに、場合によっては、焦点が合っていない場合、ユーザーの手のひらの特性の識別可能性の閾値レベルがない場合などに、画像のいくつかを削除することができる。この削除は、クライアント側７０２および／またはサーバ側７０４で生じ得る。
「４」で、サーバ６０８は、画像データを受信し、「５」で、手のひら識別コンポーネント７０８の手のひら特徴生成コンポーネント７０６は、画像データ６５８から手のひら特徴データを抽出することができる。いくつかの例では、手のひら特徴データを抽出する前に、手のひら特徴生成コンポーネント７０６は、手のひら特徴データを抽出する前に、画像データ６５８を処理するための様々な動作を実行することができる。例えば、手のひら特徴生成コンポーネント７０６は、最初にユーザー検出を実行して、画像データ６５８がユーザー６０６の手のひらを表すことを決定することができる。例えば、手のひら特徴生成コンポーネント７０６は、ハードウェアベースのユーザー検出技術を実行する統合センサープロセッサ（ＩＳＰ）を利用することができる。いくつかの例では、様々なソフトウェア技術を追加的に、または代替的に実行することができる。いずれの場合も、ユーザー６０６の少なくとも一部を描写し、画像データ６５８によって表される画像について、境界ボックスを、ユーザー６０６の検出された手の周りに出力することができる。さらに、手のひら特徴生成コンポーネント７０６は、ユーザー６０６の手のひらを共通の座標系に位置合わせするために、手ポーズ推定を実行することができる。手の画像を共通の座標セクションに位置合わせした後、手のひらに対応する画像データの部分を識別してトリミングすることができる。画像データのこの残りの部分は、その後、例えば、画像データのトリミングされたセクション上でニューラルネットワークを実行することによって、そこから特徴を抽出するために使用することができる。いくつかの例では、手ポーズ推定は、ユーザー６０６の手のひらを表す特徴の抽出を改善することができる。ユーザー６０６の手が位置合わせされると、手のひら特徴生成コンポーネント７０６は、画像データ６５８から特徴（例えば、手のひら特徴データ）を抽出することができる。いくつかの例では、訓練されたモデルは、画像データ６５８を距離空間に埋め込まれた特徴（例えば、手のひら特徴データ）に変換する三重損失関数を利用することができ、これは、例えば二乗距離計算を使用する後続の特徴ベクトルとの比較を可能にし得る。
「６」で、手のひら特徴集約コンポーネント７１０は、様々な画像データ６５８から特徴データ（例えば、手のひら特徴データ）を集約することができる。例えば、画像データ６５８は、異なる角度、異なる照明条件、または他の異なる特性の下でのユーザー６０６の手を表すことができる。手のひら特徴集約コンポーネント７１０は、特徴ベクトルを平均化することなどによって、手のひら特徴データを一緒に集約することができる。
「７」で、品質チェックコンポーネント７１２は、手のひら特徴データに対して品質チェックを実行することができる。例えば、品質チェックコンポーネント７１２は、訓練されたモデルを利用して、抽出された手のひら特徴データの品質の全体的な測定基準を決定することができる。全体的な測定基準が不十分であるか、または閾値品質レベルを下回っている場合、ユーザー認識システムは、追加の画像データ６５８を取得することを要求することができる。さらに、または代替として、品質チェックコンポーネント７１２は、重複排除プロセスを実行して、手のひら特徴データに関連付けられたユーザーがまだシステムに登録されていないことを確認することができる。全体的な品質測定基準が良好または許容可能である場合、重複排除プロセスが、ユーザーが以前にシステムに登録したことを明らかにしない場合、バックエンド登録コンポーネント７１４は、データを「８」で集約することができる。
例えば、「８」で、バックエンド登録コンポーネント７１４は、手のひら特徴データを集約し、「９」で登録データベース７１６にユーザーを登録することができる。バックエンド登録コンポーネント７１４は、手のひら特徴データと、ユーザー認識システムの使用のために登録されることを要求するユーザー６０６のユーザープロファイルとの間の関連付け（例えば、マッピング）を格納することができる。
図８は、ユーザー認識システムの機能の少なくとも一部をサポートするように構成されたサーバ６０８のブロック図と、ユーザー認識システムのユーザー６０６を識別し、場合によってはユーザーの登録を更新するためのシステム内のデータフローの例を含む環境８００の例を示す。図示のように、環境８００は、クライアント側８０２およびサーバ側８０４を含む。しかしながら、これは単なる例示であり、技術の一部またはすべては、完全にクライアント側８０２で、または完全にサーバ側８０４で実行することができる。
「１」で、ユーザーはユーザー認識システムでサインインすることを要求する。例えば、存在検出コンポーネント６３０は、ユーザー６０６の存在を示すトリガーを検出するために、プロセッサ６２０によって実行可能であり得る。存在検出コンポーネント６３０によって検出されるトリガーは、１つ以上のタイプの入力を含むことができる。例えば、存在検出コンポーネント６３０は、１つ以上のイメージングコンポーネント６２６を使用して、ユーザー６０６の一部（例えば、ユーザー認識デバイス１０４のイメージングコンポーネント６２６の上の手）を検出するためのロジックを含むことができる。ユーザー６０６の存在を示すことができる存在検出コンポーネント６３０によって検出されるトリガーの他の例は、ユーザー認識デバイス１０４の１つ以上のＩ／Ｏインターフェース６２８を介してタッチ入力（またはマウスクリックなどの他の入力）を受信することを含むことができる。しかしながら、任意のタイプの入力は、存在検出コンポーネント６３０によってトリガーとして検出することができる。
ユーザーからのサインイン要求を識別すると、「２」で、１つ以上のイメージングコンポーネント６２６は、ユーザー６０６の手のひらおよび／またはユーザーの別の部分を表す画像データ６５８を生成することができる。「３」で、ユーザー認識デバイス１０４は、画像データ６５８をサーバ６０８に送信することができる。例えば、ユーザー認識デバイス１０４は、画像データ６５８を符号化して、ネットワーク６６０を介してサーバ６０８に送信することができる。この場合も、画像データ６５８の一部は、画像データの焦点が合っていない、画像データが閾値未満の識別可能性を有する、などに基づいて破棄することができる。
「４」で、サーバは、画像データ６５８を受信することができ、「５」で、手のひら特徴生成コンポーネント７０６は、画像データ６５８から手のひら特徴データを抽出することができる。いくつかの例では、手のひら特徴データを抽出する前に、手のひら特徴生成コンポーネント７０６は、手のひら特徴データを抽出する前に、画像データ６５８を処理するための様々な動作を実行することができる。例えば、手のひら特徴生成コンポーネント７０６は、最初に手のひら検出を実行して、画像データ６５８がユーザー６０６の手を表すことを決定することができる。例えば、手のひら特徴生成コンポーネント７０６は、ハードウェアベースのユーザー検出技術を実行する統合センサープロセッサ（ＩＳＰ）を利用することができる。いくつかの例では、様々なソフトウェア技術を追加的に、または代替的に実行することができる。いずれの場合も、ユーザー６０６を描写し、画像データ６５８によって表される画像について、境界ボックスを、ユーザー６０６の検出された手の周りに出力することができる。さらに、手のひら特徴生成コンポーネント７０６は、手ポーズ推定を実行して、ユーザー６０６の顔を共通の座標系に位置合わせすることができる。いくつかの例では、手ポーズ推定は、ユーザー６０６の手を表す特徴の抽出を改善することができる。ユーザー６０６の手が位置合わせされると、手のひら特徴生成コンポーネント７０６は、画像データ６５８から特徴（例えば、手のひら特徴データ）を抽出することができる。いくつかの例では、訓練されたモデルは、画像データ６５８を距離空間に埋め込まれた特徴（例えば、手のひら特徴データ）に変換する三重損失関数を利用することができ、これは、例えば二乗距離計算を使用する後続の特徴ベクトルとの比較を可能にし得る。
「６」で、手のひら特徴集約コンポーネント７１０は、様々な画像データ６５８から特徴データ（例えば、手のひら特徴データ）を集約することができる。例えば、画像データ６５８は、異なる角度、異なる照明条件、または他の異なる特性の下でのユーザー６０６の手を表すことができる。手のひら特徴集約コンポーネント７１０は、特徴ベクトルを平均化することなどによって、手のひら特徴データを一緒に集約することができる。
「７」で、手のひら特徴対応コンポーネント８０６は、画像データ６５８に関連付けられた集約された特徴と、それぞれのユーザープロファイルに関連付けられて格納されたそれぞれの特徴データとの間の類似性を示す１つ以上のスコアを生成することができる。いくつかの例では、これらの対応スコアは、画像データに関連付けられた特徴ベクトルと、登録データベース７１６内のユーザープロファイルに関連付けられて格納されたそれぞれの手のひら特徴データのそれぞれの特徴ベクトルとの間の「距離」に少なくとも部分的に基づいて決定することができる。
「８」で、同一性決定コンポーネント８０８は、対応スコアに基づいてユーザーの同一性を決定することができる。例えば、同一性決定コンポーネント８０８は、画像データ６５８に関連付けられた特徴ベクトルに最も近い距離を有する特徴ベクトルに関連付けられたユーザープロファイルを識別することができ、関連するユーザーを、画像データ６５８に関連付けられたユーザーとみなすことができる。
「９」で、場合によっては、登録更新コンポーネント８１０は、画像データに関連付けられた最近受信された手のひら特徴データを使用して、識別されたユーザーの登録を更新することができる。例えば、登録更新コンポーネント８１０は、登録データの更新をもたらす事前定義されたイベントの発生を検出することができる。これは、画像データ６５８に関連した施設で発生する取引の特性（例えば、アイテムのコストまたは数）に基づき、ユーザープロファイルに関連付けられた現在の特徴データと以前の特徴データとの間の変化の閾値量に基づき、ユーザープロファイルに関連付けられたユーザーからの明白な要求などに基づき、最近のまたは最近でない特徴データがプロファイルに関連付けられてから経過した所定の時間を含むことができる。場合によっては、事前定義されたイベントは、受信した手のひら特徴データが、前述の高閾値信頼水準よりも高い信頼水準で識別されたユーザーに対応することを決定する監査コンポーネントを含むことができる。すなわち、ステップ「７」～「８」を参照して説明された認識プロセスは、登録データを参照して実行することができるが、監査コンポーネントは、登録データおよび画像の両方、ならびに／または以前の認識の試みに関連する特徴データを使用して信頼水準を決定することができる。その後、監査コンポーネントが比較的高い信頼水準よりも高い信頼水準を計算する場合、登録更新コンポーネント８１０は、識別されたユーザーの登録データを更新することを決定することができる。
「１０」で、登録更新コンポーネント８１０は、登録データベース７１６内の対応するユーザープロファイルに関連付けられた登録データを更新する。上記のように、これは、特徴データおよび／または画像データを、プロファイルに関連付けられた既存の特徴データおよび／または画像データと一緒に格納すること、既存の特徴データと新しい特徴データとを平均化すること、および／または同様のことを含むことができる。
図９は、ユーザー認識システムの機能の少なくとも一部をサポートするように構成されたユーザー認識デバイス１０４の構成例を示している。いくつかの例では、本明細書で説明されるユーザー認識システムは、サーバ６０８と併せてユーザー認識デバイス１０４によって完全に、または少なくとも部分的にサポートすることができる。ユーザー認識デバイス１０４は、１つ以上の格納された指示を実行するように構成された１つ以上のハードウェアプロセッサ６２０（プロセッサ）を含むことができる。プロセッサ６２０は、１つ以上のコアを含むことができる。ユーザー認識デバイス１０４は、プロセッサ６２０またはユーザー認識デバイス１０４の他の部分が他のデバイスと通信することを可能にするために、１つ以上の入力／出力（Ｉ／Ｏ）インターフェース６２８を含むことができる。Ｉ／Ｏインターフェース６２８は、相互統合回路（Ｉ２Ｃ）、シリアルペリフェラルインターフェースバス（ＳＰＩ）、ＵＳＢ実装者フォーラムＲＳ－２３２によって公布されたユニバーサルシリアルバス（ＵＳＢ）、などを含むことができる。
ユーザー認識デバイス１０４はまた、１つ以上の通信インターフェース６２４を含むことができる。通信インターフェース６２４は、ユーザー認識デバイス１０４と、サーバ６０８、インターフェースデバイス、ルータなどの他のデバイスとの間の通信を提供するように構成される。通信インターフェース６２４は、パーソナルエリアネットワーク（ＰＡＮ）、有線および無線ローカルエリアネットワーク（ＬＡＮ）、有線および無線ワイドエリアネットワーク（ＷＡＮ）などに結合するように構成されたデバイスを含むことができる。例えば、通信インターフェース３０８は、イーサネット、Ｗｉ－Ｆｉ（商標）などと互換性のあるデバイスを含むことができる。
ユーザー認識デバイス１０４は、１つ以上の距離コンポーネント６３８をさらに含むことができる。距離コンポーネント６３８は、ＩＲセンサー、ＬＩＤＡＲセンサー、および／または物体の距離を検出することができる任意の他のタイプのセンサーを含むことができるが、これらに限定されない。さらに、ユーザー認識デバイス１０４は、１つ以上の照明コンポーネント９０２を含むことができる。。場合によっては、照明コンポーネント９０２は、イメージングコンポーネント（例えば、イメージングコンポーネント４０６）の周りに配置された光リングを含む。場合によっては、ユーザー認識デバイス１０４は、照明コンポーネント９０２を使用して、ユーザーにフィードバックを提供する。例えば、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４が、ユーザーの手を検出したとき、ユーザーの手が目標位置に位置していると決定したとき、ユーザーに関連付けられたユーザープロファイルを識別したとき、および／または同様のとき、１つ以上のパターンを使用して照明コンポーネント９０２に光を放出させることができる。
ユーザー認識デバイス１０４はまた、ユーザー認識デバイス１０４の様々なモジュールとコンポーネントとの間でのデータの転送を可能にする１つ以上のバスまたは他の内部通信ハードウェアもしくはソフトウェアを含むことができる。
図９に示すように、ユーザー認識デバイス１０４は、１つ以上のメモリ６２２を含む。メモリ６２２は、１つ以上のコンピュータ可読記憶媒体（ＣＲＳＭ）を含む。ＣＲＳＭは、電子記憶媒体、磁気記憶媒体、光学記憶媒体、量子記憶媒体、機械的コンピュータ記憶媒体などのうちの任意の１つ以上であり得る。メモリ６２２は、ユーザー認識デバイス１０４の動作のために、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの記憶を提供する。いくつかの機能モジュールの例が、メモリ６２２に格納されて示されているが、同じ機能は、代替的に、ハードウェア、ファームウェアにおいて、またはシステムオンチップ（ＳＯＣ）として実装することができる。
メモリ６２２は、少なくとも１つのオペレーティングシステム（ＯＳ）９０４を含むことができる。ＯＳ９０４は、Ｉ／Ｏインターフェース６２８、イメージングコンポーネント６２６、ディスプレイ６３６、距離コンポーネント６３８、および照明コンポーネント９０２などのハードウェアリソースデバイスを管理するように構成され、プロセッサ６２０上で実行されるアプリケーションまたはモジュールに様々なサービスを提供する。ＯＳ９０４は、ＦｒｅｅＢＳＤプロジェクトによって公布されたＦｒｅｅＢＳＤ（商標）オペレーティングシステムのバリアント、その他のＵＮＩＸ（商標）またはＵＮＩＸのようなバリアント、ＬｉｎｕｓＴｏｒｖａｌｄｓによって公布されたＬｉｎｕｘ（商標）オペレーティングシステムのバリエーション、米国ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎのＷｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒオペレーティングシステムなどを実装することができる。
以下のコンポーネントのうちの１つ以上もまた、メモリ６２２に格納することができる。これらのモジュールは、フォアグラウンドアプリケーション、バックグラウンドタスク、デーモンなどとして実行できる。
通信コンポーネント９０６は、サーバ６０８および／または他のデバイスとの通信を確立するように構成することができる。通信は、認証され、暗号化などが行われ得る。
登録コンポーネント９０８は、ユーザー認識システムを使用するためにユーザーを登録するための様々な操作を実行するように構成することができる（例えば、バックエンド登録コンポーネント７１４と同様）。例えば、登録コンポーネント９０８は、様々な動作を実行することができ、および／または他のコンポーネントに様々な動作を実行させて、ユーザーをユーザー認識システムに登録することができる。場合によっては、登録コンポーネント９０８は、ユーザーの手のひらまたは他の部分を描写する画像データ６５８を分析するための動作を実行する手のひら識別コンポーネント９１０を少なくとも部分的に制御することができる。いくつかの例では、登録コンポーネント９０８は、手のひら識別コンポーネント９１０に画像データ６５８を分析させ、手のひら特徴データ９１２などの、ユーザーの手のひらを表す特徴を抽出させることができる。
手のひら特徴データ９１２を取得、決定、および／または生成した後、登録コンポーネント９０８は、ユーザーがユーザー認識システムの使用のために登録されていることを示す登録データベース９１４にユーザーを登録することができる。いくつかの例では、登録コンポーネント９０８は、様々なデータを、ユーザーに関連付けられているユーザープロファイル／アカウント９１６に関連付ける、またはマッピングすることができる。例えば、登録コンポーネント９０８は、登録されたユーザーごとに、それぞれの手のひら特徴データ９１２を、登録データベース９１４内の対応するユーザープロファイル９１６にマッピングすることができる。したがって、登録データベース９１４は、ユーザープロファイル９１６の表示、ならびに各ユーザープロファイル９１６に関連付けられたユーザーのデータを格納することができる。ユーザーがユーザー認識システムの使用のために登録されるとき、登録コンポーネント９０８は、ユーザーの手のひら特徴データ９１２とそのユーザーのユーザープロファイル９１６との間の関連付けをマッピングまたは格納することができる。
さらに、登録コンポーネント９０８は、訓練コンポーネント９１８に１つ以上の訓練されたモデル９２０を訓練させることができる。訓練コンポーネント９１８は、手のひら特徴データ９１２を利用して、訓練されたモデル９２０を訓練し、画像データ６５８から手のひら特徴データ９１２を抽出および／または生成するための様々な動作を実行することができる。訓練されたモデル９２０は、人工ニューラルネットワーク、分類器、決定木、サポートベクターマシン、ベイジアンネットワークなどを含むがこれらに限定されない機械学習モデルなどの任意のタイプのモデルを含むことができる。
特定の例として、訓練されたモデル９２０は、入力として受信された画像データ６５８を分析するように訓練された、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク、および／または他の任意の人工ネットワークを含むまたは備えることができ、ユーザーの手のひらを表す手のひら特徴データ９１２を抽出、決定、識別、生成などすることができる。特定の例として、手のひら特徴データ９１２は、ユーザーの手のひらを表す１２８次元の特徴ベクトルを含むことができる。訓練されたモデル９２０が１つ以上のＣＮＮを含む例では、様々な関数を利用して、画像データ６５８を三重項損失関数などの距離空間に変換することができる。したがって、訓練コンポーネント９１８は、三重項損失関数などの様々な関数を使用して、訓練されたモデル９２０のＣＮＮを訓練して、入力画像データ６５８から手のひら特徴データ９１２を抽出、識別、または他の方法で決定することができる。距離空間に入ると、抽出された特徴データと、登録データベース９１４に格納された特徴データとの間の距離を計算することによって、抽出された特徴データを比較または照合することができる。例えば、特徴データが、訓練されたモデル９２０によって画像データ６５８から手のひら特徴データ９１２に抽出されるとき、抽出された手のひら特徴データ９１２は、次に、登録データベース９１４に格納されたデータと比較されて、入力画像データ６５８で表されるユーザーのユーザープロファイルを識別することができる。例えば、抽出された手のひら特徴データ９１２は、登録データベース９１４に格納されたベクトルと比較されるベクトルを含むことができ、これにより、どの格納されたベクトルが、抽出された特徴データ間の最小の「距離」を有するかを識別する。距離が小さいほど、抽出された特徴データと、ユーザー認識システムの使用のために登録されているユーザーを表す格納された特徴データとの間の対応の強さが近くなる。いくつかの例では、訓練されたモデル９２０によって利用されるネットワークに応じて、２つのベクトル間の角度の正弦を見つけるなど、他の計算を実行することができる。しかしながら、訓練されたモデル９２０には、任意のタイプのモデルを利用することができる。
手のひら識別コンポーネント９１０は、様々な動作を実行するための様々なサブコンポーネントを含むことができる。例えば、手のひら識別コンポーネント９１０は、画像データ６５８から特徴データを抽出するか、さもなければ生成するために、手のひら特徴生成コンポーネント９２２を含むことができる（例えば、手のひら特徴生成コンポーネント７０６と同様）。手のひら特徴生成コンポーネント９１０は、訓練されたモデル９２０を利用することができ、および／またはアルゴリズムを含み、任意のタイプの特徴抽出方法もしくは埋め込みを実行して、画像データ６５８を分析し、手のひら特徴データ９１２を抽出することができる。例えば、手のひら特徴生成コンポーネント９２２は、クラスタリング、人工ニューラルネットワーク、スケール不変特徴変換、エッジ検出、または任意の他のタイプの抽出もしくは埋め込み技術などの最先端のモデルを利用して、画像データ６５８から手のひら特徴データ９１２抽出することができる。
手のひら識別コンポーネント９１０は、ユーザーの特徴データを集約するように構成された手のひら特徴集約コンポーネント９２４をさらに含むことができる（例えば、手のひら特徴集約コンポーネント７１０と同様）。例えば、手のひら特徴集約コンポーネント９２４は、手のひら特徴データ９１２内の特徴を平均化することによってなど、ユーザーを描写する画像のグループから抽出された手のひら特徴データ９１２を組み合わせることができる。
ユーザーがユーザー認識システムの使用のために登録されると、同一性決定コンポーネント９２６を利用して、ユーザー認識デバイス１０４と相互作用したユーザーの同一性を決定および／または検証することができる。例えば、ユーザー認識デバイス１０４は、画像データ６５８および同一性決定コンポーネント９２６（同一性決定コンポーネント８０８と同様であり得る）を使用して、ユーザーの同一性を決定することができ、登録データベース９１４は、例えば、そのユーザーの同一性に関連付けられているユーザープロファイル９１６を示すことによって、ユーザーの同一性を示す。
同一性決定コンポーネント９２６は、手のひら特徴対応コンポーネント９２８に、受信した画像データ６５８に手のひらが描写されているユーザーを決定または識別するための様々な動作を実行させることができる。例えば、手のひら特徴対応コンポーネント９２８は、受信画像データ６５８の手のひら特徴データ９１２を、ユーザー認識システムに登録されたユーザーの異なるユーザープロファイル９１６について、登録データベース９１４に格納された手のひら特徴データ９１２と比較して、それぞれの手のひら特徴データ９１２が抽出された手のひら特徴データ９１２に対応する１人以上のユーザーのユーザープロファイル９１６を決定することができる。場合によっては、手のひら特徴対応コンポーネント９２８によって計算されたスコアは、閾値と比較することができ、スコアが閾値よりも大きい場合、ユーザーの識別をもたらすことができる。複数のユーザープロファイルが閾値よりも大きいスコアに関連付けられている場合、最高に関連付けられているユーザープロファイルは、画像データ６５８に関連付けられていると見なすことができ、および／または適切なユーザーを識別するためにさらに分析を実行することができる。さらに、場合によっては、ユーザー認識システムは、初期比較に基づいて、それぞれの手のひら特徴データ９１２が抽出された手のひら特徴データ９１２に最も強く対応するユーザーのユーザープロファイル９１６の上位の「Ｎ」グループを識別するために、セット削減技術を採用することができる。いくつかの例では、単一のユーザー識別情報／プロファイル９１６は、入力手のひら特徴データ９１２に対応するものとして決定することができる。しかしながら、いくつかの例では、上位の「Ｎ」候補のグループは、訓練されたモデル９２０によって、抽出された手のひら特徴データ９１２に対する閾値量の強度（例えば、５０％の対応、９５％の対応など）に対応するものとして識別することができる。次に、第２レベルのより詳細な分析を実行して、「Ｎ」候補から１人のユーザーを識別することができる。
さらに、メモリ６２２は、古い特徴データの削除およびより最近の特徴データの使用を可能にするために、ユーザープロファイルに関連して格納された手のひら特徴データ９１２を更新するように構成された登録更新コンポーネント９３０を格納し得る（例えば、登録更新コンポーネント８１０と同様）。上で紹介したように、ユーザーが経時的にユーザーの手のひらの画像データを提供すると、登録更新コンポーネント９３０は、この新しい画像データからの特徴データを使用して、ユーザーに関連する追加の特徴データを生成および格納することができる。さらに、登録更新コンポーネント９３０は、古い特徴データに関連する重みを削除または軽減することができる。
さらに、メモリ６２２は、１つ以上の事前定義されたイベントの発生に応答して１つ以上の監査プロセスを実行するように構成された監査コンポーネント９３２を格納することができる。例えば、監査コンポーネント９３２は、システムによって以前に行われたエラーを識別するために、それぞれのユーザープロファイルに関連付けられた手のひら特徴データの互いのリッチな比較を含む夜間の監査プロセスを実行することができる。エラーを識別した後、システムはエラーを修正することができ、またこの情報を使用して、登録コンポーネント９０８によって実行されるものと同様の技術を利用して、訓練されたモデル９２０をさらに訓練することができる。
さらに、メモリ６２２は、抽出された手のひら特徴データ９１２の品質の全体的な測定基準を決定する品質チェックコンポーネント９３４を格納することができる。例えば、品質チェックコンポーネント９３４は、様々な理由で、ユーザーのために追加の画像データ６５８を取得する必要があると決定することができる。
メモリ６２２はまた、ユーザー認識デバイス１０４（および／またはユーザー認識デバイス１０４のイメージングコンポーネント）に対して手の位置を決定するように構成された位置検出コンポーネント９３６を格納することができる。例えば、そして本明細書で説明されるように、位置検出コンポーネント９３６は、手に位置する１つ以上の点を決定することができる。次に、位置検出コンポーネント９３６は、１つ以上の点を使用して、ユーザー認識デバイス１０４に対して手のひらの中心を識別することができる。場合によっては、位置検出コンポーネント９３６は、所与の時間間隔で手の位置を決定する。例えば、位置検出コンポーネント９３６は、ミリ秒、秒、および／または同様のものごとにユーザーの手の位置を決定することができる。いくつかの例では、位置検出コンポーネント９３６は、画像データ６５８によって表される各フレーム、画像データ６５８によって表される１つおきのフレーム、画像データ６５８によって表される５つおきのフレーム、および／または同様のものを使用してユーザーの手の位置を決定する。
メモリ６２２はまた、本明細書で説明されるユーザーインターフェースを生成および／または更新するように構成されたユーザーインターフェースコンポーネント６３４を格納することができる。例えば、手が検出されると、ユーザーインターフェースコンポーネント６３４は、ディスプレイ６３６に、手を置くための目標位置を示すグラフィカル要素を含むユーザーインターフェースを提示させることができる。次に、ユーザーインターフェースコンポーネント６３４は、位置検出コンポーネント９３６によって決定された位置を使用して、手の現在の位置を示すグラフィカル要素を提示および／または更新することができる。位置検出コンポーネント９３６が、手の位置が目標位置に近接していることを決定すると、ユーザーインターフェースコンポーネント６３４は、ユーザー認識デバイス１０４が生体認証データをキャプチャしたことをユーザーインターフェースに表示させることができる。
図１０Ａ～図１２は、生体認証データの入力に関連する指示を提供するための様々なプロセスを示している。本明細書で説明されるプロセスは、一連の動作を表す論理流れ図内のブロックの集合として示され、それらのいくつかまたはすべては、ハードウェア、ソフトウェア、またはそれらの組み合わせに実装することができる。ソフトウェアの文脈では、ブロックは、１つ以上のプロセッサによって実行されたとき、列挙された動作を実行するようにプロセッサをプログラムする、１つ以上のコンピュータ可読媒体に格納されたコンピュータ実行可能命令を表してもよい。一般に、コンピュータ実行可能命令は、特定の機能を実行するかまたは特定のデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。ブロックが記載されている順序は、特に断りのない限り、限定として解釈されるべきではない。記載されたブロックのうちのいくつでも、プロセス、または代替プロセスを実施するために、任意の順序および／または並列に組み合わされてもよく、すべてのブロックが実行される必要はない。
図１０は、ユーザー認識デバイス１０４に対して目標位置に手を置くことに関連する指示を提供するためのプロセス１０００の例の流れ図を示す。１００２で、プロセス１０００は、電子デバイス上に手を置くことに関連する指示を表示することを含むことができる。例えば、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４の上に手を位置付けるための指示を含むユーザーインターフェースを表示することができる。場合によっては、ユーザーインターフェースは、ユーザー認識デバイス１０４の上にどのように手を位置付けるかを示す画像をさらに含む。場合によっては、ユーザー認識デバイス１０４は、ユーザーを検出する前にユーザーインターフェースを表示する。
１００４で、プロセス１０００は、電子デバイス上に位置する手を検出することを含むことができる。例えば、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４の上に位置する手を検出することができる。ユーザー認識デバイス１０４は、手が、ユーザー認識デバイス１０４のイメージングコンポーネントの上方の閾値距離内に位置するときに、手を検出することができる。場合によっては、ユーザー認識デバイス１０４は、距離センサーを使用して手を検出する。場合によっては、ユーザー認識デバイス１０４は、１つ以上の画像センサーを使用して手を検出する。
１００６で、プロセス１０００は、電子デバイス上に手を置くための第１の位置を示す第１のグラフィカル要素を表示することを含むことができる。例えば、ユーザー認識デバイス１０４は、第１のグラフィカル要素を含むユーザーインターフェースを表示することができる。第１のグラフィカル要素は、イメージングコンポーネントの上の第１の垂直位置および第１の水平位置の両方に関連付けることができる。場合によっては、第１のグラフィカル要素は円を含む。しかしながら、他の場合では、第１のグラフィカル要素は他の任意の形状を含むことができる。
１００８で、プロセス１０００は、手を表す第１のセンサーデータを生成することを含むことができ、１０１０で、プロセス１０００は、第１のセンサーデータに対応する第１の特徴データを分析して、手に関連する１つ以上の第１の属性を決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、手の検出に基づいて第１のセンサーデータを生成することができる。第１のセンサーデータは、少なくとも、手を表す第１の画像データと、手までの第１の距離を示す第１の距離データとを含むことができる。次に、ユーザー認識デバイス１０４は、第１のセンサーデータに対応する第１の特徴データを生成することができる。例えば、第１の特徴データは、手の上の１つ以上のキーポイント（例えば、第１の画像データを使用して決定される）および手までの第１の距離（例えば、第１の距離データを使用して決定される）を示すことができる。次に、ユーザー認識デバイス１０４は、第１の特徴データを使用して、１つ以上の第１の属性を決定することができる。１つ以上の第１の属性は、１つ以上のキーポイントおよび第１の距離を含むことができる。
１０１２で、プロセス１０００は、１つ以上の第１の属性に少なくとも部分的に基づいて、手の第２の位置を決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、１つ以上の第１の特徴を分析して、手のひらの中心および手までの第１の距離を決定することができる。次に、ユーザー認識デバイス１０４は、手のひらの中心および第１の距離を使用して第２の位置を決定することができる。例えば、ユーザー認識デバイス１０４は、第１の距離を使用して手の第２の垂直位置を決定し、手のひらの中心を使用して手の第２の水平位置を決定することができる。
１０１４で、プロセス１０００は、第２の位置が第１の位置に近接していないことを決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、第２の位置が第１の位置に近接していないことを決定することができる。場合によっては、決定を行うために、ユーザー認識デバイス１０４は、第２の垂直位置が第１の垂直位置（例えば、ｚ方向）までの閾値距離の外側（例えば、より大きい）にあり、および／または第２の水平位置が、第１の水平位置までの閾値距離の外側にある（例えば、ｘ方向および／またはｙ方向）ことを決定することができる。
１０１６で、プロセス１０００は、手の第２の位置を示す第２のグラフィカル要素を表示することを含むことができる。例えば、ユーザー認識デバイス１０４は、ユーザーインターフェースを使用して、第１のグラフィカル要素とともに第２のグラフィカル要素を表示することができる。場合によっては、第２のグラフィカル要素のサイズは、手の第２の垂直位置に対応することができ、第２のグラフィカル要素のポジションは、手の第２の水平位置に対応することができる。場合によっては、ユーザー認識デバイス１０４は、手を第１の位置に移動させるための１つ以上の指示をさらに表示することができる。
１０１８で、プロセス１０００は、手を表す第２のセンサーデータを生成することを含むことができ、１０２０で、プロセス１０００は、第２のセンサーデータに対応する第２の特徴データを分析して、手に関連する１つ以上の第２の属性を決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、第２のセンサーデータを生成することができる。第２のセンサーデータは、少なくとも、手を表す第２の画像データと、手までの第２の距離を示す第２の距離データとを含むことができる。次に、ユーザー認識デバイス１０４は、第２のセンサーデータに対応する第２の特徴データを生成することができる。例えば、第２の特徴データは、手の上の１つ以上のキーポイント（例えば、第２の画像データを使用して決定される）および手までの第２の距離（例えば、第２の距離データを使用して決定される）を示すことができる。次に、ユーザー認識デバイス１０４は、第２の特徴データを使用して、１つ以上の第２の属性を決定することができる。１つ以上の第２の属性は、１つ以上のキーポイントおよび第２の距離を含むことができる。
１０２２で、プロセス１０００は、１つ以上の第２の属性に少なくとも部分的に基づいて、手の第３の位置を決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、１つ以上の第２の特徴を分析して、手のひらの中心および手までの第２の距離を決定することができる。次に、ユーザー認識デバイス１０４は、手のひらの中心および第２の距離を使用して第３の位置を決定することができる。例えば、ユーザー認識デバイス１０４は、第２の距離を使用して手の第３の垂直位置を決定し、手のひらの中心を使用して手の第３の水平位置を決定することができる。
１０２４で、プロセス１０００は、第３の位置が第１の位置に近接していることを決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、第３の位置が第１の位置に近接していることを決定することができる。場合によっては、決定を行うために、ユーザー認識デバイス１０４は、第３の垂直位置が第１の垂直位置（例えば、ｚ方向）までの閾値距離以内にあり、第３の水平位置が、第１の水平位置までの閾値距離以内にある（例えば、ｘ方向およびｙ方向）ことを決定することができる。
１０２６で、プロセス１０００は、第２のセンサーデータの処理を含むことができる。例えば、いくつかの例では、第３の位置が第１の位置に近接していると決定することに基づいて、ユーザー認識デバイス１０４は、１つ以上のユーザープロファイルに関連付けられた特徴データに関して第２の特徴データを分析することができる。分析に基づいて、ユーザー認識デバイス１０４は、第２の特徴データが、ユーザープロファイルに関連付けられた第３の特徴データに対応することを決定することができる。さらに、または代わりに、いくつかの例では、第３の位置が第１の位置に近接していると決定することに基づいて、ユーザー認識デバイス１０４は、処理のために第２のセンサーデータをサーバ６０８に送信することができる。
図１１は、生体認証データの入力に関連する指示を提供するためのプロセス１１００の例の流れ図を示している。１１０２において、プロセス１１００は、電子デバイス上のユーザーの一部を検出することを含むことができる。例えば、ユーザー認識デバイス１０４は、ユーザー認識デバイス１０４の上に位置するユーザーの部分を検出することができる。ユーザー認識デバイス１０４は、ユーザーの部分が、ユーザー認識デバイス１０４のイメージングコンポーネントの上の閾値距離内に位置するときに、ユーザーの部分を検出することができる。場合によっては、ユーザー認識デバイス１０４は、距離センサーを使用してユーザーの部分を検出する。場合によっては、ユーザー認識デバイス１０４は、１つ以上の画像センサーを使用してユーザーの部分を検出する。
１１０４において、プロセス１１００は、電子デバイスに関連する第１の位置を示す第１のグラフィカル要素を表示することを含むことができる。例えば、ユーザーの部分を検出することに基づいて、ユーザー認識デバイス１０４は、第１のグラフィカル要素を含むユーザーインターフェースを表示することができる。第１のグラフィカル要素は、ユーザー認識デバイス１０４のイメージングコンポーネントの上の第１の垂直位置および第１の水平位置の両方に関連付けることができる。場合によっては、第１のグラフィカル要素は円を含む。しかしながら、他の場合では、第１のグラフィカル要素は他の任意の形状を含むことができる。
１１０６において、プロセス１１００は、ユーザーの部分を表すセンサーデータを生成することを含むことができ、１１０８において、プロセス１１００は、センサーデータに対応する特徴データを分析して、ユーザーの部分の第２の位置を決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、ユーザーの部分を検出することに基づいてセンサーデータを生成することができる。センサーデータは、少なくともユーザーの部分を表す画像データと、ユーザーの部分までの距離を示す距離データとを含むことができる。次に、ユーザー認識デバイス１０４は、センサーデータに対応する特徴データを生成することができる。例えば、特徴データは、ユーザーの部分上の１つ以上のキーポイント（例えば、画像データを使用して決定される）およびユーザーの部分までの距離（例えば、距離データを使用して決定される）を示すことができる。次に、ユーザー認識デバイス１０４は、１つ以上のキーポイントおよび距離を使用して第２の位置を決定することができる。第２の位置は、第２の垂直位置および第２の水平位置に関連付けることができる。
１１１０で、プロセス１１００は、第２の位置が第１の場所に近接しているかどうかを決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、第２の位置が第１の位置に近接しているかどうかを決定することができる。場合によっては、ユーザー認識デバイス１０４は、第２の垂直位置が第１の垂直位置までの閾値距離内にあり（例えば、ｚ方向）、かつ第２の水平位置が第１の水平位置の閾値距離内にある（例えば、ｘ方向およびｙ方向）という決定に基づいて、第２の位置が第１の位置に近接していると決定することができる。
１１１０で、第２の位置が第１の位置に近接していないと決定された場合、１１１２で、プロセス１１００は、第２の位置を示す第２のグラフィカル要素を表示することを含むことができる。例えば、ユーザー認識デバイス１０４は、ユーザーインターフェースを使用して、第１のグラフィカル要素とともに第２のグラフィカル要素を表示することができる。場合によっては、第２のグラフィカル要素のサイズは、ユーザーの部分の第２の垂直位置に対応することができ、第２のグラフィカル要素のポジションは、ユーザーの部分の第２の水平位置に対応することができる。場合によっては、ユーザー認識デバイス１０４は、ユーザーの部分を第１の位置に移動させるための１つ以上の指示をさらに表示することができる。場合によっては、プロセス１１００は次いで、ユーザー認識デバイス１０４が第２の位置が第１の位置に近接していると決定するまで、１１０６～１１１０を繰り返すことができる。
しかしながら、１１１０で、第２の位置が第１の位置に近接していると決定された場合、１１１４で、プロセス１１００は、センサーデータに関連するアクションを実行することを含むことができる。例えば、第２の位置が第１の位置に近接しているとの決定に基づいて、ユーザー認識デバイス１０４は、アクションを実行することができる。場合によっては、アクションは、センサーデータおよび／または特徴データを使用してユーザープロファイルを生成することを含むことができる。場合によっては、アクションは、センサーデータおよび／または特徴データに関連付けられたユーザープロファイルを識別することを含むことができる。さらに、場合によっては、アクションは、センサーデータおよび／または特徴データをサーバ６０８に送信することを含むことができる。
図１２は、電子デバイスに対するユーザーの一部の位置を決定するためのプロセス１２００の例の流れ図を示している。１２０２で、プロセス１２００は、ユーザーの一部を表す画像データを生成することを含むことができ、１２０４で、プロセス１２００は、画像データに対応する特徴データを生成することを含むことができる。例えば、ユーザー認識デバイス１０４は、ユーザーの手などのユーザーの部分を表す画像データを生成することができる。次に、ユーザー認識デバイス１０４は、画像データに対応する特徴データを生成することができる。特徴データは、ユーザーの部分上の１つ以上の点を示すことができる。
１２０６において、プロセス１２００は、特徴データに少なくとも部分的に基づいて、ユーザーの部分に関連する１つ以上の点を決定することを含むことができ、１２０８において、プロセス１２００は、１つ以上の点に少なくとも部分的に基づいて、ユーザーの部分の水平位置を決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、特徴データによって表される１つ以上の点を決定することができる。次に、ユーザー認識デバイス１０４は、１つ以上の点を含む境界ボックスを決定することができる。境界ボックスを使用して、ユーザー認識デバイス１０４は、ユーザーの部分の中心点を決定することができる。場合によっては、ユーザーの部分の中心点は、境界ボックスの中心を含むことができる。次に、ユーザー認識デバイス１０４は、ユーザーの部分の中心を使用して、ユーザーの部分の水平位置を決定することができる。
１２１０で、プロセス１２００は、センサーデータを生成することを含むことができ、１２１２で、プロセス１２００は、センサーデータに少なくとも部分的に基づいて、ユーザーの部分の垂直位置を決定することを含むことができる。例えば、ユーザー認識デバイス１０４は、ユーザーの部分までの距離データなどのセンサーデータを生成することができる。次に、ユーザー認識デバイス１０４は、センサーデータを使用して、ユーザーの部分までの垂直距離を決定することができる。さらに、ユーザー認識デバイス１０４は、垂直距離に基づいて、ユーザーの部分の垂直位置を決定することができる。次に、場合によっては、ユーザー認識デバイス１０４は、水平位置および垂直位置に基づいて、ユーザーの部分の位置を決定することができる。
図１３および図１４は、マテリアルハンドリング施設６０２などの例示的なマテリアルハンドリング環境を表しており、ここで、本明細書に記載の技術は、以下に記載されるように環境を監視するカメラに適用することができる。しかしながら、以下の説明は、本明細書で説明される技術を利用できる産業および環境の単なる一用例である。
在庫アイテムを保管および管理するように構成されたマテリアルハンドリング施設１３０２（例えば、施設１３０２）の実装が図１３に示されている。マテリアルハンドリング施設１３０２は、１つ以上のアイテム１３０４（１）、１３０４（２）、．．．１３０４（Ｑ）（概して１３０４と表記）を保持できる１つ以上の物理的構造または領域を含む。この開示で使用されているように、「（Ｑ）」などの括弧内の文字は整数の結果を示す。アイテム１３０４は、本、医薬品、修理部品、電子ギア、食料品などの物理的な商品を含む。
施設１３０２は、在庫ハンドリングに関して異なる機能のために指定された１つ以上の領域を含むことができる。この図では、施設１３０２は、受け取り領域１３０６、保管領域１３０８、および遷移領域１３１０を含む。受け取り領域１３０６は、施設１３０２への取り込みのために、供給業者などからアイテム１３０４を受け取るように構成することができる。例えば、受け取り領域１３０６は、トラックまたは他の貨物輸送機がアイテム１３０４を降ろす積み込みドックを含むことができる。
保管領域１３０８は、アイテム１３０４を保管するように構成される。保管領域１３０８は、様々な物理的構成で配置することができる。一実装形態では、保管領域１３０８は、１つ以上の通路１３１２を含むことができる。通路１３１２は、通路１３１２の片側または両側における在庫位置１３１４によって構成することができるか、またはそれによって画定することができる。在庫位置１３１４は、アイテム１３０４を保持または保管するための棚、ラック、ケース、キャビネット、ビン、床の位置、または他の適切な保管機構のうちの１つ以上を含むことができる。在庫位置１３１４は、床もしくは施設の構造の別の部分に固定されていてもよく、または通路１３１２の配置が再構成可能であり得るように移動可能であってもよい。いくつかの実装形態では、在庫位置１３１４は、外部のオペレータとは独立して移動するように構成することができる。例えば、在庫位置１３１４は、ラックが施設１３０２内のある位置から別の位置に移動することを可能にするためにコンピューティングデバイスによって動作可能な、電源およびモーターを備えたラックを含むことができる。
１人以上のユーザー１３１６（１）、１３１６（２）、．．．、１３１６（Ｕ）（概して１３１６と表記）、トート１３１８（１）、１３１８（２）、．．．、１３１８（Ｔ）（概して１３１８と表記）または他のマテリアルハンドリング装置が、施設１３０２内を移動することができる。例えば、ユーザー１３１６は、施設１３０２内を動き回って、様々な在庫位置１３１４におけるアイテム１３０４を取り上げるか、または位置付け、輸送を容易にするためにそれらをトート１３１８に位置付けることができる。個々のトート１３１８は、１つ以上のアイテム１３０４を運ぶか、さもなければ輸送するように構成される。例えば、トート１３１８は、バスケット、カート、バッグなどを含むことができる。他の実装形態では、ロボット、フォークリフト、クレーン、空中ドローンなどの他の機関は、施設１３０２内を動き回って、アイテム１３０４を取り上げ、配置し、または他の方法で移動させることができる。
１つ以上のセンサー１３２０は、施設１３０２内の情報を取得するように構成することができる。施設１３０２内のセンサー１３２０は、環境に固定されたセンサー（例えば、天井に取り付けられたカメラ）、またはさもなければ、ユーザーが所有するセンサーなど（例えば、携帯電話、タブレットなど）を含むことができる。センサー１３２０は、カメラ１３２０（１）、重量センサー、無線周波数（ＲＦ）受信機、温度センサー、湿度センサー、振動センサーなどを含むことができるが、これらに限定されない。センサー１３２０は、施設１３０２に対して固定または移動可能とすることができる。例えば、在庫位置１３１４は、棚上のアイテム１３０４の取り上げまたは位置付けの画像、施設１３０２内のユーザー１３１６（１）および１３１６（２）の画像などを取得するように構成されたカメラ１３２０（１）を含むことができる。別の例では、施設１３０２の床は、ユーザー１３１６またはその上の他の物体の重量を決定するように構成された重量センサーを含むことができる。
施設１３０２の動作中、センサー１３２０は、施設１３０２内の物体または他の発生の新しい位置を識別するのに適した情報を提供するように構成することができる。例えば、カメラ１３２０（１）によって取得された一連の画像は、ユーザー１３１６のうちの１人による特定の在庫位置１３１４からのアイテム１３０４の取り出し、およびトート１３１８のうちの１つ上または少なくとも部分的にトート１３１８のうちの１つ内へのアイテム１３０４の位置付けを示すことができる。
保管領域１３０８は、１つ以上の通路１３１２、アイテム１３０４を保管する在庫位置１３１４、センサー１３２０などを有するものとして描写されているが、受け取り領域１３０６、移行領域１３１０、または施設１３０２の他の領域も同様に装備できることが理解される。さらに、施設１３０２内の様々な領域の配置は、概略的ではなく機能的に描かれている。例えば、複数の異なる受け取り領域１３０６、保管領域１３０８、および遷移領域１３１０は、施設１３０２内に分離されるのではなく、散在することができる。
施設１３０２は、在庫管理システム１３２２を含むことができるか、またはそれに結合することができる。在庫管理システム１３２２は、受け取り領域１３０６、保管領域１３０８、または遷移領域１３１０の１つ以上において、ユーザー１３１６、センサー１３２０などのデバイス、ロボット、マテリアルハンドリング機器、コンピューティングデバイスなどとのおよびそれらの間の相互作用を識別するように構成される。これらの相互作用は、１つ以上のイベント１３２４を含むことができる。例えば、イベント１３２４は、施設１３０２へのユーザー１３１６の入室、在庫位置１３１４でのアイテム１３０４のストック、在庫位置１３１４からのアイテム１３０４の取り上げ、在庫位置１３１４へのアイテム１３０４の返却、トート１３１８内へのアイテム１３０４の位置付け、互いに対するユーザー１３１６の移動、ユーザー１３１６によるジェスチャなどを含むことができる。ユーザー１３１６が関与する他のイベント１３２４は、ユーザー１３１６が、施設１３０２で認証情報を提供すること、在庫管理システム１３２２へ同一性を認証するために施設１３０２でコンピューティングデバイスを使用することなどを含むことができる。いくつかのイベント１３２４は、施設１３０２内の１つ以上の他の物体に関与することができる。例えば、イベント１３２４は、車輪に取り付けられたカウンターなどの、施設１３０２内での在庫位置１３１４の移動を含むことができる。イベント１３２４は、１つ以上のセンサー１３２０に関与することができる。例えば、センサーの故障、位置合わせの変化などのセンサー１３２０の動作の変化は、イベント１３２４として指定することができる。例を続けると、視野１３２８の向きの変化をもたらすカメラ１３２０（１）の動き（誰かまたは何かがカメラ１３２０（１）にぶつかることによるものなど）（例えば、カメラ）は、イベント１３２４として指定することができる。
イベント１３２４のうちの１つ以上の発生を決定することによって、在庫管理システム１３２２は、出力データ１３２６を生成することができる。出力データ１３２６は、イベント１３２４に関する情報を含む。例えば、イベント１３２４が、アイテム１３０４が在庫位置１３１４から取り出されることを含む場合、出力データ１３２６は、在庫位置１３１４から取り出された特定のアイテム１３０４を示すアイテム識別子と、アイテムを取り出したユーザーのユーザー識別子とを含むことができる。
在庫管理システム１３２２は、１つ以上の自動化されたシステムを使用して、出力データ１３２６を生成することができる。例えば、人工ニューラルネットワーク、１つ以上の分類器、または他の自動化された機械学習技術を使用して、１つ以上のセンサー１３２０からのセンサーデータを処理して、出力データ１３２６を生成することができる。自動化されたシステムは、確率的または非確率的技術を使用して動作することができる。例えば、自動化されたシステムはベイジアンネットワークを使用することができる。別の例では、自動化されたシステムは、サポートベクターマシンを使用して、出力データ１３２６または暫定的な結果を生成することができる。自動化されたシステムは、出力データ１３２６または暫定データが物理世界に対応するという正確さまたは信頼性を示す情報を提供する信頼水準データを生成することができる。
信頼水準データは、使用中の自動化されたシステムのタイプに少なくとも部分的に基づいて、様々な技術を使用して生成することができる。例えば、ベイジアンネットワークを使用する確率的システムでは、出力に割り当てられた確率を信頼水準として使用できる。例を続けると、ベイジアンネットワークは、画像データに描写されているアイテムが以前にメモリに格納されたアイテムに対応する確率が１３５％であることを示すことができる。この確率は、画像データに描写されているように、そのアイテムの信頼水準として使用できる。
別の例では、サポートベクターマシンなどの非確率的技術からの出力は、アイテムの画像データおよび以前に格納されたアイテムの画像が分類された数学的空間内の距離に基づく信頼水準を有することができる。以前に格納された画像などの基準点から発生中に取得された画像データまでのこの空間内の距離が大きいほど、信頼水準は低くなる。
さらに別の例では、アイテム１３０４、ユーザー１３１６などの物体の画像データは、以前に格納された画像のセットと比較することができる。画像データと以前に格納された画像との違いを評価することができる。例えば、形状、色、画像内の特徴間の相対的な比率などの違いなどである。違いは、数学的な空間で距離に換算して表すことができる。例えば、画像データに描写されている物体の色と、以前に格納された画像に描写されている物体の色は、色空間内の座標として表すことができる。
信頼水準は、これらの違いに少なくとも部分的に基づいて決定することができる。例えば、ユーザー１３１６は、在庫位置３１４から、概して立方体の形状である香水瓶などのアイテム１３０４（１）を取り上げることができる。近くの在庫位置１３１４にある他のアイテム１３０４は、主に球形とすることができる。隣接するアイテムとの形状の違い（立方体対球体）、および香水瓶アイテム１３０４（１）の以前に格納された画像との形状の一致（立方体および立方体）に基づいて、ユーザー６０６は香水瓶１３０４アイテム（１）を取り上げたという信頼水準が高い。
状況によっては、自動化された技術は、閾値の結果を超える信頼水準では出力データ１３２６を生成できない場合がある。例えば、自動化された技術は、ユーザー１３１６の群衆の中のどのユーザー１３１６が在庫位置１３１４からアイテム１３０４を取り上げたかを区別することができない場合がある。他の状況では、イベント１３２４または出力データ１３２６の正確さの人間による確認を提供することが望ましい場合がある。例えば、いくつかのアイテム１３０４は、それらが最小年齢閾値を超えるユーザー１３１６によってのみ取り扱われるように、年齢制限されていると見なされる場合がある。
人間による確認が望まれる場合、イベント１３２４に関連するセンサーデータを処理して、照会データを生成することができる。照会データは、イベント１３２４に関連するセンサーデータのサブセットを含むことができる。照会データは、自動化された技術によって決定された１つ以上の暫定的な結果または補足データのうちの１つ以上を含むこともできる。センサーデータのサブセットは、１つ以上のセンサー１３２０に関する情報を使用して決定することができる。例えば、施設１３０２内のカメラ１３２０（１）の位置、カメラ１３２０（１）の向き、およびカメラ１３２０（１）の視野１３２８などのカメラデータを使用して、施設１３０２内の特定の場所が視野１３２８内にあるかどうかを決定することができる。センサーデータのサブセットは、在庫位置１３１４またはアイテム１３０４が収納されたことを示すことができる画像を含むことができる。センサーデータのサブセットはまた、視野１３２８にその在庫位置１３１４を持たなかった他のカメラ１３２０（１）からの画像を省略することができる。視野１３２８は、センサー１３２０がセンサーデータを生成することができる施設１３０２内のシーンの一部を含むことができる。
例を続けると、センサーデータのサブセットは、アイテム１３０４を含む視野１３２８を有する１つ以上のカメラ１３２０（１）によって取得されたビデオクリップを含むことができる。暫定的な結果は、どのアイテム１３０４がイベント１３２４に関与したかについての「最良の推測」を含むことができる。例えば、暫定的な結果は、最小閾値を超える信頼水準を有する自動化されたシステムによって決定された結果を含むことができる。
施設１３０２は、様々な供給者から異なる種類のアイテム１３０４を受け取り、顧客が１つ以上のアイテム１３０４を注文または回収するまでそれらを保管するように構成することができる。施設１３０２を通るアイテム１３０４の一般的な流れは、図１３の矢印によって示されている。具体的には、この例に示されるように、アイテム１３０４は、受け取り領域１３０６で、製造業者、流通業者、卸売業者などのような１つ以上の供給業者から受け取ることができる。様々な実装形態では、アイテム１３０４は、施設１３０２を運営する企業の性質に応じて、商品、日用品、生鮮食品、または任意の適切なタイプのアイテム１３０４を含むことができる。アイテム１３０４の受け取りは、在庫管理システム１３２２が出力データ１３２６を生成することができる１つ以上のイベント１３２４を含むことができる。
受け取り領域１３０６で供給業者から受け取られると、アイテム１３０４を保管のために準備することができる。例えば、アイテム１３０４は、開梱するか、さもなければ再配置することができる。在庫管理システム１３２２は、開梱または再配置に関連するイベント１３２４に基づいて在庫管理機能を提供するために、コンピュータシステム上で実行される１つ以上のソフトウェアアプリケーションを含むことができる。これらの在庫管理機能は、アイテム１３０４に関して、タイプ、数量、状態、コスト、位置、重量、または任意の他の適切なパラメータを示す情報を維持することを含むことができる。アイテム１３０４は、パッケージ、カートン、クレート、パレット、または他の適切な集合体などの、可算か、個々の単位か、または複数かに関して、保管、管理、または分配することができる。あるいは、バルク製品、日用品などのいくつかのアイテム１３０４は、本質的に可算単位に編成されないことがある連続的または任意に分割可能な量で保管することができる。そのようなアイテム１３０４は、長さ、面積、体積、重量、時間、持続時間の単位、または測定単位によって特徴付けられる他の寸法特性などの測定可能な量に関して管理することができる。一般的に言えば、アイテム１３０４の量は、必要に応じて、アイテム１３０４の個々の単位の可算数もしくは集合単位の可算数、またはアイテム１３０４の測定可能な量のいずれかを指すことができる。
受け取り領域１３０６を通って到着した後、アイテム１３０４は、保管領域１３０８内に保管することができる。いくつかの実装形態では、同様のアイテム１３０４は、ビンの中、棚の上、ペグボードからぶら下げるなど、在庫位置１３１４に、一緒に保管または陳列することができる。この実装形態では、所与の種類のすべてのアイテム１３０４が１つの在庫位置１３１４に保管される。他の実装形態では、同様のアイテム１３０４は、異なる在庫位置１３１４に保管することができる。例えば、大規模な物理的施設１３０２内で頻繁なターンオーバーがある特定のアイテム１３０４の回収を最適化するために、それらのアイテム１３０４は、単一の在庫位置１３１４において発生することがある混雑を低減するために、いくつかの異なる在庫位置１３１４に保管することができる。アイテム１３０４の保管およびそれらのそれぞれの在庫位置１３１４は、１つ以上のイベント１３２４を含むことができる。
１つ以上のアイテム１３０４を指定する顧客注文が受け取られると、またはユーザー１３１６が施設１３０２を通って進むとき、対応するアイテム１３０４は、それらのアイテム１３０４を含む在庫位置１３１４から選択するか、または「取り上げる」ことができる。様々な実装形態では、アイテムの取り上げは、手動から完全に自動化された取り上げまでの範囲に及ぶことができる。例えば、一実装形態では、ユーザー１３１６は、所望するアイテム１３０４のリストを有することができ、保管領域１３０８内の在庫位置１３１４からアイテム１３０４を取り上げ、それらのアイテム１３０４をトート１３１８に配置しながら施設１３０２を通って進むことができる。他の実装形態では、施設１３０２の従業員は、顧客の注文から導出された書面または電子の取り上げリストを使用して、アイテム１３０４を取り上げることができる。これらの取り上げられたアイテム１３０４は、従業員が施設１３０２を通って進むときにトート１３１８に位置付けることができる。取り上げは、１つ以上のイベント１３２４、例えば、在庫位置１３１４に移動する際のユーザー１３１６、在庫位置１３１４からのアイテム１３０４の回収などを含むことができる。
アイテム１３０４が取り上げられた後、それらは遷移領域１３１０において処理することができる。遷移領域１３１０は、アイテム１３０４が１つの位置から別の位置へ、またはあるエンティティから別のエンティティへと移される、施設１３０２内の任意の指定された領域とすることができる。例えば、遷移領域１３１０は、施設１３０２内のパッキングステーションとすることができる。アイテム１３０４が遷移領域１３１０に到着すると、アイテム１３０４は、保管領域１３０８からパッキングステーションに移すことができる。遷移は、１つ以上のイベント１３２４を含むことができる。遷移に関する情報は、それらのイベント１３２４に関連する出力データ１３２６を使用して、在庫管理システム１３２２によって維持することができる。
別の例では、アイテム１３０４が施設１３０２を出発する場合、アイテム１３０４のリストが取得され、在庫管理システム１３２２によって使用されて、アイテム１３０４の責任または保管を施設１３０２から別のエンティティに移すことができる。例えば、運送業者は、輸送のためにアイテム１３０４を受け取ることができ、その運送業者は、リストに示されたアイテム１３０４の責任を受け入れる。別の例では、顧客は、アイテム１３０４を購入またはレンタルし、施設１３０２からアイテム１３０４を取り出すことができる。購入またはレンタルは、１つ以上のイベント１３２４を含むことができる。
在庫管理システム１３２２は、施設１３０２、およびアイテム１３０４、ユーザー１３１６、トート１３１８などを含む施設の内容に関するセンサーデータにアクセスするか、またはそれを生成することができる。センサーデータは、１つ以上のセンサー１３２０、他のシステムによって提供されるデータなどによって取得することができる。例えば、センサー１３２０は、施設１３０２内のシーンの画像データを取得するように構成されたカメラ１３２０（１）を含むことができる。画像データは、静止画像、ビデオ、またはそれらの組み合わせを含むことができる。画像データは、在庫管理システム１３２２によって処理されて、ユーザー１３１６の位置、トート１３１８、ユーザー１３１６の同一性などを決定することができる。本明細書で使用される場合、ユーザーの同一性は、ユーザーの特有の識別子（例えば、名前、ユーザーに関連付けられた番号、ユーザー名など）、環境で識別される他のユーザーの間でユーザーを区別する識別子などを表すことができる。
在庫管理システム１３２２、またはそれに結合されたシステムは、ユーザー１３１６を識別するように、ならびに他の候補ユーザーを決定するように構成することができる。一実装形態では、この決定は、センサーデータを以前に格納された同一性データと比較することを含むことができる。例えば、ユーザー１３１６は、顔認識システムに顔を見せることによって、認証クレデンシャルを具備したトークンを提示することによって、指紋を提供することによって、施設に入るときにバーコードまたは他のタイプの特有の識別子をスキャンすることなどによって、識別することができる。ユーザー１３１６の同一性は、施設１３０２への入室前、入室中、または入室後に決定することができる。ユーザー１３１６の同一性の決定は、施設１３０２内のユーザー１３１６に関連付けられたセンサーデータを以前に格納されたユーザーデータと比較することを含むことができる。
場合によっては、在庫管理システムは施設内のユーザーをそれぞれのセッションにグループ化する。すなわち、在庫管理システム１３２２は、センサーデータを利用して、効果的に「一緒に」いる（例えば、一緒に買い物をする）ユーザーのグループを決定することができる。場合によっては、特定のセッションは、施設１３０２に一緒に入室し、場合によっては施設を一緒に通り抜ける複数のユーザーを含むことができる。例えば、大人２人と子供２人の家族が一緒に施設に入室すると、在庫管理システムは各ユーザーを特定のセッションに関連付けることができる。個々のユーザーに加えてセッションの位置を特定することは、セッション内のユーザーがアイテムを個別に取り上げるか、または返却するか、または別様に相互作用することがあるだけでなく、アイテムを相互にやり取りすることがあるとすると、個々のイベントの結果を判断するのに役立ち得る。例えば、上記の例の子供は、シリアルの箱を取り上げてからその箱を母親に渡すことができ、母親はそれをトート１３１８に入れることができる。子供と母親が同じセッションに属していることに注意すると、母親の仮想ショッピングカートにシリアルの箱を正常に追加する可能性が高くなり得る。
１つ以上のイベント１３２４の発生およびそれに関連する出力データ１３２６を決定することによって、在庫管理システム１３２２は、施設１３０２のユーザー１３１６に１つ以上のサービスを提供することができる。１人以上の人間の従業員を利用して照会データを処理し、応答データを生成し、それを使用して出力データ１３２６を生成することにより、システムの全体的な精度を高めることができる。精度を高めることで、施設１３０２の１人以上のユーザー１３１６のユーザー体験を改善することができる。いくつかの例では、出力データ１３２６は、ネットワーク１３３０を介して１つ以上のサーバ６０８に送信することができる。
図１４は、１つ以上のサーバ６０８のブロック図を示している。サーバ６０８は、施設１４０２に物理的に存在することができるか、ネットワーク１４３０によってアクセス可能とすることができるか、または両方の組み合わせとすることができる。サーバ６０８は、サービスを配信するシステムの物理的な位置および構成についてエンドユーザーの知識を必要としない。サーバ６０８に関連する一般的な表現は、「オンデマンドコンピューティング」、「サービス型ソフトウェア（ＳａａＳ）」、「クラウドサービス」、「データセンター」などを含むことができる。サーバ６０８によって提供されるサービスは、１つ以上の物理的または仮想的なデバイスにわたって分散することができる。
サーバ６０８は、１つ以上の格納された指示を実行するように構成された１つ以上のハードウェアプロセッサ１４０２（プロセッサ）を含むことができる。プロセッサ１４０２は、１つ以上のコアを含むことができる。サーバ６０８は、プロセッサ１４０２またはサーバ６０８の他の部分が他のデバイスと通信することを可能にするために、１つ以上の入力／出力（Ｉ／Ｏ）インターフェース１４０４を含むことができる。Ｉ／Ｏインターフェース１４０４は、相互統合回路（Ｉ２Ｃ）、シリアルペリフェラルインターフェースバス（ＳＰＩ）、ＵＳＢ実装者フォーラムＲＳ－２３２によって公布されたユニバーサルシリアルバス（ＵＳＢ）、などを含むことができる。
サーバ６０８はまた、１つ以上の通信インターフェース１４０６を含むことができる。通信インターフェース１４０６は、サーバ６０８と、センサー１４２０、インターフェースデバイス、ルータなどの他のデバイスとの間の通信を提供するように構成される。通信インターフェース１４０６は、パーソナルエリアネットワーク（ＰＡＮ）、有線および無線ローカルエリアネットワーク（ＬＡＮ）、有線および無線ワイドエリアネットワーク（ＷＡＮ）などに結合するように構成されたデバイスを含むことができる。例えば、通信インターフェース１４０６は、イーサネット、Ｗｉ－Ｆｉ（商標）などと互換性のあるデバイスを含むことができる。サーバ６０８はまた、サーバ６０８の様々なモジュールとコンポーネントとの間でのデータの転送を可能にする１つ以上のバスまたは他の内部通信ハードウェアもしくはソフトウェアを含むことができる。
サーバ６０８はまた、電源１４４０を含むことができる。電源１４４０は、サーバ６０８内のコンポーネントを動作させるのに適した電力を提供するように構成される。
図１４に示されるように、サーバ６０８は、１つ以上のメモリ１４１０を含む。メモリ１４１０は、１つ以上のコンピュータ可読記憶媒体（ＣＲＳＭ）を含む。ＣＲＳＭは、電子記憶媒体、磁気記憶媒体、光学記憶媒体、量子記憶媒体、機械的コンピュータ記憶媒体などのうちの任意の１つ以上とすることができる。メモリ１４１０は、サーバ６０８の動作のために、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの記憶を提供する。いくつかの機能モジュールの例が、メモリ１４１０に格納されて示されているが、同じ機能は、代替的に、ハードウェア、ファームウェアにおいて、またはシステムオンチップ（ＳＯＣ）として実装することができる。
メモリ１４１０は、少なくとも１つのオペレーティングシステム（ＯＳ）コンポーネント１４１２を含むことができる。ＯＳコンポーネント１４１２は、Ｉ／Ｏインターフェース１４０４、通信インターフェース１４０８などのハードウェアリソースデバイスを管理するように構成され、プロセッサ１４０２上で実行されるアプリケーションまたはコンポーネントに様々なサービスを提供する。ＯＳコンポーネント１４１２は、ＦｒｅｅＢＳＤプロジェクトによって公布されたＦｒｅｅＢＳＤ（商標）オペレーティングシステムのバリアント、その他のＵＮＩＸ（商標）またはＵＮＩＸのようなバリアント、ＬｉｎｕｓＴｏｒｖａｌｄｓによって公布されたＬｉｎｕｘ（商標）オペレーティングシステムのバリエーション、米国ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎのＷｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒオペレーティングシステムなどを実装することができる。
以下のコンポーネントのうちの１つ以上もまた、メモリ１４１０に格納することができる。これらのコンポーネントは、フォアグラウンドアプリケーション、バックグラウンドタスク、デーモンなどとして実行できる。通信コンポーネント１４１４は、１つ以上のセンサー１２２０、１つ以上のユーザー認識デバイス１０４、従業員によって使用される１つ以上のデバイス、他のサーバ６０８、または他のデバイスとの通信を確立するように構成することができる。通信は、認証され、暗号化などが行われ得る。
メモリ１４１０は、在庫管理システム１４１６を格納することができる。在庫管理システム１４１６は、在庫管理システム１３２２に関して本明細書で説明されるような在庫機能を提供するように構成される。例えば、在庫管理システム１４１６は、施設１２０２内のアイテム１３０４の移動を決定し、ユーザーインターフェースデータを生成するなどを行うことができる。
在庫管理システム１４１６は、メモリ１４１０内の１つ以上のデータストア１４１８に格納された情報にアクセスすることができる。データストア１４１８は、フラットファイル、データベース、リンクリスト、ツリー、実行可能コード、スクリプト、または他のデータ構造を使用して情報を格納することができる。いくつかの実装形態では、データストア１４１８またはデータストア１４１８の一部は、他のサーバ６０８、ネットワーク接続ストレージデバイスなどを含む１つ以上の他のデバイスにわたって分散することができる。
データストア１４１８は、物理的レイアウトデータ１４２０を含むことができる。物理的レイアウトデータ１４２０は、センサー１３２０、在庫位置１３１４などのようなデバイスおよび物体の物理的レイアウト内の物理的位置のマッピングを提供する。物理的レイアウトデータ１４２０は、施設１３０２内の在庫位置１３１４の座標、その在庫位置１３１４の視野内のセンサー１３２０などを示すことができる。例えば、物理的レイアウトデータ１４２０は、施設１３０２内のカメラ１３２０（１）の１つ以上の位置、カメラ１３２０（１）の向き、動作状態などを含むカメラデータを含むことができる。例を続けると、物理的レイアウトデータ１４２０は、カメラ１３２０（１）の座標、視野１３２８が向けられている方向を示すパンおよびチルト情報、カメラ１３２０（１）が動作しているか誤動作しているかなどを示すことができる。
いくつかの実装形態では、在庫管理システム１４１６は、物理的レイアウトデータ１４２０にアクセスして、イベント１３２４に関連する位置が１つ以上のセンサー１３２０の視野１３２８内にあるかどうかを決定することができる。上記の例を続けると、施設１３０２内のイベント１３２４の位置およびカメラデータが与えられると、在庫管理システム１４１６は、イベント１３２４の画像を生成したかもしれないカメラ１３２０（１）を決定することができる。
アイテムデータ１４２２は、アイテム１３０４に関連する情報を含む。情報は、１つ以上のアイテム１３０４が保管されている１つ以上の在庫位置１３１４を示す情報を含むことができる。アイテムデータ１４２２はまた、注文データ、ＳＫＵまたは他の製品識別子、価格、手持ちの数量、重量、有効期限、アイテム１３０４の画像、詳細説明情報、評価、ランキングなどを含むことができる。在庫管理システム１４１６は、在庫管理機能に関連する情報をアイテムデータ１４２２に格納することができる。
データストア１４１８はまた、センサーデータ１４２４を含むことができる。センサーデータ１４２４は、１つ以上のセンサー１３２０から、またはそれに基づいて取得された情報を含む。例えば、センサーデータ１４２４は、施設１３０２内の物体に関する３Ｄ情報を含むことができる。上記のように、センサー１３２０は、１つ以上の画像を取得するように構成されたカメラ１３２０（１）を含むことができる。これらの画像は、画像データ１４２６として格納することができる。画像データ１４２６は、複数の画像要素またはピクセルを説明する情報を含むことができる。非画像データ１４２８は、マイクロフォン１３２０、重量センサー１３２０などからの入力など、他のセンサー１３２０からの情報を含むことができる。
ユーザーデータ１４３０もまた、データストア１４１８に格納することができる。ユーザーデータ１４３０は、同一性データ、プロファイルを示す情報、購入履歴、位置データ、ユーザー１３１６の画像、人口統計データなどを含むことができる。個々のユーザー１３１６またはユーザー１３１６のグループは、在庫管理システム１３２２が使用するためのユーザーデータ１４３０を選択的に提供することができる。個々のユーザー１３１６またはユーザー１３１６のグループはまた、施設１３０２の使用中のユーザーデータ１４３０の収集、または他のシステムから取得されたユーザーデータ１４３０へのアクセスを許可することができる。例えば、ユーザー１３１６は、施設１３０２を使用している間に拡張サービスを受けるために、ユーザーデータ１４３０の収集にオプトインすることができる。
いくつかの実装形態では、ユーザーデータ１４３０は、特別なハンドリングのためにユーザー１３１６を指定する情報を含むことができる。例えば、ユーザーデータ１４３０は、特定のユーザー１３１６が、出力データ１３２６に関するエラー数の増加に関連付けられていることを示すことができる。在庫管理システム１４１６は、この情報を使用して、このユーザー１３１６に関連付けられたイベント１３２４に追加の精査を適用するように構成することができる。例えば、閾値量を超えるコストまたは結果を有するアイテム１３０４を含むイベント１３２４は、自動化システムによって生成された出力データ１３２６の決定された信頼水準に関係なく、処理のために従業員に提供することができる。
在庫管理システム１４１６は、位置特定コンポーネント１４３２、識別コンポーネント１４３４、イベント決定コンポーネント１４３６、および照会コンポーネント１４３８のうちの１つ以上を含むことができる。
位置特定コンポーネント１４３２は、施設の環境内のアイテムまたはユーザーを位置特定して、在庫管理システム１４１６が特定のイベントを正しいユーザーに割り当てることを可能にするように機能する。すなわち、位置特定コンポーネント１４３２は、ユーザーが施設に入るときにユーザーに特有の識別子を割り当てることができ、ユーザーの同意を得て、ユーザーが施設１３０２に留まっている間、施設１３０２全体でユーザーのポジションを特定することができる。位置特定コンポーネント１４３２は、画像データ１４２６などのセンサーデータ１４２４を使用してこの位置特定を実行することができる。例えば、位置特定コンポーネント１４３２は、画像データ１４２６を受信することができ、顔認識技術を使用して、画像からユーザーを識別することができる。施設内の特定のユーザーを識別した後、位置特定コンポーネント１４３２は、ユーザーが施設１３０２内を移動するときに、画像内でユーザーを位置特定することができる。さらに、位置特定コンポーネント１４３２が特定のユーザーを一時的に「失う」場合、位置特定コンポーネント１４３２は、顔認識に基づいて、および／または音声認識などの他の技術を使用して、施設内のユーザーを再び識別しようとすることができる。
したがって、問題のイベントの時間および場所の指示を受信すると、位置特定コンポーネント１４３２は、データストア１４１８に問い合わせて、１人以上のどのユーザーが、特定のイベントの時間にイベントの位置の閾値距離にいたかまたはその範囲内にいたかを決定することができる。さらに、位置特定コンポーネント１４３２は、異なるユーザーに異なる信頼水準を割り当てることができ、信頼水準は、対応する各ユーザーが実際に関心のあるイベントに関連付けられているユーザーである可能性がどの程度あるかを示す。
位置特定コンポーネント１４３２は、ユーザーおよび／またはアイテムのこの位置データを決定するために、センサーデータ１４２４にアクセスすることができる。位置データは、アイテム１３０４、ユーザー１３１６、トート１３１８などのような物体の位置を示す情報を提供する。位置は、施設１３０２に対して絶対的であってもよく、または別の物体または基準点に対して相対的であってもよい。絶対的という用語は、測地学的な基準点に対する緯度、経度、および高度を含むことができる。相対的という用語は、施設１３０２の平面図で指定されているように、ｘ軸に沿って２５．４メートル（ｍ）、ｙ軸に沿って７５．２ｍの位置、１６９°の方位に沿って在庫位置１３１４から５．２ｍの位置、などを含むことができる。例えば、位置データは、ユーザー１３１６（１）が通路１３１２（１）に沿って２５．２ｍにいて、在庫位置１３１４の前に立っていることを示すことができる。比較すると、相対的な位置は、ユーザー１３１６（１）がトート１３１８に対して７３°の方位でトート１３１８から３２ｃｍにいることを示すことができる。位置データは、ユーザー１３１６がどの方向を向いているかなどの向き情報を含むことができる。向きは、ユーザー１３１６の体が向いている相対的な方向によって決定することができる。いくつかの実装形態では、向きは、インターフェースデバイスに相対的であり得る。例を続けると、位置データは、ユーザー１３１６（１）が０°の方位を向いているか、または北を向いていることを示すことができる。別の例では、位置データは、ユーザー１３１６がインターフェースデバイスの方を向いていることを示すことができる。
識別コンポーネント１４３４は、物体を識別するように構成される。一実装形態では、識別コンポーネント１４３４は、アイテム１３０４を識別するように構成することができる。別の実装形態では、識別コンポーネント１４３４は、ユーザー１３１６を識別するように構成することができる例えば、識別コンポーネント１４３４は、顔認識技術を使用して、画像データ１４２６を処理し、画像データ１４２６の特性を以前に格納された結果と比較することによって、画像に描かれたユーザー１３１６の同一性データを決定することができる。識別コンポーネント１４３４はまた、ＲＦＩＤリーダー１３２０、ＲＦ受信機１３２０、指紋センサーなどの他のセンサー１３２０からのデータにアクセスすることができる。
イベント決定コンポーネント１４３６は、センサーデータ１４２４を処理し、出力データ１３２６を生成するように構成される。イベント決定コンポーネント１４３６は、イベント記述データ１４４２、信頼水準１４４４、または閾値１４４６を含むがこれらに限定されない、データストア１４１８に格納された情報にアクセスすることができる。
イベント記述データ１４４２は、１つ以上のイベント１３２４を示す情報を含む。例えば、イベント記述データ１４４２は、「取り上げ」のイベント１３２４で在庫場所１３１４からのアイテム１３０４の移動を指定する事前定義されたプロファイルを含むことができる。イベント記述データ１４４２は、手動で生成することも、自動で生成することもできる。イベント記述データ１４４２は、施設１３０２で発生するイベントに関連するトリガーを示すデータを含むことができる。イベントは、トリガーの検出時に発生していると決定することができる。例えば、在庫位置１３１４での重量センサー１３２０（６）からの重量の変化などのセンサーデータ１４２４は、在庫位置１３１４から追加または削除されるアイテム１３０４のイベントの検出をトリガーすることができる。別の例では、トリガーは、在庫位置１３１４に向かって手を伸ばすユーザー１３１６の画像を含むことができる。さらに別の例では、トリガーは、互いに閾値距離内に接近する２人以上のユーザー１３１６を含むことができる。
イベント決定コンポーネント１４３６は、人工ニューラルネットワーク、分類器、決定木、サポートベクターマシン、ベイジアンネットワークなどを含むがこれらに限定されない１つ以上の技術を使用してセンサーデータ１４２４を処理することができる。例えば、イベント決定コンポーネント１４３６は、決定木を使用して、センサーデータ１４２４に基づいて「取り上げ」イベント１３２４の発生を決定することができる。イベント決定コンポーネント１４３６は、センサーデータ１４２４をさらに使用して、１つ以上の暫定的な結果１４４８を決定することができる。１つ以上の暫定的な結果１４４８は、イベント１３２４に関連するデータを含む。例えば、イベント１３２４がユーザー１３１６の曖昧性解消を含む場合、暫定的な結果１４４８は、可能なユーザー同一性のリストを含むことができる。別の例では、イベント１３２４がアイテム間の曖昧性解消を含む場合、暫定的な結果１４４８は、可能なアイテム識別子のリストを含むことができる。いくつかの実装形態では、暫定的な結果１４４８は、可能なアクションを示すことができる。例えば、アクションは、ユーザー１３１６がアイテム１３０４を取り上げ、配置し、移動すること、アイテム１３０４に損傷を与えること、ジェスチャ入力を提供することなどを含むことができる。
いくつかの実装形態では、暫定的な結果１４４８は、他のコンポーネントによって生成することができる。例えば、イベント１３２４に関与するユーザー１３１６の１つ以上の可能な同一性または位置などの暫定的な結果１４４８は、位置特定コンポーネント１４３２によって生成することができる。別の例では、イベント１３２４に関与していたかもしれない可能性のあるアイテム１３０４などの暫定的な結果１４４８は、識別コンポーネント１４３４によって生成することができる。
イベント決定コンポーネント１４３６は、暫定的な結果１４４８の決定に関連する信頼水準１４４４を提供するように構成することができる。信頼水準１４４４は、暫定的な結果１４４８の期待される精度の水準に関するしるしを提供する。例えば、低い信頼水準１４４４は、暫定的な結果１４４８が、イベント１３２４の実際の状況に対応する可能性が低いことを示すことができる。比較すると、高い信頼水準１４４４は、暫定的な結果１４４８がイベント１３２４の実際の状況に対応する可能性が高いことを示すことができる。
いくつかの実装形態では、閾値結果１４４６を超える信頼水準１４４４を有する暫定的な結果１４４８は、十分に正確であると見なすことができ、したがって、出力データ１３２６として使用することができる。例えば、イベント決定コンポーネント１４３６は、「取り上げ」イベント１３２４に対応する３つの可能なアイテム１３０４（１）、１３０４（２）、および１３０４（３）を示す暫定的な結果１４４８を提供することができる。可能なアイテム１３０４（１）、１３０４（２）、および１３０４（３）に関連する信頼水準１４４４は、それぞれ２５％、７０％、１４２％であり得る。例を続けると、１４０％の信頼水準１４４４が十分に正確であると見なされるように、閾値結果を設定することができる。結果として、イベント決定コンポーネント１４３６は、アイテム１３０４（３）に関与するものとして「取り上げ」イベント１３２４を指定することができる。
照会コンポーネント１４３８は、イベント１３２４に関連するセンサーデータ１４２４の少なくとも一部を使用して照会データ１４５０を生成するように構成することができる。いくつかの実装形態では、照会データ１４５０は、１つ以上の暫定的な結果１４４８または補足データ１４５２を含むことができる。照会コンポーネント１４３８は、１人以上の人間の従業員に関連付けられた１つ以上のデバイスに照会データ１４５０を提供するように構成することができる。
従業員のユーザーインターフーイスは、従業員のそれぞれのデバイスに提示される。従業員は、特定の暫定的な結果１４４８を選択し、新しい情報を入力し、問い合わせに答えることができないことを示すことなどによって、応答データ１４５４を生成することができる。
補足データ１４５２は、イベント１２２４に関連する情報、またはセンサーデータ１４２４を解釈するのに役立ち得る情報を含む。例えば、補足データ１４５２は、アイテム１３０４の以前に格納された画像を含むことができる。別の例では、補足データ１４５２は、１つ以上のグラフィカルオーバーレイを含むことができる。例えば、グラフィカルオーバーレイは、関心のある物体のしるしを描写するオーバーレイなどのグラフィカルユーザーインターフェース要素を含むことができる。これらのしるしは、従業員への提示中に画像データ１４２６の上に重ね合わされるか、または位置付けられたハイライト、境界ボックス、矢印などを含むことができる。
照会コンポーネント１４３８は、１人以上の従業員によって提供された応答データ１４５４を処理する。処理は、応答データ１４５４に関連する１つ以上の統計結果を計算することを含むことができる。例えば、統計結果は、従業員が特定の暫定的な結果１４４８を選択した回数のカウント、特定の暫定的な結果１４４８を選択した従業員のパーセンテージの決定などを含むことができる。
照会コンポーネント１４３８は、応答データ１４５４に少なくとも部分的に基づいて出力データ１３２６を生成するように構成される。例えば、従業員の大多数が、「取り上げ」イベント１３２４に関連付けられたアイテム１３０４がアイテム１３０４（５）であることを示す応答データ１４５４を返したとすると、出力データ１３２６は、アイテム１３０４（５）が取り上げられたことを示すことができる。
照会コンポーネント１４３８は、照会を特定の従業員に選択的に配信するように構成することができる。例えば、一部の従業員は、特定の種類の問い合わせに回答するのにより適している場合がある。従業員のパフォーマンスに関する統計データなどのパフォーマンスデータは、従業員によって提供された応答データ１４５４から照会コンポーネント１４３８によって決定することができる。例えば、特定の従業員が大多数の従業員と一致しなかった応答データ１４５４を選択したという異なる問い合わせのパーセンテージを示す情報を維持することができる。いくつかの実装形態では、以前に既知の正解を有する試験または練習照会データ１４５０を、訓練または品質保証の目的で従業員に提供することができる。使用する従業員のセットの決定は、パフォーマンスデータに少なくとも部分的に基づくことができる。
照会コンポーネント１４３８を使用することにより、イベント決定コンポーネント１４３６は、イベント１３２４を正確に表す高信頼性出力データ１３２６を提供することが可能になり得る。応答データ１４５４から照会コンポーネント１４３８によって生成された出力データ１３２６はまた、在庫管理システム１４１６によって使用される自動化されたシステムをさらに訓練するために使用することができる。例えば、応答データ１４５４に基づくセンサーデータ１４２４および出力データ１３２６は、プロセス改善の訓練のために、在庫管理システム１４１６の１つ以上の構成要素に提供することができる。例を続けると、この情報は、人工ニューラルネットワーク、ベイジアンネットワークなどに提供され、同じまたは同様の入力に対して将来生成される信頼水準１４４４および暫定的な結果１４４８が改善されるように、これらのシステムをさらに訓練することができる。
場合によっては、サーバ６０８は、ユーザー認識デバイス１０４に関して図９に示されるコンポーネントのうちの１つ以上をさらに含むことができる。そのような場合、サーバ６０８は、ユーザー認識デバイス１０４に関して本明細書で説明されるプロセスのうちの１つ以上を実行することができる。さらに、サーバ６０８は、実行されたプロセスに関連するデータ（例えば、他のデータ６６２）をユーザー認識デバイス１０４に送信することができる。例えば、データは、ユーザーがユーザー認識デバイス１０４を使用しているときのユーザーの部分の位置を示すことができる。
前述の本発明は、特定の例に関して説明されているが、本発明の範囲は、これらの特定の例に限定されないことを理解されたい。特定の動作要件および環境に適合するように変化する他の修正および変更は、当業者には明らかであるため、本発明は、開示の目的のために選択された例に限定されるものとは見なされず、本発明の真の趣旨および範囲から逸脱しないすべての変更および修正を包含する。
本出願は、特定の構造的特徴および／または方法論的行為を有する実施形態を記載しているが、特許請求の範囲は、記載された特定の特徴または行為に必ずしも限定されないことを理解されたい。むしろ、特定の特徴および行為は、本出願の特許請求の範囲内にあるいくつかの実施形態を単に例示するものである。
例示的な条項
Ａ：電子デバイスであって、１つ以上の距離センサーと、１つ以上のイメージングデバイスと、ディスプレイと、１つ以上のネットワークインターフェースと、１つ以上のプロセッサと、命令を記憶する１つ以上のコンピュータ可読媒体とを含み、命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに動作を実行させ、動作は、第１の時点で１つ以上の距離センサーを使用して、電子デバイス上に位置する手を検出し、電子デバイス上に手を位置決めするための目標垂直位置および目標水平位置を示す第１のグラフィカル要素をディスプレイに提示させ、第２の時点で１つ以上の距離センサーを使用して、手までの第１の距離に基づく第１の距離データを生成し、第１の距離データに少なくとも部分的に基づいて、電子デバイスの上の手の第１の垂直位置を決定し、第３の時点で１つ以上のイメージングデバイスを使用して、手を表す第１の画像データを生成し、手に関連する１つ以上の第１の属性を決定するために、第１の画像データに対応する第１の特徴データを分析し、１つ以上の第１の属性に少なくとも部分的に基づいて、電子デバイス上の手の第１の水平位置を決定し、第１の垂直位置が目標垂直位置までの第１の閾値距離よりも大きいこと、または第１の水平位置が目標水平位置までの第２の閾値距離よりも大きいことのうちの少なくとも１つを決定し、ディスプレイに、第１の垂直位置および第１の水平位置を示す第２のグラフィカル要素を提示させ、第４の時点で１つ以上の距離センサーを使用して、手までの第２の距離に基づいて第２の距離データを生成し、第２の距離データに少なくとも部分的に基づいて、電子デバイスの上の手の第２の垂直位置を決定し、第４の時点で１つ以上のイメージングデバイスを使用して、手を表す第２の画像データを生成し、第２の画像データに対応する第２の特徴データを分析して、手に関連する１つ以上の第２の属性を決定し、１つ以上の第２の属性に少なくとも部分的に基づいて、電子デバイス上の手の第２の水平位置を決定し、第２の垂直位置が、目標垂直位置までの第１の閾値距離よりも小さいと決定し、第２の水平位置が、目標水平位置までの第２の閾値距離よりも小さいと決定し、１つ以上のネットワークインターフェースを使用して、第２の画像データまたは第２の特徴データのうちの少なくとも１つをリモートシステムに送信することを含む、電子デバイス。
Ｂ：動作はさらに、第１の垂直位置に少なくとも部分的に基づいて第２のグラフィカル要素のサイズを決定し、第１の水平位置に少なくとも部分的に基づいて、ディスプレイ上の第２のグラフィカル要素のポジションを決定することをさらに含み、ディスプレイに第２のグラフィカル要素を提示させることは、サイズおよびポジションに従って、ディスプレイに第２のグラフィカル要素を提示させることを含む、段落Ａに記載の電子デバイス。
Ｃ：手の第１の水平位置を決定することは、１つ以上の第１の属性に少なくとも部分的に基づいて、手に位置する１つ以上の点を決定し、１つ以上の点に少なくとも部分的に基づいて手のひらの中心を決定し、手のひらの中心を使用して第１の水平位置を決定することを少なくとも含む、段落Ａまたは段落Ｂのいずれかに記載の電子デバイス。
Ｄ：方法であって、電子デバイスによって、第１のグラフィカル要素を表示し、電子デバイスによって、ユーザーの一部を表す第１のセンサーデータを生成し、電子デバイスに対するユーザーの部分の第１の位置を決定するために、第１のセンサーデータに対応する第１の特徴データを分析し、第１の位置が目標位置からの閾値距離より大きいと決定し、第１の位置に少なくとも部分的に基づいて、第２のグラフィカル要素のサイズまたはポジションのうちの少なくとも１つを決定し、電子デバイスによって、第１のグラフィカル要素とともに、形状またはポジションのうちの少なくとも１つに従って第２のグラフィカル要素を表示し、電子デバイスによって、ユーザーの部分を表す第２のセンサーデータを生成し、第２のセンサーデータに対応する第２の特徴データを分析して、ユーザーの部分の第２の位置を決定し、第２の位置が目標位置の閾値距離よりも小さいと決定し、第２のセンサーデータまたは第２の特徴データのうちの少なくとも１つをリモートシステムに送信することを含む、方法。
Ｅ：第１の位置に関連した垂直位置を決定することをさらに含み、第２のグラフィカル要素のサイズまたはポジションのうちの少なくとも１つを決定することは、垂直位置に少なくとも部分的に基づいて第２のグラフィカル要素のサイズを決定することを含む、段落Ｄに記載の方法。
Ｆ：第１の位置に関連した水平位置を決定することをさらに含み、第２のグラフィカル要素のサイズまたはポジションのうちの少なくとも１つを決定することは、水平位置に少なくとも部分的に基づいて第２のグラフィカル要素のポジションを決定することを含む、段落Ｄまたは段落Ｅのいずれかに記載の方法。
Ｇ：第１の位置と目標位置との間の垂直方向の差を決定し、第１の位置と目標位置との間の水平方向の差を決定することをさらに含み、第２の位置が目標位置からの閾値距離よりも大きいことを決定することは、垂直方向の差が閾値距離よりも大きいことを決定するか、または水平方向の差が閾値距離よりも大きいことを決定することの少なくとも一方を含む、段落Ｄ～Ｆのいずれか１つに記載の方法。
Ｈ：第１のセンサーデータが、ユーザーの部分を表す画像データを含み、画像データに対応する第１の特徴データを分析して、電子デバイスに対するユーザーの部分の第１の位置を決定することは、少なくとも、第１の特徴データを分析して、ユーザーの部分に位置する１つ以上の点を決定し、１つ以上の点に少なくとも部分的に基づいてユーザーの部分に関連する中心点を決定し、中心点に少なくとも部分的に基づいて第１の位置を決定することを含む、段落Ｄ～Ｇのいずれか１つに記載の方法。
Ｉ：第１のセンサーデータが、ユーザーの部分までの距離を表す距離データを含み、距離データに対応する第１の特徴データを分析して、電子デバイスに対するユーザーの部分の第１の位置を決定することは、少なくとも、第１の特徴データを分析して、電子デバイスとユーザーの部分との間の距離を決定することを含み、第１の位置は距離に関連付けられている、段落Ｄ～Ｈのいずれか１つに記載の方法。
Ｊ：ユーザーの部分を表す第３のセンサーデータを生成し、第３のセンサーデータに対応する第３の特徴データを分析して、電子デバイスに対するユーザーの部分の第３の位置を決定し、第３の位置が目標位置までの閾値距離よりも大きいことを決定し、第３の位置に少なくとも部分的に基づいて第２のグラフィカル要素の追加のサイズまたは追加のポジションのうちの少なくとも１つを決定し、第１のグラフィカル要素とともに、追加のサイズまたは追加のポジションのうちの少なくとも１つに従って第２のグラフィカル要素を表示することをさらに含む、段落Ｄ～Ｉのいずれか１つに記載の方法。
Ｋ：第２のグラフィカル要素のサイズまたはポジションのうちの少なくとも１つを決定することは、少なくとも、第１の位置に関連する垂直位置に少なくとも部分的に基づいて第２のグラフィカル要素のサイズを決定し、第１の位置に関連する第１の水平位置に少なくとも部分的に基づいて第２のグラフィカル要素のポジションを決定することを含み、第２のグラフィカル要素の追加のサイズまたは追加のポジションのうちの少なくとも１つを決定することは、少なくとも、第３の位置に関連する第２の垂直位置に少なくとも部分的に基づいて第２のグラフィカル要素の追加のサイズを決定し、第３の位置に関連する第２の水平位置に少なくとも部分的に基づいて第２のグラフィカル要素の追加のポジションを決定することを含む、段落Ｄ～Ｊのいずれか１つに記載の方法。
Ｌ：電子デバイス上にユーザーの部分を置くことに関連する指示を表示し、第３のセンサーデータを生成し、第３のセンサーデータに少なくとも部分的に基づいて、ユーザーの部分が電子デバイス上に位置していることを検出することをさらに含み、第１のグラフィカル要素を表示することは、ユーザーの部分を検出した後に少なくとも部分的に行われる、段落Ｄ～Ｋのいずれか１つに記載の方法。
Ｍ：第２のグラフィカル要素とともに、ユーザーの部分を環境内の目標位置に移動させることに関連する指示を表示することをさらに含む、段落Ｄ～Ｌのいずれか１つに記載の方法。
Ｎ：第２の位置が目標位置までの閾値距離より小さいと決定することに少なくとも部分的に基づいて、遠隔システムに第２のセンサーデータまたは第２の特徴データのうちの少なくとも１つを送信することをさらに含む、段落Ｄ～ＦＭのいずれか１つに記載の方法。
Ｏ：第２の特徴データを分析して、ユーザーの部分のポーズ、ユーザーの部分の方向、またはユーザーの部分の向きのうちの少なくとも１つを決定することをさらに含む、段落Ｄ～Ｎのいずれか１つに記載の方法。
Ｐ：１つ以上の距離センサーと、１つ以上のイメージングデバイスと、ディスプレイと、１つ以上のプロセッサと、命令を記憶する１つ以上のコンピュータ可読媒体とを含み、命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに動作を実行させ、動作は、ディスプレイに第１のグラフィカル要素を提示させ、１つ以上の距離センサーを使用して電子デバイスに対するユーザーの一部の垂直位置を決定し、１つ以上のイメージングデバイスを使用してユーザーの部分を表す画像データを生成し、画像データに対応する特徴データを分析して電子デバイスに対するユーザーの部分の水平位置を決定し、ディスプレイに第１のグラフィカル要素とともに第２のグラフィカル要素を提示させることを含み、第２のグラフィカル要素は垂直位置および水平位置を表す、電子デバイス。
Ｑ：動作は、垂直位置に少なくとも部分的に基づいて第２のグラフィカル要素のサイズを決定し、水平位置に少なくとも部分的に基づいて第２のグラフィカル要素のポジションを決定することをさらに含み、ディスプレイに第２のグラフィカル要素を提示させることは、ディスプレイに第１のグラフィカル要素とともにサイズおよびポジションに従って第２のグラフィカル要素を提示させることを少なくとも含む、段落Ｐに記載の電子デバイス。
Ｒ：動作は、１つ以上の距離センサーを使用して電子デバイスに対するユーザーの部分の追加の垂直位置を決定し、１つ以上のイメージングデバイスを使用してユーザーの部分を表す追加の画像データを生成し、追加の画像データに対応する追加の特徴データを分析して、電子デバイスに対するユーザーの部分の追加の水平位置を決定し、ディスプレイに第１のグラフィカル要素とともに追加の垂直位置および追加の水平位置を示す第２のグラフィカル要素を提示させることをさらに含む、段落Ｐまたは段落Ｑのいずれかに記載の電子デバイス。
Ｓ：動作は、１つ以上の距離センサーを使用して、電子デバイスに対するユーザーの部分の追加の垂直位置を決定し、１つ以上のイメージングデバイスを使用してユーザーの部分を表す追加の画像データを生成し、追加の画像データに対応する追加の特徴データを分析して、電子デバイスに対するユーザーの部分の追加の水平位置を決定し、追加の垂直位置が目標垂直位置までの第１の閾値距離よりも小さいことを決定し、追加の水平位置が目標水平位置までの第２の閾値距離よりも小さいことを決定し、ディスプレイに入力が受信されたことを表示させることをさらに含む、段落Ｐ～Ｒのいずれか１つに記載の電子デバイス。
Ｔ：動作は、垂直位置が目標垂直位置までの第１の閾値距離よりも大きいこと、または水平位置が目標水平位置までの第２の閾値距離よりも大きいことのうちの少なくとも１つを決定することをさらに含み、垂直位置が目標垂直位置までの第１の閾値距離よりも大きいことに少なくとも部分的に基づいて、第２のグラフィカル要素の第１のサイズが第１のグラフィカル要素の第２のサイズと異なるか、または水平位置が目標水平位置までの第２の閾値距離よりも大きいことに少なくとも部分的に基づいて、第２のグラフィカル要素の少なくとも一部が第１のグラフィカル要素の部分よりも離れて位置しているか、のうちの少なくとも一方である、段落Ｐ～Ｓのいずれか１つに記載の電子デバイス。

Claims (14)

  1. 電子デバイスによって、第１のグラフィカル要素を表示することと、
    前記電子デバイスによって、ユーザーの部分を表す第１のセンサーデータを生成することと、
    前記第１のセンサーデータに対応する第１の特徴データを分析して、前記電子デバイスに対する前記ユーザーの前記部分の第１の位置を決定することと、
    前記第１の位置が目標位置からの閾値距離よりも大きいことを決定することと、
    前記第１の位置に基づいて、第２のグラフィカル要素のサイズまたはポジションのうちの少なくとも１つを決定することと、
    前記電子デバイスによって、形状または前記ポジションのうちの少なくとも１つに従って、前記第１のグラフィカル要素とともに前記第２のグラフィカル要素を表示することと、
    前記電子デバイスによって、前記ユーザーの前記部分を表す第２のセンサーデータを生成することと、
    前記第２のセンサーデータに対応する第２の特徴データを分析して、前記ユーザーの前記部分の第２の位置を決定することと、
    前記第２の位置が前記目標位置の前記閾値距離よりも小さいことを決定することと、
    前記第２のセンサーデータまたは前記第２の特徴データのうちの少なくとも１つを遠隔システムに送信することと、を含み、
    前記第１の位置を決定することは、
    前記第１のセンサーデータに基づいて、前記ユーザーの前記部分の属性に関連する複数の特徴データを決定する工程と、
    前記第１のセンサーデータに関連し、複数の前記特徴データを囲み込む４つの角を有する境界ボックスを決定する工程と、
    前記境界ボックスに基づいて、前記ユーザーの前記部分の中心点を識別することによって前記第１の位置を決定する工程と、を有する方法。
  2. 前記第１の位置に関連付けられた垂直位置を決定することをさらに含み、
    前記第２のグラフィカル要素の前記サイズまたは前記ポジションのうちの前記少なくとも１つを決定することは、前記垂直位置に基づいて、前記第２のグラフィカル要素の前記サイズを決定することを含む、請求項１に記載の方法。
  3. 前記第１の位置に関連付けられた水平位置を決定することをさらに含み、
    前記第２のグラフィカル要素の前記サイズまたは前記ポジションのうちの前記少なくとも１つを決定することは、前記水平位置に基づいて、前記第２のグラフィカル要素の前記ポジションを決定することを含む、請求項１または２に記載の方法。
  4. 前記第１の位置と前記目標位置との間の垂直方向の差を決定することと、
    前記第１の位置と前記目標位置との間の水平方向の差を決定することと、をさらに含み、
    前記第２の位置が前記目標位置からの前記閾値距離よりも大きいことを決定することは、
    前記垂直方向の差が前記閾値距離よりも大きいことを決定すること、または
    前記水平方向の差が前記閾値距離よりも大きいことを決定すること、のうちの少なくとも１つを含む、請求項１から３のいずれか一項に記載の方法。
  5. 前記第１のセンサーデータが、前記ユーザーの前記部分までの距離を表す距離データを含み、前記距離データに対応する前記第１の特徴データを分析して、前記電子デバイスに対する前記ユーザーの前記部分の前記第１の位置を決定することは、少なくとも、前記第１の特徴データを分析して、前記電子デバイスと前記ユーザーの前記部分との間の距離を決定することを含み、前記第１の位置は前記距離に関連付けられている、請求項１から４のいずれか一項に記載の方法。
  6. 前記ユーザーの前記部分を表す第３のセンサーデータを生成することと、
    前記第３のセンサーデータに対応する第３の特徴データを分析して、前記電子デバイスに対する前記ユーザーの前記部分の第３の位置を決定することと、
    前記第３の位置が前記目標位置までの前記閾値距離よりも大きいことを決定することと、
    前記第３の位置に基づいて、前記第２のグラフィカル要素の追加のサイズまたは追加のポジションのうちの少なくとも１つを決定することと、
    前記追加のサイズまたは前記追加のポジションのうちの前記少なくとも１つに従って、前記第１のグラフィカル要素に沿って前記第２のグラフィカル要素を表示することと、をさらに含む、請求項１から５のいずれか一項に記載の方法。
  7. 前記第２のグラフィカル要素の前記サイズまたは前記ポジションのうちの前記少なくとも１つを決定することは、少なくとも、
    前記第１の位置に関連付けられた垂直位置に基づいて、前記第２のグラフィカル要素の前記サイズを決定すること、
    前記第１の位置に関連付けられた第１の水平位置に基づいて、前記第２のグラフィカル要素の前記ポジションを決定すること、を含み、
    前記第２のグラフィカル要素の前記追加のサイズまたは前記追加のポジションのうちの前記少なくとも１つを決定することは、少なくとも、
    前記第３の位置に関連付けられた第２の垂直位置に基づいて、前記第２のグラフィカル要素の前記追加のサイズを決定すること、
    前記第３の位置に関連付けられた第２の水平位置に基づいて、前記第２のグラフィカル要素の前記追加のポジションを決定すること、を含む、請求項６に記載の方法。
  8. 前記電子デバイス上に前記ユーザーの前記部分を置くことに関連する指示を表示することと、
    第３のセンサーデータを生成することと、
    前記第３のセンサーデータに基づいて、前記ユーザーの前記部分が前記電子デバイスの上に位置していることを検出することと、をさらに含み、
    前記第１のグラフィカル要素の表示は、少なくとも部分的に、前記ユーザーの前記部分を検出した後に行われる、請求項１から７のいずれか一項に記載の方法。
  9. 前記第２のグラフィカル要素とともに、前記ユーザーの前記部分を環境内の前記目標位置に移動させることに関連する指示を表示することをさらに含む、請求項１から８のいずれか一項に記載の方法。
  10. 前記第２の位置が前記目標位置までの前記閾値距離よりも小さいと決定することに基づいて、遠隔システムに前記第２のセンサーデータまたは前記第２の特徴データのうちの少なくとも１つを送信することをさらに含む、請求項１から９のいずれか一項に記載の方法。
  11. 前記第２の特徴データを分析して、
    前記ユーザーの前記部分のポーズ、
    前記ユーザーの前記部分の方向、または
    前記ユーザーの前記部分の向き、のうちの少なくとも１つを決定することをさらに含む、請求項１から１０のいずれか一項に記載の方法。
  12. 電子デバイスであって、
    １つ以上の距離センサーと、
    １つ以上のイメージングデバイスと、
    ディスプレイと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されたとき、前記１つ以上のプロセッサに動作を行わせる命令を記憶する１つ以上のコンピュータ可読媒体と、を含み、前記動作は、
    前記ディスプレイに第１のグラフィカル要素を提示させることと、
    前記１つ以上の距離センサーを使用して、前記電子デバイスに対するユーザーの部分の垂直位置を決定することと、
    前記１つ以上のイメージングデバイスを使用して、前記ユーザーの前記部分を表す画像データを生成することと、
    前記画像データに対応する特徴データを分析して、前記電子デバイスに対する前記ユーザーの前記部分の第１の位置を決定することと、
    前記第１の位置に関連付けられた水平位置を決定することと、
    前記ディスプレイに、前記第１のグラフィカル要素とともに、第２のグラフィカル要素を提示させることであって、前記第２のグラフィカル要素が前記垂直位置および前記水平位置を表す、提示させることと、を含み、
    前記第１の位置を決定することは、
    前記画像データに基づいて、前記ユーザーの前記部分の属性に関連する複数の特徴データを決定し、
    前記画像データに関連し、複数の前記特徴データを囲み込む４つの角を有する境界ボックスを決定し、
    前記境界ボックスに基づいて、前記ユーザーの前記部分の中心点を識別することによって前記第１の位置を決定する、電子デバイス。
  13. 前記動作は、
    前記垂直位置に基づいて、前記第２のグラフィカル要素のサイズを決定することと、
    前記水平位置に基づいて、前記第２のグラフィカル要素のポジションを決定することと、をさらに含み、
    前記ディスプレイに前記第２のグラフィカル要素を提示させることは、前記サイズおよび前記ポジションに従って、前記第１のグラフィカル要素とともに、前記第２のグラフィカル要素を前記ディスプレイに提示させることを少なくとも含む、請求項１２に記載の電子デバイス。
  14. 前記動作は、
    前記１つ以上の距離センサーを使用して、前記電子デバイスに対する前記ユーザーの前記部分の追加の垂直位置を決定することと、
    前記１つ以上のイメージングデバイスを使用して、前記ユーザーの前記部分を表す追加の画像データを生成することと、
    前記追加の画像データに対応する追加の特徴データを分析して、前記電子デバイスに対する前記ユーザーの前記部分の追加の水平位置を決定することと、
    前記ディスプレイに、前記第１のグラフィカル要素とともに、前記追加の垂直位置および前記追加の水平位置を示す前記第２のグラフィカル要素を提示させることと、をさらに含む、請求項１２または１３に記載の電子デバイス。
JP2022517779A 2019-09-27 2020-09-25 自動ユーザー識別用電子デバイス Active JP7379677B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/585,328 2019-09-27
US16/585,328 US11941629B2 (en) 2019-09-27 2019-09-27 Electronic device for automated user identification
PCT/US2020/052729 WO2021062161A1 (en) 2019-09-27 2020-09-25 Electronic device for automated user identification

Publications (2)

Publication Number Publication Date
JP2022548730A JP2022548730A (ja) 2022-11-21
JP7379677B2 true JP7379677B2 (ja) 2023-11-14

Family

ID=72812018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517779A Active JP7379677B2 (ja) 2019-09-27 2020-09-25 自動ユーザー識別用電子デバイス

Country Status (6)

Country Link
US (1) US11941629B2 (ja)
JP (1) JP7379677B2 (ja)
CN (1) CN114651287A (ja)
DE (1) DE112020004597T5 (ja)
GB (1) GB2602588B (ja)
WO (1) WO2021062161A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD969812S1 (en) * 2019-11-25 2022-11-15 Amazon Technologies, Inc. User recognition device
US11586857B2 (en) * 2020-06-16 2023-02-21 Fujifilm Business Innovation Corp. Building entry management system
US11270102B2 (en) 2020-06-29 2022-03-08 Amazon Technologies, Inc. Electronic device for automated user identification
USD961591S1 (en) * 2021-03-15 2022-08-23 Salvus, Llc Cartridge reader
US11493995B2 (en) * 2021-03-24 2022-11-08 International Business Machines Corporation Tactile user interactions for personalized interactions
CN113377356B (zh) * 2021-06-11 2022-11-15 四川大学 一种用户界面原型代码的生成方法、装置、设备及介质
CN115511124B (zh) * 2022-09-27 2023-04-18 上海网商电子商务有限公司 一种基于售后维修记录的客户分级方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008071158A (ja) 2006-09-14 2008-03-27 Fujitsu Ltd 生体認証装置の生体誘導制御方法及び生体認証装置
JP2010128822A (ja) 2008-11-27 2010-06-10 Fujitsu Ltd 生体認証装置、生体認証方法及び生体認証プログラム
WO2013020577A2 (en) 2011-08-07 2013-02-14 Sensometrix Sa Body part guidance control method for non contact biometric authentication device, and biometric authentication device
KR101483741B1 (ko) 2014-02-10 2015-01-27 전남대학교산학협력단 슬라이스 패턴 영상을 이용한 터치 인식 방법 및 그 시스템
JP2015106386A (ja) 2013-12-02 2015-06-08 富士通株式会社 生体情報抽出装置、生体情報抽出方法、および生体情報抽出プログラム
US20150186707A1 (en) 2013-12-31 2015-07-02 Hyundai Motor Company Apparatus and method for recognizing user's gesture for carrying out operation of vehicle
JP2015170206A (ja) 2014-03-07 2015-09-28 富士通株式会社 検出装置および検出方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496214B2 (en) * 2002-09-25 2009-02-24 The Hong Kong Polytechnic University Method of palm print identification
US20080107309A1 (en) 2006-11-03 2008-05-08 Cerni Consulting, Llc Method and apparatus for biometric identification
US20100127069A1 (en) 2008-11-25 2010-05-27 Henton Sr David Apparatus and method of performing financial business transactions
JP5237394B2 (ja) 2009-01-30 2013-07-17 富士通フロンテック株式会社 認証装置、撮像装置、認証方法および認証プログラム
JPWO2010116470A1 (ja) 2009-03-30 2012-10-11 富士通株式会社 生体認証装置、生体認証方法、および記憶媒体
ES2338092A1 (es) * 2009-11-16 2010-05-03 Universidad Politecnica De Madrid Dispositivo y metodo de reconocimiento biometrico basado en un movimiento de la mano en el espacio con un dispositivo que integre un acelerometro.
US20120078764A1 (en) * 2010-09-27 2012-03-29 Bank Of America Corporation Automatic Identification Of Bill-Pay Clients
US8903119B2 (en) 2010-10-11 2014-12-02 Texas Instruments Incorporated Use of three-dimensional top-down views for business analytics
WO2013059716A2 (en) 2011-10-19 2013-04-25 Ran Margalit Automated purchasing system
US20150012426A1 (en) * 2013-01-04 2015-01-08 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
WO2013112749A1 (en) 2012-01-24 2013-08-01 University Of Southern California 3d body modeling, from a single or multiple 3d cameras, in the presence of motion
US9473747B2 (en) 2013-07-25 2016-10-18 Ncr Corporation Whole store scanner
US9898642B2 (en) * 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
JP6303485B2 (ja) 2013-12-20 2018-04-04 富士通株式会社 生体認証装置及び生体認証方法
JP6343972B2 (ja) 2014-03-10 2018-06-20 富士通株式会社 照明装置及び生体認証装置
US9916010B2 (en) * 2014-05-16 2018-03-13 Visa International Service Association Gesture recognition cloud command platform, system, method, and apparatus
US10614204B2 (en) * 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US9424458B1 (en) * 2015-02-06 2016-08-23 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP2016194799A (ja) 2015-03-31 2016-11-17 富士通株式会社 画像解析装置及び画像解析方法
WO2016194249A1 (ja) 2015-06-01 2016-12-08 オリンパス株式会社 医療用マニピュレータ
US9691152B1 (en) * 2015-08-14 2017-06-27 A9.Com, Inc. Minimizing variations in camera height to estimate distance to objects
US10210318B2 (en) 2015-12-09 2019-02-19 Daon Holdings Limited Methods and systems for capturing biometric data
JP6776559B2 (ja) 2016-03-03 2020-10-28 富士通株式会社 生体画像処理装置、生体画像処理方法および生体画像処理プログラム
US10558278B2 (en) * 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US10127438B1 (en) 2017-08-07 2018-11-13 Standard Cognition, Corp Predicting inventory events using semantic diffing
US10133933B1 (en) 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
CN109960964A (zh) 2017-12-14 2019-07-02 红石生物特征科技有限公司 非接触式掌纹获取装置及其方法
WO2019162957A1 (en) 2018-08-20 2019-08-29 Lad Denikumar Biometric payment transaction without mobile or card
CN112639801A (zh) * 2018-08-28 2021-04-09 华为技术有限公司 一种人脸识别的方法及装置
CN209015177U (zh) 2019-01-09 2019-06-21 东浓智能科技(上海)有限公司 一种可准确定位手掌位置的掌静脉识别装置
US11270102B2 (en) 2020-06-29 2022-03-08 Amazon Technologies, Inc. Electronic device for automated user identification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008071158A (ja) 2006-09-14 2008-03-27 Fujitsu Ltd 生体認証装置の生体誘導制御方法及び生体認証装置
JP2010128822A (ja) 2008-11-27 2010-06-10 Fujitsu Ltd 生体認証装置、生体認証方法及び生体認証プログラム
WO2013020577A2 (en) 2011-08-07 2013-02-14 Sensometrix Sa Body part guidance control method for non contact biometric authentication device, and biometric authentication device
JP2015106386A (ja) 2013-12-02 2015-06-08 富士通株式会社 生体情報抽出装置、生体情報抽出方法、および生体情報抽出プログラム
US20150186707A1 (en) 2013-12-31 2015-07-02 Hyundai Motor Company Apparatus and method for recognizing user's gesture for carrying out operation of vehicle
KR101483741B1 (ko) 2014-02-10 2015-01-27 전남대학교산학협력단 슬라이스 패턴 영상을 이용한 터치 인식 방법 및 그 시스템
JP2015170206A (ja) 2014-03-07 2015-09-28 富士通株式会社 検出装置および検出方法

Also Published As

Publication number Publication date
GB2602588A (en) 2022-07-06
US20210097547A1 (en) 2021-04-01
WO2021062161A1 (en) 2021-04-01
GB202203911D0 (en) 2022-05-04
JP2022548730A (ja) 2022-11-21
GB2602588B (en) 2024-04-10
CN114651287A (zh) 2022-06-21
US11941629B2 (en) 2024-03-26
DE112020004597T5 (de) 2022-08-04

Similar Documents

Publication Publication Date Title
JP7379677B2 (ja) 自動ユーザー識別用電子デバイス
US11288490B1 (en) Utilizing sensor data for automated user identification
US11017203B1 (en) Utilizing sensor data for automated user identification
US11270102B2 (en) Electronic device for automated user identification
US11587149B2 (en) Associating shoppers together
US11328147B1 (en) Identifying item barcodes
JP7417738B2 (ja) カスタマイズされた小売環境
US11705133B1 (en) Utilizing sensor data for automated user identification
US11301684B1 (en) Vision-based event detection
US11443275B1 (en) Maintaining accurate cart-state using auto-generated sensor data
US11922486B2 (en) Identifying items using cascading algorithms
US11688170B2 (en) Analyzing sensor data to identify events
US11393301B1 (en) Hybrid retail environments
US11790630B1 (en) Inferring facility planograms
US11816932B1 (en) Updating identification data in automated user-identification systems
US11880779B1 (en) Generating event results using auto-generated sensor data
US11488231B1 (en) Systems and method for an application for updating virtual carts
US11488103B1 (en) Customized retail environments
US12033419B2 (en) Electronic device for automated user identification
US11068962B1 (en) Updating cart state using auto-generated sensor data
US11869065B1 (en) System and method for vision-based event detection
US11756036B1 (en) Utilizing sensor data for automated user identification
US11868956B1 (en) Session-based analysis of events
WO2024064163A1 (en) Customized retail environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231101

R150 Certificate of patent or registration of utility model

Ref document number: 7379677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150