JP7125899B2 - 物品の相互作用及び移動検出方法 - Google Patents

Description

小売業者、卸売業者及びその他の製品の代理店は、一般的に、顧客や取引先などにより、注文、購入、リース、借用、レンタル、観察ができる様々な物品の在庫を維持している。例えば、電子商取引のウェブサイトは、配送センターの在庫を維持できる。顧客が物品を注文すると、物品は、在庫から選択され、梱包ステーションに発送され、梱包され、顧客に出荷される。同様に、実店舗は、顧客アクセス可能地域（例えば、ショッピングエリア）の在庫を維持し、顧客は、店舗内から物品を探し、在庫から物品を選択し、購入、レンタルなどのためにレジまで持って行く。

これらの実店舗の多くは、ショッピングエリアに配置されている在庫を補充及び／または他のチャネル（例えば、電子商取引）を介して配置されている物品の注文を満たすことができるように、倉庫場所または配送センターに在庫を維持する。在庫を維持する主体の他の例としては、図書館、博物館、レンタルセンターなどが挙げられる。各場合では、ユーザ（例えば、ピッカー、ユーザ、顧客）は、使用及び／または購入のための物品を取得するために、最初に物品を検索しなければならない。

米国特許公開第２０１３／００７６８９８号

この開示は、材料取扱施設を有する在庫場所における物品の除去または配置を追跡するシステムを記述している。

例示によっては、ユーザが在庫場所から物品を除去でき、在庫管理システムが除去された物品を表示する物品識別子を含むために、ユーザに関連付けられたユーザ物品リストの除去及び更新を検出できるものもある。同様に、ユーザが在庫場所に物品を配置する場合、在庫管理システムは、配置された物品を表示する物品識別子を除去するために、ユーザ物品リストの配置及び更新を検出することができる。

詳細な説明は、添付の図面を参照しながら記述する。図面において、参照番号の左端の数字は、参照番号が最初に現れる図面を識別している。異なる図面における同じ参照番号の使用は、類似または同一の物品または特徴を示している。
幾つかの実施態様による材料取扱施設を図示したブロック図である。 幾つかの実施態様による材料取扱施設の更に詳細を図示したブロック図である。 幾つかの実施態様による追加のコンポーネントと図１の材料取扱施設で利用するコンポーネントタイプ間の通信経路を図示したものである。 幾つかの実施態様による物品の相互作用及び／または移動を追跡するための例示的なプロセスのフロー図を図示したものである。 幾つかの実施態様による例示的な対象物の除外及び配置サブプロセスのフロー図を図示したものである。 幾つかの実施態様による除外された対象物を識別するための例示的なサブプロセスのフロー図を図示したものである。 幾つかの実施態様による配置された対象物を識別する例示的なサブプロセスのフロー図を図示したものである。 リモートコンピューティングリソースなどの様々な実施態様で使用できるサーバシステムの例示的な実施態様を図示したブロック図である。

実施態様は一例として、本明細書に記述されているが、この分野の通常の知識を有する者は、実施態様が記述された実施例または図面に限定されるものではないことを認識するであろう。実施態様の図面及び詳細な記述は、開示された特定の形に限定するものではないことを理解すべきである。逆に、添付された特許請求の範囲によって定義される趣旨及び範囲内に入る全ての修正、均等物及び代替を包摂するものである。本明細書で使用する見出しは、構成上の目的のためのみであり、明細書または特許請求の範囲を限定するために使用されるものではない。本特許出願の至る所で用いられている単語「あってもよい」は、必須の意味（すなわち、しなければならないという意味）より、むしろ許容的な意味（すなわち、潜在的にできるという意味）で使用されている。同様に、「含む」、「含むこと」及び「含んでいる」は、「含むが、これに限定されない」という意味である。

本開示は、材料取扱施設内における、在庫場所からの物品の除外及び／または配置を追跡及び識別するシステムを記述している。いくつかの例では、ユーザは、材料取扱施設内の在庫場所から物品を除外することができる。除外を検出すると、除外物品が識別され、物品を除外したユーザに関連付けられたユーザ物品リストに関連付けられる。例えば、ユーザが取得係員である場合、取得係員は材料取扱施設内に配置されている様々な在庫場所から取得係員が取得する全ての物品を識別する関連付けられたユーザ物品リストを持っている。取得係員は物品を取得すると、その物品が識別され、ユーザの物品リストは、取得係員が物品を取得したことを示すために更新される。

同様に、ユーザが材料取扱施設内の場所にある物品を配置した場合、物品が識別され、ユーザに関連付けられたユーザ物品リストが更新される。例えば、ユーザが保管係員である場合、保管係員は材料取扱施設内の在庫場所に保管係員が収納する全ての物品を識別する関連付けられたユーザ物品リストを持っている。保管係員は物品を収納すると、その物品が識別され、ユーザ物品リストは、保管係員物品を収納したことを示すために更新される。

実施態様には、材料取扱施設内の在庫場所に除外及び／または配置された物品の識別は、種々の入力装置から受信したデータに基づいて識別できるものもある。例えば、画像撮影装置（例えば、カメラ）は、ユーザの手が面を横切って在庫場所に入る前に、手の一連の画像を撮影し、ユーザの手が在庫場所を出た後で、手の一連の画像を撮影することができる。画像の比較に基づいて、ユーザが、在庫場所から対象物を除外または在庫場所に対象物を配置したどうかを判断できる。例えば、画像分析に基づいて、ユーザは手が面を横切って在庫場所に入るときに、対象物を保持していないことに対して、手を在庫場所から移動するときに対象物を保持している（ユーザが在庫場所から対象物を除外した）ことを判断ができる。同様に、画像解析は、ユーザは手が横切って在庫場所に入る前に手に対象物を保持していることに対して、手を在庫場所から移動するときに対象物を保持していない（ユーザは、対象物を在庫場所に配置した）場合を判断するために用いることができる。

ユーザが在庫場所から対象物を除外したと判断される例では、どのような物品がストックされ、収納され、あるいは在庫場所と関連付けられたかを判断ができ、ユーザがその在庫場所に関連付けられている物品の一つを除外したことを識別するために、ユーザ物品リストを更新できる。在庫場所に収納されている物品の知識を有することにより、撮影画像の処理による除外された物品の実際の識別は不要である。対象物が除外された簡単かつ迅速な検出処理で十分である。しかし、実施態様には、ユーザ物品リストが更新される前に、除外された対象物が在庫場所に関連付けられた物品に対応しているかどうかを確認するため、追加の画像処理ができるものもある。

ユーザが在庫場所に対象物を配置したと判断される例では、対象物が在庫場所に配置される前に、どのような物品がユーザに関連付けられているかを判断できる。同様に、配置された対象物を識別する取り組みのために、これらの物品のそれぞれの格納表示が取得され、配置された対象物の画像と比較できる。格納表示と配置された対象物の画像の比較から高い信頼度スコアが決定された場合、配置された対象物は物品として識別され、ユーザ物品リストは、ユーザが物品を配置したことを示すために更新される。配置された対象物が物品に一致しているか、あるいは在庫場所に配置されるようになっているか否かが、更に判断されてもよい。配置された物品は、その在庫場所にあると想定された場合、その在庫場所での物品の在庫数を更新することができる。しかし、配置された物品が、その在庫場所に属していない場合は、在庫場所から物品を取得するためにアソシエイトを派遣することができる。

材料取扱施設内の物品のユーザによる除外及び／または配置を検出することにより、ユーザが物品の追加の転移を必要とせずに、物品の材料取扱施設内における移動及び材料取扱施設からの出荷を達成できる。例えば、材料取扱施設は小売店であれば、ユーザは、施設内から物品を選び、カート、バッグ、ポケットに物品を置く、またはその物品を運び、物品が自動的に識別され、ユーザに関連付けられる。ユーザが施設を出ると、物品は、施設からユーザに移行され、ユーザが物品の代金を請求される。これは、ユーザがレジでのチェックアウト、レジによる各物品の識別及びスキャン、レジに物品の代金を支払う追加の工程を経ることなく済ませることができる。

本明細書で記述される材料取扱施設は、倉庫、物流センター、クロスドッキング施設、受注処理施設、包装設備、出荷施設、賃貸施設、図書館、小売店、卸売店、博物館、または他の施設あるいは荷役（在庫）処理の１つまたは複数の機能を実行するための施設の組み合わせを含む。

在庫物品を収納し、管理するように構成された材料取扱施設の実施態様は、図１に示されている。図1に示されているように、材料取扱施設１００は、受領エリア１２０、任意の数の在庫物品１３５Ａ－１３５Ｎを収納するために構成された収納エリア１３０及び１つ以上の移行エリア１４０を備えている。材料取扱施設１００内の様々な領域の配列は、概略的にではなく、機能的に示されている。例えば、実施態様には、複数の異なる受領エリア１２０、収納エリア１３０及び移行エリア１４０は、分離されるより、むしろ散在されたほうがよいものもある。また、材料取扱施設１００は、受領エリア１２０、収納エリア１３０、移行エリア１４０及び／または材料取扱施設１００内のユーザのそれぞれが相互に情報を伝え合うように構成された在庫管理システム１５０を備えている。

材料取扱施設１００は、様々な供給業者から在庫物品１３５の異なる種類を受領し、それらをユーザが１つまたは複数の物品を取り出すか、または注文するまで収納するように構成されている。材料取扱施設１００を通して、物品の一般的な流れは、矢印で示されている。具体的には、この例に示すように、物品１３５は、製造業者、流通業者、卸売業者などの１つまたは複数の供給業者から受領エリア１２０で受領できる。様々な実施態様では、物品１３５は、商品、日用品、生鮮食品、または材料取扱施設１００を運営している企業の性質に応じて、任意の適切なタイプの物品を含むことができる。

物品１３５は、供給業者から受領エリア１２０で受領されると、収納のために調製される。例えば、実施態様には、物品１３５は、開梱されまたは他の方法で再配列されていてもよく、在庫管理システム１５０（以下に記述するように、コンピュータシステムで実行する１つまたは複数のソフトウェアプリケーションを含んでもよい）は、タイプ、量、状態、コスト、場所、または新たに受領された物品１３５に関して他の適切なパラメータを反映するように更新されてもよいものもある。物品１３５は、パッケージ、カートン、木箱、パレットまたは他の適切な集成物などの数えることができ、個々の単位または単位の倍数に換算して収納、管理または分配され得ることが分かる。また、バルク製品、商品など幾つかの物品１３５は、本質的に可算単位に編成されない連続または任意に分割可能な量で収納できる。このような物品１３５は、測定の単位によって特徴付けられるような長さ、面積、体積、重量、持続時間、または他の寸法特性を単位として測定可能な量に換算して管理され得る。一般的に言えば、物品１３５の量は、必要に応じて、物品１３５の個々または集計単位の測定可算量または物品１３５の測定可能な量のいずれかを参照する。

受領エリア１２０を通じて到着後、物品１３５は、収納エリア１３０内に収納され得る。実施態様には、所与の種類の全ての物品１３５が収納エリア１３０内の１つの在庫場所に格納されているように、同様の物品１３５は一緒にビン、棚の上またはその他の適切な収納機構を介して、格納あるいは陳列されてもよいものもある。他の実施態様では、同様の物品１３５は、異なる場所に格納できる。例えば、大規模な構造物で高い回転率を有する特定の物品１３５の検索を最適化するために、これらの物品１３５は、一点に収納する場合に発生し得る輻輳を低減するために、複数の異なる在庫場所に格納することができる。一般的には、在庫管理システム１５０は、材料取扱施設内の各物品が格納されている場所を識別するマッピングまたは場所情報を維持することができる。各在庫物品は、格納される対応の在庫場所に関連付けられ、その関連付けは在庫管理システム１５０がアクセス可能な在庫データストア８１５（図８参照）内に維持される。

物品１３５は１つ以上あるいは複数を指定する顧客の注文を受信した場合、またはユーザが材料取扱施設１００を進捗すると、対応する物品１３５が収納エリア１３０内の在庫から選択または「取得」される。例えば、１つの実施態様では、ユーザが取得する物品リストを持ち、材料取扱施設を進行しながら収納エリア１３０内の在庫場所から物品１３５を取得できる。他の実施態様では、材料取扱施設の従業員は、顧客の注文に基づく文書によるまたは電子取得リストを使用して、収納エリア１３０内の在庫場所から物品１３５を取得する。

以下でより詳細に考察されるように、ユーザの１つまたは複数の画像が撮影される。例えば、ユーザは、在庫場所に到達し、収納エリア１３０内の在庫場所を通過して手を入れるときに、手が在庫場所を通過して入る前にユーザの手の１つまたは複数の画像が撮影され得る。また、ユーザの手が在庫場所から除外されるときに、在庫場所を出るにつれてユーザの手の１つまたは複数の画像が撮影される。これらの画像は、ユーザが、在庫場所から対象物を除外したか、または在庫場所に対象物を配置したかを判断するために比較される。実施態様には、画像間の変化を判断するために単純な画像解析が実行されるものもある。例えば、ユーザの手の肌色の色及びその色を含む画素を判断するために、第１画像の画像分析が実行されてもよく、またはユーザの手を表現するために識別された肌色と同系色の範囲が識別されてもよい。肌色の色を使用して、ユーザの手が在庫場所から除外された後に得られたユーザの手の画像は、再び、ユーザの手を識別するために処理されてもよい。最後に、対象物が在庫場所から除外されたか、または在庫場所に配置されたかどうかを識別する画像間の変化を判断するために、ユーザの手を表示する画像の領域と、ユーザの手の周囲の領域が比較される。別の実施例では、対象物の認識は、異なる対象物を識別するために、両方の画像上で実行されてもよい。例えば、在庫場所に入る前にユーザの手を撮影した画像は、手の形状を有する対象物のみを含むことができる。比較では、ユーザの手が在庫場所から移動された後に撮影した画像は、ユーザの手の形状を有する対象物に加えて追加の対象物（すなわち、物品）を含むことができる。ユーザが在庫場所に対象物を配置したか及び／または在庫場所から対象物を除外したかを判断するために、任意の画像解析及び／または比較手法が使用され得ることが理解されるであろう。

図２は幾つかの実施態様による材料取扱施設２００の追加コンポーネントを図示している。一般的に、材料取扱施設２００は、カメラ２０８のような１つまたは複数の画像撮影装置を含んでもよい。例えば、材料取扱施設内の場所の画像が撮影できるように１つまたは複数のカメラ２０８が、材料取扱施設２００の場所に配置される。実施態様によっては、画像撮影装置２０８は、材料取扱施設内のユーザ及び／または場所の画像を撮影するために、天井など頭上に配置される。また、実施態様には、１つまたは複数のカメラ２０８は、在庫場所上または在庫場所内に配置されてもよいものもある。例えば、一連のカメラ２０８が在庫場所の外部の部分上に配置され、ユーザ及び／または在庫場所の周囲の場所の画像を撮影できるように配置される。同様に、１つまたは複数のカメラ２０８は、在庫場所の中に収納された物品及び／または在庫場所への移動及び／または在庫場所から移動される対象物（例えば、ユーザの手、物品）の画像を撮影するために、在庫場所内に配置される。

本明細書に記述の実施態様では、どんなカメラのタイプ及び／またはカメラの構成でも使用できる。例えば、１つ以上または複数のカメラが、ＲＧＢカメラであってもよい。他の実施態様では、１つまたは複数のカメラが、深度検知カメラであってもよい。

カメラに加えて、本明細書に記述の実施態様では、圧力センサ、赤外線センサ、スケール、体積変位センサ、ライトカーテンなどの他の入力装置が使用されてもよい。例えば、対象物が在庫場所において追加及び／または除外されるときの検出のために、圧力センサ及び／またはスケールを使用してもよい。同様に、ユーザの手と在庫物品とを区別するために赤外線センサを使用してもよい。

実施態様には、材料取扱施設２００内にいるユーザ２０４が、携帯装置２０５を有し、携帯装置を介して、材料取扱施設２００内に配置されている物品２０７の情報が得られるものもある。一般に、携帯装置２０５は、在庫管理システム１５０との通信を容易にするために、少なくとも無線モジュール２０５と、視覚化プレゼンテーション及びユーザ２０４との相互の情報伝達を容易にするためのディスプレイ（例えば、タッチベースのディスプレイ）を有する。携帯装置２０５は固有の識別子を格納でき、その固有の識別子を在庫管理システム１５０へ提供できる。幾つかの例では、携帯装置はオーディオ入力／出力（例えば、スピーカ、マイクロフォン）、ビデオ入力／出力（カメラ、 プロジェクタ）、ハプティックス（例えば、キーボード、キーパッド、タッチスクリーン、ジョイスティック、コントロールボタン）及び／または他のコンポーネントなどの他の機能を有することができる。

幾つかの例では、携帯装置２０５は在庫管理システム１５０の１つまたは複数のコンポーネントと連携して動作、利用または通信することができる。同様に、在庫管理システム１５０のコンポーネントは、携帯装置２０５と相互に情報を伝達し合って通信するとともに、ユーザを識別し、他の手段を介してユーザと通信し及び／または在庫管理システム１５０の他の構成と通信することができる。

在庫管理システム１５０は、在庫管理システム１５０とユーザ２０４の間の通信を容易にするために、プロジェクタ２１０、ディスプレイ２１２、スピーカ２１３、マイクロフォン２１４のような他の入力／出力装置を含んでもよい。実施態様には、複数の入力／出力装置は、材料取扱施設内に分散されてもよいものもある。同様に、在庫管理システム１５０は、在庫管理システム１５０と携帯装置２０５の間の無線通信を容易にするために無線アンテナ２１６などの１つまたは複数の通信デバイスを含んでもよい（例えば、ＷｉＦｉ、近距離無線通信（ＮＦＣ）、ブルートゥース）。在庫管理システム１５０は、周辺にローカル（例えば、材料取扱施設）、周辺からリモート、またはそれらの組み合わせの１つまたは複数のコンピューティングリソース２０３であってもよい。

携帯装置２０５が在庫管理システム１５０に接続し、通信できるように、ローカルワイヤレスネットワーク２０２（例えば、ＷｉＦｉ）を作成するために、在庫管理システム１５０材料取扱施設内のアンテナ２１６を利用してもよい。同様に、在庫管理システム１５０のコンポーネントのうちの１つまたは複数が材料取施設から離れている場合に、在庫管理システム１５０のコンポーネントは、ネットワーク２０２を介して、在庫管理システム１５０及び／または携帯装置２０５の他のコンポーネントと通信できる。

以下では、ユーザが材料取扱施設内の在庫場所から物品を除外したことを判断する使用例である。材料取扱施設に入ると、在庫管理システム１５０は、ユーザ（顔認識、ユーザＩＤカード、ユーザ提供情報などによって）を識別することができる。ユーザ情報を識別すると（物品検索履歴、観察履歴、購入履歴など）は、データストアから取得できる。同様に、ユーザは、在庫管理システム１５０に提供する、及び／またはデータストアから取得され材料取扱施設から検索される物品を識別する、関連付けられた取得リスト（ユーザ物品リスト）を有することができる。

実施態様には、ユーザが材料取扱施設２００を進捗すると、画像装置２０８はユーザ２０４の１つまたは複数の画像を取得／撮影し、その画像を処理するためにコンピューティングリソース２０３に提供できるものもある。例えば、面を横切って在庫場所に入る直前のユーザの手の画像や、在庫場所から除去された直後のユーザの手の画像が撮影され、コンピューティングリソース２０３に提供されてもよい。コンピューティングリソース２０３は、対象物が在庫場所から除外されたか、在庫場所に配置されたかを判断するために画像を処理できる。対象物が在庫場所から除外されたと判断された場合には、在庫管理システムは、在庫場所に収納されている在庫品の識別情報を取得し、ユーザがその在庫品を在庫場所から除外（取得）したことを識別するために、ユーザに関連付けられたユーザ物品リスト内のその在庫品の物品識別子を含めることができる。同様に、物品が在庫場所から除外されたことを反映するために、在庫場所での在庫品の在庫量を減少させることができる。

別の実施例では、在庫管理システム１５０は、ユーザが在庫場所から除外した対象物を識別できなかった場合、在庫管理システム１５０は、対象物の識別を支援するために、ユーザに関する他の情報（例えば、過去の購入履歴、現在取得している物品）を利用することができる。例えば、在庫管理システムは、除外された対象物はケチャップのボトルかマスタードのボトルか判断できない場合、在庫管理システムは過去の購入履歴及び／または既に在庫場所から除外した物品を参考にしてもよい。例えば、ユーザは購入履歴からケチャップのみを取得／購入したことがある場合、その情報は、ユーザが在庫場所からケチャップをおそらく除外したことを確認するために使用することができる。

実施態様には、対象物が在庫場所から除外されたか及び／または配置されたかの判断を支援するために、他の入力装置からのデータが使用されてもよいものもある。例えば、対象物が在庫場所に配置されたと判断された場合、対象物の重量は、画像解析に加えて、在庫場所に位置するスケールまたは圧力センサから受信したデータに基づいて判断されてもよい。画像解析は、潜在的に一致する物品のリストを小さなリストに削減することができる。実際、在庫場所に配置された物品を識別するために、配置された対象物の重量は、それぞれの潜在的に一致する物品の格納されている重量と比較できる。複数の入力を組み合わせることによって、識別される物品が実際に在庫場所から除外された物品と一致する確率を増加させるより高い信頼度スコアを生成することができる。

情報が在庫管理システム１５０からユーザに提示される場合、このような情報は、携帯装置２０５及び／または材料取扱施設内に配置された他の出力装置を介して、提示されてもよい。携帯装置は、ユーザに在庫場所から除外された物品の確認を識別するために、及び／またはユーザが在庫場所に除外された／配置された物品を識別することを要求するために使用されてもよい。例えば、除外された在庫品の識別情報は確認されたが、在庫管理システム１５０は除外された在庫品の数を高精度に判断できない場合、在庫管理システムは、携帯装置２０５を介して、ユーザにそのような情報を提供できる。例えば、携帯装置は、ユーザが在庫場所から物品Ａを取得／除外したことを識別できる。次に、ユーザは、制御装置２２４を介して、物品をユーザ物品リストに追加すべきか、及び／または物品の数量をいくらユーザ物品リストに追加すべきかを確認できる。他の物品に関する情報及び／またはオプションもユーザに提示できる。

図３は幾つかの実施態様による図１の在庫管理システム１５０において使用されるコンポーネントタイプ間の追加的なコンポーネント及び通信経路を図示している。上述したように、携帯装置３０５は、様々な通信経路を通じて、在庫管理システム１５０の種々のコンポーネントと相互に情報を伝達できる。一般的に、在庫管理システム１５０は、入力コンポーネント３１１、出力コンポーネント３０１及びコンピューティングリソース２０３を備えている。入力コンポーネント３１１は、ディスプレイ３０８、マイクロフォン３１４、アンテナ３１６、センサ（図示せず）、スケール（図示せず）、ライトカーテン（図示せず）、体積変位センサ（図示せず）あるいは携帯装置のユーザ及び／または携帯装置から、コンポーネントの周辺環境に関する入力を受信できる任意のその他のコンポーネントを備えている。出力コンポーネント３０１は、プロジェクタ３１０、携帯装置３０６、ディスプレイ３０８、アンテナ３１６、無線機（図示せず）は、スピーカ３１３及び／または出力を提供できる任意のその他のコンポーネントを備えてもよい。

在庫管理システム１５０は、コンピューティングリソース２０３を備えることができる。コンピューティングリソース２０３は、周辺にローカル（例えば、材料取扱施設）、周辺からリモート、またはそれらの任意の組み合わせの１つまたは複数のコンピューティングリソースであってもよい。同様に、コンピューティングリソース２０３は、ネットワーク３０２を介して、入力コンポーネント３１１、出力コンポーネント３０１及び／または携帯装置３０５及び／またはユーザ３０４と通信するように構成されてもよい。

図示のように、コンピューティングリソース２０３は、周辺から離れて、１つまたは複数のサーバ２０３（１）、２０３（２）、...、２０３（Ｐ）として実施されてもよいし、いくつかの例では、インターネットなどのネットワーク３０２を介して在庫管理システム１５０のコンポーネント／装置によって維持され、アクセスできるプロセッサ、ストレージ、ソフトウェア、データアクセスなどのコンピューティングインフラストラクチャとして実現されたネットワークにアクセスできるコンピューティングプラットフォームの一部を形成してもよい。例えば、コンピューティングリソース２０３は、対象物が在庫場所から除外されたか在庫場所に配置されたかを判断するために画像を処理できる。コンピューティングリソース２０３は、サービスを提供するシステムの物理的な場所及び構成のエンドユーザの知識を必要としない。これらのリモートコンピューティングリソース２０３に関連する一般的な表現は、「オンデマンドコンピューティング」、「サービスとしてのソフトウェア（ＳａａＳ）」、「プラットフォームコンピューティング」、「ネットワークアクセス可能なプラットフォーム」、「クラウドサービス」「データセンター」などを含んでいる。

各サーバ２０３（１）-（Ｐ）は、 プロセッサ３１７及びメモリ３１９を備え、メモリ３１９は格納あるいは在庫管理システム１５０へアクセスできる。在庫管理システム１５０は、画像処理（ユーザ識別、表情識別及び／または物品識別のため）、在庫追跡及び／または場所の判断を含むあるいは提供できる。

ネットワーク３０２は、有線技術（例えば、ワイヤ、ＵＳＢ、光ファイバケーブルなど）、無線技術（例えば、ＲＦ、赤外線、ＮＦＣ、セルラ、衛星、ブルートゥースなど）、または他の接続技術を使用できる。ネットワーク３０２は、データ及び／または音声ネットワークを含む任意の通信ネットワークの代表的なタイプであり、有線インフラストラクチャ（例えば、ケーブル、ＣＡＴ５、光ファイバケーブルなど）、無線インフラストラクチャ（例えば、ＲＦ、セルラ、マイクロ波、衛星、ブルートゥースなど）及び／または他の接続技術を使用して実施できる。

図４は、いくつかの実施態様による、物品の相互の情報伝達を及び／または動きを追跡するための例示的なプロセス４００のフロー図を示すものである。図４のプロセス及び本明細書に記述する各々の他のプロセスは、ハードウェア、ソフトウェア、またはそれらの組み合わせで実施されてもよい。ソフトウェアとしては、記述のオペレーションは、１つまたは複数のコンピュータ可読媒体上に格納されたコンピュータ実行可能命令を表し、一つ以上のプロセッサによって実行されるとき、記述のオペレーションを実行する。一般に、コンピュータ実行可能命令は、特定の機能を実行するかまたは特定の抽象データタイプを実行するルーチン、プログラム、対象物、コンポーネント、データ構造などを含んでいる。

コンピュータ可読媒体は、ハードドライブ、フロッピー（登録商標）ディスク、光ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気または光カード、ソリッドステートメモリデバイス、または電子命令の格納に適した記憶媒体の他のタイプを含む非一時的なコンピュータ可読記憶媒体を含むことができる。また、いくつかの実施態様では、コンピュータ可読媒体は、（圧縮または非圧縮形式で）一時的なコンピュータ可読信号を含むことができる。キャリアを使用して変調されているか、または変調されていないかのコンピュータ読み取り可能な信号の例としては、コンピュータプログラムをホスティングまたは実行するコンピュータシステムがインターネットや他のネットワークを介してダウンロードした信号を含んでおり、アクセスできるように構成された信号を含むが、これらに限定されない。最後に、記述されているオペレーションの順序は、限定として解釈されるものではなく、記述された任意のオペレーションの数は、プロセスを実行するための任意の順序によって及び／または並列に組み合わせることができる。

ブロック４０２のように、例示的なプロセス４００は、ユーザを識別することによって開始する。ユーザを識別するために種々の技術を使用してもよい。例えば、画像撮影と顔認識を使用ができる。別の例では、ユーザは、個人識別子（例えば、バッジ）、ＲＦＩＤカードなどで自身を識別することができる。実施態様には、ユーザが、材料取扱施設に入ったときに検出できる携帯装置を保持しているものもある。携帯装置は、在庫管理システム１５０に提供されたユーザを識別するために使用される独自の識別子を含んでもよい。

ブロック４０４のように、ユーザを識別することに加えて、材料取扱施設内におけるユーザの場所及びユーザの場所内の識別を在庫場所が判断されてもよい。実施態様には、ユーザの場所を識別するためにコンピューティングリソース２０３によって処理される画像を材料取扱施設内に取り込むために、材料取扱施設内に配置された撮影装置が使用されるものもある。同様に、マイクロフォンは、ユーザによって発生された音を記録することができ、コンピューティングリソースはユーザの場所を決定するために、これらの音を処理することができる。例えば、材料取扱施設内のマイクロフォンの場所の知識に基づいて、各マイクロフォンによって受信された音声信号の間の時間オフセットは、ユーザの場所を決定するために演算することができる。

種々のマイクロフォンによって受信された信号間の時間オフセットを識別するために、幾つかの例では、コンピューティングリソース２０３は、それぞれのオーディオトランスデューサによって受信された各オーディオ信号をコンパイルした後、例えば、任意の時間差到着（「ＴＤＯＡ」）技術、または任意の他の適切な技術を使用して、信号間の時間オフセットを決定する。それぞれの時間オフセットを識別した後、コンピューティングリソース２０３は、音声の方向及び／またはソースの場所を判断できる。

視覚及び／または音声場所判断に加えて、または代替として、在庫管理システム１５０は、ユーザが材料取扱施設を通して移動する間にユーザの場所を判断するために、アンテナ１１６との間の三角測量などの他の技術を使用できる。他の実施例では、ユーザが全地球測位システム（ＧＰＳ）チップを含む携帯装置を携行している場合、在庫管理システムは、ＧＰＳ情報を受信するように構成されてもよく、これによって携帯装置の場所、つまり、ユーザの場所を判断できる。

また、サブプロセス５００のように、例のプロセスでは、対象物が在庫場所から除外されたか、または在庫場所に配置されたかを検出してもよい。対象物が在庫場所から除外されたか、または在庫場所に配置されたかを判断するサブプロセス５００は、図５に従って以下に更に詳細に記述する。以下に考察されるように、実施態様には、対象物が在庫場所に追加されたこと及び対象物が在庫場所から除外されたことの両方を判断できるものもある。例えば、ユーザは、在庫場所に対象物を置くことができ、同じアクション中に在庫場所から別の対象物を除外することができる。

例示のサブプロセス５００からの応答に基づいて、ブロック４０６のように、対象物が在庫場所から除外されたか否かが判断される。在庫場所から対象物が除外されたと判断された場合、サブプロセス６００は、ブロック６００のように、除外された対象物の識別情報を識別するプロセスを実行する。在庫場所から除外された対象物の識別情報を判断する例示のサブプロセス６００は、図６に従って以下で更に記述される。除外された対象物の識別情報を判断するためのサブプロセス６００を完了後、例示プロセス例４００は、ブロック４０８のように、物品を表示する物品識別子をユーザの物品リストに追加する。

判断ブロック４０６に戻って、対象物が在庫場所から除外されていないと判断された場合、ブロック４０７のように、対象物が在庫場所に配置されたか否かが判断される。対象物が在庫場所に配置されたと判断された場合、サブプロセス７００のように、対象物の識別情報が判断される。在庫場所に配置された対象物の識別情報を判断するための例示的なサブプロセス７００は図７に従って以下に更に記述される。

在庫場所に配置された対象物の識別情報が判断されると、物品を表示する物品識別子は、ブロック４１０のようにユーザ物品リストから除外される。ユーザは物品をトート、カート、バッグなどから取り出し、在庫場所に戻したことにより、その物品識別子がユーザの物品リストから除外されてもよい。

判断ブロック４０７に戻ると、対象物が在庫場所に配置されていないと判断された場合（すなわち、物品は在庫場所から除外されておらず、在庫場所に配置されていない）、例示的なプロセス４００はブロック４１２のように完了する。

上述の例は、在庫場所に物品を配置または除外する順次に行われているプロセスとして記述しているが、他の実施態様では、ブロック４０６、４０７、４０８、４１０とサブプロセス６００、７００が並列に実行されてもよい。例えば、サブプロセス５００は、ユーザが物品を在庫場所に対象物を配置するとともに、対象物を在庫場所から除外したと判断した場合、以下のサブプロセス６００、７００は並列に実行される。

図５は幾つかの実施態様による対象物の除外／配置サブプロセス５００の例示的なフロー図を示している。 サブプロセス５００は、ブロック５０２のように、例えば、ユーザの手が在庫場所の面または前面縁を表す縦平面に接近する対象物を検出することによって開始する。この対象物は、在庫場所を含む場所が撮影された画像の画像処理に基づいて検出することができる。他の例では、対象物は、ライトカーテンまたは他の存在検出装置を通過することができる。在庫場所に接近し、平面と交差して在庫場所に入る前に対象物が検出されると、ブロック５０４のように、１つまたは複数の画像が撮影される。次に、その対象物が在庫場所から除外された後、ブロック５０６のように、対象物を含む１つまたは複数の画像が撮影される。実施態様には、在庫場所に入る前の対象物及び／または在庫場所から除外された後の対象物の１つまたは複数の画像は、ビデオとなる一連の画像でよいものもある。

次に、ブロック５０８のように、対象物が在庫場所に入る前に撮影された画像と、対象物が在庫場所から除外された後に撮影された画像とが比較される。例えば、同様の内容を識別するために、画像の画素類似度の判断を行ってもよい。例えば、対象物がユーザの手である場合、典型的に皮膚の色調に関連付けられているカラーパレットに一致する類似の色の画素を識別し、ユーザの手の表示について判断されてもよい。対象物が在庫場所に入る前に撮影された画像と、対象物が在庫場所から除外された後に撮影された画像の両方に対して、この画素解析を行うことにより、同一の対象物（この例では、ユーザの手）は、各画像において識別できる。この情報に基づいて、ユーザの手が面を横切って在庫場所に入るときに、ユーザの手の中に対象物があったのか及び／またはユーザの手が在庫場所から除去されたときに、ユーザの手の中に対象物があったのかを判断するために画像間の周囲の画素が比較され得る。

例えば、ユーザの手が在庫場所に入る前に撮影された画像に含まれる同じような色の画素及び形状が検出され、対象物の表示について判断されてもよい。ユーザが在庫場所から手を除外した後、それらの類似画素形状及び／また色は撮影された画像に識別されていない場合、ユーザは、在庫場所に対象物を配置したと判断できる。

同様に、ユーザの手が在庫場所に入る前に撮影された画像にユーザの手のみが識別され、また、ユーザが在庫場所から自分の手を除去したときに撮影された画像に明確な形状を表す画素が特定された場合、ユーザは在庫場所から対象物を除外したと判断できる。

ブロック５０２に戻ると、実施態様には、対象物が在庫場所から除外されたか、または在庫場所に配置されたかを判断する更なる情報を提供するために、画像撮影の１つまたは複数のプロセスが実行されてもよいものもある。例えば、ブロック５１０のように、対象物が在庫場所を横切る前に、例示的なサブプロセスは、在庫場所に収納されている在庫の１つまたは複数の画像を撮影するために、在庫場所内に配置された１つまたは複数のカメラを利用できる。例えば、在庫場所に収納されている在庫の画像は、定期的に撮影され、在庫管理システム１５０によってアクセス可能な在庫データストアに格納され得る。

対象物（例えば、ユーザの手）が在庫場所に出入りした後、在庫場所の１つまたは複数の画像がブロック５１２のように撮影されてもよい。対象物が在庫場所に入る前の在庫場所に収納されている在庫を表す画像と対象物が在庫場所から除外された後の在庫場所に収納されている在庫を表す画像は、ブロック５１４のように、対象物が在庫場所に追加されたか、または除外されたかを判断するために比較されてもよい。

実施態様には、在庫物品は、在庫場所に収納された時に一般的に静止しているので、画像間の変化を判断するために、固定場所のカメラからの単純な画像比較が行われ、これにより在庫場所から１つまたは複数の対象物が除外されたか及び／または在庫場所に１つまたは複数の対象物が追加されているかを判断され得るものもある。在庫場所の外部に移動される対象物を画像に基づいて、在庫場所に配置／除外された対象物の数を判断することが困難である場合に特に有用である。例えば、在庫は、チップスの袋を含み、ユーザが袋の上部を一緒に把持することにより、チップスの複数のバッグを除外した場合、在庫場所の外部から撮影された画像から除外された袋の数の判断は困難である。しかし、在庫場所に収納された袋が静止しているので、在庫場所に収納された袋の数量は、在庫場所の１つまたは複数の画像を撮影し、対象物の形状を特定するためにこれらの画像を処理し、形状の数を在庫場所にある在庫の数と比較することによって、判断ができる。各形状は、在庫の物品に関連付けられる。同様に、在庫物品のために格納された寸法値などの追加情報も、在庫場所に位置する物品の数についての判断を支援するために利用できる。同様の方法で、画像に含まれている対象物の数を識別するために、在庫物品が除外された後に撮影された画像を取り込み、処理されてもよい。画像で識別された物品の前後の数量を比較することにより、在庫場所から除外された物品数を判断できる。

例示的なサブプロセス５００は、画像撮影及び比較のステップ５０４～５０８と画像撮影及び比較のステップ５１０～５１４が並行して実行されているように図示されているが、他の実施態様では、一連のステップの一方のみを行うことができる。また、他の実施態様では、ステップのセットは、直列に実行されてもよい。

画像の比較を利用して、ブロック５１６のように、在庫場所から１つまたは複数の対象物が除外されたか否か判断され、及び／またはブロック５１７のように、在庫場所に対象物が配置されたか否か判断される。在庫場所から１つまたは複数の対象物が除外されたと判断された場合、例示的なサブプロセスは対象物が在庫場所から除外されたという表示を戻す。在庫場所から対象物が除外されていないと判断された場合、ブロック５１７のように、在庫場所に１つまたは複数の対象物が配置されたか否か判断される。在庫場所に１つまたは複数の対象物が配置されたと判断された場合、ブロック５２０のように、例示的なサブプロセス５００は対象物が在庫場所に配置されたという表示を戻す。上述したように、対象物が在庫場所に配置され、そして別の対象物が在庫場所から除外されたと判断される場合がある。このような場合には、ブロック５１８及び５２０両方が完了され、両方の出来事に関する情報を戻すことができる。

最後に、対象物が在庫場所に配置されていないと判断された場合（すなわち、対象物が在庫場所から除外または在庫場所に配置されていない）、サブプロセス５００は、ブロック５２２のように、在庫場所に変化がなかったという表示を戻す。

図６は幾つかの実施形態に基づいて除外対象物の識別をする例示のサブプロセス６００のフロー図である。例示のサブプロセス６００は、ブロック６０２のように、除外対象物の在庫場所に関連付けられた在庫物品を識別することによって開始する。上述の考察通り、在庫管理システムは、在庫物品及び各在庫場所に格納された在庫物品の数量を識別し、各在庫場所の在庫情報を格納することができる。在庫場所に関連付けられた在庫の識別に加えて、実施態様には、ステップ５０４～５０６，５１０～５１２（図５）において撮影された１つまたは複数の画像が、在庫場所に関連付けられた在庫物品が画像の中で識別された在庫（対象物）と一致することを確認するために、在庫から除外された対象物の識別を処理できるものもある。例えば、実施態様には、画像処理が実行されて、画像に含まれる対象物を識別すること及び／または対象物の特徴を識別することができるものもある。そのような情報は、撮影された対象物の画像が在庫場所に関連付けられた在庫物品の情報と一致するかどうか確認するために、在庫物品について格納された情報と比較されてもよい。

実施態様の中には、また、他の入力が、ブロック６０６のように、在庫場所から除外された対象物の識別を判断するために考慮されてもよいものもある。例えば、実施態様には、圧力計及び／または重量センサの変化が受信され、在庫場所にある在庫物品の格納された重量と比較され得るものもある。

在庫場所から除外された対象物の識別を判断するために使用される情報に基づき、識別された物品が在庫場所から実際に除外された対象物と、どの程度一致するかを識別して、信頼度スコアが判断され得る。判断は、ブロック６０８において、信頼度スコアが除外スレッショルドを超えたかどうかについて行うことができる。除外スレッショルドは、識別された物品と在庫場所から実際に除外された対象物の一致が判断される前に、超えることになる任意の定義された数であってよい。

信頼度スコアが除外スレッショルドを超えたと判断される場合、ブロック６１０のように、ユーザが在庫場所から除外した物品を識別し通知をユーザに行うことができる。上で考察した通り、通知は在庫場所またはその近くに設置されたディスプレイに提示され、ユーザが所有している携帯装置に提示され、ユーザの近くの表示面に投影されるなどでよい。同様に、例示のサブプロセス６００は、また、ブロック６１２の通り、在庫場所から除外された対象物の識別に戻る。

しかし、信頼度スコアが除外スレッショルドを超えていないと判断される場合、ブロック６１４のように、ユーザが除外された対象物の識別情報を確認する要求がユーザに提示される。例えば、例示のサブプロセス６００は、ユーザに（例えば、ディスプレイ、携帯装置、プロジェクション、オーディブルを介して）除外されると思われる１つまたは複数の物品を提示して、ユーザが実際に除外された物品の識別情報を確認する要求をすることができる。同様に、例示のサブプロセス６００が、在庫場所から除外された多くの物品を判断できなかった場合、ユーザに在庫場所から除外された多くの物品の確認を依頼する要求が提示されてもよい。実施態様には、示唆された物品が実際に除外された物品と一致しない場合、ユーザは実際に除外された物品及び／または除外物品の数量を識別するために、在庫管理システムと相互に情報を伝達し合うことができるものもある。

実施態様には、ユーザに物品を提示することに加えて、またはその代わりに、撮影された画像が、配置された及び／または除外された対象物を識別するために、画像を検分するアソシエイトに提供され得るものもある。アソシエイトが対象物の識別情報を決定できる場合、要求はユーザに送信されず、代わりに、ブロック６１２のように、識別された対象物の物品識別子が戻されてもよい。

ユーザに要求を提示した後で、ブロック６１６のように、ユーザが要求の確認をしたかどうかについて判断されてもよい。ユーザが確認をしていた場合、例示のサブプロセスはブロック６１２に進み、上で考察された通り、そのサブプロセス継続をする。しかし、ユーザが確認をしていなかった場合、例示のサブプロセス６００は、ブロック６１８のように、材料取扱施設内またはそこから在庫を移行する前に、ユーザは監査を受ける必要があることを在庫管理システムに示す監査通知を返送することができる。実施態様には、監査通知は、在庫場所から除外された対象物の識別を確認するためにユーザに派遣されるアソシエイトに帰着してよいものもある。他の実施例では、監査通知は在庫管理システムによって維持されてもよく、ユーザが移行エリアに入ると、ユーザの所有物品を監査する必要性がアソシエイトに通知されるようにしてもよい。

図７は、幾つかの実施形態による、配置された対象物の識別のための例示のサブプロセス７００のフロー図である。例示のサブプロセス７００は、ブロック７０２のように、ユーザに関連付けられたユーザ物品リストで識別された物品を識別することによって開始する。上で考察されたように、ユーザ物品リストは、材料取扱施設にいながら、在庫場所から除外された物品を識別する。加えて、ブロック５０４～５０６，５１０～５１２（図５）で撮影された画像は在庫場所に配置される物品の識別情報を検出するために、更に処理を受けることができる。例えば、画像は対象物のサイズまたは形状、対象物の色、対象物の特徴または他の識別情報などを検出する処理を受けることができる。検出された情報は、それから、ユーザが潜在的に在庫場所に配置した物品を判断するために、ユーザ物品リストに掲載された各物品を格納した情報と比較されてもよい。例えば、ユーザ物品リストが、ケチャップのボトル、チップのバッグ、１ガロンのミルク、スクリュードライバ及びソーダボトルを識別し、これらの物品の各々の格納された情報が検索され、ユーザ物品リストで識別されたどの物品が在庫場所に配置されたかの判断をするために、処理された画像から検出された情報と比較されるために使用されてもよい。

撮影された画像から判断された情報を比較することに加えて、例示のサブプロセスは、また、ブロック７０６のように、対象物の識別情報を判断する他の入力を組み合わすこともできる。上述の実施例を継続し、在庫場所はスケールを備えることができ、在庫場所に配置された対象物の重量が判断され得る。判断された重量は、それから、在庫場所に配置される対象物と潜在的に一致するものを識別するためにユーザ物品リストに含まれている各物品の格納重量と比較されてもよい。別の実施例として、在庫場所は、圧力センサに置かれた対象物の底部の形状または寸法を検出できる圧力センサを備えることができる。対象物の底部の形状は、ユーザ物品リストの各物品の格納された寸法情報と比較され得る。

在庫場所に配置された対象物について集めた情報に基づき、信頼度スコアは、識別された物品が在庫場所に実際に配置された対象物を表示している確率を表していると判断されてもよい。そして、信頼度スコアが、ブロック７０８のように、配置された物品のスレショルドを超えたかどうかについての判断がなされ得る。除外された物品と同様に、配置された物品のスレショルドは任意の定義されたスコアまたは数または値でよい。

信頼度スコアが配置された物品のスレショルドを超えたと判断された場合、ブロック７１０のようにユーザが在庫場所に配置した物品を識別する通知がユーザに送られる。しかし、信頼度スコアが配置された物品のスレショルドを超えていない場合、在庫場所に配置される対象物の識別情報を確認することをユーザに要求することが提示されてもよい。例えば、例示のサブプロセス７００は、在庫場所に配置されはずだと、ユーザが思う物品の識別情報をユーザに提示することができる。同様に、例示のサブプロセス７００は、ユーザが在庫場所に配置された物品数量を識別することを要求することができる。

そして、ブロック７１４のように、確認がユーザから受信されたかどうかについて判断がなされてもよい。確認が受信されたと判断された場合、または在庫場所に配置される物品のユーザに通知をした後で、ブロック７１６のように、識別された物品が適切な在庫場所にあるかどうかの判断がなされてもよい。上述で考察したように、在庫管理システム１５０は材料取扱施設の至る所の特定の在庫場所に在庫を維持することができる。物品が、典型的にはその在庫物品を格納しない在庫場所に配置される場合、配置される物品にとって適切な在庫場所ではないと判断されることもある。他の実施態様では、在庫はどんな在庫場所に置かれてもよい。そのような表示については、判断ブロック７１６は考慮されてはいけない。

識別された物品が適切な在庫場所にないと判断された場合、またはユーザが在庫場所に配置された対象物の識別情報を確認してないと判断された場合、ブロック７１８のように、アソシエイトが配置された対象物を検索する及び／または識別するために在庫場所に派遣されてもよい。実施態様には、そのアソシエイトは人間であってもよいものもある。他の実施態様では、アソシエイトは、在庫を管理する及び／または取り扱うように構成された自動化駆動ユニット及び／またはロボットであってもよい。

配置された物品が適切な在庫場所にあると判断された場合及び／またはアソシエイトが在庫物品を検索するために派遣され後、例示のサブプロセス７００は配置された在庫物品の識別に復帰されてもよい。例示のサブプロセスが配置された在庫場所に配置された対象物を識別できなかったために、信頼度スコアが配置された物品のスレショルドを超え、ユーザが対象物の識別情報の確認をしなかった場合には、ブロック７２０は派遣されたアッソシエイトが配置された物品を識別するまで遅延されてもよい。

図８は、この明細書で記述した実施態様で使用され得るリモートコンピューティングリソース２０３などのサーバシステムの例示的な実施様態を絵図で表したものである。リモートコンピューティングリソース２０３は、１つまたは複数の冗長プロセッサなどのプロセッサ８００、ビデオディスプレイアダプタ８０２、ディスクドライブ８０４、入力／出力インターフェイス８０６、ネットワークインターフェイス８０８及びメモリ８１２を備えることができる。プロセッサ８００、ビデオディスプレイアダプタ８０２、ディスクドライブ８０４、入力／出力インターフェイス８０６、ネットワークインターフェイス８０８及びメモリ８１２は、通信バス８１０によって相互に通信可能に結合されてもよい。

ビデオディスプレイアダプタ８０２は、サーバシステム２０３のオペレータが、サーバシステム２０３のオペレーションをモニタし設定できるようにする表示信号をローカルディスプレイ（図８に図示されていない）に提供する。入力／出力インターフェイス８０６は、同様に、リモートコンピューティングリソース２０３のオペレータがオペレーションすることができるマウス、キーボード、スキャナ、その他の入力出力装置など図８に図示されていない外部入力／出力装置と通信する。ネットワークインターフェイス８０８は、他のコンピューティングデバイスと通信するために、ハードウェア、ソフトウェアまたはそれらの組み合わせを備えている。例えば、ネットワークインターフェイス８０８は、図２に図示されているサーバシステム２０３と他のコンピューティングデバイスの間を、ネットワーク２０２を介して、通信するように構成されてもよい。

メモリ８１２は、一般に、ランダムアクセス（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ），フラッシュメモリ及び／またはその他の揮発性あるいは永久メモリから構成される。メモリ８１２は、サーバシステム２０３のオペレーションを制御するオペレーティングシステム８１４を格納するように示されている。サーバシステム２０３の低レベルオペレーションを制御するバイナリ入力／出力システム（バイオス）８１６も、また、メモリ８１２に格納されている。

メモリ８１２は、更に、在庫管理システム１５０が在庫場所から除外され及び／または在庫場所に配置される物品を追跡できるようにするネットワークサービスに提供するプログラムコードとデータを格納している。従って、メモリ８１２は、ブラウザアプリケーション８１８を格納してもよい。ブラウザアプリケーション８１８は、プロセッサ８００によって実行されたとき、ウエブページなどの設定可能なマークアップドキュメントを生成または取得する、コンピュータによって実行可能な命令から構成される。ブラウザアプリケーション８１８は、在庫データストア８１５、ユーザデータストア８１７及び／またはユーザ物品リストデータストア８１９間の交換を促進するために、データストアマネジャアプリケーション８２０と通信する。

この明細書で使用されている通り、用語「データストア」は、格納、アクセス及びデータ受信ができる任意の装置または装置の組み合わせを言い、任意の基準に合っている分散またはクラスター環境のデータサーバ、データベース、データ格納装置及びデータ格納メディアを備えることができる。リモートコンピューティングリソース２０３は在庫管理システム１５０の態様を実行するために必要とされる、データストア８１５，８１７，８１９と一体化する任意の適切なハードウェア及びソフトウェアを備えることができる。

データストア８１５，８１７，８１９は、幾つかの別々のデータテーブル、データベースまたはその他のデータストレイジ機構及び特定の態様に関するデータの格納メディアを備えることができる。例えば、図示のデータストア８１５，８１７，８１９は、在庫場所から除外され及び／または在庫場所から配置された物品を識別するために使用され得る在庫情報、ユーザ情報の機構を備えることができる。

データストア８１５，８１７，８１９に格納することができる多くの他の態様があり得ることは理解されるべきである。データストア８１５，８１７，８１９は、関連付けられるロジックを介して、リモートコンピューティングリソース２０３から命令を受信し、それに応答してデータを取得し、更新し又はその他の処理をする操作ができる。

メモリ８１２は、また、既に考察したように、在庫管理システム１５０を備えてもよい。在庫管理システム１５０は、リモートコンピューティングリソース２０３の１つまたは複数の機能を実施するために、プロセッサ８００によって実行できるようにしてもよい。１つの実施態様では、在庫管理システム１５０は、メモリ８１２に格納されている１つまたは複数のソフトウェアプログラムに組み込まれた命令を表示することができる。他の実施態様では、在庫管理システム１５０は、ハードウェア、ソフトウェア命令またはそれらの組み合わせを表示することができる。

リモートコンピューティングリソース２０３は、１つの実施態様において、幾つかのコンピュータシステムと通信リンクを介して相互に連結されているコンポーネントを利用し、１つまたは複数のコンピュータネットワークあるいは直接接続を使用する分散環境になっている。しかし、そのようなシステムは、図８に図示されたものよりコンポーネントの数が少ないシステムまたは多いシステムにおいても等しく良好に稼働すると、この分野の通常の知識を有する者によって評価されることになるであろう。従って、図８の記述は例示であって、本開示の範囲を限定しないものとみなされるべきである。

主題は、構造的な特徴及び／または方法論的作用について特定の用語で記述されたが、付帯の特許請求の範囲で定義されている主題は、その構造的な特徴または作用に必ずしも制限されないと理解されるべきである。むしろ、構造的な特徴または作用は、特許請求の範囲を実施する例示的な形態として開示されたものである。
＜条項＞
１．１つまたは複数のプロセッサと、１つまたは複数のプロセッサに結合され、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに実行させるプログラム命令を格納するメモリから構成されるコンピューティングシステムであって、そのプログラム命令は、１つまたは複数のプロセッサに材料取扱施設内のユーザの位置を判断させ、その位置は在庫場所近くにあり、ユーザの手の少なくとも一部の第１画像を受信させ、ユーザの手の第１画像は在庫場所にユーザの手が動く前に撮影され、ユーザの手の少なくとも一部の第２画像を受信させ、第２画像はユーザの手が在庫場所から除去された後に撮影され、第１画像と第２画像の比較の少なくとも一部に基づき、第２画像がユーザの手に保持されている対象物の表示を含むことを判断させ、第２画像がユーザの手に保持されている対象物の表示を含むことを判断したことに応答して、在庫場所に関連付けられた在庫の物品を識別させ、在庫の物品と一致する対象物を判断させ、ユーザ物品リスト、物品を表示する物品識別子に追加させて、ユーザ物品リストにユーザを関連付けられるコンピューティングシステム。
２．１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに第１画像と第２画像を比較させるプログラム命令は、更に、プログラム命令を含んでおり、そのプログラム命令は、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに第１画像と第２画像の少なくとも１つにあるユーザの手の少なくとも一部を少なくとも皮膚の色の一部に基づいて識別させ、第２画像におけるユーザの手に保持され、ユーザの手の皮膚の色とは異なった色を持っている対象物の少なくとも一部を識別させる第１項に記載のコンピューティングシステム。
３．１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに第１画像と第２画像の比較させるプログラム命令は、更に、プログラム命令を含んでおり、プログラム命令は、１つまたは複数のプロセッサに第１画像及び第２画像に含まれる対象物の違いを識別させる第１項に記載のコンピューティングシステム。
４．在庫場所に関連付けられた在庫の物品は、その在庫の物品を在庫場所に前もって配置することによってコンピューティングシステムに知られる第１項に記載のコンピューティングシステム。
５．命令は、プロセッサよって実行されたときに、更に、そのプロセッサに在庫場所にユーザの手が動く前に在庫場所の表示を含む第３画像を受信させ、在庫場所からユーザの手が除去された後に在庫場所の表示を含む第４画像を受信させ、ユーザが対象物を保持していることを判断する命令は、ユーザが対象物を保持していることを対象物が在庫場所から除去されたことを識別するために第３画像と第４画像の比較の少なくとも一部に基づいて判断する命令を更に含んでいる第１項のコンピューティングシステム。
６．対象物が在庫の物品と一致するという判断は在庫場所にあるスケールから受信した物品の重量、在庫場所にある圧力計から受信した対象物の一部の形状、または第２画像から識別された対象物の特徴の少なくとも１つから考察することを含んでいる第１項に記載のコンピューティングシステム。
７．プロセッサによって実行されたとき命令は、更に、プロセッサに在庫場所に置かれた入力装置から入力を受信させ、その入力装置からの入力は対象物が在庫場所から除去されたことを示しており、入力装置は圧力計、カメラ、赤外線センサ、スケール、物量移動センサまたは光カーテンの少なくとも１つである第１項に記載のコンピューティングシステム。
８．実行可能な命令で構成された１つまたは複数のコンピューティングシステムの制御の下で、材料取扱施設内のユーザの位置を判断すること、その位置の第１画像を受信すること、在庫場所に格納された物品の量の変化を検出すること、在庫場所はその位置に近く、その位置の第２画像を受信すること、少なくとも一部を第１画像と第２画像に基づいて、在庫場所に関連付けられた物品を識別すること及びユーザに関連付けられたユーザ物品リストを更新することから構成され、その更新は在庫場所に格納された物品の量の検出された変化及び識別された物品に少なくとも一部が基づいている材料取扱施設内でユーザに支援を提供するコンピュータによって実行される方法。
９．在庫場所に格納された物品の量の変化は対象物が在庫場所から除去されたことを判断することまたは対象物が在庫場所に配置されたことを判断することに少なくとも一部を基づいて検出される第８項に記載のコンピュータによって実行される方法。
１０．在庫場所に格納された物品の量の変化は在庫場所に置かれた入力装置から受信された情報の少なくとも一部に基づいて検出され、入力装置は圧力計、カメラ、赤外線センサ、スケール、物量移動センサまたは光カーテンの少なくとも１つである第８項のコンピュータによって実行される方法。
１１．在庫場所に関連付けられた物品を識別することは、画素の比較または対象物の相異判断に一部が基づいて物品を識別するため、第１画像と第２画像を比較することを含んでいる第８項に記載のコンピュータによって実行される方法。
１２．在庫場所に格納された物品の量の変化の検出は入力コンポーネントから受信された入力の少なくとも一部に基づいて物品の量が減少される判断を含んでおり、入力コンポーネントは画像取り込み装置、圧力計、スケール、体積変位センサ、ＲＦＩＤリーダ、バーコードリーダまたはＱＲコード（登録商標）リーダの少なくとも１つである第８項に記載のコンピュータによって実行される方法。
１３．在庫場所に格納された物品の量の変化の検出は更に対象物が在庫場所に配置されていたことを判断すること及び対象物が在庫場所に格納された物品と一致していることを判断することを含んでいる第８項に記載のコンピュータによって実行される方法。
１４．ユーザリストに含まれる物品を判断すること、物品を識別することは更に少なくとも一部が材料取扱施設内に置かれた少なくとも１つの入力装置から受信されるデータ及びユーザ物品リストに含まれている物品に基づいており、在庫場所に配置された物品を識別する信頼度スコアがスレッショルドを超えていることを判断すること、ユーザ物品リストの更新はユーザ物品リストから識別された物品の物品識別子をユーザ物品リストから取り除くことを更に含んでいる第１３項に記載のコンピュータによって実行される方法。
１５．識別された物品が在庫場所に一致しないと判断し、在庫場所から物品を除去するためにアソシエイトにメッセイジを送ることを更に含む第１４項に記載のコンピュータによって実行される方法。
１６．在庫場所に格納された物品の量の変化の検出は更に対象物が在庫場所から除去されたことを判断すること及び対象物が在庫場所に格納される物品と一致すると判断する第８項に記載のコンピュータによって実行される方法。
１７．在庫場所に関連付けられた物品を判断すること、物品を識別することは更に少なくとも一部がその場所にある少なくとも１つの入力装置から受信されるデータと在庫場所に関連付けられた物品に基づいており、在庫場所から除去された物品を識別する信頼度スコアがスレッショルドを超えていると判断すること及びユーザ物品リストを更新することは識別された物品の物品識別子をユーザ物品リストに加えることを更に含んでいる第１６項に記載のコンピュータによって実行される方法。
１８．実行可能な命令で設定された１つまたは複数のコンピューティングデバイスの制御の下に、材料取扱施設内のユーザの位置を識別すること、ユーザに関連付けられたユーザ物品リストを検索すること、ユーザの位置の第１画像を受信すること、第１画像は材料取扱施設内の位置の近くの在庫場所にユーザが手を置く前に取得され、位置の第２画像を受信すること、第２画像は在庫場所にユーザが手を置いた後に取得され、第１画像または第２画像の少なくとも一部に基づいてユーザが在庫場所に対象物を配置したことを判断し、在庫場所に配置された対象物の識別を判断すること及び識別された対象物の識別子をユーザ物品リストから取り除いてユーザ物品リストを更新することを含む方法。
１９．在庫場所に配置された対象物の識別情報を判断することは、対象物の少なくとも一部を表示するために第１画像または第２画像の少なくとも１つを処理すること、対象物の少なくとも一部の表示と格納された物品の各々の表示の一致を判断するために対象物の少なくとも一部とユーザ物品リストに識別された物品に関連付けられた物品の格納された表示を比較することを含んでおり、ユーザ物品リストの更新は最高の信頼スコアを持っている物品に関連付けられた物品識別子を取り除くことを含んでいる第１８項に記載の方法。
２０．在庫場所に配置された対象物の識別情報を判断は、更に、最高一致の信頼度スコアを計算すること、信頼度スコアがスレッショルドを超えていると判断することを含んでおり、ユーザ物品リストの更新は自動的に人の入力なしで行われる第１８項に記載の方法。
２１．在庫場所に配置された対象物の識別情報の判断は、最高一致の信頼度スコアを計算すること、信頼度スコアがスレッショルドを超えていないと判断すること、対象物を識別するためにアソシエイトにメッセイジ送ること及び対象物の識別情報をアソシエイトから受信することを更に含んでいる第１８項に記載の方法。
２２．対象物が在庫場所に残っていると判断すること、在庫場所に関連付けられた物品のストック量を更新することを更に含んでいる第１８項に記載の方法。
２３．対象物が在庫場所に残っていないと判断すること及び在庫場所から対象物を取り除くためにメッセイジをアソシエイトに送信することを更に含んでいる第１８項に記載の方法。

Claims (11)

1. １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサに結合され、プログラム命令を格納するメモリと、から構成されるコンピューティングシステムであって、前記１つまたは複数のプロセッサによって実行されたときに、前記プログラム命令は、
   在庫場所近くにある材料取扱施設内で、ユーザの顔認証または前記ユーザが有する携帯装置からの識別情報に基づいて前記ユーザを識別させ、
   データストアから前記ユーザに関連付けされたユーザ物品リストを検索させ、
   第１デバイスから、前記在庫場所に前記ユーザが接触する前に生成された、前記ユーザの少なくとも一部に対応する第１画像データを受信させ、
   前記第１デバイスから、もしくは前記第１デバイスとは異なる第２デバイスから、前記在庫場所に前記ユーザが接触した後に生成された、前記ユーザの少なくとも一部に対応する第２画像データを受信させ、
   前記第１画像データ及び前記第２画像データの分析に基づき、前記ユーザが前記在庫場所から対象物を除去したことを判断させ、
   前記ユーザが前記在庫場所から前記対象物を除去したと判断したことに応答し、前記在庫場所に関連付けられた在庫の物品を判断させ、
   前記ユーザが前記在庫場所から前記除去した前記物品を確認させるよう、前記ユーザに通知を提供させ、
   前記物品を表す物品識別子を前記ユーザ物品リストに加えさせる、命令を含む、コンピューティングシステム。
2. 前記ユーザが前記在庫場所から前記対象物を除去したことを判断させるプログラム命令は、更に、
   前記第１画像データ又は前記第２画像データの少なくとも一つが、前記ユーザの手の一部の画像を少なくとも含むことを特定させ、
   前記第２画像データにおいて、前記ユーザの手が前記対象物の少なくとも一部を保持していることを特定させるプログラム命令を含む、請求項１に記載のコンピューティングシステム。
3. 前記ユーザが前記在庫場所から前記対象物を除去したことを判断させる前記プログラム命令は、さらに、前記第１画像データ及び前記第２画像データを画像解析し、前記ユーザの手の中に前記対象物があるか否かを特定させるプログラム命令を含む、請求項２に記載のコンピューティングシステム。
4. 前記プログラム命令は、前記１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、さらに、
   前記在庫場所内に配置され前記在庫場所を含む場所を撮影する第３デバイスから、前記在庫場所に前記ユーザが接触する前に、前記在庫場所に対応する第３画像データを受信させ、
   前記第３デバイスから、前記在庫場所に前記ユーザが接触した後に、前記在庫場所に対応する第４画像データを受信させることを含み、
   前記ユーザが前記在庫場所から前記対象物を除去したことを判断させる前記プログラム命令は、前記対象物が前記在庫場所から除去されたことを特定するために、前記第３画像データ及び第４画像データに基づき、前記ユーザが前記在庫場所から前記対象物を除去したことを判断させる命令を更に含む、請求項１から３のうちいずれか一項に記載のコンピューティングシステム。
5. 前記在庫場所に関連付けられた前記在庫の物品を判断させる命令は、前記１つまたは複数のプロセッサに、さらに、
   前記在庫場所にある重量計から受信した前記対象物の重量に一致する前記対象物、前記在庫場所にある圧力計から受信した前記対象物の底部の形状、または前記第２画像データから識別された前記対象物の特徴の少なくとも１つを考察することを含む、請求項１から４のうちいずれか一項に記載のコンピューティングシステム。
6. 実行可能な命令で構成された１つまたは複数のコンピューティングシステムの制御の下、
   材料取扱施設内で、ユーザの顔認証または前記ユーザが有する携帯装置からの識別情報に基づいて前記ユーザを識別することと、
   データストアから、前記ユーザに関連付けされた少なくとも一つの物品を表示するユーザ物品リストを検索することと、
   第１デバイスから、前記ユーザが前記材料取扱施設内の在庫場所に接触する前に生成された、前記在庫場所に対応する第１画像データを受信することと、
   前記第１デバイスから、もしくは前記第１デバイスとは異なる第２デバイスから、前記ユーザが前記在庫場所に接触した後に生成された、前記在庫場所に対応する第２画像データを受信することと、
   前記第１画像データ及び前記第２画像データの分析に基づき、前記ユーザが前記在庫場所に対象物を配置したことを判断することと、
   前記在庫場所に配置された前記対象物の物品を判断することと、
   前記ユーザが前記在庫場所に前記対象物を配置したことを確認させるよう、前記ユーザに通知することと、
   前記ユーザ物品リストから前記在庫場所に配置された前記物品の物品識別子を取り除いて前記ユーザ物品リストを更新することと、を含む、材料取扱施設内でユーザに支援を提供するコンピュータ実行方法。
7. 前記在庫場所に配置された前記対象物の識別を判断することは、
   前記対象物の少なくとも一部の表示を入手するために前記第１画像データまたは前記第２画像データの少なくとも１つを画像処理することと、
   前記対象物の前記少なくとも一部の表示と格納された前記物品の各々の表示との一致を判断するために、前記対象物の前記少なくとも一部と前記ユーザ物品リストで識別された物品に関連付けられた格納された物品の表示とを比較することと、を含み、
   前記ユーザ物品リストを更新することは、最高の信頼スコアを持つ前記物品に関連付けられた前記物品識別子を取り除くことを含む、請求項６に記載のコンピュータ実行方法。
8. 前記在庫場所に配置された前記対象物の識別を判断することは、さらに、
   最高一致の信頼度スコアを計算することと、
   前記信頼度スコアが閾値を超えていると判断することと、を含み、
   前記ユーザ物品リストの更新は人の入力なしで自動的に行われる、請求項６に記載のコンピュータ実行方法。
9. 前記在庫場所に配置された前記対象物の識別を判断することは、さらに、
   最高一致の信頼度スコアを計算することと、
   前記信頼度スコアが閾値を超えていないと判断することと、
   前記対象物の識別の確認をユーザから受信することと、を更に含む、請求項６又は７に記載のコンピュータ実行方法。
10. 前記方法はさらに、
    前記対象物が前記在庫場所に残っていると判断することと、
    前記在庫場所に関連付けられた物品ストック量を更新することと、を含む、請求項６又は７に記載のコンピュータ実行方法。
11. 前記ユーザが前記在庫場所に対象物を配置したことの判断は、
    前記通知に応じて、前記ユーザから前記通知の確認を受信することで、
    識別された前記対象物が適切な前記在庫場所に配置されたと判断する
    、請求項６又は７に記載のコンピュータ実行方法。

Images