JP2023524501A - 製品識別システム及び方法 - Google Patents

Abstract

キャビネットから取り出された製品を識別するための方法は、キャビネット内のカメラによって、キャビネットから取り出された製品の視覚的特徴を検出することを含む。本方法は、識別子センサによってキャビネットから取り出された製品上の識別子を検出することと、視覚的特徴及び識別子と製品情報データベースとを比較することを含み得る。キャビネットから取り出された製品は、視覚的特徴及び識別子と製品情報データベースとの比較に基づいて識別され得る。

Description

本明細書に記載の実施形態は、概して、製品を識別するためのシステム及び方法に関する。具体的には、本明細書に記載の実施形態は、消費者によって無人自動販売機から取り出された製品を識別するためのシステム及び方法に関する。

自動販売機は、一般に、消費者が決済に入り、製品選択を行い、製品が自動販売機によって分配されるのを待つ必要がある。しかしながら、消費者は、自動販売機を使用するときに複数の問題に遭遇する可能性がある。第１に、自動販売機は、消費者の決済の形態を受け入れない場合がある。例えば、自動販売機は、折り目のある又はしわがある紙幣を受け入れない場合がある。自動販売機は、紙幣又は硬貨の受け取りを適切に登録しない場合があり、したがって、消費者は、行われた決済に対するクレジットを受け取らないことがある。自動販売機は、モバイル決済を受け入れるように構成されていない場合があり、これは消費者にとって不便であり得る。更に、自動販売機は、クレジットカード又はデビットカードなどの決済カードを読み取ることができない場合がある。その結果、消費者は購入することができなくなり得る、又は消費者は失望して、自動販売機を使用しないと決定し得る。

第２に、いったん決済が行われると、消費者は、所望の製品に対応するコードを誤って入力する場合がある。結果として、消費者が予想されるものと異なる製品が分配される場合がある。消費者は、誤った製品を戻すことができない場合があり、消費者は大小を求めることができない場合がある。更に、自動販売機では、一般に、消費者が一度に１つの製品しか購入することができず、消費者は、複数の製品を購入するために、決済を行い、製品を選択するプロセスを繰り返す必要がある。同じ工程を繰り返すことは、時間がかかり、苛立たしく、消費者が複数の購入を行うことを躊躇させる可能性がある。

第３に、自動販売機は、選択された製品をユーザに適切に搬送することができない場合がある。例えば、ねじ駆動が、製品を自動販売機の分配開口部に移動させることができない、又は製品を所定位置に保持するゲートが完全に開放されない場合がある。更に、製品が、自動販売機内に詰まっている又はつかえており、消費者の手が届かない場合がある。その結果、消費者は製品を受け取らず、決済の拒否を得ることができない。

自動販売機は、消費者が特定の製品を個別に選択することができないなど、様々な追加の欠点を有する。その代わりに、消費者は単に製品の種類を選択するが、分配される正確な製品を選ぶことはできない。更に、消費者は購入前に製品を処理又は検査することができない。その結果、消費者は、ラベル、成分、又は栄養情報を読み取るなど、製品について知ることができない場合がある。これにより、消費者は、よく知らない製品を購入することを思いとどまる場合がある。分配された製品は、損傷している、期限切れである、又はそれ以外の欠点がある可能性がある。これらの様々な要因は、不良な消費者体験の原因になり得る。

したがって、簡単で容易な購入経験を提供する、改善された自動販売機が望まれている。更に、消費者が１つ以上の製品を個別に選択し、所望の製品の分配を確実にする自動販売機が望まれる。

本明細書に記載のいくつかの実施形態は、キャビネットから取り出された製品を識別するための方法に関し、本方法は、キャビネット内のカメラによって、キャビネットから取り出された製品の視覚的特徴を検出することと、識別子センサによってキャビネットから取り出された製品の識別子を検出することと、視覚的特徴及び識別子と製品情報データベースとを比較することと、視覚的特徴及び識別子と製品情報データベースとの比較に基づいて、キャビネットから取り出された製品を識別することと、を含む。

本明細書に記載のいくつかの実施形態は、キャビネットから取り出された製品を識別するための方法であって、本方法は、キャビネット内の内部カメラによって、キャビネット内の複数の製品の第１の画像を捕捉することと、キャビネットから複数の製品のうちの製品を取り出すことと、製品を取り出した後に、内部カメラによってキャビネット内の複数の製品の第２の画像を捕捉することと、第１の画像及び第２の画像を分析することによって、キャビネットから取り出された製品のＩＤを判定することと、キャビネットから取り出された製品の識別子を検出することによって、キャビネットから取り出された製品のＩＤを確認することと、を含む。

本明細書に記載のいくつかの実施形態は、キャビネットから取り出された製品を識別するための方法に関し、本方法は、カメラ及びセンサのうちの少なくとも１つを介して、製品がキャビネットから取り出された位置を検出することと、カメラ及びセンサのうちの少なくとも１つからのデータに基づいて製品の視覚的特徴を判定することと、視覚的特徴に基づいて製品の予測されたＩＤを判定することと、キャビネット内の製品のデジタルマップに基づいてその位置での製品のＩＤを判定することと、デジタルマップに基づいて製品の予測ＩＤが製品のＩＤに対応することを確認することと、を含む。

本明細書で考察されている様々な実施形態のうちのいずれかにおいて、視覚的特徴は、製品の形状を含み得る。

本明細書で考察されている様々な実施形態のうちのいずれかにおいて、視覚的特徴は、製品の色を含み得る。

本明細書で論じられている様々な実施形態のうちのいずれかにおいて、識別子センサはカメラであり得る。

本明細書で考察されている様々な実施形態のうちのいずれかにおいて、識別子は、バーコードであり得る。

本明細書で論じられる様々な実施形態のうちのいずれかにおいて、本方法は、キャビネットから取り出された製品の重量をキャビネット内に配置された重量センサで判定することによって、製品のＩＤを確認することを更に含み得る。いくつかの実施形態では、キャビネットから取り出された製品の重量を判定することは、重量センサを介してキャビネット内の製品の第１の重量を判定することと、キャビネットから製品を取り出した後に、重量センサを介してキャビネット内の製品の第２の重量を判定することと、第１の重量と第２の重量との差を計算することと、を含み得る。

本明細書で論じられる様々な実施形態のうちのいずれかにおいて、本方法は、外部カメラによってキャビネットの外側の位置でキャビネットから取り出された製品の視覚的特徴を検出することと、外部カメラによって検出された視覚的特徴に基づいて、取り出された製品のＩＤを確認することと、を更に含み得る。

本明細書で論じられる様々な実施形態のいずれかにおいて、本方法は、外部カメラによってユーザを検出することと、外部カメラによってユーザによる不正行為を検出することと、及び不正行為が検出されたときにキャビネットをロックすることと、を更に含み得る。

本明細書で論じられる様々な実施形態のうちのいずれかにおいて、本方法は、光センサを介して取り出された製品に関連するデータを検出することと、光センサからのデータを使用して取り出された製品のＩＤを確認することと、を更に含み得る。

本明細書において考察される様々な実施形態のうちのいずれかにおいて、光センサは、ＬＩＤＡＲセンサを含み得る。

本明細書で論じられる様々な実施形態のうちのいずれかにおいて、本方法は、製品がキャビネットから取り出された後、キャビネット内の製品のデジタルマップを更新することを更に含み得る。

本明細書で論じられる様々な実施形態のうちのいずれかにおいて、本方法は、カメラ及びセンサのうちの少なくとも１つから受信されたデータを使用して、キャビネット内の製品のデジタルマップを生成することを更に含み得る。

本明細書で論じられる様々な実施形態のうちのいずれにおいても、デジタルマップは、キャビネット内の各製品の位置及びモデルを含み得る。

本明細書で論じられる様々な実施形態のうちのいずれにおいても、方法は、識別子センサを介してキャビネットから取り出された製品の識別子を検出することを更に含み得る。

本明細書に組み込まれ、本明細書の一部を形成する添付図面は、本開示を例解するものであり、説明と合わせて、本開示の原理を更に説明し、当業者が本開示を作製及び使用することを可能にする役割を果たす。
一実施形態による、キャビネットから取り出された製品を識別するように構成された自動販売機の正面図である。 一実施形態による、自動販売機のキャビネットから取り出された製品を識別するためのシステムの構成要素の概略図である。 一実施形態による、カメラの配置を示す自動販売機の棚の上面図である。 一実施形態による、カメラの位置を示す自動販売機の棚の上面図である。 一実施形態による、カメラを有する自動販売機の斜視図である。 一実施形態による、製品のＩＤを判定する例示的な方法を示す。 一実施形態による製品のＩＤを判定する例示的な方法を示す。 一実施形態による、重量センサを有する自動販売機の側面図である。 一実施形態による、製品のＩＤを判定する例示的な方法を示す。 一実施形態による、製品がキャビネットに戻されたかどうかを判定する例示的な方法を示す。 一実施形態による、光センサによって判定された棚内の製品の図である。 一実施形態による、自動販売機のキャビネット及び製品のデジタルマップの斜視図である。 一実施形態による、消費者の手の位置を追跡することによって製品を識別するためのシステムの上面図である。 一実施形態による、製品のＩＤを判定する例示的な方法を示す。 実施形態が実行され得る例示的なコンピュータシステムの概略ブロック図である。

以下、添付図面に例示される代表的な実施形態を詳細に参照する。以下の説明は、複数の実施形態を１つの好ましい実施形態に限定することを意図するものではないことを理解されたい。それに対して、本発明は、特許請求の範囲によって定義される実施形態の趣旨及び範囲の範囲内に含まれ得る代替物、変形物、及び均等物を包含することを意図している。

いくつかの自動販売機は、製品が保管されている区画へのアクセスを消費者に提供することができる。このようにして、消費者は、製品を購入するかどうかを決定するときに、ラベル、栄養情報などを検討するために製品を検査することができる。更に、消費者は、まさに購入したいと思う製品を選択することができる。消費者は、単一の取引で複数の製品を容易に購入することができる。

そのような自動販売機は、消費者からの決済源を受け入れるか、又は消費者を識別するかして、消費者に製品が保管されているキャビネットへのアクセスを提供し、消費者によってキャビネットから取り出された製品を検出し、選択された製品の代金を消費者に請求することができる。そのような自動販売機は、消費者に追加の利便性を提供することができるが、消費者によって選択された製品を正確に検出することは、多くの技術的課題を呈する。キャビネットから取り出された製品が識別されて消費者に請求されない場合、自動販売機の所有者は、収入を失う場合がある。更に、取り出された製品が正しく識別されない場合、消費者は誤った価格を請求され、自動販売機の在庫は誤って維持される可能性がある。また、消費者が製品にいたずらしたり、又は他の方法で不正行為に関与したりすることがないことを確実にするための配慮がなされなければならない。

自動販売機から取り出された製品の正確な識別を確保するために、自動販売機は、その多くが外観が似通った様々な製品を区別することができなければならない。例えば、多くの飲料ボトル、特に同じ製造業者の飲料のボトルは、サイズ及び形状が同一又は同様であり得る。したがって、いくつかの製品は、製品名又は色などのパッケージ上の細部のみが異なっている場合がある。

自動販売機はまた、様々な向きの製品を検出することができなければならない。製品は、様々な向きでキャビネット内に配置され、消費者は、異なるやり方で自動販売機から製品を取り出し得る。消費者は、製品を見えにくくして、識別を邪魔するようなやり方で製品を選択する場合がある。例えば、消費者は、片手で複数の製品をつかみ、それにより選択された個々の製品の検出を困難にし得る。消費者はまた、製品を取り出し、製品が最初に配置されたときと異なる位置及び異なる向きに製品を戻すこともある。

自動販売機の適切な使用を確実にするために、窃盗や製品へのいたずら、又は自動販売機の損傷など、不正行為を防止するために注意を払う必要がある。消費者は、製品の代金が消費者に請求されないように、検出されずに製品を取り出そうとすることができる。あるいは、消費者は、製品の代わりに外部物体を自動販売機に挿入して製品が戻されたように見せかけることによって、自動販売機を欺こうとすることができる。消費者が製品を盗むか又はいたずらすることができる場合、自動販売機の所有者は、収入の損失を被る場合がある。購入に利用可能な製品が損傷している場合、他の消費者は自動販売機を使用することを選択しない場合がある。

本明細書に記載のいくつかの実施形態は、カメラ及び識別子センサを使用して、カメラ及び識別子センサによって収集されたデータが製品情報データベースと比較される、キャビネットから取り出された製品を識別するためのシステム及び方法に関する。このようにして、製品は、消費者が製品に関する情報を手動でスキャン又は入力することなく正確に識別することができ、自動販売機からの製品の購入を簡略化することができる。本明細書に記載のいくつかの実施形態は、キャビネット内の製品のデジタルマップを生成することを含む、キャビネットから取り出された製品を識別するためのシステム及び方法に関する。デジタルマップは、キャビネット内の製品の位置及びＩＤの基準線を提供し、キャビネット内のカメラ又はセンサによってキャビネットから取り出された製品の識別を確認するために使用され得る。

いくつかの実施形態では、自動販売機１００は、図１に示されるように、キャビネット１１０内に保管された複数の製品２００を有するキャビネット１１０を含み得る。キャビネット１１０は、キャビネット１１０内の複数の製品２００へのアクセスを提供するために開くことができるドア１１８を更に含み得る。キャビネット１１０は、製品を識別するための１つ以上のカメラ１２０、１３０、又はセンサ１４０、１５０、１６０を含み得る。具体的には、カメラ及びセンサは、キャビネット１１０から取り出された製品を識別するように構成されており、その結果、消費者は、キャビネット１１０から取り出されて、キャビネット１１０に戻されない製品のみ請求される。センサ及びカメラによって収集されたデータは、制御ユニット１８０（図２参照）などによって分析され、取り出された製品のＩＤを判定する。分析は、カメラ及びセンサからのデータと製品情報及び／又は製品在庫のデータベースとの比較を含み得る。

本明細書に記載の検出システム及び方法は、製品が保管されたキャビネットからユーザが手動で製品を選択し、取り出すことを可能にする自動販売機で使用され得る。消費者が製品を手動で選択し取り出すことを可能にする自動販売機は、例えば、２０１９年９月３日に出願された米国特許出願第１６／５５９，３００号に記載されており、参照によりその全体が本明細書に組み込まれる。製品識別システム及び方法を組み込んだ例示的な自動販売機は、例示のみを目的として本明細書に記載されている。当業者は、本明細書に記載の製品識別システム及び方法は、他のタイプの自動販売機又は小売業者でも使用され、製品識別のための他の環境でも利用され得ることを理解するであろう。

自動販売機１００は、例えば図２に示されるような構成要素を有し得る。しかしながら、自動販売機１００は、図２に示される全ての構成要素を有する必要はなく、追加の構成要素を含み得る。

自動販売機１００は、消費者のＩＤを認証するように構成され得る。自動販売機１００は、顔認識によって消費者を識別するための外部カメラ１３０、又は親指の指紋又は虹彩などの消費者からの生体認証情報を取得するための生体認証センサ１７２を含み得る。いくつかの実施形態では、自動販売機１００は、代替的に又は追加的に、携帯電話などのモバイルデバイスと通信するための無線トランシーバなどの通信デバイス１７４を含むことができ、それにより、消費者はモバイルデバイスを介して認証するか、又は決済を行うことができる。そのような実施形態では、モバイルデバイスは、自動販売機１００との対話を容易にするソフトウェアアプリケーションを有し得る。消費者のＩＤは、決済源などの消費者に関する情報を含む消費者のプロファイルとリンクされてもよく、その結果、消費者は自動販売機１００を使用するときに手動で決済を行う必要がなく、消費者の購入は消費者のプロファイルで自動的に後払いにされる。

自動販売機１００は、消費者の認証を必要としない場合があり、単に消費者からの決済の形態を受け入れることができる。自動販売機１００は、紙幣、硬貨、又はトークンを受け取るための１つ以上のスロットを含み得る決済処理ユニット１７０を含み得る。決済処理ユニット１７０は、クレジットカード、デビットカード、ギフトカードなどの磁気ストライプ又は電子チップを読み取るための、又は非接触決済カードから非接触決済を受信するための近距離通信（ＮＦＣ）アンテナを含むカードリーダを含み得る。決済処理ユニット１７０は、携帯電話、時計、ラップトップ、タブレットなどのモバイル決済を受け入れるための通信デバイスを含み得る、又は決済処理ユニット１７０は、クイックレスポンス（ＱＲ）コード（登録商標）などの支払いコードをスキャンするためのスキャナを含み得る。

消費者のＩＤを認証する又は消費者からの決済を受信すると、自動販売機１００のドア１１８は、消費者が複数の製品２００にアクセスすることができるように自動的にロック解除され得る。消費者によって取り出された製品は、本明細書に記載の方法によって識別され得る。ユーザインターフェース１７６上又はユーザのモバイルデバイス上に表示される仮想ショッピングカートは、製品の価格と共にキャビネット１１０から取り出された製品と、製品の合計価格とを列挙し得る。

消費者が自動販売機１００のドア１１８を閉じると、取り出された製品の購入を完了し得る。購入を完了するために、消費者は、入力を提供する、例えば、自動販売機１００のユーザインターフェース１７６上のトランザクションを完了するための選択を行うか、又は経路に沿ったスワイプなどのタッチスクリーンを有するユーザインターフェース１７６上でジェスチャを実行することができる。あるいは、ドア１１８が所定の期間閉じられると、購入は自動的に完了され得る。

いくつかの実施形態では、自動販売機１００は、図３に示されるように、製品を識別するためのキャビネット１１０内に１つ以上の内部カメラ１２０を含み得る。カメラ１２０は、静的画像を捕捉するように構成され得る、カメラ１２０は、ビデオを捕捉し得るか、又はその両方であってもよい。いくつかの実施形態では、複数のカメラ１２０は、キャビネット１１０の各棚１１２上の製品の画像又はビデオを捕捉するように配置され得る。カメラ１２０は、各棚１１２の上のキャビネット１１０の１つ以上の角部に配置され得る。更に、いくつかの実施形態では、カメラ１２０は、棚１１２の中央部の画像を捕捉するように、各棚１１２の上方の中央に配置され得る。例えば、カメラ１２０は、キャビネット１１０の４つの角部の各々に配置され得、第５のカメラは、棚１１２の中央部の上方に配置され得る。このようにして、カメラ１２０は、異なる角度から製品を捕捉することができ、特定のカメラ１２０からの視野で見えにくくなっている製品を検出することができる。更に、カメラ１２０は、キャビネット１１０内の任意の製品を見ることができ、重複する視野を有し得る。例えば、キャビネット１１０の前部１１６に配置されたカメラ１２０は、キャビネット１１０の後部１１４に配置された製品を完全に捕捉しない場合がある。カメラ１２０からの最良の画像が、製品のＩＤを判定する分析のために選択されてもよい、又は様々な画像を組み込んだ複合画像が生成及び分析されてもよい。

いくつかの実施形態では、１つ以上のカメラ１２０は、図４に示されるように、キャビネット１１０を出る（又はキャビネットに入る）製品の画像又はビデオを捕捉するように構成され得る。カメラ１２０は、キャビネット１１０の前部１１６に配置され得る。いくつかの実施形態では、カメラ１２０は、キャビネット１１０の前部１１６の角部に位置付けられてもよく、又はキャビネット１１０の前部１１６の周囲に位置付けられてもよい。カメラ１２０は、キャビネット１１０の前部１１６に平行な平面Ｐを画定し得る。このようにして、キャビネット１１０を出る又はキャビネットに入る製品２００Ｂは、平面Ｐを通過しなければならず、したがってカメラ１２０によって検出される。そのような実施形態では、キャビネット１１０内の製品２００Ａは、カメラ１２０によって検出され得ない。カメラ１２０は、画像又はビデオを捕捉して、キャビネット１１０から取り出された製品２００Ｂを識別するか、又はキャビネット１１０に戻すことができる。キャビネット１１０の前部１１６のカメラ１２０は、製品２００がキャビネット内の他の製品によって見えにくくされないように、消費者によって取り出されているときの製品２００の明確な図を有し得る。

カメラ１２０は、製品の視覚的特徴を検出するために使用され得る。視覚的特徴は、製品の形状、製品の寸法、製品の色、又はそれらの組み合わせを含み得る。カメラはまた、キャビネット１１０内の製品の位置を判定するために使用され得る。

製品の形状は、前面プロファイル、側面プロファイル、背面プロファイル、上面図、又は底面図など、製品のシルエット又は２Ｄ図であり得る。例えば、製品が缶である場合、形状は、頂部から見たときに円形の形状、又は側面プロファイルで見たときに略長方形の形状であり得る。いくつかの実施形態では、形状は、製品の斜視図などの３Ｄ図であり得る。３Ｄ図は、２Ｄ図を様々なカメラから組み合わせることによって生成され得る。いくつかの実施形態では、カメラを使用して、各製品のモデルを生成し得る。モデルは、形状及び色又はカラーパレットを含む２Ｄモデルであり得る。いくつかの実施形態では、モデルは、製品の形状、寸法、及び色又はカラーパレットを含む３Ｄモデルであり得る。カメラ１２０は、３Ｄモデルの生成を助ける深度センサを有し得る。カメラは、同様の形状を有する製品が区別され得るように、製品の寸法を判定し得る。例えば、１２オンス缶及び１６オンスは、両方が円筒形であるにもかかわらず識別可能であり得る。いくつかの実施形態では、精度を確保するために、カメラは、±５ｍｍ、±３ｍｍ、又は±１ｍｍ内で製品の寸法を判定するように構成され得る。

視覚的特徴は、製品の色を含み得る。色は、製品の任意の部分の色、又は色のパターン若しくは組み合わせ、例えば、カラーパレットであり得る。例えば、視覚的特徴は、他の着色アイテムの中でも、パッケージの色、テキストの色、パッケージ上のロゴ又はマークの色であってもよい。例えば、製品がボトル入り飲料である場合、色は、ボトルの色（例えば、透明、緑色）、ボトル内の液体の色、ボトルキャップの色、ラベルの色、又はラベル上の文字若しくはマーク、並びにそれらの組み合わせであり得る。

いくつかの実施形態では、識別子センサ１５０（例えば、図１を参照）は、製品２００の識別子２１０を検出し得る。製品の識別子２１０は、ラベル、バーコード、ＱＲコード、テキスト（ブランド、製品、又は風味名称など）、ロゴ、又は製品上の他のマークを含み得る。いくつかの実施形態では、識別子センサは、カメラ１２０であり得る。いくつかの実施形態では、識別子センサ１５０は、バーコード又はＱＲコードをスキャンするためのスキャナなどの別個の構成要素であり得る。識別子センサ１５０は、製品２００上のテキストを読み取ることができるように、十分に高い解像度を有し得る。いくつかの実施形態では、自動販売機１００の制御ユニット１８０は、光学式文字読み取り認識（ＯＣＲ）を実行して、製品の捕捉画像内のテキストを識別することができる。捕捉画像又はビデオは、テキストの正確な識別を可能にするのに十分なピクセル密度を有し得る。いくつかの実施形態では、テキストを識別するための最小ピクセル密度は、約２ピクセル／ｍｍであり得る。更に、識別子センサ１５０は、ＯＣＲを容易にする鮮明な画像を提供するために高フレームレートを有し得る。

いくつかの実施形態では、畳み込みニューラルネットワーク（ＣＮＮ）を使用して、当業者によって理解されるように製品２００上の識別子２１０を検出して、製品認識のために識別子２１０を分析することができる。ＣＮＮは、精度を高めるために、自動販売機１００で利用可能な製品に基づいて訓練され得る。更に、識別子センサ１５０は、関連製品（例えば、ペプシ、ダイエットペプシ、チェリーペプシ）の識別子２１０の差を解明するのに十分な解像度を有し得る。いくつかの実施形態では、例えば、製品の正確な識別は、１．５ピクセル／ｍｍの最小ピクセル密度を必要とし得る。

識別子センサ１５０は、特定の在庫保管単位（ＳＫＵ）の判定を支援し得る。例えば、１つ以上のカメラ１２０は、製品のサイズ及び形状を検出することができるが、キャビネット１１０内の複数の製品は、同じサイズ及び形状であり得る。したがって、識別子センサ１５０は、製品の識別子２１０を検出することによって、特定のタイプの製品を判定するのに役立ち得る。あるいは、カメラ１２０のみが取り出された製品のＩＤを判定することができる場合、識別子センサ１５０によって提供される情報を使用して、製品が正しく識別されたという信頼性を高めるか、又はカメラ１２０に基づく製品の識別が正しいことを確認することができる。

制御ユニット１８０は、カメラ１２０及び識別子センサ１５０からのデータを受信及び分析して、製品のＩＤを判定するように構成され得る。制御ユニット１８０はまた、製品情報データベースを記憶し得る。データベースは、キャビネット１１０に保管された製品に関する情報を含み得る。データベースは、例えば、製品のリストを含み得る。各製品について、データベースは、製品の形状若しくはシルエット、寸法、及びパッケージの色、製品重量、並びに製品ラベル及び識別子に関する更なる情報などの対応する視覚的特徴を含み得る。キャビネットから取り出された製品を識別するために、分析は、カメラ１２０及びセンサ１５０からのデータに基づいて判定された視覚的特徴に対応する、又は最良に一致する視覚的特徴を有するデータベース内の製品を判定し得る。いくつかの実施形態では、制御ユニット１８０は、カメラ１２０及びセンサ１５０からのデータに基づいて製品のＩＤを判定するためのセンサ融合アルゴリズムを実行し得る。人工知能及び機械学習を使用して、製品情報データベースと組み合わせてカメラ１２０及びセンサからデータを分析して、製品のＩＤを判定し得る。いくつかの実施形態では、人工知能が、製品識別に信頼度を割り当て得る。当業者によって理解されるように、コンピュータビジョン技術を使用して、カメラ及びセンサからの画像又はビデオなどのデータを分析し得る。いくつかの実施形態では、人工知能又はコンピュータビジョン技術は、自動販売機１００から遠隔で用いられ得る。例えば、クラウドコンピューティング、エッジコンピューティング、又はそれらの組み合わせを使用して、カメラ１２０及びセンサからのデータを分析することができる。

いくつかの実施形態では、制御ユニット１８０はまた、どの製品がキャビネット１１０内にあるかが既知であるように、自動販売機１００の製品在庫を保管し得る。したがって、取り出された製品の識別は、製品２００が取り出されたキャビネット１１０内、又は特定の棚１１２上にあることが既知である製品に限定される。いくつかの実施形態では、制御ユニット１８０は、図１２に関して以下で更に詳細に論じられるように、製品識別を更に支援することができる、キャビネット１１０内の製品のデジタルマップを生成及び格納し得る。

いくつかの実施形態では、図５に示されるように、自動販売機１００は、内部カメラ１２０を含み得る。自動販売機１００は、製品が保管され得る棚１１２を有するキャビネット１１０を含む。第１の複数のカメラ１２０Ｂは、キャビネット１１０の内側の各棚１１２上の製品を検出するように、各棚１１２の上に位置付けられ得る。第１の複数のカメラ１２０Ｂは、各棚１１２の角部及び各棚１１２の中央部にカメラ１２０Ｂを含み得る。第２の複数のカメラ１２０Ａは、キャビネット１１０の前部１１６に配置され得る。第２の複数のカメラ１２０Ａは、図４に関して上述したように、キャビネット１１０から取り出された、又はキャビネット１１０に戻された製品を検出するように構成され得る。第２の複数のカメラ１２０Ａは、前部１１６の周囲に位置付けられ得る。しかしながら、いくつかの実施形態では、より少ない又は追加のカメラ１２０が含まれ得る。

いくつかの実施形態では、キャビネットから取り出された製品のＩＤを判定する方法６００は、例えば図６に示されるように、キャビネットに入る又はキャビネットから出る製品のビデオを捕捉するためにカメラを使用することを含み得る。カメラは、キャビネットのドアが開いているときに作動され、ドアが閉じられたときに停止され得るため、キャビネットが消費者によってアクセスされているときにのみビデオが捕捉される。カメラは、キャビネットから取り出された製品の視覚的特徴を検出し得る６１０。キャビネットから取り出された製品の識別子は、識別子センサによって検出され得る６２０。視覚的特徴及び識別子を分析して、製品情報データベースに基づくことができる製品のＩＤを判定し得る６３０。いくつかの実施形態では、視覚的特徴及び識別子は、製品在庫又はキャビネット内の製品のデジタルマップとの対応について分析され得る。製品のＩＤは、視覚的特徴及び識別子の分析及び製品情報データベースに基づいて判定され得る６４０。いくつかの実施形態では、視覚的特徴又は識別子を使用して製品を識別することができ、視覚的特徴又は識別子の他方を使用して、製品のＩＤを確認することができる。

いくつかの実施形態では、製品のＩＤを判定する方法７００は、図７に示すように、カメラの使用を含み得る。カメラは、設定された間隔で画像を捕捉し得る、又はカメラは、キャビネットのドアが閉じられたときに画像を捕捉し得る。複数のカメラが使用される場合、複数のカメラからの画像を複合画像に結合し得る、又は最良の画像を使用し得る。この方法は、キャビネット内の複数の製品の第１の画像を捕捉することを含み得る７１０。第１の画像は、消費者がキャビネットにアクセスする前の製品を示す基準線画像であり得る。消費者は、キャビネットから１つ以上の製品を取り出し得る７２０。次いで、カメラは、キャビネット内の複数の製品の第２の画像を捕捉し得る７３０。製品のＩＤは、一部には、第１及び第２の画像を分析して、どの製品が取り出されたかを判定することによって判定され得る７４０。画像の分析は、取り出された製品の視覚的特徴、及び／又は製品が取り出された位置を判定するために使用され得る。分析は、視覚的特徴と製品情報データベースとの比較を含み得、製品の位置を使用して、その位置に保管されていることが既知である製品を判定し得る。更に、取り出された製品のＩＤを確認するために、取り出された製品の識別子が、識別子センサによって検出され得る７５０。製品の識別子を検出することにより、製品識別の精度は、カメラ単独からのデータの使用に対して高めることができる。

いくつかの実施形態では、カメラによって捕捉された画像とビデオとの組み合わせを使用して、製品を識別することができる。そのような実施形態では、カメラは、キャビネット内の製品の画像を捕捉することができる。別のカメラは、キャビネットから取り出されつつある製品のビデオを捕捉することができる。製品が取り出された後、キャビネット内の製品の第２の画像を捕捉することができる。ビデオは、製品の視覚的特徴を判定するために分析され得、人工知能は、視覚的特徴及び製品情報データベースを使用して、製品のＩＤを判定し得る。捕捉ビデオに基づいて判定される製品のＩＤは、第１及び第２の画像の分析によって確認されて、取り出された製品の位置又は視覚的特徴を判定し得る。あるいは、製品識別は、第１及び第２の画像を分析することによって行われてもよく、ビデオからのデータは、識別を確認するために使用されてもよい。

いくつかの実施形態では、製品の識別は、一部には、重量センサ１４０を用いて判定され得る（例えば、図１を参照）。重量センサ１４０は、キャビネット１１０内の製品の重量を判定するように構成され得る。いくつかの実施形態では、重量センサ１４０は、１つ以上の荷重計であり得る。重量センサ１４０は、棚１１２上又は棚１１２の内側に配置されてもよく、その結果、重量センサ１４０は、棚１１２上に配置された製品の重量を判定し得る。

他の実施形態では、重量センサ１４０は、図８に示されるように配置され得る。自動販売機１００のキャビネット１１０内の各棚１１２は、１つ以上の重量センサ１４０上に支持され得る。いくつかの実施形態では、重量センサ１４０は、矩形棚１１２の各角部に配置されている。更に、重量センサ１４０は、キャビネット１１０内のブラケット１１１に配置され得る。したがって、重量センサ１４０は、棚１１２及び棚上の製品の重量を検出して、製品が棚１１２から取り出されたか、又は棚１１２に戻されたかを判定し得る。

重量センサを使用して製品のＩＤを判定する例示的な方法９００を図９に示す。棚上の製品の第１の重量は、重量センサによって判定され得る９１０。製品は、消費者によって棚から取り出され得る９２０。棚上の製品の第２の重量は、重量センサによって判定され得る９３０。第１の重量と第２の重量との差は、製品又は取り出された製品の重量を判定するために計算され得る。計算された重量を分析して、取り出された製品の計算重量に対応するか、又は最良に一致する製品情報データベース内の１つ又は複数の製品を判定し得る。取り出された製品の重量を使用して、取り出された製品のＩＤがカメラ又は識別子センサに基づいて判定されたことを確認し得る。

いくつかの実施形態では、重量センサ１４０を使用して、キャビネット１１０内の製品の位置に関する情報を提供することもできる。キャビネット１１０内の棚１１２は、複数の重量センサ１４０を含み得る。したがって、重量センサ１４０は、製品がどの重量センサ１４０上に配置されるかに応じて、製品が取り出される位置を示すのに役立ち得る。キャビネット１１０に含まれる重量センサ１４０が多いほど、製品の正確な位置を判定するための重量センサ１４０の能力が高まる。更に、消費者が製品を戻す場合、重量センサ１４０は、戻された製品が配置される位置を判定するのに役立ち得る。この情報を使用して、キャビネット１１０内の製品のデジタルマップを更新し得る。重量センサ１４０はまた、落下した、又は他の製品によって見えにくくなっており、カメラ１２０によって容易に見ることができない製品を検出し得る。

いくつかの実施形態では、図１０に示されるように、重量センサを使用して、消費者による不正行為を判定し得る。そのような実施形態では、取り出された製品の重量は、図８及び９に関して上述したように、重量センサによって判定され得る１０１０。重量センサはまた、キャビネットに戻された製品の重量を判定し得る１０２０。例えば、消費者は、ラベル又は栄養情報を読み取るために製品を取り出し、製品の購入を決定し、製品をキャビネットに戻すことができる。取り出された製品の重量が、戻された製品の戻しの重量と比較される１０３０。戻された製品の重量が、取り出された製品の重量と同じである場合、返品が受け入れられる１０４０。戻された製品の重量が、戻された製品の重量とは異なる場合、返品は受け入れられない１０５０。したがって、消費者には、取り出されて戻されていない製品の代金が請求され得る。消費者が、キャビネットから取り出された製品の代わりに外部アイテムを戻すことによってシステムを欺こうとする場合、システムは、外部製品の重量が取り出された製品の重量とは異なることを検出し得る。更に、消費者が製品の一部を消費することなどによって製品を試飲する場合、製品の重量は減少し、返品は受け入れられない。

いくつかの実施形態では、製品が適切に戻されるかどうかの判定は、カメラ１２０によって支援され得る。カメラ１２０は、取り出された、及び戻された製品の視覚的特徴を検出して、視覚的特徴が同じかどうかを判定し得る。戻された製品の視覚的特徴が取り出された製品の視覚的特徴と異なる場合、消費者は、製品にいたずらしたか、又は異なるアイテムを戻すよう試みた可能性がある。

いくつかの実施形態では、光センサ１６０が、製品の視覚的特徴及び／又は位置を判定するために使用され得る（例えば、図１を参照）。光センサ１６０は、キャビネット１１０内に配置され得、実質的にキャビネットの内部全体を見ることができる。光センサ１６０は、様々な光波長を使用し得る。いくつかの実施形態では、光センサ１６０は、例えば図１１に示されるように、キャビネット１１０内の各物体の位置、サイズ、及び形状の判定を支援するために使用され得る。光センサからのデータは、カメラの視野から見えにくくなっている可能性のある製品のサイズ、形状、及び位置を判定し得る。更に、消費者が
製品を取り出して、異なる位置に戻す場合、光センサは、製品の位置を判定し得る。

いくつかの実施形態では、光センサは、ＲＦＩＤセンサであってもよい。そのような実施形態では、キャビネット１１０は、ＲＦＩＤタグ付き製品の存在を検出するように構成されたＲＦＩＤセンサを含み得る。したがって、製品がキャビネットから取り出されると、ＲＦＩＤセンサは、取り出された製品のＩＤを判定することができる。いくつかの実施形態では、光センサは、特に、光検出及び測距（ＬＩＤＡＲ）センサ又は磁気共鳴画像（ＭＲＩ）センサであってもよい。光センサ１６０からのデータを使用して、他のセンサ又はカメラによって判定されるように、キャビネットから取り出された製品のＩＤを確認することができる。これは、製品識別の精度を高めるのに役立ち得る。

いくつかの実施形態では、自動販売機は、図１２に示されるように、キャビネット内の製品のデジタルマップを生成し得る。デジタルマップ３００は、キャビネット及びその中の製品のデジタル表現を含み得る。したがって、デジタルマップ３００は、キャビネット１１０及びキャビネット１１０内の製品のリアルタイムのデジタルツインであり得る。例えば、図１２に示されるように、キャビネット１１０の棚１１２は、特定の位置で棚１１２上に配置された製品２０１～２０４を含み得る。デジタルマップ３００は、キャビネット及び棚３１２の表現を含み得、棚３１２上の製品２０１’～２０４’の３Ｄモデルなどのモデルを含み得る。したがって、デジタルマップ３００は、自動販売機１００のキャビネット１１０内の製品の位置及びＩＤを含み得る。デジタルマップ３００はまた、キャビネット内の各製品の数が既知であるように、製品在庫として機能し得る。

いくつかの実施形態では、カメラ１２０、センサ、又はそれらの組み合わせを使用して、デジタルマップ３００を生成することができる。例えば、オペレータがキャビネット１１０内に各製品を配置するとき、カメラ１２０及びセンサは、製品の位置及びＩＤを検出し、製品の３Ｄモデルを更に生成し得る。このようにして、キャビネット１１０が充填されるときにデジタルマップを生成することができる。いくつかの実施形態では、オペレータは、キャビネット内の各製品のＩＤ及び位置を手動で入力又は確認することができる。

デジタルマップ３００は、消費者がキャビネットにアクセスする前に、キャビネット内の製品に関する情報の基準線を提供し得る。消費者がキャビネット内の特定の位置から製品を取り出す場合、その位置での製品のＩＤはデジタルマップから既知である。したがって、デジタルマップを使用して、カメラ１２０又は自動販売機１００の他のセンサからのデータに基づいて行われた製品識別を確認することができる。更に、消費者がキャビネットから製品を取り出すと、カメラ１２０及びセンサからのデータを使用してデジタルマップを更新し得る。例えば、デジタルマップは、１つ以上の製品が取り出されたことを反映するように更新されてもよく、１つ以上の製品が補充されているか、又は１つ以上の製品がキャビネット内に移動又は再配置されたことを反映するように更新されてもよい。光センサ１６０は、キャビネット内のいくつかの製品のビューがカメラの視野から隠れている可能性があるため、キャビネット内の製品の位置を判定するのに役立ち得る。

いくつかの実施形態では、製品のＩＤは、図１３に示されるように、一部には、消費者の手の位置を追跡することによって判定され得る。消費者の手の位置は、カメラ１２０からのデータに基づいてコンピュータビジョン技術によって追跡され得る。キャビネット１１０内の消費者の手１２００の座標が、消費者がどの棚にアクセスしているかを判定するために１つ以上のカメラ１２０によって検出され得る。いくつかの実施形態では、消費者の手１２００を追跡して、消費者の手の位置で製品２００を判定することができる。消費者の手の座標は、棚の上面図などの二次元で判定され得る。例えば、消費者の手１２００の座標は、キャビネット１１０の前部から後部までの方向に延びるＸ軸に沿った位置、及び横軸又はＹ軸に沿った位置を含み得る。各製品２００のＩＤ及び位置は、デジタルマップなどによって既知であり得る。したがって、消費者の手の位置が既知である場合、消費者の手１２００の座標における製品２００は、デジタルマップ内のその位置で製品を判定することによって容易に識別することができる。コンピュータビジョンは、消費者の手１２００による特定の動き又はジェスチャを更に検出して、消費者が製品を取り上げているか、又は戻しているかを判定し得る。いくつかの実施形態では、消費者の手１２００の軌道を検出して、消費者によって選択された製品を判定し得る。

デジタルマップを使用して製品のＩＤを判定する例示的な方法１４００を図１４に示す。キャビネットから製品が取り出された位置が、カメラ及びセンサのうちの少なくとも１つによって検出され得る１４１０。キャビネットから取り出された製品の視覚的特徴が、カメラ又はセンサからのデータに基づいて判定され得る１４２０。位置における製品の予測ＩＤが、視覚的特徴に基づいて判定され得る１４３０。例えば、人工知能及び機械学習技術を使用して、事前訓練された機械学習モデルに基づいて製品のＩＤを予測し得る。例えば、視覚的特徴は製品の形状であり得、人工知能は製品の形状に最もよく一致する既知の形状を有する製品在庫内の製品を分析し得る。予測されたＩＤが正しいことを確認するために、その位置の製品のＩＤが、キャビネット内の製品のデジタルマップに基づいて判定され得る１４４０。予測ＩＤが、デジタルマップに基づく製品のＩＤに対応する場合、予測ＩＤが確認され得る１４５０。

いくつかの実施形態では、自動販売機１００は、図１に示されるように、外部カメラ１３０を含み得る。外部カメラ１３０は、自動販売機１００の外部の領域を見るように構成され得る。外部カメラ１３０は、キャビネット１１０の外側に位置付けられてもよく、又は自動販売機１００の外部の領域を見るためにキャビネット１１０内に配置されてもよい。例えば、外部カメラ１３０は、自動販売機１００のドア上又はキャビネット１１０の外部に配置されてもよい、又はカメラ１３０は、自動販売機１００から分離されてもよい。いくつかの実施形態では、外部カメラ１３０は、消費者の存在が自動販売機１００の近くで検出されたときに作動され得る。消費者の存在は、近接センサ１３５によって検出され得る（例えば、図２を参照）。

外部カメラ１３０は、１人以上の消費者の画像又はビデオ、及び／又はキャビネット１１０から取り出された製品の画像若しくはビデオを捕捉するように構成され得る。いくつかの実施形態では、外部カメラ１３０は、１人以上の消費者を識別するように構成され得る。捕捉画像又はビデオは、消費者の顔認識に使用され得る。いくつかの実施形態では、外部カメラ１３０は、消費者の手及びその動きを識別するように構成され得る。

外部カメラ１３０は、内部カメラ１２０の動作と同様に、キャビネット１１０から取り出された製品の視覚的特徴を判定するために分析され得る画像又はビデオを捕捉し得る。したがって、キャビネット１１０から取り出された製品は、外部カメラ１３０によって検出されて、製品の形状、サイズ、又は色を判定し得る。外部カメラ１３０からのデータは、本明細書に記載の他のカメラ又はセンサによって判定されるように、キャビネット１１０から取り出された製品のＩＤを確認するために使用され得る。

いくつかの実施形態では、外部カメラ１３０を使用して、消費者が不正行為に関与しているかどうかを判定し得る。いくつかの実施形態では、外部カメラ１３０は、セキュリティ担当者などのオペレータによって遠隔で監視され得る。いくつかの実施形態では、外部カメラ１３０からのデータは、不正行為を検出するために事前に訓練される人工知能によって分析され得る。人工知能は、消費者又は消費者の手のジェスチャ又は動きを検出し得る。例えば、人工知能は、特に、自動販売機１００を叩くか、又は製品識別を阻止するためにカメラ１２０を遮断する消費者を検出するようにプログラムされ得る。不正行為が検出された場合、セキュリティ担当者又は現地当局などの統括官庁に警告することができる。更に、消費者がドアを開くことができず、キャビネット内の製品にもはやアクセスすることができなくなるように、キャビネットのドアをロックし得る。いくつかの実施形態では、不正行為が検出された場合、アラーム１７８がアクティブ化され得る（例えば、図２を参照）。

いくつかの実施形態では、キャビネットから取り出された製品のＩＤは、本明細書に記載されるように、内部カメラ１２０、重量センサ１４０、光センサ１６０、識別子センサ１５０、又は外部カメラ１３０のうちの１つ以上を使用して判定され得る。キャビネット１１０から取り出された製品のＩＤは、内部カメラ１２０及び識別子センサ１５０からのデータに基づいて判定され得るが、光センサ１６０、重量センサ１４０、及び外部カメラ１３０のうちの１つ以上を使用して、ＩＤが正しいことを確認し得る。また、追加のセンサ又はカメラが、カメラ又は識別子が正しく動作することができない場合のバックアップとして機能し得る。

製品識別の一例では、カメラは製品の画像を捕捉して、製品の形状（例えば、ボトル形状）を識別することができる。しかしながら、製品の形状は、複数の可能な製品のＩＤ（例えば、ペプシ、ダイエットペプシ、又はチェリーペプシ）に対応し得る。識別子センサは、複数の製品のＩＤ（例えば、缶又はボトル）に対応し得るテキスト（例えば、ダイエットペプシ）などの製品上の識別子を検出する場合がある。したがって、カメラ及び識別子センサからのデータを組み合わせて分析して、製品の予測ＩＤ（例えば、ダイエットペプシのボトル）を判定し得る。分析は、可能な製品の識別を、製品在庫内の製品に限定し得る。製品識別が正しいことを確認するために、追加のデータを収集し得る。例えば、重量センサは、製品の計算された重量を判定することができ、計算された重量がダイエットペプシのボトルに対応して、製品識別を確認することができる。光センサは、製品が、ダイエットペプシのボトルが保管されたキャビネット内の位置から取り出されたことを示し得る。更に、製品がキャビネットから取り出されると、外部カメラが、ボトル形状などの視覚的特徴を検出し得る。したがって、追加のカメラ及びセンサは、製品が正しく識別されたことを確認するのに役立ち得る。

別の例では、消費者がキャビネットから製品を取り出す前及び後に、内部カメラが画像を捕捉し得る。画像を分析して、製品が取り出されたキャビネット内の位置を判定し得る。製品の位置を示すカメラからのデータは、キャビネット内の製品のデジタルマップを使用して分析されて、その位置での製品のＩＤを判定し得る。製品のＩＤを確認するために、キャビネットに入る又はキャビネットから出る製品を検出するカメラが、キャビネットから取り出された製品の視覚的特徴を判定して、デジタルマップに基づいて製品識別のＩＤを確認し得る。あるいは、識別子センサが、キャビネットから取り出された製品の識別子を検出し得る。

いくつかの実施形態では、人工知能が、カメラ又はセンサに基づく製品識別の信頼度を判定し得る。センサ融合アルゴリズムは、各カメラ又はセンサによって行われた識別の信頼度に基づいて、製品のＩＤを判定し得る。データが一致する場合、製品のＩＤが確認される。例えば、第１のカメラが、取り出された製品が８０％の信頼度で製品Ａであると判定し、第２のカメラが、取り出された製品が３０％の信頼度で製品Ｂであると判定した場合、アルゴリズムは、より高い信頼度により、製品Ａが正しい製品識別であると判定し得る。いくつかの実施形態では、特定のカメラ又はセンサからのデータは、ＩＤを判定する際により大きな重量を有し得る。いくつかの実施形態では、信頼度が所定の閾値、例えば３０％未満である場合、データは無視され得る。いくつかの実施形態では、信頼度が所定の閾値を下回る場合、監査又は検討のために警告を送信することができる。

図１５は、実施形態又はその一部がコンピュータ可読コードとして実装され得る、例示的なコンピュータシステム１５００を図示している。本明細書において考察される制御ユニット１８０は、本明細書において考察されるプロセスを実装するためのコンピュータシステム１５００の構成要素の全て又はいくつかを有するコンピュータシステムであってもよい。

プログラマブルロジックが使用される場合、このようなロジックは、市販の処理プラットフォーム又は特定の目的のデバイス上で実行することができる。当業者であれば、開示された主題の実施形態が、マルチコアマルチプロセッサシステム、ミニコンピュータ、及びメインフレームコンピュータ、分散された機能とリンク又はクラスタ化されたコンピュータ、並びに、仮想的に任意のデバイスに埋め込まれ得る普及型又は小型コンピュータを含む、様々なコンピュータシステム構成により実践され得ることを理解することができる。

例えば、少なくとも１つのプロセッサデバイス及びメモリは、上記された実施形態を実装するために使用されてもよい。プロセッサデバイスは、単一のプロセッサ、複数のプロセッサ、又はこれらの組み合わせでもよい。プロセッサデバイスは、１つ以上のプロセッサ「コア」を有してもよい。

本発明の様々な実施形態は、この例示的なコンピュータシステム１５００によって実装され得る。この説明を読めば、他のコンピュータシステム及び／又はコンピュータアーキテクチャを用いて、本発明の１つ以上が実施できる方法が当業者には明らかになるであろう。動作は連続的なプロセスとして記載され得るが、動作の一部は、実際に、平行して、同時に、かつ／又は分散環境において実施されてもよく、シングル又はマルチプロセッサマシンによるアクセスに対してローカルに又はリモートに記憶されたプログラムコードにより実施されてもよい。いくつかの実施形態では、エッジコンピューティング、クラウドコンピューティング、又はそれらの組み合わせが使用され得る。加えて、一部の実施形態では、動作順序は、開示された主題の趣旨を逸脱することなく、再調整されてもよい。

プロセッサデバイス１５０４は、専用又は汎用プロセッサデバイスであってもよい。当業者に理解されるように、プロセッサデバイス１５０４はまた、マルチコア／マルチプロセッサシステムにおける単一のプロセッサであってもよく、かかるシステムは、単独で動作するか、又はクラスタ若しくはサーバファームにおいて動作するコンピュータデバイスのクラスタで動作する。プロセッサデバイス１５０４は、通信インフラストラクチャ１５０６、例えば、バス、メッセージキュー、ネットワーク、又はマルチコアメッセージ受け渡しスキームに接続される。

コンピュータシステム１５００はまた、メインメモリ１５０８、例えば、ランダムアクセスメモリ（random access memory、ＲＡＭ）を含み、かつ二次メモリ１５１０も含んでもよい。二次メモリ１５１０としては、例えば、ハードディスクドライブ１５１２又は取り外し可能な記憶ドライブ１５１４が挙げられ得る。取り外し可能な記憶ドライブ１５１４としては、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリなどが挙げられ得る。取り外し可能な記憶ドライブ１５１４は、周知の様式で、取り外し可能な記憶ユニット１５１８に対する読み出し及び／又は書き込みを行う。取り外し可能な記憶ユニット１５１８としては、フロッピーディスク、磁気テープ、光ディスク、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ドライブなどが挙げられ得るが、これらに対しては、取り外し可能な記憶ドライブ１５１４によって読み出し及び書き込みがなされる。当業者によって理解されるように、取り外し可能な記憶ユニット１５１８としては、コンピュータソフトウェア及び／又はデータを記憶したコンピュータによって使用可能な記憶媒体が挙げられる。

コンピュータシステム１５００は、（任意選択的に）表示インターフェース１５０２（キーボード、マウスなどのような入力及び出力デバイスを含むことができる）を含み、表示インターフェースは、グラフィック、テキスト、及びその他のデータを、通信インフラストラクチャ１５０６から（又は、図示されていないフレームバッファから）転送させて、表示ユニット１５３０に表示させる。

代替的な実装形態では、二次メモリ１５１０は、コンピュータプログラム又は他の命令がコンピュータシステム１５００にロードされることを可能にするための、他の類似の手段を含み得る。かかる手段は、例えば、取り外し可能な記憶ユニット１５２２及びインターフェース１５２０を含んでもよい。かかる手段の実施例は、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲームデバイスに見られるようなものなど）、取り外し可能なメモリチップ（ＥＰＲＯＭ又はＰＲＯＭなど）及び関連するソケット、並びに、ソフトウェア及びデータを取り外し可能な記憶ユニット１５２２からコンピュータシステム１５００に伝送することができる他の取り外し可能な記憶ユニット１５２２及びインターフェース１５２０を含んでもよい。

コンピュータシステム１５００はまた、通信インターフェース１５２４を含んでもよい。通信インターフェース１５２４は、ソフトウェア及びデータがコンピュータシステム１５００と外部デバイスとの間で伝送されることを可能にする。通信インターフェース１５２４は、モデム、ネットワークインターフェース（イーサネットカードなど）、通信ポート、ＰＣＭＣＩＡスロット及びカードなどを含み得る。通信インターフェース１５２４を介して伝送されるソフトウェア及びデータは、信号の形態であってもよく、これは、電子的信号、電磁気的信号、光学的信号、又は通信インターフェース１５２４により受信されることができる他の信号であってもよい。これらの信号は、通信経路１５２６を介して通信インターフェース１５２４に提供されてもよい。通信経路１５２６は、信号を搬送し、ワイヤ若しくはケーブル、光ファイバ、電話回線、携帯電話リンク、ＲＦリンク、又は他の通信チャネルを使用して実装されてもよい。

本明細書では、「コンピュータプログラム媒体」及び「コンピュータ使用可能媒体」という用語は、一般には、取り外し可能な記憶ユニット１５１８、取り外し可能な記憶ユニット１５２２、及びハードディスクドライブ１５１２内にインストールされたハードディスクなどの媒体を指すために使用される。コンピュータプログラム媒体及びコンピュータ使用可能媒体はまた、メインメモリ１５０８及び二次メモリ１５１０などのメモリを指すこともあり、これは、メモリ半導体（例えば、ＤＲＡＭなど）であり得る。

コンピュータプログラム（コンピュータ制御ロジックとも呼ばれる）は、メインメモリ１５０８及び／又は二次メモリ１５１０内に記憶される。コンピュータプログラムはまた、通信インターフェース１５２４を介して受信され得る。かかるコンピュータプログラムが実行されると、コンピュータシステム１５００が、本明細書において論じられる実施形態を実施することを可能にする。具体的には、コンピュータプログラムが実行されると、プロセッサデバイス１５０４が、本明細書で論じられる実施形態のプロセスを実施することを可能にする。したがって、かかるコンピュータプログラムは、コンピュータシステム１５００の制御装置を表す。実施形態がソフトウェアを使用して実施される場合、ソフトウェアは、コンピュータプログラム製品内に記憶され、取り外し可能な記憶ドライブ１５１４、インターフェース１５２０、及びハードディスクドライブ１５１２、又は通信インターフェース１５２４を使用してコンピュータシステム１５００にロードされ得る。

本発明の実施形態はまた、任意のコンピュータ使用可能媒体上に記憶されたソフトウェアを含むコンピュータプログラム製品を対象とするものであり得る。このようなソフトウェアは、１つ以上のデータ処理デバイスにおいて実行されると、データ処理デバイスに、本明細書で記載されたように動作させる。本発明の実施形態は、コンピュータ使用可能又は読み取り可能媒体を採用してもよい。コンピュータ使用可能媒体の例としては、一次記憶デバイス（例えば、任意の種類のランダムアクセスメモリ）、二次記憶デバイス（例えば、ハードドライブ、フロッピーディスク、ＣＤ ＲＯＭ、ＺＩＰディスク、テープ、磁気記憶デバイス、及び光学記憶デバイス、ＭＥＭＳ、ナノ技術記憶デバイスなど）が挙げられるが、これらに限定されない。

「発明の概要」及び「要約書」の項ではなく、「発明を実施するための形態」の項は、特許請求の範囲を解釈するために使用されることが意図されていることを理解されたい。発明の概要及び要約の項は、本発明者（ら）によって想到されるような、本発明の１つ以上であるが全てではない例示的な実施形態を示し得るが、本発明及び添付の特許請求の範囲をいかようにも限定することを意図するものではない。

特定の機能の実施及びそれらの関係を例解する機能的ビルディングブロックの助けにより、本発明を上で説明してきた。これらの機能的ビルディングブロックの境界は、説明の便宜上、本明細書において任意に定義されている。特定の機能及びこれらの関係が適切に行われる限り、代替の境界を定義することができる。

特定実施形態の前述の説明により、本発明の一般的な性質が完全に明らかになり、他者が、当業者の知識を適用することによって、過度の試行錯誤をすることなく、本発明の一般的な概念を逸脱することなく、そのような特定の実施形態を様々な用途に容易に修正及び／又は適合させることができる。したがって、そのような適合及び修正は、本明細書で提示した教示及び指導に基づいて、開示された実施形態の等価物の意味及び範囲内にあることが意図される。本明細書の表現法又は用語法は、説明を目的とするものであって、限定するものではないことを理解されたく、それ故、本明細書の用語法又は表現法は、本明細書の教示及び指導の観点から当業者によって解釈されるべきである。

本発明の広がり及び範囲は、上述の例示的な実施形態のいずれによっても限定されるべきではなく、下記特許請求の範囲及びこれらの等価物に従ってのみ定義されるべきである。

Claims (20)

1. キャビネットから取り出された製品を識別するための方法であって、
   前記キャビネット内のカメラによって、前記キャビネットから取り出された前記製品の視覚的特徴を検出することと、
   識別子センサによって、前記キャビネットから取り出された前記製品上の識別子を検出することと、
   前記視覚的特徴及び前記識別子と製品情報データベースとを比較することと、
   前記視覚的特徴及び前記識別子と前記製品情報データベースとの前記比較に基づいて、前記キャビネットから取り出された前記製品を識別することと、を含む、方法。
2. 前記視覚的特徴が、前記製品の形状を含む、請求項１に記載の方法。
3. 前記視覚的特徴が、前記製品の色を含む、請求項１に記載の方法。
4. 前記識別子センサが、前記カメラである、請求項１に記載の方法。
5. 前記識別子が、バーコードである、請求項１に記載の方法。
6. 前記キャビネットから取り出された前記製品の重量を前記キャビネット内に配置された重量センサで判定することによって、前記製品の前記ＩＤを確認することを更に含む、請求項１に記載の方法。
7. 前記キャビネットから取り出された前記製品の前記重量を判定することが、
   前記重量センサを介して、前記キャビネット内の製品の第１の重量を判定することと、前記重量センサを介して、前記キャビネット内の製品の第２の重量を判定することと、
   前記キャビネットから前記製品を取り出すことと、
   前記第１の重量と前記第２の重量との差を計算することと、を含む、請求項６に記載の方法。
8. 外部カメラによって、前記キャビネットの外側の位置で前記キャビネットから取り出された前記製品の視覚的特徴を検出することと、
   前記外部カメラによって検出された前記視覚的特徴に基づいて、前記製品の前記ＩＤを確認することと、を更に含む、請求項１に記載の方法。
9. 外部カメラによってユーザを検出することと、
   前記外部カメラによって、前記ユーザによる不正行為を検出することと、前記不正行為が検出されたときに前記キャビネットをロックすることと、を更に含む、請求項１に記載の方法。
10. 光センサを介して、取り出された前記製品に関するデータを検出することと、前記光センサからのデータを使用して、取り出された前記製品のＩＤを確認することと、を更に含む、請求項１に記載の方法。
11. キャビネットから取り出された製品を識別するための方法であって、
    前記キャビネット内の内部カメラによって、前記キャビネット内の複数の製品の第１の画像を捕捉することと、
    前記キャビネットから前記複数の製品のうちの製品を取り出すことと、
    前記製品を取り出した後、前記内部カメラによって、前記キャビネット内の前記複数の製品の第２の画像を捕捉することと、
    前記第１の画像及び前記第２の画像を分析することによって、前記キャビネットから取り出された前記製品のＩＤを判定することと、
    前記キャビネットから取り出された前記製品の識別子を検出することによって、前記キャビネットから取り出された前記製品の前記ＩＤを確認することと、を含む、方法。
12. 重量センサを介して、前記キャビネットから取り出された前記製品の重量を検出することによって、前記製品の前記ＩＤを確認することを更に含む、請求項１１に記載の方法。
13. 外部カメラによって、前記キャビネットの外側の位置で前記キャビネットから取り出された前記製品の視覚的特徴を検出することと、
    前記外部カメラによって検出された前記視覚的特徴に基づいて、前記製品の前記ＩＤを確認することと、を更に含む、請求項１１に記載の方法。
14. 光センサを介して、取り出された前記製品に関するデータを検出することと、前記光センサからの前記データを使用して、取り出された前記製品の前記ＩＤを確認することと、を更に含む、請求項１１に記載の方法。
15. 前記光センサが、ＬＩＤＡＲシステムを含む、請求項１４に記載の方法。
16. キャビネットから取り出された製品を識別するための方法であって、
    カメラ及びセンサのうちの少なくとも１つを介して、前記製品が前記キャビネットから取り出された位置を検出することと、
    カメラ及びセンサのうちの少なくとも１つからのデータに基づいて、前記製品の視覚的特徴を判定することと、
    前記視覚的特徴に基づいて、前記製品の予測されたＩＤを判定することと、前記キャビネット内の製品のデジタルマップに基づいて、前記位置での前記製品のＩＤを判定することと、
    前記製品の前記予測ＩＤが、前記デジタルマップに基づいて前記製品の前記ＩＤに対応することを確認することと、を含む、方法。
17. 前記製品が前記キャビネットから取り出された後、前記キャビネット内の製品の前記デジタルマップを更新することを更に含む、請求項１６に記載の方法。
18. カメラ又はセンサのうちの少なくとも１つから受信されたデータを使用して、前記キャビネット内の前記製品の前記デジタルマップを生成することを更に含む、請求項１６に記載の方法。
19. 前記デジタルマップが、前記キャビネット内の各製品の位置及びモデルを含む、請求項１６に記載の方法。
20. 識別子センサを介して、前記キャビネットから取り出された前記製品の識別子を検出することを更に含む、請求項１６に記載の方法。

Images