JP7036548B2 - 画像処理装置、情報処理装置、システム及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、情報処理装置、システム及びプログラムに関する。

画像処理装置には、カゴなどに入れられた商品（対象物）を上から撮影し、商品を特定するものがある。画像処理装置は、予め複数の商品の辞書情報を有し、辞書情報と撮影された商品画像とをマッチングして商品を特定する。画像処理装置は、各辞書情報と商品画像とをマッチングして商品を特定する。

辞書情報が多数ある場合、画像処理装置は、マッチング処理に掛る時間が長くなるという課題がある。

米国特許出願公開第２０１５／００１９３９１号明細書

上記の課題を解決するために、迅速に対象物を特定することができる画像処理装置、情報処理装置、システム及びプログラムを提供する。

実施形態によれば、情報処理装置は、インターフェースと、記憶部と、プロセッサと、を備える。インターフェースは、棚に設けられた区画にアクセスする利用者を検知する第１のセンサと、前記第１のセンサと対になる、前記利用者の顔を撮影するカメラから構成される第２のセンサと、前記利用者が前記区画から取得した物品を画像処理により特定する画像処理装置と、通信する。記憶部は、前記利用者の顔画像と前記利用者を特定するＩＤとを対応付けるテーブルを格納する。プロセッサは、前記インターフェースを通じて前記利用者が前記区画にアクセスしたことを示す検知信号を前記第１のセンサから受信すると、前記第２のセンサを用いて前記利用者の顔を撮影し、前記テーブルを参照して撮影された画像に写る前記利用者を示すＩＤを特定し、前記区画に格納される物品を示す物品情報を取得し、前記利用者を示すＩＤと前記物品情報とを対応付けて格納するリストを生成し、前記インターフェースを通じて、前記画像処理装置に前記リストを送信する。

図１は、実施形態に係る特定システムの構成例を概略的に示すブロック図である。 図２は、実施形態に係るサーバ装置の構成例を概略的に示すブロック図である。 図３は、実施形態に係るチェックアウト装置の構成例を概略的に示す図である。 図４は、実施形態に係るチェックアウト装置の構成例を概略的に示すブロック図である。 図５は、実施形態に係る商品棚の構成例を概略的に示す図である。 図６は、実施形態に係る利用者情報テーブルの構成例を示す図である。 図７は、実施形態に係る棚区画ＩＤテーブルの構成例を示す図である。 図８は、実施形態に係る棚区画情報テーブルの構成例を示す図である。 図９は、実施形態に係る候補リストテーブルの構成例を示す図である。 図１０は、実施形態に係るサーバ装置の動作例を示すフローチャートである。 図１１は、実施形態に係るチェックアウト装置の動作例を示すフローチャートである。

以下、図面を参照しながら実施形態について説明する。
実施形態に係る特定システムは、商品を撮影した撮影画像に基づいて商品（対象物）を特定する。たとえば、特定システムは、商品を販売する店舗などに設置される。特定システムは、店舗の利用者が台などにセットしたカゴなどに入れられた商品を撮影して利用者が購入しようとする商品を特定する。なお、特定システムは、商品以外の物品でもよい。特定システムが特定する物品は、特定の構成に限定されるものではない。
ここでは、商品システムは、所定の店舗に設置されているものとする。

図１は、特定システム１の構成例を示すブロック図である。
図１が示すように、特定システム１は、サーバ装置１０（情報処理装置）、チェックアウト装置２０（画像処理装置）、商品棚３０、来店検知部４０及びネットワーク５０などを備える。なお、特定システム１は、図１に示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。

サーバ装置１０は、特定システム１を統括する。たとえば、サーバ装置１０は、ネットワーク５０を介して各部とデータを送受信する。サーバ装置１０は、各部からのデータを集計する。また、サーバ装置１０は、各部に対して必要なデータを送信する。
サーバ装置１０については、後に詳述する。

チェックアウト装置２０は、商品を決済する。チェックアウト装置２０は、店舗などの出口付近に設置される。チェックアウト装置２０は、店舗の利用者が有するカゴ内の商品を決済する。チェックアウト装置２０は、カゴ内を撮影し、カゴ内の商品を特定する。チェックアウト装置２０は、特定した商品を決済する。
チェックアウト装置２０については、後に詳述する。

商品棚３０は、商品を設置する。たとえば、商品棚３０は、店舗の係員などによって商品を補充される。
また、商品棚３０は、棚アクセスセンサ３１及び利用者センサ３２などを備える。
商品棚３０、棚アクセスセンサ３１及び利用者センサ３２については、後に詳述する。

来店検知部４０は、店舗に来店した利用者を検知する。来店検知部４０は、店舗の入口付近に設置される。来店検知部４０は、入口から来店する利用者を検知する。来店検知部４０は、リーダ４１及びカメラ４２などを備える。

リーダ４１は、来店する利用者が所持する携帯端末（たとえば、カード）から利用者ＩＤを読み取る。たとえば、リーダ４１は、利用者が所持するＩＣチップ又はＲＦ－ＩＤから利用者ＩＤを読み取る。利用者は、来店時に自身の携帯端末をリーダ４１に翳す。リーダ４１は、利用者が翳す携帯端末から利用者ＩＤを取得する。
リーダ４１は、取得した利用者ＩＤをサーバ装置１０へ送信する。

また、カメラ４２は、来店する利用者の顔を撮影する。たとえば、カメラ４２は、入口の天井付近に入口に向って設置される。カメラ４２は、ＣＣＤカメラなどである。
カメラ４２は、撮影した画像をサーバ装置１０へ送信する。

ネットワーク５０は、サーバ装置１０、チェックアウト装置２０、棚アクセスセンサ３１、利用者センサ３２及び来店検知部４０を互いに接続する。ネットワーク５０は、たとえば、店舗内のＬＡＮネットワーク（イントラネットなど）である。

なお、特定システム１は、複数個の商品棚３０を備えてもよい。特定システム１が備える商品棚３０の個数は、特定の個数に限定されるものではない。

次に、サーバ装置１０について説明する。
図２は、サーバ装置１０の構成例を示すブロック図である。
図２が示す構成例において、サーバ装置１０は、プロセッサ１１、記憶部１４、通信部１５、操作部１６及び表示部１７などを備える。プロセッサ１１と、記憶部１４、通信部１５、操作部１６及び表示部１７とは、データバスを介して互いに接続される。なお、サーバ装置１０は、図２が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。

プロセッサ１１は、サーバ装置１０全体の動作を制御する機能を有する。プロセッサ１１は、内部メモリ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部メモリ又は記憶部１４が予め記憶するプログラムを実行することにより種々の処理を実現する。プロセッサ１１は、たとえば、ＣＰＵである。

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。

記憶部１４は、種々のデータを格納する。たとえば、記憶部１４は、ＲＯＭ、ＲＡＭ及びＮＶＭとして機能する。
たとえば、記憶部１４は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、サーバ装置１０の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、サーバ装置１０で実現する機能をサポートするプログラムなどである。

また、記憶部１４は、プロセッサ１１の処理中のデータなどを一時的に格納する。また、記憶部１４は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

記憶部１４は、利用者情報テーブルを格納する記憶領域１４ａ、棚区画ＩＤテーブルを格納する記憶領域１４ｂ、棚区画情報テーブルを格納する記憶領域１４ｃ及び候補リストテーブルを格納する記憶領域１４ｄなどを備える。利用者情報テーブル、棚区画ＩＤテーブル、商品テーブル及び候補リストテーブルについては、後に詳述する。

通信部１５（第１の通信部）は、ネットワーク５０を通じて外部装置とデータを送受信するためのインターフェースである。通信部１５は、チェックアウト装置２０、棚アクセスセンサ３１、利用者センサ３２及び来店検知部４０などとデータを送受信するインターフェースとして機能する。通信部１５は、たとえば、ＬＡＮ接続をサポートするインターフェースである。

操作部１６は、オペレータから種々の操作の入力を受け付ける。操作部１６は、受け付けた操作を示す信号をプロセッサ１１へ送信する。たとえば、操作部１６は、キーボード、テンキー及びタッチパネルから構成される。

表示部１７は、プロセッサ１１の制御により種々の情報を表示する。たとえば、表示部１７は、液晶モニタから構成される。なお、操作部１６がタッチパネルなどで構成される場合、表示部１７は、操作部１６と一体的に形成されてもよい。

次に、チェックアウト装置２０について説明する。
図３が示すように、チェックアウト装置２０は、筐体２１、カメラ２３、ディスプレイ２４、操作部２５及びカメラ２６などを備える。
筐体２１は、チェックアウト装置２０の外形を形成するフレームである。筐体２１は、カゴ２１０を設置することができるように形成される。図３が示す例においては、筐体２１は、コの字型であり、カゴ２１０を積載することができるように形成される。

カメラ２３は、カゴ２１０内の商品を撮影する。図３が示す例においては、カメラ２３は、カゴ２１０を上方から撮影するように設置される。カメラ２３は、斜め上方からカゴ２１０内を撮影するように設置されてもよい。カメラ２３が設置される位置及び向きは、特定の構成に限定されるものではない。

なお、チェックアウト装置２０は、複数個のカメラ２３を備えてもよい。この場合、複数のカメラ２３は、それぞれ異なる位置及び角度でカゴ２１０内の商品を撮影するように設置されてもよい。

たとえば、カメラ２３は、ＣＣＤカメラなどである。また、カメラ２３は、不可視光を撮影するものであってもよい。カメラ２３の構成は、特定の構成に限定されるものではない。
ディスプレイ２４は、後述するプロセッサ２２１が出力する画像を表示する表示装置である。ディスプレイ２４は、たとえば、液晶モニタなどである。

操作部２５は、チェックアウト装置２０の利用者によって、種々の操作指示が入力される。操作部２５は、利用者に入力された操作指示のデータをプロセッサ２２１へ送信する。操作部２５は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部２５は、利用者からジェスチャーの入力を受け付けてもよい。
ここでは、操作部２５は、タッチパネルであり、ディスプレイ２４と一体的に形成されているものとする。

カメラ２６は、カゴ２１０をセットした利用者の顔を撮影する。カメラ２６は、カゴ２１０をセットした利用者を正面から撮影する。図３が示す例では、カメラ２６は、ディスプレイ２４及び操作部２５が設置される面に設置される。

たとえば、カメラ２６は、ＣＣＤカメラなどである。また、カメラ２６は、不可視光を撮影するものであってもよい。カメラ２６の構成は、特定の構成に限定されるものではない。

なお、カメラ２３、ディスプレイ２４、操作部２５又はカメラ２６は、筐体２１と一体的に形成されてもよい。
また、チェックアウト装置２０は、カゴ２１０内の商品を照らす照明などを備えてもよい。

次に、チェックアウト装置２０の構成例について説明する。
図４は、チェックアウト装置２０の構成例を示すブロック図である。
図４が示すように、チェックアウト装置２０は、カメラ２３、ディスプレイ２４、操作部２５、カメラ２６、プロセッサ２２１、記憶部２２２、通信部２２３、カメラインターフェース２２４、ディスプレイインターフェース２２５、操作部インターフェース２２６及びカメラインターフェース２２７などを備える。プロセッサ２２１と、記憶部２２２、通信部２２３、カメラインターフェース２２４、ディスプレイインターフェース２２５、操作部インターフェース２２６及びカメラインターフェース２２７とは、データバスなどを介して互いに接続される。

カメラインターフェース２２４とカメラ２３とは、データバスなどを介して互いに接続される。ディスプレイインターフェース２２５とディスプレイ２４とは、データバスなどを介して互いに接続される。操作部インターフェース２２６と操作部２５とは、データバスなどを介して互いに接続される。カメラインターフェース２２７とカメラ２６とは、データバスなどを介して互いに接続される。
なお、チェックアウト装置２０は、図４が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。

カメラ２３、ディスプレイ２４、操作部２５及びカメラ２６は、前述の通りである。
プロセッサ２２１は、チェックアウト装置２０全体の動作を制御する機能を有する。プロセッサ２２１は、内部キャッシュおよび各種のインターフェースなどを備えても良い。プロセッサ２２１は、内部メモリ又は記憶部２２２などに予め記憶したプログラムを実行することにより種々の処理を実現する。プロセッサ２２１は、たとえば、ＣＰＵである。

なお、プロセッサ２２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ２２１は、ハードウエア回路により実行される機能を制御する。

記憶部２２２は、種々のデータを格納する。たとえば、記憶部２２２は、ＲＯＭ、ＲＡＭ及びＮＶＭとして機能する。
たとえば、記憶部２２２は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、チェックアウト装置２０の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、チェックアウト装置２０で実現する機能をサポートするプログラムなどである。

また、記憶部２２２は、プロセッサ２２１の処理中のデータなどを一時的に格納する。また、記憶部２２２は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

通信部２２３（第２の通信部）は、ネットワーク５０を通じて外部装置とデータを送受信するためのインターフェースである。通信部２２３は、サーバ装置１０などとデータを送受信するインターフェースとして機能する。通信部２２３は、たとえば、ＬＡＮ接続をサポートするインターフェースである。

カメラインターフェース２２４は、プロセッサ２２１がカメラ２３と通信するためのインターフェースである。たとえば、プロセッサ２２１は、カメラインターフェース２２４を通じて、カメラ２３に画像を取得させる信号を送信する。また、プロセッサ２２１は、カメラインターフェース２２４を通じて撮影のためのカメラパラメータをカメラ２３に設定してもよい。

また、カメラインターフェース２２４は、カメラ２３が撮影した画像を取得する。カメラインターフェース２２４は、取得した画像をプロセッサ２２１へ送信する。プロセッサ２２１は、カメラインターフェース２２４からカメラ２３が撮影した画像を取得する。

ディスプレイインターフェース２２５は、プロセッサ２２１がディスプレイ２４と通信するためのインターフェースである。たとえば、プロセッサ２２１は、ディスプレイインターフェース２２５を通じて、ディスプレイ２４に表示画面を送信する。

操作部インターフェース２２６は、プロセッサ２２１が操作部２５と通信するためのインターフェースである。たとえば、プロセッサ２２１は、操作部インターフェース２２６を通じて、操作部２５に入力された操作を示す信号を受信する。

カメラインターフェース２２７は、プロセッサ２２１がカメラ２６と通信するためのインターフェースである。たとえば、プロセッサ２２１は、カメラインターフェース２２７を通じて、カメラ２６に画像を取得させる信号を送信する。また、プロセッサ２２１は、カメラインターフェース２２７を通じて撮影のためのカメラパラメータをカメラ２６に設定してもよい。

また、カメラインターフェース２２７は、カメラ２６が撮影した画像を取得する。カメラインターフェース２２７は、取得した画像をプロセッサ２２１へ送信する。プロセッサ２２１は、カメラインターフェース２２７からカメラ２６が撮影した画像を取得する。

次に、商品棚３０について説明する。
図５は、商品棚３０の構成例を示す。
商品棚３０は、店舗において、商品をディスプレイ可能に配置される。即ち、商品棚３０は、利用者が商品を取り出し可能に商品を格納する。たとえば、商品棚３０は、商品が外部に提示されるように商品を収納する。

ここでは、商品棚３０は、３つの収納スペースを備える。
収納スペースは、商品を収納する。ここでは、各収納スペースは、商品Ａ並びにＢ、商品Ｃ並びにＣ、及び、商品Ｅ乃至Ｇを格納する。たとえば、収納スペースは、商品棚３０の所定の面（表面）から商品を配置し又は取り出せるように形成される。なお、商品棚３０が備える収納スペースの数及び形状は、特定の構成に限定されるものではない。

商品棚３０は、棚アクセスセンサ３１及び利用者センサ３２を備える。
棚アクセスセンサ３１は、棚区画にアクセスする利用者を検知する。ここでは、棚アクセスセンサ３１は、棚区画として商品棚３０にアクセスする利用者を検知する。棚アクセスセンサ３１は、利用者が商品棚３０の商品を取り出すことができる範囲に進入したことを検知する。たとえば、棚アクセスセンサ３１は、商品棚３０から数メートル以内にいる利用者を検知する。棚アクセスセンサ３１は、たとえば、赤外線センサなどである。

棚アクセスセンサ３１は、利用者を検知すると、利用者を検知したことを示す検知信号をサーバ装置１０に送信する。

また、棚アクセスセンサ３１は、自身を特定する棚アクセスセンサＩＤを格納する。棚アクセスセンサ３１は、検知信号に自信の棚アクセスセンサＩＤを格納して、サーバ装置１０に送信する。

利用者センサ３２は、商品棚３０にアクセスする利用者を特定するための情報を取得する。ここでは、利用者センサ３２は、利用者の顔を撮影するカメラから構成される。利用者センサ３２は、商品棚３０にアクセスする利用者の顔を撮影し、撮影画像をサーバ装置１０へ送信する。

なお、利用者センサ３２は、携帯端末から利用者ＩＤを取得するリーダから構成されてもよい。
利用者センサ３２の構成は、特定の構成に限定されるものではない。

次に、記憶領域１４ａが格納する利用者情報テーブルについて説明する。
利用者情報テーブルは、利用者に関連する利用者情報を示す。
図６は、利用者情報テーブルの構成例を示す。

図６が示すように、利用者情報テーブルは、「利用者ＩＤ」と当該利用者ＩＤが示す利用者の利用者情報とを対応付けて格納する。利用者情報テーブルは、利用者情報として、「クレジットカード情報」及び「顔情報」を格納する。

「利用者ＩＤ」は、利用者を特定するための識別子である。「利用者ＩＤ」は、利用者に固有に割り振られる。「利用者ＩＤ」は、利用者が所持する携帯端末に格納されてもよい。たとえば、利用者ＩＤは、数値、文字列又はそれらの組合せである。

「クレジットカード情報」は、対応する利用者ＩＤが示す利用者が所持するクレジットカードに関する情報である。「クレジットカード情報」は、クレジットカード決済をするために必要な情報である。「クレジットカード情報」は、クレジットカード番号などから構成される。

「顔情報」は、利用者の顔を含む画像から利用者を特定するための情報である。たとえば、「顔情報」は、利用者の顔画像である。また、「顔画像」は、顔画像の特徴量から構成されてもよい。「顔画像」の構成は、特定の構成に限定されるものではない。

利用者情報テーブルは、予め記憶領域１４ａに格納される。たとえば、利用者の登録を受け付けた場合に、オペレータは、操作部１６などを通じて利用者情報テーブルを作成又は更新する。

次に、記憶領域１４ｂが格納する棚区画ＩＤテーブルについて説明する。
棚区画ＩＤテーブルは、棚区画を示す棚区画ＩＤを示す。
図７は、棚区画ＩＤテーブルの構成例を示す。

図７が示すように、棚区画ＩＤテーブルは、「棚アクセスセンサＩＤ」と「棚区画ＩＤ」とを対応付けて格納する。

「棚アクセスセンサＩＤ」は、棚アクセスセンサ３１を特定するための識別子である。「棚アクセスセンサＩＤ」は、棚アクセスセンサ３１に固有に割り振られる。「棚アクセスセンサＩＤ」は、棚アクセスセンサ３１に格納される。たとえば、「棚アクセスセンサＩＤ」は、数値、文字列又はそれらの組合せである。

「棚区画ＩＤ」は、所定の領域を示す棚区画を特定するための識別子である。棚区画は、店舗内において、利用者に提供する商品を格納する領域である。たとえば、棚区画は、所定の商品棚３０であってもよい。また、棚区画は、所定の商品棚３０の所定の収納スペースであってもよい。また、棚区画は、複数の商品棚３０であってもよい。棚区画の構成は、特定の構成に限定されるものではない。
「棚区画ＩＤ」は、棚区画に固有に割り振られる。たとえば、「棚区画ＩＤ」は、数値、文字列又はそれらの組合せである。

「棚区画ＩＤ」は、対応する「棚アクセスセンサＩＤ」が示す棚アクセスセンサ３１がアクセスを検知する棚区画を示す。即ち、「棚アクセスセンサＩＤ」が示す棚アクセスセンサ３１は、「棚区画ＩＤ」が示す棚区画にアクセスした利用者を検知する。

なお、複数の「棚アクセスセンサＩＤ」に対して１つの「棚区画ＩＤ」が対応付けられてもよい。この場合、たとえば、「棚区画ＩＤ」が示す棚区画には、複数の棚アクセスセンサ３１が設置される。

また、１つの「棚アクセスセンサＩＤ」に対して複数の「棚区画ＩＤ」が対応付けられてもよい。この場合、たとえば、複数の棚区画に、１つの棚アクセスセンサ３１が設置される。
棚区画ＩＤテーブルは、予め記憶領域１４ｂに格納される。たとえば、オペレータは、操作部１６を通じて棚区画ＩＤテーブルを作成又は更新する。

次に、記憶領域１４ｃが格納する棚区画情報テーブルについて説明する。
棚区画情報テーブルは、棚区画に関連する棚区画情報を示す。
図８は、棚区画情報テーブルの構成例を示す。

図８が示すように、棚区画情報テーブルは、「棚区画ＩＤ」と棚区画情報とを対応付けて格納する。棚区画情報テーブルは、棚区画情報として、「利用者センサＩＤ」及び「商品」を格納する。

「棚区画ＩＤ」は、前述の通りである。

「利用者センサＩＤ」は、対応する棚区画ＩＤが示す棚区画にアクセスした利用者を特定するための利用者センサ３２を示す識別子である。即ち、「利用者センサＩＤ」は、「棚区画ＩＤ」の棚区画に設置された利用者センサ３２を示す。たとえば、「利用者センサＩＤ」は、数値、文字列又はそれらの組合せである。

「商品」は、対応する棚区画ＩＤが示す棚区画に格納される商品を示す情報（商品情報）である。即ち、「商品」は、当該棚区画において利用者に提供される商品を示す。「商品」は、当該棚区画にアクセスした利用者がカゴ２１０に入れた可能性のある商品を示す。「商品」は、複数個の商品情報から構成されてもよい。
商品情報は、商品を示す商品コード又は商品名などであってもよい。

棚区画情報テーブルは、予め記憶領域１４ｃに格納される。たとえば、オペレータは、操作部１６を通じて棚区画情報テーブルを作成又は更新する。たとえば、「商品」は、商品の配置を示す棚割情報などから生成されてもよい。

次に、記憶領域１４ｄが格納する候補リストテーブルについて説明する。
候補リストテーブルは、利用者がカゴ２１０に入れた可能性のある商品（候補商品）を示す商品情報（物品情報）のリスト（候補リスト）を示す。
図９は、候補リストテーブルの構成例を示す。

図９が示すように、候補リストテーブルは、「利用者ＩＤ」と「候補リスト」とを対応付けて格納する。

「利用者ＩＤ」は、前述の通りである。

「候補リスト」は、対応する「利用者ＩＤ」が示す利用者がカゴ２１０に入れた可能性のある商品を示す商品情報のリストである。即ち、「候補リスト」は、利用者がアクセスした棚区画に格納される商品を示すリストである。

次に、サーバ装置１０のプロセッサ１１が実現する機能について説明する。以下の機能は、プロセッサ１１が記憶部１４などに格納されるプログラムを実行することで実現される。

まず、プロセッサ１１は、店舗に来店した利用者の利用者ＩＤを取得する機能を有する。
プロセッサ１１は、来店検知部４０のカメラ４２を用いて来店した利用者の顔を撮影する。たとえば、プロセッサ１１は、カメラ４２から所定の間隔で画像を取得し、撮影画像に利用者の顔があるかを判定する。プロセッサ１１は、顔があると判定した画像（撮影画像）を取得する。

プロセッサ１１は、利用者情報テーブルの顔情報に基づいて撮影画像に写る利用者の利用者ＩＤを特定する。たとえば、プロセッサ１１は、撮影画像内の顔領域と各顔情報とをパターンマッチングなどの技術を用いて比較する。

プロセッサ１１は、顔領域と一致する顔情報を特定する。プロセッサ１１は、利用者情報テーブルから当該顔情報に対応する利用者ＩＤを取得する。

顔領域と一致する顔情報がない場合、プロセッサ１１は、当該利用者の利用者ＩＤを発行する。また、プロセッサ１１は、発行した利用者ＩＤと顔領域に対応する顔情報を対応付けて利用者情報テーブルに格納する。なお、プロセッサ１１は、一時的に（たとえば、当該利用者が店舗を出るまで）、当該利用者ＩＤと当該顔情報とを利用者情報テーブルに格納してもよい。

なお、プロセッサ１１は、リーダ４１を通じて利用者が所持する携帯端末から利用者ＩＤを取得してもよい。

また、プロセッサ１１は、取得した利用者ＩＤに対して候補リストを生成する機能を有する。
プロセッサ１１は、利用者ＩＤを取得すると、当該利用者ＩＤと候補リストとを対応付けて候補リストテーブルに格納する。プロセッサ１１は、空の候補リストを候補商品テーブルに格納する。

また、プロセッサ１１は、利用者がアクセスした棚区画を特定する機能を有する（区画特定部）。
まず、プロセッサ１１は、棚区画に利用者がアクセスしたか判定する。たとえば、プロセッサ１１は、通信部１５を通じて棚アクセスセンサ３１から、利用者が棚区画にアクセスしたことを示す検知信号を受信したかを判定する。プロセッサ１１は、検知信号を受信したと判定すると、利用者が棚区画にアクセスしたと判定する。

また、プロセッサ１１は、利用者センサ３２を用いて利用者が棚区画にアクセスしたか判定してもよい。たとえば、プロセッサ１１は、利用者センサ３２からの画像に基づいて利用者の手と棚区画との距離が閾値以下となった場合に、利用者が棚区画にアクセスしたと判定してもよい。また、商品棚３０は、商品の重量を測定する重量センサを備えてもよい。プロセッサ１１は、重量センサが測定する重量が軽くなると利用者が棚区画にアクセスしたと判定してもよい。
プロセッサ１１が棚区画へのアクセスを判定する方法は、特定の方法に限定されるものではない。

プロセッサ１１は、棚区画に利用者がアクセスしたと判定すると、当該棚区画を特定する。即ち、プロセッサ１１は、当該棚区画を示す棚区画ＩＤを取得する。

プロセッサ１１は、検知信号を送信した棚アクセスセンサ３１の棚アクセスセンサＩＤを取得する。たとえば、プロセッサ１１は、検知信号から棚アクセスセンサＩＤを取得する。

プロセッサ１１は、棚区画ＩＤテーブルを参照して棚アクセスセンサＩＤに対応する棚区画ＩＤを取得する。即ち、プロセッサ１１は、利用者がアクセスした棚区画を示す棚区画ＩＤを特定する。

また、プロセッサ１１は、棚区画にアクセスした利用者を特定する機能を有する（利用者特定部）。
プロセッサ１１は、当該棚区画にアクセスした利用者を特定するための利用者センサ３２を特定する。即ち、プロセッサ１１は、棚区画情報テーブルを参照して、取得した棚区画ＩＤに対応する利用者センサＩＤを取得する。

プロセッサ１１は、取得した利用者センサＩＤが示す利用者センサ３２から棚区画にアクセスした利用者の顔を含む撮影画像を取得する。プロセッサ１１は、利用者情報テーブルの顔情報に基づいて撮影画像に写る利用者の利用者ＩＤを特定する。たとえば、プロセッサ１１は、撮影画像内の顔領域と各顔情報とをパターンマッチングなどの技術を用いて比較する。

プロセッサ１１は、顔領域と一致する顔情報を特定する。プロセッサ１１は、利用者情報テーブルから当該顔情報に対応する利用者ＩＤを取得する。

なお、撮影画像に複数の利用者の顔が写る場合、プロセッサ１１は、棚区画に最も近い利用者を特定してもよい。

また、商品棚３０は、利用者センサ３２として携帯端末から利用者ＩＤを読み取るリーダを備えてもよい。プロセッサ１１は、リーダを通じて携帯端末から利用者ＩＤを読み取ってもよい。リーダの通信可能範囲内に複数の利用者がいる場合、プロセッサ１１は、携帯端末からの信号の強度が最も強い（最もリーダに近い）携帯端末の利用者ＩＤを、棚区画にアクセスした利用者の利用者ＩＤとして取得してもよい。

また、プロセッサ１１は、特定した棚区画に格納される商品を示す商品情報を取得する機能を有する（物品情報取得部）。
プロセッサ１１は、棚区画情報テーブルを参照して、取得した棚区画ＩＤに対応する商品情報を取得する。

また、プロセッサ１１は、取得した商品情報を格納する候補リストを生成する機能を有する（リスト生成部）。
プロセッサ１１は、候補リストテーブルにおいて、取得した利用者ＩＤに対応する候補リストに取得した商品情報を追加する。

また、プロセッサ１１は、候補リストをチェックアウト装置２０に送信する機能を有する（送信部）。
たとえば、プロセッサ１１は、通信部１５を通じてチェックアウト装置２０から所定の利用者に対応する候補リストを要求するリクエストを受信する。たとえば、リクエストは、利用者の利用者ＩＤを含む。

プロセッサ１１は、候補リストテーブルを参照して利用者に対応する候補リストを取得する。たとえば、プロセッサ１１は、リクエストが格納する利用者ＩＤに対応する候補リストを取得する。

プロセッサ１１は、通信部１５を通じて、リクエストに対するレスポンスとして、取得した候補リストをチェックアウト装置２０へ送信する。

次に、チェックアウト装置２０のプロセッサ２２１が実現する機能について説明する。以下の機能は、プロセッサ２２１が記憶部２２２などに格納されるプログラムを実行することで実現される。

まず、プロセッサ２２１は、利用者が棚区画から取り出した商品の画像を取得する機能を有する（画像取得部）。ここでは、利用者は、棚区画から商品を取り出してカゴ２１０に入れるものとする。また、利用者は、カゴ２１０をチェックアウト装置２０の所定の領域にセットするものとする。

プロセッサ２２１は、カゴ２１０内にある商品を撮影した画像を取得する。
たとえば、プロセッサ２２１は、所定の領域にカゴ２１０が配置されたことを検知する。たとえば、プロセッサ２２１は、カメラ２３からの画像に基づいてカゴ２１０が筐体２１にセットされたことを検知する。

なお、チェックアウト装置２０は、当該所定の領域に重量計を備えてもよい。たとえば、プロセッサ２２１は、重量計からの信号に基づいて重量計にカゴ２１０が配置されたことを検知してもよい。

プロセッサ２２１は、カゴ２１０が配置されたことを検知すると、カゴ２１０内にある商品を含む画像を撮影する。たとえば、プロセッサ２２１は、カメラ２３に対して撮影を行う信号を送信する。プロセッサ２２１は、カメラ２３から撮影画像を取得する。なお、プロセッサ２２１は、画像を撮影するために、撮影パラメータをカメラ２３に設定してもよい。
なお、プロセッサ２２１は、外部装置から撮影画像を取得してもよい。

また、プロセッサ２２１は、カゴ２１０を置いた利用者を特定する機能を有する。

プロセッサ２２１は、カメラ２６を用いてカゴ２１０を置いた利用者の顔を撮影する。たとえば、プロセッサ２２１は、カゴ２１０が所定の領域にカゴ２１０が配置されたことを検知すると、カメラ２６を用いて利用者の顔を撮影する。

プロセッサ２２１は、利用者情報テーブルの顔情報に基づいて撮影画像に写る利用者の利用者ＩＤを特定する。たとえば、プロセッサ２２１は、撮影画像内の顔領域と各顔情報とをパターンマッチングなどの技術を用いて比較する。

プロセッサ２２１は、顔領域と一致する顔情報を特定する。プロセッサ２２１は、利用者情報テーブルから当該顔情報に対応する利用者ＩＤを取得する。

なお、チェックアウト装置２０は、携帯端末から利用者ＩＤを読み取るリーダを備えてもよい。プロセッサ２２１は、リーダを用いて利用者が翳す携帯端末から利用者ＩＤを取得してもよい。

また、プロセッサ２２１は、通信部２２３を通じてサーバ装置１０から利用者がアクセスした棚区画の商品（候補商品）のリスト（候補リスト）を取得する機能を有する（リスト取得部）。
たとえば、プロセッサ２２１は、当該利用者の候補リストを要求するリクエストをサーバ装置１０へ送信する。リクエストは、当該利用者の利用者ＩＤを含む。プロセッサ２２１は、当該リクエストに対するレスポンスとして当該利用者の候補リストを取得する。

また、プロセッサ２２１は、撮影画像から商品が写る画像領域である商品領域（物品領域）を抽出する機能を有する。
プロセッサ２２１は、商品画像に基づいて商品領域を抽出する。たとえば、プロセッサ２２１は、エッジ検出などを行い商品画像から商品領域を抽出する。

なお、チェックアウト装置２０は、距離センサを備えてもよい。プロセッサ２２１は、距離センサを用いて所定の位置から撮影画像の各部への距離を示す距離情報を取得してもよい。プロセッサ２２１は、距離情報から商品領域を抽出してもよい。
プロセッサ２２１が商品領域を抽出する方法は、特定の方法に限定されるものではない。

また、プロセッサ２２１は、候補リストの候補商品の中から商品領域内の商品（対象物）を特定する機能を有する（物品特定部）。
たとえば、プロセッサ２２１は、候補商品の辞書情報を取得する。辞書情報は、商品領域の画像と比較して商品領域の商品を特定するための情報である。たとえば、辞書情報は、商品画像又は商品画像の特徴量などである。辞書情報の構成は、特定の構成に限定されるものではない。

たとえば、記憶部２２２は、予め各商品の辞書情報を格納してもよい。プロセッサ２２１は、記憶部２２２から候補商品の辞書情報を取得してもよい。
また、プロセッサ２２１は、サーバ装置１０から辞書情報を取得してもよい。

プロセッサ２２１は、候補商品の辞書情報に基づいて商品領域の商品を特定する。たとえば、プロセッサ２２１は、商品領域の画像と各辞書情報とをパターンマッチングなどの技術を用いて比較する。

プロセッサ２２１は、商品領域の画像と一致する辞書情報を特定する。プロセッサ２２１は、類似度が最も高くかつ所定の閾値を超えた辞書情報を特定する。プロセッサ２２１は、商品領域の商品を示す商品情報として、特定した辞書情報に対応する商品の商品情報を取得する。

また、プロセッサ２２１は、候補商品の中から商品領域内の商品を特定できない場合、候補商品以外で店舗にある商品の中から商品領域内の商品を特定する機能を有する（物品特定部）。

プロセッサ２２１は、各候補商品の辞書情報において最も高い類似度が所定の閾値以下である場合、商品領域内の商品が候補商品の中にないと判定する。商品領域内の商品が候補商品の中にないと判定すると、プロセッサ２２１は、店舗にある他の商品の中から商品領域内の商品を特定する。

たとえば、プロセッサ２２１は、候補商品以外の商品の辞書情報を取得する。たとえば、プロセッサ２２１は、記憶部２２２から当該辞書情報を取得してもよい。また、プロセッサ２２１は、サーバ装置１０から当該辞書情報を取得してもよい。

プロセッサ２２１は、当該辞書情報に基づいて商品領域の商品を特定する。たとえば、プロセッサ２２１は、商品領域の画像と各辞書情報とをパターンマッチングなどの技術を用いて比較する。

プロセッサ２２１は、商品領域の画像と一致する辞書情報を特定する。プロセッサ２２１は、類似度が最も高くかつ所定の閾値を超えた辞書情報を特定する。プロセッサ２２１は、商品領域の商品を示す商品情報として、特定した辞書情報に対応する商品の商品情報を取得する。

また、プロセッサ２２１は、特定した商品を決済する機能を有する。
たとえば、プロセッサ２２１は、特定した商品の代金を取得する。
たとえば、記憶部２２２は、予め各商品の代金を格納してもよい。プロセッサ２２１は、記憶部２２２から特定した商品の代金を取得してもよい。
また、プロセッサ２２１は、サーバ装置１０から特定した商品の代金を取得してもよい。

プロセッサ２２１は、商品の代金に基づいて商品を決済する。たとえば、プロセッサ２２１は、特定した利用者ＩＤに対応するクレジットカード情報をサーバ装置１０から取得する。プロセッサ２２１は、クレジットカード情報に基づいて商品を決済する。

また、プロセッサ２２１は、利用者からクレジットカード情報の入力を受け付けてもよい。たとえば、プロセッサ２２１は、クレジットカードリーダなどを用いてクレジットカード情報を取得してもよい。

また、プロセッサ２２１は、現金、デビットカード又は電子マネーなどを用いて商品を決済してもよい。プロセッサ２２１が商品を決済する方法は、特定の方法に限定されるものではない。

また、プロセッサ２２１は、決済が完了すると、サーバ装置１０の候補リストを削除する。たとえば、プロセッサ２２１は、通信部２２３を通じて候補リストを削除させる信号をサーバ装置１０へ送信する。たとえば、当該信号は、決済が完了した利用者の利用者ＩＤを含む。

サーバ装置１０のプロセッサ１１は、通信部１５を通じて当該信号を受信する。プロセッサ１１は、当該信号に従って候補リストテーブルから利用者ＩＤに対応する候補リストを削除する。

なお、プロセッサ２２１は、サーバ装置１０の記憶部１４にリモートアクセスして候補リストを削除してもよい。

次に、サーバ装置１０の動作例について説明する。
図１０は、サーバ装置１０の動作例を説明するためのフローチャートである。
まず、サーバ装置１０のプロセッサ１１は、来店検知部４０を通じて利用者が来店したか判定する（ＡＣＴ１１）。

利用者が来店したと判定すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ１１は、来店した利用者の利用者ＩＤを取得する（ＡＣＴ１２）。利用者ＩＤを取得すると、プロセッサ１１は、候補リストテーブルに利用者ＩＤと候補リストとを追加する（ＡＣＴ１３）。

利用者ＩＤと候補リストとを追加すると、プロセッサ１１は、利用者が棚区画にアクセスしたかを判定する（ＡＣＴ１４）。利用者が棚区画にアクセスしたと判定すると（ＡＣＴ１４、ＹＥＳ）、プロセッサ１１は、利用者を検知した棚アクセスセンサ３１の棚アクセスセンサＩＤを取得する（ＡＣＴ１５）。

棚アクセスセンサＩＤを取得すると、プロセッサ１１は、棚区画ＩＤテーブルを参照して、取得した棚アクセスセンサＩＤに対応する棚区画ＩＤを取得する（ＡＣＴ１６）。棚区画ＩＤを取得すると、プロセッサ１１は、棚区画ＩＤに対応する利用者センサＩＤが示す利用者センサ３２を用いて棚にアクセスした利用者の利用者ＩＤを取得する（ＡＣＴ１７）。

利用者ＩＤを取得すると、プロセッサ１１は、棚区画ＩＤが示す棚区画に格納される商品を示す商品情報を取得する（ＡＣＴ１８）。商品情報を取得すると、プロセッサ１１は、取得した利用者ＩＤに対応する候補リストに取得した商品情報を追加する（ＡＣＴ１９）。

候補リストに商品情報を追加すると、プロセッサ１１は、サーバ装置１０の稼働を終了するか判定する（ＡＣＴ２０）。たとえば、プロセッサ１１は、操作部１６を通じて稼働を終了する操作を受け付けたか判定する。また、プロセッサ１１は、現時刻が稼働を終了する時刻であるかを判定してもよい。

サーバ装置１０の稼働を終了しないと判定すると（ＡＣＴ２０、ＮＯ）、プロセッサ１１は、ＡＣＴ１１に戻る。
サーバ装置１０の稼働を終了すると判定すると（ＡＣＴ２０、ＹＥＳ）、プロセッサ１１は、動作を終了する。

利用者が棚にアクセスしていないと判定すると（ＡＣＴ１４、ＮＯ）、プロセッサ１１は、ＡＣＴ２０に進む。
利用者が来店していないと判定すると（ＡＣＴ１１、ＮＯ）、プロセッサ１１は、ＡＣＴ１４に進む。

次に、チェックアウト装置２０の動作例について説明する。
図１１は、チェックアウト装置２０の動作例について説明するためのフローチャートである。

まず、チェックアウト装置２０のプロセッサ２２１は、所定の領域にカゴ２１０が配置されたか判定する（ＡＣＴ２１）。所定の領域にカゴ２１０が配置されていないと判定すると（ＡＣＴ２１、ＮＯ）、プロセッサ２２１は、ＡＣＴ２１に戻る。

所定の領域にカゴ２１０が配置されたと判定すると（ＡＣＴ２１、ＹＥＳ）、プロセッサ２２１は、カゴ２１０内の商品を撮影する（ＡＣＴ２２）。カゴ２１０内の商品を撮影すると、プロセッサ２２１は、カメラ２６を用いてカゴ２１０を配置した利用者の利用者ＩＤを取得する（ＡＣＴ２３）。

利用者ＩＤを取得すると、プロセッサ２２１は、サーバ装置１０から利用者ＩＤに対応する候補リストを取得する（ＡＣＴ２４）。候補リストを取得すると、プロセッサ２２１は、カゴ２１０内を撮影した画像から商品領域を抽出する（ＡＣＴ２５）。

商品領域を抽出すると、プロセッサ２２１は、１つの商品領域の画像を候補リストの各候補商品の辞書情報とマッチングする（ＡＣＴ２６）。１つの商品領域の画像を候補リストの各候補商品の辞書情報とマッチングすると、プロセッサ２２１は、最も大きな類似度が閾値を超えているか判定する（ＡＣＴ２７）。

最も大きな類似度が閾値を超えていると判定すると（ＡＣＴ２７、ＹＥＳ）、プロセッサ２２１は、最も大きな類似度の辞書情報に対応する商品の商品情報を商品領域に写る商品の商品情報として確定する（ＡＣＴ２８）。

最も大きな類似度が閾値を超えていないと判定すると（ＡＣＴ２７、ＮＯ）、プロセッサ２２１は、１つの商品領域の画像を候補商品以外の商品の各候補商品の辞書情報とマッチングする（ＡＣＴ２９）。候補商品以外の商品の辞書情報とマッチングすると、プロセッサ２２１は、ＡＣＴ２８に進む。即ち、プロセッサ２２１は、候補商品以外の商品の辞書情報の中で最も大きな類似度の辞書情報に対応する商品の商品情報を商品領域に写る商品の商品情報として確定する。

商品情報を確定すると、プロセッサ２２１は、商品を確定していない商品領域があるか判定する（ＡＣＴ３０）。商品を確定していない商品領域があると判定すると（ＡＣＴ３０、ＹＥＳ）、プロセッサ２２１は、ＡＣＴ２６に戻る。

商品を確定していない商品領域がないと判定すると（ＡＣＴ３０、ＮＯ）、プロセッサ２２１は、確定した商品を決済する（ＡＣＴ３１）。確定した商品を決済すると、プロセッサ２２１は、利用者ＩＤに対応する候補リストを削除する（ＡＣＴ３２）。

利用者ＩＤに対応する候補リストを削除すると、プロセッサ２２１は、動作を終了する。

なお、サーバ装置１０とチェックアウト装置２０とは、同一の装置で実現されるものであってもよい。
また、サーバ装置１０は、チェックアウト装置２０の一部の機能を実現するものであってもよい。また、チェックアウト装置２０は、サーバ装置１０の一部の機能を実現するものであってもよい。

以上のように構成された特定システムは、利用者がアクセスした棚区画に格納される商品を候補商品として候補リストに格納する。特定システムは、利用者が所持する商品を特定する際に、候補リストの候補商品の中から商品を特定する。

そのため、特定システムは、利用者が所持する可能性の高い候補商品の中から商品を特定することができる。その結果、特定システムは、より少ない商品群から商品を特定することができる。よって、特定システムは、迅速に商品を特定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
対象物を特定する画像処理装置であって、
利用者がアクセスした区画に格納される物品の物品情報を格納するリストを取得するリスト取得部と、
前記利用者が提示する対象物の画像を含む撮影画像を取得する画像取得部と、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定する物品特定部と、
を備える画像処理装置。
［Ｃ２］
前記物品特定部は、前記リストにある物品情報から前記対象物を特定できない場合、前記リストにある物品情報以外の情報から前記対象物を特定する、
前記Ｃ１に記載の画像処理装置。
［Ｃ３］
利用者がアクセスした区画を特定する区画特定部と、
前記区画に格納される物品を示す物品情報を取得する物品情報取得部と、
前記物品情報を格納するリストを生成するリスト生成部と、
を備える情報処理装置。
［Ｃ４］
前記利用者を特定する利用者特定部を備え、
前記リストは、前記利用者を示す利用者ＩＤと前記物品情報とを対応付けて格納する、前記Ｃ３に記載の情報処理装置。
［Ｃ５］
情報処理装置と画像処理装置とを備えるシステムであって、
前記情報処理装置は、
前記画像処理装置とデータを送受信する第１の通信部と、
利用者がアクセスした区画を特定する区画特定部と、
前記区画に格納される物品を示す物品情報を取得する物品情報取得部と、
前記物品情報を格納するリストを生成するリスト生成部と、
前記第１の通信部を通じて前記画像処理装置に前記リストを送信する送信部と、
を備え、
前記画像処理装置は、
前記情報処理装置とデータを送受信する第２の通信部と、
前記第２の通信部を通じて前記リストを取得するリスト取得部と、
前記利用者が提示する対象物の画像を含む撮影画像を取得する画像取得部と、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定する物品特定部と、
を備える、
システム。
［Ｃ６］
プロセッサに、
利用者がアクセスした区画に格納される物品の物品情報を格納するリストを取得させ、
前記利用者が提示する対象物の画像を含む撮影画像を取得させ、
前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定させる、
プログラム。

１…特定システム、１０…サーバ装置、１１…プロセッサ、１４…記憶部、１４ａ乃至１４ｄ…記憶領域、１５…通信部、２０…チェックアウト装置、２３及び２６…カメラ、３０…商品棚、３１…棚アクセスセンサ、３２…利用者センサ、４０…来店検知部、２１０…カゴ、２２１…プロセッサ、２２３…通信部。

Claims (5)

1. 棚に設けられた区画にアクセスする利用者を検知する第１のセンサと、前記第１のセンサと対になる、前記利用者の顔を撮影するカメラから構成される第２のセンサと、前記利用者が前記区画から取得した物品を画像処理により特定する画像処理装置と、通信するインターフェースと、
   前記利用者の顔画像と前記利用者を特定するＩＤとを対応付けるテーブルを格納する記憶部と、
   前記インターフェースを通じて前記利用者が前記区画にアクセスしたことを示す検知信号を前記第１のセンサから受信すると、前記第２のセンサを用いて前記利用者の顔を撮影し、前記テーブルを参照して撮影された画像に写る前記利用者を示すＩＤを特定し、
   前記区画に格納される物品を示す物品情報を取得し、
   前記利用者を示すＩＤと前記物品情報とを対応付けて格納するリストを生成し、
   前記インターフェースを通じて、前記画像処理装置に前記リストを送信する、
   プロセッサと、
   を備える情報処理装置。
2. 前記第１のセンサは、前記利用者を検知する赤外線カメラである、
   前記請求項１に記載の情報処理装置。
3. 前記第１のセンサは、前記利用者が前記区画の商品を取り出すことができる範囲に進入したことを検知する、
   請求項１又は２に記載の情報処理装置。
4. 情報処理装置と画像処理装置とを備えるシステムであって、
   前記情報処理装置は、請求項１乃至３のいずれか一記載の情報処理装置であり、
   前記画像処理装置は、
   前記情報処理装置とデータを送受信する第２の通信部と、
   前記第２の通信部を通じて前記リストを取得するリスト取得部と、
   前記利用者が提示する対象物の画像を含む撮影画像を取得する画像取得部と、
   前記撮影画像に含まれる前記対象物の画像に基づいて、前記リストの物品情報から前記対象物を特定する物品特定部と、
   を備える、
   システム。
5. プロセッサによって実行されるプログラムであって、
   前記プロセッサに、
   棚に設けられた区画にアクセスする利用者を検知する第１のセンサから前記利用者が前記区画にアクセスしたことを示す検知信号を前記第１のセンサから受信すると、前記第１のセンサと対になる、前記利用者の顔を撮影するカメラから構成される第２のセンサを用いて前記利用者の顔を撮影し、前記利用者の顔画像と前記利用者を特定するＩＤとを対応付けるテーブルを参照して撮影された画像に写る前記利用者を示すＩＤを特定する機能と、
   前記区画に格納される物品を示す物品情報を取得する機能と、
   前記利用者を示すＩＤと前記物品情報とを対応付けて格納するリストを生成する機能と、
   前記利用者が前記区画から取得した物品を画像処理により特定する画像処理装置に前記リストを送信する機能と、
   を実現させるプログラム。

Images