JP7298594B2 - 店舗管理装置および店舗管理方法、プログラム - Google Patents

Description

本発明は、店舗の来店者を認証する店舗管理装置および店舗管理方法、プログラムに関する。

近年、店舗の顧客に対して顔認証を行って顧客を特定し、購買品の支払いの決済を行う顔認証決済システムが開発されている。このため、店舗において来店者を自動的に特定する技術が求められている。例えば、来店者が店舗で手に取った商品を自動決済する場合には、当該来店者を自動的に特定する必要がある。

人物の顔画像を取得して登録情報と照合し、個人を特定する技術として特許文献１及び特許文献２が挙げられる。特許文献１は、被験者の顔画像とアイリス画像を登録情報と照合して個人を識別する個体識別装置を開示している。特許文献２は、顔認証を用いて顧客管理を行う情報処理システムを開示しており、来店者の顔情報と登録情報を照合して顔認証を行い、会員登録情報を用いて決済処理を行うものである。

特開２０００－１０２５２４号公報 特開２０１６－１２６７４９号公報

商品販売業務において、多数の登録者のなかから店舗の来店者を特定するためには、高精度の顔認証技術が必要となる。近年の顔認証技術は、殆どの人物を正確に認証できる精度まで向上している。しかし、顔認証には誤認識率（本人拒否率、他人許容率）があり、何らかの理由により来店者について不正確な顔認証が行われた場合、店舗に登録された顧客と異なる来店者を特定する可能性がある。

本発明は、上述の課題を解決するためになされたものであり、顔認証の誤認識率を低減できる店舗管理装置および店舗管理方法、プログラムを提供することを目的とする。

本発明の第１の態様によれば、店舗管理装置は、店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から来店者に対応する登録済顧客を選択する来店者選択部と、来店者に対応する登録済顧客の生体情報の集合と、店舗内における所定処理の実行タイミングにおいて新たに取得した来店者の生体情報と、を用いて認証を行い、来店者を前記所定処理の対象者として特定する処理対象者特定部と、を備える。

本発明の第２態様によれば、店舗管理方法は、店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から来店者に対応する登録済顧客を選択し、来店者に対応する登録済顧客の生体情報の集合と、店舗内における所定処理の実行タイミングにおいて新たに取得した来店者の生体情報と、を用いて認証を行い、来店者を所定処理の対象者として特定する。

本発明の第３の態様は、コンピュータにより実行されるプログラムであり、前記プログラムは、店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から来店者に対応する登録済顧客を選択し、来店者に対応する登録済顧客の生体情報の集合と、店舗内における所定処理の実行タイミングにおいて新たに取得した来店者の生体情報と、を用いて認証を行い、来店者を所定処理の対象者として特定する。

本発明によれば、店舗内の所定処理（商品購入の決済処理など）に用いる来店者の識別情報の特定精度を高めることができる。

本発明の一実施例による店舗管理システムが設置された店舗レイアウトの斜視図である。 本発明の一実施例による店舗管理装置が来店者を特定する処理の概要を説明する説明図である。 店舗内において商品棚に陳列された商品を選択する来店者の様子を示す斜視図である。 店舗管理装置のハードウェア構成を示すブロック図である。 複数のセンシング装置と通信接続される店舗管理装置の機能ブロック図である。 店舗管理装置による来店者データテーブル生成処理のフローチャートである。 店舗管理装置による第一の来店者特定処理のフローチャートである。 店舗管理装置による第二の来店者特定処理のフローチャートである。 店舗管理装置の最小構成を示すブロック図である。

本発明に係る店舗管理装置および店舗管理方法について実施例とともに添付図面を参照して詳細に説明する。
図１は、本発明の一実施例による店舗管理システム１００が設置された店舗２０のレイアウトを示す。店舗管理システム１００は、店舗管理装置１を具備し、これは店舗２０に設けられた各種装置と通信接続されている。店舗２０には、入退ゲート２が設置されており、複数の商品棚２１が設置されている。商品棚２１には、各種の商品が陳列されている。

店舗管理システム１００により管理される店舗２０では、来店者が入退ゲート２を通って入店又は退店する構造となっている。入退ゲート２には、入退口カメラ２４が設けられる。入退口カメラ２４は、入退ゲート２を通って入店する来店者の顔画像を撮影して、店舗管理装置１へ送信する。

店舗２０は、店員が常駐している有人店舗であっても、店員が常駐していない無人店舗であってもよい。来店者は、商品棚２１に陳列されている商品に手で触れて、商品を手に取り、カートに入れるなどの一連の動作を行ったのち、入退ゲート２を通って退店する。来店者が入退ゲート２を通って入店してから退店するまでの間に、店舗２０内に設けられた撮影装置やモーションセンサなどのセンシング装置が、来店者の特徴情報や位置情報、その来店者が選択した商品の識別情報や商品の陳列位置を判定するためのセンシング情報を取得し、店舗管理装置１へ送信する。店舗管理装置１は、センシング情報を用いて、自動決済処理、推奨品一覧の提示処理、来店者がカートに投入した商品に係る情報記憶処理などの所定処理を行う。

上記の所定処理を行うため、店舗管理装置１は、高い精度で来店者を特定する必要がある。このため、店舗管理装置１は、多数の顧客（例えば、数万人や数百万人のユーザ登録をしている顧客をいい、以下、登録済顧客又は登録ユーザと称する）の情報がデータベースなどに予め記憶されており、そのなかから、店舗２０の来店者に対応する登録済顧客を選択する必要がある。また、店舗管理装置１は、来店者に対応する登録済顧客の生体情報の集合と、所定処理の実行タイミングにおいて店舗２０内で新たに取得した来店者の生体情報を用いて認証を行い、店舗２０内における所定処理の対象とする来店者を特定する。

図２は、店舗管理装置１が来店者を特定する処理の概要を示す。図２の左側に示すように、来店者が入退ゲート２と通って店舗２０に来店すると、入退口カメラ２４は来店者の顔画像を撮影して、店舗管理装置１へ送信する。店舗管理装置１は、来店者の顔画像に基づいて、予めデータベースなどに記録した複数の登録済顧客の中から来店者の顔画像に対応する顧客を選択する。店舗管理装置１は、顧客の端末装置に来店時の本人確認情報２４１を送信する。店舗管理装置１は、顧客の端末装置から本人確認情報２４１が来店者本人を示す信号を受信すると、来店者用データテーブルにその登録済顧客の識別情報を記録する。図２（Ａ）は、店舗管理装置１が、来店者テーブルを用いて来店者がカートに入れた商品の識別情報を記録するときに、来店者を特定する処理を示している。図２（Ｂ）は、店舗管理装置１が、来店者がカートに入れた商品の支払いを自動決済するときに、自動決済処理の対象となる来店者を特定する処理を示している。つまり、店舗管理装置１は、全ての登録済顧客の生体情報を記録したデータベースを参照して、来店者に対応する登録済顧客のみの生体情報を記録した来店者データテーブルを作成する。そして、店舗管理装置１は、来店者データテーブルを用いて、店舗２０内における所定処理の対象とする来店者を特定する。図２（Ａ）の場合、来店者が商品購入後に退店するとき、来店者の購買した商品の金額の支払いについて自動決済処理を行うときに、その来店者を特定する。図２（Ｂ）の場合、来店者が商品購入後にレジカウンタに行き、店員又は来店者自身で購入商品に付されたバーコードなどの商品情報をＰＯＳ端末のバーコードリーダなどで読み取った後の決済処理の対象となる来店者を特定する。

図３は、店舗２０内において、商品棚２１に陳列された商品を選択する来店者の様子を示す。図３では、複数の商品棚２１として千鳥状に連結されており、来店者は、右側の棚に陳列された商品を選択している。ここで、商品棚２１のそれぞれに複数の第一カメラ３が設置してもよい。商品棚２１の情報には来店者の挙動を検知するモーションセンサ４が設置される。また、商品棚２１の上部には、来店者が手に取った商品や、来店者が商品棚２１に返却した商品の画像を撮影する第二カメラ５が設置される。なお、第一カメラ３や第二カメラ５は、商品棚２１に直接設置される必要はなく、店舗２０の天井や床に設置してもよい。つまり、第一カメラ３や第二カメラ５は、来店者が商品棚２１から選択して手に取った商品や、来店者が商品棚２１に返却した商品の画像を撮影できる位置であれば、店舗２０内のどの位置に設けられてもよい。商品棚２１には、店舗設置端末装置２２を備えてもよい。

図４は、店舗管理装置１のハードウェア構成を示す。店舗管理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０４、インタフェース１０５、通信モジュール１０６を具備している。なお、ＨＤＤ１０４は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）としてもよい。

図５は、店舗２０内の複数のセンシング装置と通信接続される店舗管理装置１の機能ブロック図である。店舗管理装置１の機能部は、ＣＰＵ１０１が記憶部に予め記憶した店舗管理プログラムを読み出して実行することにより実装される。すなわち、店舗管理装置１は機能部として、制御部１０、来店者選択部１１、第一位置情報取得部１２、第二位置情報取得部１３、行為検出部１４、処理対象者特定部１５、販売管理部１６、及び情報出力部１７を備える。

図５に示すように、店舗管理装置１は、データベース４０と接続される。店舗管理装置１は、第一通信ネットワーク８を介して、店舗２０内に設置される各種のセンシング装置と通信接続されており、入退ゲート２、第一カメラ３、モーションセンサ４、第二カメラ５、商品検知センサ６、ゲート装置２３、入退口カメラ２４、及びその他のゲート装置２７と接続されている。第一ネットワーク８は、店舗管理装置１と店舗２０内の各種センシング装置とを繋ぐ専用の通信ネットワークである。店舗管理装置１は、第二通信ネットワーク９を介して、店舗２０の来店者が携帯する端末装置７と通信接続される。第二通信ネットワークは、携帯電話網、無線通信網、インターネットである。なお、端末装置７は、来店者が店舗２０に入店したときに、第一通信ネットワーク８と通信接続されてもよい。

店舗管理装置１において、第一位置情報取得部１２は、商品棚２１に接近する来店者の生体特徴情報の位置を示す第一位置情報を第一カメラ３により取得された画像に基づいて取得することができる。第一カメラ３は、その撮影範囲に映る人物の生体特徴情報を検出するために用いられるものである。例えば、第一カメラ３は、商品棚２１のそれぞれに設置され、商品棚２１の前に位置する人物の顔を撮影する。なお、生体特徴情報は、人物の顔の特徴情報や、人物の眼の虹彩の特徴情報であってもよい。店舗管理装置１は、入退口カメラ２４から取得した来店時の来店者の顔画像の代わりに、第一カメラ３から取得した商品棚２１の前に位置する人物の顔画像に基づいて、予め記憶された複数の顧客の中から、来店者に対応する顧客を選択してもよい。そして、店舗管理装置１は、その来店者の携帯する端末装置７に本人確認情報２４１を送信する。店舗管理装置１は、端末装置７から来店者が登録済顧客であることを示す信号を受信すると、来店者データテーブルにその登録済顧客の識別情報を記録してもよい。具体的には、店舗管理装置１は、来店者に対応する登録済顧客を特定し、その来店者の端末装置７に来店時の本人確認情報２４１を送信する。本人確認情報２４１には、来店者に対する挨拶文、入店ボタン、キャンセルボタンなどのアイコンが表示される。来店者の端末装置７は、本人確認情報２４１を表示する。来店者は、端末装置７に表示された本人確認情報２４１において、入店ボタンを操作する。入店ボタンの操作を検出すると、端末装置７は、来店者が登録済顧客であることを示す許可情報を店舗管理装置１へ送信する。端末装置７から許可情報を受信すると、店舗管理装置１は、その来店者に対応する顧客の識別情報を来店者データテーブルに記録する。一方、来店者が本人確認情報２４１の示す顧客でない場合、来店者は、端末装置７においてキャンセルボタンを操作する。キャンセルボタンの操作を検出すると、端末装置７は、不許可情報を店舗管理装置１へ送信する。端末装置７から不許可情報を受信すると、店舗管理装置１は、本人確認情報２４１に記載された顧客の識別情報の来店者データテーブルへの記録を停止する。

店舗管理装置１において、第二位置情報取得部１３は、商品棚２１に近接位置して商品に手を伸ばした来店者の位置を示す第二位置情報をモーションセンサ４から得たセンシング情報に基づいて検出する。モーションセンサ４は、例えば、店舗２０の天井の商品棚２１の情報の位置に設置されており、天井から下方に位置する来客者の挙動を検知する。そして、行為検出部１４は、商品棚２１に陳列された商品に対する来客者の移動行為を検出する。例えば、行為検出部１４は、商品棚２１に陳列された商品を撮影する第二カメラ５から取得した画像や、商品検知センサ６から取得した情報に基づいて、商品に対する来客者の移動行為を検出する。来客者の移動行為とは、来客者が商品棚２１に手を伸ばして商品に触れた行為、その商品を手に取った行為、その商品を商品棚２１に戻した行為、その商品をカートに入れた行為などを意味する。処理対象者特定部１５は、来客者の移動行為に供する商品の識別情報（ＩＤ）や位置、第一位置情報と第二位置情報との位置関係に基づいて、商品に対する移動行為を行った来客者の生体特徴情報を判定し、その生体特徴情報に対応する来客者（又は顧客）の識別情報（ＩＤ）を来店者データテーブルから検索する。そして、処理対象者特定部１５は、来客者データテーブルの検索により特定した処理対象者（すなわち、来客者や顧客）の識別情報（ＩＤ）に対応する販売管理情報などと、来客者の移動行為に供する商品の識別情報を割り当てるという管理措置を実行する。これにより、店舗管理装置１は、どの来客者がどの商品を選択したかについて、管理措置を行うことができる。なお、来店者データテーブルは、多数の登録済顧客（登録ユーザ）の中から選択された来客者のみの情報を記録してもよい。上記のように、本実施例は、処理対象者の識別情報（ＩＤ）を特定する精度を向上することができる。

図６は、店舗管理装置１による来店者データテーブル生成処理のフローチャートである（ステップＳ１０１～Ｓ１０６）。来店者選択部１１は、来店者の顔画像を入退口カメラ２４から取得する（Ｓ１０１）。来店者選択部１１は、来店者の顔画像の特徴量と、データベース４０に記録されている登録ユーザ（登録済顧客）の顔画像の特徴量とを比較して、最も近似した登録ユーザの顔画像を選択する（Ｓ１０２）。来店者選択部１１は、データベース４０から選択された顔画像に紐づく登録ユーザＩＤを読取り、その登録ユーザＩＤに紐づいてデータベース４０に記録されている登録ユーザが携帯する端末装置７のアドレスを取得する（Ｓ１０３）。情報出力部１７は、来店者選択部１１の取得した端末装置７のアドレス宛に本人確認情報２４１を送信する（Ｓ１０４）。

本人確認情報は、端末装置７を携帯する登録ユーザに対して、来店者本人であるかの確認を促す画面情報であり、タッチパネルディスプレイを備える端末装置７は、本人確認情報２４１（図２参照）に基づいて所定の画像を生成して画面上に表示する。所定画像には、端末装置７を携帯する人物が来店者本人であるか否かを指定するアイコンボタンが表示される。携帯端末７の携帯者が来店者本人であることを指定するアイコンボタンを操作すると、端末装置７は来店者であることを示す許可情報を店舗管理装置１へ送信する。一方、端末装置７の携帯者が来店者でないことを指定するアイコンボタンを操作すると、端末装置７は来店者でないことを示す不許可情報を店舗管理装置１へ送信する。

来店者選択部１１は、端末装置７から許可情報を受信したか判定する（Ｓ１０５）。来店者選択部１１は、許可情報を受信すると、データベース４０から選択した登録ユーザＩＤを来店者ＩＤとして来店者データテーブルに記録してする（Ｓ１０６）。この場合、来店者データテーブルを生成しても更新してもよい。来店者選択部１１は、来店者データテーブルに記録した来店者ＩＤに対応する顔特徴量をデータベース４０から読み取って、その顔特徴量と来店者ＩＤとを紐づけて来店者データテーブルに記録する。これにより、多数の登録ユーザのうちの来店者のみの情報を保持する来店者データテーブルが生成される。この処理は、来店者選択部１１が、来店者の携帯する端末装置７との通信を介して、予め記憶された複数の登録ユーザの中から来店者に対応する登録ユーザを選択する処理の一態様である。来店者選択部１１は、不許可情報を受信すると、データベース４０から選択した登録ユーザＩＤを来店者ＩＤとして来店者データテーブルに記録する処理を停止する。

なお、店舗管理装置１の来店者選択部１１は、入退口カメラ２４から取得した来店者の顔画像の代わりに、商品棚２１に設けられた第一カメラ３から取得した来店者の顔画像を用いて、上記のステップＳ１０１～Ｓ１０６と同様の処理により、来店者データテーブルを生成してもよい。

また、来店者選択部１１は、登録ユーザＩＤと端末装置７のＩＤとの対応関係を予め記憶しておき、端末装置７が第一通信ネットワーク８と接続されたことを検知した場合に、その端末装置７のＩＤに紐づく登録ユーザＩＤを来店者ＩＤとして来店者データテーブルに記録してもよい。

上述のステップＳ１０５において不許可情報を受信した場合、或いは、本人確認情報２４１を端末装置７へ送信してから所定時間が経過してタイムアウトするまでの間に許可情報又は不許可情報を受信できない場合、来店者選択部１１は、その来店者についての来店者ＩＤの来店者データテーブルへの登録を中止して、来店者データテーブル生成処理を終了する。上記のステップＳ１０１～Ｓ１０６により、店舗２０への来店者の入店を契機として来店者データテーブルが生成される。

上述の来店者データテーブルは、商品棚２１に陳列された商品に対する来店者の移動行為の検出に利用される。具体的には、来店者が店舗２０の入退ゲート２を通過したときに入退口カメラ２４が来店者の顔画像を撮影して、店舗管理装置１へ送信する。店舗管理装置１の来店者選択部１１は、来店者の顔画像の特徴量と、予めデータベース４０に登録されている多くの登録ユーザの顔画像の特徴量とを照合し、来店者の顔画像に対応する登録ユーザの顔画像を特定する。そして、来店者選択部１１は、データベース４０に記録されている登録ユーザのＩＤを来店者ＩＤとして選択する。来店者選択部１１は、その来店者ＩＤを来店者データテーブルに追加して更新する。また、店舗管理装置１の販売管理部１６は、来店者などの人物のＩＤに紐づけて販売管理情報を生成する。現時点において、販売管理情報と商品情報とは紐づけられていない。第一カメラ３は、商品棚２１の前に位置する来店者の画像を商品棚２１側から撮影し、撮影した静止画像又は動画像を店舗管理装置１へ送信する。店舗２０の天井に設置されるモーションセンサ４は、商品棚２１の上方から下方に位置する来店者の挙動を検知し、その検知情報を店舗管理装置１へ送信する。モーションセンサ４の検知情報は、例えば、赤外線を用いて検知した物体又は人物までの距離を画像に変換した距離画像であってもよい。

商品検知センサ６は、商品棚２１に陳列した商品毎に設置されている。具体的には、商品検知センサ６は、商品の下に敷かれたシート状の形状を有しおり、商品の重量による圧力を検出する圧力センサ、或いは、商品の重量を検出する重量センサであってもよい。例えば、来店者が商品棚２１に陳列された商品を手に取った場合には、商品検知センサ６は、そのセンサＩＤと、店舗２０内の商品棚２１におけるその商品の座標を含む商品取得信号を店舗管理装置１へ送信する。店舗管理装置１の処理対象者特定部１５は、第一カメラ３、モーションセンサ４、及び第二カメラ５から取得した来店者の特徴情報や骨格情報に対応する座標とその検出時刻の対応関係と、商品検知センサ６のセンサＩＤに紐づいて記録される商品のＩＤや座標と、その検出時刻との対応関係と、に基づいて来店者データテーブルから来店者ＩＤを特定する。店舗管理装置１の販売管理部１６は、来店者ＩＤと第二カメラ５が撮影した画像から特定された商品ＩＤとを紐づけてデータベース４０に記録される販売管理情報を更新する。販売管理部１６は、販売管理情報を来店者の近傍の商品棚２１に設置された店舗設置端末装置２２の表示部に表示してもよい。これにより、来店者は、自身が手に取ってカートに入れた商品の一覧を確認することができる。

商品検知センサ６は、来店者が手に取った商品を商品棚２１に戻した場合には、その商品検知センサ６のセンサＩＤや商品棚２１におけるその商品の店舗２０内の座標などの位置情報を含む商品返品行為情報を店舗管理装置１へ送信する。販売管理部１６は、商品返品行為情報が示す商品検知センサ６のセンサＩＤに紐づけて記憶する商品のＩＤや位置情報、並びに、来店者の特徴情報や骨格情報に基づいて、販売管理情報に記録されている来店者ＩＤと商品ＩＤとの紐づけを解除する。店舗管理装置１の処理対象者特定部１５は、来店者ＩＤと商品ＩＤとの紐づけを解除した場合でも、処理対象者に相当する来店者ＩＤを来店者データテーブルから特定する。

店舗管理装置１の行為検出部１４は、商品検知センサ６の検知情報の代わりに、第二カメラ５から取得した画像に基づいて、来店者が手に取った商品の識別情報と店舗２０内の商品棚２１におけるその商品の座標とを検出してもよい。また、行為検出部１４は、第二カメラ５から取得した画像に基づいて、来店者が商品棚２１に戻した商品の識別情報と店舗２０内の商品棚２１におけるその商品の座標とを検出してもよい。つまり、行為検出部１４は、商品検知センサ６の検知情報と第二カメラ５の画像情報の少なくとも一方に基づいて、商品に対する来店者の移動行為を検出すればよい。

上述の処理により、店舗管理装置１の販売管理部１６は、来店者がどの商品を手に取ったかの情報、或いは、来店者がどの商品を商品棚２１に戻したかの情報を記憶することができる。また、来店者選択部１１は、来店者が退店時に入退ゲート２を通過するときに、入退口カメラ２４から来店者の顔画像を取得し、その顔画像の特徴量に基づいて特定した来店者ＩＤを来店者データテーブルから削除してもよい。販売管理部１６は、来店者が入退ゲート２を通過して退店したときに、データベース４０の販売管理情報に記録されている来店者ＩＤと、商品ＩＤとの関係に従って、来店者の購入商品を自動的に検出することができる。販売管理部１６は、データベース４０に記録されている来店者ＩＤと、商品ＩＤと、来店者の決済用クレジットカード番号などを用いて、自動決済処理を行うことができる。

図７は、店舗管理装置１による第一の来店者特定処理のフローチャートである（ステップＳ２０１～Ｓ２１０）。次に、来店者の近傍に設置された表示装置（例えば、商品棚２１に設置された店舗設置端末装置２２）に表示する販売管理情報の更新において処理対象者を特定する処理手順について説明する。

例えば、来店者が店舗２０内を歩いて所定の商品棚２１の前に位置して、その商品棚２１に陳列されている商品を手に取った事例を想定する。この場合、店舗管理装置１の第一情報取得部１２は、第一カメラ３から取得した画像に基づいて、商品棚２１の商品に近接する来店者（処理対象者）の顔特徴情報の店舗２０内の空間における３次元座標を示す第一位置情報を生成する。店舗管理装置１の第二位置情報取得部１３は、モーションセンサ４から取得したセンシング情報に基づいて、来店者（処理対象者）が商品に手を伸ばしたときの手の先端の３次元座標を示す第二位置情報を生成する。そして、行為検出部１４は、商品検知センサ６から取得した商品の移動情報とその商品の座標とに基づいて、来店者（処理対象者）の手の先端に位置する商品の３次元座標を示す第三位置情報を検出する。行為検出部１４は、第一位置情報、第二位置情報、及び第三位置情報の関係に従って、どのような顔画像の来店者がどの商品を取得したかを識別する。

次に、具体的な処理手順について、図７を参照して説明する。来店者のＩＤを特定するときに、店舗管理装置１の来店者選択部１１は、入退口カメラ２４（又は第一カメラ３）から来店者の顔画像を受信する（Ｓ２０１）。来店者選択部１１は、来店者の顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されているかを判定する（Ｓ２０２）。来店者の顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されている場合、その特徴量に紐づく来店者ＩＤを来店者データテーブルから読み取る（Ｓ２０３）。来店者選択部１１は、来店者ＩＤを処理対象者特定部１５へ送る。これにより、処理対象者特定部１５は、処理対象者（すなわち、来店者ＩＤを有する来店者又は登録ユーザ）を特定することができる。処理対象者特定部１５は、来店者ＩＤを販売管理部１６へ送り、販売管理部１６は、その来店者ＩＤに関連する販売管理情報を特定する（Ｓ２０４）。販売管理部１６は、第三位置情報に従って特定できる商品ＩＤに基づいて、その販売管理情報に含まれる各種商品のＩＤと数量を更新する（Ｓ２０５）。このようにして、販売管理部１６は、販売管理情報を更新することができる。

ステップＳ２０２において、入退口カメラ２４（又は第一カメラ３）から受信した顔画像の特徴量と一致する特徴量を有する顔画像が来店者データテーブルに記録されていないと判定した場合、処理対象者特定部１５は、その判定処理の実行回数が所定回数に到達しているか判定する（Ｓ２０６）。ステップＳ２０２の判定処理が所定回数繰り返していない場合には、処理対象者特定部１５は、来店者コードの入力要求を出力するよう指示する。情報出力部１７は、処理対象者特定部１５の指示に従って、来店者近傍の商品棚２１に設置される店舗設置端末装置２２（本実施例における入力装置の一態様）に対して、来店者コードの入力要求を送信する（Ｓ２０７）。来店者コードは、来店者を一意に特定するために来店者に通知されるＰＩＮ（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｎｕｍｂｅｒ）や暗唱番号などである。顔画像の特徴量を用いた顔認証により来店者を特定できない場合には、来店者にＰＩＮの入力を要求することにより、来店者の認証精度を高めることができる。

店舗設置端末装置２２は、来店者に来店者コードを入力することを促す入力要求メッセージを出力する。なお、入力要求メッセージは、スピーカで音声出力してもよい。或いは、店舗設置端末装置２２のモニタ画面上に入力要求メッセージを表示してもよい。これにより、来店者は入力装置（例えば、店舗設置端末装置２２）のユーザインタフェースを介して来店者コードを入力する。店舗設置端末装置２２は、来店者コードを店舗管理装置１へ送信する。店舗管理装置１の処理対象者特定部１５は、店舗設置端末装置２２から来店者コードを受信できたか判定する（Ｓ２０８）。データベース４０には、登録ユーザＩＤと来店者コードとの対応関係が予め記憶されている。処理対象者特定部１５は、来店者コードを受信すると、その来店者コードを来店者選択部１１へ送る。来店者選択部１１は、その来店者コードに紐づく登録ユーザＩＤをデータベース４０から取得し、来店者ＩＤとして来店者データテーブルに記録する。上述の処理手順は、来店者選択部１１が入力装置を介して取得した来店者コードに基づいて、予め記憶する複数の登録ユーザの中から来店者に対応する登録ユーザを選択する処理手順の一態様である。処理対象者特定部１５は、来店者ＩＤに対応する顔特徴量をデータベース４０から読み取って、その顔特徴量と来店者ＩＤとを紐づけて来店者テーブルに記録する。これにより、処理対象者特定部１５は、新たな来店者に係る情報を来店者テーブルに追加する（Ｓ２０９）。

その後、来店者選択部１１は、ステップＳ２０２の判定処理を繰り返す。ステップＳ２０８において、処理対象者特定部１５が来店者コードを受信できない場合、ステップＳ２０６の判定処理を繰り返す。ステップＳ２０６において、入退口カメラ２４（又は第一カメラ３）から受信した顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されていないと判定した回数が所定回数に達すると判定した場合、処理対象者特定部１５は、来店者の特定不可を示す信号を販売管理部１６へ送信する（Ｓ２１０）。販売管理部１６は、特定不可信号を受信すると、販売管理情報の更新を中止する。そして、販売管理部１６は、来店者が特定できないことを通知する通知情報を店舗設置端末装置２２に表示する。これにより、来店者は店舗管理装置１が来店者自身を自動的に識別できなかったことを認知することができる。

図８は、店舗管理装置１による第二の来店者特定処理のフローチャートである（ステップＳ３０１～Ｓ３１０）。次に、上述の処理手順により作成された来店者データテーブルを用いて、自動決済処理を行うときに処理対象者を特定する処理手順について説明する。
例えば、自動決済処理において来店者が店舗２０に設置された決済用端末装置の前に移動する事例を想定する。決済用端末装置にはカメラが設けられており、その前に位置する人物（来店者又は登録ユーザ）の顔画像を撮影する。カメラは、来店者の顔画像を店舗管理装置１へ送信する。店舗管理装置１の来店者選択部１１は、カメラから来店者の顔画像を受信する（Ｓ３０１）。来店者選択部１１は、来店者の顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されているか判定する（Ｓ３０２）。来店者の顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されている場合、その顔特徴量に紐づく来店者ＩＤを来店者データテーブルから読み取る（Ｓ３０３）。来店者選択部１１は、その来店者ＩＤを処理対象者特定部１５に送る。これにより、処理対象者特定部１５は、その来店者を処理対象者として特定することができる。処理対象者特定部１５は、来店者ＩＤを販売管理部１６へ送る。販売管理部１６は、その来店者ＩＤを保持する販売管理情報を特定する（Ｓ３０４）。販売管理部１６は、その販売管理情報に含まれる各種商品のＩＤと数量を取得する。販売管理部１６は、商品ＩＤに紐づいてデータベース４０に登録されている金額を取得する。販売管理部１６は、商品ＩＤに係る商品の数量とその金額に基づいて、合計金額を算出する。販売管理部１６は、来店者ＩＤに紐づいてデータベース４０に登録されているクレジットカード番号を取得する。販売管理部１６は、合計金額とクレジットカード番号とを含む決済要求を、通信ネットワークを介して接続された外部の決済サーバへ送信する（Ｓ３０５）。これにより、決済サーバにて自動決済処理が行われる。

ステップＳ３０２において、顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されていないと判定した場合、その判定処理の実行回数が所定回数に達しているか判定する（Ｓ３０６）。判定回数が所定回数に達していいない場合、処理対象者特定部１５は、来店者コードの入力要求を出力するよう情報出力部１７に指示する。情報出力部１７は、処理対象者特定部１５に指示に従って、決済用端末装置（入力装置の一態様）に対して来店者コードの入力要求を送信する（Ｓ３０７）。なお、来店者コードは、来店者を一意に特定するために来店者に通知されたＰＩＮなどを意味する。顔画像の特徴量を用いた顔認証により来店者を特定できない場合には、来店者にＰＩＮの入力を要求することで、来店者の認証精度を高めることができる。

決済用端末装置などの入力装置は、来店者コードを入力するよう来店者に促す入力要求メッセージを出力する。この入力要求メッセージは、音声でスピーカから出力してもよい。或いは、入力装置に備わるモニタ画面に入力要求メッセージを出力してもよい。これにより、来店者は、入力装置のユーザインタフェースを介して、来店者コードを入力する。入力装置は、来店者コードを店舗管理装置１へ送信する。店舗管理装置１の処理対象者特定部１５は、来店者コードを入力できたか判定する（Ｓ３０８）。

データベース４０には、登録ユーザＩＤと来店者コードとの対応関係が予め記録されている。処理対象者特定部１５は、来店者コードを受信すると、その来店者コードを来店者選択部１１へ送る。来店者選択部１１は、その来店者コードに紐づく登録ユーザＩＤをデータベース４０から取得し、来店者ＩＤとして来店者データテーブルに記録する。また、来店者選択部１１は、来店者ＩＤに対応する顔特徴量をデータベース４０から読み取って、その顔特徴量と来店者ＩＤとを紐づけて来店者テーブルに記録する。これにより、来店者選択部１１は、新たな来店者の情報を来店者テーブルに記録する（Ｓ３０９）。

来店者選択部１１は、上述のステップＳ３０２を繰り返し実行する。ステップＳ３０８において、処理対象者特定部１５が来店者コードを受信できない場合、ステップＳ３０６を繰り返し実行する。ステップＳ３０６において、顔特徴量が来店者テーブルに記録されていないと判定した回数が所定回数に達すると、処理対象者特定部１５は、来店者の特定不可を示す信号を販売管理部１６へ送る（Ｓ３１０）。販売管理部１６は、特定不可信号を受信すると、自動決済処理を中止する。そして、販売管理部１６は、通常の決済処理を行うよう決済用端末に要求する。決済用端末では、来店者（又は顧客）に購入商品を明示して合計金額に相当する貨幣を貨幣投入口へ投入するよう促す。

店舗管理装置１は、来店者データテーブルを用いて、自動決済処理、推奨品一覧の提示処理、来店者がカートに入れた商品（或いは、来店者による移動行為が行われた商品）の記憶などの所定処理において、来店者ＩＤを特定する。つまり、店舗管理装置１は、店舗２０における所定処理において来店者ＩＤを特定する場合、新たな来店者の顔画像の特徴量と、来店者データテーブルに記録される来店者ＩＤに紐づく顔画像の特徴量との一致度を算出し、その一致度が高い来店者ＩＤを、多くの登録ユーザから抽出された来店者のみの情報を記録した来店者データテーブルの記録情報から特定する。これにより、店舗管理装置１において、来店者の特定精度が高まる。また、店舗管理装置１における来店者ＩＤを特定する処理の実行速度が高まる。上述の所定処理において、来店者の携帯する端末装置７や店舗２０内に設置された店舗設置端末装置２２を用いて応答した来店者のみについて顔認証による来店者の特定を行っているため、自動決済処理や販売管理情報の更新などの所定処理を、来店者の特定誤り無しに高精度で実行することができる。

図９は、店舗管理装置１の最小構成を示す。店舗管理装置１は、少なくとも、来店者選択部１１と、処理対象者特定部１５とを備える。来店者選択部１１は、来店者選択部１１は、予め記憶する複数の登録ユーザの中から来店者に対応する登録ユーザを選択する。処理対象者特定部１５は、来店者に対応する登録ユーザの生体情報の集合と、店舗２０における所定処理の実行タイミングにおいて新たに検出した来店者の生体情報と、を用いて認証処理を実行して、所定処理の対象とする来店者を特定する。

上述の店舗管理装置１は、内部にコンピュータシステムを有している。そして、上述の処理過程は、コンピュータプログラムとしてコンピュータ読取り可能な記録媒体に記録されている。コンピュータがコンピュータプログラムを読み出して実行することにより、上述の処理過程が実施される。ここで、コンピュータ読取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどをいう。また、コンピュータプログラムを通信回線を介してコンピュータに配信し、そのコンピュータがコンピュータプログラムを実行するようにしてもよい。

上述のコンピュータプログラムは、上述の機能の一部を実現するためのものでもよい。或いは、上述のコンピュータプログラムは、コンピュータシステムのプリインストールプログラムとの組み合せで上述の機能を実現できるような、いわゆる差分ファイル（差分プログラム）であってもよい。

最後に、本発明は、上述の実施例に限定されるものではなく、添付の請求の範囲に規定される発明の範囲内における種々の改変や設計変更をも包含するものである。

本願は、２０１８年３月２０日に、日本国に出願された特願２０１８－５２７１８号に基づき優先権を主張し、その内容をここに援用する。

本発明は、店舗内において来店者の顔特徴量と登録済の顧客の顔特徴量との照合により来店者の顔認証を行って、自動決済処理などを実行するものであるが、人物の顔特徴量と生体情報とを組み合わせて認証処理を行っているため、鉄道施設や空港施設などに設置された種々の認証機器にも適用可能である。

１ 店舗管理装置
２ 入退ゲート
３ 第一カメラ
４ モーションセンサ
５ 第二カメラ
６ 商品検知センサ
７ 端末装置
１０ 制御部
１１ 来店者選択部
１２ 第一位置情報取得部
１３ 第二位置情報取得部
１４ 行為検出部
１５ 処理対象者特定部
１６ 販売管理部
１７ 情報出力部
２０ 店舗
２１ 商品棚
２２ 店舗設置端末装置
２４ 入退口カメラ
４０ データベース

Claims (9)

1. 店舗に来店する来店者の顔認証により本人確認を行うときに、前記来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、その選択された登録済顧客について本人確認情報を前記来店者の携帯する端末装置に送信し、前記来店者により前記本人確認情報が了承されたときに、前記登録済顧客の識別情報を前記来店者の識別情報として来店者データテーブルに記録する来店者選択部と、
   前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定する処理対象者特定部と、
   を備える店舗管理装置。
2. 店舗に来店する来店者の顔認証により本人確認を行うときに、前記来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択する来店者選択部と、
   前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定する処理対象者特定部と、
   を備え、
   前記処理対象者特定部は、前記所定処理の対象者を特定できない場合に、前記来店者に対して来店者コードの入力要求を送信し、前記来店者から前記来店者コードが提示されると、前記来店者選択部は、前記来店者コードに基づいて前記複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択する、
   店舗管理装置。
3. 前記来店者選択部は、前記複数の登録済顧客の全ての生体情報を記録したデータベースを参照して、前記来店者に対応して選択された登録済顧客のみを前記来店者データテーブルに記録し、前記処理対象者特定部は、前記来店者データテーブルを参照して、前記所定処理の対象者を特定する、
   請求項１に記載の店舗管理装置。
4. 前記店舗内における前記所定処理の実行タイミングは、前記来店者が商品を取得したタイミングであり、当該タイミングにおいて、前記処理対象者特定部は、前記来店者の認証を行う、
   請求項１に記載の店舗管理装置。
5. 前記処理対象者特定部は、前記来店者に対応する登録済顧客の生体情報と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報との、一致度を算出し、前記一致度の高い前記来店者の識別情報を前記来店者データテーブルを参照して特定する、
   請求項３に記載の店舗管理装置。
6. 店舗管理装置が、
   店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、その選択された登録済顧客について本人確認情報を前記来店者の携帯する端末装置に送信し、前記来店者により前記本人確認情報が了承されたときに、前記登録済顧客の識別情報を前記来店者の識別情報として来店者データテーブルに記録し、
   前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定する、
   を備える店舗管理方法。
7. コンピュータにより実行されるプログラムであって、
   店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、その選択された登録済顧客について本人確認情報を前記来店者の携帯する端末装置に送信し、前記来店者により前記本人確認情報が了承されたときに、前記登録済顧客の識別情報を前記来店者の識別情報として来店者データテーブルに記録し、
   前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定する、
   プログラム。
8. 店舗管理装置の来店者選択部が、店舗に来店する来店者の顔認証により本人確認を行うときに、前記来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、
   前記店舗管理装置の処理対象者特定部が、前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定し、
   前記処理対象者特定部は、前記所定処理の対象者を特定できない場合に、前記来店者に対して来店者コードの入力要求を送信し、前記来店者から前記来店者コードが提示されると、前記来店者選択部は、前記来店者コードに基づいて前記複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択する、
   店舗管理方法。
9. 店舗管理装置のコンピュータにより実行されるプログラムであって、
   前記店舗管理装置の来店者選択手段が、店舗に来店する来店者の顔認証により本人確認を行うときに、前記来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、
   前記店舗管理装置の処理対象者特定手段が、前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定し、
   前記処理対象者特定手段は、前記所定処理の対象者を特定できない場合に、前記来店者に対して来店者コードの入力要求を送信し、前記来店者から前記来店者コードが提示されると、前記来店者選択手段は、前記来店者コードに基づいて前記複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択する、
   プログラム。

Images