TW201941139A - 商店管理裝置以及商店管理方法 - Google Patents

Abstract

商店管理裝置係藉由來到商店的來店者的臉部認證進行本人確認時，與來店者所攜帶的終端裝置進行通訊，由複數登錄完畢顧客之中選擇對應來店者的登錄完畢顧客，使用對應來店者的登錄完畢顧客的生物體資訊的集合、及在商店內的預定處理的執行時序新取得的來店者的生物體資訊，進行認證，將來店者特定為預定處理（商品購入時的結算處理等）的對象者。藉此，可提高來店者的識別資訊的特定精度。

Description

商店管理裝置以及商店管理方法

本發明係關於對商店的來店者進行認證的商店管理裝置以及商店管理方法。

近年來已開發出一種對商店顧客進行臉部認證來特定顧客，且進行購買品的付款的結算的臉部認證結算系統。因此，圖求一種在商店自動特定來店者的技術。例如，若將來店者在商店取在手中的商品進行自動結算，必須自動特定該來店者。

以取得人物的臉部畫像而與登錄資訊進行對照，以特定個人的技術而言，列舉專利文獻1及專利文獻2。專利文獻1係揭示一種將受驗者的臉部畫像與虹膜畫像與登錄資訊進行對照來識別個人的個體識別裝置。專利文獻2係揭示一種使用臉部認證來進行顧客管理的資訊處理系統，對照來店者的臉部資訊與登錄資訊來進行臉部認證，且使用會員登錄資訊來進行結算處理者。
［先前技術文獻］
［非專利文獻］

［專利文獻1］日本特開2000-102524號公報
［專利文獻2］日本特開2016-126749號公報

［發明所欲解決之課題］

在商品販賣業務中，為了由多數登錄者之中特定商店的來店者，必須要有高精度的臉部認證技術。近年來的臉部認證技術係提升至可正確認證大部分人物的精度。但是，在臉部認證係有誤辨識率（本人否決率、他人容許率），若基於某些理由，針對來店者進行不正確的臉部認證時，有特定與商店所登錄的顧客為不同的來店者的可能性。

本發明係為解決上述課題而完成者，目的在提供可減低臉部認證的誤辨識率的商店管理裝置以及商店管理方法。
［用以解決課題之手段］

藉由本發明之第1態樣，商店管理裝置係具備有：藉由來到商店的來店者的臉部認證進行本人確認時，與來店者所攜帶的終端裝置進行通訊，由複數登錄完畢顧客之中選擇對應來店者的登錄完畢顧客的來店者選擇部；及使用對應來店者的登錄完畢顧客的生物體資訊的集合、及在商店內的預定處理的執行時序新取得的來店者的生物體資訊，進行認證，將來店者特定為前述預定處理的對象者的處理對象者特定部。

藉由本發明之第2態樣，商店管理方法係藉由來到商店的來店者的臉部認證進行本人確認時，與來店者所攜帶的終端裝置進行通訊，由複數登錄完畢顧客之中選擇對應來店者的登錄完畢顧客，使用對應來店者的登錄完畢顧客的生物體資訊的集合、及在商店內的預定處理的執行時序新取得的來店者的生物體資訊，進行認證，將來店者特定為預定處理的對象者。

本發明之第3態樣係藉由電腦所執行的程式，藉由來到商店的來店者的臉部認證進行本人確認時，與來店者所攜帶的終端裝置進行通訊，由複數登錄完畢顧客之中選擇對應來店者的登錄完畢顧客，使用對應來店者的登錄完畢顧客的生物體資訊的集合、及在商店內的預定處理的執行時序新取得的來店者的生物體資訊，進行認證，將來店者特定為預定處理的對象者。
［發明之效果］

藉由本發明，可提高商店內的預定處理（商品購入的結算處理等）所使用的來店者的識別資訊的特定精度。

連同實施例一起參照所附圖式，詳加說明本發明之商店管理裝置以及商店管理方法。
圖1係顯示設置本發明之一實施例之商店管理系統100的商店20的佈局。商店管理系統100係具備商店管理裝置1，此係與設在商店20的各種裝置作通訊連接。在商店20係設置有進出閘門2，且設置有複數商品棚架21。在商品棚架21陳列有各種商品。

在藉由商店管理系統100所管理的商店20中，係形成為來店者通過進出閘門2而進入商店或退出商店的構造。在進出閘門2係設有進出口攝影機24。進出口攝影機24係對通過進出閘門2而進入商店的來店者的臉部畫像進行攝影，而送訊至商店管理裝置1。

商店20係可為店員常駐的有人商店，亦可為無店員常駐的無人商店。來店者係進行以手碰觸陳列在商品棚架21的商品，將商品取在手中，且放入推車等一連串動作之後，通過進出閘門2而退出商店。來店者通過進出閘門2而進入商店之後至退出商店之間，設在商店20內的攝影裝置或動作感測器等感測裝置取得來店者的特徵資訊或位置資訊、該來店者所選擇出的商品的識別資訊或用以判定商品的陳列位置的感測資訊，且送訊至商店管理裝置1。商店管理裝置1係使用感測資訊，進行自動結算處理、推薦品一覽的提示處理、有關來店者投入推車的商品的資訊記憶處理等預定處理。

為進行上述預定處理，商店管理裝置1係必須以高精度特定來店者。因此，商店管理裝置1係在資料庫等預先記憶有多數顧客（例如指數萬人或數百萬人進行使用者登錄的顧客，以下稱為登錄完畢顧客或登錄使用者）的資訊，必須從其中選擇對應商店20的來店者的登錄完畢顧客。此外，商店管理裝置1係使用對應來店者的登錄完畢顧客的生物體資訊的集合、及在預定處理的執行時序在商店20內新取得的來店者的生物體資訊，進行認證，且特定作為商店20內的預定處理的對象的來店者。

圖2係顯示商店管理裝置1特定來店者的處理的概要。如圖2的左側所示，來店者通過進出閘門2而來到商店20時，進出口攝影機24係對來店者的臉部畫像進行攝影，且送訊至商店管理裝置1。商店管理裝置1係根據來店者的臉部畫像，由預先記錄在資料庫等的複數登錄完畢顧客之中，選擇對應來店者的臉部畫像的顧客。商店管理裝置1係對顧客的終端裝置傳送來店時的本人確認資訊241。商店管理裝置1係若由顧客的終端裝置接收本人確認資訊241表示來店者本人的訊號時，在來店者用資料表格記錄該登錄完畢顧客的識別資訊。圖2（A）係顯示當商店管理裝置1使用來店者表格來記錄來店者放入推車的商品的識別資訊時，特定來店者的處理。圖2（B）係顯示當商店管理裝置1將來店者放入推車的商品付款進行自動結算時，特定成為自動結算處理的對象的來店者的處理。亦即，商店管理裝置1係參照記錄有全部登錄完畢顧客的生物體資訊的資料庫，作成記錄有僅為對應來店者的登錄完畢顧客的生物體資訊的來店者資料表格。接著，商店管理裝置1係使用來店者資料表格，來特定商店20內作為預定處理的對象的來店者。若為圖2（A）的情形，當來店者購入商品後而要退出商店時，針對來店者所購買的商品金額的付款進行自動結算處理時，特定該來店者。若為圖2（B）的情形，特定來店者購入商品後而到收銀台，店員或來店者自身以POS終端機的條碼讀取機等讀取附在購入商品的條碼等商品資訊後之成為結算處理的對象的來店者。

圖3係顯示在商店20內，選擇陳列在商品棚架21的商品的來店者的樣子。在圖3中，連結成交錯狀作為複數商品棚架21，來店者係選擇陳列在右側棚架的商品。在此，亦可在商品棚架21的各個設置複數第一攝影機3。在商品棚架21的資訊係設置感測來店者之舉動的動作感測器4。此外，在商品棚架21的上部係設置對來店者已取在手中的商品、或來店者已放回商品棚架21的商品的畫像進行攝影的第二攝影機5。其中，第一攝影機3或第二攝影機5亦可設置在商店20的天花板或地板，而不需要直接設置在商品棚架21。亦即，第一攝影機3或第二攝影機5若為可對來店者從商品棚架21中選擇而已取在手中的商品、或來店者已放回商品棚架21的商品的畫像進行攝影的位置，亦可設在商店20內的任何位置。在商品棚架21亦可具備有商店設置終端裝置22。

圖4係顯示商店管理裝置1的硬體構成。商店管理裝置1係具備有：CPU（Central Processing Unit，中央處理單元）101、ROM（Read Only Memory，唯讀記憶體）102、RAM（Random Access Memory，隨機存取記憶體）103、HDD（Hard Disk Drive，硬碟驅動機）104、介面105、通訊模組106。其中，HDD104亦可為SSD（Solid State Drive，固態硬碟）。

圖5係與商店20內的複數感測裝置作通訊連接的商店管理裝置1的功能區塊圖。商店管理裝置1的功能部係藉由CPU101讀出預先記憶在記憶部的商店管理程式來執行而予以構裝。亦即，商店管理裝置1係具備有：控制部10、來店者選擇部11、第一位置資訊取得部12、第二位置資訊取得部13、行為檢測部14、處理對象者特定部15、販賣管理部16、及資訊輸出部17，作為功能部。

如圖5所示，商店管理裝置1係與資料庫40相連接。商店管理裝置1係透過第一通訊網路8而與設置在商店20內的各種感測裝置作通訊連接，且與進出閘門2、第一攝影機3、動作感測器4、第二攝影機5、商品感測感測器6、閘門裝置23、進出口攝影機24、及其他閘門裝置27相連接。第一網路8係將商店管理裝置1與商店20內的各種感測裝置相連的專用的通訊網路。商店管理裝置1係透過第二通訊網路9而與商店20的來店者所攜帶的終端裝置7作通訊連接。第二通訊網路係行動電話網路、無線通訊網路、網際網路。其中，終端裝置7亦可在來店者進入至商店20時，與第一通訊網路8作通訊連接。

在商店管理裝置1中，第一位置資訊取得部12係可根據藉由第一攝影機3所取得的畫像，取得表示接近商品棚架21的來店者的生物體特徵資訊的位置的第一位置資訊。第一攝影機3係被使用在用以檢測映照在其攝影範圍的人物的生物體特徵資訊者。例如，第一攝影機3係設置在商品棚架21的各個，對位於商品棚架21之前的人物的臉部進行攝影。其中，生物體特徵資訊亦可為人物的臉部的特徵資訊、或人物的眼睛的虹膜的特徵資訊。商店管理裝置1亦可根據由第一攝影機3所取得之位於商品棚架21之前的人物的臉部畫像，由預先記憶的複數顧客之中，選擇對應來店者的顧客，來取代由進出口攝影機24所取得的來店時的來店者的臉部畫像。接著，商店管理裝置1係對該來店者所攜帶的終端裝置7傳送本人確認資訊241。商店管理裝置1係若由終端裝置7接收表示來店者為登錄完畢顧客的訊號時，亦可在來店者資料表格記錄該登錄完畢顧客的識別資訊。具體而言，商店管理裝置1係特定對應來店者的登錄完畢顧客，對該來店者的終端裝置7傳送來店時的本人確認資訊241。在本人確認資訊241係顯示對來店者的問候文、進入商店鍵、取消鍵等圖標。來店者的終端裝置7係顯示本人確認資訊241。來店者係在被顯示在終端裝置7的本人確認資訊241中，操作進入商店鍵。若檢測進入商店鍵的操作，終端裝置7係將表示來店者為登錄完畢顧客的許可資訊傳送至商店管理裝置1。若由終端裝置7接收許可資訊，商店管理裝置1係將對應該來店者的顧客的識別資訊記錄在來店者資料表格。另一方面，若來店者非為本人確認資訊241所示之顧客，來店者係在終端裝置7中操作取消鍵。若檢測取消鍵的操作，終端裝置7係將不許可資訊傳送至商店管理裝置1。若由終端裝置7接收不許可資訊，商店管理裝置1係停止被記載在本人確認資訊241的顧客的識別資訊記錄在來店者資料表格。

在商店管理裝置1中，第二位置資訊取得部13係根據由動作感測器4所得的感測資訊，檢測表示近接位於商品棚架21而對商品伸出手的來店者的位置的第二位置資訊。動作感測器4係被設置在例如商店20的天花板的商品棚架21的資訊的位置，由天花板感測位於下方的來客者的舉動。接著，行為檢測部14係檢測對陳列在商品棚架21的商品的來客者的移動行為。例如，行為檢測部14係根據由對陳列在商品棚架21的商品進行攝影的第二攝影機5所取得的畫像、或由商品感測感測器6所取得的資訊，來檢測對商品的來客者的移動行為。來客者的移動行為意指來客者對商品棚架21伸出手而碰觸到商品的行為、將該商品取在手中的行為、將該商品放回商品棚架21的行為、將該商品放入推車的行為等。處理對象者特定部15係根據供在來客者的移動行為的商品的識別資訊（ID）或位置、第一位置資訊與第二位置資訊的位置關係，判定已進行對商品之移動行為的來客者的生物體特徵資訊，由來店者資料表格檢索對應該生物體特徵資訊的來客者（或顧客）的識別資訊（ID）。接著，處理對象者特定部15係執行將藉由來客者資料表格的檢索所特定出的處理對象者（亦即來客者或顧客）的識別資訊（ID）所對應的販賣管理資訊等、及供作來客者之移動行為的商品的識別資訊進行分配的管理措施。藉此，商店管理裝置1係可針對哪位來客者選擇了哪個商品，來進行管理措施。其中，來店者資料表格亦可記錄僅為由多數登錄完畢顧客（登錄使用者）之中所被選擇出的來客者的資訊。如上所述，本實施例係可提升特定處理對象者的識別資訊（ID）的精度。

圖6係藉由商店管理裝置1所為之來店者資料表格生成處理的流程圖（步驟S101～S106）。來店者選擇部11係由進出口攝影機24取得來店者的臉部畫像（S101）。來店者選擇部11係將來店者的臉部畫像的特徵量、與被記錄在資料庫40的登錄使用者（登錄完畢顧客）的臉部畫像的特徵量進行比較，而選擇最近似的登錄使用者的臉部畫像（S102）。來店者選擇部11係讀取與從資料庫40中所選擇的臉部畫像相關連的登錄使用者ID，取得與該登錄使用者ID相關連而記錄在資料庫40的登錄使用者所攜帶的終端裝置7的位址（S103）。資訊輸出部17係對來店者選擇部11所取得的終端裝置7的位址傳送本人確認資訊241（S104）。

本人確認資訊係對攜帶終端裝置7的登錄使用者，催促確認是否為來店者本人的畫面資訊，具備觸控面板顯示器的終端裝置7係根據本人確認資訊241（參照圖2），生成預定的畫像而顯示在畫面上。在預定畫像係顯示指定攜帶終端裝置7的人物是否為來店者本人的圖標按鍵。若操作指定攜帶終端7的攜帶者為來店者本人的圖標按鍵時，終端裝置7係將表示為來店者的許可資訊傳送至商店管理裝置1。另一方面，若操作指定終端裝置7的攜帶者非為來店者的圖標按鍵時，終端裝置7係將表示非為來店者的不許可資訊傳送至商店管理裝置1。

來店者選擇部11係判定是否由終端裝置7已接收到許可資訊（S105）。來店者選擇部11係若接收許可資訊，將由資料庫40所選擇出的登錄使用者ID作為來店者ID而記錄在來店者資料表格（S106）。此時，亦可生成或更新來店者資料表格。來店者選擇部11係由資料庫40讀取對應記錄在來店者資料表格的來店者ID的臉部特徵量，將該臉部特徵量與來店者ID相關連而記錄在來店者資料表格。藉此，生成保持多數登錄使用者之中僅為來店者的資訊的來店者資料表格。該處理係來店者選擇部11透過與來店者所攜帶的終端裝置7的通訊，由預先記憶的複數登錄使用者之中，選擇對應來店者的登錄使用者的處理的一態樣。來店者選擇部11係若接收不許可資訊，停止將從資料庫40中所選擇出的登錄使用者ID作為來店者ID而記錄在來店者資料表格的處理。

其中，商店管理裝置1的來店者選擇部11亦可取代由進出口攝影機24所取得的來店者的臉部畫像，而使用由設在商品棚架21的第一攝影機3所取得的來店者的臉部畫像，藉由與上述步驟S101～S106相同的處理，生成來店者資料表格。

此外，來店者選擇部11係若預先記憶登錄使用者ID與終端裝置7的ID的對應關係，且感測到終端裝置7與第一通訊網路8相連接時，亦可將與該終端裝置7的ID相關連的登錄使用者ID作為來店者ID而記錄在來店者資料表格。

若在上述步驟S105中接收到不許可資訊，或者，若將本人確認資訊241傳送至終端裝置7之後經過預定時間而至逾時為止之間無法接收許可資訊或不許可資訊時，來店者選擇部11係中止針對該來店者的來店者ID登錄在來店者資料表格，而結束來店者資料表格生成處理。藉由上述步驟S101～S106，以來店者進入至商店20為契機而生成來店者資料表格。

上述來店者資料表格係被利用在檢測來店者對陳列在商品棚架21的商品的移動行為。具體而言，來店者通過商店20的進出閘門2時，進出口攝影機24對來店者的臉部畫像進行攝影而送訊至商店管理裝置1。商店管理裝置1的來店者選擇部11係對照來店者的臉部畫像的特徵量、及預先被登錄在資料庫40的多數登錄使用者的臉部畫像的特徵量，特定對應來店者的臉部畫像的登錄使用者的臉部畫像。接著，來店者選擇部11係選擇被記錄在資料庫40的登錄使用者的ID作為來店者ID。來店者選擇部11係將該來店者ID追加在來店者資料表格而進行更新。此外，商店管理裝置1的販賣管理部16係與來店者等人物的ID相關連而生成販賣管理資訊。在現時點，販賣管理資訊與商品資訊並未相關連。第一攝影機3係由商品棚架21側對位於商品棚架21之前的來店者的畫像進行攝影，且將所攝影到的靜止畫像或動態畫像傳送至商店管理裝置1。被設置在商店20的天花板的動作感測器4係由商品棚架21的上方感測位於下方的來店者的舉動，且將該感測資訊傳送至商店管理裝置1。動作感測器4的感測資訊亦可為例如將至使用紅外線所感測到的物體或人物為止的距離轉換成畫像的距離畫像。

商品感測感測器6係按陳列在商品棚架21的每個商品作設置。具體而言，商品感測感測器6係具有被舖在商品之下的薄片狀形狀，亦可為檢測因商品重量所致之壓力的壓力感測器、或檢測商品重量的重量感測器。例如，若來店者將陳列在商品棚架21的商品取在手中，商品感測感測器6係將該感測器ID、及包含商店20內的商品棚架21中該商品的座標的商品取得訊號傳送至商店管理裝置1。商店管理裝置1的處理對象者特定部15係根據由第一攝影機3、動作感測器4、及第二攝影機5所取得的來店者的特徵資訊或骨架資訊所對應的座標與該檢測時刻的對應關係、與商品感測感測器6的感測器ID相關連所記錄的商品的ID或座標、及與該檢測時刻的對應關係，由來店者資料表格特定來店者ID。商店管理裝置1的販賣管理部16係使來店者ID與由第二攝影機5所攝影到的畫像所特定出的商品ID相關連，來更新被記錄在資料庫40的販賣管理資訊。販賣管理部16亦可將販賣管理資訊顯示在被設置在來店者近傍的商品棚架21的商店設置終端裝置22的顯示部。藉此，來店者係可確認自身取在手中而放入推車的商品一覽。

商品感測感測器6係若來店者將原取在手中的商品放回商品棚架21時，將包含該商品感測感測器6的感測器ID或商品棚架21中該商品的商店20內的座標等位置資訊的商品退換行為資訊傳送至商店管理裝置1。販賣管理部16係根據與商品退換行為資訊所示之商品感測感測器6的感測器ID相關連所記憶的商品的ID或位置資訊、以及來店者的特徵資訊或骨架資訊，解除被記錄在販賣管理資訊的來店者ID與商品ID的關連。商店管理裝置1的處理對象者特定部15即使在已解除來店者ID與商品ID的關連的情形下，亦由來店者資料表格來特定相當於處理對象者的來店者ID。

商店管理裝置1的行為檢測部14亦可取代商品感測感測器6的感測資訊，而根據由第二攝影機5所取得的畫像，檢測來店者已取在手中的商品的識別資訊與商店20內的商品棚架21中該商品的座標。此外，行為檢測部14亦可根據由第二攝影機5所取得的畫像，來檢測來店者放回至商品棚架21的商品的識別資訊與商店20內的商品棚架21中該商品的座標。亦即，行為檢測部14若根據商品感測感測器6的感測資訊與第二攝影機5的畫像資訊的至少一方，來檢測來店者對商品的移動行為即可。

藉由上述處理，商店管理裝置1的販賣管理部16係可記憶來店者將什麼商品取在手中的資訊、或來店者將什麼商品放回商品棚架21的資訊。此外，來店者選擇部11亦可在來店者退出商店時要通過進出閘門2之時，由進出口攝影機24取得來店者的臉部畫像，且由來店者資料表格中刪除根據該臉部畫像的特徵量所特定出的來店者ID。販賣管理部16係當來店者通過進出閘門2而退出商店時，可按照被記錄在資料庫40的販賣管理資訊的來店者ID與商品ID的關係，自動檢測來店者的購入商品。販賣管理部16係可使用被記錄在資料庫40的來店者ID、商品ID、及來店者的結算用信用卡號碼等，來進行自動結算處理。

圖7係藉由商店管理裝置1所為之第一來店者特定處理的流程圖（步驟S201～S210）。接著，說明在被設置在來店者近傍的顯示裝置（例如，被設置在商品棚架21的商店設置終端裝置22）所顯示的販賣管理資訊的更新中特定處理對象者的處理順序。

例如，假想來店者在商店20內步行而位於預定的商品棚架21之前，將陳列在該商品棚架21的商品取在手中的事例。此時，商店管理裝置1的第一資訊取得部12係根據由第一攝影機3所取得的畫像，生成表示近接商品棚架21的商品的來店者（處理對象者）的臉部特徵資訊的商店20內的空間中的3維座標的第一位置資訊。商店管理裝置1的第二位置資訊取得部13係根據由動作感測器4所取得的感測資訊，生成表示來店者（處理對象者）對商品伸出手時的手的前端的3維座標的第二位置資訊。接著，行為檢測部14係根據由商品感測感測器6所取得的商品的移動資訊與該商品的座標，檢測表示位於來店者（處理對象者）的手的前端的商品的3維座標的第三位置資訊。行為檢測部14係按照第一位置資訊、第二位置資訊、及第三位置資訊的關係，識別什麼樣的臉部畫像的來店者取得哪個商品。

接著，參照圖7，說明具體的處理順序。特定來店者的ID時，商店管理裝置1的來店者選擇部11係由進出口攝影機24（或第一攝影機3）接收來店者的臉部畫像（S201）。來店者選擇部11係判定與來店者的臉部畫像的特徵量相一致的臉部特徵量是否被記錄在來店者資料表格（S202）。若與來店者的臉部畫像的特徵量相一致的臉部特徵量被記錄在來店者資料表格，由來店者資料表格讀取與該特徵量相關連的來店者ID（S203）。來店者選擇部11係將來店者ID送至處理對象者特定部15。藉此，處理對象者特定部15係可特定處理對象者（亦即，具有來店者ID的來店者或登錄使用者）。處理對象者特定部15係將來店者ID送至販賣管理部16，且販賣管理部16係特定與該來店者ID相關連的販賣管理資訊（S204）。販賣管理部16係根據可按照第三位置資訊所特定的商品ID，更新該販賣管理資訊所包含的各種商品的ID與數量（S205）。如此一來，販賣管理部16係可更新販賣管理資訊。

在步驟S202中，若判定出具有與由進出口攝影機24（或第一攝影機3）所接收到的臉部畫像的特徵量相一致的特徵量的臉部畫像未被記錄在來店者資料表格時，處理對象者特定部15係判定該判定處理的執行次數是否已到達預定次數（S206）。若步驟S202的判定處理未反覆預定次數，處理對象者特定部15係指示輸出來店者碼的輸入要求。資訊輸出部17係按照處理對象者特定部15的指示，對被設置在來店者近傍的商品棚架21的商店設置終端裝置22（本實施例中之輸入裝置之一態樣），傳送來店者碼的輸入要求（S207）。來店者碼係為了單義特定來店者而通知來店者的PIN（Personal Identification Number，個人識別號碼）或密碼等。若藉由使用臉部畫像的特徵量的臉部認證而無法特定來店者時，藉由對來店者要求輸入PIN，可提高來店者的認證精度。

商店設置終端裝置22係輸出催促來店者輸入來店者碼的輸入要求訊息。其中，輸入要求訊息亦可以揚聲器進行聲音輸出。或者，亦可在商店設置終端裝置22的監視器畫面上顯示輸入要求訊息。藉此，來店者係透過輸入裝置（例如商店設置終端裝置22）的使用者介面來輸入來店者碼。商店設置終端裝置22係將來店者碼傳送至商店管理裝置1。商店管理裝置1的處理對象者特定部15係判定是否已由商店設置終端裝置22接收到來店者碼（S208）。在資料庫40係預先記憶有登錄使用者ID與來店者碼的對應關係。處理對象者特定部15若接收來店者碼，即將該來店者碼送至來店者選擇部11。來店者選擇部11係由資料庫40取得與該來店者碼相關連的登錄使用者ID，作為來店者ID而記錄在來店者資料表格。上述處理順序係根據來店者選擇部11透過輸入裝置所取得的來店者碼，從預先記憶的複數登錄使用者之中選擇對應來店者的登錄使用者的處理順序的一態樣。處理對象者特定部15係由資料庫40讀取對應來店者ID的臉部特徵量，將該臉部特徵量與來店者ID相關連而記錄在來店者表格。藉此，處理對象者特定部15係將有關新來店者的資訊追加在來店者表格（S209）。

之後，來店者選擇部11係反覆步驟S202的判定處理。在步驟S208中，若處理對象者特定部15無法接收來店者碼，即反覆步驟S206的判定處理。在步驟S206中，若判定出與由進出口攝影機24（或第一攝影機3）所接收到的臉部畫像的特徵量相一致的臉部特徵量未被記錄在來店者資料表格的次數達到預定次數時，處理對象者特定部15係將表示來店者的不可特定的訊號傳送至販賣管理部16（S210）。販賣管理部16若接收不可特定訊號，即中止販賣管理資訊的更新。接著，販賣管理部16係將通知無法特定來店者的通知資訊顯示在商店設置終端裝置22。藉此，來店者係可認知商店管理裝置1無法自動識別來店者本身。

圖8係藉由商店管理裝置1所為之第二來店者特定處理的流程圖（步驟S301～S310）。接著，說明使用藉由上述處理順序所作成的來店者資料表格，進行自動結算處理時，特定處理對象者的處理順序。
例如，假想在自動結算處理中，來店者移動至被設置在商店20的結算用終端裝置之前的事例。在結算用終端裝置係設有攝影機，對位於其之前的人物（來店者或登錄使用者）的臉部畫像進行攝影。攝影機係將來店者的臉部畫像傳送至商店管理裝置1。商店管理裝置1的來店者選擇部11係由攝影機接收來店者的臉部畫像（S301）。來店者選擇部11係判定與來店者的臉部畫像的特徵量相一致的臉部特徵量是否已被記錄在來店者資料表格（S302）。若與來店者的臉部畫像的特徵量相一致的臉部特徵量被記錄在來店者資料表格，由來店者資料表格讀取與該臉部特徵量相關連的來店者ID（S303）。來店者選擇部11係將該來店者ID送至處理對象者特定部15。藉此，處理對象者特定部15係可將該來店者特定為處理對象者。處理對象者特定部15係將來店者ID送至販賣管理部16。販賣管理部16係特定保持該來店者ID的販賣管理資訊（S304）。販賣管理部16係取得該販賣管理資訊所包含的各種商品的ID與數量。販賣管理部16係取得與商品ID相關連而登錄在資料庫40的金額。販賣管理部16係根據有關商品ID的商品的數量及其金額，算出合計金額。販賣管理部16係取得與來店者ID相關連而被登錄在資料庫40的信用卡號碼。販賣管理部16係將包含合計金額與信用卡號碼的結算要求，傳送至透過通訊網路而相連接的外部的結算伺服器（S305）。藉此，以結算伺服器進行自動結算處理。

在步驟S302中，若判定出與臉部畫像的特徵量相一致的臉部特徵量未被記錄在來店者資料表格，判定該判定處理的執行次數是否已達預定次數（S306）。若判定次數未達預定次數，處理對象者特定部15係對資訊輸出部17指示輸出來店者碼的輸入要求。資訊輸出部17係按照處理對象者特定部15對指示，對結算用終端裝置（輸入裝置的一態樣）傳送來店者碼的輸入要求（S307）。其中，來店者碼意指為了單義特定來店者而被來店者通知的PIN等。若藉由使用臉部畫像的特徵量的臉部認證而無法特定來店者時，可藉由對來店者要求輸入PIN，來提高來店者的認證精度。

結算用終端裝置等輸入裝置係輸出催促來店者輸入來店者碼的輸入要求訊息。該輸入要求訊息亦可以聲音而由揚聲器輸出。或者，亦可對輸入裝置所配備的監視器畫面輸出輸入要求訊息。藉此，來店者係透過輸入裝置的使用者介面來輸入來店者碼。輸入裝置係將來店者碼傳送至商店管理裝置1。商店管理裝置1的處理對象者特定部15係判定是否已輸入來店者碼（S308）。

在資料庫40係預先記錄有登錄使用者ID與來店者碼的對應關係。處理對象者特定部15若接收來店者碼，將該來店者碼送至來店者選擇部11。來店者選擇部11係由資料庫40取得與該來店者碼相關連的登錄使用者ID，作為來店者ID而記錄在來店者資料表格。此外，來店者選擇部11係由資料庫40讀取對應來店者ID的臉部特徵量，將該臉部特徵量與來店者ID相關連而記錄在來店者表格。藉此，來店者選擇部11係將新來店者的資訊記錄在來店者表格（S309）。

來店者選擇部11係反覆執行上述步驟S302。在步驟S308中，若處理對象者特定部15無法接收來店者碼，反覆執行步驟S306。在步驟S306中，若判定出臉部特徵量未被記錄在來店者表格的次數達至預定次數，處理對象者特定部15係將表示來店者不可特定的訊號傳送至販賣管理部16（S310）。販賣管理部16若接收不可特定訊號，即中止自動結算處理。接著，販賣管理部16係對結算用終端機要求進行一般的結算處理。在結算用終端機中，係對來店者（或顧客）明示購入商品而催促將相當於合計金額的貨幣投入至貨幣投入口。

商店管理裝置1係使用來店者資料表格，在自動結算處理、推薦品一覽的提示處理、來店者放入推車的商品（或者被進行藉由來店者所為之移動行為的商品）的記憶等的預定處理中，特定來店者ID。亦即，商店管理裝置1若在商店20中的預定處理中特定來店者ID，算出新來店者的臉部畫像的特徵量、與和被記錄在來店者資料表格的來店者ID相關連的臉部畫像的特徵量的一致度，且由記錄有由多數登錄使用者被抽出之僅為來店者的資訊的來店者資料表格的記錄資訊，特定其一致度高的來店者ID。藉此，在商店管理裝置1中，來店者的特定精度提高。此外，特定商店管理裝置1中的來店者ID的處理的執行速度增高。在上述之預定處理中，僅針對使用來店者所攜帶的終端裝置7或設置在商店20內的商店設置終端裝置22而進行應答之來店者，進行藉由臉部認證所為之來店者的特定，因此可無來店者特定錯誤且高精度執行自動結算處理或販賣管理資訊的更新等預定處理。

圖9係顯示商店管理裝置1的最小構成。商店管理裝置1係至少具備：來店者選擇部11、及處理對象者特定部15。來店者選擇部11來店者選擇部11係由預先記憶的複數登錄使用者之中選擇對應來店者的登錄使用者。處理對象者特定部15係使用對應來店者的登錄使用者的生物體資訊的集合、及在商店20中的預定處理的執行時序新檢測到的來店者的生物體資訊，執行認證處理，而特定作為預定處理的對象的來店者。

上述之商店管理裝置1係在內部具有電腦系統。接著，上述之處理過程係作為電腦程式而記錄在電腦可讀取記錄媒體。藉由電腦讀出電腦程式且執行，來實施上述之處理過程。在此，電腦可讀取記錄媒體係指磁碟、光碟、CD-ROM、DVD-ROM、半導體記憶體等。此外，亦可將電腦程式透過通訊線路而配訊至電腦，由該電腦執行電腦程式。

上述電腦程式亦可為用以實現上述功能的一部分者。或者，上述電腦程式亦可為以與電腦系統之預安裝程式的組合來實現上述功能的所謂差分檔案（差分程式）。

最後，本發明並非為限定於上述之實施例者，而為亦包含所附申請專利範圍所規定的發明範圍內的各種改變或設計變更者。

本案係在2018年3月20日根據日本申請的特願2018-52718號主張優先權，且在此沿用其內容。
［產業上可利用性］

本發明係在商店內藉由來店者的臉部特徵量與登錄完畢的顧客的臉部特徵量的對照，進行來店者的臉部認證，來執行自動結算處理等者，但是由於將人物的臉部特徵量與生物體資訊組合來進行認證處理，因此亦適用於被設置在鐵道設施或機場設施等的各種認證機器。

1‧‧‧商店管理裝置

2‧‧‧進出閘門

3‧‧‧第一攝影機

4‧‧‧動作感測器

5‧‧‧第二攝影機

6‧‧‧商品感測感測器

7‧‧‧終端裝置

8‧‧‧第一通訊網路

9‧‧‧第二通訊網路

10‧‧‧控制部

11‧‧‧來店者選擇部

12‧‧‧第一位置資訊取得部

13‧‧‧第二位置資訊取得部

14‧‧‧行為檢測部

15‧‧‧處理對象者特定部

16‧‧‧販賣管理部

17‧‧‧資訊輸出部

20‧‧‧商店

21‧‧‧商品棚架

22‧‧‧商店設置終端裝置

23‧‧‧閘門裝置

24‧‧‧進出口攝影機

27‧‧‧閘門裝置

40‧‧‧資料庫

100‧‧‧商店管理系統

101‧‧‧CPU（Central Processing Unit，中央處理單元）

102‧‧‧ROM（Read Only Memory，唯讀記憶體）

103‧‧‧RAM（Random Access Memory，隨機存取記憶體）

104‧‧‧HDD（Hard Disk Drive，硬碟驅動機）

105‧‧‧介面

106‧‧‧通訊模組

241‧‧‧本人確認資訊

［圖1］係設置本發明之一實施例之商店管理系統的商店佈局的斜視圖。

［圖2］係說明本發明之一實施例之商店管理裝置特定來店者的處理的概要的說明圖。

［圖3］係顯示在商店內選擇陳列在商品棚架的商品的來店者的樣子的斜視圖。

［圖4］係顯示商店管理裝置的硬體構成的區塊圖。

［圖5］係與複數感測裝置作通訊連接的商店管理裝置的功能區塊圖。

［圖6］係藉由商店管理裝置所為之來店者資料表格生成處理的流程圖。

［圖7］係藉由商店管理裝置所為之第一來店者特定處理的流程圖。

［圖8］係藉由商店管理裝置所為之第二來店者特定處理的流程圖。

［圖9］係顯示商店管理裝置的最小構成的區塊圖。

Claims (8)

1. 一種商店管理裝置，其係具備有： 藉由來到商店的來店者的臉部認證進行本人確認時，與前述來店者所攜帶的終端裝置進行通訊，由複數登錄完畢顧客之中選擇對應前述來店者的登錄完畢顧客的來店者選擇部；及 使用對應前述來店者的登錄完畢顧客的生物體資訊的集合、及在前述商店內的預定處理的執行時序新取得的前述來店者的生物體資訊，進行認證，將前述來店者特定為前述預定處理的對象者的處理對象者特定部。
2. 如申請專利範圍第1項之商店管理裝置，其中，針對藉由前述來店者選擇部所選擇出的登錄完畢顧客，將本人確認資訊傳送至前述來店者所攜帶的終端裝置，藉由前述來店者而得知前述本人確認資訊時，將前述登錄完畢顧客的識別資訊作為前述來店者的識別資訊而記錄在來店者資料表格。
3. 如申請專利範圍第1項之商店管理裝置，其中，前述處理對象者特定部係若無法特定前述預定處理的對象者時，對前述來店者傳送來店者碼的輸入要求，若由前述來店者被提示前述來店者碼，前述來店者選擇部係根據前述來店者碼，由前述複數登錄完畢顧客之中選擇對應前述來店者的登錄完畢顧客。
4. 如申請專利範圍第2項之商店管理裝置，其中，前述來店者選擇部係參照記錄有前述複數登錄完畢顧客的全部生物體資訊的資料庫，僅將對應前述來店者所選擇出的登錄完畢顧客記錄在前述來店者資料表格，前述處理對象者特定部係參照前述來店者資料表格，來特定前述預定處理的對象者。
5. 如申請專利範圍第1項之商店管理裝置，其中，前述商店內的前述預定處理的執行時序係前述來店者已取得商品的時序，在該時序中，前述處理對象者特定部係進行前述來店者的認證。
6. 如申請專利範圍第4項之商店管理裝置，其中，前述處理對象者特定部係算出對應前述來店者的登錄完畢顧客的生物體資訊、與在前述商店內的預定處理的執行時序新取得的前述來店者的生物體資訊的一致度，參照前述來店者資料表格，來特定前述一致度高的前述來店者的識別資訊。
7. 一種商店管理方法，其係藉由來到商店的來店者的臉部認證進行本人確認時，與來店者所攜帶的終端裝置進行通訊，由複數登錄完畢顧客之中選擇對應前述來店者的登錄完畢顧客， 使用對應前述來店者的登錄完畢顧客的生物體資訊的集合、及在前述商店內的預定處理的執行時序新取得的前述來店者的生物體資訊，進行認證，將前述來店者特定為前述預定處理的對象者。
8. 一種程式，其係藉由電腦所執行的程式， 藉由來到商店的來店者的臉部認證進行本人確認時，與來店者所攜帶的終端裝置進行通訊，由複數登錄完畢顧客之中選擇對應前述來店者的登錄完畢顧客， 使用對應前述來店者的登錄完畢顧客的生物體資訊的集合、及在前述商店內的預定處理的執行時序新取得的前述來店者的生物體資訊，進行認證，將前述來店者特定為前述預定處理的對象者。