TW201941141A - 商店管理裝置以及商店管理方法 - Google Patents

Abstract

商店管理裝置，產生記錄到商店來的來店者的資訊之來店者表，既定處理結束後，從來店者表刪除離開商店的來店者的資訊。所謂既定的處理，例如，來店者的購入商品的結帳。又，來店者表，利用於來店者離開商店時的離店許可判定。

Description

商店管理裝置以及商店管理方法

本發明，關於商店管理裝置以及商店管理方法。

商店中，眾所周知使用人臉辨識進行顧客管理的技術。又，開發進行自動結帳的技術，自動明確指定商店的來店者購買的商品。關於購入商品進行自動結帳的情況，商品及拿取商品的來店者，必須自動明確指定來店者搬運商品到收銀台的狀態。即，必須在電腦上制作保持來店者資訊的資料表、保持來店者搬運的商品資訊之資料表。專利文件1，揭示利用人臉辨識的資訊處理系統，可以在資料表上管理來店者資訊。具體地，專利文件1中記載，將會員的登錄資訊與來店者的臉部資訊加以聯結並記錄在來店者資料庫作為來店者資訊(段落0060)、從來店者資料庫刪除離店顧客的來店者資訊(段落0071)。
[先行技術文件]
[專利文件]

[專利文件1]專利公開第2016-126749號公報

[發明所欲解決的課題]

上述的來店者資料庫，透過記憶關於來店者的資訊，證明來店者存在於商店內，可以應用來店者資訊於商店管理的自動處理。例如，可以在商店內的商品管理、結帳中使用來店者資訊。像這樣，要求應用來店者資訊的技術開發。

本發明，有鑑於上述的課題而形成，目的在於提供可以應用來店者資訊於商店管理的自動處理之商店管理裝置以及商店管理方法。
[用以解決課題的手段]

根據本發明的第一形態，商店管理裝置，具備來店者表產生部，產生記錄到商店來的來店者的資訊之來店者表；以及來店者表管理部，既定處理結束後，從來店者表刪除離開商店的來店者的資訊。

根據本發明的第二形態，商店管理方法，產生記錄到商店來的來店者的資訊之來店者表，既定處理結束後，從來店者表刪除離開商店的來店者的資訊。

上述中，所謂既定的處理，例如，來店者的購入商品的結帳。又，來店者表，利用於來店者離開商店時的離店許可判定。
[發明效果]

根據本發明，可以應用證明來店者存在於商店內的來店者資訊於商店管理的自動處理。

關於根據本發明的商店管理裝置以及商店管理方法，參照附加圖面說明。首先，說明本發明一實施形態的商店管理裝置1。第1圖係包括本發明的一實施形態的商店管理裝置1之商店管理系統100的外觀圖。商店管理裝置1，與商店20內設置的各種裝置通訊連接。商店20的出入口，設置進出閘2。商店20內，設置複數的商品架21。商品架21上，陳列各種商品。

商店管理系統100中，來店者，通過商店20的進出閘2進入商店或離開商店。進出閘2中，設置出入口攝影機24，拍攝通過進出閘2進入商店的來店者的臉部，傳送其臉部圖像至商店管理裝置1。又，商店20中設置1個進出閘2，但設置入店閘與出店閘在商店20不同的位置也可以。

又，商店20，不限定於店員常駐的有人商店，店員不常駐的無人商店也可以。又，商店20中設置POS終端，店員手動操作POS終端，進行來店者購入並攜出商店20外的商品的結帳也可以。或者，商店20內設置攝影機等的感測裝置，關於來店者購入並攜出商店20外的商品，進行自動結帳也可以。通常，來店者，通過進出閘2，到商店20來之際，觸摸陳列在商品架21上的商品，從商品架21拿取商品，放入商品至購物車等等後，通過進出閘2離開商店。來店者通過進出閘2，從進入到離開商店20之間，設置在商店20的攝影裝置、移動感測器等的感測裝置，取得用以判定來店者的特徵資訊、位置資訊、來店者拿取的商品的識別資訊及位置資訊等的感測資訊，傳送至商店管理裝置1。商店管理裝置1，根據感測資訊，實行購入商品的自動結帳、對來店者的推薦品一覽表的提示處理、來店者放入購物車的商品的記憶處理等的既定處理。

商店管理裝置1，當實行上述既定處理時，記錄關聯來店者的資訊(來店者資訊)至資料庫。來店者資訊，證明來店者存在於商店20內，商店管理裝置1，使用來店者資訊進行適當的商店管理的自動處理。

第2圖顯示商店20內排列複數的商品架21的狀態立體圖，來店者從商品架21選擇商品拿取的樣子。商品架21的上部，設置拍攝來店者的臉部圖像的第一攝影機3，但設置複數個第一攝影機3也可以。又，感測來店者(顧客)動作的動作感測器4設置在商品架21的上方。又，拍攝來店者拿取的商品、放回商品架21的商品的圖像之第2攝影機5設置在商品架21的上部。又，第一攝影機3、第二攝影機5不必設置在商品架21，設置在商店20的天花板、地板等其它場所也可以。即，只要設置第一攝影機3在可以拍攝來店者臉部圖像的位置即可，且只要設置第2攝影機5在可以拍攝來店者拿取的商品或放回商品架21的商品的圖像的位置即可。又，商品架21上，設置商店設置終端22。

第3圖係商店管理裝置1之硬體構成圖。商店管理裝置1，具備CPU(中央處理單元)101、ROM(唯讀記憶體)102、RAM(隨機存取憶體)103、HDD(硬碟)104、介面105以及通訊模組106。又，HDD104，可以是SDD(固態硬碟)。

第4圖係商店管理裝置1之機能方塊圖。商店管理裝置1的CPU101，透過讀出ROM102、HDD104等預先記憶的商店管理程式並實行，實現第4圖所示的機能部。即，商店管理裝置1，具備控制部10、來店者表產生部11、第一位置資訊取得部12、第二位置資訊取得部13、行為檢測部14、處理對象者特定部15、來店者表管理部16、販賣管理部17、結帳管理部18及離店許可部19。

商店管理裝置1，與資料庫40連接。又，商店管理裝置1，經由第一通訊網路8，與設置在商店20的各種裝置通訊連接，具體地，與進出閘2、第一攝影機3、動作感測器4、第二攝影機5、商品偵測感測器6、閘門裝置23以及出入口攝影機24通訊連接。第一通訊網路8，例如，係專用網路，聯結商店管理裝置1與商店20中設置的各種裝置。商店管理裝置1，經由第二通訊網路9，通訊連接來店者攜帶的終端7。第二通訊網路9，例如，行動電話網、無線通訊網、網際網路等。又，來店者到商店20來時，終端7，可以不與第二通訊網路9而與第一通訊網路8通訊連接。

商店管理裝置1中，控制部10控制其它機能部11〜19。來店者表產生部11，記憶來店者資訊，產生來店者的離店許可判定利用的來店者表。來店者資訊，例如，來店者的臉部特徵量、來店者ID、來店者攜帶的終端7的位址等。第一位置資訊取得部12，根據第一攝影機3拍攝的來店者的臉部圖像，取得顯示接近陳列在商品架21的商品的來店者的活體特徵資訊的位置之第一位置資訊。第一攝影機3，用於拍攝範圍內映出的人物的活體特徵資訊檢測，例如，設置在商品架21上，拍攝位於商品架21前的人物的臉。作為活體特徵資訊，例如，人物的臉部特徵資訊、人物的眼睛虹膜的特徵資訊等也可以。又，第一位置資訊取得部12，根據從出入口攝影機24取得的來店者的臉部圖像，取得顯示來店者的活體特徵資訊位置的第一位置資訊也可以。

第二位置資訊取得部13，根據從動作感測器4取得的感測資訊，取得顯示接近商品架21的人物中對物品伸出手的對象人物的位置之第二位置資訊。動作感測器4，例如，設置在商品架21上方的天花板，從天花板看，檢測下方的對象人物。

行為檢測部14，檢測移動商品的行為、來店者的行為。例如，根據拍攝商品架21上陳列的商品之第二攝影機5的圖像、商品偵測感測器6的商品檢測資訊，檢測移動商品的行為。所謂商品的移動行為，意味來店者拿取商品的行為、放回商品至商品架21的行為、來店者的商品接觸行為、來店者把商品放入購物車的行為等。又，行為檢測部14，檢測商店20內對來店者是否有商品的交接。又，行為檢測部14，追蹤在商店20內移動的來店者位置。

處理對象者特定部15，根據進行移動行為的商品的ID、位置、第一位置資訊與第二位置資訊的位置關係，明確指定進行對商品的移動行為的對象人物的生物特徵資訊，從來店者表讀出對應其生物特徵資訊的人物的ID。

來店者表管理部16，來店者的購入商品結帳結束後，從來店者表刪除來店者資訊或更新來店者表中的來店者資訊。販賣管理部17，產生記憶來店者拿取搬運的商品的資訊(商品資訊)的販賣管理表。

結帳管理部18，進行對來店者購入商品的結帳的同時，判定其結帳是否結束。例如，來店者表內存在來店者資訊，且未結帳的購入商品的商品資訊記憶在販賣管理表內時，結帳管理部18傳送催促購入商品結帳的訊息至來店者近旁的裝置(例如，來店者的終端7等)。離店許可部19，從來店者表刪除關於離開商店20的來店者之來店者資訊時，輸出離店許可至既定的裝置。又，離店許可部19，關於來店者的未結帳購入商品的商品資訊未記錄在販賣管理表內時，輸出離店許可至既定的裝置。

其次，關於本發明的一實施形態的商店管理方法，參照第5至11圖說明。
第5圖係來店者表產生處理的流程圖(步驟S101〜S105)。首先，來店者表產生部11，從出入口攝影機24取得來店者的臉部圖像(S101)。來店者表產生部11，比較來店者的臉部圖像特徵量與資料庫40中預先記憶的多數顧客(以下，稱登錄使用者)的臉部圖像特徵量，兩者特徵量的差在容許範圍內，從資料庫40選擇可以認定跟來店者是同一人的登錄使用者特徵量(S102)。來店者表產生部11，從資料庫40讀取聯結登錄使用者特徵量的登錄使用者ID，聯結其登錄使用者ID，取得記錄在資料庫40的登錄使用者的終端7的位址(S103)。來店者表產生部11，傳送本人確認資訊至來店者的終端7(S104)。來店者表產生部11，聯結登錄使用者ID、來店者的臉部圖像特徵量、來店者的終端7位址，記錄在來店者表(S105)。藉此，關於進入商店20的來店者，產生來店者表。

又，來店者表產生部11，代替從出入口攝影機24取得的來店者臉部圖像，利用由設置在商店20的第一攝影機3取得的來店者臉部圖像，實行上述步驟S101〜S105產生來店者表也可以。

上述來店者表，也利用於商店管理裝置1的商品移動行為的檢測。具體地，利用來店者表內記錄的資訊，明確指定從商品架21拿取商品的來店者，明確指定拿著商品走動的來店者。又，來店者表，也利用於商店管理裝置1的其它處理。例如，利用來店者表內記錄的資訊，明確指定進行購入商品的結帳之來店者，並可以明確指定從商店20離開的來店者。

上述來店者特定處理中，第一攝影機3從商品架21側拍攝位於商品架21前的來店者等的人物，傳送其拍攝的靜止圖像或動畫像至商店管理裝置1。又，動作感測器4，感測從商店20的天花板等的商品架21上方看位於下方的來店者，傳送其感測資訊至商店管理裝置1。作為動作感測器4的感測資訊，例如，轉換到達由紅外線得到的物體位置的距離成為圖像之距離圖像也可以。商品偵測感測器6，設置在商品架21上陳列的每一商品中。商品偵測感測器6，具體地，形成墊在商品下的薄片狀，檢測商品重量的壓力之壓力感測器，或是檢測商品重量的重量感測器等也可以。來店者從商品架21拿取商品時，商品偵測感測器6，傳送包含其感測ID以及給予關於商品架21上商品的商店20內座標之商品取得信號至商店管理裝置1。

處理對象者特定部15，根據檢測指示從第一攝影機3、動作感測器4、第二攝影機5取得的人物特徵資訊、骨格資訊的位置之座標的時刻對應關係、以及檢測聯結從商品偵測感測器6取得的感測ID記憶的商品ID與座標的時刻對應關係，根據來店者表明確指定來店者ID。這樣，處理對象者特定部15，明確指定處理對象者。

其次，說明關於明確指定從商品架21拿取商品的來店者的來店者ID之處理。第6圖，係來店者ID特定處理的流程圖(步驟S1101〜S1111)。
第一位置資訊取得部12，分別根據為了可以拍攝位於商品架21前的來店者設置的複數的第一攝影機3，1秒間取得數枚至數十枚左右的圖像。第一位置資訊取得部12，檢測從第一攝影機3取得的圖像中映出的來店者的活體特徵資訊(S1101)。活體特徵資訊，也可以是人物臉部特徵資訊、眼睛虹膜特徵資訊等。第一位置資訊取得部12，可以從圖像取得來店者的活體特徵資訊時，算出取得其活體特徵資訊之空間座標。例如，預先決定以視角、拍攝方向為基礎的3次元拍攝空間區域時，第一位置資訊取得部12，從資料庫40取得第一攝影機3的3次元拍攝空間區域，根據其3次元拍攝空間區域、圖像中出現的活體特徵資訊的圖像內座標、其活體特徵資訊的大小等，利用既定的計算式，算出活體特徵資訊出現的3次元拍攝空間區域中的3次元座標。又，第一位置資訊取得部12，使用從第一攝影機3的3次元拍攝空間區域中的3次元座標到商店空間區域內的3次元座標的轉換式，算出活體特徵資訊出現的商店空間區域內的3次元座標(S1102)。第一位置資訊取得部12，從圖像取得活體特徵資訊時，聯結傳送其圖像的第一攝影機3的ID、其檢測時刻、活體特徵資訊、及活體特徵資訊出現的商店空間區域內的3次元座標，記錄在第一處理表內(S1103)。

第二位置資訊取得部13，設置在商品架21上方的天花板等，從可以從上方朝下方拍攝位於商品架21前的來店者的複數的動作感測器4，1秒間取得數枚至數十枚左右的距離圖像。第二位置資訊取得部13，解析動作感測器4的距離圖像中映出的來店者圖像，檢測圖像中的來店者的頭部位置、來店者向商品伸出的腕軸等的骨骼資訊(S1104)。骨骼資訊中，例如，包含顯示解析距離圖像得到的來店者的腕軸直線部分之向量或座標、來店者的手前端的座標等。又，骨骼資訊中，至少包含用以明確指定從上方所見來店者的頭部、腕、手前端等的位置之座標或向量、表示腕軸的公式等。可以從上述距離圖像取得表示來店者的腕軸或手前端的骨骼資訊時，第二位置資訊取得部13，根據骨骼資訊算出來店者的腕軸或手前端的空間座標。與第一位置資訊取得部12相同，第二位置資訊取得部13，預先記憶以視角、拍攝方向為基礎的3次元攝影空間區域。第二位置資訊取得部13，關於動作感測器4從資料庫40取得3次元攝影空間區域，根據其3次元攝影空間區域、圖像中出現的骨骼資訊的圖像內座標、離動作感測器4的距離等，利用既定的計算式，算出骨骼資訊出現的3次元攝影空間區域中的3次元座標。又，第二位置資訊取得部13，利用從3次元攝影空間區域中的3次元座標到商店空間區域的3次元座標的轉換式，算出骨骼資訊出現的商店空間區域內的3次元座標(S1105)。第二位置資訊取得部13，可以從圖像取得骨骼資訊時，聯結傳送其圖像的動作感測器4的ID、檢測時刻、骨骼資訊、其骨骼資訊出現的商店空間區域內的3次元座標，記錄在第二處理表內(S1106)。

商品偵測感測器6，例如，檢測商品重量、商品重量的壓力，根據商品重量或壓力的增減，傳送既定資訊至商店管理裝置1。商品重量或壓力的減少在臨界值以上時，傳送包含指示減少的旗標、感測ID、商品的陳列位置、商品取得行為的檢測時刻之商品取得行為資訊至商店管理裝置1。另一方面，商品偵測感測器6，當商品重量或壓力的增加在臨界值以上時，傳送包含指示增加的旗標、感測ID、商品的陳列位置、商品歸回行為的檢測時刻之商品歸回行為資訊至商店管理裝置1。其後，行為檢測部14，從商品偵測感測器6取得商品取得行為資訊、商品歸回行為資訊(S1107)。行為檢測部14，透過取得聯結商品取得行為資訊內包含的感測ID記錄的商品ID，檢測從商品架21取得對應其商品ID的商品。又，行為檢測部14，透過取得聯結商品歸回行為資訊內包含的感測ID記憶的商品ID，檢測放回對應其商品ID的商品至商品架21。行為檢測部14，送出關聯商品取得行為資訊或商品歸回行為資訊內包含的感測ID之商品ID、商品陳列位置、行為檢測時刻至處理對象者特定部15。

處理對象者特定部15，從行為檢測部14取得發生移動行為的商品的商品ID、商品陳列位置、行為檢測時刻，判定包含從相當於商品陳列位置的商店空間區域的3次元座標接近既定距離以內的座標且行為檢測時刻與聯結既定時間差以內的檢測時刻之骨骼資訊是否記錄在第二處理表內。處理對象者特定部15，判定包含從產生移動行為的商品的3次元座標接近既定距離以內的座標且行為檢測時刻與聯結既定時間差以內的檢測時刻之骨骼資訊是否記錄在第二處理表內時，取得其骨骼資訊(S1108)。骨骼資訊中，例如，包含來店者的手前端的3次元座標。處理對象者特定部15，當商品的3次元座標與來店者的手前端的3次元座標大致同時刻接近時，推斷包含來店者的手前端的3次元座標的骨骼資訊為拿取商品的來店者骨骼資訊並取得。因此，處理對象者特定部15，取得根據產生移動行為的商品的3次元座標取得的骨骼資訊內包含的來店者頭部的3次元座標與骨骼資訊的檢測時刻(S1109)。處理對象者特定部15，從第一處理表取得聯結至離來店者頭部的3次元座標既定距離以內的3次元座標且檢測時刻在既定時間差以內的來店者的臉部特徵(S1110)。處理對象者特定部15，根據產生移動行為的商品位置，明確指定對物品伸出手的來店者的骨骼資訊指示的位置(第二位置資訊)，根據骨骼資訊指示的位置，實現檢測位置關係有心的來店者臉部特徵資訊出現的位置(第一位置資訊)之處理的一形態。商店管理裝置1，預先聯結來店者的臉部特徵與來店者ID，記憶在資料庫40內的來店者表時，處理對象者特定部15，參照來店者表，使用從骨骼資訊取得的來店者臉部特徵資訊，檢測來店者ID(S1111)。這樣，商店管理裝置1，以從上述感測裝置取得的資訊為基礎，根據來店者的活體特徵資訊、骨骼資訊，可以明確指定來店者ID。

販賣管理部17，聯結來店者ID與根據第二攝影機5拍攝的圖像明確指定的商品ID，更新記錄在資料庫40的資料表內的販賣管理表。販賣管理部17，在來店者近旁配置的顯示裝置中顯示販賣管理表也可以。藉此，來店者，可以確認本身從商品架21拿取放入購物車的商品一覽表。

來店者放回商品至商品架21上時，商品偵測感測器6，傳送包含商品ID、商品架21上的商品在商店20內的座標等的位置資訊之商品歸回行為資訊至商店管理裝置1。販賣管理部17，根據聯結商品歸回行為資訊指示的商品偵測感測器6的感測ID記憶的商品的ID或位置資訊、人物特徵資訊或骨骼資訊，解除販賣管理表內記錄的來店者ID與商品ID的聯結。處理對象者特定部15，在解除來店者ID與商品ID的聯結時，也根據來店者表明確指定成為處理對象的來店者ID。

行為檢測部14，代替商品偵測感測器6的感測資訊，根據從第二攝影機5得到的圖像，檢測來店者從商品架21拿取的商品的ID以及商品架21上的商品在商店20內的座標也可以。又，行為檢測部14，根據從第二攝影機5得到的圖像，檢測來店者放回商品架21的商品的ID以及商品架21上的商品在商店20內的座標也可以。即，行為檢測部14，根據商品偵測感測器6的感測資訊與第二攝影機5的圖像中至少一方，只要檢測來店者的商品移動行為即可。

根據上述處理，販賣管理部17，可以記憶來店者拿取商品架21上的哪個商品，放回哪個商品至商品架21之資訊。又，來店者離開商店20時通過進出閘2之際，出入口攝影機24拍攝來店者的臉部圖像，來店者表產生部11，從來店者表刪除根據臉部圖像的特徵量明確指定的來店者ID。販賣管理部17，使用資料庫40中記錄的來店者ID、商品ID、來店者的購入商品的結帳信用卡號碼等，可以進行自動結帳。

其次，關於商店管理裝置1實施的商店管理處理，參照第7〜11圖說明。第7圖，係第1商店管理處理的流程圖(步驟S201〜S208)。如上述，來店者表產生部11產生來店者表後，商店管理裝置1實行第1商店管理處理。首先，行為檢測部14，根據第一位置資訊，檢測來店者的位置，追蹤來店者。具體地，來店者在商店20內行走，位於既定的商品架21前，拿取所希望的商品時，第一位置資訊取得部12，根據從第一攝影機3取得的圖像明確指定指示對應接近商品的人物臉部特徵量之商店空間區域內的3次元座標之第一位置資訊。行為檢測部14，聯結來店者的臉部圖像特徵量，記錄商店空間區域中的來店者的3次元座標在來店者表內。又，商店空間區域內的來店者的3次元座標的記錄處理，根據商店20內的複數位置上設置的第一攝影機3拍攝的圖像，重複進行。藉此，行為檢測部14，在商店20內追蹤移動的來店者(S201)。

又，第二位置資訊取得部13，根據動作感測器4的感測資訊檢測接近商品架21上的商品的人物中指示對商品伸出手的來店者的手前端的3次元座標之第二位置資訊。於是，行為檢測部14，根據指示對於商品偵測感測器6檢測的商品的移動行為之移動資訊以及商品架21上的商品在商店20內的座標，檢測指示位於來店者的手前端的商品的3次元座標之商品位置資訊。行為檢測部14，根據第一位置資訊、第二位置資訊以及與商品的位置資訊的關係，辨識哪個來店者拿取哪個商品(S202)。行為檢測部14，傳送指示有來店者拿取商品架21上商品的行為之商品取得行為資訊至處理對象者特定部15。處理對象者特定部15，根據商品取得行為資訊、第一位置資訊、第二位置資訊及商品位置資訊，明確指定拿取商品的來店者，從來店者表讀出來店者ID。處理對象者特定部15，送出來店者ID與商品取得行為資訊至販賣管理部17。根據以商品偵測感測器6的感測資訊為基礎的商品移動資訊，指示來店者放回商品至商品架21時，行為檢測部14，送出商品歸回行為資訊至處理對象者特定部15。處理對象者特定部15，根據商品歸回行為資訊、第一位置資訊、第二位置資訊及商品位置資訊，明確指定進行商品歸回行為的來店者，從來店者表讀出來店者ID。處理對象者特定部15，送出來店者ID及商品歸回行為資訊至販賣管理部17。

販賣管理部17，根據從處理對象者特定部15得到的行為資訊(即，商品取得行為資訊或商品歸回行為資訊)，判定對商品架21上的商品進行的來店者行為(S203)。販賣管理部17，當從處理對象者特定部15得到的行為資訊指示商品取得行為資訊時，判定是否來店者ID記錄在販賣管理表內。於是，販賣管理部17，雖然從處理對象者特定部15得到商品取得行為資訊，但在販賣管理表內未記錄來店者ID的情況下，記錄來店者ID至販賣管理表內的同時，聯結來店者ID記錄來店者拿取的商品的ID至販賣管理表內。另一方面，販賣管理部17，從處理對象者特定部15先得到商品取得行為資訊，且販賣管理表內記錄著來店者ID時，聯結來店者ID記錄來店者拿取的商品的ID至販賣管理表內。又，販賣管理部17，從處理對象者特定部15得到商品取得行為資訊時，聯結來店者拿取的商品ID記錄的購入數量增加1。又，特定商品的ID聯結來店者表的來店者ID，開始記錄至販賣管理表時，販賣管理部17設定來店者拿取的商品的購入數量為1。藉此，記錄至少包含來店者ID、商品ID、購入數量的販賣管理資訊至販賣管理表。又，販賣管理資訊內包含的商品ID、購入數量，相當於來店者的購物清單。

販賣管理部17，根據從處理對象者特定部15得到的行為資訊，判定是否需要更新販賣管理資訊(S204)。販賣管理部17，從處理對象者特定部15得到商品歸回行為資訊時，判定需要更新販賣管理資訊，對應販賣管理表內記錄的商品ID之購入數量減1。販賣管理部17，當聯結來店者ID對應販賣管理表內記錄的商品ID之購入數量為「1」時，從販賣管理表刪除其商品ID。藉此，販賣管理部17，更新販賣管理表內記錄的販賣管理資訊(S205)。

來店者，選擇所希望的商品放入購物車(或，商品籃)在商店20內移動。來店者，當所希望的商品放入購物車結束時，往商店20的收銀台中設置的POS終端移動，或往進出閘2移動。商店管理裝置1，根據與POS終端、出入口攝影機24的聯繫進行購入商品的結帳。例如，POS終端內備置的攝影機拍攝來店者臉部。POS終端，經由光學讀取裝置、RFID(無線射頻辨識)天線取得有關商品購入的商品資訊與購入數量，傳送包含商品資訊、購入數量及來店者臉部圖像的結帳要求至商店管理裝置1。商店管理裝置1，接收結帳要求(S206)。處理對象者特定部15，根據來店者的臉部圖像特徵量以及來店者表內記錄的臉部圖像特徵量，明確指定進行商品購入的結帳的來店者ID。結帳管理部18，聯結進行商品購入的結帳的來店者ID記錄在來店者表的商品資訊及購入數量與從POS終端取得的商品資訊及購入數量一致時，進行結帳。商品購入的結帳中，結帳管理部18，取得聯結來店者ID記錄在資料庫40的信用卡號碼，傳送信用卡號碼與合計金額至結帳伺服器。結帳管理部18，判定有關來店者的商品購入的結帳是否結束(S207)。結帳管理部18，從結帳伺服器接收結帳結束的通知時，判定有關來店者的商品購入的結帳結束。

商店管理裝置1，根據以下的程序進行商品購入的結帳也可以。例如，出入口攝影機24拍攝來店者臉部，傳送其臉部圖像至商店管理裝置1。處理對象者特定部15，根據來店者的臉部圖像特徵量與來店者表內記錄的來店者臉部圖像特徵量，明確指定進行商品購入的結帳之來店者ID。結帳管理部18，根據聯結來店者ID記錄在來店者表內的商品資訊、購入數量，算出合計金額。之後，與上述相同，經由結帳伺服器進行結帳。

結帳管理部18，當結束商品購入的結帳時，對於來店者表管理部16與販賣管理部17，送出要求刪除包含商品購入的結帳結束的來店者ID之記錄。來店者表管理部16，當接收刪除要求時，從來店者表刪除聯結刪除要求內包含的來店者ID的資訊(S208)。販賣管理部17，當接收刪除要求時，從販賣管理表刪除聯結刪除要求內包含的來店者ID的販賣管理資訊。

如上述，商店管理裝置1，從來店者表與販賣管理表刪除有關商品購入的結帳結束的來店者的資訊。這樣，透過刪除有關結帳結束的來店者資訊，可以降低來店者表與販賣管理表內記錄的資訊量。又，因為可以降低使用來店者表的來店者檢索數及使用販賣管理表的販賣管理檢索數，可以減輕檢索處理的負荷。

第8圖係第2商店管理處理的流程圖(S301〜S308)。如上述，關於商品購入結帳結束，來店者通過進出閘2離開時，出入口攝影機24拍攝來店者臉部，傳送包含臉部圖像的離店判定要求至商店管理裝置1。商店管理裝置1接收離店判定要求時(S301)，離店許可部19，詢問來店者表管理部16是否臉部圖像特徵量記錄在來店者表。來店者表管理部16，判定有關離店判定要求的臉部圖像特徵量是否包含在來店者表內(S302)。來店者表管理部16，當來店者表包含臉部圖像特徵量時，送出包含對應特徵量的來店者ID之有特徵量的判定結果至離店許可部19。來店者表內未包含臉部圖像特徵量時，送出無特徵量的判定結果至離店許可部19。離店許可部19，當判定結果無特徵量時，判定來店者的商品購入的結帳結束，允許來店者離開(S303)。

來店者表管理部16的判定結果是無特徵量時，因為有可能來店者的商品購入的結帳未結束，離店許可部19，從判定結果讀取來店者ID，詢問販賣管理部17聯結來店者ID的販賣管理資訊是否記錄在販賣管理表內。販賣管理部17，判定販賣管理表內是否包含聯結來店者ID的販賣管理資訊(S304)。販賣管理部17，送出指示販賣管理表中有無販賣管理資訊的判定結果至離店許可部19。指示判定結果無販賣管理資訊時，離店許可部19判定有關來店者的商品購入的結帳結束，允許來店者離開(S305)。此時，離店許可部19，傳送離店許可至進出閘2(S306)。藉此，打開商店20的進出閘。

販賣管理部17的判定結果指示有販賣管理資訊時，離店許可部19，判定有關來店者商品購入的結帳未結束，不允許來店者離開(S307)。此時，離店許可部19，傳送不允許離店至設置在進出閘2或進出閘2近旁的閘裝置23(S308)。根據不允許離店，停止打開進出閘2的動作。又，閘裝置23，在監視器顯示催促來店者確認是否商品購入的結帳未結束的畫面資訊。藉此，可以防止商品購入的結帳未結束的來店者不正當離開到商店20外。又，商店管理裝置1，可以催促來店者確認是否結帳沒結束。

第9圖係第3商店管理處理的流程圖(S2501〜S2504)。即使來店者的商品購入結帳結束後，也有可能再度購入商店20內的商品架21上陳列的商品進行結帳。此時，根據第1次的結帳，因為從來店者表刪除來店者的資訊，必須再度追加來店者的資訊至來店者表，關於這樣的處理，以下說明。

第7圖所示的第一商店管理處理的步驟205中，販賣管理部17開始販賣管理資訊的更新後，販賣管理部17，詢問從處理對象者特定部15得到的來店者ID是否包含在來店者表內。來店者表管理部16，判定來店者ID是否包含在來店者表內(S2501)。來店者表管理部16，送出指示來店者表內有無來店者ID的判定結果至販賣管理部17。販賣管理部17，當判定結果指示在來店者表內有來店者ID時，根據從處理對象者特定部15取得的行為資訊更新販賣管理資訊(S2502)。判定結果指示來店者表內無來店者ID時，販賣管理部17，聯結來店者ID、聯結來店者ID記錄在資料庫40的來店者的臉部圖像特徵量、以及來店者攜帶的終端7的位址，記錄在來店者表內(S2503)。之後，販賣管理部17，根據從處理對象者特定部15取得的行為資訊，更新販賣管理資訊(S2504)。

這樣，記錄進行再度結帳的來店者資訊在來店者表內。之後，利用來店者表內包含的來店者ID，關於來店者的商品購入再度進行結帳。

第10圖係第4商店管理處理的流程圖(步驟S201〜S208、S401〜S403)。與進入商店20的來店者同行的其他來店者存在時，關於包括這些來店者的團體(以下，稱來店者團體)，假設商品購入的結帳次數只有1次。此時，結帳結束後，理想是總括從來店者表刪除來店者團體內包含的全部來店者資訊。關於這樣的處理，以下說明。

與第7圖相同，因為第10圖中包含步驟S201〜S208，適當割愛其說明。實行步驟S201〜S206時，來店者表管理部16，從行為檢測部14取得商店空間區域中來店者的3次元座標。來店者表管理部16，以現在時刻為基準，每一來店者ID比較根據既定時間前為止的既定期間來店者的3次元座標的距離，明確指定可以推斷複數的來店者同行的來店者ID的團體。例如，根據複數的來店者的3次元座標的距離於既定期間在既定比例以上時，來店者表管理部16判定那些來店者同行，給予相同的同行團體ID(即，相同的來店者團體的ID)。來店者表管理部16，聯結判定到商店20來時同行的複數的來店者的ID，記錄相同的同行團體ID至來店者表。例如，家族到商店20來時，明確指定構成家族的複數的來店者為1個團體。

來店者，從商品架21選擇所希望的商品放入購物車(或，商品籃)在商店20內移動。來店者，當所希望的商品放入購物車結束時，往收銀台中設置的POS終端或進出閘2移動。結帳管理部18，判定關於來店者的商品購入的結帳是否結束(S207)。結帳管理部18，當結帳一結束，就對來店者表管理部16與販賣管理部17送出包含結帳結束的來店者ID的刪除要求。

來店者表管理部16，接收到刪除要求時，判定同行團體ID是否聯結來店者表內記錄的來店者ID(S401)。來店者表管理部16，如果來店者表中同行團體ID聯結來店者ID，對來店者判定同行者存在。在那情況下，來店者表管理部16，從來店者表取得聯結同行團體ID的其他來店者ID，其他來店者ID，係與成為商品購入的結帳對象的來店者同行之其他來店者的ID。來店者表管理部16，詢問販賣管理部17聯結表示結帳對象的來店者的同行者之其他來店者ID的販賣管理資訊是否記錄在販賣管理表內。販賣管理部17，判定販賣管理表內是否包含聯結其他來店者ID的販賣管理資訊(S402)。

販賣管理部17，送出關於聯結相同的同行團體的全部來店者ID指示有無販賣管理資訊的判定結果至來店者表管理部16。判定結果指示無販賣管理資訊時，來店者表管理部16，從來店者表刪除聯結包含在從結帳管理部18接收的刪除要求中的來店者ID以及包含在與來店者ID相同的同行團體內的其他來店者ID之資訊(S403)。判定結果指示有販賣管理資訊時，來店者表管理部16，不會從來店者表刪除來店者ID等，結束有關刪除要求的處理。又，來店者表管理部16，步驟S401中，判定同行團體ID未聯結來店者ID時，從來店者表刪除聯結其來店者ID的資訊(S208)。

根據上述處理，成為商品購入的結帳對象的來店者中存在同行者時，從來店者表可以總刮刪除同行者團體內包含的全部來店者資訊。藉此，可以降低來店者表中的同行團體內包含的其他來店者的檢索數，可以減輕商店管理裝置1的檢索處理負荷。又，步驟S402中，判定聯結指示同行者的其他來店者ID之販賣管理資訊包含在販賣管理表內時，不會刪除其同行團體內包含的其他來店者ID的販賣管理資訊。在此情況下，第8圖所示的步驟S304中，其他來店者離開商店20時，因為判定販賣管理表內包含販賣管理資訊，步驟S307中，離店許可部19判定不允許其他來店者離開。

第11圖係第5商店管理處理的流程圖(步驟S201〜S208、S401〜S403、S501〜S503)。來店者從商品架21拿取商品後，假設可能把商品交給同行者的其他來店者。在那情況下，商店管理裝置1，對於實際上購入商品的來店者需要適當進行結帳。關於這樣的處理程序，以下說明。

第11圖中，因為包含第10圖所示的步驟S201〜S208、S401〜S403，適當割愛其說明。第11圖中，行為檢測部14，追蹤商店20內移動的來店者(S201)。行為檢測部14，根據第一位置資訊、第二位置資訊及商品位置資訊的關係，辨識哪個來店者取得哪個商品(S202)。之後，實行第7圖中說明的步驟S203〜S205後，行為檢測部14，判定來店者是否交接拿取的商品給其他來店者(S501)。

說明的方便上，來店者的活體特徵資訊位置稱作第一位置資訊、來店者的手前端位置稱作第二位置資訊、其他來店者(同行者)的活體特徵資訊位置稱作第三位置資訊、其他來店者的手前端位置稱作第四位置資訊。關於上述步驟S501，具體地，判定是否在用以辨識指示來店者的手前端位置的3次元座標的第二位置資訊及指示商品的3次元座標的商品位置資訊與指示其他來店者(同行者)的手前端位置的3次元座標的第四位置資訊接近的既定距離以內。判定來店者的手前端位置與其他來店者的手前端位置接近時(步驟S501的判定結果「YES」)，行為檢測部14，判定指示商品的3次元座標的商品位置資訊與指示其他來店者的手前端位置的3次元座標的第四位置資訊之間的距離在可以辨識抓住商品的既定距離以內且商品位置是否移動。行為檢測部14，當商品位置資訊與第四位置資訊之間的距離在可以辨識抓住商品的既定距離以內且商品位置移動時，判定商品從來店者交接給其他來店者。

行為檢測部14，對處理對象者特定部15送出指示從來店者交接商品給其他來店者(同行者)的行為資訊，行為資訊中，包含指示來店者的手前端位置的第二位置資訊、指示來店者的臉部位置的第一位置資訊、指示商品位置的商品位置資訊、指示其他來店者的臉部位置的第三位置資訊、指示其他來店者的手前端位置的第四位置資訊、指示從來店者交接商品給其他來店者的識別碼。處理對象者特定部15，一取得行為資訊，就根據第一位置資訊與第三位置資訊，從拍攝圖像抽出交接商品的來店者與其他來店者的臉部特徵量。處理對象者特定部15，根據來店者與其他來店者的臉部特徵量，在來店者表中明確指定2個來店者ID。處理對象者特定部15，送出包含對應進行商品交接的來店者與其他來店者的2個來店者ID之交接資訊給販賣管理部17。

販賣管理部17，一接收到交接資訊，就讀取交接資訊內包含的2個來店者ID。販賣管理部17，判定聯結2個來店者ID的2個販賣管理資訊存在於販賣管理表內(S502)。說明的方便上，假設成為商品交接源的來店者的ID聯結第1販賣管理資訊，成為商品交接處的其他來店者的ID聯結第2販賣管理資訊。販賣管理部17，當聯結2個來店者ID的2個販賣管理資訊包含在販賣管理表內時，販賣管理部17，判定合併第1販賣管理資訊與第2販賣管理資訊。例如，販賣管理部17，明確指定對應指示商品交接處的第四位置資訊之其他來店者臉部位置(第三位置資訊)的來店者ID，對聯結其來店者ID的第2販賣管理資訊，合併聯結商品交接源的來店者ID的第1販賣管理資訊(S503)。又，販賣管理部17，對複數的來店者ID給予相同的同行團體ID時，聯結屬於其同行團體ID的來店者ID之複數的販賣管理資訊中，對商品購入數最多的來店者ID的販賣管理資訊，合併聯結屬於同行團體ID的其他來店者ID之販賣管理資訊。

於是，商店管理裝置1收到結帳要求時(S206)，與第10圖所示的第四商店管理處理相同，實施步驟S207以後的程序(即，S207、S401〜S403、S208)。在此情況下，對於來店者，因為其他來店者(同行者)同行，步驟S403中，來店者表管理部16，從來店者表刪除聯結從結帳管理部18接收的刪除要求內包含的來店者ID以及相同的同行團體內包含的其他來店者ID之資訊。

如上述，來店者與其他來店者之間交接商品的情況下，也認定進行接受其商品交接的來店者之間為同行者，可以以同行者管理1個販賣管理資訊。藉此，關於商品購入可以進行無遺漏的結帳。

第12圖係本發明的一實施形態的商店管理裝置1的基本構成方塊圖。商店管理裝置1，至少包括來店者表產生部11及來店者表管理部16。來店者表產生部11，記錄來到商店20的來店者的資訊，產生離店許可判定利用的來店者表。來店者表管理部16，在來店者的商品購入結帳結束後，從來店者表刪除來店者的資訊。

商店管理裝置1，內部具有電腦系統，上述處理過程，作為電腦程式記憶在可電腦讀取的記憶媒體內，透過電腦讀出電腦程式實行，實現第5至11圖所示的處理程序。在此，所謂可電腦讀取的記憶媒體，指磁碟、磁光碟、CD-ROM、DVD-ROM、半導體記憶體等。又，以通訊線路傳送電腦程式給電腦，電腦可以執行電腦程式。

上述電腦程式，也可以用以實現商店管理裝置1的一部分機能。又，也可以是透過與已經記錄在電腦系統內的預設程式組合可實現商店管理裝置1的機能之差分程式(差分檔案)。

最後，本發明不限定於上述實施形態，也包含附加的申請專利範圍規定的發明範圍內的各種改造、設計變更。

本申請案，根據2018年3月20日日本國申請的專利申請第2018-53215號主張優先權，在此引用其內容。
[產業上的利用可能性]

本發明，自動記錄到商店來的來店者的資訊至來店者表，利用於商品購入的結帳、商店管理、離店許可判定等，但不限定於商店管理用途，也適用於觀察管理鐵路車站、機場等的公共設施中使用者的行動之用途。

1‧‧‧商店管理裝置

2‧‧‧進出閘

3‧‧‧第一攝影機

4‧‧‧動作感測器

5‧‧‧第二攝影機

6‧‧‧商品偵測感測器

7‧‧‧終端

8‧‧‧第一通訊網路

9‧‧‧第二通訊網路

10‧‧‧控制部

11‧‧‧來店者表產生部

12‧‧‧第一位置資訊取得部

13‧‧‧第二位置資訊取得部

14‧‧‧行為檢測部

15‧‧‧處理對象者特定部

16‧‧‧來店者表管理部

17‧‧‧販賣管理部

18‧‧‧結帳管理部

19‧‧‧離店許可部

20‧‧‧商店

21‧‧‧商品架

22‧‧‧商店設置終端

23‧‧‧閘裝置

24‧‧‧出入口攝影機

40‧‧‧資料庫

100‧‧‧商店管理系統

101‧‧‧CPU(中央處理單元)

102‧‧‧ROM(唯讀記憶體)

103‧‧‧RAM(隨機存取憶體)

104‧‧‧HDD(硬碟)

105‧‧‧介面

106‧‧‧通訊模組

[第1圖]係包括本發明的一實施形態的商店管理裝置之商店管理系統外觀圖；

[第2圖]係顯示應用商店管理系統的商店內排列複數的商品架的狀態立體圖；

[第3圖]係本發明的一實施形態的商店管理裝置之硬體構成圖；

[第4圖]係本發明的一實施形態的商店管理裝置之機能方塊圖；

[第5圖]係本發明的一實施形態的商店管理方法中的來店者表產生處理的流程圖；

[第6圖]係本發明的一實施形態的商店管理方法中的來店者ID特定處理的流程圖；

[第7圖]係本發明的一實施形態的商店管理方法中的第1商店管理處理的流程圖；

[第8圖]係本發明的一實施形態的商店管理方法中的第2商店管理處理的流程圖；

[第9圖]係本發明的一實施形態的商店管理方法中的第3商店管理處理的流程圖；

[第10圖]係本發明的一實施形態的商店管理方法中的第4商店管理處理的流程圖；

[第11圖]係本發明的一實施形態的商店管理方法中的第5商店管理處理的流程圖；以及

[第12圖]係本發明的一實施形態的商店管理裝置1的基本構成方塊圖。

Claims (10)

1. 一種商店管理裝置，包括： 來店者表產生部，產生記錄到商店來的來店者的資訊之來店者表；以及 來店者表管理部，既定處理結束後，從上述來店者表刪除離開上述商店的上述來店者的資訊。
2. 如申請專利範圍第1項所述的商店管理裝置，更包括： 販賣管理部，產生販賣管理表，記錄包含上述來店者以及上述來店者具有的商品相關的商品資訊之販賣管理資訊。
3. 如申請專利範圍第2項所述的商店管理裝置，更包括： 離店許可部，根據上述來店者表管理部，從上述來店者表刪除上述來店者的資訊時，判定上述來店者的離店許可。
4. 如申請專利範圍第2項所述的商店管理裝置，其中， 上述既定處理是上述來店者的商品購入結帳，上述離店許可部，在上述販賣管理表內記錄著未結帳的商品資訊的情況下，判定上述來店者不允許離店。
5. 如申請專利範圍第2項所述的商店管理裝置，更包括： 結帳管理部，在上述來店者表中存在上述來店者的資訊，而且，上述販賣管理表中記錄著未結帳的商品資訊的情況下，進行結帳要求。
6. 如申請專利範圍第2項所述的商店管理裝置，其中， 上述來店者表管理部，記錄上述來店者具有的商品相關的商品資訊在上述販賣管理表內時，上述來店者的資訊不存在於上述來店者表內的情況下，記錄上述來店者的資訊在上述來店者表內。
7. 如申請專利範圍第2項所述的商店管理裝置，其中， 上述來店者表管理部，判定複數的來店者屬於相同的同行團體時，聯結上述複數的來店者的資訊，記錄至上述來店者表內。
8. 如申請專利範圍第7項所述的商店管理裝置，其中， 上述既定處理是上述來店者的商品購入的結帳，上述結帳結束後，從上述來店者表刪除上述來店者的資訊的同時，從上述來店者表刪除屬於與上述來店者相同的同行團體的其他來店者的資訊。
9. 如申請專利範圍第7項所述的商店管理裝置，更包括： 行為檢測部，判定是否上述來店者將具有的商品交接給屬於相同的同行團體的其他來店者； 其中，上述販賣管理部，合併上述來店者的販賣管理資訊至上述其他來店者的販賣管理資訊，記錄至上述販賣管理表內。
10. 一種商店管理方法， 產生記錄到商店來的來店者的資訊之來店者表； 既定處理結束後，從上述來店者表刪除離開上述商店的上述來店者的資訊。