TW201913510A - 店鋪裝置、店鋪系統、店鋪管理方法及程式 - Google Patents

店鋪裝置、店鋪系統、店鋪管理方法及程式 Download PDF

Info

Publication number
TW201913510A
TW201913510A TW107108740A TW107108740A TW201913510A TW 201913510 A TW201913510 A TW 201913510A TW 107108740 A TW107108740 A TW 107108740A TW 107108740 A TW107108740 A TW 107108740A TW 201913510 A TW201913510 A TW 201913510A
Authority
TW
Taiwan
Prior art keywords
display device
sales management
product
information
store
Prior art date
Application number
TW107108740A
Other languages
English (en)
Other versions
TWI781154B (zh
Inventor
岡本貴宏
山崎晉哉
Original Assignee
日商日本電氣股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日本電氣股份有限公司 filed Critical 日商日本電氣股份有限公司
Publication of TW201913510A publication Critical patent/TW201913510A/zh
Application granted granted Critical
Publication of TWI781154B publication Critical patent/TWI781154B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0268—Targeted advertisements at point-of-sale [POS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
    • G09F27/005—Signs associated with a sensor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
    • G09F2027/001—Comprising a presence or proximity detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明提供一種店鋪裝置，包含：顯示裝置辨別部，辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品；顯示時序判定部，判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。

Description

店鋪裝置、店鋪系統、店鋪管理方法及程式
本發明係關於一種店鋪裝置、店鋪系統、店鋪管理方法及程式。
已知需要一種技術，管理店鋪中顧客希望購入之商品的自動結帳。作為關聯技術，於專利文獻1揭露一種關於無人店鋪之技術。 [習知技術文獻] [專利文獻]
[專利文獻1]日本特開平11-25337號公報
[本發明所欲解決的問題]
在進行如同上述的商品之自動結帳的店鋪中，顧客等人物將拿取的商品放入袋子或籃子而在店鋪內來回走動。為了進行自動結帳，店鋪所具備之電腦伺服器裝置，對每位顧客，依據從店鋪內之各種感測器獲得的資訊，檢測、管理顧客所拿取的商品。顧客可使取得的商品之列表，在與電腦伺服器裝置通訊的攜帶終端機顯示。然而，未持有攜帶終端機的顧客，無法確認電腦伺服器裝置所管理之自己拿取的商品等資訊。
因而，本發明之目的在於提供一種能夠解決上述問題的店鋪裝置、店鋪系統、店鋪管理方法及程式。 [解決問題之技術手段]
依本發明之第1態樣，則提供一種店鋪裝置，包含：顯示裝置辨別部，辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品；以及顯示時序判定部，判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。
依本發明之第2態樣，則提供一種店鋪管理系統，包含店鋪裝置，其辨別複數台顯示裝置中之顯示表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品之販售管理資訊的顯示裝置，判定在該辨別出的該顯示裝置顯示該販售管理資訊之時序。
依本發明之第3態樣，則提供一種店鋪管理方法，辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品；判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。
依本發明之第4態樣，則提供一種程式，使店鋪裝置之電腦實行下述處理：辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品；判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。 [本發明之效果]
依本發明，進入店鋪的人物，可在店鋪內之各顯示裝置閱覽至少包含自己拿取的商品名稱之列表的販售管理資訊，並進行商品購入。
以下，參考附圖，說明本發明之一實施形態的店鋪裝置。 圖1為具備同實施形態的店鋪裝置之店鋪系統的概略圖。 店鋪裝置1，與設置在店鋪20內之各裝置通訊連接。於店鋪20，設置例如進出門2。此外，於店鋪20內設置複數個商品架21。於各商品架21排列商品。進一步，作為一例，於店鋪20內設置與商品架21分別對應的顯示裝置22。顯示裝置22，以與商品架21無關的方式設置在店鋪內亦可。顯示裝置22，作為一例，為平板終端機等之具備觸控面板的電腦。於商品架21，設置拍攝位於商品架前方之人物的臉部之第一相機3。其他，亦於店鋪20內設置商品偵測感測器6等感測裝置，以下記載細節。
以本實施形態的店鋪系統100管理之店鋪20，成為利用者通過進出門2進店或離店的構造。店員可不常駐於店鋪20。店員亦可常駐於店鋪20。利用者從商品架21拿取商品，通過進出門2而離店。在至利用者通過進出門2而離店為止之間，設置於店內之任一拍攝裝置、動作感測器等感測裝置，取得利用者之特徵資訊與位置資訊、及用於判定該利用者所取得的商品之識別資訊與位置等的感測資訊，往店鋪裝置1發送。店鋪裝置1，利用接收到的此等感測資訊，自動進行結帳處理。
圖2為顯示商品架與從商品架取得商品的利用者之樣子的圖。 可於商品架21分別設置複數台第一相機3。此外，可於商品架21之上方設置感測使用者的動作之動作感測器4。此外，於商品架21，可將拍攝店鋪20之利用者所拿取的商品、返還至商品架21的商品之影像的第二相機5，設置於商品架21上方。該第二相機5，可與拍攝人物臉部而辨別人物的相機不同，設置作為辨別商品的相機。 另，第一相機3與第二相機5，亦可不設置在商品架21。第一相機3與第二相機5，亦可設置於天花板或地板等，若為能夠拍攝臉部影像、利用者所拿取的商品與返還至商品架21的商品之影像的位置，設置於何處皆可。
圖3為店鋪裝置之硬體構成圖。 店鋪裝置1，作為一例，如圖3所地示具備CPU(Central Processing Unit，中央處理單元)101、ROM(Read Only Memory，唯讀記憶體)102、RAM(Random Access Memory，隨機存取記憶體)103、HDD(Hard Disk Drive，硬碟)104、介面105、通訊模組106之各硬體構成。HDD104，亦可為SSD(Solid State Drive，固態硬碟)。
圖4為店鋪裝置之功能方塊圖。 店鋪裝置1之CPU101，讀取並實行預先記錄在記憶部的店鋪管理程式。因此，店鋪裝置1至少具備控制部11、第一位置資訊取得部12、第二位置資訊取得部13、行為檢測部14、人物辨別部15、顯示裝置辨別部16、顯示時序判定部17、販售管理部18、顯示控制部19之各功能。
如圖4所示，店鋪裝置1與資料庫10相連接。店鋪裝置1，經由第一通訊網路8，而與進出門2、第一相機3、動作感測器4、第二相機5、商品偵測感測器6、顯示裝置22、門裝置23等店鋪20內具備之各感測裝置通訊連接。第一通訊網路8， 例如為將店鋪裝置1與店鋪20內之各感測裝置連繫的專用通訊網路。店鋪裝置1， 另經由第二通訊網路9而與店鋪20之利用者攜帶的終端機7連接。第二通訊網路9為行動電話網路或網際網路。店鋪裝置1，可為店鋪內具備之電腦伺服器裝置，亦可為設置在遠離店鋪20的電腦資料中心等之電腦伺服器裝置。
藉由本實施形態的上述店鋪裝置1之各功能，店鋪裝置1，從位於顯示裝置22附近之利用者中，辨別處理對象人物。亦即，店鋪裝置1，將從複數台顯示裝置22之任一台算起位於既定範圍內的利用者，辨別為處理對象人物。而後，店鋪裝置1，辨別在店鋪內設置有複數台的顯示裝置22中顯示販售管理資訊的顯示裝置22，該販售管理資訊表示店鋪20內檢測到之處理對象人物在該店鋪20內取得的商品。此外，店鋪裝置1，判定在辨別出的顯示裝置22顯示販售管理資訊之時序。此外，店鋪裝置1，在判定的時序中，往辨別出之顯示裝置22發送販售管理資訊，控制使該販售管理資訊顯示在顯示裝置22。此外，店鋪裝置1，依據處理對象人物的既定動作，對顯示販售管理資訊的顯示裝置22進行該販售管理資訊之抹除指示。
藉由此等店鋪裝置1之處理，使用者可在設置於店鋪20內之顯示裝置22中，確認表示自己所拿取的商品、放入籃子或袋子的商品之販售管理資訊。
店鋪裝置1，依據從第一相機3獲得的影像，取得表示靠近商品之利用者等商品接近人物的生物體特徵資訊之位置的第一位置資訊。生物體特徵資訊，例如可為臉部之特徵資訊、眼部虹膜之特徵資訊等。商品接近人物可為顧客等利用者，亦可為管理店鋪20的管理者。此外，店鋪裝置1，依據從動作感測器4獲得的感測資訊，檢測表示商品接近人物中對商品伸出手臂的對象人物之位置的第二位置資訊。
店鋪裝置1，檢測對於商品之移動行為。例如，店鋪裝置1，依據來自拍攝商品之第二相機5的影像、及從商品偵測感測器6獲得的資訊，檢測對於商品之移動行為。商品之移動行為，係拿取商品之行為、將商品返還至商品架21之行為等。店鋪裝置1，依據進行移動行為的商品之ID與位置、第一位置資訊與第二位置資訊之位置關係，辨別進行對於商品之移動行為的處理對象人物之生物體特徵資訊。店鋪裝置1，取得與該特徵資訊相對應之人物的ID。店鋪裝置1進行如下管理：對於與辨別出之對象人物的ID相對應之販售管理資訊等，分配進行移動行為的商品之識別資訊等。
茲就店鋪裝置1的對於商品之移動行為的檢測處理予以說明。 店鋪20之利用者通過進出門2時，臉部朝向門裝置23。門裝置23，具有拍攝功能，拍攝利用者之臉部。門裝置23，將拍到利用者之臉部的影像，往店鋪裝置1發送。販售管理部18，由從門裝置23獲得的影像，產生臉部之特徵資訊。販售管理部18，判定記錄在資料庫10的利用者列表所包含之特徵資訊，與從門裝置23獲得之特徵資訊，是否一致。販售管理部18，在從門裝置23取得之特徵資訊，與記錄在資料庫10之任一特徵資訊一致的情況，往門裝置23發送表示一致的訊號。門裝置23，偵測特徵資訊之一致而進行開啟門的控制。
另，販售管理部18，於記錄在資料庫10的利用者列表所包含之特徵資訊中，不存在從門裝置23獲得之特徵資訊的情況，亦可將從該門裝置23獲得之新的特徵資訊記錄在資料庫10，對門裝置23輸出表示開門之指示。此一情況，門裝置23，可促使利用者輸入信用卡號碼、密碼等資訊，在取得此等資訊後進行開啟門的控制。販售管理部18，將與利用者之特徵資訊連結的利用者ID，寫入記錄在資料庫10之販售管理表。藉此，販售管理部18，可進行利用者在店鋪20內購入商品的準備。另，販售管理表，係將利用者ID、利用者所拿取的商品之ID、商品之個數等資訊予以對應而儲存的資料表。在利用者進入店鋪20的時間點中， 於販售管理表並未與利用者ID連結而儲存商品ID等商品資訊。
利用者在店鋪內拿取商品而放入籃子等時，第一相機3從商品架21側拍攝位於商品架21前方之利用者等人物，將該拍攝到的影像或動態影像往店鋪裝置1輸出。動作感測器4，作為一例，從天花板等商品架21之上方感測下方的利用者，將藉由該感測所獲得之資訊，往店鋪裝置1輸出。 動作感測器4所感測而輸出之資訊，例如可為將以紅外線獲得之至各物體位置的距離，轉換為影像之距離影像等。
商品偵測感測器6，例如設置於陳列在商品架21的每個商品。商品偵測感測器6，具體而言，呈舖在商品下方之薄片狀的形狀，可為設定為該薄片形狀之檢測各位置的商品之重量所產生的壓力之壓力感測器、或檢測該重量本身之重量感測器等。商品偵測感測器6，例如在利用者拿取商品之情況，將包含該商品偵測感測器6的感測器ID、及商品架21中之該商品的店鋪內座標之商品取得訊號，往店鋪裝置1輸出。店鋪裝置1，依據和取得之資訊各自連結的店鋪內三維座標與時刻之對應關係，以及和從商品偵測感測器6接收到的商品偵測感測器6之感測器ID連結而儲存的商品ID及店鋪內三維座標與時刻之對應關係，而辨別人物ID。取得的資訊，係依據從第一相機3獲得的影像之人物的特徵資訊、依據從動作感測器4獲得的影像之人物的骨骼資訊、依據從第二相機5獲得的影像之商品ID等的商品資訊。 店鋪裝置1，將辨別出之人物ID，與從第二相機5拍攝到的影像辨別出之商品ID連結，記錄在資料庫10的販售管理表。
商品偵測感測器6，在商品返回商品架21之情況，將包含該商品偵測感測器6的感測器ID、商品架21中之該商品的店鋪內座標等之商品退回行為資訊，往店鋪裝置1輸出。店鋪裝置1，進行解除記錄在資料庫10的對應之利用者的ID與商品ID之連結的處理。具體而言，店鋪裝置1，依據和該商品退回行為資訊所示之商品偵測感測器6的感測器ID連結而儲存之商品ID與座標、及處理對象人物之特徵資訊與骨骼資訊，而進行解除對應之利用者的人物ID與商品ID之連結的處理。
店鋪裝置1，亦可取代從商品偵測感測器6獲得的資訊，而依據從第二相機5獲得的影像，檢測利用者所拿取之商品的識別資訊、及商品架21中之該商品的店鋪內座標。此外，店鋪裝置1，亦可依據從第二相機5獲得的影像，檢測返回至商品架21之商品的識別資訊、及商品架21中之該商品的店鋪內座標。亦即，店鋪裝置1，依據從商品偵測感測器6與第二相機5獲得的影像之至少一方，檢測對於商品之移動行為即可。移動行為，表示利用者所進行的從商品架21取得商品之行為、或商品的返回商品架21之行為。
藉由此等處理，店鋪裝置1，可分析、儲存利用者拿取何種商品、使何種商品返回商品架21的資訊。此外，利用者在離店時通過進出門2。此時，門裝置23，拍攝離店之利用者的臉部。門裝置23，將包含拍到的利用者臉部之影像與離店旗標之離店資訊，往店鋪裝置1發送。販售管理部18，由從門裝置23獲得的影像，產生臉部之特徵資訊。販售管理部18，判定記錄在資料庫10的利用者列表所包含之特徵資訊，與從門裝置23獲得之特徵資訊，是否一致。販售管理部18，在從門裝置23取得之特徵資訊，與記錄在資料庫10之任一特徵資訊一致的情況，往門裝置23發送表示一致的訊號。藉此，門裝置23，進行開啟進出門2之門的控制。
此外，販售管理部18，依據離店的利用者之特徵資訊，從資料庫10讀取利用者的ID。販售管理部18，依據該利用者的ID，辨別記錄在販售管理表的販售管理資訊所包含之該利用者的ID，與商品的ID之關係。而後，販售管理部18，可自動檢測離店之利用者的購入商品。店鋪裝置1，利用記錄在資料庫10內的販售管理表之包含利用者的ID與商品的ID之販售管理資訊、依據利用者的ID從資料庫10取得之結帳用的信用卡號碼等，自動進行結帳處理。從利用者的往店鋪20之進店至離店為止的店鋪20內之各裝置的上述處理、店鋪裝置1的上述處理僅為一例。亦可藉由其他處理，進行檢測利用者所購入的商品之處理。
如同上述，店鋪裝置1，檢測利用者從商品架21取得商品之行為、利用者使商品返回商品架21之行為，但必須提高何人取得何種商品的辨識精度。例如，在複數人位於商品架21前方，其中一人拿取特定商品之情況，若未精度良好地辨識何人取得何種商品，則店鋪裝置1無法自動前往商品之購入處理。 以下，茲就用於提高何人取得何種商品的辨識精度之技術詳細地予以說明。 店鋪裝置1，亦可判定店員等因購入商品之目的而入店的人物以外之人物取得何種商品。而後，店鋪裝置1進行下述控制：將表示如此地辨別出之人物欲購入的商品之列表的販售管理資訊，往設置於店鋪20內之顯示裝置22顯示。藉此，可對未持有自己的攜帶終端機之利用者，通知該利用者拿取而欲購入的商品之資訊、金額等。
圖5為顯示店鋪裝置之處理流程的第一圖。 店鋪裝置1之第一位置資訊取得部12，作為一例，從複數台第一相機3分別在1秒間取得數張~數十張程度的影像。複數台第一相機3，在各商品架21中設置為可拍攝位於架子前的人物。第一位置資訊取得部12，檢測其等取得的影像所拍到之人物的生物體特徵資訊(步驟S101)。生物體資訊可為臉部之特徵資訊或眼部虹膜之特徵資訊等。第一位置資訊取得部12，在從影像中取得生物體特徵資訊的情況，算出檢測到該特徵資訊的空間座標。例如對於第一位置資訊取得部12，預先決定依據視場角與拍攝方向的三維拍攝空間領域。 第一位置資訊取得部12，從資料庫10取得關於各第一相機3的三維拍攝空間領域。第一位置資訊取得部12，依據該取得的三維拍攝空間領域、影像中出現之特徵資訊的影像內座標、特徵資訊的大小等，藉由既定算式算出特徵資訊出現的三維拍攝空間領域中之三維座標。此外，第一位置資訊取得部12，利用從三維拍攝空間領域中之座標轉為表示店鋪空間領域之座標的轉換式，算出特徵資訊出現的店鋪空間領域內之三維座標(步驟S102)。 第一位置資訊取得部12，在從影像中取得生物體特徵資訊的情況，將發送該影像的第一相機3之ID、檢測時刻、生物體特徵資訊、該特徵資訊出現的店鋪空間領域內之三維座標予以對應，記錄在第一人物候選表(步驟S103)。第一位置資訊取得部12，每當取得影像時，更新第一人物候選表之資訊。
第二位置資訊取得部13，作為一例，從複數台動作感測器4在1秒間取得數張~數十張程度的距離影像。複數台動作感測器4，設置於各商品架21之上方的天花板等，設置為可從上方朝向下方拍攝位於架子前的人物。第二位置資訊取得部13，分析其等取得的距離影像所拍到之人物的影像，檢測影像中之頭部位置、人物所伸出的手臂之軸等骨骼資訊(步驟S104)。骨骼資訊，例如可包含在距離影像中分析而獲得的表示手臂之軸的直線之向量、座標、手部前端之座標等。另，骨骼資訊，至少包含辨別從上方觀察的頭部、手臂、手部前端之座標內的位置所用之座標與向量，及表示手臂之軸的算式等。 第二位置資訊取得部13，在從影像中取得包含手臂之軸及手部前端的骨骼資訊之情況，算出表示該骨骼資訊的手臂與手部前端之空間座標。與第一位置資訊取得部12同樣地，第二位置資訊取得部13，預先儲存依據視場角與拍攝方向的三維拍攝空間領域。第二位置資訊取得部13，從資料庫10取得關於各動作感測器4的三維拍攝空間領域。第二位置資訊取得部13，依據該取得的三維拍攝空間領域、在影像中出現之骨骼資訊的影像內座標、從動作感測器4算起的距離等，藉由既定算式算出骨骼資訊出現的三維拍攝空間領域中之三維座標。此外，第二位置資訊取得部13，利用從三維拍攝空間領域中之座標轉為表示店鋪空間領域之座標的轉換式，算出骨骼資訊出現的店鋪空間領域內之三維座標(步驟S105)。 第二位置資訊取得部13，在從影像中取得骨骼資訊的情況，將發送該影像的動作感測器4之ID、檢測時刻、骨骼資訊、該骨骼資訊出現的店鋪空間領域內之三維座標予以對應，記錄在第二人物候選表(步驟S106)。第二位置資訊取得部13，每當取得距離影像時，更新第二人物候選表之資訊。
商品偵測感測器6，作為一例，偵測商品之重量、該重量所產生之壓力。商品偵測感測器6，依據該重量與壓力的增減等，在重量與壓力的減少為閾值以上之情況，將包含表示減少的旗標、感測器ID、商品的配置位置(商品架ID與配置層號等)、及行為檢測時刻之商品取得行為資訊，往店鋪裝置1輸出。此外，商品偵測感測器6，依據重量與壓力的增減等，在重量與壓力的增加為閾值以上之情況，將包含表示增加的旗標、感測器ID、商品的配置位置、及行為檢測時刻之商品返還行為資訊，往店鋪裝置1輸出。 店鋪裝置1之行為檢測部14，從商品偵測感測器6取得商品取得行為資訊與商品返還行為資訊(步驟S107)。行為檢測部14，依據商品取得行為資訊，取得與商品取得行為資訊所包含之感測器ID連結而儲存之商品ID。藉此，行為檢測部14，偵測到從以配置位置表示之商品架21取得該商品ID的商品。此外，行為檢測部14，依據商品返還行為資訊，取得與商品返還行為資訊所包含之感測器ID連結而儲存之商品ID。藉此，行為檢測部14，偵測到該商品ID的商品返回至以配置位置表示之商品架21。行為檢測部14，將與商品取得行為資訊或商品返還行為資訊所包含之感測器ID相對應之商品ID、配置位置、行為檢測時刻，往人物辨別部15輸出。
人物辨別部15，若從行為檢測部14取得進行移動行為的商品ID、配置位置、行為檢測時刻，則進行下一個判定處理。亦即，人物辨別部15，判定骨骼資訊是否記錄在第二人物候選表，該骨骼資訊包含和配置位置所示的店鋪空間領域中之三維座標成為既定距離以內的鄰近座標，且與和行為檢測時刻為既定時間差以內的檢測時刻連結。人物辨別部15，在包含和進行移動行為的商品之三維座標成為既定距離以內的鄰近座標，且與和行為檢測時刻為既定時間差以內的檢測時刻連結之骨骼資訊，記錄在第二人物候選表的情況，取得該骨骼資訊(步驟S108)。 例如，骨骼資訊包含手部的前端之三維座標。人物辨別部15，在商品之三維座標與手部的前端之三維座標幾乎於相同時刻接近的情況，將包含該手部的前端之三維座標的骨骼資訊，推定為拿取商品之人物的骨骼資訊而取得該骨骼資訊。因此，人物辨別部15，依據進行移動行為的商品之三維座標，取得如同上述地取得之骨骼資訊所包含的頭部之三維座標、與該骨骼資訊之檢測時刻(步驟S109)。 人物辨別部15，從第一人物候選表取得臉部的特徵資訊，該臉部的特徵資訊，和從該頭部之三維座標算起既定距離以內之三維座標連結，且檢測時刻為既定時間差以內(步驟S110)。店鋪裝置1，預先將臉部的特徵資訊與人物的ID連結，預先儲存在資料庫10內之人物特徵表。人物辨別部15，依據該儲存資訊，利用從骨骼資訊取得之臉部的特徵資訊，檢測人物的ID(步驟S111)。
依上述處理，則店鋪裝置1，檢測取得商品架21之商品的人物之手臂或手部的動作所造成之位置、進行移動行為的商品之位置。此外，店鋪裝置1，依據人物之手臂或手部的動作所造成之位置與商品之位置的對應關係，判定何人取得何種商品，另，何種商品由何人返還。藉由此等處理，相較於過去，可精度良好地判定由何人取得何種商品，另，由何人返還何種商品。
在上述步驟S107所示之取得商品取得行為資訊與商品返還行為資訊的處理中，店鋪裝置1，亦可依據從第二相機5獲得的影像，判定其係進行商品取得行為與商品返還行為之何種移動行為。例如行為檢測部14，作為一例，從第二相機5分別在1秒間取得數張~數十張程度的影像。第二相機5，在各商品架21的範圍調整視場角，拍攝置放在該架子的商品。 行為檢測部14，依據置放在商品架21之商品各自的影像資料，進行圖形比對等或移動分析，依序檢測此等影像所拍到之商品各自的前後之移動量、商品之有無，而辨別移動的商品。此外，行為檢測部14，例如在前後接收到的影像間，配置在商品架21之商品消失的情況，判定為取得商品。另一方面，行為檢測部14，在前後接收到的影像間，配置有原未配置在商品架21之商品的情況，判定為商品返回至商品架21。
而行為檢測部14，在判定為取得商品的情況，產生包含該商品之ID與商品之配置位置的商品取得行為資訊。商品之ID，可為與商品的影像資料連結而記錄在資料庫10等之ID。此外，商品之配置位置，可為依據第二相機5所拍攝到的影像內之座標所算出的店鋪空間領域中之三維座標。行為檢測部14，在判定為商品返回至商品架21的情況，產生包含該商品之ID與商品之配置位置的商品返還行為資訊。行為檢測部14，將商品取得行為資訊或商品返還行為資訊所包含的商品之ID與配置位置，往人物辨別部15輸出。之後的人物辨別部15所進行之處理，可為與利用從上述商品偵測感測器6獲得之進行移動行為的商品之座標所進行的人物辨別處理相同之處理。
另，亦可如圖2所示地，於商品架21設置複數台拍攝商品之第二相機5，行為檢測部14依據以各個第二相機5拍攝到的影像，判定進行移動行為的商品。第二相機5，亦可不僅設置於商品架21，亦設置於天花板或地板。複數台第二相機5從不同方向拍攝進行移動行為的商品，分析複數影像，藉而可提高商品之辨識精度。此一情況，行為檢測部14，從複數台第二相機5，依序取得從不同方向拍攝到之進行移動行為的商品之各影像。行為檢測部14，藉由圖形比對，檢測從複數台第二相機5取得的各影像所拍到之商品。此外，行為檢測部14，將該商品之三維座標，將拍攝方向、視場角、商品之大小等資訊代入算式而算出影像所拍到的商品之三維座標。行為檢測部14，於相同時刻，檢測到從拍攝相同商品架21之複數台第二相機5各自取得的各影像所拍到之相同商品的情況，將其等辨別為一個商品。而後，行為檢測部14，從此等複數影像辨別一個商品之移動行為。另，於資料庫10，記錄各商品之從複數不同角度觀察的情況之特徵資訊與影像資訊。行為檢測部14，利用此等記錄在資料庫10的商品之特徵資訊與影像資訊，辨別以第二相機5拍攝之新的影像所拍到之商品。
人物辨別部15，若在步驟S111中檢測對商品進行移動行為之人物的ID，則將販售管理資訊往販售管理部18輸出。販售管理資訊，包含該人物的ID、及表示移動行為的資訊即商品取得行為資訊或商品返還行為資訊。販售管理部18，從販售管理資訊，取得人物的ID、商品取得行為資訊或商品返還行為資訊。販售管理部18，判定是否取得判定商品取得行為資訊或商品返還行為資訊中之商品取得行為資訊(步驟S112)。販售管理部18，在販售管理資訊包含商品取得行為資訊的情況(S112的YES)，進行購入處理(步驟S113)。亦即，販售管理部18，進行購入處理：往與人物ID連結而記錄在資料庫10的販售管理表之商品資訊，加上一個商品取得行為資訊所包含的商品ID。藉此，於資料庫10，記錄以人物ID表示之人物購入了商品。 另一方面，販售管理部18，在販售管理資訊包含商品返還行為資訊的情況(S 112的NO)，進行返還處理(步驟S114)。亦即，販售管理部18，進行下述返還處理：從與人物ID連結而記錄在資料庫10的販售管理表之商品資訊中，將商品返還行為資訊所包含的商品ID刪除1個。藉此，於資料庫10，記錄以人物ID表示之人物將商品從購入對象刪去。
另，販售管理部18，將人物ID、及表示進行了販售管理表的更新之販售管理資訊變更通知，往顯示控制部19輸出。顯示控制部19，若受理販售管理資訊變更通知，則依據該通知，取得與該人物ID連結而記錄在資料庫10的人物管理表之終端機7的終端機ID。顯示控制部19，依據終端機ID，產生往終端機7發送之販售管理資訊(步驟S115)。作為一例，販售管理資訊，可為包含以下內容的資訊：人物ID、以該人物ID辨別之人物所拿取而判定為購入商品的商品之名稱與ID等列表、各商品之個數、各商品之單價、判定為購入商品的全部商品之合計金額。 顯示控制部19，將產生之販售管理資訊，依據終端機ID往終端機7發送(步驟S116)。終端機ID，可為終端機7之網路上的位址、或分配至儲存在終端機7之專用應用程式的ID等。終端機7，接收販售管理資訊，往畫面輸出。藉此，使販售管理資訊顯示在步驟S111檢測到之人物所持有的終端機7，該人物可掌握自己欲在店鋪內購入的商品之列表、合計金額。 店鋪裝置1之控制部11，判定是否結束處理(步驟S117)。控制部11，在處理未結束的情況(步驟S117的NO)，重複從步驟S101之處理。店鋪裝置1之各處理部，將上述處理依據從店鋪所具備之各感測器獲得的資訊，對各人物併行地進行處理。
上述處理中店鋪裝置1之販售管理部18，進行將由該人物進行移動行為的商品之ID，分配給與人物辨別部15所辨別出之人物的ID相對應之販售管理資訊的處理。然而，販售管理部18，亦可取代儲存作為表示欲購入該商品之販售管理資訊，而將該商品ID的資訊記錄在其他資料表，以作為表示人物對該商品有興趣之商品價值管理資訊。 此外，上述處理中店鋪裝置1之販售管理部18，進行將由該人物進行的返還至商品架21之移動行為的商品之ID，分配給與人物辨別部15所辨別出之人物的ID相對應之販售管理資訊的處理。然而，販售管理部18，亦可取代儲存作為表示返還該商品之販售管理資訊，而將該商品ID的資訊記錄在其他資料表，以作為表示人物對商品有興趣但未至購入程度之商品價值管理資訊。
另，上述店鋪裝置1之處理，進行僅一人位於商品架21前方，該人物取得商品之情況或將商品返還至商品架21之情況的人物之辨別，以及進行了移動行為的商品之辨別。然而，店鋪裝置1，在複數人位於商品架21前方之情況，亦可藉由同樣的處理，判定何人對何種商品進行移動行為。此一情況，第二位置資訊取得部13，必須利用從各動作感測器4取得的距離影像，對每位人物精度良好地檢測各距離影像所拍到之人物的骨骼資訊。第二位置資訊取得部13，依據距離影像所拍到之人物的人數，進行各自之人物的骨骼資訊之檢測處理，故距離影像所拍到之人物的人數越多，第二位置資訊取得部13的處理負載變得越重。然而，店鋪裝置1的每段短時間之處理能力大的情況，可在短時間檢測距離影像所拍到之人物的骨骼資訊。如此地，藉由使店鋪裝置1之每段短時間的處理能力增大，而可在短時間進行人物之特徵資訊的檢測、商品之移動行為的檢測。
上述處理中，顯示控制部19，亦可依據產生之販售管理資訊所包含的人物ID與商品ID，辨別宣傳動態影像之影像資料。顯示控制部19，依據販售管理資訊所包含的人物ID與商品ID，將關於該商品或該商品之關聯商品的1張或複數張宣傳動態影像，從記錄在資料庫10之複數張宣傳動態影像中辨別影像資料。而後，顯示控制部19，取得該辨別出之1張或複數張宣傳動態影像的影像資料。 顯示控制部19，亦可進行如下控制：將此影像資料，往以人物ID辨別的終端機ID之終端機7，或設置於店鋪20內且設置在位於以人物ID表示之人物附近的商品架21之螢幕。
圖6為顯示店鋪裝置之處理流程的第二圖。 藉由上述處理，將店鋪內利用者所拿取的商品ID等資訊作為販售管理資訊累積。利用者，可在設置於店鋪20內的顯示裝置22顯示該販售管理資訊。例如，具體而言，顯示裝置辨別部16，從第一相機3依序取得影像(步驟S201)。顯示裝置辨別部16，從資料庫10，取得與第一相機3的ID連結而記錄之商品架21的ID。顯示裝置辨別部16，從資料庫10，取得與該商品架21的ID連結而記錄之顯示裝置22的三維座標(步驟S202)。 顯示裝置辨別部16，依據從第一相機3獲得的影像拍到之利用者的特徵資訊所位於之座標，算出該特徵資訊出現的店鋪內三維空間中之三維座標(步驟S 203)。例如，顯示裝置辨別部16，依據影像所拍到的利用者之兩眼間隔的長度，推定從第一相機3至利用者的距離。顯示裝置辨別部16，將推定出的距離及影像內之眼部的位置、與第一相機3的拍攝方向及視場角，代入座標算式，此一結果，算出店鋪內的利用者之三維座標。
顯示裝置辨別部16，辨別從第一相機3獲得的影像所拍到之一位或複數位利用者的特徵資訊所示之三維座標中，最靠近和第一相機3對應的顯示裝置22之三維座標的利用者之三維座標(步驟S204)。顯示裝置辨別部16，判定該辨別出的利用者之三維座標，與和第一相機3對應的顯示裝置22之三維座標的距離，是否成為閾值以下(步驟S205)。顯示裝置辨別部16，在利用者的特徵資訊所示之三維座標，與和第一相機3對應的顯示裝置22之三維座標的距離成為閾值以下之情況(步驟S205的YES)，將該顯示裝置22，辨別為顯示辨別出之利用者的販售管理資訊之候選裝置(步驟S206)。顯示裝置辨別部16，將作為候選裝置辨別出之顯示裝置22的ID、與和該顯示裝置22的距離成為閾值以下之特徵資訊相對應的利用者的ID，往顯示時序判定部17輸出。藉此，可辨別顯示利用者之販售管理資訊的顯示裝置。
顯示裝置辨別部16，亦可利用從動作感測器4獲得的距離影像，辨別利用者的店鋪之三維座標，辨別靠近利用者的顯示裝置22。具體而言，從距離影像抽出骨骼資訊，將和從第一相機3獲得的利用者之特徵資訊的座標相對應之位置的骨骼資訊之座標，與顯示裝置22之座標，予以比較。顯示裝置辨別部16，辨別骨骼資訊之座標與顯示裝置22之座標成為閾值以下的骨骼資訊與顯示裝置22。顯示裝置辨別部16，將和該骨骼資訊相對應的特徵資訊之利用者的ID、與該顯示裝置22的ID，往顯示時序判定部17輸出。
顯示時序判定部17，判定在從顯示裝置辨別部16獲得之顯示裝置ID所示之顯示裝置22顯示之販售管理資訊的時序(步驟S207)。具體而言，顯示時序判定部17，可在從顯示裝置辨別部16取得顯示裝置ID與利用者ID之組合的時序，判定為將該利用者ID所示之利用者的販售管理資訊，顯示於該顯示裝置ID所示的顯示裝置22。此一情況，顯示時序判定部17，將從顯示裝置辨別部16取得的顯示裝置ID與利用者ID，直接往顯示控制部19輸出。 顯示控制部19，依據利用者ID，從資料庫的販售管理表讀取該利用者ID所示之利用者的販售管理資訊。顯示控制部19，往從顯示時序判定部17取得之顯示裝置ID所示的顯示裝置，發送該販售管理資訊(步驟S208)。顯示裝置22，接收販售管理資訊而往畫面輸出。
顯示裝置22，具備觸控面板等觸控感測器。顯示裝置22，依據利用者觸碰到觸控面板，而偵測該觸碰行為，將包含表示觸碰的資訊與顯示裝置ID之觸碰訊號，往店鋪裝置1發送。店鋪裝置1之顯示時序判定部17，檢測該觸碰訊號，判定顯示裝置辨別部16所辨別出之顯示裝置ID，與觸碰訊號包含之顯示裝置ID， 是否一致。顯示時序判定部17，在此等顯示裝置ID一致的情況，將該顯示裝置ID、 及與從顯示裝置辨別部16取得的資訊中一致之顯示裝置ID成組的利用者ID，往顯示控制部19輸出。顯示控制部19，依據利用者ID，從資料庫的販售管理表讀取該利用者ID所示之利用者的販售管理資訊。顯示控制部19，往從顯示時序判定部17取得之顯示裝置ID所示的顯示裝置，發送該販售管理資訊。顯示裝置22，接收販售管理資訊而往畫面輸出。
顯示時序判定部17，亦可依據從動作感測器4獲得的距離影像，與上述同樣地取得骨骼資訊，利用該骨骼資訊判定販售管理資訊之顯示時序。例如，顯示時序判定部17，檢測骨骼資訊所示的手臂之軸所示的資訊、手部前端的位置之動作。顯示時序判定部17，檢測手臂之軸，往從顯示裝置辨別部16獲得之顯示裝置ID的顯示裝置22延伸。而後，顯示時序判定部17，將位於手臂的軸所延伸之方向的顯示裝置22之顯示裝置ID、與伸出該方向之手臂的利用者之ID，往顯示控制部19輸出。顯示控制部19，依據利用者ID，從資料庫的販售管理表，讀取該利用者ID所示之利用者的販售管理資訊。顯示控制部19，往從顯示時序判定部17取得之顯示裝置ID所示的顯示裝置，發送該販售管理資訊。顯示裝置22，接收販售管理資訊而往畫面輸出。
取代上述處理，顯示裝置辨別部16，亦可依據從利用者之動作感測器4獲得的資訊，檢測對顯示裝置22要求顯示之姿勢，判定為使販售管理資訊顯示在以該姿勢要求顯示的顯示裝置22。姿勢，例如為利用者視線朝向顯示裝置22之姿勢。而後，顯示時序判定部17，在依據由動作感測器4或第一相機3獲得的影像資訊，檢測到對顯示裝置22要求顯示之姿勢(使視線朝向裝置等之姿勢)的情況，可判定為使販售管理資訊顯示在以該姿勢要求顯示的顯示裝置22之時序。
依上述處理，店鋪裝置1，可將利用者的販售管理資訊，在設置於該利用者附近的顯示裝置22顯示。藉此，未持有自己的攜帶終端機等之利用者，亦可確認顯現於設置在店鋪內的顯示裝置22之自己取得的商品之列表、商品之金額、此等商品之合計金額。此外，依上述處理，則即便為第一相機3所取得的影像拍攝到複數位利用者之情況，仍可將最靠近顯示裝置22的利用者辨別為候選利用者，顯示該利用者的販售管理資訊。
此外，依上述處理，則每當利用者移動而面對的商品架21改變時，店鋪裝置1，可將該利用者的販售管理資訊，在設置於面對的商品架21之顯示裝置22依序移動而顯示。
上述處理中店鋪裝置1，將與顯示裝置22的距離成為既定以下之利用者的販售管理資訊，往顯示裝置22輸出。然則，店鋪裝置1，在影像拍到複數位利用者的情況，亦可將複數位利用者中與顯示裝置22的距離最近之利用者的販售管理資訊輸出。此一情況，顯示裝置辨別部16，依據從第一相機3與動作感測器4獲得之影像內的座標、顯示裝置22的座標，算出最靠近和此等第一相機3與動作感測器4相對應的顯示裝置22之利用者。如此地，顯示裝置辨別部16，辨別從複數台顯示裝置22之任一台算起位於既定範圍內的人物中，最靠近顯示裝置22的人物。 此外，店鋪裝置1，亦可判定最靠近商品架21之利用者，將該利用者的販售管理資訊往辨別出之顯示裝置22輸出。此一情況亦同樣地，顯示裝置辨別部16，依據從第一相機3與動作感測器4獲得之影像內的座標、商品架21的座標，算出最靠近和此等第一相機3與動作感測器4相對應的商品架21之利用者。如此地，顯示裝置辨別部16，辨別從複數台顯示裝置22之任一台算起位於既定範圍內的人物中，最靠近設置顯示裝置22的商品架21之人物。
顯示控制部19，除了販售管理資訊以外，亦可依據該販售管理資訊所示的商品，推定其他關聯商品，將該關聯商品之宣傳資訊、表示配置之商品架21的店鋪內位置之地圖資訊，往顯示裝置22輸出。例如，顯示控制部19，將各商品ID、及表示與該商品關聯之關聯商品的關聯商品ID，儲存於資料庫10。與某商品關聯之關聯商品，可為與依據過去的購買資訊，利用統計手法推定出的某商品關聯之商品。此一推定可由店鋪裝置1進行，亦可由其他通訊連接之統計處理裝置進行。
顯示控制部19，亦可在從要求顯示販售管理資訊經過既定時間後，對該顯示裝置22，指示將輸出至顯示裝置22之販售管理資訊的顯示予以抹除。此外，顯示時序判定部17，持續判定從第一相機3獲得的影像或從動作感測器4獲得的距離影像所拍到之利用者從顯示裝置22或商品架21算起的距離，在該距離遙遠的情況，對顯示控制部19，指示抹除販售管理資訊的顯示。 亦可依據來自顯示控制部19的指示，進行抹除顯示裝置22的顯示之控制。顯示控制部19，亦可檢測從第一相機3獲得的影像或從動作感測器4獲得的距離影像所拍到之利用者的視線由顯示裝置22移開，在該情況控制抹除顯示裝置22的顯示。
顯示裝置22，可受理顯示之販售管理資訊的變更操作為佳。例如，例示利用者使自己的販售管理資訊在顯示裝置22顯示而予以確認時，自己拿取而放入籃子等的商品與其數量，和販售管理資訊所示的商品與其數量不同之情況。此一情況，可對顯示裝置22輸入商品之變更、數量之變更。此外，利用者，在販售管理資訊包含未拿取的商品之情況，對顯示裝置22，輸入從販售管理資訊刪除該商品的指示。顯示裝置22，依據輸入的變更指示，產生變更要求，往店鋪裝置1輸出。店鋪裝置1之販售管理部18，可依據變更要求，變更記錄在資料庫10的販售管理表之販售管理資訊。 例如，在變更要求表示數量變更之情況，於變更要求儲存商品ID與新的商品數。此外，在變更要求表示商品變更之情況，於變更要求儲存錯誤的商品ID、正確的商品ID。販售管理部18，變更販售管理資訊，俾以使此等變更要求，與販售管理資訊一致。販售管理部18，亦可在變更販售管理資訊之情況，將進行變更要求之利用者的ID、與變更要求的內容，儲存在資料庫10，分析該變更要求是否正確。店鋪裝置1，可在變更要求不正確之情況，將利用者的ID，作為不正確利用者資訊而記錄在資料庫10。
販售管理部18，為了允許上述變更要求，可依據從第一相機3與動作感測器4獲得的影像，確認對顯示裝置22指示變更要求之利用者，是否為和販售管理資訊對應之利用者。例如，店鋪裝置1，在從此等影像獲得之操作顯示裝置22的利用者之特徵資訊，與和販售管理資訊對應的利用者之特徵資訊一致的情況，允許依據變更要求之販售管理資訊的變更。店鋪裝置1，亦可藉由其他處理，允許販售管理資訊之變更要求。
顯示控制部19，亦可控制俾以在顯示裝置22顯示的販售管理資訊中僅輸出關於既定商品的資訊。例如，顯示控制部19，對於在設置於某商品架21的顯示裝置22顯示之販售管理資訊，可控制僅使該商品架21在某既定範圍管理的商品之資訊，顯示在顯示裝置22。
設置於店鋪20的各商品架21，例如如圖2所示地，配置為使某商品架21之商品取出方向的面位置，與鄰接的商品架21之商品取出方向的面位置偏移。藉由如此地配置商品架21，在依據從拍攝利用者的特徵資訊之第一相機3、拍攝利用者所拿取的商品之第二相機5獲得的影像，判定哪位利用者拿取何種商品時，各影像所拍到之商品架21與利用者的關係變得明確。藉此，可降低該判定之難易度。例如，在位於某商品架21之端部的利用者，拿取位於該商品架21旁之商品架21的商品等情況，可降低依據影像判定利用者取得與面對之商品架21不同之鄰近商品架21的商品之處理工夫。
圖7為顯示店鋪裝置之最小構成的圖。 店鋪裝置1，至少具備顯示裝置辨別部16、顯示時序判定部17即可。 顯示裝置辨別部16，辨別在店鋪20內設置有複數台的顯示裝置22中之顯示販售管理資訊的顯示裝置22，該販售管理資訊表示店鋪20內檢測到之處理對象人物在該店鋪20內取得的商品。 顯示時序判定部17，判定於辨別出的顯示裝置顯示販售管理資訊之時序。
上述各裝置，於內部具備電腦系統。而上述各處理的過程，以程式的形式儲存在電腦可讀取之記錄媒體，使電腦讀取並實行該程式，藉而進行上述處理。此處，電腦可讀取之記錄媒體，係指磁碟、磁光碟、CD-ROM、DVD-ROM、半導體記憶體等。此外，亦可將此電腦程式藉由通訊線路往電腦配送，使接收到此一配送的電腦實行該程式。
此外，上述程式，可用於實現前述功能之一部分。 進一步，亦可為能夠將上述功能以全部記錄在電腦系統之程式的組合予以實現之所謂的差異檔案(差異程式)。
上述實施形態之一部分或全部，可如同下方附註般地記載，但不限於以下實施形態。
(附註1) 一種店鋪裝置，包含： 顯示裝置辨別部，辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置， 該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品；以及 顯示時序判定部，判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。
(附註2) 如附註1記載之店鋪裝置，其中， 包含人物辨別部，其將從該複數台顯示裝置之任一台算起位於既定範圍內的人物，辨別為該處理對象人物。
(附註3) 如附註2記載之店鋪裝置，其中， 該人物辨別部，將位於該既定範圍內之人物中最靠近該顯示裝置之人物，辨別為該處理對象人物。
(附註4) 如附註2記載之店鋪裝置，其中， 該人物辨別部，將位於該既定範圍內之人物中最靠近設置有該顯示裝置的商品架之人物，辨別為該處理對象人物。
(附註5) 如附註2至附註4中任一項所記載之店鋪裝置，其中， 該人物辨別部，依據從以拍攝裝置拍攝到之拍到一位或複數位該人物的影像得到之該人物的特徵資訊，辨別該處理對象人物。
(附註6) 如附註1至附註5中任一項所記載之店鋪裝置，其中， 該顯示裝置辨別部，在設置於該顯示裝置之觸控感測器偵測到有觸碰的情況，將設置有該觸控感測器之該顯示裝置，辨別為顯示該販售管理資訊之該顯示裝置； 該顯示時序判定部，在該觸控感測器偵測到有該觸碰的情況，判定為使該販售管理資訊顯示在設置有該觸控感測器之該顯示裝置的時序。
(附註7) 如附註1至附註5中任一項所記載之店鋪裝置，其中， 該顯示裝置辨別部，依據從感測人物的動作之動作感測器獲得的資訊，檢測對該顯示裝置要求顯示之姿勢，將以該姿勢要求該顯示的該顯示裝置，辨別為顯示該販售管理資訊的該顯示裝置； 該顯示時序判定部，在依據從該動作感測器獲得的資訊檢測到對該顯示裝置要求顯示之姿勢的情況，判定為使該販售管理資訊顯示在以該姿勢要求該顯示的該顯示裝置之時序。
(附註8) 如附註1至附註7中任一項所記載之店鋪裝置，其中， 包含顯示控制部，其控制將該販售管理資訊往該顯示裝置發送而顯示該販售管理資訊，並依據該處理對象人物的既定動作，對顯示該販售管理資訊的該顯示裝置進行該販售管理資訊之抹除指示。
(附註9) 如附註1至附註8中任一項所記載之店鋪裝置，其中， 其特徵在於包含販售管理部，其從該顯示裝置，取得在該顯示裝置顯示之該販售管理資訊所示的該商品與該商品之數量的變更，變更該販售管理資訊。
(附註10) 一種店鋪系統， 包含店鋪裝置，其辨別複數台顯示裝置中，顯示表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品之販售管理資訊的顯示裝置，判定在該辨別出的該顯示裝置顯示該販售管理資訊之時序。
(附註11) 一種店鋪管理方法， 辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品； 判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。
(附註12) 一種程式，使店鋪裝置之電腦實行下述處理： 辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品； 判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。
本申請案，主張以2017年8月25日在日本提出申請之日本特願第2017-162610號為基礎的優先權，將其揭露內容全部援用至此。 [產業上利用性]
依本發明，則進入店鋪的人物，可在店鋪內之各顯示裝置閱覽至少包含自己拿取的商品名稱之列表的販售管理資訊，並進行商品購入。
1‧‧‧店鋪裝置
2‧‧‧進出門
3‧‧‧第一相機
4‧‧‧動作感測器
5‧‧‧第二相機
6‧‧‧商品偵測感測器
7‧‧‧終端機
8‧‧‧第一通訊網路
9‧‧‧第二通訊網路
10‧‧‧資料庫
11‧‧‧控制部
12‧‧‧第一位置資訊取得部
13‧‧‧第二位置資訊取得部
14‧‧‧行為檢測部
15‧‧‧人物辨別部
16‧‧‧顯示裝置辨別部
17‧‧‧顯示時序判定部
18‧‧‧販售管理部
19‧‧‧顯示控制部
20‧‧‧店鋪
21‧‧‧商品架
22‧‧‧顯示裝置
23‧‧‧門裝置
100‧‧‧店鋪系統
101‧‧‧CPU(Central Processing Unit，中央處理單元)
102‧‧‧ROM(Read Only Memory，唯讀記憶體)
103‧‧‧RAM(Random Access Memory，隨機存取記憶體)
104‧‧‧HDD(Hard Disk Drive，硬碟)
105‧‧‧介面
106‧‧‧通訊模組
【圖1】係本發明之一實施形態的店鋪系統之概略圖。 【圖2】係顯示本發明之一實施形態的商品架與從商品架取得商品的利用者之樣子的圖。 【圖3】係本發明之一實施形態的店鋪裝置之硬體構成圖。 【圖4】係本發明之一實施形態的店鋪裝置之功能方塊圖。 【圖5】係顯示本發明之一實施形態的店鋪裝置之處理流程的第一圖。 【圖6】係顯示本發明之一實施形態的店鋪裝置之處理流程的第二圖。 【圖7】係顯示本發明之一實施形態的店鋪裝置之最小構成的圖。

Claims (10)

  1. 一種店鋪裝置，包含： 顯示裝置辨別部，辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品；以及 顯示時序判定部，判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。
  2. 如申請專利範圍第1項之店鋪裝置，其中，更包含： 人物辨別部，其將從該複數台顯示裝置之任一台算起位於既定範圍內的人物，辨別為該處理對象人物。
  3. 如申請專利範圍第2項之店鋪裝置，其中， 該人物辨別部，將位於該既定範圍內之人物中最靠近該顯示裝置之人物，辨別為該處理對象人物。
  4. 如申請專利範圍第2項之店鋪裝置，其中， 該人物辨別部，將位於該既定範圍內之人物中最靠近設置有該顯示裝置的商品架之人物，辨別為該處理對象人物。
  5. 如申請專利範圍第2至4項中任一項之店鋪裝置，其中， 該人物辨別部，依據從映現著以拍攝裝置拍攝到之一位或複數位該人物的影像所得到之該人物的特徵資訊，辨別該處理對象人物。
  6. 如申請專利範圍第1至4項中任一項之店鋪裝置，其中， 該顯示裝置辨別部，在設置於該顯示裝置之觸控感測器偵測到有觸碰的情況，將設置有該觸控感測器之該顯示裝置，辨別為顯示該販售管理資訊之該顯示裝置； 該顯示時序判定部，在該觸控感測器偵測到有該觸碰的情況，判定為使該販售管理資訊顯示在設置有該觸控感測器之該顯示裝置的時序。
  7. 如申請專利範圍第1至4項中任一項之店鋪裝置，其中， 該顯示裝置辨別部，依據從感測人物的動作之動作感測器所獲得的資訊，檢測對該顯示裝置要求顯示之姿勢，將以該姿勢要求該顯示的該顯示裝置，辨別為顯示該販售管理資訊的該顯示裝置； 該顯示時序判定部，在依據從該動作感測器獲得的資訊檢測到對該顯示裝置要求顯示之姿勢的情況，判定為使該販售管理資訊顯示在以該姿勢要求該顯示的該顯示裝置之時序。
  8. 一種店鋪系統，包含： 店鋪裝置，其辨別複數台顯示裝置中，顯示表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品之販售管理資訊的顯示裝置，判定在該辨別出的該顯示裝置顯示該販售管理資訊之時序。
  9. 一種店鋪管理方法， 辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品； 判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。
  10. 一種程式，使店鋪裝置之電腦實行下述處理： 辨別複數台顯示裝置中之顯示販售管理資訊的顯示裝置，該販售管理資訊表示店鋪內檢測到之處理對象人物在該店鋪內取得的商品； 判定在辨別出的該顯示裝置顯示該販售管理資訊之時序。
TW107108740A 2017-08-25 2018-03-15 店鋪裝置、店鋪系統、店鋪管理方法及程式 TWI781154B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017162610 2017-08-25
JP2017-162610 2017-08-25

Publications (2)

Publication Number Publication Date
TW201913510A true TW201913510A (zh) 2019-04-01
TWI781154B TWI781154B (zh) 2022-10-21

Family

ID=65438552

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110130060A TWI793719B (zh) 2017-08-25 2018-03-15 店鋪裝置、店鋪系統、店鋪管理方法及程式
TW107108740A TWI781154B (zh) 2017-08-25 2018-03-15 店鋪裝置、店鋪系統、店鋪管理方法及程式

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW110130060A TWI793719B (zh) 2017-08-25 2018-03-15 店鋪裝置、店鋪系統、店鋪管理方法及程式

Country Status (4)

Country Link
US (1) US20200364752A1 (zh)
JP (5) JP6806261B2 (zh)
TW (2) TWI793719B (zh)
WO (1) WO2019038968A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111750891A (zh) * 2020-08-04 2020-10-09 博泰车联网(南京)有限公司 用于信息处理的方法、计算设备和计算机存储介质
TWI730387B (zh) * 2019-08-28 2021-06-11 財團法人工業技術研究院 實體消費環境與網路消費環境之整合系統及其控制方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7408300B2 (ja) * 2019-06-04 2024-01-05 東芝テック株式会社 店舗管理装置、電子レシートシステム及び制御プログラム
JP7156215B2 (ja) 2019-09-04 2022-10-19 トヨタ自動車株式会社 サーバ装置、移動店舗、及び情報処理システム
JP7368982B2 (ja) 2019-09-05 2023-10-25 東芝テック株式会社 販売管理システム及び販売管理方法
JP7370845B2 (ja) * 2019-12-17 2023-10-30 東芝テック株式会社 販売管理装置及びその制御プログラム
JP7338706B2 (ja) * 2020-01-23 2023-09-05 日本電気株式会社 処理装置、処理方法及びプログラム
JP2021125026A (ja) * 2020-02-06 2021-08-30 東芝テック株式会社 商品管理装置及びその制御プログラム
US20210248889A1 (en) * 2020-02-06 2021-08-12 Toshiba Tec Kabushiki Kaisha Article display system
TWI822261B (zh) * 2022-08-17 2023-11-11 第一商業銀行股份有限公司 商品結帳系統及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295240A (ja) * 2003-03-25 2004-10-21 Nippon Telegr & Teleph Corp <Ntt> 購買行動監視システムとその管理装置及びプログラム
JP5626536B2 (ja) * 2009-04-14 2014-11-19 日産化学工業株式会社 熱硬化膜形成用感光性ポリエステル組成物
JP6535521B2 (ja) * 2015-06-25 2019-06-26 株式会社Ｚｏｚｏ 商品販売支援システム
JP6508482B2 (ja) * 2016-03-08 2019-05-08 パナソニックＩｐマネジメント株式会社 活動状況分析システムおよび活動状況分析方法
TWI590657B (zh) * 2016-04-01 2017-07-01 山內三郎 監視系統、監視方法及電腦記憶媒體

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI730387B (zh) * 2019-08-28 2021-06-11 財團法人工業技術研究院 實體消費環境與網路消費環境之整合系統及其控制方法
US11756085B2 (en) 2019-08-28 2023-09-12 Industrial Technology Research Institute Integrated system of physical consumption environment and network consumption environment and control method thereof
CN111750891A (zh) * 2020-08-04 2020-10-09 博泰车联网(南京)有限公司 用于信息处理的方法、计算设备和计算机存储介质
CN111750891B (zh) * 2020-08-04 2022-07-12 上海擎感智能科技有限公司 用于信息处理的方法、计算设备和计算机存储介质

Also Published As

Publication number Publication date
JP2021039789A (ja) 2021-03-11
JP7028305B2 (ja) 2022-03-02
WO2019038968A1 (ja) 2019-02-28
JP2022059044A (ja) 2022-04-12
JP7260022B2 (ja) 2023-04-18
JPWO2019038968A1 (ja) 2020-05-28
TW202147206A (zh) 2021-12-16
TWI781154B (zh) 2022-10-21
JP2023076597A (ja) 2023-06-01
JP6806261B2 (ja) 2021-01-06
JP2024051084A (ja) 2024-04-10
US20200364752A1 (en) 2020-11-19
TWI793719B (zh) 2023-02-21
JP7448065B2 (ja) 2024-03-12

Similar Documents

Publication Publication Date Title
JP7448065B2 (ja) 店舗装置、店舗システム、店舗管理方法、プログラム
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
JP7371614B2 (ja) 店舗管理装置および店舗管理方法
JP2018093283A (ja) 監視情報収集システム
JP4991440B2 (ja) 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
US20210182598A1 (en) Image processing apparatus, server device, and method thereof
JP2011253344A (ja) 購買行動分析装置、購買行動分析方法、およびプログラム
JP6342039B1 (ja) 商品を管理するためのシステム、方法、及びプログラム
JP7298594B2 (ja) 店舗管理装置および店舗管理方法、プログラム
EP4075399A1 (en) Information processing system
JP2021093649A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP6573259B2 (ja) カメラによる属性収集システム
JP7337625B2 (ja) 購買行動データ収集システム、及び購買行動データ収集プログラム
JP2021076997A (ja) カメラを用いたマーケティングシステム
JP2022011704A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent