TWI778030B - 店鋪裝置、店鋪管理方法及程式 - Google Patents

店鋪裝置、店鋪管理方法及程式 Download PDF

Info

Publication number
TWI778030B
TWI778030B TW107108523A TW107108523A TWI778030B TW I778030 B TWI778030 B TW I778030B TW 107108523 A TW107108523 A TW 107108523A TW 107108523 A TW107108523 A TW 107108523A TW I778030 B TWI778030 B TW I778030B
Authority
TW
Taiwan
Prior art keywords
information
product
person
position information
commodity
Prior art date
Application number
TW107108523A
Other languages
English (en)
Other versions
TW201913501A (zh
Inventor
岡本貴宏
山崎晉哉
Original Assignee
日商日本電氣股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日本電氣股份有限公司 filed Critical 日商日本電氣股份有限公司
Publication of TW201913501A publication Critical patent/TW201913501A/zh
Application granted granted Critical
Publication of TWI778030B publication Critical patent/TWI778030B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/14—Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1481—Mechanical actuation by lifting or attempted removal of hand-portable articles with optical detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/14—Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1472—Mechanical actuation by lifting or attempted removal of hand-portable articles with force or weight detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over

Abstract

本發明提供一種店鋪裝置、店鋪管理方法及程式。取得表示靠近商品的接近人物之位置的第一位置資訊。檢測表示接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊。檢測對於商品之移動行為。依據第一位置資訊與第二位置資訊之位置關係，辨別與檢測到的進行移動行為之對象人物相對應之人物的ID。

Description

店鋪裝置、店鋪管理方法及程式
本發明係關於一種店鋪裝置、店鋪管理方法及程式。
吾人需要一種管理店鋪中顧客所希望購入之商品的自動結帳之技術。作為關聯技術，於專利文獻1揭露一種關於無人店鋪之技術。 [習知技術文獻] [專利文獻]
專利文獻1：日本特開平11－25337號公報
[本發明所欲解決的問題]
設置在店鋪等之資訊處理裝置，有需要改善顧客所拿取的商品、返還至商品架的商品之辨識精度。
因而，本發明之目的在於提供一種能夠解決上述問題的店鋪裝置、店鋪管理方法及程式。 [解決問題之技術手段]
依本發明之第1態樣，提供一種店鋪裝置，包含：第一位置資訊取得部，取得表示靠近商品的接近人物之位置的第一位置資訊；第二位置資訊取得部，檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊；行為檢測部，檢測對於該商品之移動行為；以及人物辨別部，依據該第一位置資訊與該第二位置資訊之位置關係，辨別與檢測到的進行該移動行為之該對象人物相對應的識別資訊。
依本發明之第2態樣，提供一種店鋪管理方法，取得表示靠近商品的接近人物之位置的第一位置資訊；檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊；檢測對於該商品之移動行為；依據該第一位置資訊與該第二位置資訊之位置關係，辨別與檢測到的進行該移動行為之該對象人物相對應的識別資訊。
依本發明之第3態樣，提供一種程式，使店鋪裝置之電腦實行下述處理：取得表示靠近商品的接近人物之位置的第一位置資訊；檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊；檢測對於該商品之移動行為；依據該第一位置資訊與該第二位置資訊之位置關係，辨別與檢測到的進行該移動行為之該對象人物相對應的識別資訊。 [本發明之效果]
依本發明，可改善店鋪內之人物所拿取的商品、返還至商品架的商品之辨識精度。
以下，參考附圖，說明本發明之一實施形態的店鋪裝置。 圖1為具備同實施形態的店鋪裝置之店鋪系統的概略圖。 如同此圖所示，店鋪裝置1，與設置在店鋪20內之各裝置通訊連接。於店鋪20，設置例如進出門2。於店鋪20內設置複數個商品架21。於各商品架21排列商品。
以本實施形態的店鋪系統100管理之店鋪20，成為利用者通過進出門2進店或離店的構造。店員可不常駐於店鋪20。店員亦可常駐於店鋪20。利用者從商品架21拿取商品，通過進出門2而離店。在至利用者通過進出門2而離店為止之間，設置於店內之任一拍攝裝置、動作感測器等感測裝置，取得利用者之特徵資訊與位置資訊、及用於判定該利用者所取得的商品之識別資訊與位置等的感測資訊，往店鋪裝置1發送。店鋪裝置1，利用接收到的此等感測資訊，自動進行結帳處理。
圖2為顯示商品架與從商品架取得商品的利用者之樣子的圖。 可於商品架21分別設置複數台第一相機3。此外，於商品架21之上方設置感測使用者的動作之動作感測器4。此外，於商品架21，將拍攝店鋪20之利用者所拿取的商品、返還至商品架21的商品之影像的第二相機5，設置於商品架21上方。另，第一相機3與第二相機5，亦可不設置在商品架21。第一相機3與第二相機5，亦可設置於天花板或地板等，若為能夠拍攝臉部影像、利用者所拿取的商品與返還至商品架21的商品之影像的位置，設置於何處皆可。
圖3為店鋪裝置之硬體構成圖。 店鋪裝置1，作為一例，如圖3所地示具備CPU（Central Processing Unit, 中央處理單元）101、ROM（Read Only Memory, 唯讀記憶體）102、RAM（Random Access Memory, 隨機存取記憶體）103、HDD（Hard Disk Drive, 硬碟）104、介面105、通訊模組106之各硬體構成。HDD104，亦可為SSD（Solid State Drive, 固態硬碟）。
圖4為店鋪裝置之功能方塊圖。 店鋪裝置1之CPU101，讀取並實行預先記錄在記憶部的店鋪管理程式。因此，店鋪裝置1至少具備控制部11、第一位置資訊取得部12、第二位置資訊取得部13、行為檢測部14、人物辨別部15、販售管理部16、資訊輸出部17之各功能。
如圖4所示，店鋪裝置1與資料庫10相連接。店鋪裝置1，經由第一通訊網路8，而與進出門2、第一相機3、動作感測器4、第二相機5、商品偵測感測器6、門裝置23等店鋪20內具備之各裝置通訊連接。第一通訊網路8，例如為將店鋪裝置1與店鋪20內之各裝置連繫的專用通訊網路。店鋪裝置1，另經由第二通訊網路9而與店鋪20之利用者攜帶的終端機7連接。第二通訊網路9為行動電話網路或網際網路。
藉由本實施形態的上述店鋪裝置1之各功能，店鋪裝置1，依據從第一相機3獲得的影像，取得表示靠近商品之接近人物的生物體特徵資訊之位置的第一位置資訊。第一相機3為利用在拍攝範圍拍到之人物的生物體特徵資訊之檢測的相機，作為一例，在商品架21分別設置。第一相機3，拍攝位於商品架21前方之人物的臉部。生物體特徵資訊，例如可為臉部之特徵資訊、眼部虹膜之特徵資訊等。接近人物可為顧客等店鋪利用者，亦可為管理店鋪20的管理者。
此外，店鋪裝置1，依據從動作感測器4獲得的感測資訊，檢測表示接近人物中對商品伸出手臂的對象人物之位置的第二位置資訊。動作感測器4，例如設置於各商品架21之位置上方的天花板，從天花板感測下方的對象人物。而店鋪裝置1，檢測對於商品之移動行為。例如，店鋪裝置1，依據來自與各商品架21對應設置而拍攝配置在該商品架21的商品之第二相機5的影像、及從商品偵測感測器6獲得的資訊，檢測對於商品之移動行為。商品之移動行為，係拿取商品之行為、將商品返還至商品架21之行為等。店鋪裝置1，依據進行移動行為的商品之ID與位置、第一位置資訊與第二位置資訊之位置關係，辨別進行對於商品之移動行為的對象人物之生物體特徵資訊。店鋪裝置1，取得與該特徵資訊相對應之人物的ID。而後，店鋪裝置1，進行如下管理：對於與辨別出之對象人物的ID相對應之販售管理資訊等，分配進行移動行為的商品之識別資訊等。
茲就店鋪裝置1的對於商品之移動行為的檢測處理予以說明。 店鋪20之利用者通過進出門2時，將顯示在終端機7的二維碼影像等編碼資訊覆蓋於設置在進出門2之門裝置23。藉此，進出門2讀取二維碼影像，將該二維碼所示之店鋪利用者等的ID往店鋪裝置1輸出。另，進出門2亦可藉由無線通訊，從終端機7讀取店鋪利用者等的ID。店鋪裝置1，產生與店鋪利用者等人物的ID連結之販售管理資訊等。在此一時間點中，販售管理資訊並未與商品之資訊連結。而後，第一相機3，從商品架21側拍攝位於商品架21前方之店鋪利用者等人物，將該拍攝到的影像或動態影像往店鋪裝置1輸出。動作感測器4，從天花板等商品架21之上方感測下方的店鋪利用者，將藉由該感測所獲得之資訊，往店鋪裝置1輸出。 動作感測器4所感測而輸出之資訊，例如可為將以紅外線獲得之至各物體位置的距離，轉換為影像之距離影像等。
商品偵測感測器6，例如設置於陳列在商品架21的每個商品。商品偵測感測器6，具體而言，呈舖在商品下方之薄片狀的形狀，可為設定為該薄片形狀之檢測各位置的商品之重量所產生的壓力之壓力感測器、或檢測該重量本身之重量感測器等。商品偵測感測器6，例如在利用者拿取商品之情況，將包含該商品偵測感測器6的感測器ID、及商品架21中之該商品的店鋪內座標之商品取得訊號，往店鋪裝置1輸出。店鋪裝置1，依據檢測到從第一相機3、動作感測器4、第二相機5獲得之人物的特徵資訊與骨骼資訊所示之各座標的時刻之對應關係，以及和從商品偵測感測器6接收到之商品偵測感測器6的感測器ID連結而儲存之商品ID及座標與時刻之對應關係，而辨別人物ID。 店鋪裝置1，將辨別出之人物ID，與從第二相機5拍攝到的影像辨別出之商品ID連結，更新記錄在資料庫10的資料表之販售管理資訊等。
商品偵測感測器6，在商品返回商品架21之情況，將包含該商品偵測感測器6的感測器ID、商品架21中之該商品的店鋪內座標等位置資訊之商品退回行為資訊，往店鋪裝置1輸出。店鋪裝置1，進行解除記錄在資料庫10之店鋪利用者的識別資訊（ID）與商品ID之連結的處理。具體而言，店鋪裝置1，依據和該商品退回行為資訊所示之商品偵測感測器6的感測器ID連結而儲存之商品ID與位置資訊、及人物之特徵資訊與骨骼資訊，而進行解除店鋪利用者的識別資訊（ID）與商品ID之連結的處理。
店鋪裝置1，亦可取代從商品偵測感測器6獲得的資訊，而依據從第二相機5獲得的影像，檢測利用者所拿取之商品的識別資訊、及商品架21中之該商品的店鋪內座標。此外，店鋪裝置1，亦可依據從第二相機5獲得的影像，檢測返回至商品架21之商品的識別資訊、及商品架21中之該商品的店鋪內座標。亦即，店鋪裝置1，依據從商品偵測感測器6與第二相機5獲得的影像之至少一方，檢測對於商品之移動行為即可。移動行為，表示利用者所進行的從商品架21取得商品之行為、或商品的返回商品架21之行為。
藉由此等處理，店鋪裝置1，可儲存利用者拿取何種商品、使何種商品返回商品架21的資訊。此外，利用者在離店時通過進出門2之際，將顯示在終端機7的二維碼影像覆蓋於設置在進出門2之門裝置23。藉此，進出門2讀取二維碼影像，將包含該二維碼所示之店鋪利用者的ID之離店資訊，往店鋪裝置1輸出。店鋪裝置1，在利用者通過進出門2離店時，依據記錄在資料庫10的販售管理資訊之該利用者的ID、與商品的ID之關係，而可自動檢測利用者的購入商品。店鋪裝置1，可利用記錄在資料庫10之利用者的ID、商品的ID、利用者之結帳用的信用卡號碼等，自動進行結帳處理。另，利用者的對店鋪20之從進店至離店為止的店鋪20內之各裝置的上述處理、店鋪裝置1的上述處理僅為一例。亦可藉由其他處理，進行檢測利用者所購入的商品之處理。
如同上述，店鋪裝置1，檢測店鋪利用者從商品架21取得商品之行為、店鋪利用者使商品返回商品架21之行為，但必須提高何人取得何種商品的辨識精度。例如，在複數人位於商品架21前方，其中一人拿取特定商品之情況，若未精度良好地辨識何人取得何種商品，則店鋪裝置1無法自動前往商品之購入處理。以下，茲就用於提高何人取得何種商品的辨識精度之技術詳細地予以說明。店鋪裝置1，亦可判定店員等因購入商品之目的而入店的人物以外之人物取得何種商品。
圖5為顯示店鋪裝置之處理流程的圖。 店鋪裝置1之第一位置資訊取得部12，作為一例，從複數台第一相機3分別在1秒間取得數張～數十張程度的影像。複數台第一相機3，在各商品架21中設置為可拍攝位於架子前的人物。第一位置資訊取得部12，檢測其等取得的影像所拍到之人物的生物體特徵資訊（步驟S101）。生物體資訊可為臉部之特徵資訊或眼部虹膜之特徵資訊等。第一位置資訊取得部12，在從影像中取得生物體特徵資訊的情況，算出檢測到該特徵資訊的空間座標。例如對於第一位置資訊取得部12，預先決定依據視場角與拍攝方向的三維拍攝空間領域。 第一位置資訊取得部12，從資料庫10取得關於各第一相機3的三維拍攝空間領域。第一位置資訊取得部12，依據該取得的三維拍攝空間領域、影像中出現之特徵資訊的影像內座標、特徵資訊的大小等，藉由既定算式算出特徵資訊出現的三維拍攝空間領域中之三維座標。此外，第一位置資訊取得部12，利用從三維拍攝空間領域中之座標轉為表示店鋪空間領域之座標的轉換式，算出特徵資訊出現的店鋪空間領域內之三維座標（步驟S102）。 第一位置資訊取得部12，在從影像中取得生物體特徵資訊的情況，將發送該影像的第一相機3之ID、檢測時刻、生物體特徵資訊、該特徵資訊出現的店鋪空間領域內之三維座標予以對應，記錄在第一人物候選表（步驟S103）。
第二位置資訊取得部13，作為一例，從複數台動作感測器4在1秒間取得數張～數十張程度的距離影像。複數台動作感測器4，設置於各商品架21之上方的天花板等，設置為可從上方朝向下方拍攝位於架子前的人物。第二位置資訊取得部13，分析其等取得的影像所拍到之人物的距離影像，檢測影像中之頭部位置、人物所伸出的手臂之軸等骨骼資訊（步驟S104）。骨骼資訊，例如可包含在距離影像中分析而獲得的表示手臂之軸的直線之向量、座標、手部前端之座標等。另，骨骼資訊，至少包含辨別從上方觀察的頭部、手臂、手部前端之座標內的位置所用之座標與向量，及表示手臂之軸的算式等。 第二位置資訊取得部13，在從影像中取得包含手臂之軸及手部前端的骨骼資訊之情況，算出表示該骨骼資訊的手臂與手部前端之空間座標。與第一位置資訊取得部12同樣地，第二位置資訊取得部13，預先儲存依據視場角與拍攝方向的三維拍攝空間領域。第二位置資訊取得部13，從資料庫10取得關於各動作感測器4的三維拍攝空間領域。第二位置資訊取得部13，依據該取得的三維拍攝空間領域、在影像中出現之骨骼資訊的影像內座標、從動作感測器4算起的距離等，藉由既定算式算出骨骼資訊出現的三維拍攝空間領域中之三維座標。此外，第二位置資訊取得部13，利用從三維拍攝空間領域中之座標轉為表示店鋪空間領域之座標的轉換式，算出骨骼資訊出現的店鋪空間領域內之三維座標（步驟S105）。 第二位置資訊取得部13，在從影像中取得骨骼資訊的情況，將發送該影像的動作感測器4之ID、檢測時刻、骨骼資訊、該骨骼資訊出現的店鋪空間領域內之三維座標予以對應，記錄在第二人物候選表（步驟S106）。
商品偵測感測器6，作為一例，偵測商品之重量、該重量所產生之壓力。商品偵測感測器6，依據該重量與壓力的增減等，在重量與壓力的減少為閾值以上之情況，將包含表示減少的旗標、感測器ID、商品的配置位置（第三位置資訊）、及行為檢測時刻之商品取得行為資訊，往店鋪裝置1輸出。此外，商品偵測感測器6，依據重量與壓力的增減等，在重量與壓力的增加為閾值以上之情況，將包含表示增加的旗標、感測器ID、商品的配置位置（第三位置資訊）、及行為檢測時刻之商品返還行為資訊，往店鋪裝置1輸出。 店鋪裝置1之行為檢測部14，從商品偵測感測器6取得商品取得行為資訊與商品返還行為資訊（步驟S107）。行為檢測部14，依據商品取得行為資訊，取得與商品取得行為資訊所包含之感測器ID連結而儲存之商品ID。藉此，行為檢測部14，偵測到從商品架21取得該商品ID的商品。此外，行為檢測部14，依據商品返還行為資訊，取得與商品返還行為資訊所包含之感測器ID連結而儲存之商品ID。藉此，行為檢測部14，偵測到該商品ID的商品返回商品架21。行為檢測部14，將與商品取得行為資訊或商品返還行為資訊所包含之感測器ID相對應的商品ID、配置位置、行為檢測時刻，往人物辨別部15輸出。
人物辨別部15，若從行為檢測部14取得進行移動行為的商品ID、配置位置、行為檢測時刻，則進行下一個判定處理。亦即，人物辨別部15，判定骨骼資訊是否記錄在第二人物候選表，該骨骼資訊包含和配置位置所示的店鋪空間領域中之三維座標成為既定距離以內的鄰近座標，且與和行為檢測時刻為既定時間差以內的檢測時刻連結。人物辨別部15，在包含和進行移動行為的商品之三維座標成為既定距離以內的鄰近座標，且與和行為檢測時刻為既定時間差以內的檢測時刻連結之骨骼資訊，記錄在第二人物候選表的情況，取得該骨骼資訊（步驟S108）。 例如，骨骼資訊包含手部的前端之三維座標。人物辨別部15，在商品之三維座標與手部的前端之三維座標幾乎於相同時刻接近的情況，將包含該手部的前端之三維座標的骨骼資訊，推定為拿取商品之人物的骨骼資訊而取得該骨骼資訊。因此，人物辨別部15，依據進行移動行為的商品之三維座標，取得如同上述地取得之骨骼資訊所包含的頭部之三維座標、與該骨骼資訊之檢測時刻（步驟S109）。 人物辨別部15，從第一人物候選表取得臉部的特徵資訊，該臉部的特徵資訊，和從該頭部之三維座標算起既定距離以內之三維座標連結，且檢測時刻為既定時間差以內（步驟S110）。該人物辨別部15之處理，係依據取得的商品之位置（第三位置資訊），辨別對商品伸出手臂之對象人物的骨骼資訊所示之位置（第二位置資訊），依據該骨骼資訊所示之位置，檢測位置關係有效之臉部的特徵資訊所出現之位置（第一位置資訊）的處理之一態樣。位置關係有效之臉部的特徵資訊，例如，表示與骨骼資訊所示之位置的關聯性或相關性高之臉部的特徵資訊。店鋪裝置1，預先將臉部的特徵資訊與人物的ID連結，預先儲存在資料庫10內之人物特徵表。人物辨別部15，依據該儲存資訊，利用從骨骼資訊取得之臉部的特徵資訊，檢測人物的ID（步驟S111）。
依上述處理，則店鋪裝置1，檢測取得商品架21之商品的人物之手臂或手部的動作所造成之位置、進行移動行為的商品之位置。店鋪裝置1，依據人物之手臂或手部的動作所造成之位置與商品之位置的對應關係，判定何人取得何種商品，另，何種商品由何人返還。藉由此等處理，相較於過去，可精度良好地判定由何人取得何種商品，另，由何人返還何種商品。
在上述步驟S107所示之取得商品取得行為資訊與商品返還行為資訊的處理中，店鋪裝置1，亦可依據從第二相機5獲得的影像，判定其係進行商品取得行為與商品返還行為之何種移動行為。例如行為檢測部14，作為一例，從第二相機5分別在1秒間取得數張～數十張程度的影像。第二相機5，在各商品架21的範圍調整視場角，拍攝置放在該架子的商品。 行為檢測部14，依據置放在商品架21之商品各自的影像資料，進行圖形比對等或移動分析，依序檢測此等影像所拍到之商品各自的前後之移動量、商品之有無，而辨別移動的商品。此外，行為檢測部14，例如在前後接收到的影像間，配置在商品架21之商品消失的情況，判定為取得商品。另一方面，行為檢測部14，在前後接收到的影像間，配置有原未配置在商品架21之商品的情況，判定為商品返回至商品架21。
而行為檢測部14，在判定為取得商品的情況，產生包含該商品之ID與商品之配置位置的商品取得行為資訊。商品之ID，可為與商品的影像資料連結而記錄在資料庫10等之ID。此外，商品之配置位置，可為依據第二相機5所拍攝到的影像內之座標所算出的店鋪空間領域中之三維座標。行為檢測部14，在判定為商品返回至商品架21的情況，產生包含該商品之ID與商品之配置位置的商品返還行為資訊。行為檢測部14，將商品取得行為資訊或商品返還行為資訊所包含的商品之ID與配置位置，往人物辨別部15輸出。之後的人物辨別部15所進行之處理，可為與利用從上述商品偵測感測器6獲得之進行移動行為的商品之座標所進行的人物辨別處理相同之處理。
另，亦可如圖2所示地，於商品架21設置複數台拍攝商品之第二相機5，行為檢測部14依據以各個第二相機5拍攝到的影像，判定進行移動行為的商品。第二相機5，亦可不僅設置於商品架21，亦設置於天花板或地板。複數台第二相機5從不同方向拍攝進行移動行為的商品，分析複數影像，藉而可提高商品之辨識精度。此一情況，行為檢測部14，從複數台第二相機5，依序取得從不同方向拍攝到之進行移動行為的商品之各影像。行為檢測部14，藉由圖形比對，檢測從複數台第二相機5取得的各影像所拍到之商品。此外，行為檢測部14，將該商品之三維座標，將拍攝方向、視場角、商品之大小等資訊代入算式而算出影像所拍到的商品之三維座標。行為檢測部14，於相同時刻，檢測到從拍攝相同商品架21之複數台第二相機5各自取得的各影像所拍到之相同商品的情況，將其等辨別為一個商品。而後，行為檢測部14，從此等複數影像辨別一個商品之移動行為。另，於資料庫10，記錄各商品之從複數不同角度觀察的情況之特徵資訊與影像資訊。行為檢測部14，利用此等記錄在資料庫10的商品之特徵資訊與影像資訊，辨別以第二相機5拍攝之新的影像所拍到之商品。
人物辨別部15，若在步驟S111中檢測對商品進行移動行為之人物的ID，則將販售管理資訊往販售管理部16輸出。販售管理資訊，包含該人物的ID、及表示移動行為的資訊即商品取得行為資訊或商品返還行為資訊。販售管理部16，從販售管理資訊，取得人物的ID、商品取得行為資訊或商品返還行為資訊。販售管理部16，判定取得商品取得行為資訊或商品返還行為資訊之何者（步驟S112）。販售管理部16，在販售管理資訊包含商品取得行為資訊的情況，進行購入處理（步驟S113）。亦即，販售管理部16，往與人物ID連結而記錄在資料庫10的販售管理表之商品資訊，加上一個商品取得行為資訊所包含的商品ID。藉此，於資料庫10，記錄以人物ID表示之人物購入了商品。 另一方面，販售管理部16，在販售管理資訊包含商品返還行為資訊的情況，進行返還處理（步驟S114）。亦即，販售管理部16，進行下述返還處理：從與人物ID連結而記錄在資料庫10的販售管理表之商品資訊中，將商品返還行為資訊所包含的商品ID刪除1個。藉此，於資料庫10，記錄以人物ID表示之人物將商品從購入對象刪去。
另，販售管理部16，將人物ID、及表示進行了販售管理表的更新之販售管理資訊變更通知，往資訊輸出部17輸出。資訊輸出部17，若受理販售管理資訊變更通知，則依據該通知，取得與該人物ID連結而記錄在資料庫10的人物管理表之終端機7的終端機ID。資訊輸出部17，依據終端機ID，產生往終端機7發送之販售管理資訊（步驟S115）。作為一例，販售管理資訊，可為包含以下內容的資訊：人物ID、以該人物ID辨別之人物所拿取而判定為購入商品的商品之名稱與ID等列表、各商品之個數、各商品之單價、判定為購入商品的全部商品之合計金額。 資訊輸出部17，將產生之販售管理資訊，依據終端機ID而往終端機7發送（步驟S116）。終端機ID，可為終端機7之網路上的位址、或分配至儲存在終端機7之專用應用程式的ID等。終端機7，接收販售管理資訊，往畫面輸出。藉此，使販售管理資訊顯示在步驟S111檢測到之人物所持有的終端機7，該人物可掌握自己欲在店鋪內購入的商品之列表、合計金額。 店鋪裝置1之控制部11，判定是否結束處理（步驟S117）。控制部11，在處理未結束的情況（步驟S117的NO），重複從步驟S101之處理。店鋪裝置1之各處理部，將上述處理依據從店鋪所具備之各感測器獲得的資訊，對各人物併行地進行處理。
上述處理中店鋪裝置1之販售管理部16，進行將由該人物進行移動行為的商品之ID，分配給與人物辨別部15所辨別出之人物的ID相對應之販售管理資訊的處理。然而，販售管理部16，亦可取代儲存作為表示欲購入該商品之販售管理資訊，而將該商品ID的資訊記錄在其他資料表，以作為表示人物對該商品有興趣之商品價值管理資訊。 此外，上述處理中店鋪裝置1之販售管理部16，進行將由該人物進行的返還至商品架21之移動行為的商品之ID，分配給與人物辨別部15所辨別出之人物的ID相對應之販售管理資訊的處理。然而，販售管理部16，亦可取代儲存作為表示返還該商品之販售管理資訊，而將該商品ID的資訊記錄在其他資料表，以作為表示人物對商品有興趣但未至購入程度之商品價值管理資訊。
另，上述店鋪裝置1之處理，進行僅一人位於商品架21前方，該人物取得商品之情況或將商品返還至商品架21之情況的人物之辨別，以及進行了移動行為的商品之辨別。然而，店鋪裝置1，在複數人位於商品架21前方之情況，亦可藉由同樣的處理，判定何人對何種商品進行移動行為。此一情況，第二位置資訊取得部13，必須利用從各動作感測器4取得的距離影像，對每位人物精度良好地檢測各距離影像所拍到之人物的骨骼資訊。第二位置資訊取得部13，依據距離影像所拍到之人物的人數，進行各自之人物的骨骼資訊之檢測處理，故距離影像所拍到之人物的人數越多，第二位置資訊取得部13的處理負載變得越重。然而，店鋪裝置1的每段短時間之處理能力大的情況，可在短時間檢測距離影像所拍到之人物的骨骼資訊。如此地，藉由使店鋪裝置1之每段短時間的處理能力增大，而可在短時間進行人物之特徵資訊的檢測、商品之移動行為的檢測。
上述處理中，資訊輸出部17，亦可依據產生之販售管理資訊所包含的人物ID與商品ID，取得宣傳動態影像之影像資料。資訊輸出部17，依據販售管理資訊所包含的人物ID與商品ID，將關於該商品或該商品之關聯商品的1張或複數張宣傳動態影像，從記錄在資料庫10之複數張宣傳動態影像中辨別影像資料。而後，資訊輸出部17，取得該辨別出之1張或複數張宣傳動態影像的影像資料。 資訊輸出部17，亦可進行如下控制：將此影像資料，往以人物ID辨別的終端機ID之終端機7，或設置於店鋪20內且設置在位於以人物ID表示之人物附近的商品架21之螢幕。
圖6為顯示店鋪裝置之最小構成的圖。 店鋪裝置1，至少具備第一位置資訊取得部12、第二位置資訊取得部13、行為檢測部14、人物辨別部15之各功能即可。 第一位置資訊取得部12，係取得表示靠近商品之接近人物的生物體特徵資訊之位置的第一位置資訊之處理部。 第二位置資訊取得部13，係檢測接近人物中對商品伸出手臂的對象人物之位置的第二位置資訊之處理部。 行為檢測部14，係檢測對於商品的移動行為之處理部。 人物辨別部15，係依據第一位置資訊與第二位置資訊之位置關係，辨別與檢測到的進行移動行為之對象人物的生物體特徵資訊相對應的識別資訊之處理部。
上述各裝置，於內部具備電腦系統。而上述各處理的過程，以程式的形式儲存在電腦可讀取之記錄媒體，使電腦讀取並實行該程式，藉而進行上述處理。此處，電腦可讀取之記錄媒體，係指磁碟、磁光碟、CD－ROM、DVD－ROM、半導體記憶體等。此外，亦可將此電腦程式藉由通訊線路往電腦配送，使接收到此一配送的電腦實行該程式。
此外，上述程式，可用於實現前述功能之一部分。 進一步，亦可為能夠將上述功能以全部記錄在電腦系統之程式的組合予以實現之所謂的差異檔案（差異程式）。
上述實施形態之一部分或全部，可如同下方附註般地記載，但不限於以下實施形態。
（附註1） 一種店鋪裝置，包含： 第一位置資訊取得部，取得表示靠近商品的接近人物之位置的第一位置資訊； 第二位置資訊取得部，檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊； 行為檢測部，檢測對於該商品之移動行為；以及 人物辨別部，依據該第一位置資訊與該第二位置資訊之位置關係，辨別與檢測到的進行該移動行為之該對象人物相對應的識別資訊。
（附註2） 如附註1記載之店鋪裝置，其中， 該人物辨別部，取得該接近人物之臉部的特徵資訊出現之該第一位置資訊、關於表示對該商品伸出手臂的該對象人物之該手臂的軸之第二位置資訊、檢測到之進行該移動行為的商品之第三位置資訊，依據取得之該第三位置資訊辨別該第二位置資訊，依據該第二位置資訊檢測位置關係有效之該第一位置資訊，辨別與該檢測到之該第一位置資訊所示的位置中之該臉部的特徵資訊相對應之人物的識別資訊。
（附註3） 如附註1或附註2記載之店鋪裝置，其中， 包含販售管理部，其將進行該移動行為中的該商品之取得行為的該商品之該識別資訊，分配給與該人物辨別部所辨別出之該對象人物的該識別資訊相對應之管理資訊。
（附註4） 如附註3記載之店鋪裝置，其中， 該販售管理部，從該管理資訊，刪除進行該移動行為中的該商品之返還行為的該商品之該識別資訊。
（附註5） 如附註1至附註4中任一項所記載之店鋪裝置，其中， 包含資訊輸出部，其依據該人物辨別部所辨別出之該對象人物的該識別資訊、及進行該移動行為之商品的識別資訊，對該對象人物輸出關於該商品之販售管理資訊的展示資訊。
（附註6） 如附註1至附註5中任一項所記載之店鋪裝置，其中， 該第一位置資訊取得部，取得以第一拍攝手段所拍攝到的該對象人物之特徵資訊的三維空間內之該第一位置資訊。
（附註7） 如附註1至附註6中任一項所記載之店鋪裝置，其中， 該行為檢測部，依據該商品之設置面的壓力或重量之變動，檢測該移動行為係該商品之取得行為或返還行為。
（附註8） 如附註1至附註6中任一項所記載之店鋪裝置，其中， 該行為檢測部，依據以第二拍攝手段所拍攝到的該商品之移動資訊，檢測該移動行為係該商品之取得行為或返還行為。
（附註9） 如附註1至附註6中任一項所記載之店鋪裝置，其中， 該行為檢測部，依據以第二拍攝手段所拍攝到的該商品之有無，檢測該移動行為係該商品之取得行為或返還行為。
（附註10） 一種店鋪管理方法， 取得表示靠近商品的接近人物之位置的第一位置資訊； 檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊； 檢測對於該商品之移動行為； 依據該第一位置資訊與該第二位置資訊之位置關係，辨別與檢測到的進行該移動行為之該對象人物相對應的識別資訊。
（附註11） 一種程式，使店鋪裝置之電腦實行下述處理： 取得表示靠近商品的接近人物之位置的第一位置資訊； 檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊； 檢測對於該商品之移動行為； 依據該第一位置資訊與該第二位置資訊之位置關係，辨別與檢測到的進行該移動行為之該對象人物相對應的識別資訊。
本申請案，主張以2017年8月25日在日本提出申請之日本特願第2017－162609號為基礎的優先權，將其揭露內容全部援用至此。 [產業上利用性]
依本發明，則可改善店鋪內之人物所拿取的商品、返還至商品架的商品之辨識精度。
1‧‧‧店鋪裝置2‧‧‧進出門3‧‧‧第一相機4‧‧‧動作感測器5‧‧‧第二相機6‧‧‧商品偵測感測器7‧‧‧終端機8‧‧‧第一通訊網路9‧‧‧第二通訊網路10‧‧‧資料庫11‧‧‧控制部12‧‧‧第一位置資訊取得部13‧‧‧第二位置資訊取得部14‧‧‧行為檢測部15‧‧‧人物辨別部16‧‧‧販售管理部17‧‧‧資訊輸出部20‧‧‧店鋪21‧‧‧商品架23‧‧‧門裝置100‧‧‧店鋪系統101‧‧‧CPU（Central Processing Unit, 中央處理單元）102‧‧‧ROM（Read Only Memory, 唯讀記憶體）103‧‧‧RAM（Random Access Memory, 隨機存取記憶體）104‧‧‧HDD（Hard Disk Drive, 硬碟）105‧‧‧介面106‧‧‧通訊模組
圖1係本發明之一實施形態的店鋪系統之概略圖。 圖2係顯示本發明之一實施形態的商品架與從商品架取得商品的利用者之樣子的圖。 圖3係本發明之一實施形態的店鋪裝置之硬體構成圖。 圖4係本發明之一實施形態的店鋪裝置之功能方塊圖。 圖5係顯示本發明之一實施形態的店鋪裝置之處理流程的圖。 圖6係顯示本發明之一實施形態的店鋪裝置之最小構成的圖。
1‧‧‧店鋪裝置
2‧‧‧進出門
3‧‧‧第一相機
20‧‧‧店鋪
21‧‧‧商品架
23‧‧‧門裝置
100‧‧‧店鋪系統

Claims (10)

  1. 一種店鋪裝置，包含：第一位置資訊取得部，取得表示靠近商品的接近人物之位置的第一位置資訊，並取得該接近人物的生物體之特徵資訊；第二位置資訊取得部，檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊；行為檢測部，取得表示進行了移動行為之該商品的位置之第三位置資訊；人物辨別部，依據該第一位置資訊、該第二位置資訊與該第三位置資訊，辨別與對該商品伸出手臂之該對象人物的位置所表示之該生物體之特徵資訊相對應的識別資訊；以及販售管理部，將該識別資訊與該商品賦予關聯而產生管理資訊。
  2. 如申請專利範圍第1項之店鋪裝置，其中，該人物辨別部，取得該接近人物之臉部的該特徵資訊出現之該第一位置資訊、關於表示對該商品伸出手臂的該對象人物之該手臂的軸之該第二位置資訊、及檢測到之該第三位置資訊，依據取得之該第三位置資訊辨別該第二位置資訊，依據該第二位置資訊檢測位置關係係有效之該第一位置資訊，辨別與該檢測到之該第一位置資訊所示的位置處之該臉部的特徵資訊相對應之人物的識別資訊。
  3. 如申請專利範圍第1或2項之店鋪裝置，其中， 該販售管理部，將進行該移動行為中的該商品之取得行為的該商品之識別資訊，分配給與該人物辨別部所辨別出之該對象人物的該識別資訊相對應之該管理資訊。
  4. 如申請專利範圍第3項之店鋪裝置，其中，該販售管理部，從該管理資訊，刪除進行該移動行為中的該商品之返還行為的該商品之該識別資訊。
  5. 如申請專利範圍第1或2項之店鋪裝置，其中，更包含資訊輸出部，其依據該人物辨別部所辨別出之該對象人物的該識別資訊、及進行該移動行為之該商品的識別資訊，對該對象人物輸出關於該商品之販售管理資訊的展示資訊。
  6. 如申請專利範圍第1或2項之店鋪裝置，其中，該第一位置資訊取得部，取得以第一拍攝手段所拍攝到的該對象人物之該特徵資訊在三維空間內之該第一位置資訊。
  7. 如申請專利範圍第1或2項之店鋪裝置，其中，該行為檢測部，依據該商品之設置面的壓力或重量之變動，檢測該移動行為係該商品之取得行為或返還行為。
  8. 如申請專利範圍第1或2項之店鋪裝置，其中， 該行為檢測部，依據以第二拍攝手段所拍攝到的該商品之移動資訊，檢測該移動行為係該商品之取得行為或返還行為。
  9. 一種店鋪管理方法，包含以下步驟：取得表示靠近商品的接近人物之位置的第一位置資訊，並取得該接近人物的生物體之特徵資訊；檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊；取得表示進行了移動行為之該商品的位置之第三位置資訊；依據該第一位置資訊、該第二位置資訊與該第三位置資訊，辨別與對該商品伸出手臂之該對象人物的位置所表示之該生物體之特徵資訊相對應的識別資訊；以及將該識別資訊與該商品賦予關聯而產生管理資訊。
  10. 一種程式，使店鋪裝置之電腦實行下述處理：取得表示靠近商品的接近人物之位置的第一位置資訊，並取得該接近人物的生物體之特徵資訊；檢測表示該接近人物中對該商品伸出手臂的對象人物之位置的第二位置資訊；取得表示進行了移動行為之該商品的位置之第三位置資訊；依據該第一位置資訊、該第二位置資訊與該第三位置資訊，辨別與對該商品伸出手臂之該對象人物的位置所表示之該生物體之特徵資訊相對應的識別資訊；以及將該識別資訊與該商品賦予關聯而產生管理資訊。
TW107108523A 2017-08-25 2018-03-14 店鋪裝置、店鋪管理方法及程式 TWI778030B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-162609 2017-08-25
JP2017162609 2017-08-25

Publications (2)

Publication Number Publication Date
TW201913501A TW201913501A (zh) 2019-04-01
TWI778030B true TWI778030B (zh) 2022-09-21

Family

ID=65438638

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107108523A TWI778030B (zh) 2017-08-25 2018-03-14 店鋪裝置、店鋪管理方法及程式

Country Status (4)

Country Link
US (2) US11049373B2 (zh)
JP (2) JP6904421B2 (zh)
TW (1) TWI778030B (zh)
WO (1) WO2019038965A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389316B (zh) * 2018-03-02 2021-07-13 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质
USD953578S1 (en) * 2019-02-14 2022-05-31 Holder SAS Storefront
JPWO2020179730A1 (zh) * 2019-03-04 2020-09-10
JP6710876B1 (ja) * 2019-04-01 2020-06-17 株式会社テクムズ 商品の自動出納管理方法
JP7368982B2 (ja) * 2019-09-05 2023-10-25 東芝テック株式会社 販売管理システム及び販売管理方法
SG10201913955VA (en) * 2019-12-31 2021-07-29 Sensetime Int Pte Ltd Image recognition method and apparatus, and computer-readable storage medium
DE102020205699A1 (de) * 2020-05-06 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanlage, Verfahren, Computerprogramm, Speichermedium und Überwachungseinrichtung
JPWO2021245835A1 (zh) * 2020-06-03 2021-12-09
CN112950329A (zh) * 2021-03-26 2021-06-11 苏宁易购集团股份有限公司 商品动态信息生成方法、装置、设备及计算机可读介质
JP7318679B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080319835A1 (en) * 2007-06-21 2008-12-25 Denso Corporation Information system and information processing apparatus
CN102376061A (zh) * 2011-08-26 2012-03-14 浙江工业大学 基于全方位视觉的消费者购买行为分析装置
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
JP2013077186A (ja) * 2011-09-30 2013-04-25 Fujitsu Frontech Ltd 商品販売情報処理装置、商品販売情報処理方法及び商品販売情報処理プログラム
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP2015191518A (ja) * 2014-03-28 2015-11-02 株式会社ニコン 電子機器
CN106663277A (zh) * 2014-03-13 2017-05-10 电子湾有限公司 基于用户兴趣的交互显示器
WO2017085771A1 (ja) * 2015-11-16 2017-05-26 富士通株式会社 精算支援システム、精算支援プログラム、及び精算支援方法
US9727838B2 (en) * 2011-03-17 2017-08-08 Triangle Strategy Group, LLC On-shelf tracking system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125337A (ja) 1997-07-08 1999-01-29 Fuintetsuku:Kk 無人店舗システム
US9076149B2 (en) * 2007-06-08 2015-07-07 Shopper Scientist Llc Shopper view tracking and analysis system and method
KR20210055038A (ko) * 2018-07-16 2021-05-14 악셀 로보틱스 코포레이션 자율 매장 추적 시스템
TWI745653B (zh) * 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080319835A1 (en) * 2007-06-21 2008-12-25 Denso Corporation Information system and information processing apparatus
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
US9727838B2 (en) * 2011-03-17 2017-08-08 Triangle Strategy Group, LLC On-shelf tracking system
CN102376061A (zh) * 2011-08-26 2012-03-14 浙江工业大学 基于全方位视觉的消费者购买行为分析装置
JP2013077186A (ja) * 2011-09-30 2013-04-25 Fujitsu Frontech Ltd 商品販売情報処理装置、商品販売情報処理方法及び商品販売情報処理プログラム
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
CN106663277A (zh) * 2014-03-13 2017-05-10 电子湾有限公司 基于用户兴趣的交互显示器
JP2015191518A (ja) * 2014-03-28 2015-11-02 株式会社ニコン 電子機器
WO2017085771A1 (ja) * 2015-11-16 2017-05-26 富士通株式会社 精算支援システム、精算支援プログラム、及び精算支援方法

Also Published As

Publication number Publication date
JP7251569B2 (ja) 2023-04-04
TW201913501A (zh) 2019-04-01
JP6904421B2 (ja) 2021-07-14
WO2019038965A1 (ja) 2019-02-28
JP2021140830A (ja) 2021-09-16
US20200364997A1 (en) 2020-11-19
US20210312772A1 (en) 2021-10-07
JPWO2019038965A1 (ja) 2020-04-23
US11049373B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
TWI781154B (zh) 店鋪裝置、店鋪系統、店鋪管理方法及程式
JP7371614B2 (ja) 店舗管理装置および店舗管理方法
WO2017085771A1 (ja) 精算支援システム、精算支援プログラム、及び精算支援方法
JP2018093283A (ja) 監視情報収集システム
JP2011253344A (ja) 購買行動分析装置、購買行動分析方法、およびプログラム
JP6707940B2 (ja) 情報処理装置及びプログラム
JP6800820B2 (ja) 人流分析方法、人流分析装置、及び人流分析システム
EP4075399A1 (en) Information processing system
TWI809044B (zh) 商店管理裝置以及商店管理方法
JP2017083980A (ja) 行動分析装置及びシステム及び方法
US20180293598A1 (en) Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method
JP2019139321A (ja) 顧客行動分析システムおよび顧客行動分析方法
US20230168119A1 (en) Footfall detection method and apparatus
US20170278112A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP7337625B2 (ja) 購買行動データ収集システム、及び購買行動データ収集プログラム
JP2021076997A (ja) カメラを用いたマーケティングシステム
JP2023122059A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP2022011704A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent