TWI745653B - 顧客行為分析方法與顧客行為分析系統 - Google Patents

顧客行為分析方法與顧客行為分析系統 Download PDF

Info

Publication number
TWI745653B
TWI745653B TW108105306A TW108105306A TWI745653B TW I745653 B TWI745653 B TW I745653B TW 108105306 A TW108105306 A TW 108105306A TW 108105306 A TW108105306 A TW 108105306A TW I745653 B TWI745653 B TW I745653B
Authority
TW
Taiwan
Prior art keywords
customer
image
information
behavior
customer behavior
Prior art date
Application number
TW108105306A
Other languages
English (en)
Other versions
TW202032461A (zh
Inventor
楊宗翰
一真 沈
陳宗堯
何亮融
王思捷
林建錡
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW108105306A priority Critical patent/TWI745653B/zh
Priority to US16/431,759 priority patent/US11176684B2/en
Publication of TW202032461A publication Critical patent/TW202032461A/zh
Application granted granted Critical
Publication of TWI745653B publication Critical patent/TWI745653B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本發明的實施例提供一種顧客行為分析方法，其包括：經由至少一攝影機擷取目標區域的影像；經由影像辨識模組分析所述影像以偵測所述目標區域內的至少一顧客的顧客行為；以及根據所述顧客行為自動產生顧客行為資訊。所述顧客行為資訊反映所述顧客對於至少一商品的關注度。此外，本發明的實施例也提供一種顧客行為分析系統。

Description

顧客行為分析方法與顧客行為分析系統
本發明是有關於一種智慧商店管理技術，且特別是有關於一種顧客行為分析方法與顧客行為分析系統。
相對於可輕易收集顧客瀏覽紀錄的網路商店，實體商店的管理者不容易知道顧客真正的想法。例如，對於某些實體商店來說，雖然進入店內的人潮很多，但是最終有購買商品的人卻很少。或者，對於某些實體商店來說，雖然進入店內的人不多，但是進入店內的大部分顧客卻都有購買商品。造成上述差異現象的原因很多，有可能是商品本身沒有吸引力或者商品價格太貴等等。然而，單純根據商品的購買人數及/或銷售額並無法看出實際造成上述差異現象的原因，更無法針對問題進行銷售策略的改善。
本發明提供一種顧客行為分析方法與顧客行為分析系 統，可藉由影像分析技術來分析顧客行為以供商家調整後續營運策略。
本發明的實施例提供一種顧客行為分析方法，其包括：經由至少一攝影機擷取目標區域的影像；經由影像辨識模組分析所述影像以偵測所述目標區域內的至少一顧客的顧客行為；以及根據所述顧客行為自動產生顧客行為資訊。所述顧客行為資訊反映所述顧客對於至少一商品的關注度。
本發明的實施例另提供一種顧客行為分析系統，其包括至少一攝影機與處理器。所述攝影機用以擷取目標區域的影像。所述處理器耦接至所述攝影機。所述處理器用以經由影像辨識模組分析所述影像以偵測所述目標區域內的至少一顧客的顧客行為。所述處理器更用以根據所述顧客行為自動產生顧客行為資訊。所述顧客行為資訊反映所述顧客對於至少一商品的關注度。
基於上述，在獲得目標區域的影像後，可藉由影像辨識模組分析此影像以偵測目標區域內的顧客之顧客行為。根據所述顧客行為，反映顧客對於至少一商品之關注度的顧客行為資訊可自動產生。藉此，商家可根據此顧客行為資訊調整其營運策略，以改善以往實體店面不容易發現的問題。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10:顧客行為分析系統
11、201~205、501~504、510、511~514:攝影機
12:儲存裝置
13:影像辨識模組
14:處理器
21:店外區域
22:緩衝區
23:店內區域
211~218:貨架
221:結帳櫃檯
31~33、41:影像
311~313、321~324:預測框
331~333:重疊區域
401:顧客
402:骨架資訊
51~53:商品架
521(1)~521(3)、522(1)~522(3)、523(1)~523(3)、531(1)~531(3)、532(1)~532(3)、533(1)~533(3):商品
54:軌道機構
S601~S603:步驟
圖1是根據本發明的一實施例所繪示的顧客行為分析系統的功能方塊圖。
圖2是根據本發明的一實施例所繪示的目標區域與攝影機之分布的示意圖。
圖3是根據本發明的一實施例所繪示的分析多個影像以識別目標顧客的示意圖。
圖4A與圖4B是根據本發明的一實施例所繪示的分析顧客影像的示意圖。
圖5A是根據本發明的一實施例所繪示的貨架的示意圖。
圖5B是根據本發明的一實施例所繪示的軌道機構的示意圖。
圖6是根據本發明的一實施例所繪示的顧客行為分析方法的示意圖。
圖1是根據本發明的一實施例所繪示的顧客行為分析系統的功能方塊圖。請參照圖1，系統(亦稱為顧客行為分析系統)10包括攝影機11、儲存裝置12、影像辨識模組13及處理器14。攝影機11用以擷取影像。例如，攝影機11可泛指包含一或多個透鏡與一或多個感光元件的攝影裝置(或拍照裝置)。攝影機11的數目可以是一或多個，本發明不加以限制。在一實施例中，若攝影機11的數目為多個，則此些攝影機11的拍攝角度(或拍攝方向) 可各不相同，且此些攝影機11所擷取的影像區域可不重疊或至少部分重疊。
儲存裝置12用以儲存資料。例如，儲存裝置12可包括揮發性儲存媒體與非揮發性儲存媒體。揮發性儲存媒體可包括隨機存取記憶體(random access memory,RAM)。非揮發性記憶體模組可包括快閃(flash)記憶體模組、唯讀記憶體(read only memory,ROM)、固態硬碟(solid state drive,SSD)及/或傳統硬碟(hard disk drive,HDD)等。此外，儲存裝置12的數目可以是一或多個，本發明不加以限制。
影像辨識模組13用以對攝影機11擷取的影像執行影像辨識。例如，影像辨識模組13可基於卷積神經網路(convolutional neural network,CNN)架構或其他類型的影像辨識架構(或演算法)來執行影像辨識。影像辨識模組13可以軟體或硬體形式實施。在一實施例中，影像辨識模組13包括軟體模組。例如，影像辨識模組13的程式碼可儲存於儲存裝置12並可由處理器14執行。在一實施例中，影像辨識模組13包括硬體電路。例如，影像辨識模組13可包括圖型處理器(GPU)或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器、可程式化控制器、特殊應用積體電路、可程式化邏輯裝置或其他類似裝置或這些裝置的組合。此外，影像辨識模組13的數目可以是一或多個，本發明不加以限制。
處理器14耦接至攝影機11、儲存裝置12及影像辨識模 組13。處理器14可用以控制攝影機11、儲存裝置12及影像辨識模組13。例如，處理器14可包括中央處理器(CPU)、圖型處理器或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器、可程式化控制器、特殊應用積體電路、可程式化邏輯裝置或其他類似裝置或這些裝置的組合。在一實施例中，處理器14可用以控制系統10的整體或部分操作。在一實施例中，影像辨識模組13可以軟體、韌體或硬體形式實作於處理器14內部。此外，處理器14的數目可以是一或多個，本發明不加以限制。
在本實施例中，攝影機11用以擷取某一區域(亦稱為目標區域)的影像。例如，攝影機11的拍攝角度可涵蓋此目標區域。此目標區域可包含某一商店的店內之區域(亦稱為店內區域)及/或店外之區域(亦稱為店外區域)。處理器14可經由影像辨識模組13分析攝影機11擷取的影像以偵測目標區域內的至少一個顧客的顧客行為。例如，在一實施例中，此顧客行為可包含顧客在目標區域內的移動路徑、顧客在目標區域內的停留位置、顧客在某一停留位置的停留時間、顧客的手部動作及顧客的眼球視角的至少其中之一。或者，在一實施例中，此顧客行為可包括顧客觀看至少一個商品之行為、顧客拿起至少一個商品之行為及顧客放下至少一個商品之行為的至少其中之一。
處理器14可根據所述顧客行為自動產生顧客行為資訊。此顧客行為資訊可反映顧客對於至少一商品的關注度。例如，顧客對於某一商品的關注度與顧客對此商品的興趣有關(例如成正 相關)。例如，若某一顧客對某一商品有興趣(但尚未購買此商品)，則此顧客可能會從店門口直接走到陳列此商品的貨架、長時間停留在此貨架前、從此貨架拿起商品及/或此顧客的眼球持續注視此商品等等。此些行為都反映此顧客對於某一商品具有較高的興趣及/或較高的關注度。相反地，若某一顧客對某一商品沒有興趣，則此顧客可能會快速經過陳列此商品的貨架、不從此貨架拿起商品及/或此顧客的眼球不會持續注視此商品等等。此些行為都反映此顧客對於某一商品具有較低的興趣及/或較低的關注度。處理器14可根據影像辨識模組13所分析之顧客行為而自動獲得目標區域內的顧客對於特定商品的關注度並產生相應的顧客行為資訊。
在一實施例中，所述顧客行為資訊包括店外人數之資訊、店內人數之資訊、商品關注次數之資訊、商品拿取次數之資訊、結帳次數之資訊及回客次數之資訊的至少其中之一。店外人數之資訊可反映在某一時間範圍內位於店外區域之人數的統計資訊。店內人數之資訊可反映在某一時間範圍內位於店內區域之人數的統計資訊。商品關注次數之資訊可反映在某一時間範圍內某一商品(或某一類型之商品)被顧客注視(或查看)之次數的統計資訊。商品拿取次數之資訊可反映在某一時間範圍內某一商品(或某一類型之商品)被顧客從貨架拿起之次數的統計資訊。結帳次數之資訊可反映在某一時間範圍內某一商品(或某一類型之商品)被拿至結帳區結帳之次數的統計資訊。回客次數之資訊可反映在某一時間範圍內某一顧客(具特定的身分識別資訊)進入店內區域之次 數的統計資訊。
在一實施例中，目標區域包括店內區域與店外區域，且顧客行為資訊可反映顧客的進店比率。例如，處理器14可將某一時間範圍內的(平均)店內人數除以此時間範圍內的(平均)店外人數與(平均)店內人數之總和，以獲得所述進店比率。此外，更多類型的顧客行為資訊亦可根據上述各類型之統計資訊而獲得。商家可根據此顧客行為資訊調整其營運策略，從而改善以往實體店面不容易發現的購買力下降等問題。例如，假設所述顧客行為資訊反映多數顧客都對店內的某一商品有興趣，但實際上只有少數顧客購買此商品。商家可根據此顧客行為資訊調整其營運策略，例如降低此商品的售價、提供相關的優惠方案或調整貨架位置等，從而有可能有效提高顧客對於此商品的購買率。在一實施例中，處理器14可根據顧客行為資訊提供相關的營運建議及/或營運策略(例如降低商品售價、提供相關的優惠方案或調整貨架位置等)，以協助商家改善上述問題。
圖2是根據本發明的一實施例所繪示的目標區域與攝影機之分布的示意圖。請參照圖2，在本實施例中，目標區域包括店外區域21、緩衝區22及店內區域23。緩衝區22可規劃於店外區域21與店內區域23之間。或者，在一實施例中，亦可不設置緩衝區22。
在本實施例中，攝影機201~205可分散設置於高處(例如商店的天花板)以擷取目標區域之影像。例如，攝影機201可面向 店外區域21以擷取店外區域21(與至少一部份的緩衝區22)之影像。攝影機202~205可面向店內區域23(與至少一部份的緩衝區22)以共同擷取店內區域23之影像。在一實施例中，攝影機201~205所擷取的影像亦稱為環境影像。
在本實施例中，店內區域23設置有貨架211~218與結帳櫃檯221。貨架211~218可陳列多種類型的商品。在顧客從貨架211~218的至少其中之一拿取商品後，顧客可將商品拿至結帳櫃檯221結帳。在一實施例中，結帳櫃檯221的結帳資訊可被記錄。處理器14可根據此結帳資訊產生所述顧客行為資訊(例如上述結帳次數之資訊)。
須注意的是，在圖2的另一實施例中，從目標區域劃分之區域的數目、從目標區域劃分之區域的分布、攝影機201~205的數目、攝影機201~205的分布、攝影機201~205的拍攝角度、貨架211~218的分布及結帳櫃檯221的設置位置皆可以調整，本發明不加以限制。
在一實施例中，處理器14可經由影像辨識模組13分析多個連續拍攝的影像以獲得某一顧客(亦稱為目標顧客)的輪廓在此些影像中的重疊資訊。處理器14可根據此重疊資訊識別此目標顧客。例如，經識別的顧客可被賦予一個唯一的身分識別資訊。以分析兩個連續拍攝的影像(亦稱為第一影像與第二影像)為例，此重疊資訊可反映此目標顧客的輪廓在這兩個影像中的重疊範圍及/或重疊面積。處理器14可根據此重疊資訊識別多個連續影像中的 相同目標顧客。
圖3是根據本發明的一實施例所繪示的分析多個影像以識別目標顧客的示意圖。請參照圖1、圖2及圖3，假設攝影機201連續擷取影像31與32。影像31中被辨識出有3個人，其分別以預測框311~313表示。影像32中被辨識出有4個人，其分別以預測框321~324表示。在分析影像31與32後，預測框的重疊資訊可被獲得。例如，假設以影像33表示重疊後的影像31與32，則預測框311與321彼此重疊且重疊區域331可被獲得。預測框312與322彼此重疊且重疊區域332可被獲得。預測框313與323彼此重疊且重疊區域333可被獲得。此外，預測框324未與影像31中的任一預測框重疊。
處理器14可根據重疊區域331~333決定影像31與32中的各預測框所對應的人之身分。例如，處理器14可根據重疊區域331的面積與預測框311與321的聯集面積之比例來決定預測框311與321是否對應同一個人。或者，處理器14可根據重疊區域331的面積是否大於一個預設值來決定預測框311與321是否對應同一個人。此外，更多的演算法也可以用來決定影像31與32中每一個預測框所對應的人之身分，本發明不加以限制。
處理器14可指派一個身分識別資訊(例如ID號碼)給影像中每一個已識別的人。例如，預測框311與321所對應的人可被指派為顧客A，預測框312與322所對應的人可被指派為顧客B，預測框313與323所對應的人可被指派為顧客C，且預測框324 所對應的人可被指派為顧客D。處理器14可根據某一識別資訊所對應的顧客之顧客行為產生對應於此識別資訊的顧客行為資訊。例如，與顧客A相關的顧客行為資訊可反映顧客A的顧客行為及/或顧客A對於某些商品的關注度。
在一實施例中，處理器14可經由影像辨識模組13識別對應於某一身分識別資訊的顧客之年齡、性別及/或體型等外型資訊。此外型資訊亦可用於產生對應於此顧客的顧客行為資訊。藉此，所述顧客行為資訊還可反映特定年齡、性別及/或體型之顧客對於特定商品的關注度等等。
在圖2的一實施例中，貨架211~218上亦可設置一或多個攝影機，以拍攝貨架前方的顧客之影像(亦稱為顧客影像)。處理器14可經由影像辨識模組13分析顧客影像以獲得顧客影像中的顧客之顧客行為。例如，處理器14可根據顧客影像中顧客的手部動作評估顧客拿起特定商品之行為及/或顧客放下特定商品之行為。此外，處理器14可根據顧客影像中顧客的眼球視角評估顧客觀看特定商品之行為。
圖4A與圖4B是根據本發明的一實施例所繪示的分析顧客影像的示意圖。請參照圖2、圖4A與圖4B，假設某一攝影機拍攝到貨架211前方的影像41(即顧客影像)。影像41包含顧客401的輪廓。在一實施例中，顧客401的輪廓中的手部動作可被分析以獲得顧客401當前可能正在拿取的貨架211上的特定商品之資訊。在一實施例中，顧客401的輪廓中的眼球位置及/或臉部面向 可被分析以獲得顧客401當前可能正在關注的貨架211上的特定商品之資訊。此外，在一實施例中，對應於顧客401的骨架資訊402可被獲得。顧客401當前可能正在拿取的貨架211上的特定商品之資訊亦可根據骨架資訊402而被獲得。
圖5A是根據本發明的一實施例所繪示的貨架的示意圖。請參照圖5A，假設一個三層貨架包含商品架51~53。商品架51位於商品架52上方，且商品架52位於商品架53上方。攝影機501~504設置於此三層貨架上，以拍攝此三層貨架前方的顧客影像。例如，攝影機501與502可設置於商品架52，且攝影機503與504可設置於商品架53。當顧客走到此三層貨架前方觀看或拿取商品時，攝影機501~504的至少其中之一可拍攝此顧客的顧客影像。接著，類似於圖4A的輪廓及/或圖4B的骨架資訊可被分析以獲得相關的顧客行為。
在本實施例中，假設商品架52下方陳列有商品521(1)~521(3)、522(1)~522(3)及523(1)~523(3)，且商品架53下方陳列有商品531(1)~531(3)、532(1)~532(3)及533(1)~533(3)。透過分析所拍攝的顧客影像，可概略判定顧客是拿取哪一個位置的商品。以圖4A(或圖4B)為例，顧客401的手部動作表示其可能正在拿取商品522(1)~522(3)的其中之一。處理器14可根據拍攝到此顧客影像的攝影機的位置與相關的商品擺放位置判定商品522(1)~522(3)的其中之一已被顧客401拿取。隨著顧客401的手部動作及/或視角改變，其他位置的商品也可以被判定為被顧客 401拿取及/或關注。
在本實施例中，此三層貨架上還設置有攝影機510與511。例如，攝影機511設置於商品架51，而攝影機510設置於商品架52。以攝影機511為例，攝影機511用以拍攝商品架52下方的商品521(1)~521(3)、522(1)~522(3)及523(1)~523(3)之影像(亦稱為商品影像)。處理器14可經由影像辨識模組13分析此商品影像而獲得商品架52下方的商品的數量是否短少及/或商品架52下方是否出現錯置商品。若判定商品架52下方的商品的數量出現短少，處理器14可產生一提醒訊息。例如，一個反映商品架52下方的商品數量不足之訊息可經由一個輸出/輸出介面(例如螢幕)輸出，以提醒店員進行補貨。或者，若判定商品架52下方出現錯置商品，則一個反映商品架52下方出現錯置商品之訊息可經由此輸出/輸出介面(例如螢幕)輸出，以提醒店員將此錯置商品移動至正確的陳列位置。此外，攝影機511所擷取的商品影像還可以用以辨識是否有顧客的物品遺留在商品架52下方。若偵測到有顧客的物品遺留在商品架52下方，則相應的提醒訊息也可以被輸出以提醒店員盡快將此物體歸還給顧客。此外，攝影機510則可用以拍攝商品架53下方的商品531(1)~531(3)、532(1)~532(3)及533(1)~533(3)之影像。相關操作細節在此便不贅述。須注意的是，在一實施例中，商品架52下方的商品521(1)~521(3)、522(1)~522(3)及523(1)~523(3)之影像亦可以是由攝影機510拍攝，視貨架的結構與攝影機的放置位置而定。
在本實施例中，攝影機511可藉由軌道機構於此三層貨架上移動，如圖5A所示。例如，根據攝影機501~504的至少其中之一所拍攝的顧客影像，處理器14可初步判定顧客當前的位置及顧客可能正在關注及/或拿取的商品。根據此些資訊，處理器14可控制攝影機511移動至特定位置，以即時拍攝對應於此特定位置的商品影像。例如，假設處理器14判定顧客正在拿取商品523(1)~523(3)的其中之一，則處理器14可指示攝影機511移動至可拍攝商品523(1)~523(3)的拍攝位置。稍後，若判定顧客改為拿取商品522(1)~522(3)的其中之一，則處理器14可指示攝影機511移動至可拍攝商品522(1)~522(3)的拍攝位置。
圖5B是根據本發明的一實施例所繪示的軌道機構的示意圖。請參照圖5B，軌道機構54可呈現網狀結構。攝影機511~514可於軌道機構54上移動，以拍攝不同位置的商品影像。例如，在一實施例中，攝影機511~514與軌道機構54皆設置於圖5A的商品架51，且軌道機構54平行於商品架51。藉由拍攝位置的改變，攝影機511~514的至少其中之一可用於擷取商品架52下方不同位置的商品影像。
須注意的是，圖5A與圖5B的實施例僅為示意圖而非用以限制本發明。例如，在另一實施例中，設置於貨架上的攝影機的數目可以是更多或更少、攝影機在貨架上的設置位置可以改變、攝影機可以是固定於貨架上而不可移動、及/或用於移動攝影機的軌道機構可以不為網狀(例如為單一維度)等等，視實務上的需 求而定。
在前述實施例中，用於拍攝環境影像的攝影機亦稱為第一攝影機，用於拍攝貨架前方的顧客影像的攝影機亦稱為第二攝影機，且用於拍攝貨架上的商品影像的攝影機亦稱為第三攝影機。本發明不限制此些攝影機的數目與類型。例如，此些攝影機可包括魚眼相機、槍型相機及隱藏式攝影機等等，本發明不加以限制。
在一實施例中，處理器14可經由影像辨識模組13的一特徵模型自動偵測所截取之影像(例如環境影像及/或顧客影像)中的店員。例如，此特徵模型可儲存店員的外型特徵(例如臉部特徵及/或服裝特徵)。在獲得前述顧客行為的操作中，處理器14可指示影像辨識模組13忽略影像中的店員之行為。藉此，可避免店員的行為(例如店員在店內區域的移動路徑、停留位置、店員拿取商品的動作及/或店員觀看商品的動作)影響到對於顧客行為的分析結果。
在一實施例中，處理器14可經由影像辨識模組13的一特徵模型自動偵測所截取之影像(例如環境影像及/或顧客影像)中的會員。此會員是指已經註冊的顧客。例如，此特徵模型可儲存會員的外型特徵(例如臉部特徵及/或服裝特徵)。在獲得前述顧客行為的操作中，處理器14可進一步更新對應於此會員的顧客行為資訊，例如更新此會員的喜愛商品類型及/或偏好價位等等。對應於此會員的顧客行為資訊也可用於協助店家理解大部分會員的喜 好與需求，進而對販售商品之類型及/或價位進行調整。或者，處理器14亦可將相關的商品資訊、廣告資訊及/或活動訊息提供至此會員的手機或電子信箱以即時通知此會員相關資訊，有助於增加回客率。
圖6是根據本發明的一實施例所繪示的顧客行為分析方法的示意圖。請參照圖6，在步驟S601中，經由至少一攝影機擷取目標區域的影像。在步驟S602中，經由影像辨識模組分析所述影像以偵測目標區域內的至少一顧客的顧客行為。在步驟S603中，根據所述顧客行為自動產生顧客行為資訊。此顧客行為資訊可反映所述顧客對於至少一商品的關注度。
然而，圖6中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖6中各步驟可以實作為多個程式碼或是電路，本發明不加以限制。此外，圖6的方法可以搭配以上實施例使用，也可以單獨使用，本發明不加以限制。
綜上所述，本發明在獲得目標區域的影像後，可藉由影像辨識模組分析此影像以偵測目標區域內的顧客之顧客行為。根據所述顧客行為，反映顧客對於至少一商品之關注度的顧客行為資訊可自動產生。此外，透過同步分析目標區域內的環境影像、貨架前方的顧客影像及貨架中的商品影像，顧客對於不同類型之商品的關注度可以準確地被評估，進而提供商家結帳資訊以外的顧客行為資訊。藉此，商家可根據此顧客行為資訊調整其營運策略，以改善以往實體店面不容易發現的問題。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S601~S603:步驟

Claims (16)

  1. 一種顧客行為分析方法，包括：經由至少一攝影機擷取一目標區域的影像；經由一影像辨識模組分析該影像以偵測該目標區域內的至少一顧客的顧客行為，其中經由該影像辨識模組分析該影像以獲得該目標區域內的該至少一顧客的該顧客行為的步驟包括：分析一第一影像與一第二影像以獲得該至少一顧客中的一目標顧客的輪廓在該第一影像與該第二影像中的一重疊資訊；當該重疊區域的面積大於一預設值時，識別該目標顧客，並指派一身分識別資訊給該目標顧客，其中該目標顧客在該第一影像與該第二影像中對應同一個人；以及根據該顧客行為自動產生一顧客行為資訊，其中該顧客行為資訊反映該至少一顧客對於至少一商品的關注度。
  2. 如申請專利範圍第1項所述的顧客行為分析方法，其中該顧客行為包括該至少一顧客在該目標區域內的一移動路徑、該至少一顧客在該目標區域內的一停留位置、該至少一顧客在該停留位置的一停留時間、該至少一顧客的一手部動作及該至少一顧客的一眼球視角的至少其中之一。
  3. 如申請專利範圍第1項所述的顧客行為分析方法，其中該顧客行為包括該至少一顧客觀看該至少一商品之行為、該至少一顧客拿起該至少一商品之行為及該至少一顧客放下該至少一商品之行為的至少其中之一。
  4. 如申請專利範圍第1項所述的顧客行為分析方法，其中該顧客行為資訊包括店外人數之資訊、店內人數之資訊、商品關注次數之資訊、商品拿取次數之資訊、結帳次數之資訊及回客次數之資訊的至少其中之一。
  5. 如申請專利範圍第1項所述的顧客行為分析方法，其中該目標區域包括一店內區域與一店外區域，且該顧客行為資訊更反映該至少一顧客的一進店比率。
  6. 如申請專利範圍第1項所述的顧客行為分析方法，其中經由該影像辨識模組分析該影像以獲得該目標區域內的該至少一顧客的該顧客行為的步驟包括：經由一特徵模型自動偵測該影像中的店員；以及在獲得該至少一顧客的該顧客行為的操作中，由該影像辨識模組忽略該店員的行為。
  7. 如申請專利範圍第1項所述的顧客行為分析方法，其中該至少一攝影機包括一第一攝影機、一第二攝影機及一第三攝影機，該第一攝影機用以擷取該目標區域內的一環境影像，該第二攝影機用以擷取該目標區域內的一貨架前方的一顧客影像，且該第三攝影機用以擷取該貨架的一商品影像。
  8. 如申請專利範圍第7項所述的顧客行為分析方法，更包括：由該影像辨識模組分析該商品影像以產生一提醒訊息，其中該提醒訊息包括反映該貨架上的商品數量不足之訊息與反映該貨 架上出現錯置商品之訊息的至少其中之一。
  9. 一種顧客行為分析系統，包括：至少一攝影機，用以擷取一目標區域的影像；以及一處理器，耦接至該至少一攝影機，其中該處理器用以經由一影像辨識模組分析該影像以偵測該目標區域內的至少一顧客的顧客行為，其中該處理器經由該影像辨識模組分析該影像以獲得該目標區域內的該至少一顧客的該顧客行為的操作包括：分析一第一影像與一第二影像以獲得該至少一顧客中的一目標顧客的輪廓在該第一影像與該第二影像中的一重疊資訊；當該重疊區域的面積大於一預設值時，識別該目標顧客，並指派一身分識別資訊給該目標顧客，其中該目標顧客在該第一影像與該第二影像中對應同一個人；並且該處理器更用以根據該顧客行為自動產生一顧客行為資訊，其中該顧客行為資訊反映該至少一顧客對於至少一商品的關注度。
  10. 如申請專利範圍第9項所述的顧客行為分析系統，其中該顧客行為包括該至少一顧客在該目標區域內的一移動路徑、該至少一顧客在該目標區域內的一停留位置、該至少一顧客在該停留位置的一停留時間、該至少一顧客的一手部動作及該至少一顧客的一眼球視角的至少其中之一。
  11. 如申請專利範圍第9項所述的顧客行為分析系統，其中該顧客行為包括該至少一顧客觀看該至少一商品之行為、該至少一顧客拿起該至少一商品之行為及該至少一顧客放下該至少一商品之行為的至少其中之一。
  12. 如申請專利範圍第9項所述的顧客行為分析系統，其中該顧客行為資訊包括店外人數之資訊、店內人數之資訊、商品關注次數之資訊、商品拿取次數之資訊、結帳次數之資訊及回客次數之資訊的至少其中之一。
  13. 如申請專利範圍第9項所述的顧客行為分析系統，其中該目標區域包括一店內區域與一店外區域，且該顧客行為資訊更反映該至少一顧客的一進店比率。
  14. 如申請專利範圍第9項所述的顧客行為分析系統，其中該處理器經由該影像辨識模組分析該影像以獲得該目標區域內的該至少一顧客的該顧客行為的操作包括：經由一特徵模型自動偵測該影像中的店員；以及在獲得該至少一顧客的該顧客行為的操作中，忽略該店員的行為。
  15. 如申請專利範圍第9項所述的顧客行為分析系統，其中該至少一攝影機包括一第一攝影機、一第二攝影機及一第三攝影機，該第一攝影機用以擷取該目標區域內的一環境影像，該第二攝影機用以擷取該目標區域內的一貨架前方的一顧客影像，且該第三攝影機用以擷取該貨架的一商品影像。
  16. 如申請專利範圍第15項所述的顧客行為分析系統，其中該處理器更用以經由該影像辨識模組分析該商品影像以產生一提醒訊息，其中該提醒訊息包括反映該貨架上的商品數量不足之訊息與反映該貨架上出現錯置商品之訊息的至少其中之一。
TW108105306A 2019-02-18 2019-02-18 顧客行為分析方法與顧客行為分析系統 TWI745653B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108105306A TWI745653B (zh) 2019-02-18 2019-02-18 顧客行為分析方法與顧客行為分析系統
US16/431,759 US11176684B2 (en) 2019-02-18 2019-06-05 Customer behavior analyzing method and customer behavior analyzing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108105306A TWI745653B (zh) 2019-02-18 2019-02-18 顧客行為分析方法與顧客行為分析系統

Publications (2)

Publication Number Publication Date
TW202032461A TW202032461A (zh) 2020-09-01
TWI745653B true TWI745653B (zh) 2021-11-11

Family

ID=72042206

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108105306A TWI745653B (zh) 2019-02-18 2019-02-18 顧客行為分析方法與顧客行為分析系統

Country Status (2)

Country Link
US (1) US11176684B2 (zh)
TW (1) TWI745653B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI841884B (zh) * 2021-12-01 2024-05-11 財團法人工業技術研究院 智慧商店的選品規劃方法、選品規劃系統及其處理設備

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049373B2 (en) * 2017-08-25 2021-06-29 Nec Corporation Storefront device, storefront management method, and program
US20220051214A1 (en) * 2020-08-17 2022-02-17 Capital One Services, Llc System, method, and computer-accessible medium for detecting and remediating in-person cart abandonment
US20220108357A1 (en) * 2020-10-01 2022-04-07 Keyong Lu Retail intelligent display system and electronic displays thereof
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN116682071B (zh) * 2023-08-04 2023-11-10 浙江大华技术股份有限公司 商品关注信息分析方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222501A1 (en) * 2013-02-01 2014-08-07 Panasonic Corporation Customer behavior analysis device, customer behavior analysis system and customer behavior analysis method
CN105321090A (zh) * 2014-07-29 2016-02-10 中华电信股份有限公司 来店客群分析及人流情报系统及其使用方法
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
TWI578272B (zh) * 2016-05-18 2017-04-11 Chunghwa Telecom Co Ltd Shelf detection system and method
US20180293598A1 (en) * 2015-06-02 2018-10-11 Panasonic Intellectual Property Management Co., Ltd. Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method
CN108898109A (zh) * 2018-06-29 2018-11-27 北京旷视科技有限公司 物品关注度的确定方法、装置和系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930204B1 (en) * 2006-07-25 2011-04-19 Videomining Corporation Method and system for narrowcasting based on automatic analysis of customer behavior in a retail store
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
JP2010049415A (ja) * 2008-08-20 2010-03-04 Sony Corp 商品販売システム
US8570376B1 (en) * 2008-11-19 2013-10-29 Videomining Corporation Method and system for efficient sampling of videos using spatiotemporal constraints for statistical behavior analysis
US9740977B1 (en) * 2009-05-29 2017-08-22 Videomining Corporation Method and system for recognizing the intentions of shoppers in retail aisles based on their trajectories
US8412656B1 (en) * 2009-08-13 2013-04-02 Videomining Corporation Method and system for building a consumer decision tree in a hierarchical decision tree structure based on in-store behavior analysis
JP5438859B1 (ja) * 2013-05-30 2014-03-12 パナソニック株式会社 客層分析装置、客層分析システムおよび客層分析方法
JP5632512B1 (ja) * 2013-07-02 2014-11-26 パナソニック株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
US20150199698A1 (en) * 2014-01-14 2015-07-16 Panasonic Intellectual Property Corporation Of America Display method, stay information display system, and display control device
JP5967553B2 (ja) * 2014-06-16 2016-08-10 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 店舗内又は店舗間における顧客の購買行動を推定する方法、並びに、そのコンピュータ・システム及びコンピュータ・プログラム
US20160110791A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
JP5942173B2 (ja) * 2014-11-05 2016-06-29 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US10217120B1 (en) * 2015-04-21 2019-02-26 Videomining Corporation Method and system for in-store shopper behavior analysis with multi-modal sensor fusion
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
US10713670B1 (en) * 2015-12-31 2020-07-14 Videomining Corporation Method and system for finding correspondence between point-of-sale data and customer behavior data
US10026003B2 (en) * 2016-03-08 2018-07-17 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
US10354262B1 (en) * 2016-06-02 2019-07-16 Videomining Corporation Brand-switching analysis using longitudinal tracking of at-shelf shopper behavior
WO2018079456A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 動線出力装置、動線出力方法及び記録媒体
JP6965713B2 (ja) * 2017-12-12 2021-11-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10373322B1 (en) * 2018-07-16 2019-08-06 Accel Robotics Corporation Autonomous store system that analyzes camera images to track people and their interactions with items
US10535146B1 (en) * 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system
US10282720B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Camera-based authorization extension system
US10282852B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222501A1 (en) * 2013-02-01 2014-08-07 Panasonic Corporation Customer behavior analysis device, customer behavior analysis system and customer behavior analysis method
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN105321090A (zh) * 2014-07-29 2016-02-10 中华电信股份有限公司 来店客群分析及人流情报系统及其使用方法
US20180293598A1 (en) * 2015-06-02 2018-10-11 Panasonic Intellectual Property Management Co., Ltd. Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method
TWI578272B (zh) * 2016-05-18 2017-04-11 Chunghwa Telecom Co Ltd Shelf detection system and method
CN108898109A (zh) * 2018-06-29 2018-11-27 北京旷视科技有限公司 物品关注度的确定方法、装置和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI841884B (zh) * 2021-12-01 2024-05-11 財團法人工業技術研究院 智慧商店的選品規劃方法、選品規劃系統及其處理設備

Also Published As

Publication number Publication date
US20200265586A1 (en) 2020-08-20
US11176684B2 (en) 2021-11-16
TW202032461A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
TWI745653B (zh) 顧客行為分析方法與顧客行為分析系統
US20210201253A1 (en) Systems and methods for deep learning-based shopper tracking
JP7009389B2 (ja) 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
WO2020048492A1 (zh) 商品状态识别
US10965913B2 (en) Monitoring apparatus, monitoring system and monitoring method
JP7038543B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
US8812344B1 (en) Method and system for determining the impact of crowding on retail performance
US8107676B2 (en) Line length estimation
WO2019152279A1 (en) Product inventorying using image differences
EP2226758A1 (en) Relationship analysis method, relationship analysis program, and relationship analysis apparatus
US9838649B2 (en) End cap analytic monitoring method and apparatus
US11475657B2 (en) Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
WO2020163217A1 (en) Systems, method and apparatus for frictionless shopping
TWI741451B (zh) 智慧型行銷及廣告平台
US11763252B2 (en) Intelligent marketing and advertising platform
US20220309784A1 (en) System and method for populating a virtual shopping cart based on a verification of algorithmic determinations of items selected during a shopping session in a physical store
CN111681018A (zh) 顾客行为分析方法与顾客行为分析系统
WO2023034622A1 (en) Facial recognition for age verification in shopping environments
TWM635044U (zh) 商品結帳系統
JP2019192074A (ja) 見込み客情報収集システム及びその収集法
TWM575154U (zh) Product recommendation display system
US20210166024A1 (en) System and method for selectively verifying algorithmically populated shopping carts
RU2785327C1 (ru) Система компьютерного зрения в ритейле
JP6734891B2 (ja) 販売実績の分析システムおよび分析方法
WO2024142194A1 (ja) 分析装置、分析方法、及び、記録媒体