TWM488698U - 智慧型影像式顧客分析系統 - Google Patents

Description

智慧型影像式顧客分析系統 Customer Analysis System

本創作係由架設於店家之3D攝影機(包含彩色與深度影像資訊)，以一俯角拍攝進入門市之人員與人臉，透過3D深度資訊偵測與追蹤人形輪廓，用以計算顧客數量，並利用影像辨識技術偵測人形輪廓中之人臉影像並辨識其性別、年齡等屬性，產生來客時段分析數據。

一般係利用攝影機擷取影像，透過電腦視覺影像處理以達成出入口人流計數之目的，但其方法僅能做進、出人數的統計，無法分析得到人數相對應的客層訊息。

藉由將攝影機放置於監控區域的上方並垂直向下拍攝，依此獲得的影像進行運算以達成人數計數的目的，然而此方法僅能拍攝頭頂區域不具有人臉辨識的功能。

POS機應用中，雖可自動化偵測辨識消費者之性別、人數、年齡層，並與購買的產品結合自動記錄分析，但因沒有做出入口之來客分析無法提供多元化的提袋率資訊。

提出即時且多人之人臉辨識技術，可偵測面對電子看板之觀眾，偵測畫面中之人臉並追蹤人臉之移動，惟此人臉追蹤方法容易受到光線與顧客遮蔽、交錯之影響，無法得到精確之人數統計結果。

由此可見，上述習用技術仍有諸多缺失，實非一良善之設計者，而亟待加以改良。

本創作之目的在於揭露一種智慧型影像式顧客分析系統流程圖，其中來店客層分析模組是透過架設於店家之3D攝影機(包含擷取彩色與深度影像)拍攝進入店內之顧客，其中的深度影像每個像素值分別代表深度攝影機距離目標像素之距離，透過分析深度影像之變化可偵測與追蹤人形輪廓以計算顧客數量，方法為利用數張深度影像建立深度資訊背景模型；接下來，以前景影像偵測方法找出偵測區域中的物體，利用深度資訊背景模型分離出前景像素點與背景像素點，將前景像素點做連通標記(Connected Component Labeling)處理，以找出影像中的前景(移動)物體輪廓，分析此前景物體輪廓的長寬比例來判斷此移動物體是否為顧客，接著使用位置資訊、物體長寬比例及移動向量作為特徵，來比對追蹤物體及移動物體的相似程度以進行追蹤。偵測出人形輪廓後，利用影像辨識技術偵測人形輪廓中之人臉影像並分析其性別、年齡等屬性，影像辨識技術包含了人臉偵測、膚色偵測、眼睛偵測與定位、光線補償、人臉正規化、人臉特徵抽取與性別或年齡等分類器等。

消費客層分析模組是透過架設攝影機於櫃台後方或POS機上方以拍攝結帳之顧客，若環境光線較為穩定且較沒有顧客交錯、遮蔽之情形，可簡單使用一般彩色攝影機辨識與分析客層。結帳人員在刷商品條碼時，POS機觸發系統做顧客計數與人臉偵測，接著利用人臉追蹤演算法追蹤人臉 位置，追蹤過程中同時分析人臉影像之性別或年齡屬性或人臉辨識，結帳完成後輸出顧客屬性資料，性別或年齡或人臉辨識技術包含了眼睛偵測與定位、光線補償、人臉正規化、人臉特徵抽取與性別或年齡或人臉等分類器等程序。

本創作所提供之智慧型影像式顧客分析系統，與其他習用技術相互比較時，更具備下列優點：

1.本創作除了提出精確的人數計數方法更進一步分析顧客性別、年齡屬性，此多元化的統計資訊可提供業主做人力安排、時段產品的促銷依據，增加其利益。

2.本創作除了提供與POS機整合之客層辨識功能，更結合來店與消費客群分析資訊，計算每日客層提袋率訊息，準確提供店家了解目前營運成效。

3.本創作利用3D深度資訊做人形輪廓偵測與追蹤，克服環境光影變化以及顧客交錯、遮蔽之情形，大幅提升人數計數之準確性。

S101~S108‧‧‧分析系統流程

201‧‧‧3D攝影機

202‧‧‧後端主機

203‧‧‧攝影機

請參閱有關本創作之詳細說明及其附圖，將可進一步瞭解本創作之技術內容及其目的功效；有關附圖為：圖1為本創作智慧型影像式顧客分析系統之流程圖；圖2為本創作智慧型影像式顧客分析系統架構圖。

為了使本創作的目的、技術方案及優點更加清楚 明白，下面結合附圖及實施例，對本創作進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本創作，但並不用於限定本創作。

以下，結合附圖對本創作進一步說明：請參閱圖1，為本創作智慧型影像式顧客分析系統之流程圖，其流程如下：流程一、顧客進入門市、商家100後；流程二、透過來店客層分析模組101，自動擷取行進入顧客之人形輪廓與人臉影像並分析其性別或年齡等屬性，人臉影像於辨識後隨即刪除，以確保顧客個人資料不會外洩，並將辨識資料傳送至後端主機；流程三、統計各時段來店客層屬性102，此時段客層屬性數據可提供店家了解什麼時段顧客最多做時段人力支援調整，也可根據不同時段客層規劃專屬行銷活動；流程四、當顧客進入門市、商家100後，顧客選定商品於櫃台結帳103；流程五、透過消費客層分析模組104取得顧客人臉之性別、年齡等屬性，此分析結果與POS機結帳資訊105整合；流程六、產生商品顧客客層分析資料106，客層分析資訊連結每筆消費清單可作為顧客產品喜好度與後續商品行銷之依據；流程七、此外，經由後端主機統計各時段消費客層屬性107，將來店客層分析模組101統計各時段來店客層屬性102之分析資料與消費客層分析模組104 統計各時段消費客層屬性107之分析資料結合，計算出該店家來客之客層屬性提袋率分析資料模組108之客層屬性提袋率分析資料，客層屬性提袋率=消費客層人數或來店客層人數，資訊供店家清楚了解當前經營成效，可做為後續的營運模式與行銷策略調整方針。

由上述流程得知，首先，顧客進入門市、商家後，透過來店客層分析模組，自動擷取行進顧客之人形輪廓與人臉影像並分析其性別或年齡等屬性，人臉影像於辨識後隨即刪除，以確保顧客個人資料不會外洩，將辨識資料傳送至後端主機統計各時段來店客層屬性，此時段客層屬性數據可提供店家了解什麼時段顧客最多做時段人力支援調整，也可根據不同時段客層規劃專屬行銷活動。

當顧客選定商品於櫃台結帳，透過消費客層分析模組取得顧客人臉之性別、年齡等屬性，此分析結果與POS機結帳資訊整合，產生商品顧客客層分析資料，客層分析資訊連結每筆消費清單可作為顧客產品喜好度與後續商品行銷之依據。此外，經由後端主機統計各時段消費客層屬性，將來店客層分析模組統計各時段來店客層屬性之分析資料與消費客層分析模組統計各時段消費客層屬性之分析資料結合，計算出該店家來客之客層屬性提袋率分析資料模組之客層屬性提袋率分析資料，客層屬性提袋率=消費客層人數或來店客層人數，資訊供店家清楚了解當前經營成效，可做為後續的營運模式與行銷策略調整方針。

其中來店客層分析模組是透過架設於店家之3D攝影機(包含擷取彩色與深度影像)拍攝進入店內之顧客，其中 的深度影像每個像素值分別代表深度攝影機距離目標像素之距離，透過分析深度影像之變化可偵測與追蹤人形輪廓以計算顧客數量，方法為利用數張深度影像建立深度資訊背景模型；接下來，以前景影像偵測方法找出偵測區域中的物體，利用深度資訊背景模型分離出前景像素點與背景像素點，將前景像素點做連通標記(Connected Component Labeling)處理，以找出影像中的前景(移動)物體輪廓，分析此前景物體輪廓的長寬比例來判斷此移動物體是否為顧客，接著使用位置資訊、物體長寬比例及移動向量作為特徵，來比對追蹤物體及移動物體的相似程度以進行追蹤。偵測出人形輪廓後，利用影像辨識技術偵測人形輪廓中之人臉影像並分析其性別、年齡等屬性，影像辨識技術包含了人臉偵測、膚色偵測、眼睛偵測與定位、光線補償、人臉正規化、人臉特徵抽取與性別或年齡等分類器等。

消費客層分析模組是透過架設攝影機於櫃台後方或POS機上方以拍攝結帳之顧客，若環境光線較為穩定且較沒有顧客交錯、遮蔽之情形，可簡單使用一般彩色攝影機辨識與分析客層。結帳人員在刷商品條碼時，POS機觸發系統做顧客計數與人臉偵測，接著利用人臉追蹤演算法追蹤人臉位置，追蹤過程中同時分析人臉影像之性別或年齡屬性或人臉辨識，結帳完成後輸出顧客屬性資料，性別或年齡或人臉辨識技術包含了眼睛偵測與定位、光線補償、人臉正規化、人臉特徵抽取與性別或年齡或人臉等分類器等程序。

如圖2所示，為本創作智慧型影像式顧客分析系統架構圖，其中包括3D攝影機200、後端主機201、以及攝影機202，由架設於店家內之3D攝影機200，包含擷取彩色 與深度影像資訊，拍攝進入店內之顧客影像，畫面透過USB方式傳送至後端主機201分析與辨識，利用3D深度資訊偵測與追蹤人形輪廓計算顧客數量，以影像辨識技術偵測人形輪廓中之人臉影像並分析其性別、年齡等屬性，產生時段來客分析數據資料，此數據可提供店家做時段人力支援調整與產品促銷等決策參考；而當顧客選定商品於櫃台結帳時，由架設於櫃檯後方或POS機上方之攝影機202拍攝結帳顧客，並由畫面透過USB或同軸電纜或是網路連線的方式傳送至後端主機201，利用影像辨識技術偵測與追蹤人臉以計算人數，並分析人臉之性別、年齡、或人臉辨識方法，將其人臉結果與3D攝影機200傳送至後端主機201分析得到之時段來客分析數據資料進行比對，進而得到來客停留時間數據，其中性別、年齡屬性資訊除了與POS機整合產生商品連結關係外，更可與來客資訊結合計算每日客層提袋率，透過提袋率做為觀察指標，供店家準確掌握目前之營運成效。

上列詳細說明係針對本創作之一可行實施例之具體說明，惟該實施例並非用以限制本創作之專利範圍，凡未脫離本創作技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不但在空間型態上確屬創新，並能較習用物品增進上述多項功效，應已充分符合新穎性及進步性之法定新型專利要件，爰依法提出申請，懇請 貴局核准本件新型專利申請案，以勵創作，至感德便。

201‧‧‧3D攝影機

202‧‧‧後端主機

203‧‧‧攝影機

Claims (3)

1. 一種智慧型影像式顧客分析系統，其主要包括：來店客層分析模組，係透過架設於店家之3D攝影機拍攝進入店內之顧客，其中的深度影像像素值分別代表深度攝影機距離目標像素之距離，並透過分析深度影像之變化偵測與追蹤人形輪廓以計算該顧客數量，偵測出該人形輪廓後，利用影像辨識技術偵測該人形輪廓中之人臉影像並分析其性別、年齡屬性，以統計各時段來店客層屬性；消費客層分析模組，係透過架設攝影機於櫃台後方或POS機上方以拍攝結帳顧客，結帳人員在刷商品條碼時，POS機觸發系統做該顧客計數與該人臉偵測，接著利用人臉追蹤演算法追蹤人臉位置，追蹤過程中同時分析人臉影像之性別、年齡、或人臉辨識方法，將該人臉結果與該3D攝影機傳送至後端主機分析得到之時段來客分析數據資料進行比對，進而得到來客停留時間數據屬性，結帳完成後輸出該顧客屬性資料，已統計各時段消費客層屬性；客層屬性提袋率分析資料模組，係結合該來店客層分析模組統計該各時段來店客層屬性與該消費客層分析模組統計該各時段消費客層屬性之分析資料，計算出該店家之客層屬性提袋率分析資料，提供店家清楚了解當前經營成效，做為後續的營運模式與行銷策略。
2. 如申請專利範圍第1項所述之智慧型影像式顧客分析系統，其中該客層屬性提袋率分析資料，係為客層屬性提袋率等於消費客層人數除以來店客層人數。
3. 如申請專利範圍第1項所述之智慧型影像式顧客分析系統，其中該影像辨識技術，係包含人臉偵測、膚色偵測、眼睛偵測與定位、光線補償、人臉正規化、人臉特徵抽取與性別或年齡之分類器。