TWI664584B - 影像式人流計數之特定人物排除系統及方法 - Google Patents

Abstract

本發明揭露一種影像式人流計數之特定人物排除系統及方法。該系統包括一攝影機、一頭戴物偵測模組、一頭戴物特徵擷取模組、一物件特徵擷取模組與一計數模組。攝影機擷取出人流之一影像，頭戴物偵測模組依據影像偵測出特定人物之頭戴物影像，頭戴物特徵擷取模組依據頭戴物影像偵測出頭戴物影像之特徵，且物件特徵擷取模組依據影像偵測出複數非特定人物之影像之特徵。計數模組依據頭戴物影像之特徵排除特定人物之計數，以依據非特定人物之影像之特徵進行非特定人物之計數。

Description

影像式人流計數之特定人物排除系統及方法

本發明係關於一種人流計數之技術，特別是指一種影像式人流計數之特定人物排除系統及方法。

近年來，許多影像辨識的廠商都有推出影像式客流動線與駐足熱區分析產品，幫助零售業者分析店內顧客之行為，這些廠商一般大都使用攝影機架設於店內，並以攝影機向人流拍攝。

然而，傳統的影像式店內客流動線與駐足熱區偵測系統僅能偵測出店內人員之行走動線與駐足熱點，但無法區分偵測到的人員是顧客或店員，導致所分析出的結果失真與說服力不足。

因此，如何解決上述傳統技術之缺點，實已成為本領域技術人員之一大課題。

本發明提供一種影像式人流計數之特定人物排除系統及方法，其可提供較準確的人流計數。

本發明中影像式人流計數之特定人物排除系統包括：一攝影機，其對人流擷取出至少一影像；一頭戴物偵測模組，其依據攝影機之影像偵測出至少一特定人物之頭戴物影像；一頭戴物特徵擷取模組，其依據頭戴物偵測模組之特定人物之頭戴物影像偵測出頭戴物影像之特徵；一物件特徵擷取模組，其依據攝影機之影像偵測出複數非特定人物之影像之特徵；以及一計數模組，其依據頭戴物特徵擷取模組之頭戴物影像之特徵排除特定人物之計數，以依據物件特徵擷取模組之非特定人物之影像之特徵進行非特定人物之計數。

本發明中影像式人流計數之特定人物排除方法包括：由一攝影機對人流擷取出至少一影像；依據攝影機之影像偵測出至少一特定人物之頭戴物影像；依據特定人物之頭戴物影像偵測出頭戴物影像之特徵，並依據攝影機之影像偵測出複數非特定人物之影像之特徵；以及依據頭戴物影像之特徵排除特定人物之計數，以依據非特定人物之影像之特徵進行非特定人物之計數。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容顯而易見，或可藉由對本發明之實踐習得。本發明之特徵及優點借助於在申請專利範圍中特別指出的元件及組合來認識到並達到。應理解，前文一般描述與以下詳細描述兩者均僅為例示性及解釋性的，且 不欲約束本發明所主張之範圍。

1‧‧‧影像式人流計數之特定人物排除系統

10‧‧‧攝影機

11‧‧‧影像

20‧‧‧前景物件偵測模組

21‧‧‧前背景相減演算法

22‧‧‧候選前景物件

30‧‧‧面積重疊判斷模組

31‧‧‧面積重疊法

32‧‧‧前景物件

40‧‧‧起始追蹤物件模組

41‧‧‧物件區域影像

42‧‧‧追蹤編號

50‧‧‧記憶體

60‧‧‧頭戴物特徵資料庫

70‧‧‧頭戴物偵測模組

71‧‧‧頭戴物影像

72‧‧‧搜尋框

80‧‧‧頭戴物特徵擷取模組

81‧‧‧物件特徵擷取模組

90‧‧‧追蹤演算模組

100‧‧‧計數模組

101‧‧‧動線分析統計單元

102‧‧‧駐足分析統計單元

A‧‧‧特定人物

A'‧‧‧軌跡

B‧‧‧非特定人物

C‧‧‧大門

D‧‧‧服務台

E‧‧‧陳列貨品

F1、F2、F3‧‧‧動線

G1、G2、G3‧‧‧出入口

H‧‧‧駐足熱區

S1至S08‧‧‧步驟

第1圖繪示本發明中影像式人流計數之特定人物排除系統之示意圖；第2A圖至第2E圖繪示本發明中影像式人流計數之特定人物排除系統之實施例示意圖；第3圖繪示本發明之影像式人流計數之特定人物排除系統中頭戴物影像及其直方圖顏色特徵與梯度特徵之示意圖；以及第4圖繪示本發明中影像式人流計數之特定人物排除方法之流程圖。

以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地了解本發明之其他優點與功效，亦可藉由其他不同的具體實施形態加以施行或應用。

第1圖繪示本發明中影像式人流計數之特定人物排除系統1之示意圖，第2A圖至第2E圖繪示本發明中影像式人流計數之特定人物排除系統1之實施例示意圖，第3圖繪示本發明之影像式人流計數之特定人物排除系統1中頭戴物影像71及其直方圖顏色特徵與梯度特徵之示意圖。

如第1圖所示，影像式人流計數之特定人物排除系統1可包括一攝影機10、一頭戴物偵測模組70、一頭戴物特徵擷取模組80、一物件特徵擷取模組81與一計數模組100。

第1圖之攝影機10可設於第2A圖所示店內特定人物A與非特定人物B上方或正上方之固定物(如天花板或牆壁)上。攝影機10可為360度全景攝影機，並由上往下全方位地對人流擷取出至少一影像11，如複數連續之影像。例如，第2A圖之影像11顯示特定人物A(如店員、員工或服務員等)、非特定人物B(如顧客、來賓或消費者等)、大門C、服務台D、陳列貨品E等之影像。

第1圖之頭戴物偵測模組70可依據攝影機10之影像11偵測出至少一(如複數)特定人物A之頭戴物影像71。例如，第2A圖之三個特定人物A分別戴有三種不同款式的頭戴物而顯示出三種不同的頭戴物影像71。頭戴物影像71中之頭戴物可為特定人物A之帽子或髮飾(如髮箍)，且頭戴物之款式可為特殊、市面上少見、或非一般人所戴之款式。

第1圖之頭戴物特徵擷取模組80可依據頭戴物偵測模組70之特定人物A之頭戴物影像71擷取出頭戴物影像71之特徵。物件特徵擷取模組81可依據攝影機10之影像11偵測出複數非特定人物B之影像之特徵。計數模組100可依據頭戴物特徵擷取模組80之頭戴物影像71之特徵排除特定人物A之計數，並依據物件特徵擷取模組81之該些非特定人物B之影像之特徵進行該些非特定人物B之計數。

第1圖之影像式人流計數之特定人物排除系統1可包括前景物件偵測模組20，用以使用影像辨識技術之前背景 相減演算法21，如編碼簿(code book)或高斯混合模型(Gaussian Mixture Models；GMM)，並依據攝影機10之影像11偵測出例如第2B圖所示為特定人物A或非特定人物B之至少一(如複數)候選前景物件22。

第1圖之影像式人流計數之特定人物排除系統1可包括面積重疊判斷模組30，用以使用面積重疊法31依據前景物件偵測模組20之候選前景物件22判斷出為特定人物A或非特定人物B之一前景物件32。

第1圖之影像式人流計數之特定人物排除系統1可包括起始追蹤物件模組40，用以對面積重疊判斷模組30之前景物件32(即特定人物A或非特定人物B)進行起始追蹤以產生一物件區域影像41，並對物件區域影像41賦予一追蹤編號42以儲存物件區域影像41及其追蹤編號42於一記憶體50(如硬碟)中。

例如，使用面積重疊法31對攝影機10陸續擷取或拍攝之5張影像進行連續追蹤，若成功則起始一個明確的追蹤物件並儲存5張物件區域影像41。又，前背景相減演算法21偵測出的前景物件32有可能是雜訊，透過連續影像之相似位置的比對可進一步確定前景物件32是否為特定人物或非特定人物而非雜訊。

第1圖之影像式人流計數之特定人物排除系統1可包括頭戴物偵測模組70，用以使用如第2C圖所示可變動尺寸(大小)之搜尋框72(sliding window)，以例如自左上至右下掃描物件區域影像41，進而自物件區域影像41中偵測 出特定人物A之頭戴物影像71。

第1圖之影像式人流計數之特定人物排除系統1可包括一頭戴物特徵資料庫60。頭戴物特徵資料庫60可預先登錄(或儲存)每一特定人物A之頭戴物之款式，並對預先登錄之每一頭戴物之款式使用影像辨識技術擷取直方圖顏色特徵與梯度特徵後儲存。計算直方圖顏色特徵時可先將彩色影像由RGB(紅/綠/藍)色彩空間轉換至HSV(色相/飽和度/明度)色彩空間，並將亮度與顏色作進一步的區分，以提高後續比對時的準確度。計算梯度特徵時可採用水準與垂直梯度濾波器分開計算的方式，以提高後續比對時的準確率。

頭戴物偵測模組70計算可變動尺寸之搜尋框72中前景物件32(如特定人物A)之頭戴物影像之直方圖顏色特徵或梯度特徵(如線條特徵)，並將直方圖顏色特徵、梯度特徵或其組合比對頭戴物特徵資料庫60預存之頭戴物影像之特徵以辨識出特定人物A之頭戴物之款式。

例如，依據特定人物A之頭戴物影像之直方圖顏色特徵或梯度特徵，自頭戴物特徵資料庫60中比對出高於預定之門檻值或相似度最高之頭戴物之款式，以確認為哪一個特定人物A(如員工)之頭戴物之款式並進一步確認為哪一個特定人物A。反之，若自頭戴物特徵資料庫60中無法比對出高於門檻值之頭戴物之款式，則表示前景物件32為非特定人物B(如顧客)，由物件特徵擷取模組81依據前景物件32(攝影機10之影像11)偵測出非特定人物B之影像之 特徵。

舉例而言，在第3圖所示特定人物A之頭戴物影像之直方圖顏色特徵與梯度特徵中，第3圖左方之頭戴物(如帽子)影像為黃與藍兩種顏色相間，故直方圖顏色特徵之出現頻率僅顯示「黃」與「藍」兩種顏色，而梯度特徵顯示頭戴物影像之直線條。第3圖中間之頭戴物(如帽子)影像為紅與綠兩種顏色相間，故直方圖顏色特徵之出現頻率僅顯示「紅」與「綠」兩種顏色，而梯度特徵顯示頭戴物影像之直線條。第3圖右方之頭戴物(如帽子)影像為紫與澄兩種顏色相間，故直方圖顏色特徵之出現頻率僅顯示「紫」與「澄」兩種顏色，而梯度特徵顯示頭戴物影像之直線條與橫線條彼此垂直交錯。前述直方圖顏色特徵可簡易地僅顯示紅色、澄色、黃色、綠色、藍色、靛色、紫色七者，梯度特徵可僅顯示線條，但本發明並不以此為限。

第1圖之影像式人流計數之特定人物排除系統1可包括追蹤演算模組90，用以使用例如均值偏移(mean shift)演算法，對特定人物A之頭戴物影像71或該些非特定人物B之影像執行追蹤演算以得到特定人物A或該些非特定人物B之軌跡。例如，第2C圖所示特定人物A之軌跡A'或移動軌跡。

第1圖之計數模組100可具有一動線分析統計單元101，用以對該些非特定人物B之動線、人數或人數比例進行分析及統計。例如，第2D圖所示複數非特定人物B行經動線F1於出人口G1之人數比例為25%，而行經動線 F2於出入口G2之人數比例為40%，且行經動線F3於出入口G3之人數比例為35%。同時，動線分析統計單元101可判斷非特定人物B是否通過感興趣的動線偵測區域與通過方向，例如非特定人物B之目前位置與先前數個位置是否跨越感興趣區域中一平行線區域。

第1圖之計數模組100可具有一駐足分析統計單元102，用以對該些非特定人物B之駐足熱區H之駐足人數、停留時間或停留次數進行分析及統計。例如，第2E圖所示複數非特定人物B於不同駐足熱區H之駐足人數多寡分別以不同大小的圓圈表示之，亦可以各種規則形狀、不規則形狀、不同顏色或不同曲線等表示之。同時，駐足分析統計單元102可判斷非特定人物B(如顧客)是否停留在影像11中某位置以進行駐足時間熱區分析與統計，例如非特定人物B之目前位置與先前數個位置是否皆停滯在某個像素位置附近。

第4圖繪示本發明中影像式人流計數之特定人物排除方法之流程圖，且第4圖之主要技術部分如下，其餘技術部分如同上方第1圖至第3圖所載，於此不再重覆敘述。

第4圖之影像式人流計數之特定人物排除方法主要包括：由一攝影機對人流擷取出至少一影像，依據攝影機之影像偵測出至少一特定人物之頭戴物影像，依據特定人物之頭戴物影像偵測出頭戴物影像之特徵並依據攝影機之影像偵測出複數非特定人物之影像之特徵，依據頭戴物影像之特徵排除特定人物之計數以依據該些非特定人物之影像 之特徵進行該些非特定人物之計數。

詳言之，在第4圖S01中，由一攝影機對人流擷取出至少一影像。攝影機可設於特定人物與非特定人物上方之固定物上，且頭戴物影像中之頭戴物為特定人物之帽子或髮飾(如髮箍)。

在第4圖S02中，由前景物件偵測模組使用前背景相減演算法依據攝影機之影像偵測出為特定人物或非特定人物之一候選前景物件。

在第4圖S03中，由面積重疊判斷模組使用面積重疊法依據候選前景物件判斷出為特定人物或非特定人物之一前景物件。

在第4圖S04中，由起始追蹤物件模組對前景物件進行起始追蹤以產生一物件區域影像，並對物件區域影像賦予一追蹤編號以儲存物件區域影像及其追蹤編號於一記憶體。

在第4圖S05中，由頭戴物偵測模組使用一可變動尺寸之搜尋框以自物件區域影像中偵測出特定人物之頭戴物影像。

在第4圖S06中，由頭戴物特徵擷取模組依據特定人物之頭戴物影像偵測出頭戴物影像之特徵，並由物件特徵擷取模組依據物件區域影像(攝影機之影像)偵測出複數非特定人物之影像之特徵。

例如，計算可變動尺寸之搜尋框中特定人物之頭戴物影像之直方圖顏色特徵或梯度特徵，並將直方圖顏色特徵 或梯度特徵比對一頭戴物特徵資料庫之頭戴物影像之特徵以辨識出特定人物之頭戴物之款式。

在第4圖S07中，由追蹤演算模組對特定人物之頭戴物影像或非特定人物之影像執行追蹤演算以得到特定人物或非特定人物之軌跡。

在第4圖S08中，由計數模組依據頭戴物影像之特徵排除特定人物之計數，以由計數模組之動線分析統計單元對該些非特定人物之動線與人數進行分析及統計，且由計數模組之駐足分析統計單元對該些非特定人物之駐足熱區之駐足人數、停留時間或停留次數進行分析及統計。

由上可知，本發明可依據特定人物之頭戴物影像排除特定人物之計算，以提供較準確的人流計數。而且，本發明能獲得非特定人物(顧客)於例如店內之行為，並提供管理特定人物(店員)之資訊，大幅提升影像式客流動線與駐足熱區偵測系統偵測數據的多樣性與真實性。

再者，本發明應用於店內動線偵測時，可具備區分非特定人物(顧客)與特定人物(店員)之功能，提高分析資料之多樣性與真實性。同時，本發明應用於店內動線偵測時，可具備進一步區分不同特定人物(店員)之功能，以利於管理特定人物(員工)。

另外，本發明之頭戴物影像中特定人物(店員)之頭戴物(如帽子、髮飾或髮箍)之款式可為特殊、市面上少見、或非一般人所戴之款式，以避免特定人物(店員)與非特定人物(顧客)兩者所戴之頭戴物之款式過於接近而產生誤 判。

上述實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何運用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍，應如申請專利範圍所列。

Claims (18)

1. 一種影像式人流計數之特定人物排除系統，包括：一攝影機，其對人流擷取出至少一影像；一頭戴物偵測模組，其依據該攝影機之該影像偵測出至少一特定人物之頭戴物影像，其中，該頭戴物影像中之頭戴物為該特定人物之帽子或髮飾；一頭戴物特徵擷取模組，其依據該頭戴物偵測模組之該特定人物之該頭戴物影像偵測出該頭戴物影像之特徵；一物件特徵擷取模組，其依據該攝影機之該影像偵測出複數非特定人物之影像之特徵，其中，該攝影機設於該特定人物與該非特定人物上方之固定物上；以及一計數模組，其依據該頭戴物特徵擷取模組之該頭戴物影像之特徵排除該特定人物之計數，以依據該物件特徵擷取模組之該些非特定人物之影像之特徵進行該些非特定人物之計數。
2. 如申請專利範圍第1項所述之系統，更包括前景物件偵測模組，用以使用前背景相減演算法依據該攝影機之該影像偵測出為該特定人物或該非特定人物之一候選前景物件。
3. 如申請專利範圍第2項所述之系統，更包括面積重疊判斷模組，用以使用面積重疊法依據該前景物件偵測模組之該候選前景物件判斷出為該特定人物或該非特定人物之一前景物件。
4. 如申請專利範圍第3項所述之系統，更包括起始追蹤物件模組，用以對該面積重疊判斷模組之該前景物件進行起始追蹤以產生一物件區域影像，並對該物件區域影像賦予一追蹤編號以儲存該物件區域影像及其追蹤編號於一記憶體。
5. 如申請專利範圍第1項所述之系統，其中，該頭戴物偵測模組使用一可變動尺寸之搜尋框以自該物件區域影像中偵測出該特定人物之頭戴物影像。
6. 如申請專利範圍第5項所述之系統，更包括一頭戴物特徵資料庫，該頭戴物偵測模組計算該可變動尺寸之搜尋框中該特定人物之頭戴物影像之直方圖顏色特徵或梯度特徵，並將該直方圖顏色特徵或該梯度特徵比對該頭戴物特徵資料庫之頭戴物影像之特徵以辨識出該特定人物之頭戴物之款式。
7. 如申請專利範圍第1項所述之系統，更包括追蹤演算模組，用以對該特定人物之頭戴物影像或該些非特定人物之影像執行追蹤演算以得到該特定人物或該些非特定人物之軌跡。
8. 如申請專利範圍第1項所述之系統，其中，該計數模組具有一動線分析統計單元，用以對該些非特定人物之動線與人數進行分析及統計。
9. 如申請專利範圍第1項所述之系統，其中，該計數模組具有一駐足分析統計單元，用以對該些非特定人物之駐足熱區之駐足人數、停留時間或停留次數進行分析及統計。
10. 一種影像式人流計數之特定人物排除方法，包括：由一攝影機對人流擷取出至少一影像；依據該攝影機之該影像偵測出至少一特定人物之頭戴物影像，其中，該頭戴物影像中之頭戴物為該特定人物之帽子或髮飾；依據該特定人物之該頭戴物影像偵測出該頭戴物影像之特徵，並依據該攝影機之該影像偵測出複數非特定人物之影像之特徵，其中，該攝影機設於該特定人物與該非特定人物上方之固定物上；以及依據該頭戴物影像之特徵排除該特定人物之計數，以依據該些非特定人物之影像之特徵進行該些非特定人物之計數。
11. 如申請專利範圍第10項所述之方法，更包括使用前背景相減演算法依據該攝影機之該影像偵測出為該特定人物或該非特定人物之一候選前景物件。
12. 如申請專利範圍第11項所述之方法，更包括使用面積重疊法依據該候選前景物件判斷出為該特定人物或該非特定人物之一前景物件。
13. 如申請專利範圍第12項所述之方法，更包括對該前景物件進行起始追蹤以產生一物件區域影像，並對該物件區域影像賦予一追蹤編號以儲存該物件區域影像及其追蹤編號於一記憶體。
14. 如申請專利範圍第10項所述之方法，更包括使用一可變動尺寸之搜尋框以自該物件區域影像中偵測出該特定人物之頭戴物影像。
15. 如申請專利範圍第14項所述之方法，更包括計算該可變動尺寸之搜尋框中該特定人物之頭戴物影像之直方圖顏色特徵或梯度特徵，並將該直方圖顏色特徵或該梯度特徵比對一頭戴物特徵資料庫之頭戴物影像之特徵以辨識出該特定人物之頭戴物之款式。
16. 如申請專利範圍第10項所述之方法，更包括對該特定人物之頭戴物影像或該些非特定人物之影像執行追蹤演算以得到該特定人物或該些非特定人物之軌跡。
17. 如申請專利範圍第10項所述之方法，其中，更包括對該些非特定人物之動線與人數進行分析及統計。
18. 如申請專利範圍第10項所述之方法，更包括對該些非特定人物之駐足熱區之駐足人數、停留時間或停留次數進行分析及統計。