TWI749314B

TWI749314B - 影像追蹤系統

Info

Publication number: TWI749314B
Application number: TW108112966A
Authority: TW
Inventors: 張俊元; 呂文凱; 蘇淳閔
Original assignee: 中興保全科技股份有限公司
Priority date: 2019-04-12
Filing date: 2019-04-12
Publication date: 2021-12-11
Also published as: TW202038178A

Abstract

一種影像追蹤系統，包含：複數攝影機，供佈設於銷售場域，並拍攝即時影像；運算主機，連線至複數攝影機，以對複數攝影機之即時影像執行人物之辨識，並依據人物辨識結果產生分析資料；穿戴式顯示裝置，連線至運算主機，透過擴增實境方式相應於人物的影像顯示人物辨識結果之分析資料。

Description

影像追蹤系統

本發明提供一種追蹤系統，特別是一種影像追蹤系統。

由於習知現場銷售人員常常只能處理一組顧客，而無法顧及其他組顧客，當銷售人員結束第一組顧客處理之後，往往已找尋不到不耐久後之第二組顧客，或是第二組顧客早已離去。

此外，現場銷售人員的行銷經驗需要靠時間或教育訓練，當發現顧客長時間挑選或位於某區，需要現場人員長時間觀察，才能立即為顧客提供合適的服務需求。因此，若為新進之銷售人員往往無法立即為顧客提供合適的服務及建議。

有鑑於此，本發明提出一種影像追蹤系統，包含：複數攝影機，供佈設於銷售場域，並拍攝即時影像；運算主機，連線至複數攝影機，以對複數攝影機之即時影像執行人物之辨識，並依據人物辨識結果產生分析資料；及穿戴式顯示裝置，連線至運算主機，透過擴增實境方式相應於人物的影像顯示人物辨識結果之分析資料。

其中，運算主機包含顧客資料庫，儲存多名顧客的臉部特徵及對應各顧客的顧客資料，以依據人物辨識結果查找對應的顧客資料，並依據查找出的顧客資料產生分析資料。

再者，顧客資料包含顧客之個人資料與消費記錄。

此外，運算主機還儲存活動資訊，將查找出的顧客資料與活動資訊進行比對以產生比對結果，穿戴式顯示裝置顯示的分析資料包含比對結果。

其中運算主機包含心情推估模組，心情推估模組具有透過機器學習演算法以複數人臉樣本進行訓練所建立的心情推估模型，以將即時影像中的人臉圖像輸入心情推估模型中，獲得對應人臉影像的心情推估結果，穿戴式顯示裝置顯示的分析資料包含心情推估結果。

再者，本發明更包括顯示介面，連接運算主機，以顯示複數攝影機的即時影像，並提供對應人物辨識結果的複數選項，以於其中一個選項被觸發時，在即時影像中以凸顯的方式標示對應的人臉圖像。

此外，本發明更包括輸入裝置，連接運算主機，以供輸入通知訊息，穿戴式顯示裝置還顯示通知訊息。

再者，運算主機還依據人物辨識結果追蹤對應的人臉圖像，以記錄該行走動線。

其中，分析資料還包含滯留時間。此外，運算主機還儲存黑名單，當人物辨識結果與黑名單相符時，穿戴式顯示裝置顯示提示。

以下在實施方式中詳細敘述本發明之詳細特徵及優點，其內容足以使任何熟習相關技藝者瞭解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。

請參閱圖1，圖1為本發明影像追蹤系統之示意圖。本發明之銷售輔助系統包含攝影機10、運算主機20及穿戴式顯示裝置30。

攝影機10係提供佈設於一銷售場域中，以本發明而言，較佳地係具有複數台攝影機10分別設置於銷售場域中之各個不同位置，用以拍攝銷售場域中各位置之即時影像。

運算主機20較佳地為依電腦主機，其係連線至各攝影機10，以便對於各攝影機10所拍攝之即時影像執行人物之辨識，包含人臉，人形，衣著等，當時人物之特徵值作辨識。進一步而言，當即時影像中若有人物出現時，運算主機20即能立即執行該即時影像中之人物之辨識，並依據人物辨識結果產生一分析資料。

請參閱圖2，圖2為本發明運算主機之示意圖。運算主機20更包含有顧客資料庫21，用以儲存多名顧客的臉部特徵及對應各該顧客的一顧客資料，例如，顧客資料庫21儲存有某位顧客的臉型特徵，運算主機20將依據人物辨識結果及其特徵，查找對應該名顧客資料，並依據查找出的該顧客資料產生分析資料。此外，前述之顧客資料更包含有顧客之個人資料與消費記錄。在個人資料方面，可為姓名、年齡、性別、職業、住址及電話等個人資訊，消費記錄則較佳地可為該名顧客於此賣場或相關企業之所有購物紀錄。再者，運算主機20更儲存有黑名單24，當人物辨識結果與黑名單相符時，穿戴式顯示裝置30將顯示該名顧客黑名單之提示。

此外，運算主機20還能依據此人物辨識結果追蹤對應的人臉圖像。當運算主機20進行人物辨識後，將依據其所辨識之人臉圖像進行追蹤，進一步而言，透過複數個攝影機10之即時影像拍攝，即可對該人臉圖像進行追蹤，用以記錄該名顧客之行走動線或在哪一商品區的滯留時間。基此，行走動線、滯留商品區或滯留時間都可視為分析資料。

再者，運算主機20更儲存有銷售場域的活動資訊22，運算主機20將查找出的該名顧客之顧客資料後，再與活動資訊22進行比對以產生一比對結果。例如，運算主機20找出顧客之消費記錄後可以分析出該名顧客之喜好，再與活動資訊22進行比對，即可分析出該名顧客之喜好是否與活動資訊22有密切相關，基此，運算主機20將產生分析資料之比對結果。並且此比對結果將可即時顯示於穿戴式顯示裝置30上。

請參閱圖3，圖3為本發明穿戴式顯示裝置使用之示意圖。穿戴式顯示裝置30較佳地係可為頭盔形式或眼鏡形式，但本發明不以此為限。穿戴式顯示裝置30具有攝影鏡頭與顯示裝置（如光學頭帶式顯示器），以實現擴增實境的顯示方式。穿戴式顯示裝置30還可具有麥克風、聲音輸出裝置（如喇叭、耳機），以提供人機互動介面，可供操作人員以語音進行控制，但本發明不以此為限，穿戴式顯示裝置30亦可具有其他操作介面，如按鈕、觸控鍵等供操作人員操作。以本發明而言，穿戴式顯示裝置30配戴於操作人員頭上，用以連線至運算主機20，當操作人員透過穿戴式顯示裝置30看到顧客時，穿戴式顯示裝置30將透過擴增實境方式顯示顧客之分析資料，進一步來說，若顧客進入穿戴式顯示裝置30之視線範圍之後，對於該名顧客之人物辨識結果之分析資料，將相對應地顯示於人物(該名顧客)之即時影像周圍，例如，分析資料將顯示於該名顧客即時影像之上方、下方、左方或右方。但本發明並非以此為限，分析資料也可重疊顯示在人物(該名顧客)之即時影像上，例如，顯示於人物(該名顧客)即時影像之身體上。在此，擴增實境裝置30還具有無線通訊裝置，以與運算主機20通訊，例如藍牙、Zigbee、Wifi等區域無線網路通訊技術來與運算主機20通訊。

再請參閱圖2，運算主機20更包含心情推估模組23，心情推估模組23具有透過機器學習演算法以複數人臉樣本進行訓練所建立的心情推估模型，以將即時影像中的一人臉圖像輸入心情推估模型23中，獲得對應該人臉影像的心情推估結果，並且穿戴式顯示裝置30所顯示之分析資料係包含心情推估結果。舉例而言，攝影機10拍攝之即時影像中具有某位顧客，運算主機20將透過心情推估模組23分析出該名顧客之心情推估結果，並將此心情推估結果之分析資料傳送至穿戴式顯示裝置30。若配戴有穿戴式顯示裝置30之操作人員看到該名顧客時，此心情推估結果之分析資料將顯示於操作人員之穿戴式顯示裝置30，使該名操作人員立即得知該名顧客目前之心理狀態為何，例如情緒低落、開心、生氣等。

請參閱圖4，圖4為本發明影像追蹤系統另一實施例之示意圖。本發明之影像追蹤系統更包括一顯示介面40，例如觸控顯示螢幕，連接於運算主機20，用以顯示複數攝影機10的即時影像，並提供對應人物辨識結果的複數選項，以於其中一個選項被觸發時，在即時影像中將人物辨識結果之分析資料跟隨並隨時更新於人物周圍，並以凸顯的方式標示對應的一人物圖像。舉例而言，顯示介面40可顯示複數攝影機10的即時影像，並且同時顯示即時影像中，顧客人物辨識結果的多個選項。當操作人員想要知道某位顧客位於何處時，只要點選顯示介面40中關於該名顧客之選項，該名顧客之人臉圖像即能對應的顯示於即時影像中(1號攝影機所拍攝)，則操作人員隨即能知道該名顧客位於1號攝影機所設置之區域。

請參閱圖5，圖5為本發明影像追蹤系統又一實施例之示意圖。本發明之影像追蹤系統更包括一輸入裝置50，例如鍵盤，連接於運算主機20，用以供輸入一通知訊息。基此，後台人員可於運算主機20處，透過輸入裝置50輸入通知訊息，並傳送通知訊息至有配戴穿戴式顯示裝置30之操作人員，使得配戴穿戴式顯示裝置30之操作人員能立即從穿戴式顯示裝置30顯示並讀取該通知訊息。基此，透過後台人員之立即傳送通知訊息，前台之操作人員得以馬上回覆並提供給顧客相關資訊。

本發明透過攝影機，供佈設於銷售場域，並拍攝即時影像。運算主機，對攝影機之即時影像執行人物辨識，並依據人物辨識結果產生分析資料。穿戴式顯示裝置，透過擴增實境方式顯示分析資料。本發明不但解決習知現場銷售人員對於顧客之追蹤動向問題，還能達到協尋人物，失竊追蹤，賣場商業模式分析等功效。此外，透過本發明之設置，能立即為顧客提供合適的服務需求，也解決以往新進之銷售人員無法立即為顧客提供合適的服務及建議之問題。

雖然本發明的技術內容已經以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神所作些許之更動與潤飾，皆應涵蓋於本發明的範疇內，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10:攝影機 20:運算主機 21:顧客資料庫 22:活動資訊 23:心情推估模組 24:黑名單 30:穿戴式顯示裝置 40:顯示介面 50:輸入裝置

[圖1] 係本發明影像追蹤系統之示意圖。 [圖2] 係本發明運算主機之示意圖。 [圖3] 係本發明穿戴式顯示裝置使用之示意圖。 [圖4] 係本發明影像追蹤系統另一實施例之示意圖。 [圖5] 係本發明影像追蹤系統又一實施例之示意圖。

10:攝影機

20:運算主機

30:穿戴式顯示裝置

Claims

一種影像追蹤系統，包含：複數攝影機，供佈設於一銷售場域，並拍攝一即時影像；一運算主機，連線至該複數攝影機，以對該複數攝影機之該即時影像執行一人物之辨識，該人物之辨識包含一人臉、一人形與一衣著，並依據一人物辨識結果產生一分析資料；及一穿戴式顯示裝置，配戴於一操作人員頭上，並連線至該運算主機，當該操作人員透過該穿戴式顯示裝置看到該人物時，透過擴增實境方式相應於該人物的影像顯示該人物辨識結果之該分析資料。
如請求項1所述之影像追蹤系統，其中該運算主機包含一顧客資料庫，儲存多名顧客的臉部特徵及對應各該顧客的一顧客資料，以依據人物辨識結果查找對應的該顧客資料，並依據查找出的該顧客資料產生該分析資料。
如請求項2所述之影像追蹤系統，其中該顧客資料包含該顧客之個人資料與消費記錄。
如請求項2所述之影像追蹤系統，其中該運算主機還儲存一活動資訊，將查找出的該顧客資料與該活動資訊進行比對以產生一比對結果，該穿戴式顯示裝置顯示的該分析資料包含該比對結果。
如請求項1所述之影像追蹤系統，其中該運算主機包含一心情推估模組，該心情推估模組具有透過機器學習演算法以複數人臉樣本進行訓練所建立的一心情推估模型，以將該即時影像中的一人臉圖像輸入該心情推估模型中，獲得對應該人臉影像的一心情推估結果，該穿戴式顯示裝置顯示的該分析資料包含該心情推估結果。
如請求項1所述之影像追蹤系統，更包括一顯示介面，連接該運算主機，以顯示該複數攝影機的該即時影像，並提供對應該人物辨識結果的複數選項，以於其中一個該選項被觸發時，在該即時影像中以凸顯的方式標示對應的一人臉圖像。
如請求項1所述之影像追蹤系統，更包括一輸入裝置，連接該運算主機，以供輸入一通知訊息，該穿戴式顯示裝置還顯示該通知訊息。
如請求項1所述之影像追蹤系統，其中該運算主機還依據人物辨識結果追蹤對應的一人臉圖像，以記錄該一行走動線。
如請求項1所述之影像追蹤系統，其中該分析資料還包含一滯留時間。
如請求項1所述之影像追蹤系統，其中該運算主機還儲存一黑名單，當人物辨識結果與該黑名單相符時，該穿戴式顯示裝置顯示一提示。