TWI765670B

TWI765670B - 關注姿態估計方法及其系統

Info

Publication number: TWI765670B
Application number: TW110114245A
Authority: TW
Inventors: 吳世光
Original assignee: 國立勤益科技大學
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2022-05-21
Also published as: TW202242711A

Abstract

本發明提供一種關注姿態估計方法及其系統，方法包含：由擷取步驟擷取監測區域內之原始影像；由分析步驟透過第一影像處理技術將原始影像處理產生人臉影像及物影像；由處理步驟透過第二影像處理技術，由人臉影像取得鼻特徵，且於鼻特徵建立方向性標示，並整合產生關注影像；以及由判斷步驟判斷方向性標示是否對準物影像，當方向性標示對準物影像，則產生提醒訊號，並透過服務傳播技術將提醒訊號搭配關注影像傳送至社群通訊平台之訊息介面；藉以透過人臉的鼻子特徵，精準確認人所關注物件情形。

Description

關注姿態估計方法及其系統

本發明係關於一種影像處理相關領域，尤指一種能夠透過影像處理，以人臉的鼻子特徵，確認人所關注物件情形之關注姿態估計方法及其系統。

在實體商店中，若顧客對於某一件商品有興趣時，通常會近距離觀看商品或將商品取出觀看，此時除非顧客要進行購買、顧客主動詢問店員或是店員主動發現顧客需求，否則店員不知顧客對於此項商品有興趣，往往錯失服務顧客的機會，可能會導致顧客在對商品抱持疑問的情況下，而放棄購買之意願。

為了改善前述問題，有相關業者研發透過攝影機拍攝人臉的影像，且用紅外線燈近距離照射人眼，從紅外線燈的反射方向來偵測人的視線方向。

然而，前述偵測方式需要準確蒐集人的臉部特徵，尤其是眼頭、眼角、瞳孔等眼睛周圍的特徵點都需要正確鎖定，並且需要耗費大量的影像處理程序，才能夠精準取得人的視線關注方向。

而且要用運高畫素的攝影機並且搭載紅外線燈之設備，才能夠精準取得高解析度的影像特徵，因此所需之設備成本高。

為解決上述課題，本發明提供一種關注姿態估計方法及其系統，能夠透過影像處理，以人臉的鼻子特徵，精準確認人所關注物件之情形。

本發明之一項實施例提供一種關注姿態估計方法，其包含：一擷取步驟：擷取一監測區域內之一原始影像；一分析步驟：由擷取步驟取得原始影像，透過一第一影像處理技術將原始影像處理產生一人臉影像及一物影像；一處理步驟：由分析步驟取得人臉影像及物影像，透過一第二影像處理技術，由人臉影像取得一鼻特徵，且於鼻特徵建立一方向性標示，並整合產生一關注影像；以及一判斷步驟：經由分析步驟取得物影像及由處理步驟取得關注影像，判斷方向性標示是否對準物影像，當方向性標示對準物影像，則產生一提醒訊號，並透過一服務傳播技術將提醒訊號搭配關注影像傳送至社群通訊平台之訊息介面。

本發明另一項實施例提供一種關注姿態估計系統，其包含：一攝影裝置，其擷取一監測區域內之一原始影像；以及一運算裝置，其與攝影裝置耦接，運算裝置具有相互耦接之一通訊模組、一分析模組及一處理模組，通訊模組接收攝影裝置傳送之原始影像，並將原始影像傳送至分析模組，分析模組透過一第一影像處理技術將原始影像處理產生一人臉影像及一物影像，再透過一第二影像處理技術，由人臉影像取得一鼻特徵，且於鼻特徵建立一方向性標示，並整合產生一關注影像，其中，處理模組取得物影像及關注影像，判斷方向性標示是否對準物影像，當處理模組判斷方向性標示對準該物影像時，則產生一提醒訊號，處理模組將提醒訊號傳送至通訊模組，由通訊模組透過一服務傳播技術將提醒訊號搭配關注影像傳送至社群通訊平台之訊息介面。

藉由上述，本發明透過影像處理，以人臉的鼻子特徵，精準確認人所關注物件之情形；藉此，無須透過高畫素的攝影機與紅外線燈取得精準的眼睛特徵，能夠以一般攝影機偵測出極為精確的視線方向，而偵測的誤差值能夠維持在上下左右5度以內，以大幅降低影像運算處理時間與設備成本。

再者，本發明能夠運用於商場店內偵測顧客的視線動向，從這些顧客的視線動向，來推測出受歡迎的商品與內容，運用在實體店鋪行銷方向與安全監控。

1:社群通訊平台

2:訊息介面

100:關注姿態估計系統

10:攝影裝置

20:運算裝置

21:通訊模組

22:分析模組

23:處理模組

24:儲存模組

S1:擷取步驟

S2:分析步驟

S3:處理步驟

S4:判斷步驟

S5:儲存步驟

S6:統計步驟

A:監測區域

I:原始影像

P:人臉影像

O:物影像

R:框架

N:鼻特徵

M:方向性標示

F:關注影像

S:提醒訊號

圖1係本發明方法流程方塊圖。

圖2係本發明系統架構示意圖。

圖3係本發明架設於商場實施例示意圖。

圖4係本發明判斷方向性標示是否對準物影像實施例示意圖(一)，表示運用於商場。

圖5係本發明架設於提款機實施例示意圖。

圖6係本發明判斷方向性標示是否對準物影像實施例示意圖(二)，表示運用於提款機。

為便於說明本發明於上述發明內容一欄中所表示的中心思想，茲以具體實施例表達。實施例中各種不同物件係按適於說明之比例、尺寸、變形量或位移量而描繪，而非按實際元件的比例予以繪製，合先敘明。

請參閱圖1至圖6所示，本發明提供一種關注姿態估計方法，其利用一種關注姿態估計系統100運行，關注姿態估計系統100具有一攝影裝置10及一運算裝置20，攝影裝置10與運算裝置20耦接，而攝影裝置10與運算裝置20能夠結合在一起或分離設置，於本發明實施例中，攝影裝置10與運算裝置20結合在一起，關注姿態估計系統100架設於一監測區域A，其中，監測區域A能夠係商場、提款機周圍、街道等，於本發明實施例中，監測區域A以商場及提款機作為實施例說明，如圖3及圖5所示，但本發明不以此為限

再者，運算裝置20具有相互耦接之一通訊模組21、一分析模組22、一處理模組23及一儲存模組24。

本發明關注姿態估計方法包含下列步驟：

一擷取步驟S1：透過攝影裝置10擷取監測區域A內之一原始影像I；其中，攝影裝置10會以連續動態擷取監測區域內A之原始影像I，也就是說，原始影像I會被連續擷取產生。

一分析步驟S2：運算裝置20之通訊模組21會連續接收由擷取步驟S1中，攝影裝置10所取得之原始影像I，通訊模組21會將原始影像I傳送至運算裝置20之分析模組22，由分析模組22持續透過一第一影像處理技術，將原始影像I處理產生一人臉影像P及一物影像O。

於本發明實施例中，第一影像處理技術是由原始影像I透過人臉辨識技術以框架方式框設出人的臉部，以及由原始影像I透過物件辨識技術以框架方式框設出物的外型，也就是說，第一影像處理技術能夠在原始影像I中，辨識出人的臉部及物的特徵，並於人的臉部及物的外型產生框架R，如圖4及圖6所示；需特別說明的是，本發明不限制框架R之形狀為矩形狀。

一處理步驟S3：運算裝置20之分析模組22由分析步驟S2取得人臉影像及物影像，分析模組22透過一第二影像處理技術，由人臉影像P取得一鼻特徵N，且於鼻特徵N建立一方向性標示M，並整合產生一關注影像F，於本發明實施例中，關注影像F中會呈現人臉影像P、框架R及方向性標示M，其中，方向性標示M是由鼻特徵N的鼻頭處向外延伸的直線。

一判斷步驟S4：運算裝置20之處理模組23會經由分析步驟S2取得物影像O及由處理步驟S3取得關注影像F，處理模組23會判斷方向性標示M是否對準物影像O，當處理模組23判斷方向性標示M對應物影像O，則會產生一提醒訊號S，處理模組23將提醒訊號S搭配關注影像F傳送至通訊模組21，由通訊模組21透過一服務傳播技術將提醒訊號S搭配關注影像F傳送至社群通訊平台1之訊息介面2，如圖4及圖6所示；反之，當處理模組23判斷方向性標示M無對應物影像O，處理模組23將關注影像F及物影像O傳送至通訊模組21，由通訊模組21透過服務傳播技術將關注影像F及物影像O傳送至社群通訊平台1之訊息介面2；於本發明實施例中，提醒訊號S以文字型態呈現於社群通訊平台1之訊息介面2，如圖4及圖6所示。

於本發明實施例中，處理模組23會判斷方向性標示M是否持續一關注時間對應物影像O，若處理模組23判斷方向性標示M持續關注時間對應物影像O，則會產生提醒訊號S。

舉例說明(一)：請參閱圖3及圖4所示，當監測區域A為商場時，處理模組23判斷由其中一名顧客產生的方向性標示M持續關注時間對應物影像O，則會產生提醒訊號S，而提醒訊號S為「正在注意此商品」；此時，店家人員的終端裝置所載有之社群通訊平台1，會接收到由通訊模組21所傳送的提醒訊號S及關注影像F，而訊息介面2會對應顯示提醒訊號S及關注影像F，而店家人員能夠依據提醒訊號S及關注影像F前往關心顧客。

舉例說明(二)：請參閱圖5及圖6所示，當監測區域A為提款機周圍時，處理模組23會判斷除了提款者所產生的方向性標示M，是否有其他人所產生的方向性標示M同時對應物影像O(提款機)，若有兩個以上的方向性標示M同時對應一樣的物影像O時，則會產生提醒訊號S，而提醒訊號S為「注意後方」；此時，提款者或提款機所處地管理者的終端裝置所載有之社群通訊平台1，會接收到由通訊模組21所傳送的提醒訊號S及關注影像F，而訊息介面2會對應顯示提醒訊號S及關注影像F，而提款者或提款機所處地管理者能夠依據提醒訊號S及關注影像F查看後方，以確保個人資訊安全。

再者，通訊模組21設有一傳輸時間，通訊模組21每間隔傳輸時間透過服務傳播技術傳送資訊至社群通訊平台1之訊息介面2；需特別說明的是，通訊模組21在間隔的傳輸時間內，會將接收到的提醒訊號S及對應之關注影像F進行累積，當到達傳輸時間後，通訊模組21會一併將累積的提醒訊號S及對應之關注影像F傳送至社群通訊平台1之訊息介面2，例如：通訊模組21在間隔傳輸時間內，接收到提醒訊號S及對應關注影像F之數量為1個，則到達傳輸時間後，社群通訊平台1之訊息介面2會接收到1個提醒訊號S及對應之關注影像F；通訊模組21在間隔傳輸時間內，接收到提醒訊號S及對應關注影像F之數量為5個，則到達傳輸時間後，社群通訊平台1之訊息介面2會接收到5 個提醒訊號S及對應之關注影像F，以此類推；於本發明實施例中，社群通訊平台1為LINE；服務傳播技術為LINE Notify；傳輸時間為1分鐘，傳輸時間能夠根據需求調整，本發明不以此為限。

一儲存步驟S5：處理模組23由判斷步驟S4接收提醒訊號S及對應之物影像O，處理模組23將提醒訊號S及對應之物影像O傳送至儲存模組24儲存。

一統計步驟S6：儲存模組24由儲存步驟S5取得被儲存的物影像O，儲存模組24能夠將被儲存的物影像O進行累計，其中，儲存模組24設有一統計時間，儲存模組24會依據統計時間，將被儲存的物影像O進行累計數量的統計，並對應統計時間產生一統計報表，其中，統計時間能夠依據使用者需求做調整，能夠以小時、日、月或年為單位；統計報表能夠以任何形態呈現，可能是呈現於終端裝置、應用程式或社群通訊平台1，本發明不以此為限。

綜合上述，本發明能夠達成下列功效：

1.本發明透過影像處理，以人臉的鼻子特徵，精準確認人所關注物件之情形；藉此，透過一般攝影裝置10偵測出極為精確的視線方向，而偵測的誤差值能夠維持在上下左右5度以內，以大幅降低影像運算處理時間與設備成本。

2.本發明能夠運用於商場店內偵測顧客的視線動向，從這些顧客的視線動向，來推測出受歡迎的商品與內容，運用在實體店鋪行銷方向與安全監控。

3.本發明運用於提款機，能夠有效偵測後方是否有窺視行為，以確保提款者的個資安全性。

以上所舉實施例僅用以說明本發明而已，非用以限制本發明之範圍。舉凡不違本發明精神所從事的種種修改或變化，俱屬本發明意欲保護之範疇。