TWI646438B

TWI646438B - 情緒偵測系統及方法

Info

Publication number: TWI646438B
Application number: TW106113825A
Authority: TW
Inventors: 簡廷因; 賴國華
Original assignee: 元智大學
Priority date: 2017-04-25
Filing date: 2017-04-25
Publication date: 2019-01-01
Also published as: TW201839635A

Abstract

本發明揭露一種情緒偵測系統及方法，以非接觸式生理特徵偵測方式，藉由分析多項生理特徵並進行個人化資料建模，以精確偵測目標人體之情緒。

Description

情緒偵測系統及方法

本發明係關於一種情緒偵測系統及方法，更精確而言，係關於一種採用多項生理特徵進行個人化資料建模之情緒偵測系統及方法。

由於生活步調快速，現代人生活壓力龐大，容易造成情緒失控、情緒不穩的情況，對於個人可能會發生自殘、自殺等情況，對於社會可能造成治安的危機。因此，在某些情境或場所中，有需要對個人情緒進行偵測，以確保安全性。

另外，由於影像辨識與即時運算的技術進步，使得影像分析便得容易且快速，透過影像分析，能夠更快速掌握個人生理訊號變化。再者，由於進入大數據時代，大量的數據可被儲存並進行分析。

對於生理訊號相關技術而言，目前多數需要進行接觸式偵測，例如腦波儀、動眼儀、心率貼片等。而針對上述生理訊號分析，多數採用統一模型作為生理訊號分析基準，而無針對個人化生理訊號模型之建立。由於每個人生理訊號不一，使用統一模型來預測或判斷個人生理狀態並不恰當。舉例而言，各人每分鐘心跳、呼吸次數均不同，因此難以根據統一模型精準判斷個人生理狀態。

針對上述問題，急需一種能夠進行個人化生理訊號模型建立，且能整合多種生理訊號進行情緒判定之系統及方法。

為了解決上述問題，本發明之目的在於提供一種情緒偵測方法，其包含下列步驟：配置影像擷取設備及複數個生理訊號偵測裝置即時取得目標人體之影像及複數個生理訊號；配置處理模組分析影像，以取得目標人體之複數個臉部特徵訊號及複數個身體特徵訊號；配置處理模組將預定時間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號儲存在當下訊號資料庫並與目標人體產生關聯，以建立個人化生理訊號模型；配置生理訊號判定模組依據判定時間點區間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化比對個人化生理訊號模型，以產生對應於複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化之複數個生理狀態變化結果；配置情緒判定模組依據複數個生理狀態變化結果比對情緒規則資料庫所儲存之情緒規則表，並產生情緒比對結果，情緒規則表係預定義有複數個生理狀態變化結果與複數個情緒比對結果之間之對應關係。

較佳者，複數個生理訊號偵測裝置可包含心跳偵測裝置、血壓偵測裝置、呼吸偵測裝置、體溫偵測裝置、熱像儀及消耗熱量偵測裝置。

較佳者，情緒偵測方法進一步可包含下列步驟：利用處理模組根據目標之複數個身體特徵判斷產生呼吸深度數據及呼吸頻率數據。

較佳者，在建立個人化生理訊號模型之步驟中，可進一步包含將預定時間內之複數個臉部特徵、複數個身體特徵及複數個生理訊號與一歷史訊號資料庫儲存之個人歷史生理訊號資料及母體統計生理訊號資料進行整合，以產生個人化生理訊號模型。

較佳者，情緒規則表可至少包含以下對應關係：情緒正常對應於所有數據正常；情緒疲勞對應於打哈欠、呼吸深度增加、眨眼頻率異常及眨眼時間過長；情緒驚恐對應於心跳率增加、呼吸頻率增加及眼睛睜大；情緒緊張對應於心跳率增加、呼吸頻率增加及複數個臉部特徵之位置改變量小於一預定變化量；以及情緒亢奮對應於心跳率增加、呼吸頻率增加及消耗熱量增加。

根據本發明之另一目的，在於提供一種情緒偵測系統，其包含：影像擷取設備，經配置以取得目標之影像；複數個生理訊號偵測裝置，經配置以取得目標之複數個生理訊號；處理模組，係分別電性連接於影像擷取裝置及複數個生理訊號偵測裝置，其經配置以分析影像，以取得目標人體之複數個臉部特徵訊號及複數個身體特徵訊號，且經配置以將預定時間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號儲存在與其電性連接之當下生理訊號資料庫並與目標人體產生關聯，以建立個人化生理訊號模型；生理訊號判定模組，經配置以依據一判定時間點區間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化比對個人化生理訊號模型，以產生對應於複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化之複數個生理狀態變化結果；情緒判定模組，經配置以依據複數個生理狀態變化結果比對情緒規則資料庫所儲存之情緒規則表，並產生情緒比對結果，情緒規則表係預定義有複數個生理狀態變化結果與複數個情緒比對結果之間之對應關係。

較佳者，處理模組可進一步經配置以根據目標之複數個身體特徵判斷產生呼吸深度數據及呼吸頻率數據。

較佳者，處理模組可進一步經配置以將預定時間內之複數個臉部特徵、複數個身體特徵及複數個生理訊號與歷史訊號資料庫儲存之個人歷史生理訊號資料及母體統計生理訊號資料進行整合，以產生個人化生理訊號模型。

較佳者，情緒規則表可至少包含以下對應關係：情緒正常對應於所有數據正常；情緒疲勞對應於打哈欠、呼吸深度增加、眨眼頻率異常及眨眼時間過長；情緒驚恐對應於心跳率增加、呼吸頻率增加及眼睛睜大；情緒緊張對應於心跳率增加、呼吸頻率增加及複數個臉部特徵之位置改變量小於預定變化量；以及情緒亢奮對應於心跳率增加、呼吸頻率增加及熱量消耗量增加。

綜上所述，本發明之情緒偵測系統及方法可實現非接觸式的情緒偵測，較能為一般使用者所接受外，亦採用個人化資料建模分析，並整合多項生理資訊，可較傳統採用統一資料模型的情緒偵測方式更精確的判定目標人體之生理狀態。另外，藉由整合歷史生理訊號資料及母體統計生理訊號資料，可在系統偵測初期彌補資訊量不足之缺陷，並可在系統偵測之中、後期進一步提昇情緒偵測之精準度。

1、2‧‧‧情緒偵測系統

102‧‧‧影像擷取設備

104‧‧‧生理訊號偵測裝置

106‧‧‧處理模組

108‧‧‧當下訊號資料庫

110‧‧‧生理訊號判定模組

112‧‧‧情緒判定模組

114‧‧‧情緒規則資料庫

116‧‧‧生理狀態變化結果

118‧‧‧情緒規則表

120‧‧‧情緒比對結果

122‧‧‧個人歷史生理訊號資料

124‧‧‧母體統計生理訊號資料

PSM‧‧‧個人化生理訊號模型

IMG‧‧‧目標人體影像

EYE‧‧‧眼部區域

NOSE‧‧‧鼻子區域

MOUTH‧‧‧嘴部區域

BROW‧‧‧眉毛區域

CHEST‧‧‧胸部區域

VES‧‧‧頸動脈區域

S401~S405、S501~S506‧‧‧步驟

本發明之上述及其他特徵及優勢將藉由參照附圖詳細說明其例示性實施例而變得更顯而易知，其中：第1圖係為本發明之情緒偵測系統之第一實施例之方塊圖。

第2圖係為所擷取之目標人體影像之示意圖。

第3圖係為本發明之情緒偵測系統之第二實施例之方塊圖。

第4圖係為本發明之情緒偵測方法之第一實施例之流程圖。

第5圖係為本發明之情緒偵測方法之第二實施例之流程圖。

為利鈞審瞭解本發明之特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍。

於此使用，詞彙「與/或」包含一或多個相關條列項目之任何或所有組合。當「至少其一」之敘述前綴於一元件清單前時，係修飾整個清單元件而非修飾清單中之個別元件。

請參考第1圖及第2圖，其係分別為根據本發明之情緒偵測系統之第一實施例繪示之方塊圖及所擷取之目標人體影像之示意圖。如第1圖所示，本發明的情緒偵測系統1，其包含影像擷取設備102、生理訊號偵測裝置104、處理模組106、當下訊號資料庫108、生理訊號判定模組110、情緒判定模組112及情緒規則資料庫114。

影像擷取設備102可為攝影機、相機等影像拍攝裝置，其經配置以取得目標人體之影像。生理訊號偵測裝置104可包含本領域習知之複數個生理訊號偵測設備，例如，光偵測裝置、心跳偵測裝置、血壓偵測裝置、呼吸偵測裝置、體溫偵測裝置、熱像儀及消耗熱量偵測裝置。生理訊號偵測裝置104可經配置以取得目標人體之複數個生理訊號，例如，心律訊號、血壓訊號、呼吸訊號、體溫訊號、紅外線訊號及消耗熱量變化訊號。

處理模組106分別電性連接於影像擷取裝置102及生理訊號偵測裝置104，處理模組106可為中央處理器，經配置以分析所取得之取得目標人體影像，進而取得目標人體之複數個臉部特徵訊號及複數個身體特徵訊號。以非接觸的偵測方式為主，臉部特徵訊號可包含五官特徵、眼部特徵、眼球相對位置、眉毛及嘴部變化型態，身體特徵訊號則可包含肩膀、胸部、四肢等器官之變化型態。具體來說，處理模組106係先根據目標人體影像判定臉部及身體位置，在進而根據臉部位置及身體位置之影像分析出複數個臉部特徵及複數個身體特徵。其中，配置處理模組106來分析目標人體影像而取得目標人體之複數個臉部特徵及複數個身體特徵之方式可由硬體、軟體(例如，由中央處理器執行儲存於情緒偵測系統內建之儲存單元中之程式碼或應用程式)或可實現上述分析之韌體來達成，而並未特別限定實現之手段。

舉例來說，臉部特徵可包含各種面部表情肌之偵測，例如耳前肌(Auricularis anterior muscle)、頰肌(Buccinator muscle)、降眉肌、降口角肌(Depressor anguli oris muscle)、降下唇肌(Depressor labii inferioris muscle)、降鼻中隔肌(Depressor septi nasi muscle)、額肌、提口角肌(Levator anguli oris muscle)、提上唇肌(Levator labii superioris muscle)、頦肌(Mentalis muscle)、鼻肌、眼輪匝肌(Orbicularis oculi muscle)、口輪匝肌、頸闊肌、降眉間肌(Procerus muscle)、笑肌、觀大肌(Zygomaticus major muscle)、觀小肌(Zygomaticus minor muscle)等。身體特徵可包含身體各部位，例如脖子、肩膀、手臂、手腕、大腿、膝蓋、腿、小腿、腳、腳掌、腳趾、胸膛、肚子、腹部等部位。

續言之，處理模組106與當下訊號資料庫108電性連接，經配置以將預定時間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號儲存在當下訊號資料庫108，並將上述臉部特徵訊號、身體特徵訊號及生理訊號與目標人體產生關聯，以建立個人化生理訊號模型PSM。舉例而言，當情緒偵測系統1首次偵測新目標人體之情緒時，由於尚未建立判定情緒之參考基準，因此需要針對目標人體進行一段時間的建模，以便後續判定目標人體之情緒。其中，當下訊號資料庫108可儲存於情緒偵測系統1內建之儲存單元，例如記憶體、揮發性記憶體、動態隨機存取記憶體、靜態隨機存取存儲器、非揮發性記憶體、可規化式唯讀記憶體、可擦除可規劃式唯讀記憶體、電子抹除式可複寫唯讀記憶體、快閃記憶體、磁碟、硬碟、軟碟或磁帶等，並且，下文中所提及之資料庫均可儲存在上述硬體中，且不限於上述硬體，可儲存於任何可實現資料儲存之設備中。

詳細來說，個人化生理訊號模型PSM可藉由以下步驟建立：偵測目標人體於複數個情境下的多種臉部特徵訊號、身體特徵訊號及生理訊號，並將該些臉部特徵訊號、身體特徵訊號及生理訊號分別轉換為對應的波形曲線並予記錄，並且，重覆上述步驟多次，並透過統計程式將相同類型的臉部特徵訊號、身體特徵訊號及生理訊號之波形曲線整合成標準情緒曲線，並接著將所求得的不同類型臉部特徵訊號、身體特徵訊號及生理訊號所對應的標準情緒曲線整合為標準情緒模型。此處僅為舉例，個人化生理訊號模型PSM之建模不限於此等步驟。

再者，生理訊號判定模組110係電性連接於處理模組106、當下訊號資料庫108及情緒判定模組112。具體來說，本發明之處理模組106、生理訊號判定模組110及情緒判定模組112均可以多個處理器或由單一處理器來執行程式碼以實現相關技術特徵。例如，中央處理器、微處理器、微控制器等。生理訊號判定模組110經配置以依據一判定時間點區間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化比對個人化生理訊號模型PSM，以產生對應於複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化之複數個生理狀態變化結果116。

舉例來說，生理狀態變化結果116可包含人類的各種面部表情，至少有21種，除了常見的高興、吃驚、悲傷、憤怒、厭惡和恐懼等，還有驚喜(高興+吃驚)、悲憤(悲傷+憤怒)等15種可被區分的複合表情。另外，根據所設定的變化範圍，還可進一步區分判斷表情無變化以及表情緊繃之差異。另外，亦可根據身體特徵訊號變化獲得各種身體狀態。

特定而言，處理模組106進一步經配置以根據該目標之複數個身體特徵判斷產生呼吸深度數據及呼吸頻率數據。具體來說，此技術主要係採用非接觸式的呼吸量測方式，可分為兩階段來進行，包含人形偵測與呼吸率量測。在人形偵測階段中，處理模組106可藉由分析目標人體影像之深度資訊來達到快速偵測人體正面、側面或背面之人形，且可特別針對胸部之起伏進行偵測。在呼吸率量測方面，可利用光流法取出身體垂直移動量，並以局部平均濾波得到呼吸深度數據及呼吸頻率數據。光流(Optical flow or optic flow)是關於視域中的物體運動檢測中的概念，其用以描述相對於觀察者的運動所造成的觀測目標、表面或邊緣的運動。其中，光流法實際是通過檢測圖像像素點的強度隨時間的變化進而推斷出物體移動速度及方向的方法。光流法在樣型識別、電腦視覺以及其他影像處理領域中已被廣泛使用，可用於運動檢測、物件切割、碰撞時間與物體膨脹的計算、運動補償編碼，或者通過物體表面與邊緣進行立體的測量等。

情緒判定模組112可電性連接於經配置以依據複數個生理狀態變化結果116比對情緒規則資料庫114所儲存之情緒規則表118，並產生情緒比對結果120，情緒規則表118係預定義有複數個生理狀態變化結果與複數個情緒比對結果之間之對應關係。

舉例來說，情緒規則表可至少包含以下對應關係：情緒正常對應於所有數據正常；情緒疲勞對應於打哈欠、呼吸深度增加、眨眼頻率異常及眨眼時間過長；情緒驚恐對應於心跳率增加、呼吸頻率增加及眼睛睜大；情緒緊張對應於心跳率增加、呼吸頻率增加及複數個臉部特徵之位置改變量小於預定變化量；以及情緒亢奮對應於心跳率增加、呼吸頻率增加及消耗熱量增加。所謂所有數據正常係為相對於先前所建立之個人化生理訊號模型PSM而言，複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化未超出所設定之正常設定誤差值。例如，呼吸頻率、心跳率、呼吸深度、五官之形變量均在正常狀態下之5%以內，可視為數據正常。至於複數個臉部特徵之位置改變量小於預定變化量，可視為表情緊繃。

舉例說明情緒偵測系統1之運作方式。請參考第2圖，處理模組106經配置以分析目標人體影像IMG，以取得目標人體之臉部位置FACE及身體位置BODY，並進一步偵測駕駛人眼部區域EYE、鼻子區域NOSE、嘴部區域MOUTH、眉毛區域BROW、胸部區域CHEST及頸動脈區域VES。其中，處理模組106經配置以將預定時間內之臉部位置FACE及身體位置BODY，並進一步偵測駕駛人眼部區域EYE、鼻子區域NOSE、嘴部區域MOUTH、眉毛區域BROW、胸部區域CHEST及頸動脈區域VES之面積大小、形狀或垂直變化量，產生對應於該等資訊之複數個訊號，並儲存在當下訊號資料庫108，並將上述訊號與目標人體產生關聯，以建立個人化生理訊號模型PSM。

接著，藉由配置處理模組106以取得目標人體之複數個臉部特徵訊號及複數個身體特徵訊號。生理訊號判定模組110經配置以依據判定時間點區間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化比對個人化生理訊號模型PSM，例如，依據眼部區域EYE、鼻子區域NOSE、嘴部區域MOUTH、眉毛區域BROW、胸部區域CHEST及頸動脈區域VES以產生對應於上述臉部特徵訊號、身體特徵訊號之變化之複數個生理狀態變化結果116。

情緒判定模組112依據上述複數個生理狀態變化結果116比對情緒規則資料庫114所儲存之情緒規則表118，並產生情緒比對結果120。舉例來說，當偵測到某人心跳突然加速、呼吸突然加速、眼睛睜大等資訊代表某人可能突然受到驚嚇，而當偵測到某人有打哈欠、深呼吸、眨眼頻率異常等情況，代表某人有很大的機率為疲勞狀態。

特定而言，例如在駕駛狀態下使用情緒偵測系統1時，處理模組104經配置偵測目標人體眼部區域EYE之步驟中，可透過即時目標人體駕駛行為影像，可進而分析駕駛人是否為疲勞駕駛與專注力不足。例如，生理訊號判定模組110經配置偵測眼部區域EYE之眼球位置、眨眼時間及眨眼頻率，若無法偵測眼球位置，代表駕駛人可能睡著；若眨眼時間或眨眼頻率異常，則可判定駕駛人注意力不集中。而眨眼時間及眨眼頻率異常代表駕駛人每次眨眼時間過長(駕駛人闔眼)、眨眼頻率過多，則可判定駕駛人疲勞駕駛。

藉由此系統，除可實現非接觸式的情緒偵測，較能為一般使用者所接受外，本系統亦採用個人化資料建模分析，並整合多項生理資訊，可較傳統採用統一資料模型的情緒偵測方式更精確的判定目標人體之生理狀態。

然而，在系統偵測初期，由於所蒐集的臉部特徵訊號、身體特徵訊號及多項生理訊號之資訊量可能不足，可選的，可採用個人歷史統計資料以及母體統計資料來暫時替代不足以建立個人化生理訊號模型的部份特徵訊號資料。

請參考第3圖，其係為根據本發明之情緒偵測系統之第二實施例繪示之方塊圖。

如圖所示，情緒偵測系統2包含前述實施例中的所有模組、裝置、設備及資料庫，並且，相同的元件採用相同的元件符號，並且省略相同元件的重複說明。於情緒偵測系統1不同之處在於，當下訊號資料庫108進一步包含個人歷史生理訊號資料122及母體統計生理訊號資料124。其中，個人歷史生理訊號資料122可包含目標人體過去所有的臉部特徵訊號、身體特徵訊號及生理訊號之歷史資料，並可以對應不同的時間點的個人化生理訊號模型之形式儲存。另外，母體統計生理訊號資料124可包含針對所有人所統計的臉部特徵訊號、身體特徵訊號及生理訊號之歷史資料，並可選的針對地區、時區、經緯度、時間點、人種或膚色進行分類，以在系統取用時可針對目標人體的資訊進行最高相似度的採樣。

具體而言，處理模組106可進一步經配置以將預定時間內之複數個臉部特徵、複數個身體特徵及複數個生理訊號與歷史訊號資料庫儲存之個人歷史生理訊號資料及母體統計生理訊號資料進行整合，以產生個人化生理訊號模型PSM。此處，所謂的整合包含採用平均統計法如算術平均、幾何平均、調和平均、平方平均、移動平均，或取代、替換數據等方式將歷史生理訊號資料及母體統計生理訊號資料引入個人化生理訊號建模步驟中，且不限於此。

因此，藉由整合歷史生理訊號資料及母體統計生理訊號資料，可在系統偵測初期彌補資訊量不足之缺陷，並可在系統偵測之中、後期進一步提昇情緒偵測之精準度。

應用層面而言，此情緒偵測系統可以智慧型行動裝置之應用程式的形式來實現，並以其之處理器執行該等應用程式。較佳的，影像擷取設備102可採用智慧型手機之攝像頭，生理訊號偵測裝置104可採用與智慧型行動裝置連動之智慧型穿戴裝置，以最大幅度降低接觸式檢測儀器所帶來的不便，提昇此系統實行的靈活性。舉例而言，以此方式實現，可在行車時降低車禍發生的風險，藉由分析駕駛人情緒，可直接判定駕駛人是否為疲勞駕駛或酒駕，當駕駛人狀態不佳時會發出即時警報，降低車禍的風險。

另外，此情緒偵測系統亦可用於減少治安死角。舉例來說，可搭配監視錄影機網路，找尋情緒不佳之民眾，提前主動關心，降低治安風險。另外，亦可應用於機場、海關檢查，藉由快速找尋情緒異常之民眾，以降低攜帶非法物品通關或潛在暴力危害之可能性。

以下將藉由參考圖式，說明本發明之情緒偵測方法。請參考第4圖，其係為本發明之情緒偵測方法之第一實施例之流程圖。並且，本發明之情緒偵測方法係適用於前述情緒偵測系統，因此，關於上文中提及的各模組及元件之詳細操作細節可因此省略。

如圖所示，情緒偵測方法之第一實施例可包含下列步驟：步驟S401：配置影像擷取設備及複數個生理訊號偵測裝置即時取得目標人體之影像及複數個生理訊號。

步驟S402：配置處理模組分析影像，以取得目標人體之複數個臉部特徵訊號及複數個身體特徵訊號；步驟S403：配置處理模組將預定時間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號儲存在當下訊號資料庫並與目標人體產生關聯，以建立個人化生理訊號模型。

步驟S404：配置生理訊號判定模組依據判定時間點區間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化比對個人化生理訊號模型，以產生對應於複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號之變化之複數個生理狀態變化結果。

步驟S405：配置情緒判定模組依據複數個生理狀態變化結果比對情緒規則資料庫所儲存之情緒規則表，並產生情緒比對結果，情緒規則表係預定義有複數個生理狀態變化結果與複數個情緒比對結果之間之對應關係。例如，情緒規則表可至少包含以下對應關係：情緒正常對應於所有數據正常；情緒疲勞對應於打哈欠、呼吸深度增加、眨眼頻率異常及眨眼時間過長；情緒驚恐對應於心跳率增加、呼吸頻率增加及眼睛睜大；情緒緊張對應於心跳率增加、呼吸頻率增加及複數個臉部特徵之位置改變量小於預定變化量；以及情緒亢奮對應於心跳率增加、呼吸頻率增加及熱量消耗量增加。

請參考第5圖，其係為本發明之情緒偵測方法之第二實施例之流程圖。並且，本發明之情緒偵測方法亦適用於前述情緒偵測系統，因此，關於上文中提及的各模組及元件之詳細操作細節可因此省略。

如圖所示，情緒偵測方法之第二實施例可包含下列步驟：步驟S501：配置影像擷取設備及複數個生理訊號偵測裝置即時取得目標人體之影像及複數個生理訊號。

步驟S502：配置處理模組分析影像，以取得目標人體之複數個臉部特徵訊號及複數個身體特徵訊號；步驟S503：配置處理模組將預定時間內之複數個臉部特徵訊號、複數個身體特徵訊號及複數個生理訊號儲存在當下訊號資料庫並與目標人體產生關聯。

步驟S504：將預定時間內之複數個臉部特徵、複數個身體特徵及複數個生理訊號與歷史訊號資料庫儲存之個人歷史生理訊號資料及母體統計生理訊號資料進行整合，以產生個人化生理訊號模型。

步驟S505：配置生理訊號判定模組依據判定時間點區間內之複數個臉部特徵訊號、複數個身體特徵訊號、呼吸深度數據、呼吸頻率數據及複數個生理訊號之變化比對個人化生理訊號模型，以產生對應於複數個臉部特徵訊號、複數個身體特徵訊號、呼吸深度數據、呼吸頻率數據及複數個生理訊號之變化之複數個生理狀態變化結果。

步驟S506：配置情緒判定模組依據複數個生理狀態變化結果比對情緒規則資料庫所儲存之情緒規則表，並產生情緒比對結果，情緒規則表係預定義有複數個生理狀態變化結果與複數個情緒比對結果之間之對應關係。例如，情緒規則表可至少包含以下對應關係：情緒正常對應於所有數據正常；情緒疲勞對應於打哈欠、呼吸深度增加、眨眼頻率異常及眨眼時間過長；情緒驚恐對應於心跳率增加、呼吸頻率增加及眼睛睜大；情緒緊張對應於心跳率增加、呼吸頻率增加及複數個臉部特徵之位置改變量小於預定變化量；以及情緒亢奮對應於心跳率增加、呼吸頻率增加及熱量消耗量增加。

藉由整合歷史生理訊號資料及母體統計生理訊號資料，可在系統偵測初期彌補資訊量不足之缺陷，並可在系統偵測之中、後期進一步提昇情緒偵測之精準度。

此情緒偵測方法可以智慧型行動裝置之應用程式的形式來實現，並以其之處理器執行該等應用程式，並降低接觸式檢測儀器所帶來的不便，提昇此系統實行的靈活性。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

Claims

一種情緒偵測方法，其包含下列步驟：配置一影像擷取設備及複數個生理訊號偵測裝置實時取得一目標人體之影像及複數個生理訊號；配置一處理模組分析該影像，以取得該目標人體之複數個臉部特徵訊號及複數個身體特徵訊號；配置該處理模組將一預定時間內之該複數個臉部特徵訊號、該複數個身體特徵訊號及該複數個生理訊號儲存在一當下訊號資料庫並與該目標人體產生關聯，以建立一個人化生理訊號模型；配置一生理訊號判定模組依據一判定時間點區間內之該複數個臉部特徵訊號、該複數個身體特徵訊號及該複數個生理訊號之變化比對該個人化生理訊號模型，以產生對應於該複數個臉部特徵訊號、該複數個身體特徵訊號及該複數個生理訊號之變化之複數個生理狀態變化結果；以及配置一情緒判定模組依據該複數個生理狀態變化結果比對一情緒規則資料庫所儲存之一情緒規則表，並產生一情緒比對結果，該情緒規則表係預定義有複數個生理狀態變化結果與複數個情緒比對結果之間之對應關係；其中，該複數個生理訊號係由該處理模組根據該複數個身體特徵訊號所代表之身體部位變化型態所判斷而得到。
如申請專利範圍第1項所述之情緒偵測方法，其中該複數個生理訊號偵測裝置包含心跳偵測裝置、血壓偵測裝置、呼吸偵測裝置、體溫偵測裝置、熱像儀及消耗熱量偵測裝置。
如申請專利範圍第1項所述之情緒偵測方法，其中在建立該個人化生理訊號模型之步驟中，進一步包含將該預定時間內之該複數個臉部特徵、該複數個身體特徵及該複數個生理訊號與一歷史訊號資料庫儲存之一個人歷史生理訊號資料及一母體統計生理訊號資料進行整合，以產生該個人化生理訊號模型。
如申請專利範圍第1項所述之情緒偵測方法，其中該情緒規則表係至少包含以下對應關係：情緒正常對應於所有數據正常；情緒疲勞對應於打哈欠、呼吸深度增加、眨眼頻率異常及眨眼時間過長；情緒驚恐對應於心跳率增加、呼吸頻率增加及眼睛睜大；情緒緊張對應於心跳率增加、呼吸頻率增加及該複數個臉部特徵之位置改變量小於一預定變化量；以及情緒亢奮對應於心跳率增加、呼吸頻率增加及消耗熱量增加。
一種情緒偵測系統，其包含：一影像擷取設備，經配置以取得一目標之影像；複數個生理訊號偵測裝置，經配置以取得該目標之複數個生理訊號；一處理模組，係分別電性連接於該影像擷取裝置及該複數個生理訊號偵測裝置，其經配置以分析該影像，以取得該目標人體之複數個臉部特徵訊號及複數個身體特徵訊號，且經配置以將一預定時間內之該複數個臉部特徵訊號、該複數個身體特徵訊號及該複數個生理訊號儲存在與其電性連接之一當下訊號資料庫並與該目標人體產生關聯，以建立一個人化生理訊號模型；一生理訊號判定模組，經配置以依據一判定時間點區間內之該複數個臉部特徵訊號、該複數個身體特徵訊號及該複數個生理訊號之變化比對該個人化生理訊號模型，以產生對應於該複數個臉部特徵訊號、該複數個身體特徵訊號及該複數個生理訊號之變化之複數個生理狀態變化結果；一情緒判定模組，經配置以依據該複數個生理狀態變化結果比對一情緒規則資料庫所儲存之一情緒規則表，並產生一情緒比對結果，該情緒規則表係預定義有複數個生理狀態變化結果與複數個情緒比對結果之間之對應關係；其中，該複數個生理訊號係由該處理模組根據該複數個身體特徵訊號所代表之身體部位變化型態所判斷而得到。
如申請專利範圍第5項所述之情緒偵測系統，其中該複數個生理訊號偵測裝置包含心跳偵測裝置、血壓偵測裝置、呼吸偵測裝置、體溫偵測裝置、熱像儀及消耗熱量偵測裝置。
如申請專利範圍第5項所述之情緒偵測系統，其中該處理模組進一步經配置以根據該目標之複數個身體特徵判斷產生一呼吸深度數據及一呼吸頻率數據。
如申請專利範圍第5項所述之情緒偵測系統，其中該處理模組進一步經配置以將該預定時間內之該複數個臉部特徵、該複數個身體特徵及該複數個生理訊號與一歷史訊號資料庫儲存之一個人歷史生理訊號資料及一母體統計生理訊號資料進行整合，以產生該個人化生理訊號模型。
如申請專利範圍第5項所述之情緒偵測系統，其中該情緒規則表係至少包含以下對應關係：情緒正常對應於所有數據正常；情緒疲勞對應於打哈欠、呼吸深度增加、眨眼頻率異常及眨眼時間過長；情緒驚恐對應於心跳率增加、呼吸頻率增加及眼睛睜大；情緒緊張對應於心跳率增加、呼吸頻率增加及該複數個臉部特徵之位置改變量小於一預定變化量；以及情緒亢奮對應於心跳率增加、呼吸頻率增加及熱量消耗量增加。