TWI501093B - The establishment of the emotional model and the emotional detection method of the emotional model - Google Patents

The establishment of the emotional model and the emotional detection method of the emotional model Download PDF

Info

Publication number
TWI501093B
TWI501093B TW102107320A TW102107320A TWI501093B TW I501093 B TWI501093 B TW I501093B TW 102107320 A TW102107320 A TW 102107320A TW 102107320 A TW102107320 A TW 102107320A TW I501093 B TWI501093 B TW I501093B
Authority
TW
Taiwan
Prior art keywords
emotion
signal
standard
model
emotional
Prior art date
Application number
TW102107320A
Other languages
English (en)
Other versions
TW201435622A (zh
Inventor
Chuan Yu Chang
yu meng Lin
Original Assignee
Univ Nat Yunlin Sci & Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Yunlin Sci & Tech filed Critical Univ Nat Yunlin Sci & Tech
Priority to TW102107320A priority Critical patent/TWI501093B/zh
Publication of TW201435622A publication Critical patent/TW201435622A/zh
Application granted granted Critical
Publication of TWI501093B publication Critical patent/TWI501093B/zh

Links

Description

情緒模型之建立方法及以該情緒模型進行的情緒偵測方法
本發明係與情緒偵測有關，更詳而言之是指一種透過比對情緒模型而進行的情緒偵測方法。
情緒偵測的研究於近年來逐漸受到重視，在未來的應用上深具發展潛力。舉例來說，若消費性電子產品能感知使用者的情緒，便能提供更具互動性、更貼切的使用體驗，如隨使用者情緒更新佈景主題，或播放符合心境的音樂等等。除了娛樂用途，情緒偵測真正重要的應用其實還是在醫療方面，因為人類擁有種種細膩的情緒變化，而情緒並不只是一種心理現象，同時也是複雜的生理過程，身體會對不同的情緒作出各種不一樣的反應，如我們緊張時手心會冒汗、害羞時會臉紅、憂慮時眉頭不由得緊鎖，可見情緒與生理狀態的關係密不可分，情緒會自然而然地影響生理反應，而且在一些極端的情況下，情緒甚至和腦血管疾病或心臟病等重大疾病有關。
目前常見的情緒偵測技術是擷取臉部五官變化的特徵加以分析，例如根據眉毛、眼睛及嘴巴的位置建立表情模型，再依此模型判斷情緒。不過臉部表情並無法真實表現內心情緒，尤其是在刻意掩飾情緒的時候，更是無法當成情緒偵測技術的依據。另外亦有收集生理訊號資料，經過特徵選取(Feature Selection)以進行情緒偵測的方法，雖然生理訊號的確可忠實反應出內心的情緒起伏，但是特徵的取捨缺乏明確的標準，計算 上也相當繁雜。
有鑑於此，本發明之主要目的在於提供一種簡單而可靠的情緒模型之建立方法，並同時提供以該情緒模型進行的情緒偵測方法。
緣以達成上述目的，本發明所提供的情緒模型建立方法，包含步驟：a、偵測一參與者於一情境下的多種生理反應訊號，並將該些生理反應訊號分別轉換為對應的波形曲線並予記錄；b、重覆步驟a多次，並透過一分類器(Classifier)將相同類型的生理反應訊號之波形曲線整合成一標準情緒曲線；c、將步驟b中求得的不同類型生理反應訊號所對應的標準情緒曲線整合為一標準情緒模型。
本發明所提供之情緒偵測方法，包含步驟有：a、偵測一受測者的多種生理反應訊號，並將該些生理反應訊號分別轉換為對應的波形曲線並予記錄；b、將對應該受測者的生理反應訊號之多種波形曲線與該標準情緒模型中之各個對應的標準情緒曲線進行比對，若該些波形曲線與各該對應的標準情緒曲線之相似度高於一預定閥值，則判斷該受測者受測時的情緒反應與該標準情緒模型中所建立之情緒雷同，反之則否。
藉此，本發明之情緒偵測方法無需經過特徵選取的動作，其步驟簡便，同時具高精確度。
圖1為本發明情緒模型之建立方法之流程圖；圖2為低通濾波器的使用效果示範圖； 圖3為高通濾波器的使用效果示範圖；圖4為支援向量迴歸的整合效果示範圖；圖5為「快樂」情緒的標準情緒模型；圖6為利用圖1所建立的情緒模型進行情緒偵測之方法流程圖。
為能更清楚地說明本發明，茲舉較佳實施例並配合圖示詳細說明如後。
本發明情緒模型之建立方法的較佳實施例，係透過收集多位參與者於一激發情緒的特定情境底下之心電圖訊號、皮膚電位反應訊號、血流量訊號及脈搏訊號等生理反應訊號，再以上述該些生理反應訊號為依據，建立一標準情緒模型。惟生理反應訊號的類別並不以此為限，此處所述只為示範之目的，且該些生理反應訊號的收集方式為醫學上的習知技術，於此不再贅述。
請參閱圖1，本發明情緒模型之建立方法具有以下步驟：
a、偵測一參與者於一情境下的前述該些生理反應訊號，並將該些生理反應訊號分別轉換為對應的波形曲線並予記錄。
在該些生理反應訊號的記錄過程中難免會發生雜訊，造成後續處理的困擾，而雜訊在頻率上屬於劇烈變化的高頻波段，故只要將訊號中的高頻部分移除，便可簡易濾去雜訊。本較佳實施例透過使用低通濾波器(Low Pass Filter)以濾除雜訊，圖2提供一濾除雜訊之效果示範，圖2(a)為一受到雜訊干擾的皮膚電位反應訊號波形曲線，經低通濾波器作用後的結果如圖2(b)所示，明顯可見雜訊已被去除。
由於有些生理反應訊號容易受到該參與者四肢移動的干擾，使收集到的波形曲線出現基線漂移的現象，亦不利於後續處理。所謂基線漂移，即是波形曲線的基準線緩慢地上下移動，在頻率上屬於低頻的波段，故只要濾去訊號中的低頻部分，就可修正基線漂移造成的影響。本較佳實施例透過使用一高通濾波器(High Pass Filter)以修正基線漂移，圖3提供一修正基線漂移之效果示範，圖3(a)為一發生基線漂移的血流量訊號波形曲線，經高通濾波器作用後的結果如圖3(b)所示，其受到基線漂移的影響已被修正。
雖經低通濾波器與高通濾波器處理後，該些生理反應訊號之波形曲線已較為清晰，但有些種類的生理反應訊號先天上就具有過多資訊，並不適於直接用來建立情緒模型，本較佳實施例遂針對心電圖訊號、血流量訊號及脈搏訊號之波形曲線進行希爾伯特轉換(Hilbert Transformation)，轉換後的結果為一種線性非時變系統(Linear Time Invariant System)，可突顯瞬時頻率能量的變化。由於皮膚電位反應訊號並無此類困擾，故不需經由希爾伯特轉換處理。
當執行過上述濾除雜訊、修正基線漂移和希爾伯特轉換等動作後，該些生理反應訊號的波形曲線已非連續訊號，因此需要降低取樣率，以移除多餘重覆的資料。本較佳實施例中，心電圖訊號、血流量訊號及脈搏訊號之取樣率皆降低至每秒4次；至於皮膚電位反應訊號，由於其波形具有稍微緩慢的連續變化，故取樣率較高一些，設定為每秒32次。
另因為本發明情緒模型之建立方法需要重覆步驟a(詳見步驟b)，且每該參與者的體質皆不同，所記錄到的該些生理反應訊號之強度 自然亦不相同，故該些波形曲線需要經過正規化(Normalization)處理。本較佳實施例將該些波形曲線上每個時間點的數值依等比例的方式調整，使訊號的強度分布範圍皆落入0和1之間；此處正規化處理的公式為：
其中x(t) 為一該波形曲線上於時間點t 之訊號強度值，min為該波形曲線整體訊號強度的最小值，max為該波形曲線整體訊號強度的最大值，x’(t) 為經過正規化後之結果。
b、重覆步驟a多次，並透過支援向量迴歸(Support Vector Regression)將屬於相同類型的生理反應訊號之波形曲線整合成一標準情緒曲線。
經重覆步驟a多次後，收集到來自多位參與者於同一情境下的多種生理反應訊號之波形曲線，圖4(a)所示為以皮膚電位反應訊號為例的多個波形曲線，圖中每一條波形曲線皆來自每次執行步驟a的結果；圖4(b)為圖4(a)經支援向量迴歸整合後得到的該標準情緒曲線。需特別說明的是，其他實施例亦可使用支援向量迴歸之外的分類器(Classifier)，並不以此處所述為限。
c、將步驟b中求得的不同類型生理反應訊號所對應的標準情緒曲線整合為一標準情緒模型。
如上所述，本較佳實施例共整合出心電圖訊號、皮膚電位反應訊號、血流量訊號及脈搏訊號等四種生理反應訊號之標準情緒曲線， 本發明所欲建立之標準情緒模型便是同時整合該些標準情緒曲線而成。圖5為「快樂」情緒下所建立的標準情緒模型之範例，其中圖5(a)為由心電圖訊號經前述步驟a及b而得的標準情緒曲線，圖5(b)所示之標準情緒曲線則來自皮膚電位反應訊號，至於圖5(c)及(d)則分別依據血流量訊號及脈搏訊號而得。
本發明同時提供一種利用前述方法所建立的一標準情緒模型而進行的情緒偵測方法，請參閱圖6，步驟如下：
a、偵測一受測者的多種生理反應訊號，並將該些生理反應訊號分別轉換為對應的波形曲線並予記錄。
為搭配該標準情緒模型使用，本較佳實施例同樣偵測該受測者的心電圖訊號、皮膚電位反應訊號、血流量訊號及脈搏訊號，且該些生理反應訊號所得的該些波形曲線亦需使用低通濾波器以濾除雜訊、使用高通濾波器以修正基線漂移的影響，針對心電圖訊號、血流量訊號及脈搏訊號進行希爾伯特轉換，再經降低取樣率及正規化處理。相關作法如前所述，於此不再詳細說明。
b、將對應該受測者的生理反應訊號之多種波形曲線與該標準情緒模型中之各個對應的標準情緒曲線進行比對，若該些波形曲線與所對應的標準情緒曲線之相似度高於一預定閥值，則判斷該受測者受測時的情緒反應與該標準情緒模型中所建立之情緒雷同，反之則否。
本較佳實施例使用習知的最小平方差(Least Square Error)方法計算任一該波形曲線與屬於同一類型之生理反應訊號的該標準情緒曲 線的相似度，若各該波形曲線與相對應的該標準情緒曲線呈現高相似度(亦即相似度越過該預定閥值)，便可判斷該受測者於受偵測當下的情緒，應與該標準情緒模型建立時之情緒雷同。
實務上更可同時準備於不同情緒下建立的多個標準情緒模型，如此能更細膩地判別該受測者於受測當下的情緒與哪一種情緒最為接近；當然若該受測者之各該波形曲線與該些標準情緒模型之該些標準情緒曲線的相似度皆未能越過該預定閥值，則表示該受測者當下的情緒與該些標準情緒模型所依據的該些情緒種類皆有所差異，故不在該些標準情緒模型的涵蓋範圍之內。
藉此，本發明所提供之情緒模型的建立方法及以該情緒模型進行的情緒偵測方法無需經過特徵選取，步驟簡便，且情緒偵測之結果亦相當可靠。
以上所述僅為本發明較佳可行實施例而已，舉凡應用本發明說明書及申請專利範圍所為之等效方法變化，理應包含在本發明之專利範圍內。

Claims (14)

  1. 一種情緒模型建立方法，包含步驟：a、偵測一參與者於一情境下的多種生理反應訊號，並將該些生理反應訊號分別轉換為對應的波形曲線並予記錄；b、重覆步驟a多次，並透過一分類器(Classifier)將相同類型的生理反應訊號之波形曲線整合成一標準情緒曲線；c、將步驟b中求得的不同類型生理反應訊號所對應的標準情緒曲線整合為一標準情緒模型。
  2. 如請求項1所述之情緒模型建立方法，其中該多種生理反應訊號至少包括有心電圖訊號、皮膚電位反應訊號、血流量訊號及脈搏訊號。
  3. 如請求項2所述之情緒模型建立方法，其中步驟a中包括將屬於心電圖訊號、血流量訊號及脈搏訊號之該些波形曲線經希爾伯特轉換(Hilbert Transformation)處理。
  4. 如請求項1所述之情緒模型建立方法，其中步驟a中包括使用低通濾波器(Low Pass Filter)以去除各該波形曲線的背景雜訊。
  5. 如請求項1所述之情緒模型建立方法，其中步驟a中包括使用高通濾波器(High Pass Filter)修正各該波形曲線的基線漂移造成之影響。
  6. 如請求項1所述之情緒模型建立方法，其中步驟a中包括對各該波形曲線進行降低取樣率及正規化(Normalization)處理。
  7. 如請求項1所述之情緒模型建立方法，其中步驟b所使用之該分類器為支援向量迴歸(Support Vector Regression)。
  8. 一種利用請求項1所述之標準情緒模型而進行的情緒偵測方法，包含步驟有：a、偵測一受測者的多種生理反應訊號，並將該些生理反應訊號分別轉換為對應的波形曲線並予記錄；b、將對應該受測者的生理反應訊號之多種波形曲線與該標準情緒模型中之各個對應的標準情緒曲線進行比對，若該些波形曲線與所對應的標準情緒曲線之相似度高於一預定閥值，則判斷該受測者受測時的情緒反應與該標準情緒模型中所建立之情緒雷同，反之則否。
  9. 如請求項8所述之情緒偵測方法，其中該多種生理反應訊號至少包括有心電圖訊號、皮膚電位反應訊號、血流量訊號及脈搏訊號。
  10. 如請求項9所述之情緒偵測方法，其中步驟a中包括將屬於心電圖訊號、血流量訊號及脈搏訊號之該些波形曲線經希爾伯特轉換(Hilbert Transformation)處理。
  11. 如請求項8所述之情緒偵測方法，其中步驟a中包括使用低通濾波器(Low Pass Filter)以去除各該波形曲線的背景雜訊。
  12. 如請求項8所述之情緒偵測方法，其中步驟a中包括使用高通濾波器(High Pass Filter)修正各該波形曲線的基線漂移造成之影響。
  13. 如請求項8所述之情緒偵測方法，其中步驟a中包括對各該波形曲線進行降低取樣率及正規化(Normalization)處理。
  14. 如請求項8所述之情緒偵測方法，其中步驟b所述之進行比對之方法，係計算相對應的各該波形曲線所對應的標準情緒曲線之最小平方差(Least Square Error)。
TW102107320A 2013-03-01 2013-03-01 The establishment of the emotional model and the emotional detection method of the emotional model TWI501093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW102107320A TWI501093B (zh) 2013-03-01 2013-03-01 The establishment of the emotional model and the emotional detection method of the emotional model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102107320A TWI501093B (zh) 2013-03-01 2013-03-01 The establishment of the emotional model and the emotional detection method of the emotional model

Publications (2)

Publication Number Publication Date
TW201435622A TW201435622A (zh) 2014-09-16
TWI501093B true TWI501093B (zh) 2015-09-21

Family

ID=51943364

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102107320A TWI501093B (zh) 2013-03-01 2013-03-01 The establishment of the emotional model and the emotional detection method of the emotional model

Country Status (1)

Country Link
TW (1) TWI501093B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742531B (zh) * 2016-02-17 2021-10-11 原相科技股份有限公司 互動式服務平台及其運作方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201121499A (en) * 2009-12-29 2011-07-01 Xian-Cai Wu System and method for monitoring erectile function
TW201205489A (en) * 2010-07-28 2012-02-01 Univ Nat Chiao Tung Decision support system capable of sensing physiological status
TW201224825A (en) * 2010-12-02 2012-06-16 Inst Information Industry Physiological signal detection system capable of showing emotions, device and emotional display method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201121499A (en) * 2009-12-29 2011-07-01 Xian-Cai Wu System and method for monitoring erectile function
TW201205489A (en) * 2010-07-28 2012-02-01 Univ Nat Chiao Tung Decision support system capable of sensing physiological status
TW201224825A (en) * 2010-12-02 2012-06-16 Inst Information Industry Physiological signal detection system capable of showing emotions, device and emotional display method

Also Published As

Publication number Publication date
TW201435622A (zh) 2014-09-16

Similar Documents

Publication Publication Date Title
Liu et al. Real-time fractal-based valence level recognition from EEG
Wu et al. Modeling perceived stress via HRV and accelerometer sensor streams
Sulaiman et al. EEG-based stress features using spectral centroids technique and k-nearest neighbor classifier
Lotte Generating artificial EEG signals to reduce BCI calibration time
Bong et al. Analysis of electrocardiogram (ECG) signals for human emotional stress classification
Goshvarpour et al. A novel signal-based fusion approach for accurate music emotion recognition
Yao et al. Model-based verification of a non-linear separation scheme for ballistocardiography
Cai et al. Application of electroencephalography-based machine learning in emotion recognition: A review
Taebi et al. An adaptive feature extraction algorithm for classification of seismocardiographic signals
CN106667436A (zh) 一种睡眠诊断方法及系统
Akella et al. Classifying multi-level stress responses from brain cortical EEG in nurses and non-health professionals using machine learning auto encoder
CN108143412B (zh) 一种儿童脑电情绪分析的控制方法、装置及系统
Kim et al. Wearable multi-biosignal analysis integrated interface with direct sleep-stage classification
Suto et al. Music stimuli recognition in electroencephalogram signal
Pei et al. BrainKilter: a real-time EEG analysis platform for neurofeedback design and training
TWI501093B (zh) The establishment of the emotional model and the emotional detection method of the emotional model
Kim et al. eRAD-Fe: Emotion recognition-assisted deep learning framework
Dessai et al. Emotion Detection and Classification Using Machine Learning Techniques
AY et al. Real-time feature extraction of ECG signals using NI LabVIEW
Bandara et al. Differentiation of signals generated by eye blinks and mouth clenching in a portable brain computer interface system
CN112842368A (zh) 一种识别表面肌电信号的系统及方法
JP2020076923A5 (zh)
Bhagwat et al. Human disposition detection using EEG signals
Singh et al. Emotion recognition using deep convolutional neural network on temporal representations of physiological signals
Ganchev et al. Overall design of the SLADE data acquisition system