TWI535420B - 多生理訊號之情感運算引擎系統及方法 - Google Patents

Description

多生理訊號之情感運算引擎系統及方法

本發明係與情感運算引擎系統有關，特別是有關於一種多生理訊號之情感運算引擎系統及方法。

按，一般情緒辨識之方式係多採用單一生理狀態以辨識受測者之情緒狀態，在如US 6697504與US 6681032等專利中所揭露，係透過偵測臉部表情，並且例如將量測資料分成複數之階層，並於各該階層中透過類神經網路學習以計算一權重值，透過該權重值之比對以達到辨識之目的，然而僅透過如上所述之單一臉部表情進行情緒之辨識，係容易產生誤差並且可能與實際之狀況產生不同之結果，因而無法準確有效掌握受測者之情緒狀態。

此外，複數相異之生理狀態係各別地分別具有相異之訊號單位與時間間隔差，故如何整合該等相異之複數生理狀態訊號，以提供一可精準地辨識受測者之情緒狀態之方法係為本發明研究之努力方向。

因此，有必要提供一種新穎且具有進步性之多生理訊號之情感運算引擎系統及方法，以解決上述之問題。

本發明之主要目的在於提供一種多生理訊號之情感運算引擎系統及方法，係可供感測受測者同時發生之相異多重生理狀態訊號，並透過整合與篩選等運算以選取重要之生理狀態訊號，以產生最佳之情緒狀態，提供一套可精準地辨識受測者之情緒之方法，另可加以整合於其他電子裝置，達到可便利地儲存資料與即時顯示之功效。

為達成上述目的，本發明係提供一種多生理訊號之情感運算引擎系統，包括：一生理感測訊號輸入單元，供感測同時發生之相異多重生理狀態訊號，其中該相異多重生理狀態訊號至少包含臉部表情(Facial Expression)訊號，其中該生理感測訊號輸入單元進行以下運算以計算該臉部表情訊號：取得臉部表情圖像並記錄複數對應於該臉部表情圖像之預定特徵點之座標位置；定義複數距離資料(D _i )，該等距離資料係透過一距離 方程式計算得出，該距離方程式係為：；透過一正規化 方程式以正規化該等距離資料以形成多數正規化資料，該正規化方程式係 為：；透過簡化數據集之方法選取出該等正規化資 料之主要成分；透過多類支持向量機(multi-class SVM)、相關支持向量機(relevance SVM)或模糊支持向量機(fuzzy SVM)分類演算法依據該等主要成分計算相對應的支持向量組；透過一訓練資料組以建立一比對向量組與複數分類項，該支持向量組係透過與該比對向量組比較被分類至相對應的分類項中；依據包括有相應支持向量組之各該分類項產生一對應之情緒訊號；一訊號整合單元，接收來自該生理感測訊號輸入單元之多重生理狀態訊號、並計算及整合各該生理狀態訊號，其中計算整合各該生理狀態訊號係將位於同一時點之各該生理狀態訊號經計算化後之生理訊號值各整合 為一情感狀態群組資料；一訊號特徵選取篩選單元，根據整合後該等情感狀態群組資料，透過特徵篩選演算法以篩選出重要的生理訊號；一情感運算與辨識單元，依據經該訊號特徵選取篩選單元篩選出之該等重要生理訊號，計算並辨識出對應之情緒狀態資料；一輸出單元，依據該情緒狀態資料輸出一情緒代號至一裝置進行顯示對應該情緒代號之情緒狀態。

為達成上述目的，本發明另提供一種多生理訊號之情感運算方法，係利用如上所述的多生理訊號之情感運算引擎系統進行，該多生理訊號之情感運算方法情緒狀態包含以下步驟：取得同時發生之相異多重生理狀態訊號，其中該相異多重生理狀態訊號至少包含臉部表情訊號，其中取得該臉部表情訊號之方法係如上所述；依據該多重生理狀態訊號計算及整合各該生理狀態訊號，其中計算整合各該生理狀態訊號係將位於同一時點之各該生理狀態訊號經計算化後之生理訊號值各整合為一情感狀態群組資料；根據整合後該等情感狀態群組資料，透過特徵篩選演算法以篩選出重要的生理訊號；依據被篩選出之該等重要生理訊號計算並辨識出對應之情緒狀態資料；依據該情緒狀態資料輸出一情緒代號至一裝置進行顯示對應該情緒代號之情緒狀態。

1‧‧‧情感運算引擎系統

2‧‧‧臉部表情辨識方法

3‧‧‧情感運算方法

10‧‧‧生理感測訊號輸入單元

20‧‧‧訊號整合單元

30‧‧‧訊號特徵選取篩選單元

40‧‧‧情感運算與辨識單元

50‧‧‧輸出單元

圖1為本發明一較佳實施例之系統結構方塊圖。

圖2為本發明一較佳實施例之單元示意圖。

圖3為本發明一較佳實施例之方法流程示意圖。

圖4為本發明另一較佳實施例之方法流程示意圖。

以下僅以實施例說明本發明可能之實施態樣，然並非用以限制本發明所欲保護之範疇，合先敘明。

請參考圖1至3，其顯示本發明之一較佳實施例，本發明之多生理訊號之情感運算引擎系統1，係包括一生理感測訊號輸入單元10、一訊號整合單元20、一訊號特徵選取篩選單元30、一情感運算與辨識單元40與一輸出單元50。

該生理感測訊號輸入單元10係可供感測同時發生之相異多重生理狀態訊號，其中該相異多重生理狀態訊號至少包含臉部表情(Facial Expression)訊號，舉例而言，該多重生理狀態訊號係可選自人體之一心跳訊號、一血液含氧量訊號、一皮膚表面電阻抗訊號、一溫度訊號、一血流指數訊號、一呼吸訊號、一臉部表情特徵訊號、一腦波訊號組成之群組，更進一步地說，例如可透過影像擷取裝置及電子量測儀器(例如血壓計、腦波儀等)以取得該多重生理狀態訊號，例如包含臉部表情(Facial Expression)、皮膚電位(GSR)、血氧(SpO2)、眼動(Eye Movement)、腦波(EEG)及心跳(ECG)等訊號。

值得一提的是，該生理感測訊號輸入單元10係透過一臉部表情辨識方法2以計算該臉部表情訊號，該臉部表情辨識方法2係例如透過一影像擷取裝置藉以取得臉部表情圖像並記錄複數對應於該臉部表情圖像之預定特徵點之座標位置，於本實施例中，並定義複數距離資料(D _i )，更仔細地說，該等距離資料係為歐幾里得距離(Euclidean distance)資料，該等距離資料係透過一距離方程式計算得出，該距離方程式係為： ，其中x,y係分別代表在d維空間中該等預定特徵點之 其中二者之各別的座標位置。

透過一正規化方程式以正規化該等距離資料以形成多數正 規化資料，其中該正規化方程式係為：，其中Non( ) 係代表一正規化函數，係代表D _i 之值，L代表左眼，R代表右眼，n代表右眼與左眼間不會改變之二端點之距離。

透過簡化數據集之方法選取出該等正規化資料之主要成分，該簡化數據集之方法例如可為主成分分析法(principal component analysis，PCA)、kernel主成分分析法(KPCA)、線性判別分析法(linear discriminant analysis，LDA)、kernel線性判別分析法(kernel version of LDA)、非參數加權特徵提取法(nonparametric weighted feature extraction，NWFE)或kernel非參數加權特徵提取法(kernel-based NWEF)。

透過例如為多類支持向量機(multi-class SVM)、相關支持向量機(relevance SVM)或模糊支持向量機(fuzzy SVM)等分類演算法依據該等主要成分以計算相對應的支持向量組，並且可透過一訓練資料組(於本實施例中例如為JAFFE資料庫)以建立一比對向量組與複數分類項，該支持向量組係透過與該比對向量組比較且被分類至相對應的分類項中，舉例而言，該分類項例如可為情緒分類且可包含開心(Happiness)、生氣(Anger)、驚訝(Surprise)、恐懼(Fear)、噁心(Disgust)、悲傷(Sadness)或中性(Neutral)等情緒，該支持向量組係依據各該分類項產生一對應之情緒訊號，以產生該臉部表情訊號，並可被擷取至該生理感測訊號輸入單元10中。

該訊號整合單元20係可接收來自該生理感測訊號輸入單元10之多重生理狀態訊號、並計算及整合各該生理狀態訊號，其中計算整合各該生理狀態訊號係將位於同一時點之各該生理狀態訊號經計算化後之生理訊號值各整合為一情感狀態群組資料，更仔細地說，該訊號整合單元20透過一演算法計算及整合各該生理狀態訊號，該演算法例如可為正規化演算法、算數平均數法、幾何平均數法、非線性法、或統計方法，或者上述組成之混合演算法，舉例而言，於本實施例中，該訊號整合單元20採用之演算法係為正規化演算法，該正規化演算法係依據一正規化方程式計算各 該生理狀態訊號，該正規化方程式係為：，其中δ代 表一包含該多重生理狀態訊號之生理訊號組，代表第i個受測者之第m個生理訊號值，max(S ^δ )代表該生理訊號組內該等生理訊號之最大值，min(S ^δ )代表該生理訊號組內該等生理訊號之最小值。

該訊號特徵選取篩選單元30係根據整合後該等情感狀態群組資料，透過特徵篩選演算法以篩選出重要的生理訊號，更仔細地說，該訊號特徵選取篩選單元30係將該訊號整合單元20產生之該等情感狀態群組資料，透過演算法選取出該等重要生理訊號，該演算法例如可選自線性的特徵篩選法、非線性的特徵篩選法、多變量統計的特徵篩選法、機器學習或人工智慧領域的特徵篩選法，或者上述組成之混合演算法。

該情感運算與辨識單元40係依據經該訊號特徵選取篩選單元30篩選出之該等重要生理訊號，計算並辨識出對應之情緒狀態資料，更進一步地說，該情感運算與辨識單元40係將該特徵選取篩選單元產生之該 等重要生理訊號的資料，透過演算法加以計算並辨識出對應之情緒狀態資料，該演算法例如可選自線性的分類器、非線性的分類器、多變量統計法、機器學習、人工智慧的分類器，或者上述方法組成之混合演算法，更仔細地說，該情感運算與辨識單元40係可採用之演算法例如為決策樹、粗糙集(rough set)、類神經網路或支援向量機(support vector machine)，或者為上述方法組成之混合演算法。

該輸出單元50係可依據該情緒狀態資料輸出一情緒代號至一裝置進行顯示對應該情緒代號之情緒狀態，更進一步地說，該情感運算引擎系統另可包括一與該訊號整合單元20通訊連接之當地資料庫、雲端平台或雲端資料庫，俾使該等情感狀態群組資料係可傳輸至該當地資料庫、雲端平台或雲端資料庫儲存，可供便利地儲存例如一受測者之情感狀態訊號以進行研究與分析作業，且該受測者之情感狀態訊號並可透過例如電腦、手機或其他電子裝置顯示該受測者目前之情感狀態，方便於即時地掌握該受測者之情感狀態，並且透過多重生理狀態之整合運算，能夠更精準地辨識受測者之情緒。

請參考圖4，本發明另提供一種多生理訊號之情感運算方法3，係利用如上所述的多生理訊號之情感運算引擎系統進行，該多生理訊號之情感運算方法係透過取得同時發生之相異多重生理狀態訊號，其中該相異多重生理狀態訊號至少包含臉部表情訊號，且該臉部表情訊號係可透過如上所述之方法計算取得，故在此不再敘述，更進一步地說，該相異多重生理狀態訊號另可包含皮膚電位(GSR)、血氧(SpO2)、眼動(Eye Movement)、腦波(EEG)及心跳(ECG)訊號，舉例而言，於本實施例中， 該腦波之訊號例如可透過腦波儀(NeuroSky`s eSense algorithm)、離散小波轉換法(discrete wavelet transform，DWT)或小波包分解法(wavelet packet decomposition，WPD)等運算法篩選該腦波訊號，該心跳之訊號例如可透過小波轉換法(wavelet transform)、傅立葉轉換法(Fast Fourier transform)或自迴歸運算法(autoregressive)篩選該心跳訊號。

依據該多重生理狀態訊號計算及整合各該生理狀態訊號，其中計算整合各該生理狀態訊號係將位於同一時點之各該生理狀態訊號經計算化後之生理訊號值各整合為一情感狀態群組資料，並且根據整合後該等情感狀態群組資料，透過特徵篩選演算法以篩選出重要的生理訊號，再依據被篩選出之該等重要生理訊號計算並辨識出對應之情緒狀態資料，最後依據該情緒狀態資料輸出一情緒代號至一裝置進行顯示對應該情緒代號之情緒狀態，且該情緒狀態例如可為開心(Happiness)、生氣(Anger)、驚訝(Surprise)、恐懼(Fear)、噁心(Disgust)、悲傷(Sadness)或中性(Neutral)，透過如上所述之運算方法整合多重生理狀態之訊號，因而能夠更精準地辨識受測者之情緒，可提供產業更精確、有效率之情緒辨識方法。

綜上，本發明之一種多生理訊號之情感運算引擎系統及方法，係可供感測受測者同時發生之相異多重生理狀態訊號，並透過整合與篩選等運算以選取重要之生理狀態訊號，以產生最佳之情緒狀態，提供一套可精準地辨識受測者之情緒之方法，另可加以整合於其他電子裝置，達到可便利地儲存資料與即時顯示之功效。

綜上所述，本發明之整體結構設計、實用性及效益上，確實是完全符合產業上發展所需，且所揭露之結構發明亦是具有前所未有的創 新構造，所以其具有「新穎性」應無疑慮，又本發明可較之習知結構更具功效之增進，因此亦具有「進步性」，其完全符合我國專利法有關發明專利之申請要件的規定，乃依法提起專利申請，並敬請 鈞局早日審查，並給予肯定。

1‧‧‧情感運算引擎系統

10‧‧‧生理感測訊號輸入單元

20‧‧‧訊號整合單元

30‧‧‧訊號特徵選取篩選單元

40‧‧‧情感運算與辨識單元

50‧‧‧輸出單元

Claims (10)

1. 一種多生理訊號之情感運算引擎系統，包括：一生理感測訊號輸入單元，供感測同時發生之相異多重生理狀態訊號，其中該相異多重生理狀態訊號至少包含臉部表情(Facial Expression)訊號，其中該生理感測訊號輸入單元進行以下運算以計算該臉部表情訊號：取得臉部表情圖像並記錄複數對應於該臉部表情圖像之預定特徵點之座標位置；定義複數距離資料(D _i )，該等距離資料係透過一距離方程式計算 得出，該距離方程式係為：，其中x,y係分別 代表在d維空間中該等預定特徵點之其中二者之各別的座標位置；透過一正規化方程式以正規化該等距離資料以形成多數正規化資 料，該正規化方程式係為：，其中Non( )係 代表一正規化函數，係代表D _i 之值，L代表左眼，R代表右眼，n代表右眼與左眼間不會改變之二端點之距離；透過簡化數據集之方法選取出該等正規化資料之主要成分，該簡化數據集之方法係為主成分分析法(principal component analysis，PCA)、kernel主成分分析法(KPCA)、線性判別分析法(linear discriminant analysis，LDA)、kernel線性判別分析法(kernel version of LDA)、非參數加權特徵提取法(nonparametric weighted feature extraction，NWFE)或kernel非參數加權特徵提取法(kernel-based NWEF)； 透過多類支持向量機(multi-class SVM)、相關支持向量機(relevance SVM)或模糊支持向量機(fuzzy SVM)分類演算法依據該等主要成分計算相對應的支持向量組；透過一訓練資料組以建立一比對向量組與複數分類項，該支持向量組係透過與該比對向量組比較被分類至相對應的分類項中；依據包括有相應支持向量組之各該分類項產生一對應之情緒訊號；一訊號整合單元，接收來自該生理感測訊號輸入單元之多重生理狀態訊號、並計算及整合各該生理狀態訊號，其中計算整合各該生理狀態訊號係將位於同一時點之各該生理狀態訊號經計算化後之生理訊號值各整合為一情感狀態群組資料；一訊號特徵選取篩選單元，根據整合後該等情感狀態群組資料，透過特徵篩選演算法以篩選出重要的生理訊號；一情感運算與辨識單元，依據經該訊號特徵選取篩選單元篩選出之該等重要生理訊號，計算並辨識出對應之情緒狀態資料；一輸出單元，依據該情緒狀態資料輸出一情緒代號至一裝置進行顯示對應該情緒代號之情緒狀態。
2. 如請求項1所述的多生理訊號之情感運算引擎系統，其中該多重生理狀態訊號另包含皮膚電位(GSR)、血氧(SpO2)、眼動(Eye Movement)、腦波(EEG)及心跳(ECG)訊號。
3. 如請求項1所述的多生理訊號之情感運算引擎系統，其中該訊號整合單元透過一演算法計算及整合各該生理狀態訊號，該演算法為正規化演算法、算數平均數法、幾何平均數法、非線性法、或統計方法，或者上述 組成之混合演算法，其中該訊號整合單元採用之演算法係為正規化演算法，該正規化演算法係依據一正規化方程式計算各該生理狀態訊號，該 正規化方程式係為：，其中δ代表一包含該多重 生理狀態訊號之生理訊號組，代表第i個受測者之第m個生理訊號值，max(S ^δ )代表該生理訊號組內該等生理訊號之最大值，min(S ^δ )代表該生理訊號組內該等生理訊號之最小值。
4. 如請求項1所述的多生理訊號之情感運算引擎系統，另包括一與該訊號整合單元通訊連接之當地資料庫、雲端平台或雲端資料庫，該等情感狀態群組資料並傳輸至該當地資料庫、雲端平台或雲端資料庫儲存。
5. 如請求項1所述的多生理訊號之情感運算引擎系統，其中該訊號特徵選取篩選單元係將該訊號整合單元產生之該等情感狀態群組資料，透過演算法選取出該等重要生理訊號，該演算法係選自線性的特徵篩選法、非線性的特徵篩選法、多變量統計的特徵篩選法、機器學習或人工智慧領域的特徵篩選法，或者上述組成之混合演算法。
6. 如請求項1所述的多生理訊號之情感運算引擎系統，其中該情感運算與辨識單元係將該特徵選取篩選單元產生之該等重要生理訊號的資料，透過演算法加以計算並辨識出對應之情緒狀態資料，該演算法係選自線性的分類器、非線性的分類器、多變量統計法、機器學習、人工智慧的分類器，或者上述方法組成之混合演算法。
7. 如請求項6所述的多生理訊號之情感運算引擎系統，其中該情感運算與辨識單元採用之演算法為決策樹、粗糙集(rough set)、類神經網路或 支援向量機(support vector machine)，或者上述方法組成之混合演算法。
8. 一種多生理訊號之情感運算方法，係利用如請求項1至7其中任一項所述的多生理訊號之情感運算引擎系統進行，該多生理訊號之情感運算方法包含以下步驟：取得同時發生之相異多重生理狀態訊號，其中該相異多重生理狀態訊號至少包含臉部表情訊號，其中取得該臉部表情訊號包含以下步驟：取得臉部表情圖像並記錄複數對應於該臉部表情圖像之預定特徵點之座標位置；定義複數距離資料(D _i )，該等距離資料係透過一距離方程式計算 得出，該距離方程式係為：，其中x,y係分別 代表在d維空間中該等預定特徵點之其中二者之各別的座標位置；透過一正規化方程式以正規化該等距離資料以形成多數正規化資 料，該正規化方程式係為：，其中Non( )係 代表一正規化函數，係代表D _i 之值，L代表左眼，R代表右眼，n代表右眼與左眼間不會改變之二端點之距離；透過簡化數據集之方法選取出該等正規化資料之主要成分，該簡化數據集之方法係為主成分分析法(principal component analysis，PCA)、kernel主成分分析法(KPCA)、線性判別分析法(linear discriminant analysis，LDA)、kernel線性判別分析法(kernel version of LDA)、非參數加權特徵提取法(nonparametric weighted feature extraction，NWFE)或kernel非參數加權特徵提取法(kernel-based NWEF)； 透過多類支持向量機(multi-class SVM)、相關支持向量機(relevance SVM)或模糊支持向量機(fuzzy SVM)分類演算法依據該等主要成分計算相對應的支持向量組；透過一訓練資料組以建立一比對向量組與複數分類項，該支持向量組係透過與該比對向量組比較被分類至相對應的分類項中；依據包括有相應支持向量組之各該分類項產生一對應之情緒訊號；依據該多重生理狀態訊號計算及整合各該生理狀態訊號，其中計算整合各該生理狀態訊號係將位於同一時點之各該生理狀態訊號經計算化後之生理訊號值各整合為一情感狀態群組資料；根據整合後該等情感狀態群組資料，透過特徵篩選演算法以篩選出重要的生理訊號；依據被篩選出之該等重要生理訊號計算並辨識出對應之情緒狀態資料；依據該情緒狀態資料輸出一情緒代號至一裝置進行顯示對應該情緒代號之情緒狀態。
9. 如請求項8所述的多生理訊號之情感運算方法，其中該相異多重生理狀態訊號另包含皮膚電位(GSR)、血氧(SpO2)、眼動(Eye Movement)、腦波(EEG)及心跳(ECG)訊號，其中該腦波訊號係透過腦波儀(NeuroSky`s eSense algorithm)、離散小波轉換法(discrete wavelet transform，DWT)或小波包分解法(wavelet packet decomposition，WPD)運算法篩選，該心跳訊號係透過小波轉換法(wavelet transform)、傅立葉轉換法(Fast Fourier transform)或自迴歸運算法(autoregressive)篩選。
10. 如請求項8所述的多生理訊號之情感運算方法，其中該情緒狀態係包含開心(Happiness)、生氣(Anger)、驚訝(Surprise)、恐懼(Fear)、噁心(Disgust)、悲傷(Sadness)或中性(Neutral)。