TWI559252B - Real-time identification of emotional environment control devices, systems, methods and computer program products - Google Patents

Description

即時辨識情緒之環境調控裝置、系統、方法及其電腦程式產品

本發明係一種環境調控裝置、系統、方法及其電腦程式產品，尤指一種可即時辨識情緒之環境調控裝置、系統、方法及其電腦程式產品。

由於現今社會已進入了極度追求效率和速度的社會型態，使得現代人無論在工作上還是生活上都顯的異常忙碌。而長期若處於壓抑或焦慮的情況下，容易引發自律神經失調，而產生失眠、消化不良、以及失志等文明病狀。

臨床研究顯示，自律神經失調與發生心血管疾病的機率、死亡率息息相關。因此當情緒長期處於興奮緊張或者是憂鬱低落時，人體之交感神經與副交感神經之活性將會不規律亢奮或受到抑制下，容易誘發心血管疾病，並對國人之健康造成嚴重之危害。

綜上所述，如何提供一種可即時的評估使用者情緒，並依據情緒之類別調整使用者所處環境條件之技術手段乃本領域亟需解決之技術問題。

為解決前揭習知技術之技術問題，本發明之一目的係提供一種可識別使用者情緒，並調整使用者其環境條件之裝置、系統、方法及其 電腦程式產品。

為達上述之目的，本發明係提供一種環境調控裝置，其包含操作本體、複數個生理感測器、通訊模組以及處理模組。該等生理感測器係設於操作本體上，以提供外部使用者之複數個生理資訊。通訊模組則是用來和外部至少一環境配置裝置通訊連接。處理模組為連接生理感測器以及經由通訊模組連接至少一環境配置裝置，處理模組更依據一決策樹分析生理資訊，以提供對應使用者之一情緒資訊，並又依據情緒資訊設定前述環境配置裝置，以配置使用者所身處環境條件。

為達上述之目的，本發明又提供一種即時辨識情緒之環境調控系統，包含至少一環境配置裝置，以及前述之環境調控裝置，環境調控裝置之處理模組係經由該通訊模組以配置環境配置裝置，以配置使用者所身處環境條件。

為達上述之目的，本發明更提供一種即時辨識情緒之環境調控方法，包含下列步驟：首先，接收外部使用者之複數個生理資訊。接著，依據一決策樹分析生理資訊，以提供對應使用者之一情緒資訊。最後，依據情緒資訊設定至少一環境配置裝置，以配置使用者所身處環境條件。

為達上述之目的，本發明又提供一種用於即時辨識情緒之環境調控電腦程式產品，當電腦裝置載入並執行該電腦程式產品，可完成下列步驟：首先，接收外部使用者之複數個生理資訊。接著，依據一決策樹分析生理資訊，以提供對應使用者之一情緒資訊。最後，依據情緒資訊設定至少一環境配置裝置，以配置使用者所身處環境條件。

綜上所述，本發明提供之環境調控裝置、系統、方法及其電 腦程式產品可即時的評估使用者之情緒，並依使用者之情緒調整可設定環境條件之環境配置裝置，得以平衡的使用者之情緒。

1‧‧‧環境調控系統

11‧‧‧環境調控裝置

111‧‧‧生理感測器

112‧‧‧通訊模組

113‧‧‧處理模組

12‧‧‧環境配置裝置

121‧‧‧燈源裝置

122‧‧‧薰衣草精油擴香儀

123‧‧‧檸檬精油擴香儀

S101~S103‧‧‧步驟

第1圖係為本發明之環境調控系統示意圖。

第2圖係為本發明之環境調控方法流程圖。

第3圖係為本發明之情緒決策樹之樹節點配置圖。

第4圖係為本發明之完整情緒分類決策樹結構圖。

第5圖係為本發明膚電標準差之歸屬函數示意圖。

第6圖係為本發明心跳平均值之歸屬函數示意圖。

第7圖係為本發明心跳標準差之歸屬函數示意圖。

第8圖係為本發明體溫平均值之歸屬函數示意圖。

第9圖係為本發明解模糊流程之示意圖。

第10~11圖係經由本發明之環境調控系統調整後之SDNN量測圖。

以下將描述具體之實施例以說明本發明之實施態樣，惟其並非用以限制本發明所欲保護之範疇。

請參閱第1圖，其為本發明之即時辨識情緒之環境調控系統1示意圖。環境調控系統1包含環境調控裝置11、環境配置裝置12以及電腦裝置。

前述之環境調控裝置11係包含操作本體、複數個生理感測器111、通訊模組112以及處理模組113。前述之生理感測器111，係設於操作 本體上，並用以提供外部使用者之複數個生理資訊。通訊模組112則是用以與外部至少一環境配置裝置12通訊連接。處理模組113為連接生理感測器111以及經由通訊模組112連接至少一環境配置裝置12，處理模組113更依據一決策樹分析生理資訊，以提供對應使用者之一情緒資訊，並又依據情緒資訊設定至少一環境配置裝置12，以配置使用者所身處環境條件。

前述之生理感測器111係包含膚電感測器、皮膚溫度感測器、或心跳感測器。而環境調控裝置11係如可調控色溫之燈源裝置121、精油擴香儀、音樂播放裝置、溫度調節裝置等。前述之操作本體係為一手持通訊裝置、穿戴式裝置：例如滑鼠、智慧型手機、平版電腦、筆記型電腦、手錶、手環、手鍊、眼鏡、項鍊等

請接著參閱第2圖，其為本發明之一種即時辨識情緒之環境調控方法，包含下列步驟：

S101：取得外部使用者之複數個生理資訊。

S102：依據一決策樹分析生理資訊，以提供對應該使用者之一情緒資訊。

S103：依據情緒資訊設定至少一環境配置裝置12，以配置使用者所身處環境條件。

本發明又提供一種即時辨識情緒之環境調控電腦程式產品，當電腦裝置載入並執行該電腦程式產品，可完成如步驟S101~S103所述之步驟。

於本發明之第一實施例中，其操作本體係為一滑鼠裝置，惟其應用不在此限。前述之生理感測器111係如膚電感測器、皮膚溫度感測器、以及心跳感測器。而環境調控裝置11則為可調控色溫之燈源裝置121以 及精油擴香儀。而處理模組113係為Arduino之嵌入式開發板，該開發板係可提供使用者燒錄並執行電腦程式產品之嵌入式系統。

當使用者操作滑鼠時，膚電感測器、皮膚溫度感測器以及心跳感測器會分別收集使用者之膚電資訊、皮膚溫度資訊以及心跳資訊，而決策樹會並將選擇前述之生理資訊或其他生理資訊訓練樣本進行樣本學習，接著再把學習得到之決策樹轉換特定之電腦程式，以設定前述之處理模組113之控制晶片。

於本案中，其情緒分類決策樹之生成包含下列步驟：

步驟1：以生理感測器111量測到之生理資訊，計算其與情緒相關之生理特徵點。

步驟2：設定一門檻植預將生理特徵點之連續值離散化。

步驟3：計算屬性選擇指標，從尚未被挑選的屬性中，選擇分類效果最好的屬作為決策樹的內部節點。

步驟4：針對內部節點不同的所有資料，產生對應的分支。

步驟5：將每一個新產生的分支訓練資料重新排列，以產生下一個內部節點。

步驟6：重復上述的過程，直到滿足終止條件，以產生所需之決策樹。

於決策樹演算法中，需要評估最佳的屬性選擇指標來產生新的內部節點。而前述之屬性選擇指標主要是用來選擇出某一個屬性，透過該屬性將帶有類別標記的生理資訊資料做適當的分類。在理想情況下，所挑選的屬性可以使得分類結果所包含的資料集合具有相同的類別(即高同質性)，因此故屬性選擇指標也稱為分割條件，並可透過下列之計算方式來取得屬性選擇指標，例如：以熵(entropy)計算屬性之資訊獲利(Information Gain)、根據吉尼係數當作屬性選擇指標(CART演算法)、以及使用統計學的卡方分析(如CHAID演算法)來當作屬性選擇指標。

本實施例則是採取迭代二元樹3代(Iterative Dichotomiser 3，簡稱：ID3)演算法，並以資訊獲利計算屬性選擇指標。本案採用資訊獲利來評估各個生理特徵值對於情緒分類的影響程度，並利用最少的生理訊號來評估使用者情緒反應，以加快嵌入式系統之即時運算速度。

在建構決策樹過程中，ID3演算法以資訊獲利為準則，並選擇最大的資訊獲利值作為分類屬性。當一個資料集合的熵越大，表示樣本空間的樣本分佈越均勻、亂度越大，即所有獨立樣本出現機率越接近。若資料集合S具有c個不同的類別，則資料集合S的熵值計算方式如公式(1)所示；

其中p _i 為類別i在資料集合S出現的機率，而屬性A在資料集合的資訊獲利Gain(S,A)定義如下：

A為資料集合S中可能的分類屬性，而S _v 是S中屬性A的值為v的子集。第一項為原集合的S的熵，而第二項為以A為分類S後之熵的期望值(亦即，每個子集熵的加權和)，加權值為屬於S _v 的樣本占原始樣本的比例 。

Gain(S,A)利用屬性A對資料集合S進行分割的獲利。Gain值愈大，表示屬性A內資料的凌亂程度愈小，用來分類資料會愈佳。Gain值愈 小，表示屬性A內資料的凌亂程度愈大，用來分類資料會愈差。

以表1為例，說明資訊獲利量計算方法。表1為受測者在三種不同情緒下量測生理訊號一段時間，並計算其生理特徵值，分別有心跳平均值(HR_Mean)、心跳標準差(HR_S.D.)、膚電平均值(GSR_Mean)、膚電標準差(GSR_S.D.)、體溫平均值(T_Mean)和體溫標準差(T_S.D.)。以各欄位特徵值之平均作為門檻值，若大於等於門檻值標記為yes，小於門檻值則標記為no，將生理特徵值二值化(如表2所示)。目標係為找出何種生理特徵值，而最大資訊獲利量表示最能夠區分情緒之類別，並將其設為決策樹的根節點。而為決定最恰當的門檻值，本案選取的樣本資料的情緒狀態乃屬平均分配，並採用平均值作為門檻。

表1

前述之資料集合S，總共有7筆「平靜」情緒、7筆「低落」情緒、7筆「激動」情緒，其資訊獲利計算如下：

以下計算各個生理特徵值的資訊獲利，並選擇具最大資訊獲利之生理特徵值，來為決策樹的分類屬性：

1.以HR_Mean做分類屬性：

(a)大於等於81.42為yes的有11筆資料，其中有0筆平靜、6筆低落、5 筆激動：Entropy(HR_Mean>=81.42)=0.9940

(b)小於81.42為no的有10筆資料，其中有7筆平靜、1筆低落、2筆激動：Entropy(HR_Mean<81.42)=1.1586

(c)HR_Mean之資訊獲利為：Gain(S,HR_Mean)=1.5850-(11/21)×(0.9940)-(10/21)×(1.1586)=0.5126

2.以HR_S.D.做分類屬性：

(a)大於等於7.71為yes的有8筆資料，其中有0筆平靜、3筆低落、5筆激動：Entropy(HR_S.D.>=7.71)=0.9544

(b)小於7.71為no的有13筆資料，其中有7筆平靜、4筆、2筆激動：Entropy(HR_S.D.<7.71)=1.4196

(c)HR_S.D.之資訊獲利為：Gain(S,HR_S.D.)=1.5850-(8/21)×(0.9544)-(13/21)×(1.4196)=0.3426

3.以GSR_Mean做分類屬性：

(a)大於8.53為yes的有8筆資料，其中有3筆、2筆低落、3筆激動：Entropy(GSR_Mean>=8.53)=1.5613

(b)小於8.53為no的有13筆，其中有4筆平靜、5筆低落、4筆激動：Entropy(GSR_Mean<8.53)=1.5766

(c)GSR_Mean之資訊獲利為： Gain(S,GSR_Mean)=1.5850-(8/21)×(1.5613)-(13/21)×(1.566)=0.0142

4.以GSR_S.D.做分類屬性：

(a)大於等於1.09為yes的有6筆資料，其中有0筆平靜、0筆低落、6筆激動：Entropy(GSR_S.D.>=1.09)=0

(b)小於1.09為no的有15筆資料，其中有7筆平靜、7筆低落、1筆激動：Entropy(GSR_S.D.<1.09)=1.2667

(c)GSR_S.D.之資訊獲利為：Gain(S,GSR_S.D.)=1.5850-(6/21)×(0)-(15/21)×(1.2667)=0.6802

5.以T_Mean做分類屬性：

(a)大於等於34.46為yes的有11筆資料，其中有2筆平靜、5筆低落、4筆激動：Entropy(T_Mean>=34.46)=1.4949

(b)小於34.46為no的有10筆資料，其中有5筆平靜、2筆低落、3筆激動：Entropy(T_Mean<34.46)=1.4855

(c)T_Mean之資訊獲利為：Gain(S,T_Mean)=1.5850-(11/21)×(1.4949)-(10/21)×(1.4855) =0.0964

6.以T_S.D.做分類屬性：

(a)大於等於0.52為yes的有8筆資料，其中有4筆平靜、3筆低落、1筆低落：Entropy(T_S.D.>=0.52)=1.4056

(b)小於0.52為no的有13筆資料，其中有3筆平靜、4筆低落、6筆激動：Entropy(T_S.D.<0.52)=1.5256

(c)T_S.D.之資訊獲利為：Gain(S,T_S.D.)=1.5850-(8/21)×(1.4056)-(13/21)×(1.5256)=0.1051

由上述運算可得膚電標準差(GSR_S.D.)的資訊獲利最大，表示分類情緒類別的能力最好，故選擇膚電標準差作為情緒決策樹的根節點(如第3圖所示)。

計算各個特徵值的資訊獲利後，選取膚電標準差(GSR_S.D.)作為決策樹之根節點，以心跳平均值(HR_Mean)、心跳標準差(HR_S.D.)、體溫平均值(T_Mean)作為中間節點，最後分類出激動、平靜和低落情緒作為葉節點。不同的路徑依據各個分類屬性之門檻值做Yes和No的選擇，最終建構出如第4圖所示之完整的情緒分類決策樹。

由於每個人受到周遭的人事物影響，產生的情緒狀態有著不同強度的反應。若在情緒分類加上程度大小的差異，即可更貼近情緒本身的狀態。因此本案更透過模糊決策樹演算法得知情緒狀態的程度值。首先 以ID3建構出傳統的明確決策樹後，並在明確決策樹內的根節點、中間節點設定歸屬函數，將輸入的生理特徵值模糊化。以下將以實例說明歸屬函數之設定流程。

以膚電標準差為例，其歸屬函數如第5圖所示，分別為μ _L (GSR_S.D.)和μ _H (GSR_S.D.)。並設定分界點為1.09，上界為1.96，下界為0.22，生理特徵值之屬性為GSR_S.D.，則：

以心跳平均值為例，其歸屬函數如第6圖所示，分別為μ _L (HR_Mean)和μ _L (HR_Mean)。設定分界點為81.42，上界為96.69，下界為66.15，生理特徵值之屬性為HR_Mean，則：

以心跳標準差為例，其歸屬函數如第7圖所示，分為μ _L (HR_S.D.)和μ _H (HR_S.D.)。設定分界點為7.71，上界為12.65，下界為2.77，生理特徵值之屬性為HR_S.D.，則：

以體溫平均值為例，其歸屬函數如第8圖所示，分為μ _L (T_Mean)和μ _H (T_Mean)。設定分界點為34.46，上界為37.57，下界為31.35，生理特徵值之屬性為T_Mean，則：

根據上述所建構的明確決策樹以及上述各個生理特徵值的歸屬函數，歸納出以下7個情緒分類規則(rule)之虛擬碼：

規則1：If GSR_S.D.is High and HR_Mean is High,then Emotion is excited.

規則2：If GSR_S.D.is High and HR_Mean is Low and HR_S.D.is High,then Emotion is Excited.

規則3：If GSR_S.D.is High and HR_Mean is Low and HR_S.D.is Low and T_Mean is High,then Emotion is Upset.

規則4：If GSR_S.D.is High and HR_Mean is Low and HR_S.D.is Low and T_Mean is Low,then Emotion is Excited.

規則5：If GSR_S.D.is Low and HR_Mean is Low,then Emotion is Normal.

規則6：If GSR_S.D.is Low and HR_Mean is High and HR_S.D.is Low,then Emotion is Normal.

規則7：If GSR_S.D.is Low and HR_Mean is High and HR_S.D.is High,then Emotion is Upset.

本案目標之輸出結果為情緒狀態程度資訊，並於以下說明解模糊的步驟與結果。假設輸入一組生理特徵值進行情緒分類，如：GSR_S.D.=1.78、HR_Mean=83.42、HR_S.D.=10.95、T_Mean=35.97，將上述四個特徵值代入上述所提出之歸屬函數，進行運算後，則：

接著，便可得各個特徵值的歸屬度，並分別表示在分支上，並利用「×-×-+」方法來計算每條分類規則對情緒狀態的歸屬程度(每條規則上各特徵值的歸屬度相乘，再乘以每條規則對其分類的可能程度)。情緒狀態以E、N、U分別表示「激動」、「平靜」、「低落」，各個規則之歸屬程度值如表3所示。

在全部規則計算後，最後將每條規則相同分類項目的乘積值相加，得出判斷各個情緒的歸屬程度值，如：E=0.507+0.323+0+0.017+0+0+0=0.847

N=0+0+0+0+0.045+0.01+0=0.055

U=0+0+0.05+0+0+0+0.048=0.098

請參閱第9圖，其為本實施例解模糊之示意圖。根據此實施例之結果，情緒為「激動」之程度值為0.847，情緒為「平靜」之程度值為0.055，情緒為「低落」之程度值為0.098。若對於一個未知例子只允許給予一個分類項目時，則會選擇相對較高的歸屬程度，故判斷此物件被分類至「激動」。

於本發明第一實施之操作態樣中。環境配置裝置12係為一可調色溫之燈源裝置121以及二台擴香儀(薰衣草精油擴香儀122、檸檬精油擴香儀123)，而處理模組113則並透過繼電器來操作薰衣草精油擴香儀122以及檸檬精油擴香儀123。

前述之處理模組113可更透過通訊模組112將識別之情緒狀態資訊以及操作環境配置裝置12之狀態資訊傳遞至電腦裝置，以讓使用者得知自己的情緒狀態。而當使用者情緒為「激動」時，此時處理模組113會致能薰衣草精油擴香儀122，散發舒出可舒緩情緒的氣化之薰衣草精油以及將燈光調整為冷光系、而當使用者情緒為「低落」之示意圖，此時處理模組113則致能檸檬精油擴香儀123，來散發出可提振情緒的氣化之檸檬精油，並把燈光會逐漸轉為暖色光。

為驗證本案之環境調控系統1可有效的調整使用者之情緒，本案藉由自律神經系統相關的生理訊號來觀察人類的情緒反應，例如激動與低落的情緒狀態皆可由心率變異度(Heart rate variability，簡稱：HRV)的變化程度作為評估準則。HRV係一種量測連續心跳速率變化程度方法，其計算方式主要是藉由心電圖或脈搏量測所得到的信號，分析心跳與心跳間隔的時間序列，得到平靜心跳標準差(Standard Deviation of Normal to Normal heart beat，簡稱：SDNN)，來做為為自律神經活性的驗證指標。而當SDNN值偏低時，表示心力程度較低、情緒低落沮喪；若SDNN偏高下，則表示心力程度較高、情緒激動亢奮。

請接著參閱第10~11圖，其為經由環境調控系統1調整後之SDNN量測圖。當使用者之初始情緒為低落時，受測者的SDNN低於標準為20.12毫秒，擴香儀釋放檸檬精油，燈光也逐漸轉換至暖色光，經過20分鐘的時間，達到正常值29.43毫秒，相較於未經調整之SDNN線段(方形節點線段)，經由環境調控系統1調整後其SDNN參數(三角形節點線段)會較快的上昇並貼近SDNN之標準值(菱形節點線段)。

而當使用者之初始情緒為激動時，受測者的SDNN高於標準為42.15毫秒，在擴香儀釋放薰衣草精油，燈光也逐漸轉換至冷色光，經過18分鐘的時間，達到正常值31.71毫秒，經由環境調控系統1調整後其SDNN參數會逐漸下降並貼近SDNN之標準值(如第11圖所示)。

上列詳細說明係針對本發明之一可行實施例之具體說明，惟實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

1‧‧‧環境調控系統

11‧‧‧環境調控裝置

111‧‧‧生理感測器

112‧‧‧通訊模組

113‧‧‧處理模組

12‧‧‧環境配置裝置

121‧‧‧燈源裝置

122‧‧‧薰衣草精油擴香儀

123‧‧‧檸檬精油擴香儀

Claims (10)

1. 一種即時辨識情緒之環境調控裝置，包含：一操作本體；複數個生理感測器，設於該操作本體上，並用以提供外部使用者之複數個生理資訊，該等生理資訊包含膚電標準差、心跳標準差、心跳平均值、體溫平均值；一通訊模組，用以與外部至少一環境配置裝置通訊連接；以及一處理模組，連接該等生理感測器以及經由該通訊模組連接該至少一環境配置裝置，該處理模組更依據一決策樹分析該等生理資訊，以提供對應該使用者之一情緒資訊，並又依據該情緒資訊設定該至少一環境配置裝置，以配置該使用者所身處之環境條件；其中該膚電標準差為該決策樹之根節點、該心跳平均值為該膚電標準差之子節點、該心跳標準差為該心跳平均值之子節點、該體溫平均值為該心跳標準差之子節點。
2. 如請求項1所述之裝置，其中該決策樹分類屬性滿足膚電標準差之門檻值、滿足該心跳平均值之門檻值，則該情緒資訊為激動資訊。
3. 如請求項2所述之裝置，其中該決策樹分類屬性滿足膚電標準差之門檻值、不滿足該心跳平均值之門檻值，滿足該心跳標準差之門檻值，則該情緒資訊為激動資訊。
4. 如請求項3所述之裝置，其中該決策樹分類屬性滿足膚電標準差之門檻值、不滿足該心跳平均值之門檻值，不滿足該心跳標準差之門檻值之條件下，而當滿足體溫平均值之門檻值則該情緒資訊為低落資訊；而當不 滿足體溫平均值之門檻值則該情緒資訊為激動資訊。
5. 如請求項1所述之裝置，其中該決策樹分類屬性不滿足膚電標準差之門檻值、不滿足該心跳平均值之門檻值，則該情緒資訊為平靜資訊。
6. 如請求項5所述之裝置，其中該決策樹分類屬性不滿足膚電標準差之門檻值、滿足該心跳平均值之門檻值之條件下，而當滿足該心跳標準差之門檻值，則該情緒資訊為低落資訊；而當不滿足該心跳標準差之門檻值，則該情緒資訊為平靜資訊。
7. 如請求項1所述之裝置，其中該環境配置裝置進一步包含可調控色溫之燈源裝置、精油擴香儀。
8. 一種即時辨識情緒之環境調控系統，包含：至少一環境配置裝置；以及如請求項1至7任一項所述之環境調控裝置，該處理模組係經由該通訊模組以配置該至少一環境配置裝置。
9. 一種即時辨識情緒之環境調控方法，包含下列步驟：接收外部使用者之複數個生理資訊，該等生理資訊包含膚電標準差、心跳標準差、心跳平均值、體溫平均值；依據一決策樹分析該等生理資訊，以提供對應該使用者之一情緒資訊；以及依據該情緒資訊設定至少一環境配置裝置，以配置該使用者所身處環境條件；其中該膚電標準差為該決策樹之根節點、該心跳平均值為該膚電標準差之子節點、該心跳標準差為該心跳平均值之子節點、該體溫平均值為該 心跳標準差之子節點。
10. 一種用於即時辨識情緒之環境調控電腦程式產品，當電腦裝置載入並執行該電腦程式產品，可完成如請求項9所述之步驟。