TWI269192B - Semantic emotion classifying system - Google Patents

Description

1269192 、年·月日修，止替換頁

玖、發明說明： l--一^l 一™2J 【發明所屬之技術領域】 本發明是有關於一種語意情緒分類系統，尤指一種 可藉由對使用者情緒反應的探知，辅助其在其餘溝通介 面上之不足，同時可取代電腦系統慣常之僵化反應介 面，以利更自然之溝通介面設計。 【先前技術】 現有的自動化情緒辨識研究中，電腦一般可經由侵 入式及非侵入式兩種量測方式，得到相關線索來了解人 類情緒狀態。侵入式量測是使用某些會與人體直接接觸 的儀器測量包括皮膚溫度、濕度、心跳、肌肉張力等資 訊，而侵入式量測則是利用如攝影機、麥克風等不與人 體接觸的儀器收錄諸如人臉表情變化或語音等訊息。一 般而言，侵入式量測所得到的資訊較為準確，較能完整 表達受測者目前情緒狀態，但因其儀器使用上的限制， 並無法廣泛應用，故通常使用於醫療用途上。 非侵入式資訊量測方式，若以資訊種類區分，可分 為語音與臉部表情兩大領域；若就架構上而言，則可分 為單一模組辨識（語音或臉部表情）與雙模組辨識（語音 與臉部表情）兩大主流。而不論資訊種類及分類架構，主 要的分類模組包含有隱含式馬可夫模組（hidden Markov model，HMM)、高斯混合模組（Gaussian mixture model， GMM)、支持向量機（Support Vector Machine，SVM)和規 1269192 ——— j年」日修(1¾正替換頁 則訂定（Rule-based)等。 、 單一模組辨識架構可分為語音模組與臉部表情模組 二大類，兩模組主要差異在於所擷取特徵值的不同；在 語音模組部分，第一步在取得語音的參數後，分析針對 不同語音參數在不同情緒上所顯示的差異性，使用統計 方法或分類技術分析與分類，最後經由情緒決策判斷出 情緒。擷取的特微參數有音高（pitch)、共振峰 (formants)、速度（tempo)及強度（power)等，另外也有 分析語音韻律（prosodic)與語音學（phonetic)特徵，包 括音高（pitch)、倒頻譜（cepstrum)、小波（wavelet)、 線性預測係數（LPC)及梅爾倒頻譜參數（MFCC)等等，最後 透過分類技術將語音情緒加以歸類。 臉部表情模組則利用影像處理技術擷取臉部特徵 點，依不同部位的需要取不同的臉部特徵，包括眼睛、 眉毛 '鼻子、嘴巴及皺紋等臉部特徵。近年來臉部表情 研九都集中在臉#動作編碼系統⑽W ^ti〇n㈤ System，FACS)中動你 s是利用人在表、1 乍單元（ActiGnunits，AUs)的使用， 肉的原理，定義出尤不同臉部表情時會牽動不同臉部肌 及下半部臉兩部分。同的動作單元，大致分為上半部臉 情，所以特徵值於不同的情緒會W發不同的表 組成的動作單元也$會有不同的變化’因此臉部表情所 m 一同。纽㈣錢部表情所表達 雙模組辨識部分 大多為結合語音與臉部表情兩種

1269192 弧1α 2 G 模組而成。在特徵參數擷取方法與分析 :=:=情辨：其最大的問題便在於這些生理特 徵白非凡王反應真實心理狀態。情緒心理 示’情緒狀態的表現為-综合性的表徵，並ι = =訊得到。對於說話者而言，有時其語意;;容比^ 理表現便能體現當時的情緒反應。 、生 ❿就語意内容從事情緒研究，相較之下是 的。R〇bert〇等人指出人類在口語對話時會傾向於使用i 些特定的字詞來表達情緒’因為他們已經學習過那些字 詞會與其對應情緒有關。他們著重於負向情緒的研^， 由真實的電話語料，分為負向情緒與非負向情緒兩類， 並由兩位聽音員負責標註。他們發現，當他們聽到某此 特定的字詞時會感覺得負向情緒。因此他們除了聲學的 特徵，再結合語言資訊，以此來辨識正負向情緒。 F1〇rel la等人的研究主題則為情感自然語言生成。 以-個醫療對話的案例研究為例，此對話為醫師向患者 解釋病情及治療療程等事項時的對話。相同的事實 於用子遣詞上的差異，會讓患者有不同的感受，因此本 發明中以這個領域的對話為研究對象，以完全人工制訂 規則（rule-based)的方式，定義了非f多的規則來依 不同的情況生成不同的情感文句。 上述語言學上的情緒相關研究有二大缺點，1)·情緒 關鍵字的使用雖然有助於情緒辨識的正確率。但光就情 8 1269192 i---二.一~.................... I ji /，广 ........一 ..一 “一— 丨 F 月-pF：,::..f # f ； 緒關鍵字而言，僅是語言學上最淺顯的資訊，還有其它 語言學上較枣層的資訊可以應用於情緒上的研究，:= 語意等資訊；2)·由人工定義的情緒規則，由於領域的改 變，情緒規則也就跟著改變，須由這領域的專家再依需 要由人工定義規則，所花費的人力與時間均相當龐大。 而且當應用領域改變時，所有的工作又需全部從頭再建 立一次，非常不具可移植性。 【發明内容】 ^ 由於情緒辨識相關的研究令，單由語音 的情緒辨識並無法得到足夠資訊，而由語言學上進行= 情緒相關研究又侷限於情緒關鍵字使用及人工定義的情 緒規則，故基於關鍵詞的辨識系統無法應付多樣且複雜 的自然語言，而人工定義的規則又常與應用領域相關\ 當領域改變時，情緒規則也就跟著改變，須由不同領域 的專家再依需要定義規則，所花費的人力與時間均相當 龐大，非常不具可移植性，因此本發明之主要目的便以鲁 月b克服上述兩項缺點為考量，建立一個能分析文句語意 =容，並具有可移植性的系統架構，為解決自然語言的 多樣性且複雜性，本發明中定義了在一般語言上與領域 無關且表達某些特定語意的語意標籤；而為了達到領域 無關的要求，本發明運用資料探勘的技術，自動由訓練 ^料中生成情緒規則，最後利用自動生成的的情緒規則 將語句化為向量空間，並訓練出情緒分類模組，在於可 1269192 I年月日正替換頁： π r-m:一—一…一^一—命明和τΐ丨…一一ν 藉由對使用者情緒反應的探知，辅助其在其餘溝通介面 上之不足，同時可取代電腦系統慣常之僵化反應介面， 以利更自然之溝通介面設計。 為達上述之目的，本發明語意情緒分類系統，其係 先建立一語意標籤系統，而該語意標蕺之建立係包含有 一基本規則收集、一語意標籤定義及一語意標籤定義準 則，並藉由一延伸式標籤語言（XML eXtensiMe 叩

Language)來記錄所有得到不同的語意標籤定義，以供電 腦自動標註語意標籤； 一語意特徵轉換系統，係用以將語意標籤中所得之 情緒特徵詞轉換為一向量；以及 一支持向量機模組訓練系統，係藉由一可適合資料 稀少時的分類模組，由輸入之情緒向量訓練得到分類模 組；可藉由對使用者情緒反應的探知，辅助其在其餘溝 通介面上之不足，同時可取代電腦系統慣常之僵化反應 介面，以利更自然之溝通介面設計。 【實施方式】 凊參閱『第1圖〜第1 6圖』所示··本發明係一種語 ，情緒分類系統（如第i圖所示），其係先建立一語意^ 籤系統1，而該語意標籤系統1之建立係包含有一基本 規則收集1 1、一語意標籤定義丄2及一語意標儀定義 準則1 3，並藉由一延伸式標籤語言（XML eXtensiMe kup Language)來§己錄所有得到不同的語意標籤定 1269192 月曰修(#)正替換頁 義，以供電腦自動標'註語意標籤； 一語意特徵轉換系統2，係用以將語意標籤系統工 中所得之情緒特徵詞轉換為一向量；以及 一支持向量機模組訓練系統3，係藉由一可適合資 料稀少時的分類模組，由輸入之情緒向量訓練得到分類 模組。 而由上述可知本發明中之架構大致可分為三部分， 分別為語意標籤系統l(semantic iabei definition)、 叩忍特徵轉換系統2 (semantic feature transformation)及支持向量機模組訓練系統3 (§νΜ model training)，其三者間之作用關係如第工圖中所示； 上述所提之語意標籤系統1之定義係包含有一基本 規則收集11、—語意標籤定義12及-語意標藏定義 而"亥基本規則收集1 1係為基本情緒引發因素情勒 匕理子上的研究顯示，有關情緒心理學研究，還沒有一 個統:的理論’因此本發明考量相關研究上所提^的指 二並歸納了兩種情緒的基本引發因素，也是本發明主要 著重的兩種情緒，分肢快樂與不快樂，其中不快樂包 悲傷等情緒’以下是所歸納得的基本情緒引發 因素其係包括有： 支持樂情緒：目標無法達成、失去某人的情感 ΐ% 的負面評價、失去（遠離）有利的東西、 付到（接近）有害的東西、失去（遠離）喜歡的東西、 1269192 侵犯、造成生理傷害。 只核又到 2 ·快樂情緒：解除壓力、達成目標、得到 情感支持、得到某人的正面評價、得到（接近）有利的東 西 '失遠離）有害的東西、得到（接近）喜歡的東西、 失去（遠離）不喜歡的東西。 而該語意標籤定義i 2之準則係根據 (Η〇_)中的概念加以定義而為語意標籤定義準則工 ^ ’為了由輸人的文句中正補取出語意特性，本發明( 針對語意特性中的語意詞定義語意標籤i，除 意特性之外，同時參考知網4與中文詞類分析二 項資料作為語4標蚊義1 2的重要來源。 而^亥知網4 (Hownet)是-個以漢語和英語的詞語所 八表的概念為描述物件’以揭示概念與概念之間以及概 2所具有料性之__為基本内容时識知識庫， 該=4共收錄了啊帽漢語詞語，涵蓋的概念總量 62Π4個，目前尚在擴充中。 % —知網4最主要的知識均在一份文件中，此文件中每 居的概念及其描述形成―筆記錄，每—筆記錄都 以Ϊ含八^内容，其中每一項都由兩小部分組成，中間 ^ Η &刀隔’=的左側是資料的功能變數名稱，右 1疋1料的值，它們的排列如第3圖所示。 性，ί網f中定義一個詞語的概念，除了標註其類別屬 還要定出其附加屬性，知網4的標識符號是和附加 12 1269192 -if-. 6 }正替姨頁 屬性一起使用的，若概念屬帶任何的 標識符號，則表示該附加屬性是該概念的本質屬性，請 參閱第4A、4B及4C圖，該第4A、4B及4C圖月 中列出各標示符號之簡介。 知網除了定義每個詞的特徵外，對於名詞的主要特 徵與動詞的主要特徵，同時提供上下位的_，所謂上 下位關係就是特徵與特徵之間具有階層式的關係，在上 位者為在下位者的共同特徵，在下位者為具有上位者特 性的特徵’其建構起來就像是—顆階層樹，這兩份文件鲁 在本發明中也佔有很重要的一環。 了三種語意標 而本發明語意標籤定義工2中定義 籤’分別另列如下： 立1·特定語意標籤：表達特定語意的語意詞，特定钮 =票藏是用來表達動作語意詞的，例如[達成]、[解除]°、 yj]、[失去]等。為了讓電腦可以自動由文句中正確 =對應的語意標藏’使用知網中對動詞的定義來加 根據知網中動詞主要特徵階層的文件裡共803個 、二=’選取出其中具有表達特定語意的特徵詞。再將 寺徵詞分為15類’成為15個特定語意標籤的定義。 徵詞中’最後約有147個動詞特徵詞 「皮=為特疋語意標籤的定義。舉例而言，動詞特徵 achleve丨達成」、「❿地丨完畢」...等，皆有，， 的思涵，因此均為特定纽音 詞特徵「earnl賺」、「r : 、達成」的定義；而動 receive!收受」…等，則皆有“達 13 1269192 ϋ曰鮮攸替換頁 成”的意涵，因此均為特定語意標籤「得到」的定義， 如第5 A、5 Β、及5 C圖所示，其係為〗5個特定語意 標籤及其定義的動詞特徵。 2·否定語意標籤：具有否定意味的語意詞，由於否 定語意有較為明顯的特徵，因此定義較為簡單。將知網 的所有詞的DEF中具有特徵「neg丨否」的詞全部直接擷 取，以及少數由中文詞類分析技術報告中所列舉的否定 詞全部擷取，直接成為否定語意標籤的定義。第6圖為 否定語意標籤及其列舉。 3·轉折辅助語意標籤··具有語氣轉折的語意詞，轉 折辅助語意標籤的定義可經由觀察知網中所有的副詞與 連接岡，將具有轉折語氣的詞直接操取，成為轉折辅助 浯意標籤的定義。本發明根據轉折語的特性，將轉折語 思標籤分為二種，一為[轉折〜擷取],另一為[轉折〜省 略]。轉折輔助語意標籤的功用為··在複合句中，將真正 代表此複合句語意的特定語意擷取出。轉折語氣詞是可 、直接列舉的，第7圖為一種轉折辅助語意標籤及其 舉。 八 在元成上述之定義後藉由一延伸式標籤語言（xml jtensible Markup Language)來記錄所有得到不同的語 意標籤定義，以供電腦自動標註語意標藏，$目前最^ 廣泛使用的標籤語言，標籤語言是一組規則，事先定義 好的文法及言吾法，用來決定當文件被這組規則標示時， 該以特定的方式來呈現，為了兼顧轉移性及功能性，我 95. 1U 4 1269192 門使用XML語法來記錄所有的語意標藏定義，使用祖為 格式來描述語意標籤，主要優點為格式簡單、易於理解 且使用者容易自行新增新的語意標籤及定義。 … 該-思特徵轉換系統2，係用以將語意標籤丄中所 緒特徵詞轉換為-向量，而該語意特徵轉換2係 ^ s —自動語意標籤標記2 i、一語意記錄榻取2 2、情緒規則探勘23及—特徵轉換2切構成；其中， =自動語意標籤標記21_取文句語意特徵的第 音二標鐵的!票記’將文句中具有表達某-特別語 :俨：二主ί其標麵，系統的自動標記能力主要來自語 石紙的疋義’如第8圖所示係為自動標註程序之虛擬 石馬0 韓換取22，係為文句中有兩種資訊將會 容，、如動己錄’第一種資訊為特定語意標鐵的内 ί簸=-會經過自動標註程序會被標上[得到] :種4意標籤[得到]會被加入語意記錄中，第彳 衫貝標藏的詞外其它具有候選詞性的詞加以 =至=，殊的是，轉折輔助語意標』是二 面上的咅：二己::輔轉折輔助語意標籤的角色如同字 :特=r們所松演的功能，而同-詞的主 要特徵則形成一個特徵隼八 王 取的程序如第9 4及9 β、° ( EFset) ’整個語意記錄榻 固所不*。 1269192 該情緒規則探勘2 3係由於不Λ領域、不同背景的 人，情緒表達的方式、引發情況不盡相同，但會有某部 分此領域共通的情況讓每個同一團體的人均引發相同的 情緒。本發明中應用資料探勘技術的主要目的，就是希 望經由資料探勘，自動將此種領域中這種共同的情況擷 取出，並以規則的形式表現，即為情緒規則。 而該資料探勘的資料格式主要有兩種，relational database table (關聯式資料表）和 transaction data (交易資料），而探勘的方法主要也有兩種， classification mining (分類探勘）和 association mining (關聯探勘）。本發明中的資料形態與transaction data(交易資料）較相近，而association mining(關聯探 勘）的探勘方法則較符合要求。針對transact ion所探勘 出來的規則稱為association rule (關聯規則）， association rule以下列形式呈現·· association rule: AB with Sup(A,B) = s Conf (A B) = c 其中 Sup 為 support(支持度），Conf 為 Confidence(信 任度），定義如下 1269192

Sup(A，B) T{AB) Τ_

T(A,B) 中）

Conf(A^B) = 上式中T (A)表示包含項目A的資料筆數；T (A，B) 表示同埒包含項目A、B的資料筆數；Ttotal則是全部的 資料筆數。學者Agrawal於94年提出資料探勘演算法 Apriori Algorithm，為一影響力甚矩的演算法，完整流 程如第1 0圖所示。 針對本發明中所使用的資料格式内容，若詞T的主要 特徵為X與Y，令X與Y形成一筆DEFset。由於是將主要特 徵加入至語意記錄中，因此X與Y總是一同出現在同一筆 語意記錄，以至於將X與Y包含於某一 large itemset(最 大項目集合）中是無意義的。 另外，由於本發明中是以被標註的語意標籤内容為 中心，所以所要求的情緒規則形態為T+D，其中T為標註 的語意標籤内容，可以是多個，而D為某主要特徵，也可 以是多個，所以不論是TUT2 + D1或是T3今D2aD3均 有可能，有鑑於此，本發明在原來的Apriori Algorithm 中多加了二條限制，使我們最後所得的規則是有意義 的，請參閱第1 1圖，該第1 1圖係為加上此限制後的 演算法。 該特徵轉換2 4，由於情緒規則可利用來將每一筆 17 1269192 空錄轉換為一向量表示，每一條情緒規則代表向量 21的一個維度，假設不快樂情緒規則為<，％···，$，体 ，情緒規則為«···，<,則每一 曰 、 (<，<，···，<，«，/) 則母筆浯思圮錄的向$表示為 門 ’表示該語意記錄在維度為2r的向量空 八的—個點，而每一個維度的值為多少，將由維度 为方法所決定。 在叶分時，先檢查語意標籤1部分，若符合要求， 進步對主要特徵部分作檢查，最後得此維度分數。 屬^徵列在知網4的定義中，有階層關係，也有附加 X關係’所以在針對主要特徵部分計分時，若不是完 二中’將考慮其是否有階層關係，以及是否有附加屬 性關係，以此作計分上的擴充。 a a在知網4中’主要特徵結構最深共分七層’而且階 立=深’其關係愈密切，即語意愈相近，計分時，當語 彔中的特徵δ司與情緒規則中的特徵詞不完全符合 J便考慮其是系有階層關係，兩個特徵詞A，Α的比對 分數為

Vp(DnDj) = if • D: ifD, φ Dj 其中（A’D7)為兩個特徵詞最大相同路徑長，吟(糾)) 為此階層中的子節點赵·與^ η ’舉例而言，當θ =「symbol丨符 號」與7=「language I纽丄 ^ I °σ έ」時。「symbol丨符號」的階 18

1269192 曰、扁號為1·1·2·5·1·1 ，而「language I語言」的階 ，而 為4，所以最後所求得的分數 0.1785 層為丨·丨.2.5· Γ，所以兩個特徵詞比較之下，αζ(α，ζ)7) 為 5，而 28 如果語意記錄中的特徵詞又有一附加屬性符號存 在’再依不同的屬性關係再進行運算。知網定義有八種 屬性關系’不同附加屬性敎義之不同計分方式如下： 直接相關............. (4/4) #·.................…·· ·（3/4) 〇/°，&，？····............(2/4) *，$.....................(1/4) ....................(0/4) 錄為，文句’經轉換後其語意記 個特徵詞。同時存在-規則二 ==::=論得-徵詞。_ q 職92 。 //資 而該支持向量機模組訓練系統3，其係包含有··一 · 奇異值分解3 1、-支持向量機模組訓練3 2及一分類 模組訓練3 3所構成，其係將全部的語意記錄轉換 量表示後’可得-個原始矩陣WMxN，其中列M為全部語; 記錄筆數，行n為情緒規則數，此原始矩陣有下列幾項ς 點，第-：此原始矩陣為-稀疏矩陣，第二： w 和时能很魔大’第三：此向量空間中的維度不保證又互相· 獨立，即不保證正交，因此在訓練分類模組之前，運用 了奇異值分解將原始的向量空間轉換至另一維度間 的向量空間上。 則W經過奇異 該奇異值分解3 1係令原矩陣為WMxN 值分解後= 其中 ϋ為（MxR)的左奇異矩陣 S為（RxR)由奇異值組成的對角矩陣 V為（NxR)的右奇異矩陣 為所決定的新的向量空間的維度； 請參閱第1 2圖，細微SVD(奇異值分解）示意圓，由 圖中可知語意記錄的向量表示維度明顯減少了， 的N減為R ’這可降低電腦運算的計算複雜度，經過奇異 分解3 1後的向量空間轉換還有其它優點，—為維^ ί也訊中的雜訊去除，同時具有鐘別性的參 、Α作為接下來分類模組訓練的資料。 該支持向量機模組訓練3 2，由於支持向量機 20 1269192

(Support Vector Machine)簡稱 SVM ，是由 Vladimir Vapnik在1979年開始研究愛展的一種分類方法，使用svm 最大的優點有二：一為SVM具有清楚的理論與完整的架 構，同時實作容易而且效能良好。二為SVM特別適用於資 料量不足的時候，因為其理論只需要存在幾個關鍵的 support vector(支持向量）就足以達到分類目標。 SVM的分類方法可由第1 2圖中觀之，SVM經由定義 一個Decision function D(x)(決策函數）來找到一條分 隔線’亦即SVM所稱的hyperplane(超平面），來將這些資春 料分為二類，Decision function D(x)的定義如下: 因此Decision function D(x)可改寫如下： hyperplane的D(x) =0，而距離hyperplane最近的資

料點就是所謂的support vector，因此將support vector 代入Decision function 的值為 D(x) = 1 與D(x) = -1， 也就是圖中的二條虛線，而其餘資料點代入Decision function必定大於1或小於-1，若資料點代入Decision function大於1為其中一類，小於-1則為另一類。 若資料無法在所在的維度下明確的分類，SVM會將資 料轉換至高維度之後再做分類，轉換公式如下： Φ··Κη 4/Τ，ηι>η 為簡化内積運算，SVM定義kernel function(核心函 21 1269192

f#¥i 義如下： 式）來加快運算的速度，kerneΓfunction定 办，少) = Φ〇〇·Φ(〜） 而常用的kernel function有下列幾種： Simple dot:

Vovk’s polynomial: k(x^y)^(x-y+i)p

Sigmoid

Radial basis function: kernel:取>0=tanh师·少)一θ) 該分類模組訓練3 3，其係經過向量空間的轉換 後，即可由這些在語意特徵空間上的點來訓練分類模 組，若原始矩陣W的任一列向量所有維度上的值均小於情 緒規則吻合門檻值，代表此一語意記錄與任一情緒規則 符合度均太低，則將這種的語意記錄自動歸為無情緒類 別，因此最後訓練所得的模組為可分類三種的情緒的分 類模組，分別是不快樂、快樂與無情緒。 而在完成上述各系統之建立後，則如第i圖所示， 最後將得到之分類模組即可運用於分類架構中，作為分 類依據，而該分類架構則如第2圖所示，其中當使用者 輸入文子時係透過以建立完成之語意標籤系統工 配合自 動語意標籤標記2 1及知網4的定義，並經過語意記錄 擷取2 2將所輸人文字之特定語意標籤的内容以及語意 標籤的詞外其它具有候選詞性的詞轉換為一筆語意記 錄，再以特徵轉換2 4將語意記錄與情緒規則中的主要 特徵詞部分作檢查後加以轉換，而得到輸入文字的情緒 分類，並搭配支持向量機模組訓練系統3將，所輸入文 22 1269192 -Ί. y. j \ Jy ) ΕΓ 5H i 字之情緒（如不快樂、快樂與無情緒）加以輸出。 而為實現本發明所提的方法，本發@具體實現一經 由語意内容理解使用者情緒之對話系統（如第工3圖所 示）；同時，為測試本發明中所提出的各項參數之最佳情 形，本發㈣同時實現—參數測試平台，專供領域更換 或有新語料加入時的模組訓練之用，此平台如第工4圖 所示，該第1 4圖中所示之對話系統中，使用者可在圖 中間部分輸人與系統的對答文句，线經本發明所提之 特徵轉換之後’載入事先訓練之情緒分類模組進行分 類’經由不同的情緒分類結果’系統可再提供不同的回 應給使用者’並接受下次輸人，系、_料，會將本次 2所得之使用者情緒以改變輸人框底色及文字顯示方 2現於介面中央及左側，同時，在介面下方三個方框 錢處料財的語意顧標註結果及語意記 錄轉換過程。 i由於事先訓練之情緒分類模組與領域相關，因此若 要進订其他領域的對話時’必須事先i 行訓練；請參閱第i 5圖，該第i 關的4進 弟1 5圖中所示之測試介 =，可以經由批次測試各項不同之參數組合，並選擇 、，、。果之參數組合自動訓練辨識模組，此兩模組… 為一具快速轉換領域能力之情緒分類系統。 …口 友疋，本發明之建立’主要針對語意内容之情緒分 私明。立版口思内奋中的多樣性及複雜性，本 *引入語思標戥的定義，利用知網對於中文詞的廣泛 23 1269192 °年一貪日修(,)正替換頁 涵蓋度’定義出屬於語意内容中不隨領域及語者而變的 =語意詞；_對於足料彡響«表現的轉折及否定 氣也併'，内入考里，另外，本發明中藉由自動情緒 規則建立的技術’解決不同領域間的實務差異；經由自 動情緒規則的建立，使用在更換領域時，可經由語料的 簡單標註及測試’線上建立不同領域之模組共提供分 類’最後，整合知财主要特徵的階層及逹㈣係於計 分中’可再進—步擴大本發明中情緒分類規朗能處理 的文句深度’以下進一步針對前二部分陳述本發明之優參 (1)語意標籤定義： 月·】已有之文句内谷情緒辨識技術，係以情緒關鍵 詞為之，祕統計方法可㈣各敎A致情緒表現狀 況，但統計結果—旦完成，每個詞所具備的情緒表現即 固定下來，無法再經㈣_文法結構組合得到不同的 情緒反應。有餅此，轉日錄棄㈣之情緒關詞方 式，改以語意標籤之定義代替。此語意標籤透過知網定 義’有效解決_職乏彈性㈣題，而其所衍生出來 的標註涵蓋率問題，料經由自動標註適度取得平衡。 經測試結果’本發明之語意標籤定義涵蓋率可達刪。 (2)自動情緒規則生成： ° 自動情緒規則的引入是為了減估 勹j馮低人工介面入的深 度’备語意標籤可以經由電腦自較義時，經由資料探 勘技術所得到的規則便具有語意成份而可供情緒分類之 24 !269192 ΓΙΒ : 丨 丨.’h‘ .月 ？’1.:声〉止昏細丨 用。該技術在減低人力成本及避免人主可能造成的錯誤 上有著顯而易見的優點。根據本發明中所述的顯算法， 自動情緒規則的生成乃基於不同參數的最佳組合，請參 閱第1 6圖’該第1 6圖中顯示不同參數組合下的分類 =確率比較。此圖中所使用的核心函式為d〇t pr〇duct， 橫軸為Conf，縱軸為平均召回率，菱形標記為Sup = 〇.5 時的資料，正方形標記為Sup =】時的資料，三角形標記 為Sup = i.5時的資料，交又形標記為細=2時的資料。 四個圖中分別顯示四種情緒規則吻合門檻值的分類正確 率情形’由圖中可看出，最佳的分類正確率可達到約88%。 由以上詳細說明’可使熟知本項技藝者明瞭本發明 :確可達成前述目的，實已符合專利法之規定，爰提出 才’J审5香。 【圖式簡單說明】 圖。 圖0

^圖，係本發明之語意情緒分類系統訓練架構示意 =係本發明之語意情緒分類系統測試架構示意 第3圖，係知網的記錄形式示意圖。 第4 A 第5 A 圖〇 4 B及4 C圖 5 B及5 C圖 係知網的附加屬性示意圖。 係本發明之特定語意標籤示意 第6圖’係本發明之否定語意標籤示意圖。 =圖，係本發明之轉折辅助語意標籤示意圖。 圖，係本發明之自動語意標籤標註程序示意圖 25 1269192 ΓθΓΓΟΤ I年月曰修(^止替換頁 .- 第9 A及9 B圖，係本程序示意圖。 第1 0圖，係本發明之Apriori algorithm示意®。 第 1 1 圖，係本發明之Adaptation of Apriori algorithm 示意圖。 第1 2圖，係本發明之奇異值分解示意圖。 第1 3圖，係本發明之支持向量機分類示意圖。 第1 4圖，係本發明之語意情緒分類系統示意圖。 第1 5圖，係本發明之語意情緒分類模組訓練系統示意 圖。 第1 6圖，係本發明之核心函式為dot product之分類正 確率與對應參數關係示意圖。 【元件標號對照】 語意標籤系統1 基本規則收集11 語意標籤定義12 語意標籤定義準則13 語意特徵轉換系統2 自動語意標籤標記2 1 語意記錄擷取2 2 情緒規則探勘2 3 特徵轉換24 支持向量機模組訓練系統3 奇異值分解3 1 26 1269192

支持向量機模組訓練3 2 分類模組訓練3 3 知網4 27

Claims (2)

1269192 日修^iL·替俠貞| 拾、申請專利範圍： 一種語意情緒分類系統，其係先建立-語意標籤系 統，而該語意標籤之建立係包含有一基本規則收集、 一語意，籤定義及—語意域定義準則，並藉由-延 f 式標戴語言（XML extensible Markup Language)來 記錄所有得到*同的語意標籤定義，以供電腦自動標 註語意標籤； 一語意特徵轉換系統，係用以將語意標射所得之情 緒特徵詞轉換為一向量；以及 一支持向量機模組訓練系統’係藉由—可適合資料稀 少時的分類模組，由輸人之情緒向量訓練得到分類模 組0 、 2.依申二專利㈣第i項所述之語意情緒分類系統，其 中-亥基本規則收集主要著重的兩種情緒語意，分別 是快樂與不快樂。

3·依申請專利㈣第χ項所述之語意情緒分類系統，其 中，該語意標籤定義包括有：一特定語意標鐵，該特 f語意標籤係表達特定語意的語意詞、—否^語意標 叙，該否定語意標籤係具有否定意味的語意詞及一轉 折輔助語意標籤，該轉折辅助語意標藏係具有語氣轉 折的語意詞。 4·依U $範圍第1項所述之語意情緒分類系、統，其 中三該語意標籤定義準則係配合知網（H_et)中的概 心疋義知、’周中的概念連結、知網中的主要特徵階層、 28 .1269192

正替.換1 詞性、詞位、 族群。 特定關鍵厨xw t間也1樣式而組成^ 5·依申請專利範圍第i項所述之語意情緒分類系統，其 中’該語意特徵轉換系統係包含有：一自動語意標藏 標記、一語意記錄擷取、情緒規則探勘及一特徵轉換 所構成。 6·依申請專利範圍第5項所述之語意情緒分類系統，其 中"亥自動語意標籤標記，其係將文句中具有表達某 特別浯忍的詞標註上標籤，而該自動語意標藏標記馨 之自動標記能力主要係來自上述語意標籤的定義。 7·依申請專利範圍第5項所述之語意情緒分類系統，其 中>，該語意記錄擷取，其係將特定語意標籤的内容以 及語意標籤的詞外其它具有候選詞性的詞轉換為一 吞吾意記錄。 # 8·依申請專利範圍第5項所述之語意情緒分類系統，盆 中，該情緒規則探勘，其係將同領域中之共緒^ 況擷取出，並以規則的形式表現，可利用來將每一筆籲 語意記錄轉換為一向量表示。 9.，申請專·圍第5項所述之語意情緒分㈣統，其， 。玄特徵轉換’係將語冑記錄與情射的主 特徵詞部分作檢查後加以轉換。 1〇φ依申請專㈣圍第1項職之語意情緒分㈣、統，A 中，將該全部的語意記錄轉換為向量表示後，可2 個原始矩陣WmxN’而該顺為全部語意記錄筆數，行N為 29 1269192 情緒規則數。 j年月瞀换頁 Η·依申請專利範圍第i項所述之語意情緒分類系統，其 中，該支持向量機模組訓練系統係包含有：一奇異值 刀解支持向量機模組訓練及一分類模組訓練所構 成並在該支持向量機模組訓練之前，係運用奇異值分 解將原始的向量空間轉換至另一維度間正交的向量空 間上。 12·依申請專利範圍第1 1項所述之語意情緒分類系’ 統’其中，該奇異值分解係令原矩陣為^^，貝彳界經過奇馨 異值分解後為，其中的左奇 異矩陣，S為（RxR)由奇異值組成的對角矩陣；V為（Νχ R)的右奇異矩陣，·仙為所決定的新的向量空 間的維度。 13·依申請專利範圍第1 1項所述之語意情緒分類系 統，其中，該支持向量機模組訓練係經由定義一個決 策函數（Decision functi〇n D(x))來找到一條分隔

線’而該決策函數（Decisi〇n functi〇rl D(x))的定義 如下·· 維度之後再做分類，轉換公式如下： 法在所在的維度下明確的分類，則會將資料轉換至高 = ，其中 function D(x))可改寫如 因此該決策函數（Decisi〇n ^ω=Σ^^·^)+νι；〇 w 次，· ' ，右資料無 Φ.·ΙΤ —Rm，m>n 為簡化内積運算’係定義kernei functi〇n(核心函式） # VO. iU. ^ t) 1269192 年月曰修替換頁 加快運算的速度，kernel function定義如下： k(x9y) = 0(x)^(Xj) 而常用的kernel function有下列幾種： Simple dot: _，少)=尤少 Vovk’s polynomial:取少 Radial basis function: ^^)=exp(+—>f2/於2) Sigmoid kernel:取少) = tanh(众(χ·少)-®) 〇 14·依申請專利範圍第1項所述之語意情緒分類系統，其 中，該分類模組，其係經過向量空間的轉換後，即可 由這些在語意特徵空間上的點來訓練分類模組，可得 到三種情緒分類的分類模組，分別是不快樂、快樂與 無情緒。

1269192 符 號 說明 例子 例子說明 ， 多個屬性 w—c =男士 「人」和「男」同時 之間，表 D E F = h u m a η | 人， 是概念「男士」的本 示”和”的 關係 male| 男 質屬性。 # 附加屬性 W 一 C =顧客 次要特徵「商」的前 和概念相 DEF = human 1 人， 面加了 #的標識符 關 * buy 1 買,#commercial| 商 號，表示「顧客」這 一概念，本質上不具 備「商」的特徵；然 而這一概念與「商」 相關，其出現的情景 通常都具有「商」的 概念，如「這位顧客 常來本店光顧」等 等。 % 附加屬性 w—C=中央處理器 附加屬性「電腦」是 是概念的 DEF = part| 部 概念「中央處理器」 整體 件，％computer 1 電 腦，h e a r 11 心 的整體 & 附加屬性 W 一 C =味道 附加屬性「食物」是 是概念的 DEF = attr ibute 1 屬 概念「味道」的宿主 第4 A圖 1269192 '象- # 日 if(d) )正替換頁 宿主 性，t a s t e丨味 道，& edible|食物 * 概念疋附 加屬性的 施事或工 具 W—C=買主 DEF= human| 人，#commercial| 商，*buy|買 w 一 C=訂單 DEF= document | 文書，*buy| 買，commercial| 商 概念「買主」和「訂 單」是附加屬性「買」 的施事和工具 @ 概念是附 加屬性的 空間或時 間 W 一 C =店 DEF = InstitutePlacej 場 所，* s e 111 賣，@buy| 買,commercial) ^ 概念「店」是附加屬 性「買」的空間 ? 概念是附 加屬性的 材料 W — C=紙漿 DEF= material| 材 料，？paper丨紙張 概念「紙漿」是附加 屬性「紙張」的材料 $ 概念是附 加屬性的 受事、對 象、領有 物、内 W 一 C=公約 DEF= text| 語 文，$obey丨遵循 概》念「公約」是附加 屬性「遵循」的内容

1269192 容、或可 被附加屬 性處置 A 概念表示 附加屬性 不存在、 沒有、或 不能 w_c=—次性 DEF= aValue 丨屬 性值，effect丨效 用，Λ1 a s t i n g丨悝 「一次性」表示非恒 久 1269192 m come| 來 [遠離] leave|離開、flee|逃跑、escape!躲避、 separate!分離、disconnect|脫離、farewell| 離另丨J、go|去、LeaveFor|前往 [表示好 FeelingByGood|好情、AtEase|安心、calm| 情感] 鎮靜、joyful丨喜悅、satisfied丨滿意、 FeelNoQualms|無愧、shameless|沒羞、 BeWell|健壯、prosper丨發達、win|獲勝、 surpass!強過、WellKnownj成名、respect| 敬佩、admire丨羨慕、jealous丨妒忌、please| 取悅、tease|取樂、ShowJoyl示喜、lucky| 幸運 t表示壞 FeelingByBad|壞情、uneasyl 不安、 情感] GuiltilyConscious丨心虚、unsatisfied| 不 滿、m e 1 a n c h ο 1 y 丨惆悵、u p s e 11 煩惱、s a d | 憂愁、sorrowful| 悲哀、fear| 害怕、surprisel 驚奇、flurried|驚慌、worriedj著急、angry| 生氣、disheartened|灰心、repent|懊悔、shy| 羞愧、embarrassed!為難、disappointed| 失 望、sorry|惋惜、pity|憐憫、disgustj厭惡、 stupefied|木然、blame丨埋怨、hate丨仇恨、 TolerateNot| 不容、disloyal| 不忠 1表示變 MakeBetter|優化、improve|改良、enrich| 佳] 充實、resumej恢復、BecomeMore丨增多、 第5 B圖 ) ID. 28…〜....； '.…-.〜〉—一-一.… 1269192 add|增加、MakeHigher|提高、beautify丨美 化、upgrade| 升級、BeRecovered|復原 [表示變 lack|缺少、ecomeLess|減少、subtract丨削 糟] 減、exhaust!損耗、fail|失敗、err|出錯、 defeated|輸掉、MakeLower|降低、uglifyj 醜化、degrade丨降級 [正面評 praise|誇獎、reward|獎勵、 價] Express Agreement | 示同意、accept|接受、 appreciate!贊成、agree| 同意 [負面評 ExpressDissatisfaction| 示不滿、protest| 價] 抗議、ExpressAgainst|缝責、disagree丨不 同意、satirize|諷刺 [衝突] fightj爭鬥、uprise|暴動、resist丨反抗 [阻礙] obstruct丨阻止、restrain|制止、prohibit丨禁 止、TurnOffj止動 1269192

95. KX.26 jj： 若s為- -輸入句 文句前 處理 擷取每 個項目在知網中的主要特徵 for (每 個項目） if (有任一主要特徵與某特定語意標 籤 的 定 義 符 合） 將此 項目標註上某特定語意標籤 else if (此項目的詞本身與否定語意 標 籤 的 定 義 符合） 將此 項目標註上否定語意標籤 else if (此項目的詞本身與某轉折輔 助 語 意 標 籤 的定 義符合） 將此 項目標註上某轉折輔助語意標籤 else 此項 目無標籤 1269192

若s為經過前處理及自動標註程序的輸入句 if (S為單一句） if (S沒有“[轉折〜省略]"此標註） for (其它沒有被標註的名詞及動詞的項目） 此項目在知網裡的主要特徵組成一個集合 將所有的集合與被標註的語意形成語意記錄 e 1 s e i f (S為複合句） if (S中任一單句中有”[轉折〜擷取]”此標註） 抓取單句被標註的語意 1269192 for (其它單句） for (其它沒有被標註的名詞及動詞的項目） 此項目在知網裡的主要特徵組成一個集合 將所有的集合與被標註的語意形成語意記錄 else if (S中任一單句中有·’[轉折〜省略]”此標註） 抓取此其它單句被標註的語意 for (所有單句） for (其它沒有被標註的名詞及動詞的項目） 此項目在知網裡的主要特徵組成一個集合 將所有的集合與被標註的語意形成語意記錄 else if (S中均無·•[轉折〜擷取]”標註與"[轉折〜省 略]n標註） for(所以單句） for (其它沒有被標註的名詞及動詞的項目） 此項目在知網裡的主要特徵組成一個集合 將所有的集合與被標註的語意形成語意記錄 麝 第9 B圖 1269192 柒、指定代表圖 (一） 本案指定代表圖為：第（1 )圖。 (二) 本代表圖之元件代表符號簡單說明： 語意標籤系統1 基本規則收集11 語意標籤定義12 語意標籤定義準則13 語意特徵轉換系統2 自動語意標籤標記21 語意記錄擷取2 2 情緒規則探勘2 3 特徵轉換2 4 支持向量機模組訓練系統3 奇異值分解31 支持向量機模組訓練3 2 分類模組訓練33 知網4 捌、本案若有化學式時，請揭示最能顯示發明特徵的化學式：