TWI688902B - 應用於表情辨識之拓展式局部二值模式方法及其系統 - Google Patents

Abstract

本發明提供一種應用於表情辨識之拓展式局部二值模式方法，其資料定義步驟係定義像素區塊，像素區塊包含中心點、八個鄰域像素點及十六個外層鄰域像素點。鄰域像素點圍繞中心點，外層鄰域像素點圍繞鄰域像素點。第一局部二值模式特徵萃取步驟係分別比對鄰域像素點之數值及中心點像素值而萃取出第一特徵資訊組。第二局部二值模式特徵萃取步驟係分別比對外層鄰域像素點之數值及鄰域像素點之數值而萃取出第二特徵資訊組。特徵資訊結合步驟係結合兩個特徵資訊組而形成拓展式局部二值模式特徵資訊。藉此，可大幅提升表情辨識的準確度。

Description

應用於表情辨識之拓展式局部二值模式方法及其系 統

本發明是關於一種局部二值模式方法及其系統，特別是關於一種應用於表情辨識之拓展式局部二值模式方法及其系統。

生物辨識技術在當前社會扮演著越來越重要的角色。從提款機、門禁系統、筆記型電腦以至於隨身碟等應用中，都可以見到生物辨識技術的應用，而較常使用的生物辨識技術為拓展式局部二值模式(Local Binary Patterns；LBP)。

習知的拓展式局部二值模式係定義在3×3像素塊中，將其中心點像素值作為閾值，並與周圍八個鄰域點像素值做比較。如果周圍鄰域點像素值大於等於閾值，則對應鄰域像素位置之特徵資訊就記為1，否則記為0。然後，將閾值化後的數值分別與對應位置像素的權重相乘再相加計算即可得到所需要的特徵資訊。然而，此種習知拓 展式局部二值模式所得到的辨識效果有限，已無法滿足人臉表情辨識之需求應用。

由此可知，目前此領域上缺乏一種高準確度的拓展式局部二值模式方法及其系統，故相關研究者均在尋求其解決之道。

因此，本發明之目的在於提供一種應用於表情辨識之拓展式局部二值模式(Expanded LBP)方法及其系統，其透過外層的第二局部二值模式特徵萃取步驟結合原本的第一局部二值模式特徵萃取步驟，所得之辨識結果較精確。

依據本發明的結構態樣之一實施方式提供一種應用於表情辨識之拓展式局部二值模式方法，其包含一資料定義步驟、一第一局部二值模式特徵萃取步驟、一第二局部二值模式特徵萃取步驟以及一特徵資訊結合步驟。其中資料定義步驟係定義一像素區塊，此像素區塊包含一中心點、八個鄰域像素點及十六個外層鄰域像素點。中心點具有一中心點像素值。八個鄰域像素點圍繞中心點，十六個外層鄰域像素點圍繞八個鄰域像素點。第一局部二值模式特徵萃取步驟係分別比對八個鄰域像素點之數值及中心點像素值而萃取出一第一特徵資訊組。第二局部二值模式特徵萃取步驟係分別比對十六個外層鄰域像素點之數值及八個鄰域像素點之數值而萃取出一第二特徵資訊組。特徵 資訊結合步驟係結合第一特徵資訊組與第二特徵資訊組而形成一拓展式局部二值模式特徵資訊。

藉此，本發明之拓展式局部二值模式方法利用特定的第二局部二值模式特徵萃取步驟結合原本的第一局部二值模式特徵萃取步驟來實現人臉的表情辨識，所得之辨識結果較好。

前述實施方式之其他實施例如下：在前述資料定義步驟中，像素區塊可呈一d×d矩陣，d等於2×n+1，n為正整數並大於1。八個鄰域像素點之數值分別為一第一鄰域點像素值、一第二鄰域點像素值、一第三鄰域點像素值、一第四鄰域點像素值、一第五鄰域點像素值、一第六鄰域點像素值、一第七鄰域點像素值及一第八鄰域點像素值。此外，十六個外層鄰域像素點之數值分別為一第一外層鄰域點像素值、一第二外層鄰域點像素值、一第三外層鄰域點像素值、一第四外層鄰域點像素值、一第五外層鄰域點像素值、一第六外層鄰域點像素值、一第七外層鄰域點像素值、一第八外層鄰域點像素值、一第九外層鄰域點像素值、一第十外層鄰域點像素值、一第十一外層鄰域點像素值、一第十二外層鄰域點像素值、一第十三外層鄰域點像素值、一第十四外層鄰域點像素值、一第十五外層鄰域點像素值及一第十六外層鄰域點像素值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取步驟可包含第一代表值產生步驟，此第一代表值產生步驟係比較第一外層鄰域點像素值、第二 外層鄰域點像素值、第三外層鄰域點像素值及第一鄰域點像素值而產生一第一代表值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取步驟可包含第二代表值產生步驟，此第二代表值產生步驟係比較第三外層鄰域點像素值、第四外層鄰域點像素值、第五外層鄰域點像素值及第二鄰域點像素值而產生一第二代表值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取步驟可包含第三代表值產生步驟，此第三代表值產生步驟係比較第五外層鄰域點像素值、第六外層鄰域點像素值、第七外層鄰域點像素值及第三鄰域點像素值而產生一第三代表值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取步驟可包含第四代表值產生步驟，此第四代表值產生步驟係比較第七外層鄰域點像素值、第八外層鄰域點像素值、第九外層鄰域點像素值及第四鄰域點像素值而產生一第四代表值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取步驟可包含第五代表值產生步驟，此第五代表值產生步驟係比較第九外層鄰域點像素值、第十外層鄰域點像素值、第十一外層鄰域點像素值及第五鄰域點像素值而產生一第五代表值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取步驟可包含第六代表值產生步驟，此 第六代表值產生步驟係比較第十一外層鄰域點像素值、第十二外層鄰域點像素值、第十三外層鄰域點像素值及第六鄰域點像素值而產生一第六代表值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取步驟可包含第七代表值產生步驟，此第七代表值產生步驟係比較第十三外層鄰域點像素值、第十四外層鄰域點像素值、第十五外層鄰域點像素值及第七鄰域點像素值而產生一第七代表值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取步驟可包含第八代表值產生步驟，此第八代表值產生步驟係比較第十五外層鄰域點像素值、第十六外層鄰域點像素值、第一外層鄰域點像素值及第八鄰域點像素值而產生一第八代表值。第一代表值、第二代表值、第三代表值、第四代表值、第五代表值、第六代表值、第七代表值及第八代表值依序排列而形成第二特徵資訊組。

依據本發明的結構態樣之一實施方式提供一種使用如前述應用於表情辨識之拓展式局部二值模式方法的拓展式局部二值模式系統，其包含一影像接收單元及一運算處理單元。其中影像接收單元接收一影像資訊，此影像資訊包含複數像素點。運算處理單元，訊號連接影像接收單元，運算處理單元包含一資料定義模組、一第一局部二值模式特徵萃取模組、一第二局部二值模式特徵萃取模組以及一特徵資訊結合模組。資料定義模組依據此些像素點 定義出一像素區塊，像素區塊包含一中心點、八個鄰域像素點及十六個外層鄰域像素點，八個鄰域像素點圍繞中心點，十六個外層鄰域像素點圍繞八個鄰域像素點。第一局部二值模式特徵萃取模組訊號連接資料定義模組，第一局部二值模式特徵萃取模組分別比對八個鄰域像素點之數值及中心點像素值而萃取出一第一特徵資訊組。第二局部二值模式特徵萃取模組訊號連接資料定義模組，第二局部二值模式特徵萃取模組分別比對十六個外層鄰域像素點之數值及八個鄰域像素點之數值而萃取出一第二特徵資訊組。特徵資訊結合模組訊號連接第一局部二值模式特徵萃取模組與第二局部二值模式特徵萃取模組，特徵資訊結合模組結合第一特徵資訊組與第二特徵資訊組而形成拓展式局部二值模式特徵資訊。

藉此，本發明之拓展式局部二值模式系統利用特定的第二局部二值模式特徵萃取模組結合原本的第一局部二值模式特徵萃取模組來實現人臉的表情辨識，所得之辨識結果較精確。

前述實施方式之其他實施例如下：前述像素區塊可呈一d×d矩陣，d等於2×n+1，n為正整數並大於1。中心點位於像素區塊之一中心位置，八個鄰域像素點分別位於一第一鄰域像素位置、一第二鄰域像素位置、一第三鄰域像素位置、一第四鄰域像素位置、一第五鄰域像素位置、一第六鄰域像素位置、一第七鄰域像素位置及一第八鄰域像素位置。第一鄰域像素位置位於中心位置之左上 方，第二鄰域像素位置位於中心位置之上方，第三鄰域像素位置位於中心位置之右上方，第四鄰域像素位置位於中心位置之右方，第五鄰域像素位置位於中心位置之右下方，第六鄰域像素位置位於中心位置之下方，第七鄰域像素位置位於中心位置之左下方，第八鄰域像素位置位於中心位置之左方。

前述實施方式之其他實施例如下：前述十六個外層鄰域像素點分別位於一第一外層鄰域像素位置、一第二外層鄰域像素位置、一第三外層鄰域像素位置、一第四外層鄰域像素位置、一第五外層鄰域像素位置、一第六外層鄰域像素位置、一第七外層鄰域像素位置、一第八外層鄰域像素位置、一第九外層鄰域像素位置、一第十外層鄰域像素位置、一第十一外層鄰域像素位置、一第十二外層鄰域像素位置、一第十三外層鄰域像素位置、一第十四外層鄰域像素位置、一第十五外層鄰域像素位置及一第十六外層鄰域像素位置。第一外層鄰域像素位置位於第一鄰域像素位置之左方，第二外層鄰域像素位置位於第一鄰域像素位置之左上方，第三外層鄰域像素位置位於第一鄰域像素位置之上方，第四外層鄰域像素位置位於第二鄰域像素位置之上方，第五外層鄰域像素位置位於第三鄰域像素位置之上方，第六外層鄰域像素位置位於第三鄰域像素位置之右上方，第七外層鄰域像素位置位於第三鄰域像素位置之右方，第八外層鄰域像素位置位於第四鄰域像素位置之右方，第九外層鄰域像素位置位於第五鄰域像素位置之右 方，第十外層鄰域像素位置位於第五鄰域像素位置之右下方，第十一外層鄰域像素位置位於第五鄰域像素位置之下方，第十二外層鄰域像素位置位於第六鄰域像素位置之下方，第十三外層鄰域像素位置位於第七鄰域像素位置之下方，第十四外層鄰域像素位置位於第七鄰域像素位置之左下方，第十五外層鄰域像素位置位於第七鄰域像素位置之左方，第十六外層鄰域像素位置位於第八鄰域像素位置之左方。

前述實施方式之其他實施例如下：前述八個鄰域像素點之數值分別為第一鄰域點像素值、第二鄰域點像素值、第三鄰域點像素值、第四鄰域點像素值、第五鄰域點像素值、第六鄰域點像素值、第七鄰域點像素值及第八鄰域點像素值。十六個外層鄰域像素點之數值分別為第一外層鄰域點像素值、第二外層鄰域點像素值、第三外層鄰域點像素值、第四外層鄰域點像素值、第五外層鄰域點像素值、第六外層鄰域點像素值、第七外層鄰域點像素值、第八外層鄰域點像素值、第九外層鄰域點像素值、第十外層鄰域點像素值、第十一外層鄰域點像素值、第十二外層鄰域點像素值、第十三外層鄰域點像素值、第十四外層鄰域點像素值、第十五外層鄰域點像素值及第十六外層鄰域點像素值。

前述實施方式之其他實施例如下：前述第二局部二值模式特徵萃取模組比較第一外層鄰域點像素值、第二外層鄰域點像素值、第三外層鄰域點像素值及第一鄰域 點像素值而產生一第一代表值。第二局部二值模式特徵萃取模組比較第三外層鄰域點像素值、第四外層鄰域點像素值、第五外層鄰域點像素值及第二鄰域點像素值而產生一第二代表值。第二局部二值模式特徵萃取模組比較第五外層鄰域點像素值、第六外層鄰域點像素值、第七外層鄰域點像素值及第三鄰域點像素值而產生一第三代表值。第二局部二值模式特徵萃取模組比較第七外層鄰域點像素值、第八外層鄰域點像素值、第九外層鄰域點像素值及第四鄰域點像素值而產生一第四代表值。第二局部二值模式特徵萃取模組比較第九外層鄰域點像素值、第十外層鄰域點像素值、第十一外層鄰域點像素值及第五鄰域點像素值而產生一第五代表值。第二局部二值模式特徵萃取模組比較第十一外層鄰域點像素值、第十二外層鄰域點像素值、第十三外層鄰域點像素值及第六鄰域點像素值而產生一第六代表值。第二局部二值模式特徵萃取模組比較第十三外層鄰域點像素值、第十四外層鄰域點像素值、第十五外層鄰域點像素值及第七鄰域點像素值而產生一第七代表值。第二局部二值模式特徵萃取模組比較第十五外層鄰域點像素值、第十六外層鄰域點像素值、第一外層鄰域點像素值及第八鄰域點像素值而產生一第八代表值。第一代表值、第二代表值、第三代表值、第四代表值、第五代表值、第六代表值、第七代表值及第八代表值依序排列而形成第二特徵資訊組。

100、100a‧‧‧應用於表情辨識之拓展式局部二值模式方法

110‧‧‧像素區塊

S12、S22‧‧‧資料定義步驟

S14、S24‧‧‧第一局部二值模式特徵萃取步驟

S16、S26‧‧‧第二局部二值模式特徵萃取步驟

S18、S28‧‧‧特徵資訊結合步驟

c‧‧‧中心點

p ₁、p ₂、p ₃、p ₄、p ₅、p ₆、p ₇、p ₈‧‧‧鄰域像素點

m ₁、m ₂、m ₃、m ₄、m ₅、m ₆、m ₇、m ₈、m ₉、m ₁₀、m ₁₁、m ₁₂、m ₁₃、m ₁₄、m ₁₅、m ₁₆‧‧‧外層鄰域像素點

S261‧‧‧第一代表值產生步驟

S262‧‧‧第二代表值產生步驟

S263‧‧‧第三代表值產生步驟

S264‧‧‧第四代表值產生步驟

S265‧‧‧第五代表值產生步驟

S266‧‧‧第六代表值產生步驟

S267‧‧‧第七代表值產生步驟

S268‧‧‧第八代表值產生步驟

200‧‧‧拓展式局部二值模式系統

300‧‧‧影像接收單元

400‧‧‧運算處理單元

410‧‧‧資料定義模組

420‧‧‧第一局部二值模式特徵萃取模組

430‧‧‧第二局部二值模式特徵萃取模組

440‧‧‧特徵資訊結合模組

第1圖係繪示本發明一實施例之應用於表情辨識之拓展式局部二值模式方法的流程示意圖。

第2圖係繪示第1圖的資料定義步驟之像素區塊的示意圖。

第3圖係繪示本發明另一實施例之應用於表情辨識之拓展式局部二值模式方法的流程示意圖。

第4圖係繪示第3圖的第二局部二值模式特徵萃取步驟之一部分比對的示意圖。

第5圖係繪示第3圖的第二局部二值模式特徵萃取步驟之另一部分比對的示意圖。

第6圖係繪示本發明一實施例之像素區塊的像素值。

第7圖係繪示本發明一實施例之拓展式局部二值模式系統的方塊示意圖。

以下將參照圖式說明本發明之複數個實施例。為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施例中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之；並且重複之元件將可能使用相同的編號表示之。

此外，本文中當某一元件(或單元或模組等)「連接」於另一元件，可指所述元件是直接連接於另一元件，亦可指某一元件是間接連接於另一元件，意即，有其他元件介於所述元件及另一元件之間。而當有明示某一元件是「直接連接」於另一元件時，才表示沒有其他元件介於所述元件及另一元件之間。而第一、第二、第三等用語只是用來描述不同元件，而對元件本身並無限制，因此，第一元件亦可改稱為第二元件。且本文中之元件/單元/模組之組合非此領域中之一般周知、常規或習知之組合，不能以元件/單元/模組本身是否為習知，來判定其組合關係是否容易被技術領域中之通常知識者輕易完成。

請一併參閱第1圖與第2圖，第1圖係繪示本發明一實施例之應用於表情辨識之拓展式局部二值模式方法100的流程示意圖。第2圖係繪示第1圖的資料定義步驟S12之像素區塊110的示意圖。如圖所示，此應用於表情辨識之拓展式局部二值模式方法100包含資料定義步驟S12、第一局部二值模式特徵萃取步驟S14、第二局部二值模式特徵萃取步驟S16以及特徵資訊結合步驟S18。

資料定義步驟S12係定義一像素區塊110，像素區塊110包含一中心點c、八個鄰域像素點p ₁、p ₂、p ₃、p ₄、p ₅、p ₆、p ₇、p ₈及十六個外層鄰域像素點m ₁、m ₂、m ₃、m ₄、m ₅、m ₆、m ₇、m ₈、m ₉、m ₁₀、m ₁₁、m ₁₂、m ₁₃、m ₁₄、m ₁₅、m ₁₆。中心點c具有一中心點像素值，八個鄰域像素點p ₁~p ₈圍繞中心點c，十六個外層鄰域像素點 m ₁~m ₁₆圍繞八個鄰域像素點p ₁~p ₈。再者，第一局部二值模式特徵萃取步驟S14係分別比對八個鄰域像素點p ₁~p ₈之數值及中心點像素值而萃取出一第一特徵資訊組。第二局部二值模式特徵萃取步驟S16係分別比對十六個外層鄰域像素點m ₁~m ₁₆之數值及八個鄰域像素點p ₁~p ₈之數值而萃取出一第二特徵資訊組。特徵資訊結合步驟S18係結合第一特徵資訊組與第二特徵資訊組而形成一拓展式局部二值模式特徵資訊。藉此，本發明的應用於表情辨識之拓展式局部二值模式方法100利用特定之第二特徵資訊組結合第一特徵資訊組，可大幅地提升表情辨識的準確度。

請一併參閱第2圖、第3圖、第4圖及第5圖，第3圖係繪示本發明另一實施例之應用於表情辨識之拓展式局部二值模式方法100a的流程示意圖。第4圖係繪示第3圖的第二局部二值模式特徵萃取步驟S26之一部分比對的示意圖。第5圖係繪示第3圖的第二局部二值模式特徵萃取步驟S26之另一部分比對的示意圖。如圖所示，應用於表情辨識之拓展式局部二值模式方法100a包含資料定義步驟S22、第一局部二值模式特徵萃取步驟S24、第二局部二值模式特徵萃取步驟S26以及特徵資訊結合步驟S28。

資料定義步驟S22係定義一像素區塊110，像素區塊110包含一中心點c、八個鄰域像素點p ₁~p ₈及十六個外層鄰域像素點m ₁~m ₁₆。中心點c具有一中心點像素值，八個鄰域像素點p ₁~p ₈圍繞中心點c，十六個外層鄰域像素點m ₁~m ₁₆圍繞八個鄰域像素點p ₁~p ₈。詳細地說，像 素區塊110呈一d×d矩陣，d等於2×n+1，n為正整數並大於1。中心點c位於像素區塊110之中央。八個鄰域像素點p ₁~p ₈分別位於第一鄰域像素位置、第二鄰域像素位置、第三鄰域像素位置、第四鄰域像素位置、第五鄰域像素位置、第六鄰域像素位置、第七鄰域像素位置及第八鄰域像素位置，且八個鄰域像素點p ₁~p ₈之數值分別為第一鄰域點像素值、第二鄰域點像素值、第三鄰域點像素值、第四鄰域點像素值、第五鄰域點像素值、第六鄰域點像素值、第七鄰域點像素值及第八鄰域點像素值。此外，十六個外層鄰域像素點m ₁~m ₁₆分別位於第一外層鄰域像素位置、第二外層鄰域像素位置、第三外層鄰域像素位置、第四外層鄰域像素位置、第五外層鄰域像素位置、第六外層鄰域像素位置、第七外層鄰域像素位置、第八外層鄰域像素位置、第九外層鄰域像素位置、第十外層鄰域像素位置、第十一外層鄰域像素位置、第十二外層鄰域像素位置、第十三外層鄰域像素位置、第十四外層鄰域像素位置、第十五外層鄰域像素位置及第十六外層鄰域像素位置，且十六個外層鄰域像素點m ₁~m ₁₆之數值分別為第一外層鄰域點像素值、第二外層鄰域點像素值、第三外層鄰域點像素值、第四外層鄰域點像素值、第五外層鄰域點像素值、第六外層鄰域點像素值、第七外層鄰域點像素值、第八外層鄰域點像素值、第九外層鄰域點像素值、第十外層鄰域點像素值、第十一外層鄰域點像素值、第十二外層鄰域點像素值、第十三外層鄰域點像素值、第十四外層鄰域點像素 值、第十五外層鄰域點像素值及第十六外層鄰域點像素值。

第一局部二值模式特徵萃取步驟S24係分別比對八個鄰域像素點p ₁~p ₈之數值及中心點像素值而萃取出一第一特徵資訊組。詳細地說，當第一鄰域點像素值大於等於中心點像素值時，對應第一鄰域像素位置之一第一特徵資訊記錄為1；當第一鄰域點像素值小於中心點像素值時，第一特徵資訊記錄為0。當第二鄰域點像素值大於等於中心點像素值時，對應第二鄰域像素位置之一第二特徵資訊記錄為1；當第二鄰域點像素值小於中心點像素值時，第二特徵資訊記錄為0。當第三鄰域點像素值大於等於中心點像素值時，對應第三鄰域像素位置之一第三特徵資訊記錄為1；當第三鄰域點像素值小於中心點像素值時，第三特徵資訊記錄為0。當第四鄰域點像素值大於等於中心點像素值時，對應第四鄰域像素位置之一第四特徵資訊記錄為1；當第四鄰域點像素值小於中心點像素值時，第四特徵資訊記錄為0。當第五鄰域點像素值大於等於中心點像素值時，對應第五鄰域像素位置之一第五特徵資訊記錄為1；當第五鄰域點像素值小於中心點像素值時，第五特徵資訊記錄為0。當第六鄰域點像素值大於等於中心點像素值時，對應第六鄰域像素位置之一第六特徵資訊記錄為1；當第六鄰域點像素值小於中心點像素值時，第六特徵資訊記錄為0。當第七鄰域點像素值大於等於中心點像素值時，對應第七鄰域像素位置之一第七特徵 資訊記錄為1；當第七鄰域點像素值小於中心點像素值時，第七特徵資訊記錄為0。當第八鄰域點像素值大於等於中心點像素值時，對應第八鄰域像素位置之一第八特徵資訊記錄為1；當第八鄰域點像素值小於中心點像素值時，第八特徵資訊記錄為0。其中第一特徵資訊、第二特徵資訊、第三特徵資訊、第四特徵資訊、第五特徵資訊、第六特徵資訊、第七特徵資訊及第八特徵資訊依序排列而形成第一特徵資訊組。

第二局部二值模式特徵萃取步驟S26係分別比對十六個外層鄰域像素點m ₁~m ₁₆之數值及八個鄰域像素點p ₁~p ₈之數值而萃取出一第二特徵資訊組。詳細地說，前述第二局部二值模式特徵萃取步驟S26包含第一代表值產生步驟S261、第二代表值產生步驟S262、第三代表值產生步驟S263、第四代表值產生步驟S264、第五代表值產生步驟S265、第六代表值產生步驟S266、第七代表值產生步驟S267及第八代表值產生步驟S268。

第一代表值產生步驟S261係比較第一外層鄰域點像素值、第二外層鄰域點像素值、第三外層鄰域點像素值及第一鄰域點像素值而產生一第一代表值。詳細地說，當第一外層鄰域點像素值大於等於第一鄰域點像素值時，對應第一外層鄰域像素位置之一第一外層特徵資訊記錄為1；當第一外層鄰域點像素值小於第一鄰域點像素值時，第一外層特徵資訊記錄為-1。當第二外層鄰域點像素值大於等於第一鄰域點像素值時，對應第二外層鄰域像素 位置之一第二外層特徵資訊記錄為1；當第二外層鄰域點像素值小於第一鄰域點像素值時，第二外層特徵資訊記錄為-1。當第三外層鄰域點像素值大於等於第一鄰域點像素值時，對應第三外層鄰域像素位置之一第三外層特徵資訊記錄為1；當第三外層鄰域點像素值小於第一鄰域點像素值時，第三外層特徵資訊記錄為-1。其中第一外層特徵資訊、第二外層特徵資訊及第三外層特徵資訊依序排列成字串後，可對照表一轉換出對應的代表值，此代表值即為第一代表值。

第二代表值產生步驟S262係比較第三外層鄰域點像素值、第四外層鄰域點像素值、第五外層鄰域點像素值及第二鄰域點像素值而產生一第二代表值。詳細地說，當第三外層鄰域點像素值大於等於第二鄰域點像素值時，第三外層特徵資訊記錄為1；當第三外層鄰域點像素值小於第二鄰域點像素值時，第三外層特徵資訊記錄為-1。當第四外層鄰域點像素值大於等於第二鄰域點像素值時，對應第四外層鄰域像素位置之一第四外層特徵資訊記錄為1；當第四外層鄰域點像素值小於第二鄰域點像素值時，第四外層特徵資訊記錄為-1。當第五外層鄰域點像素 值大於等於第二鄰域點像素值時，對應第五外層鄰域像素位置之一第五外層特徵資訊記錄為1；當第五外層鄰域點像素值小於第二鄰域點像素值時，第五外層特徵資訊記錄為-1。其中第三外層特徵資訊、第四外層特徵資訊及第五外層特徵資訊依序排列成字串後，可對照表一轉換出對應的代表值，此代表值即為第二代表值。

第三代表值產生步驟S263係比較第五外層鄰域點像素值、第六外層鄰域點像素值、第七外層鄰域點像素值及第三鄰域點像素值而產生一第三代表值。詳細地說，當第五外層鄰域點像素值大於等於第三鄰域點像素值時，第五外層特徵資訊記錄為1；當第五外層鄰域點像素值小於第三鄰域點像素值時，第五外層特徵資訊記錄為-1。當第六外層鄰域點像素值大於等於第三鄰域點像素值時，對應第六外層鄰域像素位置之一第六外層特徵資訊記錄為1；當第六外層鄰域點像素值小於第三鄰域點像素值時，第六外層特徵資訊記錄為-1。當第七外層鄰域點像素值大於等於第三鄰域點像素值時，對應第七外層鄰域像素位置之一第七外層特徵資訊記錄為1；當第七外層鄰域點像素值小於第三鄰域點像素值時，第七外層特徵資訊記錄為-1。其中第五外層特徵資訊、第六外層特徵資訊及第七外層特徵資訊依序排列成字串後，可對照表一轉換出對應的代表值，此代表值即為第三代表值。

第四代表值產生步驟S264係比較第七外層鄰域點像素值、第八外層鄰域點像素值、第九外層鄰域點像 素值及第四鄰域點像素值而產生一第四代表值。詳細地說，當第七外層鄰域點像素值大於等於第四鄰域點像素值時，第七外層特徵資訊記錄為1；當第七外層鄰域點像素值小於第四鄰域點像素值時，第七外層特徵資訊記錄為-1。當第八外層鄰域點像素值大於等於第四鄰域點像素值時，對應第八外層鄰域像素位置之一第八外層特徵資訊記錄為1；當第八外層鄰域點像素值小於第四鄰域點像素值時，第八外層特徵資訊記錄為-1。當第九外層鄰域點像素值大於等於第四鄰域點像素值時，對應第九外層鄰域像素位置之一第九外層特徵資訊記錄為1；當第九外層鄰域點像素值小於第四鄰域點像素值時，第九外層特徵資訊記錄為-1。其中第七外層特徵資訊、第八外層特徵資訊及第九外層特徵資訊依序排列成字串後，可對照表一轉換出對應的代表值，此代表值即為第四代表值。

第五代表值產生步驟S265係比較第九外層鄰域點像素值、第十外層鄰域點像素值、第十一外層鄰域點像素值及第五鄰域點像素值而產生一第五代表值。詳細地說，當第九外層鄰域點像素值大於等於第五鄰域點像素值時，第九外層特徵資訊記錄為1；當第九外層鄰域點像素值小於第五鄰域點像素值時，第九外層特徵資訊記錄為-1。當第十外層鄰域點像素值大於等於第五鄰域點像素值時，對應第十外層鄰域像素位置之一第十外層特徵資訊記錄為1；當第十外層鄰域點像素值小於第五鄰域點像素值時，第十外層特徵資訊記錄為-1。當第十一外層鄰域點像 素值大於等於第五鄰域點像素值時，對應第十一外層鄰域像素位置之一第十一外層特徵資訊記錄為1；當第十一外層鄰域點像素值小於第五鄰域點像素值時，第十一外層特徵資訊記錄為-1。其中第九外層特徵資訊、第十外層特徵資訊及第十一外層特徵資訊依序排列成字串後，可對照表一轉換出對應的代表值，此代表值即為第五代表值。

第六代表值產生步驟S266係比較第十一外層鄰域點像素值、第十二外層鄰域點像素值、第十三外層鄰域點像素值及第六鄰域點像素值而產生一第六代表值。詳細地說，當第十一外層鄰域點像素值大於等於第六鄰域點像素值時，第十一外層特徵資訊記錄為1；當第十一外層鄰域點像素值小於第六鄰域點像素值時，第十一外層特徵資訊記錄為-1。當第十二外層鄰域點像素值大於等於第六鄰域點像素值時，對應第十二外層鄰域像素位置之一第十二外層特徵資訊記錄為1；當第十二外層鄰域點像素值小於第六鄰域點像素值時，第十二外層特徵資訊記錄為-1。當第十三外層鄰域點像素值大於等於第六鄰域點像素值時，對應第十三外層鄰域像素位置之一第十三外層特徵資訊記錄為1；當第十三外層鄰域點像素值小於第六鄰域點像素值時，第十三外層特徵資訊記錄為-1。其中第十一外層特徵資訊、第十二外層特徵資訊及第十三外層特徵資訊依序排列成字串後，可對照表一轉換出對應的代表值，此代表值即為第六代表值。

第七代表值產生步驟S267係比較第十三外層鄰域點像素值、第十四外層鄰域點像素值、第十五外層鄰域點像素值及第七鄰域點像素值而產生一第七代表值。詳細地說，當第十三外層鄰域點像素值大於等於第七鄰域點像素值時，第十三外層特徵資訊記錄為1；當第十三外層鄰域點像素值小於第七鄰域點像素值時，第十三外層特徵資訊記錄為-1。當第十四外層鄰域點像素值大於等於第七鄰域點像素值時，對應第十四外層鄰域像素位置之一第十四外層特徵資訊記錄為1；當第十四外層鄰域點像素值小於第七鄰域點像素值時，第十四外層特徵資訊記錄為-1。當第十五外層鄰域點像素值大於等於第七鄰域點像素值時，對應第十五外層鄰域像素位置之一第十五外層特徵資訊記錄為1；當第十五外層鄰域點像素值小於第七鄰域點像素值時，第十五外層特徵資訊記錄為-1。其中第十三外層特徵資訊、第十四外層特徵資訊及第十五外層特徵資訊依序排列成字串後，可對照表一轉換出對應的代表值，此代表值即為第七代表值。

第八代表值產生步驟S268係比較第十五外層鄰域點像素值、第十六外層鄰域點像素值、第一外層鄰域點像素值及第八鄰域點像素值而產生一第八代表值。詳細地說，當第十五外層鄰域點像素值大於等於第八鄰域點像素值時，第十五外層特徵資訊記錄為1；當第十五外層鄰域點像素值小於第八鄰域點像素值時，第十五外層特徵資訊記錄為-1。當第十六外層鄰域點像素值大於等於第八鄰 域點像素值時，對應第十六外層鄰域像素位置之一第十六外層特徵資訊記錄為1；當第十六外層鄰域點像素值小於第八鄰域點像素值時，第十六外層特徵資訊記錄為-1。當第一外層鄰域點像素值大於等於第八鄰域點像素值時，第一外層特徵資訊記錄為1；當第一外層鄰域點像素值小於第八鄰域點像素值時，第一外層特徵資訊記錄為-1。其中第十五外層特徵資訊、第十六外層特徵資訊及第一外層特徵資訊依序排列成字串後，可對照表一轉換出對應的代表值，此代表值即為第八代表值。此外，第一代表值、第二代表值、第三代表值、第四代表值、第五代表值、第六代表值、第七代表值及第八代表值依序排列而形成第二特徵資訊組。

特徵資訊結合步驟S28係結合第一特徵資訊組與第二特徵資訊組而形成一拓展式局部二值模式特徵資訊。此拓展式局部二值模式特徵資訊係由第一特徵資訊、第二特徵資訊、第三特徵資訊、第四特徵資訊、第五特徵資訊、第六特徵資訊、第七特徵資訊、第八特徵資訊、第一代表值、第二代表值、第三代表值、第四代表值、第五代表值、第六代表值、第七代表值及第八代表值依序排列所形成。藉此，本發明之應用於表情辨識之拓展式局部二值模式方法100a利用特定的第二局部二值模式特徵萃取步驟S26結合原本的第一局部二值模式特徵萃取步驟S24來實現人臉的表情辨識，所得之辨識結果較好。

換句話說，當原中心點c的數值與周圍八個鄰域像素點p ₁~p ₈的數值比較完後，原本的八個鄰域像素點p ₁~p ₈變成新的中心點，且每個鄰域像素點p ₁~p ₈的數值被訂為閾值。然後，每個鄰域像素點p ₁~p ₈的數值與十六個外層鄰域像素點m ₁~m ₁₆中相鄰的3個像素點值做比較，如第4圖與第5圖所示。例如，鄰域像素點p ₁是新中心點，鄰域像素點p ₁的數值被訂為閾值，而相鄰的外層鄰域像素點m ₁、m ₂及m ₃的數值分別跟鄰域像素點p ₁的數值做比較。如果任一個外層鄰域像素點m ₁、m ₂、m ₃的數值大於等於鄰域像素點p ₁的數值就標記為1，否則為-1。當三個外層鄰域像素點m ₁、m ₂及m ₃都比較完之後，將會得到3位數的字串，然後根據上述表一轉換成對應的代表值。當鄰域像素點p ₁完成後，下一個中心點變為鄰域像素點p ₂，而相鄰的外層鄰域像素點m ₃、m ₄及m ₅的數值分別跟鄰域像素點p ₂的數值做比較；如此重複上述步驟，直到比較完鄰域像素點p ₈。而原中心點c與新中心點(即鄰域像素點p ₁~p ₈其中之一)分別所比較的鄰域點，如表二所示。

請一併參閱第3圖、第4圖、第5圖及第6圖，第6圖係繪示本發明一實施例之像素區塊110的像素值。其中中心點像素值為80，第一鄰域點像素值、第二鄰域點像素值、第三鄰域點像素值、第四鄰域點像素值、第五鄰域點像素值、第六鄰域點像素值、第七鄰域點像素值及第八鄰域點像素值分別為90、170、200、150、40、130、50及190。再者，第一外層鄰域點像素值、第二外層鄰域點像素值、第三外層鄰域點像素值、第四外層鄰域點像素值、第五外層鄰域點像素值、第六外層鄰域點像素值、第七外層鄰域點像素值、第八外層鄰域點像素值、第九外層鄰域點像素值、第十外層鄰域點像素值、第十一外層鄰域點像素值、第十二外層鄰域點像素值、第十三外層鄰域點像素值、第十四外層鄰域點像素值、第十五外層鄰域點像素值及第十六外層鄰域點像素值分別為230、100、60、240、220、30、120、250、210、110、70、140、20、180、10及160。原中心點c與新中心點(即鄰域像素點p ₁~p ₈)分別進行比較的結果如表三所示。將八個鄰域像素點p ₁~p ₈與十六個外層鄰域像素點m ₁~m ₁₆比較結果做字串轉換後，所得到之第一特徵資訊組與第二特徵資訊組如表四所示。最後，將第二特徵資訊組串接在第一特徵資訊組後而結合成拓展式局部二值模式特徵資訊，其即為用於物體辨識的輸入值，如表五所示。

請一併參閱第1圖、第3圖及第7圖，第7圖係繪示本發明一實施例之拓展式局部二值模式系統200的方塊示意圖。如圖所示，拓展式局部二值模式系統200使用前述應用於表情辨識之拓展式局部二值模式方法100，且包含影像接收單元300與運算處理單元400。

影像接收單元300接收一影像資訊，影像資訊包含複數像素點。影像接收單元300可為攝影機、錄影機或相機。運算處理單元400訊號連接影像接收單元300且包含資料定義模組410、第一局部二值模式特徵萃取模組 420、第二局部二值模式特徵萃取模組430及特徵資訊結合模組440。

資料定義模組410依據些像素點定義出一像素區塊110，像素區塊110包含中心點c、八個鄰域像素點p ₁~p ₈及十六個外層鄰域像素點m ₁~m ₁₆。其中八個鄰域像素點p ₁~p ₈圍繞中心點c，十六個外層鄰域像素點m ₁~m ₁₆圍繞八個鄰域像素點p ₁~p ₈。詳細地說，像素區塊110呈一d×d矩陣，d等於2×n+1，n為正整數並大於1。中心點c位於像素區塊110之中心位置，八個鄰域像素點p ₁~p ₈分別位於第一鄰域像素位置、第二鄰域像素位置、第三鄰域像素位置、第四鄰域像素位置、第五鄰域像素位置、第六鄰域像素位置、第七鄰域像素位置及第八鄰域像素位置。第一鄰域像素位置位於中心位置之左上方，第二鄰域像素位置位於中心位置之上方，第三鄰域像素位置位於中心位置之右上方，第四鄰域像素位置位於中心位置之右方，第五鄰域像素位置位於中心位置之右下方，第六鄰域像素位置位於中心位置之下方，第七鄰域像素位置位於中心位置之左下方，第八鄰域像素位置位於中心位置之左方。此外，十六個外層鄰域像素點m ₁~m ₁₆分別位於第一外層鄰域像素位置、第二外層鄰域像素位置、第三外層鄰域像素位置、第四外層鄰域像素位置、第五外層鄰域像素位置、第六外層鄰域像素位置、第七外層鄰域像素位置、第八外層鄰域像素位置、第九外層鄰域像素位置、第十外層鄰域像素位置、第十一外層鄰域像素位置、第十二外層鄰域像素位 置、第十三外層鄰域像素位置、第十四外層鄰域像素位置、第十五外層鄰域像素位置及第十六外層鄰域像素位置。第一外層鄰域像素位置位於第一鄰域像素位置之左方，第二外層鄰域像素位置位於第一鄰域像素位置之左上方，第三外層鄰域像素位置位於第一鄰域像素位置之上方，第四外層鄰域像素位置位於第二鄰域像素位置之上方，第五外層鄰域像素位置位於第三鄰域像素位置之上方，第六外層鄰域像素位置位於第三鄰域像素位置之右上方，第七外層鄰域像素位置位於第三鄰域像素位置之右方，第八外層鄰域像素位置位於第四鄰域像素位置之右方，第九外層鄰域像素位置位於第五鄰域像素位置之右方，第十外層鄰域像素位置位於第五鄰域像素位置之右下方，第十一外層鄰域像素位置位於第五鄰域像素位置之下方，第十二外層鄰域像素位置位於第六鄰域像素位置之下方，第十三外層鄰域像素位置位於第七鄰域像素位置之下方，第十四外層鄰域像素位置位於第七鄰域像素位置之左下方，第十五外層鄰域像素位置位於第七鄰域像素位置之左方，第十六外層鄰域像素位置位於第八鄰域像素位置之左方。

第一局部二值模式特徵萃取模組420訊號連接資料定義模組410，第一局部二值模式特徵萃取模組420分別比對八個鄰域像素點p ₁~p ₈之數值及中心點像素值而萃取出第一特徵資訊組。詳細地說，八個鄰域像素點p ₁~p ₈之數值分別為第一鄰域點像素值、第二鄰域點像素值、第 三鄰域點像素值、第四鄰域點像素值、第五鄰域點像素值、第六鄰域點像素值、第七鄰域點像素值及第八鄰域點像素值。當第一鄰域點像素值大於等於中心點像素值時，第一特徵資訊記錄為1，否則記錄為0。當第二鄰域點像素值大於等於中心點像素值時，第二特徵資訊記錄為1，否則記錄為0。當第三鄰域點像素值大於等於中心點像素值時，第三特徵資訊記錄為1，否則記錄為0。當第四鄰域點像素值大於等於中心點像素值時，第四特徵資訊記錄為1，否則記錄為0。當第五鄰域點像素值大於等於中心點像素值時，第五特徵資訊記錄為1，否則記錄為0。當第六鄰域點像素值大於等於中心點像素值時，第六特徵資訊記錄為1，否則記錄為0。當第七鄰域點像素值大於等於中心點像素值時，第七特徵資訊記錄為1，否則記錄為0。當第八鄰域點像素值大於等於中心點像素值時，第八特徵資訊記錄為1，否則記錄為0。其中第一特徵資訊、第二特徵資訊、第三特徵資訊、第四特徵資訊、第五特徵資訊、第六特徵資訊、第七特徵資訊及第八特徵資訊依序排列而形成第一特徵資訊組，一實施例如表四之第一列所示。

第二局部二值模式特徵萃取模組430訊號連接資料定義模組410，第二局部二值模式特徵萃取模組430分別比對十六個外層鄰域像素點m ₁~m ₁₆之數值及八個鄰域像素點p ₁~p ₈之數值而萃取出一第二特徵資訊組。詳細地說，十六個外層鄰域像素點m ₁~m ₁₆之數值分別為第一外層鄰域點像素值、第二外層鄰域點像素值、第三外層鄰域點 像素值、第四外層鄰域點像素值、第五外層鄰域點像素值、第六外層鄰域點像素值、第七外層鄰域點像素值、第八外層鄰域點像素值、第九外層鄰域點像素值、第十外層鄰域點像素值、第十一外層鄰域點像素值、第十二外層鄰域點像素值、第十三外層鄰域點像素值、第十四外層鄰域點像素值、第十五外層鄰域點像素值及第十六外層鄰域點像素值。第二局部二值模式特徵萃取模組430比較第一外層鄰域點像素值、第二外層鄰域點像素值、第三外層鄰域點像素值及第一鄰域點像素值而產生第一代表值；第二局部二值模式特徵萃取模組430比較第三外層鄰域點像素值、第四外層鄰域點像素值、第五外層鄰域點像素值及第二鄰域點像素值而產生第二代表值；第二局部二值模式特徵萃取模組430比較第五外層鄰域點像素值、第六外層鄰域點像素值、第七外層鄰域點像素值及第三鄰域點像素值而產生第三代表值；第二局部二值模式特徵萃取模組430比較第七外層鄰域點像素值、第八外層鄰域點像素值、第九外層鄰域點像素值及第四鄰域點像素值而產生第四代表值；第二局部二值模式特徵萃取模組430比較第九外層鄰域點像素值、第十外層鄰域點像素值、第十一外層鄰域點像素值及第五鄰域點像素值而產生第五代表值；第二局部二值模式特徵萃取模組430比較第十一外層鄰域點像素值、第十二外層鄰域點像素值、第十三外層鄰域點像素值及第六鄰域點像素值而產生第六代表值；第二局部二值模式特徵萃取模組430比較第十三外層鄰域點像素值、第十 四外層鄰域點像素值、第十五外層鄰域點像素值及第七鄰域點像素值而產生第七代表值；第二局部二值模式特徵萃取模組430比較第十五外層鄰域點像素值、第十六外層鄰域點像素值、第一外層鄰域點像素值及第八鄰域點像素值而產生一第八代表值。其中第一代表值、第二代表值、第三代表值、第四代表值、第五代表值、第六代表值、第七代表值及第八代表值依序排列而形成第二特徵資訊組，一實施例如表四之第二列所示。

特徵資訊結合模組440訊號連接第一局部二值模式特徵萃取模組420與第二局部二值模式特徵萃取模組430，特徵資訊結合模組440結合第一特徵資訊組與第二特徵資訊組而形成拓展式局部二值模式特徵資訊，一實施例如表五所示。藉此，本發明之拓展式局部二值模式系統200利用特定的第二局部二值模式特徵萃取模組430結合原本的第一局部二值模式特徵萃取模組420來實現人臉的表情辨識，所得之辨識結果較精確。

表六顯示習知局部二值模式方法與本發明之應用於表情辨識之拓展式局部二值模式方法100、100a的辨識結果，其係將習知局部二值模式方法與本發明之應用於表情辨識之拓展式局部二值模式方法100、100a分別應用於人臉表情資料庫(Extended Cohn-Kanade(CK+))進行表情辨識，並且做成效之比較。分類器使用支持向量機(Support Vector Machine；SVM)並進行K次交叉驗證(k-fold cross validation)，且分別採用2、3、5及10折 交叉驗證。由表六之辨識結果可知，不管任何折數，本發明所提出的應用於表情辨識之拓展式局部二值模式方法100、100a的辨識效果均比習知局部二值模式方法的辨識效果較好。

由上述實施方式可知，本發明具有下列優點：其一，本發明之應用於表情辨識之拓展式局部二值模式方法利用特定之第二特徵資訊組結合第一特徵資訊組，可大幅地提升表情辨識的準確度。其二，本發明之拓展式局部二值模式系統利用特定的第二局部二值模式特徵萃取模組結合原本的第一局部二值模式特徵萃取模組來實現人臉的表情辨識，所得之辨識結果較好。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧應用於表情辨識之拓展式局部二值模式方法

S12‧‧‧資料定義步驟

S14‧‧‧第一局部二值模式特徵萃取步驟

S16‧‧‧第二局部二值模式特徵萃取步驟

S18‧‧‧特徵資訊結合步驟

Claims (15)

1. 一種應用於表情辨識之拓展式局部二值模式方法，包含以下步驟：一資料定義步驟，係定義一像素區塊，該像素區塊包含一中心點、八個鄰域像素點及十六個外層鄰域像素點，該中心點具有一中心點像素值，該八個鄰域像素點圍繞該中心點，該十六個外層鄰域像素點圍繞該八個鄰域像素點；一第一局部二值模式特徵萃取步驟，係分別比對該八個鄰域像素點之數值及該中心點像素值而萃取出一第一特徵資訊組；一第二局部二值模式特徵萃取步驟，係分別比對該十六個外層鄰域像素點之數值及該八個鄰域像素點之數值而萃取出一第二特徵資訊組；以及一特徵資訊結合步驟，係結合該第一特徵資訊組與該第二特徵資訊組而形成一拓展式局部二值模式特徵資訊。
2. 如申請專利範圍第1項所述之應用於表情辨識之拓展式局部二值模式方法，其中，在該資料定義步驟中，該像素區塊呈一d×d矩陣，d等於2×n+1，n為正整數並大於1； 其中，該八個鄰域像素點之數值分別為一第一鄰域點像素值、一第二鄰域點像素值、一第三鄰域點像素值、一第四鄰域點像素值、一第五鄰域點像素值、一第六鄰域點像素值、一第七鄰域點像素值及一第八鄰域點像素值；其中，該十六個外層鄰域像素點之數值分別為一第一外層鄰域點像素值、一第二外層鄰域點像素值、一第三外層鄰域點像素值、一第四外層鄰域點像素值、一第五外層鄰域點像素值、一第六外層鄰域點像素值、一第七外層鄰域點像素值、一第八外層鄰域點像素值、一第九外層鄰域點像素值、一第十外層鄰域點像素值、一第十一外層鄰域點像素值、一第十二外層鄰域點像素值、一第十三外層鄰域點像素值、一第十四外層鄰域點像素值、一第十五外層鄰域點像素值及一第十六外層鄰域點像素值。
3. 如申請專利範圍第2項所述之應用於表情辨識之拓展式局部二值模式方法，其中該第二局部二值模式特徵萃取步驟包含：一第一代表值產生步驟，係比較該第一外層鄰域點像素值、該第二外層鄰域點像素值、該第三外層鄰域點像素值及該第一鄰域點像素值而產生一第一代表值。
4. 如申請專利範圍第3項所述之應用於表情辨識之拓展式局部二值模式方法，其中該第二局部二值模式特徵萃取步驟更包含：一第二代表值產生步驟，係比較該第三外層鄰域點像素值、該第四外層鄰域點像素值、該第五外層鄰域點像素值及該第二鄰域點像素值而產生一第二代表值。
5. 如申請專利範圍第4項所述之應用於表情辨識之拓展式局部二值模式方法，其中該第二局部二值模式特徵萃取步驟更包含：一第三代表值產生步驟，係比較該第五外層鄰域點像素值、該第六外層鄰域點像素值、該第七外層鄰域點像素值及該第三鄰域點像素值而產生一第三代表值。
6. 如申請專利範圍第5項所述之應用於表情辨識之拓展式局部二值模式方法，其中該第二局部二值模式特徵萃取步驟更包含：一第四代表值產生步驟，係比較該第七外層鄰域點像素值、該第八外層鄰域點像素值、該第九外層鄰域點像素值及該第四鄰域點像素值產生一第四代表值。
7. 如申請專利範圍第6項所述之應用於表情辨識之拓展式局部二值模式方法，其中該第二局部二值模式特徵萃取步驟更包含：一第五代表值產生步驟，係比較該第九外層鄰域點像素值、該第十外層鄰域點像素值、該第十一外層鄰域點像素值及該第五鄰域點像素值而產生一第五代表值。
8. 如申請專利範圍第7項所述之應用於表情辨識之拓展式局部二值模式方法，其中該第二局部二值模式特徵萃取步驟更包含：一第六代表值產生步驟，係比較該第十一外層鄰域點像素值、該第十二外層鄰域點像素值、該第十三外層鄰域點像素值及該第六鄰域點像素值而產生一第六代表值。
9. 如申請專利範圍第8項所述之應用於表情辨識之拓展式局部二值模式方法，其中該第二局部二值模式特徵萃取步驟更包含：一第七代表值產生步驟，係比較該第十三外層鄰域點像素值、該第十四外層鄰域點像素值、該第十五外層鄰域點像素值及該第七鄰域點像素值而產生一第七代表值。
10. 如申請專利範圍第9項所述之應用於表情辨識之拓展式局部二值模式方法，其中該第二局部二值模式特徵萃取步驟更包含：一第八代表值產生步驟，係比較該第十五外層鄰域點像素值、該第十六外層鄰域點像素值、該第一外層鄰域點像素值及該第八鄰域點像素值而產生一第八代表值；其中，該第一代表值、該第二代表值、該第三代表值、該第四代表值、該第五代表值、該第六代表值、該第七代表值及該第八代表值依序排列而形成該第二特徵資訊組。
11. 一種使用如申請專利範圍第1項所述之應用於表情辨識之拓展式局部二值模式方法的拓展式局部二值模式系統，包含：一影像接收單元，接收一影像資訊，該影像資訊包含複數像素點；以及一運算處理單元，訊號連接該影像接收單元，該運算處理單元包含：一資料定義模組，依據該些像素點定義出該像素區塊，該像素區塊包含該中心點、該八個鄰域像素點及該十六個外層鄰域像素點，該八個鄰域像素點圍繞 該中心點，該十六個外層鄰域像素點圍繞該八個鄰域像素點；一第一局部二值模式特徵萃取模組，訊號連接該資料定義模組，該第一局部二值模式特徵萃取模組分別比對該八個鄰域像素點之數值及該中心點像素值而萃取出該第一特徵資訊組；一第二局部二值模式特徵萃取模組，訊號連接該資料定義模組，該第二局部二值模式特徵萃取模組分別比對該十六個外層鄰域像素點之數值及該八個鄰域像素點之數值而萃取出該第二特徵資訊組；以及一特徵資訊結合模組，訊號連接該第一局部二值模式特徵萃取模組與該第二局部二值模式特徵萃取模組，該特徵資訊結合模組結合該第一特徵資訊組與該第二特徵資訊組而形成該拓展式局部二值模式特徵資訊。
12. 如申請專利範圍第11項所述之拓展式局部二值模式系統，其中該像素區塊呈一d×d矩陣，d等於2×n+1，n為正整數並大於1；其中，該中心點位於該像素區塊之一中心位置，該八個鄰域像素點分別位於一第一鄰域像素位置、一第二鄰域像素位置、一第三鄰域像素位置、一第四鄰域像素位置、 一第五鄰域像素位置、一第六鄰域像素位置、一第七鄰域像素位置及一第八鄰域像素位置；其中，該第一鄰域像素位置位於該中心位置之左上方，該第二鄰域像素位置位於該中心位置之上方，該第三鄰域像素位置位於該中心位置之右上方，該第四鄰域像素位置位於該中心位置之右方，該第五鄰域像素位置位於該中心位置之右下方，該第六鄰域像素位置位於該中心位置之下方，該第七鄰域像素位置位於該中心位置之左下方，該第八鄰域像素位置位於該中心位置之左方。
13. 如申請專利範圍第12項所述之拓展式局部二值模式系統，其中該十六個外層鄰域像素點分別位於一第一外層鄰域像素位置、一第二外層鄰域像素位置、一第三外層鄰域像素位置、一第四外層鄰域像素位置、一第五外層鄰域像素位置、一第六外層鄰域像素位置、一第七外層鄰域像素位置、一第八外層鄰域像素位置、一第九外層鄰域像素位置、一第十外層鄰域像素位置、一第十一外層鄰域像素位置、一第十二外層鄰域像素位置、一第十三外層鄰域像素位置、一第十四外層鄰域像素位置、一第十五外層鄰域像素位置及一第十六外層鄰域像素位置；其中，該第一外層鄰域像素位置位於該第一鄰域像素位置之左方，該第二外層鄰域像素位置位於該第一鄰域像 素位置之左上方，該第三外層鄰域像素位置位於該第一鄰域像素位置之上方，該第四外層鄰域像素位置位於該第二鄰域像素位置之上方，該第五外層鄰域像素位置位於該第三鄰域像素位置之上方，該第六外層鄰域像素位置位於該第三鄰域像素位置之右上方，該第七外層鄰域像素位置位於該第三鄰域像素位置之右方，該第八外層鄰域像素位置位於該第四鄰域像素位置之右方，該第九外層鄰域像素位置位於該第五鄰域像素位置之右方，該第十外層鄰域像素位置位於該第五鄰域像素位置之右下方，該第十一外層鄰域像素位置位於該第五鄰域像素位置之下方，該第十二外層鄰域像素位置位於該第六鄰域像素位置之下方，該第十三外層鄰域像素位置位於該第七鄰域像素位置之下方，該第十四外層鄰域像素位置位於該第七鄰域像素位置之左下方，該第十五外層鄰域像素位置位於該第七鄰域像素位置之左方，該第十六外層鄰域像素位置位於該第八鄰域像素位置之左方。
14. 如申請專利範圍第11項所述之拓展式局部二值模式系統，其中，該八個鄰域像素點之數值分別為一第一鄰域點像素值、一第二鄰域點像素值、一第三鄰域點像素值、一第四 鄰域點像素值、一第五鄰域點像素值、一第六鄰域點像素值、一第七鄰域點像素值及一第八鄰域點像素值；及該十六個外層鄰域像素點之數值分別為一第一外層鄰域點像素值、一第二外層鄰域點像素值、一第三外層鄰域點像素值、一第四外層鄰域點像素值、一第五外層鄰域點像素值、一第六外層鄰域點像素值、一第七外層鄰域點像素值、一第八外層鄰域點像素值、一第九外層鄰域點像素值、一第十外層鄰域點像素值、一第十一外層鄰域點像素值、一第十二外層鄰域點像素值、一第十三外層鄰域點像素值、一第十四外層鄰域點像素值、一第十五外層鄰域點像素值及一第十六外層鄰域點像素值。
15. 如申請專利範圍第14項所述之拓展式局部二值模式系統，其中，該第二局部二值模式特徵萃取模組比較該第一外層鄰域點像素值、該第二外層鄰域點像素值、該第三外層鄰域點像素值及該第一鄰域點像素值而產生一第一代表值；該第二局部二值模式特徵萃取模組比較該第三外層鄰域點像素值、該第四外層鄰域點像素值、該第五外層鄰域點像素值及該第二鄰域點像素值而產生一第二代表值； 該第二局部二值模式特徵萃取模組比較該第五外層鄰域點像素值、該第六外層鄰域點像素值、該第七外層鄰域點像素值及該第三鄰域點像素值而產生一第三代表值；該第二局部二值模式特徵萃取模組比較該第七外層鄰域點像素值、該第八外層鄰域點像素值、該第九外層鄰域點像素值及該第四鄰域點像素值而產生一第四代表值；該第二局部二值模式特徵萃取模組比較該第九外層鄰域點像素值、該第十外層鄰域點像素值、該第十一外層鄰域點像素值及該第五鄰域點像素值而產生一第五代表值；該第二局部二值模式特徵萃取模組比較該第十一外層鄰域點像素值、該第十二外層鄰域點像素值、該第十三外層鄰域點像素值及該第六鄰域點像素值而產生一第六代表值；該第二局部二值模式特徵萃取模組比較該第十三外層鄰域點像素值、該第十四外層鄰域點像素值、該第十五外層鄰域點像素值及該第七鄰域點像素值而產生一第七代表值；該第二局部二值模式特徵萃取模組比較該第十五外層鄰域點像素值、該第十六外層鄰域點像素值、該第一外層鄰域點像素值及該第八鄰域點像素值而產生一第八代表值； 其中，該第一代表值、該第二代表值、該第三代表值、該第四代表值、該第五代表值、該第六代表值、該第七代表值及該第八代表值依序排列而形成該第二特徵資訊組。

Images