TWI614723B - 基於人體動作影像的分析系統 - Google Patents

基於人體動作影像的分析系統 Download PDF

Info

Publication number
TWI614723B
TWI614723B TW105143765A TW105143765A TWI614723B TW I614723 B TWI614723 B TW I614723B TW 105143765 A TW105143765 A TW 105143765A TW 105143765 A TW105143765 A TW 105143765A TW I614723 B TWI614723 B TW I614723B
Authority
TW
Taiwan
Prior art keywords
image
training
training samples
distance
hierarchical
Prior art date
Application number
TW105143765A
Other languages
English (en)
Other versions
TW201824181A (zh
Inventor
王駿發
歐陽諺
邱正平
蔡安朝
官大文
Original Assignee
大仁科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大仁科技大學 filed Critical 大仁科技大學
Priority to TW105143765A priority Critical patent/TWI614723B/zh
Application granted granted Critical
Publication of TWI614723B publication Critical patent/TWI614723B/zh
Publication of TW201824181A publication Critical patent/TW201824181A/zh

Links

Abstract

一種基於人體動作影像的分析系統，以鄰近該影像之各該第一階層鄰近點與其對應之該些第二階層鄰近點之間的相關性計算各個類別的權重分數，由於高離散性之第一階層鄰近點的相關值較低，因此能降低其對應之類別權重分數，而降低誤判的可能性。

Description

基於人體動作影像的分析系統
本發明是關於一種分析系統，特別是關於一種基於人體動作影像的分析系統。
情感判讀(Emotion understanding)系統為目前人機介面(Human-machine interface)致力發展的研究之一，通常是藉由捕捉人體說話的聲音、影像或其他生理訊號進行分析，以判讀人體可能的情感為何。其中，情感判讀系統是擷取預定情感的所對應之生理訊號的特徵加以分類訓練，而得一情感訓練資料庫，而在人機介面捕捉人體的生理訊號後，情感判讀系統利用生理訊號之特徵將其分類至情感訓練資料庫中，即可判別人體的情感。因此如何正確的將生理訊號分類至該情感資料庫中，為情感判讀系統的重要核心，常見的分類方式為最近鄰居法( KNearest-Neighbor, KNN)，其藉由計算出鄰近目標生理特徵的 K個鄰近點後，以多數決的方式判別目標生理特徵屬於哪個類別，但最近鄰居法應用在高離散度的資料庫中容易出現誤判的情形。
本發明的主要目的在於透過運算單元以階層相關之最近鄰居法(Hierarchy-coherence KNearest-Neighbor)對影像擷取裝置截取之影像進行分類，不僅利用鄰近目標生理特徵的第一階層鄰近點，還利用鄰近第一階層鄰近點的第二階層鄰近點進行判讀，藉由兩階層之鄰近點間的相關值作為分類權重值的一部分，可有效地解決高離散度資料庫所造成誤判錯誤的問題。
本發明之一種基於人體動作影像的分析系統包含一影像擷取裝置及一運算單元，該影像擷取裝置用以擷取一影像，該運算單元由該影像擷取裝置接收該影像，其中該運算單元具有一訓練樣本資料庫，該訓練樣本資料庫具有複數個第一訓練樣本及複數個第二訓練樣本，該運算單元計算該影像與該些第一訓練樣本及該些第二訓練樣本之間的一第一距離，並取出 K個具有最短之該第一距離的該第一訓練樣本或第二訓練樣本作為個第一階層鄰近點，該運算單元計算各該第一階層鄰近點與該些第一訓練樣本及該些第二訓練樣本之間的一第二距離，並取出 L個具有最短之該第二距離的該第一訓練樣本或該第二訓練樣本作為各該第一階層鄰近點對應之複數個第二階層鄰近點，該運算單元根據各該第一階層鄰近點及對應之該些第二階層鄰近點計算各該第一階層鄰近點的一相關值，並根據各該第一階層鄰近點及該相關值決定該影像屬於該些第一訓練樣本對應之一表情或該些第二訓練樣本對應之一表情。
本發明藉由改良式最近鄰居法：階層相關之最近鄰居法進行影像的分類，以鄰近該影像之各該第一階層鄰近點與其對應之該些第二階層鄰近點之間的相關性來決定該影像是屬於哪個訓練樣本所對應之表情類別，藉此能降低高離散性之資料的相關值，使該類別之權重分數較低，而降低誤判的可能性。
請參閱第1圖，為本發明之一種基於人體動作影像的分析系統100的功能方塊圖，在本實施例中，是以人體動作影像中的臉部特徵分析該人體的臉部表情，其中該人體動作影像的分析系統100包含一影像擷取裝置110及一運算單元120，該影像擷取裝置110可為相機、攝影機等等可捕捉人體影像的裝置，該影像擷取裝置110用以擷取人體的一影像Ima，該運算單元120耦接該運算單元120，以由該影像擷取裝置110接收該影像Ima。在本實施例中，該運算單元120具有一顯著特徵處理單元121、兩主成分分析122、123、一表情分類器124、一訓練樣本資料庫125及一臉部表情識別模組126。
請參閱第2圖，在本實施例中，該顯著特徵處理單元121包含一哈爾特徵模組121a(Harr-like module)、一顯著特徵擷取模組121b、一灰階/正規化模組121c及一影像傾斜調整模組121d，該哈爾特徵模組121a用以偵測該影像Ima中的臉部影像，該顯著特徵擷取模組121b用以擷取一特性區域的特徵，其中該特性區域可為眉毛、眼睛、鼻子或嘴巴，該灰階/正規化模組121c用以將該影像Ima轉為灰階及正規化(Normalization)，以簡化該影像Ima的編程並減少資料的冗餘，該影像傾斜調整調整模組121d用以調整該影像Ima的傾斜角度，使得訓練之該影像Ima及分析之該影像Ima的角度相同，而利於後續之分析。
其中，由於用來訓練之該影像Ima通常不會有角度傾斜的問題，因此，在其他實施例中，可直接取用未經該影像傾斜調整模組121d處理之該影像Ima進行訓練。
請參閱第2圖，於該運算單元120的後端可區分為訓練部分及分析部分，該主成分分析122、123分別位於訓練部分及分析部分，以對該影像Ima進行一主成分分析(Principal component analysis)之處理，降低該影像Ima的維度，其中，用以訓練之該影像Ima_T及用以分析之該影像Ima_A分別傳送至該主成分分析122及123。該表情分類器124接收經該主成分分析122處理之用以訓練之該影像Ima_T，以根據其特徵值進行分類並儲存於該訓練樣本資料庫125中。請參閱第3圖，為該訓練樣本資料庫125的一示意圖，其中不同形狀之單元代表著不同類別之表情，在本實施例中，該訓練樣本資料庫125具有複數個第一訓練樣本(圖中以三角形符號表示)及複數個第二訓練樣本(圖中以圓形符號表示)，較佳的，該訓練樣本資料庫125另具有複數個正常訓練樣本(圖中以正方形表示)，該些正常訓練樣本對應人體不做任何表現之表情，該些正常訓練樣本定義有一中心C，該些正常訓練樣本所定義之該中心C用以確保後續分析步驟中所採用之鄰近點較該中心C鄰近該目標特徵。
必須說明的是，在本實施例中僅列舉兩種訓練樣本是利於後續之說明，訓練樣本的類別數量並非本發明所限制。
請參閱第1圖，該臉部表情識別模組126耦接該主成分分析123及該訓練樣本資料庫125，以接收經該主成分分析123處理之用以分析之該影像Ima_A，並由該訓練樣本資料庫125接收該些訓練樣本的資訊，以進行該影像Ima_A的分析。
請參閱第4至6圖，為該臉部表情識別模組126對該影像Ima_A進行分析的示意圖，請參閱第4圖，為該影像Ima_A與其他訓練樣本位置分布的示意圖，首先，該臉部表情識別模組126計算該影像Ima_A與該些第一訓練樣本及該些第二訓練樣本之間的一第一距離D1，並計算該影像Ima_A與該中心C之間的一動態距離DT，在本實施例中，該第一距離D1及該動態距離DT為歐式距離(Euclidean distance)。接著，請參閱第5圖，該臉部表情識別模組126取出 K個具有最短之該第一距離D1的該第一訓練樣本或第二訓練樣本作為 K個第一階層鄰近點F，其中 K為正整數，由使用者自行設定，在本實施例中， K設定為4。此外，較佳的，取出 K個具有最短之該第一距離D1的該第一訓練樣本或第二訓練樣本作為複數個第一階層鄰近點F時，僅採用該第一距離D1小於該動態距離DT之該第一訓練樣本或第二訓練樣本作為該些第一階層鄰近點F，藉此，能確保所選取之第一階層鄰近點F較些該正常訓練樣本之該中心C接近該影像Ima_A，以避免該影像Ima_A為不做任何表現之表情卻被誤判為其中之一訓練樣本對應之表情。在第5圖中，是取出兩個第一訓練樣本及兩個第二訓練樣本作為該第一階層鄰近點F，該第一階層鄰近點F以粗體線條表示。
接著，請參閱第6圖，以其中之一個第一階層鄰近點F為例，該臉部表情識別模組126計算各該第一階層鄰近點F與該些第一訓練樣本及該些第二訓練樣本之間的一第二距離D2，並取出 L個具有最短之該第二距離D2的該第一訓練樣本或該第二訓練樣本作為各該第一階層鄰近點F對應之複數個第二階層鄰近點S，在本實施例中，該第二距離D2為歐式距離(Euclidean distance)，此外， L為正整數，亦由使用者自行設定，在本實施例中， L 與 K相同設定為4。在第6圖中，其中之一第一階層鄰近點F是取出3個第一訓練樣本及1個第二訓練樣本作為該第二階層鄰近點S，該第二階層鄰近點S以粗體線條表示，由於該第一階層鄰近點F是屬於該第二訓練樣本，可知該第一階層鄰近點F的相關性並不高。該臉部表情識別模組126根據各該第一階層鄰近點F及對應之該些第二階層鄰近點S計算各該第一階層鄰近點 F的一相關值，該相關值的計算式為：
Figure TWI614723BD00001
Figure TWI614723BD00002
其中
Figure TWI614723BD00003
為第 i個第一階層鄰近點F的該相關值，
Figure TWI614723BD00004
為正整數，
Figure TWI614723BD00005
為第 i個第一階層鄰近點，
Figure TWI614723BD00006
為第 i個第一階層鄰近點之第 j個第二階層鄰近點。由上述之計算式能得知，若各該第一階層鄰近點F與對應之該第階層二鄰近點S為相同的類別時，其相關值會越高，但若各該第一階層鄰近點F與對應之該第階層二鄰近點S為相異的類別時，其相關值會越低。
最後，該臉部表情識別模組126根據各該第一階層鄰近點F及該相關值決定該影像Ima屬於該些第一訓練樣本對應之表情類別或該些第二訓練樣本對應之表情類別，在本實施例中，是藉由一權重計算式決定該影像Ima是屬於該些第一訓練樣本對應之該表情或該些第二訓練樣本對應之該表情，該權重計算式為：
Figure TWI614723BD00007
Figure TWI614723BD00008
其中，
Figure TWI614723BD00009
為第 r種訓練樣本的一權重分數，
Figure TWI614723BD00010
為訓練樣本的類別數量，而該權重分數最高的訓練樣本對應之表情類別則決定為該影像Ima所屬之表情類別，並由該臉部表情識別模組126輸出一臉部表情鑑別訊號FE。
由上述可知，由於該權重計算式的計算加入了各該第一階層鄰近點F的該相關值，因此，該權重分數的高低不僅僅取決於各該第一階層鄰近點F所屬類別的多寡，還要視各該第一階層鄰近點F與其鄰近之第二階層鄰近點S的相關性決定，因此，可應用於具有高離散性之資料庫，以解決高離散之資料導致誤判的情形。
本發明藉由改良式最近鄰居法：階層相關之最近鄰居法進行影像的分類，以鄰近該影像之各該第一階層鄰近點與其對應之該些第二階層鄰近點之間的相關性計算各個類別的權重分數，由於高離散性之第一階層鄰近點的相關值較低，因此能降低其對應之類別的權重分數，而降低誤判的可能性。
本發明之保護範圍當視後附之申請專利範圍所界定者為準，任何熟知此項技藝者，在不脫離本發明之精神和範圍內所作之任何變化與修改，均屬於本發明之保護範圍。
100‧‧‧基於人體動作影像的分析系統
110‧‧‧影像擷取裝置
120‧‧‧運算單元
121‧‧‧顯著特徵處理單元
121a‧‧‧哈爾特徵模組
121b‧‧‧顯著特徵擷取模組
121c‧‧‧灰階/正規化模組
121d‧‧‧影像傾斜調整模組
122‧‧‧主成分分析
123‧‧‧主成分分析
124‧‧‧表情分類器
125‧‧‧訓練樣本資料庫
126‧‧‧臉部表情識別模組
Ima‧‧‧影像
C‧‧‧中心
Ima_A‧‧‧分析之影像
Ima_T‧‧‧訓練之影像
D1‧‧‧第一距離
D2‧‧‧第二距離
DT‧‧‧動態距離
FE‧‧‧臉部表情鑑別訊號
F‧‧‧第一階層鄰近點
S‧‧‧第二階層鄰近點
第1圖： 依據本發明之一實施例，一種基於人體動作影像的分析系統的功能方塊圖。 第2圖：依據本發明之一實施例，一顯著特徵處理單元的功能方塊圖。 第3圖： 依據本發明之一實施例，正常、第一及第二訓練樣本分布的示意圖。 第4至6圖：依據本發明之一實施例，一影像進行分析的示意圖。
100‧‧‧基於人體動作影像的分析系統
110‧‧‧影像擷取裝置
120‧‧‧運算單元
121‧‧‧顯著特徵處理單元
122‧‧‧主成分分析
123‧‧‧主成分分析
124‧‧‧表情分類器
125‧‧‧訓練樣本資料庫
126‧‧‧臉部表情識別模組
Ima‧‧‧影像
Ima_A‧‧‧分析之影像
Ima_T‧‧‧訓練之影像
FE‧‧‧臉部表情鑑別訊號

Claims (9)

  1. 一種基於人體動作影像的分析系統，包含：一影像擷取裝置，用以擷取一影像；以及一運算單元，由該影像擷取裝置接收該影像，其中該運算單元具有一訓練樣本資料庫，該訓練樣本資料庫具有複數個第一訓練樣本及複數個第二訓練樣本，該運算單元計算該影像與該些第一訓練樣本及該些第二訓練樣本之間的一第一距離，並取出K個具有最短之該第一距離的該第一訓練樣本或第二訓練樣本作為複數個第一階層鄰近點，該運算單元計算各該第一階層鄰近點與該些第一訓練樣本及該些第二訓練樣本之間的一第二距離，並取出L個具有最短之該第二距離的該第一訓練樣本或該第二訓練樣本作為各該第一階層鄰近點對應之複數個第二階層鄰近點，該運算單元根據各該第一階層鄰近點及對應之該些第二階層鄰近點計算各該第一階層鄰近點的一相關值，並根據各該第一階層鄰近點及該相關值決定該影像屬於該些第一訓練樣本對應之一表情或該些第二訓練樣本對應之一表情，其中各該第一階層鄰近點之該相關值的計算式為： 其中θ i 為第i個第一階層鄰近點的該相關值，K,L為正整數，F i 為第i個第一階層鄰近點，S ij 為第i個第一階層鄰近點之第j個第二階層鄰近點。
  2. 如申請專利範圍第1項所述之基於人體動作影像的分析系統，其中該運算單元是藉由一權重計算式決定該影像是屬於該些第一訓練樣本對應之該表情或該些第二訓練樣本對應之該表情，該權重計算式為： 其中，S(C r )為第r種訓練樣本的一權重分數，m為訓練樣本的類別數量，而該權重分數最高的訓練樣本對應之該表情則決定為該影像所屬之該表情。
  3. 如申請專利範圍第1項所述之基於人體動作影像的分析系統，其中該訓練樣本資料庫另具有複數個正常訓練樣本，且該些正常訓練樣本定義有一中心，該影像與該中心之間具有一動態距離，其中取出K個具有最短之該第一距離的該第一訓練樣本或第二訓練樣本作為複數個第一階層鄰近點時，僅採用該第一距離小於該動態距離之該第一訓練樣本或第二訓練樣本作為該些第一階層鄰近點。
  4. 如申請專利範圍第3項所述之基於人體動作影像的分析系統，其中該第一距離、該第二距離及該動態距離為歐式距離(Euclidean distance)。
  5. 如申請專利範圍第1項所述之基於人體動作影像的分析系統，其中該運算單元由該影像擷取裝置接收該影像後對該影像進行一主成分分析(Principal component analysis)之處理，以降低該影像的維度。
  6. 如申請專利範圍第5項所述之基於人體動作影像的分析系統，其中對該影像進行該主成分分析之處理前另包含以一顯著特徵處理單元對該影像進行處理，該顯著特徵處理單元包含一哈爾特徵模組(Harr-like)、一顯著特徵擷取模組及一灰階/正規化模組，該哈爾特徵模組用以進行臉部偵測，該顯著特徵擷取模組用以擷取一特性區域的特徵，該灰階/正規化模組用以將該影像轉為灰階及正規化(Normalization)。
  7. 如申請專利範圍第6項所述之基於人體動作影像的分析系統，其中該顯著特徵處理單元另含一影像傾斜調整模組，該影像傾斜調整調整模組用以調整該影像的傾斜角度。
  8. 如申請專利範圍第1項所述之基於人體動作影像的分析系統，其中K等於L。
  9. 一種基於人體動作影像的分析系統，包含：一影像擷取裝置，用以擷取一影像；以及一運算單元，由該影像擷取裝置接收該影像，其中該運算單元具有一訓練樣本資料庫，該訓練樣本資料庫具有複數個第一訓練樣本及複數個第二訓練樣本，該運算單元計算該影像與該些第一訓練樣本及該些第二訓練樣本之間的一第一距離，並取出K個具有最短之該第一距離的該第一訓練樣本或第二訓練樣本作為複數個第一階層鄰近點，該運算單元計算各該第一階層鄰近點與該些第一訓練樣本及該些第二訓練樣本之間的一第二距離，並取出L個具有最短之該第二距離的該第一訓練樣本或該第二訓練樣本作為各該第一階層鄰近點對應之複數個第二階層鄰近點，該運算單元根據各該第一階層鄰近點及對應之該些第二階層鄰近點計算各該第一階層鄰近點的一相關值，並根據各該第一階層鄰近點及該相關值決定該影像屬於該些第一訓練樣本對應之一表情或該些第二訓練樣本對應之一表情，其中該訓練樣本資料庫另具有複數個正常訓練樣本，且該些正常訓練樣本定義有一中心，該影像與該中心之間具有一動態距離，其中取出K個具有最短之該第一距離的該第一訓練樣本或第二訓練樣本作為複數個第一階層鄰近點時，僅採用該第一距離小於該動態距離之該第一訓練樣本或第二訓練樣本作為該些第一階層鄰近點。
TW105143765A 2016-12-29 2016-12-29 基於人體動作影像的分析系統 TWI614723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW105143765A TWI614723B (zh) 2016-12-29 2016-12-29 基於人體動作影像的分析系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105143765A TWI614723B (zh) 2016-12-29 2016-12-29 基於人體動作影像的分析系統

Publications (2)

Publication Number Publication Date
TWI614723B true TWI614723B (zh) 2018-02-11
TW201824181A TW201824181A (zh) 2018-07-01

Family

ID=62016175

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105143765A TWI614723B (zh) 2016-12-29 2016-12-29 基於人體動作影像的分析系統

Country Status (1)

Country Link
TW (1) TWI614723B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192316A1 (en) * 2006-02-15 2007-08-16 Matsushita Electric Industrial Co., Ltd. High performance vector search engine based on dynamic multi-transformation coefficient traversal
TW201243627A (en) * 2011-04-22 2012-11-01 Univ Nat Sun Yat Sen Multi-label text categorization based on fuzzy similarity and k nearest neighbors
TW201523462A (zh) * 2013-11-04 2015-06-16 Beijing Jingdong Shangke Information Technology Co Ltd 圖像目標類別識別方法及裝置
US9280821B1 (en) * 2008-05-20 2016-03-08 University Of Southern California 3-D reconstruction and registration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192316A1 (en) * 2006-02-15 2007-08-16 Matsushita Electric Industrial Co., Ltd. High performance vector search engine based on dynamic multi-transformation coefficient traversal
US9280821B1 (en) * 2008-05-20 2016-03-08 University Of Southern California 3-D reconstruction and registration
TW201243627A (en) * 2011-04-22 2012-11-01 Univ Nat Sun Yat Sen Multi-label text categorization based on fuzzy similarity and k nearest neighbors
TW201523462A (zh) * 2013-11-04 2015-06-16 Beijing Jingdong Shangke Information Technology Co Ltd 圖像目標類別識別方法及裝置

Also Published As

Publication number Publication date
TW201824181A (zh) 2018-07-01

Similar Documents

Publication Publication Date Title
US20230117712A1 (en) Feature density object classification, systems and methods
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
JP5517858B2 (ja) 画像処理装置、撮像装置、画像処理方法
US8837786B2 (en) Face recognition apparatus and method
WO2016110005A1 (zh) 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN105740779B (zh) 人脸活体检测的方法和装置
JP2017027600A (ja) 手振り識別方法と装置
JP2005056387A (ja) 画像処理装置、撮像装置、画像処理方法
CN106297755B (zh) 一种用于乐谱图像识别的电子设备及识别方法
US10423817B2 (en) Latent fingerprint ridge flow map improvement
US9489593B2 (en) Information processing apparatus and training method
Qin et al. A survey of identity recognition via data fusion and feature learning
WO2022213396A1 (zh) 猫的面部个体识别装置、方法、计算机设备及存储介质
CN111126240A (zh) 一种三通道特征融合人脸识别方法
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
Wu et al. Audio-visual kinship verification in the wild
WO2023123923A1 (zh) 人体重识别方法、人体重识别装置、计算机设备及介质
JP2013228847A (ja) 顔表情解析装置および顔表情解析プログラム
CN107480628B (zh) 一种人脸识别方法及装置
WO2015131710A1 (zh) 人眼定位方法及装置
JP2004178569A (ja) データ分類装置、物体認識装置、データ分類方法及び物体認識方法
TWI614723B (zh) 基於人體動作影像的分析系統
US20030123734A1 (en) Methods and apparatus for object recognition
JP2006244385A (ja) 顔判別装置およびプログラム並びに顔判別装置の学習方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees