TWI711980B - 表情辨識訓練系統及表情辨識訓練方法 - Google Patents

表情辨識訓練系統及表情辨識訓練方法 Download PDF

Info

Publication number
TWI711980B
TWI711980B TW107104796A TW107104796A TWI711980B TW I711980 B TWI711980 B TW I711980B TW 107104796 A TW107104796 A TW 107104796A TW 107104796 A TW107104796 A TW 107104796A TW I711980 B TWI711980 B TW I711980B
Authority
TW
Taiwan
Prior art keywords
expression
facial
feature
features
image
Prior art date
Application number
TW107104796A
Other languages
English (en)
Other versions
TW201935317A (zh
Inventor
吳炳飛
林俊賢
鐘孟良
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW107104796A priority Critical patent/TWI711980B/zh
Priority to CN201811465767.6A priority patent/CN110135230B/zh
Priority to US16/255,798 priority patent/US10776614B2/en
Publication of TW201935317A publication Critical patent/TW201935317A/zh
Application granted granted Critical
Publication of TWI711980B publication Critical patent/TWI711980B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一種表情辨識訓練系統包含訓練模組、特徵資料庫、擷取模組、辨識模組及調整模組。訓練模組根據已知臉部影像訓練表情特徵擷取模型。特徵資料庫儲存已知臉部影像的已知表情特徵。擷取模組連續擷取第一臉部影像,表情特徵擷取模型根據第一臉部影像輸出表情特徵。辨識模組比對表情特徵與已知表情特徵,並據此將表情特徵對應到已知表情特徵。調整模組調整表情特徵擷取模型,以縮小表情特徵與對應表情特徵徵的已知表情特徵之間的差值。

Description

表情辨識訓練系統及表情辨識訓練方法
本揭示文件係關於一種訓練系統及訓練方法,尤指一種表情辨識訓練系統及表情辨識訓練方法。
隨著科技的進步,臉部辨識的技術已經進展到表情辨識,也就是透過表情辨識系統可以辨識出臉部影像的各種表情,例如高興、吃驚、悲傷、憤怒、厭惡、驚喜及悲憤等。
習知表情辨識系統係透過機器學習,並利用大量的有標記的影像資料來訓練此表情辨識系統,藉以使此表情辨識系統能夠辨識出臉部影像的各種表情。換言之,此表情辨識系統在訓練好之後,除非再次給予有標記的影像資料來做訓練,基本上此表情辨識系統的參數不會再變動,因此若有未標記的影像資料輸入至此表情辨識系統,則此表情辨識系統有相當大的機率辨識錯誤。
本揭示文件係揭示一種表情辨識訓練系統以及 表情辨識訓練方法。
本揭示文件的一種表情辨識訓練包含訓練模組、特徵資料庫、擷取模組、辨識模組及調整模組。訓練模組根據已知臉部影像訓練表情特徵擷取模型。特徵資料庫儲存已知臉部影像的已知表情特徵。擷取模組擷取第一臉部影像,表情特徵擷取模型根據第一臉部影像輸出第一臉部影像的表情特徵。辨識模組比對表情特徵與已知表情特徵,並據此將表情特徵對應到已知表情特徵其中一種已知表情特徵。調整模組調整表情特徵擷取模型,以縮小表情特徵與已知表情特徵之間的差值。
本揭示文件的一種表情辨識訓練方法包含根據已知臉部影像訓練表情特徵擷取模型。儲存已知臉部影像的已知表情特徵。擷取第一臉部影像,表情特徵擷取模型根據第一臉部影像輸出第一臉部影像的表情特徵。比對表情特徵與已知表情特徵,並據此將表情特徵對應到已知表情特徵其中一種已知表情特徵。調整表情特徵擷取模型,以縮小表情特徵與已知表情特徵之間的差值。
100‧‧‧表情辨識訓練系統
110‧‧‧訓練模組
111‧‧‧表情特徵擷取模型
120‧‧‧特徵資料庫
130‧‧‧擷取模組
140‧‧‧辨識模組
150‧‧‧調整模組
200‧‧‧表情辨識訓練系統
210‧‧‧訓練模組
211‧‧‧表情特徵擷取模型
220‧‧‧特徵資料庫
230‧‧‧擷取模組
240‧‧‧辨識模組
250‧‧‧調整模組
260‧‧‧影像校準模組
CP‧‧‧中心點
EL‧‧‧雙眼連線
FEF1‧‧‧表情特徵
FEF2‧‧‧表情特徵
FI1‧‧‧第一臉部影像
FI2‧‧‧第二臉部影像
HL‧‧‧水平線
KFEF‧‧‧已知表情特徵
KFEF1‧‧‧已知表情特徵
KFEF2‧‧‧已知表情特徵
KFI‧‧‧已知臉部影像
KP‧‧‧關鍵點
KP1‧‧‧第一關鍵點
NTEP‧‧‧鼻尖特徵點
RS‧‧‧基準面
M100‧‧‧方法
M200‧‧‧方法
S110~S160‧‧‧步驟
S210~S280‧‧‧步驟
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1圖為根據本揭示文件之一實施例所示之表情辨識訓練系統的功能方塊圖。
第2圖為根據本揭示文件之一實施例所示之表情辨識訓練方法的流程圖。
第3A圖為根據本揭示文件之一實施例所示之第一臉部影像的示意圖。
第3B圖為在第3A圖所示之第一臉部影像中標示關鍵點的示意圖。
第3C圖為依據第3B圖所示之關鍵點在第3A圖所示之第一臉部影像中框選表情特徵的示意圖。
第4圖為根據本揭示文件之另一實施例所示之表情辨識訓練系統的功能方塊圖。
第5圖為根據本揭示文件之另一實施例所示之表情辨識訓練方法的流程圖。
第6圖為第5圖所示的表情辨識訓練方法的步驟S240的進一步步驟的流程圖。
第7A圖為根據本揭示文件之一實施例所示之第一臉部影像與基準面的示意圖。
第7B圖為平移第7A圖所示之第一臉部影像以使得第一臉部影像中的鼻尖特徵點與基準面的中心點對齊的示意圖。
第7C圖為旋轉第7B圖所示之經平移的第一臉部影像以使得經平移的第一臉部影像的雙眼連線與基準面的水平線平行而形成第二臉部影像的示意圖。
第7D圖為在第7C圖所示之第二臉部影像中標示關鍵點的示意圖。
第7E圖為依據第7D圖所示之關鍵點在第7C圖所示之第二臉部影像中框選表情特徵的示意圖。
下文係舉實施例配合所附圖式作詳細說明,以更好地理解本案的態樣,但所供給之實施例並非用以限制本案所涵蓋的範圍,而結構操作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本案所涵蓋的範圍。
請參照第1圖,其為根據本揭示文件之一實施例所示之表情辨識訓練系統100的功能方塊圖。
表情辨識訓練系統100包含訓練模組110、特徵資料庫120、擷取模組130、辨識模組140以及調整模組150。
訓練模組110用以根據複數個已知臉部影像KFI訓練表情特徵擷取模型111。
於一實施例中,已知臉部影像KFI可包含具有各種表情的臉部影像,例如高興、吃驚、悲傷、憤怒、厭惡、驚喜及悲憤等。由於不同表情的已知臉部影像KFI具有不同的已知表情特徵KFEF,因此訓練模組110可依據不同的已知表情特徵KFEF而對已知臉部影像KFI進行訓練,進而得到相對應的表情特徵擷取模型111。舉例來說,若表情為高興的已知臉部影像KFI,則訓練模組110可根據已知臉部影像KFI的已知表情特徵KFEF,例如嘴巴特徵為嘴角上揚,而產生表情為高興的表情特徵擷取模型111;或者是,若表 情為吃驚的已知臉部影像KFI,則訓練模組110可根據已知臉部影像KFI的已知表情特徵KFEF,例如嘴巴特徵為嘴巴張開,而產生表情為吃驚的表情特徵擷取模型111。
於一實施例中,表情特徵擷取模型111可為旋積神經網路(convolutional neural network)。
特徵資料庫120用以儲存已知臉部影像KFI的已知表情特徵KFEF,其中已知表情特徵KFEF可用特徵向量來表示,且對應不同表情的已知表情特徵KFEF具有不同的特徵向量範圍。舉例來說,表情為高興的已知表情特徵KFEF具有第一特徵向量範圍,而表情為吃驚的已知表情特徵KFEF具有第二特徵向量範圍,也就是說落在第一特徵向量範圍中的特徵向量即表示對應此特徵向量的已知臉部影像KFI之表情為高興的,而落在第二特徵向量範圍中的特徵向量即表示對應此特徵向量的已知臉部影像KFI之表情為吃驚的。
擷取模組130用以連續擷取複數個第一臉部影像FI1,該些第一臉部影像FI1可包含具有各種表情的臉部影像,例如高興、吃驚、悲傷、憤怒、厭惡、驚喜及悲憤等。
於一實施例中,擷取模組130可為相機、攝影機或錄影機等。
表情特徵擷取模型111可根據第一臉部影像FI1輸出表情特徵FEF1,其中表情特徵FEF1對應第一臉部影像FI1。換言之,第一臉部影像FI1經過表情特徵辨識模型111的辨識之後,可輸出第一臉部影像FI1的表情特徵FEF1。舉例來說,當高興、吃驚、悲傷、憤怒、厭惡、驚喜及悲憤等的第一臉部影像FI1經 過表情特徵擷取模型111的辨識之後,表情特徵擷取模型111可輸出高興、吃驚、悲傷、憤怒、厭惡、驚喜及悲憤等的表情特徵FEF1。
辨識模組140用以比對表情特徵FEF1與已知表情特徵KFEF,並據此將表情特徵FEF1對應到已知表情特徵KFEF。以一個表情特徵FEF1為例,辨識模組140從已知表情特徵KFEF中找出與該表情特徵FEF1的特徵向量最接近的已知表情特徵KFEF的特徵向量,並求出該表情特徵FEF1的特徵向量與所找出的已知表情特徵KFEF的特徵向量之間的差值。因此,其餘的表情特徵FEF1亦可依照相同方式求出與其特徵向量最接近的已知表情特徵KFEF的特徵向量,並分別求其餘的表情特徵FEF1與所找出的已知表情特徵KFEF的特徵向量之間的差值。進一步地,再將所求出的所有差值經過計算後並加總,即可得到一數值。再者,當該數值接近最小值時,表情特徵擷取模型111即可被建立。
調整模組150用以調整表情特徵擷取模型111,以縮小表情特徵FEF1與已知表情特徵KFEF1之間的差值。
應注意的是,訓練模組110、特徵資料庫120、擷取模組130、辨識模組140以及調整模組150可用硬體、軟體、韌體或其組合來體現。
請一併參照第1圖及第2圖。第2圖為根據本揭示文件之一實施例所示之表情辨識訓練方法M100的流程圖。第2圖所示之表情辨識訓練方法M100可應用於第1圖所示之表情辨識訓練系統100中。
於步驟S110中,訓練模組110根據複數個已知臉部影像KFI訓練表情特徵擷取模型111。
於步驟S120中,特徵資料庫120儲存已知臉部影像KFI的已知表情特徵KFEF,例如表情為高興或吃驚的已知表情特徵KFEF。
於步驟S130中,擷取模組130擷取第一臉部影像FI1。具體來說,請一併參照第3A圖,其為根據本揭示文件之一實施例所示之第一臉部影像FI1的示意圖。應注意的是,第3A圖僅以一個第一臉部影像FI1作為示例。
如第3A圖所示,第一臉部影像FI1係以表情為高興的臉部影像作為示例。
於步驟S140中,表情特徵擷取模型111可根據第一臉部影像FI1輸出第一臉部影像FI1的表情特徵FEF1。具體來說,請一併參照第3B圖及第3C圖,第3B圖為在第3A圖所示之第一臉部影像FI1中標示關鍵點KP的示意圖,第3C圖為依據第3B圖所示之關鍵點KP在第3A圖所示之第一臉部影像FI1中框選表情特徵FEF1的示意圖。
如第3B圖所示,第一臉部影像FI1可藉由臉部辨識技術而將左眉、右眉、左眼、右眼、嘴巴、額頭、鼻子及臉部輪廓標示出對應的關鍵點KP;接著,由於第一臉部影像FI1並非正的,因此需要進一步根據鼻尖與雙眼連線而將關鍵點KP進行旋轉與平移的校準;最後,再利用橢圓回歸來去除背景者或其他不需要的特徵,藉以將臉部切割出來,並在關鍵點KP中選定第一關鍵點KP1。具體來說,於本實施例中,第一關鍵點 KP1的數量有十一個,左眉處與右眉處分別具有三個、左眼處與右眼處分別具有一個以及嘴巴處具有三個。應注意的是,第3B圖所示之關鍵點KP及第一關鍵點KP1的數量及位置僅為示例,並不以此為限。
此外,如第3C圖所示,可藉由左眉、右眉、左眼、右眼及嘴巴的第一關鍵點KP1的標示,使得表情特徵擷取模型111可根據第一關鍵點KP1而在第一臉部影像FI1中框選表情特徵FEF1,其中表情特徵FEF1包含左眉特徵、右眉特徵、左眼特徵、右眼特徵及嘴巴特徵。
再者,由於第一臉部影像FI1為高興表情,因此表情特徵FEF1的左眉特徵、右眉特徵、左眼特徵、右眼特徵及嘴巴特徵應符合高興表情的特徵,例如嘴巴特徵為嘴角上揚狀態。當嘴巴特徵為嘴較上揚狀態時,表示相較於無表情時標示於嘴巴嘴角處的第一關鍵點KP1的位置將向上移動。
於步驟S150中,辨識模組140比對表情特徵FEF1與已知表情特徵KFEF,並據此將表情特徵FEF1對應到已知表情特徵KFEF其中一種已知表情特徵KFEF1。具體來說,由於表情特徵FEF1為符合高興表情的特徵,因此辨識模組140將自特徵資料庫120的已知表情特徵KFEF中選擇符合高興表情的特徵的已知表情特徵KFEF1,其中表情特徵FEF1與已知表情特徵KFEF1之間係具有差值而不完全相同。簡言之,表情特徵FEF1與已知表情特徵KFEF1皆為符合高興表情的特徵,然兩者具有些微的差值,例如表情特徵FEF1與已知表情特徵 KFEF1的嘴巴特徵皆為嘴角上揚狀態,然上揚的幅度並不完全相同。
於步驟S160中,調整模組150調整表情特徵擷取模型111,以縮小表情特徵FEF1與已知表情特徵KFEF1之間的差值。詳言之,可藉由隨機梯度下降法(stochastic gradient descent,SCD)調整表情特徵擷取模型111的相關參數,以縮小表情特徵FEF1與已知表情特徵KFEF1之間的差值。
經過調整後的表情特徵擷取模型111可將需要進行表情特徵辨識的臉部影像進行更精確的表情辨識,藉以讓調整後的表情特徵擷取模型111所擷取出來的表情特徵FEF1可以和特徵資料庫120裡的已知表情特徵KFEF1越接近越好,以達成適應性之目的。
藉此,表情特徵擷取模型111在每一次對未標記的臉部影像進行表情特徵辨識時,調整模組150將會相應地調整表情特徵擷取模型111的參數,以使得表情特徵擷取模型111持續被訓練,進而提高表情特徵擷取模型111的表情特徵辨識能力,而達到適應性、個人化之目的;此外,更具有可線上調整表情特徵擷取模型111的參數之功效;再者,也不易產生概念漂移的問題。
再請參閱第4圖,其為根據本揭示文件之另一實施例所示之表情辨識訓練系統200的功能方塊圖。
表情辨識訓練系統200包含訓練模組210、特徵資料庫220、擷取模組230、辨識模組240、調整模組250以及影像校準模組260。
訓練模組210用以根據複數個已知臉部影像 KFI訓練表情特徵擷取模型211。
於一實施例中,表情特徵擷取模型211可為旋積神經網路(convolutional neural network)。
特徵資料庫220用以儲存已知臉部影像KFI的已知表情特徵KFEF。
擷取模組230用以擷取第一臉部影像FI1。
於一實施例中,擷取模組230可為相機、攝影機或錄影機等。
影像校準模組260用以相對於基準面而調正及銳利化第一臉部影像FI1以形成第二臉部影像FI2。
表情特徵擷取模型211可根據第二臉部影像FI2輸出第二臉部影像FI2的表情特徵FEF2。換言之,第二臉部影像FI2經過表情特徵擷取模型211的辨識之後,可輸出第二臉部影像FI2的表情特徵FEF2。
辨識模組240用以比對表情特徵FEF2與已知表情特徵KFEF,並據此將表情特徵FEF2對應到已知表情特徵KFEF其中一種已知表情特徵KFEF2。
調整模組250用以調整表情特徵擷取模型211,以縮小第二臉部影像FI2的表情特徵FEF2與已知表情特徵KFEF2之間的差值。
應注意的是,訓練模組210、特徵資料庫220、擷取模組230、辨識模組240、調整模組250以及影像校準模組260可用硬體、軟體、韌體或其組合來體現。
請一併參照第4圖及第5圖,第4圖為根據本揭示 文件之另一實施例所示之表情辨識訓練系統200的功能方塊圖。第5圖為根據本揭示文件之另一實施例所示之表情辨識訓練方法M200的流程圖。
表情辨識訓練方法M200的步驟S210至步驟S230與表情辨識訓練方法M100的步驟S110至步驟S130大致相同,故不另贅述。以下將僅說明步驟S240至步驟S280。
於步驟S240中,影像校準模組260相對於基準面RS而調正第一臉部影像FI1以形成第二臉部影像FI2。進一步地,請一併參照第6圖,其為第5圖所示的表情辨識訓練方法M200的步驟S240的進一步步驟的流程圖。
步驟S240包含步驟S241以及步驟S242。
於步驟S241中,影像校準模組260相對於基準面RS平移第一臉部影像FI1以使得第一臉部影像FI1的鼻尖特徵點NTEP與基準面RS的中心點CP對齊。具體來說,請一併參照第7A圖及第7B圖,第7A圖為根據本揭示文件之一實施例所示之第一臉部影像FI1與基準面RS的示意圖,第7B圖為平移第7A圖所示之第一臉部影像FI1以使得第一臉部影像FI1中的鼻尖特徵點NTEP與基準面RS的中心點CP對齊的示意圖。
如第7A圖所示,第一臉部影像FI1係以表情為高興的臉部影像作為示例,且第一臉部影像FI1鼻尖特徵點NTEP以及雙眼連線EL,鼻尖特徵點NTEP係位於鼻尖處,雙眼連線EL為穿過雙眼的線。基準面RS為與第一臉部影像 FI1重疊的面,基準面RS具有中心點CP以及穿過中心點CP的水平線HL。
如第7B圖所示,影像校準模組260平移第一臉部影像FI1,以使得第一臉部影像FI1的鼻尖特徵點NTEP與基準面RS的中心點CP對齊。
於步驟S242中,影像校準模組260旋轉經平移的第一臉部影像FI1以使得經平移的第一臉部影像FI1的雙眼連線EL與基準面RS的水平線HL平行。具體來說,請一併參照第7C圖,其為旋轉第7B圖所示之經平移的第一臉部影像FI1以使得經平移的第一臉部影像FI1的雙眼連線EL與基準面RS的水平線HL平行而形成第二臉部影像FI2的示意圖。
如第7C圖所示,經平移及旋轉的第一臉部影像FI1形成第二臉部影像FI2。
於步驟S250中,影像校準模組260利用鄰近-中心差分影像法(neighbor-center difference images,NCDIs)銳利化第二臉部影像FI2。詳言之,影像校準模組260將第二臉部影像FI2中的每一個像素對其周圍的八個像素進行差運算而銳利化第二臉部影像FI2。
於步驟S260中,表情特徵擷取模型211可根據經銳利化的第二臉部影像FI2輸出表情特徵FEF2。具體來說,請一併參照第7D圖及第7E圖,第7D圖為在第7C圖所示之第二臉部影像FI2(尤指經銳利化的第二臉部影像FI2)中標示關鍵點KP的示意圖,第7E圖為依據第7D圖所示之關鍵點KP在 第7C圖所示之第二臉部影像FI2中框選表情特徵FEF2的示意圖。
如第7D圖所示,表情特徵擷取模型211可藉由臉部的輪廓及五官的特性而在第二臉部影像FI2上標示出複數個關鍵點KP,例如在第二臉部影像FI2的左眉、右眉、左眼、右眼、嘴巴、額頭、鼻子及臉部輪廓等皆標示有對應的關鍵點KP,並利用橢圓回歸在關鍵點KP中選定第一關鍵點KP1。進一步地,於本實施例中,第一關鍵點KP1的數量有十一個,左眉處與右眉處分別具有三個、左眼處與右眼處分別具有一個以及嘴巴處具有三個。應注意的是,第7D圖所示之關鍵點KP及第一關鍵點KP1的數量及位置僅為示例,並不以此為限。
此外,如第7D圖所示,可藉由左眉、右眉、左眼、右眼及嘴巴的第一關鍵點KP1的標示,而在第二臉部影像FI2中框選表情特徵FEF2,其中表情特徵FEF2包含左眉特徵、右眉特徵、左眼特徵、右眼特徵及嘴巴特徵。
再者,由於第二臉部影像FI2為高興表情,因此表情特徵FEF2的左眉特徵、右眉特徵、左眼特徵、右眼特徵及嘴巴特徵應符合高興表情的特徵,例如嘴巴特徵為嘴角上揚狀態。當嘴巴特徵為嘴較上揚狀態時,表示相較於無表情時標示於嘴巴嘴角處的第一關鍵點KP1的位置將向上移動。
於步驟S270中,辨識模組240比對表情特徵FEF2與已知表情特徵KFEF,並據此將表情特徵FEF2對應到已知表 情特徵KFEF其中一種已知表情特徵KFEF2。具體來說,由於表情特徵FEF2為符合高興表情的特徵,因此辨識模組240將自特徵資料庫220的已知表情特徵KFEF中選擇符合高興表情的特徵的已知表情特徵KFEF2,其中表情特徵FEF2與已知表情特徵KFEF2之間係具有差值而不完全相同。簡言之,表情特徵FEF2與已知表情特徵KFEF2皆為符合高興表情的特徵,然兩者具有些微的差值,例如表情特徵FEF2與已知表情特徵KFEF2的嘴巴特徵皆為嘴角上揚狀態,然上揚的幅度並不完全相同。
於步驟S280中,調整模組250調整表情特徵擷取模型211,以縮小表情特徵FEF2與已知表情特徵KFEF2之間的差值。詳言之,可藉由隨機梯度下降法調整表情特徵擷取模型211的相關參數,以縮小表情特徵FEF2與已知表情特徵KFEF2之間的差值。
經過調整後的表情特徵擷取模型211可將需要進行表情特徵辨識的臉部影像進行更精確的表情辨識,藉以讓調整後的表情特徵擷取模型211所擷取出來的表情特徵FEF2可以和特徵資料庫220裡的已知表情特徵KFEF2越接近越好,以達成適應性之目的。
藉此,表情特徵擷取模型211在每一次對未標記的臉部影像進行表情特徵辨識時,調整模組250將會相應地調整表情特徵擷取模型211的參數,以使得表情特徵擷取模型211持續被訓練,進而提高表情特徵擷取模型211的表情特徵辨識能力,而達到適應性、個人化之目的;此外,更具有可線上調整表情特徵擷取 模型211的參數之功效;再者,也不易產生概念漂移的問題。
綜上所述,本揭示文件的表情辨識訓練系統藉由訓練模組、特徵資料庫、擷取模組、辨識模組以及調整模組,而使得表情特徵擷取模型可以持續被訓練,進而提高表情特徵擷取模型的表情特徵辨識能力,而達到適應性、個人化之目的,更具有可線上調整表情特徵擷取模型的參數之功效;再者,也不易產生概念漂移的問題。
雖然本案已以實施例揭露如上,然其並非用以限定本案,任何所屬技術領域中具有通常知識者,在不脫離本案之精神和範圍內,當可作些許之更動與潤飾,故本案之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧表情辨識訓練系統
110‧‧‧訓練模組
111‧‧‧表情特徵擷取模型
120‧‧‧特徵資料庫
130‧‧‧擷取模組
140‧‧‧辨識模組
150‧‧‧調整模組
FEF1‧‧‧表情特徵
FI1‧‧‧第一臉部影像
KFEF‧‧‧已知表情特徵
KFEF1‧‧‧已知表情特徵
KFI‧‧‧已知臉部影像

Claims (8)

  1. 一種表情辨識訓練系統,包含:一訓練模組,用以根據複數個已知臉部影像訓練一表情特徵擷取模型;一特徵資料庫,用以儲存該些已知臉部影像的複數個已知表情特徵;一擷取模組,用以連續擷取複數個第一臉部影像;一影像校準模組,用以調正該些第一臉部影像以形成一第二臉部影像,並銳利化該第二臉部影像,該表情特徵擷取模型辨識經銳利化的該第二臉部影像以輸出複數個表情特徵;一辨識模組,用以比對該些表情特徵與該些已知表情特徵,並據此將該些表情特徵對應到該些已知表情特徵;以及一調整模組,用以在該訓練模組訓練完該表情特徵擷取模型後,調整該表情特徵擷取模型,以縮小該些表情特徵與對應該些表情特徵的該些已知表情特徵之間的差值。
  2. 如請求項1所述之表情辨識訓練系統,其中該影像校準模組用以相對於一基準面平移各該第一臉部影像以使得各該第一臉部影像的一鼻尖特徵點與該基準面的一中心點對齊,旋轉經平移的各該第一臉部影像以使得經平移的各該第一臉部影像的一雙眼連線與該基準面的一水平線平行,以形成該第二臉部影像。
  3. 如請求項2所述之表情辨識訓練系統,其中該影像校準模組利用鄰近-中心差分影像法(neighbor-center difference images,NCDIs)銳利化該第二臉部影像。
  4. 如請求項1所述之表情辨識訓練系統,其中該表情特徵擷取模型為旋積神經網路(convolutional neural network)。
  5. 一種表情辨識訓練方法,包含:根據複數個已知臉部影像訓練一表情特徵擷取模型;儲存該些已知臉部影像的複數個已知表情特徵;擷取複數個第一臉部影像;相對於一基準面而調正該些第一臉部影像以形成一第二臉部影像,並銳利化該第二臉部影像;由該表情特徵擷取模型辨識經銳利化的該第二臉部影像以輸出複數個表情特徵;比對該些表情特徵與該些已知表情特徵,並據此將該些表情特徵對應到該些已知表情特徵;以及調整已根據該複數個已知臉部影像訓練完成的該表情特徵擷取模型,以縮小該些表情特徵與對應該些表情特徵的該些已知表情特徵之間的差值。
  6. 如請求項5所述之表情辨識訓練方法,其中在相對於該基準面而調正各該第一臉部影像以形成該第二臉 部影像之步驟包含:相對於該基準面平移各該第一臉部影像以使得各該第一臉部影像的一鼻尖特徵點與該基準面的一中心點對齊;以及旋轉經平移的各該第一臉部影像以使得經平移的各該第一臉部影像的一雙眼連線與該基準面的一水平線平行,以形成該第二臉部影像。
  7. 如請求項5所述之表情辨識訓練方法,其中銳利化該第二臉部影像之步驟包含:利用鄰近-中心差分影像法(neighbor-center difference images,NCDIs)銳利化該第二臉部影像。
  8. 如請求項5所述之表情辨識訓練方法,其中該表情特徵擷取模型為旋積神經網路(convolutional neural network)。
TW107104796A 2018-02-09 2018-02-09 表情辨識訓練系統及表情辨識訓練方法 TWI711980B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107104796A TWI711980B (zh) 2018-02-09 2018-02-09 表情辨識訓練系統及表情辨識訓練方法
CN201811465767.6A CN110135230B (zh) 2018-02-09 2018-12-03 表情辨识训练系统及表情辨识训练方法
US16/255,798 US10776614B2 (en) 2018-02-09 2019-01-23 Facial expression recognition training system and facial expression recognition training method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107104796A TWI711980B (zh) 2018-02-09 2018-02-09 表情辨識訓練系統及表情辨識訓練方法

Publications (2)

Publication Number Publication Date
TW201935317A TW201935317A (zh) 2019-09-01
TWI711980B true TWI711980B (zh) 2020-12-01

Family

ID=67541748

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107104796A TWI711980B (zh) 2018-02-09 2018-02-09 表情辨識訓練系統及表情辨識訓練方法

Country Status (3)

Country Link
US (1) US10776614B2 (zh)
CN (1) CN110135230B (zh)
TW (1) TWI711980B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
US10860841B2 (en) * 2016-12-29 2020-12-08 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
US11106898B2 (en) * 2018-03-19 2021-08-31 Buglife, Inc. Lossy facial expression training data pipeline
CN111507143B (zh) * 2019-01-31 2023-06-02 北京字节跳动网络技术有限公司 表情图像效果生成方法、装置和电子设备
CN111553189A (zh) * 2020-03-30 2020-08-18 深圳壹账通智能科技有限公司 基于视频信息的数据验证方法、装置及存储介质
CN113313020B (zh) * 2021-05-27 2023-04-07 成都威爱新经济技术研究院有限公司 一种基于虚拟人的无标记面部表情捕获方法及系统
US20230316564A1 (en) * 2022-03-29 2023-10-05 Spinal Guides Labs, Llc Devices, systems and methods for precise human head positioning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587069B2 (en) * 2003-07-24 2009-09-08 Sony Corporation Weak hypothesis generation apparatus and method, learning apparatus and method, detection apparatus and method, facial expression learning apparatus and method, facial expression recognition apparatus and method, and robot apparatus
US20140242560A1 (en) * 2013-02-15 2014-08-28 Emotient Facial expression training using feedback from automatic facial expression recognition
CN104463103A (zh) * 2014-11-10 2015-03-25 小米科技有限责任公司 图像处理方法及装置
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366704B2 (en) * 2001-06-28 2008-04-29 Waters Investments, Limited System and method for deconvoluting the effect of topography on scanning probe microscopy measurements
JP4766702B2 (ja) * 2008-01-11 2011-09-07 キヤノン株式会社 画像処理装置及び方法
US8374422B2 (en) 2008-04-14 2013-02-12 Xid Technologies Pte Ltd. Face expressions identification
CN102136069A (zh) * 2010-01-25 2011-07-27 华晶科技股份有限公司 用于辨识的对象影像校正装置与其方法
TWI430185B (zh) 2010-06-17 2014-03-11 Inst Information Industry 臉部表情辨識系統及其辨識方法及其電腦程式產品
TWI457872B (zh) 2011-11-15 2014-10-21 Univ Nat Taiwan Normal 具人臉表情辨識輔助之測驗系統及方法
JP2013196294A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 人物画像処理装置、及び人物画像処理方法
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
CN107358169A (zh) * 2017-06-21 2017-11-17 厦门中控智慧信息技术有限公司 一种人脸表情识别方法及人脸表情识别装置
US10789456B2 (en) * 2017-12-28 2020-09-29 Adobe Inc. Facial expression recognition utilizing unsupervised learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587069B2 (en) * 2003-07-24 2009-09-08 Sony Corporation Weak hypothesis generation apparatus and method, learning apparatus and method, detection apparatus and method, facial expression learning apparatus and method, facial expression recognition apparatus and method, and robot apparatus
US20140242560A1 (en) * 2013-02-15 2014-08-28 Emotient Facial expression training using feedback from automatic facial expression recognition
CN104463103A (zh) * 2014-11-10 2015-03-25 小米科技有限责任公司 图像处理方法及装置
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置

Also Published As

Publication number Publication date
CN110135230A (zh) 2019-08-16
US20190251336A1 (en) 2019-08-15
US10776614B2 (en) 2020-09-15
TW201935317A (zh) 2019-09-01
CN110135230B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
TWI711980B (zh) 表情辨識訓練系統及表情辨識訓練方法
US11727663B2 (en) Method and apparatus for detecting face key point, computer device and storage medium
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
US20200210702A1 (en) Apparatus and method for image processing to calculate likelihood of image of target object detected from input image
EP3477542A1 (en) Method and apparatus for image processing, and computer-readable storage medium
US10782095B2 (en) Automatic target point tracing method for electro-optical sighting system
WO2018205801A1 (zh) 人脸动画实现的方法、计算机设备及存储介质
US11403874B2 (en) Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium
US20200175260A1 (en) Depth image based face anti-spoofing
CN108701234A (zh) 车牌识别方法及云系统
TWI709085B (zh) 用於對車輛損傷影像進行損傷分割的方法、裝置、電腦可讀儲存媒體和計算設備
CN104821011A (zh) 基于相机拍摄的2d户型照片生成3d户型模型的方法
WO2016110030A1 (zh) 一种人脸图像的检索系统及方法
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN111222433B (zh) 自动人脸稽核方法、系统、设备及可读存储介质
WO2019223068A1 (zh) 虹膜图像局部增强方法、装置、设备及存储介质
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
CN109829354B (zh) 一种基于深度学习的人脸识别方法
WO2019075656A1 (zh) 图像处理方法、装置、终端和存储介质
CN104091148B (zh) 一种人脸特征点定位方法和装置
CN110647782A (zh) 三维人脸重建与多姿态人脸识别方法及装置
KR101461108B1 (ko) 인식기, 차량모델인식장치 및 방법
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质
CN106778621A (zh) 人脸表情识别方法
CN113705466A (zh) 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法