TWI430185B - 臉部表情辨識系統及其辨識方法及其電腦程式產品 - Google Patents
臉部表情辨識系統及其辨識方法及其電腦程式產品 Download PDFInfo
- Publication number
- TWI430185B TWI430185B TW099119644A TW99119644A TWI430185B TW I430185 B TWI430185 B TW I430185B TW 099119644 A TW099119644 A TW 099119644A TW 99119644 A TW99119644 A TW 99119644A TW I430185 B TWI430185 B TW I430185B
- Authority
- TW
- Taiwan
- Prior art keywords
- facial
- expression
- image
- flow field
- optical flow
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims description 83
- 238000000034 method Methods 0.000 title claims description 29
- 238000004590 computer program Methods 0.000 title claims 3
- 230000014509 gene expression Effects 0.000 claims description 215
- 230000001815 facial effect Effects 0.000 claims description 198
- 230000003287 optical effect Effects 0.000 claims description 128
- 230000008859 change Effects 0.000 claims description 95
- 238000012937 correction Methods 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 210000001097 facial muscle Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 206010028813 Nausea Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008693 nausea Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000973623 Homo sapiens Neuronal growth regulator 1 Proteins 0.000 description 1
- 102100022223 Neuronal growth regulator 1 Human genes 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00025—Operational features of endoscopes characterised by power management
- A61B1/00036—Means for power saving, e.g. sleeping mode
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本發明係有關於一種臉部表情辨識系統及其辨識方法，特別是有關於一種可經由臉部影像中辨識出臉部表情的辨識系統及其辨識方法。
隨著視覺技術的進步，許多人機互動的機制即可應用視覺偵測與辨識的技術來達成，例如，移動機器人互動(含自動跟隨)、安全監控等。
對於靜態或動態臉部影像，一套自動化的人臉辨識系統的主要工作在於，利用已建立之臉部影像資料庫，來指認出一個或多個人，以作身份之識別或者辨識其表情特徵。為了達成這個目的，首先必須將臉部從影像中擷取出來，其次則是作臉部特徵擷取，以作為比較之根據。
在人臉辨識這個研究領域中，最大的困難點在於人臉具有豐富的表情/動作變化，會影響辨識的準確度。因此，建構一套具高辨識率及高準確度的人臉辨識系統，是具有相當的挑戰性，此外，藉由臉部影像來辨識出人的情緒，在許多應用上也是相當重要。
一種習知的經由視訊影像辨識情緒之技術係利用自動表情特徵點追蹤器定位人臉以及人臉特徵點，並依據特徵點移動分量做為表情特徵，再以分類器將特徵做分類。然而，由視訊影像取得之臉部影像，在大小、方向、光線及背景均存在極大的變異性，且因人的姿勢、裝扮、表情、遮蔽、旋轉、以及與視訊的狀態都會影響特徵點的偵測，若無法取得特徵點，就無法找到連續影像中如眼睛、嘴巴的連續變化，導致臉部表情辨識失敗。
此外，臉部情緒的顯現細微多變，且因人而異，難以明確定義並描述，因此不易找出最具鑑別性的表情資訊來判斷表情。
有鑑於此，本發明提供一種臉部表情辨識系統及其辨識方法，以解決前述的習知技術問題。
本發明實施例提供一種臉部表情辨識方法，其包括下列步驟。首先，接收一第一臉部影像以及一第二臉部影像。之後，計算第一臉部影像以及第二臉部影像之間之一光流場變化特徵值。最後，依據計算所得的每一上述表情資訊的光流場變化特徵值，和一臉部資料庫中的複數個光流場變化特徵值，決定出上述臉部影像所對應之一臉部表情，其中，上述臉部資料庫具有複數表情資訊及複數個光流場變化特徵值，且其中每一上述光流場變化特徵值係對應上述表情資訊之其中一者。
本發明實施例另提供一種臉部表情辨識系統，包括一臉部資料庫、一影像擷取單元、一表情辨識資料產生單元以及一表情辨識單元。臉部資料庫具有複數表情資訊及複數個光流場變化，其中每一上述光流場變化係對應上述表情資訊之其中一者；影像擷取單元用以擷取複數個臉部影像；表情辨識資料產生單元耦接至上述影像擷取單元以及上述臉部資料庫，用以由上述影像擷取單元接收一第一臉部影像以及一第二臉部影像、計算上述第一臉部影像以及上述第二臉部影像之間分別對應於每一上述表情資訊的一光流場變化特徵值；以及，表情辨識單元耦接至上述表情辨識資料產生單元，依據計算所得的每一上述表情資訊的光流場變化特徵值，和上述臉部資料庫中的複數個光流場變化特徵值，決定出上述臉部影像所對應之一臉部表情。
本發明實施例另提供一種臉部表情辨識裝置，包括一殼體、一臉部資料庫、一影像擷取單元、一表情辨識資料產生單元、一表情辨識單元、以及一顯示單元。殼體可容納臉部資料庫、影像擷取單元、表情辨識資料產生單元和表情辨識單元於內部，顯示單元可設置於殼體外部，或經由有線/無線鏈結方式與上述殼體中的表情辨識單元鏈結。臉部資料庫，設置於上述殼體內部，其具有複數表情資訊及複數個光流場變化，其中每一上述光流場變化係對應上述表情資訊之其中一者；影像擷取單元，設置於上述殼體內部，用以擷取複數個臉部影像；表情辨識資料產生單元，設置於上述殼體內部，耦接至上述影像擷取單元以及上述臉部資料庫，用以由上述影像擷取單元接收一第一臉部影像以及一第二臉部影像、計算上述第一臉部影像以及上述第二臉部影像之間分別對應於每一上述表情資訊的一光流場變化特徵值；表情辨識單元，設置於上述殼體內部，耦接至上述表情辨識資料產生單元，依據計算所得的每一上述表情資訊的光流場變化特徵值，和上述臉部資料庫中的複數個光流場變化特徵值，決定出上述臉部影像所對應之一臉部表情；以及顯示單元，設置於上述殼體外部，耦接至上述表情辨識單元，用以顯示對應上述臉部表情的結果。
本發明上述方法可以透過程式碼方式收錄於實體媒體中。當程式碼被機器載入且執行時，機器變成用以實行本發明之裝置或系統。
為使本發明之上述和其他目的、特徵、和優點能更明顯易懂，下文特舉出較佳實施例，並配合所附圖式，作詳細說明如下。
本發明實施例中提供一種臉部表情辨識系統及其方法，經由一臉部資料庫所儲存的光流場變化特徵值和二個或二個以上臉部影像的光流場變化特徵值，以決定其臉部影像的表情。更進一步時，臉部資料庫可先收集大量臉部表情影像當作訓練資料，紀錄每種表情的光流場變化(Optical flow)，其還可進一步經由學習和訓練，對每一種表情於臉部區域依重要性來進行加權，產生每一種表情的權重遮罩，以找出對於每一種表情最具鑑別性的光流場變化特徵值，而精準的判斷使用者臉部所顯露的情緒。此外，在接收到的臉部影像中，更可以鼻孔之影像作為基準點進行校正，以便能更準確的找出能辨識情緒的人臉特徵，如眼睛、嘴巴等，以進行辨識表情。
第1圖顯示依據本發明實施例之一臉部表情辨識系統。臉部表情辨識系統100可以設置於一可攜式裝置或一計算機裝置，例如行動電話、PDA、GPS導航機、筆記型電腦、各種類型的電腦上，以進行臉部表情辨識。系統100至少包括一影像擷取單元110、一表情辨識資料產生單元120、一表情辨識單元130以及一臉部資料庫140。影像擷取單元110可用以接收或偵測一臉部影像。舉例來說，影像擷取單元110係可為各式各樣的攝影機、照相機、或是其他可拍攝臉部影像的攝影器材。當影像擷取單元110為一照相機時，上述照相機可於一特定時間區間內(例如0.5~3秒)拍攝二個或二個以上的臉部影像，傳送到表情辨識資料產生單元120。當影像擷取單元110為一攝影機時，此攝影機可於一特定時間區間內拍攝臉部的連續視訊影像，此視訊影像可得到二個或二個以上的臉部影像。一般而言，一視訊影像可由多個視格(frame)例如30個視格所組成，而臉部影像係用來辨識臉部的表情，例如驚訝、生氣、悲傷、高興、噁心或是正常表情等等。
表情辨識資料產生單元120係耦接至影像擷取單元110，其可接收影像擷取單元110所得到的一第一臉部影像以及一第二臉部影像，之後，計算第一臉部影像以及第二臉部影像之間的一光流場變化特徵值，並將計算出的光流場變化特徵值與臉部資料庫140中所儲存光流場變化，以計算模組124(介紹於下)轉換為對應之特徵值。其中，臉部資料庫140具有複數表情資訊及複數個光流場變化特徵值，其中每一上述光流場變化特徵值係對應上述表情資訊之其中一者。臉部資料庫140中的光流場變化特徵值資料可事先建立，例如依據事先收集的臉部影像，找出可代表某一特定表情資訊的二張臉部影像之間的光流場變化，經由權重遮罩處理之後得到此特定表情的光流場變化特徵值。例如經由一「微笑」表情和一無表情之間的二張部影像計算出其光流場變化，假設「微笑」臉部重要區域為嘴角和眼角，因此可對嘴角和眼角區域加強其權重，以作為「微笑」表情資訊的光流場變化特徵值。其中每一表情資訊亦可能有複數個可作為代表的樣本，例如「微笑」可能就會有多種的顯現型態，或有多人的不同表情，因此可能具有複數個不同的光流場變化，進而產生複數個光流場變化特徵值。在其他實施例中，亦可將最具有鑑別力的數個「微笑」表情影像，綜合計算之後產生可代表「微笑」表情的一光流場變化特徵值。表情辨識單元130可將所計算出第一臉部影像及第二臉部影像之間的光流場變化特徵值，與臉部資料庫140中的光流場變化特徵值進行比對，決定其所對應的臉部表情，例如從臉部資料庫140的複數個光流場變化特徵值中找出和第一臉部影像及第二臉部影像之間最為近似的光流場變化特徵值，並以該最近似光流場變化特徵值所對應的表情資訊決定出上述臉部影像所對應之臉部表情。
當影像擷取單元110係取得連續的視訊影像時，從視訊影像中對於臉部影像的偵測及取得方法及相關演算法係為習知的技術，可使用任何目前常用的演算法加以完成，其細節在此省略。舉例來說，於一實施例中，臉部影像的偵測及取得可利用一習知的演算法例如AdaBoost演算法來將臉部區塊從複雜背景中取出，但不限於此。
光流場係描述了兩張對應影像間像素位移的關係。本發明係以臉部表情變化所產生的光流場變化當作計算特徵值的基礎。光流場變化可以同時估測了自然無表情的臉部影像和有表情的臉部影像之間的亮度差異和對應關係。
表情辨識資料產生單元120計算第一臉部影像以及第二臉部影像之間的一光流場變化的方式係利用光流場計算上述表情所對應的臉部肌肉移動向量來進行表情資訊特徵的萃取，作為判斷表情的依據，如第5圖所示。關於臉部影像的光流場變化計算方式將介紹於下。
表情辨識資料產生單元120可更包括一校正模組122以及一計算模組124，其中校正模組122可用以於計算第一臉部影像以及第二臉部影像之間的光流場變化特徵值時，執行一臉部校正步驟，以校準第一臉部影像以及第二臉部影像，以利進行後續的光流場變化特徵值計算。計算模組124先於計算第一臉部影像以及第二臉部影像之間的光流場變化，再利用不同表情對應的權重遮罩對計算出的光流場變化執行一權重加權操作，以獲得光流場變化特徵值。
表情辨識單元130係耦接至表情辨識資料產生單元120，用以依據表情辨識資料產生單元120計算出的光流場變化特徵值與臉部資料庫140中的複數光流場變化特徵值，據以分析處理或歸類出視訊影像中所對應的一臉部表情，例如判斷是屬於：驚訝、生氣、悲傷、高興、噁心或是正常表情等等，以決定上述臉部影像所對應的臉部表情。於一實施例中，表情辨識單元130係可為一分類器，例如一支持向量機(SVM)，但不限於此。
在另一實施例中，亦可直接依據光流場變化特徵值來決定臉部影像所對應的臉部表情，例如，若計算出的光流場變化特徵值與臉部資料庫中的其中一光流場變化特徵值相似時，則可決定臉部影像中所對應的臉部表情即為此表情。舉例來說，若計算出的光流場變化特徵值與臉部資料庫中的一光流場變化特徵值相似時，而此光流場變化特徵值係對應一表情資訊「微笑」，則可決定出視訊影像中所對應的臉部表情即為微笑。
更進一步時，系統100更可包含有一顯示單元(第1圖未顯示)，用以顯示對應臉部表情的結果，例如以表情符號、表情文字、顏色、動畫、照片等，來顯示其結果。顯示單元可以是各種螢幕或顯示器，經由有線/無線通訊網路、或RS232等連結線與上述系統之表情辨識單元130耦接。上述系統100也可包含有一喇叭單元(第1圖未顯示)，以語音、歌聲、音樂、或其他聲音來播放對應臉部表情的結果。
第2圖係顯示一依據本發明實施例之臉部表情辨識裝置200，其特別適合於可攜式或手持式電子裝置，如手機、PDA、小筆電、掌上型電腦等，包括一殼體210、一臉部資料庫220、一影像擷取單元230、一表情辨識資料產生單元240、一表情辨識單元250、以及一顯示單元260。臉部資料庫220、影像擷取單元230、表情辨識資料產生單元240和表情辨識單元250與系統100之說明相同，在此不予贅述。殼體210可容納臉部資料庫220、影像擷取單元230、表情辨識資料產生單元240和表情辨識單元250，顯示單元260可設置於殼體210的外部，或經由有線/無線鏈結方式與殼體210中的表情辨識單元250鏈結，用以顯示對應臉部表情的結果。在其他實施例中，臉部資料庫220亦可設置於殼體200的外部，臉部表情辨識裝置200可經由有線/無線鏈結方式與臉部資料庫220鏈結。
第3圖顯示一依據本發明實施例之臉部表情辨識方法之流程圖。依據本發明實施例之臉部表情辨識方法可以由如第1圖中的臉部表情辨識系統100所執行。
首先，如步驟S310，影像擷取單元110取得二個或二個以上的臉部影像，其包含臉部的表情變化。於一實施例中，影像擷取單元110可先接收一視訊影像，再由視訊影像中得到二個或二個以上的臉部影像。此視訊影像係可以為一特定時間區間內的連續影像。接著，如步驟S320，計算第一臉部影像以及第二臉部影像之間的一光流場變化特徵值。關於臉部影像的光流場計算方式將介紹於下。於此步驟中，表情辨識資料產生單元120可計算第一臉部影像以及第二臉部影像之間的一光流場變化，並將計算出的光流場變化特徵值與臉部資料庫中所儲存光流場變化，以計算模組124轉換為對應之特徵值。
於一實施例中，表情辨識資料產生單元120計算第一臉部影像以及第二臉部影像之間的光流場變化時，可更利用校正模組122執行一臉部校正步驟，用以校準第一臉部影像以及第二臉部影像。舉例來說，表情辨識資料產生單元120的校正模組122可利用第一臉部影像以及第二臉部影像之一臉部特徵點位置，例如五官，估測一移動參數，再利用估測出的移動參數，將第一臉部影像與第二臉部影像對齊。詳細的臉部校正步驟的細節將介紹於下。
於一實施例中，表情辨識資料產生單元120的計算模組124計算第一臉部影像以及第二臉部影像之間的光流場變化特徵值時，係利用不同表情對應的權重遮罩對計算出的光流場變化執行一權重加權操作。每一表情資訊所對應之權重遮罩，可以事先經由大量的臉部影像進行訓練後獲得，再儲存在臉部資料庫中或其他儲存媒體中。舉例來說，可對於每一類表情事先收集有多種表情臉，每一個表情臉可能對應有一光流場變化，再依據每一類表情的複數個表情臉所對應的光流場變化，可學習出每一類表情一對應權重遮罩。接著利用每一類表情的對應權重遮罩，計算第一臉部影像、第二臉部影像與每一表情的光流場變化特徵值。於一實施例中，可先利用訓練影像，決定對應每一表情的一臉部重要加權區域，以產生對應每一表情的權重遮罩，例如，上述臉部資料庫所儲存之光流場變化特徵值，可依據每一表情資訊所對應之代表性臉部影像和一無表情臉部影像之間的光流場變化，以及每一表情資訊所對應的權重遮罩所產生，而每一上述表情資訊所對應之權重遮罩，係對應每一上述表情資訊之臉部重要區域進行加權而產生。相關的權重遮罩以及計算模組124利用權重遮罩來產生光流場變化特徵值的計算將介紹於下。
之後，如步驟S330，表情辨識單元130可依據表情辨識資料產生單元120所計算出的光流場變化特徵值與臉部資料庫140中各種表情資訊的對應光流場變化特徵值，決定出臉部影像中所對應的一臉部表情。其中每一光流場變化特徵值中係對應到複數個表情資訊之其中一者。
於此步驟中，若計算出的光流場變化特徵值與臉部資料庫中的其中一光流場變化特徵值相似時，則表情辨識單元130可依據該光流場變化特徵值所對應的表情資訊，決定出臉部影像中所對應的臉部表情即為此表情。舉例來說，若計算出的光流場變化特徵值與臉部資料庫中的表情資訊”微笑”所對應的光流場變化特徵值相似時，則可決定出臉部影像中所對應的臉部表情即為微笑。
更進一步時，由於每一種表情會有一個或一個以上的光流場變化特徵值，臉部資料庫140更包括儲存有每一種表情資訊所對應的權重遮罩，且其中的複數個光流場變化特徵值可依據每一表情資訊所對應的二張臉部影像的光流場變化和每一表情資訊所對應的權重遮罩所產生；以及，表情辨識資料產生單元120更包括先計算出第一臉部影像及第二臉部影像之間的光流場變化，再將光流場變化分別依據每一表情資訊的權重遮罩，以計算第一臉部影像及第二臉部影像之間分別對應於每一上述表情資訊的光流場變化特徵值。
為使本案之技術更加具體易懂，以下另提出一特定實施例來進行更加詳細的說明，熟習上述項領域技藝者當可明白，下述之特定實施例僅為了說明，而非用以限定本發明。
由於本發明係對整張臉部影像進行處理，而不同時間取得的臉部影像可能不同角度或不同大小。再者，由於背景環境的影響，往往導致人臉偵測的結果並不十分穩定。實作上，跳動而不穩定的人臉區域並無法計算出堪用的表情光流場。因而，於另一些實施例中，在計算表情光流場做為表情辨識特徵之前，必須先透過校正臉部影像的影像處理技術，以臉部特徵點如鼻孔進行角度的校正，將欲處理之影像修正至相同座標。
校正臉部影像的動作係可透過對臉部的特徵點，例如五官，進行定位來達到校正的目的。由於鼻孔為相對較不容易受到表情和環境影響的臉部位置，容易定位，因此，於此特定實施例中，本發明提出基於鼻部區域的臉部校正步驟，先利用兩個鼻孔的位置估測每個臉部影像的移動參數，例如縮放比例、移動方向、旋轉角度等等，再利用這些移動參數將先後兩個取樣時間點上偵測得到的臉對齊。
第4圖顯示一依據本發明實施例之基於鼻部區域的臉部校正步驟之流程圖。依據本發明實施例之基於鼻部區域的臉部校正步驟可以由如第1圖中的臉部表情辨識系統100的表情辨識資料產生單元120的校正模組122所執行。
首先，如步驟S410，校正模組122利用所偵測到的臉部影像的人臉區域，粗略框出鼻子區域的位置。接下來，如步驟S420，校正模組122將鼻子區域微分，搜尋梯度鼻的區域最大值(local maximum)做為預測的鼻孔點位置。接著，如步驟S430，校正模組122利用預測出的兩個鼻孔點位置，決定出人臉區域的鼻子區塊，並如步驟S440，校正模組122將時序t時決定出的人臉區域的鼻子區塊與先前時序t-1時偵測所得的臉部影像的鼻子區塊進行比對，得到時序t相對於時序t-1時的整個頭部區域的移動參數。其中，移動參數可包含兩者的縮放比例、移動方向、旋轉角度等等，但不限於此。最後，如步驟S450，校正模組122利用得到的移動參數，使時序t時偵測到的臉部影像與時序t-1時所得到的臉部影像相互對齊。
因此，藉由前述的基於鼻部區域的臉部校正步驟，可以去除整個頭部的移動因素，進而能夠較佳的估測肇因於臉部肌肉移動的表情光流場。
於臉部偵測時，每張視格的臉部位置不一定一樣，所以需要前述校正步驟標定特徵點，可運用於後續運用光流場進行臉部偵測時，進行臉部位置校正，進而取得更精準的臉部區塊。
於基於鼻部區域的臉部校正步驟執行之後，表情辨識資料產生單元120可接著利用計算模組124進行表情資訊特徵的萃取，亦即產生光流場變化特徵值。於萃取時，對於一張偵測到的臉x，先計算其光流場(表示為OFx
)，並計算其與第i種平均表情光流場的加權相似度(以函式M(OFx
,EXPi
)表示)。加權遮罩的訓練將於後續段落說明。請參照第5圖，第5圖係顯示一依據本發明實施例之平均表情臉與其對應之表情光流場之示意圖。如第5圖所示，平均表情臉1-6相對於正常無表情的臉0分別可得到對應的表情光流場OF1
-OF6
。
假設屬於同一表情類型的臉其從無表情到有表情的變形過程會十分相似。舉例來說，當人們微笑時，嘴角都會有類似的揚起，其方向是相近的，只是程度不同而已。相反地，對人p，表情k所計算出的表情光流場OFintra,p_k
而言，不同的表情k所比對出來的相似度將會有比較大的差異。基於這個假設，本實施例中利用比較並光流場元素(flow component)間的差異來估測表情臉間的相似度。
一般而言，不同的表情可歸納出不同的臉部肌肉的運動，例如，微笑時嘴角會上揚。因此，對於兩張表示同一表情的臉所計算出的表情光流場來說，這些臉部肌肉所對應的光流場元素都有大致相同的方向。相反地，有時候不同的兩個表情間也會有局部類似的臉部肌肉運動，例如害怕和噁心的表情中，眉毛內側都會抬起。若要區分此兩個表情時，由眉間區域所得到的資訊很明顯地會造成不必要的困擾。因而必須排除之。因此，於一實施例中，本發明更進一步經由統計學習方法，利用大量訓練資料以二次規劃方法歸納出每種表情的臉部區域加權。因而可透過前述的調整步驟，得到如第6圖所示的不同表情的權重遮罩610-660的示意圖。
於本實施例中，對每種表情設計了一個最佳化的問題來從訓練資料更有彈性的自動學習這些權重：
其中，w
為所欲找的權重， v
為一個參數，用來控制不同表情間的分開程度，ξi是用來容許出錯的變數(slack variables)。
為了讓前述公式(1)中左邊的資料項(data term)與右邊的平滑項(smoothness term in the right hand side)取得平衡，本實施例中利用參數α來對兩邊數量級做平衡。其中，此處的ai
表示根據以下假設得到的行向量：對於一張表情k的人臉，其經過w
加權計算後的表情光流場OFintra_p_k
應與同類別的平均表情光流場OFintra,mean_k
相似，並且不相似於不同類別的平均表情光流場OFintra,mean_t
，對所有k不等於t。
精確的說，對於行向量ai
，可由以下式子計算其第j個元素(component)M j
:
須注意的是，前述的公式(1)係為一個最佳化問題，亦即為一個可以找到全域最佳解的二次規劃問題(quadratic programming problem)。
於是由公式(1)就可以對每種表情訓練出相對應的權重臉。請參照第7圖，係顯示將訓練出的表情”生氣”所對應的權重臉應用於表情光流場之實施例。如第7圖所示，使用權重遮罩w angry
對表情光流場710加權後的表情”生氣”的權重表情光流場720將只會保留其對應的臉部重要區塊的光流場變化。
每種表情相對於其他表情均有具鑑別性的臉部肌肉表現，亦即不同的光流場變化。因此，可對每一種表情找出其具鑑別性的特徵區域，並據此產生權重遮罩，以改善表情相似性計算的精確度。
因此，對於一張偵測得到的臉x
，可先計算它的權重表情光流場OF intra , x
，再以M
(OF i ntra,x
,OF intra, mean_k
)計算其與平均表情光流場之權重後相似度。為了在表情辨識時取得較好的分辨率，對每張臉x
經由計算各種不同種類表情的權重差異，並可將其萃取出分辨率更好的低維度之特徵向量。
這些較低維度的特徵向量可作為訓練表情辨識單元130(例如一分類器)之用。更精確的說，倘若辨識器總共可分類K種表情，對於一張偵測到的臉，本實施例定義函式Φ:將其轉換為一組K
×(K
-1)維的向量：
其中xi
表示x
的第i個元素，Φ
(x
)的第n
維定義如下
其中，β k
是實驗中用來平衡表情強度至一個約略相同比例的常數。本實施例中使用與訓練權重遮罩相同的影像資料庫計算表情光流場，並根據(3)加以轉換至低維度的特徵向量來訓練表情辨識單元130。
綜上所述，依據本發明之臉部表情辨識系統及其方法，可進行以臉部影像或以視訊為基礎的臉部表情辨識，將二個臉部影像中、或是視訊影像的特定時間區間的連續臉部影像的光流場變化，與臉部資料庫中已存在的各種可能表情的光流場變化特徵值進行比對，再根據比對結果，預測出其表情。此外，更進一步時，依據本發明之臉部表情辨識系統及其方法，可基於表情光流場的特徵以臉部特徵點如鼻孔位置進行人臉角度校正，可抵抗臉部偵測元件的不穩定，使計算出的表情光流場更加正確。同時，可經由訓練，最佳化人臉區域對不同表情的區域重要度，產生對應的權重遮罩，再利用每個表情的權重遮罩進行加權，以更有效率的進行表情分類。
本發明之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統。本發明之方法、系統與裝置也可以以程式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置或系統。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．臉部表情辨識系統
110．．．影像擷取單元
120．．．表情辨識資料產生單元
122．．．校正模組
124．．．計算模組
130．．．表情辨識單元
140．．．臉部資料庫
200．．．臉部表情辨識裝置
210．．．殼體
220．．．臉部資料庫
230．．．影像擷取單元
240．．．表情辨識資料產生單元
250．．．表情辨識單元
260．．．顯示單元
S310-S330．．．執行步驟
S410-S450．．．執行步驟
0-6．．．表情臉
OF1
-OF6
．．．表情光流場
610-660．．．權重遮罩
710、720．．．表情光流場
第1圖係顯示一依據本發明實施例之臉部表情辨識系統。
第2圖係顯示一依據本發明實施例之臉部表情辨識裝置。
第3圖係顯示一依據本發明實施例之臉部表情辨識方法之流程圖。
第4圖顯示一依據本發明實施例之基於鼻部區域的臉部校正步驟之流程圖。
第5圖係顯示一依據本發明實施例之表情與其對應之表情光流場之示意圖。
第6圖係顯示一依據本發明實施例之不同表情之權重遮罩之示意圖。
第7圖係顯示將訓練出的一示範表情權重臉應用於表情光流場之實施例。
S310-S330．．．執行步驟
Claims (18)
- 一種臉部表情辨識方法，包括：接收一第一臉部影像以及一第二臉部影像；計算上述第一臉部影像以及上述第二臉部影像之整體臉部表情的光流場變化，以及每一表情資訊所對應的一權重遮罩分別取得對應於每一上述表情資訊的一光流場變化特徵值；以及依據計算所得的每一上述表情資訊的光流場變化特徵值，和一臉部資料庫中的複數個光流場變化特徵值，決定出上述臉部影像所對應之一臉部表情，其中，上述臉部資料庫具有複數表情資訊、每一上述表情資訊所對應之上述權重遮罩及複數個光流場變化特徵值，且其中上述權重遮罩係依據每一表情於不同臉部區域來進行加權，以及每一上述光流場變化特徵值係對應上述表情資訊之其中一者。
- 如申請專利範圍第1項所述之方法，其中上述計算上述第一臉部影像以及上述第二臉部影像之間上述光流場變化特徵值之步驟更包括一臉部校正步驟，用以校準上述第一臉部影像以及上述第二臉部影像。
- 如申請專利範圍第2項所述之方法，其中上述臉部校正步驟更包括：利用上述第一臉部影像以及上述第二臉部影像之一臉部特徵點位置，估測一移動參數；以及利用估測出之上述移動參數，將上述第一臉部影像與上述第二臉部影像對齊。
- 如申請專利範圍第3項所述之方法，其中上述將上述 第一臉部影像與上述第二臉部影像對齊之步驟更包括：利用上述第二臉部影像的人臉區域，粗估出上述第二臉部影像之一鼻子所在之區域；將上述鼻子所在之區域微分並搜尋上述鼻子所在之區域對應之一梯度鼻的區域最大值，以定位出其鼻孔點位置；依據上述鼻孔點位置，得到上述第二臉部影像之一鼻子影像區塊；以及將上述第二臉部影像之上述鼻子影像區塊與先前計算出之上述第一臉部影像之一鼻子影像區塊比對，得到上述第二臉部影像對應上述第一臉部影像的一頭部區塊的上述移動參數，並依據上述移動參數，使上述第一臉部影像與上述第二臉部影像相互對齊。
- 如申請專利範圍第3項所述之方法，其中上述臉部影像的上述移動參數包括縮放比例、移動方向以及旋轉角度。
- 如申請專利範圍第1項所述之方法，更包括：決定對應每一上述表情資訊之一臉部重要區域；以及對上述臉部重要區域進行加權，以產生對應上述表情之上述權重遮罩。
- 如申請專利範圍第1項所述之方法，更包括：判斷上述計算出之上述光流場變化特徵值與上述臉部資料庫中一光流場變化特徵值是否相似；以及若相似時，決定上述相似之光流場變化特徵值所對應之表情為上述臉部影像所對應之臉部表情。
- 如申請專利範圍第1項所述之方法，其中，決定出上述臉部影像所對應之上述臉部表情之步驟，係利用一分類 器以從上述臉部資料庫中的複數表情資訊及複數個光流場變化特徵值，決定出所對應之臉部表情。
- 一種臉部表情辨識系統，包括：一臉部資料庫，其具有複數表情資訊、每一上述表情資訊所對應之上述權重遮罩及複數個光流場變化特徵值，其中上述權重遮罩係依據每一表情於不同臉部區域來進行加權，以及每一上述光流場變化特徵值係對應上述表情資訊之其中一者；一影像擷取單元，用以擷取複數個臉部影像；一表情辨識資料產生單元，耦接至上述影像擷取單元以及上述臉部資料庫，用以由上述影像擷取單元接收一第一臉部影像以及一第二臉部影像，以及計算上述第一臉部影像以及上述第二臉部影像之整體臉部表情的光流場變化，以及每一上述表情資訊所對應的上述權重遮罩分別取得對應於每一上述表情資訊的一光流場變化特徵值；以及一表情辨識單元，耦接至上述表情辨識資料產生單元，依據計算所得的每一上述表情資訊的光流場變化特徵值，和上述臉部資料庫中的複數個光流場變化特徵值，決定出上述臉部影像所對應之一臉部表情。
- 如申請專利範圍第9項所述之臉部表情辨識系統，其中上述表情辨識資料產生單元更包括一校正模組，用以於計算上述第一臉部影像以及上述第二臉部影像之間之上述光流場變化特徵值時，執行一臉部校正步驟，以校準上述第一臉部影像以及上述第二臉部影像。
- 如申請專利範圍第10項所述之臉部表情辨識系 統，其中上述校正模組更利用上述第一臉部影像以及上述第二臉部影像之一臉部特徵點位置，估測一移動參數，並利用估測出之上述移動參數，將上述第一臉部影像與上述第二臉部影像對齊，以執行上述臉部校正步驟。
- 如申請專利範圍第11項所述之臉部表情辨識系統，其中上述校正模組更利用上述第二臉部影像的人臉區域，粗估出上述第二臉部影像之一鼻子所在之區域，將上述鼻子所在之區域微分並搜尋上述鼻子所在之區域對應之一梯度鼻的區域最大值，以定位出其鼻孔點位置，依據上述鼻孔點位置，得到上述第二臉部影像之一鼻子影像區塊，將上述第二臉部影像之上述鼻子影像區塊與先前計算出之上述第一臉部影像之一鼻子影像區塊比對，得到上述第二臉部影像對應上述第一臉部影像的一頭部區塊的上述移動參數，並依據上述移動參數，使上述第一臉部影像與上述第二臉部影像相互對齊。
- 如申請專利範圍第11項所述之臉部表情辨識系統，其中上述臉部影像的上述移動參數包括縮放比例、移動方向以及旋轉角度。
- 如申請專利範圍第9項所述之臉部表情辨識系統，其中每一上述表情資訊所對應之權重遮罩，係對應每一上述表情資訊之臉部重要區域進行加權而產生。
- 如申請專利範圍第9項所述之臉部表情辨識系統，其中上述表情辨識單元更包括判斷上述計算出之上述光流場變化特徵值與上述臉部資料庫中一光流場變化特徵值是否相似；以及，若相似時，決定上述相似之光流場變化特 徵值所對應之表情為上述臉部影像所對應之臉部表。
- 如申請專利範圍第9項所述之臉部表情辨識系統，其中上述表情辨識單元係為一分類器，用以從上述臉部資料庫中的複數表情資訊及複數個光流場變化特徵值，決定出所對應之臉部表情。
- 一種臉部表情辨識裝置，包括：一殼體；一臉部資料庫，設置於上述殼體內部，其具有複數表情資訊、每一上述表情資訊所對應之上述權重遮罩及複數個光流場變化特徵值，其中上述權重遮罩係依據每一表情於不同臉部區域來進行加權，以及每一上述光流場變化特徵值係對應上述表情資訊之其中一者；一影像擷取單元，設置於上述殼體內部，用以擷取複數個臉部影像；一表情辨識資料產生單元，設置於上述殼體內部，耦接至上述影像擷取單元以及上述臉部資料庫，用以由上述影像擷取單元接收一第一臉部影像以及一第二臉部影像，以及計算上述第一臉部影像以及上述第二臉部影像之整體臉部表情的光流場變化，以及每一上述表情資訊所對應的上述權重遮罩分別取得對應於每一上述表情資訊的一光流場變化特徵值；一表情辨識單元，設置於上述殼體內部，耦接至上述表情辨識資料產生單元，依據計算所得的每一上述表情資訊的光流場變化特徵值，和上述臉部資料庫中的複數個光流場變化特徵值，決定出上述臉部影像所對應之一臉部表 情；以及一顯示單元，設置於上述殼體外部，耦接至上述表情辨識單元，用以顯示對應上述臉部表情的結果。
- 一種電腦程式產品，其係被一機器載入以執行一臉部表情辨識方法，上述電腦程式產品包括：一第一程式碼，接收一第一臉部影像以及一第二臉部影像；一第二程式碼，用以計算上述第一臉部影像以及上述第二臉部影像之整體臉部表情的光流場變化，以及每一表情資訊所對應的一權重遮罩分別取得對應於每一上述表情資訊的一光流場變化特徵值；以及一第三程式碼，用以依據計算所得的每一上述表情資訊的光流場變化特徵值，和一臉部資料庫中的複數個光流場變化特徵值，決定出上述臉部影像所對應之一臉部表情，其中，上述臉部資料庫具有複數表情資訊、每一上述表情資訊所對應之上述權重遮罩及複數個光流場變化特徵值，且其中上述權重遮罩係依據每一表情於不同臉部區域來進行加權，以及每一上述光流場變化特徵值係對應上述表情資訊之其中一者。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW099119644A TWI430185B (zh) | 2010-06-17 | 2010-06-17 | 臉部表情辨識系統及其辨識方法及其電腦程式產品 |
| US13/116,724 US9036018B2 (en) | 2010-06-17 | 2011-05-26 | Facial expression recognition systems and methods and computer program products thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW099119644A TWI430185B (zh) | 2010-06-17 | 2010-06-17 | 臉部表情辨識系統及其辨識方法及其電腦程式產品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201201115A TW201201115A (en) | 2012-01-01 |
| TWI430185B true TWI430185B (zh) | 2014-03-11 |
Family
ID=45328305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW099119644A TWI430185B (zh) | 2010-06-17 | 2010-06-17 | 臉部表情辨識系統及其辨識方法及其電腦程式產品 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9036018B2 (zh) |
| TW (1) | TWI430185B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10776614B2 (en) | 2018-02-09 | 2020-09-15 | National Chiao Tung University | Facial expression recognition training system and facial expression recognition training method |
| TWI767775B (zh) * | 2021-06-30 | 2022-06-11 | 國立陽明交通大學 | 影像式情緒辨識系統和方法 |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011059788A1 (en) * | 2009-11-11 | 2011-05-19 | Sociotar Inc. | Method for using virtual facial expressions |
| JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
| US10013787B2 (en) | 2011-12-12 | 2018-07-03 | Faceshift Ag | Method for facial animation |
| US9355366B1 (en) | 2011-12-19 | 2016-05-31 | Hello-Hello, Inc. | Automated systems for improving communication at the human-machine interface |
| US9451087B2 (en) * | 2012-04-16 | 2016-09-20 | Avaya Inc. | Agent matching based on video analysis of customer presentation |
| EP2662827B1 (en) * | 2012-05-08 | 2016-01-13 | Axis AB | Video analysis |
| US10890965B2 (en) * | 2012-08-15 | 2021-01-12 | Ebay Inc. | Display orientation adjustment using facial landmark information |
| CN103677226B (zh) * | 2012-09-04 | 2016-08-03 | 北方工业大学 | 表情识别输入方法 |
| CN103679628B (zh) * | 2012-09-07 | 2016-08-17 | 华晶科技股份有限公司 | 影像处理记录系统及其影像处理记录方法 |
| TWI482099B (zh) * | 2012-09-07 | 2015-04-21 | Altek Corp | 影像處理紀錄系統及其影像處理紀錄方法 |
| TWI603213B (zh) | 2014-01-23 | 2017-10-21 | 國立交通大學 | 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置 |
| US9444999B2 (en) | 2014-08-05 | 2016-09-13 | Omnivision Technologies, Inc. | Feature detection in image capture |
| CN104200804B (zh) * | 2014-09-19 | 2017-05-17 | 合肥工业大学 | 一种面向人机交互的多类信息耦合的情感识别方法 |
| CN105893920B (zh) * | 2015-01-26 | 2019-12-27 | 阿里巴巴集团控股有限公司 | 一种人脸活体检测方法和装置 |
| US9576190B2 (en) | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
| US9747573B2 (en) * | 2015-03-23 | 2017-08-29 | Avatar Merger Sub II, LLC | Emotion recognition for workforce analytics |
| US9987489B2 (en) | 2015-03-27 | 2018-06-05 | Elwha Llc | Controlling ear stimulation in response to electrical contact sensing |
| US10512783B2 (en) | 2015-03-27 | 2019-12-24 | Equility Llc | User interface method and system for ear stimulation |
| US10406376B2 (en) | 2015-03-27 | 2019-09-10 | Equility Llc | Multi-factor control of ear stimulation |
| US10327984B2 (en) | 2015-03-27 | 2019-06-25 | Equility Llc | Controlling ear stimulation in response to image analysis |
| US10398902B2 (en) | 2015-03-27 | 2019-09-03 | Equility Llc | Neural stimulation method and system with audio output |
| US10589105B2 (en) | 2015-03-27 | 2020-03-17 | The Invention Science Fund Ii, Llc | Method and system for controlling ear stimulation |
| US11364380B2 (en) | 2015-03-27 | 2022-06-21 | Elwha Llc | Nerve stimulation system, subsystem, headset, and earpiece |
| US10039928B2 (en) | 2015-03-27 | 2018-08-07 | Equility Llc | Ear stimulation with neural feedback sensing |
| CN107431762B (zh) * | 2015-04-14 | 2020-12-01 | 索尼公司 | 图像处理设备、图像处理方法以及图像处理系统 |
| US9600715B2 (en) * | 2015-06-26 | 2017-03-21 | Intel Corporation | Emotion detection system |
| CN105447473B (zh) * | 2015-12-14 | 2019-01-08 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
| JP6751317B2 (ja) * | 2016-07-28 | 2020-09-02 | トヨタホーム株式会社 | 通知システム |
| JP2018055248A (ja) * | 2016-09-27 | 2018-04-05 | ソニー株式会社 | 情報収集システム、電子棚札、電子ｐｏｐ、文字情報表示装置 |
| KR102387570B1 (ko) | 2016-12-16 | 2022-04-18 | 삼성전자주식회사 | 표정 생성 방법, 표정 생성 장치 및 표정 생성을 위한 학습 방법 |
| US10860841B2 (en) | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
| CN107316015B (zh) * | 2017-06-19 | 2020-06-30 | 南京邮电大学 | 一种基于深度时空特征的高精度面部表情识别方法 |
| CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
| CN109857352A (zh) * | 2017-11-30 | 2019-06-07 | 富泰华工业（深圳）有限公司 | 动画显示方法及人机交互装置 |
| CN108335749A (zh) * | 2018-01-26 | 2018-07-27 | 首都师范大学 | 抑郁症数据分析方法及装置 |
| CN108921061B (zh) * | 2018-06-20 | 2022-08-26 | 腾讯科技（深圳）有限公司 | 一种表情识别方法、装置和设备 |
| CN109741732B (zh) | 2018-08-30 | 2022-06-21 | 京东方科技集团股份有限公司 | 命名实体识别方法、命名实体识别装置、设备及介质 |
| CN109034126B (zh) * | 2018-08-31 | 2021-09-28 | 上海理工大学 | 一种基于光流主方向的微表情识别方法 |
| CN111198506A (zh) * | 2018-11-20 | 2020-05-26 | 青岛海尔洗衣机有限公司 | 家用电器输出视听信息的控制方法 |
| CN109598749B (zh) * | 2018-11-30 | 2023-03-10 | 腾讯科技（深圳）有限公司 | 一种三维人脸模型的参数配置方法、装置、设备及介质 |
| JP7278307B2 (ja) * | 2018-12-18 | 2023-05-19 | グリー株式会社 | コンピュータプログラム、サーバ装置、端末装置及び表示方法 |
| CN111353354B (zh) * | 2018-12-24 | 2024-01-23 | 杭州海康威视数字技术股份有限公司 | 一种人体应激性信息识别方法、装置及电子设备 |
| CN109858371B (zh) * | 2018-12-29 | 2021-03-05 | 深圳云天励飞技术有限公司 | 人脸识别的方法及装置 |
| CN111382648A (zh) * | 2018-12-30 | 2020-07-07 | 广州市百果园信息技术有限公司 | 人脸动态表情的检测方法、装置、设备及存储介质 |
| CN110084259B (zh) * | 2019-01-10 | 2022-09-20 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估系统 |
| CN111507143B (zh) * | 2019-01-31 | 2023-06-02 | 北京字节跳动网络技术有限公司 | 表情图像效果生成方法、装置和电子设备 |
| CN110991307B (zh) * | 2019-11-27 | 2023-09-26 | 北京锐安科技有限公司 | 人脸识别的方法、装置、设备及存储介质 |
| CN111598002B (zh) * | 2020-05-18 | 2023-04-07 | 北京星律动科技有限公司 | 多面部表情捕捉方法、装置、电子设备及计算机存储介质 |
| CN111738160B (zh) * | 2020-06-23 | 2024-03-26 | 平安科技（深圳）有限公司 | 视频微表情识别方法、装置、计算机设备及存储介质 |
| CN111899321B (zh) * | 2020-08-26 | 2023-09-26 | 网易（杭州）网络有限公司 | 一种虚拟角色表情展现的方法和装置 |
| CN112528835B (zh) * | 2020-12-08 | 2023-07-04 | 北京百度网讯科技有限公司 | 表情预测模型的训练方法、识别方法、装置及电子设备 |
| CN113038271B (zh) * | 2021-03-25 | 2023-09-08 | 深圳市人工智能与机器人研究院 | 视频自动剪辑方法、装置及计算机存储介质 |
| CN113239814B (zh) * | 2021-05-17 | 2024-02-02 | 平安科技（深圳）有限公司 | 基于光流重构的面部表情识别方法、装置、设备及介质 |
| CN113313020B (zh) * | 2021-05-27 | 2023-04-07 | 成都威爱新经济技术研究院有限公司 | 一种基于虚拟人的无标记面部表情捕获方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6492986B1 (en) * | 1997-06-02 | 2002-12-10 | The Trustees Of The University Of Pennsylvania | Method for human face shape and motion estimation based on integrating optical flow and deformable models |
| US6072496A (en) * | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
| JP3639475B2 (ja) * | 1999-10-04 | 2005-04-20 | シャープ株式会社 | ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体 |
| US6879709B2 (en) * | 2002-01-17 | 2005-04-12 | International Business Machines Corporation | System and method for automatically detecting neutral expressionless faces in digital images |
| TWI357022B (en) | 2008-05-09 | 2012-01-21 | Nat Univ Chin Yi Technology | Recognizing apparatus and method for facial expres |
| US8219438B1 (en) * | 2008-06-30 | 2012-07-10 | Videomining Corporation | Method and system for measuring shopper response to products based on behavior and facial expression |
| TW201028934A (en) | 2009-01-21 | 2010-08-01 | Univ Nat Cheng Kung | Facial expression recognition method and system thereof |
-
2010
- 2010-06-17 TW TW099119644A patent/TWI430185B/zh not_active IP Right Cessation
-
2011
- 2011-05-26 US US13/116,724 patent/US9036018B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10776614B2 (en) | 2018-02-09 | 2020-09-15 | National Chiao Tung University | Facial expression recognition training system and facial expression recognition training method |
| TWI767775B (zh) * | 2021-06-30 | 2022-06-11 | 國立陽明交通大學 | 影像式情緒辨識系統和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201201115A (en) | 2012-01-01 |
| US9036018B2 (en) | 2015-05-19 |
| US20110310237A1 (en) | 2011-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI430185B (zh) | 臉部表情辨識系統及其辨識方法及其電腦程式產品 | |
| CN105809144B (zh) | 一种采用动作切分的手势识别系统和方法 | |
| Devanne et al. | 3-d human action recognition by shape analysis of motion trajectories on riemannian manifold | |
| Jiang et al. | Multi-layered gesture recognition with Kinect. | |
| Ko et al. | Sign language recognition with recurrent neural network using human keypoint detection | |
| Bobick et al. | The recognition of human movement using temporal templates | |
| Wang et al. | Learning actionlet ensemble for 3D human action recognition | |
| US8805018B2 (en) | Method of detecting facial attributes | |
| Dornaika et al. | Simultaneous facial action tracking and expression recognition in the presence of head motion | |
| Aran et al. | Signtutor: An interactive system for sign language tutoring | |
| CN102385691A (zh) | 脸部表情辨识系统、辨识装置及辨识方法 | |
| CN107895160A (zh) | 人脸检测与识别装置及方法 | |
| Murtaza et al. | Analysis of face recognition under varying facial expression: a survey. | |
| Chauhan et al. | Study & analysis of different face detection techniques | |
| Yargıç et al. | A lip reading application on MS Kinect camera | |
| Ponce-López et al. | Multi-modal social signal analysis for predicting agreement in conversation settings | |
| Weber et al. | High-level geometry-based features of video modality for emotion prediction | |
| KR20120089948A (ko) | Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법 | |
| Luo et al. | Dynamic face recognition system in recognizing facial expressions for service robotics | |
| Campomanes-Álvarez et al. | Automatic facial expression recognition for the interaction of individuals with multiple disabilities | |
| Parashar et al. | Improved Yoga Pose Detection Using MediaPipe and MoveNet in a Deep Learning Model. | |
| Fragkiadakis et al. | Towards a User-Friendly Tool for Automated Sign Annotation: Identification and Annotation of Time Slots, Number of Hands, and Handshape. | |
| Elakkiya et al. | An active learning framework for human hand sign gestures and handling movement epenthesis using enhanced level building approach | |
| Arunnehru et al. | Difference intensity distance group pattern for recognizing actions in video using support vector machines | |
| Liu et al. | Human action recognition using manifold learning and hidden conditional random fields |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |