TW201710833A - 人臉表情操作系統 - Google Patents

人臉表情操作系統 Download PDF

Info

Publication number
TW201710833A
TW201710833A TW104123948A TW104123948A TW201710833A TW 201710833 A TW201710833 A TW 201710833A TW 104123948 A TW104123948 A TW 104123948A TW 104123948 A TW104123948 A TW 104123948A TW 201710833 A TW201710833 A TW 201710833A
Authority
TW
Taiwan
Prior art keywords
user
expression
face
value
feature value
Prior art date
Application number
TW104123948A
Other languages
English (en)
Other versions
TWI663524B (zh
Inventor
劉廷楷
Original Assignee
群邁通訊股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 群邁通訊股份有限公司 filed Critical 群邁通訊股份有限公司
Publication of TW201710833A publication Critical patent/TW201710833A/zh
Application granted granted Critical
Publication of TWI663524B publication Critical patent/TWI663524B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種人臉表情操作系統，包括：利用攝像頭即時採集該攝像頭前方的圖像；根據人臉樣本檢測所述圖像中是否存在用戶的人臉區域；在所述圖像中存在所述用戶的人臉區域時，計算該人臉區域中所述用戶的表情特徵值；比較所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，確定所述用戶的表情變化；及根據所述表情變化控制電子裝置進行相應的操作。本發明還提供一種人臉表情操作方法及一種電子裝置。利用本發明可以方便用戶操作電子裝置。

Description

人臉表情操作系統
本發明涉及一種人臉表情操作系統、方法及電子裝置。
在現實生活中，人們經常使用手機、平板等電子產品，對所述電子產品的操作通常是透過點擊或滑動來進行的，非常的單調、乏味。
鑒於以上內容，有必要提供一種人臉表情操作系統、方法及電子裝置，使用戶在操作電子產品時能夠透過人臉表情來控制電子產品。
一種人臉表情操作方法，應用於電子裝置中，該電子裝置包括攝像頭及儲存器，該儲存器中儲存有用戶的人臉樣本及所述人臉樣本中所述用戶的表情特徵值，該方法包括：利用所述攝像頭即時採集該攝像頭前方的圖像；根據所述人臉樣本檢測所述圖像中是否存在所述用戶的人臉區域；若所述圖像中存在所述用戶的人臉區域，則計算該人臉區域中所述用戶的表情特徵值；比較所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，確定所述用戶的表情變化；及根據所述表情變化控制所述電子裝置進行相應的操作。
一種電子裝置，包括儲存器、攝像頭及人臉表情操作單元，該儲存器中儲存有用戶的人臉樣本及所述人臉樣本中所述用戶的表情特徵值，該人臉表情操作單元提供：採集模組，用於利用所述攝像頭即時採集該攝像頭前方的圖像；識別模組，用於根據所述人臉樣本檢測所述圖像中是否存在所述用戶的人臉區域；所述識別模組，還用於在所述圖像中存在所述用戶的人臉區域時，計算該人臉區域中所述用戶的表情特徵值；比較模組，用於比較所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，確定所述用戶的表情變化；及處理模組，用於根據所述表情變化控制所述電子裝置進行相應的操作。
一種人臉表情操作系統，運行於電子裝置中，該電子裝置包括攝像頭及儲存器，該儲存器中儲存有用戶的人臉樣本及所述人臉樣本中所述用戶的表情特徵值，該系統包括：採集模組，用於利用所述攝像頭即時採集該攝像頭前方的圖像；識別模組，用於根據所述人臉樣本檢測所述圖像中是否存在所述用戶的人臉區域；所述識別模組，還用於在所述圖像中存在所述用戶的人臉區域時，計算該人臉區域中所述用戶的表情特徵值；比較模組，用於比較所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，確定所述用戶的表情變化；及處理模組，用於根據所述表情變化控制所述電子裝置進行相應的操作。
相較於習知技術，本發明所述之人臉表情操作系統、方法及電子裝置將特定的人臉表情變化與電子裝置的操作綁定起來，使用戶能夠透過簡單的人臉表情實現對電子裝置的控制。
圖1是本發明人臉表情操作系統較佳實施例的運行環境示意圖。
圖2是本發明人臉表情操作系統較佳實施例的功能模組圖。
圖3是本發明人臉表情操作方法較佳實施例的流程圖。
圖4是人臉圖像顯示框的示意圖。
圖5是用戶人臉樣本的示意圖。
圖6是識別出來的用戶人臉的示意圖。
圖7是用戶人臉中右眼眨眼的示意圖。
圖8是用戶人臉中左眼眨眼的示意圖。
圖9是用戶人臉中雙眼眨眼的示意圖。
圖10是用戶人臉中雙眼瞪眼的示意圖。
圖11是用戶人臉中嘴巴咧嘴的示意圖。
參閱圖1所示，是本發明人臉表情操作系統10的較佳實施例的運行環境示意圖。在本實施例中，所述人臉表情操作系統10安裝並運行於電子裝置1中，該電子裝置1可以是手機、平板電腦、個人數位助理等可擕式電子設備。該電子裝置1還包括，但不僅限於，儲存器11、處理器12、顯示器13及攝像頭14。該電子裝置1的部件11-14透過系統總線相互通訊。
在本實施例中，所述儲存器11可以是所述電子裝置1本身的儲存器，也可以是SD卡（Secure Digital Card，安全數位卡）、SM卡（Smart Media Card，智慧媒體卡）等外部存放裝置。該儲存器11用於儲存所述人臉表情操作系統10的程式碼及各類資料。所述顯示器13可以是LCD（Liquid Crystal Display，液晶）顯示幕，也可以是OLED（Organic Light-Emitting Diode，有機發光二極體）顯示幕。該顯示器13用於顯示所述電子裝置1的用戶介面等。所述攝像頭14可以是前置攝像頭，也可以是後置攝像頭，其數量可以是一個，也可以是多個，該攝像頭14用於拍攝圖像。
在本實施例中，當所述電子裝置1第一次運行所述人臉表情操作系統10時，該人臉表情操作系統10利用所述攝像頭14錄入用戶的人臉樣本。具體地，所述人臉表情操作系統10發出錄入人臉樣本的提示（例如在所述顯示器13上顯示錄入人臉樣本的提示資訊），利用所述攝像頭14拍攝該攝像頭14前方的人臉圖像，並將所述人臉圖像顯示在所述顯示器13上的顯示框（例如圖4所示的虛線框）內。所述顯示框可以是所述顯示器13的整個顯示面積的大小，也可以是所述顯示器13的部分顯示面積的大小，例如，所述顯示框占所述顯示器13的整個顯示面積的50%。在所述人臉圖像填滿所述顯示框時，所述人臉表情操作系統10生成該用戶的人臉樣本並儲存於所述儲存器11中。所述人臉表情操作系統10可以多次執行錄入所述用戶的人臉樣本的操作，以生成多個相似的所述用戶的人臉樣本，進而根據該多個所述用戶的人臉樣本創建較佳的所述用戶的人臉樣本，以減少所述用戶的人臉樣本與真實人臉之間的差異。需要注意的是，在本實施例中，當所述用戶的人臉樣本的錄入完成時，所述人臉表情操作系統10還可以錄入其他用戶的人臉樣本。
進一步地，所述人臉表情操作系統10利用人臉識別技術識別所述用戶的人臉樣本，獲取該用戶的人臉樣本中的表情特徵值並儲存於所述儲存器11中。在本實施例中，所述表情特徵值包括所述人臉樣本中所述用戶的右眼在垂直方向上最大的高度值（如圖5所示的X1 ）、所述用戶的左眼在垂直方向上最大的高度值（如圖5所示的X2 ）、所述用戶的嘴巴在水平方向上最大的寬度值（如圖5所示的Y0 ）、以及所述用戶的嘴巴在垂直方向上最大的高度值（如圖5所示的L0 ）中的一個或多個。
更進一步地，所述人臉表情操作系統10還可以利用人臉識別技術識別所述儲存器11中儲存的照片，將所述照片中與所述用戶的人臉樣本相匹配的照片儲存到所述用戶專屬的相簿中。所述用戶專屬的相簿包括，但不僅限於，單人照相簿（儲存的是用戶的個人照片）、多人照相簿（儲存的是用戶的多人照片）等。
參閱圖2所示，是本發明人臉表情操作系統10較佳實施例的功能模組圖。在本實施例中，所述人臉表情操作系統10可以被分割成一個或多個模組，所述一個或者多個模組被儲存於儲存器11中，並由一個或多個處理器（本實施例為一個處理器12）所執行，以完成本發明。例如，參閱圖2所示，本發明所述之人臉表情操作系統10被分割成採集模組21、識別模組22、比較模組23及處理模組24。本發明所稱的模組是指能夠完成特定功能的一系列電腦程式段，比程式更適合於描述軟體在電子裝置1中的執行過程。以下將結合圖3的流程圖來詳細描述模組21-24的具體功能。
參閱圖3所示，是本發明人臉表情操作方法較佳實施例的流程圖。根據不同的需求，圖3所示的流程圖中的步驟的執行順序可以改變，某些步驟可以省略。
步驟S31，採集模組21利用所述電子裝置1的攝像頭14即時採集該攝像頭14前方的圖像。在步驟31之前，採集模組21可進行所述用戶的人臉樣本的錄入，所述人臉樣本可用於下面步驟。
步驟S32，識別模組22利用人臉識別演算法識別採集到的圖像，檢測該圖像中是否存在用戶的人臉區域。當所述圖像中存在用戶的人臉區域時，進入步驟S33。否則，返回步驟S31。
在本實施例中，所述識別模組22檢測所述圖像中的人臉區域，並將檢測到的人臉區域與儲存器11中儲存的所述用戶的人臉樣本進行比較，在所述圖像中的人臉區域與儲存器11中儲存的所述用戶的人臉樣本的相似度達到一個預設值（例如90%）時，所述識別模組22判定所述圖像中存在所述用戶的人臉區域。
步驟S33，所述識別模組22計算所述人臉區域中的表情特徵值。該表情特徵值可以是所述人臉區域中的雙眼或嘴巴的特徵值等（如圖6所示的X3 、X4 、L1 及Y1 ）。
步驟S34，比較模組23分別比較所述人臉區域中的表情特徵值與儲存器11中儲存的所述用戶的人臉樣本中的表情特徵值，以確定所述用戶的人臉表情變化。在本實施例中，所述比較可透過後文的計算公式(1)~(5)進行。
具體地，所述比較模組23可以將所述人臉區域中的表情特徵值與所述用戶的人臉樣本中的表情特徵值進行除法或減法運算，以確定所述人臉區域與所述用戶的人臉樣本之間不同部位的表情特徵值的差異。所述比較模組23也可以利用公式計算所述人臉區域中的表情特徵值的加權平均值及所述用戶的人臉樣本中的表情特徵值的加權平均值，並將所述人臉區域中的表情特徵值的加權平均值與所述用戶的人臉樣本中的表情特徵值的加權平均值進行除法或減法運算，以確定所述人臉區域與所述用戶的人臉樣本的之間的總體表情特徵值的平均差異。最後將上述運算所產生的數值和至少一個門檻值做比較，根據比較結果確定所述用戶的表情變化。
舉例而言，假設圖5為所述用戶的人臉樣本，圖6為所述人臉區域，所述比較模組23可以首先透過公式：
（1）Z0 = X1 * 30% + X2 * 30% + Y0 * 40%；
（2）Z1 = X3 * 30% + X4 * 30% + Y1 * 40%；
分別計算所述人臉樣本及所述人臉區域的雙眼及嘴巴的表情特徵值的加權平均值。然後透過公式：
（3）G1 = X3 / X1 ；
（4）G2 = X4 / X2 ；
（5）F = Z1 / Z0 ；
分別計算所述人臉樣本與所述人臉區域的表情特徵值之間的比值、和所述人臉樣本與所述人臉區域的加權平均值之間的比值。最後根據計算得出的Z0 、Z1 、G1 、G2 及F值來判斷所述用戶的表情變化。例如，在0.9≦F≦1，0<G1 ≦0.5，0.5<G2 ≦1時，判定所述用戶的雙眼發生變化，該雙眼中的右眼眨眼（如圖7所示）。在0.9≦F≦1，0.5<G1 ≦1，0<G2 ≦0.5時，判定所述用戶的雙眼發生變化，該雙眼中的左眼眨眼（如圖8所示）。在0.9≦F≦1，0<G1 ≦0.5，0<G2 ≦0.5時，判定所述用戶的雙眼發生變化，該雙眼同時眨眼（如圖9所示）。在0.9≦F≦1，1<G1 ，1<G2 時，判定所述用戶的雙眼發生變化，該雙眼同時瞪眼（如圖10所示）。在1<F，0.5<G1 ≦1，0.5<G2 ≦1時，判定所述用戶的嘴巴發生變化，該嘴巴咧嘴（如圖11所示）等。
需要注意的是，上述公式僅是一個實施例。在其他實施例中，該公式中的數值、計算方法等均可以被調整或者刪減。例如，公式（1）與公式（2）的30%、40%權值是可調整的，計算Z0 可以只需要用到X1 、X2 、Y0 三者中的兩者，計算Z1 可以只需要用到X3 、X4 、Y1 三者中的兩者，公式(3)~(5)可以從除法公式改為減法公式等。進一步地，其他實施例可以僅對嘴巴的表情特徵值做運算以判斷表情變化，或者只用雙眼和嘴巴其中一者或兩者的表情特徵值來判斷用戶的表情變化，這樣可以簡化公式(1)~(5)，例如不用右眼就不需要X2 、X4 和公式(4)等。
步驟S35，處理模組24根據所述用戶的人臉表情變化，控制所述電子裝置1進行相應的操作。
舉例而言，當用戶在流覽照片時，所述處理模組24可以根據所述用戶的人臉表情變化控制所述電子裝置1對當前顯示照片或該當前顯示照片所在的相簿進行操作。例如，在所述用戶的右眼眨眼時，控制所述顯示器13顯示與所述當前顯示照片相鄰的下一張照片。在所述用戶的左眼眨眼時，控制所述顯示器13中顯示與所述當前顯示照片相鄰的上一張照片。在所述用戶的雙眼同時眨眼時，控制所述儲存器11刪除所述當前顯示照片。在所述用戶的雙眼同時瞪眼時，控制所述儲存器11刪除所述當前顯示照片所在的相簿。在所述用戶的嘴巴咧嘴時，移動所述當前顯示照片到特定的相簿（例如用戶的專屬相簿）等。
從上述步驟S31至步驟S35可知，本發明透過定義特定的人臉表情變化與控制所述電子裝置1的各種操作之間的對應關係，使所述電子裝置1在偵測到用戶的所述特定的人臉表情變化時自動執行對應操作，例如在用戶流覽照片時翻頁，看視頻時快進、查看文檔時刪除等，為用戶操作所述電子裝置1提供了方便。
最後應說明的是，以上所述僅為本發明之較佳實施例而已，且已達廣泛之使用功效，凡其他未脫離本發明所揭示之精神下所完成之均等轉換或修飾，均應包含於下述之申請專利範圍內。
1‧‧‧電子裝置
10‧‧‧人臉表情操作系統
11‧‧‧儲存器
12‧‧‧處理器
13‧‧‧顯示器
14‧‧‧攝像頭
21‧‧‧採集模組
22‧‧‧識別模組
23‧‧‧比較模組
24‧‧‧處理模組
無
10‧‧‧人臉表情操作系統
21‧‧‧採集模組
22‧‧‧識別模組
23‧‧‧比較模組
24‧‧‧處理模組

Claims (24)

  1. 一種人臉表情操作方法，應用於電子裝置中，該電子裝置包括攝像頭及儲存器，該儲存器中儲存有用戶的人臉樣本及所述人臉樣本中所述用戶的表情特徵值，其中，該方法包括：
    利用所述攝像頭即時採集該攝像頭前方的圖像；
    根據所述人臉樣本檢測所述圖像中是否存在所述用戶的人臉區域；
    若所述圖像中存在所述用戶的人臉區域，則計算該人臉區域中所述用戶的表情特徵值；
    比較所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，確定所述用戶的表情變化；及
    根據所述表情變化控制所述電子裝置進行相應的操作。
  2. 如申請專利範圍第1項所述之人臉表情操作方法，其中，所述用戶的人臉樣本是在利用所述攝像頭執行至少一次錄入所述用戶的人臉樣本操作後，根據該至少一次錄入操作生成的人臉樣本創建的。
  3. 如申請專利範圍第1項所述之人臉表情操作方法，其中，所述用戶的表情特徵值包括所述用戶的左眼在垂直方向上最大的高度值、所述用戶的右眼在垂直方向上最大的高度值、所述用戶的嘴巴在水平方向上最大的寬度值、以及所述用戶的嘴巴在垂直方向上最大的高度值中的至少一者。
  4. 如申請專利範圍第1項所述之人臉表情操作方法，其中，該方法還包括：
    識別所述儲存器中儲存的照片，將所述照片中與所述用戶的人臉樣本相匹配的照片儲存到所述用戶的單人照相簿或者所述用戶的多人照相簿。
  5. 如申請專利範圍第1項所述之人臉表情操作方法，其中，該方法還包括：
    利用公式運算所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，以比較所述表情特徵值；及
    將所述公式運算所產生的數值和至少一個門檻值做比較，以確定所述用戶的表情變化。
  6. 如申請專利範圍第5項所述之人臉表情操作方法，其中，所述公式包括計算所述人臉區域中所述用戶的表情特徵值的加權平均值與所述人臉樣本中所述用戶的表情特徵值的加權平均值。
  7. 如申請專利範圍第6項所述之人臉表情操作方法，其中，所述公式還包括所述人臉區域的所述加權平均值與所述人臉樣本的所述加權平均值之間的除法運算或減法運算。
  8. 如申請專利範圍第5項所述之人臉表情操作方法，其中，所述公式包括所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值之間的除法運算或減法運算。
  9. 一種電子裝置，包括儲存器、攝像頭及人臉表情操作單元，該儲存器中儲存有用戶的人臉樣本及所述人臉樣本中所述用戶的表情特徵值，其中，該人臉表情操作單元提供：
    採集模組，用於利用所述攝像頭即時採集該攝像頭前方的圖像；
    識別模組，用於根據所述人臉樣本檢測所述圖像中是否存在所述用戶的人臉區域；
    所述識別模組，還用於在所述圖像中存在所述用戶的人臉區域時，計算該人臉區域中所述用戶的表情特徵值；
    比較模組，用於比較所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，確定所述用戶的表情變化；及
    處理模組，用於根據所述表情變化控制所述電子裝置進行相應的操作。
  10. 如申請專利範圍第9項所述之電子裝置，其中，所述採集模組還用於利用所述攝像頭執行至少一次錄入所述用戶的人臉樣本操作，根據該至少一次錄入操作生成至少一個人臉樣本以創建較佳的所述用戶的人臉樣本。
  11. 如申請專利範圍第9項所述之電子裝置，其中，所述用戶的表情特徵值包括所述用戶的左眼在垂直方向上最大的高度值、所述用戶的右眼在垂直方向上最大的高度值、所述用戶的嘴巴在水平方向上最大的寬度值、以及所述用戶的嘴巴在垂直方向上最大的高度值中的至少一者。
  12. 如申請專利範圍第9項所述之電子裝置，其中，所述識別模組還用於識別所述儲存器中儲存的照片，將所述照片中與所述用戶的人臉樣本相匹配的照片儲存到所述用戶的單人照相簿或者所述用戶的多人照相簿。
  13. 如申請專利範圍第9項所述之電子裝置，其中，所述比較模組還用於利用公式運算所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，以比較所述表情特徵值；及將所述公式運算所產生的數值和至少一個門檻值做比較，以確定所述用戶的表情變化。
  14. 如申請專利範圍第13項所述之電子裝置，其中，所述公式包括計算所述人臉區域中所述用戶的表情特徵值的加權平均值與所述人臉樣本中所述用戶的表情特徵值的加權平均值。
  15. 如申請專利範圍第14項所述之電子裝置，其中，所述公式還包括所述人臉區域的所述加權平均值與所述人臉樣本的所述加權平均值之間的除法運算或減法運算。
  16. 如申請專利範圍第13項所述之電子裝置，其中，所述公式包括所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值之間的除法運算或減法運算。
  17. 一種人臉表情操作系統，運行於電子裝置中，該電子裝置包括攝像頭及儲存器，該儲存器中儲存有用戶的人臉樣本及所述人臉樣本中所述用戶的表情特徵值，其中，該系統包括：
    採集模組，用於利用所述攝像頭即時採集該攝像頭前方的圖像；
    識別模組，用於根據所述人臉樣本檢測所述圖像中是否存在所述用戶的人臉區域；
    所述識別模組，還用於在所述圖像中存在所述用戶的人臉區域時，計算該人臉區域中所述用戶的表情特徵值；
    比較模組，用於比較所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，確定所述用戶的表情變化；及
    處理模組，用於根據所述表情變化控制所述電子裝置進行相應的操作。
  18. 如申請專利範圍第17項所述之人臉表情操作系統，其中，所述採集模組還用於利用所述攝像頭執行至少一次錄入所述用戶的人臉樣本操作，根據該至少一次錄入操作生成至少一個人臉樣本以創建較佳的所述用戶的人臉樣本。
  19. 如申請專利範圍第17項所述之人臉表情操作系統，其中，所述用戶的表情特徵值包括所述用戶的左眼在垂直方向上最大的高度值、所述用戶的右眼在垂直方向上最大的高度值、所述用戶的嘴巴在水平方向上最大的寬度值、以及所述用戶的嘴巴在垂直方向上最大的高度值中的至少一者。
  20. 如申請專利範圍第17項所述之人臉表情操作系統，其中，所述識別模組還用於識別所述儲存器中儲存的照片，將所述照片中與所述用戶的人臉樣本相匹配的照片儲存到所述用戶的單人照相簿或者所述用戶的多人照相簿。
  21. 如申請專利範圍第17項所述之人臉表情操作系統，其中，所述比較模組還用於利用公式運算所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值，以比較所述表情特徵值；及將所述公式運算所產生的數值和至少一個門檻值做比較，以確定所述用戶的表情變化。
  22. 如申請專利範圍第21項所述之人臉表情操作系統，其中，所述公式包括計算所述人臉區域中所述用戶的表情特徵值的加權平均值與所述人臉樣本中所述用戶的表情特徵值的加權平均值。
  23. 如申請專利範圍第22項所述之人臉表情操作系統，其中，所述公式還包括所述人臉區域的所述加權平均值與所述人臉樣本的所述加權平均值之間的除法運算或減法運算。
  24. 如申請專利範圍第21項所述之人臉表情操作系統，其中，所述公式包括所述人臉區域中所述用戶的表情特徵值與所述人臉樣本中所述用戶的表情特徵值之間的除法運算或減法運算。
TW104123948A 2015-07-20 2015-07-23 人臉表情操作系統、方法及電子裝置 TWI663524B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510427524.3A CN106371551A (zh) 2015-07-20 2015-07-20 人脸表情操作系统、方法及电子装置
??201510427524.3 2015-07-20

Publications (2)

Publication Number Publication Date
TW201710833A true TW201710833A (zh) 2017-03-16
TWI663524B TWI663524B (zh) 2019-06-21

Family

ID=57837152

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104123948A TWI663524B (zh) 2015-07-20 2015-07-23 人臉表情操作系統、方法及電子裝置

Country Status (3)

Country Link
US (1) US9904361B2 (zh)
CN (1) CN106371551A (zh)
TW (1) TWI663524B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613102B (zh) * 2017-08-30 2019-05-17 维沃移动通信有限公司 一种会话信息输入方法及移动终端
GB2572317A (en) * 2018-03-06 2019-10-02 Skoogmusic Ltd Control apparatus and method
CN109085991A (zh) * 2018-07-25 2018-12-25 腾讯科技（深圳）有限公司 应用程序控制方法及装置、终端、存储介质
CN110377201A (zh) * 2019-06-05 2019-10-25 平安科技（深圳）有限公司 终端设备控制方法、装置、计算机装置及可读存储介质
CN110290267A (zh) * 2019-06-25 2019-09-27 广东以诺通讯有限公司 一种基于人脸表情的手机控制方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825482B2 (en) * 2005-09-15 2014-09-02 Sony Computer Entertainment Inc. Audio, video, simulation, and user interface paradigms
JP4799104B2 (ja) * 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
EP2618290A3 (en) * 2008-04-02 2014-08-06 Google, Inc. Method and apparatus to incorporate automatic face recognition in digital image collections
US20110013810A1 (en) * 2009-07-17 2011-01-20 Engstroem Jimmy System and method for automatic tagging of a digital image
CN102033958B (zh) * 2010-12-28 2013-04-17 Tcl商用信息科技（惠州）股份有限公司 一种照片分类管理系统及方法
TW201226245A (en) * 2010-12-31 2012-07-01 Altek Corp Vehicle apparatus control system and method thereof
CN102890777B (zh) * 2011-07-21 2017-09-22 爱国者电子科技有限公司 可识别面部表情的电脑系统
CN102880387A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 电子书信息处理方法和装置及移动终端
CN102946481A (zh) * 2012-11-13 2013-02-27 广东欧珀移动通信有限公司 人脸表情解锁方法及系统
US9055071B1 (en) * 2013-03-14 2015-06-09 Ca, Inc. Automated false statement alerts
CN103824059B (zh) * 2014-02-28 2017-02-15 东南大学 一种基于视频图像序列的人脸表情识别方法
US9652915B2 (en) * 2014-02-28 2017-05-16 Honeywell International Inc. System and method having biometric identification intrusion and access control

Also Published As

Publication number Publication date
US9904361B2 (en) 2018-02-27
TWI663524B (zh) 2019-06-21
US20170024005A1 (en) 2017-01-26
CN106371551A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
JP7181437B2 (ja) 制御されていない照明条件の画像中の肌色を識別する技術
US11704776B2 (en) Depth-based image stabilization
US10438077B2 (en) Face liveness detection method, terminal, server and storage medium
TWI512645B (zh) 使用深度影像之手勢辨識裝置及方法
WO2017185630A1 (zh) 基于情绪识别的信息推荐方法、装置和电子设备
TW201710833A (zh) 人臉表情操作系統
WO2016187888A1 (zh) 基于字符识别的关键词通知方法及设备、计算机程序产品
US9207762B2 (en) Method and apparatus for marking electronic document
EP2336949B1 (en) Apparatus and method for registering plurality of facial images for face recognition
US9671873B2 (en) Device interaction with spatially aware gestures
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
KR102127351B1 (ko) 사용자 단말 장치 및 그 제어 방법
TW201405445A (zh) 基於雙攝影機之真實人臉識別系統及其方法
US9047504B1 (en) Combined cues for face detection in computing devices
US20130113826A1 (en) Image processing apparatus, image processing method, and program
KR20120139100A (ko) 얼굴 인증을 이용한 보안 장치 및 방법
CN103442169A (zh) 操纵图像采集设备的拍摄功能的方法和图像采集设备
CN106648042B (zh) 一种识别控制方法以及装置
WO2015014280A1 (en) Method, apparatus and electronic device for display orientation switching
TWI671712B (zh) 自動調整顯示畫面比例的方法及其顯示裝置
CN114861241A (zh) 基于智能检测的防窥屏方法及其相关设备
TW201428605A (zh) 顯示內容修改系統及方法
US9148537B1 (en) Facial cues as commands
CN109271027A (zh) 页面控制方法、装置及电子设备
US10248853B2 (en) Image output device, image output method, and computer program product