TWI668639B - 臉部辨識系統與方法 - Google Patents

臉部辨識系統與方法 Download PDF

Info

Publication number
TWI668639B
TWI668639B TW107118559A TW107118559A TWI668639B TW I668639 B TWI668639 B TW I668639B TW 107118559 A TW107118559 A TW 107118559A TW 107118559 A TW107118559 A TW 107118559A TW I668639 B TWI668639 B TW I668639B
Authority
TW
Taiwan
Prior art keywords
face
tester
facial
state information
image
Prior art date
Application number
TW107118559A
Other languages
English (en)
Other versions
TW202004558A (zh
Inventor
黃錦坤
Original Assignee
瑞軒科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞軒科技股份有限公司 filed Critical 瑞軒科技股份有限公司
Priority to TW107118559A priority Critical patent/TWI668639B/zh
Application granted granted Critical
Publication of TWI668639B publication Critical patent/TWI668639B/zh
Publication of TW202004558A publication Critical patent/TW202004558A/zh

Links

Landscapes

  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本揭示提供一種臉部辨識系統與方法。該系統判斷測試者的臉部是否有轉動或擺動,再以動作校正單元輔助校正測試者的臉部位置,直到測試者將臉部面向預定方位,接著再進行臉部的辨識。如此可在基於Fisherface(費雪特徵臉)的演算法辨識出測試者且確保具有高辨識率。

Description

臉部辨識系統與方法
本揭示是關於一種臉部辨識系統與方法,特別是關於一種搭載有動作提示助理的臉部辨識系統與方法。
常見的應用於人臉辨識方法為Eigenface(特徵臉)以及Fisherface(費雪特徵臉)演算法。此兩種演算法都是先以主成分分析(Principal Component Analysis,PCA)轉換後取得特徵參數。而這些特徵參數之間的變異程度大,因此可以用來表達人臉影像之間的差距。Fisherface在PCA轉換後又再配合線性判別分析(Linear Discriminate Analysis,LDA),利用將組內變異變小及組間變異變大之概念,以提高不同人之間的差異性,提升識別的精確度。
Fisherface在臉部保持為正面的情況下辨識率相當高,但是實際應用中臉部不可能只會保持在正面,稍微偏個角度就會導致辨識率下降。因此,目前已發展出一種在人臉辨識系統中結合判斷測試者是不是位在側臉狀態的技術。例如,申請號為US 20120189160 A1的美國專利申請案,其是在偵測到臉部後,先以臉部五官(鼻子、嘴巴)中心點為判斷依據來模擬出測試者的正面臉部樣態。接著,偵測測試者的眼睛和瞳孔視線,並將眼睛分為幾個點:眼睛的上下左右邊緣、眼睛中心以及瞳孔位置,並且利用瞳孔靠近眼睛邊緣位置判斷現在測試者的側臉情況。然而,此方法 在偵測到測試者的眼睛後,必須針對眼睛範圍再做一次處理以判斷上述幾個點的位置,並且必須搭配極為複雜的演算步驟,如此會耗費較長的檢測時間。此外,如果測試者以正面面對著鏡頭,但是瞳孔視線卻是看向左邊或右邊時,在此檢測環境下會將測試者誤判為處於側臉狀態。
有鑑於此,有必要提出一種臉部辨識系統與方法,以解決習知技術中存在的問題。
為解決上述習知技術之問題,本揭示之目的在於提供一種臉部辨識系統與方法,其是藉由先判斷測試者的臉部是否已經偏離Fisherface(費雪特徵臉)高辨識度的範圍,如是,再以動作提示助理輔助校正測試者的臉部位置,如此可在基於Fisherface的演算法下辨識出測試者且確保高辨識率,並且可有效地解決現有技術中並須仰賴複雜演算系統來模擬校正測試者的臉部,進而導致系統資料龐大且耗費較長辨識時間的問題。
為達成上述目的,本揭示提供一種臉部辨識系統,包含:一影像處理器;一攝影機,與該影像處理器電性連接,用於偵測一測試者的臉部影像,並將該臉部影像傳送至該影像處理器,該影像處理器根據該臉部影像產生一臉部狀態資訊;一動作校正單元,與該影像處理器電性連接,用於接收該臉部狀態資訊,並且根據該臉部狀態資訊產生一動作提示訊息;以及一動作提示訊息產生器,與該動作校正單元電性連接,用於接收並發送該動作提示訊息至該測試者,提示該測試者將臉部移動至面向一預定方位,其中該攝影機與該動作提示訊息產生器電性連接,並且該攝影機在該動作提示訊息發送出一段時間後,偵測該測試者之一校正後的臉部影 像,並將該校正後的臉部影像傳送至該影像處理器進而辨識出該測試者的身分。
於本揭示其中之一較佳實施例當中,該動作校正單元包含一語音助理機器人,以及該動作提示訊息產生器包含一揚聲器,並且該動作提示訊息是以語音格式傳遞進而藉由該揚聲器發送至該測試者。
於本揭示其中之一較佳實施例當中,該影像處理器包含一臉部偵測單元,用於接收該臉部影像,並且偵測該臉部影像中的五官資訊。
於本揭示其中之一較佳實施例當中,該影像處理器還包含一臉部校正單元,與該臉部偵測單元電性連接,用於接收該五官資訊以產生該臉部狀態資訊,並將該臉部狀態資訊傳送至該動作校正單元。
於本揭示其中之一較佳實施例當中,該影像處理器包含一臉部辨識單元,用於接收該校正後的臉部影像以辨識該測試者的身分。
本揭示還提供一種臉部辨識方法,由一臉部辨識系統來執行,該臉部辨識系統包含一影像處理器、一攝影機、一動作校正單元、和一動作提示訊息產生器,該方法包含:藉由該攝影機偵測一測試者的臉部影像,並將該臉部影像傳送至該影像處理器;該影像處理器根據該臉部影像產生一臉部狀態資訊;該動作校正單元接收該臉部狀態資訊,並且根據該臉部狀態資訊產生一動作提示訊息;該動作提示訊息產生器接收並發送該動作提示訊息至該測試者,提示該測試者將臉部移動至面向一預定方位;以及該攝影機在該動作提示訊息發送出一段時間後,偵測該測試者之一校正後的臉部影像,並將該校正後的臉部影像傳送至該影像處理器進而辨識出該測試者的身分。
於本揭示其中之一較佳實施例當中,該動作校正單元包含一語音助理機器人,以及該動作提示訊息產生器包含一揚聲器,並且該動作校正單元產生之該動作提示訊息是以語音格式傳遞,進而藉由該揚聲器發送至該測試者。
於本揭示其中之一較佳實施例當中,在將該校正後的臉部影像傳送至該影像處理器之後還包含:藉由該影像處理器驗證該校正後的臉部影像是否面向該預定方位,如是,則進行辨識該測試者的身分之步驟,如否,則重複進行產生另一臉部狀態資訊、產生另一動作提示訊息之步驟、和發送該另一動作提示訊息至該測試者之步驟,直到偵測該測試者之另一校正後的臉部影像為面向該預定方位才接續進行辨識該測試者之身分的步驟。
於本揭示其中之一較佳實施例當中,該影像處理器包含一臉部偵測單元,並且在將該臉部影像傳送至該影像處理器之後包含:該影像處理器之該臉部偵測單元根據該臉部影像獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點。
於本揭示其中之一較佳實施例當中,該影像處理器還包含一臉部校正單元,以及該影像處理器根據該臉部影像產生一臉部狀態資訊包含步驟:該臉部校正單元以通過該臉部中心點的一垂直線作為基準,比較在同一水平線上該嘴巴中央位置與該垂直線的一相對位置,若是該嘴巴中央位置位在該垂直線的右側時,該臉部校正單元產生當前測試者的臉部是偏向右側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線的左側時,該臉部校正單元產生當前測試者的臉部是偏向左側擺動的臉部狀態資 訊,若是該嘴巴中央位置位在該垂直線上時,該臉部校正單元產生當前測試者的臉部是無擺動的臉部狀態資訊。
於本揭示其中之一較佳實施例當中,該動作校正單元接收該臉部狀態資訊,並且根據該臉部狀態資訊產生一動作提示訊息包含步驟:當該動作校正單元接收到當前測試者的臉部是偏向右側擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往左側擺動的動作提示訊息,當該動作校正單元接收到當前測試者的臉部是偏向左側擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往右側擺動的動作提示訊息,以及當該動作校正單元接收到當前測試者的臉部是無擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部保持不擺動的動作提示訊息。
於本揭示其中之一較佳實施例當中,在將該校正後的臉部影像傳送至該影像處理器之後還包含:該影像處理器之該臉部偵測單元根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點;以及該臉部校正單元獲取右眼與該嘴巴中央位置之間的第一距離,以及獲取左眼與該嘴巴中央位置之間的第二距離,當該第一距離大於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向左側轉動的臉部狀態資訊,當該第一距離小於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向右側轉動的臉部狀態資訊,以及當該第一距離等於該第二距離時,該臉部校正單元產生當前測試者的臉部是無轉動的臉部狀態資訊。
於本揭示其中之一較佳實施例當中,在該動作校正單元接收 到相關於兩眼與該嘴巴中央位置之間的距離差的該臉部狀態資訊之後還包含步驟:當該動作校正單元接收到當前測試者的臉部是偏向左側轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往右側轉動的動作提示訊息,當該動作校正單元接收到當前測試者的臉部是偏向右側轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往左側轉動的動作提示訊息,以及當該動作校正單元接收到當前測試者的臉部是無轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部保持不轉動的動作提示訊息。
於本揭示其中之一較佳實施例當中,藉由該影像處理器辨識該測試者的身分之前包含步驟:該影像處理器之該臉部偵測單元根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點;該臉部偵測單元確認在同一水平線上,該嘴巴中央位置位在通過該臉部中心點的一垂直線上,以及兩眼與該嘴巴中央位置之間的距離差為零,即判斷該測試者已將臉部面向該預定方位;以及藉由該影像處理器辨識該測試者的身分。
於本揭示其中之一較佳實施例當中,該影像處理器還包含一臉部校正單元,以及該影像處理器根據該臉部影像產生一臉部狀態資訊包含步驟:該臉部校正單元獲取右眼與該嘴巴中央位置之間的第一距離,以及獲取左眼與該嘴巴中央位置之間的第二距離,當該第一距離大於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向左側轉動的臉部狀態資訊,當該第一距離小於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向右側轉動的臉部狀態資訊,以及當該第一距離等於該第二 距離時,該臉部校正單元產生當前測試者的臉部是無轉動的臉部狀態資訊。
於本揭示其中之一較佳實施例當中,在該動作校正單元接收到相關於兩眼與該嘴巴中央位置之間的距離差的該臉部狀態資訊之後還包含步驟:當該動作校正單元接收到當前測試者的臉部是偏向左側轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往右側轉動的動作提示訊息,當該動作校正單元接收到當前測試者的臉部是偏向右側轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往左側轉動的動作提示訊息,以及當該動作校正單元接收到當前測試者的臉部是無轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部保持不轉動的動作提示訊息。
於本揭示其中之一較佳實施例當中,在將該校正後的臉部影像傳送至該影像處理器之後還包含:該影像處理器之該臉部偵測單元根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點,並且根據該臉部輪廓獲取臉部中心點;以及該臉部校正單元以通過該臉部中心點的一垂直線作為基準,比較在同一水平線上該嘴巴中央位置與該垂直線的一相對位置,若是該嘴巴中央位置位在該垂直線的右側時,該臉部校正單元產生當前測試者的臉部是偏向右側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線的左側時,該臉部校正單元產生當前測試者的臉部是偏向左側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線上時,該臉部校正單元產生當前測試者的臉部是無擺動的臉部狀態資訊。
於本揭示其中之一較佳實施例當中,在該動作校正單元接收 到相關於當前測試者的臉部的擺動狀態的該臉部狀態資訊之後還包含步驟:當該動作校正單元接收到當前測試者的臉部是偏向右側擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往左側擺動的動作提示訊息,當該動作校正單元接收到當前測試者的臉部是偏向左側擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往右側擺動的動作提示訊息,以及當該動作校正單元接收到當前測試者的臉部是無擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部保持不擺動的動作提示訊息。
相較於先前技術,本揭示的臉部辨識系統和臉部辨識方法是藉由先判斷測試者的臉部是否已經偏離Fisherface(費雪特徵臉)高辨識度的範圍,如是,再以動作校正單元20輔助校正測試者的臉部位置,直到測試者將臉部轉動或擺動到Fisherface高辨識度的範圍中(即將臉部面向該預定方位),如此可在基於Fisherface的演算法下辨識出測試者且確保臉部辨識系統具有高辨識率。再者,由於在本揭示中是採用動作校正單元來讓測試者直接地根據轉動或擺動指令改變臉部的位置,而非讓測試者保持在臉部不動的狀態下僅以系統內部的演算法來模擬出測試者的正臉樣態,如此可有效地解決現有技術中並須仰賴複雜演算系統來模擬校正測試者的臉部,進而導致系統資料龐大且耗費較長辨識時間的問題。
1‧‧‧臉部辨識系統
10‧‧‧人工智慧盒
20‧‧‧動作校正單元
30‧‧‧影像處理器
31‧‧‧臉部偵測單元
32‧‧‧臉部校正單元
33‧‧‧臉部辨識單元
40‧‧‧攝影機
50‧‧‧顯示器
51‧‧‧使用者介面
60‧‧‧動作提示訊息產生器
D1‧‧‧第一距離
D2‧‧‧第二距離
第1圖顯示本揭示之較佳實施例之臉部辨識系統之方塊圖;第2圖顯示本揭示之第一較佳實施例之臉部辨識方法之流程圖; 第3A圖和第3B圖顯示一系列的臉部鏡像圖,其採用第2圖之臉部辨識方法來進行臉部位置的校正;第4A圖至第4D圖顯示另一系列的臉部鏡像圖,其採用第2圖之臉部辨識方法來進行臉部位置的校正;以及第5圖顯示本揭示之第二較佳實施例之臉部辨識方法之流程圖。
為了讓本揭示之上述及其他目的、特徵、優點能更明顯易懂,下文將特舉本揭示較佳實施例,並配合所附圖式,作詳細說明如下。
近來由於物聯網(Internet of Things,IoT)的蓬勃發展,打造智慧家庭以及語音助理機器人是吸引人的題材。然而,市面上的語音助理機器人,其功能僅用在語音辨識、溫度監控、智慧家具操作與控制等。若能將語音助理機器人打造為搭載人臉學習與辨識功能的智慧音箱,就可以活用個人化的資訊,像是衣著喜好、身體狀況等。此外,搭載有人臉辨識的智慧音箱也可以透過高辨識率的功能,協助監控家庭安全、防範小偷入侵家庭等。因此,本揭示在基於Fisherface(費雪特徵臉)的演算法下,將臉部辨識系統搭載語音助理機器人,進而能提高正確的人臉辨識率。此方案可以較快的判斷使用者是否處於低辨識率範圍,加上語音助理機器人互動的特性,可以提示和引導使用者該如何調整臉的角度,如此獲得較高的人臉辨識率,並且讓語音助理機器人與使用者具有緊密的互動進而帶來方便性。
請參照第1圖,其顯示本揭示之較佳實施例之臉部辨識系統1之方塊圖。臉部辨識系統1包含人工智慧盒10、動作校正單元20、影像處理 器30、攝影機40、顯示器50、和動作提示訊息產生器60,其中動作校正單元20、影像處理器30、攝影機40、顯示器50、和動作提示訊息產生器60整體是整合在人工智慧盒10中。可選地,本揭示之臉部辨識系統1可搭載在各種適當地內嵌式系統板中,例如Raspberry pi、Banana pi、或者是其他運行在Linux中的系統。並且,人工智慧盒10可安裝在各種通用的系統環境中,例如Android OS環境等。
如第1圖所示,攝影機40是架設在可清楚拍攝到測試者的位置,以及顯示器50是裝設在測試者的正面視線範圍內的位置,如此測試者可方便地通過顯示器50上的使用者介面51進行各種功能操作。攝影機40與影像處理器30電性連接,用於偵測測試者的臉部影像,並將該臉部影像傳送至影像處理器30內。在本實施例中,當測試者藉由臉部辨識系統1進行臉部學習註冊或是臉部辨識功能的操作時,臉部辨識系統1會先判斷攝影機40是否已經與動作校正單元20連接以及運作正常。當攝影機40已連接且運作正常時,即開啟攝影機40的功能進行擷取臉部影像。在其他實施例中,臉部辨識系統1預設攝影機40與動作校正單元20為連接狀態,只需要判斷攝影機40是否能正常運作即可。
如第1圖所示,影像處理器30包含彼此電性連接的臉部偵測單元31、臉部校正單元32、和臉部辨識單元33。臉部偵測單元31接收來自於攝影機40的臉部影像,並且偵測該臉部影像中的五官資訊。具體來說,臉部偵測單元31是根據該臉部影像獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置等五官資訊,並且根據該臉部輪廓獲取臉部中心點。應當注意的是,在此所指的臉部中心點並非指人臉正面的中心點(例如相當於鼻子的 位置),而是指以當前獲得的臉部輪廓為基準,不考慮其他五官位置的情況下所得的物理中心位置。當使用者或測試者以歪斜的角度(以30度角為例)面對攝影機40時,被拍攝到的臉部影像的臉部輪廓對應的臉部中心點可能會落在臉頰的位置。另外,嘴巴中央位置意指兩個唇角之間的中央位置。
得到足夠的五官資訊後,臉部辨識系統1可以根據這些訊息執行臉部校正計算。具體來說,臉部校正單元32是用於接收臉部偵測單元31所獲取的五官資訊,並藉此產生臉部狀態資訊,接著將該臉部狀態資訊傳送至動作校正單元20。在本實施例中,影像處理器30是整合在動作校正單元20的電路模組中,如此影像處理器30的各單元皆會與動作校正單元20電性連接。再者,臉部校正單元32產生臉部狀態資訊是一種判斷當前測試者的臉部偏轉狀態的資訊,因此臉部校正單元32產生的訊息可包含例如當前測試者的臉部是偏向右側擺動的臉部狀態資訊、當前測試者的臉部是偏向左側擺動的臉部狀態資訊、當前測試者的臉部是無擺動的臉部狀態資訊、當前測試者的臉部是偏向右側轉動的臉部狀態資訊、當前測試者的臉部是偏向左側轉動的臉部狀態資訊、或者是當前測試者的臉部是無轉動的臉部狀態資訊等,具體的判斷依據和臉部狀態資訊的生成步驟將詳述於下。
又,動作校正單元20是用於接收該臉部狀態資訊,並且根據該臉部狀態資訊產生一動作提示訊息。動作校正單元20產生動作提示訊息是一種提示測試者的將臉部位置改變至正確位置的訊息。舉例來說,動作校正單元20產生動作提示訊息包含提示測試者將頭部往左側擺動的動作提示訊息、提示測試者將頭部往右側擺動的動作提示訊息、提示測試者將頭部保持不擺動的動作提示訊息、提示測試者將頭部往左側轉動的動作提示 訊息、提示測試者將頭部往右側轉動的動作提示訊息、或者是提示測試者將頭部保持不轉動的動作提示訊息等。同樣地,具體的判斷依據和動作提示訊息的生成步驟將詳述於下。
動作提示訊息產生器60與動作校正單元20電性連接,用於接收並發送該動作提示訊息至測試者,提示測試者將臉部移動至面向一預定方位。也就是說,通過臉部偵測單元31即可得知目前測試者臉部的位置有沒有在高辨識度的範圍之內。動作校正單元20可以藉由臉部偵測單元31和臉部校正單元32的結果決定如何提示和引導測試者調整臉部的角度。
在本實施例中,動作校正單元20是採用包含一語音助理機器人的設備,以及動作提示訊息產生器20是採用包含一揚聲器的設備,並且該動作提示訊息是以語音格式傳遞進而藉由揚聲器發送至測試者。具體來說,本揭示之臉部辨識系統1可搭載在適當地內嵌式系統板中,並且該內嵌式系統板上安裝有通用的系統環境,以及編寫好的語音助理機器人應用程式是安裝在內嵌式系統板上。可以理解的是,在其他實施例中,動作校正單元20是採用包含一圖文資料庫的設備,以及動作提示訊息產生器20是採用包含一圖文產生器的設備,並且該動作提示訊息是以圖文格式傳遞至顯示器50進而將帶有提示動作的圖文顯示在顯示器50上,據此提示測試者依照提示圖文作出正確的校正動作。又或者是,動作校正單元20可結合語音助理機器人和圖文產生器的設備,如此將該動作提示訊息以語音結合圖文的格式傳遞進而藉由適當地動作提示訊息產生器60發送至測試者,惟本揭示不侷限於此。
另一方面,如第1圖所示,攝影機40會與動作校正單元20和 動作提示訊息產生器40電性連接。並且,攝影機40在該動作提示訊息發送出一段時間後(意指足夠讓測試者依照動作提示訊息而作出一適當反應動作的時間,例如數秒鐘),攝影機40會再次偵測並獲得測試者之校正後的臉部影像,並將該校正後的臉部影像傳送至影像處理器30。進而,藉由臉部辨識單元33辨識出該測試者的身分。應當注意的是,只有在當臉部偵測單元31判斷測試者已將臉部正確移動至面向預定方位時,臉部辨識單元33才會進行臉部辨識動作,否則臉部偵測單元31與臉部校正單元會重複進行產生另一臉部狀態資訊、以及動作校正單元20會重複進行產生另一動作提示訊息之步驟,接著再通過動作提示訊息產生器60發送該另一動作提示訊息至測試者之步驟,直到攝影機40偵測到測試者之另一校正後的臉部影像為面向該預定方位為止。此外,在進行臉部辨識動作之後,臉部辨識系統1便可以將測試者的身分存入資料庫或是進行身分辨識完成後的相關應用。
可以理解的是,當本揭示的動作校正單元20是採用語音助理機器人來實施時,測試者可通過人工智慧盒10與語音助理機器人進行互動。當測試者命令語音助理機器人進行人臉學習或是辨識時,人工智慧盒10會相應地打開攝影機40並將影像擷取傳至影像處理器30。接著通過影像處理器30處理臉部偵測、臉部校正、臉部辨識等功能。影像處理器30運算處理後便會回傳結果至語音助理機器人,如此語音助理機器人可根據結果決定要如何操作周邊設備與使用者互動。
因此,本揭示的臉部辨識系統1是藉由先判斷測試者的臉部是否已經偏離Fisherface高辨識度的範圍,如是,再以動作校正單元20輔助校正測試者的臉部位置,直到測試者將臉部旋轉或擺動到Fisherface高辨識 度的範圍中,如此可在基於Fisherface的演算法下辨識出測試者且確保臉部辨識系統1具有高辨識率。再者,由於在本揭示中是採用動作校正單元20來讓測試者直接地改變臉部的位置,而非讓測試者保持在臉部不動的狀態下僅以系統內部的演算法來模擬出測試者的正臉樣態,如此可有效地解決現有技術中並須仰賴複雜演算系統來模擬校正測試者的臉部,進而導致系統資料龐大且耗費較長辨識時間的問題。
另一方面,由於本揭示的動作校正單元20是採用語音助理機器人來實施,以及臉部辨識系統1是搭載有人工智慧盒10之人臉辨識機制,透過此功能讓語音助理機器人與測試者更緊密的互動以帶來方便性。舉例來說,如果當前為安全監控模式,又發現有無法辨識之測試者就可以開啟警報器等功能。此外,若是當前測試者為已註冊的用戶,則在辨識測試者的身分之後,接著會開始收集其個人化資訊,例如穿著、髮型、喜歡的音樂、電視節目、表情判斷健康狀態等。人工智慧盒10有了這些資訊後,除了開啟一般使用者功能之外還會開啟個人化功能。例如,通過語音助理機器人提供使用者喜歡的店家資訊、播放喜愛的音樂、電視節目、就診提醒等。
本揭示還提供一種臉部辨識方法,其是由上述之臉部辨識系統1來執行。請參照第2圖,其顯示本揭示之第一較佳實施例之臉部辨識方法之流程圖。首先,藉由攝影機40偵測測試者的臉部影像,並將該臉部影像傳送至影像處理器30之臉部偵測單元31。接著,臉部偵測單元31根據臉部影像判斷五官資訊是否足夠。具體來說,當臉部偵測單元31成功獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部 中心點之後,即判斷當前已獲得足夠的五官資訊。反之,則判斷當前獲得的五官資訊不足夠,接著則會返回以攝影機40重新偵測測試者的臉部影像的步驟。
當臉部偵測單元31已獲得足夠的五官資訊之後,臉部偵測單元31會將相關的五官資訊傳遞至臉部校正單元32,接著臉部校正單元32根據臉部影像的五官資訊產生判斷臉部是否有擺動的臉部狀態資訊。舉例來說,臉部校正單元32以通過該臉部中心點的一垂直線作為基準,比較在同一水平線上該嘴巴中央位置與該垂直線的一相對位置,若是該嘴巴中央位置位在該垂直線的右側時(該處所指的左、右側是以觀視臉部鏡像圖的視角來定義),臉部校正單元32產生當前測試者的臉部是偏向右側擺動(該處所指的左、右側擺動是以測試者本身的方位來定義)的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線的左側時,臉部校正單元32產生當前測試者的臉部是偏向左側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線上時,臉部校正單元32產生當前測試者的臉部是無擺動的臉部狀態資訊。應當注意的是,在此所指的擺動是指測試者是否有以臉部中心點為軸心來轉動的情況。
接著,動作校正單元20接收判斷臉部是否有擺動的臉部狀態資訊,並且根據該臉部狀態資訊產生相應的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是偏向右側擺動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部往左側擺動的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是偏向左側擺動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部往右側擺動的動作提示訊息。當動 作校正單元20接收到當前測試者的臉部是無擺動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部保持不擺動的動作提示訊息。應當注意的是,該左側擺動是指以該臉部中心點為軸心,朝向逆時針的方向旋轉。以及,該右側擺動是指以該臉部中心點為軸心,朝向順時針的方向旋轉(該處所指的順、逆時針方向是以測試者本身的方位來定義)。
接著,當動作校正單元20經由動作提示訊息產生器60發送提示測試者擺動頭部以調整頭部位置的動作提示訊息之後,經過一段時間,例如數秒鐘,其足夠讓測試者依照動作提示訊息而作出一適當反應動作,接續會再以攝影機40偵測校正後的臉部影像,並將其傳送至影像處理器30。影像處理器之臉部偵測單元31根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點。接著,臉部校正單元32會根據新的五官資訊來重新比較臉部中心點與嘴巴中央位之相對位置,進而重新判斷臉部是否有擺動,如是則再重複進行上述動作,直到臉部校正單元32判斷臉部已處於無擺動的狀態。
當臉部校正單元32判斷臉部已處於無擺動的狀態之後,臉部校正單元32接著會獲取兩眼分別與嘴巴中央位置之距離差。具體來說,臉部校正單元32會先獲取右眼與該嘴巴中央位置之間的第一距離,以及獲取左眼與該嘴巴中央位置之間的第二距離。當臉部校正單元32判斷該第一距離大於該第二距離時,臉部校正單元32產生當前測試者的臉部是偏向左側轉動(該處所指的偏向左、右側是以測試者本身的方位來定義)的臉部狀態資訊。當該第一距離小於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向右側轉動的臉部狀態資訊。當該第一距離等於該第二距離 時,該臉部校正單元產生當前測試者的臉部是無轉動的臉部狀態資訊。較佳地,臉部校正單元32會預設一合理的誤差值(例如幾毫米的數值),並且當上述距離差大於該誤差值時,臉部校正單元32才會判斷當前測試者的臉部是偏向左側或右側轉動,如此可避免因為臉部五官並非完全對稱的情況下所導致的誤判情形。
接著,動作校正單元20接收判斷臉部是否有轉動的臉部狀態資訊,並且根據該臉部狀態資訊產生相應的動作提示訊息。具體來說,當動作校正單元20接收到當前測試者的臉部是偏向左側轉動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部往右側轉動的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是偏向右側轉動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部往左側轉動的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是無轉動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部保持不轉動的動作提示訊息。應當注意的是,該右側轉動是指以脖子為中心點沿著軀幹的延伸方向的垂直軸為轉軸,朝向順時針的方向旋轉,以及該左側轉動是指以該垂直軸為轉軸,朝向逆時針的方向旋轉(該處所指的順、逆時針方向是以測試者本身的方位來定義)。
接著,當動作校正單元20經由動作提示訊息產生器60發送提示測試者轉動頭部以調整頭部位置的動作提示訊息之後,經過一段時間,例如數秒鐘,其足夠讓測試者依照動作提示訊息而作出一適當反應動作,接續會再以攝影機40偵測校正後的臉部影像,並將其傳送至影像處理器30。影像處理器之臉部偵測單元31根據該校正後的臉部影像重新獲取臉部 的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點。藉由影像處理器30依序進行重新判斷臉部是否有擺動以及重新判斷臉部是否有轉動的步驟,以驗證該校正後的臉部影像是否面向預定方位,如是,則藉由影像處理器30的臉部辨識單元33進行辨識該測試者的身分之步驟,如否,則藉由影像處理器30重複進行產生另一臉部狀態資訊、以及藉由動作校正單元20產生另一動作提示訊息之步驟、和藉由動作提示訊息產生器60發送該另一動作提示訊息至測試者之步驟,直到偵測該測試者之又一校正後的臉部影像為面向該預定方位。應當注意的是,影像處理器30判斷測試者的臉部面向該預定方位是指臉部偵測單元31確認在同一水平線上,該嘴巴中央位置位在通過該臉部中心點的一垂直線上(即臉部無擺動),以及確認兩眼與該嘴巴中央位置之間的距離差為零(即臉部無轉動),如此影像處理器30才會判斷測試者已將臉部面向該預定方位,並且接續進行藉由影像處理器30辨識該測試者之身分的步驟。
舉例來說,請參照第3A圖和第3B圖,其顯示一系列的臉部鏡像圖,其採用第2圖之臉部辨識方法來進行臉部位置的校正。如第3A圖所示,在獲得五官資訊之後,臉部校正單元32以通過該臉部中心點的一垂直線作為基準,比較在同一水平線上該嘴巴中央位置與該垂直線的一相對位置。其中嘴巴中央位置是位在該垂直線的右側(該處所指的左右側是以觀視該臉部鏡像圖的視角來定義),臉部校正單元32產生當前測試者的臉部是偏向右側擺動(該處所指的右側擺動是以測試者本身的方位來定義)的臉部狀態資訊。當動作校正單元20接收到當前測試者的臉部是偏向右側擺動的臉部狀態資訊時,動作校正單元20產生提示測試者將頭部往左側擺動的 動作提示訊息。其中該左側擺動是指以該臉部中心點為軸心,朝向逆時針的方向(該處所指的逆時針方向是以測試者本身的方位來定義)旋轉。可以理解的是,在其他實施例中,當動作校正單元20提示測試者將頭部往右側擺動的動作提示訊息時,意旨以該臉部中心點為軸心,朝向順時針的方向旋轉。
接著,當動作校正單元20經由動作提示訊息產生器60發送提示測試者將頭部往左側擺動的動作提示訊息,並且測試者依照動作提示訊息而作出適當反應動作之後,接續會再以攝影機40偵測如第3B圖所示之校正後的臉部影像,並將其傳送至影像處理器30。臉部偵測單元31根據該校正後的臉部影像重新獲取五官資訊。接著,臉部校正單元32會根據新的五官資訊來重新比較臉部中心點與嘴巴中央位之相對位置。接著,當臉部校正單元32判斷臉部已處於無擺動的狀態之後,臉部校正單元32會先獲取右眼與該嘴巴中央位置之間的第一距離D1,以及獲取左眼與該嘴巴中央位置之間的第二距離D2,其中如第3B圖所示第一距離D1等於第二距離D2,此時臉部校正單元32產生當前測試者的臉部是無轉動的臉部狀態資訊。如此,影像處理器30驗證該校正後的臉部影像已面向預定方位,並且接續進行藉由影像處理器30辨識該測試者之身分的步驟。
請參照第4A圖至第4D圖,其顯示一系列的臉部鏡像圖,其採用第2圖之臉部辨識方法來進行臉部位置的校正。如第4A圖所示,在獲得五官資訊之後,臉部校正單元32以通過該臉部中心點的一垂直線作為基準,比較在同一水平線上該嘴巴中央位置與該垂直線的一相對位置,其中該嘴巴中央位置是位在該垂直線的右側(該處所指的左右側是以觀視該臉 部鏡像圖的視角來定義),臉部校正單元32產生當前測試者的臉部是偏向右側擺動(該處所指的右側擺動是以測試者本身的方位來定義)的臉部狀態資訊。當動作校正單元20接收到當前測試者的臉部是偏向右側擺動的臉部狀態資訊時,動作校正單元20產生提示測試者將頭部往左側擺動的動作提示訊息,其中該左側擺動是指以該臉部中心點為軸心,朝向逆時針的方向(該處所指的逆時針方向是以測試者本身的方位來定義)旋轉。
接著,當動作校正單元20經由動作提示訊息產生器60發送提示測試者將頭部往左側擺動的動作提示訊息,並且測試者依照動作提示訊息而作出適當反應動作之後,接續會再以攝影機40偵測如第4B圖所示之校正後的臉部影像,並將其傳送至影像處理器30。臉部偵測單元31根據該校正後的臉部影像重新獲取五官資訊。之後,臉部校正單元32會根據新的五官資訊來重新比較臉部中心點與嘴巴中央位之相對位置。當臉部校正單元32判斷臉部已處於無擺動的狀態之後(應當注意的是,不論真實狀況下臉部是否有擺動情形,只要當臉部校正單元32判斷嘴巴中央位置位在垂直線上時,臉部校正單元32即會產生當前測試者的臉部是無擺動的臉部狀態資訊),臉部校正單元32會先獲取右眼與該嘴巴中央位置之間的第一距離D1,以及獲取左眼與該嘴巴中央位置之間的第二距離D2,其中如第4B圖所示第一距離D1大於第二距離D2,此時臉部校正單元32產生當前測試者的臉部是偏向左側轉動的臉部狀態資訊。如此,動作校正單元20接收到當前測試者的臉部是偏向左側轉動的臉部狀態資訊後,動作校正單元20產生提示該測試者將頭部往右側轉動的動作提示訊息,其中該右側轉動是指以脖子為中心點沿著軀幹的延伸方向的垂直軸為轉軸,朝向順時針的方向旋轉。
接著,當動作校正單元20經由動作提示訊息產生器60發送提示測試者將頭部往右側轉動的動作提示訊息,並且測試者依照動作提示訊息而作出適當反應動作之後,接續會再以攝影機40偵測如第4C圖所示之校正後的臉部影像,並將其傳送至影像處理器30。臉部偵測單元31根據該校正後的臉部影像重新獲取五官資訊。之後,臉部校正單元32會根據新的五官資訊來重新比較臉部中心點與嘴巴中央位之相對位置。如第4C圖所示,由於比較在同一水平線上該嘴巴中央位置與該垂直線的相對位置可發現,該嘴巴中央位置是位在該垂直線的左側(該處所指的左側是以觀視如第4C圖所示之該臉部鏡像圖的視角來定義),臉部校正單元32產生當前測試者的臉部是偏向左側擺動(該處所指的左側擺動是以測試者本身的方位來定義)的臉部狀態資訊。當動作校正單元20接收到當前測試者的臉部是偏向左側擺動的臉部狀態資訊時,動作校正單元20產生提示測試者將頭部往右側擺動的動作提示訊息,其中該右側擺動是指以該臉部中心點為軸心,朝向順時針的方向(該處所指的順時針方向是以測試者本身的方位來定義)旋轉。
接著,當動作校正單元20經由動作提示訊息產生器60發送提示測試者將頭部往右側擺動的動作提示訊息,並且測試者依照動作提示訊息而作出適當反應動作之後,接續會再以攝影機40偵測如第4D圖所示之校正後的臉部影像,並將其傳送至影像處理器30。臉部偵測單元31根據該校正後的臉部影像重新獲取五官資訊。接著,臉部校正單元32會根據新的五官資訊來重新比較臉部中心點與嘴巴中央位之相對位置。接著,當臉部校正單元32判斷臉部已處於無擺動的狀態之後,臉部校正單元32會重新獲取右眼與該嘴巴中央位置之間的第一距離D1,以及獲取左眼與該嘴巴中央位 置之間的第二距離D2,其中如第4D圖所示第一距離D1等於第二距離D2,此時臉部校正單元32產生當前測試者的臉部是無轉動的臉部狀態資訊。如此,影像處理器30驗證該校正後的臉部影像已面向預定方位,並且接續進行藉由影像處理器30辨識該測試者之身分的步驟。在一實施例中,動作提示訊息產生器60發送的動作提示訊息是以語音方式提示測試者。在另一實施例中,除了語音提示之外,更可以在顯示器上以圖示方式提示測試者。例如,如第3A圖中逆時針旋轉的擺動圖示提示,或者是第4B圖中順時針旋轉的轉動圖示提示。
請參照第5圖,其顯示本揭示之第二較佳實施例之臉部辨識方法之流程圖,其是由上述之臉部辨識系統1來執行。首先,藉由攝影機40偵測測試者的臉部影像,並將該臉部影像傳送至影像處理器30之臉部偵測單元31。接著,臉部偵測單元31根據臉部影像判斷五官資訊是否足夠。具體來說,當臉部偵測單元31成功獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點之後,即判斷當前已獲得足夠的五官資訊。反之,則判斷當前獲得的五官資訊不足夠,接著則會返回以攝影機40重新偵測測試者的臉部影像的步驟。
當臉部偵測單元31已獲得足夠的五官資訊之後,臉部偵測單元31會將相關的五官資訊傳遞至臉部校正單元32以進行判斷臉部是否有轉動的步驟。首先,臉部校正單元32會獲取兩眼分別與嘴巴中央位置之距離差。具體來說,臉部校正單元32會先獲取右眼與該嘴巴中央位置之間的第一距離,以及獲取左眼與該嘴巴中央位置之間的第二距離。當臉部校正單元32判斷該第一距離大於該第二距離時,臉部校正單元32產生當前測試者 的臉部是偏向左側轉動(該處所指的偏向左、右側是以測試者本身的方位來定義)的臉部狀態資訊。當該第一距離小於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向右側轉動的臉部狀態資訊。當該第一距離等於該第二距離時,該臉部校正單元產生當前測試者的臉部是無轉動的臉部狀態資訊。較佳地,臉部校正單元32會預設一合理的誤差值(例如幾毫米的數值),並且當上述距離差大於該誤差值時,臉部校正單元32才會判斷當前測試者的臉部是偏向左側或右側轉動,如此可避免因為臉部五官並非完全對稱的情況下所導致的誤判情形。
接著,動作校正單元20接收判斷臉部是否有轉動的臉部狀態資訊,並且根據該臉部狀態資訊產生相應的動作提示訊息。具體來說,當動作校正單元20接收到當前測試者的臉部是偏向左側轉動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部往右側轉動的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是偏向右側轉動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部往左側轉動的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是無轉動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部保持不轉動的動作提示訊息。應當注意的是,該右側轉動是指以脖子為中心點沿著軀幹的延伸方向的垂直軸為轉軸,朝向順時針的方向旋轉,以及該左側轉動是指以該垂直軸為轉軸,朝向逆時針的方向旋轉(該處所指的順、逆時針方向是以測試者本身的方位來定義)。
接著,當動作校正單元20經由動作提示訊息產生器60發送提示測試者轉動頭部以調整頭部位置的動作提示訊息之後,經過一段時間, 例如數秒鐘,其足夠讓測試者依照動作提示訊息而作出一適當反應動作,接續會再以攝影機40偵測校正後的臉部影像,並將其傳送至影像處理器30。影像處理器之臉部偵測單元31根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點。接著臉部校正單元32根據臉部影像的五官資訊產生判斷臉部是否有擺動的臉部狀態資訊。舉例來說,臉部校正單元32以通過該臉部中心點的一垂直線作為基準,比較在同一水平線上該嘴巴中央位置與該垂直線的一相對位置,若是該嘴巴中央位置位在該垂直線的右側時(該處所指的左、右側是以觀視臉部鏡像圖的視角來定義),臉部校正單元32產生當前測試者的臉部是偏向右側擺動(該處所指的左、右側擺動是以測試者本身的方位來定義)的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線的左側時,臉部校正單元32產生當前測試者的臉部是偏向左側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線上時,臉部校正單元32產生當前測試者的臉部是無擺動的臉部狀態資訊。應當注意的是,在此所指的擺動是指測試者是否有以臉部中心點為軸心來轉動的情況。
接著,動作校正單元20接收判斷臉部是否有擺動的臉部狀態資訊,並且根據該臉部狀態資訊產生相應的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是偏向右側擺動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部往左側擺動的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是偏向左側擺動的臉部狀態資訊時,動作校正單元20產生提示該測試者將頭部往右側擺動的動作提示訊息。當動作校正單元20接收到當前測試者的臉部是無擺動的臉部狀態資訊時,動作 校正單元20產生提示該測試者將頭部保持不擺動的動作提示訊息。應當注意的是,該左側擺動是指以該臉部中心點為軸心,朝向逆時針的方向旋轉。以及,該右側擺動是指以該臉部中心點為軸心,朝向順時針的方向旋轉(該處所指的順、逆時針方向是以測試者本身的方位來定義)。
接著,當動作校正單元20經由動作提示訊息產生器60發送提示測試者擺動頭部以調整頭部位置的動作提示訊息之後,經過一段時間,例如數秒鐘,其足夠讓測試者依照動作提示訊息而作出一適當反應動作,接續會再以攝影機40偵測校正後的臉部影像,並將其傳送至影像處理器30。影像處理器之臉部偵測單元31根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點。藉由影像處理器30重新進行判斷臉部是否有轉動以及判斷臉部是否有擺動的步驟,以驗證該校正後的臉部影像是否面向預定方位,如是,則藉由影像處理器30的臉部辨識單元33進行辨識該測試者的身分之步驟,如否,則藉由影像處理器30重複進行產生另一臉部狀態資訊、以及藉由動作校正單元20產生另一動作提示訊息之步驟、和藉由動作提示訊息產生器60發送該另一動作提示訊息至測試者之步驟,直到偵測該測試者之又一校正後的臉部影像為面向該預定方位。應當注意的是,影像處理器30判斷測試者的臉部面向該預定方位是指臉部偵測單元31確認在同一水平線上,該嘴巴中央位置位在通過該臉部中心點的一垂直線上(即臉部無擺動),以及確認兩眼與該嘴巴中央位置之間的距離差為零(即臉部無轉動),如此影像處理器30才會判斷測試者已將臉部面向該預定方位,並且接續進行藉由影像處理器30辨識該測試者之身分的步驟。
綜上所述,本揭示的臉部辨識系統1和臉部辨識方法是藉由先判斷測試者的臉部是否已經偏離Fisherface高辨識度的範圍,如是,再以動作校正單元20輔助校正測試者的臉部位置,直到測試者將臉部轉動或擺動到Fisherface高辨識度的範圍中(即將臉部面向該預定方位),如此可在基於Fisherface的演算法下辨識出測試者且確保臉部辨識系統1具有高辨識率。再者,由於在本揭示中是採用動作校正單元20來讓測試者直接地根據轉動或擺動指令改變臉部的位置,而非讓測試者保持在臉部不動的狀態下僅以系統內部的演算法來模擬出測試者的正臉樣態,如此可有效地解決現有技術中並須仰賴複雜演算系統來模擬校正測試者的臉部,進而導致系統資料龐大且耗費較長辨識時間的問題。
以上僅是本揭示的較佳實施方式,應當指出,對於所屬領域技術人員,在不脫離本揭示原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本揭示的保護範圍。

Claims (17)

  1. 一種臉部辨識系統,包含:一影像處理器;一攝影機,與該影像處理器電性連接,用於偵測一測試者的臉部影像,並將該臉部影像傳送至該影像處理器,該影像處理器根據該臉部影像產生一臉部狀態資訊;一動作校正單元,與該影像處理器電性連接,用於接收該臉部狀態資訊,並且根據該臉部狀態資訊產生一動作提示訊息;以及一動作提示訊息產生器,與該動作校正單元電性連接,用於接收並發送該動作提示訊息至該測試者,提示該測試者將臉部移動至面向一預定方位,其中該攝影機與該動作提示訊息產生器電性連接,並且該攝影機在該動作提示訊息發送出一段時間後,偵測該測試者之一校正後的臉部影像,並將該校正後的臉部影像傳送至該影像處理器進而辨識出該測試者的身分;其中,該影像處理器包含一臉部偵測單元,並且在將該臉部影像傳送至該影像處理器之後包含:該影像處理器之該臉部偵測單元根據該臉部影像獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓的一中央位置決定一臉部中心點;其中,該影像處理器還包含一臉部校正單元,以及該影像處理器根據該臉部影像產生該臉部狀態資訊包含步驟:該臉部校正單元以通過該臉部中心點的一垂直線作為基準,根據該嘴巴 中央位置是否位於該臉部中心點的該垂直線上判斷當前測試者的臉部是否擺動的臉部狀態資訊;以及該臉部校正單元獲取右眼與該嘴巴中央位置之間的第一距離,以及獲取左眼與該嘴巴中央位置之間的第二距離,根據該第一距離與該第二距離的比較判斷當前測試者的臉部是否轉動的臉部狀態資訊。
  2. 如申請專利範圍第1項所述之臉部辨識系統,其中該動作校正單元包含一語音助理機器人,以及該動作提示訊息產生器包含一揚聲器,並且該動作提示訊息是以語音格式傳遞進而藉由該揚聲器發送至該測試者。
  3. 如申請專利範圍第1項所述之臉部辨識系統,其中該影像處理器包含一臉部偵測單元,用於接收該臉部影像,並且偵測該臉部影像中的五官資訊。
  4. 如申請專利範圍第3項所述之臉部辨識系統,其中該影像處理器還包含一臉部校正單元,與該臉部偵測單元電性連接,用於接收該五官資訊以產生該臉部狀態資訊,並將該臉部狀態資訊傳送至該動作校正單元。
  5. 如申請專利範圍第1項所述之臉部辨識系統,其中該影像處理器包含一臉部辨識單元,用於接收該校正後的臉部影像以辨識該測試者的身分。
  6. 一種臉部辨識方法,由一臉部辨識系統來執行,該臉部辨識系統包含一影像處理器、一攝影機、一動作校正單元、和一動作提示訊息產生器,該方法包含:藉由該攝影機偵測一測試者的臉部影像,並將該臉部影像傳送至該影像處理器;該影像處理器根據該臉部影像產生一臉部狀態資訊;該動作校正單元接收該臉部狀態資訊,並且根據該臉部狀態資訊產 生一動作提示訊息;該動作提示訊息產生器接收並發送該動作提示訊息至該測試者,提示該測試者將臉部移動至面向一預定方位;以及該攝影機在該動作提示訊息發送出一段時間後,偵測該測試者之一校正後的臉部影像,並將該校正後的臉部影像傳送至該影像處理器進而辨識出該測試者的身分;其中,該影像處理器包含一臉部偵測單元,並且在將該臉部影像傳送至該影像處理器之後包含:該影像處理器之該臉部偵測單元根據該臉部影像獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓的一中央位置決定一臉部中心點;其中,該影像處理器還包含一臉部校正單元,以及該影像處理器根據該臉部影像產生該臉部狀態資訊包含步驟:該臉部校正單元以通過該臉部中心點的一垂直線作為基準,根據該嘴巴中央位置是否位於該臉部中心點的該垂直線上判斷當前測試者的臉部是否擺動的臉部狀態資訊;以及該臉部校正單元獲取右眼與該嘴巴中央位置之間的第一距離,以及獲取左眼與該嘴巴中央位置之間的第二距離,根據該第一距離與該第二距離的比較判斷當前測試者的臉部是否轉動的臉部狀態資訊。
  7. 如申請專利範圍第6項所述之臉部辨識方法,其中該動作校正單元包含一語音助理機器人,以及該動作提示訊息產生器包含一揚聲器,並且該動作校正單元產生之該動作提示訊息是以語音格式傳遞,進而藉由該揚聲器發 送至該測試者。
  8. 如申請專利範圍第6項所述之臉部辨識方法,其中在將該校正後的臉部影像傳送至該影像處理器之後還包含:藉由該影像處理器驗證該校正後的臉部影像是否面向該預定方位,如是,則進行辨識該測試者的身分之步驟,如否,則重複進行產生另一臉部狀態資訊、產生另一動作提示訊息之步驟、和發送該另一動作提示訊息至該測試者之步驟,直到偵測該測試者之另一校正後的臉部影像為面向該預定方位才接續進行辨識該測試者之身分的步驟。
  9. 如申請專利範圍第8項所述之臉部辨識方法,其中該影像處理器還包含一臉部校正單元,以及該影像處理器根據該臉部影像產生一臉部狀態資訊包含步驟:該臉部校正單元以通過該臉部中心點的一垂直線作為基準,比較在同一水平線上該嘴巴中央位置與該垂直線的一相對位置,若是該嘴巴中央位置位在該垂直線的右側時,該臉部校正單元產生當前測試者的臉部是偏向右側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線的左側時,該臉部校正單元產生當前測試者的臉部是偏向左側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線上時,該臉部校正單元產生當前測試者的臉部是無擺動的臉部狀態資訊。
  10. 如申請專利範圍第9項所述之臉部辨識方法,其中該動作校正單元接收該臉部狀態資訊,並且根據該臉部狀態資訊產生一動作提示訊息包含步驟:當該動作校正單元接收到當前測試者的臉部是偏向右側擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往左側擺動的動作 提示訊息,當該動作校正單元接收到當前測試者的臉部是偏向左側擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往右側擺動的動作提示訊息,以及當該動作校正單元接收到當前測試者的臉部是無擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部保持不擺動的動作提示訊息。
  11. 如申請專利範圍第10項所述之臉部辨識方法,其中在將該校正後的臉部影像傳送至該影像處理器之後還包含:該影像處理器之該臉部偵測單元根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點;以及該臉部校正單元獲取右眼與該嘴巴中央位置之間的第一距離,以及獲取左眼與該嘴巴中央位置之間的第二距離,當該第一距離大於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向左側轉動的臉部狀態資訊,當該第一距離小於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向右側轉動的臉部狀態資訊,以及當該第一距離等於該第二距離時,該臉部校正單元產生當前測試者的臉部是無轉動的臉部狀態資訊。
  12. 如申請專利範圍第11項所述之臉部辨識方法,其中在該動作校正單元接收到相關於兩眼與該嘴巴中央位置之間的距離差的該臉部狀態資訊之後還包含步驟:當該動作校正單元接收到當前測試者的臉部是偏向左側轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往右側轉動的動作提示訊息,當該動作校正單元接收到當前測試者的臉部是偏向右側轉動的 臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往左側轉動的動作提示訊息,以及當該動作校正單元接收到當前測試者的臉部是無轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部保持不轉動的動作提示訊息。
  13. 如申請專利範圍第8項所述之臉部辨識方法,其中藉由該影像處理器辨識該測試者的身分之前包含步驟:該影像處理器之該臉部偵測單元根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點;該臉部偵測單元確認在同一水平線上,該嘴巴中央位置位在通過該臉部中心點的一垂直線上,以及兩眼與該嘴巴中央位置之間的距離差為零,即判斷該測試者已將臉部面向該預定方位;以及藉由該影像處理器辨識該測試者的身分。
  14. 如申請專利範圍第8項所述之臉部辨識方法,其中該影像處理器還包含一臉部校正單元,以及該影像處理器根據該臉部影像產生一臉部狀態資訊包含步驟:該臉部校正單元獲取右眼與該嘴巴中央位置之間的第一距離,以及獲取左眼與該嘴巴中央位置之間的第二距離,當該第一距離大於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向左側轉動的臉部狀態資訊,當該第一距離小於該第二距離時,該臉部校正單元產生當前測試者的臉部是偏向右側轉動的臉部狀態資訊,以及當該第一距離等於該第二距離時,該臉部校正單元產生當前測試者的臉部是無轉動的臉部狀態資訊。
  15. 如申請專利範圍第14項所述之臉部辨識方法,其中在該動作校正單元接收到相關於兩眼與該嘴巴中央位置之間的距離差的該臉部狀態資訊之後還包含步驟:當該動作校正單元接收到當前測試者的臉部是偏向左側轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往右側轉動的動作提示訊息,當該動作校正單元接收到當前測試者的臉部是偏向右側轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往左側轉動的動作提示訊息,以及當該動作校正單元接收到當前測試者的臉部是無轉動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部保持不轉動的動作提示訊息。
  16. 如申請專利範圍第15項所述之臉部辨識方法,其中在將該校正後的臉部影像傳送至該影像處理器之後還包含:該影像處理器之該臉部偵測單元根據該校正後的臉部影像重新獲取臉部的輪廓、兩眼的位置、和嘴巴中央位置,並且根據該臉部輪廓獲取臉部中心點,並且根據該臉部輪廓獲取臉部中心點;以及該臉部校正單元以通過該臉部中心點的一垂直線作為基準,比較在同一水平線上該嘴巴中央位置與該垂直線的一相對位置,若是該嘴巴中央位置位在該垂直線的右側時,該臉部校正單元產生當前測試者的臉部是偏向右側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線的左側時,該臉部校正單元產生當前測試者的臉部是偏向左側擺動的臉部狀態資訊,若是該嘴巴中央位置位在該垂直線上時,該臉部校正單元產生當前測試者的臉部是無擺動的臉部狀態資訊。
  17. 如申請專利範圍第16項所述之臉部辨識方法,其中在該動作校正單元接收到相關於當前測試者的臉部的擺動狀態的該臉部狀態資訊之後還包含步驟:當該動作校正單元接收到當前測試者的臉部是偏向右側擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往左側擺動的動作提示訊息,當該動作校正單元接收到當前測試者的臉部是偏向左側擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部往右側擺動的動作提示訊息,以及當該動作校正單元接收到當前測試者的臉部是無擺動的臉部狀態資訊時,該動作校正單元產生提示該測試者將頭部保持不擺動的動作提示訊息。
TW107118559A 2018-05-30 2018-05-30 臉部辨識系統與方法 TWI668639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW107118559A TWI668639B (zh) 2018-05-30 2018-05-30 臉部辨識系統與方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107118559A TWI668639B (zh) 2018-05-30 2018-05-30 臉部辨識系統與方法

Publications (2)

Publication Number Publication Date
TWI668639B true TWI668639B (zh) 2019-08-11
TW202004558A TW202004558A (zh) 2020-01-16

Family

ID=68316483

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107118559A TWI668639B (zh) 2018-05-30 2018-05-30 臉部辨識系統與方法

Country Status (1)

Country Link
TW (1) TWI668639B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748596B (zh) * 2020-08-11 2021-12-01 國立中正大學 眼睛中心定位方法及其系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
TW201033907A (en) * 2009-03-12 2010-09-16 Tlj Intertech Inc A living body identification system and method, and identity verification device and method
JP4609584B2 (ja) * 2001-08-23 2011-01-12 ソニー株式会社 ロボット装置、顔認識方法及び顔認識装置
TW201339986A (zh) * 2012-03-30 2013-10-01 Altek Corp 影像擷取方法與影像擷取裝置
TW201544988A (zh) * 2014-05-30 2015-12-01 Utechzone Co Ltd 手持式身分驗證裝置、身分驗證方法與身分驗證系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
JP4609584B2 (ja) * 2001-08-23 2011-01-12 ソニー株式会社 ロボット装置、顔認識方法及び顔認識装置
TW201033907A (en) * 2009-03-12 2010-09-16 Tlj Intertech Inc A living body identification system and method, and identity verification device and method
TW201339986A (zh) * 2012-03-30 2013-10-01 Altek Corp 影像擷取方法與影像擷取裝置
TW201544988A (zh) * 2014-05-30 2015-12-01 Utechzone Co Ltd 手持式身分驗證裝置、身分驗證方法與身分驗證系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748596B (zh) * 2020-08-11 2021-12-01 國立中正大學 眼睛中心定位方法及其系統

Also Published As

Publication number Publication date
TW202004558A (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
JP6610906B2 (ja) 活動検出方法及びデバイス、並びに本人認証方法及びデバイス
CN105512632B (zh) 活体检测方法及装置
WO2017101267A1 (zh) 人脸活体的鉴别方法、终端、服务器和存储介质
EP3540621B1 (en) Identity authentication method and apparatus, terminal and server
EP3332403B1 (en) Liveness detection
US6931596B2 (en) Automatic positioning of display depending upon the viewer's location
US8538044B2 (en) Line-of-sight direction determination device and line-of-sight direction determination method
US7043056B2 (en) Facial image processing system
WO2016112630A1 (zh) 一种影像识别系统及方法
EP3862897A1 (en) Facial recognition for user authentication
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
CN111163906B (zh) 能够移动的电子设备及其操作方法
EP2842075A1 (en) Three-dimensional face recognition for mobile devices
KR20100086262A (ko) 로봇 및 그 제어방법
JP5001930B2 (ja) 動作認識装置及び方法
TWI533234B (zh) 基於眼部動作的控制方法及其應用之裝置
CN111344703A (zh) 基于虹膜识别的用户认证设备和方法
CN105740688A (zh) 解锁的方法和装置
US20210331328A1 (en) Artificial intelligence robot and method of controlling the same
KR20160062521A (ko) 목디스크 예방시스템 및 방법
TWI668639B (zh) 臉部辨識系統與方法
CN110309693A (zh) 多层次状态侦测系统与方法
CN110555331B (zh) 脸部辨识系统与方法
US11048926B2 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
KR20230110681A (ko) 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법