TWI625679B - 活體臉部辨識方法與系統 - Google Patents

活體臉部辨識方法與系統 Download PDF

Info

Publication number
TWI625679B
TWI625679B TW106135308A TW106135308A TWI625679B TW I625679 B TWI625679 B TW I625679B TW 106135308 A TW106135308 A TW 106135308A TW 106135308 A TW106135308 A TW 106135308A TW I625679 B TWI625679 B TW I625679B
Authority
TW
Taiwan
Prior art keywords
temperature
face
image
living
facial
Prior art date
Application number
TW106135308A
Other languages
English (en)
Other versions
TW201917633A (zh
Inventor
張耀宗
陳胤語
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW106135308A priority Critical patent/TWI625679B/zh
Priority to CN201711012793.9A priority patent/CN109670390B/zh
Priority to US15/837,438 priority patent/US10565461B2/en
Application granted granted Critical
Publication of TWI625679B publication Critical patent/TWI625679B/zh
Publication of TW201917633A publication Critical patent/TW201917633A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G01K13/20—Clinical contact thermometers for use with humans or animals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G01K13/20—Clinical contact thermometers for use with humans or animals
    • G01K13/223—Infrared clinical thermometers, e.g. tympanic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一種活體臉部辨識方法與系統，包含攝取待辨識者的視覺影像與取得溫度資訊，並根據視覺影像以得到臉部特徵值；將視覺影像的臉部特徵值與臉部特徵資料庫的相應臉部特徵值作比較，以得到差值；及如果差值小於預設閥值，則根據溫度資訊以判斷待辨識者的臉部溫度是否符合活體臉部辨識基準。

Description

活體臉部辨識方法與系統
本發明係有關一種臉部辨識，特別是關於一種活體臉部辨識方法與系統。
臉部辨識(face recognition)是電腦影像處理技術的一種，用以從數位影像(image)或影片(video)識別出人的臉部特徵，可作為保全機制。臉部辨識是生物(biometric)辨識的一種，其他的生物辨識技術如指紋識別、虹膜(iris)識別等。臉部辨識可應用於電子裝置，例如電腦、行動電話、刷卡機等，特別是行動裝置的使用日漸普及，因此對於保全機制的要求也更高。
傳統的臉部辨識系統使用相機以攝取二維(2D)的人臉影像，經萃取臉部五官的特徵後，與資料庫作比對以進行辨識。但是，傳統的臉部辨識系統通常無法分辨相機所攝取的是真正的人或者僅是一張照片，因而形成保全機制的漏洞。
為了提高保全機制的信賴度，有些臉部辨識系統會要求使用者依照指示進行臉部的活動，例如搖擺、旋轉頭部或張嘴、閉眼等動作，以確認相機所攝取的是真正的人。有些臉部辨識系統更於臉部活動時，攝取多張照片，以得到深度資訊，以確認相機所攝取的是真正的人。但是，指示進行臉部活動不但會花費較多時間，更會造成使用者的不便。
因此亟需提出一種新穎的臉部辨識機制，不但可以維持或提升保全機制的信賴度，更能加速辨識處理且兼顧使用上的便利性。
鑑於上述，本發明實施例的目的之一在於提出一種活體臉部辨識方法與系統，可快速、便利且準確地辨識臉部。
根據本發明實施例之活體臉部辨識方法，攝取待辨識者的視覺影像與取得溫度資訊，並根據視覺影像以得到臉部特徵值。將視覺影像的臉部特徵值與臉部特徵資料庫的相應臉部特徵值作比較，以得到差值。如果差值小於預設閥值，則根據溫度資訊以判斷待辨識者的臉部溫度是否符合活體臉部辨識基準。
第一圖顯示本發明實施例之活體臉部辨識(live facial recognition)系統100的方塊圖。本實施例之活體臉部辨識系統(以下簡稱辨識系統)100可包含處理器11、影像攝取裝置12、溫度偵測裝置13、記憶單元(memory unit)14及儲存裝置(storage device)15。其中，處理器11(例如數位影像處理器)包含電子電路，例如積體電路。影像攝取裝置12受控於處理器11，用以攝取待測者的影像。影像攝取裝置12可以是二維(2D)相機，用以攝取二維影像。影像攝取裝置12也可以是三維(3D)相機，除了攝取得到二維影像，還得到深度資訊。在一例子中，三維相機係由雙鏡頭所組成，根據視差(disparity)以得到深度資訊。在另一例子中，三維相機係由二維相機加上深度偵測裝置所組成。
在本實施例中，溫度偵測裝置13受控於處理器11，對特定區域進行溫度偵測，以取得溫度資訊。一種溫度偵測裝置13包含溫度感測器陣列(例如紅外線溫度感測器陣列)，可同時偵測得到整個臉部的溫度影像以表示溫度資訊，在本說明書中又稱為溫度相機(例如紅外線相機)。另一種溫度偵測裝置13則是包含單一溫度感測器(例如紅外線溫度感測器或是紅外線溫度槍/計)，通常使用遠端遙測方式進行單點偵測，以感測得到臉部多個特定點的溫度，因而得到臉部的溫度資料以表示溫度資訊。在一實施例中，溫度偵測裝置13係內嵌於影像攝取裝置12(亦即，影像攝取裝置12與溫度偵測裝置13是整合為一體的)，藉此，於攝取影像時也同時偵測得到溫度資訊。第二A圖例示一般二維相機的影像感測器的畫素排列，例如紅色(R)、綠色(G)、藍色(B)畫素排列為拜耳(Bayer)陣列。第二B圖例示彩色-紅外線相機(RGB-IR camera)的影像感測器的畫素排列，其中紅外線(IR)畫素內嵌於紅色(R)、綠色(G)、藍色(B)畫素之間，共同排列為拜耳陣列。
在本實施例中，記憶單元14用以存放程式及程式執行時的資料，用以提供處理器11執行程式以進行活體臉部辨識。記憶單元14可為隨機存取記憶體，例如動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)或其他適於存放程式執行所需的記憶單元。本實施例之儲存裝置15用以存放活體臉部辨識所需的相關資料庫。儲存裝置15可為硬碟裝置、固態磁碟(SSD)或其他適於存放資料庫所需的儲存裝置。
在進行本實施例之活體臉部辨識之前，需要藉由註冊(registry)與建立模型(modeling)以產生臉部特徵之資料庫。於資料庫建立之後，才能將待辨識者與資料庫作比較，以進行活體臉部辨識。
第三圖顯示資料庫建立200的流程圖。首先，於步驟21，使用影像攝取裝置12攝取待測者的影像。接著，於步驟22，處理器11對攝取影像進行臉部偵測(face detection)。於步驟23，根據臉部偵測的結果，從攝取影像當中擷取出臉部影像(亦即，大致僅包含臉部輪廓區域的影像)。接著，於步驟24，處理器11從臉部影像當中萃取出多個臉部特徵。第四圖例示本實施例之臉部特徵(face characteristic)，包含雙眼間距41、鼻子寬度42、眼窩深度43、臉頰骨頭結構44、下巴線條長度45、下巴點46。如第四圖所示，這些臉部特徵是由線條、圓圈、方格、三角形等組成之幾何特徵。人臉辨識即根據特徵點與特徵點之間的連線、相對距離和方位角所形成之特徵，用以進行人臉辨識。在其他實施例中，可使用較少或更多的臉部特徵。
於步驟25，處理器11進一步將這些臉部特徵予以數值化(numeralization)，以產生臉部特徵值。接著，於步驟26，根據所產生的臉部特徵值以建立模型，據以建立臉部特徵資料庫而儲存於儲存裝置15(步驟27)。
第五圖顯示本發明第一實施例之活體臉部辨識方法300的流程圖。首先，於步驟31，使用影像攝取裝置12(例如彩色相機)攝取待辨識者的視覺(visual)影像(例如彩色影像)，並據以得到臉部特徵值。臉部特徵值的產生類似於第三圖的步驟22~25所述，亦即，處理器11對攝取的視覺影像進行臉部偵測，擷取出臉部影像，萃取出多個臉部特徵，再將這些臉部特徵予以數值化，以產生臉部特徵值。
於步驟32，使用溫度偵測裝置13(在本實施例中為溫度相機，例如紅外線相機)攝取待辨識者的溫度影像(例如紅外線影像)以表示溫度資訊，其中溫度偵測裝置13與影像攝取裝置12是分離的。一般來說，步驟32只要在步驟35之前執行即可。溫度相機(例如紅外線相機)所得到資訊通常要經過轉換(transfer)以得到溫度影像。例如，依據紅外線偵測值的強度可轉換得到相應的溫度。
於步驟33，將所產生之待辨識者的臉部特徵值與第三圖所建立的臉部特徵資料庫(簡稱資料庫)作比較。如果待辨識者的臉部特徵值與資料庫的相應臉部特徵值兩者的差值未小於預設閥值(步驟34)，表示兩者的臉部特徵不同(亦即，臉部特徵值誤差在可接受的範圍外)，因此判定為辨識失敗(步驟36)。
如果待辨識者的臉部特徵值與資料庫的相應臉部特徵值兩者的差值小於預設閥值(步驟34)，表示兩者的臉部特徵相近(亦即，臉部特徵值誤差在可接受的範圍內)，則進入步驟35。
根據本實施例的特徵之一，於步驟35判斷待辨識者的臉部溫度是否符合活體臉部辨識基準。如果為否，則判定為辨識失敗(步驟36)；如果為是，則判定為活體臉部辨識成功(步驟37)。
第六圖顯示第五圖之活體臉部辨識基準(步驟35)的細部流程圖。首先，於步驟351，對(影像攝取裝置12的)視覺影像與(溫度偵測裝置13的)溫度影像進行映射(mapping)。在一實施例中，首先找出視覺影像與溫度影像的共同參考點，再依視覺影像與溫度影像的個別拍攝視角決定兩者進行映射時的縮放比。藉此，使得視覺影像與溫度影像的畫素互相對應。
接著，於步驟352，對視覺影像進行正規化，以擷取一個辨識區域。在一正規化例子中，於視覺影像中擷取包含臉部輪廓的一個辨識區域(例如矩形區域)。例如，將視覺影像當中臉部輪廓上緣、下緣各取水平線，右緣、左緣各取垂直線，因而形成一個矩形區域。在另一正規化例子中，將溫度影像當中低於平均溫度的畫素去除，留下的像素作為辨識區域。若根據溫度影像發現待辨識者有戴口罩(若鼻子下面的溫度低於鼻子區域的溫度，表示待辨識者有戴口罩)或者有戴眼鏡(若眼睛區域的溫度低於鼻子區域的溫度，表示待辨識者有戴眼鏡)時，則更可將相應區域去除。
於步驟353，根據視覺影像與溫度影像的映射關係，於溫度影像中擷取相應的辨識區域。於步驟354，將辨識區域劃分為多個子區域(例如劃分為5x5個子區域)。在另一實施例中，子區域可以從第四圖所示的特徵點定義得到(例如相鄰三特徵點所定義的三角形區域，或者相鄰四特徵點所定義的四邊形區域)。
於步驟355，於視覺影像中選取一個特徵區域(其包含至少一子區域)，並於溫度影像得到相應的特徵區域。例如，選擇含有臉部器官之一(例如鼻子)的至少一子區域作為特徵區域。接下來，於步驟356，比較特徵區域的溫度與相鄰至少一子區域的溫度。所述相鄰子區域可以為上、下各一個子區域；或者上、下、左、右各一個子區域；或者上、下各三個子區域；或者相鄰的八個方向各一個子區域。在本說明書中，某一區域的溫度可指該區域的溫度平均值(mean)、中位數(median)、中間數筆溫度的平均值、最高溫度、最低溫度等。
最後，於步驟357，如果溫度比較結果符合預設(或一般)臉部的溫度分布，則判定符合活體臉部辨識基準。在本說明書中，預設臉部的溫度分布可指多人臉部的溫度平均值(mean)、中位數(median)、中間數筆溫度的平均值。以鼻子作為特徵區域為例，如果鼻子之特徵區域較相鄰子區域的溫度低，即符合一般臉部的溫度分布，因此判定符合活體臉部辨識基準。相反地，如果鼻子之特徵區域較相鄰子區域的溫度高，即違反一般臉部的溫度分布，因此判定不符合活體臉部辨識基準。在本實施例中，預設臉部的溫度分布(步驟357)可包含以下一或多個條件： •臉部溫度比周圍環境溫度高 •眼睛上面的溫度高於眼睛下面的溫度 •眼睛上面部分，眉毛區域溫度低於其他區域 •眼睛下面部分，鼻子區域的溫度低於其他區域 •臉部的溫度絕大部分高於攝氏28度 •眼睛區域的溫度(大約為攝氏35度)為臉部當中最高 •鼻子區域的溫度為臉部當中最低 •鼻子上面的溫度高於鼻子下面的溫度 •若待辨識者有戴眼鏡，則眼睛區域的溫度低於臉部的溫度，但高於周圍環境溫度
第七圖顯示第五圖之活體臉部辨識基準(步驟35)的另一細部流程圖。在本實施例中，僅使用(溫度偵測裝置13的)溫度影像，但不使用(影像攝取裝置12的)視覺影像，因此不須執行視覺影像與溫度影像的映射。首先於步驟352B，對溫度影像進行正規化，以擷取一個辨識區域。在一正規化例子中，將溫度影像當中低於平均溫度的畫素去除，留下的像素作為辨識區域。若根據溫度影像發現待辨識者有戴口罩或眼鏡時，則可將相應區域去除。
接著，於步驟354，將辨識區域劃分為多個子區域(例如劃分為5x7個矩形子區域)。於步驟355，於溫度影像中選取得到一個特徵區域(其包含至少一子區域)。例如，依據鼻子特徵，於辨識區域的中間且溫度較低區域作為特徵區域。
在另一例子中，步驟354並非劃分為矩形的子區域，而是於溫度影像的中間溫度較低區域找到鼻子位置，再於鼻子上方的左、右兩邊找到溫度較高的左、右眼睛位置。依鼻子、左眼、右眼三點定義出一個特徵區域(步驟355)。
接下來，於步驟356，比較特徵區域的溫度與相鄰至少一子區域的溫度。最後，於步驟357，如果溫度比較結果符合預設(一般)臉部的溫度分布，則判定符合活體臉部辨識基準。
第八圖顯示本發明第二實施例之活體臉部辨識方法400的流程圖。本實施例類似於第一實施例(第五圖)，但是影像攝取裝置12與溫度偵測裝置13係整合為一體的，例如彩色-紅外線相機(RGB-IR camera)。因此，步驟31B於攝取視覺影像時也同時得到溫度影像以表示溫度資訊。如前所述，可依據紅外線偵測值的強度轉換得到相應的溫度。
接著，於步驟33，將所產生之待辨識者的臉部特徵值與第三圖所建立的臉部特徵資料庫(簡稱資料庫)作比較。如果待辨識者的臉部特徵值與資料庫的相應臉部特徵值兩者的差值未小於預設閥值(步驟34)，表示兩者的臉部特徵不同(亦即，臉部特徵值誤差在可接受的範圍外)，因此判定為辨識失敗(步驟36)。如果待辨識者的臉部特徵值與資料庫的相應臉部特徵值兩者的差值小於預設閥值(步驟34)，表示兩者的臉部特徵相近(亦即，臉部特徵值誤差在可接受的範圍內)，則進入步驟35。
於步驟35，判斷待辨識者的臉部溫度是否符合活體臉部辨識基準。如果為否，則判定為辨識失敗(步驟36)；如果為是，則判定為活體臉部辨識成功(步驟37)。關於步驟35的活體臉部辨識基準，可使用第六圖或第七圖所示的細部流程圖(但不須進行映射步驟351)，其細節不再贅述。
第九圖顯示本發明第三實施例之活體臉部辨識方法500的流程圖。本實施例類似於第一實施例(第五圖)，不但影像攝取裝置12與溫度偵測裝置13是分離的，且溫度偵測裝置13是使用單一的溫度感測器(例如紅外線溫度感測器或是紅外線溫度槍/計)。
首先，於步驟31，使用影像攝取裝置12(例如彩色相機)攝取待辨識者的視覺影像(例如彩色影像)，並據以得到臉部特徵值。接著，於步驟33，將所產生之待辨識者的臉部特徵值與第三圖所建立的臉部特徵資料庫(簡稱資料庫)作比較。如果待辨識者的臉部特徵值與資料庫的相應臉部特徵值兩者的差值未小於預設閥值(步驟34)，表示兩者的臉部特徵不同(亦即，臉部特徵值誤差在可接受的範圍外)，因此判定為辨識失敗(步驟36)。如果待辨識者的臉部特徵值與資料庫的相應臉部特徵值兩者的差值小於預設閥值(步驟34)，表示兩者的臉部特徵相近(亦即，臉部特徵值誤差在可接受的範圍內)，則進入步驟32B。
於步驟32B，根據視覺影像所得到臉部位置(步驟31)，例如以遠端遙測方式，控制溫度感測器(例如紅外線溫度感測器或是紅外線溫度槍/計)以感測得到臉部多個特定點的溫度，因而得到臉部的溫度資料以表示溫度資訊。
接著進入步驟35，判斷待辨識者的臉部溫度是否符合活體臉部辨識基準。如果為否，則判定為辨識失敗(步驟36)；如果為是，則判定為活體臉部辨識成功(步驟37)。關於步驟35的活體臉部辨識基準，可使用第七圖所示的細部流程圖(但以溫度資料取代溫度影像)，其細節不再贅述。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100‧‧‧活體臉部辨識系統
11‧‧‧處理器
12‧‧‧影像攝取裝置
13‧‧‧溫度偵測裝置
14‧‧‧記憶單元
15‧‧‧儲存裝置
200‧‧‧資料庫建立
21‧‧‧攝取待測者的影像
22‧‧‧臉部偵測
23‧‧‧擷取臉部影像
24‧‧‧萃取臉部特徵
25‧‧‧特徵數值化
26‧‧‧建立模型
27‧‧‧儲存於儲存裝置
300‧‧‧活體臉部辨識方法
400‧‧‧活體臉部辨識方法
500‧‧‧活體臉部辨識方法
31‧‧‧攝取待辨識者的視覺影像
31B‧‧‧攝取待辨識者的影像
32‧‧‧攝取溫度影像
32B‧‧‧取得溫度資料
33‧‧‧比較臉部特徵值與資料庫
34‧‧‧特徵差值是否小於閥值
35‧‧‧是否符合活體臉部辨識基準
351‧‧‧對視覺影像與溫度影像進行映射
352‧‧‧正規化視覺影像以擷取辨識區域
352B‧‧‧正規化溫度影像以擷取辨識區域
353‧‧‧於溫度影像中擷取相應的辨識區域
354‧‧‧將辨識區域劃分為多個子區域
355‧‧‧於溫度影像中得到特徵區域
356‧‧‧比較特徵區域的溫度與相鄰區域的溫度
357‧‧‧是否符合臉部的溫度分布
36‧‧‧辨識失敗
37‧‧‧辨識成功
41‧‧‧雙眼間距
42‧‧‧鼻子寬度
43‧‧‧眼窩深度
44‧‧‧臉頰骨頭結構
45‧‧‧下巴線條長度
46‧‧‧下巴點
R‧‧‧紅色畫素
G‧‧‧綠色畫素
B‧‧‧藍色畫素
IR‧‧‧紅外線畫素
第一圖顯示本發明實施例之活體臉部辨識系統的方塊圖。 第二A圖例示一般二維相機的影像感測器的畫素排列。 第二B圖例示彩色-紅外線相機的影像感測器的畫素排列。 第三圖顯示資料庫建立的流程圖。 第四圖例示本實施例之臉部特徵。 第五圖顯示本發明第一實施例之活體臉部辨識方法的流程圖。 第六圖顯示第五圖之活體臉部辨識基準的細部流程圖。 第七圖顯示第五圖之活體臉部辨識基準的另一細部流程圖。 第八圖顯示本發明第二實施例之活體臉部辨識方法的流程圖。 第九圖顯示本發明第三實施例之活體臉部辨識方法的流程圖。

Claims (14)

  1. 一種活體臉部辨識方法，包含：攝取待辨識者的視覺影像與取得溫度資訊，並根據該視覺影像以得到臉部特徵值；將該視覺影像的臉部特徵值與臉部特徵資料庫的相應臉部特徵值作比較，以得到差值；及如果該差值小於預設閥值，則根據該溫度資訊以判斷待辨識者的臉部溫度是否符合活體臉部辨識基準；其中該活體臉部辨識基準的步驟包含：正規化該視覺影像，以擷取一個辨識區域；將該辨識區域劃分為多個子區域；於該溫度資訊中選取一個特徵區域以包含至少一子區域；比較該溫度資訊的特徵區域的溫度與相鄰至少一子區域的溫度；及如果溫度比較結果符合預設臉部的溫度分布，則判定符合活體臉部辨識基準。
  2. 根據申請專利範圍第1項所述之活體臉部辨識方法，其中該預設臉部的溫度分布包含以下一或多個條件：臉部溫度比周圍環境溫度高；眼睛上面的溫度高於眼睛下面的溫度；眼睛上面部分，眉毛區域溫度低於其他區域；眼睛下面部分，鼻子區域的溫度低於其他區域；臉部的溫度絕大部分高於攝氏28度；眼睛區域的溫度大約為攝氏35度，為臉部當中最高；鼻子區域的溫度為臉部當中最低；鼻子上面的溫度高於鼻子下面的溫度；及若待辨識者有戴眼鏡，則眼睛區域的溫度低於臉部的溫度，但高於周圍環境溫度。
  3. 根據申請專利範圍第1項所述之活體臉部辨識方法，其中該溫度資訊包含溫度影像，該視覺影像與該溫度影像分別由影像攝取裝置與溫度偵測裝置攝取，且該影像攝取裝置與該溫度偵測裝置是分離的。
  4. 根據申請專利範圍第1項所述之活體臉部辨識方法，其中該溫度資訊包含溫度影像，該視覺影像與該溫度影像分別由影像攝取裝置與溫度偵測裝置同時攝取，且該影像攝取裝置與該溫度偵測裝置整合為一體。
  5. 根據申請專利範圍第1項所述之活體臉部辨識方法，其中該溫度資訊包含溫度資料，該視覺影像與該溫度資料分別由影像攝取裝置與溫度偵測裝置攝取，該影像攝取裝置與該溫度偵測裝置是分離的，且該溫度偵測裝置包含單一的溫度感測器。
  6. 根據申請專利範圍第5項所述之活體臉部辨識方法，其中該溫度感測器根據該視覺影像所得到臉部位置，以感測得到臉部多個特定點的溫度，因而得到該溫度資料。
  7. 根據申請專利範圍第1項所述之活體臉部辨識方法，其中該臉部特徵資料庫的建立包含以下步驟：攝取待測者的影像，以得到攝取影像；對該攝取影像進行臉部偵測；根據該臉部偵測的結果，從該攝取影像當中擷取出臉部影像；從該臉部影像當中萃取出多個臉部特徵；將該多個臉部特徵予以數值化，以產生臉部特徵值；及根據該臉部特徵值以建立模型，據以建立臉部特徵資料庫。
  8. 一種活體臉部辨識系統，包含：一處理器；一影像攝取裝置，受控於該處理器以攝取待辨識者的視覺影像，並根據該視覺影像以得到臉部特徵值；一溫度偵測裝置，受控於該處理器以取得該待辨識者的溫度資訊；及一儲存裝置，用以存放臉部特徵資料庫；其中該處理器將該視覺影像的臉部特徵值與該臉部特徵資料庫的相應臉部特徵值作比較，以得到差值；且如果該差值小於預設閥值，則根據該溫度資訊以判斷待辨識者的臉部溫度是否符合活體臉部辨識基準；其中該活體臉部辨識基準的步驟包含：正規化該視覺影像，以擷取一個辨識區域；將該辨識區域劃分為多個子區域；於該溫度資訊中選取一個特徵區域以包含至少一子區域；比較該溫度資訊的特徵區域的溫度與相鄰至少一子區域的溫度；及如果溫度比較結果符合預設臉部的溫度分布，則判定符合活體臉部辨識基準。
  9. 根據申請專利範圍第8項所述之活體臉部辨識系統，更包含一記憶單元，用以存放程式，以提供該處理器執行程式以進行活體臉部辨識。
  10. 根據申請專利範圍第8項所述之活體臉部辨識系統，其中該預設臉部的溫度分布包含以下一或多個條件：臉部溫度比周圍環境溫度高；眼睛上面的溫度高於眼睛下面的溫度；眼睛上面部分，眉毛區域溫度低於其他區域；眼睛下面部分，鼻子區域的溫度低於其他區域；臉部的溫度絕大部分高於攝氏28度；眼睛區域的溫度大約為攝氏35度，為臉部當中最高；鼻子區域的溫度為臉部當中最低；鼻子上面的溫度高於鼻子下面的溫度；及若待辨識者有戴眼鏡，則眼睛區域的溫度低於臉部的溫度，但高於周圍環境溫度。
  11. 根據申請專利範圍第8項所述之活體臉部辨識系統，其中該影像攝取裝置與該溫度偵測裝置是分離的，用以分別攝取該視覺影像與溫度影像，其中該溫度影像表示該溫度資訊。
  12. 根據申請專利範圍第8項所述之活體臉部辨識系統，其中該影像攝取裝置與該溫度偵測裝置係整合為一體，因而同時攝取該視覺影像與溫度影像，其中該溫度影像表示該溫度資訊。
  13. 根據申請專利範圍第8項所述之活體臉部辨識系統，其中該影像攝取裝置與該溫度偵測裝置是分離的，且該溫度偵測裝置包含單一的溫度感測器。
  14. 根據申請專利範圍第13項所述之活體臉部辨識系統，其中該溫度感測器根據該視覺影像所得到臉部位置，以感測得到臉部多個特定點的溫度，因而得到溫度資料以表示該溫度資訊。
TW106135308A 2017-10-16 2017-10-16 活體臉部辨識方法與系統 TWI625679B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106135308A TWI625679B (zh) 2017-10-16 2017-10-16 活體臉部辨識方法與系統
CN201711012793.9A CN109670390B (zh) 2017-10-16 2017-10-26 活体面部识别方法与系统
US15/837,438 US10565461B2 (en) 2017-10-16 2017-12-11 Live facial recognition method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106135308A TWI625679B (zh) 2017-10-16 2017-10-16 活體臉部辨識方法與系統

Publications (2)

Publication Number Publication Date
TWI625679B true TWI625679B (zh) 2018-06-01
TW201917633A TW201917633A (zh) 2019-05-01

Family

ID=63255701

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106135308A TWI625679B (zh) 2017-10-16 2017-10-16 活體臉部辨識方法與系統

Country Status (3)

Country Link
US (1) US10565461B2 (zh)
CN (1) CN109670390B (zh)
TW (1) TWI625679B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI721786B (zh) * 2019-07-24 2021-03-11 開曼群島商創新先進技術有限公司 人臉校驗方法、裝置、伺服器及可讀儲存媒介

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328152B2 (en) * 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
USD896254S1 (en) * 2018-10-30 2020-09-15 Perfect Mobile Corp. Display screen with graphical user interface
TWI687871B (zh) * 2019-03-28 2020-03-11 國立勤益科技大學 應用於安全防護之影像辨識系統
TWI761739B (zh) * 2019-12-10 2022-04-21 緯創資通股份有限公司 活體臉部辨識系統與方法
TWI731503B (zh) * 2019-12-10 2021-06-21 緯創資通股份有限公司 活體臉部辨識系統與方法
CN211506527U (zh) * 2020-03-23 2020-09-15 深圳市商汤科技有限公司 人脸识别装置
JP7415796B2 (ja) * 2020-05-25 2024-01-17 オムロン株式会社 生体判定装置および生体判定方法
US20220065699A1 (en) * 2020-08-28 2022-03-03 Roger Pawson Cell Phone with Digital Temperature Scanner
US20230297655A1 (en) * 2020-09-30 2023-09-21 Nec Corporation Biometric determination system, biometric determination method, and computer program
CN114882577B (zh) * 2022-07-11 2022-10-28 中海银河科技(北京)有限公司 健康状态识别方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201033907A (en) * 2009-03-12 2010-09-16 Tlj Intertech Inc A living body identification system and method, and identity verification device and method
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
US20140071293A1 (en) * 2012-09-12 2014-03-13 Google Inc. Method and device for authintication of live human faces using infra red images
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173068B1 (en) 1996-07-29 2001-01-09 Mikos, Ltd. Method and apparatus for recognizing and classifying individuals based on minutiae
US6496594B1 (en) * 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
US6996256B2 (en) 2000-06-08 2006-02-07 Honeywell International Inc. Detection system and method using thermal image analysis
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
KR101064945B1 (ko) * 2008-11-25 2011-09-15 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치
KR20120064581A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 영상 분류 방법 및 이를 위한 장치
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
JP2014078052A (ja) * 2012-10-09 2014-05-01 Sony Corp 認証装置および方法、並びにプログラム
CN106296888B (zh) * 2015-06-24 2022-05-13 西安中兴新软件有限责任公司 一种基于人脸识别的解锁方法、装置及终端
CN105354819B (zh) * 2015-09-29 2018-10-09 上海图漾信息科技有限公司 深度数据测量系统、深度数据确定方法和装置
US9886640B1 (en) * 2016-08-08 2018-02-06 International Business Machines Corporation Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor
CN106845345A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 活体检测方法及装置
CN106650666A (zh) * 2016-12-26 2017-05-10 北京旷视科技有限公司 活体检测的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201033907A (en) * 2009-03-12 2010-09-16 Tlj Intertech Inc A living body identification system and method, and identity verification device and method
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
US20140071293A1 (en) * 2012-09-12 2014-03-13 Google Inc. Method and device for authintication of live human faces using infra red images
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI721786B (zh) * 2019-07-24 2021-03-11 開曼群島商創新先進技術有限公司 人臉校驗方法、裝置、伺服器及可讀儲存媒介

Also Published As

Publication number Publication date
CN109670390B (zh) 2021-07-23
US10565461B2 (en) 2020-02-18
US20190114495A1 (en) 2019-04-18
CN109670390A (zh) 2019-04-23
TW201917633A (zh) 2019-05-01

Similar Documents

Publication Publication Date Title
TWI625679B (zh) 活體臉部辨識方法與系統
CN106372629B (zh) 一种活体检测方法和装置
CN105740780B (zh) 人脸活体检测的方法和装置
US10521650B2 (en) 3D imaging recognition by stereo matching of RGB and infrared images
CN107590430A (zh) 活体检测方法、装置、设备及存储介质
CN107852533A (zh) 三维内容生成装置及其三维内容生成方法
CN107480613A (zh) 人脸识别方法、装置、移动终端和计算机可读存储介质
US8711210B2 (en) Facial recognition using a sphericity metric
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
KR101647803B1 (ko) 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
CN111639522A (zh) 活体检测方法、装置、计算机设备和存储介质
JPWO2015186436A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
WO2018161298A1 (zh) 图像篡改取证方法及装置
JP6351243B2 (ja) 画像処理装置、画像処理方法
CN106462738B (zh) 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备
JP6265592B2 (ja) 顔特徴抽出装置および顔認証システム
TWI731503B (zh) 活體臉部辨識系統與方法
TWM364920U (en) 3D human face identification device with infrared light source
JP2014529815A (ja) バイオメトリクスタイプのアクセス制御システムにおける不正の検出
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
Bastias et al. A method for 3D iris reconstruction from multiple 2D near-infrared images
US7653219B2 (en) System and method for image attribute recording an analysis for biometric applications
JP2015162012A (ja) 顔照合装置及び顔照合方法並びにプログラム
Mejía et al. Head measurements from 3D point clouds
JP2023006150A (ja) 顔認証システム