TWI679584B - 基於資料融合的人員辨識方法 - Google Patents

基於資料融合的人員辨識方法 Download PDF

Info

Publication number
TWI679584B
TWI679584B TW107139897A TW107139897A TWI679584B TW I679584 B TWI679584 B TW I679584B TW 107139897 A TW107139897 A TW 107139897A TW 107139897 A TW107139897 A TW 107139897A TW I679584 B TWI679584 B TW I679584B
Authority
TW
Taiwan
Prior art keywords
template
person
image
input
data
Prior art date
Application number
TW107139897A
Other languages
English (en)
Other versions
TW202018577A (zh
Inventor
郭憲龍
Hsien Lung Kuo
Original Assignee
浩鑫股份有限公司
Shuttle Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浩鑫股份有限公司, Shuttle Inc. filed Critical 浩鑫股份有限公司
Priority to TW107139897A priority Critical patent/TWI679584B/zh
Priority to US16/365,626 priority patent/US20200152189A1/en
Application granted granted Critical
Publication of TWI679584B publication Critical patent/TWI679584B/zh
Publication of TW202018577A publication Critical patent/TW202018577A/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Abstract

本發明提供一種基於資料融合的人員辨識方法。方法是於人員辨識系統取得人員的輸入語音及臉部影像的其中之一，依據所取得的資料於多個範本資料中選擇部分，取得人員的語音或臉部影像的另一，並比對所取得資料及所選擇的範本資料以辨識人員。本發明可有效減低人員辨識系統損壞機率，可供人員不需配戴識別物件，還可有效縮短辨識時間。

Description

基於資料融合的人員辨識方法
本發明涉及人員辨識，特別涉及基於資料融合的人員辨識。
現有的人員辨識系統多是擷取未知人員的輸入特徵(如指紋或儲存於RFID標籤的識別碼)，再將未知人員的輸入特徵與資料庫的所有範本(如合法人員預先註冊的指紋或識別碼)逐一進行比對以辨識當前的未知人員是否為合法人員。現有的人員辨識系統的缺失在於，當資料庫的範本的數量過多時必須花費大量辨識時間來逐一比對未知人員的輸入特徵與各範本，這使得人員辨識效率低落，而降低了使用者體驗。
此外，當使用接觸式輸入裝置來接收未知人員的輸入特徵時(如人員可經由指紋感測器按壓指紋或經由鍵盤輸入識別碼)，由於必須頻繁按壓接觸式輸入裝置，而造成接觸式輸入裝置的使用壽命過短，這會增加人員辨識系統的維護成本。
此外，當使用無線輸入裝置來接收未知人員的輸入特徵時(如人員可持RFID標籤/藍芽裝置來接近RFID讀卡機/藍芽收發器以輸入RFID標籤/藍芽裝置的識別碼)，由於人員必須額外攜帶辨識物件(如RFID標籤或藍芽裝置)，而存在人員忘記攜帶辨識物件及無法進行身分辨識的問題。
有鑑於此，目前亟待一種可解決上述問題的人員辨識技術被提出。
本發明提供一種基於資料融合的人員辨識方法，可使用一種輸入特徵作為索引來減少比對的範本數量，並使用另一種輸入特徵來比對減少數量後的範本以進行身分確認。
於一實施例中，一種基於資料融合的人員辨識方法，用於人員辨識系統，人員辨識系統包括影像擷取裝置及收音裝置，基於資料融合的人員辨識方法包括以下步驟：經由收音裝置接收人員的語音以產生輸入語音；解析輸入語音以獲得輸入文本；依據輸入文本於多個範本影像中選擇部分；經由影像擷取裝置拍攝人員的臉部以獲得輸入臉部影像；及，比對輸入臉部影像及所選擇的範本影像以辨識人員。
於一實施例中，一種基於資料融合的人員辨識方法，用於人員辨識系統，人員辨識系統包括影像擷取裝置及收音裝置，基於資料融合的人員辨識方法包括以下步驟：經由影像擷取裝置拍攝人員的臉部以獲得輸入臉部影像；依據輸入臉部影像於多個範本語音特徵中選擇部分；經由收音裝置接收人員的語音以產生輸入語音；解析輸入語音以獲得輸入語音特徵；及，比對輸入語音特徵及所選擇的範本語音特徵以辨識人員。
本發明可有效減低人員辨識系統損壞機率，可供人員不需配戴識別物件，還可有效縮短辨識時間。
1‧‧‧人員辨識系統
10‧‧‧控制裝置
11‧‧‧影像擷取裝置
110‧‧‧彩色影像擷取裝置
111‧‧‧紅外線影像擷取裝置
12‧‧‧收音裝置
13‧‧‧儲存裝置
130‧‧‧電腦程式
14‧‧‧人機介面
15‧‧‧通訊裝置
20‧‧‧電腦裝置
21‧‧‧門鎖
30‧‧‧輸入文本
31‧‧‧輸入臉部影像
S10-S13‧‧‧第一人員辨識步驟
S20-S23‧‧‧第二人員辨識步驟
S30-S33‧‧‧第三人員辨識步驟
S40-S47‧‧‧語音比對步驟
S50-S54‧‧‧影像比對步驟
S60-S64‧‧‧相似度計算步驟
S70-S74‧‧‧設定範本影像步驟
S80-S85‧‧‧第四人員辨識步驟
圖1為本發明的第一實施例的人員辨識系統的架構圖；圖2為本發明的第二實施例的人員辨識系統的示意圖；圖3為本發明的第三實施例的人員辨識系統的示意圖； 圖4為本發明的第一實施例的人員辨識方法的流程圖；圖5為本發明的第二實施例的人員辨識方法的流程圖；圖6為本發明的第三實施例的人員辨識方法的流程圖；圖7為本發明的第四實施例的語音比對處理的流程圖；圖8為本發明的第五實施例的影像比對處理的流程圖；圖9為本發明的第六實施例的相似度計算的流程圖；圖10為本發明的第七實施例的設定範本影像的流程圖；及圖11為本發明的第八實施例的人員辨識方法的流程圖。
下面結合圖式和具體實施例對本發明技術方案進行詳細的描述，以更進一步瞭解本發明的目的、方案及功效，但並非作為本發明所附申請專利範圍的限制。
本發明公開一種基於資料融合的人員系統(下稱人員辨識系統)，所述人員辨識系統用來執行一種人員辨識方法。本發明可取得人員的第一種輸入特徵(如語音或臉部影像的其中之一)，以第一種輸入特徵作為索引來對所有範本資料進行篩選以減少要比對的範本資料的數量。接著，本發明取得人員的第二種輸入特徵(如語音或臉部影像的另一)，並使用第二種輸入特徵來與減少數量後的範本資料進行比對以辨識人員身分。
請參閱圖1，為本發明的第一實施例的人員辨識系統的架構圖。本發明的人員辨識系統1主要包括影像擷取裝置11(如攝影機)、收音裝置12(如麥克風)、儲存裝置13及電性連接(如經由傳輸線、內部線路或網路)上述裝置的控制裝置10(如處理器或控制主機)。
影像擷取裝置11用以拍攝人員並產生電子資料形式的人員的臉部影像(輸入臉部影像)。收音裝置12用以感測人員的聲音並將所感測到的聲音轉換為電子資料形式的語音(輸入語音)。
儲存裝置13用以儲存資料。具體而言，儲存裝置13儲存有多個範本資料(如後述的範本影像、範本語音特徵及/或範本文本)。控制裝置15用以控制人員辨識系統1。
於一實施例中，影像擷取裝置11包括彩色影像擷取裝置110(如RGB攝影機)與紅外線影像擷取裝置111(如設置有紅外線濾鏡的攝影機或未設置低通濾鏡(Infrared Cut Filter，ICF)的攝影機，前述紅外線濾鏡是用來濾除可見光，前述低通濾鏡是用來濾除紅外線)。
彩色影像擷取裝置110用以感測環境的可見光並產生對應的彩色影像，即可用以拍攝人員的彩色臉部影像。
紅外線影像擷取裝置111用以感測環境的紅外線並產生對應的紅外線影像(一般而言，為黑白影像)，即可用以拍攝人員的紅外線臉部影像。
於一實施例中，人員辨識系統1可包括電性連接控制裝置10的人機介面14(如鍵盤、滑鼠、顯示器、觸控螢幕等輸入裝置與輸出裝置的任意組合)。人機介面14用以接受人員操作並產生對應的資料。
於一實施例中，人員辨識系統1可包括電性連接控制裝置10的通訊裝置15(如USB模組或以太網路模組等有線通訊模組、Wi-Fi模組或藍芽模組等無線網路模組、閘道器或路由器等等)。通訊裝置15用以連接外部的電腦裝置20。
於一實施例中，儲存裝置13包括資料庫(圖未標示)，資料庫用以儲存前述範本資料，但不以此限定。
於另一實施例中，資料庫亦可儲存外部的電腦裝置20，人員辨識系統1是經由通訊裝置15自電腦裝置20接收前述範本資料。
於一實施例中，儲存裝置13包括非暫態儲存媒體，並儲存電腦程式130。電腦程式130包括電腦可執行程式碼。當控制裝置10執行前述電腦可執行程式碼時，可控制人員辨識系統1執行本發明的人員辨識方法的各步驟。
值得一提的是，本發明的人員辨識系統1的各裝置可整合設置於同一設備中(如圖2所示整合於行動裝置，或圖3所示整合於門口機)，或分開設置於不同地點(如圖3所示影像擷取裝置11’與門口機分離設置)，不加以限定。
請一併參閱圖2，為本發明的第二實施例的人員辨識系統的示意圖。於本實施例中，人員辨識系統1可為行動裝置(圖2以智慧型手機為例)，電腦程式130可為相容於此行動裝置的應用程式(app)。行動裝置上設置有影像擷取模組11、收音裝置12與人機介面14(於此為觸控螢幕)。
請一併參閱圖3，為本發明的第三實施例的人員辨識系統的示意圖。於本實施例中，人員辨識系統1可為固定設置位置的門禁系統(圖3以門禁系統包括門口機與門鎖21為例)，電腦程式130可為相容於此門禁系統的應用程式(app)、作業系統或韌體。門口機上設置有影像擷取模組11、收音裝置12與人機介面14(於此為顯示器)。
門禁系統可於使用本發明的人員辨識方法而辨識當前的人員的身分為合法時自動解鎖門鎖21以使人員可進入管制區域，藉以達成門禁管制的功能。
於一實施例中，影像擷取裝置是與門口機分開設置(如設置於牆上高處的影像擷取裝置11’)。藉此，影像擷取裝置11’可獲得較寬廣的拍攝範圍，並可降低被破壞的機率。
續請一併參閱圖4，為本發明的第一實施例的人員辨識方法的流程圖。本發明各實施例的人員辨識方法可由圖1-3所示的任一人員辨識系統1來加以實現。本實施例的人員辨識方法主要包括以下步驟。
步驟S10：控制裝置10取得人員的第一輸入資料。
舉例來說，控制裝置10是經由影像擷取裝置11對人員進行拍攝以獲得一或多張輸入影像來做為第一輸入資料(如人員的臉部影像、手勢影像或其他可供辨識的影像)。
於另一例子中，控制裝置10是經由收音裝置12感測人員的聲音以獲得輸入語音來做為第一輸入資料(如語音所對應的文本，或者聲紋)。
步驟S11：控制裝置10依據所獲得的第一輸入資料來於多個範本資料中選擇部分。具體而言，資料庫中可儲存多個範本資料，多個範本資料分別對應不同人員。並且，各範本資料包括與第一輸入資料相同類型(如影像或語音的其中之一)的第一範本資料及與後述的第二輸入資料相同類型(如影像或語音的另一)的第二範本資料。
值得一提的是，前述第一範本資料是用以作為索引，來對大量的範本資料進行分群，即各範本資料的第一範本資料可彼此不同或部分不同。
舉例來說，若有一百個範本資料，各範本資料的第一範本資料可彼此不同，即有一百種第一範本資料，範本資料分為一百群。或者，五十個範本資料的第一範本資料彼此相同，另外五十個範本資料的第一範本資料彼此相同，即有兩種第一範本資料，範本資料分為兩群。
並且，前述第二範本資料是用以對人員身分進行辨識驗證。為達成上述目的，各範本資料的第二範本資料是被設定為彼此不同，即一百個範本資料會有一百種第二範本資料。
於步驟S11中，控制裝置10是將所獲得的第一輸入資料與各範本資料的第一範本資料進行比對，決定第一範本資料與第一輸入資料相符的範本資料，並於多個範本資料選擇相符的一或多個範本資料。
步驟S12：控制裝置10取得人員的第二輸入資料。具體而言，若控制裝置10於步驟S10中是取得輸入影像做為第一輸入資料，則於步驟S12中是經由收音裝置12感測人員的聲音以獲得輸入語音來做為第二輸入資料。
反之，若控制裝置10於步驟S10中是取得輸入語音做為第一輸入資料，則於步驟S12中是經由影像擷取裝置11對人員進行拍攝以獲得輸入影像來做為第二輸入資料。
步驟S13：控制裝置10比對第二輸入資料及所選擇的範本資料。具體而言，控制裝置10是比對第二輸入資料及所選擇的各範本資料的第二範本資料。若第二輸入資料與任一範本資料的第二範本資料，則辨識當前的入員為合法人員，即通過驗證。
於一實施例中，人員辨識系統1可進一步決定當前的人員的身分。具體而言，多個範本資料分別對應不同人員的身分資料。控制裝置10是以相符的範本資料所對應的身分資料來做為當前人員的身分。
本發明經由使用第一輸入資料來減少需比對的範本資料的數量可有效提升辨識速度。
並且，本發明由於使用人員的影像及語音作為輸入特徵，人員可不需另外攜帶辨識物件，而可增進使用者體驗。
並且，本發明所使用的影像擷取裝置與收音裝置由於是以非接觸方式擷取人員的輸入資料，具有較長的使用壽命過短，而可減低維護成本。
續請一併參閱圖5，為本發明的第二實施例的人員辨識方法的流程圖。本實施例的人員辨識方法是依據人員的輸入語音(即前述第一輸入資料)的語意內容(文本，即人員所說出的文字、語句或其組合)來選擇部分範本影像(即前述範本資料的第二範本資料)，並經由比對人員的輸入臉部影像(即前述第二輸 入資料)與所選擇的範本影像來辨識人員的身分。具體而言，本實施例的人員辨識方法包括以下步驟。
步驟S20：控制裝置10經由收音裝置12接收人員的語音以產生輸入語音，並對輸入語音執行語音比對處理。
於一實施例中，各範本資料包括範本文本與範本影像(即多個範本文本分別對應多個範本影像)，前述語音比對處理是文本比對處理。具體而言，人員可對收音裝置12說出一段文本(如人員的部門、姓名或身分辨識碼等等)，控制裝置10可經由收音裝置12擷取人員的語音作為輸入語音，並對輸入語音進行解析(如執行語音文字解析處理)以獲得輸入文本，逐一比對輸入文本與各範本文本，並選擇符合的範本資料的範本文本作為比對結果。
更進一步地，於一實施例中，如圖2所示，控制裝置10可將解析獲得的輸入文本30顯示於人機介面14，以供人員知悉所輸入的語音是否符合期待，即供人員判斷所說的文本是否與控制裝置10所解析的輸入文本30相同。
於一實施例中，各範本資料包括範本聲紋與範本影像(即多個範本聲紋分別對應多個範本影像)，前述語音比對處理是聲紋比對處理。具體而言，人員可對收音裝置12說出任意文字，控制裝置10可對人員所輸入的輸入語音進行解析(如執行聲紋解析處理)以獲得輸入聲紋，逐一比對輸入聲紋與各範本聲紋，並選擇符合的範本資料的範本聲紋作為比對結果。
並且，若輸入聲紋與所有範本聲紋皆不符或輸入文本與所有範本文本皆不符時，控制裝置10不選擇任何範本資料。
步驟S21：控制裝置10依據比對結果於多個範本影像中選擇部分範本影像。
於一實施例中，各範本資料包括範本文本與範本影像。控制裝置10是決定範本文本與輸入文本相符的部分的範本資料，並選擇相符的範本資料的範本影像。
於一實施例中，各範本資料包括範本聲紋與範本影像。控制裝置10是決定範本聲紋與輸入聲紋相符的部分的範本資料，並選擇相符的範本資料的範本影像。
於一實施例中，若控制裝置10判斷人員不符合所有範本資料(如於步驟S20中沒有選擇任一範本資料)時，則可經由人機介面14發出警示。
步驟S22：控制裝置10經由影像擷取裝置11拍攝人員的臉部以獲得輸入臉部影像，並依據所選擇的部分的範本影像對輸入臉部影像執行影像比對處理。具體而言，控制裝置10是分別比對輸入臉部影像與所選擇的各範本影像，並選擇相符的範本影像做為比對結果。
於一實施例中，控制裝置10是分別計算輸入臉部影像與所選擇的各範本影像之間的相似度，並選擇相似度最高且不小於相似度臨界值的範本影像做為比對結果。並且，若輸入臉部影像與所有範本影像之間的相似度皆小於相似度臨界值時，控制裝置10不選擇任何範本影像。
更進一步地，於一實施例中，如圖2所示，控制裝置10可將所拍攝的輸入臉部影像31顯示於人機介面14，以供人員知悉所拍攝的臉部影像是否符合期待，即供人員判斷控制裝置10所拍攝的輸入臉部影像31是否正確且清楚地呈現自己的臉部樣貌
步驟S23：控制裝置10依據比對結果辨識人員。具體而言，若控制裝置10判斷人員符合任一範本影像(如於步驟S22中有選擇任一範本影像)時，則辨識當前的人員為合法人員。若控制裝置10判斷人員不符合所有範本影像(如於步驟S22中沒有選擇任一範本影像)時，則辨識當前的人員為非法人員。
於一實施例中，人員辨識系統1可進一步決定當前的人員的身分。具體而言，多個範本影像分別對應不同人員的身分資料。控制裝置10是以相符的範本影像所對應的身分資料來做為當前人員的身分。
值得一提的是，由於文本的比對速度遠快於聲紋的比對速度，當依據輸入文本來選擇部分範本資料時，本發明可大幅減少比對所需時間，進而縮短辨識人員身分的時間。
更進一步地，當所有範本文本之間皆沒有重複時，本發明可大幅減少後續影像比對的範本數，而可大幅提升後續影像比對的準確性與比對速度。
此外，由於聲紋具有獨特性，當依據輸入聲紋來選擇部分範本資料時，本發明經由預先過濾聲紋不符的範本資料，可大幅減少後續影像比對的範本數，而可大幅提升後續影像比對的準確性與比對速度。
續請一併參閱圖6，為本發明的第三實施例的人員辨識方法的流程圖。本實施例的人員辨識方法是依據人員的輸入臉部影像(即前述第一輸入資料)來選擇部分範本語音特徵(即前述範本資料)，並經由比對人員的輸入語音(即前述第二輸入資料)與所選擇的範本語音特徵來辨識人員的身分。具體而言，本實施例的人員辨識方法包括以下步驟。
步驟S30：控制裝置10經由影像擷取裝置11拍攝人員的臉部以獲得輸入臉部影像，並依據所選擇的部分的範本影像對輸入臉部影像執行影像比對處理。步驟S30的影像比對處理可與圖5的步驟S22所述的影像比對處理相同或相似。
具體而言，各範本資料包括範本語音特徵(如範本文本或範本聲紋)與範本影像(即多個範本語音特徵分別對應多個範本影像)。控制裝置10是分別比對輸入臉部影像與各範本影像，並選擇符合的(如相似度不小於相似度臨界 值，此處的相似度臨界值可小於圖5的步驟S22的相似度臨界值)範本影像做為比對結果。
並且，若輸入臉部影像與所有範本影像皆不符時，控制裝置10不選擇任何範本資料。
步驟S31：控制裝置10依據比對結果於多個範本語音特徵中選擇部分範本語音特徵。
於一實施例中，各範本資料包括範本語音特徵與範本影像。控制裝置10是決定範本影像相符的部分的範本資料，並選擇相符的範本資料的範本語音特徵。
於一實施例中，若控制裝置10判斷人員不符合所有範本資料(如於步驟S30中沒有選擇任一範本資料)時，則可經由人機介面14發出警示。
步驟S32：控制裝置10經由收音裝置12接收人員的語音以產生輸入語音，並依據所選擇的部分的範本語音特徵對輸入語音執行語音比對處理。步驟S32的語音比對處理可與圖5的步驟S20所述的語音比對處理相同或相似。
於一實施例中，各範本資料包括範本語音特徵與範本影像。人員可對收音裝置12說出任意或指定語音，控制裝置10可對人員所輸入的輸入語音進行解析以獲得輸入語音特徵(如輸入聲紋或輸入文本)，逐一比對輸入語音特徵與所選擇的各範本語音特徵，並選擇最符合的範本資料的範本語音特徵作為比對結果。
並且，若輸入語音特徵與所有範本語音特徵皆不符時，控制裝置10不選擇任何範本資料。步驟S33：控制裝置10依據比對結果辨識人員。具體而言，若控制裝置10判斷人員的語音符合任一範本語音特徵(如於步驟S32中有選擇任一範本語音特徵)時，則辨識當前的人員為合法人員。若控制裝置10判斷人員 的語音不符合所有範本語音特徵(如於步驟S32中沒有選擇任一範本語音特徵)時，則辨識當前的人員為非法人員。
於一實施例中，人員辨識系統1可進一步決定當前的人員的身分。具體而言，多個範本語音特徵分別對應不同人員的身分資料。控制裝置10是以相符的範本語音特徵所對應的身分資料來做為當前人員的身分。
續請一併參閱圖7，為本發明的第四實施例的語音比對處理的流程圖。本實施例提出一種語音比對處理的具體實施方式，可運用於圖4至圖7所示的任一人員辨識方法，如運用於圖5的步驟S20的語音比對處理或圖6的步驟S32的語音比對處理。具體而言，本實施例的語音比對處理包括用以實現語音比對功能的以下步驟。
步驟S40：控制裝置10經由收音裝置12感測環境的語音以產生輸入語音。
步驟S41：控制裝置10判斷輸入語音的音量是否大於音量臨界值。若音量大於音量臨界值，控制裝置10判定所產生輸入語音包括人員的語音，並執行步驟S42。否則，控制裝置10判定所產生輸入語音不包括人員的語音，並再次執行步驟S40。
步驟S42：控制裝置10對輸入語音執行解析處理(如文本解析處理(接續執行步驟S43)或聲紋解析處理(接續執行步驟S46)。
若控制裝置1執行文本解析處理而獲得輸入文本，則控制裝置10執行步驟S43：控制裝置10對輸入文本與範本資料的範本文本執行前述的文本比對處理以選擇文本資料相符的範本資料。
若控制裝置1執行聲紋解析處理而獲得輸入聲紋，則控制裝置10執行步驟S46：控制裝置10對輸入聲紋與範本資料的範本聲紋執行前述的聲紋比對處理以選擇聲紋資料相符的範本資料。
步驟S44：控制裝置10判斷是否輸入語音特徵(如輸入文本或輸入聲紋)是否符合任一範本語音特徵，如判斷步驟S43與步驟S46中是否選擇任何範本資料。
若輸入語音特徵符合任一範本語音特徵，則控制裝置10執行步驟S45。若輸入語音特徵不符合所有範本語音特徵，則控制裝置10執行步驟S47。
步驟S45：控制裝置10判定辨識成功。
於一實施例中，控制裝置10對輸入語音同時執行文本解析處理及聲紋解析處理，並於輸入文本符合任一範本資料的範本文本且輸入聲紋符合相同範本資料的範本聲紋時，判定辨識成功，並以此範本資料所對應的人員資料作為人員的身分。
步驟S47：控制裝置10判定本次語音比對處理的比對結果為辨識失敗，並計算語音比對處理因失敗(如連續失敗)而重新執行的次數。接著，控制裝置10判斷前述重新執行的次數是否超過預設次數(如三次)。
若重新執行的次數超過預設次數，則不再重新執行語音比對處理，以避免遭有心人士以暴力法破解人員辨識系統1。
若重新執行的次數未超過預設次數，則重新感測同一人員的輸入語音(步驟S40)以重新執行語音比對處理。
續請一併圖8，為本發明的第五實施例的影像比對處理的流程圖。本實施例提出一種影像比對處理的具體實施方式，可運用於圖4至圖7所示的任一人員辨識方法，如運用於圖5的步驟S22的影像比對處理或圖6的步驟S30的影像比對處理。具體而言，本實施例的影像比對處理包括用以實現影像比對功能的以下步驟。
步驟S50：控制裝置10經由影像擷取裝置11對人員的臉部進行拍攝以獲得輸入臉部影像。
於一實施例中，控制裝置10可控制影像擷取裝置11對人員的臉部進行多次拍攝以獲得同一人員的多個輸入臉部影像。
步驟S51：控制裝置10計算輸入臉部影像與各範本資料的範本影像之間的相似度。
於一實施例中，各範本資料可包括一或多個範本影像，控制裝置10計算(一或多個)各輸入臉部影像與同一範本資料的各範本影像進行比對(如比對像素值或影像特徵)以決定各範本影像與各輸入臉部影像之間的相似度。
步驟S52：控制裝置10判斷是否任一相似度不小於相似度臨界值。
若控制裝置10判斷任一輸入臉部影像的相似度不小於相似度臨界值，則執行步驟S53。若控制裝置10判斷所有輸入臉部影像的相似度皆小於相似度臨界值，則執行步驟S54。
於一實施例中，控制裝置10是於所有或過半數的輸入臉部影像的相似度不小於相似度臨界值時，才執行步驟S53。
步驟S53：控制裝置10判定辨識成功。
步驟S54：控制裝置10判定本次影像比對處理的比對結果為辨識失敗，並計算影像比對處理因失敗(如連續失敗)而重新執行的次數。接著，控制裝置10判斷前述重新執行的次數是否超過預設次數(如三次)。
若重新執行的次數超過預設次數，則不再執行影像比對處理，以避免遭有心人士以暴力法破解人員辨識系統1。
若重新執行的次數未超過預設次數，則重新拍攝同一人員的輸入臉部影像(步驟S50)以重新執行影像比對處理。
續請一併參閱圖8及圖9，圖9為本發明的第六實施例的相似度計算的流程圖。本實施例提出一種相似度計算的具體實施方式，可運用於圖8所示的相似度計算(如運用於圖8的步驟S50至S51)。
具體而言，於本實施例中，影像擷取裝置11包括彩色影像擷取裝置110與紅外線影像擷取裝置111，各範本影像包括一或多張彩色範本影像及一或多張紅外線範本影像。本實施例主要是依據彩色影像間的彩色相似度與紅外影像間的紅外線相似度來決定最終的相似度，即經由比對彩色臉部影像及彩色範本影像並比對紅外線臉部影像及紅外線範本影像辨識人員。
本實施例的相似度計算包括以下步驟。
步驟S60：控制裝置10經由彩色影像擷取裝置110拍攝人員的臉部以獲得一或多張彩色臉部影像。
步驟S61：控制裝置10將所拍攝的彩色臉部影像與各範本影像的彩色範本影像進行影像比對以決定各彩色臉部影像與各彩色範本影像之間的彩色相似度。
步驟S62：控制裝置10經由紅外線影像擷取裝置111拍攝人員的臉部以獲得一或多張紅外線臉部影像。
步驟S63：控制裝置10將所拍攝的紅外線臉部影像與各範本影像的紅外線範本影像進行影像比對以決定各紅外線臉部影像與各紅外線範本影像之間的紅外線相似度。
步驟S64：控制裝置10依據屬於同一範本影像的彩色相似度及紅外線相似度計算此範本影像的相似度。值得一提的是，由於彩色影像比對處理容易因環境色溫變化而造成誤判，本發明經由結合紅外線影像(環境的熱輻射影像)比對處理可有效避免因色溫變化所造成的誤判，進而提升辨識正確率。
續請一併參閱圖8及圖10，圖10為本發明的第七實施例的設定範本影像的流程圖。本實施例提出一種設定範本影像功能，可建立合法的人員的範本影像，以用於前述影像比對處理。具體而言，本實施例的人員辨識方法包括以下於進行人員辨識前被執行以實現設定範本影像功能的步驟。
步驟S70：控制裝置10經由影像擷取裝置11拍攝同一人員的多張範本影像(如拍攝五張範本影像)。
於一實施例中，控制裝置10可控制彩色影像擷取裝置110拍攝同一人員的一或多張彩色範本影像，並控制紅外線影像擷取裝置111拍攝同一人員的一或多張紅外線範本影像。
步驟S71：控制裝置10計算各範本影像之間的相似度(如依據彩色相似度與紅外線相似度計算相似度)。
步驟S72：控制裝置10判斷是否所有範本影像與其他範本影像之間的相似度皆不小於預設的相似度臨界值。
若所有範本影像的相似度皆不小於相似度臨界值，則執行步驟S73。若任一範本影像的相似度小於相似度臨界值，則執行步驟S74。
步驟S73：控制裝置10儲存所有彼此相符的範本影像，並完成範本影像的設定。
步驟S74：控制裝置10刪除與其他範本影像之間的相似度小於相似度臨界值的範本影像，並再次執行步驟S70以重拍所刪除的不相似的範本影像，並繼續設定範本影像。
舉例來說，拍攝三張範本影像(分別為第一張範本影像、第二張範本影像與第三張範本影像)，相似度臨界值為95%。第一張範本影像與第二張範本影像之間的相似度為80%，第一張範本影像與第三張範本影像之間的相似度為75%，第二張範本影像與第三張範本影像之間的相似度為98%。
由此可知，第一張範本影像與其他範本影像不相似(相似度小於95%)。人員控制系統1可刪除第一張範本影像並重拍新的範本影像(第四張範本影像)，並計算第四張範本影像、第二張範本影像與第三張範本影像之間的相似度，以此類推。
本發明所設定的多張範本影像之間具有高相似度，而可有效提升影像比對的準確性，進而提升人員辨識的準確性。
續請一併參閱圖5及圖11，圖11為本發明的第八實施例的人員辨識方法的流程圖。相較於圖5所示的人員辨識方法，本實施例的人員辨識方法於依據人員的輸入語音的文本來選擇部分範本資料(如範本影像與範本聲紋)後，可選擇僅執行影像比對處理來辨識人員的身分，僅執行聲紋比對處理來辨識人員的身分，或執行影像比對處理與聲紋比對處理來辨識人員的身分。並且，於本實施例中，各範本資料包括範本文本、範本聲紋與範本影像，多個範本資料分別對應至不同人員的身分資料。具體而言，本實施例的人員辨識方法包括以下步驟。
步驟S80：控制裝置10經由收音裝置12接收人員的語音以產生輸入語音，並對輸入語音執行語音比對處理(如文本比對處理)。
接著，控制裝置10可執行步驟S81及步驟S82的影像比對處理。
步驟S81：控制裝置10決定範本文本與輸入文本相符的部分的範本資料，並選擇相符的範本資料的範本影像。
步驟S82：控制裝置10經由影像擷取裝置11拍攝人員的臉部以獲得輸入臉部影像，並依據所選擇的部分的範本影像對輸入臉部影像執行影像比對處理。
並且，控制裝置10還可執行步驟S84及步驟S85的聲紋比對處理。
步驟S84：控制裝置10決定範本文本與輸入文本相符的部分的範本資料，並選擇相符的範本資料的範本聲紋。
步驟S85：控制裝置10解析輸入語音以獲得輸入聲紋，並依據所選擇的部分的範本聲紋對輸入聲紋執行聲紋比對處理。
步驟S83：控制裝置10依據影像比對處理的比對結果及/或聲紋比對處理的處理結果來辨識人員。
於一實施例中，控制裝置10是以影像比對處理相符的範本影像所對應的身分資料來做為當前人員的身分。
於一實施例中，控制裝置10是以聲紋比對處理相符的範本聲紋所對應的身分資料來做為當前人員的身分。
於一實施例中，控制裝置10是於相符的範本影像所對應的身分資料與相符的範本聲紋所對應的身分資料重複時，以重複的身分資料來做為當前人員的身分。
本發明經由結合影像比對處理與聲紋比對處理可有效提升人員辨識的準確性。
當然，本發明還可有其它多種實施例，在不背離本發明精神及其實質的情況下，本發明所屬技術領域中具有通常知識者當可根據本發明作出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明所附的申請專利範圍。

Claims (18)

  1. 一種基於資料融合的人員辨識方法，用於一人員辨識系統，該人員辨識系統包括一影像擷取裝置及一收音裝置，該基於資料融合的人員辨識方法包括以下步驟：a)經由該收音裝置接收一人員的語音以產生一輸入語音；b)解析該輸入語音以獲得一輸入文本；c)取得多個範本資料，其中各該範本資料分別對應不同的該人員，各該範本資料包括一範本文本及一範本影像，該多個範本資料以該多個範本文本作為索引至少分為兩群；d)比較該輸入文本與各群的該範本文本；e)於該輸入文本符合任一群的該範本文本時，選擇該群的所有該範本資料的該範本影像；f)經由該影像擷取裝置拍攝該人員的臉部以獲得一輸入臉部影像；及g)比對該輸入臉部影像及所選擇的該範本影像以辨識該人員。
  2. 如請求項1所述的基於資料融合的人員辨識方法，其中該步驟b)是於感測該語音的音量大於一音量臨界值時解析該輸入語音來獲得該輸入文本。
  3. 如請求項1所述的基於資料融合的人員辨識方法，其中該多個範本影像分別對應多個人員資料；該步驟g)是於該輸入臉部影像符合所選擇的該範本影像時，以對應的該人員資料作為該人員的身分。
  4. 如請求項3所述的基於資料融合的人員辨識方法，其中該影像擷取裝置包括一彩色影像擷取裝置及一紅外線影像擷取裝置；各該範本影像包括一彩色範本影像與一紅外線範本影像；該步驟f)包括以下步驟：f1)經由該彩色影像擷取裝置拍攝該人員的臉部以獲得一彩色臉部影像；及f2)經由該紅外線影像擷取裝置拍攝該人員的臉部以獲得一紅外線臉部影像；該步驟g)是比對該彩色臉部影像及所選擇的該彩色範本影像並比對該紅外線臉部影像及所選擇的該紅外線範本影像以辨識該人員。
  5. 如請求項4所述的基於資料融合的人員辨識方法，其中該步驟g)包括以下步驟：g1)將該步驟e)所選擇的各該彩色範本影像與該彩色臉部影像進行比對以決定各該彩色範本影像與各該彩色臉部影像之間的一彩色相似度；g2)將該步驟e)所選擇的各該紅外線範本影像與該紅外線臉部影像進行比對以決定各該紅外線範本影像與各該紅外線臉部影像之間的一紅外線相似度；g3)依據各該範本影像的該彩色相似度及該紅外線相似度計算各該範本影像的一相似度；及g4)於任一該範本影像的該相似度不小於一相似度臨界值時以所對應的該人員資料作為該人員的身分。
  6. 如請求項3所述的基於資料融合的人員辨識方法，其中各該人員資料對應該多個範本影像；該步驟g)包括以下步驟：g5)將該步驟e)所選擇的該多個範本影像分別與該輸入臉部影像進行比對以決定各該範本影像與該輸入臉部影像之間的一相似度；g6)於任一該範本影像的該相似度不小於一相似度臨界值時以所對應的該人員資料作為該人員的身分；及g7)於所有該範本影像的該相似度小於該相似度臨界值時執行該步驟f)。
  7. 如請求項6所述的基於資料融合的人員辨識方法，其中該步驟f)是獲得同一該人員的該多個輸入臉部影像；該步驟g5)是將該步驟e)所選擇的各該範本影像分別與各該輸入臉部影像進行比對以決定各該範本影像與各該輸入臉部影像之間的該相似度。
  8. 如請求項1所述的基於資料融合的人員辨識方法，其中更包括以下步驟：h1)依據該輸入文本於多個範本聲紋中選擇部分；h2)解析該輸入語音以獲得一輸入聲紋；及h3)比對該輸入聲紋及所選擇的該範本聲紋以辨識該人員。
  9. 如請求項8所述的基於資料融合的人員辨識方法，其中該多個範本影像分別對應多個人員資料，該多個範本聲紋分別對應該多個人員資料；該步驟g)是於該輸入臉部影像符合所選擇的該範本影像時，選擇對應的該人員資料；該步驟h3)是於該輸入聲紋符合所選擇的該範本聲紋時，選擇對應的該人員資料；該基於資料融合的人員辨識方法更包括一步驟i)於該步驟g)所選擇的任一該人員資料與該步驟h3)所選擇的任一該人員資料重複時，以重複的該人員資料作為該人員的身分。
  10. 一種基於資料融合的人員辨識方法，用於一人員辨識系統，該人員辨識系統包括一影像擷取裝置及一收音裝置，該基於資料融合的人員辨識方法包括以下步驟：a)經由該影像擷取裝置拍攝一人員的臉部以獲得一輸入臉部影像；b)依據該輸入臉部影像於多個範本語音特徵中選擇部分；c)取得多個範本資料，其中各該範本資料分別對應不同的該人員，各該範本資料包括一範本影像及一範本語音特徵，該多個範本資料以該多個範本影像作為索引至少分為兩群；d)比較該輸入臉部影像與多個範本影像；e)於該輸入臉部影像符合任一群的該範本影像時，選擇該群的所有該範本資料的該範本語音特徵；f)經由該收音裝置接收一人員的語音以產生一輸入語音；g)解析該輸入語音以獲得一輸入語音特徵；及h)比對該輸入語音特徵及所選擇的該範本語音特徵以辨識該人員。
  11. 如請求項10所述的基於資料融合的人員辨識方法，其中該多個範本語音特徵分別對應多個人員資料，各該範本語音特徵包括一範本文本，該步驟g)是解析該輸入語音以獲得一輸入文本；該步驟h)是於該輸入文本符合所選擇的該範本文本時，以對應的該人員資料作為該人員的身分。
  12. 如請求項10所述的基於資料融合的人員辨識方法，其中該多個範本語音特徵分別對應多個人員資料，各該範本語音特徵包括一範本聲紋，該步驟g)是解析該輸入語音以獲得一輸入聲紋；該步驟h)是於該輸入聲紋符合所選擇的該範本聲紋時，以對應的該人員資料作為該人員的身分。
  13. 如請求項10所述的基於資料融合的人員辨識方法，其中該多個範本語音特徵分別對應多個人員資料，各該範本語音特徵包括一範本文本及一範本聲紋，該步驟g)是解析該輸入語音以獲得一輸入文本及一輸入聲紋；該步驟h)是於該輸入文本符合所選擇的該範本文本且該輸入聲紋符合所選擇的該範本聲紋時，以對應的該人員資料作為該人員的身分。
  14. 如請求項10所述的基於資料融合的人員辨識方法，其中該步驟g)是於感測該語音的音量大於一音量臨界值時解析該輸入語音來獲得該輸入語音特徵。
  15. 如請求項10所述的基於資料融合的人員辨識方法，其中該影像擷取裝置包括一彩色影像擷取裝置及一紅外線影像擷取裝置；各該範本影像包括一彩色範本影像與一紅外線範本影像；該步驟a)包括以下步驟：a1)經由該彩色影像擷取裝置拍攝該人員的臉部以獲得一彩色臉部影像；及a2)經由該紅外線影像擷取裝置拍攝該人員的臉部以獲得一紅外線臉部影像；該步驟d)是比對該彩色臉部影像及所選擇的該彩色範本影像並比對該紅外線臉部影像及所選擇的該紅外線範本影像。
  16. 如請求項15所述的基於資料融合的人員辨識方法，其中該步驟d)包括以下步驟：d1)將各該彩色範本影像與該彩色臉部影像進行比對以決定各該彩色範本影像與各該彩色臉部影像之間的一彩色相似度；d2)將各該紅外線範本影像與該紅外線臉部影像進行比對以決定各該紅外線範本影像與各該紅外線臉部影像之間的一紅外線相似度；及d3)依據各該範本影像的該彩色相似度及該紅外線相似度計算各該範本影像的一相似度；該步驟e)是於任一該範本影像的該相似度不小於一相似度臨界值時判定該輸入臉部影像符合該範本影像。
  17. 如請求項10所述的基於資料融合的人員辨識方法，其中各該人員資料對應該多個範本影像；該步驟d)將該多個範本影像分別與該輸入臉部影像進行比對以決定各該範本影像與該輸入臉部影像之間的一相似度；該步驟e)是於任一該範本影像的該相似度不小於一相似度臨界值時判定該輸入臉部影像符合該範本影像；該基於資料融合的人員辨識方法更包括一步驟：i)於所有該範本影像的該相似度小於該相似度臨界值時執行該步驟a)。
  18. 如請求項17所述的基於資料融合的人員辨識方法，其中該步驟a)是獲得同一該人員的該多個輸入臉部影像；該步驟e)是將各該範本影像分別與各該輸入臉部影像進行比對以決定各該範本影像與各該輸入臉部影像之間的該相似度。
TW107139897A 2018-11-09 2018-11-09 基於資料融合的人員辨識方法 TWI679584B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107139897A TWI679584B (zh) 2018-11-09 2018-11-09 基於資料融合的人員辨識方法
US16/365,626 US20200152189A1 (en) 2018-11-09 2019-03-26 Human recognition method based on data fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107139897A TWI679584B (zh) 2018-11-09 2018-11-09 基於資料融合的人員辨識方法

Publications (2)

Publication Number Publication Date
TWI679584B true TWI679584B (zh) 2019-12-11
TW202018577A TW202018577A (zh) 2020-05-16

Family

ID=69582605

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107139897A TWI679584B (zh) 2018-11-09 2018-11-09 基於資料融合的人員辨識方法

Country Status (2)

Country Link
US (1) US20200152189A1 (zh)
TW (1) TWI679584B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654239A1 (en) * 2018-11-13 2020-05-20 Alitheon, Inc. Contact and non-contact image-based biometrics using physiological elements
WO2021002493A1 (ko) * 2019-07-01 2021-01-07 엘지전자 주식회사 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템
CN113724705B (zh) * 2021-08-31 2023-07-25 平安普惠企业管理有限公司 语音应答方法、装置、设备及存储介质
US20230244769A1 (en) * 2022-02-03 2023-08-03 Johnson Controls Tyco IP Holdings LLP Methods and systems for employing an edge device to provide multifactor authentication
TWI825843B (zh) * 2022-07-12 2023-12-11 致伸科技股份有限公司 一種安全認證方法及應用該方法之安全認證裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060102843A1 (en) * 2004-11-12 2006-05-18 Bazakos Michael E Infrared and visible fusion face recognition system
US20140016835A1 (en) * 2012-07-13 2014-01-16 National Chiao Tung University Human identification system by fusion of face recognition and speaker recognition, method and service robot thereof
CN103634118A (zh) * 2013-12-12 2014-03-12 山东神思电子技术股份有限公司 基于证卡和复合生物特征识别的生存认证方法
CN104834849A (zh) * 2015-04-14 2015-08-12 时代亿宝(北京)科技有限公司 基于声纹识别和人脸识别的双因素身份认证方法及系统
TW201816647A (zh) * 2016-10-18 2018-05-01 富邦綜合證券股份有限公司 利用生物特徵辨識的登入方法、行動通訊裝置及電腦可讀取紀錄媒體
TW201824254A (zh) * 2016-12-27 2018-07-01 李景峰 基於聲音辨識的情緒紀錄與管理裝置、系統以及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060102843A1 (en) * 2004-11-12 2006-05-18 Bazakos Michael E Infrared and visible fusion face recognition system
US20140016835A1 (en) * 2012-07-13 2014-01-16 National Chiao Tung University Human identification system by fusion of face recognition and speaker recognition, method and service robot thereof
CN103634118A (zh) * 2013-12-12 2014-03-12 山东神思电子技术股份有限公司 基于证卡和复合生物特征识别的生存认证方法
CN104834849A (zh) * 2015-04-14 2015-08-12 时代亿宝(北京)科技有限公司 基于声纹识别和人脸识别的双因素身份认证方法及系统
TW201816647A (zh) * 2016-10-18 2018-05-01 富邦綜合證券股份有限公司 利用生物特徵辨識的登入方法、行動通訊裝置及電腦可讀取紀錄媒體
TW201824254A (zh) * 2016-12-27 2018-07-01 李景峰 基於聲音辨識的情緒紀錄與管理裝置、系統以及方法

Also Published As

Publication number Publication date
US20200152189A1 (en) 2020-05-14
TW202018577A (zh) 2020-05-16

Similar Documents

Publication Publication Date Title
TWI679584B (zh) 基於資料融合的人員辨識方法
KR102350507B1 (ko) 출입 제어 방법, 출입 제어 장치, 시스템 및 저장매체
US10789343B2 (en) Identity authentication method and apparatus
US10650259B2 (en) Human face recognition method and recognition system based on lip movement information and voice information
US10740636B2 (en) Method, system and terminal for identity authentication, and computer readable storage medium
CN109165940B (zh) 一种防盗方法、装置及电子设备
US8340366B2 (en) Face recognition system
US8515139B1 (en) Facial feature detection
KR102334209B1 (ko) 사용자 인증 방법 및 이를 지원하는 전자장치
US9904840B2 (en) Fingerprint recognition method and apparatus
US20130247175A1 (en) Facial feature detection
WO2022174699A1 (zh) 图像更新方法、装置、电子设备及计算机可读介质
CN104424414A (zh) 用于使用户登录到移动设备的方法
JP2015097000A (ja) 画像認識装置及び画像認識装置に対するデータ登録方法
US20120320181A1 (en) Apparatus and method for security using authentication of face
US20140347161A1 (en) Authorizing system and method of portable electronic device
CN110765851A (zh) 一种注册方法及装置、设备
TWI631480B (zh) 具備臉部辨識之門禁系統
CN112101296B (zh) 人脸注册方法、人脸验证方法、装置及系统
KR100467152B1 (ko) 얼굴인식시스템에서 개인 인증 방법
CN111641751B (zh) 终端设备的屏幕解锁方法、装置、终端设备及存储介质
CN110969067B (zh) 用户注册、认证方法及装置
CN108153568B (zh) 一种信息处理方法及电子设备
CN111339829B (zh) 用户身份鉴定方法、装置、计算机设备和存储介质
CN111209773A (zh) 基于数据融合的人员辨识方法