TWI706268B - 身份認證方法和裝置 - Google Patents

身份認證方法和裝置 Download PDF

Info

Publication number
TWI706268B
TWI706268B TW106108380A TW106108380A TWI706268B TW I706268 B TWI706268 B TW I706268B TW 106108380 A TW106108380 A TW 106108380A TW 106108380 A TW106108380 A TW 106108380A TW I706268 B TWI706268 B TW I706268B
Authority
TW
Taiwan
Prior art keywords
audio
video stream
target object
voiceprint
recognition
Prior art date
Application number
TW106108380A
Other languages
English (en)
Other versions
TW201741921A (zh
Inventor
李鵬
孫逸鵬
謝永祥
李亮
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201741921A publication Critical patent/TW201741921A/zh
Application granted granted Critical
Publication of TWI706268B publication Critical patent/TWI706268B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本發明提供一種身份認證方法和裝置，其中，該方法包括：獲取採集到之從待認證的目標物件所產生的音視頻流，判斷音視頻流中的唇語和語音是否滿足一致性，若滿足一致性，則將對音視頻流中的音頻流進行語音識別得到的語音內容，用作為目標物件的物件標識；若預儲存的物件註冊資訊中包括物件標識，在物件註冊資訊中獲取物件標識對應的模板生理特徵；對音視頻流進行生理識別，得到目標物件的生理特徵；將目標物件的生理特徵與模板生理特徵比對，得到比對結果，若比對結果滿足認證條件，則確認目標物件通過認證。本發明提高了身份認證的效率和可靠性。

Description

身份認證方法和裝置
本發明係有關網路技術，特別有關一種身份認證方法和裝置。
互聯網技術的發展使得人們對網路的使用越發廣泛，例如，可以透過郵箱來收發郵件，網路購物，甚至網上辦公等，部分應用要求較高的安全性，需要對用戶的身份進行驗證，比如，在網路購物時用戶需要驗證身份才能付款，或者在登錄某個安全性要求較高的應用時，當用戶通過身份驗證後才允許登錄。相關技術中，用於互聯網的身份認證方式也有多種，例如，人臉識別、聲紋識別等，但是通常使用的認證方式的操作比較繁瑣，比如，用戶需要輸入自己的標識ID再驗證聲紋；並且，現有的認證方式的可靠性較低，比如，攻擊者可以透過類比的視頻或錄影通過人臉識別，即使結合人臉和聲紋等至少一者認證方式來進行驗證，各個認證方式之間比較獨立，攻擊者可以各個攻破。身份認證方式的上述缺陷對應用的安全性造成了風險。
有鑒於此，本發明提供一種身份認證方法和裝置，以提高身份認證的效率和可靠性。
具體地，本發明是透過如下技術方案來實現的：
第一態樣，提供一種身份認證方法，所述方法包括：獲取採集到的音視頻流，所述音視頻流從待認證的目標物件所產生；判斷所述音視頻流中的唇語和語音是否滿足一致性，若滿足一致性，則將對所述音視頻流中的音頻流進行語音識別得到的語音內容，用作為所述目標物件的物件標識；若預儲存的物件註冊資訊中包括所述物件標識，在所述物件註冊資訊中獲取所述物件標識對應的模板生理特徵；對所述音視頻流進行生理識別，得到所述目標物件的生理特徵；將所述目標物件的生理特徵與模板生理特徵比對，得到比對結果，若所述比對結果滿足認證條件，則確認所述目標物件通過認證。
第二態樣，提供一種身份認證裝置，所述裝置包括：資訊獲取模組，用以獲取採集到的音視頻流，所述音視頻流從待認證的目標物件所產生；標識確定模組，用以判斷所述音視頻流中的唇語和語音是否滿足一致性，若滿足一致性，則將對所述音視頻流中的音頻流進行語音識別得到的語音內容，用作為所述目 標物件的物件標識；資訊管理模組，用於若預儲存的物件註冊資訊中包括所述物件標識，在所述物件註冊資訊中獲取所述物件標識對應的模板生理特徵；特徵識別模組，用以對所述音視頻流進行生理識別，得到所述目標物件的生理特徵；認證處理模組，用以將所述目標物件的生理特徵與模板生理特徵比對，得到比對結果，若所述比對結果滿足認證條件，則確認目標物件通過認證。
本發明提供的身份認證方法和裝置，透過根據用戶在認證時的音視頻流識別得到用戶標識，並且還可以透過該同一個音視頻流來校驗人臉特徵和聲紋特徵，這種方式簡化了用戶操作，提高了認證效率，並且也保持了1：1的認證方式，確保了識別的精度；此外，該方法還透過唇語和語音的一致性判斷確保了目標物件是活體，防止了攻擊者偽造的視頻錄影，提高了認證的安全性和可靠性。
61:資訊獲取模組
62:標識確定模組
63:資訊管理模組
64:特徵識別模組
65:認證處理模組
621:字元識別子模組
622:一致判斷子模組
641:聲紋識別子模組
642:人臉識別子模組
圖1是本發明一示例性實施例示出的一種身份註冊流程；圖2是本發明一示例性實施例示出的一種唇語和語音一致性判斷流程；圖3是本發明一示例性實施例示出的一種人臉特徵識別的流程； 圖4是本發明一示例性實施例示出的一種聲紋特徵識別的流程；圖5是本發明一示例性實施例示出的一種身份認證流程；圖6是本發明一示例性實施例示出的一種身份認證裝置的結構圖；圖7是本發明一示例性實施例示出的一種身份認證裝置的結構圖。
這裏將詳細地對示例性實施例進行說明，其示例係表示在附圖中。下面的描述有關附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的元件。以下示例性實施例中所描述的實施模式並不代表與本發明相一致的所有實施模式。相反地，它們僅是與如所附申請專利範圍中所詳述的、本發明的一些態樣相一致的裝置和方法的例子。
本發明實施例提供的身份認證方法，可以應用於互聯網身份認證，例如，在登錄一個網路應用時，經過該方法的身份認證才允許登錄，以此確保應用使用的安全性。
如下以登錄一個具有較高安全性要求的應用為例，假設該應用可以運行在用戶的智慧設備，例如，智慧手機、智慧平板等設備。當用戶要在自己的智慧設備上登錄該應用時，可以透過該智慧設備上的相機和麥克風採集音視頻 流，比如，用戶可以對著自己手機的相機和麥克風讀出自己的應用ID，該應用ID可以是用戶在該應用註冊的帳號“123456”，當用戶朗讀完畢，手機可以採集到用戶的音視頻流，包括用戶的視頻影像和朗讀的語音。
本發明實施例的身份認證方法，可以基於該採集到的音視頻流來進行處理，在進行認證之前，用戶還需要進行身份註冊流程，後續根據註冊的資訊來進行身份認證，註冊流程也是基於如上述的採集音視頻流。如下將分別描述身份註冊流程和身份認證流程，此外，該身份註冊或認證的處理，本實施例不限制實際應用時的執行設備，比如，智慧手機採集到用戶的音視頻流後，可以將音視頻流傳輸至應用後端的伺服器處理，或者一部分處理在智慧手機的用戶端側，另一部分處理在伺服器側，或者還可以採用其他方式。
身份註冊
本實施例的方法中，用戶在進行身份註冊時，可以包括兩類資訊，其中，一類資訊是：物件標識，例如，以用戶登錄某應用的例子，該用戶可以稱為目標物件，當用戶在該應用註冊時，該用戶在應用中用於與其他用戶區分的資訊即為物件標識，比如可以是用戶在應用的帳號123456，該帳號123456即為目標物件的物件標識。另一類資訊是能夠唯一標識用戶的生理性資訊，比如，用戶的聲紋特徵，或者用戶的人臉特徵等，通常不同人的聲紋和 人臉是不同的，可以將標識各個用戶的生理性資訊稱為模板生理特徵。
將上述的物件標識和模板生理特徵這兩類資訊建立對應關係，並進行儲存，可以將對應儲存的目標物件的物件標識和模板生理特徵，稱為“物件註冊資訊”。例如，用戶小張可以儲存其物件註冊資訊為“123456──模板生理特徵A”，其中，為了更準確地標識用戶，本例子採用的模板生理特徵中包括的生理性資訊的類型可以為至少兩種，比如，人臉和聲紋。
圖1示例了一個例子中的身份註冊流程，包括如下處理：
在步驟101中，獲取目標物件的待註冊音視頻流。
例如，以一個用戶註冊某應用為例，用戶可以對著自己的智慧設備如手機讀出自己在應用的帳號“123456”。本例子中，可以將正在註冊的用戶稱為目標物件，智慧設備的相機和麥克風可以採集到該用戶朗讀時的音視頻流，可以將註冊時採集的該音視頻流稱為待註冊音視頻流，其包括音頻流和視頻流，音頻流即為用戶朗讀的語音，視頻流即為用戶朗讀時的視頻影像。
在獲取到本步驟的音視頻流後，如果要完成用戶的註冊，可以執行三個態樣的處理，請繼續參見圖1：一個態樣的處理是，在步驟102中，判斷待註冊音視頻流中的唇語和語音是否滿足一致性。
這裏的一致性指的是，唇部的運動和語音所表示的運 動能否對應，比如，假設一個語音是“今天的天氣晴朗”，該語音是緩緩慢速的朗讀，語速較慢，而一個唇部運動是快速朗讀“今天的天氣晴朗”所使用的運動，顯然這兩個是對不上的，當唇部運動已經停止(內容已經讀完)時，語音卻還在繼續(....天氣晴朗)。這種情況可能出現在，比如，當攻擊者要設法通過用戶ID和人臉檢測時，可以透過一個該用戶(被攻擊的用戶)以前的視頻錄影來攻擊人臉檢測，並且攻擊者自己讀用戶ID來攻擊對語音內容ID的識別，如果這樣分別攻擊，有可能通過認證，但是通常在這種攻擊方式中，唇語和語音是不一致的，可以透過一致性判斷而識別出並不是本人在朗讀。
如步驟102所示，如果判斷結果為待註冊音視頻流中的唇語和語音不滿足一致性，可以提示用戶註冊失敗，或者如圖1所示，轉至步驟101重新採集音視頻流，以防處理失誤。
否則，如果判斷結果為兩者滿足一致性，則可以執行步驟103，將根據採集的音視頻流中的音頻流進行語音識別得到的語音內容，用作為目標物件的物件標識。語音識別即使用電腦技術來自動識別人所說語音的內容，亦即由語音到內容的識別過程。比如，對於待註冊用戶朗讀“123456”的音頻進行語音識別後，得到該音頻流中的語音內容即為“123456”，可以將識別得到的內容用作為用戶的標識，亦即用戶ID。
上述的對音頻流進行語音識別，可以是在確定唇語和 語音滿足一致性後，對語音的音頻流識別得到物件標識；或者，還可以是在判斷唇語和語音是否滿足一致性的過程中，對音頻流識別得到物件標識。
另一個態樣的處理是，對待註冊音視頻流進行生理識別，得到所述待註冊音視頻流的模板生理特徵。在本例中，生理特徵係以人臉特徵和聲紋特徵為例，但不局限於這兩種特徵，只要是能夠唯一標識用戶、能夠區分不同用戶的生理性特徵都可以。在本態樣中，參見步驟104所示，可以對待註冊音視頻流中的音頻流進行聲紋識別，得到目標物件的聲紋特徵。
再一個態樣的處理是，對待註冊音視頻流中的視頻流進行人臉檢測，得到目標物件的人臉特徵。
在該註冊流程中，可以將上述檢測得到的人臉特徵稱為模板人臉特徵，用作為後續認證過程中的標準，同樣地，將檢測得到的聲紋特徵稱為模板聲紋特徵，而模板聲紋特徵和模板人臉特徵可以統稱為模板生理特徵。
本實施例還將模板生理特徵和目標物件的物件標識，稱為物件註冊資訊，在確定物件註冊資訊中的資料完整後，在步驟106中，將目標物件的物件標識及對應的模板生理特徵，用作為物件註冊資訊儲存入資料庫中。
此外，在圖1所示的三個態樣的處理中，這三個態樣的執行順序不做限制，比如，在步驟101獲取到待註冊音視頻流後，可以並列執行上述三態樣處理，如果唇語和語音不一致，可以將識別的聲紋特徵和人臉特徵不儲存；或 者，也可以先執行唇語和語音一致性的判斷，在通過一致性確定後，再執行聲紋特徵和人臉特徵的檢測識別。
圖2示例了圖1中的唇語和語音一致性判斷的流程，可以包括：
在步驟201中，根據待註冊音視頻流中的音頻流，進行端點檢測。本步驟可以從連續的音頻流中檢測出這段音頻流的起始時間和終止時間。
在步驟202中，根據音頻流進行連續語音特徵提取，所述特徵包括但不限於MFCC特徵、LPCC特徵。本步驟提取的特徵可以用於語音識別。
在步驟203中，識別音頻流中的語音單字元及對應時間點。本步驟中，可以根據步驟202中提取的語音特徵而識別出音頻流中的各個單字元，並且確定其對應的出現和消失的時間點。所述語音識別的方法，包括但不限於隱馬爾可夫模型(Hidden Markov Mode,HMM)、深度神經網路(Deep Neural Networ,DNN)和長短時記憶模型(Long Short Time Model,LSTM)等方法。
在步驟204中，根據待註冊音視頻流中的視頻流而檢測唇部所在的位置。本步驟可以從視頻影像中檢測出唇部所在位置。
在步驟205中，對檢測出的唇部影像的品質進行判斷，例如，可以判斷唇部位置的清晰度和曝光度等參數，若清晰度不夠或者曝光度過高，則判斷為品質不合格，可以返回重新採集待註冊音視頻流。若品質合格則繼續執行 步驟206，繼續進行唇語識別。
在步驟206中，進行唇部連續特徵提取，本步驟可以從連續的唇部影像中提取特徵，所述特徵包括但不限於裸像素、或者LBP、Gabor、SIFT、Surf等局部影像描述子。
在步驟207中，識別視頻流中的唇語單字元及對應時間點。本步驟的唇語字元識別可以使用隱馬爾可夫(HMM)或者長短時記憶模型等方法，單個唇語字元在視頻時間序列中對應的時間點也由該模型在進行唇語識別時確定。
在步驟208中，判斷唇語和語音的單字元及對應時間點是否滿足一致性。例如，本步驟可以將語音單字元的時間點資訊與唇語單字元的時間點資訊進行比對，如果比對結果一致，則認為該音頻流是真人所說，繼續執行步驟209；若不一致，則懷疑為攻擊行為，則返回重新開始註冊流程。本實施例的對唇語和語音的字元和對應時間點的一致性檢測方式，這種方式更加細化，可以對真人語音的判斷有更高的準確性。
在步驟209中，可以根據步驟202中提取的語音特徵而進行語音識別，得到用戶ID即為物件標識。所述語音識別的方法，包括但不限於隱馬爾可夫模型(Hidden Markov Mode,HMM)、深度神經網路(Deep Neural Networ,DNN)和長短時記憶模型(Long Short Time Model,LSTM)等方法。
此外，在上述圖2所示的例子中，對音頻流的語音識別可以在確定唇語和語音滿足一致性之後的步驟209中執行；或者，還可以是在步驟203中識別音頻流中的單字元時間點時，同時根據語音特徵進行語音識別得到用戶ID，那麼在這種情況下，當在步驟208確定唇語和語音滿足一致性之後，就可以直接將前面識別到的用戶ID用作為物件標識。
圖3示例了圖1中的人臉特徵識別的流程，可以包括：
在步驟301中，根據待註冊音視頻流中的視頻流而檢測人臉影像。本步驟可以從音視頻流中的視頻流中提取視頻框影像，並檢測其中是否出現人臉，如果出現則繼續執行302，否則返回繼續判斷。
在步驟302中，檢測人臉影像的品質。本步驟可以對步驟301中檢測到的人臉進行人臉特徵點檢測，根據特徵點檢測的結果判斷人臉在水平方向和垂直方向的角度，若都在一定的傾角範圍內，則滿足品質要求，否則，不滿足品質要求；同時判斷人臉區域的清晰度和曝光度等參數，也需要在一定的閾值範圍內滿足要求。如果人臉影像的品質較好，可以更佳地識別到人臉特徵。
在步驟303中，對於滿足品質要求的人臉影像，可以從人臉影像中提取特徵向量，所述特徵向量包括但不限於：局部二值模式特徵(Local Binary Pattern,LBP)、Gabor特徵、卷積神經網路特徵(Convolutional Neural Network,CNN)等。
在步驟304中，將在步驟303中提取的多個人臉特徵向量進行融合或者組合，構成用戶的唯一人臉特徵，亦即模板人臉特徵。
圖4示例了圖1中的聲紋特徵識別的流程，可以包括：
在步驟401中，獲取待註冊音視頻流中的音頻流。
本例子的聲紋特徵識別可以根據待註冊音視頻流中的音頻流來執行。
在步驟402中，確定音頻流的音頻品質滿足品質標準條件。
本步驟中，可以對音頻品質進行判斷，採集的音頻流的品質較好時，對音頻進行聲紋識別的效果就更好，因此，可以在進行後續的聲紋識別之前，先對音頻流的品質進行判定。比如，可以計算音頻流中的人聲信號強度、信噪比等資訊，以判斷這段語音是否符合品質標準條件，比如，該品質標準條件可以是設定信噪比在一定的範圍內，人聲信號強度高於一定的強度閾值等。如果品質通過，可以繼續執行步驟403；否則可以重新採集待註冊音視頻流。
在步驟403中，從音頻流中提取聲紋特徵向量。
在本例中，待註冊音視頻流的數量可以有多條，比如，用戶可以讀兩次自己的用戶ID，對應採集到兩條音視頻流。在本步驟中，可以提取其中的每一條音視頻流中 的音頻流的聲紋特徵向量，該特徵向量的提取可以採用多種習知方式，不再詳述，比如，可以從音頻流的語音信號中提取語音特徵參數MFCC(Mel Frequency Cepstrum Coefficient，梅爾頻率倒譜係數)特徵，然後使用i-vector(一種說話人識別演算法)和PLDA(Probabilistic Linear Discriminant Analysis，聲紋識別的通道補償演算法)等方法來計算特徵向量。
在步驟404中，判斷多條音頻流的聲紋特徵向量是否滿足一致性。
例如，當用戶在註冊時朗讀了至少兩次自己的用戶ID時，採集到的音頻流是對應的至少兩條。為了確保該多條音頻流之間的聲紋特徵的差別不會過大，所以可以進行多條音頻流之間的聲紋一致性判斷。比如，可以根據在步驟403中由每條音頻流提取的聲紋特徵向量，計算該多條音頻流之間的相似度分數。
若該相似度分數在一定的分數閾值範圍內，則表示音頻流之間滿足相似要求，可以繼續執行步驟405；否則，表明用戶輸入的這多次音頻差別太大，可以指示正在註冊的用戶重新朗讀其用戶ID，亦即重新採集音頻流。
在步驟405中，根據多條音頻流的聲紋特徵向量而產生模板聲紋特徵。
本步驟中，可以根據在前面步驟中分別對各條音頻流提取的聲紋特徵向量進行加權求和，以得到模板聲紋特徵。
在完成上述的註冊流程後，在資料庫中已經儲存了目標物件的物件註冊資訊，該物件註冊資訊可以包括物件標識和對應的模板生理特徵，該模板生理特徵可以包括模板聲紋特徵和模板人臉特徵，如下可以根據該物件註冊資訊來執行物件的身份認證處理。
身份認證
圖5示例了一個例子中的身份認證流程，在該流程中，認證所使用的生理特徵以綜合人臉特徵和聲紋特徵為例來說明，並且，可以在確定正在認證的目標物件是活體物件而非錄影視頻後，再進行生理特徵的比對。如圖5所示，該認證流程包括如下處理：
在步驟501中，獲取採集到的音視頻流，所述音視頻流從待認證的目標物件所產生。
例如，假設用戶要登錄某個安全性要求較高的應用，需要通過該應用的身份認證才能登錄。在本步驟中，用戶可以在自己的智慧設備例如智慧手機上打開應用的用戶端，並且用戶可以透過智慧手機的相機和麥克風來採集待認證的音視頻流，該音視頻流可以是用戶朗讀自己的應用ID。
在步驟502中，判斷音視頻流中的唇語和語音是否滿足一致性。
本例子中，可以先判斷音視頻流中的唇語和語音是否滿足一致性，具體判斷一致性的流程可以參見圖2，不再 詳述。
如果滿足一致性，表明正在認證的目標物件是活體而非錄影視頻等，則繼續執行步驟503；否則，可以返回執行501重新採集。
在步驟503中，對音視頻流中的音頻流進行語音識別，得到音頻流的語音內容。例如，識別到的語音內容可以是用戶ID“123456”。
在步驟504中，將語音內容用作為目標物件的物件標識，判斷預儲存的物件註冊資訊中是否包括該物件標識。
例如，若預儲存的物件註冊資訊中包括所述物件標識，可以在物件註冊資訊中獲取所述物件標識對應的模板生理特徵，例如模板人臉特徵和模板聲紋特徵，並繼續對待認證的音視頻流進行生理識別，得到目標物件的生理特徵，以與模板生理特徵進行比對。如果預儲存的物件註冊資訊中未包括物件標識，可以提示用戶未註冊。
在步驟505中，對音視頻流進行聲紋識別，得到目標物件的聲紋特徵。本步驟的聲紋特徵的提取可以參見圖4。
在步驟506中，對音視頻流進行人臉識別，得到目標物件的人臉特徵。
然後可以將目標物件的生理特徵與模板生理特徵比對，得到比對結果，若所述比對結果滿足認證條件，則確認所述目標物件通過認證。例如包括如下的步驟507至步驟509。
在步驟507中，將目標物件的聲紋特徵與模板聲紋特徵比對，得到聲紋比對分數。
在步驟508中，將目標物件的人臉特徵與模板人臉特徵比對，得到人臉比對分數。
在步驟509中，判斷聲紋比對分數和人臉比對分數是否滿足認證條件。
例如，若所述聲紋比對分數和人臉比對分數滿足如下至少一種，則確認所述目標物件通過認證：所述聲紋比對分數大於聲紋分數閾值，且人臉比對分數大於人臉分數閾值；或者，所述聲紋比對分數和人臉比對分數的乘積大於對應的乘積閾值；或者，所述聲紋比對分數和人臉比對分數的加權和大於對應的加權閾值。
若在本步驟中確定聲紋比對分數和人臉比對分數滿足認證條件，則確認目標物件通過認證；否則，確定目標物件未通過認證。
此外，在本身份認證的例子中，與前面的身份註冊流程類似，對音頻流進行語音識別而得到用戶ID的處理，既可以在確定唇語和語音滿足一致性之後執行，也可以在識別音頻流中的單字元時間點時同時獲得用戶ID。在上面的例子中，是以在確定唇語和語音滿足一致性之後再識別用戶ID為例。
本發明實施例的身份認證方法，使得用戶在認證時，只需要產生一次音視頻流即可，比如用戶讀一次自己的用戶ID即可，該方法就可以根據該音頻音視頻流進行語音 識別而得到用戶ID，並且還可以透過該同一個音視頻流來校驗人臉特徵和聲紋特徵，這種方式不僅簡化了用戶操作，提高了認證效率，並且也保持了1：1的認證方式，亦即識別到的生理特徵只與資料庫中的物件標識對應的特徵比較，確保了識別的精度；此外，還方法還透過唇語和語音的一致性判斷確保了目標物件是活體，防止了攻擊者偽造的視頻錄影，提高了認證的安全性和可靠性；該方法中的用戶ID、識別得到的生理特徵，都是基於同一個音視頻流而得到，能夠在一定程度上識別攻擊者的偽造音視頻流。
為了實現上述的身份認證方法，本發明實施例還提供了一種身份認證裝置，如圖6所示，該裝置可以包括：資訊獲取模組61、標識確定模組62、資訊管理模組63、特徵識別模組64和認證處理模組65。
資訊獲取模組61，用以獲取採集到的音視頻流，所述音視頻流從待認證的目標物件所產生；標識確定模組62，用以判斷所述音視頻流中的唇語和語音是否滿足一致性，若滿足一致性，則將對所述音視頻流中的音頻流進行語音識別得到的語音內容，用作為所述目標物件的物件標識；資訊管理模組63，用於若預儲存的物件註冊資訊中包括所述物件標識，在所述物件註冊資訊中獲取所述物件標識對應的模板生理特徵；特徵識別模組64，用以對所述音視頻流進行生理識 別，得到所述目標物件的生理特徵；認證處理模組65，用以將所述目標物件的生理特徵與模板生理特徵比對，得到比對結果，若所述比對結果滿足認證條件，則確認目標物件通過認證。
參見圖7，在一個例子中，特徵識別模組64可以包括：聲紋識別子模組641和人臉識別子模組642。
所述聲紋識別子模組641，用以對所述音視頻流進行聲紋識別，得到所述目標物件的聲紋特徵；所述人臉識別子模組642，用以對所述音視頻流進行人臉識別，得到所述目標物件的人臉特徵；所述認證處理模組65，用以將所述目標物件的聲紋特徵與模板聲紋特徵比對，得到聲紋比對分數，並將所述目標物件的人臉特徵與模板人臉特徵比對，得到人臉比對分數，若所述聲紋比對分數和人臉比對分數滿足認證條件，則確認所述目標物件通過認證。
在一個例子中，若所述聲紋比對分數和人臉比對分數滿足如下至少一種，則確認所述目標物件通過認證：所述聲紋比對分數大於聲紋分數閾值，且人臉比對分數大於人臉分數閾值；或者，所述聲紋比對分數和人臉比對分數的乘積大於對應的乘積閾值；或者，所述聲紋比對分數和人臉比對分數的加權和大於對應的加權閾值。
在一個例子中，如圖7所示，標識確定模組62可以包括：字元識別子模組621，用以對音視頻流中的音頻流進 行語音單字元及對應時間點識別，對音視頻流中的視頻流進行唇語單字元及對應時間點識別；一致判斷子模組622，用於若所述語音和唇語的單字元及對應時間點一致，則確定滿足一致性。
在一個例子中，所述資訊獲取模組61，還用以獲取所述目標物件的待註冊音視頻流；所述標識確定模組62，還用以在所述待註冊音視頻流中的唇語和語音滿足一致性時，將對所述音視頻流中的音頻流進行語音識別得到的語音內容，用作為所述目標物件的物件標識；所述特徵識別模組64，還用以對所述待註冊音視頻流進行生理識別，得到所述待註冊音視頻流的所述模板生理特徵；所述資訊管理模組63，還用以將所述目標物件的物件標識及對應的所述模板生理特徵，對應儲存在所述物件註冊資訊中。
以上所述僅為本發明的較佳實施例而已，並不用來限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明所保護的範圍之內。

Claims (6)

  1. 一種身份認證方法，其特徵在於，該方法包括：透過手機的相機和麥克風獲取目標物件的待註冊音視頻流，該待註冊音視頻流包括音頻流和視頻流；判斷該待註冊音視頻流中的唇語和語音是否滿足一致性，在該待註冊音視頻流中的唇語和語音滿足一致性時，將對該音視頻流中的該音頻流使用電腦技術進行語音識別而自動識別得到的語音內容，用作為該目標物件的物件標識；對該待註冊音視頻流進行生理識別，得到該待註冊音視頻流的模板生理特徵，其中，該生理特徵包括人臉特徵和聲紋特徵，包括：對該待註冊音視頻流中的音頻流進行聲紋識別，得到該目標物件的聲紋特徵；對該待註冊音視頻流中的視頻流進行人臉識別，得到該目標物件的人臉特徵；將該目標物件的該物件標識及對應的該模板生理特徵用作為物件註冊資訊而儲存在資料庫中；透過該手機的該相機和該麥克風獲取待認證的音視頻流，該音視頻流從待認證的目標物件所產生；判斷該音視頻流中的唇語和語音是否滿足一致性，若滿足一致性，則對該音視頻流中的音頻流進行語音識別，得到該音頻流的語音內容；將該語音內容用作為該目標物件的物件標識，判斷預 儲存的物件註冊資訊中是否包括該物件標識；若該預儲存的物件註冊資訊中包括該物件標識，則在該物件註冊資訊中獲取該物件標識對應的模板生理特徵，該模板生理特徵包括模板人臉特徵和模板聲紋特徵；對該音視頻流進行生理識別，得到該目標物件的生理特徵，該生理特徵包括聲紋特徵和人臉特徵，其中，該對該音視頻流進行生理識別而得到該目標物件的生理特徵，包括：對該音視頻流進行聲紋識別，得到該目標物件的聲紋特徵；對該音視頻流進行人臉識別，得到該目標物件的人臉特徵；以及將該目標物件的生理特徵與模板生理特徵進行比對，得到比對結果，若該比對結果滿足認證條件，則確認該目標物件通過認證，包括：將該目標物件的聲紋特徵與模板聲紋特徵比對，得到聲紋比對分數；將該目標物件的人臉特徵與模板人臉特徵比對，得到人臉比對分數；以及若該聲紋比對分數和人臉比對分數滿足認證條件，則確認該目標物件通過認證。
  2. 根據申請專利範圍第1項所述的方法，其中，若該聲紋比對分數和人臉比對分數滿足如下至少一者，則確認該目標物件通過認證： 該聲紋比對分數大於聲紋分數閾值，且人臉比對分數大於人臉分數閾值；或者，該聲紋比對分數和人臉比對分數的乘積大於對應的乘積閾值；或者，該聲紋比對分數和人臉比對分數的加權和大於對應的加權閾值。
  3. 根據申請專利範圍第1項所述的方法，其中，該判斷該音視頻流中的唇語和語音是否滿足一致性，若滿足一致性，包括：對該音視頻流中的音頻流進行語音單字元及對應時間點識別；對該音視頻流中的視頻流進行唇語單字元及對應時間點識別；以及若該語音和唇語的單字元及對應時間點一致，則確定滿足一致性。
  4. 一種身份認證裝置，其特徵在於，該裝置包括：資訊獲取模組，用以透過手機的相機和麥克風獲取目標物件的待註冊音視頻流，該待註冊音視頻流包括音頻流和視頻流；標識確定模組，用以判斷該待註冊音視頻流中的唇語和語音是否滿足一致性，在該待註冊音視頻流中的唇語和語音滿足一致性時，將對該音視頻流中的音頻流使用電腦技術進行語音識別而自動識別得到的語音內容，用作為該目標物件的物件標識；特徵識別模組，用以對該待註冊音視頻流進行生理識別，得到該待註冊音視頻流的模板生理特徵，其中，該生 理特徵包括人臉特徵和聲紋特徵，包括：對該待註冊音視頻流中的音頻流進行聲紋識別，得到該目標物件的聲紋特徵；對該待註冊音視頻流中的視頻流進行人臉識別，得到該目標物件的人臉特徵；資訊管理模組，用以將該目標物件的物件標識及對應的該模板生理特徵用作為物件註冊資訊而儲存在資料庫中；該資訊獲取模組，還用以透過該手機的該相機和該麥克風獲取待認證的音視頻流，該音視頻流從待認證的目標物件所產生；該標識確定模組，還用以判斷該音視頻流中的唇語和語音是否滿足一致性，若滿足一致性，則對該音視頻流中的音頻流進行語音識別，得到該音頻流的語音內容，將該語音內容用作為該目標物件的物件標識，判斷預儲存的物件註冊資訊中是否包括該物件標識；該資訊管理模組，用於若該預儲存的物件註冊資訊中包括該物件標識，則在該物件註冊資訊中獲取該物件標識對應的模板生理特徵；該特徵識別模組，用以對該音視頻流進行生理識別，得到該目標物件的生理特徵，該特徵識別模組包括聲紋識別子模組和人臉識別子模組，其中：該聲紋識別子模組，用以對該音視頻流進行聲紋識別，得到該目標物件的聲紋特徵； 該人臉識別子模組，用以對該音視頻流進行人臉識別，得到該目標物件的人臉特徵；以及認證處理模組，用以將該目標物件的生理特徵與模板生理特徵進行比對，得到比對結果，若該比對結果滿足認證條件，則確認目標物件通過認證，其中：該認證處理模組，用以將該目標物件的聲紋特徵與模板聲紋特徵比對，得到聲紋比對分數，並將該目標物件的人臉特徵與模板人臉特徵比對，得到人臉比對分數，若該聲紋比對分數和人臉比對分數滿足認證條件，則確認該目標物件通過認證。
  5. 根據申請專利範圍第4項所述的裝置，其中，若該聲紋比對分數和人臉比對分數滿足如下至少一者，則確認該目標物件通過認證：該聲紋比對分數大於聲紋分數閾值，且人臉比對分數大於人臉分數閾值；或者，該聲紋比對分數和人臉比對分數的乘積大於對應的乘積閾值；或者，該聲紋比對分數和人臉比對分數的加權和大於對應的加權閾值。
  6. 根據申請專利範圍第4項所述的裝置，其中，該標識確定模組包括：字元識別子模組，用以對該音視頻流中的音頻流進行語音單字元及對應時間點識別，對音視頻流中的視頻流進行唇語單字元及對應時間點識別；以及一致判斷子模組，用於若該語音和唇語的單字元及對應時間點一致，則確定滿足一致性。
TW106108380A 2016-05-19 2017-03-14 身份認證方法和裝置 TWI706268B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610340549.4 2016-05-19
CN201610340549.4A CN107404381A (zh) 2016-05-19 2016-05-19 一种身份认证方法和装置

Publications (2)

Publication Number Publication Date
TW201741921A TW201741921A (zh) 2017-12-01
TWI706268B true TWI706268B (zh) 2020-10-01

Family

ID=60324817

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106108380A TWI706268B (zh) 2016-05-19 2017-03-14 身份認證方法和裝置

Country Status (16)

Country Link
US (1) US10789343B2 (zh)
EP (1) EP3460697B1 (zh)
JP (2) JP2019522840A (zh)
KR (1) KR102196686B1 (zh)
CN (1) CN107404381A (zh)
AU (1) AU2017266971B2 (zh)
BR (1) BR112018073635A2 (zh)
CA (1) CA3024565C (zh)
MX (1) MX2018014147A (zh)
MY (1) MY192351A (zh)
PH (1) PH12018502437A1 (zh)
RU (1) RU2738325C2 (zh)
SG (1) SG11201810131VA (zh)
TW (1) TWI706268B (zh)
WO (1) WO2017198014A1 (zh)
ZA (1) ZA201807860B (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6778010B2 (ja) * 2016-04-13 2020-10-28 キヤノン株式会社 画像識別システム、画像識別方法
CN107404381A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 一种身份认证方法和装置
WO2018108263A1 (en) * 2016-12-14 2018-06-21 Telefonaktiebolaget Lm Ericsson (Publ) Authenticating a user subvocalizing a displayed text
US10839003B2 (en) 2017-09-27 2020-11-17 International Business Machines Corporation Passively managed loyalty program using customer images and behaviors
US10795979B2 (en) 2017-09-27 2020-10-06 International Business Machines Corporation Establishing personal identity and user behavior based on identity patterns
US10776467B2 (en) 2017-09-27 2020-09-15 International Business Machines Corporation Establishing personal identity using real time contextual data
US10803297B2 (en) 2017-09-27 2020-10-13 International Business Machines Corporation Determining quality of images for user identification
KR20190046063A (ko) * 2017-10-25 2019-05-07 현대자동차주식회사 사용자 인증 시스템, 사용자 인증 방법 및 서버
US10565432B2 (en) * 2017-11-29 2020-02-18 International Business Machines Corporation Establishing personal identity based on multiple sub-optimal images
CN108052813A (zh) * 2017-11-30 2018-05-18 广东欧珀移动通信有限公司 终端设备的解锁方法、装置及移动终端
CN117632482A (zh) * 2017-12-08 2024-03-01 谷歌有限责任公司 数字语音助理计算设备当中的信号处理协调
US10971173B2 (en) 2017-12-08 2021-04-06 Google Llc Signal processing coordination among digital voice assistant computing devices
CN108074575A (zh) * 2017-12-14 2018-05-25 广州势必可赢网络科技有限公司 一种基于循环神经网络的身份验证方法及装置
TWI661329B (zh) * 2017-12-15 2019-06-01 鴻海精密工業股份有限公司 身份資訊關聯系統與方法、電腦存儲介質及使用者設備
CN110288349A (zh) * 2018-03-16 2019-09-27 杭州海康威视数字技术股份有限公司 用户信息管理方法、装置及系统、存储介质
CN108597523B (zh) * 2018-03-23 2019-05-17 平安科技（深圳）有限公司 说话人认证方法、服务器及计算机可读存储介质
CN108712381A (zh) * 2018-04-16 2018-10-26 出门问问信息科技有限公司 一种身份验证方法及装置
CN108446674A (zh) * 2018-04-28 2018-08-24 平安科技（深圳）有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
US10678899B2 (en) * 2018-05-24 2020-06-09 Nice Ltd. System and method for performing voice biometrics analysis
CN108682424A (zh) * 2018-07-13 2018-10-19 广州势必可赢网络科技有限公司 一种音频采集设备及方法
CN109344703B (zh) * 2018-08-24 2021-06-25 深圳市商汤科技有限公司 对象检测方法及装置、电子设备和存储介质
CN109409204B (zh) * 2018-09-07 2021-08-06 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109271915B (zh) * 2018-09-07 2021-10-08 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109461437B (zh) * 2018-11-28 2023-05-09 平安科技（深圳）有限公司 唇语识别的验证内容生成方法及相关装置
JP7299708B2 (ja) * 2019-01-15 2023-06-28 グローリー株式会社 認証システム、管理装置及び認証方法
CN109801638B (zh) * 2019-01-24 2023-10-13 平安科技（深圳）有限公司 语音验证方法、装置、计算机设备及存储介质
CN109872714A (zh) * 2019-01-25 2019-06-11 广州富港万嘉智能科技有限公司 一种提高语音识别准确性的方法、电子设备及存储介质
CN110113319A (zh) * 2019-04-16 2019-08-09 深圳壹账通智能科技有限公司 身份认证方法、装置、计算机设备和存储介质
CN110223710A (zh) * 2019-04-18 2019-09-10 深圳壹账通智能科技有限公司 多重联合认证方法、装置、计算机装置及存储介质
CN110110513A (zh) * 2019-04-24 2019-08-09 上海迥灵信息技术有限公司 基于人脸和声纹的身份认证方法、装置和存储介质
CN110288286A (zh) * 2019-05-21 2019-09-27 深圳壹账通智能科技有限公司 基于身份验证的物品入库方法、装置、设备及存储介质
CN110324314B (zh) * 2019-05-23 2023-04-18 深圳壹账通智能科技有限公司 用户注册方法及装置、存储介质、电子设备
CN110569707A (zh) * 2019-06-25 2019-12-13 深圳和而泰家居在线网络科技有限公司 一种身份识别方法和电子设备
CN110364163A (zh) * 2019-07-05 2019-10-22 西安交通大学 一种语音和唇语相融合的身份认证方法
CN110348378A (zh) * 2019-07-10 2019-10-18 北京旷视科技有限公司 一种认证方法、装置和存储介质
WO2021007857A1 (zh) * 2019-07-18 2021-01-21 深圳海付移通科技有限公司 一种身份验证方法、终端设备、存储介质
CN110517106A (zh) * 2019-07-24 2019-11-29 合肥善达信息科技有限公司 一种用于评标的专家身份认证系统及其实时监测方法
TWI822646B (zh) * 2019-08-07 2023-11-11 華南商業銀行股份有限公司 基於唇部動態影像的身分驗證裝置及方法
TWI801647B (zh) * 2019-08-07 2023-05-11 華南商業銀行股份有限公司 基於動態影像的身分驗證裝置及方法
CN110491413B (zh) * 2019-08-21 2022-01-04 中国传媒大学 一种基于孪生网络的音频内容一致性监测方法及系统
CN110717407A (zh) * 2019-09-19 2020-01-21 平安科技（深圳）有限公司 基于唇语密码的人脸识别方法、装置及存储介质
CN110602405A (zh) * 2019-09-26 2019-12-20 上海盛付通电子支付服务有限公司 拍摄方法和装置
CN110738159A (zh) * 2019-10-11 2020-01-31 中国建设银行股份有限公司 用于实现变更企业实际控制人的在线股东大会方法、装置
CN111160928A (zh) * 2019-12-16 2020-05-15 深圳前海微众银行股份有限公司 一种验证身份的方法及装置
CN111178287A (zh) * 2019-12-31 2020-05-19 云知声智能科技股份有限公司 一种声像融合的端对端身份识别方法及装置
CN116797971A (zh) * 2019-12-31 2023-09-22 支付宝实验室(新加坡)有限公司 一种视频流识别方法及装置
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11403369B2 (en) 2020-01-21 2022-08-02 Disney Enterprises, Inc. Secure content processing pipeline
US11425120B2 (en) 2020-02-11 2022-08-23 Disney Enterprises, Inc. Systems for authenticating digital contents
US20220318349A1 (en) * 2020-03-24 2022-10-06 Rakuten Group, Inc. Liveness detection using audio-visual inconsistencies
CN111667835A (zh) * 2020-06-01 2020-09-15 马上消费金融股份有限公司 语音识别方法、活体检测方法、模型训练方法及装置
CN111881726B (zh) * 2020-06-15 2022-11-25 马上消费金融股份有限公司 一种活体检测方法、装置及存储介质
CN111814732B (zh) * 2020-07-23 2024-02-09 度小满科技(北京)有限公司 一种身份验证方法及装置
CN112102546A (zh) * 2020-08-07 2020-12-18 浙江大华技术股份有限公司 一种人机交互控制方法、对讲呼叫方法及相关装置
GB202014436D0 (en) * 2020-09-14 2020-10-28 Voice Biometrics Limted Multifactor voice and face authentication systems and methods
CN112133311B (zh) * 2020-09-18 2023-01-17 科大讯飞股份有限公司 说话人识别方法、相关设备及可读存储介质
CN112435653A (zh) * 2020-10-14 2021-03-02 北京地平线机器人技术研发有限公司 语音识别方法、装置和电子设备
CN112348527A (zh) * 2020-11-17 2021-02-09 上海桂垚信息科技有限公司 一种基于语音识别在银行交易系统中的身份认证方法
CN112491844A (zh) * 2020-11-18 2021-03-12 西北大学 一种基于可信执行环境的声纹及面部识别验证系统及方法
CN112397072B (zh) * 2021-01-18 2021-04-30 深圳市声扬科技有限公司 语音检测方法、装置、电子设备及存储介质
KR20220138669A (ko) * 2021-04-06 2022-10-13 삼성전자주식회사 개인화 오디오 정보를 제공하기 위한 전자 장치 및 방법
CN113347608B (zh) * 2021-06-11 2023-05-12 焦作大学 一种用于车辆的物联网可信认证方法
CN114677634B (zh) * 2022-05-30 2022-09-27 成都新希望金融信息有限公司 面签识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361276A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
CN104598796A (zh) * 2015-01-30 2015-05-06 科大讯飞股份有限公司 身份识别方法及系统
CN105141619A (zh) * 2015-09-15 2015-12-09 北京云知声信息技术有限公司 一种帐号登录方法及装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060206724A1 (en) * 2005-02-16 2006-09-14 David Schaufele Biometric-based systems and methods for identity verification
TWI326427B (en) 2005-06-22 2010-06-21 Egis Technology Inc Biometrics signal input device, computer system having the biometrics signal input device, and control method thereof
JP2007156974A (ja) * 2005-12-07 2007-06-21 Kddi Corp 個人認証・識別システム
KR101092820B1 (ko) * 2009-09-22 2011-12-12 현대자동차주식회사 립리딩과 음성 인식 통합 멀티모달 인터페이스 시스템
JP2011203992A (ja) 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2011215942A (ja) 2010-03-31 2011-10-27 Nec Personal Products Co Ltd ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム
US9100825B2 (en) 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
JP5492274B2 (ja) * 2012-10-25 2014-05-14 エヌ・ティ・ティ・コミュニケーションズ株式会社 認証装置、認証方法及び認証プログラム
US20140143551A1 (en) * 2012-11-21 2014-05-22 Leigh M. Rothschild Encoding biometric identification information into digital files
EP2974124A4 (en) * 2013-03-14 2016-10-19 Intel Corp VOICE AND / OR FACE RECOGNITION BASED SERVICE DELIVERY
US9003196B2 (en) * 2013-05-13 2015-04-07 Hoyos Labs Corp. System and method for authorizing access to access-controlled environments
RU2543958C2 (ru) * 2013-05-14 2015-03-10 Российская Федерация, от имени которой выступает Федеральная служба по техническому и экспортному контролю (ФСТЭК России) Способ контроля исполнения домашнего ареста с биометрической аутентификацией контролируемого
US9406295B2 (en) 2013-11-22 2016-08-02 Intel Corporation Apparatus and method for voice based user enrollment with video assistance
US9721079B2 (en) * 2014-01-15 2017-08-01 Steve Y Chen Image authenticity verification using speech
CN103841108B (zh) * 2014-03-12 2018-04-27 北京天诚盛业科技有限公司 用户生物特征的认证方法和系统
US9615224B2 (en) * 2015-02-19 2017-04-04 Cisco Technology, Inc. Zero touch deployment over a wireless wide area network
WO2016139655A1 (en) * 2015-03-01 2016-09-09 I Am Real Ltd. Method and system for preventing uploading of faked photos
CN104834900B (zh) * 2015-04-15 2017-12-19 常州飞寻视讯信息科技有限公司 一种联合声像信号进行活体检测的方法和系统
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统
CN107404381A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 一种身份认证方法和装置
US9686238B1 (en) * 2016-07-07 2017-06-20 Oceus Networks Inc. Secure network enrollment
US11868995B2 (en) * 2017-11-27 2024-01-09 Nok Nok Labs, Inc. Extending a secure key storage for transaction confirmation and cryptocurrency

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361276A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
CN104598796A (zh) * 2015-01-30 2015-05-06 科大讯飞股份有限公司 身份识别方法及系统
CN105141619A (zh) * 2015-09-15 2015-12-09 北京云知声信息技术有限公司 一种帐号登录方法及装置

Also Published As

Publication number Publication date
MY192351A (en) 2022-08-17
EP3460697A4 (en) 2019-05-08
CA3024565C (en) 2022-09-06
BR112018073635A2 (pt) 2019-02-26
US20190102531A1 (en) 2019-04-04
SG11201810131VA (en) 2018-12-28
WO2017198014A1 (zh) 2017-11-23
JP7109634B2 (ja) 2022-07-29
RU2018144787A3 (zh) 2020-06-19
EP3460697A1 (en) 2019-03-27
EP3460697B1 (en) 2021-12-08
AU2017266971B2 (en) 2021-05-13
JP2019522840A (ja) 2019-08-15
ZA201807860B (en) 2019-08-28
US10789343B2 (en) 2020-09-29
TW201741921A (zh) 2017-12-01
KR20190009361A (ko) 2019-01-28
JP2021182420A (ja) 2021-11-25
AU2017266971A1 (en) 2018-12-06
RU2738325C2 (ru) 2020-12-11
CN107404381A (zh) 2017-11-28
RU2018144787A (ru) 2020-06-19
KR102196686B1 (ko) 2020-12-31
CA3024565A1 (en) 2017-11-23
PH12018502437A1 (en) 2019-05-15
MX2018014147A (es) 2019-08-12

Similar Documents

Publication Publication Date Title
TWI706268B (zh) 身份認證方法和裝置
US11663307B2 (en) RtCaptcha: a real-time captcha based liveness detection system
EP3540621B1 (en) Identity authentication method and apparatus, terminal and server
TW201907330A (zh) 身份認證的方法、裝置、設備及資料處理方法
CN106709402A (zh) 基于音型像特征的真人活体身份验证方法
CN106599866A (zh) 一种多维度用户身份识别方法
CN109005104B (zh) 一种即时通信方法、装置、服务器及存储介质
JP2001092974A (ja) 話者認識方法及びその実行装置並びに音声発生確認方法及び装置
CN107346568B (zh) 一种门禁系统的认证方法和装置
Hassanat Visual passwords using automatic lip reading
JP7148737B2 (ja) 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
CN111611568A (zh) 一种人脸声纹复核终端及其身份认证方法
JP2007156974A (ja) 個人認証・識別システム
Shen et al. Secure mobile services by face and speech based personal authentication
Gofman et al. Hidden markov models for feature-level fusion of biometrics on mobile devices
Shenai et al. Fast biometric authentication system based on audio-visual fusion
Mohammed et al. Evaluation of Voice & Ear Biometrics Authentication System
Gofman et al. Quality-based score-level fusion for secure and robust multimodal biometrics-based authentication on consumer mobile devices
CN111611569A (zh) 一种人脸声纹复核终端及其身份认证方法
Ramya et al. Enhanced Speaker Verification Incorporated with Face Recognition
WO2023238953A1 (ja) 認証装置および認証方法
Dixit et al. SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People)
Kumar et al. Soundless Credential Validation based on Lip Synchronization in Image Processing.
Das et al. Multi-feature audio-visual person recognition
CN115512419A (zh) 一种视频的识别方法、系统、电子设备以及存储介质