TW202024992A - 基於多幀臉部圖像的比對方法、裝置和電子設備 - Google Patents

基於多幀臉部圖像的比對方法、裝置和電子設備 Download PDF

Info

Publication number
TW202024992A
TW202024992A TW108133227A TW108133227A TW202024992A TW 202024992 A TW202024992 A TW 202024992A TW 108133227 A TW108133227 A TW 108133227A TW 108133227 A TW108133227 A TW 108133227A TW 202024992 A TW202024992 A TW 202024992A
Authority
TW
Taiwan
Prior art keywords
face
images
image
facial
image set
Prior art date
Application number
TW108133227A
Other languages
English (en)
Other versions
TWI717834B (zh
Inventor
鄭丹丹
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW202024992A publication Critical patent/TW202024992A/zh
Application granted granted Critical
Publication of TWI717834B publication Critical patent/TWI717834B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本說明書實施例公開了一種基於多幀臉部圖像的比對方法、裝置和電子設備,該方法包括:擷取目標對象的多幀臉部圖像;從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合;當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中;基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。

Description

基於多幀臉部圖像的比對方法、裝置和電子設備
本說明書涉及電腦軟體技術領域,尤其涉及一種基於多幀臉部圖像的比對方法、裝置和電子設備。
目前,隨著支付場景中支付終端的層出不窮,刷臉支付成為潮流。 常見的刷臉支付在擷取圖像後,會選擇品質分最高的一幀人臉圖像,與留底人臉圖像進行比對。但是,考慮到攝影機擷取的圖像僅依賴品質分演算法來選擇一幀人臉圖像,而品質分演算法存在誤差,篩選出的一幀人臉圖像可能會出現模糊、遮擋等缺陷;另外,考慮到單幀人臉圖像的資訊量有限,無法最大化提升比對精確性。 因此,如何有效提升臉部圖像的比對精確度成為極待解決的技術問題。
本說明書實施例的目的是提供一種基於多幀臉部圖像的比對方法、裝置和電子設備,以有效提升臉部圖像的比對精確度。 為解決上述技術問題,本說明書實施例是這樣實現的: 第一方面,提出了一種基於多幀臉部圖像的比對方法,包括: 擷取目標對象的多幀臉部圖像; 從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中; 基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。 第二方面,提出了一種基於多幀臉部圖像的比對裝置,包括: 擷取模組,擷取目標對象的多幀臉部圖像; 第一選擇模組,從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 第二選擇模組,當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中; 比對模組,基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。 第三方面,提出了一種電子設備,包括: 處理器;以及 被安排成儲存電腦可執行指令的儲存器,所述可執行指令在被執行時使所述處理器執行以下操作: 擷取目標對象的多幀臉部圖像; 從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中; 基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。 第四方面,提出了一種電腦可讀儲存媒體,所述電腦可讀儲存媒體儲存一個或多個程式,所述一個或多個程式當被包括多個應用程式的電子設備執行時,使得所述電子設備執行以下操作: 擷取目標對象的多幀臉部圖像; 從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中; 基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。 由以上本說明書實施例提供的技術方案可見,藉由從擷取到的目標對象的多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合,並基於該第一臉部圖像,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,加入到候選圖像集合中,直至候選圖像集合中圖像達到預設數量,然後,基於候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對,從而,在增加候選臉部圖像幀數(保證足夠的資訊量)的同時,還保證了選擇的臉部圖像之間具有較大差異,進而,避免雜訊,提升比對結果準確性。
為了使本技術領域的人員更好地理解本說明書中的技術方案,下面將結合本說明書實施例中的圖式,對本說明書實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本說明書一部分實施例,而不是全部的實施例。基於本說明書中的實施例,本領域具有通常知識者在沒有作出創造性勞動前提下所獲得的所有其他實施例,都應當屬於本說明書保護的範圍。 實施例一 參照圖1所示,為本說明書實施例提供的基於多幀臉部圖像的比對方法步驟示意圖,該方法的執行主體可以是基於多幀臉部圖像的比對裝置,具體可以為臉部識別比對裝置、支付終端、自助終端等。所述比對方法可以包括以下步驟: S102:擷取目標對象的多幀臉部圖像。 在本說明書實施例中,所述目標對象的多幀臉部圖像,應當是針對同一目標用戶的臉部圖像。這些臉部圖像可以是基於不同標準選擇的,例如,基於最大臉邏輯從每幀圖像中選擇目標對象的臉部圖像,或是基於最近臉邏輯從每幀圖像中選擇目標對象的臉部圖像,也可以是基於其它方式確定目標對象的臉部圖像,本說明書並不對此進行限定。 在本說明書實施例中,一種可選的方案,S102在擷取目標對象的多幀臉部圖像時,可具體執行為: 追蹤拍攝的每幀臉部圖像; 基於追蹤結果擷取滿足品質分閾值的臉部圖像,並記錄每幀臉部圖像的屬性。 考慮到拍攝過程中一般持續2秒,為了保證追蹤到每一幀臉部圖像,且追蹤的均為所屬同一目標用戶的臉部圖像,可以採用追蹤方法來實現。其中,所涉及的追蹤方法可以基於直方圖的追蹤演算法、MeanShift演算法等實現。 應理解,本說明書中追蹤是指藉由圖像識別的方式將攝影機拍攝的當前幀的臉部圖像中臉部進行定位,並基於攝影機對該臉部進行追蹤,讓該臉部一直保持在攝影機擷取視野範圍內。 本說明書實施例中,品質分可以根據多種評估方式確定,一種可實現的方案,例如根據每幀臉部圖像的角度、光線等屬性確定該幀臉部圖像的品質分。這裡所涉及的品質分閾值可以是根據經驗值或是相應演算法確定的品質分取值,用以篩選圖像品質較高的臉部圖像,將存在遮擋、模糊曝光等異常缺陷的臉部圖像濾除,有效稀釋單純採用品質分確定一幀臉部圖像帶來的誤差。同時,還可以記錄每幀臉部圖像的屬性,例如,這些屬性可以包括:品質分、角度、亮度、光線等。 可選地,S102在基於追蹤結果擷取滿足品質分閾值的臉部圖像時,可具體執行為: 如果追蹤成功,且追蹤成功時的當前幀的臉部圖像滿足品質分閾值,則擷取所述當前幀的臉部圖片作為目標對象的臉部圖像,其中,所述當前幀的臉部圖像為追蹤成功時的當前幀的臉部圖像。 可選地,S102在基於追蹤結果擷取滿足品質分閾值的臉部圖像時,還可具體執行為: 如果追蹤失敗,且追蹤失敗時的當前幀的臉部圖像與所述當前幀之前已擷取的臉部圖像比對成功,且所述當前幀的臉部圖像滿足品質分閾值,則擷取所述當前幀的臉部圖像作為目標對象的臉部圖像,其中,所述當前幀的臉部圖像為追蹤失敗時的當前幀的臉部圖像; 否則,重新追蹤並清空臉部圖像。 其中,追蹤成功可以理解為攝影機定位的當前幀的臉部圖像,與定位的前一幀的臉部圖像是同一臉部圖像,即一直保持該臉部圖像中臉部在攝影機的擷取視野範圍內。相應地,追蹤失敗可以理解為攝影機定位的當前幀的臉部圖像,與定位的前一幀的臉部圖像不是同一臉部圖像,即未能保持該臉部圖像中臉部一直在攝影機的擷取視野範圍內。 應理解,在追蹤失敗時,將當前幀的臉部圖像當前幀之前已擷取的臉部圖像進行比對,可以是基於目標用戶(或目標對象)的ID或是其它標識進行比對,以確定是否追蹤的仍是同一目標用戶。 S104:從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合。 S106:當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中。 在本說明書實施例中,所述預設參數可以包括品質分、角度、亮度、光線中的至少一種。或者,所述預設參數可以基於品質分、角度、亮度、光線中的至少一種屬性確定。 應理解,所述預設參數,可以是基於品質分、角度、亮度、光線中的至少一種屬性以加權平均的方式確定。 在這裡,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,可以舉例說明,當預設數量為4,而此時僅選擇出品質分最高的臉部圖像1加入到候選圖像集合中,需要再次選擇,具體可以選擇與品質分最高的臉部圖像1之間預設參數的平均差距(因為此時候選圖像集合中僅有臉部圖像1,因此,平均差值也就是與臉部圖像1的差值)最大的臉部圖像2,加入到候選圖像集合;這時,候選圖像集合中的圖像仍小於4,繼續選擇與臉部圖像1以及臉部圖像2之間預設參數的平均差距最大的臉部圖像3,循環這樣的操作,再選擇出臉部圖像4,這樣,候選圖像集合中的圖像達到4個,可以終止循環。 應理解,該步驟中採用臉部圖像的屬性進行正規化處理,計算預設參數的平均差距,在增加候選臉部圖像幀數的同時,還保證了選擇的臉部圖像之間具有較大差異,進而,避免雜訊,提升後續的比對結果準確性。 S108:基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。 可選地,S108在基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對時,可具體執行為: 將所述候選圖像集合中每個臉部圖像分別與目標對象的留底臉部圖像進行特徵比對; 基於預設數量的比對結果進行加權平均處理。 這樣,將比對結果進行加權融合,可以提升比對結果的準確性。 應理解,留底臉部圖像可以儲存在系統本地或是雲端伺服器,若是儲存在系統本地,可將候選圖像集合中每個臉部圖像分別與系統本地儲存的目標對象的留底臉部圖像進行比對;若是儲存在雲端伺服器,可以將候選圖像集合中的臉部圖像上傳至雲端伺服器與目標對象的留底臉部圖像進行一一比對,並返回比對結果。 本說明書技術方案,藉由從擷取到的多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合,並基於該第一臉部圖像,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,加入到候選圖像集合中,直至候選圖像集合中圖像達到預設數量,然後,基於候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對,從而,在增加候選臉部圖像幀數的同時,還保證了選擇的臉部圖像之間具有較大差異,進而,避免雜訊,提升比對結果準確性。 可選地,本說明書實施例中所述臉部圖像包括:可識別的人臉圖像或可識別的動物臉圖像。 應理解,本說明書中基於多幀臉部圖像進行比對的方案可以適用於支付場景,例如,刷臉支付等;或是身份驗證場景,例如刷臉門禁等。 下面藉由具體的實例對本說明書實施例所涉及的技術方案進行詳述。 參照圖2所示,基於多幀臉部圖像的比對流程可以包括以下: S202:基於最大臉選臉邏輯,追蹤當前幀的人臉圖像,若追蹤成功,則執行S204,否則,執行S206。 此處僅為示例,也可以基於其它選臉邏輯確定、追蹤。另外,本說明書實施例也不排除可能存在的動物臉圖像,例如以用戶的寵物臉作為留底臉部圖像,後續支付時可以使用寵物臉部進行比對。 S204:判斷當前幀的人臉圖像是否大於最低品質分閾值,若是,則執行S208,否則,執行S210。 S206:判斷當前幀的人臉圖像與本地儲存的上一幀人臉圖像是否屬於同一ID,若是,則跳轉至S204,否則,清空人臉圖像集合,跳轉至202。 在該步驟中,若比對失敗,則需要清空人臉圖像集合,重新開始追蹤。 S208:加入本地目標對象的人臉圖像集合,並記錄人臉圖像的屬性。 S210:丟掉當前幀,並跳轉至S202。 S212:判斷追蹤時間是否達到2S,若是,則執行S214,否則,跳轉至S202。 S214:從人臉圖像集合中選擇品質分最高的人臉圖像加入至候選圖像集合。 S216:從人臉圖像集合中選擇預設參數與所述候選圖像集合中的人臉圖像之間的平均差距最大的人臉圖像加入至候選圖像集合。 該步驟可以參照S106中的內容,在此不做贅述。 S218:判斷候選圖像集合中圖像是否達到K幀,若是,則執行S220,否則,跳轉至S216。 其中,K幀可以是60幀左右的數量,2S的人臉圖像相比於單幀人臉圖像而言資訊量豐富程度高,可以提升比對準確性。 S220:將候選圖像集合中的K幀人臉圖像上傳到伺服器分別與目標對象的留底目標人臉圖像進行比對。 S222:接收K個比對結果並加權平均。 至此,可以將加權平均後的結果作為本次比對的最終結果,並基於該比對結果決策該人臉圖像對應的人臉是否驗證通過。 實施例二 圖3是本說明書的一個實施例電子設備的結構示意圖。請參考圖3,在硬體層面,該電子設備包括處理器,可選地還包括內部匯流排、網路介面、儲存器。其中,儲存器可能包含記憶體,例如高速隨機存取記憶體(Random-Access Memory,RAM),也可能還包括非易失性記憶體(non-volatile memory),例如至少1個磁碟儲存器等。當然,該電子設備還可能包括其他業務所需要的硬體。 處理器、網路介面和儲存器可以藉由內部匯流排相互連接,該內部匯流排可以是ISA(Industry Standard Architecture,工業標準架構)匯流排、PCI(Peripheral Component Interconnect,週邊組件互連)匯流排或EISA (Extended Industry Standard Architecture,延伸工業標準架構)匯流排等。所述匯流排可以分為地址匯流排、資料匯流排、控制匯流排等。為便於表示,圖3中僅用一個雙向箭頭表示,但並不表示僅有一根匯流排或一種類型的匯流排。 儲存器,用於存放程式。具體地,程式可以包括程式碼,所述程式碼包括電腦操作指令。儲存器可以包括記憶體和非易失性儲存器,並向處理器提供指令和資料。 處理器從非易失性儲存器中讀取對應的電腦程式到記憶體中然後運行,在邏輯層面上形成共享資源存取控制裝置。處理器,執行儲存器所存放的程式,並具體用於執行以下操作: 擷取目標對象的多幀臉部圖像; 從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中; 基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。 上述如本說明書圖1、圖2所示實施例揭示的基於多幀臉部圖像的比對裝置執行的方法可以應用於處理器中,或者由處理器實現。處理器可能是一種積體電路晶片,具有信號的處理能力。在實現過程中,上述方法的各步驟可以藉由處理器中的硬體的積體邏輯電路或者軟體形式的指令完成。上述的處理器可以是通用處理器,包括中央處理器(Central Processing Unit,CPU)、網路處理器(Network Processor,NP)等;還可以是數位信號處理器(Digital Signal Processor,DSP)、積體電路特定應用積體電路(Application Specific Integrated Circuit,ASIC)、現場可程式閘陣列(Field-Programmable Gate Array,FPGA)或者其他可程式邏輯裝置、分立閘或者電晶體邏輯裝置、分立硬體組件。可以實現或者執行本說明書實施例中公開的各方法、步驟及邏輯方塊圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本說明書實施例所公開的方法的步驟可以直接呈現為硬體解碼處理器執行完成,或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機儲存器,快閃記憶體、唯讀記憶體,可程式唯讀記憶體或者電可擦除可程式記憶體、暫存器等本領域成熟的儲存媒體中。該儲存媒體位於儲存器,處理器讀取儲存器中的資訊,結合其硬體完成上述方法的步驟。 該電子設備還可執行圖1的方法,並實現基於多幀臉部圖像的比對裝置在圖1、圖2所示實施例的功能,本說明書實施例在此不再贅述。 當然,除了軟體實現方式之外,本說明書實施例的電子設備並不排除其他實現方式,比如邏輯裝置抑或軟硬體結合的方式等等,也就是說以下處理流程的執行主體並不限定於各個邏輯單元,也可以是硬體或邏輯裝置。 本說明書技術方案,藉由從擷取到的目標對象的多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合,並基於該第一臉部圖像,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,加入到候選圖像集合中,直至候選圖像集合中圖像達到預設數量,然後,基於候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對,從而,在增加候選臉部圖像幀數的同時,還保證了選擇的臉部圖像之間具有較大差異,進而,避免雜訊,提升比對結果準確性。 實施例三 本說明書實施例還提出了一種電腦可讀儲存媒體,該電腦可讀儲存媒體儲存一個或多個程式,該一個或多個程式包括指令,該指令當被包括多個應用程式的便攜式電子設備執行時,能夠使該便攜式電子設備執行圖1所示實施例的方法,並具體用於執行以下方法: 擷取目標對象的多幀臉部圖像; 從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中; 基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。 本說明書技術方案,藉由從擷取到的目標對象的多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合,並基於該第一臉部圖像,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,加入到候選圖像集合中,直至候選圖像集合中圖像達到預設數量,然後,基於候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對,從而,在增加候選臉部圖像幀數的同時,還保證了選擇的臉部圖像之間具有較大差異,進而,避免雜訊,提升比對結果準確性。 實施例四 圖4為本說明書的一個實施例提供的基於多幀臉部圖像的比對裝置400的結構示意圖。請參考圖4,在一種軟體實施方式中,基於多幀臉部圖像的比對裝置400可包括: 擷取模組402,擷取目標對象的多幀臉部圖像; 第一選擇模組404,從所述多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 第二選擇模組406,當所述候選圖像集合中的圖像個數小於預設數量時,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到所述候選圖像集合中; 比對模組408,基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。 本說明書技術方案,藉由從擷取到的目標對象的多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合,並基於該第一臉部圖像,循環從所述多幀臉部圖像中選擇預設參數與所述候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,加入到候選圖像集合中,直至候選圖像集合中圖像達到預設數量,然後,基於候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對,從而,在增加候選臉部圖像幀數的同時,還保證了選擇的臉部圖像之間具有較大差異,進而,避免雜訊,提升比對結果準確性。 可選地,作為一個實施例,所述擷取模組402,具體用於: 追蹤拍攝的每幀臉部圖像; 基於追蹤結果擷取滿足品質分閾值的臉部圖像,並記錄每幀臉部圖像的屬性。 可選地,作為一個實施例,所述擷取模組402在基於追蹤結果擷取滿足品質分閾值的臉部圖像時,具體用於: 如果追蹤成功,且追蹤成功時的當前幀的臉部圖像滿足品質分閾值,則擷取所述當前幀的臉部圖片作為目標對象的臉部圖像。 可選地,作為另一個實施例,所述擷取模組402在基於追蹤結果擷取滿足品質分閾值的臉部圖像時,具體用於: 如果追蹤失敗,且追蹤失敗時的當前幀的臉部圖像與所述當前幀之前已擷取的臉部圖像比對成功,且所述當前幀的臉部圖像滿足品質分閾值,則擷取所述當前幀的臉部圖像作為目標對象的臉部圖像; 否則,重新追蹤並清空臉部圖像。 可選地,在本說明書實施例的一種具體實現方式中,所述預設參數包括品質分、角度、亮度、光線中的至少一種;或者,所述預設參數基於品質分、角度、亮度、光線中的至少一種屬性確定。 可選地,作為一個實施例,所述比對模組408在基於所述候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對時,具體用於: 將所述候選圖像集合中每個臉部圖像分別與目標對象的留底臉部圖像進行特徵比對; 基於預設數量的比對結果進行加權平均處理。 可選地,作為一個實施例,所述臉部圖像包括:可識別的人臉圖像或可識別的動物臉圖像 應理解,本說明書實施例的基於多幀臉部圖像的比對裝置還可執行圖1-圖2中基於多幀臉部圖像的比對裝置(或設備)執行的方法,並實現基於多幀臉部圖像的比對裝置(或設備)在圖1-圖2所示實施例的功能,在此不再贅述。 總之,以上所述僅為本說明書的較佳實施例而已,並非用於限定本說明書的保護範圍。凡在本說明書的精神和原則之內,所作的任何修改、等同替換、改進等,均應包含在本說明書的保護範圍之內。 上述實施例闡明的系統、裝置、模組或單元,具體可以由電腦晶片或實體實現,或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體的,電腦例如可以為個人電腦、筆記型電腦、行動電話、相機電話、智慧型電話、個人數位助理、媒體播放器、導航設備、電子郵件設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任何設備的組合。 電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括,但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟(CD-ROM)、數位化多功能光碟(DVD)或其他光學儲存、磁盒式磁帶,磁帶磁磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體,可用於儲存可以被計算設備存取的資訊。按照本文中的界定,電腦可讀媒體不包括暫存電腦可讀媒體( transitory media),如調變的資料信號和載波。 還需要說明的是,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。 本說明書中的各個實施例均採用遞進的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對於系統實施例而言,由於其基本相似於方法實施例,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。
S102~S108:步驟 S202~S222:步驟 400:基於多幀臉部圖像的比對裝置 402:採集模組 404:第一選擇模組 406:第二選擇模組 408:比對模組
為了更清楚地說明本說明書實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹,顯而易見地,下面描述中的圖式僅僅是本說明書中記載的一些實施例,對於本領域具有通常知識者來講,在不付出創造性勞動性的前提下,還可以根據這些圖式獲得其他的圖式。 圖1是本說明書的一個實施例提供的基於多幀臉部圖像的比對方法步驟示意圖。 圖2是本說明書的另一個實施例提供的基於多幀臉部圖像的比對流程示意圖。 圖3是本說明書的一個實施例提供的電子設備的結構示意圖。 圖4是本說明書的一個實施例提供的基於多幀臉部圖像的比對裝置的結構示意圖。

Claims (10)

  1. 一種基於多幀臉部圖像的比對方法,包括: 擷取目標對象的多幀臉部圖像; 從該多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 當該候選圖像集合中的圖像個數小於預設數量時,循環從該多幀臉部圖像中選擇預設參數與該候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到該候選圖像集合中; 基於該候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。
  2. 如請求項1所述的方法,擷取目標對象的多幀臉部圖像,包括: 追蹤拍攝的每幀臉部圖像; 基於追蹤結果擷取滿足品質分閾值的臉部圖像,並記錄每幀臉部圖像的屬性。
  3. 如請求項2所述的方法,基於追蹤結果擷取滿足品質分閾值的臉部圖像,包括: 如果追蹤成功,且追蹤成功時的當前幀的臉部圖像滿足品質分閾值,則擷取該當前幀的臉部圖片作為目標對象的臉部圖像。
  4. 如請求項2所述的方法,基於追蹤結果擷取滿足品質分閾值的臉部圖像,包括: 如果追蹤失敗,且追蹤失敗時的當前幀的臉部圖像與該當前幀之前已擷取的臉部圖像比對成功,且該當前幀的臉部圖像滿足品質分閾值,則擷取該當前幀的臉部圖像作為目標對象的臉部圖像; 否則,重新追蹤並清空臉部圖像。
  5. 如請求項1-4任一項所述的方法,基於該候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對,包括: 將該候選圖像集合中臉部圖像分別與目標對象的留底臉部圖像進行特徵比對; 基於預設數量的比對結果進行加權平均處理。
  6. 如請求項1-4任一項所述的方法,該預設參數包括品質分、角度、亮度、光線中的至少一種;或者,該預設參數基於品質分、角度、亮度、光線中的至少一種屬性確定。
  7. 如請求項1-4任一項所述的方法,該臉部圖像包括:可識別的人臉圖像或可識別的動物臉圖像。
  8. 一種基於多幀臉部圖像的比對裝置,包括: 擷取模組,擷取目標對象的多幀臉部圖像; 第一選擇模組,從該多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 第二選擇模組,當該候選圖像集合中的圖像個數小於預設數量時,循環從該多幀臉部圖像中選擇預設參數與該候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到該候選圖像集合中; 比對模組,基於該候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。
  9. 一種電子設備,包括: 處理器;以及 被安排成儲存電腦可執行指令的儲存器,該可執行指令在被執行時使該處理器執行以下操作: 擷取目標對象的多幀臉部圖像; 從該多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 當該候選圖像集合中的圖像個數小於預設數量時,循環從該多幀臉部圖像中選擇預設參數與該候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到該候選圖像集合中; 基於該候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。
  10. 一種電腦可讀儲存媒體,該電腦可讀儲存媒體儲存一或多個程式,該一或多個程式當被包括多個應用程式的電子設備執行時,使得該電子設備執行以下操作: 擷取目標對象的多幀臉部圖像; 從該多幀臉部圖像中選擇品質分最高的第一臉部圖像加入候選圖像集合; 當該候選圖像集合中的圖像個數小於預設數量時,循環從該多幀臉部圖像中選擇預設參數與該候選圖像集合中的臉部圖像之間的平均差距最大的第二臉部圖像,以加入到該候選圖像集合中; 基於該候選圖像集合中的臉部圖像與目標對象的留底臉部圖像進行比對。
TW108133227A 2018-12-03 2019-09-16 基於多幀臉部圖像的比對方法、裝置和電子設備 TWI717834B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811468225.4A CN110020581B (zh) 2018-12-03 2018-12-03 一种基于多帧脸部图像的比对方法、装置和电子设备
CN201811468225.4 2018-12-03

Publications (2)

Publication Number Publication Date
TW202024992A true TW202024992A (zh) 2020-07-01
TWI717834B TWI717834B (zh) 2021-02-01

Family

ID=67188587

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108133227A TWI717834B (zh) 2018-12-03 2019-09-16 基於多幀臉部圖像的比對方法、裝置和電子設備

Country Status (6)

Country Link
US (1) US11210502B2 (zh)
EP (1) EP3812956A4 (zh)
CN (1) CN110020581B (zh)
SG (1) SG11202100924SA (zh)
TW (1) TWI717834B (zh)
WO (1) WO2020114105A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146160A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合方法、及び記録媒体
CN110020581B (zh) 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种基于多帧脸部图像的比对方法、装置和电子设备
CN111554006B (zh) * 2020-04-13 2022-03-18 绍兴埃瓦科技有限公司 智能锁及智能解锁方法
CN112085701A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
US11921831B2 (en) * 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation
CN113505700A (zh) * 2021-07-12 2021-10-15 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279913B2 (ja) * 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
KR101185243B1 (ko) * 2009-12-15 2012-09-21 삼성전자주식회사 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법
JP5075924B2 (ja) * 2010-01-13 2012-11-21 株式会社日立製作所 識別器学習画像生成プログラム、方法、及びシステム
CN102137077A (zh) * 2010-01-26 2011-07-27 凹凸电子(武汉)有限公司 访问控制系统和采用计算机系统控制访问权限的方法
US8594401B2 (en) * 2010-03-30 2013-11-26 The Johns Hopkins University Automated characterization of time-dependent tissue change
US8885942B2 (en) * 2010-07-09 2014-11-11 Panasonic Intellectual Property Corporation Of America Object mapping device, method of mapping object, program and recording medium
US9600711B2 (en) * 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
CN104462891A (zh) * 2013-09-17 2015-03-25 联想(北京)有限公司 一种信息处理的方法和设备
CN103942525A (zh) * 2013-12-27 2014-07-23 高新兴科技集团股份有限公司 一种基于视频序列的实时人脸优选方法
US20160019420A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
CN105005779A (zh) * 2015-08-25 2015-10-28 湖北文理学院 基于交互式动作的人脸验证防伪识别方法及系统
US10671837B2 (en) * 2015-09-08 2020-06-02 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
US9747494B2 (en) * 2015-11-16 2017-08-29 MorphoTrak, LLC Facial matching system
US10990808B2 (en) * 2016-02-09 2021-04-27 Aware, Inc. Face liveness detection using background/foreground motion analysis
WO2017151859A1 (en) * 2016-03-02 2017-09-08 Tinoq Inc. Systems and methods for efficient face recognition
US9693050B1 (en) * 2016-05-31 2017-06-27 Fmr Llc Automated measurement of mobile device application performance
US9990536B2 (en) * 2016-08-03 2018-06-05 Microsoft Technology Licensing, Llc Combining images aligned to reference frame
CN107730483A (zh) * 2016-08-10 2018-02-23 阿里巴巴集团控股有限公司 移动设备、处理脸部生物特征的方法、装置和系统
KR20190088478A (ko) * 2016-11-24 2019-07-26 가부시키가이샤 가이아 시스템 솔루션 인게이지먼트 측정 시스템
JP6768537B2 (ja) * 2017-01-19 2020-10-14 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US11010595B2 (en) * 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
CN107633209B (zh) * 2017-08-17 2018-12-18 平安科技(深圳)有限公司 电子装置、动态视频人脸识别的方法及存储介质
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术(北京)有限公司 用于生成图像的方法和装置
CN108427911B (zh) * 2018-01-30 2020-06-23 阿里巴巴集团控股有限公司 一种身份验证方法、系统、装置及设备
CN108765394B (zh) * 2018-05-21 2021-02-05 上海交通大学 基于质量评价的目标识别方法
CN110020581B (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种基于多帧脸部图像的比对方法、装置和电子设备

Also Published As

Publication number Publication date
SG11202100924SA (en) 2021-02-25
WO2020114105A1 (zh) 2020-06-11
US11210502B2 (en) 2021-12-28
TWI717834B (zh) 2021-02-01
US20210192190A1 (en) 2021-06-24
CN110020581A (zh) 2019-07-16
CN110020581B (zh) 2020-06-09
EP3812956A1 (en) 2021-04-28
EP3812956A4 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
TWI717834B (zh) 基於多幀臉部圖像的比對方法、裝置和電子設備
TWI716008B (zh) 人臉識別方法及裝置
JP6694829B2 (ja) ルールに基づくビデオ重要度解析
TWI701605B (zh) 活體檢測方法、裝置和電腦可讀取儲存媒體
CN106650662B (zh) 目标对象遮挡检测方法及装置
CN109086734B (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
US20190156499A1 (en) Detection of humans in images using depth information
US20140099028A1 (en) System and method for video recognition based on visual image matching
CN112333356B (zh) 一种证件图像采集方法、装置和设备
US9471979B2 (en) Image recognizing apparatus and method
US9384400B2 (en) Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information
CN111882520A (zh) 一种屏幕缺陷检测方法、装置及头戴显示设备
AU2016231661A1 (en) Method, system and apparatus for selecting a video frame
CN109102026B (zh) 一种车辆图像检测方法、装置及系统
CN113505682A (zh) 活体检测方法及装置
TWI738026B (zh) 從多個臉部中選擇目標臉部及臉部識別比對方法、裝置
WO2018058573A1 (zh) 对象检测方法、对象检测装置以及电子设备
JP7121132B2 (ja) 画像処理方法、装置及び電子機器
CN113850211A (zh) 注入视频攻击检测方法和装置
CN110390344B (zh) 备选框更新方法及装置
CN110019951B (zh) 一种生成视频缩略图的方法及设备
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
CN112581506A (zh) 人脸跟踪方法、系统及计算机可读存储介质
CN115620005A (zh) 一种图像识别方法、装置、设备及存储介质
CN114820774A (zh) 一种相机的位姿确定方法及设备