TWI762958B - 收集臉部辨識資料的方法及系統 - Google Patents

收集臉部辨識資料的方法及系統 Download PDF

Info

Publication number
TWI762958B
TWI762958B TW109121029A TW109121029A TWI762958B TW I762958 B TWI762958 B TW I762958B TW 109121029 A TW109121029 A TW 109121029A TW 109121029 A TW109121029 A TW 109121029A TW I762958 B TWI762958 B TW I762958B
Authority
TW
Taiwan
Prior art keywords
feature
facial
face
image
facial feature
Prior art date
Application number
TW109121029A
Other languages
English (en)
Other versions
TW202201274A (zh
Inventor
陳俊諺
劉展成
林庭安
Original Assignee
威聯通科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威聯通科技股份有限公司 filed Critical 威聯通科技股份有限公司
Priority to TW109121029A priority Critical patent/TWI762958B/zh
Priority to US17/104,278 priority patent/US11508185B2/en
Publication of TW202201274A publication Critical patent/TW202201274A/zh
Application granted granted Critical
Publication of TWI762958B publication Critical patent/TWI762958B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種收集臉部辨識資料的方法及系統，其藉由從連續影像中判斷出屬於同一個人的臉部區域並將同一個人的臉部區域收集起來進行分析以確認身份，並將被確認為同一個身份的臉部區域的影像收集起來作為訓練臉部辨識時使用的資料。

Description

收集臉部辨識資料的方法及系統
本發明是有關於一種臉部辨識技術，特別是有關於一種收集臉部辨識資料的方法及系統。
現有的臉部辨識系統都是基於註冊辨識資料時所使用的數張影像來進行臉部特徵的擷取以及臉部辨識的訓練。然而，由於在註冊辨識資料時所能輸入的影像有限，所以這樣的臉部辨識系統事實上是建立在一個有限的資料庫上來進行辨識操作，最終導致只能在極其有限的角度範圍內才能獲得較高準確度的臉部辨識結果。為了提高臉部辨識的成效，這樣的臉部辨識系統因為必須考慮在辨識時所能取得的臉部角度而導致在架設攝影機時必須考慮許多限制條件，因此上述缺陷也為架設臉部辨識系統帶來不小的困擾。
有鑑於此，本發明的說明內容提供一種收集臉部辨識資料的方法及系統，其可在平常的臉部辨識過程中逐步增加資料庫中的臉部辨識資料，有效的減少因為資料庫不足所導致的種種問題。
從一個方面來看，本發明的說明內容提供了一種收集臉部辨識資料的方法，此方法適於根據臉部特徵資料庫對影像串流進行臉部辨識操作，其中，臉部特徵資料庫包括至少一筆特徵資料，每一筆特徵資料對應至一位註冊人員，影像串流包括時間上連續的第N-1幀影像與第N幀影像，第N幀影像緊接於第N-1幀影像之後；此方法對第N-1幀影像與第N幀影像進行同樣的處理且在處理完第N-1幀影像後再處理第N幀影像，且在處理第N幀影像時包括：接收第N幀影像；找出第N幀影像中對應至第一待辨識人員的臉部的第一臉部區域；從第一臉部區域中擷取第一臉部特徵，其中第一臉部特徵具有S個元素；取得處理第N-1幀影像時找出的第二臉部區域及從第二臉部區域擷取的第二臉部特徵；判斷第一臉部區域是否與第二臉部區域相關，並根據不同的判斷結果給予與第一待辨識人員對應的第一臉部追蹤碼不同的內容；根據第一臉部特徵與特徵資料的相似度，決定是否儲存第一臉部特徵；輸入第一臉部特徵至第一神經網路以產生對應的一組調整後第一臉部特徵，其中，調整後第一臉部特徵具有T個元素且T大於等於S；取得將特徵資料輸入至第一神經網路而對每一筆特徵資料對應產生的一筆調整後特徵資料，其中，每一筆特徵資料具有S個元素且調整後特徵資料具有T個元素；根據調整後第一臉部特徵與每一筆調整後特徵資料的相似度，判定第一待辨識人員是否為任一筆特徵資料對應的註冊人員；以及當第一待辨識人員是任一筆特徵資料對應的註冊人員時，取得所儲存的第一臉部特徵作為訓練第一神經網路的材料。
在一個實施例中，上述判斷第一臉部區域是否與第二臉部區域相關，並根據不同的判斷結果給予與第一待辨識人員對應的第一臉部追蹤碼不同的內容，包括：根據第一臉部區域與第二臉部區域的相對位置判斷兩者是否相關；當判定第一臉部區域與第二臉部區域不相關時，將未使用的第一辨識編號設定為第一臉部追蹤碼的內容；以及當判定第一臉部區域與第二臉部區域相關時，使第一臉部追蹤碼等同於與第二臉部區域對應的第二待辨識人員的第二臉部追蹤碼，並根據第一臉部特徵與第二臉部特徵的相似度再次決定第一臉部追蹤碼的內容。
在一個實施例中，上述判定第一臉部區域與第二臉部區域相關時，使第一臉部追蹤碼等同於與第二臉部區域對應的第二待辨識人員的第二臉部追蹤碼，並根據第一臉部特徵與第二臉部特徵的相似度再次決定第一臉部追蹤碼的內容，包括：當第一臉部特徵與第二臉部特徵相似度大於等於第一預設值，保持第一臉部追蹤碼不變；以及當第一臉部特徵與第二臉部特徵相似度小於第一預設值，將未使用的第二辨識編號設定為第一臉部追蹤碼的內容。
在一個實施例中，上述根據第一臉部特徵與特徵資料的相似度，決定是否儲存第一臉部特徵，包括：當第一臉部特徵與全部的特徵資料的相似度都小於第二預設值，結束對第一臉部區域的處理；以及當第一臉部特徵與一筆特徵資料的相似度大於等於第二預設值，儲存第一臉部特徵並使第一臉部特徵與第一臉部追蹤碼相關。
在一個實施例中，當結束對第一臉部區域的處理時，更捨棄第N幀影像中與第一臉部區域相關的資料。
在一個實施例中，上述根據調整後第一臉部特徵與每一筆調整後特徵資料的相似度，判定第一待辨識人員是否為任一筆特徵資料對應的註冊人員，包括：當所述的調整後第一臉部特徵與每一筆調整後特徵資料的相似度都小於第三預設值，判定第一待辨識人員不是與任一筆特徵資料對應的註冊人員；以及當所述的調整後第一臉部特徵與調整後特徵資料中的調整後第一特徵資料的相似度大於等於第三預設值，判定第一待辨識人員是與第一特徵資料對應的註冊人員，其中，第一特徵資料輸入至第一神經網路後產生所述的調整後第一特徵資料。
在一個實施例中，當判定第一待辨識人員不是任一筆特徵資料對應的註冊人員時，更捨棄第N幀影像中與第一臉部區域相關的資料。
在一個實施例中，當處理多個上述的影像串流時，更包括：當處理多個影像串流中的第一影像串流而辨識出位在第一時間點的第J幀影像的第一比對位置上的註冊人員時，將多個影像串流中的第二影像串流中位在第一時間點的第K幀影像中的第二比對位置上的人員設定為在第一比對位置上的註冊人員，其中，第J幀影像的第一比對位置與第K幀影像的第二比對位置是實際空間中的同一個位置。
從另一個方面來看，本發明的說明內容提供了一種收集臉部辨識資料的系統，包括：攝影裝置組、臉部特徵資料庫以及處理裝置。所述的攝影裝置組包括至少一台攝影裝置，每一台攝影裝置安裝於一特定地點以拍攝相對應的特定區域而產生影像串流，此影像串流包括時間上連續的第N-1幀影像與第N幀影像，且第N幀影像緊接於第N-1幀影像之後。所述的臉部特徵資料庫包括至少一筆特徵資料，且每一筆特徵資料對應至一位註冊人員。所述的處理裝置電性耦接至攝影裝置組以及臉部特徵資料庫以接收每一台攝影裝置產生的影像串流並根據臉部特徵資料庫來處理此影像串流。其中，在處理影像串流時，處理裝置對第N-1幀影像與第N幀影像進行同樣的處理並在處理完第N-1幀影像後再處理第N幀影像，且處理裝置處理第N幀影像時包括：接收第N幀影像；找出第N幀影像中對應至第一待辨識人員的臉部的第一臉部區域；從第一臉部區域中擷取第一臉部特徵，其中第一臉部特徵具有S個元素；取得處理第N-1幀影像時找出的第二臉部區域及從第二臉部區域擷取的第二臉部特徵；判斷第一臉部區域是否與第二臉部區域相關，並根據不同的判斷結果給予與第一待辨識人員對應的第一臉部追蹤碼不同的內容；根據第一臉部特徵與特徵資料的相似度，決定是否儲存第一臉部特徵；輸入第一臉部特徵至第一神經網路以產生對應的一組調整後第一臉部特徵，其中，調整後第一臉部特徵具有T個元素且T大於等於S；取得將特徵資料輸入至第一神經網路而對每一筆特徵資料對應產生的一筆調整後特徵資料，其中，每一筆特徵資料具有S個元素且調整後特徵資料具有T個元素；根據調整後第一臉部特徵與每一筆調整後特徵資料的相似度，判定第一待辨識人員是否為任一筆特徵資料對應的註冊人員；以及當第一待辨識人員是任一筆特徵資料對應的註冊人員時，取得所儲存的第一臉部特徵作為訓練第一神經網路的材料。
在一個實施例中，當攝影裝置組包括第一攝影裝置及第二攝影裝置時，處理裝置執行的步驟更包括：在處理第一攝影裝置產生的第一影像串流中位在第一時間點的第J幀影像而在第J幀影像的第一比對位置上辨識出註冊人員時，更將第二攝影裝置產生的第二影像串流中位在第一時間點的第K幀影像中的第二比對位置上的人員設定為第一比對位置上的註冊人員，其中，第J幀影像的第一比對位置與第K幀影像的第二比對位置是實際空間中的同一個位置。
藉由上述技術，本說明內容中提供的收集臉部辨識資料的方法及系統藉由從連續影像中判斷出屬於同一個人的臉部區域並將同一個人的臉部區域收集起來進行分析以確認身份，之後將被確認為同一個身份的臉部區域的影像收集起來作為訓練臉部辨識時使用的資料。因此，本說明內容中提供的收集臉部辨識資料的方法及系統可在平常的臉部辨識過程中逐步增加資料庫中的臉部辨識資料，有效的減少因為資料庫不足所導致的種種問題。
請參照圖1，其為根據本發明一實施例的收集臉部辨識資料的系統的架構示意圖。如圖1所示，本實施例中的收集臉部辨識資料的系統10包括了由攝影裝置120、122及124所組成的攝影裝置組、處理裝置14以及臉部特徵資料庫16。在本實施例中，每一台攝影裝置120、122及124分別安裝於相對應的一個特定地點以拍攝相對應的特定區域而產生相對應的影像串流，例如，攝影裝置120拍攝第一特定區域並產生影像串流S1、攝影裝置122拍攝第二特定區域並產生影像串流S2、攝影裝置124拍攝第三特定區域並產生影像串流S3。這些特定區域的位置可隨實際需求來進行調整而使第一特定區域、第二特定區域及第三特定區域兩兩之間完全重疊、部分重疊或者完全不重疊。除此之外，臉部特徵資料庫16包括至少一筆特徵資料，且每一筆特徵資料對應至一位註冊人員；處理裝置14電性耦接至攝影裝置組以及臉部特徵資料庫16以接收每一台攝影裝置120、122及124產生的影像串流S1、S2及S3，並根據臉部特徵資料庫16所儲存的特徵資料來處理這些影像串流S1、S2及S3。
以下將以影像串流S1的處理過程為例來說明本文提供之技術的詳細內容，其它影像串流，例如影像串流S2或影像串流S3，可以採用與影像串流S1相同的方式來進行處理。為了使本領域的技術人員能更輕易理解本文提供的技術，以下將一併參照圖1、圖2與圖3來進行說明，其中，圖2為根據本發明一實施例的影像串流的時序圖，圖3為根據本發明一實施例的收集臉部辨識資料的方法的流程圖。
如圖2所示，影像串流S1包括時間上連續的多幀影像。亦即，攝影裝置120在時間點t-2的時候產生第N-2幀影像，在時間點t-1的時候產生第N-1幀影像，在時間點t的時候產生第N幀影像，在時間點t+1的時候產生第N+1幀影像，並在時間點t+2的時候產生第N+2幀影像；第N-1幀影像緊接於第N-2幀影像之後，第N幀影像緊接於第N-1幀影像之後，第N+1幀影像緊接於第N幀影像之後，以及第N+2幀影像緊接於第N+1幀影像之後。本說明提供的技術對各幀影像進行同樣的處理，並且在處理完一幀影像之後才處理緊接於其後的另一幀影像。以圖1及圖2所示者為例，處理裝置14會先處理完第N-2幀影像之後再處理第N-1幀影像、接著在處理完第N-1幀影像之後再處理第N幀影像、接著在處理完第N幀影像之後再處理第N+1幀影像、然後在處理完第N+1幀影像之後再處理第N+2幀影像。
以下以處理第N幀影像的過程為例來進行說明。請參照圖3，在處理第N幀影像之前，處理裝置14必須從攝影裝置120產生的影像串流S1中接收第N幀影像（步驟S300）。接著，處理裝置14從第N幀影像中找出與人的臉部相關的臉部區域（後稱第一臉部區域），其中，每一個從第N幀影像中找出的第一臉部區域在還沒進行辨識之前都分別被設定成對應到一個未知的待辨識人員，亦即後稱的第一待辨識人員（步驟S302）。在此需說明的是，在每一幀影像中找到的某一個臉部區域所對應的待辨識人員會被預設為不同於此幀影像中找到的其它臉部區域所對應的待辨識人員，亦即，第N幀影像中找到的一個第一臉部區域會預設為對應到一個第一待辨識人員，而不同的第一臉部區域則對應到不同的第一待辨識人員。
接下來，處理裝置14會對在第N幀影像中找到的每一個第一臉部區域進行處理以擷取出對應的一組第一臉部特徵（步驟S304）。在本實施例中，處理裝置14在執行完步驟S304之後從先前儲存的資料中取得先前在處理第N-1幀影像時找出並儲存的所有第二臉部區域以及從這些第二臉部區域中擷取出的第二臉部特徵（步驟S306）。在獲得第一臉部區域及第二臉部區域之後，處理裝置14會判斷第一臉部區域與第二臉部區域之間是否相關（步驟S308）。在本實施例中，判斷第一臉部區域與第二臉部區域之間是否相關是指判斷這些臉部區域在空間位置上是否相關。這個判斷可利用任何現行的空間位置比對方式來進行，例如，藉由確認某一個第一臉部區域是否與某一個第二臉部區域存在預設比例以上的重疊區域來進行判斷或者藉由某一個第一臉部區域的重心距離某一個第二臉部區域的重心是否小於預設距離來進行判斷，或者是藉由卡爾曼濾波（Kalman Filter）演算法來進行估計等等。可使用的判斷方法極多，在此不一一贅述。
在執行了步驟S308之後，處理裝置14會根據判斷的結果不同而給予第一臉部追蹤碼不同的內容（步驟S310與步驟S312）。此處所稱的第一臉部追蹤碼是與執行步驟S308時使用的第一臉部區域對應的追蹤碼，每一個第一臉部區域都對應到一個追蹤碼，而且不同的第一臉部區域預設給予的內容都互不相同。在本實施例中，當一個第一臉部區域與任一個第二臉部區域相關的時候，與這一個第一臉部區域對應的第一臉部追蹤碼會被設定為第一值（步驟S310）；相對的，當一個第一臉部區域與全部的第二臉部區域都不相關的時候，與這一個第一臉部區域對應的第一臉部追蹤碼就會被設定為第二值（步驟S312）。
更詳細地說，請參照圖4，其為根據本發明一實施例的收集臉部辨識資料的方法在執行步驟S308～S312時的詳細流程圖。如圖4所示，在本實施例中，處理裝置14會先根據第一臉部區域與第二臉部區域的相對位置來判斷兩者是否相關（步驟S400）。在經過步驟S308判定第一臉部區域與所有的第二臉部區域都不相關的時候，表示這一個第一臉部區域可能屬於一個剛進入拍攝區域的待辨識人員所有，於是處理裝置14就將目前沒有用來與任何臉部區域相關聯的（亦即未使用的）辨識編號設定為與此第一臉部區域對應的第一臉部追蹤碼的內容（步驟S402）；相對的，在經過步驟S308判定第一臉部區域與某一個第二臉部區域相關時，表示這一個第一臉部區域和與其相關的第二臉部區域可能屬於同一個待辨識人員所有，於是處理裝置14會使與此第一臉部區域對應的第一臉部追蹤碼等同於與此時用來比較的第二臉部區域相對應的第二臉部追蹤碼（步驟S404）。而在步驟S404之後，處理裝置14還會根據第一臉部特徵與第二臉部特徵的相似度再次決定第一臉部追蹤碼的內容（步驟S410）。
在圖4所示的實施例中，處理裝置14在執行步驟S410的過程中首先會執行步驟S420以判斷第一臉部特徵與第二臉部特徵相似度是否大於等於一個預設值（後稱第一預設值）。當步驟S420判斷的結果是第一臉部特徵與第二臉部特徵相似度大於等於第一預設值的時候，表示第一臉部特徵與第二臉部特徵所對應的待辨識人員很有可能是同一位人員，於是此時處理裝置14就保持第一臉部追蹤碼不變，亦即保持使第一臉部追蹤碼與第二臉部追蹤碼相同（步驟S422）；相對的，當步驟S420判斷的結果是第一臉部特徵與第二臉部特徵相似度小於第一預設值的時候，表示第一臉部特徵與第二臉部特徵所對應的待辨識人員有可能是不同的人員，於是此時處理裝置14就將目前沒有用來與任何臉部區域相關聯的（亦即未使用的）辨識編號設定為與此第一臉部區域對應的第一臉部追蹤碼的內容（步驟S424）。
根據上述的流程可以得知，在對第N幀影像進行步驟S308的相關性判斷之前，處理裝置14並不會使用到從第N-1幀影像中獲得並儲存下來的第二臉部區域及第二臉部特徵。因此，步驟S306中取得第二臉部區域及第二臉部特徵的操作只要在步驟S308執行前進行即可，並不需要如圖3的實施例所示般緊接在步驟S308之前。
請再參考圖3，在經過步驟S312或步驟S310而設定好第一臉部追蹤碼之後，處理裝置14會進一步判斷先前擷取得到的第一臉部特徵與臉部特徵資料庫16中儲存的任何一筆特徵資料之間的相似度是否大於等於某一個預設值（後稱第二預設值）（步驟S314）。在步驟S314的判斷結果為相似度小於第二預設值的時候，就表示目前處理的第一臉部特徵所對應的待測人員被判斷為不是任何一位已經在臉部特徵資料庫16中登錄影像資料的工作人員。為了減少工作量，在步驟S314判斷待測人員不是已登錄的工作人員之後，處理裝置14就會結束對現有的第一臉部區域的處理（步驟S316）。在其它的實施例中，為了保持對於未登錄於臉部特徵資料庫16裡的待測人員的隱私，所以在進行步驟S316而結束對現有的第一臉部區域的處理的同時，還會更進一步的捨棄第N幀影像中與此第一臉部區域相關的資料。
相對的，在步驟S314的判斷結果為相似度大於等於第二預設值的時候，就表示目前處理的第一臉部特徵所對應的待測人員可能是其中一位已經在臉部特徵資料庫16中登錄影像資料的工作人員。在這種狀況下，處理裝置14會將此第一臉部特徵儲存起來，並且將所儲存的第一臉部特徵設定成與先前在步驟S310或步驟S312裡設定好的第一臉部追蹤碼相關（步驟S318）。除了執行步驟S318已儲存第一臉部特徵之外，處理裝置14進一步將第一臉部特徵輸入到事先設計好的神經網路（後稱第一神經網路）而產生相對應的一組調整後第一臉部特徵（步驟S320），並且取得先前將各筆特徵資料輸入到同樣的第一神經網路而產生的對應的調整後特徵資料（步驟S322）。在本實施例中，第一神經網路可以將原本具有S個元素的輸入內容轉換為具有T個元素的輸出內容，其中，T大於等於S。也就是說，具有S個元素的一筆第一臉部特徵或者特徵資料在被輸入到第一神經網路之後，將會由第一神經網路對應產生出具有T個元素的一筆調整後第一臉部特徵或者調整後特徵資料。
上述的第一神經網路是限定以具有S個元素的資料（包括第一臉部特徵或特徵資料）為輸入，並以具有T個元素的資料（相對的包括調整後第一臉部特徵或調整後特徵資料）為輸出，使得在經過第一神經網路的轉換之後，可以拉大對應於不同人員的調整後特徵資料彼此之間在特徵座標空間上的距離。也就是說，第一神經網路的目的是將屬於同一個人的特徵資料更加地集中在特徵座標空間上的某個區域內，並且拉開屬於不同人員的特徵資料在特徵座標空間上佔有的區域的距離，於是，藉由第一神經網路的轉換，可以降低一組調整後第一臉部特徵同時高度相似於兩組以上的調整後特徵資料的發生機率。因此，利用調整後第一臉部特徵與調整後特徵資料來進行特徵比對所得到的結果，將能夠比利用原本的第一臉部特徵與特徵資料來進行特徵比對時所得到的結果更為準確。
上述的第一神經網路可以藉由機器學習（Machine Learning）的方式來建立，例如，本領域的技術人員可以根據自適應拓樸學（Adaptor Topology）以及重建拓樸學（Re-constructor Topology）並利用機器學習來建立第一神經網路。簡單來說，自適應拓樸學將具有S個元素的資料組轉換成具有T個元素的資料組，亦即將位在S維空間中的一個點投射到T維空間而成為T維空間中的一個點，而這中間的轉換（投射）的原則則是要使得屬於同一個人員的點能夠在轉換（投射）的過程中變得更為密集，或者是使得屬於不同人員的點能夠在轉換（投射）的過程中變得更為分離；而重建拓樸學則是反過來將具有T個元素的資料組轉換成具有S個元素的資料組，亦即將位在T維空間中的一個點投射到S維空間而成為S維空間中的一個點，並藉此確保S維空間與T維空間的點是一對一的對應關係以及在自適應拓樸學進行轉換（投射）的過程中並沒有遺失掉原本資料所具有的、可與其它資料產生區隔的資訊。具體的詳細設計方式可由本領域的技術人員依照以上內容來進行，在此就不一一詳述。
請繼續參照圖3。在經過步驟S320與步驟S322取得所需的資料之後，處理裝置14會根據調整後第一臉部特徵與每一筆調整後特徵資料的相似度來判定第一待辨識人員是否為任一筆特徵資料對應的註冊人員。在本實施例中，處理裝置14是根據調整後第一臉部特徵與任何一筆的調整後特徵資料的相似度是否大於等於特定預設值（後稱第三預設值）來進行相關的判斷（步驟S324）。當經由步驟S324的判斷而發現調整後第一臉部特徵與所有的調整後特徵資料的相似度都小於第三預設值，處理裝置14會判定與當下處理的第一臉部特徵對應的前述第一待辨識人員不是與任何一筆特徵資料對應的註冊人員，並因此執行步驟S316以結束對相應的第一臉部區域的處理；相對的，當經由步驟S324的判斷而發現調整後第一臉部特徵與某一筆調整後特徵資料（後稱調整後第一特徵資料）的相似度大於等於第三預設值，處理裝置14會判定與當下處理的第一臉部特徵對應的前述第一待辨識人員是與這一筆第一特徵資料對應的註冊人員，並且將第一待辨識人員設定為是與第一特徵資料相對應的註冊人員（步驟S326）。進一步的，先前在步驟S318中儲存的第一臉部特徵也可以被關聯到與第一特徵資料相對應的註冊人員，如此一來在後續要訓練第一神經網路的時候，此時取得的第一臉部特徵（或者相應的第一臉部區域的影像）就可以被當成臉部特徵資料庫16的一部份而成為訓練第一神經網路的材料。
值得一提的是，為了確保資料的正確性，可以將前述的第三預設值設定得比第二預設值更高。
藉由上述的說明可知，本說明書提供的技術在辨識過程中先藉由連續影像之間的關聯性來初步篩選可能屬於同一個人的臉部區域，之後藉由一連串的辨識操作來確認這些臉部區域是否屬於同一個人以提高資料的正確性。一旦判斷出所收集的臉部區域屬於同一個人，那麼新收集到的臉部區域的影像或者特徵就可以被新增到資料庫中作為後續訓練神經網路的材料，改善影像特徵轉換的效率並進而提高影像辨識的成功率。
值得一提的是，本說明所提供的技術不但能使用在單一影像串流S1、S2或S3，還可以同時結合多個影像串流來達到收集資料的目的。接下來請合併參照圖1、圖2及圖5，其中，圖5為根據本發明另一實施例的收集臉部辨識資料的方法的部分流程圖。圖5所示的實施例可以與圖3所示的流程搭配使用，達到從多個攝影裝置獲得的影像中獲取可用來訓練影像辨識系統的資料的效果。
具體來說，當處理裝置14可以從不同的攝影裝置120、122及124分別獲取對應的影像串流S1、S2及S3的時候，處理裝置14可以利用從其中一個影像串流辨識出來的結果來標示在其它影像串流中擷取出來的臉部區域或臉部特徵所對應的人員。舉例來說，如圖1所示，由於攝影裝置120、122及124的拍攝範圍中存在一個三者都拍攝得到的重疊區域150，因此，處理裝置14可以依照各攝影裝置的相對位置、拍攝角度及環境參考物等環境參數而輕易地確認出出現在各攝影裝置120、122及124拍攝到的影像串流S1、S2及S3中的重疊區域150內的人臉區域是否位於實際空間中的同一個位置上。一旦處理裝置14發現到在不同的影像串流中有人臉區域同時出現在同一個實體位置上，那麼這些在同一個時間點出現在不同影像串流的同一個實體位置上的人臉區域就可以被設定為屬於同一個人員所有。
舉例來說，當處理裝置14被安排依序處理在同一個時間點上產生的影像串流S1的第J幀影像與影像串流S2的第K幀影像的狀況下，處理裝置14會先處理完影像串流S1（之後將先處理的影像串流稱第一影像串流）的第J幀影像裡的所有臉部區域之後才會開始處理影像串流S2（之後將後處理的影像串流稱第二影像串流）的第K幀影像裡的臉部區域。於是，在處理完第一影像串流之後，處理裝置14有機會確認位於每一個特定位置（後稱為第一比對位置）上的臉部區域是與某一位特定的註冊人員（後稱第一註冊人員）相關，而且處理裝置14可以取得這些第一比對位置及與其相關的第一註冊人員的關聯性（步驟S500）。在獲取第一比對位置及與其相關的第一註冊人員的關聯性之後，處理裝置14在處理第二影像串流的時候就可以根據先前提到的環境參數在第二影像串流中找到與第一比對位置表示同一個實際空間位置的第二比對位置（步驟S502），並且判斷在第二比對位置上是否存在可供辨識的臉部區域（步驟S504）。當第二比對位置上不存在可供辨識的臉部區域時，表示第二比對位置上不存在足夠的辨識資料，因此流程回到步驟S500以使處理裝置14取得下一個第一比對位置及對應的關聯性內容；相對的，當第二比對位置上存在可供辨識的臉部區域時，處理裝置14就可以直接將位於第二比對位置上的臉部區域及由此臉部區域所獲得的臉部特徵直接關聯到第一註冊人員，亦即，將位於第二比對位置上的人員設定為先前判定位於第一比對位置上的第一註冊人員。
藉由圖5實施例所示的方法，處理裝置14可以利用先前處理好的在同一時間點產出的影像的結果來輔助進行在同一時間點產出但較晚進行影像處理時所需執行的人員關聯性標示的操作。如此一來，不但可以達成結合多個影像串流來達到收集資料的目的，還可以減少一部份需要被執行的操作，進而降低系統負擔。
根據上述內容，本說明所提供的收集臉部辨識資料的方法及系統藉由從連續影像中判斷出屬於同一個人的臉部區域並將同一個人的臉部區域收集起來進行分析以確認身份，之後再將被確認為同一個身份的臉部區域的影像收集起來作為訓練臉部辨識時使用的資料。因此，本說明內容中提供的收集臉部辨識資料的方法及系統可在平常的臉部辨識過程中逐步增加資料庫中的臉部辨識資料，有效的減少因為資料庫不足所導致的種種問題。
10:收集臉部辨識資料的系統 14:處理裝置 16:臉部特徵資料庫 120、122、124:攝影裝置 150:重疊區域 N-2～N+2:影像幀 S1、S2、S3:影像串流 S300～S326:本發明一實施例的施行步驟 S400～S422:本發明一實施例的施行步驟 S500～S506:本發明一實施例的施行步驟 t-2～t+2:時間點
圖1為根據本發明一實施例的收集臉部辨識資料的系統的架構示意圖。 圖2為根據本發明一實施例的影像串流的時序圖。 圖3為根據本發明一實施例的收集臉部辨識資料的方法的流程圖。 圖4為根據本發明一實施例的收集臉部辨識資料的方法在執行步驟S308～S312時的詳細流程圖。 圖5為根據本發明一實施例的收集臉部辨識資料的方法的部分流程圖。
10:收集臉部辨識資料的系統
14:處理裝置
16:臉部特徵資料庫
120、122、124:攝影裝置
150:重疊區域
S1、S2、S3:影像串流

Claims (10)

  1. 一種收集臉部辨識資料的方法，適於根據一臉部特徵資料庫對一影像串流進行臉部辨識操作，其中，該臉部特徵資料庫包括至少一特徵資料，每一該至少一特徵資料對應至一註冊人員，該影像串流包括時間上連續的一第N-1幀影像與一第N幀影像，該第N幀影像緊接於該第N-1幀影像之後，該方法對該第N-1幀影像與該第N幀影像進行同樣的處理且在處理完該第N-1幀影像後再處理該第N幀影像，其特徵在於該方法在處理該第N幀影像時包括： 接收該第N幀影像； 找出該第N幀影像中對應至一第一待辨識人員的臉部的一第一臉部區域； 從該第一臉部區域中擷取一第一臉部特徵，其中該第一臉部特徵具有S個元素； 取得處理該第N-1幀影像時找出的一第二臉部區域及從該第二臉部區域擷取的一第二臉部特徵； 判斷該第一臉部區域是否與該第二臉部區域相關，並根據不同的判斷結果給予與該第一待辨識人員對應的一第一臉部追蹤碼不同的內容； 根據該第一臉部特徵與該至少一特徵資料的相似度，決定是否儲存該第一臉部特徵； 輸入該第一臉部特徵至一第一神經網路以產生一調整後第一臉部特徵，其中，該調整後第一臉部特徵具有T個元素且T大於等於S； 取得輸入該至少一特徵資料至該第一神經網路而對每一該至少一特徵資料對應產生的一調整後特徵資料，其中，每一該至少一特徵資料具有S個元素且該調整後特徵資料具有T個元素； 根據該調整後第一臉部特徵與每一該至少一調整後特徵資料的相似度，判定該第一待辨識人員是否為任一該至少一特徵資料對應的該註冊人員；以及 當該第一待辨識人員是任一該至少一特徵資料對應的該註冊人員，取得所儲存的該第一臉部特徵作為訓練該第一神經網路的材料。
  2. 如請求項1所述的方法，其中判斷該第一臉部區域是否與該第二臉部區域相關，並根據不同的判斷結果給予與該第一待辨識人員對應的該第一臉部追蹤碼不同的內容，包括： 根據該第一臉部區域與該第二臉部區域的相對位置判斷兩者是否相關； 當判定該第一臉部區域與該第二臉部區域不相關，將未使用的一第一辨識編號設定為該第一臉部追蹤碼的內容；以及 當判定該第一臉部區域與該第二臉部區域相關時，使該第一臉部追蹤碼等同於與該第二臉部區域對應的一第二待辨識人員的一第二臉部追蹤碼，並根據該第一臉部特徵與該第二臉部特徵的相似度再次決定該第一臉部追蹤碼的內容。
  3. 如請求項2所述的方法，其中當判定該第一臉部區域與該第二臉部區域相關時，使該第一臉部追蹤碼等同於與該第二臉部區域對應的該第二待辨識人員的該第二臉部追蹤碼，並根據該第一臉部特徵與該第二臉部特徵的相似度再次決定該第一臉部追蹤碼的內容，包括： 當該第一臉部特徵與該第二臉部特徵相似度大於等於一第一預設值，保持該第一臉部追蹤碼不變；以及 當該第一臉部特徵與該第二臉部特徵相似度小於該第一預設值，將未使用的一第二辨識編號設定為該第一臉部追蹤碼的內容。
  4. 如請求項1所述的方法，其中根據該第一臉部特徵與該至少一特徵資料的相似度，決定是否儲存該第一臉部特徵，包括： 當該第一臉部特徵與全部的該至少一特徵資料的相似度都小於一第二預設值，結束對該第一臉部區域的處理；以及 當該第一臉部特徵與該至少一特徵資料中的一者的相似度大於等於該第二預設值，儲存該第一臉部特徵並使該第一臉部特徵與該第一臉部追蹤碼相關。
  5. 如請求項4所述的方法，其中當結束對該第一臉部區域的處理時，更捨棄該第N幀影像中與該第一臉部區域相關的資料。
  6. 如請求項1所述的方法，其中根據該調整後第一臉部特徵與每一該至少一調整後特徵資料的相似度，判定該第一待辨識人員是否為任一該至少一特徵資料對應的該註冊人員，包括： 當該調整後第一臉部特徵與每一該至少一調整後特徵資料的相似度都小於一第三預設值，判定該第一待辨識人員不是任一該至少一特徵資料對應的該註冊人員；以及 當該調整後第一臉部特徵與該至少一調整後特徵資料中的一調整後第一特徵資料的相似度大於等於該第三預設值，判定該第一待辨識人員是一第一特徵資料對應的該註冊人員，其中該第一特徵資料輸入至該第一神經網路後產生該調整後第一特徵資料。
  7. 如請求項6所述的方法，其中當判定該第一待辨識人員不是任一該至少一特徵資料對應的該註冊人員時，更捨棄該第N幀影像中與該第一臉部區域相關的資料。
  8. 如請求項1所述的方法，其中當處理多個該影像串流時，更包括： 當處理多個該影像串流中的一第一影像串流而辨識出位在一第一時間點的一第J幀影像的一第一比對位置上的該註冊人員時，將多個該影像串流中的一第二影像串流中位在該第一時間點的一第K幀影像中的一第二比對位置上的人員設定為在該第一比對位置上的該註冊人員， 其中，該第J幀影像的該第一比對位置與該第K幀影像的該第二比對位置是實際空間中的同一個位置。
  9. 一種收集臉部辨識資料的系統，其特徵在於包括： 一攝影裝置組，包括至少一攝影裝置，每一該至少一攝影裝置安裝於一特定地點以拍攝相對應的一特定區域而產生一影像串流，該影像串流包括時間上連續的一第N-1幀影像與一第N幀影像，該第N幀影像緊接於該第N-1幀影像之後； 一臉部特徵資料庫，包括至少一特徵資料，其中每一該至少一特徵資料對應至一註冊人員；以及 一處理裝置，電性耦接至該攝影裝置組以及該臉部特徵資料庫，該處理裝置接收每一該至少一攝影裝置產生的該影像串流並根據該臉部特徵資料庫處理該影像串流，其中，在處理該影像串流時，該處理裝置對該第N-1幀影像與該第N幀影像進行同樣的處理且在處理完該第N-1幀影像後再處理該第N幀影像，且該處理裝置處理該第N幀影像時包括： 接收該第N幀影像； 找出該第N幀影像中對應至一第一待辨識人員的臉部的一第一臉部區域； 從該第一臉部區域中擷取一第一臉部特徵，其中該第一臉部特徵具有S個元素； 取得處理該第N-1幀影像時找出的一第二臉部區域及從該第二臉部區域擷取的一第二臉部特徵； 判斷該第一臉部區域是否與該第二臉部區域相關，並根據不同的判斷結果給予與該第一待辨識人員對應的一第一臉部追蹤碼不同的內容； 根據該第一臉部特徵與該至少一特徵資料的相似度，決定是否儲存該第一臉部特徵； 輸入該第一臉部特徵至一第一神經網路以產生一調整後第一臉部特徵，其中，該調整後第一臉部特徵具有T個元素且T大於等於S； 取得輸入該至少一特徵資料至該第一神經網路而對每一該至少一特徵資料對應產生的一調整後特徵資料，其中，每一該至少一特徵資料具有S個元素且該調整後特徵資料具有T個元素； 根據該調整後第一臉部特徵與每一該至少一調整後特徵資料的相似度，判定該第一待辨識人員是否為任一該至少一特徵資料對應的該註冊人員；以及 當該第一待辨識人員是任一該至少一特徵資料對應的該註冊人員，取得所儲存的該第一臉部特徵作為訓練該第一神經網路的材料。
  10. 如請求項9所述的系統，其中，當該攝影裝置組包括一第一攝影裝置及一第二攝影裝置時，該處理裝置執行的步驟更包括： 在處理該第一攝影裝置產生的一第一影像串流中位在一第一時間點的一第J幀影像而在該第J幀影像的一第一比對位置上辨識出該註冊人員時，更將該第二攝影裝置產生的一第二影像串流中位在該第一時間點的一第K幀影像中的一第二比對位置上的人員設定為該第一比對位置上的該註冊人員， 其中，該第J幀影像的該第一比對位置與該第K幀影像的該第二比對位置是實際空間中的同一個位置。
TW109121029A 2020-06-22 2020-06-22 收集臉部辨識資料的方法及系統 TWI762958B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109121029A TWI762958B (zh) 2020-06-22 2020-06-22 收集臉部辨識資料的方法及系統
US17/104,278 US11508185B2 (en) 2020-06-22 2020-11-25 Method and system for collecting facial recognition data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109121029A TWI762958B (zh) 2020-06-22 2020-06-22 收集臉部辨識資料的方法及系統

Publications (2)

Publication Number Publication Date
TW202201274A TW202201274A (zh) 2022-01-01
TWI762958B true TWI762958B (zh) 2022-05-01

Family

ID=79023653

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121029A TWI762958B (zh) 2020-06-22 2020-06-22 收集臉部辨識資料的方法及系統

Country Status (2)

Country Link
US (1) US11508185B2 (zh)
TW (1) TWI762958B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117109B2 (en) * 2012-06-26 2015-08-25 Google Inc. Facial recognition
US9275269B1 (en) * 2012-11-09 2016-03-01 Orbeus, Inc. System, method and apparatus for facial recognition
TW202001783A (zh) * 2018-06-15 2020-01-01 緯創資通股份有限公司 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體
TW202013245A (zh) * 2018-09-19 2020-04-01 和碩聯合科技股份有限公司 臉部識別方法與使用此方法的電子裝置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117109B2 (en) * 2012-06-26 2015-08-25 Google Inc. Facial recognition
US9275269B1 (en) * 2012-11-09 2016-03-01 Orbeus, Inc. System, method and apparatus for facial recognition
TW202001783A (zh) * 2018-06-15 2020-01-01 緯創資通股份有限公司 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體
TW202013245A (zh) * 2018-09-19 2020-04-01 和碩聯合科技股份有限公司 臉部識別方法與使用此方法的電子裝置

Also Published As

Publication number Publication date
TW202201274A (zh) 2022-01-01
US20210397818A1 (en) 2021-12-23
US11508185B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
CN112088402B (zh) 用于说话者识别的联合神经网络
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
TWI427541B (zh) 人臉快速辨識系統及其方法
JP4971413B2 (ja) 視聴覚を結合した動作認識システムおよびその認識方法
WO2020108075A1 (zh) 结合人脸与外观的两阶段行人搜索方法
CN109657609A (zh) 人脸识别方法及系统
JP2001092974A (ja) 話者認識方法及びその実行装置並びに音声発生確認方法及び装置
JP2005056387A (ja) 画像処理装置、撮像装置、画像処理方法
JP2006179023A (ja) ロボット装置
CN109784270A (zh) 一种提升人脸图片识别完整性的处理方法
US20170236516A1 (en) System and Method for Audio-Visual Speech Recognition
CN109274883A (zh) 姿态矫正方法、装置、终端及存储介质
CN110718227A (zh) 一种基于多模态交互的分布式物联网设备协同方法及其系统
CN112507829B (zh) 一种多人视频手语翻译方法及系统
JPH10269358A (ja) 物体認識装置
JPH052635A (ja) 個人識別装置
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
Brutti et al. Online cross-modal adaptation for audio–visual person identification with wearable cameras
Cheng et al. The dku audio-visual wake word spotting system for the 2021 misp challenge
CN118411745A (zh) 一种基于视频分析技术和上肢位姿描述的情感识别方法
TWI762958B (zh) 收集臉部辨識資料的方法及系統
Zhou et al. Human recognition at a distance in video by integrating face profile and gait
JP2007249298A (ja) 顔認証装置および顔認証方法
TWI620076B (zh) 人體動作的分析系統
US20070196000A1 (en) 2D face authentication system