TWI690856B - 身分辨識系統及身分辨識方法 - Google Patents

Abstract

一種身分辨識系統包括目標區域擷取模組、光體積變化描記訊號轉換模組、生物特徵轉換模組、人臉特徵擷取模組、及比對模組。目標區域擷取模組用以自多張人臉圖像擷取出多張目標區域圖像。光體積變化描記訊號轉換模組用以根據多張目標區域圖像轉換出光體積變化描記訊號。生物特徵轉換模組用以將光體積變化描記訊號轉換為生物特徵。人臉特徵擷取模組用以自多張人臉圖像中之一者擷取出人臉特徵。比對模組用以將人臉特徵和生物特徵融合成混合特徵，並將混合特徵與資料庫中的多個混合特徵進行相似度計算，以確定被辨識者身分。

Description

身分辨識系統及身分辨識方法

本發明係關於一種身分辨識系統，以及關於一種身分辨識方法。

人臉辨識是通過分析人臉器官的形狀和位置關係來進行身分辨識的一種身分辨識技術。現階段，可藉由影像感測器拍攝被辨識者的人臉圖像，並從人臉圖像擷取出人臉特徵。接著，將人臉特徵與資料庫中已知身分的各張人臉圖像的人臉特徵進行比對，從而根據比對結果確定被辨識者的身分。

然而，傳統的人臉辨識無法分辨活體與照片的區別。以人臉辨識管制系統為例，若有人使用與資料庫中的人臉圖像相同的照片進行人臉辨識，亦有可能通過人臉辨識管制系統。

由此可見，上述現有的方式，顯然仍存在不便與缺陷，而有待改進。為了解決上述問題，相關領域莫不費盡心思來謀求解決之道，但長久以來仍未發展出適當的解決方案。

本發明之一態樣係提供一種身分辨識系統，包括目標區域擷取模組、光體積變化描記訊號轉換模組、生物特徵轉換模組、人臉特徵擷取模組、以及比對模組。目標區域擷取模組用以自被辨識者在不同時間的多張人臉圖像中擷取出多張目標區域圖像。光體積變化描記訊號轉換模組用以根據多張目標區域圖像轉換出光體積變化描記訊號。生物特徵轉換模組用以將光體積變化描記訊號轉換為生物特徵。人臉特徵擷取模組用以自多張人臉圖像中擷取出人臉特徵。比對模組用以將人臉特徵和生物特徵融合成混合特徵，並將混合特徵與預先儲存於資料庫中的各自對應於不同身分的多個混合特徵進行相似度計算，並根據相似度計算結果，確定被辨識者的身分。

在本發明某些實施方式中，生物特徵轉換模組包括分析轉換子模組和降維子模組。分析轉換子模組用以根據時頻分析法、去趨勢波動分析法或上述之組合，將光體積變化描記訊號轉換為多個特徵資料。降維子模組用以將多個特徵資料進行降維，以產生生物特徵。

在本發明某些實施方式中，時頻分析法包括短時距傅立葉轉換、連續小波轉換或離散小波轉換。

在本發明某些實施方式中，降維子模組係通過遞迴神經網路或遞迴卷積神經網路進行降維。

在本發明某些實施方式中，人臉特徵擷取模組 包括前處理子模組和特徵擷取子模組。前處理子模組用以對多張人臉圖像進行前處理以產生前處理後的人臉圖像。特徵擷取子模組用以自前處理後的人臉圖像擷取出人臉特徵。

在本發明某些實施方式中，特徵擷取子模組係通過卷積神經網路來擷取出人臉特徵。

在本發明某些實施方式中，比對模組包括特徵混合子模組和計算子模組。特徵混合子模組用以將人臉特徵和生物特徵融合成混合特徵。計算子模組用以將混合特徵與資料庫中的多個混合特徵進行相似度計算。

在本發明某些實施方式中，身分辨識系統進一步包括生理訊號計算模組。生理訊號計算模組用以根據光體積變化描記訊號，計算出被辨識者的生理訊號。

本發明之另一態樣係提供一種身分辨識方法，包括下列步驟：(i)提供被辨識者在不同時間的多張人臉圖像；(ii)自多張人臉圖像擷取出多張目標區域圖像；(iii)根據多張目標區域圖像轉換出光體積變化描記訊號；(iv)將光體積變化描記訊號轉換為生物特徵；(v)自多張人臉圖像中擷取出人臉特徵；(vi)將人臉特徵和生物特徵融合成混合特徵；以及(vii)將混合特徵與預先儲存於資料庫中的各自對應於不同身分的多個混合特徵進行相似度計算，並根據相似度計算結果，確定被辨識者的身分。

在本發明某些實施方式中，步驟(iv)還包括下列子步驟：(a)根據時頻分析法、去趨勢波動分析法或上述之組合，將光體積變化描記訊號轉換為多個特徵資料；以及 (b)將多個特徵資料進行降維，以產生生物特徵。

以下將以實施方式對上述之說明作詳細的描述，並對本發明之技術方案提供更進一步的解釋。

100‧‧‧身分辨識系統

110‧‧‧目標區域擷取模組

120‧‧‧光體積變化描記訊號轉換模組

130‧‧‧生物特徵轉換模組

131‧‧‧分析轉換子模組

132‧‧‧降維子模組

140‧‧‧人臉特徵擷取模組

141‧‧‧前處理子模組

142‧‧‧特徵擷取子模組

150‧‧‧比對模組

151‧‧‧特徵混合子模組

152‧‧‧計算子模組

160‧‧‧生理訊號計算模組

200‧‧‧方法

S10~S70‧‧‧步驟

第1圖為本發明一實施方式之身分辨識系統的方塊示意圖。

第2圖為本發明一實施方式之生物特徵轉換模組的方塊示意圖。

第3圖為本發明一實施方式之人臉特徵擷取模組的方塊示意圖。

第4圖為本發明一實施方式之比對模組的方塊示意圖。

第5A圖~第5B圖為本發明一實施方式之身分辨識系統的運作方法的流程圖。

為了使本揭示內容的敘述更加詳盡與完備，下文針對了本發明的實施態樣與具體實施例提出了說明性的描述；但這並非實施或運用本發明具體實施例的唯一形式。以下所揭露的各實施例，在有益的情形下可相互組合或取代，也可在一實施例中附加其他的實施例，而無須進一步的記載或說明。在以下描述中，將詳細敘述許多特定細節以使讀者能夠充分理解以下的實施例。然而，可在無此等特定細 節之情況下實踐本發明之實施例。

茲將本發明的實施方式詳細說明如下，但本發明並非局限在實施例範圍。

第1圖繪示本發明一實施方式之身分辨識系統100的方塊示意圖。身分辨識系統100包括目標區域擷取模組110、光體積變化描記訊號轉換模組120、生物特徵轉換模組130、人臉特徵擷取模組140、以及比對模組150。

目標區域擷取模組110用以自被辨識者在不同時間的多張人臉圖像中擷取出多張目標區域圖像。具體地，目標區域擷取模組110從一外部裝置(未繪示)接收多張人臉圖像。舉例來說，外部裝置可為影像感測器，且多張人臉圖像係藉由影像感測器對被辨識者的臉部進行連續拍攝得到。因此，各張人臉圖像之間具有時間間隔關係。

目標區域圖像從人臉圖像中擷取出來。由於各張人臉圖像之間具有時間間隔關係，因此擷取出的各張目標區域圖像之間亦具有時間間隔關係。

須說明的是，可調控目標區域擷取模組110以確定所欲擷取的目標區域。在一些實施例中，所欲擷取的目標區域為臉頰部分，因此調控目標區域擷取模組110使得所擷取出的目標區域圖像為被辨識者的臉頰部分的圖像，但不以此為限。當所欲擷取的目標區域為額頭部分或眼睛周圍部分時，由於這些目標區域常被被辨識者的劉海或配戴的眼鏡所遮蔽，因此容易影響在下文將敘述的光體積變化描記訊號轉換模組120的運作。另外，當所欲擷取的目標區域為嘴巴 周圍部分時，則容易因被辨識者的嘴部動作(例如張嘴笑)而影響光體積變化描記訊號轉換模組120的運作。

光體積變化描記訊號轉換模組120用以根據多張目標區域圖像轉換出一光體積變化描記(photoplethysmography，PPG)訊號。須說明的是，光在穿過人體皮膚時，會被不同的組織吸收而衰減。而人體的組織組成應是固定的，因此光的衰減量應該是固定的。但血管中的血液會隨著心臟的跳動有明顯的體積變化，此一週期性的體積變化就會產生不一樣的衰減量。因此，當光穿透皮膚的組織時，可藉由觀察光的強度衰減，得到一具有週期性、上下起伏的波形圖。據此，如前所述，各張目標區域圖像之間具有時間間隔關係，從而光體積變化描記訊號轉換模組120可根據多張目標區域圖像的光的強度變化情形，轉換出一光體積變化描記訊號。在一些實施例中，光體積變化描記訊號轉換模組120係通過獨立分量分析(independent vector analysis，IVA)法、獨立成分分析(independent component analysis，ICA)法或主成分分析(principle component analysis，PCA)法來進行分析，從而轉換出光體積變化描記訊號。

生物特徵轉換模組130用以將光體積變化描記訊號轉換為一生物特徵。請同時參考第2圖，第2圖繪示本發明一實施方式之生物特徵轉換模組130的方塊示意圖。具體地，生物特徵轉換模組130包括分析轉換子模組131和降維子模組132。分析轉換子模組131用以根據時頻分析法、 去趨勢波動分析(detrended fluctuation analysis，DFA)法或上述之組合，將光體積變化描記訊號轉換為多個特徵資料。在一些實施例中，時頻分析法包括短時距傅立葉轉換(short time fourier transform，STFT)、連續小波轉換(continuous wavelet transform，CWT)或離散小波轉換(discrete wavelet transform，DWT)。降維子模組132用以將多個特徵資料進行降維，以產生生物特徵。在一些實施例中，降維子模組132係通過遞迴神經網路(recursive neural network，RNN)或遞迴卷積神經網路(recursive convolutional neural network，RCNN)進行降維。

人臉特徵擷取模組140用以自多張人臉圖像中擷取出一人臉特徵。請同時參考第3圖，第3圖繪示本發明一實施方式之人臉特徵擷取模組140的方塊示意圖。具體地，人臉特徵擷取模組140包括前處理子模組141和特徵擷取子模組142。前處理子模組141用以對多張人臉圖像進行前處理以產生一前處理後的人臉圖像。詳細而言，為了供特徵擷取子模組142可精確地進行人臉特徵的擷取，至少一張人臉圖像被前處理子模組141進行前處理。而前處理可包括將彩色的人臉圖像進行灰度化、通過剪裁或縮放來重新調整人臉圖像、對人臉圖像進行降噪、補光或加亮等處理或上述的組合。特徵擷取子模組142則用以自前處理後的人臉圖像擷取出人臉特徵。在一些實施例中，特徵擷取子模組142係通過卷積神經網路(convolutional neural network， CNN)來擷取出人臉特徵。

比對模組150用以將人臉特徵和生物特徵融合成一混合特徵，並將混合特徵與預先儲存於一資料庫中的各自對應於不同身分的多個混合特徵進行相似度計算，並根據相似度計算結果，確定被辨識者的身分。請同時參考第4圖，第4圖繪示本發明一實施方式之比對模組150的方塊示意圖。具體地，比對模組150包括特徵混合子模組151和計算子模組152。特徵混合子模組151用以執行一特徵混合程序以將人臉特徵和生物特徵融合成混合特徵。詳細而言，人臉特徵和生物特徵可用特徵向量來表示，而通過特徵混合程序後得到的混合特徵亦可用特徵向量來表示。計算子模組152用以將混合特徵與資料庫中的多個混合特徵進行相似度計算。

舉例來說，計算子模組152可根據歐氏距離計算法或餘弦距離計算法來進行相似度計算。所謂歐氏距離計算法是指在空間中兩個點之間的真實距離，或者向量的自然長度(即點到原點的距離)。當使用歐氏距離計算法來計算相似度時，若分別對應於兩個圖像的兩個特徵向量的歐氏距離越小，表示兩個圖像的相似度越大。反之，若歐氏距離越大，則表示兩個圖像的相似度越小。所謂餘弦距離計算法是用空間中兩個向量夾角的餘弦值作為衡量兩個圖像間差異的大小的度量。當餘弦值越大，表示兩個圖像間相似度越大。反之，當餘弦值越小，則表示兩個圖像間相似度越小。

應理解的是，可根據計算子模組152的相似度 計算結果，確定被辨識者的身分。具體地，當混合特徵與資料庫中的特定混合特徵的相似度滿足預設條件時，則判斷被辨識者為特定混合特徵所對應的身分。在一些實施例中，所謂「滿足預設條件」可為混合特徵與資料庫中的特定混合特徵的相似度大於預設相似度，而預設相似度的值可以根據需要而設置。例如，預設相似度的值可為90%~100%，例如92%、95%、98%或99%。

如前所述，傳統的人臉辨識無法分辨活體與照片的區別。然而，本揭示內容的身分辨識系統100結合了用於產生生物特徵的光體積變化描記訊號轉換模組120與生物特徵轉換模組130。由於光體積變化描記訊號轉換模組120和生物特徵轉換模組130無法從照片產生生物特徵，因此身分辨識系統100可確認被辨識者為活體而非照片。

另一方面，在一些實施例中，身分辨識系統100進一步包括生理訊號計算模組160。生理訊號計算模組160用以根據光體積變化描記訊號，計算出被辨識者的一生理訊號。在一些實施例中，生理訊號包括心律變異、心跳或上述的組合。藉由生理訊號計算模組160的設置，可在確定被辨識者的身分同時，提供被辨識者的生理訊號。例如，本揭示內容的身分辨識系統100可用於醫療照護機構的進出人員管制。如此一來，除了可進行身分辨識之外，還能同時記錄複數被辨識者的生理狀況。

為了詳加敘述身分辨識系統100的運作方式，以下將搭配第5A圖和第5B圖來做說明。第5A圖和第5B圖 繪示本發明一實施方式之身分辨識系統100的運作方法200的流程圖。應瞭解到，在第5A圖和第5B圖中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，亦可同時或部分同時執行，甚至可增加額外步驟或省略部份步驟。

請同時參照第1圖、第5A圖、以及第5B圖。首先，於步驟S10中，提供被辨識者在不同時間的多張人臉圖像。例如，藉由諸如影像感測器的一外部裝置(未繪示)對被辨識者的臉部進行連續拍攝得到多張人臉圖像。

於步驟S20中，目標區域擷取模組110自多張人臉圖像擷取出多張目標區域圖像。具體地，目標區域擷取模組110從外部裝置接收多張人臉圖像後，從多張人臉圖像中擷取出多張目標區域圖像。

於步驟S30中，光體積變化描記訊號轉換模組120根據多張目標區域圖像轉換出光體積變化描記訊號。

於步驟S40中，生物特徵轉換模組130將光體積變化描記訊號轉換為生物特徵。具體地，如第2圖所示，生物特徵轉換模組130的分析轉換子模組131根據時頻分析法、去趨勢波動分析法或上述之組合，將光體積變化描記訊號轉換為多個特徵資料，而生物特徵轉換模組130的降維子模組132將多個特徵資料進行降維，以產生生物特徵。

於步驟S50中，人臉特徵擷取模組140自多張人臉圖像中擷取出人臉特徵。具體地，如第3圖所示，人臉特徵擷取模組140的前處理子模組141對多張人臉圖像進行前 處理以產生前處理後的人臉圖像，而人臉特徵擷取模組140的特徵擷取子模組142自前處理後的人臉圖像擷取出人臉特徵。

於步驟S60中，比對模組150將人臉特徵和生物特徵融合成混合特徵。具體地，如第4圖所示，比對模組150的特徵混合子模組151執行一特徵混合程序以將人臉特徵和生物特徵融合成混合特徵。

於步驟S70中，比對模組150將混合特徵與預先儲存於資料庫中的多個混合特徵進行相似度計算，以確定被辨識者的身分。具體地，比對模組150的計算子模組152將混合特徵與預先儲存於資料庫中的各自對應於不同身分的多個混合特徵進行相似度計算，並根據相似度計算結果，確定被辨識者的身分。

綜上所述，本揭示內容的身分辨識系統結合了光體積變化描記訊號轉換模組與生物特徵轉換模組。因此，除了提高身分辨識的準確率之外，還可確認被辨識者為活體而非照片。

雖然本發明已以實施方式揭露如上，但其他實施方式亦有可能。因此，所請請求項之精神與範圍並不限定於此處實施方式所含之敘述。

任何熟習此技藝者可明瞭，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧身分辨識系統

110‧‧‧目標區域擷取模組

120‧‧‧光體積變化描記訊號轉換模組

130‧‧‧生物特徵轉換模組

140‧‧‧人臉特徵擷取模組

150‧‧‧比對模組

160‧‧‧生理訊號計算模組

Claims (10)

1. 一種身分辨識系統，包括：一目標區域擷取模組，用以自一被辨識者在不同時間之複數張人臉圖像中擷取出複數張目標區域圖像；一光體積變化描記訊號轉換模組，用以根據該些目標區域圖像轉換出一光體積變化描記訊號；一生物特徵轉換模組，用以將該光體積變化描記訊號轉換為一生物特徵；一人臉特徵擷取模組，用以自該些人臉圖像擷取出一人臉特徵；以及一比對模組，用以將該人臉特徵和該生物特徵融合成一混合特徵，並將該混合特徵與預先儲存於一資料庫中的各自對應於不同身分的複數個混合特徵進行相似度計算，並根據相似度計算結果，確定該被辨識者的身分。
2. 如申請專利範圍第1項所述之身分辨識系統，其中該生物特徵轉換模組包括：一分析轉換子模組，用以根據時頻分析法、去趨勢波動分析法或上述之組合，將該光體積變化描記訊號轉換為複數個特徵資料；以及一降維子模組，用以將該些特徵資料進行降維，以產生該生物特徵。
3. 如申請專利範圍第2項所述之身分辨識系統，其中該時頻分析法包括短時距傅立葉轉換、連續小波 轉換或離散小波轉換。
4. 如申請專利範圍第2項所述之身分辨識系統，其中該降維子模組係通過遞迴神經網路或遞迴卷積神經網路進行降維。
5. 如申請專利範圍第1項所述之身分辨識系統，其中該人臉特徵擷取模組包括：一前處理子模組，用以對該些人臉圖像進行前處理以產生一前處理後的人臉圖像；以及一特徵擷取子模組，用以自該前處理後的人臉圖像擷取出該人臉特徵。
6. 如申請專利範圍第5項所述之身分辨識系統，其中該特徵擷取子模組係通過卷積神經網路來擷取出該人臉特徵。
7. 如申請專利範圍第1項所述之身分辨識系統，其中該比對模組包括：一特徵混合子模組，用以執行一特徵混合程序以將該人臉特徵和該生物特徵融合成該混合特徵；以及一計算子模組，用以將該混合特徵與該資料庫中的該些混合特徵進行相似度計算。
8. 如申請專利範圍第1項所述之身分辨識系 統，進一步包括一生理訊號計算模組，用以根據該光體積變化描記訊號，計算出該被辨識者的一生理訊號。
9. 一種身分辨識方法，包括下列步驟：(i)提供一被辨識者在不同時間的複數張人臉圖像；(ii)自該些人臉圖像擷取出複數張目標區域圖像；(iii)根據該些目標區域圖像轉換出一光體積變化描記訊號；(iv)將該光體積變化描記訊號轉換為一生物特徵；(v)自該些人臉圖像中擷取出一人臉特徵；(vi)將該人臉特徵和該生物特徵融合成一混合特徵；以及(vii)將該混合特徵與預先儲存於一資料庫中的各自對應於不同身分的複數個混合特徵進行相似度計算，並根據相似度計算結果，確定該被辨識者的身分。
10. 如申請專利範圍第9項所述之身分辨識方法，其中步驟(iv)還包括下列子步驟：(a)根據時頻分析法、去趨勢波動分析法或上述之組合，將該光體積變化描記訊號轉換為複數個特徵資料；以及(b)將該些特徵資料進行降維，以產生該生物特徵。

Images