TWI524277B - Dynamic Image Identity Identification System and Method with Shape Characteristic Matching - Google Patents

Description

具外型特徵比對之動態影像身份辨識系統及方法

本發明是有關於一種身份辨識系統及方法，特別係透過比對人物外型，例如身高及衣著顏色等特徵之影像銳利度、人臉特徵吻合度，以判定單張靜態影像的可能辨識正確率，選擇擷取影像中有效及易辨識的單張靜態影像，可有效提升人臉辨識率，可應用於公共場所及特定組織之動態人物身分辨識，快速比對資料庫外型特徵及判斷人物之真正身分。

2013年波士頓馬拉松爆炸案，美國FBI在短短三天確認並公布嫌犯影像，第四天逮捕嫌犯。運用雲端巨量動態影像資料之影像擷取與特徵快速比對應用已成為安全監控產業之重要研發技術之一。

傳統動態影像之人臉辨識系統及方法系統採用特徵擷取(feature extraction)的方式來減少資料的訊息量，但因辨識系統在抗雜訊能力不足與環境影響因數下，擷取行進中動態正面或側面之單張靜態人臉影像常模糊不清，經正規化校正後仍無法以臉部影像正確辨識特定人之身份，無法滿足正確與快速動態影像身份辨識的需求。前述實為仍待解決之技術課題。

有鑑於習知技術之各項問題，本發明人基於多年研究開發與諸多實務經驗，提出一種具外型特徵比對之動態影像身份辨識系統及方法，以作為改善上述缺點之實現方式與依據。

本發明之具外型特徵比對之動態影像身份辨識系統，包括：影像擷取單元、分析模組、影像分類模組及人臉辨識模組。其中，影像擷取單元係於時間區間內擷取至少一人物之複數張靜態影像，並傳送複數張靜態影像。分析模組係接收複數張靜態影像，並依據人物之外型特徵，藉以從複數張靜態影像中挑選出單張靜態影像，其中單張靜態影像係人物之正面、側面或半側面之靜態影像。影像分類模組係對分析模組所挑選出之單張靜態影像進行正規化處理，並傳輸單張靜態影像，其中若單張靜態影像為人物之半側面之靜態影像，則影像分類模組更於進行正規化處理之前，對單張靜態影像進行影像旋轉處理。人臉辨識模組係接收影像分類模組所傳輸之單張靜態影像，並依據人物特徵資料庫比對單張靜態影像中人物之人臉特徵，以產生比對結果。

較佳者，本發明之具外型特徵比對之動態影像身份辨識系統之時間區間可例如為30或1分鐘。

較佳者，本發明之具外型特徵比對之動態影像身份辨識系統之外型特徵可例如為人物之身高、衣著或體型。

較佳者，本發明之具外型特徵比對之動態影像身份辨識系統之人臉特徵可例如為臉部五官。

較佳者，本發明之具外型特徵比對之動態影像身份辨識系統之複數張靜態影像可例如為2D影像。

較佳者，本發明之具外型特徵比對之動態影像身份辨識系統之複數張靜態影像可例如為JPEG(Joint Photographic Experts Group)、RAW(Photoshop Camera Raw)或MPO(metropolitan planning organization)格式。

較佳者，本發明之具外型特徵比對之動態影像身份辨識系統之影像分類模組更將進行正規化處理後之單張靜態影像儲存至人物特徵資料庫。

本發明之具外型特徵比對之動態影像身份辨識之方法，包括下列步驟：以影像擷取單元於時間區間內擷取人物之複數張靜態影像，並傳送複數張靜態影像；以分析模組接收複數張靜態影像，並依據人物特徵資料庫分析複數張靜態影像中人物之外型特徵，藉以從複數張靜態影像中挑選出單張靜態影像，其中單張靜態影像係人物之正面、側面或半側面之靜態影像；以影像分類模組對分析模組所挑選出單張靜態影像進行正規化處理，並傳輸單張靜態影像，其中若單張靜態影像為人物之半側面之靜態影像，則影像分類模組更於進行正規化處理之前，對單張靜態影像進行影像旋轉處理；以人臉辨識模組係接收影像分類模組所傳輸之單張靜態影像，並依據人物特徵資料庫比對單張靜態影像中人物之人臉特徵，以產生比對結果。

較佳者，本發明之具外型特徵比對之動態影像身份辨識之方法，其中該複數張靜態影像可例如為JPEG(Joint Photographic Experts Group)、RAW(Photoshop Camera Raw)或MPO(metropolitan planning organization)格式。

較佳者，本發明之具外型特徵比對之動態影像身份辨識之方法之半側面之靜態影像之影像旋轉處理係藉由眼睛及耳朵判別單張靜態影像中之臉部角度，並將半側面之靜態影像旋轉至正面或側面，再對單張靜態影像進行正規化處理。

承上所述，本發明之具外型特徵比對之動態影像身份辨識系統及方法具有下列優點：

(1)本發明可應用於公共場所及特定組織之人物身分辨識，對影像進行外型特徵、人臉影像擷取、保存及不同臉部特徵比對，協助管理者快速找出影像特徵相似者，可有效提升影像之人臉辨識率。

(2)本發明之人物影像可先針對外型特徵進行影像擷取、保存與比對，後續再進行人臉特徵之比對。於人臉特徵之分析比對中，本發明將執行臉部影像分類、正規化與正面臉部與側面臉部個別特徵比對，藉此可有效提升影像系統之人臉辨識率。

10‧‧‧影像擷取單元

20‧‧‧分析模組

21‧‧‧人物特徵資料庫

30‧‧‧影像分類模組

40‧‧‧人臉辨識模組

S10~S13‧‧‧步驟

第1圖係為本發明之具外型特徵比對之動態影像身份辨識系統及方法之系統方塊圖。

第2圖係為本發明之具外型特徵比對之動態影像身份辨識系統及方法之步驟流程圖。

以下將參照相關圖式，說明依本發明之具外型特徵比對之動態影像身份辨識系統及方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。

請參閱第1圖，其係為本發明之具外型特徵比對之動態影像身份辨識系統及方法之系統方塊圖。本發明係為了提升影像系統之人臉辨識率，進而將臉部影像分類、正規化處理與正面臉部與側面臉部各別進行特徵比對。本發明係一種具外型特徵比對之動態影像身份辨識系統，包括：影像擷取單元10、分析模組20、影像分類模組30及人臉辨識模組40。其中，影像擷取單元10係於時間區間內擷取人物之複數張靜態影像，並傳送複數張靜態影像，此靜態影像 可例如為2D影像，靜態影像之檔案格式可例如為JPEG、RAW或MPO，於此並不設限，只要係可令本發明之系統正常讀取之檔案格式皆適用本發明，而上述之時間區間可例如為30秒或1分鐘。惟，前述僅為舉例，非用以限定，實際之時間區間可依實際需求而有所改變。

續言之，本發明之分析模組20係接收複數張靜態影像，並依據人物特徵資料庫21分析複數張靜態影像中人物之外型特徵，亦即將這些靜態影像中人物之外型特徵與人物特徵資料庫21中之資料，例如外型特徵之資料，進行比對藉以從複數張靜態影像中挑選出有效、易辨識之單張靜態影像，其中單張靜態影像係例如人物之正面、側面或半側面之靜態影像。接著，分析模組20傳送所挑選出之單張靜態影像。此外，上述之人物外型特徵可例如為人物之身高、衣著或體型等，於此並不設限。而本發明之影像分類模組30係接收分析模組20所傳送之單張靜態影像，並且對分析模組所挑選出之單張靜態影像進行正規化處理，並傳輸經過正規化處理後之單張靜態影像，其中，若單張靜態影像為人物之半側面之靜態影像，則該影像分類模組30更可於進行正規化處理之前，對單張靜態影像進行影像旋轉處理，且影像分類模組30更可將經過正規化處理後之單張靜態影像傳送及儲存至人物特徵資料庫中。

除此之外，本發明之人臉辨識模組40係接收影像分類模組30所傳送之經過正規化處理後之單張靜態影像，並依據人物特徵資料庫21比對單張靜態影像中人物之人臉特徵，亦即將單張靜態影像中人物之人臉特徵與人物特徵資料庫21中之資料，例如人臉特徵之資料，進行比對以產生比對結果，藉此可快速判斷及確認此人物之真實身份。上述之人臉特徵可例如為臉部五官。

本發明之具外型特徵比對之動態影像身份辨識之方法，可例如應用於公共場所或是特定組織之出入口，特定組織例如學校、大樓、企業或公家機關等地方，以達到快速判斷人物之真正身份之目的。本發明之方法包括下列步驟：

(步驟S10)當至少一人物進入此影像擷取單元之擷取範圍時，此影像擷取單元於時間內擷取此人物之複數張靜態影像，並傳送複數張靜態影像，此時間區間可例如為30秒或1分鐘，此靜態影像之格式可例如為JPEG、RAW或MPO等檔案格式。

(步驟S11)接著，當分析模組接收到此人物的複數張靜態影像後，會依據人物特徵資料庫分析複數張靜態影像中人物之外型特徵，此外型特徵例如身高、衣著及體型，藉以從複數張靜態影像中挑選出有效的單張靜態影像，其中有效的單張靜態影像可例如為人物之正面、側面或半側面之靜態影像。接著，分析模組傳送所挑選出之單張靜態影像。

(步驟S12)影像分類模組接收且對分析模組所挑選之單張靜態影像進行正規化處理，此正規化處理係例如調整人物之臉部影像尺度。之後，影像分類模組再傳送及儲存已正規化處理之單張靜態影像至人物特徵資料庫中。其中，如果此單張靜態影像係為人物之半側面之靜態影像，則影像分類模組會先對此單張靜態影像進行影像旋轉處理，此影像旋轉處理可例如將擷取到的半側面之靜態影像依據此人物之眼睛及耳朵等器官判別此單張靜態影像中人物之臉部角度，進而將此單張靜態影像旋轉為正面或側面之靜態影像，而後再對此單張靜態影像進行正規化處理並將此單張靜態影像傳送及儲存至人物特徵資料庫中，以供後續比對之使用。

(步驟S13)之後，人臉辨識係接收影像分類模組所傳送之經過正規化處理後之單張靜態影像，並依據人物特徵資料庫比對單張靜態影像中人物之人臉特徵，亦即將單張靜態影像中人物之人臉特徵與人物特徵資料庫21中之資料，例如人臉特徵，進行比對以產生比對結果，進而快速判斷及確認此人物之真實身份，並精確地管控進出之人員及提高影像之人臉辨識率。此外，本發明更可對此人物進行動態追蹤，隨時監控此人物於學校、大樓、企業或公家機關內部之行走路徑，協助管理者追蹤可疑人員。

總言之，透過本發明之具外型特徵比對之動態影像身份辨識系統及方法於設計上之巧思，本發明主要係先對人物之外型特徵及臉部影像進行分類、正規化處理及/或影像旋轉處理，再進行臉部之特徵比對，藉以達到快速辨識人物之真實身份之目的。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

10‧‧‧影像擷取單元

20‧‧‧分析模組

21‧‧‧人物特徵資料庫

30‧‧‧影像分類模組

40‧‧‧人臉辨識模組

Claims (10)

1. 一種具外型特徵比對之動態影像身份辨識系統，包括：一影像擷取單元，該影像擷取單元係於一時間區間內擷取至少一人物之複數張靜態影像，並傳送該複數張靜態影像；一分析模組，該分析模組係接收該複數張靜態影像，並依據一人物特徵資料庫分析該複數張靜態影像中該人物之外型特徵，藉以從該複數張靜態影像中挑選出單張靜態影像，其中該單張靜態影像係該人物之正面、側面或半側面之靜態影像；一影像分類模組，該影像分類模組係對該分析模組所挑選出之該單張靜態影像進行一正規化處理，並傳輸該單張靜態影像，其中若該單張靜態影像為該人物之半側面之靜態影像，則該影像分類模組更於進行該正規化處理之前，對該單張靜態影像進行一影像旋轉處理；以及一人臉辨識模組，該人臉辨識模組係接收該影像分類模組所傳輸之該單張靜態影像，並依據該人物特徵資料庫比對該單張靜態影像中該人物之人臉特徵，以產生一比對結果。
2. 如申請專利範圍第1項所述之具外型特徵比對之動態影像身份辨識系統，其中該時間區間為30秒或1分鐘。
3. 如申請專利範圍第1項所述之具外型特徵比對之動態影像身份辨識系統，其中該外型特徵為該人物之身高、衣著或體型。
4. 如申請專利範圍第1項所述之具外型特徵比對之動態影像身份辨識系統，其中該人臉特徵為臉部五官。
5. 如申請專利範圍第1項所述之具外型特徵比對之動態影像身份 辨識系統，其中該複數張靜態影像為2D影像。
6. 如申請專利範圍第1項所述之具外型特徵比對之動態影像身份辨識系統，其中該複數張靜態影像為JPEG、RAW或MPO格式。
7. 如申請專利範圍第1項所述之具外型特徵比對之動態影像身份辨識系統，其中該影像分類模組更將進行該正規化處理後之該單張靜態影像儲存至該人物特徵資料庫。
8. 一種具外型特徵比對之動態影像身份辨識之方法，包括下列步驟：以一影像擷取單元於一時間區間內擷取至少一人物之複數張靜態影像，並傳送該複數張靜態影像；以一分析模組接收該複數張靜態影像，並依據一人物特徵資料庫分析該複數張靜態影像中該人物之外型特徵，藉以從該複數張靜態影像中挑選出單張靜態影像，其中該單張靜態影像係該人物之正面、側面或半側面之靜態影像；以一影像分類模組對該分析模組所挑選出之該單張靜態影像進行一正規化處理，並傳輸該單張靜態影像，其中若該單張靜態影像為該人物之半側面之靜態影像，則該影像分類模組更於進行該正規化處理之前，對該單張靜態影像進行一影像旋轉處理；以及以一人臉辨識模組係接收該影像分類模組所傳輸之該單張靜態影像，並依據該人物特徵資料庫比對該單張靜態影像中該人物之人臉特徵，以產生一比對結果。
9. 如申請專利範圍第8項所述之具外型特徵比對之動態影像身份 辨識之方法，其中該複數張靜態影像為JPEG、RAW或MPO格式。
10. 如申請專利範圍第8項所述之具外型特徵比對之動態影像身份辨識之方法，其中該半側面之靜態影像之該影像旋轉處理係藉由眼睛及耳朵判別該單張靜態影像中之臉部角度，並將該半側面之靜態影像旋轉至正面或側面，再對該單張靜態影像進行該正規化處理。