TW202321981A - 面部識別系統及其控制方法 - Google Patents

Abstract

本發明涉及一種用於執行使用者認證方法及系統。為了解決如上所述問題，本發明的面部識別系統控制方法包括如下步驟：利用設置於執行面部識別功能的終端中的一攝像頭獲取一圖像； 根據一預定面部識別演算法，從所述圖像識別出一識別面部；確認在所述圖像中識別出的所述識別面部是否滿足一預定面部條件；根據所述確認結果，為了對於所述識別面部執行用戶認證，向一預定伺服器請求對於所述識別面部執行用戶認證；以及，根據從所述伺服器收到的對於所述識別面部執行的使用者認證結果，基於對所述識別面部的使用者認證結果執行控制。

Description

面部識別系統及其控制方法

本發明涉及一種用於執行使用者認證的使用者面部識別系統及其控制方法。

隨著技術發展，終端的使用率增加，尤其，終端作為用戶認證的方法在各種情況下使用。

例如，在進出口空間設立的進出控制裝置（例如，進出控制門或者快速通過門）確認使用者，在大型會議現場確認使用者，醫院就診確認，在咖啡廳結帳時確認使用者等，在很多情況下，皆有用戶認證的需求，以確認真正的使用者。 可見，對於使用者需進行認證時，利用終端可以減少勞動成本與花費於使用者認證的時間。

利用終端對使用者進行認證的方式各種各樣，例如，通過用戶親自把能夠識別自己的識別資訊（例如，電話號碼，電子信箱等）或者生物資訊（例如，指紋資訊等）輸入到終端，可進行認證。

近期，為了在沒有使用者對終端直接輸入信息的情況下，也可以執行使用者認證，對於迅速準確地識別使用者面部方法的研究正在積極進行中。

本發明為提供一種較迅速準確地識別使用者面部的面部識別系統及其控制方法。

而且，本發明提供一種能夠判斷使用者是否具有使用者認證意圖的面部識別系統及其控制方法。

進而，本發明提供一種對於具有真正的使用者認證意圖的使用者，能夠完成使用者認證的面部識別系統及其控制方法。

為了解決上述問題，本發明的面部識別系統控制方法包括如下步驟：利用設置於執行面部識別功能的終端中的一攝像頭獲取一圖像；根據一預定面部識別演算法，從所述圖像識別出一識別面部；確認在所述圖像中識別出的所述識別面部是否滿足一預定面部條件；根據所述確認結果，為了對於所述識別面部執行用戶認證，向一預定伺服器請求對於所述識別面部執行用戶認證；以及根據從所述伺服器收到的對於所述識別面部執行的使用者認證結果，基於對所述識別面部的使用者認證結果執行控制。

並且，本發明的面部識別系統包括：一攝像頭，用於獲取一圖像；一儲存部，用於儲存獲取的所述圖像；以及一控制部，根據一預定面部識別演算法，在所述圖像中識別出一識別面部並確認所述圖像中所述識別面部是否滿足一預定面部條件，所述控制部，根據確認所述圖像中所述識別面部是否滿足所述預定面部條件的結果，向一預定伺服器請求對所述識別面部執行用戶認證，以對所述識別面部執行使用者認證，根據所述伺服器收到的對所述識別面部執行的使用者認證結果， 基於對所述識別面部的使用者認證結果執行控制。

並且，本發明的面部識別系統包括：一攝像頭，用於獲取一圖像；一儲存部，用於儲存獲取的所述圖像；一控制部，根據一預定面部識別演算法，在所述圖像中識別出一識別面部並確認所述圖像中所述識別面部是否滿足一預定面部條件；以及一伺服器，當所述識別面部滿足所述預定面部條件時，對所述識別面部執行用戶認證，所述控制部，根據所述伺服器收到的對所述識別面部執行的使用者認證結果，基於對所述識別面部的使用者認證結果執行控制。

並且，本發明的一種計算機程式，作為在電子設備通過一個以上流程執行的電腦程式，該所述電腦程式特徵在於，所述程式含指令，該指令執行如下步驟：利用設置於執行面部識別功能的終端中的攝像頭獲取一圖像；根據一預定面部識別演算法，在所述圖像中識別出一識別面部； 確認在所述圖像中識別出的所述識別面部是否滿足一預定面部條件； 根據所述確認結果，為了對於所述識別面部執行用戶認證，向一預定伺服器請求對於所述識別面部執行用戶認證； 以及根據從所述伺服器收到的對於所述識別面部執行的使用者認證結果，基於對所述識別面部的使用者認證結果執行控制。

如上說明所示，本發明的面部識別系統及其控制方法，可以設置於執行面部識別功能終端的攝像頭獲取圖像，並根據預定面部識別演算法，從圖像識別面部。 由此，本發明在沒有使用者對終端直接輸入信息的情況下，根據終端周圍使用者所在的位置，也可以迅速準確地執行使用者面部識別。 從而，用戶通過位於終端周圍，可將自己的面部更簡便，直觀地傳送至終端。

而且，根據本發明的面部識別系統及其控制方法，能夠判斷從圖像識別的面部是否合適執行用戶認證。 本發明可確認從圖像識別的面部是否滿足預定面部條件。 從而，根據本發明，當識別到不合適於用戶認證的面部時，通過不執行用戶認證，提高數據處理效率。

而且，根據本發明的面部識別系統及其控制方法，可對於滿足預定面部條件的使用者執行用戶認證。 從而，根據本發明，當終端周圍有複數名使用者時，也能夠準確地識別具有進行使用者認證意圖的使用者面部，對使用者執行認證。

而且，根據本發明的面部識別系統及其控制方法，根據從圖像識別的面部是否滿足預定面部條件，可向預定伺服器發送對於識別面部的使用者認證請求。 由此，根據本發明的面部識別系統及其控制方法，可對真正具有使用者認證意圖的使用者面部進行用戶認證。 從而，根據本發明，通過減少對於不具有進行使用者認證意圖的使用者和具有進行使用者認證意圖的用戶周圍的其他使用者執行使用者認證而出錯的情況，可提高使用者認證結果的準確性和信賴度。

下面，參照附圖對本說明書中公開的實施例進行具體說明，與附圖編號無關地，對相同或類似的結構要素賦予相同的附圖示記，並省略對其的重複說明。 下面說明中使用的結構要素的尾碼「模組」及「部」是僅考慮到說明書撰寫的容易性而賦予或混用，其本身並非具有不同的含義或作用。 並且，當描述本說明書中公開的實施例時，如果相關的公知技術的具體說明可能混淆本說明書中公開的要旨的情況下，則將省略其具體說明。 並且，附圖僅是用於容易理解本說明書中公開的實施例，本說明書中公開的技術思想並不受附圖限制，應以包括本發明的思想及技術範圍內的所有變更，等同物以及替代物理解。

如包含第一，第二等序數的術語僅用於描述各種結構要素但所述結構要素並不受所述術語的限制。 所述術語僅用於將一個結構要素與另一結構要素區分的目的。

當提及任一結構要素與其它結構要素「連接」或「聯接」時，可以理解成直接與其它結構要素連接或聯接，但也可以在中間存在其他結構要素。 而當提及任一結構要素與其它結構要素“直接連接”或“直接聯接”時，應理解為中間未存在其他結構要素。

除非上下文另有明確規定，否則單數的表述包含複數的表述。

在本申請中，「包含」或「具有」等術語旨在表示說明書上記載的特徵，數位，步驟，動作，結構要素，部件或它們的組合的存在，並未提前排除一個或多個其他特徵或數位，步驟，動作，結構要素，部件或者它們的組合的存在或附加可能性。

本發明用於提供在沒有使用者對終端直接輸入信息的情況下，也能夠迅速準確地識別使用者面部， 並且， 為了判斷具有真正的使用者認證意圖的使用者，本發明提供一種能夠識別滿足預定面部條件的面部識別系統及面部識別系統的控制方法。 下面結合附圖對本發明進行具體說明。

圖1為用於說明本發明的面部識別系統的概念圖，圖1為用於說明本發明的面部識別系統的架構框圖。 圖3為用於說明本發明的面部識別系統的控制方法的流程圖。 而且，圖4，圖5， 圖6， 圖7a，圖7b， 圖8， 圖9， 圖10， 圖11， 圖12為用於說明本發明的面部識別系統及其控制方法的概念圖。

如圖1所示，本發明的使用者認證可通過面部識別系統100與伺服器200聯動執行。 在本發明中，伺服器200可以位於與面部識別系統100相同或者不同的場所。 伺服器200可以對從面部識別系統100識別的面部進行使用者認證處理。

另外，伺服器200可以由面部識別系統100的部分結構實現。 此時，面部識別系統100執行的功能包括伺服器200作用。

並且，如圖1所示，面部識別系統100與伺服器200可以由單獨的構成實現。 為了便於說明，在本發明中，分別說明面部識別系統100與伺服器200。

另外，不管面部識別系統100和伺服器200物理上分離，在本發明中說明的面部識別系統100和伺服器200執行的功能，可以執行於面部識別系統。

在本發明中，通過識別使用者面部執行用戶認證，並進行根據使用者認證結果執行與使用者認證相關活動或者功能（以下簡稱，目標功能）的控制。

其中，“目標功能”的種類可能非常多樣，可以是指需要進行使用者認證的各種功能，例如，對特定場所的進出控制功能，結算功能，簽到功能，醫院就診確認等。 例如， 對特定場所的進出控制功能可以通過控制 如圖1所示的進出控制門20（例如，進出控制裝置或者快速通過門）處於打開狀態或者關閉狀態中任一個執行。

如上所述，本發明的面部識別系統100根據面部識別功能或者通過使用者認證執行的功能（例如，進出控制功能，簽到功能，結算功能等），由各種各樣的硬體組成。 作為代表性的例子，下面說明如圖1所示的在進出控制門20中的用戶認證。 下面說明中，面部識別和使用者認證方法，還可以適用於具備各種功能的面部識別系統。

如圖1所示，本發明的面部識別系統100（以下簡稱，系統100）可以包括感測部110，儲存部120，通信部130，顯示部140，音響輸出部150或控制部160中至少一種。 此時，本發明的系統100並不限於上述構成要素， 還包含執行本說明書的說明的功能相同或相似的作用的構成要素。

並且，面部識別系統100可以與進出控制門20聯動或者作為構成要素包含進出控制門20。 並且，面部識別系統100可以用作為進出控制門20的一構成。 感測部110，可以感測（或者拍攝）設置於系統100的感測模組（例如，攝像頭111，熱成像攝像機，接近感測器，紫外線感測器等）構成感測（或者拍攝）使用者（或者客體）。

本發明中的「感測」可以解釋為各種含義。 例如，當利用攝像頭111時，感測可以解釋為拍攝圖像。 例如，當利用接近感測器時，可以解釋為感測使用者（或者客體）的存在。 下面說明中，「感測」可以與「拍攝（或者獲取）圖像」混用。

感測部110可以拍攝圖像（例如，RGB圖像幀和熱成像圖像幀中至少一種）。 此時，感測部110能夠以影片（video）或者圖像（image）中至少一種形式進行拍攝。

感測部110可以根據預定時間週期或者使用者請求拍攝圖像。

存儲部120利用設置（或插入）在系統100的記憶體或雲伺服器而存儲與本發明的面部識別及/或使用者認證相關的資料。 例如，在儲存部120可以儲存從感測器110傳感到的信息，獲取的圖像或者從此獲取的資訊等。

並且，通信部130可以利用設置於系統100的通信模組（例如，移動通信模組，近距離通信模組，無線通信模組，位置資訊模組，廣播收到信號模組）的構成，可以與伺服器200，外部伺服器（未圖示）或者雲伺服器（未圖示）收發資料。

並且，顯示器140可以構成為輸出視覺性資訊，並在控制部160的控制下輸出與面部識別或者用戶認證中至少一個相關的資訊。

例如，顯示部140可以控制為，根據從伺服器200收到的與認證對象使用者相關的使用者認證結果資訊，輸出與用戶認證成功（或者失敗）相關的資訊或者輸出使用者位置，以使感測部110拍攝使用者。

例如，根據認證對象使用者的認證結果資訊，顯示部140可以輸出與認證結果或者與執行目標功能相關的提示資訊（例如，Welcome，歡迎，User1！ ，參照圖8，810）。

並且，音響輸出部150可以將與本發明相關的資訊輸出為聽覺性資訊。

例如，在控制部控制下，根據認證對象使用者的認證結果資訊，音響輸出部150能夠以音響形式輸出與認證結果或者與執行目標功能相關的提示資訊。

並且，控制部160利用設置於系統100的CPU或雲伺服器中至少一種可以對各個構成進行控制，並進行與本發明相關的整體控制。

控制部160為了執行本發明，可以具有與系統構成中至少一個相關的控制許可權。

控制部160基於從通過感測部110感測到的或者通過通信部130收到的資訊，可以識別使用者面部，並可以執行用於使用者認證的程式。

控制部160可包括面部識別部161，面部識別部161根據具有面部識別功能的演算法，從感測部110拍攝的圖像可以識別面部。 並且，面部識別部161可以進行與識別面部相關的一系列控制。 對此，下面進行具體說明。 為了便於說明，在本發明中不區分面部識別部161和控制部160，而將其統稱為控制部160。

另外，根據本發明的系統100與伺服器200聯動運行，可以執行與目標功能相關的使用者認證，並且，可以根據與目標功能相關的使用者認證執行結果，控制目標功能的執行。

伺服器200根據系統100的使用者認證請求，可以執行用戶認證，將使用者認證結果發送至系統100。

另外，作為本發明認證結果所執行的功能為進出控制門20的動作控制時，根據認證物件使用者的使用者認證結果，可以控制進出控制門20的門（door）處於打開狀態或者關閉狀態。 進出控制門20可以由伺服器200或者系統100中至少一個發送的控制命令進行控制。

另外，如圖1所示，本發明的伺服器200可以包括通信部210，儲存部220或控制部230中至少一個。 此時，本發明的伺服器200並不受到上述構成要素的限制，還可以進一步包括具有與本發明的功能相同或相似作用的構成要素。

通信部210可以構成為與系統100，進出控制門20，外部伺服器（未圖示）中至少一個收發數據。

例如，通信部210可以從系統100收到包含認證對象使用者面部的圖像資訊或者作為認證物件使用者的面部資訊，並將認證物件使用者認證結果發送至系統100。

儲存部220可以構成為儲存與使用者認證相關的各種資訊。

儲存部220可以包含與已註冊的面部相關的包含參考面部特徵的用戶資料庫221（database，DB）或者包含相關信息的終端資料庫222（database，DB）中至少一個。

其中，參考面部特徵可以包含與已註冊面部相關的圖像或者與已註冊面部相關的特徵資訊（例如，特徵向量資訊）中至少一個。

用戶資料庫221（database，DB）以個別客體（或者人物）為單位，可以儲存與各客體相關的用戶資訊。 即，用戶資料庫可以配對並儲存與各客體相對應的用戶資訊。

其中，使用者資訊可以包含各個人物姓名、生日、地址、電話號碼、電子信箱、帳號資訊、員工編號、使用者名稱（ID）、生物資訊、日程（時間表）中至少一個。

參考面部所包含的參考面部圖像，作為特定人物的面部圖像，可以是單數或者複數。 本發明的用戶資料庫（database，DB）可以命名為與使用者相關信息或者使用者識別資訊。

另外，終端資料庫222（database，DB）中可以儲存與執行程式的系統相關的資訊。

其中，與終端相關的資訊可以包含各個系統100（或者進出控制門20）的識別資訊（序列號），位置或與使用者認證聯動的與目標功能相關的資訊中至少一個。

另外，控制部230可以利用儲存於用戶資料庫221（database，DB）的參考面部特徵資訊，對認證對象使用者執行用戶認證。

其中，使用者認證可以通過控制部230的用戶認證部231執行。 即，用戶認證部231可以執行控制部230的一部分功能。 在本發明說明中，不區分控制部230與用戶認證部231。

下面，根據上述系統100和伺服器200構成，具體說明本發明中執行用戶認證的基本程式。

如圖2所示，根據本發明的系統100可以利用感測部110（例如，攝像頭）拍攝圖像並對拍攝的圖像執行數據處理程式（步驟S210）。 圖像能夠以預定時間週期被拍攝。

感測部110可以分別拍攝圖像幀（或者圖像，如RGB圖像幀）和熱成像圖像幀（或者圖像）（步驟S211， S212 ）

如上所述，通過感測部110的拍攝，可以確保作為面部識別物件的圖像（本發明說明中，命名為圖像）

另外，系統100可以識別圖像，即執行從圖像識別面部的過程。

進一步具體地，控制部160可以從圖像識別使用者面部（步驟S221）並判斷識別面部是否滿足預定面部條件（步驟S222）。

其中，預定面部條件用於判斷識別面部是否具有合適於執行使用者認證的條件，能夠設定各種預定面部條件。 例如，預定面部條件可以與下列中至少一個相關：i）在圖像中包含的識別面部所在的位置；ii）在圖像中上述識別面部所佔的領域大小； iii）在圖像中識別面部的角度（如，使用者面部是否對著正面）；iv）是否識別使用者面部整體； v）使用者是否戴著口罩等

當通過攝像頭111獲取的圖像中，識別到滿足預定面部條件的面部時，控制部160可以利用該圖像執行用於對滿足預定面部條件面部執行使用者認證的程式。

控制部160可以將在圖像中識別出的面部中滿足預定面部條件的面部特定為認證物件面部。 例如，控制部160在圖4（b）所示的圖像中，可以將複數個使用者面部2000a，2000b，2000c，2000d，2000e中不被剪切而並佔據最寬大領域的面部2000a特定為認證物件面部。

如上所述，當從圖像中特定要認證的面部，即認證物件面部時，控制部160可以進一步執行摻雜（spoofing）確認和溫度確認（步驟S230）。

控制部160可以對通過摻假確認和溫度確認的圖像請求用戶認證。

控制部160可以向伺服器200發送對認證使用者的使用者認證請求（步驟S250）（參照圖2）。

控制部160在請求使用者認證的同時，可以將認證對象使用者的面部資訊（使用者的面部圖像或面部特徵資訊等）發送到至伺服器200。

伺服器200可以對圖像中包含的認證對象使用者的面部資訊和伺服器200的用戶資料庫221（database，DB）中存儲的參考面部特徵信息進行相似度判斷S240。

根據相似度判斷方法的一個實施例，伺服器200可以通過對照圖像中包含的認證對象使用者面部和存儲在用戶資料庫221（database，DB）中的參考面部圖像執行用戶認證。

此時，對參考臉面部圖像和圖像中認證對象使用者面部進行對照，可以指對與參考面部圖像相對應的特徵點資訊和圖像中識別到的使用者面部特徵點資訊進行對照。 即，在用戶資料庫221（database，DB）中，用戶參考面部圖像和參考臉面部圖像中包含的眼睛、鼻子、嘴巴等根據容貌定義的特徵點資訊。

根據與相似度判斷方法相關的另一個實施例，伺服器200可以通過對從圖像中提取的，認證對象使用者面部的特徵向量和包含在參考面部特徵資訊中的特徵向量進行對照，執行用戶認證。 此時，在用戶資料庫221（database，DB）中存在的資訊可以是各種與參考面部相關的特徵資訊。 伺服器200可以從使用者資料庫檢索（或者提取）與認證對象使用者面部最相似的特徵向量，當檢索到的特徵向量與認證對象使用者面部的特徵向量的相似度為預定值（臨界值）以上時，可將對於使用者的認證處理為成功。

並且，伺服器200將使用者認證結果發送至系統100，系統100可以基於從伺服器200收到的認證結果，向使用者提供使用者認證結果（步驟S260）。 例如，認證結果可以通過設置於系統100的輸出部（例如：顯示部、音響輸出部、揚聲器）提供給使用者。 例如，當控制部160成功對認證對象用戶的認證時，可以將顯示部140控制為，輸出與認證結果或者與執行目標功能相關的提示資訊（例如，Welcome，歡迎User1，參照圖8，810）。

並且，控制部160 根據從伺服器200收到到的認證對象使用者的使用者認證結果，可以進行各種控制。 例如，系統100與進出控制裝置聯動或包含於進出控制裝置時，在控制部160對認證對象使用者的使用者認證成功的情況下，可以控制進出控制門20，以認證成功的使用者能夠進入特定空間。 進出控制門20將關閉狀態作為默認狀態，保持關閉狀態，並根據控制部160的控制或從伺服器200收到的控制信號可以進行控制，使其處於打開狀態。

並且，本發明的系統100和適用使用者認證結果的進出控制門20或結算終端等，可以獨立驅動。 此時，伺服器200不僅可以將使用者認證結果發送至系統100，還可以發送至進出控制門20或結算終端S270。

此時，進出控制門20或結算終端可以基於從伺服器200收到的使用者認證結果控制操作。

例如，當使用者認證結果用於控制進出控制門20的操作時，伺服器200可以基於使用者認證結果，將控制信號發送至進出控制門20，使進出控制門的門（door）處於打開狀態。

下面，具體說明利用系統100及伺服器200所包含的各個構成，快速，準確地識別使用者面部的方法。

本發明的面部識別系統的控制方法，可以利用執行面部識別功能的系統100中設置的攝像頭111獲取圖像（步驟S310）（參照圖3）。

如圖4（a）所示，各位用戶可以位於特定空間1。 例如，在特定空間1可以存在想要通過進出控制門20的使用者1000a，1000b，1000c，在特定位置站停的使用者1000d或者在特定空間1自由移動的使用者1000e。

下面為了便於說明，以進出控制門20或系統100為準，將站在第一列的使用者1000a命名為第一使用者1000a，將站在第二列的使用者1000b命名為第二使用者1000b，將站在第三列的使用者1000c命名為第三使用者1000c。 此外，將停止在特定位置的使用者1000d命名為第四使用者1000d，將移動中的使用者1000e命名為第五使用者1000e。

另外，設置於系統100或系統100中的攝像頭111可以設置在能夠拍攝特定空間1圖像的適當位置，通過執行使用者認證執行其功能（例如，進出控制門20的操作功能）。 攝像頭111可以設置於能夠識別使用者面部的適當位置。

例如，如圖4（a）所示，攝像頭111可以設置於進出控制門20的周圍或進出控制門20的一領域中，以拍攝想要通過進出控制門20的使用者所在的特定空間。

如圖4（b）所示，從攝像頭111拍攝的圖像400可以包括與攝像頭111視角（field of view）對應的空間資訊。 如圖4（a）所示，用戶位於攝像頭111的視角內時，如圖4（b）所示，圖像400可以包括與用戶對應的圖像客體2000a，2000b，2000c，2000d，2000e。 如圖所示，圖像客體2000a，2000b，2000c，2000d，2000e可以包括與使用者面部對應的圖像。

如圖4（a）所示，如果複數個用戶位於攝像頭111周圍，則圖4（b）可能包含與複數個使用者面部分別對應的圖像客體2000a，2000b，2000c，2000d，2000e（或稱面部圖像）。

在本發明中，為避免詞語的用法混淆，可以將與使用者的面部對應的圖像客體命名為“面部”或“面部圖像”。 例如，可以將與第一使用者1000a面部對應的圖像客體命名為第一面部2000a或第一面部圖像2000a，可以將與第二使用者1000b面部對應的圖像客體命名為第二面部圖像2000b或第二臉面部圖像2000b。 此外，在本發明的附圖中，為了便於說明，在圖像400中強調顯示使用者面部。

另外，上述S310步驟可以對應於圖2中的S210步驟，S310步驟可以包括S210步驟中的細節程式。

下面，在本發明中，根據預定面部識別演算法，可以進行從圖像中識別出面部的步驟S320（參照圖3）。

控制部160可以基於面部識別演算法對圖4（b）中獲得的圖像400執行面部識別。 面部識別演算法可以基於在圖像中識別出客體的圖像客體識別技術執行。 例如，在圖像400中識別面部的演算法，可能為識別面部，利用面部識別學習演算法（例如，YOLO演算法，CNN演算法）在圖像中識別使用者面部的技術。

如圖5（a）所示，控制部160可以為識別出的面部2000a，2000b，2000c，2000d，2000e分別分配包圍框（Bounding box）3000a，3000b，3000c，3000d，3000e。 每個包圍框3000a，3000b，3000c，3000d，3000e可以被分配給圖像中包含的面部2000a，2000b，2000c，2000d，2000e。

控制部160可以為每個識別面部分配不同的識別資訊。 另一方面，分配給每個識別面部的識別資訊可以與彈出之包圍框3000a，3000b，3000c，3000d，3000e的識別資訊相同。

在此，識別資訊可以是使用者名稱，例如，控制部160可以將不同的使用者名稱，例如“USER 1”，分配給每個被識別的使用者面部2000a，2000b，2000c，2000d，2000e。

另外，控制部160可以為圖像中包含的複數個面部分配不同的使用者名稱，如果不同圖像中包含相同的面部，則可以向不同圖像中包含的相同面部分配相同的使用者名稱。

例如，對於在圖7a中不同時間點tp3，tp2，tp1，t0獲得的圖像730，720，710，700中包含的相同面部2000a，可以分配相同的使用者名稱，例如“USER 1”。

另外，控制部160在圖像中識別面部后，可以提取各個識別面部的資訊。 為便利說明，將提取的資訊命名為「面部資訊」。

控制部160提取與各個識別面部相關的面部資訊，510如圖5（b）所示，提取的面部資訊可以與分配給識別面部的使用者名稱相配並儲存。 控制部160可以控制從圖像400中提取的面部資訊510與分配給在圖像中識別出的面部的使用者名稱相配，存儲在存儲部120中。

如圖5（b）所示，「面部資訊510」可以包括在圖像中的面部相關的各種資訊。 例如，面部資訊510可以包括：i）圖像中面部（包圍框）的位置資訊（圖元座標資訊，511）；ii）面部大小資訊（圖像中面部所佔領域大小或與包圍框相對應領域的大小（或寬度）； iii）面部角度資訊，即面部是否朝向基準方向（如，以攝像頭為準）的資訊； iv）面部特徵資訊（如，向量資訊）中的至少一個。

其中，面部特徵資訊是指，各個面部所具有的特徵資訊，如：眼睛、眉毛、鼻子嘴巴、下巴等，能夠給面部特徵帶來變化的特徵（feature）數據或與此相關的特徵向量。 每個人具有不同的長相，具有不同的特徵，因此，長相不同的使用者可以擁有不同的面部特徵資訊。

這種面部資訊可以分別存在於每個識別出使用者面部圖像中。

如圖5（b）所示，從攝像頭111獲得的圖像（或圖像幀），每個圖像都存在識別資訊520，圖像的識別資訊520和從該圖像中提取的面部資訊510可以相配。 如圖所示，圖像的識別資訊和面部資訊可以以表格的形式存在於存儲單元中。

圖像的識別資訊520可以包括用於區分圖像的序列號，使用者名稱（例如，no.#1025）； ii）拍攝圖像的時間資訊（或拍攝圖像幀的時間資訊，例如，2021-11-14-13：00：05）；iii）與拍攝圖像的終端相關信息（終端識別資訊，終端位置資訊，例如，LOBBY A）中至少一個。

如圖5（b）所示，在存儲部120中，可以相配存儲在圖像中識別的每個面部資訊510，分配給圖像中識別出的面部的使用者名稱，識別面部圖像的識別資訊520。

另外，控制部160可以控制攝像頭111獲得的圖像，在圖像提取的面部資訊510和圖像識別資訊等僅在預定時間（預定資訊儲存時間，例如，10分）內儲存於儲存部120，從而能夠有效利用儲存部。

例如，儲存部160當經過預定時間（預定資訊儲存時間）後，可以控制上述資訊，使其被刪除於儲存部120。

另外，從攝像頭獲得的圖像不僅可以包含單數個使用者的面部，如圖5（a）所示，還可以包含複數個面部2000a， 2000b， 2000c， 2000d， 2000e。 此時，屬於複數個面部的使用者中，一部分使用者可能不具有使用者認證意圖。 並且，如果在圖像有複數個面部，也有可能發生使用者即使具有使用者認證意圖，由於其他使用者的面部不能執行使用者認證的情況。

此外，在空間雖然沒有具有使用者認證意圖的使用者，也有可能發生在圖像400中的複數個面部2000a， 2000b， 2000c， 2000d， 2000e中至少一個面部執行用戶認證的情況。

因此，為了在複數個使用者自由進出的空間由面部識別進行使用者認證，必須對有意圖進行用戶認證的特定用戶進行準確的用戶認證。

因此，在本發明中，可以在圖像400中識別的面部中，對滿足預定面部條件的至少一個面部執行用戶認證。

進一步具體地，在本發明中，可以確認圖像中識別面部是否滿足預定面部條件S330（參見圖3）。

其中，預定面部條件用於判斷識別面部是否具有合適於執行使用者認證的條件，能夠設定各種預定面部條件。 例如，預定面部條件可以與下列中至少一個相關：i）在圖像中包含的識別面部所在的位置； ii）在圖像中上述識別面部所佔的領域大小；iii）在圖像中識別面部的角度（如，使用者面部是否對著正面）； iv）是否識別使用者面部整體； v）使用者是否戴著口罩等

控制部160可以利用圖像的面部中滿足預定面部條件的至少一個面部，控制對於與該面部對應的用戶進行用戶認證。 當從圖像中識別到複數個面部時，控制部160可以確認識別出的複數個面部是否滿足預定面部條件，將複數個面部中特定滿足預定面部條件的面部。

例如，如圖5的（a）所示，控制部160在圖像400中識別出複數個面部時，能夠判斷識別出的第一面部至第五面部2000a，2000b，2000c，2000d，2000e分別是否滿足預定面部條件。

控制部160對於圖像400中滿足預定面部條件的面部，可以執行與該圖像400中包含的面部對應使用者的用戶認證。 控制部400即使從圖像中識別出面部，如果該圖像中不存在滿足預定面部條件的面部，也可以向伺服器不發送使用者認證請求，以便對於與該圖像中包含的面部對應的用戶進行用戶認證。

另外，根據與預定面部條件相關的一個實施例，從識別面部所佔領域的大小來看，控制部160可以判斷在圖像中識別出的複數個面部分別所佔的領域大小，例如，面部領域（或者包圍框領域）的大小或寬度是否超過預定大小。 當具有預定大小以上的面部存在時，控制部160可以將與該面部對應的使用者特定為作為使用者認證物件的面部。

例如，如圖6（a）所示，控制部160可以將從圖像610識別出的第一面部2000a和第四面部2000d中，包含在預定大小以上面部領域的第一面部2000a特定為作為使用者認證對象的認證物件面部。

並且，當圖像中有複數個預定大小以上的面部領域時，控制部160可以將複數個面部領域中包含在最大面部領域中的面部特定為作為使用者認證物件的認證物件面部。

例如，在圖6（a）所示的圖像610中，即使第一面部2000a和第四面部2000d均具有預定大小以上的大小，控制部160也可以將包括在最大面部領域中的第一面部2000a特定為作為使用者認證對象的認證物件面部。

作為預定面部條件的另一個例子，圖像中的識別到的面部位置來看，如圖6（a）所示，預定面部條件可以與圖像中包含的識別面部位置在離圖像中預定位置（例如，中央611）一定距離以內相關。

例如，如圖6（a）所示，控制部160可以將從圖像610識別的第一面部2000a和第四面部2000d中位於離圖像610的預定位置（例如，圖像中央位置，611）一定距離以內的第一面部2000a特定為作為使用者認證對象的認證物件面部。

根據另一個實施例，預定面部條件可能與圖像中識別的面部是否屬於整個面部相關。 如圖6（b）所示，在圖像620中識別的第1面部2000a不對應於用戶整個面部，而對應於部分面部時，控制部160可以不將第1面部2000a特定為作為使用者認證物件的面部認證物件。 此時，如果第4面部2000d不是先前觀察到的具有預定大小的面部時，則控制部160可以判斷出該圖像630中不存在作為使用者認證物件的面部。

但是，如果試圖認證的位於最前面的用戶過於接近，則可能僅識別出該使用者的部分面部，並且位於該使用者後面的其他使用者的面部為適當大小時，可以將其確定為認證物件的面部，因此，如果認為位於最前面的使用者（例如，面部最大的使用者）的面部被暴露一部分，則可以判斷該面部沒有成為作為使用者認證物件的面部，並可以向使用者輸出提示， 要求使用者稍後退一步或者移動到整個面部可位於畫面內。

根據另一個實施例，預定面部條件可能與圖像中識別面部的角度在以預定方向時，屬於預定角度範圍內相關。這可能與預定方向（例如，攝像頭方向）有關，即使用者是否以正面對著攝像頭。

例如，如圖6（c）所示，如果圖像630中識別的第5面部2000e的角度（例如，以x方向為準，向-y旋轉90°，-90°），以攝像頭111正面方向（x方向，641）為準，不屬於第一角度（例如，-20°）至第二角度（例如，+20°）內，則控制部160可以不將第五面部2000e特定為作為使用者認證物件的面部。

即，控制部160僅在圖像中識別的面部角度以預定方向為準，符合一定條件的情況下，才能判斷出該面部滿足預定面部條件。

如上所述，本發明為了迅速準確地識別使用者面部，可以對通過攝像頭111獲得的圖像中進行確認，識別滿足預定面部條件的面部。

另外，如上所述，當預定面部條件為複數個時，控制部160僅在圖像中的面部滿足所有的複數個面部條件時，可以將包含在該圖像的面部特定為作為使用者認證物件的面部。

另外，當滿足圖像中預定面部條件的面部是複數個時，控制部160可以將圖像中最大的面部特定為作為使用者認證物件的面部。 與此不同，當滿足圖像中預定面部條件的面部是複數個時，控制部160可根據情況，可以將所有的複數個面部特定為作為使用者認證物件的面部。

接下來，在本發明中，根據對圖像中識別的面部是否滿足預定面部條件進行確認的結果，可以執行使用者認證請求的程式S340。

控制部160在圖像中識別的面部滿足預定面部條件時，為了進行與該面部對應的用戶認證，可以通過伺服器200請求用戶認證。 此時，使用者認證請求可以從系統100發送到伺服器200。

與此不同，控制部160在圖像中識別的面部不滿足預定面部條件時，可以向伺服器200不發送使用者認證請求。 即，控制部160對在圖像中識別的面部是否滿足預定面部條件進行確認后，如果面部中不存在滿足預定面部條件的面部，則可以向伺服器200不發送基於圖像的使用者認證請求。

如上所述，本發明通過進行控制，對滿足預定面部條件的面部執行使用者認證程式，可以防止對不具有進行使用者認證意圖的使用者面部執行使用者認證，從而提高使用者認證準確性。 另外，通過防止重複執行不必要的認證操作，可以減少操作資源並快速處理操作。

另外，本發明即使說明在使用者認證伺服器200中執行使用者認證程式，但還可以在系統100中執行使用者認證程式。

當從圖像中識別出的面部滿足預定面部條件時，控制部160將識別面部相關信息發送到伺服器200，使伺服器200可以對識別面部執行用戶認證。

此時，向伺服器200可以發送使用者認證請求和與認證對象使用者相關的資訊。

與認證對象使用者相關的資訊是與包含在圖像中的面部相關的資訊，可以包括下列中的至少一個：i）包含識別面部的圖像； ii）與圖像中識別出的面部中滿足預定面部條件的面部相關的識別資訊（如，面部使用者名稱，ID）；iii）與圖像中識別出的面部中滿足預定面部條件的面部相關的資訊。

其中，面部資訊可以包括下列中的至少一個：i）圖像中面部（包圍盒）的位置資訊（圖元座標資訊，511）； ii）面部大小資訊，相當於圖像中面部所佔領域的大小或對應於包圍盒的領域或寬度大小，512；iii）面部相關角度資訊，即面部是否朝向基準方向（如，以攝像頭為基準）相關信息；iv）面部特徵資訊。

另外，控制部160能夠將從圖像中識別出的面部中，作為認證物件的特定使用者面部發送至伺服器200。 例如，控制部160向伺服器200不發送圖像本身，而向伺服器200發送與作為認證物件的特定面部對應的面部特徵資訊。 此時，伺服器200可以根據從系統100收到的面部特徵信息，執行用戶認證。

另外，當系統160在圖像中識別出複數個面部時，可以向伺服器200不發送在複數個面部中被特定為認證物件的特定面部資訊。 此時，伺服器200可以對複數個面部中的至少一個面部自行執行用戶認證。 圖像中識別出的複數個面部中，伺服器200可以對佔據最大領域的面部進行用戶認證。 此時，伺服器200隻能對複數個面部中滿足預定面部條件的面部執行用戶認證。

另外，伺服器200可以根據從系統100收到的使用者認證請求，對圖像中識別出的面部進行用戶認證。

如上所述，包含於伺服器200的控制部230可以對圖像中的認證對象使用者面部的信息和存儲在伺服器200用戶資料庫（database，DB）221中的參考面部特徵信息進行相似度判斷。

根據相似度判斷方法相關的一個實施例，控制部230可以通過對照圖像中包含的認證物件使用者面部和存儲在用戶資料庫（database，DB）221中的參考面部圖像執行用戶認證。

此時，對參考面部圖像和圖像中認證對象使用者的面部進行對照，可以指對與參考面部圖像對應的特徵點資訊和與圖像中識別出的使用者面部相關的特徵點資訊進行對照。 即，在用戶資料庫（database，DB）221可以存在用戶參考面部圖像和參考面部圖像中包含的眼睛、鼻子、嘴巴等根據容貌定義的特徵點資訊。

根據與相似度判斷方法相關的另一個實施例，伺服器200可以通過對從圖像中提取的，認證對象使用者面部的特徵向量和包含在參考面部特徵資訊中的特徵向量進行對照，執行用戶認證。 此時，在用戶資料庫中存在的資訊可以是各種與參考面部相關的特徵資訊。 伺服器200可以從使用者資料庫檢索（或者提取）與認證對象使用者面部最相似的特徵向量，當檢索到的特徵向量與認證對象使用者面部的特徵向量的相似度為預定值（臨界值）以上時，可將對於使用者的認證處理為“成功”。

伺服器200包含的控制部230在用戶資料庫221中檢索到與認證物件面部對應的人物，就可以完成對認證物件面部的用戶認證。 在本發明中，對於認證物件面部完成使用者認證可以命名為“用戶認證成功”。

與此不同，伺服器200包含的控制部230在認證對象使用者的面部資訊和存儲在用戶資料庫中的參考面部特徵資訊的相似度較低時，可能無法從使用者資料庫中檢索出與認證物件的面部真正對應的人物。 即，伺服器200的控制部230可能無法完成對認證物件面部的用戶認證。 在本發明中，不能從用戶資料庫221中檢索出與認證物件面部真正對應的人物，可以命名為“使用者認證失敗”。

此外，在本發明中，當與認證物件面部對應的使用者，具有使其成為使用者認證物件的，與活動或者功能相關的許可權時，可以將使用者認證處理為“成功”。 例如，使用戶成為使用者認證對象的活動或者功能是用於允許使用者進入特定空間的速度門控制時，伺服器200僅對於具有該特定空間許可權的使用者，將使用者認證處理為“成功”。

伺服器200包含的控制部230在用戶資料庫221的參考面部圖像中檢索到與認證物件面部對應的匹配人物時，可以從用戶資料庫221中提取檢索到的匹配人物的用戶資訊。

認證物件使用者的許可權相關信息（或許可權資訊）可以包含在存儲於用戶資料庫221中的認證物件用戶資訊中。

其中，使用戶成為使用者認證對象的活動或功能相關的許可權可以解釋為多種含義。 例如，使用戶成為使用者認證對象的活動或功能相關的許可權可以包括：i）與認證物件面部對應的使用者（以下簡稱，認證物件使用者）是否具有許可權被提供使其成為使用者認證對象的活動或功能；ii）認證物件使用者是否具有許可權接近使其成為使用者認證對象的活動或功能； iii）認證對象使用者是否具有許可權進入特定場所；iv）認證物件使用者是否具有許可權控制特定電子設備等，可以是認證物件使用者是否具有許可權接近任意功能，裝置或者場所的資訊。

例如，當使用戶成為使用者認證對象的活動或功能為，如圖4中（a）所示，為了允許認證對象使用者進入特定場所，控制進出控制門處於打開狀態的功能時，伺服器200中控制部230可以根據認證物件使用者的使用者資訊，判斷認證對象使用者是否具有許可權進出特定場所（例如，建築物）。

伺服器200中控制部230可以根據從用戶資料庫221中提取的使用者信息，判斷與認證物件面部對應的使用者是否具有使其成為使用者認證對象的活動或功能相關的許可權。

當與認證物件面部對應的使用者具有使其成為使用者認證對象的活動或功能相關的許可權時，伺服器200中的控制部230，可以完成用戶認證，並將使用者認證處理為“成功”。

與此不同，伺服器200中的控制部230即使檢索到與認證物件面部對應的與參考面部圖像匹配的人物，如果認為與認證物件面部對應的使用者不具有與使用戶成為認證對象的活動或功能相關的許可權，可以將使用者認證處理為“失敗”。

另外，伺服器200可以將與認證物件面部相關的使用者認證結果發送到系統100。 此時，當使用者認證成功時，伺服器200可以向系統100發送與要認證的面部對應的使用者資訊（例如：姓名、工作部門等）或者用於使用者認證的活動或功能相關的控制命令中至少一個。

並且，伺服器200在使用者認證成功的情況下，可以將與認證物件面部對應的使用者資訊（例如：姓名、工作部門等）發送到系統100，使用戶成為使用者認證對象的活動或功能相關控制命令可以發送到與使用戶成為使用者認證物件的活動或功能相關的裝置（例如，進出控制門20）。

另外，在本發明中，可以根據從伺服器200收到的對於認證物件面部的使用者認證結果，根據認證物件面部的使用者認證結果執行控制程式。

系統100中的控制部160可以根據使用者認證結果執行不同控制。

進一步具體地，控制部160可以控制顯示部140和音響輸出部150中至少一個，根據認證物件面部的使用者認證結果（成功或者失敗）提供與認證對象使用者相關的不同資訊。

如果對認證物件面部進行的用戶認證成功，則控制部160可以通過顯示部140和音響輸出部150中至少一個向認證對象使用者提供與使用者認證成功對應的資訊。 此時，控制部160可以利用與認證物件面部對應的用戶資訊，提供與認證對象使用者相關的定製資訊。

例如，如圖8（a）和（b）所示，如果對於第一面部2000a和第二面部2000b使用者認證成功，則控制部160可以控制顯示部140，以一併在顯示部140上視覺化輸出與第一面部2000a和第二面部2000b對應的使用者姓名和與用戶認證成功相關的資訊810、820（例如，“歡迎，User1”）。 此外，控制部160可以控制音響輸出部150，使得與用戶認證成功相對應的信息聽覺化輸出於音響輸出部150。

根據另一個實施例，如圖8（c）所示，如果對第三面部2000c的使用者認證失敗，控制部160可以控制顯示部140，使其在顯示部140上視覺化輸出對應於使用者認證失敗的資訊830（例如，“Oops！ 請進行用戶註冊“）。 此外，控制部160可以控制音響輸出部150，使其在音響輸出部150上聽覺化輸出對應於用戶認證成功的資訊。

並且，控制部160可以根據認證物件面部的使用者認證結果（成功或者失敗）執行使用戶成為認證對象的活動或功能相關的控制。

如上所述，如圖4（a）所示，使用戶成為認證對象的活動或功能可以是控制進出控制門20，以禁止認證對象用戶進入特定場所。 此時，根據從伺服器200收到的使用者認證結果，控制部160可以控制進出控制門20，使進出控制門20處於打開狀態或者關閉狀態中任何一個狀態。

進一步具體地，當使用者認證成功時，控制部160可以控制進出控制門20在預定時間內處於打開狀態，使得與認證物件面部對應的使用者通過進出控制門20。 並且，經過預定時間後，控制部160可以控制進出控制門20處於關閉狀態，以執行控制進出功能。

與此不同，當對於認證物件面部的使用者認證失敗時，控制部160可以控制進出控制門20，使進出控制門20處於關閉狀態，使與認證物件面部對應的使用者無法通過進出控制門20。

另外，進出控制門20可以根據從伺服器200收到的控制命令，被控制為處於打開狀態或關閉狀態。 伺服器200不僅可以將使用者認證結果發送至系統100，還可以發送至進出控制門20。 進出控制門20可以基於伺服器200收到的使用者認證結果，被控制為打開狀態。

如上所述，在本發明中，通過對滿足預定面部條件的面部執行用戶認證，可以有效地管理執行使用者認證時處理的數據。

另外，在本發明中，在對於滿足預定面部條件的認證物件面部執行用戶認證之前，通過判斷與認證物件面部相對應的使用者是否真正具有執行使用者認證意圖，並僅對於具有使用者認證意圖的使用者，可以執行用戶認證。 下面說明具體說明判斷使用者是否真正具有執行使用者認證意圖的方法。

在本發明中，當圖像中識別出的面部滿足預定面部條件時，可以判斷滿足預定面部條件的使用者是否真正具有執行使用者認證意圖。 並且，根據判斷結果，可以選擇性地執行用戶認證。

如果判斷出滿足預定面部條件的使用者真正具有執行使用者認證意圖時，控制部160可以向伺服器200請求對於認證物件面部的用戶認證。

與此不同，在本發明中，不管圖像中識別的面部滿足或不滿足預定面部條件，如果判斷出與面部對應的使用者不具有執行使用者認證意圖，則可以向伺服器200不請求對識別面部執行用戶認證。

控制部160如果判斷出面部不是認證物件面部，或者判斷出與面部對應的使用者不具有執行使用者認證意圖（例如，不是想要通過門，而是只是經過門的使用者，或從進出門出來在周圍走的使用者等），可以控制對認證物件面部的使用者認證請求不發送至使用者認證伺服器200。

與認證物件面部對應使用者的使用者認證判斷，可以根據儲存於儲存部120的認證對象使用者相關信息執行。

其中，儲存於儲存部120的認證對象使用者相關信息，可以包括認證對象使用者的面部在內的圖像和包含在該圖像中的認證物件使用者的面部資訊中至少一個。

如圖7a所示，根據在當前時間點t0拍攝的圖像（例如，第一圖像，700）及比當前時間點t0早拍攝（過去時間點，tp1~tp3等）的至少一個圖像710，720，730中提取的認證物件使用者面部資訊，控制部130可以 判斷認證物件使用者是否具有意圖執行用戶認證。

根據在儲存部120識別認證物件面部2000a並獲取第一圖像700的時間t0之前tp1，tp2，tp3獲取的第二至第四圖像710，720，730中提取的認證對象使用者的特定使用者名稱（ID，如，USER1），控制部可以確認在存儲部120中是否存在與該認證對象使用者的特定使用者名稱對應的面部資訊。

進一步具體地，控制部160可以確認在存儲部120中是否存在第一圖像700中認證物件面部對應使用者名稱的面部資訊。

與特定用戶名稱對應的面部資訊，可以理解為被分配特定使用者名稱的面部2000a相關的面部資訊。

如上所述，面部資訊可以是與從圖像中提取的特定面部（或面部圖像）相關的各種資訊，例如面部資訊可以包括下列中的至少一個：i）面部（面部圖像）的位置資訊； ii）面部的大小資訊（面部圖像或包圍盒相關領域的大小或寬度）；iii）面部角度相關信息； iv）面部特徵資訊。

當在第一圖像700中，對應於與分配給認證物件面部2000a的使用者名稱相同的使用者名稱的面部資訊時，控制部160可以根據從第一圖像700中提取的認證物件面部2000a的面部資訊和從第一圖像700拍攝之前拍攝的圖像710，720，730中提取的認證物件面部2000a的面部資訊，算出認證物件面部（或包圍盒）的大小和位置變化量。

其中，認證物件面部的大小及位置變化量可以理解為在識別出認證物件面部的複數個圖像700，710，720，730中，與認證物件面部對應的領域的大小及與認證物件面部相對應坐標的變化程度。

例如，在圖7a中，在當前時間點t0獲得的第一圖像700中，認證物件面部2000a的大小比在第一過去時間點tp1獲得的第二圖像圖像710中認證物件面部2000a的大小更大時（領域的寬度增加），在各圖像中認證物件面部2000a的大小之差（或寬度之差）就是認證物件面部的大小變化量。

例如，在圖7b中，在當前時間點t0獲得的第一圖像700中的認證物件面部2000a的位置（圖元座標）和在第一過去時間點tp1獲得的第二圖像710中的認證物件面部2000a的位置（圖元座標）之差就是認證物件面部的位置變化量。 另外，用戶可以通過用每個圖像拍攝時間之差和大小變化來計算接近或移動到系統的速度等。

如上所述，控制部160可以根據面部資訊計算出認證物件面部的大小和位置變化量中至少一個，並且可以根據計算出的變化量來確定與認證物件面部相對應的使用者是否具有使用者認證意圖。

控制部160根據計算出的變化量，如果判斷出與認證物件面部相對應的使用者接近系統100或進出控制門20，則可以判斷與認證物件面部對應的使用者具有使用者認證意圖。

進一步具體地，當認證物件面部的大小跟隨時間增大時，控制部160可以判斷出，具有使用者認證意圖的與認證物件的面部對應的使用者接近系統100或攝像頭111。

例如，如圖4（a）所示，假設複數個使用者1000a，1000b，1000c為了用戶認證，在系統100前排隊。 具有使用者認證意圖的使用者可以從相對遠的系統100或進出控制門20逐漸移動到接近系統100或攝像頭111的位置。

此外，如圖7a所示，控制部160根據從當前和過去時間點拍攝的認證物件面部2000a的面部資訊，計算出的面部大小變化量，可以判斷對應的使用者以使用者認證意圖接近系統100或攝像頭111。 如，認證物件面部2000a在第四圖像730，第三圖像720，第二圖像710和第一圖像700中，跟隨時間的大小增加，就可以判斷出對應的使用者以使用者認證意圖接近系統100或攝像頭111。

另外，控制部160根據計算出的位置變化量，當判斷到與認證物件面部相對應的使用者面部移動到指定領域（例如，從中央點一定半徑以內的領域，參照圖7b，710）時，可以判斷出與認證物件面部相對應的使用者具有用戶認證意圖。

進一步具體地，當認證物件面部的位置隨著時間移動到指定領域（例如，圖像的中央領域）時，控制部160可以判斷出，與認證物件面部相對應的使用者以使用者認證意圖接近系統100或進出控制門20。

例如，具有使用者認證意圖的使用者，如圖7b所示，可以改變姿勢和面部位置，使自己的面部位於圖像的指定領域（例如，從圖像中央點740一定半徑以內）。

此時，如圖7b所示，控制部160根據從當前和過去時間點拍攝的認證物件面部2000a的面部信息計算出的面部位置變化量，如認證物件面部2000a在第四圖像730，第三圖像720，第二圖像710和第一圖像700時的情況一樣，隨著時間移動到指定地點740（圖像中央點）， 則與認證物件面部2000a對應的使用者以使用者認證意圖使自己的面部位於系統100或進出控制門20上。

如上所述，在本發明中，與獲得目標圖像的時間相比，可以通過使用從先前獲得的至少一個其他圖像中提取的認證物件面部資訊來確定與認證物件面部相對應的使用者是否具有使用者認證意圖。

本發明即使識別出滿足預定面部條件的面部，也僅對具有使用者認證意圖的使用者的面部執行使用者認證，從而可以防止對不具有使用者認證意圖的使用者面部執行使用者認證的錯誤，提高使用者認證手段的準確性和可靠性。

另外，即使使用者認證成功，也可能存在對同一使用者重複處理使用者認證的情況。

例如，如圖9的（a）所示，即使對特定使用者（USER7）成功執行使用者認證，並且進出控制門20被控制為處於打開狀態，但如果特定使用者（USER7）沒有通過進出控制門20，則攝像頭111可以重新獲得包含認證成功使用者面部900的圖像910。

此時，在伺服器200中，可以根據從系統100收到的資訊，重新對具有特定使用者名稱的使用者（USER7）進行使用者認證，並且將使用者認證結果可以發送到系統100。

此時，控制部160根據具有特定使用者名稱的面部的使用者認證結果，對進出控制門20執行控制后，從伺服器200額外收到具有特定使用者名稱的面部的使用者認證結果時，可以限制根據額外收到的使用者認證結果執行控制。

控制部160在對擁有特定使用者名稱（USER7）的面部執行的用戶認證成功后，如圖9的（b）所示，在預定時間內對同一使用者的使用者認證再次成功時，即使對認證成功面部900的用戶認證再次成功，也可以控制其不執行與用戶認證成功對應的功能。

例如，如圖9的（a）所示，根據從第1時間點t0經過預定時間的第2時間點t1獲得的圖像910，即使成功再次對具有特定使用者名稱（USER7）的面部910進行認證，圖6（b）所示，控制部160也可以控制與用戶認證成功對應的資訊920（例如，歡迎，Welcome，User7！）不輸出於顯示部140。

並且，控制部160在經過設定時間后，如果對認證成功面部910的用戶認證再次成功，就可以控制重新執行與用戶認證成功對應的目標功能。

例如，假設認證成功的使用者在進出控制門20外部之後必須再次通過進出控制門20的話，如圖9的（a）和（c）所示，根據從第1時間點t0經過預定時間的第3時間點t2獲得的圖像920，如果成功對具有特定使用者名稱（USER7）的面部（910）再次執行認證，控制部160將與使用者認證成功對應的資訊930（例如，歡迎，Welcome，User7！，這是第二次認證）輸出於顯示部140，可以控制進出控制門20重新處於打開狀態。 此時，進出控制門20的控制當然可以如上所述直接在伺服器200中進行。

另外，在本發明中，當複數個使用者依次執行使用者認證時，基於複數個使用者的使用者認證結果執行的目標功能，可以被控制為平滑且順利地執行。

如上所述，在本發明中，可以通過減少由對複數個使用者執行使用者認證和重複執行的目標功能而產生的時間間隔（term），消除使用者在執行使用者認證時遇到的麻煩。

下面說明本發明為了使複數個使用者依次進入特定空間，使進出控制門20處於打開狀態，以執行用戶認證。

例如，如圖10（a）所示，當第一使用者1000a與進出控制門20之間的距離（a）非常近時，與第一使用者1000a移動到進出控制門20前面的時間比，對第一使用者1000a執行使用者認證之後進出控制門處於打開狀態的操作時間可能更長。 此時，第一使用者1000a為了試圖用戶認證而停止一次，並且需要再次停止等候進出控制門20處於打開狀態的麻煩存在。

在本發明中，當使用者完成使用者認證時，使用者可以根據使用者和系統、終端、攝像頭或進出控制門20之間必須確保的標準距離來確定預定面部條件，而無需等待使用者在打開狀態下操作的時間。 此時，預定面部條件可以包括與圖像中包含的使用者的面部大小相關的條件。 考慮到伺服器200中的使用者認證處理時間，根據使用者認證結果的進出控制門20的控制時間及用戶的移動時間，可以設定面部在圖像中所佔的面部大小的條件。

控制部130在圖像中包含的面部的大小比預定的面部的大小條件大的情況下，可以判斷圖像中包含的面部的大小滿足預定的面部的大小條件。 此時預定面部大小條件與使用者與進出控制門20之間的距離有關，此時的距離可以是指使用者在到達進出控制門20之前，能夠確保足夠的時間進行使用者認證和控制進出控制門20的閱覽狀態。

如上所述，在本發明中當使用者執行使用者認證以訪問特定空間時，可以設置使用者所需的最小參考距離，以使用戶沒有等候時間即可訪問特定空間執行用戶認證。

下面說明複數個使用者更方便，更順暢地通過進出控制門20的方法。

在本發明中，當使用者連續成功對複數個使用者面部的使用者認證時，通過控制進出控制門20處於打開狀態，直到複數個使用者全部通過進出控制門20，可以節省進出控制門20重複打開或者關閉時浪費的工作時間和能量。

如圖11中所示，控制部160從攝像頭111獲得的圖像1110，1120，1130識別出複數個面部2000a，2000b，2000c，並且當伺服器200執行的使用者認證結果，複數個面部2000a，2000b，2000c中的每一個使用者的認證結果都為成功時，進出控制門20可以被控制為在與複數個面部對應的每一個用戶通過進出控制門20時（從t0點到t2點）處於打開狀態。

其中，在圖像中識別出的複數個面部2000a，2000b，2000c可以理解為滿足前述預定面部條件的面部。

此時，根據複數個面部2000a，2000b，2000c的使用者可以是具有使用者認證意圖的用戶，並且控制部130可以根據在當前時間點和過去時間點拍攝的圖像確定複數個使用者的意圖。

如上所述，在本發明中，當對圖像中識別出的複數個面部2000a，2000b，2000c中的每個面部的用戶認證成功時，進出控制門20可以被控制為在與複數個面部對應的每一個用戶通過進出控制門時（從t0點到t2點）處於打開狀態。

因此，在本發明中，用戶通過進出控制門20時，使用者一旦完成使用者認證立即可以通過進出控制門20，可以節省進出控制門20重複打開或者關閉時所浪費的時間。

另外，在本發明中，可以節省進出控制門20重複打開或者關閉時浪費的能量。

另外，如圖12（a）所示，在特定空間1中可能存在複數個不同的進出控制門20a，20b。 本發明的系統100可以通過利用與複數個進出控制門20a，20b相關的不同攝像頭111a，111b獲得的圖像，對複數個進出控制門20a，20b分別執行用戶認證。

例如，本發明的系統100可以利用從第一攝像頭111a獲得的圖像1210對第一進出控制門20a執行使用者認證，並且可以利用從第二攝像頭111b獲得的圖像1220對第二進出控制門20b執行用戶認證。

另外，在第一進出控制門20a和第二進出控制門20b周圍，可以有複數個具有意圖通過各個進出控制門的使用者。

在第一進出控制門20a或第一攝像頭111a前，具有意圖通過第一進出控制門20a的第一使用者至第三使用者1000a，1000b，1000c可能依次排隊著。

並且，在第二進出控制門20b或第二攝像頭111b周圍，具有意圖通過第二進出控制門20b的第四使用者至第五使用者1000d，1000e可能依次排隊著。

在本發明中，可以控制在第一攝像頭111a拍攝的圖像1210和第二攝像頭111b拍攝的圖像1220中都識別到的特定使用者不執行重複的用戶認證。

進一步具體地，使用者認證伺服器200在複數個進出控制門中，為了進出第一進出控制門20a，執行具有特定使用者名稱的認證物件面部用於進出第一進出控制門20a的第一使用者認證請求之後，在預定的時間內，當對具有特定使用者名稱的認證物件面部請求第二使用者認證時，可以控制不執行根據第二使用者認證請求的用戶認證。

如圖12（a）所示，為了通過第一進出門20a，第一使用者1000a可以利用與第一進出門20a相關的第一攝像頭111a執行用戶認證。 此時，如圖12（b），12（c）所示，第一使用者100a的第一面部2000a可以均包含在第一攝像頭111a拍攝的圖像1210和第二攝像頭111b拍攝的圖像1220。

當在第一攝像頭111a拍攝的圖像1210與第二攝像頭1111b拍攝的圖像1220中識別的第一面部2000a滿足所有的預定面部條件，控制部160可以通過使用者認證伺服器200重複執行用戶認證請求。

即，伺服器200可以從系統100收到與從第一攝像頭111a拍攝的圖像1210中識別的第一面部2000a相關的第一使用者認證請求和與從第二攝像頭111b拍攝的圖像1220中識別的第一面部2000a相關的第二用戶認證請求。

如圖13所示，為了使用戶進出不同進出控制門20a，20b，在預定的時間內，如果對同一第一面部2000a提出第一使用者認證請求和第二使用者認證請求，伺服器200首先執行第一使用者認證請求後，可以不執行第二用戶認證請求。

此外，伺服器200可以向系統100發送與第二使用者認證請求相關的，未發送使用者認證結果或未執行使用者認證（或重複與第一使用者認證請求）的資訊。

控制部160根據與第二進出控制門20b相關的第二使用者認證請求，當從伺服器200沒有收到使用者認證結果或收到通知未執行使用者認證（或重複與第一使用者認證請求）的資訊時，可以控制其不執行根據使用者認證結果的控制。

例如，如圖13所示，當伺服器200在t0時間點對從第一攝像頭111a拍攝的圖像1210識別的第一面部2000a執行第一用戶認證時，系統100可以控制與第一攝像頭111a相關的第一進出控制門20a操作，並可以控制第一攝像頭111a相關的第一顯示部140a輸出與執行目標功能相關的提示資訊。

根據另一個實施例，如圖13所示，在t1時間點，如果收到與從第二攝像頭111b拍攝的圖像1220中識別的第一面部2000a對應的第二使用者認證請求，伺服器200可以根據在預定時間內存在對該第一面部2000a的第一使用者認證請求，不執行第二使用者認證請求相關的用戶認證。 此時，對第一使用者的用戶認證可能被處理為“失敗”。

如上所述，在本發明中，即使從複數個進出控制門20a，20b中的不同攝像頭111a，111b獲取的圖像中，識別出相同的面部，也可以對重複識別的使用者不重複執行使用者認證，準確地控制使用者所在的進出控制門的操作。

如上所述，根據本發明的面部識別系統及其控制方法，可以利用設置於執行面部識別功能的終端的攝像頭獲取圖像，並且根據預定面部識別演算法，從圖像中識別面部。 如上所述，本發明即使沒有使用者的直接輸入，也可以根據使用者在終端周圍的位置，準確，快速地識別使用者面部。 因此，用戶可以通過位於終端機周圍，將自己的面部更方便，更直觀地傳達給終端機。

並且，根據本發明的面部識別系統及其控制方法，可以判斷出在圖像中識別的面部是否適合於執行用戶認證。 即，在本發明中，通過確認圖像中識別的面部是否滿足預定面部條件，當識別出不適合使用者認證的面部時，可以對此不執行使用者認證，從而可以提高數據處理效率。

並且，根據本發明的面部識別系統及其控制方法，通過僅對滿足預定面部條件的使用者執行用戶認證，即使在終端周圍有複數個使用者，也可以準確地對真正具有使用者認證意圖的使用者執行用戶認證。

此外，根據本發明的面部識別系統及其控制方法，可以根據圖像中識別的面部是否滿足預定面部條件，向預定伺服器請求對識別面部進行用戶認證。 如上所述，根據本發明的面部識別系統及其控制方法，通過對真正具有使用者認證意圖使用者的面部執行使用者認證，可以減少對未具有使用者認證意圖的使用者或在具有使用者認證意圖用戶周圍的其他使用者執行使用者認證的錯誤，從而，可以提高使用者認證結果的準確性和可靠性。

另外，電腦可讀介質包括存儲通過電腦系統讀取的數據的所有種類的記錄裝置。 電腦可讀介質諸如HDD（硬碟，Hard Disk Drive），SSD（固態硬碟，Solid State Disk），SDD（Silicon Disk Drive），ROM（只讀記憶體），RAM（隨機存取記憶體），CD-ROM（只讀光碟），磁帶，光碟，光數據存儲裝置等。

而且，電腦可讀介質包括記憶體，可以是電子設備通過通信而訪問的伺服器或雲記憶體。 對於該情況，電腦通過有線或無線通信而從伺服器或雲記憶體下載本發明的程式。

而且，在本發明中，如上說明的電腦為處理器，即載有CPU（Central Processing Unit，中央處理裝置）的電子設備，對其種類不作特別限定。

另外，所述的具體說明並非在所有方面限制解釋，僅用於例示。 本發明的範圍應通過申請專利範圍書的合理解釋確定，本發明的同等範圍內的所有變更包含於本發明的範圍內。

1:特定空間 20、20a、20b:進出控制門 100:面部識別系統 110:感測部 111、111a、111b:攝像頭 120:儲存部 130:通信部 140、140a、140b:顯示部 150:音響輸出部 160:控制部 161:面部識別部 200:伺服器 210:通信部 220:儲存部 221:用戶資料庫 222:終端資料庫 230:控制部 231:用戶認證部 400:圖像 510:面部資訊 511:圖元座標資訊 512:大小 520:識別資訊 610、620、630:圖像 611:中央 641:x方向 700、710、720、730:圖像 740:圖像中央點 810、820、830:資訊 900:使用者面部 910、920:圖像 920:資訊 1110、1120、1130:圖像 1210、1220:圖像 t0、t1、t2:時間點 tp1、tp2、tp3:過去時間點 S210、S211、S212、S213、S214、S220、S221、S222、S230、S240、S250、S260、S270:步驟 S310、S320、S330、S340、S350:步驟 1000a、1000b、1000c、1000d、1000e:使用者 2000a、2000b、2000c、2000d、2000e:使用者面部、圖像客體 3000a、3000b、3000c、3000d、3000e:包圍框

圖1為用於說明本發明面部識別系統的概念圖； 圖1為用於說明本發明面部識別系統的架構框圖； 圖3為用於說明本發明面部識別系統的控制方法的流程圖； 圖4，圖5， 圖6， 圖7a，圖7b， 圖8， 圖9， 圖10， 圖11， 圖12為用於說明本發明的面部識別系統及其控制方法的概念圖。

20:進出控制門

100:面部識別系統

110:感測部

111:攝像頭

120:儲存部

130:通信部

140:顯示部

150:音響輸出部

160:控制部

161:面部識別部

200:伺服器

210:通信部

220:儲存部

221:用戶資料庫

222:終端資料庫

230:控制部

231:用戶認證部

Claims (16)

1. 一種基於面部識別結果執行控制的面部識別系統控制方法，其特徵在於，包括如下步驟： 利用設置於執行面部識別功能的終端中的一攝像頭獲取一圖像； 根據一預定面部識別演算法，從所述圖像識別出一識別面部； 確認在所述圖像中識別出的所述識別面部是否滿足一預定面部條件； 根據所述確認結果，為了對於所述識別面部執行用戶認證，向一預定伺服器請求對於所述識別面部執行用戶認證；以及 根據從所述伺服器收到的對於所述識別面部執行的使用者認證結果，基於對所述識別面部的使用者認證結果執行控制。
2. 如請求項1所述的面部識別系統控制方法，其中， 所述預定面部條件，與在所述圖像中所述識別面部所在的位置，在所述圖像中所述識別面部所佔的領域大小或者在所述圖像中所述識別面部的角度中至少一種相關， 向所述預定伺服器請求對於所述識別面部執行用戶認證的步驟中，根據所述識別面部是否滿足所述預定面部條件，請求對所述識別面部執行用戶認證。
3. 如請求項2所述的面部識別系統控制方法，其中， 對於所述識別面部，配置用於特定所述識別面部的一特定使用者名稱， 從所述圖像，提取配置所述特定使用者名稱的與所述識別面部相關的位置資訊、大小資訊或者角度資訊中至少一種的一面部資訊， 被提取的所述面部資訊，配對於配置所述特定使用者名稱的所述識別面部，並儲存於所述儲存部。
4. 如請求項3所述的面部識別系統控制方法，其中，還包括如下步驟： 所述儲存部獲取所述圖像之前， 存在從至少一種一其它圖像提取的，與所述特定使用者名稱配對的所述面部資訊時，利用所述圖像和從所述其它圖像提取的所述面部資訊，判斷與所述識別面部對應的使用者是否具有一使用者認證意圖。
5. 如請求項4所述的面部識別系統控制方法，其中，請求所述用戶認證的步驟中， 當所述識別面部滿足所述預定面部條件，並所述使用者具有所述使用者認證意圖時，向所述伺服器請求對於所述識別面部執行用戶認證；以及 當所述識別面部滿足所述預定面部條件，但所述使用者不具有所述使用者認證意圖時，向所述伺服器不請求對於所述識別面部的執行使用者認證請求。
6. 如請求項4所述的面部識別系統控制方法，其中， 判斷與所述識別面部對應的使用者是否具有所述使用者認證意圖的步驟中， 根據所述圖像與從所述其它圖像提取的所述面部資訊， 算出在所述圖像和所述其它圖像中，與所述特定用戶名稱對應的一面部大小和一面部位置變化量， 根據所述面部位置變化量，判斷所述使用者是否具有所述使用者認證意圖。
7. 如請求項2所述的面部識別系統控制方法，其中， 確認在所述圖像中的所述識別面部是否滿足所述預定面部條件的步驟中， 當在所述圖像中識別出一複數個面部時，確認識別出的所述複數個面部分別是否滿足所述預定面部條件， 所述複數個面部中，對滿足所述預定面部條件的面部進行特定， 向所述預定伺服器請求對於所述識別面部執行所述用戶認證的步驟中， 向所述預定伺服器請求對於所述特定面部執行所述用戶認證。
8. 如請求項7所述的面部識別系統控制方法，其中， 所述特定面部， 在所述圖像中，所述複數個面部分別所佔的面部領域中，包含在具有預定大小以上大小的面部領域， 當在所述圖像中，有複數個具有所述預定大小以上大小的面部領域時， 所述使用者認證執行於，在複數個面部領域中，包含在最大面部領域的面部。
9. 如請求項7所述的面部識別系統控制方法，其中， 根據所述確認結果，當所述複數個面部中沒有滿足所述預定面部條件的面部時， 向所述預定伺服器不請求根據所述圖像的所述用戶認證。
10. 如請求項3所述的面部識別系統控制方法，其中， 根據所述伺服器收到的所述使用者認證結果執行控制的步驟中， 對於處於打開狀態或者關閉狀態中任一狀態的進出控制門執行控制， 所述進出控制門， 當對於所述識別面部執行的所述用戶認證成功時，被控制為在預定時間內處於打開狀態，以使對應於所述識別面部的用戶通過所述進出控制門， 經過所述預定時間後，被控制為處於關閉狀態，以執行進出控制功能。
11. 如請求項10所述的面部識別系統控制方法，其中， 在所述圖像中識別出所述複數個面部， 當對於所述複數個面部分別執行的所述使用者認證結果為成功時， 所述進出控制門， 被控制為處於打開狀態，以使分別對應於所述複數個面部的複數個使用者全部通過所述進出控制門。
12. 如請求項10所述的面部識別系統控制方法，其中， 為了控制對於一特定空間的進出，在所述特定空間存在相互不同的複數個進出控制門的情況下， 為了使用戶進出所述複數個進出控制門中的第一進出控制門，請求對於具有所述特定使用者名稱的所述識別面部執行第一使用者認證之後， 在預定時間內，為了使用戶進出所述複數個進出控制門中的第二進出控制門，請求對於具有所述特定使用者名稱的所述識別面部執行第二使用者認證時， 所述伺服器不執行根據所述第二用戶認證請求的用戶認證。
13. 如請求項10所述的面部識別系統控制方法，其中， 根據所述伺服器收到的所述使用者認證結果執行控制的步驟中， 根據具有特定使用者名稱的所述識別面部的使用者認證結果，對於所述進出控制門執行控制後， 當從所述伺服器額外收到具有特定使用者名稱的所述識別面部的使用者認證結果時，所述進出控制門限制根據額外收到的使用者認證結果執行控制。
14. 一種面部識別系統，其特徵在於，包括： 一攝像頭，用於獲取一圖像； 一儲存部，用於儲存獲取的所述圖像； 以及 一控制部，根據一預定面部識別演算法，在所述圖像中識別出一識別面部並確認所述圖像中所述識別面部是否滿足一預定面部條件， 所述控制部，根據確認所述圖像中所述識別面部是否滿足所述預定面部條件的結果，向一預定伺服器請求對所述識別面部執行用戶認證，以對所述識別面部執行用戶認證， 根據所述伺服器收到的對所述識別面部執行的使用者認證結果，基於對所述識別面部的使用者認證結果執行控制。
15. 一種面部識別系統，其特徵在於，包括： 一攝像頭，用於獲取一圖像； 一儲存部，用於儲存獲取的所述圖像； 一控制部，根據一預定面部識別演算法，在所述圖像中識別出一識別面部並確認所述圖像中所述識別面部是否滿足一預定面部條件；以及一伺服器，當所述識別面部滿足所述預定面部條件時，對所述識別面部執行用戶認證， 所述控制部， 根據所述伺服器收到的對所述識別面部執行的使用者認證結果，基於對所述識別面部的使用者認證結果執行控制。
16. 一種計算機程式，作為在電子設備通過一個以上流程執行的電腦程式，該所述電腦程式特徵在於，所述程式含指令，該指令執行如下步驟： 利用設置於執行面部識別功能的終端中的攝像頭獲取一圖像； 根據一預定面部識別演算法，在所述圖像中識別出一識別面部； 確認在所述圖像中識別出的所述識別面部是否滿足一預定面部條件； 根據所述確認結果，為了對於所述識別面部執行用戶認證，向一預定伺服器請求對於所述識別面部執行用戶認證；以及 根據從所述伺服器收到的對於所述識別面部執行的使用者認證結果，基於對所述識別面部的使用者認證結果執行控制。

Images