TWI496092B - 臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法 - Google Patents

臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法 Download PDF

Info

Publication number
TWI496092B
TWI496092B TW099105236A TW99105236A TWI496092B TW I496092 B TWI496092 B TW I496092B TW 099105236 A TW099105236 A TW 099105236A TW 99105236 A TW99105236 A TW 99105236A TW I496092 B TWI496092 B TW I496092B
Authority
TW
Taiwan
Prior art keywords
face
information
registered
facial
image
Prior art date
Application number
TW099105236A
Other languages
English (en)
Other versions
TW201037611A (en
Inventor
Satoshi Hosoi
Original Assignee
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Tateisi Electronics Co filed Critical Omron Tateisi Electronics Co
Publication of TW201037611A publication Critical patent/TW201037611A/zh
Application granted granted Critical
Publication of TWI496092B publication Critical patent/TWI496092B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法
本發明係有關於對表示人物之臉部的影像資料進行臉部認證處理的臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法。
以往，在臉部認證技術的領域中已知一種認證技術，係從成為檢索對象的影像檢測出入的臉部(例如專利文獻1)，並根據已預先登錄的特徵量等臉部特徵資訊來比對被檢測出之臉部，藉此，對於該影像所包含的臉部是誰的臉部進行認證(例如專利文獻2)。
又，將提高臉部認證處理的精度作為目的，已提議一種手法，係使用雙眼的立體相機來測定被攝體之外眼角間的距離，再根據所測定之外眼角間的距離來進行認證(專利文獻3)。如此般，已提議利用外眼角間的距離等被攝體之身體特徵的臉部認證技術。
此外，亦已提議加速臉部認證處理的技術。此加速技術係例如藉性別、年齡、年代等之屬性資訊來預先縮小在臉部認證處理中所使用的臉部認證資訊範圍後再進行臉部認證之技術(例如專利文獻4、5)。又，從臉部影像高精度地推測性別、年齡、年代等之屬性資訊之技術的研究開發正持續進行(例如非專利文獻1)。
[專利文獻]
[專利文獻1]特開2005-327242號(2005年11月24日公開)
[專利文獻2]特開2007-128262號(2007年5月24日公開)
[專利文獻3]特開2007-114931號(2007年5月10日公開)
[專利文獻4]特開2008-158679號(2008年7月10日公開)
[專利文獻5]特開2006-146413號(2006年6月8日公開)
[非專利文獻]
[非專利文獻1]瀧川愛里奈、細井聖「利用臉部影像之自動性別、年代推測」OMRON TECHNICS 2003年3月第43卷第1期(總卷數第145期)第37-41頁
然而，在藉使用雙眼的立體相機來測定被攝體之外眼角間之距離的手法來提高臉部認證處理之精度的技術中，必須設置雙眼的立體相機。又，在此手法中，因為需要測量外眼角間之距離，所以具有將已影像化者作為對象之臉部影像檢索中無法使用此手法的問題。這是因為，若從已影像化者推測外眼角間之距離，則會由於臉部之朝向的變化等而無法正確地測量外眼角間之距離。
又，在臉部影像檢索中，藉屬性資訊預先縮小在臉部認證處理中所使用的臉部認證資訊之範圍後再進行臉部認證的手法，即使可高速化臉部影像檢索，卻無益於提升臉部認證本身的精度。此手法反而有臉部認證處理之精度降低的傾向。這是因為，若縮小之範圍錯誤，則用來進行臉部認證的認證資訊會超出檢索對象之範圍，結果可能有無法得到應作為認證結果之影像之虞。
本發明鑑於上述問題點而開發，目的在於實現即使沒有設置特殊的映像機器等(例如雙眼的立體相機)也可進一步提高臉部認證處理之精度的臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法。
本發明的臉部認證裝置，為了解決該課題，在具備有用來求得所輸入之輸入臉部影像與已預先登錄之複數個登錄臉部資訊的類似度並抽出與該輸入臉部影像之類似度為既定值以上的該登錄臉部資訊的臉部比對部之該臉部認證裝置中，特徵為：該登錄臉部資訊與跟該登錄臉部資訊有關之人物的屬性資訊一起被登錄；具備有特定手段，用來在該抽出手段抽出複數個該登錄臉部資訊時，從該抽出手段所抽出之複數個登錄臉部資訊特定包含與該輸入臉部影像有關之人物的登錄臉部資訊；該特定手段具備推測手段及比較手段，該推測手段用來分析該輸入臉部影像，並從分析結果推測與該輸入臉部影像有關之人物的屬性，再輸出表示所推測之屬性的推測屬性資訊，該比較手段用來比較該推測手段所輸出之推測屬性資訊與跟該複數個登錄臉部資訊有關之人物的屬性資訊；該特定手段根據該比較手段的比較結果來特定包含與該輸入臉部影像有關之人物的登錄臉部資訊。
本發明之臉部認證裝置之控制方法，係為了解決該課題，該臉部認證裝置具備有抽出手段，其求得所輸入之輸入臉部影像與已預先登錄之複數個登錄臉部資訊的類似度，並抽出與該輸入臉部影像之類似度為既定值以上的該登錄臉部資訊，該控制方法的特徵為：該登錄臉部資訊係與跟該登錄臉部資訊有關之人物的屬性資訊一起被登錄；包含有特定步驟，其在該抽出手段抽出複數個該登錄臉部資訊時，該臉部認證裝置所具備之特定手段從所抽出之複數個登錄臉部資訊中特定包含與輸入臉部影像有關之人物的登錄臉部資訊；該特定步驟包含推測步驟，係分析該輸入臉部影像，並從分析結果推測與該輸入臉部影像有關之人物的屬性，再輸出表示所推測之屬性的推測屬性資訊；及比較步驟，係比較在該推測步驟所推測之屬性資訊與跟該複數個登錄臉部資訊有關之人物的屬性資訊；根據在該比較步驟的比較結果，特定包含與該輸入臉部影像有關之人物的登錄臉部資訊。
若依據該構成，臉部認證裝置求得所輸入之輸入臉部影像與已預先登錄之登錄臉部資訊的類似度，並抽出與輸入臉部影像之類似度為既定值以上的登錄臉部資訊。
此外，輸入臉部影像及登錄臉部資訊是包含有人物之臉部的影像。又，類似度係表示輸入臉部影像與登錄臉部資訊之相似程度的指標，例如，如周知的臉部認證技術所示，可藉由從臉部影像抽出特徵點，並相互評估那些特徵點而求得。又，與跟該登錄臉部資訊有關之人物的屬性資訊一起被登錄。
在抽出複數個與輸入臉部影像資料的類似度為既定值以上之該登錄臉部資訊時，從該複數個登錄臉部資訊特定包含與該登錄臉部資訊有關之人物的登錄臉部資訊。
以往，大多將類似度最高的登錄臉部資訊作為認證結果。可是，所輸出之複數個登錄臉部資訊表示彼此高度相似之人物的可能性高。例如，因為父子、兄弟姊妺等之臉部的造形相似，對父子、兄弟姊妺進行臉部認證時，大多類似度接近。又，類似度的計算根據人物的表情、臉部的方向、照明變化等的狀況而受到影響，亦可能發生誤差，因而亦可能在臉部認證處理之類似度接近。
在此情況，若只是將類似度最高的登錄臉部資訊作為認證結果，可能將彼此高度相似之其他的人物當作錯誤的認證結果。因而，在臉部認證處理期望根據類似度以外之指標的判斷。
而，在本發明的臉部認證裝置，依如下之方式特定登錄臉部資訊。即，首先，臉部認證裝置分析該輸入臉部影像，並從分析結果推測與該輸入臉部影像有關之人物的屬性，再輸出表示所推測之屬性的推測屬性資訊。然後，臉部認證裝置比較所輸出之推測屬性資訊與跟該複數個登錄臉部資訊有關之人物的屬性資訊。如此，在本發明，不是僅根據類似度進行認證，進而屬性資訊亦作為判定的基準。
然後，在本發明的臉部認證裝置，根據屬性資訊的比較結果，特定包含與該輸入臉部影像有關之人物的登錄臉部資訊。因而，例如，即使在如家族容貌相似之人物之間，若屬性資訊相異，則可判別這些人物，而臉部認證處理的精度提高。
進一步說明之，因為臉部認證裝置在抽出複數個與輸入臉部影像的類似度為既定值以上之該登錄臉部資訊時進行上述的特定處理，所以亦可未必每次臉部認證處理都執行屬性的推測。而，在習知技術(例如專利文獻4、5)，成為每次執行屬性之推測的構成。即，與習知技術之構成相比，亦因為如上述所示執行臉部認證處理後推測屬性之本發明的臉部認證裝置在推測處理的效率上更優異。
結果，具有不必設置特殊的映像機器等，就可更提高臉部認證處理之精度的效果。
在本發明的臉部認證裝置，該推測手段係對該抽出手段所抽出之該登錄臉部資訊中具有與在所求得的類似度中最高之類似度的差成為既定範圍內之類似度的登錄臉部資訊，進行該推測屬性資訊之輸出較佳。
該抽出手段所抽出之該登錄臉部資訊中具有與在所求得的類似度中最高之類似度的差為既定範圍內之類似度的登錄臉部資訊，與具有為既定之範圍外之類似度的登錄臉部資訊相比，表示與具有最高類似度之登錄臉部資訊高度相似之人物的可能性更高。因此，在臉部認證，誤識別這些登錄臉部資訊所表示之人物的可能性亦高。
在如要求臉部認證處理之效率的狀況，亦想到無法忽視比較屬性資訊之處理負載時，若依據該構成，如此僅限於在臉部認證發生誤識別之機率高者，輸出推測屬性資訊。因而，因為亦可不必每次比對輸入臉部影像，就輸出推測屬性資訊，所以該構成與每次輸出推測屬性資訊之構成相比，在處理效率上更有利。
結果，具有可不太損害臉部認證處理之效率，並提高臉部認證處理之精度的效果。
在本發明的臉部認證裝置，該推測手段係對該抽出手段所抽出之該登錄臉部資訊中具有在所求得的類似度中最高之類似度與第既定個高之類似度的登錄臉部資訊，進行該推測屬性資訊之輸出較佳。
該抽出手段所抽出之該登錄臉部資訊中具有在所求得的類似度中最高之類似度與第既定個高之類似度的登錄臉部資訊，與其他的登錄臉部資訊相比，表示彼此高度相似之人物的可能性高。因此，在臉部認證，誤識別這些登錄臉部資訊所表示之人物的可能性亦高。
在如要求臉部認證處理之效率的狀況，亦想到無法忽視比較屬性資訊之處理負載時，若依據該構成，僅限於在臉部認證發生誤識別之機率高者，輸出推測屬性資訊。因而，因為亦可不必每次比對輸入臉部影像，就輸出推測屬性資訊，所以該構成與每次輸出推測屬性資訊之構成相比，在處理效率上更有利。
因而，具有可不太損害臉部認證處理之效率，並提高臉部認證處理之精度的效果。
在本發明的臉部認證裝置，該屬性資訊係包含表示年齡、性別以及人種之資訊中的至少一種較佳。
屬性資訊係包含表示年齡、性別以及人種之資訊中的至少一種。即，使用表示年齡、性別以及人種之資訊，可防止在臉部認證的誤識別。
亦可構成人物影像檢索系統，其具備有本發明之臉部認證裝置；並具備人物影像記憶部，係用來記憶顯示人物之至少臉的部分的人物影像；登錄臉部資訊記憶部，係記憶複數個該登錄臉部資訊；指定手段，用來從該登錄臉部資訊記憶部所記憶的複數個該登錄臉部資訊中指定登錄臉部資訊；影像輸入手段，用來從該人物影像記憶部讀出該人物影像，並從所讀出之該人物影像檢測出相當於臉的部分，再將所檢測出之部分向該臉部認證裝置輸入作為該輸入臉部影像；認證結果取得手段，用來從該臉部認證裝置取得對該影像輸入手段所輸入之輸入臉部影像的臉部認證結果；以及檢索手段，用來根據該認證結果取得手段所取得的結果，檢索該人物影像記憶部所記憶的人物影像中包含有利用該指定手段所指定之該登錄臉部資訊所表示之人物的人物影像。
若依據該構成，讀出顯示人物之至少臉的部分的人物影像，並從人物影像中檢測相當於人物之臉的部分，再作為輸入影像，輸入臉部認證裝置。然後，從該臉部認證裝置取得臉部認證結果。又，使用所取得之臉部認證結果，檢索檢索所指定之該登錄臉部資訊所表示之人物的人物影像。
如此，藉由將臉部認證裝置裝入人物影像檢索系統，可實現以高精度檢索表示所要之人物之人物影像的人物影像檢索系統。
此外，該臉部認證裝置亦可利用電腦實現，在此情況，藉由使電腦作為上述之各手段動作，而以電腦實現臉部認證裝置之臉部認證裝置控制程式及記錄了該程式之電腦可讀取之記錄媒體亦屬於本發明之範疇。
本發明之臉部認證裝置具有如下之構成，登錄臉部資訊跟該登錄臉部資訊有關之人物的屬性資訊一起被登錄；具備有特定手段，用來在抽出手段抽出複數個該登錄臉部資訊時，從該抽出手段所抽出之複數個登錄臉部資訊中特定包含與輸入臉部影像有關之人物的登錄臉部資訊；該特定手段具備推測手段，用來分析該輸入臉部影像，並從分析結果推測與該輸入臉部影像有關之人物的屬性，再輸出表示所推測之屬性的推測屬性資訊；及比較手段，用來比較該推測手段所推測之屬性資訊與跟該複數個登錄臉部資訊有關之人物的屬性資訊；根據該比較手段的比較結果，特定包含與該輸入臉部影像有關之人物的登錄臉部資訊。
本發明之臉部認證裝置之控制方法係如下之方法，登錄臉部資訊係與跟該登錄臉部資訊有關之人物的屬性資訊一起被登錄；包含有特定步驟，其在該抽出手段抽出複數個該登錄臉部資訊時，該臉部認證裝置所具備之特定手段從所抽出之複數個登錄臉部資訊中特定包含與輸入臉部影像有關之人物的登錄臉部資訊；該特定步驟包含推測步驟，係分析該輸入臉部影像，並從分析結果推測與該輸入臉部影像有關之人物的屬性，再輸出表示所推測之屬性的推測屬性資訊；及比較步驟，係比較在該推測步驟所推測之屬性資訊與跟該複數個登錄臉部資訊有關之人物的屬性資訊；根據在該比較步驟的比較結果，特定包含與該輸入臉部影像有關之人物的登錄臉部資訊。
因而，具有不必設置特殊的映像機器等，就可更提高臉部認證處理之精度的效果。
根據第1圖~第5圖說明本發明之一實施形態如下。
(臉部認證裝置之構成)
首先，參照第1圖，說明本實施形態之臉部認證裝置(人物影像檢索系統)100的示意構成。第1圖係顯示臉部認證裝置100之示意構成的方塊圖。臉部認證裝置100係預先登錄用來特定人物的臉部認證資訊，並使用已登錄之臉部認證資訊，對被輸入之影像資料進行臉部認證。在此，所謂臉部認證係指判定被輸入之影像資料所表示的人物是否與根據已登錄之臉部認證資訊而予以特定之人物一致的處理。
如第1圖所示，臉部認證裝置100係具備操作部20、顯示部30、控制部40以及記憶部90之構成。
操作部20係從使用者受理各種輸入，並由輸入用按鈕、鍵盤、數字鍵、滑鼠等指示裝置、觸控面板、其他的輸入裝置所構成。因應已受理之使用者的操作而產生操作資料，並向控制部40發送所產生之操作資料。
顯示部30係對使用者進行用來提供資訊的畫面顯示。顯示部30根據從控制部40所接收的畫面資料，將文字或影像等各種資訊顯示於顯示畫面。顯示部30藉例如LCD(Liquid Crystal Display：液晶顯示器)、PDP(Plasma Display Panel：電漿顯示面板)、EL(Electroluminescence：電致發光)顯示器等顯示裝置來予以構成。
控制部40係綜合控制在臉部認證裝置100的各種功能。控制部40之控制功能係藉CPU(Central Processing Unit：中央控制單元)等處理裝置執行控制程式來予以實現。此控制程式亦可記憶於作為例如RAM(Random Access Memory：隨機存取記憶體)或快閃記憶體等記憶元件的記憶部90，亦可係讀入被安裝於硬碟等的程式後使用的形態。此外，關於控制部40的細節將後述。
記憶部90記憶各種資料及程式。作為記憶部90之構成，列舉例如硬碟等非揮發性的記憶裝置、記憶控制部40動作時所需的程式或在各種控制所使用的固定資料之係讀出專用半導體記憶體的ROM(Read Only Memory：唯讀記憶體)、暫時記憶用來計算的資料及計算結果等之作為所謂的工作記憶體的RAM、記憶各種設定資料等的可改寫非揮發性記憶體(例如快閃記憶體)。此外，關於記憶部90的細節將後述。
(控制部、記憶部之細部構成)
接著，參照第1圖，說明控制部40及記憶部90的主要構成。在此，預先補充說明第1圖。如上述，臉部認證裝置100係使用已預先登錄的臉部認證資訊，對被輸入之影像資料進行臉部認證。即，臉部認證裝置100的處理大致分成2個處理，登錄處理與臉部認證處理。在同圖中，在各部之間以虛線箭號表示的關係(資料的流向)係表示僅在登錄處理時使用者。又，在各部之間以實線箭號所示的關係(資料的流向)表示僅在臉部認證處理時使用者，或表示在臉部認證處理及登錄處理雙方使用者。
(關於記憶部)
首先，詳細說明記憶部90。如第1圖所示，記憶部90具備影像記憶部91與臉部認證資料庫92。
影像記憶部91係用來記憶臉部認證部(特定手段)50進行臉部認證所需的影像資料。在本實施形態，影像資料表示人物之至少臉的部分。影像資料所示的人物可是1人或是多人。
影像資料例如可藉如下的方法來供給臉部認證裝置100並預先記憶於影像記憶部91。首先，可在臉部認證裝置100設置用來拍攝被攝體的攝像部(未圖示)，並預先將藉攝像部拍攝取得之影像資料10記憶於影像記憶部91。攝像部可由CCD(Charged Coupled Device：電荷耦合裝置)或CMOS(Complementary Metal-Oxide Semiconductor：互補金屬氧化半導體)等光電變換元件等構成。
又，亦可在臉部認證裝置100設置用來與外部進行通信的通信部(未圖示)，使臉部認證裝置100可與網路連接，並經由網路使臉部認證裝置100從外部取得影像資料10，並預先將所取得之影像資料10記憶於影像記憶部91。
臉部認證資料庫92係預先登錄臉部認證部50在臉部認證處理所使用的影像資料及從影像資料所抽出之資料。臉部認證資料庫92由臉部特徵資訊記憶部93及屬性資訊記憶部94所構成。
以下，一面參照第2圖及第3圖，一面說明臉部特徵資訊記憶部93及屬性資訊記憶部94。第2圖係顯示臉部特徵資訊記憶部93所記憶之登錄臉部特徵資訊(登錄臉部資訊)之一例的圖。第3圖係顯示屬性資訊記憶部94所記憶之登錄屬性資訊之一例的圖。
臉部特徵資訊記憶部93係用來預先登錄臉部比對部56進行臉部比對處理所需之臉部特徵資訊的資料庫。臉部特徵抽出部53依輸入臉部影像資料而輸出臉部特徵資訊，並藉認證用資訊登錄部55登錄於臉部特徵資訊記憶部93。臉部認證資訊可包含原本之輸入臉部影像資料。
登錄處理是指將從輸入臉部影像資料取得之臉部特徵資訊登錄於臉部認證資料庫92。在本實施形態的臉部認證裝置100，可預先將係為從被輸入之輸入臉部影像資料(影像資料)所包含的臉部影像抽出之特徵點的臉部特徵資訊登錄於臉部認證資料庫92。
一面參照第2圖，一面說明登錄於臉部特徵資訊記憶部93的臉部特徵資訊的一例。
如第2圖所示，將用來藉臉部認證予以特定之人物A及B的登錄臉部特徵資訊記憶於臉部特徵資訊記憶部93。在圖示的例子，人物A(母親)與人物B(女兒)是母女關係。又，在各登錄臉部特徵資訊中，附加識別資訊，因而可根據此識別資訊來唯一地特定各登錄臉部特徵資訊。在此，為了便於說明，將對應於人物A(母親)的識別資訊當作A，將對應於人物B(女兒)的識別資訊當作B。即，登錄臉部特徵資訊A是用來根據識別資訊特定母親的資料，登錄臉部特徵資訊B則是用來根據識別資訊特定女兒的資料。
在登錄臉部特徵資訊中，包含複數個是表示該人物之臉部特徵之資訊的臉部特徵資訊。在第2圖的例子，登錄臉部特徵資訊A包含用來特定母親之臉部特徵資訊的臉部特徵資訊A1 ~A4 、...。此臉部特徵資訊A1 ~A4 對應於臉部特徵抽出部53自1個影像資料所輸出的臉部特徵資訊。此外，臉部特徵資訊A1~ A4 可包含輸入臉部影像資料本身。
如圖示例所示，由複數個臉部特徵資訊來構成登錄臉部特徵資訊A是為了提高在臉部比對部56的比對精度。可是，未限定為上述的例子，登錄臉部特徵資訊A所包含之臉部特徵資訊只要至少一個即可。又，在臉部特徵資訊A1 中包含與臉部特徵抽出部53所抽出之複數個特徵點有關的資訊a11 、a12 、...。臉部特徵資訊A2 ~A4 也是如此。後面將詳述與特徵點有關之資訊a11 、a12 、...。
此外，因為登錄臉部特徵資訊B之資料構造與登錄臉部特徵資訊A一樣，所以省略其說明。
屬性資訊記憶部94係預先登錄性別年齡比較部58進行性別年齡比較處理時所使用之屬性資訊的資料庫。性別年齡推測部54根據輸入臉部影像資料來輸出屬性資訊，並藉認證用資訊登錄部55來登錄於屬性資訊記憶部94。一面參照第3圖，一面說明屬性資訊記憶部94所記憶之屬性資訊的一例。
如第3圖所示，在屬性資訊記憶部94，記憶有人物A(母親)及人物B(女兒)的屬性資訊。在臉部特徵資訊記憶部93與屬性資訊記憶部94中係使用共用的識別資訊。在圖示的例子，登錄屬性資訊A及B各自與臉部特徵資訊記憶部93中所記憶的登錄臉部特徵資訊A及B對應。
在圖示的例子中，登錄屬性資訊由年齡(年代)及性別構成。
在第3圖所示的登錄屬性資訊A中，年齡設定為「40歳」，而性別則設定為「女性」。
又，在登錄屬性資訊B中，年齡設定為「18歳」，而性別設定為「女性」。
此外，可作成使用者以手動來輸入、設定臉部特徵資訊記憶部93中所記憶之登錄臉部特徵資訊及屬性資訊記憶部94中所記憶的登錄屬性資訊。例如，亦可作成臉部認證部50取得使用者經由操作部20所輸入的各資訊，並登錄於臉部認證資料庫92。又，亦可從臉部認證裝置100的外部來供給臉部認證資料庫92中所登錄的資訊。例如，列舉藉可卸除的記錄媒體而從臉部認證裝置100之外部供給資訊的作法、或藉網路通信而從臉部認證裝置100之外部取得資訊的作法等。
(關於控制部)
接著，詳細說明控制部40。如第1圖所示，控制部40具備用來執行臉部認證處理的臉部認證部50。臉部認證部50係因應從操作部20所發送的操作資料來執行臉部認證處理。更詳細說明之，臉部認證部50係具備臉部影像取得部(抽出手段)51、臉部檢測部(抽出手段)52、臉部特徵抽出部(抽出手段)53、性別年齡推測部(推測手段)54、認證用資訊登錄部55、臉部比對部(抽出手段)56、類似度判定部(推測手段)57、性別年齡比較部(比較手段)58以及認證結果輸出部(特定手段)59之構成。
臉部影像取得部51用來取得在登錄處理及臉部認證處理時所使用的影像資料。臉部影像取得部51在登錄處理及臉部認證處理時從影像記憶部91讀出影像資料，並向臉部檢測部52傳送所讀出之影像資料。
此外，臉部影像取得部51在登錄處理時，取得如上述從外部所供給的影像資料10，並向臉部檢測部52傳送所取得之影像資料10。此時，臉部影像取得部51可將由外部供給的影像資料10記憶於影像記憶部91。
臉部檢測部52自臉部影像取得部51所傳送的影像資料檢測出相當於人臉的部分，並輸出係為所檢測出之臉部的影像之輸入臉部影像資料。臉部檢測部52可被構成為從影像資料檢測出複數個臉部，臉部檢測部52亦可被構成為輸出臉部的個數及在影像資料的位置等。又，臉部檢測部52在無法從影像資料檢測出人臉時，可判斷為影像資料不是表示人物。例如，可能是風景相片之影像等。此時，臉部認證部50可中止臉部認證處理。
此外，關於臉部檢測部52所執行的臉部認證處理，可應用專利文獻1的技術。可是，在臉部檢測部52所執行的臉部認證處理，未限定如此，可使用周知的臉部檢測技術。
臉部特徵抽出部53從臉部檢測部52所輸出之輸入臉部影像資料抽出該輸入臉部影像資料所包含之臉部的特徵點、並將與所抽出之1個或複數個特徵點有關的資訊作為臉部特徵資訊輸出。臉部特徵抽出部53例如對於輸入臉部影像資料所包含之人臉，將被認為是眼、鼻、口的部位作為特徵點抽出。又，作為與特徵點有關的資訊，列舉例如該各部位的位置、大小等。
在此，再次參照第2圖，更具體說明臉部特徵抽出部53所產生之臉部特徵資訊如下。以登錄臉部特徵資訊A為例，臉部特徵抽出部53可從1個輸入臉部影像資料產生臉部特徵資訊A1 。此時，關於眼、鼻、...之特徵點的資訊各自相當於a11 、a12 、...。
此外，關於臉部特徵抽出部53之特徵點的抽出及臉部特徵資訊的產生，可使用周知的技術。
性別年齡推測部54係分析臉部檢測部52所輸出之輸入臉部影像資料，並推測輸入臉部影像資料所表示之人物的性別及年齡，再將該推測結果作為屬性資訊輸出。性別年齡推測部54可使用例如專利文獻1所揭示的技術來推測性別年齡。可是，未限定如此，關於性別年齡推測部54的性別年齡推測處理，可適當採用周知的技術。又，性別年齡推測部54亦可推測10歳、20歳、…、或幼年、青少年、青壯年、老年之年代。
性別年齡推測部54在登錄處理時與臉部認證處理時的兩個時間點，進行推測處理。性別年齡推測部54在登錄處理時，向認證用資訊登錄部55輸出屬性資訊。另一方面，性別年齡推測部54在臉部認證處理時，向性別年齡比較部58輸出屬性資訊。
認證用資訊登錄部55係用來在登錄處理時將在臉部認證處理所使用的資訊登錄於臉部認證資料庫92。在臉部認證處理時所使用的資訊包含臉部特徵抽出部53所輸出之臉部特徵資訊與性別年齡推測部54所輸出的屬性資訊。此外，認證用資訊登錄部55亦可被構成為將臉部檢測部52所輸出之輸入臉部影像資料登錄於臉部認證資料庫92。
臉部比對部56係從臉部特徵資訊記憶部93依序讀出登錄臉部特徵資訊，並根據所讀出之登錄臉部特徵資訊，比對臉部檢測部52所輸出之輸入臉部影像資料。在臉部比對部56的比對處理係根據登錄臉部特徵資訊所包含之1個或複數個臉部特徵資訊來進行。又，臉部比對部56亦可在比對處理使用登錄屬性資訊。
又，在本實施形態，在臉部比對部56的比對處理中，算出各個登錄臉部特徵資訊所特定之人物與輸入臉部影像資料所表示之人物的類似度。此類似度能以數值表示。又，臉部比對部56判定所算出之類似度是否是既定的臨限值以上。
臉部比對部56在判定結果為類似度是既定之臨限值以上的登錄臉部特徵資訊連一個都沒有時，作為比對結果，輸出「無符合者」。
另外，臉部比對部56在判定結果為類似度是既定之臨限值以上的登錄臉部特徵資訊係1個或複數個時，將該登錄臉部特徵資訊作為比對結果輸出。
此外，在臉部比對部56之比對結果所包含的登錄臉部特徵資訊是1個時，在輸入臉部影像資料所表示的人物可說是判定根據該登錄臉部特徵資訊而予以特定之人物成功。
此外，關於臉部比對部56的比對處理，可採用例如在專利文獻2所記載之的技術。又，臉部比對部56未限定為上述構成，亦可進一步適當地變更設計。
類似度判定部57係在臉部比對部56所輸出之比對結果包含複數個登錄臉部特徵資訊時，判定登錄臉部特徵資訊彼此是否屬於類似範圍。
具體而言，類似度判定部57算出臉部比對部56所算出之複數個類似度中最高的類似度與第2高之類似度的差，並判定所算出之差是否是所預定的類似範圍設定值以下。
最高之類似度的登錄臉部特徵資訊與第2高之類似度的登錄臉部特徵資訊係表示彼此高度相似之人物的可能性高。而且，若2個類似度的差小，表示那些特別高度相似的人物，臉部認證處理錯誤的可能性亦更高。因此，類似度判定部57使用類似範圍設定值判定最高之類似度的登錄臉部特徵資訊與第2高之類似度的登錄臉部特徵資訊是否表示特別高度相似之人物。
即，若所算出之差係類似範圍設定值以下，認為根據該2個登錄臉部特徵資訊所特定之人物係特別高度相似的情況。因而，只靠根據類似度的臉部認證處理，可能判斷錯誤。
類似度判定部57在所算出之類似度的差係所預定之類似範圍設定值以下時，向性別年齡推測部54指示進行輸入臉部影像資料的性別年齡推測處理，同時輸出「類似範圍設定值以下」的判定結果。
另一方面，類似度判定部57在所算出之類似度的差係比所預定之類似範圍設定值大時，輸出「比類似範圍設定值大」之判定結果。
此外，類似範圍設定值係使用者可任意設定的值。又，在類似範圍設定值，亦可預先設定起始設定值，例如可設為「最高之類似度之10%的值」。
性別年齡比較部58係在臉部認證處理，判定輸入臉部影像資料的屬性資訊記憶部與屬性資訊記憶部94所記憶之登錄屬性資訊的一致、不一致，並輸出其判定結果。
更具體而言，性別年齡比較部58係如下所示判定兩者之屬性資訊的一致度。首先，性別年齡比較部58在類似度判定部57所輸出之判定結果係「類似範圍設定值以下」時，從性別年齡推測部54取得輸入臉部影像資料的屬性資訊。
又，性別年齡比較部58對被算出最高之類似度的登錄臉部特徵資訊與第2高之類似度的登錄臉部特徵資訊的登錄臉部特徵資訊，從屬性資訊記憶部94讀出對應的屬性資訊。
然後，性別年齡比較部58比較從屬性資訊記憶部94所讀出之各個屬性資訊與輸入臉部影像資料的屬性資訊。
在本實施形態，性別年齡比較部58在屬性資訊的比較，分別比較屬性資訊所包含的「年齡」及「性別」。
在此，說明性別年齡比較部58所執行的比較處理。
性別年齡比較部58在「年齡」的比較，判定年齡是否一致及登錄屬性資訊所包含的年齡與輸入臉部影像資料的屬性資訊所包含之年齡之差的絕對值是否位於既定之範圍內。若該差的絕對值位於既定之範圍內，則性別年齡比較部58判定年齡「係同年代」。以下，在性別年齡比較部58判定年齡「係同年代」時，當作包含有判定年齡「一致」的情況。可是，未限定如此，亦可性別年齡比較部58判定僅年齡「一致」的情況。
此既定之範圍可由使用者預先設定。又，作為既定之範圍的起始值，亦可設定成若該差的絕對值係10以下，性別年齡比較部58判定「係同年代」。
性別年齡比較部58在「性別」的比較，判定性別是否一致。
性別年齡比較部58在屬性資訊的比較，在年齡「係同年代」時，而且「性別」一致時，判定屬性資訊一致。
接著，說明性別年齡比較部58根據比較處理之結果所判定的內容。在本實施形態，性別年齡比較部58在輸入臉部影像資料的屬性資訊與與被算出最高之類似度的登錄臉部特徵資訊對應的登錄屬性資訊及與具有第2高之類似度的登錄臉部特徵資訊對應的之任一方一致時，將根據一致之登錄臉部特徵資訊而予以特定之人物作為判定結果輸出。
認證結果輸出部59係綜合臉部比對部56的比對結果、類似度判定部57的判定結果以及性別年齡比較部58的比較結果，輸出認證結果。認證結果輸出部59在顯示部30顯示所輸出之認證結果。
(處理的流程)
其次，一面參照第4圖及第5圖，一面說明臉部認證裝置100之各處理的流程。第4圖係顯示臉部認證裝置100之登錄處理流程的流程圖。第5圖係顯示臉部認證裝置100之臉部認證處理流程的流程圖。
(登錄處理之流程)
首先，一面參照第4圖，一面說明登錄處理之流程。因應使用者在操作部20所進行之指示登錄處理的操作，臉部認證部50開始登錄處理。在指示登錄處理的操作中，指定成為登錄處理之對象的影像資料。
若登錄處理開始，則臉部影像取得部51從影像記憶部91讀出影像資料，並向臉部檢測部52傳送(S11)。接著，臉部檢測部52從影像資料檢測出人的臉部，並輸出輸入臉部影像資料(S12)。然後，臉部特徵抽出部53從臉部檢測部52所輸出之輸入臉部影像資料抽出該輸入臉部影像資料所包含之臉部的特徵點，並輸出臉部特徵資訊(S13)。進而，性別年齡推測部54分析輸入臉部影像資料，並推測輸入臉部影像資料所振示之人物的性別年齡，再將推測結果作為屬性資訊輸出(S14)。
最後，認證用資訊登錄部55將臉部特徵抽出部53及性別年齡推測部54所輸出之資訊登錄於臉部認證資料庫(S15)。具體而言，認證用資訊登錄部55將臉部特徵抽出部53所輸出之臉部特徵資訊登錄於臉部特徵資訊記憶部93，並將性別年齡推測部54所輸出之屬性資訊登錄於屬性資訊記憶部94。此外，亦可該認證用資訊登錄部55將臉部檢測部52所檢測之輸入影像資料記憶於影像記憶部91。在臉部認證裝置100，重複上述的處理，而可預先將成為臉部認證對象之複數個人登錄於臉部認證資料庫92。又，亦可臉部認證裝置100預先將輸入臉部影像資料登錄於臉部認證資料庫92。
以上是登錄處理的流程。
(臉部認證處理之流程)
其次，一面參照第5圖，一面說明臉部認證處理之流程。因應使用者在操作部20所進行之指示臉部認證處理的操作，臉部認證部50開始臉部認證處理。在指示臉部認證處理的操作，指定成為臉部認證處理之對象的影像資料。
因為S21~S23的處理係依據S11~S13的處理，所以省略其說明。
臉部特徵抽出部53輸出輸入影像資料的臉部特徵資訊時，臉部比對部56執行比對處理(S24)。具體而言，臉部比對部56依序讀出登錄於臉部特徵資訊記憶部93的登錄臉部特徵資訊，並使用所讀出之登錄臉部特徵資訊包含的臉部特徵資訊與輸入影像資料的特徵資訊進行比對處理。臉部比對部56進行比對處理之結果，求根據登錄臉部特徵資訊而予以特定之人物與輸入影像資料所表示之人物的類似度，接著臉部比對部56判定對各登錄臉部特徵資訊所求得之類似度是否是臨限值以上(S25)。
在此，在臉部比對部56的判定結果，在類似度是臨限值以上的登錄臉部特徵資訊連1件都沒有時(在S25為NO)，認證結果輸出部59作為認證結果，向顯示部30輸出「無符合者」(S31)。又，認證結果輸出部59當在臉部比對部56之判定結果為類似度是既定之臨限值以上的登錄臉部特徵資訊係1件時，亦作為認證結果，向顯示部30輸出「根據類似度為第1順位的登錄臉部特徵資訊而予以特定之人物」。兩種情況都在之後結束處理。
另一方面，在臉部比對部56之判定結果為類似度是既定之臨限值以上的登錄臉部特徵資訊有1件以上時(在S25為YES)，類似度判定部57算出第1順位的類似度與第2順位之類似度的差，並判定所算出之差是否是已預先決定之類似範圍設定值以下(S26)。
在此，在類似度判定部57的判定結果，所算出之差大於已預先決定之類似範圍設定值時(在S26為NO)，認證結果輸出部59作為認證結果，向顯示部30輸出「根據類似度為第1順位的登錄臉部特徵資訊而予以特定之人物」(S30)。
在此，在類似度判定部57的判定結果，所算出之差是已預先決定之類似範圍設定值以下時(在S26為YES)，性別年齡推測部54分析臉部檢測部52所輸出之輸入臉部影像資料，並推測輸入臉部影像資料所表示之人物的性別及年齡(年代)，再將該推測結果作為屬性資訊輸出(S27)。
接著，性別年齡比較部58對與類似度為第1順位的登錄臉部特徵資訊對應之登錄屬性資訊及與第2順位登錄臉部特徵資訊對應之登錄屬性資訊，判定與由性別年齡推測部54對輸入臉部影像資料所推測的屬性資訊的一致、不一致。即，判定由性別年齡推測部54對輸入臉部影像資料所推測的性別是否與登錄屬性資訊一致及兩者之年齡的差是否位於既定之範圍內(S28)。
在性別年齡比較部58的判定結果為對輸入臉部影像資料所推測的屬性資訊和與類似度為第1個的登錄臉部特徵資訊對應之登錄屬性資訊及與類似度為第2順位登錄臉部特徵資訊對應之登錄屬性資訊之雙方一致時，及雙方都不一致時(在S28「雙方一致」、「雙方不一致」)，認證結果輸出部59作為認證結果，向顯示部30輸出「根據類似度為第1順位的登錄臉部特徵資訊而予以特定之人物」(S30)。然後，結束處理。
而，在判定結果為對輸入臉部影像資料所推測的屬性資訊與與類似度為第1個的登錄臉部特徵資訊對應之登錄屬性資訊及與類似度為第2順位登錄臉部特徵資訊對應之登錄屬性資訊之任一方一致時(在S28「與任一方一致」)，認證結果輸出部59作為認證結果，輸出「根據與一致之一方的登錄屬性資訊對應之登錄臉部特徵資訊而予以特定之人物」(S29)。然後，結束處理。
此外，在成為臉部認證處理之對象的影像資料包含有複數個人物的臉部，並產生複數個輸入臉部影像資料時，對各個輸入臉部影像資料重複該S23~S31的處理即可。
又，在成為臉部認證處理之對象的影像資料被指定複數個時，對各個輸入臉部影像資料重複該S21~S31的處理即可。在此情況，亦可採用如下之構成，在臉部認證部50，受理用來特定作為認證結果之輸出對象的人物之登錄臉部特徵資訊的指定，而認證結果輸出部59將表示與該臉部認證資訊而予以特定之人物一致的人物之影像資料作為認證結果輸出。若依據此構成，可從影像記憶部91所記憶的影像資料中檢索表示特定人物的影像資料。即，依據這種構成，亦可構築所謂的人物影像檢索系統。
以上是臉部認證處理的流程。
若再參照第2圖及第3圖，更具體說明本實施形態之臉部認證處理的流程，在第2圖及第3圖所示的例子，說明輸入臉部影像資料是女兒之影像資料時。一般因為母親與女兒之臉部的造形、容貌等相似，所以預測登錄臉部特徵資訊A的類似度、登錄臉部特徵資訊B的類似度都變高。又，此時，亦認為表情、臉部方向、照明狀態等的狀況影響類似度的計算。
在此情況，設想在S25，判定類似度為臨限值以上(在S25為YES)，在S26，2個類似度之差是設定值以內(在S26為YES)。
在此，在S27，對輸入臉部影像資料推測性別年齡時，因為是女兒的影像資料，所以推測性別是「女性」，年齡是「18歳」。
因而，在屬性資訊的比較，對輸入臉部影像資料所推測的屬性資訊與登錄屬性資訊B一致，而與登錄屬性資訊A不一致。
結果，若受到如上述所示的影響，即使所算出之登錄臉部特徵資訊B的類似度比登錄臉部特徵資訊A的類似度更低，認證結果輸出部59亦將屬性資訊一致之「女兒」的一方作為認證結果輸出。
如此，若依據本實施形態的臉部認證裝置100，可使用屬性資訊，防止在臉部認證的識別錯誤。
(作用、效果)
如以上所示，本實施形態的臉部認證裝置100，係具備有臉部比對部56，其求得所輸入之輸入臉部影像資料與已預先登錄之複數個登錄臉部特徵資訊的類似度，並抽出與輸入臉部影像資料之類似度為既定值以上的登錄臉部特徵資訊，在該臉部認證裝置100，具備有臉部認證部50，其在臉部比對部56抽出複數個登錄臉部特徵資訊時，從臉部比對部56所抽出之複數個登錄臉部特徵資訊特定包含與輸入臉部影像資料有關之人物的登錄臉部特徵資訊，而臉部認證部50具備性別年齡推測部54，係與輸入臉部影像資料有關之人物推測屬性資訊，並輸出屬性資訊；及性別年齡比較部58，係比較性別年齡推測部54所輸出之屬性資訊與對複數個登錄臉部特徵資訊之人物的登錄屬性資訊；並根據該比較結果，特定登錄臉部特徵資訊。
結果，具有不必設置特殊的映像機器等，就可更提高臉部認證處理的精度之效果。
(變形例)
在以下，說明本實施形態之較佳的變形例。
在本實施形態，雖然類似度判定部57算出臉部比對部56所算出之複數個類似度中最高的類似度與第2高之類似度的差，並判定所算出之差是否是已預先決定之類似範圍設定值以下，但是亦可將第3個以後的類似度亦作為判定的對象。即，亦可類似度判定部57將與最高類似度之類似度的差為類似範圍設定值以下者作為判定的對象。
在此情況，由於判定的對象增加，臉部認證處理之負載可能變大，另一方面，在最高類似度與第3順位之類似度的差為類似範圍設定值以下時，對根據類似度為第3順位之登錄臉部特徵資訊而予以特定的人物，亦因為設想與根據最高類似度之登錄臉部特徵資訊而予以特定的人物高度相似的人物，所以可預測臉部認證處理的精度提高。
因而，可根據臉部認證處理的精度與臉部認證處理之負載的權衡，變更適當之類似範圍設定值等的設定。
又，亦可類似度判定部57向性別年齡比較部58通知具有至第既定順位之類似度的登錄臉部特徵資訊，而在性別年齡比較部58，對所通知之類似度為第既定順位的登錄臉部特徵資訊，執行屬性資訊的比較。在此情況，例如，可將至第3順位之類似度當作判定、比較的對象。又，亦可使用者可任意地設定對至第幾順位之類似度作為判定、比較的對象。
又，亦可性別年齡比較部58構成為若「年齡」及「性別」的任一方一致，則判定屬性資訊為「部分一致」。而且，在S28，有屬性資訊為「部分一致」者與屬性資訊為「部分不一致」者時，亦可認證結果輸出部59將「根據屬性資訊為「部分一致」之一方的登錄臉部特徵資訊而予以特定之人物」作為判定結果輸出。
又，雖然性別年齡推測部54從輸入臉部影像資料推測「年齡」及「性別」，但是亦可進而推測「人種」。即，亦可在屬性資訊，除了「年齡」及「性別」以外，還包含有關於「人種」的資訊。在此情況，性別年齡比較部58可構成為對「人種」比較。因而，在臉部認證資料庫92登錄人種相異之人物時，對「人種」亦可判定，可提高臉部認證處理的精度。此外，在性別年齡推測部54之「人種」的推測處理，可使用周知的技術。
(其他的變更例)
若在本發明使用設置攝像部之構成，可實現利用臉部認證處理可檢索拍攝人物所得之相片影像資料的數位相機。這種數位相機隨著記憶媒體的大容量化，而在數位相機可記憶的相片影像資料數亦變得龐大的最近，因為可易於檢索所要之人物的相片影像資料，所以係有益。
又，將本發明作成與每隔固定時間或即時進行攝影的監視相機連接，並從監視相機接受影像資料的供給，則亦可構築可利用臉部認證處理特定監視相機所拍攝之人物的臉部認證監視系統。因為這種臉部認證監視系統可高精度地特定所拍攝之人物是否是所登錄的人物，所以例如作為門禁管理系統亦有用。
本發明未限定為上述之實施形態，係可在申請專利範圍請求項所示之範圍進行各種變更。即，將在申請專利範圍請求項所示之範圍所適當變更的技術性手段組合所得之實施形態亦包含於本發明的技術範圍。
最後，臉部認證裝置100的各組件，尤其臉部認證部50所具備的臉部影像取得部51、臉部檢測部52、臉部特徵抽出部53、性別年齡推測部54、認證用資訊登錄部55、臉部比對部56、類似度判定部57、性別年齡比較部58以及認證結果輸出部59亦可利用硬體組件構成，亦可如以下所示使用CPU利用軟體實現。
即，臉部認證裝置100具備：CPU(Central Processing Unit)，係執行用來實現各功能之控制程式的命令；ROM(Read Only Memory)，係儲存了該程式；RAM(Random Access Memory)，係展開該程式；以及記憶體等記憶裝置(記錄媒體)等，係儲存該程式及各種資料。而，本發明之目的在於對該臉部認證裝置100供給記錄媒體，其將係用來實現上述之功能的軟體之臉部認證裝置100之控制程式的程式碼(執行形式程式、中間碼程式、原始程式)記錄成能以電腦讀取，藉該電腦(或者CPU或MPU)讀出並執行記錄媒體所記錄的程式碼，亦可達成。
作為該記錄媒體，可使用例如磁帶或卡帶等帶系、包含FLOPPY(登錄商標)軟碟/硬碟等之磁碟或CD-ROM/MO/MD/DVD/CD-R等之光碟的碟片系、IC卡(包含有記憶卡)/光卡等的卡系、或者遮罩ROM/EPROM/EEPROM/快閃ROM等的半導體記憶體系等。
又，亦可將臉部認證裝置100構成為可與通信網路連接，並經由通信網路供給該程式碼。作為此通信網路，未特別限定，係可利用例如網際網路、網內網路、外部網路、LAN、ISDN、VAN、CATV通信網、虛擬專用網(virtual private network)、電話線路網、移動體通信網、衛星通信網等。又，作為構成通信網路的傳送媒體，未特別限定，例如不論IEEE1394、電力線輸送、電纜TV線路、電話線、ADSL線路等之有線，或是如IrDA或遙控之紅外線、Bluetooth(登錄商標)、802.11無線、HDR、手機網、衛星線路、地上波數位網等之無線部可利用。此外，本發明亦能以電子式傳送具體實現該程式碼之被埋入載波之電腦資料信號的形態實現。
[工業上之可應用性]
本發明係不必設置特殊的映像機器等，就可更提高臉部認證處理的精度。因此，本發明可廣泛地適用來處理人物之臉部影像資料的影像處理裝置等。
10．．．影像資料
20．．．操作部
30．．．顯示部
40．．．控制部
50．．．臉部認證部(特定手段)
51．．．臉部影像取得部(抽出手段、影像輸入手段)
52．．．臉部檢測部(抽出手段)
53．．．臉部特徵抽出部(抽出手段)
54．．．性別年齡推測部(推測手段)
55．．．認證用資訊登錄部
56．．．臉部比對部(抽出手段)
57．．．類似度判定部(推測手段)
58．．．性別年齡比較部(比較手段)
59．．．認證結果輸出部(特定手段)
90．．．記憶部
91．．．影像記憶部(人物影像記憶部)
92．．．臉部認證資料庫(登錄臉部資訊記憶部)
93．．．臉部特徵資訊記憶部
94．．．屬性資訊記憶部
100．．．臉部認證裝置(人物影像檢索系統)
第1圖顯示本發明之實施形態，係顯示臉部認證裝置之示意構成的方塊圖。
第2圖係顯示臉部特徵資訊記憶部所記憶之登錄臉部特徵資訊的一例的圖。
第3圖係顯示屬性資訊記憶部所記憶之登錄屬性資訊的一例的圖。
第4圖係顯示臉部認證裝置之登錄處理流程的流程圖。
第5圖係顯示臉部認證裝置之臉部認證處理流程的流程圖。
100．．．臉部認證裝置
10．．．影像資料
20．．．操作部
30．．．顯示部
40．．．控制部
50．．．臉部認證部
51．．．臉部影像取得部
52．．．臉部檢測部
53．．．臉部特徵抽出部
54．．．性別年齡推測部
55．．．認證用資訊登錄部
56．．．臉部比對部
57．．．類似度判定部
58．．．性別年齡比較部
59．．．認證結果輸出部
90．．．記憶部
91．．．影像記憶部
92．．．臉部認證資料庫
93．．．臉部特徵資訊記憶部
94．．．屬性資訊記憶部

Claims (8)

  1. 一種臉部認證裝置，係具備有抽出手段，用來求得所輸入之輸入臉部影像與已預先登錄之複數個登錄臉部資訊的類似度，並進行第一處理，該第一處理係抽出與該輸入臉部影像之類似度為既定值以上的該登錄臉部資訊，該臉部認證裝置的特徵為：該登錄臉部資訊係與跟該登錄臉部資訊有關之人物的屬性資訊一起被登錄；具備有特定手段，用來在該抽出手段於該第一處理中抽出複數個該登錄臉部資訊時，進行第二處理，該第二處理係從該抽出手段所抽出之複數個登錄臉部資訊中特定包含與該輸入臉部影像有關之人物的登錄臉部資訊；該特定手段具備：推測手段，用來分析該輸入臉部影像，並從分析結果推測與該輸入臉部影像有關之人物的屬性，再輸出表示所推測之屬性的推測屬性資訊；及比較手段，用來比較該推測手段所輸出之推測屬性資訊、和與該複數個登錄臉部資訊有關之人物的屬性資訊；在該抽出手段抽出1個該登錄臉部資訊時，將該抽出手段所抽出的該登錄臉部資訊作為認證結果而輸出；在該抽出手段抽出複數個該登錄臉部資訊時，根據該特定手段的該比較手段的結果，從該抽出手段藉第一 處理所抽出的複數個登錄臉部資訊中，來特定包含與該輸入臉部影像有關之人物的登錄臉部資訊，並將該已特定的登錄臉部資訊作為認證結果而輸出。
  2. 如申請專利範圍第1項之臉部認證裝置，其中該推測手段係對該抽出手段所抽出之該登錄臉部資訊中具有與在所求得的類似度中最高之類似度的差在既定範圍內之類似度的登錄臉部資訊，進行該推測屬性資訊之輸出。
  3. 如申請專利範圍第1或2項之臉部認證裝置，其中該推測手段係對該抽出手段所抽出之該登錄臉部資訊中具有在所求得的類似度中最高之類似度與第既定個高之類似度的登錄臉部資訊，進行該推測屬性資訊之輸出。
  4. 如申請專利範圍第1項之臉部認證裝置，其中該屬性資訊係包含表示年齡、性別以及人種之資訊中的至少一種。
  5. 一種人物影像檢索系統，其特徵為：具備有申請專利範圍第1或4項之臉部認證裝置；並具備：人物影像記憶部，係用來記憶顯示人物之至少臉的部分的人物影像；登錄臉部資訊記憶部，係記憶複數個該登錄臉部資訊；指定手段，用來從該登錄臉部資訊記憶部所記憶的複數個該登錄臉部資訊中指定登錄臉部資訊；影像輸入手段，用來從該人物影像記憶部讀出該人 物影像，並從所讀出之該人物影像檢測出相當於臉的部分，再將所檢測出之部分作為該輸入臉部影像而輸入至該臉部認證裝置；認證結果取得手段，用來從該臉部認證裝置取得針對該影像輸入手段所輸入之輸入臉部影像的臉部認證結果；以及檢索手段，根據該認證結果取得手段所取得的結果，在該人物影像記憶部所記憶的人物影像中檢索包含利用該指定手段所指定之該登錄臉部資訊所表示之人物的人物影像。
  6. 一種臉部認證裝置控制程式，係使申請專利範圍第1或4項之臉部認證裝置動作的臉部認證裝置控制程式，其用來使電腦作為上述之各手段而發揮功能。
  7. 一種電腦可讀取之記錄媒體，其記錄了申請專利範圍第6項之臉部認證裝置控制程式。
  8. 一種臉部認證裝置之控制方法，該臉部認證裝置具備有抽出手段，用來求得所輸入之輸入臉部影像與已預先登錄之複數個登錄臉部資訊的類似度，並進行第一處理，該第一處理係抽出與該輸入臉部影像之類似度為既定值以上的該登錄臉部資訊，該控制方法的特徵為：該登錄臉部資訊係與跟該登錄臉部資訊有關之人物的屬性資訊一起被登錄；包含有特定步驟，其在該抽出手段於該第一處理中 抽出複數個該登錄臉部資訊時，進行第二處理，該第二處理係該臉部認證裝置所具備之特定手段從所抽出之複數個登錄臉部資訊中特定包含與該輸入臉部影像有關之人物的登錄臉部資訊；該特定步驟包含：推測步驟，係分析該輸入臉部影像，並從分析結果推測與該輸入臉部影像有關之人物的屬性，再輸出表示所推測之屬性的推測屬性資訊；及比較步驟，係比較在該推測步驟所推測之屬性資訊、和與該複數個登錄臉部資訊有關之人物的屬性資訊；該特定步驟係根據在該比較步驟的比較結果，從該抽出手段藉第一處理所抽出的複數個登錄臉部資訊中，特定包含與該輸入臉部影像有關之人物的登錄臉部資訊。
TW099105236A 2009-03-13 2010-02-24 臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法 TWI496092B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009062041A JP4544363B1 (ja) 2009-03-13 2009-03-13 顔認証装置、人物画像検索システム、顔認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および顔認証装置の制御方法

Publications (2)

Publication Number Publication Date
TW201037611A TW201037611A (en) 2010-10-16
TWI496092B true TWI496092B (zh) 2015-08-11

Family

ID=42728035

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099105236A TWI496092B (zh) 2009-03-13 2010-02-24 臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法

Country Status (7)

Country Link
US (1) US20110135168A1 (zh)
EP (1) EP2407930A4 (zh)
JP (1) JP4544363B1 (zh)
KR (1) KR101166318B1 (zh)
CN (1) CN102124493B (zh)
TW (1) TWI496092B (zh)
WO (1) WO2010103736A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924977B2 (ja) * 2011-03-18 2016-05-25 キヤノン株式会社 画像処理装置および画像処理方法
JP5740210B2 (ja) * 2011-06-06 2015-06-24 株式会社東芝 顔画像検索システム、及び顔画像検索方法
JP5713821B2 (ja) * 2011-06-30 2015-05-07 キヤノン株式会社 画像処理装置及び方法、並びに画像処理装置を有するカメラ
TWI457872B (zh) * 2011-11-15 2014-10-21 Univ Nat Taiwan Normal 具人臉表情辨識輔助之測驗系統及方法
JP6040640B2 (ja) * 2012-08-29 2016-12-07 株式会社バッファロー 画像処理装置及びプログラム
CN103873671A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种信息处理方法及电子设备
TWI485635B (zh) * 2013-01-30 2015-05-21 Nat Univ Tainan 年齡評估系統與方法
US20140266604A1 (en) 2013-03-13 2014-09-18 Sololnsight, Inc. Apparatus, methods and systems for integrated workforce management and access control
JP6336709B2 (ja) * 2013-03-29 2018-06-06 綜合警備保障株式会社 警備装置、警備方法およびプログラム
JP6338191B2 (ja) 2013-07-01 2018-06-06 Ｎｅｃソリューションイノベータ株式会社 属性推定システム
US9779527B2 (en) * 2013-08-15 2017-10-03 Xiaomi Inc. Method, terminal device and storage medium for processing image
US10120879B2 (en) 2013-11-29 2018-11-06 Canon Kabushiki Kaisha Scalable attribute-driven image retrieval and re-ranking
US9576135B1 (en) * 2014-03-04 2017-02-21 Amazon Technologies, Inc. Profiling user behavior through biometric identifiers
US9589205B2 (en) 2014-05-15 2017-03-07 Fuji Xerox Co., Ltd. Systems and methods for identifying a user's demographic characteristics based on the user's social media photographs
CN103995997B (zh) * 2014-05-15 2017-09-12 华为技术有限公司 一种用户权限的分配方法和设备
JP6344984B2 (ja) * 2014-06-09 2018-06-20 キヤノン株式会社 人物推定装置、人物推定方法及びプログラム
US10740802B2 (en) 2014-08-18 2020-08-11 Fuji Xerox Co., Ltd. Systems and methods for gaining knowledge about aspects of social life of a person using visual content associated with that person
JP6483485B2 (ja) * 2015-03-13 2019-03-13 株式会社東芝 人物認証方法
JP6582478B2 (ja) * 2015-03-23 2019-10-02 日本電気株式会社 会計装置、会計方法、及び、プログラム
US10863003B2 (en) * 2015-09-10 2020-12-08 Elliot Berookhim Methods, devices, and systems for determining a subset for autonomous sharing of digital media
CN107992728B (zh) * 2016-10-27 2022-05-20 腾讯科技（深圳）有限公司 人脸验证方法及装置
JP6241533B2 (ja) * 2016-11-07 2017-12-06 株式会社バッファロー 画像処理装置及びプログラム
WO2018173194A1 (ja) * 2017-03-23 2018-09-27 日本電気株式会社 認証装置及び認証方法
WO2018188956A1 (de) 2017-04-10 2018-10-18 Inventio Ag Zugangskontrollsystem mit funk- und gesichtserkennung
US10502443B2 (en) 2017-07-18 2019-12-10 Ademco Inc. Smart human machine interface
CN108124157B (zh) * 2017-12-22 2020-08-07 北京旷视科技有限公司 信息交互方法、装置及系统
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
CN109145704B (zh) * 2018-06-14 2022-02-22 西安电子科技大学 一种基于人脸属性的人脸画像识别方法
TWI671685B (zh) * 2018-09-19 2019-09-11 和碩聯合科技股份有限公司 臉部識別方法與使用此方法的電子裝置
WO2020208745A1 (ja) * 2019-04-10 2020-10-15 楽天株式会社 認証システム、認証端末、ユーザ端末、認証方法、及びプログラム
CN110460617B (zh) * 2019-08-23 2022-01-11 深圳市元征科技股份有限公司 机考考试系统及相关产品
CN114766019A (zh) * 2019-11-25 2022-07-19 瑞典爱立信有限公司 基于区块链的面部匿名化系统
WO2022269682A1 (ja) * 2021-06-21 2022-12-29 楽天グループ株式会社 認証システム、認証方法、及びプログラム
WO2022269683A1 (ja) * 2021-06-21 2022-12-29 楽天グループ株式会社 認証システム、認証方法、及びプログラム
WO2022269681A1 (ja) * 2021-06-21 2022-12-29 楽天グループ株式会社 認証システム、認証方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200634657A (en) * 2004-11-16 2006-10-01 Imageware Systems Inc Multimodal biometric platform
US20060251339A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling the use of captured images through recognition
TW200843445A (en) * 2007-02-28 2008-11-01 Microsoft Corp User authentication via biometric hashing
TW200907827A (en) * 2007-08-08 2009-02-16 Acer Inc System and method for performing objects with bio-characteristics recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263655A (ja) * 1995-03-17 1996-10-11 Nissan Motor Co Ltd パターン認識方法
JP2003346149A (ja) * 2002-05-24 2003-12-05 Omron Corp 顔照合装置および生体情報照合装置
JP4296008B2 (ja) * 2003-03-04 2009-07-15 日本信号株式会社 個人認証システム
JP2005165447A (ja) * 2003-11-28 2005-06-23 Toshiba Corp 年齢・性別判別装置、年齢・性別判別方法および人物認識装置
CN100405388C (zh) 2004-05-14 2008-07-23 欧姆龙株式会社 特定被摄体检测装置
JP2006146413A (ja) 2004-11-17 2006-06-08 Mitsubishi Electric Corp 対象追従装置
JP5008269B2 (ja) * 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
JP2007114931A (ja) 2005-10-19 2007-05-10 Konica Minolta Holdings Inc 認証装置
JP4696857B2 (ja) * 2005-11-02 2011-06-08 オムロン株式会社 顔照合装置
KR100738080B1 (ko) * 2005-11-08 2007-07-12 삼성전자주식회사 성별을 이용한 얼굴 인식 방법 및 장치
JP2008158679A (ja) 2006-12-21 2008-07-10 Toshiba Corp 人物認証システムおよび人物認証方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200634657A (en) * 2004-11-16 2006-10-01 Imageware Systems Inc Multimodal biometric platform
US20060251339A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling the use of captured images through recognition
TW200843445A (en) * 2007-02-28 2008-11-01 Microsoft Corp User authentication via biometric hashing
TW200907827A (en) * 2007-08-08 2009-02-16 Acer Inc System and method for performing objects with bio-characteristics recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黃仲陵，蔡俊達，利用AAM模型與區域人臉特徵估計年齡，國立清華大學，20080930 *

Also Published As

Publication number Publication date
EP2407930A4 (en) 2015-10-21
JP4544363B1 (ja) 2010-09-15
CN102124493B (zh) 2013-07-24
KR20110042181A (ko) 2011-04-25
KR101166318B1 (ko) 2012-07-18
US20110135168A1 (en) 2011-06-09
JP2010218060A (ja) 2010-09-30
TW201037611A (en) 2010-10-16
CN102124493A (zh) 2011-07-13
EP2407930A1 (en) 2012-01-18
WO2010103736A1 (ja) 2010-09-16

Similar Documents

Publication Publication Date Title
TWI496092B (zh) 臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法
JP4725377B2 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
CN104635920B (zh) 姿势识别装置及姿势识别装置的控制方法
US20130243249A1 (en) Electronic device and method for recognizing image and searching for concerning information
US8626782B2 (en) Pattern identification apparatus and control method thereof
EP3739482B1 (en) Facial recognition device
CN104798103B (zh) 面部识别装置、识别方法及其程序和信息设备
US20130258198A1 (en) Video search system and method
WO2021047069A1 (zh) 人脸识别方法和电子终端设备
JP2014182480A (ja) 人物認識装置、及び方法
JP2011165008A (ja) 画像認識装置および方法
US10594930B2 (en) Image enhancement and repair using sample data from other images
JP7238902B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20190147251A1 (en) Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
US7869633B2 (en) Person image retrieval apparatus
TWI397024B (zh) 影像畫面自動選取方法及其電腦系統
CN106464971B (zh) 用于检测媒体内容在显示设备上呈现的方法、系统和介质
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2012049774A (ja) 映像監視装置
JP2019133566A (ja) 情報処理装置
JP2018036734A (ja) 表情変化検出装置及びプログラム
WO2021124456A1 (ja) 撮影対象照合方法、撮影対象照合装置、及びプログラム
JP2015179413A (ja) 背景抽出装置、主成分分析装置及び主成分分析プログラム
JP2011237910A (ja) 画像処理装置、画像表示方法、及び画像処理プログラム