TWI508002B - 人臉標註方法以及人臉標註系統 - Google Patents

人臉標註方法以及人臉標註系統 Download PDF

Info

Publication number
TWI508002B
TWI508002B TW103128429A TW103128429A TWI508002B TW I508002 B TWI508002 B TW I508002B TW 103128429 A TW103128429 A TW 103128429A TW 103128429 A TW103128429 A TW 103128429A TW I508002 B TWI508002 B TW I508002B
Authority
TW
Taiwan
Prior art keywords
face
mkl
module
access control
identity
Prior art date
Application number
TW103128429A
Other languages
English (en)
Other versions
TW201604795A (zh
Inventor
Shih Chia Huang
Ming Kai Jiau
Yu Hsiang Jian
Original Assignee
Univ Nat Taipei Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taipei Technology filed Critical Univ Nat Taipei Technology
Application granted granted Critical
Publication of TWI508002B publication Critical patent/TWI508002B/zh
Publication of TW201604795A publication Critical patent/TW201604795A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

人臉標註方法以及人臉標註系統
本發明主要地是關於人臉標註技術，且特定言之，是關於用於協作性框架以及多核心學習演算法內的人臉標註方法以及人臉標註系統。
在過去十年，數位攝取元件以及手持型電子產品的迅速發展已導致在任何場所及任何時間，可攝取的相片的數目顯著且持續地增大。這類相片大部分含有與攝取相片的拍攝者的日常生活相關聯的人臉影像。此情形已引起開發人臉辨識系統以藉此判定相片中所顯現的人的身份的興趣。當前，諸如Facebook及MySpace的線上社群網路(online social network,OSN)為人們與其在現實世界中的密友、家庭成員以及同事交流的風行的平台。因此，出於對社群網路平台的管理及娛樂的目的，人臉辨識領域中所進行的研究更已經被導向至稱為人臉標註的新服務。
人臉標註技術的研究領域可分類為三種做法：手動的、半自動的及自動的。手動人臉標註為在個人的相片中標註個人或 主體的身份的動作。然而，大量上傳相片的標註是耗時且耗力的任務。為了改良此情形，在最近幾年，半自動人臉標註已成為普遍做法。此技術需要來自使用者的互動及反饋以便判定相片中的給定查詢人臉的身份標記。雖然此等手動操作程序適用於人臉標註的目的，但仍需要使用者的大量時間。為了減少對手動操作的需要且藉此減少時間消耗，自動人臉標註方法的開發最近已成為主要研究領域。此技術自動地判定相片中的主體的身份。
為了識別個人相片中的人臉，核心人臉辨識(FR)引擎 可劃分為兩個主要系統：單FR分類器及多FR分類器。單FR分類器系統在不受控制的條件下，在人臉識別上容易失敗，而多FR分類器系統能夠藉由組合一組單分類器以取得優於單分類器系統的準確性，進而在不受控制的條件下實現實際應用。最近，使用協作性FR框架的人臉標註做法已經被提出。此做法利用OSN的三種特性(諸如，社群化、個人化以及分散性)以有效地選擇且合併一組個人化的FR分類器，所述一組個人化的FR分類器屬於與特定擁有者具有緊密關係的成員。然而，使用協作性FR框架的自動人臉標註系統過度耗時，此是因為當所選擇的FR分類器的數目增大至10至91的範圍時，執行時間顯著地增加。
因此，如何有效率地且準確地實現高可靠性的人臉標註 結果已成為研究者在OSN中的人臉標註技術的發展上，一個重要的主題。
本發明涉及一種新穎的協作性人臉辨識演算法，以藉此產生用於分享在線上社群網路的個人相片的高效率且高準確性的自動人臉標註系統。
在本發明的實施例中，一種人臉標註方法被提供，其適於供當前擁有者在線上社群網路(OSN)中標註連絡人。所述人臉標註方法包括：提供金字塔資料庫存取控制(PDAC)模組，所述PDAC模組由多個金字塔資料庫單元組成且執行第一批次存取控制程序及非第一批次存取控制程序，其中所述金字塔資料庫單元包含資料庫的多層且根據社群關係資訊而建構；提供經由多核心學習(MKL)分類器單元的使用而實施的所述當前擁有者的多核心學習人臉辨識(MKL-FR)模組，所述MKL-FR模組使用MKL演算法以實現人臉識別，其中所述MKL分類器單元是以在OSN中存取所述金字塔資料庫單元來訓練，並且包含離線學習程序及線上辨識程序；以及若所述MKL-FR模組不能夠識別查詢人臉(Query Face)，則提供多核心學習人臉辨識融合(FRF)模組以基於OSN的特性在協作性人臉辨識框架內藉由利用具有最高優先級規則的使用者來執行協作性人臉辨識策略。
在本發明的另一實施例中，一種人臉標註系統被提供，其供當前擁有者在線上社群網路(OSN)中標註連絡人。所述人臉標註系統包括：金字塔資料庫存取控制(PDAC)模組以及多核心學習人臉辨識(MKL-FR)模組。若所述MKL-FR模組不能夠 識別查詢人臉(Query Face)，則所述人臉標註系統更包含多核心學習人臉辨識融合(FRF)模組。所述PDAC模組由多個金字塔資料庫單元組成且執行第一批次存取控制程序及非第一批次存取控制程序，其中所述金字塔資料庫單元包含資料庫的多層且根據社群關係資訊而建構。經由MKL分類器單元的使用而實施的所述當前擁有者的所述MKL-FR模組使用MKL演算法以實現人臉識別，其中所述MKL分類器單元是以在OSN中存取的所述金字塔資料庫單元來訓練，並且包含離線學習程序及線上辨識程序。所述FRF模組基於OSN的特性在協作性人臉辨識框架內藉由利用具有最高優先級規則的使用者來執行協作性人臉辨識策略。
鑒於前述內容，所述人臉標註方法以及所述人臉標註系統是基於利用具有最高優先級規則的使用者的協作性人臉辨識策略且涉及三個模組：PDAC模組、MKL-FR模組以及FRF模組。 藉由有效地利用各種類型的社群網路情境來建構PDAC控制模組中的每一成員的個人化的金字塔資料庫單元，以顯著減少時間支出且進一步提高人臉識別的準確性。針對分散式OSN的每一成員而訓練個人化的MKL分類器單元且將其最佳化，所述個人化的MKL分類器單元利用多核心學習演算法以局部適應於每一成員，從而導致在MKL-FR模組中針對當前擁有者而產生高品質的人臉識別結果。為了實現高可靠性的人臉標註結果，在協作性框架內提出FRF模組以藉此經由時間-群組情境而有效率地選擇適當的個人化的MKL分類器單元。隨後，將個人化的MKL分類器單元 的多個結果有效地融合為分散式OSN中的一個高可靠性的人臉標註結果。
40‧‧‧當前擁有者
40-1~40-L‧‧‧連絡人
100‧‧‧人臉標註系統
210‧‧‧資料庫層DBrecurrence
220‧‧‧資料庫層DBtime
222‧‧‧資料庫層DBtime,g
230‧‧‧資料庫層DBgroup
240‧‧‧資料庫層DBbottom
1000‧‧‧線上社群網路
1100‧‧‧金字塔資料庫存取控制(PDAC)模組
1110‧‧‧金字塔資料庫單元
1110-1~1110-L‧‧‧金字塔資料庫單元
1200‧‧‧多核心學習人臉辨識(MKL-FR)模組
1220‧‧‧多核心學習(MKL)分類器單元
1230‧‧‧判定評分向量score owner
1300‧‧‧多核心學習人臉辨識融合(FRF)模組
1300-1~1300-K‧‧‧多核心學習(MKL)分類器單元
2100‧‧‧金字塔資料庫單元
2200‧‧‧第一批次存取控制程序
2300‧‧‧非第一批次存取控制程序
3100‧‧‧離線學習程序
3200‧‧‧線上辨識程序
4000‧‧‧線上社群網路
4410‧‧‧金字塔資料庫單元
4420‧‧‧多核心學習分類器單元
4430‧‧‧多核心學習分類器單元
S302、S304、S306、S308、S310、S312、S314、S316、S322、S324、S326、S328、S330、S332、S410、S420、S3142、S3144、S3146、S3148‧‧‧步驟
附圖包含於本文中以便於進一步理解本發明，且併入於本說明書中並構成本說明書的一部分。附圖說明本發明的實施例，並與描述一起用以解釋本發明的原理。
圖1為根據本發明的實施例所繪示的人臉標註系統的方塊圖。
圖2A為根據本發明的實施例所繪示的PDAC模組的一個個人化金字塔資料庫單元的示意圖。
圖2B為根據本發明的實施例所繪示的PDAC模組的第一批次存取控制程序以及非第一批次存取控制程序的示意流程圖。
圖3A至圖3C為根據本發明的實施例所繪示的用於人臉識別的MKL分類器單元的流程圖。
圖4A及圖4B為根據本發明的實施例所繪示的由FRF模組執行的兩個程序的方塊圖。
現將詳細地參考本發明的當前較佳實施例，所述較佳實施例的實例說明於附圖中。只要有可能，相同元件符號在圖式及描述中用來表示相同或相似部分。
為了在分散式線上社群網路(Online Social Network,OSN)上實施具有低時間支出要求的高準確性自動人臉標註系統，本實施例提供一種基於協作性人臉辨識演算法的新式人臉標註方法，且涉及三個模組：金字塔資料庫存取控制(Pyramid Database Access Control,PDAC)模組、多核心學習人臉辨識(Multiple-Kernel Learning Face Recognition,MKL-FR)模組以及多核心學習人臉辨識融合(Face Recognition Fusion,FRF)模組。
圖1為根據本發明的實施例所繪示的人臉標註系統100的方塊圖。參看圖1，OSN 1000中的協作性人臉辨識演算法是由PDAC模組1100、MKL-FR模組1200以及FRF模組1300實施。當前擁有者的協作性人臉辨識框架的建立涉及L+1個個人化的金字塔資料庫單元1110-1至1110-L以及對應的L+1個多核心學習(MKL)分類器單元(未圖示)。換言之，當前擁有者具有一個個人化的金字塔資料庫單元1110及其對應的MKL分類器單元1220，而L個不同的金字塔資料庫單元及其對應的L個MKL分類器單元屬於當前擁有者的不同的L個連絡人。本文中，在協作性人臉辨識框架內，L+1個不同的個人化金字塔資料庫單元1110-1至1110-L以及對應的L+1個MKL分類器單元可以被分享於OSN上。
具體言之，PDAC模組1100由分散式金字塔資料庫單元以及兩個程序組成，所述兩個程序包含第一批次存取控制程序及非第一批次存取控制程序。本文中，基於具有高情境相依性的社 群關係，PDAC模組1100對每一成員形成多層金字塔資料庫架構，而其是藉由採用各種類型的社群網路情境(Social Network Context)來實現的。所述社群網路情境包含屬於每一成員的時間情境(Temporal Context)、群組情境(Group Context)、重現情境(Recurrence Context)以及時間-群組情境(Temporal-Group Context)。此外，PDAC模組1100有助於MKL-FR模組1200中的MKL分類器單元1220，以有效率地匹配有較高機率準確的較少的身份。因此，MKL-FR模組1200的應用可實質上減少所需的時間，且提高人臉識別的準確性。
MKL-FR模組1200使用兩個程序(即，離線學習程序及線上辨識程序)以獲取具有最佳準確性的人臉識別結果。經由此兩個程序的利用，基於多核心學習演算法的有效人臉識別結果可藉由一組最佳核心權重的動態判定以及後續局部地適應於當前擁有者的多個不同核心函數的組合而取得。
FRF模組1300被配置以提高人臉標註的準確性。本文中，FRF模組1300藉由時間-群組情境的利用來選擇適當的MKL分類器單元1300-1至1300-K。接著，FRF模組1300藉由利用最高優先級的使用者而熟練地融合多個人臉識別的結果，且因此在分散式OSN中產生高可靠性結果。
下文描述PDAC模組1100、MKL-FR模組1200以及FRF模組1300的細節。
A.金字塔資料庫存取控制模組
(1)金字塔資料庫單元：圖2A為根據本發明的實施例所繪示的PDAC模組1100的一個個人化金字塔資料庫單元的示意圖。參看圖2A，藉由使用具有高相依性特性的社群關係，個人化的金字塔資料庫單元2100經建構以主要經由四個不同類型的社群網路情境資訊來實現有效率的身份匹配，所述四個不同類型的社群網路情境資訊包含重現情境、時間情境、群組情境以及時間-群組情境(參見表I)。
為了建構個人化的金字塔資料庫單元2100，需要兩個步驟：正規化的聯繫評分的評估以及適當身份的選擇。此金字塔資料庫單元2100含有資料庫的四層：基於重現情境的第一層DBrecurrence 210、基於時間情境或時間-群組情境的第二層(DBtime 220 ∪ DBtime,g 222)、基於群組情境的第三層DBgroup 230以及含有包含當前擁有者的L+1個成員的集合的所有人臉影像的第四層DBbottom 240。
令PDU={Ω l -lyer }4-- l =1 為個人化的金字塔資料庫2100的身份標記集合，且一組四位字節(quartet)可表示為{Ωl-lyer }4-- l =1 ={Ωrecurrence, (Ωtime ∪ Ωtime,g ),Ωgroup ,Ωbottom }，且{Ω l -lyer }4-- l =1 分別表示DBrecurrence 210、(DBtime 220 ∪ DBtime,g 222)、DBgroup 230以及DBbottom 240的身份標記子集的組成。令為由NQ 個未標記的人臉影像構成的查詢集合，所述NQ 個未標記的人臉影像是自當前擁有者所上傳的個人相片的集合提取的，其中FIq,p 表示具有由如圖1所示的人臉偵測演算法估計的特定姿勢索引p 的第q 人臉影像，且P={P1 ...PNP }表示包含NP 個多姿勢索引的姿勢集 合。
在整個身份標記集合PDU中，可如下文所示而建立每一身份標記子集。藉由利用重現情境而建構的身份標記子集Ωrecurrence 。當一人在查詢集合Q中出現時，有極高的可能性可預期同一人將在同一查詢集合Q內重現。因此，Ωrecurrence 設定為PDU中具有最高優先級分派的身份標記子集。此外，在PDAC模組1100中的每一程序後，身份標記子集Ωrecurrence 藉由從人臉識別獲得的正確結果而連續地被更新。
藉由使用自當前擁有者的社群存取的連絡人清單，身份標記子集Ωbottom ={l onwer ,l l , ...,l L }={Ωg }G g=1 含有當前擁有者及其L個連絡人，此後，藉由使用擁有者的群組清單，DBbottom 240可分組為G個群組以支援資料庫的其他層的後續建構。本文中，為了提高人臉識別的效率，DBbottom 240被定義為整個身份標記集合PDU中具有最低優先級分派的身份標記子集。
可在第一批次存取控制程序後獲取特定群組(g=g1,g2...gk)，從而自Ωbottom 產生身份標記子集Ωgroup ={Ωg }gk g=g1 ，身份標記子集Ωgroup ={Ωg }gk g=g1 基於群組情境且包含對應於此等特定群組的身份。
為了建構身份標記子集Ωtime 及Ωtime,g ，適當身份的選擇是關鍵的，並且是基於自當前擁有者的個人合集所獲得的時間情境及時間群組情境的存在。為了選擇適當身份來建構Ωtime 及Ωtime,g ，對近期時段內所有成員{l l , ...,l L }與當前擁有者l onwer 之間 的社群關係的強度進行量化，所述強度藉由正規化的聯繫評分評估而預先定義為聯繫強度(參見下文方程式(1))。本文中，含有在當前擁有者的OSN社群中被存取的NA 張個人相片的所有相片合集被表示為A，且含有NAowner 張個人相片的當前擁有者的相片合集表示為Aowner A。
對於第一步驟，在每一OSN成員{l n }L n=1 與當前擁有者l onwer 之間的近期社群關係的強度被評估，且聯繫評分(CSn )被正規化如下： 其中聯繫評分，Cmax 及Cmin 表示所有聯繫評分Cn (n=1,...,L)中的最大值及最小值。如上所述，E(l n ,l onwer |△t)反映在近期時段△t間，人之間的聯繫強度，且藉由併有如下所表達的兩個主要考慮事項來評估：
為了獲得E(l n ,l onwer |△t)，藉由以下考慮事項來估計單向聯繫函數φ1 及雙向聯繫函數φ2 。首先，單向聯繫函數φ1 估計每一連絡人{l n }L n=1 在當前擁有者l onwer 的NAowner|△t 張近期個人相片中出現的似然性的分佈。第二，雙向聯繫函數φ2 估計每一連絡人{l n }L n=1 及當前擁有者l onwer 在整個OSN中的NA|△t 張近期個人相片中共同出現的似然性的分佈。單向聯繫函數φ1 及雙向聯繫函數φ2 表示為以下形式： 方程式(3)
其中IND1 為單一指示符函數，其在第n 連絡人的身份l n 標記於個人相片photo(Aowner |△t)中時回傳1，否則，回傳0；IND2 為成對指示符函數，其在當前擁有者l owner 與第n 連絡人的身份l n 皆標記於個人相片photo(A|△t)中時回傳1，否則，回傳0；△t表示在近期時段在OSN上張貼相片(photo)時的時間；δ1 (0δ1 1)為似然性的分佈調整的參數；最終，δ1 及1-δ1 分別反映出現及共同出現的重要性。
在PDAC模組1100的第二步驟中，當較大規模的特定身份子集的所有身份已經根據所有身份的正規化的聯繫評分而被排序時，藉由採用與時間性相關聯的社群網路情境類型(諸如，時間情境及時間-群組情境)，在所提出的最佳閥值的基礎上，從所述較大規模的特定身份子集中，適當數量的被選擇身份被決定以產生在Ωtime 及Ωtime,g 中較小規模的身分子集。當適當的身份的正規化的聯繫評分高於最佳臨限值ThCS (參見下文方程式(5))時，適當的身份具體地選自較大規模的特定身份子集且被轉遞至較小規模的特定身份子集。因此，所選擇的身份被視為在社群關係中具有最強聯繫的連絡人。
先前最佳聯繫評分CSpred △t-1 以及當前平均聯繫評分 CSmean △t 與最佳臨限值ThCS 整合，而最佳臨限值ThCS 是如下計算的： 其中參數δ2 (0δ2 1)以經驗進行調整以對先前最佳聯繫評分CSpred △t-1 具有重要影響，其是根據自過去的社群網路情境所更新的先前統計來預測的。此外，先前最佳聯繫評分CSpred △t-1 是在先前時段△t-1期間，自相關於時間性的社群網路情境導出的歷史統計所預測的，且是如下而獲得的： 其中可藉由在先前時段△t-1期間，自相關於時間性的社群網路情境導出的歷史統計來給出實際最佳臨限值CSpred △t-1 ，且變異數比被定義為近期時段t與先前時段△t-1之 間的所有正規化的聯繫評分的中值評分的變異數的比。另一方 面，表示在較大規模的特定身份標記子集(諸 如，Ωgroup 及Ωbottom )中的所有正規化的聯繫評分的平均值；CSmean △t 反映總體正規化的聯繫評分的當前趨勢；NI|△t 表示在近期時段△t期間較大規模的特定身份標記子集中的身份的總數。
因為通常在特定群組中僅一小組成員與擁有者穩定地互動，所以極其可能的是，相對於同一群組中的其他成員，此等相同成員在所述擁有者在近期時段擁有的個人相片中出現。因此， 相比於單獨使用群組情境，時間-群組情境可用於較可靠地判定在單組相片內出現的機率。出於此原因，此等身份標記子集Ωtime,g 及Ωgroup 的優先級分派以降序被判定為第2及第3，並與查詢集合Q內身份出現的機率而試圖產生有效的金字塔資料庫單元。
(2)第一批次存取控制程序：圖2B為根據本發明的實施例所繪示的PDAC模組1100的第一批次存取控制程序以及非第一批次存取控制程序的示意流程圖。參看圖2A及圖2B，含有第一批次查詢人臉影像的第一批次存取控制程序2200致使隨後的MKL分類器單元1220能夠按照以下優先級次序(DBtime 220及DBbottom 240)來存取所建構的金字塔資料庫單元2100的特定層。
更具體言之，首先存取屬於身份標記子集Ωtime 的所有人臉影像的匹配集合R且將其轉遞至當前擁有者的MKL分類器單元1220以進行人臉識別。在傳回人臉識別的結果後，評分向量score owner 將被決定(在圖1及圖2B中表示為1230)。若評分向量score owner 超過對應於所辨識的分類class *的某一閥值Th class * ，則存取控制ACfirst 以1來標記，其指示對應查詢人臉影像的身份需要被標註為正確地經辨識。否則，存取控制ACfirst 以0來標記，其指示第一批次存取控制程序2200必須向當前擁有者的MKL分類器單元1220提供已建構的下一層身份標記子集(即，Ωbottom )的人臉影像的匹配集合R以再次辨識查詢人臉。本文中，閥值Th class * 為屬於某一已辨識身份的閥值，其中對應於唯一身份的每一閥值 值是由經學習的分類器所計算。此是經由屬於唯一身分的每一決策邊界來實現，而且是基於由學習集合進行的誤分類。然而，若身份標記子集Ωbottom 已由此程序存取，且存取控制ACfirst 仍以0來標記，則經誤分類的查詢人臉影像被定義為未經辨識。在完成人臉標註處理程序後，已標註的查詢子集Q’1 及其對應的身份標記子集被同時提交給DBrecurrence 210且獲取映射至此等身份的特定群組(g=g1,g2,...,gk)。因此，經由第一批次存取控制程序2200，而特定資料庫層，即，DBrecurrence 210、DBtime,g 222及DBgroup 230被實現。
(3)非第一批次存取控制程序：第一批次存取控制程序2200在PDAC模組1100的開始被執行後，完全產生個人化的金字塔資料庫單元2100。為了使隨後的MKL-FR模組1200能夠著重於以有較高機率準確的相對較少的身份來有效率地識別查詢人臉，非第一批次存取控制程序2300被配置以支援個人化的金字塔資料庫單元2100。
當由未標記的人臉影像的剩餘部分所構成的剩餘查詢子集Q’2 被決定時，非第一批次存取控制程序2300允許隨後的MKL分類器單元1220按照以下優先級次序(即DBtime 220、DBtime,g 222、DBgroup 230及DBbottom 240)來存取整個金字塔資料庫單元2100的特定層。
接著，類似於第一批次存取控制程序2200而執行非第一批次存取控制程序2300以提供匹配集合R且將其轉遞至當前擁有
者的MKL分類器單元1220。當所辨識的分類class *被回傳時，對應的存取控制ACnon-first 以1來標記，進而表示所獲取的查詢身份標記為正確結果；否則，對應存取控制ACnon-first 仍以0來標記。在已存取DBrecurrence 210、DBtime,g 222及DBgroup 230後，被提供的匹配集合R劣化為最大資料庫至DBbottom 240，其需要大部分時間來實現人臉識別。下文說明MKL-FR模組1200的細節。
B.擁有者的MKL人臉辨識模組
參看圖1，在自PDAC模組1100存取特定資料庫層後，特定資料庫層可有助於具有高相依性的有效身份匹配，以進一步提高隨後的MKL-FR模組1200的人臉識別準確性。MKL-FR模組1200經由利用多核心學習(MKL)演算法的個人化MKL分類器單元1220的使用而被實施，藉以實現高品質的人臉識別。MKL演算法為本領域技術者所熟知，故本文中不進一步地進行解釋。
考量到擁有者，為了實現準確的人臉識別結果，以在分散式OSN中被存取的個人化資料庫來訓練個人化的MKL分類器單元1220。換言之，可藉由找到一組多個最佳權重以藉此組合適當的核心函數與適當的核心參數以局部適應於當前擁有者來獲得個人化的MKL分類器單元1220。圖3A至圖3C為根據本發明的實施例所繪示的用於人臉識別的MKL分類器單元的流程圖。參看圖3A、圖3B及圖3C，兩個程序，包含離線學習程序3100及線上辨識程序3200被提供。
離線學習程序：
參看圖1及圖3A，為了獲取由支援向量機(SVM)所支援的個人化MKL分類器單元1220，具有以屬於當前擁有者的社群網路情境為基礎而自個人相片合集提取的經標記人臉影像的離線學習程序3100被採用(步驟S302)。藉此，經由多核心學習演算法來判定可適應於特定擁有者的基本核心的一組最佳權重。因此，可藉由各種基礎核心與自此離線學習程序獲得的對應的個人化最佳權重的線性組合來訓練SVM式的個人化分類器且將其最佳化。
給定屬於特定姿勢p 的NS 個所標記的人臉影像的學習集合S，藉由利用以OSN的三個特性為基礎的擁有者特定社群網路情境而在含有來自相片合集的經標記的人臉影像集合F={FIf,p |p的第四層資料庫DBbottom 240中存取對應身份標記。FIf,p 表示第f 個經標記的人臉影像，帶有利用人臉偵測演算法所估計的特定姿勢索引pP。人臉偵測演算法為本技術領域者所熟知，故本文中不進一步地進行解釋。可如下表示學習集合S： 其中表示含有具有特定姿勢p 的NS 個人臉影像的學習影像集合，其可用於學習特定姿勢p 的個人化MKL分類器1220，且={l onwer ,l l ,...,l L }為對應的NS 個身份標記。
在學習程序之前，人臉特徵提取對完成人臉識別任務中扮演重要的腳色。主分量分析(Principle Component Analysis,PCA) 在圖案辨識及人臉分類中的維度縮減(dimensionality reduction)上是極其有效且成功的技術。因此，在步驟S304中，PCA直接用於自整個學習影像集合X上的所有經標記的人臉影像提取被表示為由NS 個原始特徵向量構成的特徵矩陣VX =[vx1...vxNs ]的整體人臉特徵，所述學習影像集合X旨在獲取經縮減的特徵向量維度的同時，針對隨後的學習程序而保留人臉影像的原始視覺資訊。
接著，參看圖3B，離線學習程序3100包括以下處理程序：(1)基礎核心的權重的初始化：標準SVM能夠藉由使用單一核心以測量實例之間的相似性來訓練分類器。由於OSN中個人的差異，帶有具適應性且個人化的多核心的SVM式分類器被提供以產生高可靠性的個人化MKL分類器。
首先，產生各種基礎核心{Km }M m=1 (步驟S306)以有助於隨後的多核心計算(步驟S310)，所述多核心計算反覆地組合各種基礎核心{Km }M m=1 與適應於個人的經學習的權重{dm t }M m=1 。在學習程序的開始，所有M個基礎核心的初始權重dt=0 ={dm t=0 }M m=1 是均一的，且如下所定義(步驟S308)： 其中M為取決於核心函數類型的數目、核心參數以及原始特徵向量的維度的基礎核心的總數。在MKL分類器單元中，引入SVM 以藉由採用特徵圖φ而將dimvx 空間中的原始特徵向量投影到較高維度的特徵空間中，此後，將核心函數定義為使用成對式內積及核心函數的兩個任意實例x、x’之間的相似性的量度，所述量度可表達為以下形式：
為了實現有效的分類效能，兩個常用且公認類型的核心函數被用於透過一對任意實例x、x’(如下所示)來準確地反映利用點積的相似性值：具有參數σ的高斯RBF核心函數：
具有參數s的多項式核心函數：ker (x,x' )=(x T x' +σ ) s 其中σ為常數，s R 方程式(11)
特定言之，可如下表示一組多基礎核心{Km }M m=1 中的一者： 其中，可使用方程式(10)及(11)來獲得每一基礎核心的每一分量km (i,j)=ker(vxl ,vxj )。應注意，每一基礎核心Km的維度依賴於自學習影像集合X提取的原始特徵向量的總數。
(2)多核心計算：在步驟S310中，使用針對特定擁有者而個人化以藉此在OSN中應用於不同個人的高品質人臉識別的MKL分類器單元。可 藉由自擁有者的個人化資料庫學習個人化的多核心K來取得個人化的MKL分類器單元。在每一輪t執行以下處理程序。接著，將多核心K定義為一組多個基礎核心{Km }M m=1 以及與基礎核心對應的多個權重{dm t }M m=1 的線性組合，其可如下而按照經加權的形式來組合： 其中Km 表示第m 基礎核心，dm t 表示對應的第m 非負數權重，且所有非負數權重dm t 的總和在每一輪中被限制為1。
在以擁有者的個人化分散式資料庫為特徵的此學習程序中，所指派的第m 基礎核心的每一權重dm t 在對應的基礎核心Km 實現較好的分類效能時較高。因此，個人化的多核心K可向隨後的SVM式分類器提供基礎核心的最好組合，且進而產生用於高品質人臉識別的最佳SVM式分類器給分散式OSN中的當前擁有者。
(3)使用多核心進行學習的SVM式分類器：在步驟S312中，SVM式分類器基於OSN的個人化特性而進行學習且最佳化以提高人臉識別的準確性。因此，在計算多核心後，在每一輪t ，個人化的多核心K用於進一步使SVM式分類器的準確性最佳化，且產生用於局部適應於當前擁有者的個人化MKL分類器單元。
更具體言之，用於個人化MKL分類器單元的SVM式分類器能夠以最大的分隔區域(margin of separation)在較高維度的 特徵空間中找到最佳的分離超平面，同時藉由不同的個人化多核心K的最佳化來使誤分類誤差最小化，且隨後產生具有高分類效能的對應的最佳MKL決策函數。
以此方式，藉由以下最佳化公式化來解決可影響個人化的SVM式決策的MKL主要問題：
從屬於
其中參數{wm }、b、ξ得以最佳化，而dm t 為固定的；wm 及dm t 分別為第m 最佳部分決策函數的參數向量以及與第m 基礎核心相關聯的權重；b為最佳決策函數的偏項；非負數鬆弛變數ξi 經引入以解決每一原始特徵向量的誤分類誤差；yi 為對應的身份標記；最終，SVM式分類器的一般化由超參數C控制，超參數C必須為取決於當前擁有者的個人化的金字塔資料庫的固定常數。簡言之，較大數值的超參數C將導致較高的誤分類誤差的錯分懲罰。應注意，所有經學習的NS個所標記的人臉影像是源自於分散式OSN中的個人化資料庫。
(4)對個人化MKL分類器的目標函數最佳化：在步驟S314中，對適應於當前擁有者的多核心K的最佳 化，所提議的個人化MKL分類器單元著重於藉由在反覆學習處理程序內使目標函數J(dt )最小化來判定基礎核心的所述一組最佳權重{dm t }M m=1 。
本文中，由以下四個主要步驟S3142至S3148中完成基礎核心的每一權重的後續更新。在步驟S3142及步驟S3144中，如下以相關的{dm t }M m=1 來計算J(dt )的梯度[▽J]m 及既約梯度[▽Jred ]m ：
其中μ=arg max dm t .
目標函數最佳化處理程序在每一輪t重複以下步驟，直至遭遇收斂困難為止，此時，目標值停止減小。
在步驟S3146中，關於{dm t }M m=1 而計算下降方向Dt ={Dm t }M m=1 以更新基礎核心的所有權重{dm t }M m=1 ，其中
本文中，在同一基礎核心的權重為零且[▽Jred ]m >0時，特定基礎核心中的下降方向設定為零。類似地，在對應基礎核心的權重在所有權重中最大時，特定基礎核心中的下降方向設定為
最終步驟S3148涉及沿著下降方向Dt ={Dm t }M m=1 搜尋最佳步長γt ，以藉此充分使目標函數最小化，其可藉由相關的Dm t 來使最小化而計算如下： 其中γt 沿著下降方向(其小於零)而搜尋，以便促進特定基礎核心的權重更新為零以對應於具有負下降方向的最大既約梯度。
(5)更新基礎核心的權重：一旦處理了目標函數最佳化，便如步驟S316所示，在下一輪t=t+1更新基礎核心的權重dt+1 ={dm t+1 }M m=1 的對應集合，以使得權重更新方案表達如下：
接著將經更新的基礎核心的權重dt+1 ={dm t+1 }M m=1 的集合轉遞至多核心計算(在步驟S310中)，其可再次組合多個基礎核心與經更新的權重。
(6)多核心學習的終止：當符合停止準則時，終止學習程序以便確保整體收斂。類似地，若尚未符合預定義的停止準則，則在初始輪間，參照於{dm t }M m=1 來重新計算J(dt )的梯度及既約梯度。在終止學習處理程序後，經由學習及{dm t }M m=1 的個人化集合，而完成強MKL分類器。
線上學習程序： MKL-FR模組的線上辨識程序3200的流程圖可見於圖3C中。如步驟S322所示，為了實現快速且準確的人臉識別，具有查詢集合Q的線上辨識程序3200被使用，其中查詢集合Q是從當前擁有者所上傳的個人相片的集合提取。在所提出的個人化MKL分類器單元的此程序中，基於當前擁有者的社群網路情境而從個人化金字塔資料庫單元識別查詢集合。
在步驟S324中，線上辨識程序的人臉特徵提取處理程序與離線學習程序的人臉特徵提取處理程序相同。PCA用於獨立地自來自當前擁有者的個人化金字塔資料庫單元的特定層的所有人臉影像的查詢集合Q及匹配集合R提取NQ 個及NR 個原始人臉特徵向量。
此等特徵向量獨立地表示為特徵矩陣VQ =[vq1 ...vqNQ ]及VR =[vx1 ...vxNR ]。
在特徵提取被處裡後，將特徵矩陣VQ 及VR 同時提交給擁有者的強MKL分類器。擁有者的強MKL分類器中的辨識程序包括以下處理程序：(1)基礎核心計算：在步驟S326中，針對辨識程序，一組多個基礎核心{Km }M m=1 中的一者如下。
其中可藉由一對NQ 個查詢特徵向量vqi VQ 與NR’ 個特定匹配特徵向量vxj VR 之間的點積來取得第m 基礎核心的每一分量 km (I,j)=ker(vqi ,vxj )，其中NQ 個查詢特徵向量vqi VQ 及NR’ 個特定匹配特徵向量vxj VR 全部為匹配集合R中的支援向量，並且αj >0且NR’ NR 。亦即，辨識程序中的每一基礎核心Km 的維度依賴於查詢集合Q中的所有人臉影像及匹配集合R中的特定人臉影像的數目，以便實現有效識別。
(2)多核心計算：在步驟S328中，多核心計算經由使用方程式(13)自所獲得的一組多個基礎核心學習的各種基礎核心{Km }M m=1 與基礎核心的個人化的權重{Dm }M m=1 的最佳集合的線性組合來判定最佳相似性量度。為了增強可有助於有效率的身份匹配的個人化的金字塔資料庫單元的效用，藉由所計算的多核心K來計算查詢集合中的全部成對的人臉影像之間的相似性。此值是基於內容資訊且可進一步解譯為每一查詢人臉影像的第一次出現的機率。當對應相似性高時，高相依性查詢人臉的識別可受益於非第一批次存取控制程序2300所提供的資料庫的特定層。另外，剩餘的查詢人臉可被視為在查詢集合中的第一次出現，且可因此藉由使用第一批次存取控制程序2200所提供的所有身份來識別。此導致隨後的處理程序的加速，且提高人臉識別的準確性。
(3)使用多核心的SVM式人臉識別：在識別程序的最終處理程序中，如步驟S330所示，經由當前擁有者H owner 的MKL分類器單元自具有類似姿勢索引p的匹配集合R識別具有特定姿勢索引p的給定查詢子集Q’Q。因 此，產生由NQ’ 個所辨識的類組成的所辨識的分類向量class owner* =[classq,owner *]T 1xNQ’ 以及對應的評分向量score owner =[scoreq,owner ]T 1xNQ’ ，兩者可分別如下而獲得：
其中dfclass 表示對應於特定分類的MKL決策函數。
最終，identity owner =[identityq,owner ]T 1xNQ’ 表示查詢子集Q’的經回傳的身份向量且其可表示如下：identity owner =(H owner (Q ,R' ))=I (class owner *)方程式(26)
應注意I(．)表示在針對查詢子集Q’而獲取所辨識的分類向量class owner *時傳回一組身份標記的身份函數。上標T表示向量的轉置。
如步驟S332所示，由當前擁有者的個人化MKL分類器單元獲得人臉識別結果後，人臉識別結果將連接至PDAC模組1100以判定所給定的查詢人臉的身份標記是否正確。此可藉由存取控制來實現，其利用屬於某一經識別的身份的閥值。
藉由多核心學習演算法來產生有效率且有效的個人化MKL分類器，所述多核心學習演算法藉由動態地判定基礎核心的一組最佳權重來使適應於當前擁有者的多核心最佳化。此可經由OSN的個人化特性藉由使用擁有者的個人相片合集來實現。此外，SVM式分類器藉由利用適應性且個人化的多核心且藉此促進 人臉標註效能而自OSN中的大量現實生活人臉影像找到適用於人臉識別的影像。
C. MKL人臉辨識融合模組
參看圖1，FRF模組1300經設計以基於OSN的分散特性在協作性人臉辨識框架內藉由利用顯現最高優先級規則的使用者來執行協作性人臉辨識策略以實現高準確性的自動人臉標註系統。
由於協作性人臉辨識策略使用具有最高優先級的擁有者的事實，擁有者的MKL-FR模組1200首先應用於基於OSN的個人化及社群化的人臉辨識。若擁有者的MKL-FR模組1200無法識別查詢人臉，則利用FRF模組1300。換言之，當前擁有者的個人化MKL分類器單元可首先被採用以判定給定查詢人臉的身份標記，且FRF模組1300經設置以在查詢人臉無法由當前擁有者的個人化MKL分類器單元正確辨識時識別查詢人臉。在FRF模組1300中，屬於高度關聯於當前擁有者的特定成員，經選擇且適當的個人化MKL分類器單元被用於識別誤分類的個人。此等誤分類的個人不太可能與擁有者有社群聯繫，但與高度關聯於擁有者的特定成員之間極有可能具有社群聯繫。
圖4A及圖4B為根據本發明的實施例所繪示的由FRF模組執行的兩個程序的方塊圖。參看圖4A及圖4B，在當前擁有者的協作性人臉識別框架中，每一成員(例如，連絡人40-1至40-L)具有在分散式OSN 4000上共用的一個個人化的MKL分類器單元 4420及一個個人化的金字塔資料庫單元4410。本文中，FRF模組1300可劃分為兩個主要程序：適當的多個MKL分類器的選擇，以及多個人臉識別結果的融合。下文描述兩個主要程序的細節。
(1)適當的多個MKL分類器的選擇
參看圖4A及圖4B，所提出的FRF模組1300的第一程序涉及一組適當的K個個人化MKL分類器單元4430的選擇，如步驟S410所示。此藉由使用來自當前擁有者40的個人合集的時間-群組情境，經由個人化的金字塔資料庫4410中的所建構的資料庫DBtime,g 的特定層來實現。
換言之，自屬於能夠在協作性人臉辨識框架內正確地識別特定查詢人臉影像的當前擁有者40的所有連絡人40-1至40-L的L個不同的個人化MKL分類器單元4420選擇此等適當的K個個人化的MKL分類器單元4430。
假設Q’unrec 表示含有被定義為未經辨識的人臉的NQ’unrec 個特定查詢人臉影像的未經辨識的查詢子集。為了避免在具有大量身份之下識別特定的NQ’unrec 個查詢人臉，總計K個個人化MKL分類器單元內的每一個經選擇的個人化MKL分類器單元4430同時且獨立地被指派以自對應的個人化金字塔資料庫單元存取經建構的資料庫DBtime 的特定層作為每一數學集合{Rk }K k=1 ，以藉此顯著減少有效率的協作性人臉辨識所需的時間。因此，允許所選擇的K個個人化MKL分類器單元4430中的每一者在FRF模組1300的第一程序期間回傳一組人臉識別結果。
(2)多個人臉識別結果的融合
參看圖4B，在選擇適當的個人化MKL分類器單元4430後，所提出的融合解決方案用於熟練地合併經回傳的所選擇的K個人臉辨識結果，且進而在分散式OSN中提高人臉標註準確性，如步驟S420所示。包含所辨識的分類向量classk *=[classq,k *]T 1xNQ’unrec 及評分向量score k =[score q,k *]T 1xNQ’unrec 的每一人臉識別結果是由對應的所選擇的個人化MKL分類器單元在FRF模組1300的第一程序期間產生且傳回。一組K個評分向量{score k }K k=1 被轉換為一組對應的基於信賴度的權重向量；表示為權重向量，而前述權重向量是基於時間群組情境，藉由利用自第k 個極有聯繫的成員的個人化MKL分類器單元H k 所獲得的評分向量score k =[score q ,k ]T 1xNQ’unrec 而轉換的權重向量；最終，每一分量代表在本發明的協作性人臉辨識框架內，經由特定的個人化MKL分類器單元H k (k=1,...,K)而獲得的未經辨識的查詢子集Q’unrec 中的第q 查詢人臉影像的人臉識別結果的信賴度級別。隨後，相關於對應的score q ,k 的每一權重分量可定義如下： 其中CSk 表示方程式(1)中所述的正規化聯繫評分，其屬於自身份標記子集Ωtime,g 存取的第k 成員；δ3 (031)為反映關於正確分類的機率的社群聯繫的重要性的常數。藉由利用如下所示的加法正規化方法變換來自特定的個人化MKL分類器單元H k (k=1,...,K)的未經辨識的查詢子集Q’unrec 中的第q 查詢人臉影像的正確識別的機率。
其中與T(FIq,p )表示具有特定姿勢p的第q 查詢人臉影像的 身份。
最終，藉由使用一組基於信賴度的權重向量來整合所有K個人臉識別結果。可接著藉由判定融合評分的最大值來獲得熟練融合的所辨識分類classFusion *=[classFusion *]T 1xNQ’unrec ，其表達如下：
為了對查詢人臉影像執行人臉標註，可根據對應的所辨識分類向量class Fusion *=[class Fusion *]T 1xNQ’unrec 回傳熟練融合的身份向量identity Fusion =[identity Fusion *]T 1xNQ’unrec 。其可如下來表達：
應注意I(．)表示在針對查詢子集Q’unrec 而獲取所辨識分類向量class Fusion *時，回傳一組身份標記的身份函數。
總體而言，根據本發明的實施例中所提供的人臉標註方法以及自動人臉標註系統，用於協作性框架內的人臉標註方法利用OSN特性、社群網路情境以及多核心學習演算法，且涉及三個 主要模組：PDAC模組、MKL-FR模組以及FRF模組，其中FRF模組基於當前擁有者的最高優先級規則而使用協作性人臉辨識策略。首先，PDAC模組中的每一成員獨特的多層金字塔資料庫架構，藉由著重於具有高情境相依性的較少數目的身份來促進查詢人臉的高效率識別，而有益於隨後的MKL-FR模組。此是經由採用各種類型的社群網路情境來判定的，而所述社群網路情境包含與分散式OSN的每一成員相關聯的時間情境、群組情境、重現情境以及時間-群組情境。因此，其應用可顯著減少時間消耗且進一步顯著地提高後續人臉識別的準確性。接著，為了實現具有最佳準確性的人臉識別，MKL-FR模組利用多核心學習演算法以藉此藉由各種基礎核心與個人化權重的最佳集合的線性組合來訓練用於局部適應於當前擁有者的個人化MKL分類器單元且使其最佳化。最終，藉由利用具有最高優先級規則的使用者來提出FRF模組以藉此藉由時間-群組情境的利用來有效率地選擇適當的個人化MKL分類器單元。個人化MKL分類器單元的多個結果接著在分散式OSN的本發明的協作性框架內被融合且用於實現高可靠性的人臉標註。
雖然已參考上述實施例而描述了本發明，但熟習此項技術者將顯而易見的是，可進行對所描述的實施例的修改，而不偏離本發明的精神。因此，本發明的範疇將由隨附申請專利範圍界定，而不是由上述實施方式界定。
100‧‧‧人臉標註系統
1000‧‧‧線上社群網路
1100‧‧‧金字塔資料庫存取控制(PDAC)模組
1110‧‧‧金字塔資料庫單元
1110-1~1110-L‧‧‧金字塔資料庫單元
1200‧‧‧多核心學習人臉辨識(MKL-FR)模組
1220‧‧‧多核心學習(MKL)分類器單元
1230‧‧‧判定評分向量score owner
1300‧‧‧多核心學習人臉辨識融合(FRF)模組
1300-1~1300-K‧‧‧多核心學習(MKL)分類器單元

Claims (26)

  1. 一種人臉標註方法，其用於供當前擁有者在線上社群網路(OSN)中標註連絡人，所述人臉標註方法包括：提供金字塔資料庫存取控制(PDAC)模組，所述PDAC模組由多個金字塔資料庫單元組成且執行第一批次存取控制程序及非第一批次存取控制程序，其中所述金字塔資料庫單元包含資料庫的多層且根據社群關係資訊而建構；提供經由多核心學習(MKL)分類器單元的使用而實施的所述當前擁有者的多核心學習人臉辨識(MKL-FR)模組，其中所述MKL-FR模組使用MKL演算法以實現人臉識別，所述MKL分類器單元是以在所述OSN中存取的所述金字塔資料庫單元來訓練，並且包含離線學習程序及線上辨識程序；以及若所述MKL-FR模組不能夠識別查詢人臉(Query Face)，則提供多核心學習人臉辨識融合(FRF)模組以基於所述OSN的特性，在協作性人臉辨識框架內藉由利用具有最高優先級規則的使用者來執行協作性人臉辨識策略。
  2. 如申請專利範圍第1項所述的人臉標註方法，其中所述社群關係資訊包含多種類型的社群網路情境資訊，所述社群網路情境資訊包含重現情境、時間情境、群組情境以及時間-群組情境。
  3. 如申請專利範圍第2項所述的人臉標註方法，其中所述金字塔資料庫單元包含資料庫的四層，其中第一層是基於所述重現情境，第二層是是基於所述時間情境或所述時間-群組情境，第 三層是基於所述群組情境，且第四層含有所述連絡人及所述當前擁有者的所有人臉影像。
  4. 如申請專利範圍第1項所述的人臉標註方法，其中建構所述金字塔資料庫單元的步驟包括：評估每一所述連絡人與所述當前擁有者之間的近期社群關係的強度，且對聯繫評分進行正規化，其中所述聯繫評分藉由反映所述連絡人之間在近期時段內的所述聯繫強度的方程式來計算，且藉由合併兩個主要考慮事項來進行評估，所述兩個主要考慮事項包含單向聯繫函數及雙向聯繫函數，其中所述單向聯繫函數估計每一所述連絡人在所述當前擁有者的近期個人相片中出現的似然性分佈，且所述雙向聯繫函數估計每一所述連絡人及所述當前擁有者在整個所述OSN中的所述近期個人相片中共同出現的似然性分佈。
  5. 如申請專利範圍第4項所述的人臉標註方法，其中所述建構所述金字塔資料庫單元的步驟更包括：當較大規模的特定身份子集中的所有身份已經依據所述正規化的聯繫評分而被排序時，藉由採用與時間情境及時間-群組情境相關聯的社群網路情境類型，在最佳閥值的基礎上，從所述較大規模的特定身份子集中，適當數量的被選擇的所述身分被決定以產生較小規模的身分子集。
  6. 如申請專利範圍第1項所述的人臉標註方法，其中所述 第一批次存取控制程序包含致能所述MKL分類器單元以基於所述社群關係資訊而按照優先級次序存取所述金字塔資料庫單元的特定層。
  7. 如申請專利範圍第1項所述的人臉標註方法，其中所述第一批次存取控制程序更包含：首先存取屬於身份標記子集的所有人臉影像的匹配集合且將其轉遞至所述當前擁有者的所述MKL分類器單元以進行所述人臉識別，其中所述身份標記子集對應於所述金字塔資料庫單元的時間情境；在所述人臉識別的結果被回傳後，若評分向量超過分類閥值，則以1來標記第一存取控制，其指示對應所述查詢人臉影像的身份需要標註為已辨識；以及否則，以0來標記所述第一存取控制，其指示所述第一批次存取控制程序必須向所述當前擁有者的所述MKL分類器單元提供已建構的下一層所述身份標記子集的人臉影像的所述匹配集合以再次辨識所述查詢人臉。
  8. 如申請專利範圍第7項所述的人臉標註方法，其中所述第一批次存取控制程序更包含：若對應於所述金字塔資料庫單元的底層的所述身份標記子集已經被存取，且所述第一存取控制仍標記為0，則將經誤分類的所述查詢人臉影像定義為未辨識。
  9. 如申請專利範圍第7項所述的人臉標註方法，其中所述 第一批次存取控制程序更包含：在完成所述人臉標註處理程序後，將已標註的查詢子集及其對應的所述身份標記子集同時提交給所述資料庫的第一層且獲取映射至此等身份的特定群組。
  10. 如申請專利範圍第1項所述的人臉標註方法，其中所述非第一批次存取控制程序包含：當由未標記的人臉影像的剩餘部分所構成的剩餘查詢子集被決定時，所述非第一批次存取控制程序允許所述MKL分類器單元基於所述社群關係資訊而按照優先級次序來存取整個所述金字塔資料庫單元的特定層；執行所述非第一批次存取控制程序以提供匹配集合且將其轉遞至所述當前擁有者的所述MKL分類器單元；當所辨識的分類被回傳時，以1來標記第二存取控制，進而表示所獲取的查詢身份標記為正確結果；否則，以0來標記所述第二存取控制；以及在所述金字塔資料庫單元的其他層皆已被存取後，所述匹配集合劣化為最大的資料庫而至所述金字塔資料庫單元的底層。
  11. 如申請專利範圍第1項所述的人臉標註方法，其中所述FRF模組執行適當的多個MKL分類器單元的選擇以及多個人臉識別結果的融合，其中所述適當的多個MKL分類器單元由屬於所述當前擁有者的所有連絡人的相異個人化MKL分類器單元中被選出，並且能在所述協作性人臉辨識框架內識別特定的所述查詢人 臉影像。
  12. 如申請專利範圍第11項所述的人臉標註方法，其中藉由使用來自所述當前擁有者的個人合集的時間-群組情境，所述適當的多個MKL分類器單元的所述選擇透過所述金字塔資料庫單元中所建構的所述資料庫的特定層而被執行。
  13. 如申請專利範圍第12項所述的人臉標註方法，其中執行所述多個人臉識別結果的所述融合以合併被回傳且被選擇的所述人臉識別結果。
  14. 一種人臉標註系統，其供當前擁有者在線上社群網路(OSN)中標註連絡人，所述人臉標註系統包括：金字塔資料庫存取控制(PDAC)模組，由多個金字塔資料庫單元組成且執行第一批次存取控制程序及非第一批次存取控制程序，其中所述金字塔資料庫單元包含資料庫的多層且根據社群關係資訊而建構；以及經由多核心學習(MKL)分類器單元的使用而實施的所述當前擁有者的多核心學習人臉辨識(MKL-FR)模組，使用MKL演算法以實現人臉識別，其中所述MKL分類器單元是以在所述OSN中存取的所述金字塔資料庫單元來訓練，並且包含離線學習程序及線上辨識程序，其中若所述MKL-FR模組不能夠識別查詢人臉(Query Face)，所述人臉標註系統更包含：多核心學習人臉辨識融合(FRF)模組，基於所述OSN的特性在協作性人臉辨識框架內藉由利用具有最高優先級規則的使用 者來執行協作性人臉辨識策略。
  15. 如申請專利範圍第14項所述的人臉標註系統，其中所述FRF模組執行適當的多個MKL分類器單元的選擇以及多個人臉識別結果的融合，其中所述適當的多個MKL分類器單元由屬於所述當前擁有者的所有連絡人的相異個人化MKL分類器單元中被選出，並且能在所述協作性人臉辨識框架內識別特定的所述查詢人臉影像。
  16. 如申請專利範圍第15項所述的人臉標註系統，其中藉由使用來自所述當前擁有者的個人合集的時間-群組情境，所述FRF模組透過所述金字塔資料庫單元中所建構的所述資料庫的特定層而執行所述適當的多個MKL分類器單元的所述選擇。
  17. 如申請專利範圍第16項所述的人臉標註系統，其中所述FRF模組執行所述多個人臉識別結果的所述融合以合併被回傳且被選擇的所述人臉識別結果。
  18. 如申請專利範圍第14項所述的人臉標註系統，其中所述社群關係資訊包含多種類型的社群網路情境資訊，所述社群網路情境資訊包含重現情境、時間情境、群組情境以及時間-群組情境。
  19. 如申請專利範圍第18項所述的人臉標註系統，其中所述金字塔資料庫單元包含資料庫的四層，其中第一層是基於所述重現情境，第二層是是基於所述時間情境或所述時間-群組情境，第三層是基於所述群組情境，且第四層含有所述連絡人及所述當前擁有者的所有人臉影像。
  20. 如申請專利範圍第14項所述的人臉標註系統，其中所述金字塔資料庫單元藉由評估每一所述連絡人與所述當前擁有者之間的近期社群關係的強度以及對聯繫評分進行正規化而被建構，其中所述聯繫評分藉由反映所述連絡人之間在近期時段內的所述聯繫強度的方程式來計算，且藉由合併兩個主要考慮事項來進行評估，所述兩個主要考慮事項包含單向聯繫函數及雙向聯繫函數，其中所述單向聯繫函數估計每一所述連絡人在所述當前擁有者的近期個人相片中出現的似然性分佈，且所述雙向聯繫函數估計每一所述連絡人及所述當前擁有者在整個所述OSN中的所述近期個人相片中共同出現的似然性分佈。
  21. 如申請專利範圍第20項所述的人臉標註系統，其中當較大規模的特定身份子集中的所有身份已經依據所述正規化的聯繫評分而被排序時，所述金字塔資料庫單元藉由採用與時間情境及時間-群組情境相關聯的社群網路情境類型，在最佳閥值的基礎上，從所述較大規模的特定身份子集中，決定適當數量的被選擇的所述身分以產生較小規模的身分子集而建構。
  22. 如申請專利範圍第14項所述的人臉標註系統，其中所述PDAC模組致能所述MKL分類器單元以基於所述社群關係資訊而按照優先級次序存取所述金字塔資料庫單元的特定層。
  23. 如申請專利範圍第14項所述的人臉標註系統，其中所述PDAC模組存取屬於身份標記子集的所有人臉影像的匹配集合且 將其轉遞至所述當前擁有者的所述MKL分類器單元以進行所述人臉識別，而所述身份標記子集對應於所述金字塔資料庫單元的時間情境；在所述人臉識別的結果被回傳後，若評分向量超過分類閥值，則所述PDAC模組以1來標記第一存取控制，其指示對應查詢人臉影像的身份需要被標註為已辨識；以及否則，所述PDAC模組以0來標記所述第一存取控制，其指示所述第一批次存取控制程序必須向所述當前擁有者的所述MKL分類器單元提供已建構的下一層所述身份標記子集的人臉影像的所述匹配集合以再次辨識所述查詢人臉。
  24. 如申請專利範圍第23項所述的人臉標註系統，其中若對應於所述金字塔資料庫單元的底層的所述身份標記子集已經被存取，且所述第一存取控制仍標記為0，則所述PDAC模組將經誤分類的所述查詢人臉影像定義為未辨識。
  25. 如申請專利範圍第23項所述的人臉標註系統，其中在完成所述人臉標註處理程序後，所述PDAC模組將已標註的查詢子集及其對應的所述身份標記子集同時提交給所述資料庫的第一層且獲取映射至此等身份的特定群組。
  26. 如申請專利範圍第14項所述的人臉標註系統，其中當由未標記的人臉影像的剩餘部分構成的剩餘查詢子集被決定時，所述PDAC模組執行所述非第一批次存取控制程序以允許所述MKL分類器單元基於所述社群關係資訊而按照優先級次序來存取所述 整個金字塔資料庫單元的特定層，且所述PDAC模組執行所述非第一批次存取控制程序以提供匹配集合且將其轉遞至所述當前擁有者的所述MKL分類器單元，且當所辨識的分類被回傳時，所述PDAC模組以1來標記第二存取控制，進而表示所獲取的查詢身份標記為正確結果；否則，所述PDAC模組以0來標記所述第二存取控制，其中在所述金字塔資料庫單元的其他層皆已被存取後，所述匹配集合劣化為最大的資料庫而至所述金字塔資料庫單元的底層。
TW103128429A 2014-07-24 2014-08-19 人臉標註方法以及人臉標註系統 TWI508002B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/339,469 US9183464B1 (en) 2014-07-24 2014-07-24 Face annotation method and face annotation system

Publications (2)

Publication Number Publication Date
TWI508002B true TWI508002B (zh) 2015-11-11
TW201604795A TW201604795A (zh) 2016-02-01

Family

ID=54363510

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103128429A TWI508002B (zh) 2014-07-24 2014-08-19 人臉標註方法以及人臉標註系統

Country Status (2)

Country Link
US (1) US9183464B1 (zh)
TW (1) TWI508002B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552421B2 (en) * 2013-03-15 2017-01-24 Microsoft Technology Licensing, Llc Simplified collaborative searching through pattern recognition
WO2018153469A1 (en) * 2017-02-24 2018-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Classifying an instance using machine learning
US11080316B1 (en) * 2017-05-26 2021-08-03 Amazon Technologies, Inc. Context-inclusive face clustering
CN108009280B (zh) * 2017-12-21 2021-01-01 Oppo广东移动通信有限公司 图片处理方法、装置、终端及存储介质
CN110717377B (zh) * 2019-08-26 2021-01-12 平安科技（深圳）有限公司 人脸驾驶风险预测模型训练及其预测方法及相关设备
CN110929644B (zh) * 2019-11-22 2020-06-26 南京甄视智能科技有限公司 基于启发式算法的多模型融合人脸识别方法、装置、计算机系统与可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110106734A1 (en) * 2009-04-24 2011-05-05 Terrance Boult System and appartus for failure prediction and fusion in classification and recognition
US20130300900A1 (en) * 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions
TW201403503A (zh) * 2012-04-12 2014-01-16 Intel Corp 增強社交網路之技術
TW201403492A (zh) * 2012-07-05 2014-01-16 Altek Corp 影像辨識連結系統及其方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US6185602B1 (en) * 1998-06-29 2001-02-06 Sony Corporation Multi-user interaction of multimedia communication
US7904187B2 (en) * 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US8099429B2 (en) * 2006-12-11 2012-01-17 Microsoft Corporation Relational linking among resoures
US8810684B2 (en) * 2010-04-09 2014-08-19 Apple Inc. Tagging images in a mobile communications device using a contacts list

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110106734A1 (en) * 2009-04-24 2011-05-05 Terrance Boult System and appartus for failure prediction and fusion in classification and recognition
TW201403503A (zh) * 2012-04-12 2014-01-16 Intel Corp 增強社交網路之技術
US20130300900A1 (en) * 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions
TW201403492A (zh) * 2012-07-05 2014-01-16 Altek Corp 影像辨識連結系統及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Automatic Face Annotation System Used Pyramid Database Architecture for Online Social Networks" by Shih-Chia Huang etc. 2013/12/18 "An Automatic Face Annotation System Featuring High Accuracy for Online Social Networks" by Shih-Chia Huang etc. 2013/12/18 *

Also Published As

Publication number Publication date
US9183464B1 (en) 2015-11-10
TW201604795A (zh) 2016-02-01

Similar Documents

Publication Publication Date Title
TWI508002B (zh) 人臉標註方法以及人臉標註系統
CN110163236B (zh) 模型的训练方法和装置、存储介质、电子装置
CN107851191B (zh) 用于图像中的对象检测的基于上下文的先验
US11494616B2 (en) Decoupling category-wise independence and relevance with self-attention for multi-label image classification
Do et al. Deep neural network-based fusion model for emotion recognition using visual data
Patra et al. A novel SOM-SVM-based active learning technique for remote sensing image classification
CN112069929B (zh) 一种无监督行人重识别方法、装置、电子设备及存储介质
CN110837836A (zh) 基于最大化置信度的半监督语义分割方法
CN110427867A (zh) 基于残差注意力机制的面部表情识别方法及系统
CN110490236B (zh) 基于神经网络的自动图像标注方法、系统、装置和介质
CN110414541B (zh) 用于识别物体的方法、设备和计算机可读存储介质
CN107430705A (zh) 用于重新训练分类器的样本选择
JP2017517076A (ja) 顔認証方法およびシステム
CN110223292A (zh) 图像评估方法、装置及计算机可读存储介质
WO2010062268A1 (en) A method for updating a 2 dimensional linear discriminant analysis (2dlda) classifier engine
CN111985581A (zh) 一种基于样本级注意力网络的少样本学习方法
CN107704859A (zh) 一种基于深度学习训练框架的文字识别方法
CN113706547B (zh) 一种基于类别同异性引导的无监督域适应语义分割方法
CN113849653B (zh) 一种文本分类方法及装置
CN110134803A (zh) 基于哈希学习的图像数据快速检索方法
CN112418302A (zh) 一种任务预测方法及装置
CN107220598A (zh) 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法
CN107491735B (zh) 人类行为识别的标签和交互关系联合学习方法
Pei et al. Few-shot object detection by knowledge distillation using bag-of-visual-words representations
CN115827995A (zh) 基于大数据分析的社交匹配方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees