TW201604821A - 協作性人臉標註方法以及協作性人臉標註系統 - Google Patents

協作性人臉標註方法以及協作性人臉標註系統 Download PDF

Info

Publication number
TW201604821A
TW201604821A TW103130255A TW103130255A TW201604821A TW 201604821 A TW201604821 A TW 201604821A TW 103130255 A TW103130255 A TW 103130255A TW 103130255 A TW103130255 A TW 103130255A TW 201604821 A TW201604821 A TW 201604821A
Authority
TW
Taiwan
Prior art keywords
face
owner
recognizer
query
context
Prior art date
Application number
TW103130255A
Other languages
English (en)
Other versions
TWI525574B (zh
Inventor
黃士嘉
焦名楷
許志安
Original Assignee
國立臺北科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺北科技大學 filed Critical 國立臺北科技大學
Publication of TW201604821A publication Critical patent/TW201604821A/zh
Application granted granted Critical
Publication of TWI525574B publication Critical patent/TWI525574B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供一種協作性人臉標註方法以及一種協作性人臉標註系統，用於供當前擁有者在線上社群網路(OSN)中標註連絡人。所述人臉標註方法包含：根據各種社群網路情境而針對每一成員來提供階層式資料庫存取(HDA)架構；提供融合式人臉辨識(FFR)單元，其使用自適應增強(Adaboost)演算法以融合多個類型的基礎分類器；藉由透過各別類型的所述社群網路情境來針對所述擁有者及每一所述成員而整合所述HDA架構及對應的所述FFR單元以建構人臉辨識器；以及藉由使用至少兩種協作性FR策略來選擇適當的個人化的人臉辨識器且合併多個個人化的人臉辨識器結果。

Description

協作性人臉標註方法以及協作性人臉標註系統
本發明主要是關於人臉標註技術，且特定言之，是關於用於協作性框架以及多核心學習演算法內的人臉標註方法以及人臉標註系統。
由於攜帶型消費型元件以及無線通信服務的迅速增長，人們可在任何時間、在任何地方發送及接收多媒體內容及資訊。愈來愈多的人在使用無線行動應用程式以經由諸如Facebook及Google+的線上社群網路(OSN)來分享個人相片。此已在OSN中導致大量的相片合集。為了便於有效地瀏覽、搜尋、分類及匯出(例如，發送或列印)相片合集，開發允許使用者在OSN等中管理及組織個人相片的人臉標註技術是重要的。
藉由使用人臉標註技術，使用者能夠以個人的名稱來標示個人相片中的人臉影像。此等技術可劃分為三個種類：手動人臉標註、半自動人臉標註以及全自動人臉標註。大量相片合集的手動人臉標註是耗力且耗時的；因此，已對半自動人臉標註或全 自動人臉標註技術進行許多研究。半自動人臉標註需要使用者的互動及反饋來判定每一個人相片的每一個別查詢的身份標記。不幸的是，對於實際的人臉標註系統，此等互動及反饋程序導致額外的時間消耗。為了避免使用者干預及手動操作，全自動人臉標註系統已經被開發，其整合基於電腦視覺的人臉偵測及人臉辨識(FR)技術。
在過去十年，人臉偵測的準確性已顯著提高，因此成為一種成熟的技術。人臉辨識(FR)技術包括極熱門的研究領域，且可劃分為兩個類型，即單FR分類器及多FR分類器。單FR分類器無法在不受控制的波動條件下良好地運作，所述不受控制的波動條件是以照度、人臉表情等的改變為特徵。然而，不同的單FR分類器的組合，甚至能在波動條件下，提升人臉辨識準確性。
最近，對於OSN中的每一成員，分散式FR資料庫與其對應的FR分類器的框架已經被提出以促進計算複雜性的降低及人臉標註的準確性的提高。然而，僅依賴于單FR分類器的此些FR資料庫方法可能在不受控制的條件下導致不良的準確性結果。
因此，對於OSN中的人臉標註技術的發展，如何有效率地且準確地實現高可靠性的人臉標註結果已成為研究者的一個重要課題。
因此，本發明是關於一種新穎的協作性人臉辨識演算 法，以對於在線上社群網路上分享的個人相片產生高效率且高準確性的自動人臉標註系統。
本發明提供一種人臉標註方法，用於供當前擁有者在線上社群網路(OSN)中標註連絡人。所述人臉標註方法包含：根據各種社群網路情境而針對每一成員來提供階層式資料庫存取(HDA)架構；提供融合式人臉辨識(FFR)單元，其使用自適應增強(Adaboost)演算法以融合多個類型的基礎分類器；藉由透過各別類型的所述社群網路情境來針對所述擁有者及每一所述成員而整合所述HDA架構及對應的所述FFR單元以建構人臉辨識器；以及藉由使用至少兩種協作性FR策略來選擇適當的個人化的人臉辨識器且合併多個個人化的人臉辨識器結果。
根據本發明的實施例，所述社群網路情境包含重現情境、時間情境以及群組情境。
根據本發明的實施例，所述HDA架構包含資料庫的四層，其中第一層是基於所述重現情境，第二層是基於所述時間情境或所述時間-群組情境，第三層是基於所述群組情境，且第四層含有所述成員及所述擁有者的所有人臉影像。
根據本發明的實施例，所述FFR單元包含訓練處理程序以及測試處理程序，其中所述訓練處理程序使用自所述OSN上所分享的所述擁有者的相片合集所獲得的經標示的人臉影像來訓練每一基礎分類器，且所述測試處理程序使用自所述訓練處理程序訓練的權重以產生未經標記的查詢人臉影像的AdaBoost結果評 分。
根據本發明的實施例，所述訓練處理程序包括：基於所述Adaboost演算法來初始化人臉影像的權重；計算每一所述基礎分類器的錯誤率；以及在計算所述基礎分類器的所述權重後，藉由在每一輪期間更新樣本的所述權重來反覆地提升每一所述基礎分類器。
根據本發明的實施例，所述測試處理程序包括：使用基礎分類器與所述更新權重的線性組合來計算所述AdaBoost結果評分。
根據本發明的實施例，其中藉由整合所述HDA架構及對應的所述FFR單元來建構所述人臉辨識器的所述步驟包括：根據所述社群網路情境，帶著查詢人臉影像，按照優先級的次序來存取所述HDA架構的層級；若所述查詢人臉影像的人臉辨識評分高於人臉辨識臨限值，則標示所述查詢人臉影像；以及當所述社群網路情境的最低優先級被存取時，若所述查詢人臉影像的所述人臉辨識評分低於所述人臉辨識臨限值，則將所述查詢人臉影像視為未經識別。
根據本發明的實施例，所述協作性FR策略包含使用具有最高優先級規則(Highest Priority Rule)的所述擁有者以及利用加權多數規則(Weighted Majority Rule)，其中使用具有所述最高優先級規則的所述擁有者的所述步驟包括：當所述擁有者將未經標記的查詢人臉影像上傳至所述OSN上時，具有所述最高優先級的所 述擁有者的所述人臉辨識器標註所述查詢人臉影像的身份標記，且自所述成員選擇的所述人臉辨識器辨識未經識別的查詢人臉影像，其中利用所述加權多數規則的所述步驟包括：選擇且合併所述擁有者及所述成員的所述人臉辨識器，且根據自所述合併的人臉辨識器計算的評分來標註所述查詢人臉影像的所述身份標記。
本發明亦提供一種人臉標註系統，用於供擁有者在線上社群網路(OSN)中標註成員。所述人臉標註系統包括：階層式資料庫存取(HDA)架構、融合式人臉辨識(FFR)單元以及協作性人臉辨識器。所述HDA架構是根據各種社群網路情境，針對每一成員而設置。所述FFR單元經設置以使用自適應增強(Adaboost)演算法來融合多個類型的基礎分類器。所述協作性人臉辨識器包含多個人臉辨識器，其中每一所述人臉辨識器是藉由透過各別類型的所述社群網路情境，針對所述擁有者及每一成員而整合所述HDA架構及所述對應的FFR單元來建構。本文中，所述協作性人臉辨識器藉由使用至少兩種協作性人臉辨識(FR)策略來選擇適當的個人化的人臉辨識器且合併多個個人化的人臉辨識器結果。
鑒於前述內容，所述人臉標註方法以及所述自動人臉標註系統包含兩種主要技術：階層式資料庫存取架構以及融合式人臉辨識單元。每一成員的個人化的階層式資料庫存取架構是藉由利用各種社群網路情境類型而建構以實質上減少時間消耗。每一成員的個人化與適應性的融合式人臉辨識單元可使用Adaboost演算法以融合若干不同類型的基礎分類器來產生高可靠性的人臉標 註結果。為了有效率地選擇適當的個人化的人臉辨識器且接著有效地融合多個個人化的人臉辨識器結果，亦包含兩種協作性FR策略：即使用具有最高優先級規則的擁有者以及利用加權多數規則。因此，在分散式線上社群網路的全自動協作性人臉標註系統中，準確性及效率得以被提升。
12‧‧‧個人相片
14‧‧‧姿勢估計及人臉偵測
16‧‧‧經標示的個人相片
30‧‧‧經標示的人臉影像
50‧‧‧當前擁有者
50-1~50-M‧‧‧連絡人
52‧‧‧人臉辨識器
100‧‧‧線上社群網路中的擁有者的人臉辨識器
210‧‧‧第1層的資料庫DBrecurrence
220‧‧‧第2層的資料庫DBtime
230‧‧‧第3層的資料庫DBgroup
240‧‧‧第4層的資料庫DBtotal
300‧‧‧訓練資料集合
510‧‧‧協作性人臉辨識器
510'‧‧‧協作性人臉辨識器
511‧‧‧人臉辨識器
512‧‧‧人臉辨識器
512'‧‧‧人臉辨識器
514‧‧‧最佳身份標記Identity
514'‧‧‧最佳身份標記Identity
1000‧‧‧人臉標註系統
1100‧‧‧階層式資料庫存取(HDA)架構
1200‧‧‧融合式人臉辨識(FFR)單元
3100‧‧‧訓練處理程序
3200‧‧‧測試處理程序
4100‧‧‧第一影像人臉標註處理程序
4200‧‧‧非第一影像人臉標註處理程序
5000‧‧‧分散式線上社群網路
5100‧‧‧具有最高優先級規則(HPR)的擁有者策略
5200‧‧‧加權多數規則(WMR)策略
S302、S304、S306、S308、S310、S320、S322、S324、S412、S414、S416、S418、S422、S424、S426、S428、S430、S502‧‧‧步驟
附圖包含于本文中以便於進一步理解本發明，且併入於本說明書中並構成本說明書的一部分。附圖說明本發明的實施例，並與後續說明一起用以解釋本發明的原理。
圖1為根據本發明的實施例所繪示的人臉標註系統的方塊圖。
圖2為根據本發明的實施例所繪示的階層式資料庫存取(HDA)的方塊圖。
圖3A及圖3B為根據本發明的實施例所繪示的FFR單元的流程圖。
圖4為根據本發明的實施例的OSN中的擁有者的人臉辨識器的流程圖。
圖5A為根據本發明的實施例所繪示的用於分散式OSN中的人臉標註的協作性人臉辨識的框架的流程圖。
圖5B為根據本發明的實施例所繪示的用於分散式OSN中的人臉標註的協作性人臉辨識的框架的流程圖。
現將詳細地參考本發明的當前較佳實施例，所述較佳實施例的實例說明於附圖中。只要有可能，相同元件符號在圖式及描述中用來表示相同或相似部分。
圖1為根據本發明的實施例所繪示的人臉標註系統的方塊圖。參看圖1，對於線上社群網路(Online Social Network,OSN)，本實施例提供高效率且高準確性的協作性人臉標註系統1000。在人臉標註系統1000中，自上傳至OSN的擁有者的個人相片12中被提取的未經標記的人臉影像可通過姿勢估計及人臉偵測14。擁有者的人臉辨識器100可使用來自姿勢估計及人臉偵測14的結果以辨識人，並且產生經標示的相片16。更具體言之，人臉標註系統1000包括兩種主要技術：即多層級階層式資料庫存取(Hierarchical Database Access,HDA)架構1100以及融合式人臉辨識(Fused Face Recognition,FFR)單元1200，兩者組合為可應用於分散式OSN的擁有者的人臉辨識器(Face Recognizer)100。
HDA架構1100藉由利用各種社群網路情境(Social Network Context)類型而用於OSN的每一成員，並且所述社群網路情境類型包含時間情境(Temporal Context)、群組情境(Group Context)以及重現情境(Recurrence Context)。因此，此等類型的情境藉由判定查詢相片中的高可能性的出現或重現而促進FFR單元1200有效率地辨識高相依性的身份。
OSN上所分享的大多數個人相片是在不受控制的條件(諸如，照度、人臉表情等的改變)下攝取的。為實現高準確性，FFR單元1200利用自適應增強(Adaptive Boosting,AdaBoost)演算法(1997年，J.Comput.Syst.Sci.，第55卷，第1期，第119至139頁，Y.Freund等人的A decision-theoretic generalization of on-line learning and an application to boosting；2007年，Pattern Recognition，第40卷，第12期，第3358至3378頁，Y.Sun等人的Cost-sensitive boosting for classification of imbalanced data)，其能夠有效地融合多個FR分類器結果與社群資訊且藉此產生高可靠性的結果。因此，OSN的每一成員具有其自身的個人化的人臉辨識器，所述個人化的人臉辨識器整合HDA架構1100以及對應的FFR單元1200。
此外，本實施例在分散式OSN中更提供兩種協作性人臉辨識(Face Recognition,FR)策略：即藉由使用具有最高優先級規則(Highest Priority Rule,HPR)的擁有者而進行的協作性人臉辨識，以及藉由利用加權多數規則(Weighted Majority Rule,WMR)而進行的協作性人臉辨識。此等策略可在分散式OSN中合併多個個人化的人臉辨識器，以在所提議的全自動人臉標註系統1000中實現高效率及高準確性。
下文描述HDA架構1100，其藉由使用社群網路情境及資訊而建構以向FFR單元1200提供高相依性的身份，進而實現高效率的匹配。
A. 階層式資料庫存取架構
HDA架構1100中所使用的三種不同類型的社群網路情境包含重現情境、時間情境以及群組情境，且如下所述：
(1)重現情境：一般而言，當個人在一張查詢相片中出現時，推測同一個人有高機率在此組查詢相片的剩餘部分中出現。
(2)時間情境：如果個人近期頻繁地在特定擁有者的個人相片合集中出現，則可推斷擁有者與此個人頻繁互動。因此，具有高互動程度的個人有高機率在查詢相片中出現。
(3)群組情境：如果來自某一群組的個人在個人相片合集中出現，則可推斷屬於同一群組的其他個人將有高機率在同一個人相片合集中出現。
圖2為根據本發明的實施例所繪示的階層式資料庫存取(HDA)1100的方塊圖。參看圖2，表示為HDAA={Leveln}-4 n=1的HDA架構1100為一組資料庫，其中Leveln表示資料庫的第n層，所述HDA架構1100由資料庫的四個層構成：第1層的資料庫DBrecurrence 210、第2層的資料庫DBtime 220、第3層的資料庫DBgroup 230以及第4層的資料庫DBtotal 240。可藉由針對每一層使用姿勢估計方法來獲得具有多個姿勢的每一身份的人臉影像。
資料庫的第1層level1是基於重現情境，且被定義為在HDA架構1100中具有最高優先級存取的DBrecurrence 210。當個人的身份已經被標記在查詢相片中時，將在DBrecurrence 210中更新這些身份，以便於FFR單元1200提高人臉辨識的準確性。
資料庫的第2層級level2是基於每一群組的時間情境，且被設定為在HDA架構1100中具有第二最高優先級存取的DBtime 220。為了自每一群組中僅選擇高互動性的身份以建置DBtime 220，可藉由擁有者與近期活動的期間處於連絡人清單中的每一成員之間，所提出的正規化互動評分評估來對互動的強度進行量化。
可藉由估計在OSN上分享的相片合集中的多個身份的出現及共同出現的機率來計算正規化互動評分。令l owner 表示擁有者的身份標記，且令IDcontacts={l m }M m=1為由處於擁有者的連絡人清單中的連絡人的M個身份標記構成的身份集合。正規化的互動評分φm可如下來表達： 其中表示所有連絡人的互動評分的總和，且第m連絡人的互動評分E-m可如下來計算： 其中參數β(0β1)反應出現機率Proccur(l m |△t)與共同出現機率Prco-occur(l m ,l owner|△t)的比。針對每一連絡人{l m }M m=1，近期時段△t期間的出現機率可表達為： 其中lm IDcontacts，且ψ1(l m ,I)為在個人相片I中標記第m連絡 人的身份標記時，回傳1的特徵函數；否則，特徵函數回傳0。(Iowner|△t)表示由擁有者在近期時段△t期間擁有的個人相片的整個合集，且|．|表示集合中的相片的總數。此外，在近期時段△t期間，擁有者與第m連絡人之間的共同出現的機率可表達為： 其中lm IDcontacts，且ψ-2(l m ,l owner,I)為在相片I中標記第m連絡人與擁有者兩者時，回傳1的成對式特徵函數；否則，成對式特徵函數回傳0。(IOSN|△t)表示擁有者及對應連絡人的所有相片合集，其含有連絡人在近期時段△t期間存取的所有個人相片。
為了提高HDA架構1100的效率，選擇每一群組中藉以建置DBtime的適當身份。令{Gu}NG u=1為由NG個群組構成的群組集合，且令{gu,b}Gu b=1為由群組Gu中的所有成員組成的集合。如下定義每一群組中與擁有者具有最近互動的成員。
其中針對給定的群組成員gu,b，函數Ω(．)回傳正規化的互動評分。接著，根據每一中的所有成員所對應的正規化的互動評分φm來對所述成員進行排序。當每一群組的高互動性的身份的正規化的互動評分高於每一群組的對應的互動臨限值時，可判定所述高互動性的身份，其中如下計算互動臨限值： 其中Bu為在高於所有對應的正規化的互動評分的上四分位值時，自每一選擇的特定成員的數目。此等被選擇的高互動性身份來自每一群組，且可用於建置DBtime。
DBgroup是基於群組情境，且被定義為具有在HDA架構1100中存取的第三最高優先級。若查詢影像無法與來自特定群組、小數目的高互動性成員匹配，則所述查詢影像將以窮舉方式與同一群組的所有相關身份進行比較。
DBtotal包括M+1個身份，其包含擁有者以及連絡人清單的所有成員。由於DBtotal為含有所有身份的最大規模資料庫，DBtotal被定義為在HDA架構1100中具有最低優先級存取。應注意，傳統人臉標註系統利用所有身份以建置DBtotal；而此種過量極其耗時。
B. 融合式人臉辨識單元
為了以高準確性獲取人臉辨識結果，FFR單元1200是基於AdaBoost演算法，且可用於藉由使用具備高相依性的身份的HDA架構1100而在特定資料庫中實現準確且有效率的辨識。具體言之，FFR單元1200可有效地融合若干單FR分類器(被稱為基礎分類器)，且利用社群網路情境及資訊以針對擁有者及OSN的每一成員而提供具適應性且個人化的FFR單元1200。AdaBoost 演算法為藉由若干基礎分類器與對應的權重的線性組合，而被用於建置強分類器的反覆式提升處理程序。此等權重是根據以個人化的社群網路情境訓練的每一基礎分類器的分類效能來決定的。
應注意，如下計算所提議的FFR單元1200中的基礎分類器輸出的信賴度評分。令Fowner={fθ,n(j)}K j=1為包含對應人臉影像的K個不同身份的目標集合，其中fθ,n(j)表示自HDA架構1100存取的第n層中具有特定姿勢索引θ Pj的第j身份，且Pj={pθ}NPj θ=1表示包含NPj個姿勢的第j身份的姿勢集合。且，令Q={qθ(i)}NQ i=1為由藉由姿勢估計及人臉偵測方法，自上傳至OSN的擁有者的個人相片提取的NQ個未經標記的人臉影像所構成的查詢集合，其中qθ(i)表示具有特定姿勢θ的第i查詢人臉影像。人臉偵測方法為熟習此項技術者所熟知，而本文中不再進行贅述。
接著，分別經由T個不同類型的基礎分類器ht，自未經標記的查詢人臉影像qθ(i)及目標人臉影像fθ,n(j)提取查詢特徵向量v-qθ t(i)及目標特徵向量v-fθ,n t(j)。應注意，t為基礎分類器的索引。最近鄰域判別函數(nearest neighbour discriminant function)應用於計算特徵空間中查詢特徵向量v-qθ t(i)與目標特徵向量v-fθ,n t(j)之間的距離評分dt(i,j)。
由各種類型的基礎分類器計算的距離評分dt(i,j)可能在不同特徵空間中並不能相比。因此，將每一不同基礎分類器ht的距離評分dt(i,j)轉換為對應的信賴度評分ct，信賴度評分ct可如下藉由使用S型活化函數(sigmoid activation function)來表達：
在描述基礎分類器的信賴度評分ct後，基於AdaBoost演算法，在OSN中用於人臉辨識的FFR單元1200可被利用來組合不同類型的基礎分類器。圖3A及圖3B為根據本發明的實施例所繪示的FFR單元的流程圖。參看圖3A及圖3B，FFR單元1200包含兩個主要處理程序：訓練處理程序3100及測試處理程序3200。
(1)訓練處理程序：
為了建構個人化的FFR單元1200，藉由使用自OSN上所分享的擁有者的所有相片合集所獲得的經標示的人臉影像30來訓練每一基礎分類器。如圖3A所示，給定的訓練資料集合300可如下來表示： 其中N為經標示的人臉影像樣本的數目，令X={xi}N i=1為經標示的人臉影像的集合，且經標示的人臉影像的身份標記由l i IDcontacts來表示。
在步驟S302中，針對所有i，在第i人臉影像樣本上分佈的初始權重被定義為，其中N為訓練資料集合300中的人臉影像樣本的數目。人臉影像樣本的權重是基於Adaboost演算法，且主要用於在訓練處理程序中表達樣本的學習難度。換 言之，在使用擁有者的所有相片合集中的人臉影像樣本時，所遭遇的較大學習難度將導致對應的較大分佈的權重。反而言之，此將導致學習能力的提高，其改進個人化的FFR單元1200的人臉辨識準確性。在步驟S304中，在個人化的FFR單元1200中以擁有者的訓練資料集合300訓練每一基礎分類器。對每一增強輪t=1,2...T所輸出的基礎分類器的集合表示為，其中T表示基礎分類器的數目，K表示目標集合Fowner中的身份的數目，且ct(i,j)為屬於目標集合Fowner的第j身份的第i人臉影像樣本的信賴度評分。
在步驟S306中，每一基礎分類器的分類效能的估計中的關鍵步驟為基礎分類器ht的錯誤率εt的計算。對每一基礎分類器，此經由誤分類樣本的權重分佈來實現。基礎分類器ht的錯誤率εt可如下來計算： 換言之， 其中j*=arg max h t (x i )，且l(．)被定義為針對給定的目標人臉影像而回傳對應的身份標記的函數。
在步驟S308中，基礎分類器的權重αt反映個人化的FFR單元1200中的第t基礎分類器的分類效能，且可如下藉由基礎分類器ht的錯誤率εt來計算：
在計算每一基礎分類器的權重αt後，如步驟S310所示，可藉由在每一輪期間更新樣本的權重分佈來反覆地提升每一基礎分類器。此外，此更新分佈規則能夠促進將下一基礎分類器ht+1集中於誤分類的樣本以實現人臉標註準確性。在樣本由基礎分類器ht誤分類時，此等樣本的權重分佈增大；否則，當樣本被正確分類時，樣本的權重減小。因此，下一輪t+1中的樣本的每一權重分佈Dt+1成為每一樣本的適當的機率分佈。如下關於基礎分類器的權重αt而更新樣本的每一權重分佈Dt： 其中j*=arg max h t (x i )且為所選擇的正規化常數。
(2)測試處理程序：
如圖3B所示，在步驟S322中，藉由基礎分類器ht與更新權重αt的線性組合來訓練基於AdaBoost演算法的個人化的FFR單元1200中的強分類器。給定測試資料S320中的未經標記的查詢人臉影像qθ(i)的測試樣本，可如下表達強分類器：H owner (q θ (i))=l(f θ,n (j*)) 方程式(13)其中，且l(．)被定義為針對給定的查詢人臉影像而回傳對應的身份標記的函數。最終，在步驟S324中，對應未經標記的查詢人臉影像qθ(i)的AdaBoost結果評分可被計算如 下：
OSN中所使用的個人化的FFR單元1200的優點在於，其可組合若干基礎分類器與每一基礎分類器的個人化的權重，其中個人化的權重根據以特定擁有者的個人相片合集訓練的每一基礎分類器的分類效能而動態地調整。
C. 線上社群網路中的人臉標註系統
個人化的人臉辨識器經建構以藉此在OSN中實現高準確性且高效率的人臉標註。此技術經由各別類型的社群網路情境，針對擁有者及連絡人清單的每一成員而整合HDA架構1100以及對應的個人化的FFR單元1200。在擁有者將未經標記的個人相片上傳至OSN上時，可藉由使用姿勢估計及人臉偵測方法而自此等個人相片提取人臉影像及對應的姿勢。圖4為根據本發明的實施例的OSN中的擁有者的人臉辨識器的流程圖。參看圖4，所提議的個人化的人臉辨識器由兩個人臉標註處理程序組成：第一影像人臉標註處理程序4100以及非第一影像人臉標註處理程序4200。此等人臉標註處理程序便於FFR單元1200匹配查詢影像與來自HDA架構1100的高相依性的身份。
(1)第一影像人臉標註處理程序：
參看圖2及圖4，具有第一查詢人臉影像qθ(1)的FFR單元1200如下按照優先級的次序存取HDA架構1100的特定層： DBtime 220(步驟S412)及DBtotal 240(步驟S414)。自具有經由DBtime 220所提供的所有身份的人臉影像而辨識的第一查詢人臉影像qθ(1)的FFR單元1200獲得人臉辨識的結果評分Scoreowner(qθ(1))。因此，如步驟S416所示，當人臉辨識的結果評分Scoreowner(qθ(1))高於人臉辨識臨限值THFR時，以對應的身份標記來標示第一查詢人臉影像qθ(1)，其中所述人臉辨識臨限值THFR是基於N個樣本的訓練資料集合上的信賴度評分的平均值。若無法藉由使用DBtime 220所提供的所有身份的人臉影像來辨識第一查詢人臉影像qθ(1)，則FFR單元1200使用自資料庫的下一層級DBtotal 240存取的所有身份(如步驟S414所示)。然而，資料庫DBtotal 240的存取可產生仍低於人臉辨識臨限值THFR的人臉辨識的結果評分Scoreowner(qθ(1))。此指示第一查詢人臉影像已被誤分類且被定義為未經識別(步驟S418)，因此下一查詢人臉影像被視為新的第一查詢人臉影像，直至新的第一查詢人臉影像被標示為止。在第一影像人臉標註處理程序4100的執行後，第一查詢人臉影像已經被標註，且第一查詢人臉影像的身份標記在DBrecurrence 210中被更新。對應群組的所有身份可接著用於建置DBgroup 230，且支援HDA架構1100的四個特定層以及隨後的非第一影像人臉標註處理程序4200。
(2)非第一影像人臉標註處理程序：
為了藉由FFR單元1200以高相依性的身份促進人臉辨識的準確性及效率的提升，如下按照優先級的次序以HDA架構1100 的特定層辨識後續查詢人臉影像：DBrecurrence 210(步驟S422)、DBtime 220及DBgroup 230(步驟S424)及DBtotal 240(步驟S426)。當人臉辨識的結果評分Scoreowner(qθ(i))在每一存取資料庫DBrecurrence 210、DBtime 220、DBgroup 230及DBtotal 240中高於人臉辨識臨限值THFR時，以對應的身份標記來標示查詢人臉影像qθ(i)(步驟S428)，且同時在對應的資料庫中更新查詢人臉影像qθ(i)的身份標記；否則，將非第一查詢人臉影像定義為未經識別(步驟S430)。
D. 線上社群網路中的人臉標註的協作性人臉辨識
協作性FR框架以分散式OSN中的人臉標註的兩種協作性FR策略為特徵：具有最高優先級規則(HPR)的擁有者策略以及加權多數規則(WMR)策略。為了針對人臉標註產生高可靠性的身份標記，在描述兩種協作性FR策略之前在本文中引入能夠有效地合併多個個人化的人臉辨識器結果的協作性人臉辨識器。
(1)用於人臉標註的協作性人臉辨識器：
協作性人臉辨識器能夠選擇適當的個人化的人臉辨識器且有效地組合多個個人化的人臉辨識器的結果。基於擁有者具有一種類型的個人化的HDA架構1100的事實，可藉由所建構的資料庫的特定層DBtime(其具有高互動性的身份)來選擇適當的個人化的人臉辨識器。
圖5A為根據本發明的實施例所繪示的用於分散式OSN中的人臉標註的協作性人臉辨識的框架的流程圖。參看圖5A，在 當前擁有者50的協作性人臉辨識框架中，每一成員(例如，連絡人50-1至50-M)具有在分散式OSN 5000上共用的一個個人化的人臉辨識器52。如步驟S502所示，可針對隨後的協作性FR策略而選擇成員的人臉辨識器，所述成員屬於DBtime。
具體言之，屬於被判定為與擁有者具有高互動程度的身份的被選擇的K個個人化的人臉辨識器{Hj}K j=1，極可能藉由比較所述未經標記的人臉影像與來自各別HDA架構的DBtime的高相依性的身份而能夠正確地辨識查詢集合中的未經標記的人臉影像與回傳對應的人臉辨識結果。為了獲得高可靠性的身份標記，在已傳回多個人臉辨識器結果時，協作性人臉辨識器用於有效地合併所述人臉辨識器結果。可由各別的人臉辨識器產生身份標記的每一人臉辨識器結果Hj(．)以及對應的結果評分Scorej。接著，可將多個人臉辨識器所對應的正規化的互動評分{φj}K j=1轉換為互動權重{wj}K j=1，因此結果評分{Scorej}K j=1可與對應的互動權重{wj}K j=1組合，從而以高準確性獲得協作性人臉辨識結果。將多個人臉辨識器的正規化互動評分{φj}K j=1轉換為對應的互動權重{wj}K j=1，其中可如下利用數值近似方法來表達{wj}K j=1：
為了在查詢人臉影像qθ(i)上實現高準確性的人臉標註，可藉由多個人臉辨識器的結果評分{Scorej}K j=1的加權組合來獲得 融合式人臉辨識的最佳身份標記Identity，其可如下來表達：Identity=CFR(q θ (i))=H j*(q θ (i)) 方程式(16)其中
(2)協作性FR策略：
圖5B為根據本發明的實施例所繪示的用於分散式OSN中的人臉標註的協作性人臉辨識的框架的流程圖。參看圖5B，為使全自動人臉標註系統在分散式OSN中實現高效率及高準確性，協作性FR框架包含兩種協作性FR策略：具有最高優先級規則(HPR)的擁有者策略5100以及加權多數規則(WMR)策略5200。
最高優先級規則(HPR)策略：
因為在分散式OSN上所分享的個人相片中出現的大多數個人與擁有者具有緊密關係，且包含家庭成員、朋友以及同學，所以咸信擁有者的個人化的人臉辨識器為用於有效率地且準確地辨識查詢人臉影像的最佳選擇。因此，協作性人臉辨識可使用擁有者，且使用最高優先級規則(HPR)策略5100以在分散式OSN中執行高可靠性的身份標記指派及人臉標註。當擁有者將未經標記的個人相片上傳至OSN上時，具有最高優先級的擁有者的個人化人臉辨識器可有效地標註查詢人臉影像的身份標記，如圖5A的左側所示。
在協作性人臉辨識器510中，所選擇的適當的個人化人臉辨識器512具體地屬於與擁有者具有最高互動性的彼等連絡 人，從而允許所選擇的人臉辨識器512辨識未經識別的查詢人臉影像。隨後，可藉由按照加權形式，合併身份標記的多個人臉辨識器結果Hj(．)來標註最佳身份標記「Indentity」(表示為514)。
加權多數規則(WMR)策略：
所選擇的高相依性人臉辨識器的數目的增加，將導致複數人臉辨識的準確性的提高。然而，過量的被選擇的人臉辨識器可導致所需時間的顯著增加。此外，眾多非相依性的人臉辨識器傾向於合併為不準確的人臉辨識結果，且因此降低人臉標註的準確性。因此，本文中的協作性人臉辨識做法使用加權多數規則(WMR)策略5200以有效地選擇且合併適當的個人化的人臉辨識器512'以及擁有者的人臉辨識器(表示為511)，並藉此在分散式OSN中促進人臉標註準確性的提高。協作性人臉辨識器510'包括K+1個人臉辨識器{Hj}K+1 j=1={Howner,H1,H2,...,HK}，其包含擁有者以及屬於擁有者的DBtime的高互動性成員，如圖5A的右側所示。最終，可藉由使用方程式(16)來組合K+1個人臉辨識器的結果評分{Scorej}K+1 j=1={Scoreowner,Score1,Score2,...,ScoreK}及對應的信賴度權重{wj}K|1 j=1={wowner,w1,w2,...,wK}來標註最佳身份標記「Identity」(表示為514')。
總體而言，本發明的實施例中所提供的人臉標註方法及自動人臉標註系統利用社群網路情境及Adaboost演算法，且涉及兩種主要技術：階層式資料庫存取(HDA)架構以及融合式人臉辨識(FFR)單元。亦使用兩種協作性人臉辨識策略，其涉及具有 最高優先級規則(HPR)的擁有者以及加權多數規則(WMR)。最初，所提議的多層級階層式資料庫存取(HDA)架構便於融合式人臉識別(FFR)單元，藉由針對分散式OSN的每一成員，利用各種社群網路情境類型(包含時間情境、群組情境以及重現情境)而有效率地以高相依性的身份來辨識查詢相片。因此，顯著地減少了時間要求。接著，為了大幅提高人臉標註準確性，所提議的融合式人臉辨識(FFR)單元利用AdaBoost演算法以有效地融合以個人化的社群網路情境訓練的多個基礎分類器的結果，且藉此產生強的、個人化的且適應性的分類器。每一成員的個人化的人臉辨識器整合階層式資料庫存取(HDA)架構以及融合式人臉辨識(FFR)單元，且可接著應用其於分散式OSN。此後，使用具有最高優先級規則(HPR)的擁有者以及利用加權多數規則(WMR)的協作性FR策略可有效率地選擇適當的個人化人臉辨識器且有效地合併多個個人化的人臉辨識器結果。因此，在分散式OSN的全自動協作性人臉標註系統中，提高了準確性及效率。
對於熟習此項技術者將顯而易見的是，可對本發明的結構進行各種修改及改變，而不偏離本發明的範疇或精神。鑒於前述內容，本發明涵蓋對應的修改以及改變，其落入隨附申請專利範圍及其均等物的範疇內。
12‧‧‧個人相片
14‧‧‧姿勢估計及人臉偵測
16‧‧‧經標示的個人相片
100‧‧‧線上社群網路中的擁有者的人臉辨識器
1000‧‧‧人臉標註系統
1100‧‧‧階層式資料庫存取(HDA)架構
1200‧‧‧融合式人臉辨識(FFR)單元

Claims (16)

  1. 一種人臉標註方法，用於供擁有者在線上社群網路(OSN)中標註成員，包括：根據各種社群網路情境而針對每一成員來提供階層式資料庫存取(HDA)架構；提供融合式人臉辨識(FFR)單元，其使用自適應增強(Adaboost)演算法以融合多個類型的基礎分類器；藉由透過各別類型的所述社群網路情境來針對所述擁有者及每一所述成員而整合所述HDA架構及對應的所述FFR單元以建構人臉辨識器；以及藉由使用至少兩種協作性人臉辨識(FR)策略來選擇適當的個人化的所述人臉辨識器且合併多個個人化的人臉辨識器結果。
  2. 如申請專利範圍第1項所述的人臉標註方法，其中所述社群網路情境包含重現情境、時間情境以及群組情境。
  3. 如申請專利範圍第2項所述的人臉標註方法，其中所述HDA架構包含資料庫的四層，其中第一層是基於所述重現情境，第二層是基於所述時間情境或所述時間-群組情境，第三層是基於所述群組情境，且第四層含有所述成員及所述擁有者的所有人臉影像。
  4. 如申請專利範圍第1項所述的人臉標註方法，其中所述FFR單元包含訓練處理程序以及測試處理程序，其中所述訓練處理程序使用自所述OSN上所分享的所述擁 有者的相片合集所獲得的經標示的人臉影像來訓練每一所述基礎分類器，且所述測試處理程序使用自所述訓練處理程序訓練的權重以產生未經標記的查詢人臉影像的AdaBoost結果評分。
  5. 如申請專利範圍第4項所述的人臉標註方法，其中所述訓練處理程序包括：基於所述Adaboost演算法來初始化所述人臉影像的所述權重；計算每一所述基礎分類器的錯誤率；以及在計算所述基礎分類器的所述權重後，藉由在每一輪期間更新樣本的所述權重來反覆地提升每一所述基礎分類器。
  6. 如申請專利範圍第5項所述的人臉標註方法，其中所述測試處理程序包括：使用所述基礎分類器與所述更新權重的線性組合來計算所述AdaBoost結果評分。
  7. 如申請專利範圍第1項所述的人臉標註方法，其中藉由整合所述HDA架構及對應的所述FFR單元來建構所述人臉辨識器的所述步驟包括：根據所述社群網路情境，帶著查詢人臉影像，按照優先級的次序來存取所述HDA架構的層級；若所述查詢人臉影像的人臉辨識評分高於人臉辨識臨限值，則標示所述查詢人臉影像；以及當所述社群網路情境的最低優先級被存取時，若所述查詢人 臉影像的所述人臉辨識評分低於所述人臉辨識臨限值，則將所述查詢人臉影像視為未經識別。
  8. 如申請專利範圍第1項所述的人臉標註方法，其中所述協作性FR策略包含使用具有最高優先級規則(Highest Priority Rule)的所述擁有者以及利用加權多數規則(Weighted Majority Rule)，其中使用具有所述最高優先級規則的所述擁有者的所述步驟包括：當所述擁有者將未經標記的查詢人臉影像上傳至所述OSN上時，具有所述最高優先級的所述擁有者的所述人臉辨識器標註所述查詢人臉影像的身份標記，且自所述成員選擇的所述人臉辨識器辨識未經識別的所述查詢人臉影像，其中利用所述加權多數規則的所述步驟包括：選擇且合併所述擁有者及所述成員的所述人臉辨識器，且根據自所述合併的人臉辨識器計算的評分來標註所述查詢人臉影像的所述身份標記。
  9. 一種人臉標註系統，用於供擁有者在線上社群網路(OSN)中標註成員，所述人臉標註系統包括：階層式資料庫存取(HDA)架構，根據各種社群網路情境，針對每一成員而設置；融合式人臉辨識(FFR)單元，設置以使用自適應增強(Adaboost)演算法來融合多個類型的基礎分類器；以及 協作性人臉辨識器，包含多個人臉辨識器，其中每一所述人臉辨識器是藉由透過各別類型的所述社群網路情境，針對所述擁有者及每一所述成員而整合所述HDA架構及對應的所述FFR單元來建構，其中所述協作性人臉辨識器藉由使用至少兩種協作性人臉辨識(FR)策略來選擇適當的個人化的所述人臉辨識器且合併多個個人化的人臉辨識器結果。
  10. 如申請專利範圍第9項所述的人臉標註系統，其中所述社群網路情境包含重現情境、時間情境以及群組情境。
  11. 如申請專利範圍第10項所述的人臉標註系統，其中所述HDA架構包含資料庫的四層，其中第一層是基於所述重現情境，第二層是基於所述時間情境或所述時間-群組情境，第三層是基於所述群組情境，且第四層含有所述成員及所述擁有者的所有人臉影像。
  12. 如申請專利範圍第9項所述的人臉標註系統，其中所述FFR單元包含訓練處理程序以及測試處理程序，其中在所述訓練處理程序中，所述FFR單元使用自所述OSN上所分享的所述擁有者的相片合集所獲得的經標示的人臉影像來訓練每一所述基礎分類器，且在所述測試處理程序中，所述FFR單元使用自所述訓練處理程序訓練的權重以產生未經標記的查詢人臉影像的AdaBoost結果評分。
  13. 如申請專利範圍第12項所述的人臉標註系統，其中在所 述訓練中，所述FFR單元基於所述Adaboost演算法來初始化所述人臉影像的所述權重，且計算每一所述基礎分類器的錯誤率，且在計算所述基礎分類器的所述權重後，藉由在每一輪期間更新樣本的所述權重來反覆地提升每一所述基礎分類器。
  14. 如申請專利範圍第12項所述的人臉標註系統，其中在所述測試處理程序中，所述FFR單元使用基礎分類器與所述更新權重的線性組合來計算所述AdaBoost結果評分。
  15. 如申請專利範圍第9項所述的人臉標註系統，其中所述人臉辨識器，帶著查詢人臉影像，根據所述社群網路情境，按照優先級的次序來存取所述HDA架構的層級，若所述查詢人臉影像的人臉辨識評分高於人臉辨識臨限值，則所述人臉辨識器標示所述查詢人臉影像，且當所述社群網路情境的最低優先級已經被存取時，若所述查詢人臉影像的所述人臉辨識評分低於所述人臉辨識臨限值，則所述人臉辨識器將所述查詢人臉影像視為未經識別。
  16. 如申請專利範圍第9項所述的人臉標註系統，其中所述協作性FR策略包含使用具有最高優先級規則(Highest Priority Rule)的所述擁有者以及利用加權多數規則(Weighted Majority Rule)，且在使用具有所述最高優先級規則的所述擁有者的所述策略中，當所述擁有者將未經標記的查詢人臉影像上傳至所述OSN上時，具有所述最高優先級的所述擁有者的所述人臉辨識器標註所述查詢人臉影像的身份標記，且所述協作性人臉辨識器使用自所 述成員選擇的所述人臉辨識器辨識未經識別的所述查詢人臉影像，且在利用所述加權多數規則的所述策略中，所述協作性人臉辨識器選擇且合併所述擁有者及所述成員的所述人臉辨識器，且根據自所述合併的人臉辨識器計算的評分來標註所述查詢人臉影像的所述身份標記。
TW103130255A 2014-07-24 2014-09-02 協作性人臉標註方法以及協作性人臉標註系統 TWI525574B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/340,553 US9195912B1 (en) 2014-07-24 2014-07-24 Face annotation method and a face annotation system

Publications (2)

Publication Number Publication Date
TW201604821A true TW201604821A (zh) 2016-02-01
TWI525574B TWI525574B (zh) 2016-03-11

Family

ID=54542902

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103130255A TWI525574B (zh) 2014-07-24 2014-09-02 協作性人臉標註方法以及協作性人臉標註系統

Country Status (2)

Country Link
US (1) US9195912B1 (zh)
TW (1) TWI525574B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019896A (zh) * 2017-07-28 2019-07-16 杭州海康威视数字技术股份有限公司 一种图像检索方法、装置及电子设备
TWI666595B (zh) * 2018-02-26 2019-07-21 財團法人工業技術研究院 物件標示系統及方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5649601B2 (ja) * 2012-03-14 2015-01-07 株式会社東芝 照合装置、方法及びプログラム
EP3274878A1 (en) 2015-09-28 2018-01-31 Google LLC Sharing images and image albums over a communication network
US10152693B2 (en) * 2015-12-03 2018-12-11 Successfactors, Inc. Mechanism for monitoring collaboration
CN110770717B (zh) 2017-05-17 2024-04-16 谷歌有限责任公司 通过通信网络与指定用户的自动图像共享
US11163941B1 (en) * 2018-03-30 2021-11-02 Snap Inc. Annotating a collection of media content items

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068309B2 (en) * 2001-10-09 2006-06-27 Microsoft Corp. Image exchange with image annotation
US7403642B2 (en) * 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation
US8423496B1 (en) * 2006-12-22 2013-04-16 Curen Software Enterprises, L.L.C. Dynamic determination of needed agent rules
US8036417B2 (en) * 2008-06-11 2011-10-11 Eastman Kodak Company Finding orientation and date of hardcopy medium
WO2010024929A1 (en) * 2008-08-30 2010-03-04 All About Choice, Inc. System, apparatus, and method for decision support
US8751942B2 (en) * 2011-09-27 2014-06-10 Flickintel, Llc Method, system and processor-readable media for bidirectional communications and data sharing between wireless hand held devices and multimedia display systems

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019896A (zh) * 2017-07-28 2019-07-16 杭州海康威视数字技术股份有限公司 一种图像检索方法、装置及电子设备
US11586664B2 (en) 2017-07-28 2023-02-21 Hangzhou Hikvision Digital Technology Co., Ltd. Image retrieval method and apparatus, and electronic device
TWI666595B (zh) * 2018-02-26 2019-07-21 財團法人工業技術研究院 物件標示系統及方法
US10685263B2 (en) 2018-02-26 2020-06-16 Industrial Technology Research Institute System and method for object labeling

Also Published As

Publication number Publication date
US9195912B1 (en) 2015-11-24
TWI525574B (zh) 2016-03-11

Similar Documents

Publication Publication Date Title
TWI525574B (zh) 協作性人臉標註方法以及協作性人臉標註系統
Sun et al. TBE-Net: A three-branch embedding network with part-aware ability and feature complementary learning for vehicle re-identification
US10025950B1 (en) Systems and methods for image recognition
Han et al. Heterogeneous face attribute estimation: A deep multi-task learning approach
CN111666843B (zh) 一种基于全局特征和局部特征拼接的行人重识别方法
Panda et al. Diversity-aware multi-video summarization
Yang et al. Deep relative attributes
Zhang et al. Feature correlation hypergraph: exploiting high-order potentials for multimodal recognition
Ma et al. The many shades of negativity
Guo et al. Group-level emotion recognition using deep models on image scene, faces, and skeletons
Ling et al. Improving person re-identification by multi-task learning
Liu et al. Ca3net: Contextual-attentional attribute-appearance network for person re-identification
Wang et al. Expression of Concern: Facial feature discovery for ethnicity recognition
CN109284675A (zh) 一种用户的识别方法、装置及设备
Wang et al. CLARE: A joint approach to label classification and tag recommendation
Zhang et al. Boosted multi-class semi-supervised learning for human action recognition
Chen et al. Discriminative BoW framework for mobile landmark recognition
Ge et al. Visual-textual association with hardest and semi-hard negative pairs mining for person search
Galiyawala et al. Person retrieval in surveillance using textual query: a review
Sitaula et al. Unsupervised deep features for privacy image classification
TW201604795A (zh) 人臉標註方法以及人臉標註系統
Zhang et al. Deep feature learning with attributes for cross-modality person re-identification
US8208696B2 (en) Relation tree
Umeda et al. Attribute discovery for person re-identification
Rehman et al. Person re-identification post-rank optimization via hypergraph-based learning

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees