TWI395143B - 數位相機及攝影機用之人臉辨識及使用者介面系統 - Google Patents

數位相機及攝影機用之人臉辨識及使用者介面系統 Download PDF

Info

Publication number
TWI395143B
TWI395143B TW097113509A TW97113509A TWI395143B TW I395143 B TWI395143 B TW I395143B TW 097113509 A TW097113509 A TW 097113509A TW 97113509 A TW97113509 A TW 97113509A TW I395143 B TWI395143 B TW I395143B
Authority
TW
Taiwan
Prior art keywords
face
candidate
target
user
image
Prior art date
Application number
TW097113509A
Other languages
English (en)
Other versions
TW200912767A (en
Inventor
Chi Sun Jackson Tang
Original Assignee
Mira Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mira Electronics Co Ltd filed Critical Mira Electronics Co Ltd
Publication of TW200912767A publication Critical patent/TW200912767A/zh
Application granted granted Critical
Publication of TWI395143B publication Critical patent/TWI395143B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

數位相機及攝影機用之人臉辨識及使用者介面系統
本發明大體而言係關於臉孔辨識方法及裝置,特別是關於可使使用者介入之臉孔辨識方法。
臉孔辨識係由二部份組成,第一部分為臉孔偵測,偵測含一或多個人臉孔作為標的臉孔之影像。第二部份為經由比較臉部特徵之相似性,比對經偵測之標的臉孔與其他儲存臉孔。在經捕捉之影像中的臉孔辨識使用於許多領域,例如,可連結並組織相同身分而於不同時刻、地點及經由不同裝置捕捉之所有影像。
然而,多數臉孔辨識演算經常錯誤且精確性通常相當低,辨識精確性受到成像條件的重大影響,例如影像捕捉裝置之照明條件、拍攝角度及成像品質。此外,經由時間及其他因素,例如髮型、化妝、皮膚顏色等人臉孔之變化可引起辨識結果之正確性降低。再者,臉孔辨識演算需要非常大量之計算,且大多數嵌入式或移動式影像捕捉裝置不具有足夠之計算力以高效率執行複雜之臉孔辨識。然而,適於嵌入式或移動式影像捕捉裝置之低複雜性演算較不精確。
因此,就記算效率及辨識精確性而言,極需一種可於嵌入式或移動式影像捕捉裝置中令人滿意地執行的臉孔辨識程式。
本發明之一特徵為提供一種用於嵌入式或移動式影像及視訊捕捉裝置之臉孔辨識方法。該所揭示之方法可以自動臉孔比對程式體現,其可比對當前所偵測之臉孔與在資料庫中儲存之臉孔,結果,使用者介面顯示由最信賴候選人至較低信賴候選人之比對結果。若最信賴候選人吻合該偵測臉孔,則新偵測之臉孔影像會被記錄,並聯結資料庫中吻合影像之身分而用於將來之比對及擷取。
本發明另一特徵為提供一種經由使用者介入機制增進臉孔辨識精確性之方法。若對於偵測臉孔經由自動臉孔比對程式而辨識錯誤之候選人,使用者可核對並改變所辨識之候選人。
本發明另一特徵為提供一種用於使用者介入機制之整合使用者介面裝置。所揭示之整合使用者介面可使使用者在捕捉之影像中所有已偵測之臉孔中辨識及切換,核對並改變所辨識之候選人。
本發明之揭示可經由以下提供之具體實施例敘述。然而,必須理解,以下之具體實施例並非必然地限定本揭示,僅用於代表性實施本發明。
總結本發明之各觀點,參照詳細之本發明敘述,如於圖式中說明。同時本發明將結合這些圖式加以說明,但並無意圖將其限制於本文中所揭示之具體實施例或具體實施 例。相反地,其意圖含蓋後附申請專利範圍所定義之本發明精神及範圍中的所有選擇、修正及等效物。
須注意的是,本文之圖式已提供說明本發明具體實施例之某些特色及觀點,由本文所提供之敘述將可察知,各種選擇性具體實施例及實施可被理解,符合本發明之範圍及精神。
亦須注意的是,本文之圖式與一些尺寸並不相符,某些構件之一些尺寸與其他構件之尺寸並不相符,以便提供綜合的敘述及突顯本發明。
參照第1A圖,其為根據本發明一具體實施例之具有自動資料庫更新機制的臉孔辨識方法之流程圖100A。首先,提供一影像並偵測出現於顯示影像範圍內之人臉孔(101A、102A)。當多數臉孔可由影像偵測,在所偵測之臉孔中,標的臉孔將被限定(103A),例如,經由使用者。偵側之標的臉孔具有一套擷取的標的臉部特徵。然後,針對標的臉孔,產生含一或多個候選人臉孔之候選人名冊(104A)。經由對照預先儲存於臉孔資料庫中之臉部特徵記錄,搜尋標的臉部特徵而產生該候選人名冊。候選人名冊中,各候選人臉孔具有一套候選人自己之臉部特徵。最後,標的臉部特徵與上述候選人臉部特徵比較,據此,吻合之候選人臉孔由候選人名冊中決定出(105A)。一般而言,此吻合之候選人臉孔為候選人名冊中最信賴候選人臉孔,然後,該儲存於臉孔資料庫中吻合之候選人臉孔的臉部特徵依標的臉部特徵更新(106A)。需注意的是,如先前所提及,可於單 一影像中偵測多數臉孔,因此,在一較佳實例中,所揭示之方法進一步包括在所偵測之臉孔中轉換至指定的標的臉孔,如圖中虛線107A所表示之辨識/資料庫-更新動作後,整個程序依此循環執行,直至影像中所有臉孔被分析。或者是,使用者可選擇以終止此具有一些不吻合的偵測臉孔之循環程序。
參照第1B圖,其為根據本發明另一具體實施例之具有自動資料庫更新機制之臉孔辨識方法的流程圖100B。流程圖100B所表示之方法不同於流程圖100A所表示者,流程圖100B進一步包含接收使用者輸入,其指定一經使用者由候選人名冊中選出之吻合候選人臉孔(108B)。若經使用者選擇之吻合候選人臉孔完全相同於上述吻合候選人臉孔,即最信賴候選人臉孔,然後最信賴候選人臉孔臉部特徵以標的臉部特徵更新(106B)。然而,若經使用者選擇吻合候選人臉孔不同於最信賴候選人臉孔,經使用者選擇吻合候選人臉孔之臉部特徵以標的臉部特徵更新(106B)。
在一實例中,藉由修正至少一個由至少一程式表示之圖形特徵的外觀,將上述使用者輸入經一圖形化之使用者介面輸入。在另一實例中,經使用者選擇之吻合候選人臉孔機制可在使用者之要求下略過,該使用者可經由提供一個輸入指示主動地取消該機制。在此狀況下,儲存於資料庫之最信賴候選人臉孔的候選人臉部特徵將以標的臉部特徵更新。
在對於資料庫而言,標的臉孔實際上為新的且並無先前記錄可比對之情況,該方法可進一步包含經由提供一使用者輸入,使使用者指定候選人名冊中至少一個候選人增加至資料庫中。然後,在答覆中,特定候選人臉孔及其候選人臉部特徵將被增加至資料庫,其中候選人臉部特徵資料被儲存。
除照片外,顯示之影像可為自視訊擷取之畫面,特別是當主題為追蹤視訊中的特定臉孔。在此狀況下,若以每一畫面一一分析則是無效率的計算。為提供改善的視訊臉孔追蹤,所揭示之方法進一步包含畫面重估計機制,用以確認“關鍵畫面”,其定義為與先前畫面之追蹤臉孔具有新的或非常不同的臉部特徵之畫面。因此,視訊被區分成數個有意義的臉部特徵變化之關鍵畫面。結果,在臉孔追蹤期間僅檢查關鍵畫面;相似特徵之畫面將被跳過,大大的降低全面臉孔辨識計算時間。在本發明之一實施例中,經由以下程序提供影像:(1)自提供之視訊畫面的某些畫面位置(稱為畫面編號n)上偵測任意的標的臉孔,其在畫面編號n具有一套任意的標的臉部特徵;(2)自提供之視訊後續畫面之畫面編號n+1,偵測上述任意的標的臉孔,此時,其在畫面編號n+1具有一套任意的標的臉部特徵;(3)比較畫面編號n與畫面編號n+1之任意的標的臉部特徵,當比較結果指出於畫面編號n+1之任意的標的臉部特徵為新的或不同於畫面編號n者時,標記畫面編號n+1之畫面為影像以顯示之,或是,標記畫面編號n之畫面為影像以顯示之。 需注意的是,任意的標的臉孔並不必然為上文所述受關注的標的臉孔。
此外,在視訊臉孔追蹤中,連續視訊中的某些畫面有著因為光線不足、突然移動、陰影、受限的成像角度等導致不清楚或無法辨識的標的臉部特徵,而使成像條件太差的情況。為克服此點,在本發明一實施例中,所揭示之方法進一步包括確保用於分析之臉部特徵的品質之特徵評比機制,該機制首先在視訊的畫面之某一畫面位置(稱為畫面編號n)中偵測任意的標的臉孔,並擷取出一套任意的標的臉部特徵用於畫面編號n之特定任意的標的臉孔。然後,於畫面編號n對於任意的標的臉孔評估積分。其次,於在後續視訊畫面的畫面編號n+1中,上述任意的標的臉孔再次被偵測,且於畫面編號n+1擷取一套任意的標的臉部特徵。然後,於畫面編號n+1所擷取之任意的標的臉孔再次被評估積分。最後,比較二組經評估之積分,當比較結果指出於畫面編號n+1之任意的標的臉孔之積分高於畫面編號n者時,則畫面編號n+1之任意的標的臉部特徵將被標記為畫面編號n之任意的標的臉部特徵,且該標的臉部特徵用於比對分析,或是,畫面編號n之任意的標的臉部特徵將被標記為畫面編號n之任意的標的臉部特徵,且該標的臉部特徵用於比對分析。積分評估係根據例如臉孔定位、清晰度、外型、明暗條件、陰影及其他基準等指數,因此,高品質特徵總是被選擇用於分析,此可致使改進比對之正確性。應該注意的是,此機制也可同時監測該標的臉 孔及背景臉孔。個別的臉孔可由影像至影像中出現及消失;想法是要確定什麼時候臉孔被分析、用於分析之臉部特徵是合適的。
參照第2A圖,其為本發明另一具體實施例之一臉孔辨識裝置200A方框圖。所揭示之臉孔辨識裝置包含顯示影像之顯示模組210A、偵測模組220A、候選人名冊產生模組230A、比較模組240A、使用者輸入模組250A、補充比較模組260A、及資料庫更新模組270A。顯示模組210A可為一液晶顯示器(LCD)、電漿顯示器、發光二極體(例如有機發光二極體(OLED))顯示器或任何形式之圖像顯示器。偵測模組220A電偶合於顯示模組210A,以自顯示之影像偵測標的臉孔,據此將指定的偵測標的臉孔產生偵測結果,其中該標的臉孔具有一套擷取的標的臉部特徵。該候選人名冊產生模組230A電性耦合於偵測模組220A、比較模組240A及儲存媒體280A,候選人名冊產生模組230A由偵測模組220A接收偵測結果,在比對標的臉孔上產生一或多個候選人臉孔之候選人名冊,其中各候選人臉孔具有一套自己的候選人臉部特徵,該候選人臉部特徵資料被儲存於儲存媒體280A之資料庫中。比較模組240A電偶合於候選人名冊產生模組230A、補充比較模組260A及儲存媒體280A,比較模組240A自候選人名冊產生模組230A接收候選人名冊,根據標的臉部特徵及各候選人臉孔之候選人臉部特徵,比較標的臉孔與各候選人臉孔,據此產生指出候選人名冊中第一吻合候選人臉孔之第一比較結果。一般而言, 此第一吻合候選人臉孔為最信賴候選人臉孔。使用者輸入模組250A用於接收使用者輸入,其為指定的第二人選、候選人名冊中之使用者確定之吻合候選人臉孔。使用者輸入模組250A可為一按鈕、鍵盤、觸控面板、聲控裝置或任何輸入工具。補充比較模組260A電偶合於使用者輸入模組250A、資料庫更新模組270A及比較模組240A,用於自使用者輸入模組250A及由比較模組240A之第一比較結果接收使用者輸入。在應答中,其各根據第一及第二吻合候選人臉孔之候選人臉部特徵,比較第一及第二吻合候選人臉孔,據此產生第二比較結果。資料庫更新模組270A電偶合於偵測模組220A、補充比較模組260A及儲存媒體280A。資料庫更新模組270A由偵測模組220A接收標的臉部特徵資料。此外,其由補充比較模組260A接收第二比較結果並應答,當第二比較結果指出第一及第二吻合候選人臉孔同一時,以標的臉部特徵更新儲存於資料庫中第一吻合候選人臉孔之候選人臉部特徵,不然,其以標的臉部特徵更新儲存於資料庫中的第二吻合候選人臉孔之候選人臉部特徵。
再次參照第2A圖,當偵測模組220A由顯示影像中偵測一個以上之標的臉孔時,使用者輸入模組250A可接收額外的使用者輸入以從所偵測之臉孔中指出標的臉孔。然後,在應答中,該偵測模組220A相應地產生偵測結果,即,當經由額外的使用者輸入指定,指出標的臉孔。
參照第2B圖,其為本發明較佳實施例之臉孔辨識裝置200B方框圖。如圖所示,使用者輸入模組250B電性耦合於資料庫更新模組270B。在使用者決定之情況中,標的臉孔對於資料庫而言是新的,且應增加至資料庫用於進一步比對,使用者輸入模組250B接收額外的使用者輸入,該輸入指定候選人名冊中至少一候選人臉孔增加至資料庫。在應答中,該資料庫更新模組270B藉由增加至少一候選人臉孔於經額外之使用者輸入指定的候選人名冊更新資料庫。
須注意的是,所揭示之裝置經由提供一使用者輸入可使使用者主動取消上述使用者選擇功能。再次參照第2B圖,在此狀況下,使用者輸入模組250B接收進一步之使用者輸入,該輸入指定取消使用者選擇功能,且第一吻合候選人臉孔以標的臉孔更新。在應答中,資料庫更新模組270B以標的臉部特徵更新第一吻合候選人臉孔之候選人臉部特徵。
參照第2C圖,其為本發明另一較佳實施例之臉孔辨識裝置200C方框圖。如圖所示,在與200A及200B比較下,臉孔辨識裝置200C進一步包含一標記模組290C,其電偶合於顯示模組210C、偵測模組220C及比較模組240C。如前言所述,在先前段落中有提及本發明揭示一種用於視訊中增快臉孔追蹤的“關鍵畫面”操作。當執行功能時,顯示模組210C顯示視訊,偵測模組220C自所提供視訊畫面中某一畫面位置(稱為畫面編號n)偵測任意的標的臉孔,並自所提供視訊後續畫面中畫面編號n+1偵測相同任意的標 的臉孔,其中任意的標的臉孔於畫面編號n及畫面編號n+1各具有一套任意的標的臉部特徵。然後,該比較模組240C比較畫面編號n及畫面編號n+1之任意的標的臉部特徵,據此產生第三比較結果。標記模組290C自比較模組240C接收第三比較結果,當第三比較結果指出於畫面編號n+1之任意的標的臉部特徵不同於畫面編號n之任意的標的特徵時,標記模組290C標記該畫面編號n+1畫面作為影像,以提供至顯示模組210C顯示,或是,標記畫面編號n+1之畫面作為畫面編號n之畫面以被偵測模組220C偵測。需注意的是,任意的標的臉孔不需為先前段落中所述之標的臉孔。
參照第2D圖,其為符合本發明另一較佳實施例之臉孔辨識裝置200D方框圖。如先前段落中所述,本發明揭示一種特徵評估機制,以確保在所有時間內皆有優質的臉部特徵用於分析。如圖中所示,與200A、200B及200C比較,臉孔辨識裝置200D進一步包含特徵評估模組292D,其電偶合於偵測模組220D及比較模組240D。此外,標記模組290D電性耦合於特徵評估模組292D及比較模組240D。當執行功能時,顯示模組210D顯示一視訊,偵測模組220D偵測並自所提供視訊之影像中某一畫面位置(稱為畫面編號n)擷取任意的標的臉孔之一套臉部特徵,及自視訊之後續畫面中畫面編號n+1之相同任意的標的臉孔。應答偵測模組,特徵評估模組292D於畫面編號n對任意的標的臉孔評價積分,據此以產生第一特徵積分,並於畫面編號n+1對相 同任意的標的臉部特徵評價積分,據此以產生第二特徵積分。然後,該比較模組240D自特徵評估模組292D接收第一及第二積分,並在應答中,比較第一特徵積分與第二特徵積分,據此以產生第四比較結果。然後,標記模組290D接收第四比較結果,並應答,當第四比較結果指出,該第二特徵積分高於第一特徵積分時,標記該畫面編號n+1任意的標的臉孔之臉部特徵為在畫面編號n之任意的標的臉部特徵於特徵評估模組292D,及該標的臉部特徵於比較模組240D,或是,標記畫面編號n任意的標的之臉部特徵為畫面編號n任意的標的臉部特徵於特徵評估模組292D,及該標的臉部特徵於比較模組240D。積分評估係根據例如臉孔定位、清晰度、外型、明暗條件、陰影及其他基準之指數。
參照第3A圖,在本發明之第三具體實施例,揭示電子影像擷取裝置300A以使用者介面之型式體現本發明。如圖所示,所提及之系統300A包含一顯示器310A及輸入鍵361A、362A、363A、364A、及370A。當使用者捕捉一影像時,檢查靜止之影像或以電子影像擷取裝置300A錄製視訊,該使用者可啟動本發明揭示之臉孔辨識程式,經由使用本發明亦所揭示之輸入鍵361A、362A、363A、364A、及370A以啟動使用者介面。一旦使用者介面程式啟動,該使用者將可見到即時捕捉之影像320A於顯示器310A之視窗右上方。臉孔偵測程式將偵測影像320A中一或多個出現之人臉孔,所偵測之臉孔將以醒目範圍框(bounding box) 321A及322A標識,其在一影像中將有一個主動選擇偵測臉孔及各被動選擇偵測臉孔。主動選擇偵測臉孔將以具體範圍框321A標識,且主動選擇臉孔略圖331A將顯示於顯示器310A底部平面之選擇帶330A上。經由按左右輸入鍵362A及364A,使用者可選則不同之主動選擇臉孔。
一旦使用者已選擇主動選擇臉孔,例如於選擇帶330A顯示之各別略圖331A的影像320A中具有具體範圍框321A之臉孔,所揭示的臉孔辨識程式將比對主動選擇臉孔影像與存於儲存媒體資料庫中所記錄的臉孔。臉孔辨識程式將自資料庫比對臉孔,以由高至低正確性之信賴程度,並依下降上升之順序顯示吻合之候選人於候選人帶340A上。如第3A圖所示,總共2位候選人依下降之順序顯示。對於特定候選人,先前記錄之略圖影像將顯示候選人帶340A。較高信賴之候選人被標記於範圍框341A,而隨後是較低信賴之候選人342A。'增加新的'輸入343A被列於候選人帶340A上,在此情況,該使用者決定所偵測臉孔對於資料庫是新的,且無先前記錄可吻合。
關於特定候選人,例如較高信賴之候選人341A,儲存於資料庫之相關臉孔略圖將顯示於相關的略圖帶350A,其鄰近於候選人帶340A。於候選人帶340A上,相關臉孔略圖事先被記錄與現時選擇之候選人所連結之相同身份的臉孔影像。若使用者使用上/下鍵361A及363A選擇另一候選人以吻合主動選擇臉孔,例如次一位候選人342A,則相關的略圖帶350A將顯示代替之候選人342A相關臉孔略圖。 一旦使用者在候選人帶340A上完成選擇最佳候選人或創設一新的輸入,則使用者可使用輸入鍵370A以確認對於現時主動選擇臉孔之選擇,或可等待短暫之可程式時間以自動確認。然後該使用者可認可且經由使用左/右鍵362A及364A選擇另一偵測臉孔作為主動選擇臉孔,以比對其他檢測臉孔,或經由使用其他使用者輸入鍵以跳過現時捕捉影像之臉孔辨識程序。此外,例如一聲音介面380A可供作聲音輸出模組,以指示該使用者作選擇。及/或,聲音介面380A可用於使用者執行聲音輸入模組,例如一麥克風,以進行聲控。
參照第3B圖,其為當使用者使用左/右鍵362B及364B自選擇帶330B選擇另一偵測臉孔332B作為主動選擇臉孔時之一電子影像擷取裝置300B的螢幕顯示器320B。影像中個別臉孔將以具體範圍框322B凸顯,個別略圖332B將顯示於選擇帶330B上。再者,該臉孔辨識程序將於儲存媒體所存之資料庫中,比對影像與臉孔記錄用於由最高正確性信賴程度至較低正確性信賴程度之潛在候選人,該候選人將對於此主動選擇以下降或上升順序顯示於候選人帶340B上。如圖所示,僅一位候選人341B顯示為主動選擇臉孔332B。
參照第4圖,其為建議之臉孔辨識系統的流程圖400,其包括以一程式體現之方法、一使用者介面及一以記錄模式運行之裝置,於數位相機、攝影機、行動電話或包括相機及處理系統之任何其他計算裝置上操作。首先,經由 使用者(410、420)開始視訊擷取操作。其次,若臉孔比對使用者介面被設定為開啟(430),則該建議系統核對。若設定為開啟,然後視訊將被記錄(431),且將分析錄製之影像以偵測及辨識出現於影像(432)之任何臉孔,這些吻合記錄在操作後將被更新至資料庫。若該使用者使用使用者介面以選擇另一候選人來代替自動尋找之最信賴候選人,則系統將登記主動選擇臉孔之臉部特徵至所選擇之候選人(433、434)。然後臉孔資料庫將被記錄並更新(435)。若該使用者選擇增加新的臉孔身分輸入,則該增加可以即時方式完成,或在隨後時間依使用者排定(434、435)。若該使用者選擇機制設定為關閉,則視訊將被記錄(440),且錄影之影像將被分析以尋找並辨識任何所偵測之臉孔(450)。視訊將被記錄,但在此模式不會執行登記偵測臉孔記錄於資料庫中(460)。
參照第5圖,其為一建議臉孔辨識系統之流程圖500,其包括將臉孔辨識方法體現之程式、一使用者介面及一以播放及編輯模式運行之裝置,於數位相機、攝影機、行動電話或包括相機及處理系統之任何其他攫取裝置上操作。首先,經使用者開始影像檢查或視訊播放操作(510)。其次,若臉孔比對使用者介面被設定為開啟,則該建議系統核對(520)。若設定為關閉,則使用者可重複各擷取影像,或該記錄之視訊將被重放直至順序終了(521、522)。若臉孔比對使用者介面設定為開啟,如果操作於“關鍵畫面比對模式”則系統將核對(530),關鍵畫面比對模式將於下列詳細描 述。若系統不在關鍵畫面比對模式下,則使用者可如同在記錄模式一樣,於播放模式期間執行該臉孔比對操作(531、532、533)。視訊影像將被分析以偵測並辨識影像中之任何偵測臉孔;若使用者使用使用者介面以選擇另一位候選人取代自動尋找之最信賴候選人(531),則系統將登記該主動選擇臉孔之臉部特徵成為經選擇候選人(532)。然後臉孔資料庫將被記錄並更新(533)。若使用者選擇增加臉孔身分之新的輸入,則該增加可以即時方式完成,或在隨後時間依使用者排定(531、532、533)。視訊將持續重放直至順序終了。若系統在關鍵畫面比對模式下,則視訊順序將以顯示含新的或不同的臉孔特徵之唯一關鍵畫面的方式重放(540)。當關鍵畫面如同在記錄模式一樣被播放,使用者可執行該臉孔比對操作(550、560、570)。隨著視訊畫面以相同或相似之臉部特徵被跳過,更有效率及更快速的比對臉孔。
參照第6圖,其為顯示依據本發明實施例之關鍵畫面確認及指定之一流程圖600,該方法以畫面數目為基礎體現。首先,視訊根據臉孔偵測及臉部特徵擷取分析,視訊中之畫面被指定一畫面數目(610、620、630、640)。其次,該擷取之臉部特徵被用於在關注畫面中追蹤對應之臉孔候選人(650)。若在追蹤之下臉孔候選人之畫面含新的或差異大的特徵,則其將被選擇以標記成具有某些關鍵畫面序號之關鍵畫面,且在追蹤下之臉孔特徵將以此新的關鍵畫面登記(660、661、663)。若無新的或差異大的特徵發生於關注 畫面中,此畫面之特徵將與現行具有某些關鍵畫面數目之關鍵畫面比較,以決定該關注畫面是否符合置換此現行關鍵畫面之條件(660、662、664、666)。
參照第7圖,其為顯示依據本發明實施例,使用積分基礎方法,於不同視訊畫面間臉孔追蹤之臉部特徵選擇流程圖700,該方法以畫面數目為基礎體現。首先,視訊根據臉孔偵測及臉部特徵擷取分析,在追蹤二畫面A及B下,臉孔之臉部特徵被擷取(710、711、720、721)。同時,根據例如臉孔定位、清晰度、外型、明暗條件、陰影及其他基準之指數評估在追蹤畫面A及畫面B下臉孔之積分(712、722)。其次,比較評估之積分(730),且較高積分畫面之臉部特徵將選擇作為用於後續臉孔之特徵(740、750~751、760~761)。
前述說明並非意圖詳盡或限制本發明於所揭示之形式,可按照上述技術而明顯修正或改變。就此而言,選擇及敘述具體實施例或所討論之具體實施例以提供本發明原理及其實際應用之最佳說明,因此熟悉技術者能應用本發明於不同具體實施例及不同之修正適於所預期之特定用途。當解釋時,其被公平合法的賦予將所有此類修正及變化皆包含於本發明申請專利範圍所確定之範圍內。
必須了解,許多修改、變化及替代欲包含於前述揭示中,且在本發明一些實例中,一些特徵將無其他特徵之對應使用下使用。因此,擴大並與本發明範圍相符程度之方式解釋申請專利範圍是適當的。
200A、200B、200C、200D‧‧‧臉孔辨識裝置
210A、210C‧‧‧顯示模組
220A、220C、220D‧‧‧偵測模組
230A‧‧‧候選人名冊產生模組
240A、240C、240D‧‧‧比較模組
250A、250B‧‧‧使用者輸入模組
260A‧‧‧補充比較模組
270A、270B‧‧‧資料庫更新模組
280A‧‧‧儲存媒體
290C、290D‧‧‧標記模組
292D‧‧‧特徵評估模組
300A、300B‧‧‧電子影像擷取裝置
310A‧‧‧顯示器
320A‧‧‧影像
320B‧‧‧螢幕顯示器
321A、322A、321B、322B、323B‧‧‧範圍框
330A、330B‧‧‧選擇帶
331A、332A、331B、332B、333B‧‧‧略圖
340A、340B‧‧‧候選人帶
341A、342A、341B‧‧‧候選人
343A、342B‧‧‧新輸入候選人
350A、350B‧‧‧略圖帶
361A、362A、363A、364A、370A、361B、362B、363B、364B、370B‧‧‧輸入鍵
380A、380B‧‧‧聲音介面
本發明之圖示合併並構成說明書之一部分,以闡明本發明之數個觀點,並與發明說明一起作為解釋該揭示之原理。在圖示中:第1A圖為根據本發明一具體實施例之臉孔辨識方法流程圖;第1B圖為根據本發明另一具體實施例之臉孔辨識方法流程圖;第2A圖為根據本發明另一具體實施例之臉孔辨識裝置方框圖;第2B圖為根據本發明較佳實施例之臉孔辨識裝置方框圖;第2C圖為根據本發明另一較佳實施例之臉孔辨識裝置方框圖;第2D圖為根據本發明另一較佳實施例之臉孔辨識裝置方框圖;第3A圖為說明以使用者介面型式體現本發明之電子影像擷取裝置;第3B圖為另一說明以使用者介面型式體現本發明之電子影像擷取裝置;第4圖為以一程式、一使用者介面及一裝置,以記錄模式運行,操作於影像擷取裝置上,體現本發明之流程圖; 第5圖為以一程式、一使用者介面及一裝置,以播放及編輯模式運行,操作於影像擷取裝置上,體現本發明之流程圖;第6圖為顯示依據本發明實施例之確認及指定關鍵畫面之一流程圖;及第7圖為顯示依據本發明實施例,使用積分基礎方法,於不同視訊畫面間臉孔追蹤之臉部特徵選擇之流程圖。
200A‧‧‧臉孔辨識裝置
210A‧‧‧顯示模組
220A‧‧‧偵測模組
230A‧‧‧候選人名冊產生模組
240A‧‧‧比較模組
250A‧‧‧使用者輸入模組
260A‧‧‧補充比較模組
270A‧‧‧資料庫更新模組
280A‧‧‧儲存媒體

Claims (5)

  1. 一種臉孔辨識方法,其包含:提供一影像;自該影像界定一標的臉孔,該標的臉孔具有一套擷取標的臉部特徵;對於該標的臉孔產生一含一或多個候選人臉孔之候選人名冊,在該候選人名冊上之每一候選人臉孔具有其各自之一套候選人臉部特徵;根據比較該標的臉部特徵與該候選人臉部特徵,自該候選人名冊中決定出吻合之候選人臉孔;及以該標的臉部特徵更新該吻合候選人臉孔之候選人臉部特徵,使用者可選擇以終止此具有一些不吻合的偵測臉孔之循環程序。
  2. 一種電子影像擷取裝置,其包含:一顯示器,用於呈現至少一視窗,其中一第一視窗,顯示一影像;一第二視窗,顯示一或多個第一臉孔略圖,該第一臉孔略圖為自該影像偵測之臉孔,其中之一標的臉孔被辨識;一第三視窗,顯示一或多個第二臉孔略圖,該第二臉孔略圖為在比對該標的臉孔上之候選人臉孔,該候選人臉孔之一為經使用者選擇之候選人臉孔; 一第四視窗,顯示一或多個第三臉孔略圖,該第三臉孔略圖為關於該經使用者選擇候選人臉孔之臉孔或臉部特徵;及一使用者輸入模組,用於接收至少一使用者輸入,其中一第一使用者輸入自該第一略圖中指定出該標的臉孔;及一第二使用者輸入自該第二略圖中指定出該經使用者選擇之候選人臉孔。
  3. 如申請專利範圍第2項之電子影像擷取裝置,其進一步包含:一圖像,於該第三視窗;及一第三使用者輸入,經由該使用者輸入模組接收,該第三使用者輸入指定該標的臉孔增加至一資料庫,其中該臉部特徵資料經選擇該圖像而儲存。
  4. 如申請專利範圍第2項之電子影像擷取裝置,其中該顯示器為液晶顯示器、電漿顯示器或發光二極體顯示器。
  5. 如申請專利範圍第2項之電子影像擷取裝置,其中該使用者輸入模組為按鈕、鍵盤、觸控面板及聲控裝置。
TW097113509A 2007-04-13 2008-04-14 數位相機及攝影機用之人臉辨識及使用者介面系統 TWI395143B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US91155907P 2007-04-13 2007-04-13

Publications (2)

Publication Number Publication Date
TW200912767A TW200912767A (en) 2009-03-16
TWI395143B true TWI395143B (zh) 2013-05-01

Family

ID=39969574

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097113509A TWI395143B (zh) 2007-04-13 2008-04-14 數位相機及攝影機用之人臉辨識及使用者介面系統

Country Status (3)

Country Link
US (1) US8285006B2 (zh)
CN (1) CN101295352B (zh)
TW (1) TWI395143B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805766B1 (en) 2016-07-19 2017-10-31 Compal Electronics, Inc. Video processing and playing method and video processing apparatus thereof

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP5043736B2 (ja) * 2008-03-28 2012-10-10 キヤノン株式会社 撮像装置及びその制御方法
CN101588450B (zh) 2008-05-19 2013-08-14 株式会社日立制作所 记录再现装置及方法
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US20100071003A1 (en) * 2008-09-14 2010-03-18 Modu Ltd. Content personalization
JP5366676B2 (ja) * 2009-06-22 2013-12-11 キヤノン株式会社 撮像装置及びその制御方法とプログラム、記憶媒体
US8605956B2 (en) * 2009-11-18 2013-12-10 Google Inc. Automatically mining person models of celebrities for visual search applications
TWI466034B (zh) * 2009-12-23 2014-12-21 Altek Corp Methods to Improve Face Recognition
TWI487370B (zh) * 2010-02-24 2015-06-01 Ability Entpr Co Ltd 數位放大影像的方法及圖形使用者介面的操作方法
US8810684B2 (en) * 2010-04-09 2014-08-19 Apple Inc. Tagging images in a mobile communications device using a contacts list
US11393133B2 (en) * 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US8897816B2 (en) * 2010-06-17 2014-11-25 Nokia Corporation Method and apparatus for locating information from surroundings
TWI419548B (zh) * 2010-09-16 2013-12-11 Acer Inc 觀賞眼鏡及其影像光束調整方法
EP2453386B1 (en) * 2010-11-11 2019-03-06 LG Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
US20120251078A1 (en) * 2011-03-31 2012-10-04 Microsoft Corporation Aggregated Facial Tracking in Video
US8949123B2 (en) 2011-04-11 2015-02-03 Samsung Electronics Co., Ltd. Display apparatus and voice conversion method thereof
JP2012244525A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
EP2573759A3 (en) * 2011-09-20 2013-09-25 Samsung Electronics Co., Ltd. Display apparatus and method
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US11914674B2 (en) 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11195057B2 (en) 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9286641B2 (en) * 2011-10-19 2016-03-15 Facebook, Inc. Automatic photo capture based on social components and identity recognition
CN103093177A (zh) * 2011-10-28 2013-05-08 台湾色彩与影像科技股份有限公司 人脸辨识监控管理方法
JP5000781B1 (ja) * 2011-11-09 2012-08-15 楽天株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
TWI499289B (zh) * 2013-01-25 2015-09-01 Wistron Corp 媒體內容推薦方法及媒體播放系統
EP3063731B1 (en) 2013-10-28 2020-03-04 Google LLC Image cache for replacing portions of images
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
WO2015169619A1 (en) 2014-05-05 2015-11-12 Koninklijke Philips N.V. Device with a camera and a screen
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
KR102209070B1 (ko) * 2014-06-09 2021-01-28 삼성전자주식회사 동영상의 썸네일 영상을 제공하는 장치 및 방법
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104751136B (zh) * 2015-03-11 2018-04-27 西安理工大学 一种基于人脸识别的多相机视频事件回溯追踪方法
US9852543B2 (en) * 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
US10956493B2 (en) 2015-05-19 2021-03-23 Micro Focus Llc Database comparison operation to identify an object
WO2017004464A1 (en) 2015-06-30 2017-01-05 Nec Corporation Of America Facial recognition system
US11843597B2 (en) * 2016-05-18 2023-12-12 Vercrio, Inc. Automated scalable identity-proofing and authentication process
US10148649B2 (en) * 2016-05-18 2018-12-04 Vercrio, Inc. Automated scalable identity-proofing and authentication process
KR20170131101A (ko) * 2016-05-20 2017-11-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN108337546B (zh) * 2017-01-20 2020-08-28 杭州海康威视数字技术股份有限公司 一种目标对象显示方法及装置
CN106851199A (zh) * 2017-02-07 2017-06-13 深圳云天励飞技术有限公司 一种视频处理方法及装置
WO2018165912A1 (en) * 2017-03-15 2018-09-20 SZ DJI Technology Co., Ltd. Imaging method and imaging control apparatus
CN109215055A (zh) * 2017-06-30 2019-01-15 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
US10366279B2 (en) 2017-08-29 2019-07-30 Bank Of America Corporation System for execution of multiple events based on image data extraction and evaluation
JP7216491B2 (ja) * 2018-07-27 2023-02-01 シャープ株式会社 ユーザー選択補助装置、画像形成装置、ユーザー選択補助方法およびユーザー選択補助プログラム
CN111078804B (zh) * 2019-12-09 2024-03-15 武汉数文科技有限公司 一种信息关联方法、系统及计算机终端
CN111325139B (zh) * 2020-02-18 2023-08-04 浙江大华技术股份有限公司 一种唇语识别方法及装置
EP3886441B1 (en) * 2020-03-24 2022-07-06 Axis AB Video camera and method for analyzing a video stream
US11244169B2 (en) 2020-06-15 2022-02-08 Bank Of America Corporation System for executing multiple events based on video data extraction and evaluation
TWI819417B (zh) * 2021-11-26 2023-10-21 元氣智能股份有限公司 以並行卷積神經網路進行模式選擇的人臉識別的系統和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW420939B (en) * 1999-06-29 2001-02-01 Ind Tech Res Inst Human face detection method
TW505892B (en) * 2001-05-25 2002-10-11 Ind Tech Res Inst System and method for promptly tracking multiple faces
US20040120561A1 (en) * 2000-06-30 2004-06-24 Yoshihiro Goto Image diagnosis supporting device
US20050207622A1 (en) * 2004-03-16 2005-09-22 Haupt Gordon T Interactive system for recognition analysis of multiple streams of video
TWI260556B (en) * 2004-12-10 2006-08-21 Kinpo Elect Inc Image recognition and authentication method for digital camera

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558408B1 (en) * 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW420939B (en) * 1999-06-29 2001-02-01 Ind Tech Res Inst Human face detection method
US20040120561A1 (en) * 2000-06-30 2004-06-24 Yoshihiro Goto Image diagnosis supporting device
TW505892B (en) * 2001-05-25 2002-10-11 Ind Tech Res Inst System and method for promptly tracking multiple faces
US20050207622A1 (en) * 2004-03-16 2005-09-22 Haupt Gordon T Interactive system for recognition analysis of multiple streams of video
TWI260556B (en) * 2004-12-10 2006-08-21 Kinpo Elect Inc Image recognition and authentication method for digital camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805766B1 (en) 2016-07-19 2017-10-31 Compal Electronics, Inc. Video processing and playing method and video processing apparatus thereof

Also Published As

Publication number Publication date
TW200912767A (en) 2009-03-16
CN101295352B (zh) 2012-06-13
US20080279425A1 (en) 2008-11-13
US8285006B2 (en) 2012-10-09
CN101295352A (zh) 2008-10-29

Similar Documents

Publication Publication Date Title
TWI395143B (zh) 數位相機及攝影機用之人臉辨識及使用者介面系統
US11574115B2 (en) Method of processing analog data and electronic device thereof
JP5347673B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8204312B2 (en) Moving image editing apparatus
JP4725377B2 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JP5276111B2 (ja) セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム
CN109819313A (zh) 视频处理方法、装置及存储介质
US20070182829A1 (en) Composite imaging method and system
CN108605115B (zh) 跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法
CN103916592A (zh) 用于在具有照相机的便携式终端中拍摄肖像的设备和方法
US20060227384A1 (en) Image processing apparatus and image processing program
JP5163008B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110502117B (zh) 电子终端中的截图方法以及电子终端
JPH10263126A (ja) パソコンを使用した運動の姿勢の分析装置
JP2019093152A (ja) 情報処理装置、情報処理方法、プログラム
JP4762324B2 (ja) 顔画像撮影装置および顔画像撮影方法
JP2006163527A (ja) 画像検索装置及び方法
JP2009182544A (ja) 映像情報処理装置
JP2008090814A (ja) 印刷装置、画像検索方法、および、画像検索プログラム
JP2013121097A (ja) 撮像装置及び方法、並びに画像生成装置及び方法、プログラム
JP4540358B2 (ja) ポインタ位置特定プログラムおよびポインタ位置特定方法
JP2003223610A (ja) 文字認識装置及び文字認識方法
JP2013197827A (ja) 撮影補助装置、方法、並びに該撮影補助装置を搭載した撮影装置及びカメラ付き携帯端末
JP2008263305A (ja) 電子機器および録画制御方法
JP2004336466A (ja) メタデータ登録方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees