TW200912767A - Human face recognition and user interface system for digital camera and video camera - Google Patents

Description

200912767 九、發明說明： 【發明所屬之技術領域】 本發明大體而言係關於臉孔辨識方法及裝置 關於可使使用者介入之臉孔辨識方法。 特别疋 【先前技術】 臉=嶋二部份組成，第一部分為臉孔偵測，偵 : 臉孔作為標的臉孔之影像。第二部份為妳 部，之相似性，比對經偵測之標的臉 π /捕捉之影像中的臉孔辨識使用於許多領域 ，例如，可連結並組舛如Α ή \ T y 由不同裝置捕捉之所^影像。刀而於不同時刻、地點及經 低，^精2^==經常錯誤且精確性通常相當 裝置之照明條=::==響，例如影像捕捉 及其他因素，例如髮型、：妝成:;二;b :臉經由時間 =起辨識結果之正確性降；： 不具有足夠4算;:捉裝置 精:於嵌入式或移動式影像捕捉裝置之低複:：算= 因此’就記算效率及 > 嵌入式或移動式影像捕捉裝地：需-種可於 識程式。 甲r人滿思地執行的臉孔辨 200912767 【發明内容】 、本發明之—特徵為提供-種用於歲人式或移動式影像 及視讯捕捉裝置之臉孔辨識方法。該所揭示之方法可以自 f丄臉孔比對程式體現’其可比對當前所偵測之臉孔與在資 料庫中儲存之臉孔，結果，使用者介 、 忧用耆）丨面顯不由最信賴候選 ^低㈣候選人之比對結果。若最信賴候選人吻合該 =測臉孔，則新偵測之臉孔影像會被記錄，並聯結資料庫 中吻合影像之身分而用於將來之比對及擷取。 本發明另-特徵為提供一種經由使用者介入機制增進 臉孔辨識精確性之方法。# ~ A 曰 對對偵測臉孔經由自動臉孔比 對私式而辨4錯誤之候選人，使用者可核對並 之候選人。 又辨硕 本發明另—特徵為提供—種用於使用者介人機 :使用者介面裝置。所揭示之整合使用者介面可使使用者 捕捉之影像巾所有6偵測之臉孔中_及切換，核 改變所辨識之候選人。 子亚 【實施方式】 本發明之揭示可經由以下提供之具體實施例敎述。然 必須理解，以下之具體實施例並非必然地限 ，僅用於代表性實施本發明。 弋丰揭不 :。本么明之各觀點，參照詳細之本發明敘述，如於 =中說明。同時本發明將結合這些圖式加以說明，但並 …"、圖將其限制於本文中所揭示之具體實施例或具體實施 200912767 Γ精：ΐί鬥ί意圖含蓋後附申請專利範圍所定義之本發 月精神及乾圍中的所有選擇、修正及等效物。 例之是：本文之圖式已提供說明本發明具體實施 種、壁握:且=及觀點，由本文所提供之敛述將可察知，各 實施例及實施可被理解，符合本發明 及精神。 θ 此错Γ貝注意的是’本文之圖式與一些尺寸並不相符，某 =之些尺寸與其他構件之尺寸並不相符，以便提供 紅合的敘述及突顯本發明。 ’、 參照第1A圖，其為根據本發明一具體實施例之具 ，貧料庫更新機制的臉孔辨識方法之流程圖驗。首先， 提仏衫像亚偵測出現於顯示影像範圍内之人臉孔（1〇1 A 、102A)。當多數臉孔可由影像偵測，在所谓測之臉孔中， 標的臉孔將被限定（1〇3A)，例如，經由使用者。偵側之標 的臉孔具有—㈣取的標的臉部特徵。然後，針對標的^ 孔產生含一或多個候選人臉孔之候選人名冊〇附）。經 由對照預先儲存於臉孔資料庫中之臉部特徵記錄，搜尋標 的臉部特徵而產生該候選人名冊。候選人名冊中，各候選 j孔具有一套候選人自己之臉部特徵。最後，標的臉部 寺徵與上述候選人臉部特徵比較，據此，吻合之候選人臉 孔由候選人名冊中決定出（1〇5八）。一般而言，此吻合之候 ，人臉孔為候選人名#中最信賴候選人臉孔，然後，該儲 料庫中吻合之候選人臉孔的臉部特徵依標的臉 。特放更新（106A)。需注意的是，如先前所提及，可於單 200912767 一影像中偵測多數臉孔，因此，在一較佳實例中，所揭示 之方法進一步包括在所偵測之臉孔中轉換至指定的 孔，如圖中虛線107A所表示之辨識/資料庫_更新動作後， 整個程序依此循環執行，直至影像中所有臉孔被分析。或 =广=者可選擇以終止此具有—些不吻合的偵測臉孔 之循環程序。 參照第1B圖，其為根據本發明另一具體實施例之亘有 自動資料庫更新機制之臉孔辨識方法的流程圖 圖麵所表示之方法不同於流程圖！⑼A所表示者，^程 圖-步包含接收使用者輸人，其指定―經使用者由 冊中選出之吻合候選人臉孔（1G8B)4經使用者選 ^二勿合候選人臉孔完全相同於上述吻合候選人臉孔，即 。賴候選人臉孔，然後最信賴候選人 的臉部特徵更新（腕而，若經使用者選 臉孔不同於最信賴候選人臉孔，經使用者選擇吻合候人 臉孔之臉。卩特徵以標的臉部特徵更新（1 。 、 在一實例中，藉由修正至少一個由至少一程 介：=的：觀，將上述使用者輸入經-圖形化之使用者 =二Si下Π用者選擇之吻合候選人臉 個輸入#干= 該使用者可經由提供- 庫之最二動地㈣該機制。在此狀況下’儲存於資料 ㈣候選人臉孔的候選人臉料徵將以標的臉部特 200912767 =於資料庫而言，標的臉孔實際上為新的 前記錄可比對之情π，兮士、+ 上…无 该方法可進一步包含經由提供一估 用者輸入’使使用者指定候 加至資料庫中。欽後，名冊中至少-個候選人增 選人臉部特徵將被增 η孔及其候 料被儲存。被曰加至貝枓庫’其中候選人臉部特徵資 f …顯示之影像可為自視訊操取之晝面，特別 二3追㈣訊中的特定臉孔。在此狀況下，若以每 旦 一分析則是無效率的計算。 孔追縱，所揭示之方法進一步包十；4==視訊臉 個:！：不同的臉部特徵之晝面。因此，視訊被區分成數 個有思義的臉部特徵變化之關鍵 期間僅檢杳關餹查；.4/ — 禾在臉孔追蹤 :查關鍵畫面，相似特徵之晝面將被跳 降低全面臉孔辨識計算時 大的 由以下程序提供影後：η、1垣在本魯明之一貫施例中，經 晋r避主金 、/ ()自提供之視訊畫面的某些畫面位 (=旦面編號n)上偵測任意的標的臉孔，其在晝面 11，、有—套任意的標的臉部特徵；（2)自# # >、s — 'U 面之畫面編號η+ι，綠二的( : = 編號…夂Γ+ 標的臉部特徵；(3)比較晝面 果指出：：面編：I 的標的臉部特徵’當比較結 旦向、，届就η +1之任音的碑沾队Ar? ια_ 同於畫面編號n者時，桿：面：、X :特徵為新的或不 顯示之，或是，h全1二 虎n+】之晝面為影像以 —囬，兩5處η之畫面為影像以顯示之。 200912767 需注意的是，任意的標的臉 的標的臉孔。 亚不必然為上文所述受關注 此外’在視訊臉孔追蹤中，鱼 著因為光線不足、突然移動、二，！：中的某些晝面有 致不清楚或無法辨識的標的臉限的成像角度等導 的情況。為克服此點，在成像f件太差 m 分析之臉部特徵的品質之特徵評比 為制，5玄機制首先在視訊的書面 編號任音的畫面位置（稱為晝面 於查：π 之特定任意的標的臉孔。然後， =編；η對於任意的標的臉孔評估積分。其次，於在 =晝編號η+ι中，上述任意的標的臉= 徵m:號η+ι掏取一套任意的標的臉部特 被呼：二：=號η+ι所擷取之任意的標的臉孔再次 二：估：刀。取後，比較二組經評估之積分，當比較社果 二：：面η+ι，任意的標的臉孔之積分高於晝面編 吃為查面=旦面編#υ η+ι之任意的標的臉部特徵將被標 徵::=;=，=特徵’且該標的臉部特 =被標記為晝面編號n之任意的= 徵比對分析。積分評估係根據例如二= 晰度、外型、明暗條件、陰影及其他基準等指 之正=質特徵總是被選擇用於分析，此可致使改進比對 確卜應該注意的是’此機制也可同時監測該標的臉 200912767 影像中出現及消失 用於分析之臉部特 孔及背景臉孔。個別的臉孔可由影像至 ;想法是要確定什麼時候臉孔被分析、 徵是合適的。 參照第2A圖，其為本發明另—具體實 ^置·A方框圖。所揭示之臉孔辨識裝置包含顯 3〇A、比較模組240八、使用者輸入模w補充= 模組260A、及資料庫更新模組27〇A。顯示模組21〇 二：晶顯：_)、電浆顯示器、發光二極體(例如有： :先二極體（QLED))顯示器或任何形式之圖像顯示器。伯測 ^组220A電偶合於顯示模組21qa，以自顯示之影像们則 才示的臉孔，據此將指定的偵測標的臉孔產生伯測結果，其 中違標的臉孔具有-套擷取的標的臉部特徵。該候選人名 冊產生模組230A電性耦合於偵測模組22〇a、比較模組 t〇A及儲存媒體28〇A，候選人名冊產生模組23〇a由偵測 杈組220A接收偵測結果，在比對標的臉孔上產生一或多個 候選人臉孔之候選人名冊，其中各候選人臉孔具有一套自 己的候選人臉部特徵，該候選人臉部特徵資料被儲存於儲 存媒體280A之資料庫中。比較模組24〇A電偶合於候選人 名冊產生杈組230A、補充比較模組26〇A及儲存媒體28〇八 ，比較模組240A自候選人名冊產生模組23〇a接收候選人 名冊，根據標的臉部特徵及各候選人臉孔之候選人臉部特 徵，比較標的臉孔與各候選人臉孔，據此產生指出候選人 名冊中第一吻合候選人臉孔之第一比較結果。一般而言， 200912767 此第一吻合候選人臉孔為最信賴候選人臉孔。使用者輪入 模組250A用於接收使用者輸入，其為指定的第二人選:候 選人名冊中之使用者確定之吻合候選人臉孔。使用者輪二 模組250A可為一按鈕、鍵盤、觸控面板、聲控裝置或任何 輸入工具。補充比較模組26〇A電偶合於使用者輸入模组 250A、資料庫更新模組27〇A及比較模组24〇a，用於自使 用者輸入模組250A及由比較模組24〇A之第一比較钍 收使用者輸入。在應答中，其各根據第一及第二吻;^候 人臉孔之候選人臉部特徵，比較第一及第二吻合候選人妗 孔，據此產生第二比較結果。資料庫更新模組2 7 〇 A 丄 =偵測模組220A、補充比較模組26〇A及儲存媒體2曝口。 身料庫更難組27GA由偵龍組22GA接收標的臉部 資料。此外，其由補充比較模組26〇A接收第二比較社果 應當第二比較結果指出第一及第二吻合候選人；孔同 %，以標的臉部特徵更新儲存於資料庫中第一吻合 人臉孔之候選人臉部特徵，不然，其以標 ^更= 储存於資料庫中的第二吻合候選人臉孔之候選人 再次參照第2Α圖，當偵測模組22〇Α由顯示影像 1 -個以上之標的臉孔時，使用者輸人模組2观可接收額 :ί:ί =從所偵測之臉孔中指出標的臉孔。然後 組220Α相應地產生谓測結果，即， s、涇由頜外的使用者輸入指《，指出標的臉孔。 12 200912767 B目’其為本發明較佳實施例之臉孔辨識裴置 200B方框圖。如圖所示，使用者輸入模組細電性輕合 於η更新模組2·。在使用者決定之情況中，標的臉 孔對於貝枓庫而言是新的，且應增加至資料庫用於進一步 比使用者輸入模組250B接收額外的使用者輸入，該輸 入心疋候選人名冊中至少一候選人臉孔增加至資料庫。在 應答中，該資料庫更新漁27⑽藉由增加至少—候選人臉 孔於經額外之使用者輸入指定的候選人名冊更新資料庫。 須注意的是，所揭示之裝置經由提供—使用者輸入可 使使用者主動取消上述使用者選擇功能。再次參照第2β圖 ，在此狀況下，使用者輸入模組25〇B接收進一步之使用者 輸入，該輸入指定取消使用者選擇功能，且第一吻合候選 人臉孔以標的臉孔更新。在應答中，f料庫更新模組27〇b 以標的臉部特徵更新第一吻合候選人臉孔之候選人臉部特 徵。 壯參照第2C圖’其為本發明另一較佳實施例之臉孔辨識 衣置200C方框圖。如圖所示，在與2〇〇A及2〇〇b比較下 ，臉孔辨識裝置200C進一步包含一標記模組29〇c，其電 偶合於顯示模、组210C Μ貞測模M 22〇c及比較模組24〇c。 如前言所述，在先前段落中有提及本發明揭示:種用於視 訊中增快臉孔追縱的“關鍵晝面，，操作。當執行功能時，顯 不模組2H)C暴員示視訊，债測模組22〇c自所提供視訊畫面 中某-晝面位置（稱為晝面編號n)偵測任意的標的臉孔，並 自所提供視訊後續晝面中晝面編號n+H貞測相同任意的標 200912767 的臉孔，其中任意的標的臉孔於晝面編號n及晝面編號 各具有一套任意的標的臉部特徵。然後，該比較模組u24〇c :較晝面編號n及晝面編號n+1之任意的標的臉部特徵，

據此^生第三比較結果。標記模組29〇c自比較模組MM 接收^三比較結果，當第三比較結果指出於晝面編號㈣ 之任意的標的臉部特徵不同於晝面編號η之任意的^的特 f 徵時，標記模組290C標記該晝面編號n+1晝面作為影像， :提供至顯示模組210C顯示，或是，標記晝面編號的之 :面作為畫面編號n之畫面以被偵測模組22〇c偵測。需注 意的是，任意的標的臉孔不需為先前段落中所述之標:臉 孑L 。 多’、、、第2D圖，其為符合本發明另一較佳實施例之臉孔 辨識裝置2咖方框圖。如先前段落中所述，本發明揭示一 试坪估機制，以確保在所有時間内皆有優質的臉部特 :用於分析。如圖中所示’與2〇〇A、2〇〇B及2〇〇c比較， 臉孔辨識裝置2咖進-步包含特徵評估模组292〇，盆電 $合於偵測模組220D及比較模組_。此外，標記模組 〇D電性耦合於特徵評估模组292d及比較模組2伽。當 T力lb寸顯示模組210D顯示一視訊，偵測模組220D 自Γ提供視訊之影像中某—晝面位置（稱為畫面編號 標的臉孔之—套臉部特徵，及自視訊之後續晝 ，胜二面編，號n+1之相同任意的標的臉孔。應答偵測模組 八ί 5平估核組292D於晝面編號謂任意的標的臉孔評價 、刀據此以產生第—特徵積分，並於晝面編號n+1對相 14 200912767 同任意的標的臉部特徵評價積分，據 μ 分。然後，該比較模組240D自特徵評估弟二特徵積 -及第二積分，並在應答中，比 且92D接收第 徵積分，據此以產生第四比較結果 ^積分與第二特 接收第四比較結果，並應答，當第四j =記模組 二特徵積分高於第—特徵積分時，標記’該第 意的標的臉孔之臉部特徵Λ旦面、、扁唬n+l任 部特徵於特徵評= 任意的標的臉 組_，或是，標記晝二=於比較模 晝面編號η任意的標的臉部特徵徵為 该標的臉部特徵於比較模組24〇 = D ’及 孔定位、.音敝疮从別 α 積刀5子估係根據例如臉 數 月晰度、外型、明暗條件、陰影及其他基準之指 參照第3Α圖’在本發明之第三具體 影像擷取裝置300八以使用者介 I:不電子 所示，所提及之系、统驅包含一 m本發明。如圖 ,.1Δ 0 匕3顯不器310Α及輸入鍵 像日士、於杳/广Α、364Α、及37〇Α。當使用者捕捉-影 i 或以電子影像搁取裳置舰錄製視 戒錢用者可啟動本發明揭示之臉孔辨識程式，經由使 用本發明亦所揭示之輸入鍵361A、362a、363a、364A、 以啟動使用者介面。—旦使用者介面程式啟動，該 ，用者將可見到即時捕捉之影像32GA於顯示器31从之視 固右上方。臉孔偵測程式將偵測影像320A中一或多個出現 之人臉孔，所偵測之臉孔將以醒目範圍框（b()unding bQX) 200912767 321A及322A標識，1在—旦 臉孔及各被動選擇伯列臉孔衫f中將有一個主動選擇偵測 斤m 貝及驗孔。主動選擇#洌臉:P丨將以且妙 範圍框321A標識，且主 弹制臉孔將以具體 示器310A底部平面之選、 圖331A將顯示於顯 -一A ,使用之上由按左右輪入鍵 」、則不冋之主動選擇臉孔。 一旦使用者已選擇主動選擇 顯示之各別略圖331A的哥^ηΛ占則於^擇，330A , „ _ Α 〇〜像320Α中具有具體範圍框321Α 盥在於鍅户j次〜辨識転式將比對主動選擇臉孔影像 自、次料座I '貝;斗庫中所記錄的臉孔。臉孔辨識程式將 :::比對：孔’以由高至低正確性之信賴程度，並依 ^升之順序顯示吻合之候選人於候選人帶34〇Α上。如 苐3Α圖所示，饱j£ Ο m竖人. 候人依下降之順序顯示。對於特 二人’先前記錄之略圖影像將顯示候選人帶3嫩。較 選人被標記於範圍框34lA，而隨後是較低信賴 侯，人342A。’增加新的，輸入343A被列於候選人帶3佩 4匕清況’該使用者決定所偵測臉孔對於資料庫是新 勺且無先前記錄可吻合。 於次^特定候選人，例如較高信賴之候選人341A，儲存 、貝枓庫之相關臉孔略圖將顯示於相關的略圖帶35〇A，其 圖拿^候&人页34〇A。於候選人帶34〇A上，相關臉孔略 圖旦事^皮記錄與現時選擇之候選人所連結之相同身份的臉 衫像。若使用者使用上/下鍵361八及363a選擇另一候選 =以吻^動ϋ擇臉孔’例如次一位候選人342A’則相關 、略圖帶350A將顯示代替之候選人342A相關臉孔略圖。 16 200912767 一旦使用者在候選人帶34〇a 設-新的輸入，則使用者可使：鍵进=佳候選人或創 時主動選擇臉孔之選擇，或可確認對於現 動確認。然後該使用者可認;：式時間以自 364A選擇另-偵測臉孔作工鍵362A及 測臉孔，或經由使用1他使用^；：擇f孔，以比對其他檢 像之臉孔辨識程序。此外二 ，音輸出模組，以指示該使用者了::： =於使用者執行聲音輸入模組，例如 自選者使用左/右鍵 時之—電子影像U 3 3 2 B作為主動選擇臉孔 中個別r：Fi脾Π裝置3〇〇B的榮幕顯示器320B。影像 顯示圍再框者伽凸顯，個別略圖咖將 體所存二:上。二，：臉孔辨識程序將於儲存媒 性信賴程度至較低正確性;賴程最高正確 人將對於此主動選擇以下降或上;之二在 _上。如圖所示，僅一位候選人升3 臉孔332B。 "^以顯不為主動選擇 400 =運行之裝置，於數位相機、攝影機者== 機及處理系統之任何其他計算裝置上操作。首先或:： 17 200912767 使用者（410、420)開始視訊操取操作。盆4 ^ 用者介面被設定為開啟（430)，則該建埸Γ，若臉孔比對使 為開啟，然後視訊將被記錄（431) f且將=統核對。若設定 偵測及辨識出現於影像（432)之任何別錄製之影像以 操作後將被更新至資料庫。若該使'佶=吻合記錄在 選擇另-候選人來代替自動尋找之者介面以 將登記主動選擇臉孔之臉部特徵至所選擇之^人统 434)。然後臉孔資料庫將被記錄並更新（4乃）。若該 選擇增加新的臉孔身分輸入’則該增加可以即時；式 ’或在隨後時間依使用者排定（434、435)。若該使用= =制設定為關閉，則視訊將被記錄⑽），且錄影之影$將 ^刀找並辨識任何所偵測之臉孔（夠。視訊將被記 =但在此#式不會執行登記偵測臉孔記錄於f料庫中 參照第5圖，其為一建議臉孔辨識系統之流程圖⑽ 、’其包括將臉孔辨識方法體現之程式、—使用者介面及一 乂播放及編輯模式運行之裝置，於數位相機、攝影機、行 動電活或包括相機及處理系統之任何其他攫取裝置上操作 :首先，經使用者開始影像檢查或視訊播放操作（51〇)。其 -人’右臉孔比對使用者介面被設定為開啟，則該建議系統 核對（520)。若設定為關閉，則使用者可重複各擷取影像， 或該記錄之視訊將被重放直至順序終了（521、522)。若臉孔 比，對使用者介面設定為開啟，如果操作於“關鍵晝面比對模 式則系統將核對（530)，關鍵晝面比對模式將於下列詳細描 200912767 述。若系統不在關鍵晝面比對 記錄模式一樣，於播放模式門= 、彳用者可如同在 、532骨視訊影像將該臉孔比嶋 何_臉孔：若使用者使用使用者介擇中之任 人取代自動尋找之最信賴候選人 、 位候選 動選擇臉孔之臉部特徵成為經)選人二:將j記該主 資料庫將被記錄並更新(533)。=:=:):然後臉孔 依使用去姚定丨吋方式&成，或在隨後時間 、533)。視訊將持續重放直至順序 2。若系統在關鍵畫面比對模式下，則視訊順序將以頻 厂，新的或不同的臉孔特徵之唯一關鍵晝面的方式重放 (540)。當關鍵晝面如同在記錄模式—樣被播放，使用者可 執行該臉孔比對操作（550、56〇、57〇)。隨著視訊晝面以相 同或相似之臉部特徵被跳過，更有效率及更快速的比對臉 孑L ° 參照第6圖，其為顯示依據本發明實施例之關鍵晝面 確涊及指定之一流程圖600，該方法以晝面數目為基礎體現 。首先，視訊根據臉孔偵測及臉部特徵擷取分析，視訊中 之晝面被指定一晝面數目（610、620、630、640)。其次，該 揭取之臉部特徵被用於在關注晝面中追蹤對應之臉孔候選 人（650)。若在追蹤之下臉孔候選人之晝面含新的或差異大 的特徵，則其將被選擇以標記成具有某些關鍵畫面序號之 關鍵晝面’且在追蹤下之臉孔特徵將以此新的關鍵畫面登 記（660、661、663)。若無新的或差異大的特徵發生於關注 19 200912767 關鍵晝面數目之 合置換此現行關 晝面中’此畫面之特徵將與現行具有某些 關鍵晝面比較，以決定該關注晝面是否符 鍵晝面之條件（660、662、664、666)。 參照第7圖，其為顯示依據本發明實施例，使 基礎方法，於不同視訊晝面間臉孔追蹤之臉部特徵』二 程圖700 ’該方法以晝面數目為基礎體現。首先，視 臉孔偵測及臉部特徵擷取分析，在追蹤全 f臉孔之臉部特徵被擷取(710、711、72〇、7二=:據 例如臉孔定位、清晰度、外型、明暗條件、陰影及其2基 準之指數評估在追蹤晝面A及晝面B下臉孔之積分（712: 722^其次，比較評估之積分（73〇)，且較高積分晝面之臉 部特徵將選擇作為用於後續臉孔之特徵（74〇、〜 760〜761)。 〜 、 前述說明並非意圖詳盡或限制本發明於所揭示之形式 ，可按照上述技術而明顯修正或改變。就此而言，選擇^ 敘述具體實施例或所討論之具體實施例以提供本發明原理 及其實際應用之最佳說明，因此熟悉技術者能應用本發明 :不同具體實施例及不同之修正適於所預期之特定用途。 當解釋時’其被公平合法的賦予將所有此類修正及變化皆 包含於本發明申請專利範圍所確定之範圍内。 必須了解，許多修改、變化及替代欲包含於前述揭示 ::且在本發明—些實财，—些特徵將無其他特徵之對 用下使用。因此，擴大並與本發明範圍相符程度之方 式解釋申請專利範圍是適當的。 20 200912767 【圖式簡單說明】 本，明之圖示合併並構成說明書之一部分， 發明之數個觀點，並盥發 ,^ Λ ]月本 理。在圖示中： 4月祝明一起作為解釋該揭示之原 流程ί ; Α圖為根據本發明—具體實施例之臉孔辨識方法 f 法流Ϊ®1Β ^根據本發明另一具體實施例之臉孔辨識方 置方：圖Α圖為根據本發明另一具體實施例之臉孔辨識裝 第2B ®為根據本發明較佳實施例之臉孔辨識裝置方 框圖； 置方=EJ .圖為根據本發明另—較佳實施例之臉孔辨識裝 f 圖為根據本發明另一較佳實施例之臉孔辨識裝 置方框圖； 影像:取3i置圖為說明以使用者介面型式體現本發明之電子 電4二：;「說明以使用者介面型式體現本發明之 媪々Ϊ二圖4為以—程式、一使用者介面及-裝置，以記錄 .、 仃呆作於影像擷取裝置上，體現本發明之流程圖 5 21 200912767 第5圖為以一程式、一使用者介面及一裝置，以播放 及編輯模式運行，操作於影像擷取裝置上，體現本發明之 流程圖； 第6圖為顯示依據本發明實施例之確認及指定關鍵晝 面之一流程圖；及 第7圖為顯示依據本發明實施例，使用積分基礎方法 ，於不同視訊畫面間臉孔追蹤之臉部特徵選擇之流程圖。 【主要元件符號說明】

200A、200B、200C、200D

210A > 210C

220A > 220C > 220D

230A

240A、240C、240D

250A 、 250B 260A

270A、270B

280A

290C > 290D

292D

300A、300B

310A

320A 臉孔辨識裝置 顯示模組 偵測模組 候選人名冊產生模 組 比較模組 使用者輸入模組 補充比較模組 資料庫更新模組 儲存媒體 標記模組 特徵評估模組 電子影像擷取裝置 顯示器 影像 22 200912767 螢幕顯示器 範圍框 選擇帶 略圖 候選人帶 候選人 新輸入候選人 略圖帶

320B

321A、322A、321B、322B、323B 330A ' 330B

331A、332A、331B、332B、333B

340A、340B

341A、342A、341B

343A、342B f

350A、350B 361A、362A、363A、364A、370A、 361B、362B、363B、364B、370B 輸入鍵 380A、380B 聲音介面 23

Claims (1)

1. 200912767 十、申請專利範圍·· ι, 一種臉孔辨識方法，其包含： 提供一影像； 取乂像界標的臉孔’該標的臉孔具有一套操 取钛的臉部特徵； ^ =賴的臉孔產生―含—或多健選人臉 Γ =二在該候選人名冊上之每一候選人臉孔具有其 各自之一套候選人臉部特徵； ^據比較該標的臉料徵與該候選人臉部特徵，自 ” 人名冊中決定出吻合之候選人臉孔；及 臉部=標的臉部特徵更新該吻合候選人臉孔之候選人 ~種臉孔辨識方法，其包含： 提供一影像； 自該影像界定—標的臉孔’該標 取標的臉部特徵； ’ 產生一含一或多個候選人臉孔之候選 候選人臉孔具有其各自之一套候選人臉部特徵冊母 根據該標的臉部特徵及該候選人臉部特徵，比 標的臉孔與各該候選人臉孔，以自該候選人名 = 出第一吻合候選人臉孔； 、疋 接收使用者輪入，該使用者輸入自該候 指定出U勿合候選人臉孔，其反應該使用者=中 24 200912767 若該第一及第二吻人 特徵更新該第—吻人候：：人為相同，以該標的臉部 是，wL:: 臉孔之候選人臉部特徵，或 疋m °亥知的臉部特徵吏都 士女$ - 人 選人臉部特徵。 斤μ弟一吻合候選人臉孔之候 3. 如申請專利範圍第2項 由-圖形化之使用者介面，來輪用者輸入係經 程式的至少-圖形特徵之外觀^冑由修正代表至少一 4. 如申凊專利範圍第2項之方， 步驟進一步包含： 法，、中決定該標的臉孔之 及自該影像僧測η個潛在標的臉孔，η為-自然數； 接收-額外之使用者輸人，該額外之使用者輸入自 5亥η個潛在標的臉孔中指定出標的臉孔；及 提供所指定之標的臉孔於後續程序。 •如申請專利範圍第2項之方法，其進—步包含. 接收一額外之使用者輸入，在該候選人名冊上指定 個該候選人臉孔之該額外之㈣者輸人被增加 貧料庫，其中該候選人臉部特徵資料被儲存；及 增力:難選人名冊上至少—個候選人臉孔之候選人 6 ^徵於貝料庫’其中该候選人臉部特徵資料被儲存。 .如申請專利範圍第2項之方法，其進一步包含： 接收另—使用者輸人’該另一使用者輸入指定該第 〜吻合候選人臉孔以該標的臉孔更新；及 25 200912767 對於接收該另—使用者輸人應答，該第—吻合 攻孔之候選人臉部特徵以該標的臉部特徵更新。'k 7.如申請專利範圍帛 步驟之方法提供： R万/H“象以包含下列 提供一視訊； ί 臉孔在Ϊ::ί Γ之某一畫面編號n中偵測任意的標的 才示的臉部特徵； 旁答任思的 的標的臉孔，該任咅的俨m亥任思 备任思的標的臉部特徵；及 ，、另 對於偵測任意的標的臉孔應答 與晝面編號Π+1之任音季乂》亥旦面編唬η 出，今全面㈣ 的仏的臉部特徵，當比較結果指 山々蒼面編嬈η+ι任咅的拇 編ft n #立& @ λλ 的臉部特徵相異於該畫面 狗說η任思的標的臉部特徵 旦 畫面為該影像以顯示，或是;里面編號n+1之該 該影像以顯示。 記該畫面編號η晝面為 8 ’如申請專利範圍第7項之方 為該標的臉孔，且該任音的^其中該任意的標的臉孔 特徵。 的‘的臉部特徵為該標的臉部 9.如申請專利範圍第2項之方法， 包含下列之方法決定· /、中该標的臉部特徵以 提供一視訊； 26 200912767 對於該視訊晝面之晝面編號制並評估咳音 面：號：任意的標的臉孔之積分，且對於該晝面編號： 任意的標的臉孔榻取一套t^ ^ u / i 特徵； # #旦面編諕η+ι任意的標的臉部 ▲對於該視訊後續晝面之晝面編號n+lt，摘测並評 估該晝面編號n+l任意的標的臉孔之積分，且對於書面 編號η +1該任意的標的臉孔擷取於畫面編號n +丨之二 任意的標的臉部特徵；及 Λ 對於任意的標的臉孔之評估積分應答，比較該書面 編號η與畫面編號n+1任意的標的臉孔之該機分了ς比 較結果指出，該晝面編號n+1任意的標的臉孔之積：高 於畫面編號n該任意的標的臉孔者，標記晝面編號… 該任意的標的臉部特徵為晝面編號n之該任意的標u的臉 部特徵，且該標的臉部特徵亦同，或者，標記晝面編號 η之該任意的標的臉部特徵為晝面編號n之該任意= 的臉部特徵，且該標的臉部特徵亦同。 ^ ^ ίο 11 :::專利範圍第9項之方法，其中該積分評估係根 據各面編號η及畫面編號n+1之任意的標的臉孔之 臉孔定位、清晰度、外型、明暗條件、陰影及其他基準 如申請專利範圍第9項之方法，其中該任意的標的 孔相同於該標的臉孔 一種臉孔辨識裝置，其包含 一顯示模組，用於顯示一影像； 27 12 200912767 -偵測模組，電性輕合於該顯示模組 像偵測標的臉孔，據此產生—指、自该衫 果，·^亥俨的吟JL古 n® M b的臉孔之偵測結 禾及铩的臉孔具有一套標的臉部特徵； 一候選人名冊產生模組，電认 六说_ « 电『生輕合於该偵測模组》 ::存媒體’用於產生含-或多個候選人臉孔之候^ 比對該標的臉孔，每-候選人臉孔具有—二 各自之候選人臉部特徵，嗜铉 啕 #，、 該儲存媒體之資料庫；D 、以臉部特徵”儲存於 :比較模組，電性耦合於該候選人 該儲存媒體，用於根攄兮萨从队A 座生模組及 〜二 臉部特徵及各該候選人臉 孔之候選人臉部特徵，比較今彳、、 孔，據此產生-第—比較‘ ^臉孔與各該候選人臉 弟一吻合候選人臉孔；及 呵相疋出 -資料庫更新模組，電性耦合於 較模組及該儲存媒體，白兮伯、〇亥比 n ^ , u\ μ偵測杈組接收該標的臉部特 说貝枓，及㈣比較模組接收該第—吻合 臉部特徵更新儲存於該資料庫之該第一：：候 k人臉孔之候選人臉部特徵。 13 .如申請專利範圍第12項之裝置，更包含： 一使用者輸入模组，用於垃斤由 ή . 用於接收使用者輪入，該使用 者輸入自_選人名冊中指定出—第二吻合候選人臉孔 > -補充比較模組，電性耦合於該使用者 该比較模組及該資料庫f岸 、’’ 貝卄厍更新杈組，用於根據各該第一及 28 200912767 :二：合候選人臉孔之候選人臉部特徵，比較該第一及 弟-:勿士候選人臉孔，據此產生一第二比較結果，其中 _往ΐ庫更新模組自該補充比較模組接收該第二比 第二比較結果指出，該第-及第二吻合候 料㈣第一吻合候選人臉孔之候選人: :二;;料=更新模組以該標的臉部特徵更 貝㈣之㈣二吻合候選人臉孔之候選人臉 14.如申請專利範圍第12項之穿罟，兮扁、目丨秘 合於該使用者輸入模組，其中1則貞_組電性柄 一自：:測模組自該影像偵測n個潛在標的臉孔，η為 该使用者輸人模組接收—額外之使用者輪人 外之使用者輸入自該“固潛在標的臉 ; =使Si於接收該額外之使用者輸八應答Si 孔定’該偵測模組產生指出該標的： 15.如申請專利範圍帛12項之裝置，該使用者 電性耦合於該資料庫更新模組，其中 别拉、，且 該使用者輪入模組接收一外之 外之使用者輸入指定該候選人名冊中之=輪二’該額 臉孔增加至儲存於該媒體之該資料庫中；及/矣選人 29 200912767 〜貧料庫更新模組，對於接收之 答，經由增加該至少使用者輸入應 人臉孔於經該額外之❹ 相疋·^候選人名冊上更新該資料庫。 •如申請專利範圍第12項之f置，_ | s 電性耗合於該❹者輸人模組庫更新模組 該使用者輪入模組接收另一使 用，指定該第—吻合候選人臉孔以該標的== 該資料庫更新模組，對於接收另—使 二該標的臉部特徵更新該第一吻合候 口 人臉部特徵。 17·，如申請專利範圍第12項之裝置，更包含一標記模組 ，電性耦合於該顯示模組、該偵測模組、及比較模组， 其中 '， 該顯示模組顯示一視訊； 立該偵測模組偵測於該視訊晝面中某一畫面編號η之 任意的標的臉孔，及於該視訊後續晝面之畫面編號n+l 中該任意的標的臉孔，該任意的標的臉孔於晝面編號n 及畫面編號n+l各具有一套任意的標的臉部特徵； 對於偵測該任意的標的臉孔應答，該比較模組比較 畫面編號η及畫面編號η+ι之該任意的標的臉部特徵， 據此產生一第三比較結果；及 該標記模組自該比較模組接收該第三比較結果並應 合’當該第三比較結果指出，該晝面編號η+ι之任意的 30 200912767 才不的臉部特徵相異於晝面 該標記模組;查— u n之5亥任思的標的特徵， 該顯』= : = ?號;:，該晝面為該影像以經由 晝面編號疋έ:ί晝面編號n+1之該晝面為 13 , κ旦面以、灰由5亥偵測模組偵測。 臉範圍第1/項之裂置，其中該任意的標的 臉部特徵r、臉孔’且该任意的標的臉部特徵為該標的 19·如申請專利範圍第12項之裝置 ;組及-標記模組，其相互電性輕合，該特徵 -步電偶合於該偵測模組及該比較模; 進-步電偶合於該比較模組，其中 仏後组 該顯示模組顯示一視訊； 該侦測模組偵測該視訊晝面之某一晝面編一 的標的臉孔’及於該視訊後續晝面之晝面編麥 :之該任意的標的臉孔，並對於畫面編號n之該ς 擷取一套晝面編號Κ任意的標的臉部特;:： 子於旦面編號η+1之該任意的標的臉孔擷取— 編號η+1之任意的標的臉部特徵； 1面 對於偵測任意的標的臉孔應答，料徵評 於畫面編號η之該任意的標的臉孔評估一積分， 方 生一第一特徵積分，且對於畫面編號n+1之該任意 的臉孔評估一積分，據此產生一第二特徵積分；’"不 31 200912767 該比較模組 徵積分並應答， ，據此產生一第 /丨从π估衩組接收言 比較該第-特徵積分與言 四比較結果， 第一及第二特 弟一特徵積分

   5亥知圮模組接收該第四比較姓果^ 果指出，該第二特徵積分？该第四比較結 畫面編…該任意的標的臉:以二， 該任意的標的臉部特徵於該丄為旦面編唬η之 部特徵亦同’或是標示晝面編號;的臉 估模組，且該標的臉部的臉部特詩該特徵評 20.如申請專利範圍第19項之裝 根據臉孔定位、清晰度、外型、 基準之指數。 置’其中該積分評估係 明暗條件、陰影及其他 21.如申請專利範圍第19項之裝置 臉孔為該標的臉孔。 其中該任意的標的 一種電子影像擷取裝置，其包含： 一顯示器，用於呈現至少一視窗，其中 一第一視窗，顯示一影像； 一第二視窗，顯示一或多個第一臉孔略圖，該第一 略圖為自該影像偵測之臉孔，其中之一標的臉孔被辨識 —第三視窗，顯示一或多個第二臉孔略圖，該第二 略圖為在比對該標的臉孔上之候選人臉孔，該候選人臉 孔之—為經使用者選擇之候選人臉孔； 32 200912767 盼：?丨欢:視囪’顯不一或多個第三臉孔略圖，該第三 =圖為關於該經使用者選擇候選人臉孔之臉孔或臉 口丨4符倣，及 -使用者輸入模組，用於接收至少一使用者輸入， 具中 第使用者輸入自該第一略圖中指定出該標的臉 孑L ;及 第—使用者輸入自該第二略圖中指定出該經使用 者選擇之候選人臉孔。 23·如申請專利範圍第22項之電子影像擷取裝置，其進 一步包含： 一圖像’於該第三視窗；及 上斤Γ第三使用者輸入，經由該使用者輸入模組接收， β亥弟一使用者輸入指定該標的臉孔增加至一資料庫，其 中該臉部特徵資料經選擇該圖像而儲存。 /、 24、如申請專利範圍第22項之電子影像擷取裝置，其中 忒顯不為為液晶顯示器、電漿顯示器或發光二極體顯示 器。 ‘ 25*如申請專利範圍第22項之電子影像擷取裝置，其中 該使用者輸入模組為按鈕、鍵盤、觸控面板及聲控裝置、。 33