TWI325567B - Method and system for enhancing portrait images that are processed in a batch mode - Google Patents

Description

1325567 玖、發明說明： 【發明所屬之技術領域】 本發明大致有關於數位影像指令的領域，且尤其有關於 從人類主題的肖像影像導出的改良影像成品的產生。 【先前技術】 數世紀以來有社會上的富有或特權階級能雇用技術人員 以繪畫，雕像，及圖形來作出細緻的晝像。在許多例子中 ，肖像的目的大於僅產生事實的可接受相$，在細緻或精 巧的方式下’藝術工作者會與主題的期望及意欲互動，藝術 執照的第二領域是事實的改良，因此依此產生的主題使得其 實體不完美減到極小，且產生最吸引人的可能臉部。 在現代社會，肖像不再是富有或特權者的專利，照相技 術的伸入社會各領域使得肖像影像的產生成為許多人生重 要事件不可缺少部分。婚禮，畢業典禮，生日，嬰兒的出 生，所有這些事件在西方文化中可以用較標準化的肖像影 像來取得。雖然這類技術允許業餘者能取得甚至加強這類 影像’仍存在一批專業攝影師其能作出高品質的肖像影像 ’平㊉的’肖像製作者的目的仍與過去數世紀相同，即作 出最迷人的主題，本質上’要將主題以其想呈現的方式表 現出，而不是其實際的樣子。 為了符合人們想以其意欲呈現的方式表現出主題，專業 攝影師設法再修飾肖像影像以呈現出人們想看的面，再修 飾多少需要改變照片影像，該部分相片未在原始相片影像 OA90V907H.DOC4 1325567 中捕獲或描續'。具/λ ρ» 貧再修飾为像影像的目的之一是使人更好看 是去除暫時不完美部分如眼睛下方的污點或黑圓圈 3 久不凡美部分如黑痣或縐紋’同時仍維持人的個 示面mi n及疲痕，使線條及頌紋平滑，減 少眼睛下方的腫眼泡 便牙齒艾白及使眼睛的白色部分變 白等都是再修飾肖像的例 j %卞，以使a像影像中人臉部的樣 子得到改良或加強。 在進^數位時代以前，影像的再修飾是在底片或印出影 像上執订方法疋使用染料以蓋住或改變肖像影像中的不 u部^修飾影像。現在數位影像捕獲裝置已大眾化， 經由在捕獲數位影像上執行數位影像技術即可達成較佳的 再修飾方法。先前絲或不可能在類比影像上執行的，如 今可用數位加強方法達成，可使用影像編輯軟體如 Photoshop以去除污點’使鼻拉直，眼睛平衡，及施以數 位化妝而使肖像更細敏。 電腦技術及影像處理演譯法的進步可達成自動及半自動 的新影像加強類型，關於肖像影像的主題，相關的新開發 技術包括臉部偵測及識別，面部特徵偵測及蓋住，臉部再 定位，及紅眼睛偵測及修正等。 公開的PCT專利申請案W〇 〇〇/76398 A1，名稱「Sk比 Imaging Analysis Systems and Meth〇ds」，發明人Ηι_⑽d 等人，揭示一種系統能偵測皮膚缺陷及計算皮膚缺點指數 ，此系統目的是化妝品及護膚市場，該系統也能模擬缺陷 皮膚區域的改善，這可藉由使用建議的治療或產品（其可去 O:\90\907I4.DOC4 •8· 1325567 除或隱藏皮膚缺陷）而達成。使用色彩資訊可偵測皮膚缺陷 及使用標準變形技術以模擬皮膚缺陷區域中的改善。 公開的歐盟專利申請案EP 1 030 276 A1，名稱r Meth〇d of Correcting Face Image, Makeup Simulation Method, Makeup Method, Makeup Supporting Device and Foundation Transfer Film」’發明人Utsugi，揭示一種根據期望的臉部 或參考臉部透過影像處理以作出理想的化妝後臉部的方法 ，該方法需要將區域反白’以及將眉毛的形狀，眼線，及 嘴唇線更接近一範圍中的期望的臉部或參考臉部，如此才 可藉由化妝而修飾。 廷些系統的缺點，特別是用於批次肖像系統時，如婚禮 ，畢業典禮，學校及體育相片，生日，嬰兒的出生等，都 需要與客戶互動頻繁以輸入偏好及評估結果。如在识⑽以 的專利申請案，需要將化妝後客戶的樣子定位在參考臉部 上，如選自名Λ ’男明星的臉部，及作各種調整以成為參 考臉部。此外，需要熟練的操作員與客戶互動以產生可接 受的結果》 因此即使進人數位影像時代，再修㈣像本身仍更像藝 術而不是科學。此外，再料肖像影像的處理是需要熟練 操作者的高度h及粍時過程。因此較佳的是開發出一種 系統其使用自動及半自動的肖像影像加強方法以使肖像的 再修飾更細緻，本發明藉由提供方法及线其可自動化加 強影像中人類主題的樣子而解決上述習用的缺點。 【發明内容】 O:\90\907U.DOC4 1325567 2明讀克服上述問題中的至少—個，簡言之，根據 化的特徵’―種加強位於數位影像中臉部容貌之批次 二：法’其中影像是許多影像之-其透過-批次方法而 已、登^，遠方法包括以下步驟：⑷提供—原始檀以識別 原:^加強之至少—原始數位影像，〇原始標包括各 =位影像位置之指令；⑻使用原始槽中之指令，取得 二徵二:Γ原始―影像;⑷偵測至少-謝臉 個點 肖Μ #徵點&括識別凸出特徵之複數 心::凸出特徵包括皮膚，眼睛，眉毛，鼻，嘴，及頭 =域至二—者；⑷使用臉部特徵點位置俾將臉部分成不同 及頭髮區域中至少一者1 嘴頒 關特微· ,η 同區域之至少一臉部相 少—力強请不同區域之至少一臉部相關特徵而選擇至 預設波器’各特別設定成用於一特別區域，及選擇 哭，萨以…於加強濾波益；(g)在特別區域上執行加強濾波 ==始數位影像而產生—加強數位影像 J〒至夕一者之至少一摔作 像上執行。 操作该寻知作已在加強數位影 本發明的優點是它有效的在批次處 動的*像影像加強方法，以便在不需要二吏用自動及“ 肖像的修描，以達成及監督修描校正要因、=:員之下作 作員的高度人工及耗時處理，而且在批==熟練操 插方法。 长枇-人處理中實作該修 地907|4.d〇C4 1325567 以下藉由較佳實例的詳細說明及後附申請專利範圍，且 配合附圖即可更明瞭本發明的這些及其他特徵， 點及優點。 · 【實施方式】 因為使用臉部特徵_及特徵加強的影像處理系统是習 用，所以本說明書將特別指向形成根據本發明（或是與其直 接合作)的方法及系統的屬性。本文未顯示或說明的屬性可 選自習用的，在以下說明中，本發明的較佳實例可以用軟 體程式達成，_熟於該技藝者可了解也可將該軟體同等 地建構在硬體中。在以下說明中根據本發明的系統，未特 別顯示的軟體，在此建乃μ、+. μ ^ 隹此廷戒及敘述的都可用以實作本發明， 而且是習用及熟於該技藝者可了解^在本發明的說明中 ，大致是參考加_波1!作為加強數位影像中臉部的視覺 谷貌的方法。例如眼睛加_波器是加強眼睛的白色及/或 虹膜色彩的方法。 若將本發明實作為電腦程式，則程式可儲存在習用電腦 可讀取儲存媒體中’其包括如：磁碟（如軟碟或硬碟）或磁帶 ’先學儲存媒體如光碟’光學帶，或機器可讀取條碼，固離 電子健存裝置如隨機存取記憶體（RAM)，或唯讀記憶體 (〇M)或疋任何其他實體裝置或媒體用以儲存電腦程式。 圖1A說明-系統1〇它可用以執行本發明，系統1〇包括個 人電腦PC12其含有中央處理器(cpu)以執行一組預設步驟 以執行本發明的方法。數位儲存媒體⑼也配合p⑴而設置 以儲存數位影像。數位儲存媒體2〇包括不同類型的裝置如 〇：\90\907m.d〇C4 1325567 RAM、ROM、硬碟及軟碟等。數位儲存媒體2〇也可用以區 域地儲存產生的加強影像，此外，數位影像捕獲裝置如婦 描1§ 28及數位攝影機3〇(都是數位影像的額外來源）也可設 置以配合電腦12。惟要了解的是可以從任何來源取得數位 影像’使用者可經由輸入裝置4〇(如滑藏及/或鍵盤）而與電 腦12互動，及接到電腦12的顯示幕5〇。系統1〇也包括一裝 置如印表機34以區域地輸出影像，通常上述元件位於且直 接接到PC 12中。 或者，上述元件不必都位於主電腦12而是位於伺服器Μ 其可經由通訊網路70而接到主PC12，伺服器也可包括一中 央處理器(CPU)以執行一組預設步驟以執行本發明的方法 。伺服器也接到儲存媒體65及至少一印表機60，這可經由 通訊網路7(3使用儲存媒體65及接利服器62的印表機60而 遙控取得’儲存及印出影像。執行本發明的軟體—般儲存 在儲存媒體20中，或者，經由通訊網路7〇而從伺服器下載 該軟體，執行本發明的軟體可使用町2中&含的CPU而在 ^機上執行，或是使用包含在伺服器62中的（：？1;而在伺服 杏側執仃》通訊網路7〇包括—專屬網路如區域網路（LAN) ，或大眾網路如網際網路其可使用網際網路服務提供器 ⑽）而由個人讀取。通常在這類網路中，使用公共資訊查 旬站或任何其&適當的通訊裝i而讀取遠地網路服務提供 者。 圖1B顯示一圖形使用者介面（GUI)的例子用於執行本發 互動軟體，軟體在系統1〇上執行或是在伺服器62上遙 O:\90\907U.DOC4 控執行，且產生GUI螢幕78如圖1B所示。使用者執行該軟 =且下載一待加強的影像。當下載該影像時，圖形使用者 介=顯示幕78即顯示在顯示器50上，GUI螢幕78左側的影像 疋原始下载影像其臉部將由本發明的方法加強，在右側 則顯示具加強臉部的影像82，在一實例，當下載影像時， 使用者單擊待加強臉部8_請，接料如稍後所述，系 統自動的找出臉部特徵點且將臉部分成不同特徵（如眼睛 眉毛等）及頸區域，系統設定預設參數且將所有的加強濾 波器以預設順序加在原始影像中。 .產生的影像82顯示在GUI螢幕78的右側，滑鍵9〇，92， 94，96，98允許使用者互動地改變不同加強濾波器的參數 ，滑鍵的初始位置對應系統自動設定的預設值，主要容貌 加強α鍵90合併所有成分加強滑鍵，該等成分滑鍵包括： 組織加強滑鍵92，皮膚加強滑鍵94 ,眼睛加強滑鍵96，及 牙齒加強滑鍵98。組織加強滑鍵92控制組織加強濾波器的 參數，皮膚加強滑鍵94控制皮膚色調加強濾波器的參數，眼 睛加強滑鍵96及牙齒加強滑鍵98分別控制眼睛及牙齒變白 濾波器的參數《所有滑鍵的極小及極大分別設定為無加強（ 如在各滑鍵的最左側）及極大加強（如在各滑鍵的最右側）。 使用者可使用主要容貌加強滑鍵9〇或不同的成分滑鍵 92-98而控制臉部加強的位準及容貌，每當使用者改變主要 容貌加強滑鍵90的位置時’系統即映射滑鍵位置到加強濾 波器的適當參數值’且以預設順序將加強濾波器加到原始 景夕像。加強影像82接著顯示在gui螢幕78的右側，每當使用 O:\90\907I4.DOC4 -13- 1325567 者改變成分加強滑鍵92·98之—時，系統即根據各成分加強 滑鍵的位置以預設順序將所有加㈣波器加到原始影像。 加強影像82接著顯示在GUI營幕78的右側，較佳實例中的部 分⑽設計是額外功能以修飾臉部特徵點及㈣域外形。當

使用者從GUI勞篡7S的μ 4曰T· k ~。 S 蛍綦78的上杯下拉選單編輯且選擇該選項時 ’臉部特徵點及頸區域外形點即在原始影像80上重疊，、而 使用者可使用❹者輸人裝置4G如指向裝置而修正顯示點 置工4 84 3有特定工具供使用*使用以便與顯示影 像互動及修飾，例如有拉近及拉遠的工具，有編輯特徵點 的工具’有部分地混合原始影像與加強影像的混合工具， 空間地修飾加強濾波器的結果的工具等。 八 圖2A是示意流程圖以說明根據本發明加強肖”像的 ，例，在步驟200開始流程後，系統需要數位影像且 接著在取得及顯示步驟2〇5中顯示於顯示幕5〇上。在本發 明中，肖像影像不僅是指從相片取得的影像，而且是指從 任何源（如數位相機，影像拷貝掃描，或以電子方式從另一 源）取得的數位影像。在確定位置步驟21()，㈣影像中的 個人臉部且識料㈣上臉料徵點的彳m以由使用 ' 半自動及使用影像處理技術的自動方式執行確 疋臉部位置及其相關特徵點的處理。使用臉部特徵點位置 以識別及將臉部分成數個區域（如皮膚，眼睛，鼻，嘴，頭 髮等)及頸區域。在顯示步驟叫，臉部特徵點與影像重疊 且”'·頁不在顯不幕50上’或者，也顯示繞著頸區域的特徵點 。若以自動或半自動方式判定臉部特徵點，則在決策步驟 O:\90W07i4.DOC4 -14- 1325567 220的使用者有機會決定特徵點是否需要調整。若使用者決 定特徵點需要調整，則在修飾步驟225使用者可使用輸入裝 置40以調整臉部特徵點，或者，使用者也可調整繞著頸區 域的特徵點。 在預設設定步驟23〇 ’系統使用臉部特徵點位置以識別及 將臉部分成數個區域如皮膚，眼睛，鼻，嘴，頭髮，臉部 的毛髮等，且判定適當的預設參數用於加強濾波器。在較 佳貝例根據臉部特徵點而自動的將頸區域分割，分割頸 區域的方法詳如以後所述，因此在步驟23〇系統也判定適當 的預没參數用於加強濾波器及供頸區域用。或者，在此級 可使用姓別及年齡分類料法以人工或自動的判定臉部的 姓別及年齡，自動姓別分類的例子可參考以下所述：B. Moghaddam, Μ.H. Yang, "Gender Classification with Support Vector Machines" in Proc. of 4th IEEE Int'l Conf. On Face & Gesture Rec〇gniti〇n，March 2〇〇〇,其在此併供參 考。對於執行本發明有用的自動年齡分類演譯法已在美國 專利案5’781，650號（專利所有權人L〇b〇, Kw〇n)中揭示，其 在此併供參考。也可使用姓別及年齡分類以決定那些加強 濾波器應該執行以及姓別特定參數，如與男性臉部相比， 可以較大量的組織及皮膚（作為預設）施加在女性臉部上。也 可根據影像分類而決定較佳的預設參數，影像分類是一種 影像其具有類似的類型（如肖像），内容（如家庭肖像或學校 肖像），解析度及組成。使用者藉由從Gm螢幕78(圖ib)的 上桿下拉編輯選單而檢查影像分類，及檢查偏好次選單用 O:\90\90714.00C4 -15· 1325567 於典型影像分類表。 系統接。著在執行步驟235使用適當的選擇的參數以執行 加強慮波器，或者如虛線所示，使用者在使用者選擇步驟 2二可決定應該執行那些加強濾波器及用於加強濾波器的 j當參數。系統在步驟235完成加強濾波器的執行後，加強 衫像即顯示在顯示幕50的顯示器245上。在此點，使用者能 :疋是否接叉該加強影像，若不接受影像，則使用者可改 變加強濾波器及/或其參數（在步驟240)，或是調整臉部特徵 點位置（在步驟225：^在一實例，使用者能選擇循序執行不 同的加強濾波器以了解某一加強濾波器對於影像的效應。 在此實例，使用者持續執行步驟24〇，235，245，25〇以改 變加強濾波器及參數直到取得可接受的結果。若在決策步 驟250判定可接受該加強影像，則使用者可選擇區域地列印 在印表機34(在區域列印步驟255)或區域地儲存在儲存媒體 2〇(在區域儲存步驟26〇)，或者若系統經由通訊鏈川而接到 伺服器62，則使用者也能選擇遙控列印在印表機6〇(在遙控 列印步驟265)或遙控儲存在儲存媒體65(在遙控儲存步驟 270)。已選擇及完成適當動作後，系統即查詢新影像是否 出現（查s旬步驟275)及依據回應而再回到取得及顯示步驟 205用於次一影像或是結束該流程（結束步驟280)。 圖2 B顯示根據本發明的加強肖像影像的另一實例，在商 業的照相據點其有更南的自動化及迅速的生產。此實例說 明一種自動批次處理以透過肖像加強系統且不必使用者介 入’即可執行大量的影像。在取得步驟282，從原始檔（電 O:\90\90714.DOC4 -16- 1325567 腦檔）取得影像其含有已選擇用於加強的影像名稱及位置 ，原始檔也含有額外指令可用以控制批次處理，如腳本不 僅可含有影像的位置及名稱，而且可含有以下指令：命名 及儲存加強景彡像以及在產生加強影像後是否要去除原始影 像。多樣化指令組可達成彈性的批次處理，其易於由各種 商業照相來使用以適用於其特定工作流程設計（如以下所 述）。在臉部偵測及位置確定步驟284，影像的臉部是自動 偵測而各臉部的臉部特徵點位置是自動識別。在加強選擇 步驟286 ’系統將臉部特徵化及判定適當的加強渡波器組合 及加強濾波器的預設參數。或者，在此級使用上述姓別及 年齡分類演譯法以自動判定臉部的姓別及年齡。 或者可經由與影像相關的中介資料而將影像中臉部的年 齡及姓別送入系統，如可從客戶提供的照完相片的封套或 是向使用者詢問而提供年齡及姓別。在執行加強處理之前 ，也可提供預設濾波器及參數作為與影像相關的中介資料 或是與影像無關m中介資料可直接併人影像槽或是 可從原始標取得，請是根據本發明而顯示—原始槽例子 以控制自動批次處理。 系統接著使用適當選擇的參數於加強執行步驟288執行 加強慮波器組件，若在影像中有—個以上的臉部，則在臉 部查詢步驟290注意此事實而且系統再執行步驟挪，挪 ，290直到加強影像中的所有臉部。在此時，於—特別步驟 可產生含影像資訊（即罩蓋，特徵圖，特徵點等）的中間影像 供其或後續步驟使用。在儲存步驟292儲存該加強影像，除 O:\90\907U.DOC4 -17- 1325567 了儲存加強影像外，也能儲存—輸出原始槽（如以下所述） 中門〜像（如上所述）’持續加強影像的處理直到已加強所 有的輪入影像（影像查詢步驟294)，已處理所有的影像後 (π束V驟296)，可把加加強影像到利用級如圖 所示或者，已處理所有的影像後（結束步驟296)，接著可 將加強影像帶入使用者互動系統如圖2A，2D，2Ε所示，以檢 查是否可接受該加㈣像，且必要時在湘級之前修飾（圖 2Α的步驟255到270)。 圖2D顯示根據本發明的實例用以檢查批次處理產生的加 強肖像影像的可接受纟，一般的照相店有極嚴格的時間要 求以處理大量由其處理的影像，因此使用者互動系統必須 迅速且最佳地整合批次系統的輸出，以便可快速的觀看批 次處理的影像，且必要時作修飾，以符合照相店的量產需 求。為了利於此需求，從批次處理產生一輸出原始播用於 各處理過的影像，原始檔含有以下資訊··說明在影像上執 行的操作及原始、加強及中間影像儲存在那裡，及用於互 動系統的額外指令，關於接受歧絕該加強影像時該如何 處理原始、加強及中間影像。或者，輸出腳本中的資料或 輸出腳本的位置可储存在影像檔中作為中介資料，在取得 步驟2000，使用輸出原始播中含有的資料或是從影像中含 有的中介資料而取得中間影像，可從原始棺(其包含輸出： 。檔的名％及位置’或是批次系統已處理過的影像）輪出腳 本的位置或影像’在顯示步驟2〇1〇 ’原始及加強影像並排 地顯不在顯示幕50上，在接受或拒絕決策步驟2〇2〇，使用 O:\90\907I4.DOC4 -18- 1325567 者藉由單擊接受或拒絕鍵而接受或拒絕批次系統產生的加 強影像。若拒絕加強影像，則使用者進入互動修描模式步 驟2030其中使用者執行步驟286, 288,29〇(圖2B)直到已加 強影像中的所有臉部（給使用者）。若有，則可使用中間影像 (I3罩a，特徵圖’肖徵點等)以快速的修飾不被接受的加強 影像。當施加加強濾波器時，使用中間影像可減少執行耗 時計算（再計算它們）的需求，在接受或拒絕決策步驟2_ ，使用者決定是否接受或拒絕新加強的影像，在清除步驟 205〇’系統執行輸出原始標中的指令以處理原始，加強， 及中間影像的命運，-旦接受或拒絕目前的影像，立即顯 不表上的次一影像及其加強影像，以利操作者快速決定該 加強影像的接受度，持續檢查批次處理加強影像的流程直 到已檢查所有的影像（查詢步驟2060)。 為了進一步提高批次/互動系統的產能，批次系統可自動 強影像加上旗號以引起使用者注意，可由系統使用 限制加強影像的數目，該加強影像必須使用互 號可表示加強影像的接受機率及/或加強 々像狀病的組織說明， 右疋在臉。卩偵測及位置確定步驟 如、统找不到肩始槽臉部，則系統可以用0 00接受度旗 號加上找不到臉部的旗號將該影像加上旗號、 可以用與影像上執行的皮膚組織加強量成正比的接受产旗 號將該影像加上旗號。皮膚組織加強的越多受又、 :越低:在另—例，若系統判定臉部有鬚子，即可= π的毛髮的旗號’或是此人载眼睛，則設定眠睛旗號。必 O:\9iH907t4.DOC4 -19· 1325567 要時，在步驟2_僅取得及打開_些影像 檻的接受機率’及/或一些影像其有特定的組織旗號= 略Γ熟於該技藝者可了解該批次/互動系統有許 少替代』，都可用以執行本發明用於大量的_ 圖2A所述的肖像加強系統實… 士、次一— 貝例了以在客戶操作的影像完 二貫作’必要時客戶可以人工方式啟動該宵像加 強糸統，圖2E顯示根據本發明的另一肖像影像加強實例， 其更適用於客戶操作的資訊站以便從印刷品，底片，數位 檔等產生列印。此實例說明一種半自動/自動處理以判定一 待加強影像的適合度及在使用者參與或是不參與之下施加 肖像強到’“象。客戶已在步驟2】〇〇開始該完成處理後， 系統即在取得步驟2105取得數位影像，藉由掃描相片或底 片或從數位媒體上含有的檔，現是從網路上的檔(若系統 經由通訊鏈而接到伺服器)而取得影像。在臉部偵測步驟 jlio ’ j向客戶顯示該取得影像之前自動價測影像中的臉 部’且若發現一臉部則在各臉部上自動識別臉部特徵點的 置在决策步驟2120，若找不到臉部或是偵測到的臉部 都不適於加強，則顯示取得的影像2180且使用者使用習用 影像完成資訊站處理以持續2190。有各種標準以判定是否 可接又㉟部用於加強，在一較佳實例，使用臉部的大小 及清晰度以測量臉部是否適於加強’為了得到加強臉部的 臉部必須夠大且充分的聚焦供使用者看到改良處， 方福測到可接受作為加強的臉部’系統接著使用適當選擇 的參數在執行步驟2130執行適當的加強濾波器。系統在步 O:\90\90714.DOC4 -20- 丄以5567 驟2:完：加強渡波器後，即顯示加強影像214〇。在使用 |模式中使用者使用影像完成資訊站處理以持續 2190。，在使用者介人模式中，使用者可決定是否接受該 加強影像’若是在決策步驟·使用者接受該影像則 使用者使用影像完成資訊站處理以持續2】9〇。否則若不 接受該影像’則使用者可以在決策步驟2i6Q選擇是否略 過加強級且使用資訊站處理以持續219()或是開始肖像系 統的互動模式。在此點顯示（步驟2170)互動肖像系統的 GUI(圖1BR使用者接著可使用互動模式以加強該影像 直到取得可接受的結果。 圖3疋圖2A，2B臉部偵測及點位置步驟21〇的流程圖，以 根據本發明顯示在影像的臉部上確^凸出臉部特徵點位置 的處理知加臉部偵測模組3丨〇在數位影像以標識影像中所 有人類臉。卩的位置及大約尺寸，而臉部特徵偵測器3 1 $確定 偵測到臉部上的凸出臉部特徵點’可由使用者以人工方式 執行忒臉部偵測步驟，或是使用許多臉部偵測方法（其已記 錄在學術文件中）之一以自動的執行它。用於此應用的較佳 自動臉部偵測方法是由數個方法組成，可參考Henry Schneiderman, A Statistical Model f〇r 3D Object Detection Applied to Faces and Cars, Ph.D. Thesis, Robotics Institute,

Carnegie Mellon University，May 2000 ,其在此併供參考。 或者，若使用人工方法以偵測臉部，則一較佳方法是使用 者單擊影像中至少一臉部的雙眼，眼睛的空間分離可用以 估汁臉部的尺寸。 O:\90\907I4.DOC4 -21- 1325567 在偵測至少一臉部之後，又提供影像座標及各臉部的估 計尺寸給臉部特徵偵測器315，其工作是確定偵測到臉部上 凸出臉部特徵點的位置，在較佳實例，使用主動形狀模型 作為臉部特徵偵測器，關於主動形狀模型可參考：'a Lanins, C.J. Taylor, and T.F. Cootes, -Automatic interpretation and coding of face images using flexible models，·，ieee Trans. on PAMI，v〇1 19, N〇 7，卯 μ 乃6, 1 997，其在此併供參考。使用偵測到的特徵點以識別晝 輪廓，及將臉部分成數個不同區域，如臉部的皮膚區域， 眼睛，鼻，嘴，眉毛，頭髮，臉部的毛髮等，及頸區域。 接著將區域的二位元罩蓋作空間聚集以產生α罩蓋，在步驟 235 288使用α罩蓋以混合加強濾波器（如組織加強濾波器） 與原始影像的結果，聚集二位元罩蓋及在混合操作中施加產 生的α罩蓋可確保已加強或未加強區域之間的平滑變化，為 了產生α罩蓋藉由以模糊功能模糊二位元罩蓋而將二位元 罩蓋聚集，其中模糊半徑的選擇是根據臉部的大小，使用二 位疋罩蓋以決定那裡空間施加加強濾波器如圖2α，2Β所示。 >考圖4其顯示偵測到臉部4丨〇上凸出特徵點42〇位置的 覺例子通㊉使用影像處理技術以人工或自動的確定這 些臉部特徵點的位置。 在許多影像中重要的是施加皮膚加強濾波器到臉部區域 及頭區域，在較佳實例，頸區域是由合併修飾過的一般頸 乂狀模3L與皮膚色彩分類器而決定。決定頸區域的方法的 程圖如圖5Α所示，在一般映射步驟550產生用於頸區域的 O:\90\90714.DOC4 -22· 1325567 一般機率圖，—& _ 較户接例⑫又頌機率圖是根據頸形狀的過去知識，在 “貝例，將常態影像 ^ 數㈣像類影像))平约以二表不待加強影像的預估 縮小成眼睛㈣㈣㈣，藉由將各影像 本影像中二=:::而將樣本影像常態化。在各樣 機率是分數函數的广域的輪廓各像素的最後頸 分則它等於I，❹m二二 素是頸區域的—部 、+所有樣本影像它料於G。使用啟 已1產ί—般頸機率圖’若影像令該人的姓別是 、&佳實例中使用不同的機率圖用於男性及女性 ^皮膚區域在女人肖像中比在男人肖像中更容易看到 ，在縮放步驟554 Φ，_ Α _ , : 般頭機率圖縮小以適於下巴線及 臉部輪廓的個別特徵點。 在皮膚色彩分類步驟556，根據色彩分割而產生頸機率圖 丄使用監督的像素式色彩分類器以罩蓋在皮膚色彩的特定 祀圍中的所有像素’像素式皮膚色彩分類器（它是屬於皮膚 的像素色彩C的條件機率函數）可作成高斯模型 exp p(C | skin) 公式1 其中平均向量#及共變異矩陣以從定義的皮膚區域估 計出，向量C對應像素的紅R，綠G及藍6信號上述方法也 適用於在其他色彩空間如CIELAB，YUV，HSV等表示c時， 使用臉部的皮膚區域的子集以判定條件皮膚機率分布在 較佳貫例，眼睛上面的皮膚區域及減到臉部毛髮的皮膚區 域在估計公式1中的平均向量#及共變異矩陣Σ時都不使 O:\90\907I4.DOC4 -23- 1325567 用。根據公式1而定義臉部區域外及下巴線以下的所 的頸機率’而其他部分其都等於〇。 素 在最後映射產生步驟558中，藉由合併縮放的—般頸機率 圖與皮膚色彩式機率圖而產生最後的機率圖。 ^ , 权佳實例 ’將二個機率圖作算術相乘，使用產生的頸機率圖作為α 通道以判定如何混合加強濾波器的結果與原始影像，將最 後頸機率圖設定門檻以產生二位元頸區域罩蓋，對於某— 像素若機率大於0,則對應的罩蓋值等於〇以指示頸區域， 否則罩蓋值等於0以指示非頸區域，使用二位元頸區域罩蓋 以判定在那裡施加加強濾波器。 圖5B-5D以視覺說明產生最後頸機率圖的處理，泉考圖 5Β，其中顯* 一縮放的一般頸機率圖，㈣一般機率圖縮 放以匹配臉部輪廓的各特點，一般頸機率圖是根據頸相對 於臉部輪廓的位置的先前知識如以上所述。圖化的一般頸 機率是根據啟發式規則（不是前一節推焉的統計分析）的可 能例子’它可達成顯示處理的定性特徵的目的，一般罩蓋 t的中央區域570有高的值（如大於〇5且小於或等於丨）其對 應頸區域的高機率，邊界區域572有低的值（如大於〇且小於 0_5)其對應頸區域的低機率。頸區域的機率在區域572以外 疋漸減為0 ’通常機率從區域5 7 0的中央連續的減少到水平 方向的區域572的邊緣，以及在垂直方向從最上到最下，下 巴線以下的罩蓋的中央區域有最大的機率。 由皮膚色彩分類器判定頸機率圖的輪廓574(圖5C)，根據 上述公式1而計异皮膚色彩式機率’輪廓區域574以外的機 O:\90V907M.DOC4 •24- 1325567 率值等於Ο ’區域574中的機率值大於〇如公式1所定義，二 個頭機率圖：根據皮膚色彩分類的縮放一般頸機率圖及頸 機率圖由二個的算術相乘而合併’產生的最後頸機率圖的 輪廓如圖5D所示，中央區域576對應皮膚色彩機率區域574 減去的高機率區域570，區域578對應皮膚色彩機率區域574 減去的低機率區域572 » 一旦已確定臉部特徵點及頸區域的位置，可施加容貌加 強濾波器的組件（即至少二個）到影像中的臉部及頸區域，參 考圖6其中顯示數個不同的加強濾波器，在較佳實例，實作 出以下的加強濾波器：皮膚組織加強濾波器6丨〇，皮膚色調 加強濾波器620，牙齒加強濾波器63〇，眼睛加強濾波器64〇 ’及臉部特徵形狀加強滤波器650，所有這些濾波器詳如以 下所述：而這些加強濾波器可以用任何順序施加，在一實 例，使用者能以他/她想要的任何順序施加任何加強濾波器 到影像中的臉部及頸區域，惟在較佳實例，系統設^一預 設順序以施加加強濾波器與適當參數。 則以預設順序將所有的加 而加強影像則顯示在顯示 下：皮膚組織加強濾波器， 若使用者選擇執行預設設定， 強濾波器及預設參數一起施加， 幕。加強濾波器的預設順序如以 皮膚色調加強m，牙齒及眼睛變白加強（以任一順序）， 及臉部特徵形狀加強慮波器，在下—節說日月加_波器其 順序與施加濾波器到原始影像的預設順序相同。 部分的預設參數是依影像的類別而定，其中類別是根據 主題的分類，如可以將一组預設參數最佳化用於這些分類 O:\90\90714.DOC4 -25- 1325567 如學校肖像影像，亥应 为像釤像，嬰兒圖書等。在眘乂 ，在批次模式執㈣料，料♦在—貧例 各遽波器的播參數者可以在控制腳本令指定 …作，像類別，指定影像類別後，即 使用某—類別的較佳參數組，類似地，對於本發明的互動 軟體實例’使用者可，月的互動 么ΛΛ < — 坶好選早選擇一影像類別，而且白 動的5又足預設設定用於加強濾波器。 當施加改變皮膚容貌的加 波器)時，通常重要的f (皮膚組織加強濾 吊重要的疋罩盖頭髮及臉部的毛髮，否則合在 產生的影像中極明鲔的丢J θ ^ 陷如缺少頭髮組織，臉部發 w石^ 奴不犯精準的晝出高度變化的特 ，:員=，它是不規則而且會因不同的臉部而大不相同 /車父佳貫例’加入一精細步驟以罩蓋頭髮與前額區域重 璺的部分，參考圖6B，其中 r ,，、，貞不使頭髮線精細的流程在 ^驟67〇，界定前額的邊界區域，# μ # $ , 根據偵測到的特徵點（眼 目月位置）及從人體解剖的先前知識得到前額的極大可能尺 寸而決定邊界區域，在步驟⑺，在前額邊界區域產生不同 的特徵機率圖’特徵機率圖包括從原始影像導出的組織資 訊及色彩資訊，在較佳實例，於水平，垂直及對角線方向 生方向邊緣圖’用以產生組織圖的方向邊緣偵測器詳如 以下組織加強所述’在較佳實例，於以下步驟中產生組織 機率圖f ’ 6十异垂直邊緣梯度如組織加強章節中所述 。垂直邊緣谓測器核心大小是依眼睛分開距離而定，在第 二步驟，產生連接的元件圖用於所有的垂直邊緣，其具有 的梯度大於設定的門植值，在次-步驟，根據公式2、3以 O:\90\90714.DOC4 -26- 1325567 汁异出常態化連接元件密度 公式2

d(x,y)= Y Λίβχ—A n^y^k d.

d(X,y) = ^lA 公式3 其中d(x,y)是像素（x，y)的連接元件密度從居中在像素 (x，y)的區域（2k+l)x(2k+l)中計算出，wm,n是根據至像素 (x，y)的距離的權重因子，c(in，n)是像素（m，n)所屬的連接元 件大小’ dmax是重要區域中d(X，y)的極大值，是在像 素（x，y)的常態化連接元件密度。 接著將常態化連接元件密度值設定為門檻，若小於預設 門檻（如〇_3)則設定密度值為0否則保留，可使用門檻化的常 態化連接元件密度圖作為頭.髮組織機率圖，邊緣偵測器核 〜大小疋依眼睛分開距離而定，可使用與上述頸色彩機率 圖所述相同的方法以產生皮膚色彩機率圖，在步驟674,藉 由機率的*恕化權重總和而合併機率圖，當使用新的“通 道圊用於混合時，最後的機率圖即與原始臉部〇通道合併 ’相同的方法可用於臉部毛髮，於步驟㈣不U前額四周 框，根據特徵發現演譯法而決定的臉部特徵點來定義鬚子 及/或髮，接著產生重要’特別區域的特徵機率圖，若已知 姓別’則產生男性的臉部毛髮罩蓋而純則無， 統的總速度及去除因偽偵測到 ‘、.、^曰加糸 ,^ ^ 』的臉部毛髮而產生的缺陷。 在本發明的實例重要的是臉 ^ ^ yc ^ 力強不會產生或增加臉 4的不對稱容貌，如若去除一此 臉 二對稱特徵皮膚特徵如笑容 〇Λ9(Λ907Ι4.〇〇〇4 •27. JU / =是”以下的線’則應該從臉部的二側去除，或是若 σ ’則應成比例且對稱地加強，必要時會在以下 特別說明各力口強遽波器的對稱的事。 組織加強濾波器 皮膚組織加強滤波器的工作是平滑皮膚的區域組織，去 同y點，累斑等，及去除或減輕頌紋的範圍及深度，參考 :7A，其中顯示根據本發明的皮膚組織加強濾波器的流程 2在皮膚特徵產生步驟710，谓測（由臉部特徵點描繪的） 品域中的皮膚特徵，接著在特徵修飾步驟⑽中修飾偵 、‘ ·ί的皮膚特徵’皮膚特徵圖包括我們想修飾的特徵如污 點，黑斑，縐紋等。 在習用中’使用色彩分析以找出特定皮膚缺陷的位置， 而且在習用中，藉由分析色彩信號的條帶圖（其與在皮膚區 域上滑動的有限二維窗中包含的像素相關）而執行皮膚缺 的n右發現它相關的條帶圖是雙模式則將—區域視 為包含皮膚缺陷，由於這些技術使用色彩資訊作為其主要 偵測裝置的-部分，所以它要求影像系統是色彩校準及待 分析的影像是正確的色彩平衡，當使用控㈣光線及/或彩 色滤波器以捕獲影像時，使用色彩資訊的效應即得到加強 ，此外，若偵測到的缺陷將要根據缺陷的色彩而再分類為 污點，棕色斑點等時，即需要正確的色彩複製。 在相片t，皮膚不完美部分如續紋，污點等在其不該的 地方反白及成為陰I，皮膚不完美部分因㈣應區域強度 極大及極小值，反白對應照明影像的峰而陰影對應照明影 O:\90\90714.DOC4 -28- 1325567 像的谷，與習用不同之處及根據本發明的較佳實例，施加 峰及谷偵測器到由各RGB信號形成的照明影像以偵測皮膚 不完美部分’谷/峰偵測器是第二差運算子，照明定義為紅 R，綠G及藍B信號的加權線性合併，如以下所示： L=klR + k2G + k3B 公式4 其中k值表示權重’產生照明影像的權重的較佳選擇是 kl=k2=k3 = 0.333，谷/峰運算子的例子可參考D E pears〇n 及 J.A. Robinson, "Visual Communication at Very Low Data

Rates，Proceedings of the IEEE，Vol.73, No.4, April 1985。 較佳谷/峰運算子是一串含4個方向運算子，如Pears〇n等 人使用的那種，垂直運算子v，其施加到5χ5像素相鄰區中 的中間像素m(圖7Β)其中像素位置以&到7表示，由以下公式 5定義： V==f+k+p+j+〇+t-2(h+m+r) 公式 5 此運算子施加到線性皮膚區域中的各像素位置，類似的 ’公式6顯示水平運算子H而-對右及左對角線運算子DL及 DR刀別顯不在公式7及8，且施加到線性皮膚區域中的各像 素位置如以下所示： H=b + c + d + v + w+x-2(l + m + n) 公式 6 DR = c+S^k^〇+s + w-2(i + m+q) 公式 7 DL-c + i + 0 + k + g + w^(g + m+s) 公式 8 _ α λ ^ '子不僅偵測谷7峰而且對於邊緣的底部/肩部有 -次部分現’因此其稱為谷邊緣/峰邊緣㈣器， 徵對應運算子铨+ 遠緣特 开子輸出的正值然而谷邊緣特徵對應負值，藉由 O:\90\907I4.dooi •29- 1325567 施加邏輯條件到運算子即可得到僅對於谷/峰靈敏的谷/峰 偵測器，至於垂直谷，邏輯谷偵測器的對應關係是： if (f+k+p)>(h + m + r) and (j+ o + t)>(h+m + r) then y=(f+k+p+j + 〇 + t)-2(h + m + r) else V=0 公式9 至於垂直峰，邏輯峰偵測器的對應關係是： if (f+k+p)<(h+m + r) and (j+ 〇+t) <(h+m + r) then ^=(f+k+p+j + 0 + t)_2(h+m + r) else V=0 公式10 水平及對角線谷/峰的邏輯偵測器具有類似的形式。 根據本發明谷/峰及谷邊緣/峰邊㈣測器都可有效的產 ^皮膚特徵圖，因此我們使用谷/峰運算子這名^表示谷 /峰運舁子及谷邊緣/峰邊緣運算子。 在施加定向的谷/峰濾波器 知像之别，知加雜訊減少滹 抑：影像中的雜訊效應，適當的雜訊遽波器是低通 中《波器’及其他線性及非線性濾波器 用以減少數位影像中的雜訊β Ρ了 運算子產生的方向谷/塔 . 關皮膚特徵，至於谷特徵 保強的)相 像素具小於特定門挺Τ7士 則設為0，至於峰特徵圖 ▲ ν '值 A〇 素具大於特定門檻丁P的值則讯 不 為。，可以是固定的整合門檀或是可變門檻 檻方法是使用可變門檻，其值如公式"所…佳的門 T==/5 Lave

其中厶是常數而L B aa 公式II 的 8疋於像素的區域平均亮度，不同 O:\90V907I4.DOC4 •30· 丄JZJJU/ ㈣直’水平及對角線成分，區域平均亮度匕 ::像素本身的值或是相鄰像素(如3x3像素相鄰區心 Θ党度。 卜較佳步驟合併個収向特徵圖以產生合併的皮膚特徵圖 F=m^{^KDR,DL} 公式 12 ▲:巾的各像素是根據它的起源方向遽^ H而加以桿 :己’該方向標記資料及/或個別方向皮膚特徵圖可用以去： °、’為紋寺特徵’其中-特別方向的特徵會優先去除。 皮膚組織加_波器的卫作是平滑皮膚的區域 強據波器所平滑的皮膚組織的空間大小是臉部大 =純，因此為了偵測適當的皮膚特徵，最好根據臉部 定谷/峰渡波器的空間大小，此外，也可根據臉 =大小而適應性的選擇谷/峰遽波器的類型（方向，各向同性 明確地’眼睛間的分離可用以決定谷/峰遽波器的大小 ’員型，垂直谷/峰運算子的一種通常表示是 ^X，y>i~2h%I{x~^y + i)-2nx,y + 0 + i(x + W)y + i) 、其中W及h的選擇是臉部大小的函數，詩水平及對角 合/峰的一般谷/峰偵測器具有類似的形式。 較佳的各向同性谷/峰偵測器是將模糊照明的影像 明影像I減去而得到 b F(-^)=I(,公式 i4 施加模糊遽波器如高斯或箱型遽波器到照明影像即可』 O:\90\907I4.00C4 -31- 1325567 生模糊照明的影像’谷/峰❹!器的輸㈣如上所述的門檀 化以產生峰及谷特徵圖，模糊濾波器的半徑選擇是臉部大 小（它是預設參數的例子）及想偵測的皮膚特徵大小的函數。 /經由連接疋件的標記而將互連的像素聚在一起即可將特 徵圖進-步精細，根據像素連接性，連接元件的標記會破 壞影像以及將它的像素聚集成元件，即-連接τό件中的所 有像素都以某一方式互相連接。一旦已決定所有的群，即 根據它指派的元件而標記各像素，各連接元件對應一皮膚 特徵，各皮膚特徵是由其特徵的特徵如大小，形狀，及^ 皮膚區域中的位置而加以特徵化及分類，大小對應元件中 的像素數目（它是預S參數的例子），形狀資訊說明關於皮膚 特徵幾何的特定特徵，形狀資訊的例子是：空間矩，邊界 框，方向，主軸等，形狀分析的額外資訊可參考William S. pratt, Digital Image Processing, 2nd edition, John Wiley & Sons’ 1991，此外，描繪皮膚特徵圖的特徵可使用已識別出 為皮膚特徵的像素的相關色彩資訊而再加以分類，形狀及 色彩資訊有用於描繪高階特徵如縐紋，污點，美人痣，黑 痣，陰影，反白等，一旦產生皮膚特徵圖，其可用以選擇 將在步驟720修飾的皮膚特徵。 參考圖8其顯示的流程圖在說明根據本發明的選擇及修 飾皮膚特徵的較佳實例，在特徵選擇步驟81〇，待修飾的特 徵是根據其特徵而選擇，如上所述，特徵的特徵對應大小 ’形狀及色彩，且根據這些特徵在皮膚區域中的位置而選 擇，皮膚特徵的選擇也必須考慮對稱，一些皮膚特徵相對 O:\90\907U.DOC4 -32- 1325567 於臉部的左側及右側是對稱的，信. 丁稱的，僅在臉部的一側選擇及修 飾一些明顯的皮膚特徵會產生不對金 _ 不對％ ,硯可視為缺陷，如 眼睛下的皮膚縐痕或是微笑時可明鞀 卜 丁 J明顯看出的顯著鼻子縐痕 (笑紋），在較佳實例，可根據直转 ★ 很嫁具特徵（如位置，形狀，色彩 等）而自動識別這些對稱特徵，告g挥“ ^ w選擇延些對稱特徵之一用 於加強時’如根據其大小及/或1他 -乂，、他特徵，不論其特徵都自 動的選擇臉部的另一側上的對庫斜猛 丁愿對％特徵，以確保得到的 加強的對稱性。 將一些對稱皮膚特徵永遠從選擇及 & π、伴汉加強中去除以及那些 可以選擇是依期望的加強容貌而宕 a 而決定，在另一實例 加強 二對稱皮膚特徵需要唯一類型的 、 蚀奋猊而疋，廷可根據年齡或姓別 在擴大步驟802,接著將選擇的皮膚特徵（適應性的）擴大 及接著處㈣波步細〇修飾，皮膚特徵的擴大效應是擴大 皮膚特徵的大小，對於所有選擇的皮膚特徵，擴大量可以 是固定值或是依皮膚特徵的特徵而變，在較佳實例，根據 其大小及臉部大小（它是預設參數的例子）而適應性的擴大 f膚特徵，較大皮膚特徵的擴大量比較小皮膚特徵的擴大 量更大，可使用標準的變形邏輯運算子以執行擴大處理β 藉由持續執行步驟81〇, 82〇，請以循序修倚皮膚特徵， 同時改變待修飾的皮膚特徵類型，即可得到最佳的皮膚加 強雖然執仃步驟810，820，830—次即可選擇及修飾所有 期望的皮膚特徵。在一較佳實例’先選擇及修飾谷 徵（步驟8U)销），接著在第：次執行步驟8ΐ()·83()時選擇及 O:\90\907U.DOC4 •33- 修飾剩下的峰皮膚牲料 · 4 ，為了保留皮膚組織，僅修飾—此 皮膚特徵其具有的大小在特 二 特疋極小與極大尺寸之間，此外 配合臉部大小而直接修赖士南# a部皮膚特徵的極小及極大尺寸。 在步驟8 3 0，彩色;^少、-奮，+。。 /慮波盗施加到擴大特徵的各像素， 擴大特徵的像素稱為特徵像夸 ’、 f又彳冢素，所有其他剩下的像素 非特徵像素，在本發明的實 只1夕】由一位凡罩盍疋義特徵像 素’其中G值對應特徵像素而1值對應非特徵像素，彩色焰 火;慮波ϋ使用與居中在特徵像素的線段對齊的相鄰非特徵 像素而内插某-特徵像素的新值，彩色焰线波器的詳情 可參考共同讓渡的美國專利案61〇4，，號，名稱 and Apparatus for Correct.ng Plxel Values ln a Dig.tal

Image ’領證日2000/08/15，專利權所有人David R c〇k等 ’其在此併供參h在此包括彩色焰火遽波器的簡單說明 其目的是為了明晰及指出David R c〇k等人專利中的原始 廣譯法的部分改良，參考圖9，四個線段93〇的SET是以圖形 表不（垂直V，水平Η，2個對角線段D1，D2)用於選擇的特 徵像素940，四個線段分隔45度，擴大特徵92〇以灰色（陰影 )表示’線910表示臉部邊界，SET中各線段由像素94〇二側 上的特徵及非特徵像素組成，線段中的非特徵及特徵像素 是線段定義的某一方向中選擇的特徵像素94〇附近的像素 ’產生線段的SET的方法詳如稍後所述。 參考圖10A，10B，其中顯示藉由施加彩色焰火濾波器而 計算影像中各特徵像素的新值的方法，在步驟丨〇〇4，設定 線段NL的數目，線段MAX—NP1 —側上像素的極大數目，及 O:\90\907U.DOC4 -34· 1325567 這些參數將參考圖 線段MIN_NP 1 —側上像素的極小數目 12以詳細說明，根據臉部的大小（它是預設參數的例子）而設 定線段MAX_NP1-側上像素的極大數目，及線段则―刪 一側上像素的極小數目，臉部的大小越大，則ΜΑχ—N—^及 MIN_NP 1的值越大’运二個參數的相依性是依臉部大小而 定’與Cok等人所述的方法相比這是本發明的特徵，在步驟 1〇〇6,選擇第一特徵像素PSEL，在步驟1〇〇8，經由像素psEL 而產生NL線段的SET，在較佳實例，兕丁中線段^^的數目 等於4，對應垂直，水平及二個對角線段。 圖12顯示產生線段的方法，在圖12的步驟ιιι〇 ,選擇第 一段如垂直線段v，在步驟112〇,選擇線段一側的方向，該 方向是指像素加入在像素PSEL開始的線段，至於各段，定 義二個方向其對應居中在像素PSEL的線段的二側，在步驟 1130，將特徵像素加入線段直到沿著某一方向到達第一非 特徵像素，在步驟丨14〇，加入第一非特徵像素到線段而且 將某一方向中的相鄰非特徵像素加入線段直到符合以下條 件之一： -到達一側MAX_NP1上非特徵點的極大數目， _到達臉部邊界或臉部特徵邊界， •到達新的特徵像素。 康臉冲大小而在步驟1004(圖1A)設定線段MAX_NP1 側上非特徵點的極大數目，線段一定不能跨過組織加強 的臉。卩邊界或區域邊界（如眼睛區域，嘴區域等），與 C〇k等人所述的方法相比，產生有效線段的上述線段條件是 O:\90\907U.DOC4 -35- 1325567 本發明的特徵，完成將像素加入線段一側之後，在步驟1160 設定線段的第二側方向，而在步驟1130_1140重覆流程以用 於線段的第二側’當完成二側相後（步驟11 50)，從SET選擇 次一線段（步驟11 8〇)且在步驟n2〇_ 1160重覆流程，在SET 產生所有NL線段時（步驟1丨7〇)即結束流程（步驟u 9〇)。 回到圖10A，如上所述在步驟1〇〇8產生nl線段的SET後， 將線段’其具有小於至少一側上非特徵點的μιν_νρ丨，從 SET去除（步驟1010)，若在SET中未留下有效線段（步驟 1〇14) ’則不改變像素PSEL的像素值（步驟1052)及選擇新的 特徵像素PSEL(步驟1〇46，1〇48)且重覆流程（從步驟1〇〇8開 始）。若SET中剩下有效線段的數目n大於0(步驟1〇14)，則 计异線性適合的各剩下有效線段（步驟丨〇丨6)用於各通道的 有效線段中的非特徵像素。在步驟1〇18，根據前一步驟1〇16 中汁异出的線性適合而計算各有效線段的均方適合誤差， 用於各通道的非特徵像素。在步驟1020，計算各有效線段 的總均方適合誤差作為某一有效線段的所有通道的均方適 合誤差的平均，如以下公式所示： 从巧 坪a where η = 1, ...,Ν Λ免=1 公式1 5 其中Κ是影像中的通道數’以黑白影像為例，κ等於i，以 彩色影像為例’ κ-般等於3(如3個通道對應R，G, B通道）。 在步驟1022，根據步驟1〇16中計算出的線性適合而計算 像素PSEL的值PSELn，k用於各通道k的各有效線段n，在步驟 1024,計算各通道k的新像素值咖、，將各通道㈣新像素 O:\90\907I4.DOC4 •36· 1325567 值PSELk與原始影像值（其根據前—節中產生的“罩蓋）混 合，以決定加強影像的最後像素值。合併操作確保皮^ 加強與未加強區域之間的平滑變化，與…等人所述的方法 相比，㈣顧中的混合操作及^罩蓋是本發明的特徵。 在另-實例’力。強影像的最後冑素值pSEL_〇UTk是由適應 性混合新像素值！>託“與各通道k的原始像素值psel_in^ 而決定。 p^L_OUTk=aPSELk+{Ua)PSEL_INk 公式 16 使用混合係數α以混合新及原始影像值的操作是依該像 素源自的皮膚特徵的特徵而定，如在圖丨7，混合係數α可 以是該像素源自的皮膚特徵大小的函數，參考圖U，以小 皮膚特徵大小為例其尺寸小於min時，即不修飾原始影像值 至於皮膚特徵其尺寸在min與mid之間，則使用新的像素 值作為固定的像素值。至於大的皮膚特徵其尺寸大於mid ，則由混合新與原始影像值而決定最後的像素值。min，mid， max的值是控制最後組織加強的容貌的組織加強濾波器的 參數之一，如min的值越大則保留在加強皮膚區域中的皮膚 組織越多。mid的值越大則從加強皮膚區域中去除的縐紋及 污點越多’ min值的減少及mid值的增加可增加加強皮膚的 平滑度’在本發明的互動實例，由GUI 78的組織加強滑鍵 92修佛min，mid，max的值，在一較佳實例，由眼睛之間的 距離決疋圖17中混合函數的min，mid, max值。 在本發明的另一實例，由互動模式中的不同滑鍵控制 min, mid, max的值，一些皮膚區域需要比其他部分（如前額 O:\90\90714.DOC4 -37- 1325567 ，頻，眼睛以下區域）更高的平滑度，為了解決此問題，在 本發明的實例依皮膚區域而使用圖i 7的相同混合函數用於 所有的皮膚區域除了 min, mid, max參數以外，在本發明的 另一實例，可定義不同形狀的混合函數及mm，mid，爪打以 外的參數用於不同皮膚區域以產生期望的容貌。_些皮膚 特徵具有相同大小且位於相同的皮膚區域但是其該具有極 不同的混合係數。如上所述，一些特定皮膚特徵可以從任 何組織加強U=o)中去除以保留某一容貌及/或保留臉部對 稱（如鼻唇線）^在某些區域（如眼睛四周），有時最好不要將 所有皮膚特徵去除而只是修飾其生硬的容貌，因此在另一 實例，混合函數α也是依皮膚特徵類型及其所在的皮膚區 域而定。可根據其形狀，色彩，位置等分析皮膚特徵及分 成不同的類型如污點，黑痣，笑容線，鴉腳縐紋等，而不 同的混合函數可用於不同類型的皮膚特徵。加強後（如黑暗 軟等），一些皮膚特徵（如眼睛下面的縐紋）的混合函數可 依臉部的左右側而不同以便對稱地匹配臉部二側皮膚特徵 的合貌’以下說明計算新像素值pS]ELk的不同方法，若選擇 的特徵像素PSEL不是最後特徵像素（步驟1〇46)，則選擇次 一特徵像素（步驟1048)且從步驟1008開始重覆流程，否則結 束整個流程（步驟1050)。 在較佳實例’其中線段NL的數目等於4，圖丨丨詳細顯示 。十异新值PSELk用於選擇的特徵像素pSEL的步驟（圖1〇的 步驟1024)，與Cok等人所述的方法相比，圖u的方法是本 發明的特徵，假設在SET中至少有一個有效線段（N>0)，參 O:\90\907U.DOC4 08- 1325567

考圖11，若SET中的有效線段數目N等於1(步驟1〇26)，則各 通道k的新值PSELk等於該線段計算出的值psel, k(步驟 1028)，否則在步驟1030，根據各線段n的均方根誤差值 MSEn遞減地將有效線段的SET排序，步驟1〇3〇的排序纟士果 是’ S ET中的第一有效線段（n= 1)有最高的均方根誤差而在 SET中最後的有效線段（n=N)有最低的均方根誤差。若 中的有效線段數目等於2(步驟1032)，各通道k的新值PSEL k 等於PSELu及PSEL2，!^平均值（步驟1034)，否則若SE丁中 的有效線段的數目N等於3(步驟1036)，則各通道k的新值 PSELk等於有效線段計算出的以此以值，其具有均方根誤 差的中間值（n-2)(步驟1 〇3 8)，否則，有效線段的數目n等於 4，而各通道k的新值PSELk等於PSEL2,k&PSEL3,1^平均值 (步驟1040) ’根據前一節中產生的α罩蓋而將各通道让的新 像素值PSELk與原始像素值混合（步驟1〇24)，以計算出加強 影像的最後像素值。 在計算新像素值的第二實例中是以下列方式計算出各通 道k的新值PSELk(圖1〇的步驟1〇24)，第一根據公式17而計 算出用於各通道k的線段n的權重值Wn，k，

公式17 接著計算各通道的新值psELk作為pSELnk的權重總和 這是根據公式18而決定以用於各有效線段n及各通道让 O:\90\90714.DOC4 -39- ΣΚ^ΕΐηΛ PSELk=^--

Yw . ti ηΛ 公式18 根據前一節中產生的α罩蓋（步驟i〇24)而將各通道乂的 新像素值PSELk與原始影像值混合（步驟刪），以計算出加 強影像的最後像素值。與CQkf人所述的方法相比混合操 作及（2罩蓋是本發明的特徵。 當施加大量的、组織加強到皮膚肖，產織會在 整個臉部顯示極平滑及均勻，去除嚴重粉刺的臉部的重度 加強可以使臉部極平滑，依加強影像的期望容貌而定缺 )細緻比例結構的皮膚可以接受或不接受，這對於以下影 像極為真貫，其中加強影像產生的平滑在臉部的不同區域 有很大的變化。施加彩色焰火内插後，若皮膚區域過於平 滑或是缺少組織，則可將期望的理想組織加入到原來的這 些區域以產生可接受的容貌，當施加理想化組織到皮膚的 平滑區域時，理想化組織的功能是產生迷人的影像。 理想組織可以將雜訊，自皮膚取得的組織，或是視覺上 類似的組織樣態相關聯或是不相關聯，可直接從具良好皮 膚組織的個人相片取得理想皮膚組織，或是使用組織合成 技術（如 Pyramid-Based Texture Analysis/Synthesis"，

Computer Graphics Proceedings，pages 229-238，1995所述） 而從皮膚組織的代表性影像中產生。或者，直接從個人產 生理想組織如以下所述："Real_tirne，Photo-realistic， Physically Based Rendering of Fine Scale Human Skin Structure", A. Haro, B. Guenter, and I. Essa, Proceedings O:\90\90714.DOC4 -40- 1325567 12th Eurographics Workshop 〇n Rendering, London, England，June 2001。在較佳實例中，為了產生迷人影像期 望根據臉部大小而將理想組織作空間縮放，明確地，使用 眼睛之間的分離以決定該縮放因子。 在最簡單實例中，在特徵點420描繪的皮膚區域上均勻地 加入理想組織可以將皮膚區域再組織化， S〇ut(x,y)=Sin(x,y)+ γ Tex(x,y) 公式 19 其中Sin(x，y)是再組織之前位置（x，y)的皮膚像素， s0ut(x，y)是再組織之後的皮膚像素，Tex(x，y)是待加入位於 像素（x，y)的皮膚的組織成分，而了是縮放因子。在所有的 色彩通道中作再組織操作，必要時可以將加入皮膚的組織 大小设疋為加強程度的函數，參考圖2〇a的再組織曲線，當 加強程度增加時，加入皮膚區域的組織量也增加。在互動 實例中’加入皮膚的組織量與組織加強滑鍵92相關，藉由 改變再組織曲線的形狀及大小’可以在加強皮膚產生不同 的容貌。 組織成分是高頻成分其會在〇附近波動，組織成分也可依 皮膚區域函數而變，皮膚的細緻縮放結構的容貌會在臉部 平滑的變化’而皮膚的各區域有一極明顯的容貌，如前額 細缴縮放結構與鼻子的細敏縮放結構是明顯不同。 在較佳實例中，可根據皮膚的區域平滑度而適應性的施 加再組織到皮膚 S〇ut(x,y)=Sin(x,y)+ γ (x,y)Tex(x,y) 公式 20 其中縮放因子r (x，y)是在像素位置（x，y)的皮膚ss(x，y)平 O:\90\907U.DOC4 -41· 1325567 滑度的函數，可使用任_链& 4 / t 彳軸核_量或高職波器以 測置皮膚ss(X，y)的區域平滑度，如 „。 支/慮，皮益，邊緣遽波 裔，第二差遽波器等都可用以計算皮膚的區域平滑度，參 =圖細，其中顯示用以實作本發明的代表性再組織函數， 當f膚的區域平滑度增加時，縮放因子T也增加因而使得 大量L入皮膚 < 改變再組織函數的形狀及大小可以在 加強皮膚上產生不同的容貌。 我們想修姊的皮膚特徵的主要部分對應谷特徵，即淡色 區域包圍的暗色區域，在多數情況下，不論已識別為皮膚 特徵的像素的所屬色彩資訊，都要修飾皮膚特徵，雖然在 -些情況下有人不要將定義的臉部特徵（如美人旬從其相 片中去除。在這些情況下，皮膚特徵像素所屬的色彩資訊 可用以決定是否該去除的皮膚特徵類型。另一種方法是將 工具設置在圖形使用者介面中以允許操作者去除不良的修 飾（如去除想要的美人痣），在較佳實例，使用者從工具圖形 表84選擇去除/重作卫具，且經由指向裝置4()如滑氣將該去 除/重作工具移到使用者想恢復的原始影像8〇中的皮膚特 徵位置，單擊原始影像8〇中的皮膚特徵（其顯示在左邊）可以 將特徵再回到加強影像82(其顯示在右邊），再單擊原始影像 中恢復的皮膚特徵可以將皮膚特徵從加強影像中去除。因 此去除/重作工具藉由將皮膚特徵從加強影像中去除（若它 出現在加強影像），或是將它恢復為加強影像（若它未出現在 加強影像），即可前後返復地執行。在另一實例，可以將組 織加強滑鍵92設定為不加強，且使用工具84以允許使用者 O:\90\907U.DOC4 -42- 選擇想去除的皮膚特徵。 在另—項實_中’圖形使用者介面獲取並顯示一含一 或多個臉部的數位影像。藉由使用前文提及的技術來識別 及對應皮膚特徵，而產生—皮膚特徵對應圖；因此，該皮 膚特徵對應圖表*該數位數像巾—或多個臉部的皮膚特徵 <'、、:後使用^向裝置4〇來指向一特定皮膚特徵。回應指向 裝置的指向及點選操作，針對所指向的皮膚特程文，開始相 對於該特定特徵及—適#加㈣波器所提供的該皮膚適當 加強，來參考該皮膚特徵對應圖。 皮廣色調加強濾波器 皮膚色調加強濾波器色調加強濾波器62〇(圖6)的功能是 改善皮膚色調的整體容貌，皮膚色調濾波器可去除不平衡 的皮膚色調及產生再平均色彩的皮膚色調，此外，可使用 皮膚色調遽波器以修飾皮膚色調的色彩以產生更想要的皮 膚色彩表示’這對應修飾皮膚的亮度及色度以匹配皮膚色 調的個別及文化偏好，此外皮膚色調問題也比組織具有更 大的空間縮放’重要的是不要過於平均皮膚色調因為無反 白及陰影的臉部是平的因而會令人無趣。 參考圖1 3，其中顯示根據本發明的皮膚色調加強濾波器 的較佳實例的流程圖，該皮膚色調加強濾波器可適應性地 壓縮反白及陰影’方法是適應地混合（在混合步驟1240)輸入 影像I(x)與從混合步驟12 10得到的輸入影像的模糊版本 Ib(x)，如以下所示 〇(χ)= α (χ)/6(χ)+(1- α (χ))/(χ) 公式 21 其中α (x)是伙係數產生步驟12 3 0得到的混合係數，而 -43- O:\90\90714.00C4 1^25567 =(X，y)是像素位置，施加混合操作到所有的色彩通道混 合係數是在x的陰影/反白函數犯⑷強度其得自陰影/峰產 生步驟1220 ’如以下所示 公式22 參考圖14，其中顯示根據本發明計算陰影/反白強度影像 的較佳實例，步驟1220的陰影/反白強度影像是將平均亮度 ’v像1320攸冗度影像丨3丨〇中去除而產生的使用公式2以計 异党度影像，平均亮度影像可以是區域平均亮度影像或整 體平均亮度，施加模糊濾波器如高斯或箱濾波器到亮度影 像即可產生(1域平均亮度影像，‘然而整體平均亮度是藉由 判定特徵點所描$的皮膚區$中的皮膚平均亮度而計算出 ，虽使用區域平均影像以計算出陰影/反白影像時，陰影/ 反白強度即類似於谷/峰影像，在較佳實例，使用模糊半徑 以計算陰影/反白圖，其該大於組織加強濾波器中使用的谷 /峰偵測器的模糊半徑或範圍，在任一例，模糊半徑是依臉 部大小而定（它是預設參數的例子）。 在其最簡單實例，混合係數是常數α (χ)= α， 它是預設參數例子，而且與圖15Α所示的陰影/反白強度無 關’圖1 5B，1 5C寬混合函數可用以調低反白及熱點，其導 因於光線及/或油質皮膚，同時留下未改變的陰影區域。 也可使用皮膚色調濾波器以修飾皮膚色調，在較佳實例 ’區域色彩C(如可藉由移動區域的色彩分布的平均及變異 而修飾的皮膚區域Cm()d)如以下所示

Cmod(x,y)=k(C(x,y).c) + cpreferred(x,y)公式 23 〇：V9〇V$〇714.D〇C4 1325567 其中向量C(X，y)對應像素的紅R，綠G及藍B信號，Cpref— 是較佳色彩向f，C是目冑的平均色彩向4，—是從即 之間改變的常數，較佳色彩Cpref_ed(x，y)可依待修飾的皮膚 區域而作空間變化。 將皮膚區域變白或變黑的較佳實例是修飾皮膚區域的對 比，如以下所示 cmod(g)〇,少） 公式 24 其中小於1的r值對應將皮膚色彩變白，而大於1的7值 對應將皮膚色彩變暗》 將皮膚區域變白的另一實例是

C 公式25 而將皮膚區域變暗的另一實例是

C c, =1 -- 公式26 以其他色彩空間如CIELAB，YUV，HSV等表示c時，上述 方法也適用，此外這些公式可適用於C的所有成分或部分子 集，在色彩空間（如CIELAB)中表示C時，此尤其為真，其 中成分與亮度（L*)及色度（a*b*)有關。 牙齒及眼睛加強濾波器 牙齒及眼睛加強濾波器63〇，640(圖6)的功能是増加 及眼睛的亮度及白色’參考圖1 6 ’其中的流程圖顯示根據 本發明牙齒及眼睛變白濾波器的較佳實例，在眼晴/牙齒罩 O:\90\907U.DOC4 -45- 1325567 蓋產生步驟1510’使用凸出臉部特徵點42〇(圖5)以產生罩蓋 以識別出對應眼睛及牙齒區域的像素。在谷/峰圖產生步驟 1520使用輸入影像，即可使用公式㈣產生谷/峰圖，直中 由眼睛分離（它是預設參數的例子）而決定模糊半徑，在縮放 因子產生步驟1530，使用谷/峰圖及色彩資訊以計算出縮放 因子（它是預設參數的例子）用於眼睛及牙齒罩蓋中像素的 亮度及色度值，接著在像素㈣步驟測，施加縮放因子 到眼睛及牙齒區域中像素的亮度及色度值以產生新的亮度 及色度值。 罩蓋區域中像素的RGB值轉成 且如以下地修飾亮度及色度值。 公式27 公式28 公式29 在較佳實例中， CIELAB(L*a*b)空間， L* =L* · (1+kP) a* =a* / (1+kP) b* =b* / (1+kP)

其中k疋上述預設參數而p是像素屬於眼睛白色 色的機率，機率P的較佳公式是

P •1% otherwise 公式30 中使用a式14以選擇作為臉部大小函數的模糊半徑計 算出F，而冷是門檻。 在一些影像，牙齒沾 v s ω的色衫疋極不平均及/或2個眼睛的白 色的色彩是明顯的互相τ a — ^ p ± ^ 同。在這些例子中，增加牙齒及 眼目月的党度及白声斜 十於強調牙齒及/或眼睛木均勻色彩有 O:\90\907U.DOC4 •46- ^25567

貫例是根據 度的平衡一般會增力σ 方法，根據公式23藉由移動這些 .變異即可修飾像素的色彩c以定 ，其中向量C(x，y)像素的色彩信號 是較佳色彩向量（Lp，ap，bp)，己是目前平均色 彩向量（’而k是從(^彳！變化的常數。如公式23所系 ’此修飾可適用於所有3個色彩通道，或者適用於色彩通道 的一部分（如只有L通道）。為了增加較佳色彩的亮度及白色 ，該選擇為LP>Z而且較佳色彩的色彩飽和小於平均色彩向 ϊ的色:¾/飽和為了使2隻眼睛的白色相等，可以將相同的 較佳色形用於二隻眼睛，或者每隻眼睛的較佳色彩都不同 ，但是它們之間的色彩差異小於每隻眼睛的平均色彩向量 的色彩差。 形狀加強濾波器 形狀加強濾波器650(圖6)的功能是修飾臉部特徵如眼晴 鼻及嘴的形狀’臉部特徵的這些形狀可使用標準扭曲方法 以修飾其形狀而加強，可實作本發明的扭曲方法的例子可參 考 T. Beier 及 S. Neely, Feature-Based Image Metamorphosis，

Computer Graphics, 26(2):35-42, New York, NY, July, 1992, Proceedings of SIGGRAPH '92，其在此併供參考。 形狀修飾設計成產生臉部的較佳容貌，如，若影像中的 眼睛稍微接近，最好使用變形技術以使其張開某一角度， O:\90\907i4.DOC4 -47- 而且臉部特徵的加強對稱一般會增加某一臉部圖畫的主觀 可接党度，如使二隻眼睛的形狀相等，則臉部圖畫一般且 有較高的主觀可接受度。依此，修錦整體臉部表情，則嘴 形狀的改變可產生較佳的容貌。 參考圖二’其中的流程圖是根據本發明形狀加強遽波器650 的&佳貝例’在來源控制點判定步驟191〇 ’扭曲影像用的 來源控制點1810(圖18A)是由描述待加強形狀的臉部特徵 (如眼睛）的特徵點(圖4)判定。在目的控制點判定步驟 1920,判定目的控制點182〇。目的控制點182〇的位置定義 形狀修飾影像中來源控制點181〇的新位置，目的控制點 1820(D1，D2，D3，D4)分別是來源控制點181〇(sl，幻，幻， S4)的新位置。在扭曲步驟193〇,使用來源及目的控制點以 扭曲影像，由臉部特徵形狀的期望變化定義目的控制點 1820的位置，如若期望增加眼睛大小，則如圖i8a所示地定 位目的控制點1820。為了較佳控制形狀變化，部分控制點 包括如圖18B所不的特徵點。來源控制點S5, S6, S7, ss對應 眼睛特徵點，目的控制點D5, D6，D7，D8定義因扭曲而產生 的新眼睛形狀，對於極限變化，來源及目的控制點“及⑴ S2及D2，S3及D3 ’ S4及D4是相同的，該變化因扭曲限定 矩形（Sl，S2, S3, S4)中的區域而產生。在較佳實例，為了使 眼睛形狀相# ’ -隻眼睛的目的控制點（D5, D6, D7,叫必 須匹配另一隻眼睛的特徵點的相對位置。在較佳實例，當 改變眼睛形狀時（如張開眼睛），即依定義左眼的目的控制點 (D5, D6, D7, D8)及右眼的目的控制點（D5，，d6'，D71，D8，，即 O:\90\907U.DOC4 -48- 1325567 其中相同參考數字與圖18B所用的相同，但是（I)是指右眼）， 以確保雙眼形狀的均等變化，方法是匹配左右眼[S5，D5] 及[S5’，D5'] ’ [S6, D6]及[S61，D6'] ’ [S7, D7]及[S7'，D7']， [S8, D8]及[S8’，D8，]之間對應線段的長度及方向。 在較佳貫例’使用形狀加強濾波器的參數藉由指定目的 控制點1 820的位置，以定義是否增加或減少臉部特徵形狀 ，經由一額外滑鍵控制可以將形狀加強濾波器併入αυΙ螢幕 7 8 (圖1B)’此外’各臉部特徵有唯一的形狀加強滑鍵，該 系統將滑鍵位置映射到形狀加強濾波器的適當參數值，在 一方向移動滑鍵可以使臉部特徵的大小減少，然而反向移 動⑺鍵可以使臉部特徵的大小增加。因為對稱對於臉部容 貌是極重要，在較佳實例中當控制對稱臉部特徵（如眼睛） 的形狀牯’即可如上所述地確保形狀對稱，各滑鍵的預設 位置因而疋中性位置’不會產生任何形狀加強(直到在一方 向或是另一方向移動滑鍵）。 透過上述說明已設定一些參數作為系統預設參數的候選 者〃中如判疋加強漉波器的初始設定及加強滑鍵的初始 設定，在圖形使用者介面中使用@。這些參數的選擇不限 於適當的預設參數的範例，且不該視為參數的定義性或限 制性集合’熟於該技藝者可了解許多其他參數包括未在本 發明中敘述的，也可選擇及/或選擇作為預設參數。 【圖式簡單說明】 的 圖1A，1B是系統的圖形 圖形使用者介面。 以分別執行本發明及系統使用 O:\90\90714.DOC4 •49- 丄奶567 圖2A是執行本發明實例的流程圖，而使用者也可介入。 圖2B疋在才比次模丨中執行本發明&自動實例&流程圖， 其中無使用者介入。 圖2C說明原始棺其具有批次模式令原始數位影像的位置 及處理指令。 圖2 D是以批次模式執行修描模式的互動實例的流程圖。 圖2E是以客戶操作資訊站設定方式執行修描模式的互動 實例的流程圖。 圖3疋圖2A、2B中臉部偵測及臉部點位置步驟的流程圖。 圖4疋圖晝例子以顯示缺陷臉部上凸出特徵點的位置。 圖5 A是判定頸區域的方法流程圖。 圖5B-5D是圖晝例子以視覺地說明產生最後頸機率圖的 處理。 圖6A是加強濾波器組件的圖形，用於圖2A，2B流程圖中 的系統。 圖6B是產生前額區域中頭髮罩蓋的方法流程圖。 圖7 A是用於圖6皮膚組織加強濾波器的流程圖。 圖7B是包括谷邊濾波器核心的像素相鄰區域的圖形，該 核心由皮膚組織加強濾波器使用。 圖8的流程圖顯示根據本發明而選擇及修飾皮膚特徵的 較佳實例。 圖9是彩色焰火濾波器的圖畫例子以說明定義在缺陷像 素附近的線段。 圖10A ’ 10B共同顯示—流程崮以說明一處理，其用於圖 〇：V9〇\9〇7U.D〇C4 -50- 1325567 9的彩色焰火濾波n以估計缺陷像素的校正值。 圖1 1的流程圖說明一較佳實例以計算圖10處理中的新像 素值。 圖12的流程圖說明一處理以透過圖9彩色焰火濾波器中 的特徵像素而產生線段。 圖13是圖6皮膚色調加強濾波器的較佳實例的流程圖。 圖14疋计异陰影/反白強度的較佳實例的流程圖，用於圖 13皮膚色調加強濾波器。 圖1 5 Α，1 5Β，1 5C說明數個功能以顯示圖丨3皮膚加強濾波 器中使用的不同混合係數的效應。 圖16疋圖6牙齒及眼睛加強濾波器的較佳實例的流程圖。 圖17說明皮膚組織加強濾波器中使用的混合功能。 圖18A，18B是控制點的圖晝例子用以調整眼睛形狀。 圖19是圖6形狀加強濾波器的較佳實例的流程圖。 圖20A，20B顯示再組織曲線，其中在圖2〇A該再組織是加 強位準的函數，而在圖2〇b再組織是皮膚的區域平滑的函數。 【圖式代表符號說明】 10 糸統 12 個人電腦（PC) 20 儲存媒體 28 掃描器 30 數位相機 40 輸入裝置 50 顯示幕 〇A9〇\9〇7U.D〇C4 -51- 1325567 60 印表機 62 伺服器 65 儲存媒體 70 通訊網路 78 圖形使用者介面（GUI)螢幕 80 原始影像 82 加強影像 90 容貌加強器 92 組織加強器 94 皮膚加強器 96 眼睛加強器 98 牙齒加強器 200 初始步驟 205 取得及顯示步驟 210 位置確定步驟 215 顯示步驟 220 決策步驟 225 修飾步驟 230 預設設定步驟 235 執行步驟 240 使用者選擇步驟 245 顯示步驟 250 決策步驟 255 區域印列步驟 O:\90\907I4.DOC4 -52- 1325567 260 區域儲存步驟 265 遙控印列步驟 270 遙控儲存步驟 275 查詢步驟 280 結束步驟 282 取得步驟 284 臉部偵測及位置確定步驟 286 加強選擇步驟 288 加強執行步驟 290 臉部查詢步驟 292 儲存步驟 294 影像查詢步驟 310 臉部偵測模組 315 臉部特徵偵測器 410 偵測到的臉部 420 凸出特徵點 550 一般映射步驟 554 縮放步驟 556 皮膚色彩映射步驟 558 圖合併步驟 570 具一般罩蓋的中央區域 572 邊界區域 574 頸機率圖的輪廓 576 中央區域 O:\90\90714.DOC4 -53- 1325567 610 皮膚組織加強濾波器 620 皮膚色調加強濾波器 630 牙齒加強濾波器 640 眼睛加強濾波器 650 臉部特徵形狀加強濾波器 670 定義的前額邊界區域 672 產生機率特徵圖步驟 674 合併機率圖步驟 710 皮膚特徵產生步驟 720 特徵修飾步驟 810 特徵選擇步驟 820 擴大步驟 830 濾波步驟 910 臉部邊界 920 擴大特徵 930 線段 940 特徵像素 1002-1190 彩色焰火濾波器步驟 1210 模糊步驟 1220 陰影/峰產生步驟 1230 係數產生步驟 1240 混合步驟 1310 亮度影像 1320 平均亮度影像 O:\90\90714.DOC4 -54- 1325567 1330 減法步驟 1510 眼睛/牙齒罩蓋產生步驟 1520 谷/峰圖產生步驟 1530 縮放因子產生步驟 1540 像素修飾步驟 1810 來源控制步驟 1820 目的控制步驟 1910 來源控制點決定步驟 1920 目的控制點決定步驟 1930 扭曲步驟 2000 取得步驟 2010 顯示步驟 2020 接受/拒絕決策步驟 2030 互動修描模式 2040 接受/拒絕決策步驟 2050 清除步驟 2060 查詢步驟 2100 達成設定 2105 取得步驟 2110 臉部偵測 2120 臉部適合度決定 2130 濾波執行步驟 2140 加強影像顯示 2150 影像接受度決定 O:\90\907I4.DOC4 -55- 1325567 2160 加強 2170 互動 2180 顯示 2190 習用 決定 加強步驟 非臉部影像 影像達成貢訊站處理 O:\90\90714.DOC4 -56-

Claims (1)

1325567 拾、申請專利範圍： i-種加強位於數位影像中臉部容貌之批次處理方法， ’影像是許多影像之—其透過一批次方法而正在處理，該 方法包括以下步驟： X (a) k供一原始槽以識別p灌用私4 萌〜已選用於加強之至少一原始數 位衫像，其中原始權包括各 w匕秸谷原始數位影像位置之指 令， (b) 使用原始檔中之指令， 7取付含有至少—臉部之原始數 位影像； ⑷債測至少-臉部中臉部特徵點之位置，該臉部特徵點 包括識別凸出特徵之複數個點，該凸出特徵包括皮膚 ，眼睛’眉毛，鼻，嘴’及頭髮中至少一者； ⑷使用臉部特徵點位置俾將臉部分成不同區域，該不同 區域包括皮膚，眼睛，眉丰，氣邊 、 月眉乇，鼻，嘴，頸，及頭髮區 域中至少一者； (e)判定不同區域之至少一臉部相關特徵； (0根據不同區域之臉部相關特徵而選擇至少一加強濾 波器，各特別設定成用於一特別區域，及選擇預設= 數用於加強濾波器； (g) 在特別區域上執行加強遽》皮器藉以從原始數位影像 而產生一加強數位影像； (h) 儲存加強數位影像；及 ⑴產生具指令之輸出原始檔以指示步驟⑷⑺中至少一者 之至少一操作，該等操作已在加強數位影像上執行。 O:\90\907M.DOC5 I 2.如申請專利範圍第】項之 用以控制各影像之批次處理原始權包括州^ 3 _如申凊專利範圍第2項 虚理田—丄 、 法’其令額外指令識別可佴兮 處理用之加強濾波器。 』』供忒 4 如申請專利範圍第1 者 之方法，其中步驟（C)至（e)之至少一 考產生一儲存之中間舉 k像，^料包括指令⑽該儲 仔1P間影像之位置。 相 5. 如申請專利範圍第4項 峭之方法，其中原始檔包括指令用 刪除原始影像，中間影像，及加強影像中之至少—者。 如申請專利範圍第1項之方法，其中供應具元資料之原始 數位影像至批次處理，且原始檀包括指令用以喊定影像 位置。 如申明專利範圍第1項之方法，更調適成用於一使用者支 援批-人處理中之互動修描，該方法更包括以下步驟： 取得輸出原始檔及指令用以確定原始及加強數位影像 之位置； 取得加強及原始數位影像； 使用輸出原始檔中之資料以比較地顯示加強數位影像 及原始數位影像； 提供一互動模式用以觀察影像及判定是否搂受或拒絕 加強影像； 若前一步驟中之決定是拒絕加強影像’則藉由互動地 調整申請專利範圍第1項中步驟（c)至（f)中之至少一者，以 提供一互動修描模式以修飾影像，以產生一修描影像； O:\90\9Q7U.DOC5 儲存修描之數位影像 8·如甲凊專利範圍第7 中勺紅 去，更在_請專利範園當丨i 中包括以下步驟：產 B圍第1項 率，其中可存取旗J 表示接受加強影像之機 /、r j存取旗唬用以判 令請專利範圍第7項中之互動修描。于—強影像用於 9二=::_之方法，其中接受機率與提供給數 位尽y像之加強里有關〇 1〇·如申請專利範圍第7項之方 φ ^ 更在申請專利範圍第1項 中包括以下步驟：產生一旗 旗唬以表不加強影像狀態之組 織敘述，其中可存取旗號用以 少 疋要取仔那些加強影像 用於申請專利範圍第7項中之互動修描。 一 O:\90V907I4.DOC5