TWI268097B - Method and system for enhancing portrait images - Google Patents

Description

1268097 玫、發明說明· 【發明所屬之技術領域】 本發明通常：有關於數位影像處理的領域，而更明確而 言’係有關將仗人體的肖像類型影像取得的改良影像產品 建立。 【先前技術】 數個世紀以來，只有社合的舍钦士 a的田裕或特權階級可顧用孰諳 此技者來產生緣晝、雕刻、與素描的傑出肖像。在許多情 況’“象畫的需要目的是大於只是建立實質可接受的肖像 。藝術家能以微妙或顯明方式來與主題的慾望與意圖互作 用。弟一類藝術執照包括真實性的改良。因此， 減少他們實質不完全及呈現最吸引可能外觀的此一方式來 提供。 在見代社曰肖像畫不再是富裕與有權的獨佔領域。進 入社會各階層的攝影已能將肖像影像的建立提 的許多生活主要事件部分。婚禮、畢業、生日、 的所有這些事件與更多事件在西方文化普遍能以相當掉準 化的為像影像來捕捉。雖然技術的狀態允許 :家:捕及甚至增強如此這些的影像，但是仍然二 建立“品質肖像影像的專業攝影師類地，肖 像畫豕的目標是要持續與過去數個世紀相@，以 數最喜愛的可能方式來呈現物體。基本上，物二 們希望樣式看到，而不是看清事物的真正本質。：他們： 望樣式看到，而不是看清事物的真正本質方面 二希 84758 1268097 師需要將肖像影像潤錦，以將彳★彳 巾U將他們較佳外觀呈現給人。 飾包括以不在最初照相寻彡德姑+ 4 如像捕捉或描述的一些方法來改 相片影像。潤飾肖像影像之一 ^ 、 1豕I 目彳不疋要在眼睛或例如痣或 皺紋的永久瑕疯下，透禍孩丨 、私除例如缺陷或黑暗圓圈的暫 瑕/疵而使人看似較佳，而柄梦絡杜 、 而仍然維持人的個性。移除臉部缺 陷、痣與疤痕、軟性線條盥鰍好 、Λ、，丄 、 良^與皺紋、減少在眼睛下的腫眼泡 、使牙齒變白及眼睛的白备3拥✓一％ y 口白色疋執仃改善或增強在肖像影 人外觀的修改範例。 在數位年代來臨之前：影像潤飾是透過使用顏料將宵像 影像的缺陷遮罩或改變來修改影像而在底片或曬印影像上 執行。目前，數位影像捕捉裝置是㈣可用的，濶飾的較 佳方法是經由在捕捉數位影像上執行數位成像技術而達成 數位方法允卉在非常不容易做或先前不可能在類似影像 上執行的執行增強。例如AdGbe心⑽㈣⑧的影像編輯軟 體可透過移除缺陷、矯正鼻子、平衡眼睛及應用數位化粧 而用來改良肖像。 電腦技術與影像處理演算法的改善允許新類型的自動鱼 半自動影像增強。在有㈣像影像物體方面，4目關科技發 展包括臉㈣測與㈣、臉㈣徵偵測與料、臉部姿勢 、與紅色眼睛彳貞測與修正。 在出版的希爾布藍德等人的PC 丁專利案號W〇 〇〇/76398 名稱 Skin Imaging Analysis Systems and Methods"是揭 目私疋針對化妝品與護膚市場。只要使用可除去或隱藏皮 84758 1268097 膚缺陷的建議性處理或產品，系統亦可模擬針對缺陷皮膚 區域的改善。皮膚缺陷是使用顏色資訊來偵測，且標準形 態技術是用來模擬對缺陷皮膚區域的改善。 出版的歐洲專利案號EP 1 030 276 A1名稱，，Method of

Correcting Face Image，Makeup Simulation Method，Makeup

Method, Makeup Supporting Device and Foundation Transfer Film"中’阿特蘇吉是根據想要的臉部或模型臉部描述經由 影像處理而準備理想的後化粧臉部的方法。技術包括產生 光亮區域、與眉毛形狀、眼線、與接近可經由化粧修改範 圍内的想要臉部或模型臉部的唇線。 此系統的缺點，尤其是對於例如婚禮、畢業、學校與運 動圖晝、生曰、嬰兒誕生等使用的整批肖像晝家系統是客 戶輸入偏雯與評估結果所需的密集互作用。例如，在阿特 蘇口’化牲各戶的呈現對於在例如從受歡迎的演藝界人材 、女演員或演員的臉部選取的模型臉部上、及在達到模型 臉部的各種不同調整上的決定是需要的。而且，熟諳此技 者需要與客戶一起工作，以產生可接受的結果。 一即使由於數位影像的出現，因此，潤飾肖像是本身的技 術，而且直到今日，技術形式比科學形式保持更多。此外 ，潤飾肖像影像的處理是由熟諳此技者高度手度及執行的 耗時處理。因&，對於發展使用自動與半自動肖像影像增 強方法以允許肖像容易潤飾的系統是有利的。本發明是透 過j供影像人物體外觀自動增強的方法及“而解決上述 目前技術的缺點。 84758 1268097 【發明内容】 2明疋針對克服上述的一或多個問題。簡言之，根據 含二，點，增強位於數位影像臉部外觀的修改方法包 二則左：驟：⑷取得包含一或多個臉部的數位影像，· (b) 勺、括用—或多個臉部的臉部特徵點位置，該等臉部特徵點 ::識別顯著特徵的點’其中該等顯著特徵包括一或 臉部特徵點的位置將臉部:二二頭髮：)使用該等 皮膚、眼睛·、屑毛、鼻子、嘴、頸部與頭髮區 部不不同區域的一或多個臉部相關特徵，·⑷根據臉 強=域，臉部相關特徵，以選擇⑴兩個或多個增 其母個增強過濾器於一特殊區域是特別自訂' 增強慮器的預設參數；及⑺在特殊區域上執行 士饮 数位衫像產生、一增強的數位影像。 方法優點是有效率使用自動與半自動肖像影像增強 飾修正、ra〆間飾▲，而不需要熟諸此技者介入進行及監督潤 ’：、。大此’熟諳此技者的高度手動與耗時處理便可避 免，且潤飾方法能以整批處理實施。 本發明的這些及盆彳★ % ^ 一，、他嬈點、目的、特徵及優點 較佳具體實施例與附錄申 而更清楚了解。"。月專利犯圍、與附圖的詳細描述 【實施方式】 因為使用臉部特徵偵測與特徵增強的影像處 所周知’此描述是特別針對根據本發明的而形成的： 84758 1268097 的==及系統的性質。在此未特別顯示或描述 缺”此枯6知的者些來選取。在下列描述中，雖 :::此技者可確認此軟體的同等物亦能以硬體構成，但 疋s明的-較佳具體實施例通常是以軟體程式實施。下 =1= 康本發明描述的系統’對本發明的實施特別有 : 明確顯不、提議、或描述的軟體是傳統，且是 在此技術的平常技術中。在關於專門術語方面，在本發明 :描述中’將增強過濾器視同增強在數位影像中臉部視覺 親的方法。例如，—目艮睛增強料m以增強眼睛的 白色區域及/或虹膜顏色的方法。 π如果本發明是以電腦程式實施，程式便可儲存在傳統電 細可頃儲存媒體，#包含例如磁碟(例如一軟碟或一硬碟) 、或磁帶的磁儲存媒體；例如光碟、光學帶、或機器可讀 條碼的光學儲存媒體：例如用來儲存電腦程式的隨機存取 記憶體（RAM)、或唯讀記憶體（R〇M);或任何其他實體裝置 或媒體的固態電子儲存裝置。 、 圖1A描述有助於實施本發日月的系統1()。系統呢括一個 人電腦PC 12,該個人電腦PC包含一中央處理單元(㈣” 以執行用以實施本發明方法的一組預先定義的步驟。一數 位儲存媒體20亦與個人電腦12連接提供，以健存數位影像 。數位儲存媒體20包括不同類型的裝置，例如ram、r〇m 、硬碟與軟碟機等。數位儲存媒體2〇亦用來局部儲存產生 的增強影像。此外，額外數位影像來源的例如掃描器以與 數位攝影機30的數位影像捕捉裝置亦提供給電腦12。然而 84758 -10- 1268097 :了解到數位影像是從任何來源取得。使用者能經由輸 一 ί置4G而與電腦12互作f例如滑鼠及/或鍵盤、及-顯 ::、連接到電腦12的監視器50。系統Π)亦包含例如用以 遠:輪出影像的印表機34裝置。典型上，上述元件是直接 連接到個人電腦丨2。 么或者’上述元件不必在主機電腦12，但是可在經由通訊 w ❿與客戶端個人電腦12連接的-伺服器62。祠服 二i s執行組預先定義步驟的中央處理單元（cpu)，以 發明的方法。伺服器亦連接到一儲存媒體Μ及一或 :P表枝60。此允許影像可透過使用連接到伺服器62的 诸存媒體65與印表機6Q而經由通訊網路7()來遠端取得、儲 =及:"P。用卩實施本發明的軟體典型是儲存在儲存媒體 〇 一或者，此軟體是經由通訊網路70而從伺服器下載。用 ^具^本發明的軟體可在使用包含在個人電腦12的CPU的 客戶端、或在使用包含在伺服器62的(：1>1；的伺服器上執行 、、、同路70包含一私人網路，例如區域網路（LAN)、或公 眾網路? /r,» » _ 1 J如可由使用網際網路服務供應者（ISp)的個人存 取的’際網路。在此網路’遠端網路服務供應者亦 用愛隹袁 、 7的使用者、或任何其他適當通訊裝置存取。 圖 1 δ « ”、、貝不貫施本發明的軟體繪圖使用者界面（GUI)的範 例’幸人體是在系統10的局部或在伺服器62的遠端上執行， 而且產生如圖1B所示的GUI螢幕78。使用者可啟動軟體及 下載要增強的影像。當影像下載時，繪圖使用者界面螢幕 78便會在顯示器5〇上顯示。在GUI螢幕78左邊的影像8〇是 84758 1268097 面對本發明方法增強的最初下載臉部影像。在右邊是呈現 增強臉部影像82。在一具體實施例，當影像下載時，使用 者使用滑鼠在要增強臉部8 0的眼睛上按一下。在反鹿方面 ，且如較後的詳細描述，系統會自動尋找臉部特徵點，及 將臉部分成不同特徵（例如，眼睛、眉毛等）、與頸部區域 。系統會設定預設參數，及以一預先定義的順序將所有增 強過濾器應用到最初影像。 結果影像82是在GUI螢幕78的右邊顯示。滑動器9〇、92 、94、96和98允許使用考交談式改變不同增強過濾器參數 。滑動器的開始位置是對應由系統自動設定的預定值。主 要外觀增強器滑動器90是結合所有元件增強滑動器。元件 滑動器包括一組織增強器傦動器92、一皮膚增強器滑動器 94、一眼睛增強器滑動器96與一牙齒增強器滑動器％。組 織增強滑動器92是控制組織增強過濾器的參數。皮膚增強 器滑動器94是控制皮膚色調增強過濾器的參數。眼睛增強 器滑動器96與牙齒增強器滑動器98是分別控制眼睛與牙齒 白化過濾器的參數。所有增強過濾器是在下列單元中詳細 描述。所有滑動器的最小與最大值是分別設定成"不增強，， (例如，在每個滑動器的最左邊）與”最大增強，，（例如，在每 個滑動器的最右邊）。 使用者可透過使用一整個外觀增強器滑動器9〇或個別元 件滑動器92-98來控制臉部增強的位準與神色。每當使用者 j變主要外觀增強器滑動器9〇的位置時，系統便會將滑動 裔的位置映射到增強過濾器的適當參數值，且以預先定義 84758 -12- 1268097 $ :將所有~強過濾器應用到最初影像。增強影像82然 < ^GUI螢幕78的右邊上顯示。每當使用者改變元件增 口、月動92.98之-時，系統便會根據每個元件增強器滑 位置而以預先定義的順序將所有增強過渡器應用到 取初:像。增強的影像82然後會在GUI螢幕78右邊上顯示 历立σ 1土八體具施例的部分GUI設計是潤飾臉部特徵點與 =部區，輪廓的選項。當使用者從GUI螢幕78的功能列下 、、單Edit璉取選項時，臉部特徵點與頸部區域輪廓點 ^會重疊在最初影像8G，且使用者可透過使用例如一指向 二置的使用者輸入裝置40來潤飾顯示點位置。工具列84包 ^使用者可用來與顯示的影像互作用及潤飾顯示影像的特 殊工具。例如縮放圖像的工具、編輯特徵點的工具、將最 :::與增強影像混合的的混合工具、空間潤飾增強過濾 裔等結果的工具。 圖2A疋根據本發明而描述的用以增強肖像影像方法的且 例流程圖。在開始步驟2〇〇的處理之後，一數位影像 =,、統取得，且然後在取得與顯示步驟加的顯示監視器 ^顯不。在本發明中，一數位影像不僅視為從相片取得 会象而且疋在沒有限制而可從任何來源取得的數位影 例如從-數位攝影機、一硬拷貝影像掃描、或電子式 來源。在—找出位置步驟21G中，在影像的個別臉 。“、測’且在每個臉部上的臉部特徵點的位置可識別 。、找出臉部及其相關特徵點的處料由使用者手動執行、 或使用影像處理技術而半自動或自動執行。臉部特徵點的 84758 -13 - 1268097 位置是用來識別及分割臉部(例如皮膚、眼睛、鼻子、嘴、 頭髮等）的不同區域與頸部區域。在顯示步驟2=，臉部特 徵點疋在影像上重4，且在顯示監視器5〇上顯示。或者， 構成頸部區域的特徵點亦顯示。如果臉部特徵點是自動或 半自動決定，在判斷步驟220的使用者有機會來決定特徵點 是否需要調整。如果使用者決定特徵點需要調整，在修改 步驟225 ’使用者可使用輸人裝置4()來調整臉部特徵點。或 者，使用者亦可調整構成頸部區域輪廓的特徵點。 在一狀設定步驟23G.，“是使用臉部特徵點的位置來 識別及分割臉部的不同區域，例如皮膚n鼻子、嘴 、頭髮、臉部毛髮#，而且決定增強過濾器的適當預設參 數。在較佳具體實施例中，頸部區域是根據臉部特徵點的 位置而自動分割。將頸部區域分割的方法將稍後詳細描述 。因此，在步驟230，系、统亦可決定頸部區域的增強過渡器 的適田預η又參數。或者，在此階段，臉部的性別與年齡可 使用性別與年齡分類演算法而手動或自動決^。自動性別 分類的範例是在proc. of β IEEE Inn CQnf, 〇η以“ &

Gesture Rec〇gniti〇n，March 2〇〇〇，由 B與 m h Yang描述名稱”Gender classificati〇n 叫讣 Supp〇rt Machines”中描述，其在此是以引用方式併入本文。年齡分 類的典型演异法是透過執行例如臉部特徵比與皺紋分析的 特殊詳細臉部特徵物體臉部數位影像分析而操作。對於實 施本發明很有用的自動年齡分類演算法是在£〇[)〇和Kw〇n 的美國專利案號5,781,650中揭示，其在此是以引用方式併 84758 14 !268097 入本文。性別與年齡分類是用來決定增強過濾器是否應該 連同〖生4寸殊芩數來執行。例如，同預設值一樣，運用在女 f生臉。卩的組織與皮膚增強量是比男性的臉部更大。 系、、’充然後使用適當選擇的參數而在執行步驟中執行 & ;慮或者，如虛線所示，在使用者選擇步驟240 =使用者可決定那些增強過濾器應該連同增強過渡器的適 當參數來執行。在系統結束步驟235執行增強過濾器之後， 增強的影像便會在顯示監視器5〇的顯示器245上顯示。此時 ，使用者可決定增強的影像是否可接受。如果影像不能接 文使用者便可選擇在使用者選擇步驟24〇來改變增強過濾 為及/或其參數，或在修改步驟225來調整臉部特徵點的位 置。在一具體實施例，使用者可選擇來持續執行不同增強 過濾、器’以看一特定增強過濾器是否具有影像效果。在此 具體實施例，使用者會在步驟24〇、23 5、245、250循環， 以改變增強過濾器與參數，直到取得可接受的結果為止。 如果增強影像在判斷步驟250認為是可接受，使用者便可選 擇在局部列印步驟2 5 5於印表機3 4進行局部列印，或在本機 保存步驟260的儲存媒體20上進行局部記錄。或者，如果系 統是經由通訊鏈路70而連接到伺服器62，使用者便亦可選 擇在运端列印步驟2 6 5的印表機6 0遠端列印，或在遠端保存 步驟270的儲存媒體上的遠端保存65。在適當動作選擇及完 成之後，系統便會詢問一新影像（詢問步驟275)的出現，而 且是因反應而定’周期返回到下一影像的取得與顯示步驟 2〇5，或結束處理（結束步驟280)。 84758 -15 - 1268097 圖2B是根據本發明而可在商業照相建立上進行 及有效率激洁以辦诒古你 阿又自動 〜強4像影像的另—具體實施例。此 貫施例是描述在沒有使用者介入而經由肖像增 ： 行許多影像的自動整批處理。在取得步驟282，—n a， =增強的影像清單(電腦槽案)取得。在臉部：= =^ 284,影像的臉部可自動偵測，且在每個臉部的臉部 Ί點的位置是自動識別。在增強選擇步驟286，系士 徵為臉部，且決定增強過渡器的適當整 ^ :預設參數。或者’在此階段，臉部的性別與年二： 別與年齡分類演算法(如前述)來決定自動。 供Γ象的臉部年齡與性別是經由與影像有關的後設 二：應給糸統，例如’年齡與性別是從客戶供應的沖 失數3片信封供應、或透過詢問使用者。預定過滤器與 J亦可在增強處理實施之前能以與影像有關的後設資料 2以影像無關的設定值來供應。系統然後可透過使用適 二=的苓數而在增強執行步驟288執行增強過濾器的整 =半谷。如果在影像有超過一臉部，此事實便要在臉部詢 乂驟29G中注意，而且系統會反覆步驟286、288、和290 ’直到在影像的所有臉部增強為±。在儲存步驟Μ，增強 的影像會被儲存。增強影像處理會持續，直到所有輸入的 W象增強（影像詢問步驟294)為止。在所有影像處理（結束步 ^ )之後’增強的影像便可運用到在圖2A顯示的使用階 〇或者，在所有影像處理（結束步驟296)之後，增 強的影像然後會進入使用者交談式系統來檢查，如圖⑽ 84758 -16- 1268097 描述，而且如果需要，

的步驟255_27〇)。 "使用階段之前來潤飾（在圖2A 圖3是圖2A和2Βέίι，如从、 ，其是根據本發明而：：、測與點位置步驟210的流程圖 部特徵點的處理：影像呈現的臉部上找到顯著臉 以標記在影像所呈現=:模組31。… 從 &所有人臉部的位置與略®大小，而且 特徵點。。疋在偵測的臉部上找出顯著的臉部 =4 驟是透過使用者手動、或自動使已在 此應二部㈣方法學之一而自動執行。 . 钱时人予會的予利席内德南博士論文名稱"Α 相方法所組成，其在此是以引用方式併入本 5，如果—手動方法可用來偵測臉部，_較佳方法 疋β ’、使用者在影像呈現的一或多個臉部上使用滑鼠按一 下。眼睛的空間分離可用來評估臉部尺寸。 在一或多個臉部谓測之後，影像座標與每個臉部的評估 ”、接著是提供給臉部特徵偵測器315，且該臉部特徵偵測 器315具有在偵測的臉部上找到顯著臉部特徵點的工作。在 較佳具體實施例中，一主動形狀模型是當作臉部特徵偵測 器使用。主動形狀模型是在1997年由Α·内尼堤斯、cj.泰勒 、與 T.F.古堤在 IEEE Trans. ΡΑΜΙ、V〇l· 19, No· 7,第 743-75 6 頁名稱"Automatic interpretation and coding of face images using flexible models”中描述，其在此是以引用方式併入本 84758 -17- 1268097 文。偵測的特徵點是用來識別、略述、及將臉部分成不同 區域’例如臉部皮膚區域、眼婧、鼻子、嘴、眉毛、頭髮 、臉部頭髮等、與頸部區域。偵測的區域是透過對應的二 進位遮罩識別。區域的二進位遮罩然後是空間申展而產生α 遮罩。α遮罩是使用在步驟23 5和288，以使增強過濾器（例 如組織增強過濾器）的結果與最初影像混合。在混合操作中 施展二進遮罩及應用結果α遮罩可確保在增強與未增強區 域之間的平穩轉變。若要產生α遮罩，二進位遮罩可透過使 用模糊功能使二進位遮罩模糊而施展，其中模糊半徑是根 據臉部尺寸來選擇。二進位遮罩是用來決定何處可空間應 用如圖2 Α和2Β顯示的增強過濾器。 請即參考圖4，其是顯示在偵測臉部4丨〇上的顯著特徵點 420位置的視覺範例。典型上，這些臉部特徵點可透過使用 影像處理技術而手動或自動放置。 在許多影像，皮膚增強過濾器不僅會應用在臉部區域， 而且還會應用在頸部區域。在一目前較佳具體實施例，頸 邛區域是透過將潤飾的一般頸部形狀模型與一皮膚顏色分 類器組合而決^。用以決定頸部區域的方法流程圖是在圖 5A顯示❶在一般的映射步驟55〇，建立頸部區域的一般可能 性映射。-I頸部T能性映射是根據頸部形狀的認知。在 較佳具體實施例中，一般可能性映射是透過將表示預期增 強影像（例如肖'像類型影像）數量的正常影像取樣量平均而 建立。取樣影像是透過將每個影像依比例決^成眼睛的相 同預先定義位置而正常化。在每個取樣影像，一頸部區域 84758 -18 1268097 是手動描繪輪廓。如果一特 每個像f…”分的頸部區域， 母個像素的取後頸部可能性是等於！的記分函數 ’否則於所有取樣像是〇.的記分函數平 錢，射是透過使用啟發式近似值而建立。如果 性別疋已知，一不同的可能性映射、 於男人與女人。通常，皮声巴W各/ 、體“例可用 纟戍域在女人的宵像是比在男人 的為像更容易見到。在一比例步驟5M， 射9分丨U丨1 版4 W可能性映 :疋依比例決疋，以適合臉部輪廓的下巴線條的個別特徵 0 在一皮膚顏色分類步驟556，_頸部可能性映射是根據顏 色片割來建立。一受監督的以像素為主之顏色分類器是用 來標記在皮膚顏色指定距離中的所有像素。屬於皮膚的像 素顏色C的有條件可能性功能的以像素為主之顏 是以高斯形成： p{C\skin) 2π ^skin 1/2 exp (方程式1 ) 其中平均向ϊ μ與共分散矩陣Σ是從定義的皮膚區域評估。 向里C疋對應像素的紅色（R)、綠色（G)、和藍色（Β)信號。 當c是在例如CIELAB、YUV、Hsv等的其他顏色空間呈現 呀，上述方法便亦適用。一部分臉部皮膚區域是用來決定 一有條件皮膚可能性分配。在一目前較佳具體實施例，在 眼睛上面的皮膚區域與臉部頭髮偵測的皮膚區域是從使用 在方程式1的平均向量μ與共分散矩陣Σ排除。頸部可能性是 84758 -19 - 1268097 根據在臉㈣料部及在下巴線τφ 1而定義，且是等於〇。 幻家素的方耘式 在最後映射產生步驟558，最德可处从丄 例決定的-般頸部可能性映射與以二：=過，比 η且合而建立。在較佳具體實施例中，兩個 、二術學乘异。結果的頸部可能性映射是當作㈣道使用， 決疋如何將增強過濾、器的結果與最初影像混合。二進 部：域遮罩是透過產生最後頸部可能性映射反應的臨界： _认 -像素疋大於〇,對應的遮罩值 荨；1是表不頸部區域，否則遮罩值等於。是表示一㈣邙 ::或。二進位頸部區域遮罩是用來決定在何處應用增；過 渡器。 圖5B-5D是顯示用以建立最後頸部可能性映射的處理 即參考㈣，其係顯*-依_衫的—般頸部可能性映 射。-般可能性映射是依比例衫，以符合臉部輪廊的個 別特徵點。-般頸部可能性映射是根據與前述臉部輪廓有 關的頸部位置的知識。圖5]8顯示的一般頸部可能性是根據 啟發式規則的-可能範例’而不是在前述建議的統計分析 。它是用於示範處理品質特徵的目的。在一般遮罩的中央 區域570具對應頸部區域高可能性的較高值（例如大於及 小於或等於1)。一邊緣區域572具有對應頸部區域較低可能 性的低值（例如大於0小於〇.5)。頸部區域的可能性是減少在 區域572外部的0值。大體上，可能性是以在水平方向從區 域570中心到區域572邊緣、及在垂直方向是從上到下的連 84758 -20- 1268097 續方式來減少。在下巴線右下的遮罩中央區域具有與它有 關的最高可能性。 β透過皮膚顏色分類器決定的頸部可能性映射的輪靡5 7 4 = 顯示。以皮膚顏色為主之可能性是根據前述方程 式1來計算。在輪廓區域574外部的可能性值是等於〇。在區 域m中的可能性值是大於如方程U定義的G。兩個頸部可 此性映射：依比例決定的—般頸部可能性映射、盘根據皮 膚顏色分類的頸部可能性映射是透過兩術學乘算而 結果最後頸部可能性映射的輪廢是在圖5D顯示。中央區域 5%是對應皮膚顏色可能性區域574所煎下的高度可能性區 域570。區域578是對應皮膚顏色可能性區域572所剪下的低 可能性區域574。 。。、只要臉部特徵點與頸部區域已找出位置，外觀增強過渡 益的整體内容(即是，兩個或多個)便可運用在影像的臉部 與頸部區域。請即參考圖6，其係顯示數個不同 〇在較佳具體實施例中，可f旆下方丨祕私 J Τ 了貝轭下列增強過濾：一皮膚组 織增強過濾、器61〇、-皮膚色調增強過滤器62〇、一牙齒增 強過濾、器630、-眼睛增強過遽器64〇、與—臉部特徵形狀 增強過渡器650。所有這些過濾器在下列規格單元中詳細描 述。增強過濾器能以任何順序應用。在一具體實施例中， 使用者能以他/她想要將他們到應用到影像臉部與頸部區 域的任何順序來選擇任何增強過據器。然而，在較佳呈體 實施例中’系統是設定增強過遽器與適當參數應用的預定 順序。 84758 -21 - 1268097 士果使用者選擇執行預定設定，那麼所有增強過濾器便 會以預設參數的預定順序來應用，而且增強的影像會在監 視器上顯示。丨強過濾器的預定順序是如下所示：皮膚： 織：強過渡器、皮膚色調增強過據器、牙齒與眼睛變二 濾T (以任順序)、與臉部特徵形狀增強過濾器。增強過濾 器是在與將過渡器應用到最初影像預定順序的相同順序= 下一單元中描述。 HAiT強過渡^ 皮膚組織增強卫作過濾u使皮膚性的組織光滑，除去 缺陷’黑暗的缺陷等。和到或距離或減少皺紋的範圍和深 。請即參考圖7A，其係根據本發明而顯示皮膚組織增強過 滤器流程圖。在皮膚特徵產生步驟川，在臉部特徵點所述 皮膚區域中的皮膚特徵可被偵測。貞測的皮膚特徵 是在特徵修改步驟72G修改1膚特徵映射包含我們想要修 改的特徵，例如缺陷、黑痣、皺紋等。 在先前技術’顏色分析是用來找出特殊皮膚缺陷的位置 。而且，在先前技術，皮膚缺陷的偵測是透過分析盥在皮 膚區域滑動的有限2維谢所包含像素有關的彩色信號 矩形圖而執行。如果它的相關矩形圖發現是有兩種統計J 式，-區域便可認為包含皮膚缺陷。既然這些技術是將顏 色資訊當作他們一部份主要偵測裝置使用，所以它需要顏 色校準的影像系統、及/或正確平衡顏色分析的影像。當受 控制的照明及/或顏色過濾器用來捕捉影像時，使用顏2 = 訊的功效便可提升。此外’如果伯測的缺點根據缺陷的= 84758 -22- 1268097 色進一步認為是缺陷、褐色痣等，正確的顏色再生便需要。 在相片’例如敵紋、缺陷等的皮膚缺陷在他們不應該（實 際只是）的位置上是以光亮與陰影將他們本身顯示。皮膚缺 陷如此便對應局部強度最大與最小值。最亮區域是對應峰 值，且陰影是對應在亮度影像的谷值。在脫離先前技術， 且根據本發明的一較佳具體實施例方面，皮膚缺陷是透過 將峰值與谷值偵測器應用到從元件rgb信號形成的亮度影 像而偵測。谷值/峰值偵測器是第二差值運算元。亮度是以 如下所不的紅色R、綠色G、與藍色B信號的加權線性組合 而定義： L=klR+k2G + k3B (方程式 2) 其：k值是表示加權。用以產生亮度影像的加權目前較佳選 擇是kl=k2=k3 = 0.333。谷值/峰值運算元的範例可在μ皮 i f «"Visual Communication at Very Low

Data Rates J Proceedings of the IEEE > V〇l. 73 , N〇 4 , 1985 年4月找到。 ’ 目則較佳峰值/谷值運算元是由皮爾森等人所使用類 型的一連串四個方向運算^。運用在圖7B顯示的像素Μ =一的中央像素m，且其中像素位置是以a到乂指$的垂直運 异兀V疋透過如下示的方程式來定義： V-f+k+P+j + 0+t.2(h+m+r) (方程式 3) 此運算元在是應用在描 地，分別在方程式4顯 述皮膚區域的每個像素位置。同樣 示形狀的水平運算元Η及如方程式5 84758 -23 - 1268097 和6顯示的一對左邊與左邊對角運算元DL和dr是應用在描 述皮膚區域的每個像素位置，而且如下所示·· H=b + c + d+v + w+x.2(l+m + n) (方程式 4) DR=c + g + k + o + s + w.2(i + m + q) (方程式 5) DL = c + i + o + k + q + W-2(g + m + s) (方程式 6) 這些運异元不僅是偵測谷值/峰值，而且他們具有對邊緣的 腳/肩的第二反應。如此，他們可視為谷值/峰值偵測器。谷 值特徵是對應運算元輸出的正值，然而峰值特徵是對應負 值。只對谷值/峰值敏感的谷值/峰值偵測器可透過將邏輯條 件應用到運算元而取得。對於垂直的谷值而言，邏輯谷值 偵測器對應是透過下式提供： if(f+k + p)>(h + m + r)and(j + 〇 + t)>(h + m + r) thenV —(f+k+p+j + 〇 + t)-2(h + m+r) (方程式 7) else V = 0 對於垂直峰值而言，邏輯峰值偵測器對應是透過下式提 供： if(f+k+p)<(h+m+r)an(i(j + 〇+t)<(<h+m+r^ thenV==(f+k+P+j + 0 + t)-2(h + m + r)(方程式 8) else V = 0 水平與對角線谷值/峰值的邏輯偵測器具有類似形狀。谷值 /峰值運算元對於根據本發明而產生皮膚特徵映射是有效 的。從此點’我們可使用術語谷值/峰值運算元來參考谷值 84758 -24- 1268097 /峰值運算元。 在將方向的谷值/峰值過濾器應用到影 a 象之珂，在影 雜訊影響可透過應用一雜訊減少過滹 冢的 乂 乂、履态而抑制。 訊過濾器是普遍用來減少數位影像雜％ aa 田刃雜 ,^ ^ 像雜矾的低通濾波器、中 央過濾器、及其他線性與非線性過濾器。 τ 透過運算元產生的方向谷值/峰值影像是臨界值 保留（較強的）相關皮膚特徵。對於谷值特徵映射而丄” 值小於指定臨界值Τν的像素是設定 於I ’具 身十而一目伯士认 > 對於峰值特徵映 射而吕，具值大於一指定臨界值Τρ的像素是設定成愛。於 =值可以是-固定的通用臨界值或_適合的臨界值：一： ^佳臨界值方法是使用值可透過方程〇提供的適當臨 (方程式9) 八中β疋*數’ iLavg是有關像素的局部平 同值是用於垂直、水平、與對角線的元件。局部平.Π 二素本身的值、或相鄰像素的平均亮度，二 素的3 X 3相鄰關係。 一二前較佳步驟是透過組合個別的方向特徵映射而產 、、且5的皮膚特徵映射f。 xd V，DR，DL} (方程式 1〇) 的每個像素是根據它開始的方向而標示。方向纟 或個別方向皮膚特徵映射在移除例如皺紋' ^ 的，其中一特殊方向特徵優先移除。 84758 -25- 1268097 皮膚組織增強過濾器的工作是要使皮膚性的局部組織光 /月。皮膚組織增強過濾器光滑的組織空間大小是臉部尺寸 ，函數。如此，谷值/峰值過濾器的空間大小可適當根據臉 部尺寸而決定。明確而言，在眼睛間的分離是用來決定谷 峰值過濾器的大小。垂直谷值/峰值運算元的一般表示法 是如下所示： …，，㈣_2取㈣+"…，㈣（方程式u) 其中W和h是當作臉部尺寸的功能而選取。水平與對角線谷 值/峰值的一般谷值/峰值谓測器具有一類似形狀。 一目耵較佳等方性谷值/峰值偵測器是透過從亮度影像工 減去模糊亮度影像Ib而提供： F(x，y)=I(x，yHb(x,y) (方程式 12) ，糊亮度影像是透過將例如高斯或方盒遽波器的模糊過遽 态應用到冗度影像而產生。谷值’峰值偵測器的輸出是如上 述的臨界值，以產生峰值與谷值特徵映射。模糊過遽器的 半徑是當作臉部尺寸（-預設參數的範例）的功能與想要偵 測的皮膚特徵尺寸而選取。 特徵映射是進—步透過將經由連接的元件標示而彼此連 接的像素組群而改良。連㈣元件標示可掃㈣像，且根 據像素連接而將它的像素組群成以，即是在—連接元件 的所有像素是以-些方式而彼此連接。只要決定所有群组 ’每個像素便可根據指定給元件的來標示。每個連接元件 是對應一皮膚特徵。每個皮膚特徵是透過例如在皮膚區域 84758 -26- 1268097 的大小、形狀、與位晉ή/^士 ^ 一 置的将彳政而特徵化及分類。大小县盤 …在元件（一預設參數的範旦 + 7诼言數里。形狀資訊名；κ 例如缺陷的其他皮膚特徵的皺紋特徵是有用的。： 外在皮膚特破映射中描述的特徵是使用與視為皮膚㈣ =素有關的顏色資訊來進一步分類。只要皮膚特：射 產：，他們便可用來選取即將在步驟72〇修改的皮她^ 喷即茶考圖8,其係、根據本發明而顯示選擇及修改皮 徵的較佳具體實施例流程圖。在特徵選擇步驟81〇，修二 特徵是根據他們的特徵㈣擇。如前述，特性特徵是對廣 大^、形狀、與顏色，且根據在皮膚區域的這些特徵位置 來4擇。在擴大步驟82〇，選擇的皮膚特徵然後可（適當）擴 大，然後在過濾步驟830修改。在皮膚特徵上的擴大效果是 將皮膚特徵的大小擴大。擴大量根據皮膚特性的特徵可以 是所有選擇皮膚特徵的固定量或適當量。在一目前較佳具 體κ軛例中，皮膚特徵是根據他們的大小與臉部的大小（一 預叹參數的範例）而適當擴大。較大的皮膚特徵是比較小的 皮膚特徵更擴大。擴大的處理是使用標準的形態學運算元 來實施。 雖然所有想要的皮膚特徵是經由步驟810、820、和830 的循環來選擇及修改，但是當改變要修改的皮膚特徵類型 時’最佳的皮膚增強可經由循環步驟81〇、820、和830來連 續修改皮膚特徵而獲得。在一目前較佳具體實施例，谷值 皮膚特徵是先在步驟8 1 〇-83 0選擇及修改；然後，其餘的峰 值皮膚特徵是經由步驟8 10-830的第二重複來選取及修改 84758 -27- 1268097 。為了要保護皮膚組織，只有尺寸在一指定最小與一最大 尺寸之間的皮膚特徵是被修改。或者，為了要保護皮膚组 織’只有尺寸大於-指定最小尺寸的皮膚特徵會被修改。 此外，修改的皮膚特徵的最小與最大尺寸是直接與臉部尺 寸依比例決定。 在步驟830, -風車式過渡器是運用在擴大特徵的每個像 =擴大特徵的像素是稱為特徵像素。所有其他其餘像素 ，稱為非特徵像素。在本發明的具體實施例中，特徵像素 疋以二進位遮罩定義，其"值是對應特徵像素，且i值是 對應非特徵像素。風車式過濾、器是經由使用在特徵像素上 置中的線段排列的相鄰非特徵像素而插入一特定特徵像素 的新值。風車式過濾器是在2〇〇〇年8月15日，在大衛1^•科克 等人名義的普遍指定美國專利案號6，1G4,839名稱” and Apparatus for Correcting Pixel Values in a Digital Image”中詳細描述，而且在此是以引用方式併入本文。在 此包括的風車式過濾器簡單描述是為了清楚，及將一些修 改指疋給在科克等人專利中描述的最初演算法。請即參考 圖9，四線段930的組是選擇特徵像素94〇的圖示（垂直v、水 平Η兩個對角線段D1和D2)。四個線段是以45〇度增量隔 開。擴大的特徵920是以灰色（陰影）呈現。線條91〇是表示 一臉部邊界。在組的每個線段是由在像素94〇兩端上的特徵 與非特徵像素所組成。在線段的非特徵像素與特徵像素是 在由線段定義的特定方向中的選擇特徵像素94〇的區域線 段。用以建立線段組的方法是稍後詳細描述。 84758 -28 - 1268097 請即參考圖10A和10B，其係顯示透過應用風車式過濾界 而用以計算在影像的每個特徵像素新值的方法。在步驟 1004,線段NL數量、在線段ΜΑΧ_Νρι的一端的最大像素數 量、與在線段MIN—NP1的一端的最小像素數量是被設定_。 這些參數疋參考圖1 2詳細描述。在線段ΜΑχ—Νρ丨的—端的 最大像素數量與在線段MIN—NP1的一端的最小像素數量是 根據臉部的大小（一預設參數的範例）而設定。愈大的臉$ 尺寸，MAX-NP1*MIN_NP1的值便會愈大。在臉部尺寸上 的這兩個參數依賴與科克等人描述的方法相比較對於本笋 明是唯一的。在步驟1006,第一特徵像素psEL*被選取: 在步驟1008, NL線段組是經由像素pSEL而建立。在較佳具 體實施例中’在組的線段NL數量是等於4，且對應垂2 水平與兩個對角線段。 用以建立線段的方法是在圖12顯示。在圖12的步驟⑴。 ’例如垂直線段(V)的第一區段是被選取。在步驟⑽，線 段的一端方向是被選取。此是傻+ 疋1豕京加入在像素PSEL·上開始 的線段的方向。對於每個線段 〇 7 ° 疋義的兩個方向是對 應到在像素FSEL的上置中的蟑π。以 π上直Τ的線奴兩端。在步驟1130，特徵 像素是加入線段，直到一筐 fc mu 直1弟—非特徵像素沿著-特定方向 ★ ^ ^ 禾非知'欲像素是加入線段，且

在一特疋方向的相鄰非特徵傻夸H 素疋加入線段，直到符合下 列條件之一為止： -到達在-端MAX_NP1的最大非特 -到達臉部邊界或臉部特徵邊界， 84758 -29· 1268097 -到達新特徵像素。 在線段MAX一NP 1的一端的最大非特徵點數量是根據臉 部尺寸而在步驟1〇〇4(圖1A)設定。線段必須不跨在臉部邊 界或從組織增強處理（類似眼睛區域、嘴區域等）排除的區 域邊界。用以建立有效線段的上述強迫條件與科克等人描 述的方法相比較對於本發明是唯一的。當完成將像素加入 線段的一端時，那麼方向是在步驟1160的線段的第二端上 叹疋，且處理是在步驟Π 3 〇· 11 4〇的線段的第二端重複。當 兩端完成（步驟1 1 50)時，那麼來自組的下一線段便可被選 取（步驟1180)，且處理是在步驟112〇_116〇重複。當在組的 所有NL線段建立（步驟117〇)時，處理便完成（步驟119〇)。 請即參考圖1〇A，在如上述於步驟1〇〇8建立段組之 後，具有小於在至少一端上的非特徵點的MIN一Νρι的線段 會從線段組（步驟ΗΗ0)移除。如果沒有其餘有效線段是在 線段組（步驟1G14)留下，那麼像素值便不會在像素PSEL(步 驟1052)改變，且選取一新特徵像素pSEL(步驟祕和购) ，而且處理會重複（在步驟咖開始）。如果在線段組的其 餘有效線段數量是大於〇(步驟1G14)，那麼對於每個盆餘有 效線段而t，-線性適當性便可於每個通道的有效線段的 非特徵像素計算（步驟1()16)。在步驟⑻8，均方適當誤差 可根據在先前步驟1016計算的綠 T ^的線性適當性而在每個通道的 非特徵像素的每個有效線段來4管 仅木计异。在步驟1020，整個均 方適當誤差可根據下列方鞀+ ;认—y丄 私式而於母個有效線段計算，一 特定有效線段的所有通道的妁 、们构方適當誤差的平均。 84758 -30- 1268097 MSE„

K

名，其中 n=l，...，N (方程式1 3 ) 其中κ是在影像的許多通道。對於黑白影像而言 彩色影像而言，Κ通常是等於·如對應R，g，b 通運的二個通道）。 •==Γ，值PSELn，k是根據在步驟1 °16計算的線性適 := 道k的每個有效線段11計算。在步驟_， 新像素值PSELk是在每個通道k計算。 值是栌攄a、中A丄 3強衫像的最後像素 疋根據别述產生的α遮罩而透過將每個通道㈣ PSELk與最初的/(參去/古、曰人十厶 素值 …:: 定。混合操作可確保在皮膚 的增強與未增強區域之間平穩轉變。 反g 與α遮罩相較於科 > 箄人所、f古1 - 24的化合操作 另一… 所述方法對於本發明是唯-的。在 另一一貫施财，增強影像的最後像素值咖 透過將新像素值PSELk與每個通道k的最—: PSEL一INk適合混合而決定。 素的值 PSEL_〇UTk=aPSELk+(l-a)PSEL_INl (方程式14) 用來將新與最初像素值混合的混合係、數a是因像素開Μ ^膚特徵而定。例如，如圖17所示，混合係數^ :始的皮膚特徵尺寸的函數。請即參考圖17 ’對於… :::的:寸皮Λ特徵尺寸而言，最初的像素值是不會被修" 」於尺寸疋在min與mid之間的皮膚特徵而言，新像素偵 疋虽作最後的像素值使用。而且，對於 ’、 膚特徵值而言，最後像素值、;_的大虔 疋還過新與取初像素值的混合 、在某區域（例如在眼睛周圍），有時最好是不完全 84758 1268097 移除皮膚特徵， ’但是要修改交i n u & ,..

否則，所有處理便完成（步驟1 〇5〇)。

在線4又NL數量是等於4的齡伟且骑杳：& μ + ^ μ _ 一一 I

圖11詳細顯示。在圖n提出的方法與科克等人描述的方法 相比較對於本發明是唯一的。假設在組（N>〇)有至少一有效 線段。請即參考圖U，如果有效線段N的數量是等於i(步驟 1026)，那麼每個通道k的新值？8£“是等於於該線段計算的 值PSELu(步驟1028)。否則在步驟1〇3〇，有效線段的組是 根據每個線段n的均方根誤差值MSEn而以降冪排序。在步 驟1030的排序結果，在組（n=1)的第一有效線段具有最高的 均方根誤差，且最後有效線段（n=N)具有在組的最低均方根 錯疾。如果在組的有效線段N的數量是等於2(步驟1〇32)， 那麼每個通道k的新值PSELk是等於PSELu和PSEL2,k的平 均值（步驟1 03 4)。否則，如果在組的有效線段n的數量是等 於3(步驟1〇3 6)，那麼每個通道k的新值PSELk是等於具均方 根誤差（n=2)的mid值的有效線段計算的pSEL2k的值（步驟 103 8)。否則，有效線段n的數量是等於4，而且每個通道k 的新值PSELk是等於PSELlAPSEI^W平均值（步驟1〇4〇) 。增強影像的最後像素值是根據在前述產生的α遮罩而透過 84758 -32- 1268097 將每個通道k的新的像素PSEU值與用最初像素值的混合 (1024步驟）來計算。 在用以計异新像素值的第二具體實施例中，每個通道k 的新值PSELk(圖1〇的步驟1〇24)是以下列方法計算。首先， 加權值Wn，k是根據方程式15而於每個通道k的每個線段n來 計算。 wn,k ，其中 n=l，…，N k=l，...，K (方程式 15) TMSEitk 1 ^ j 然後，新值PSELk是根據方程式16而於每個通道計算，當作 母個有效線段η與每個通道k決定的pSELn k值的加權總數。 PSELk k lw (方程式16) η=ί ηΛ 增強影像的最後像素值是根據前述產生的α遮罩（步驟1024) 而透過將每個通道k的新像素值聊“與最初像素值混合而 計算。混合操作與α遮罩與科克等人描述的方法相比較對於 本發明是唯一的。 我們想要修改的？數皮膚特徵是對應料值特徵，即是 由-光亮區域所圍繞的黑暗區域。在多數範财，雖然有 個別不想要的—定義臉部特徵，例如從個人相片移除的美 :::，但是皮膚特徵可被修改，而不管與視為皮膚特徵 =素：關的顏色資訊。在這些範例中，㈣皮膚特徵像 …讯可用來決定是否應該移除的皮膚特徵類型。 另一方法是將：η具建構成緣圖使用者界面，以允許操作元 84758 1268097 復原鍵入不想要的修改（例如，移除想要的美化標誌）。在 一較佳具體實施例中，使用者是從工具84的繪圖清單選取 [设原鍵入/重複貼上]工具’而且經由例如滑鼠的指向裝置 40而將[復原鍵入/重複貼上]工具移到使用者想要復原最初 影像8 0的皮膚4寸欲位置。在左邊顯示的最初影像$ 〇的皮膚 斗寸被上知7 一下會使彳寸欲加回到在右邊顯示的增強影像82。 在最初影像的復原皮膚特徵上重新按一下現會使皮膚特徵 從增強的影像移除。因此，如果[復原鍵入/重複貼上]工具 疋出現在增強影像’[復原鍵入/重複貼上]工具便可透過將 皮膚特徵從增強的影像移除而工作、來回切換，或如果[復 原鍵入/重複貼上]工具不是出現在增強的影像，便可將它 復原到增強的影像。在另一具體實施例，組織增強器滑動 器92可設定成不增強，而且工具84可用來允許使用者選取 要移除的皮膚特徵。 在另-具體實施例’繪圖使用者界面可取得及顯示包含 一或多個臉部的數位影像。―皮膚特徵映射是透過使用任 一前述的技術來識別及映射皮膚特徵而產生；因此，皮膚 特徵映射是表示在數位影像的一或多個臉部上的皮膚特^ 、二旨向裝置40然後可用來指向一特殊皮膚特徵點。在反應 ^ “曰向裝置的指向與按一下操作’皮膚特徵映射可視為 特殊特徵，而且經由視當增強過濾器提供該特徵的適當增 強而可於指向的皮膚特徵上開始。 強過瀘器 皮膚色調增強過遽器620(圖6)的工作是要改善皮膚色調 84758 -34- 1268097 的整體外觀。皮膚色調過濾器能使外不平衡的皮膚色調平 均，且建立一更平均的彩皮膚色調。此外，皮膚色調過濾 器是用來修改皮膚色調的顏色，以產生更想要的皮膚顏色 呈現。此是對應修改皮膚的亮度與色訊，以符合皮膚色調 呈現的個體與文雅偏愛。而且，皮膚色調問題是比組織更 傾向較大空間比例。重要的是不會使皮膚色調太過平均， 因為在沒有明亮或暗影的面部是平坦的，且有傾向是不想 要的。 。月即參考圖1 3，其是根據本發明而顯示一皮膚色調增強 過濾器的目前較佳具體實施例流程圖。皮膚色調增強過濾 窃疋透過將輸入影像Ι(χ)與從如下式所示的混合步驟ΐ2ι〇 所取得輸入影像的模糊版本Ib(x)適當混合（在混合步驟 1240)而將明亮與暗影適當壓縮。 〇(x)-a(x)Ib(x) + (1.a(x))I(x) (方程式 17) 其中α(χ)是從一係數產生步驟123〇取得的混合係數，且 x=(x，y)是像素的位置。混合操作是運用到所有顏色通道。 此合係數疋如下式所示在從暗影/峰值產生1步驟所取 知X上的暗影/明亮SH(X)強度影像的函數。 (方程式18) a(x) = f[SH(x)] 月P :考圖14，其係根據本發明而顯示用以計算暗影/明 亮強度影像的目前較佳具體實施例。來自步驟1220的暗影/ 明亮強度影像是透過將一平均亮度影像132〇從亮度影像 1310減去而產生。亮度影像是使用方程式2來計算。平均亮 84758 -35- 1268097 度影像可以是-局部平均亮度影像或—全域平均亮度。一 局：平均亮度影像是透過將例如高斯或方塊過渡器的模糊 m應用到亮度影像而產生；，然而，全域平均亮度是透 過決定在由特徵點所描述皮膚區域中的皮膚平均亮度而計 算。當制局部平均影像來計算暗影/明亮影像時，暗影/ 明亮強度是類似-谷值/峰值影像。在—較佳具體實施例中 ’用來計算暗影/明$映射的模糊半徑應大於使用在辦 強過渡器的谷值/峰值偵測器的半徑或範圍。在任何情況γ 模糊半徑是因臉部的大小（一預設參數的範例）而定。 在它最簡單的具體實施例中，混合係數是一常數f[sH(x)] = CX(X) = (X ’而且此是—預設參數的範例，而且不是因在圖 15A所示的暗影/明亮強度影像而定。在圖i5B和丨咒顯示的 混合函數對於將由光及/或油質皮膚所引起的明亮與顯著 地帶的色調降低是报有用，而留下無變化的暗影區域。 皮膚色調過濾器亦用於修改的顏色呈現。在目前較佳具 體實施例中，例如皮膚區域的區域顏色c是透過下式來改變 區域顏色分佈的平均與變化而修改cmQd :

Cm〇d(x,y)=k(C(x5y). C) + Cpreferred(x,y)(方程式 19) 其中向量C(x，y)是對應像素的紅、綠、與藍⑺）色信 號，cpreferred是較佳的顏色向量，己是目前的平均顏色向量 ，且k是在0與1間變化的一常數。較佳顏色Cpreferred(x，幻的 空間變化是因修改的皮膚區域而定。 使皮膚區域明亮或暗淡的較佳具體實施例是如下式修改 84758 -36- 1268097 皮膚的對比度··

Cm〇d(x，y) = CY(x，y) (方程式 20) 其中低於1的γ值是對應使皮膚顏色明亮，且大於丨的丫值是 對應到使皮膚顏色暗淡。 使皮膚區域明亮的另一具體實施例是如下式提供：

C C m°d 1-r(l-C) (方程式 21) c„

而且，對於使皮膚區域暗淡是由下式提供： ,1-C (方程式22)

•?C 其中γ是在0與1之間變化。 當C是在其他顏色空間呈現時，上述方法亦可適用，例如 CIELAB、YUV、HSV等。此外，這些方程式是運用到c的 所有或-部分元件。當c是在__顏色Μ(例如cielab)呈 現時，此特別是真的，其中元件是與亮度（L*)與色訊（心) 有關。 增強過湳砮 牙齒與眼睛增強過濾器630與640(圖6)的工作是要增加 牙齒與眼睛的亮度及變白。_考圖16，其是根據本發 明：顯不-牙齒與眼睛變白過攄器的目前較佳具體實施例 的抓私圖。在眼睛/牙齒遮罩產生步驟顯著的臉部特 = 42G(圖4)是用來產生—遮罩，以識別對應眼睛與牙齒 品3 、像素透過使用在一谷值/峰值映射產生步驟152〇上 84758 •37- 1268097 的輸人映射是使用方程式i2產生，其中模 糊半徑是由眼睛分離(一預設參數的範例)決定。在一比例 因素產生步驟1530’谷值/峰值映射與顏色資訊是用來計算 在眼睛與牙齒遮罩中像素的亮度與色訊值的比例因素（預 設參數的範例）。然後，在—像素修改步驟⑽，比例因素 是運用到在目Mt與牙齒區域中像素的亮度與色訊值，以產 生新的亮度與色訊值。 在一目前較佳具體實施例中 值是轉換成CIELAB (L'a*b)空 列修改； 在遮罩區域的像素的RGB 間’且亮度與色訊值是依下 (方程式23) (方程式24) (方程式25) L*=L'(l+kP) a* = aV(l+kP) b* = b*/(l+kP) -中k疋上述預以數，且p是像素屬於眼睛或牙齒白色的 機率。機率P的目前較佳表示是如下式所示·· P = |l-|F/5| if-p<F<〇 1 0 otherwise (方程式 2 6) 其中F疋使用方程式12來計算，且選取的—模糊半徑是當作 臉部尺寸的函數，且β是一臨界值。 艰Ait強過瀘i 主形狀增強過遽器650(在目6顯示）的工作是要修改例如眼 :、鼻子與嘴的臉部特徵形狀。臉部特徵形狀是透過使用 ^準的扭曲技術來修改他們的形狀使而增強。料實施本 84758 -38- 1268097 發明是很有用的扭曲技術範例是由丁. Beier和s· Neely名稱 'Teature-Based Image Metamorphosis, Computer Graphics^ ’ 26 (2) : 35-42，New York，NY，juiy，1992，Pr〇ceedings 〇fSIGGRAPHf92中提供，其在此是以引用方式併入本文。 請即參考圖19，其是根據本發明而顯示一形狀增強過濾 器650的較佳具體實施例流程圖。在一來源控制點決定步驟 1 9 1 0，用於使影像扭曲的來源控制點i 8丨〇(參考圖i 8)是由 特徵點420(參考圖4)決定，以描繪要增強形狀的臉部特徵 (例如’眼睛）。在一目的地控制點決定步驟丨92〇，可決定 目的地控制點1 820。目的地控制點1 820的位置是定義在形 狀修改影像的來源控制點丨8丨0的新位置。目的地控制點 1820 (Dl、D2、D3、和D4)是分別是來源控制點181〇⑻ 、S2、S3、和S4)的新位置。在扭曲步驟193〇，來源與目的 地控制點是用來扭曲影像。目的地控制點丨82〇的位置是由 臉部特徵形狀的想要變化而定義。例如，如果它想要增加 眼^的大小’目的地控制點1 820便如圖1 8所示來放置。 在一目前較佳具體實施例中，形狀增強過濾器的參數是 用來定義臉部特徵形狀是否透過指定目的地控制點182〇的 位置而增加或減少。形狀增強過濾器是經由一額外滑動器 控制而合併到GUI螢幕78(參考圖1B)。而且，對於每個臉部 特徵具有唯一形狀增強滑動器。系統是將滑動器的位置映 射到形狀增強過濾器的適當參數值。在一方向將滑動器移 j \成臉部特徵尺寸減少，而以相反的方向將滑動器移 動會造成臉部特徵尺寸增加。相對滑動器的預定位置如此 84758 -39- 1268097 可以是-中立的位置，而不會 動器以一方向或另a 1任何形狀增強（直到滑 方向移動為止）。 經由前述，某些參數是 /影：疋Μ系統的預 決定增強過濾器的初％执+ 、。4數私疋，例如， 』切女口 δ又疋、及在绔 的增強滑動器的初妗π + g曰吏用者界面所使用 切知a又疋。這歧灸 範例而不被限制來選取，且π;^數可如適當預設參數的 對於熟諳此技者_的是 ^㈣參數組。 其他參數可選擇、及/以”以相其他引用的許多 或以預自又的參數來指定。 【圖式簡單說明】 圖1Α和1Β是分別與系統 蚀田妻μ品从/ 的用u貫她本發明與繪圖 使用者界面的系統圖。 圖2 A疋用以實施具使用者 、阳 _ — 文用者；丨入砥擇性程度本發明的一具 體貫施例流程圖。 圖2B是在沒有使用者介入的整批模式中實施本發明的一 自動具體實施例流程圖。 圖3疋在圖2 A和2B顯示的臉部偵測與臉部點位置步驟的 流程圖。 圖4是顯示在偵測臉部上的顯著特徵點位置的圖例。 圖5A是用以決定頸部區域的方法流程圖。 圖5B-5D是視覺描述建立最後頸部可能性映射處理的圖 例0 圖6是使用在圖2 A和2B的流程圖中所述系統的增強過濾 器整體圖。 圖7 A是在圖6顯示的一皮膚組織增強過濾器的流程圖。 84758 -40- 1268097 圖7B是包含皮膚組織增強過濾器所使用的凹處邊緣滤波 核心的像素相鄰圖。 圖8是根據本發明而顯示用以選取及潤飾皮膚特徵一較 佳具體實施例流程圖。 圖9是描述在缺陷像素附近所定義線段的-風車式過濾 圖9的風車式過濾器來評估一缺 圖。 的處理中計算新像素值的一較佳 圖10A和10B是描述利用 陷像素修正值處理的流程 圖11是描述在圖10描述 具體實施例流程圖。 圖12是描述有關在圖9顯示的風車式過渡器中經由特 像素來建立線段處理的流程圖。 ’ 圖13是如圖6所示皮膚色調增強過濾器的一目前較佳且 體實施例流程圖。 圖14是使用在圖13顯示的皮膚色調增強過濾器的暗影/ 明亮強度計算的一目前較佳具體實施例流程圖。3〜 圖15A、15B和15C是描述使用在圖13顯示的皮膚增強场 濾器的不同混合係數效果的數個功能。 過 圖16是在圖6顯示的牙齒與眼睛增強過濾器的—目前 佳具體實施例流程圖。 Μ Χ 圖1 7是描述使用在皮膚組織增強過濾器的一混合匕 月匕 圖1 8疋使用在進行眼睛形狀調整的控制點圖例。 圖19是如圖6所示形狀增強過濾器的一目前較佳具體 施例流程圖。 84758 -41 - 1268097 【圖式代表符號說明】 10 系統 12 個人電腦（PC) 20 儲存媒體 28 掃描器 30 數位攝影機 40 輸入裝置 50 顯示監視器 60 印表機 . 62 伺服器 65 儲存媒體 70 通訊網路 78 繪圖使用者界面（GUI)螢幕 80 最初影像 82 增強影像 90 外觀增強器 92 組織增強器 94 皮膚增強器 96 眼睛增強器 98 牙齒增強器 200 開始步驟 205 取得與顯示步驟 210 找出步驟 215 顯示步驟 84758 -42- 判斷步驟 修改步驟 預設步驟 執行步驟 使用者選擇步驟 顯示步驟 判斷步驟 區域列印步驟 局部保存步驟 遠端列印步驟 遠端保存步驟 詢問步驟 結束步驟 取得步驟 面部偵測與位置步驟 增強選擇步驟 增強執行步驟 面部詢問步驟 儲存步驟 影像詢問步驟 面部偵測模組 臉部特徵偵測器 偵測的臉部 顯著特徵點 -43 - 1268097 550 一 般 映 射 步 驟 554 比 例 化 步 驟 556 皮 膚 顏 色 映 射 步 驟 558 映 射 組 合 步 驟 570 具 一 般遮 罩 中 央 區 域 572 邊 界 區 域 574 頸 部 可 能 映 射 輪 廓 576 中 央 區 域 610 皮 膚 組 織 增 強 過 滤 器 620 皮 膚 色 調 增 強 過 滤 器 630 牙 齒 增 強 過 渡 器 640 眼 睛 增 強 過 濾 器 650 臉 部 特 徵 形 狀增 強 過濾器 710 皮 膚 特 徵 產 生 步 驟 720 特徵修 改 步 驟 810 特徵 選 擇 步 驟 820 擴 大 步 驟 830 渡 色 步 驟 910 臉 部 邊 界 920 擴 大 特 徵 930 線 段 940 特徵像 素 1002- 1190 風 車 式 過 渡 器 步 驟 -44- 84758 模糊步驟 暗影/峰值產生步驟 係數產生步驟 混合步驟 亮度影像 平均亮度影像 減去步驟 眼睛/牙齒遮罩產生步驟 谷值/峰值映射產生步驟 比例因素產生步驟 像素修改步驟 來源控制點 目的地控制點 來源控制點決定步驟 目的地控制點決定步驟 扭曲步驟 -45-

Claims (1)

1268®9^ι 08664 號專利 ~~ 中文申請專利範圍替#為5無月F修(g)正替換頁 拾、申請專利範圍： L 一種用以增強—位在-數位影像的臉部外觀之方法，該 方法包含下列步驟： (0取得一包含一或多個臉部的數位影像； (b“貞測在一或多個臉部的臉部特徵點的位置，該臉部 特徵點包括用以識別顯著特徵點，其包括—或多個 之皮膚、眼睛、屑毛、鼻子、嘴、與頭髮； ⑷使用該等臉部特徵點的位置將臉部分成不同區域， 該等不同區域包括一或多個之皮膚、眼睛、眉毛、 鼻子、嘴、頸部與頭髮區域； (d)決疋该專不同區域的 Jrpl Ώλ. ^ U砧的或多個臉部相關特徵及在一 特殊區域中一或多個皮膚缺陷； ⑷選擇⑴兩個或多個增強過遽器，其每個均特別訂做 以適於一各自區域，該等過濾器至少其中之一係一 組織增強過據器’其特別訂作以適於具該等皮膚缺 陷之該特殊區域；及⑺該等增強過溏器的預設參數 ’其係根據該等不同區域的臉部相關特徵；及 ⑴接著在該各自區域上執行該等增強過濾器，該等組 織增強過遽器使該等皮膚缺陷之局部組織光滑，藉 此伙該數位影像產生一增強的數位影像。 2. 如申請專利範圍第1項之方法，其中該等皮膚缺陷係根 據以特徵為基礎的下列—或多個特徵來決定：大小、顏 色、形狀及在各自區域中的位置。 3. 如申請專利範圍第丨或第2項之方 84758-950908.doc 八 Τ Θ 寻反 /月缺陷 s· 包含-或多個之傷$、黑痔和皺紋。 4·如申請專利範圍第1 乂刀念其中在步驟（e)甲選取該 等增強過濾器之前，一性 則f生別刀類演算法是運用來決定臉 部性別。 5· 如申請專利範圍第1項 等增強過濾器之前，一 部的年齡。 之方法’其中在步驟（e)中選取該 年齡分類演算法是運用來決定臉 6. 其中在臉部眼睛間的距 的一或多個該增強過濾 如申請專利範圍第〗項之方法， 離是用來決定在步驟（e)中選取 器的預設參數。 7 •如申請專利範圍第1項之 3 法其進一步包含步驟（g)將 K象制處理制到該增強數位影像。 8·如申請專利範圍第7項 ^.lf ^ _ 、心万法，其中在步驟（g)中應用的 癌洌用處理包括在一局部穿f t別er7 # f I衣置上列印該影像。 9.==圍第7項之方法，其中在步_中應用的 由處包括在一局部裝置上保存該影像。 10·如申請專利範圍第7項 π剎® # π ^ 方法，其中在步驟（g)中應用的 吞亥利用處理包括在一德山 隹遏知裝置上列印該影像。 11 ·如申請專利範圍第7項之 甘士 + ^ ill ffl ^ ^ ^ α 法，，、中在步驟（g)中應用的 禮利用處理包括在一遠 退&裳置上保存該影像。 12.如申請專利範圍第1項之 法’，、中在步驟（d)中決定的 該臉部相關特徵包括從一 、 _中&取的至少一特徵，JL中 該群包括臉部尺寸、在姓 "" .^ ^ 寺殊區域的臉部特徵之間的距離 、在衫像的物體性別、與物體的年齡。 84758-950908.doc 1268097 w 日修 替换買 13. 種電腦可讀取之記錄媒體，其具有指令儲存於其中， 使一電腦執行如申請專利範圍第1項之方法。

84758-950908.doc -3-