TW201931179A - 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法 - Google Patents

Abstract

本揭露內容係提出用於虛擬的面部化妝模擬之系統與方法。在一態樣中，本揭露內容係提供一種用於虛擬地移除面部化妝之方法，該方法係包括提供一使用者的一面部影像，其中化妝係被施用至該使用者；從該使用者的該面部影像，在一或多個區域中定位面部標記；分解某些區域成為第一通道，該些第一通道係被饋入直方圖匹配以獲得一在該區域中沒有化妝的第一影像；並且轉換其它區域成為色彩通道，該些色彩通道係被饋入在不同的照明狀況下的直方圖匹配中，以獲得一在該區域中沒有化妝的第二影像；並且組合該些影像以形成一其中在該些面部區域中的化妝係被移除所產生的影像。本揭露內容亦提出用於在一具有一臉的輸入影像上虛擬地產生輸出效果、用於對一面部影像的一嘴唇區域產生動態質地、用於一可包含多層的虛擬的眼妝附加之系統與方法、一種根據一訓練完成的神經網路模型的化妝建議系統、一種用於提供一虛擬的化妝教學之方法、一種用於快速的面部偵測以及標記追蹤之方法，其亦可降低和快速的移動相關的延遲並且降低來自無移動的振動、一種調整亮度以及校準一色彩之方法、以及一種用於利用一高斯混合模型的先進的標記位置及特徵的偵 測之方法。

Description

用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法

本揭露內容係有關用於虛擬的面部化妝模擬的系統與方法，其係包含用於對一使用者影像的虛擬的化妝的移除與化妝的施加以及化妝效果的方法。本揭露內容係進一步有關用於利用一神經網路的虛擬的面部化妝模擬的系統與方法。本揭露內容亦有關各種用於改善虛擬的面部化妝模擬的方法與系統，其係包含虛擬的化妝教學、化妝建議、自動的亮度調整以及利用一色彩圖及標準的色彩校準、快速的面部標記偵測及追蹤的一架構、以及一種在一視訊中解決和快速的面部移動相關的延遲問題、以及和一使用者保持不動的相關的標記振動問題的方法。

相關申請案之交互參照

此非臨時專利申請案係根據第35號美國法典第119條(e)項來主張2017年7月13日申請的美國臨時專利申請案號62/531,929的優先權，該美國臨時專利申請案的整個揭露內容係被納入在此作為參考。

面部化妝係已經普遍存在於吾人的日常生活以及社交網絡中。隨著電子商務、智慧型手機以及擴增實境的技術快速的成長，現在在市場上係存在有虛擬的化妝試妝的應用程式，其係容許消費者能夠觀看特定的化妝品，就如同那些產品一旦被施用至該消費者後所預期的樣子，而不須實際施用該化妝品。然而，現有虛擬的系統係遭遇到由於在某些情形中既有的化妝可能已經施用至該使用者的效果所造成的不一致的問題。若使用者已經在其臉上施用化妝的話，則該虛擬的系統只能夠如實的在該臉上覆蓋其虛擬的化妝應用，而且若化妝已經被施用在該使用者上，則其可能會導致假的、不一致的、或是不真實的結果。

虛擬鏡系統係已知用於在線上改變物體或例如是衣服的消費者商品的外觀。這些系統係聚焦在該物體形狀、以及替換的色彩或衣服的覆蓋上。此種技術的一個例子係被描述在美國專利號7,948,481中。

類似的覆蓋方法也已經針對於化妝品而被開發出，以用於各種的化妝品在一使用者的臉上的"虛擬的試妝"。此種方法係從一主要伺服器納入面部辨識軟體，以從一使用者的伺服器來在數位影像上識別面部特徵。所偵測到的例如是眼睛、嘴唇、等等的面部特徵接著可被覆蓋來自一特定化妝品的像素影像。例如是見於美國專利號8,498,456中。

此種系統已經隨著時間而有所改善，以達成更高的準確性。例如，一影像係被捕捉，並且可以被擴增以用於一虛擬的試妝，其係藉由利用從一使用者所捕捉的影像資料以及來自擴增的面部影像的資料的一資料庫，該些面部影像係在數學上被覆蓋及匹配到該捕捉的影像以產生一擴增的影像，即如同例如是在美國專利申請案公開號2016/0196665A1中所述者。

利用面部辨識軟體的特徵匹配以及數位強化以產生例如是"虛擬 的整容"的擴增的相貌亦如同在美國專利號8,265,351中所述地是已知的。

在該虛擬的試妝的領域中已經做出進一步的改善，以嘗試獲得進一步的精確性以及更佳的最終結果。例如，一虛擬的系統係在美國專利公開案號2017/0076474A1中被描述，其係具有一種用於偵測及移除在一使用者的臉上的化妝的方法與系統。該系統係偵測化妝的類型，並且根據有化妝以及沒有化妝的使用者的一資料庫來從該使用者移除該化妝。

儘管此種技術係持續在改良，但是在此項技術中對於在最終結果上的更加一致、真實的著色係有所需求，其係藉由消除可能存在的既有的化妝的影響、以及用於強化以一虛擬的設定來移除及施用化妝的技術。藉由此種系統達成越精確且真實的最終結果，則它們是越有用的來作為供消費者使用的可行的替代方案。再者，儘管面部標記的偵測係在擴增實境、虛擬實境、人與電腦的互動、等等中提出許多潛在有吸引力的應用，並且現在有應用程式是讓人們進行虛擬的化妝，而且利用某些端點作為面部標記來辨識臉，但是從一精確性觀點來看，此種發展中的技術仍然有些問題。例如，當利用這些技術時，總是有嚴重地影響此種應用程式在一視訊中的效能的兩個主要的問題：振動問題以及延遲問題。

另一可能發生的問題是可能有不希望被展示在影像中、或是使得習知的標記技術的應用難以施加的被阻擋的標記，例如，面部偵測及修改一扭曲的笑容或是一撅嘴吻的表情是困難的。其它在嘴唇區域上的阻擋，例如是蓋住嘴唇的指尖、牙齒、舌頭或是其它物體係使得此種標準的面部辨識或偵測技術的使用為困難的。

因此，在此項技術中不僅亦有需要藉由在試妝中消除既有的化妝的影響或是潛在的影響的一致且真實的色彩，而且亦有需要利用更精確的面部標記、真實色彩以及亮度的更佳的偵測及識別的平順的視訊，其中避免在視 訊中和延遲及振動相關的問題，並且找出一種克服當利用標記時，和被阻擋的區域相關的問題以及其它問題的技術。在此項技術中亦有需要提供更有幫助且流線化的方式給使用者和一虛擬的試妝系統互動，並且顯示比起可藉由簡單的色彩覆蓋所達成者更為真實的效果。

在本文的一實施例中，本發明係包含一種用於虛擬地移除面部化妝之方法，其係包括：提供一使用者的一面部影像，其中化妝係被施用至該使用者；從該使用者的該面部影像定位面部標記，該些面部標記係包含至少一第一區域以及一不同於該第一區域的第二區域；分解該面部影像的該第一區域成為第一通道；饋送該第一區域的該些第一通道至直方圖匹配(histogram matching)之中，以獲得一其中在該第一區域中的化妝係被移除的第一影像；轉換該面部影像的該第二區域成為色彩通道；饋送該些色彩通道至在不同的照明狀況下的直方圖匹配之中，以獲得一其中在該第二區域中的化妝係被移除的第二影像；以及組合該第一影像以及該第二影像，以形成一其中化妝係從該第一區域以及該第二區域被移除所產生的面部影像。

在此種方法中，該些第一通道可包括一反射係數(reflectance)通道以及一著色(shading)通道。該反射係數通道可包括該面部影像的材料相依的性質，並且該著色通道可包括該面部影像的光相依的性質。該反射係數通道較佳的是只包含一色彩，並且該著色通道較佳的是保有該第一區域的形狀資訊。

在該方法中的該第一區域較佳的是包括一眼睛區域，並且該第二區域較佳的是包括一嘴唇區域。在饋送該第一區域的該些第一通道至直方圖對映中之前的在該第一區域中的該化妝的類型較佳的是不同於在轉換該面部影像的該第二區域成為色彩通道之前的在該第二區域中的該化妝的一類型。該些 色彩通道可包括一色相(hue)通道、一飽和度通道、以及一值通道。

在另一實施例中，饋送該些色彩通道至直方圖匹配之中係包括：提供面部影像的一資料組，該些面部影像分別是在不同的照明狀況之下，在每一個面部影像的一對應的第二區域中沒有化妝的，並且包含預先定義的直方圖；以及匹配在不同的照明狀況之下的該些色彩通道中的一或多個的一直方圖與該些預先定義的直方圖中的一對應的直方圖，以獲得該第二影像。在一實施例中，該些色彩通道是該值及/或飽和度通道。

本發明亦包含一種用於虛擬地移除面部化妝之方法，其係包括：提供一使用者的一面部影像，其中化妝係被施用至該使用者；在該使用者的該面部影像的一區域中定位面部標記；將該面部影像的該區域分解成為個別的通道；以及饋送該區域的該些個別的通道至直方圖匹配中，以獲得一其中在該區域中的化妝係被移除所產生的影像。

在此實施例中，該使用者的該面部影像的該區域較佳的是包括一眼睛區域。在分解該影像之前的在該使用者的該面部影像上的該化妝可包括眼妝。該些個別的通道可包括一反射係數通道以及一著色通道。該反射係數通道可包括該面部影像的材料相依的性質，並且該著色通道可包括該面部影像的光相依的性質。該反射係數通道較佳的是只包含一色彩，並且該著色通道較佳的是保有該第一區域的形狀資訊。

本發明進一步包含一種用於虛擬地移除面部化妝之方法，其係包括：提供一使用者的一面部影像，其中化妝係被施用至該使用者；在該使用者的該面部影像的一區域中定位面部標記；轉換該面部影像的該區域成為色彩通道；以及在不同的照明狀況之下饋送該些色彩通道至直方圖匹配之中，以獲得一其中在該區域中的化妝係被移除所產生的影像。

在此方法實施例中，該使用者的該面部影像的該區域較佳的是 包括一嘴唇區域。在轉換該面部影像的該區域成為色彩通道之前的在該面部影像上的該化妝亦較佳的是一口紅或是一潤唇膏。該些色彩通道可包括一色相通道、一飽和度通道、以及一值通道。饋送該些色彩通道至直方圖匹配之中的步驟可包括：提供無化妝的面部影像的一資料組，其係包含預先定義的直方圖；以及匹配在不同的照明狀況之下的該些色彩通道的一直方圖與該些預先定義的直方圖中的一對應的直方圖，以獲得該第二影像。在此的一實施例中，該些色彩通道是該值通道及/或該飽和度通道。

在此實施例中，該方法可以進一步包括：收集在不同的照明狀況之下的一皮膚色彩資料組，其係針對於此種不同的照明狀況具有相較於一標準的嘴唇色彩的對應的嘴唇色彩偏移；從該使用者的該影像抽取一輸入皮膚色彩；偵測在一特定的照明狀況之下的該輸入皮膚色彩的對應的嘴唇色彩偏移；並且提供一最終經過修改的嘴唇色彩以用於使用作為來自該使用者的該面部影像的該第一區域的一移除嘴唇色彩，其中該最終經過修改的嘴唇色彩係具有該偵測到的色彩偏移。

亦在本發明的範疇內的是一種用於從一輸入影像偵測及移除化妝之系統，其中該系統係被配置以能夠：從一使用者介面接收一輸入影像，其中化妝係被施用至該使用者；在至少一第一區域及/或一不同於該第一區域的第二區域中，從該使用者的該面部影像定位面部標記，其中該第一區域係包含化妝，且/或該第二區域係包含化妝；若該第一區域係被定位出，則分解該面部影像的該第一區域成為第一通道並且饋送該第一區域的該些第一通道至直方圖匹配之中，其係利用來自分別沒有化妝的臉的直方圖的一資料組的一參考直方圖，以獲得一其中在該第一區域中的該化妝係被移除的第一影像，且/或若該第二區域係被定位出，則轉換該面部影像的該第二區域成為色彩通道，並且饋送該些色彩通道至在不同的照明狀況下的直方圖匹配之中，並且利用來自在不同 的照明狀況之下分別沒有化妝的臉的直方圖的一資料組的一參考直方圖，以獲得一其中在該第二區域中的化妝係被移除的第二影像；以及若該第一區域以及該第二區域都被定位出，則組合該第一影像以及該第二影像，以形成一其中化妝係從該第一區域以及該第二區域被移除所產生的面部影像。

在本文的一種系統的一實施例中，該系統可包括一具有一系統記憶體以及一系統處理器的控制器，其中該控制器係被配置以接收該輸入影像，並且接收及/或儲存沒有化妝的臉的直方圖的該資料組、以及在不同的照明狀況之下的臉的直方圖的該資料組在該記憶體中，並且該系統處理器係能夠執行程式化指令，其係能夠偵測一面部影像以及定位面部標記。該處理器較佳的是能夠執行用於該輸入影像的該第一區域成為該些第一通道的分解以及用於該第一區域的該些第一通道的直方圖匹配的程式化指令；並且其中該處理器係能夠執行用於轉換該面部影像的該第二區域成為色彩通道以及在不同的照明狀況之下的該些色彩通道的直方圖匹配的程式化指令。

亦在此實施例中，該使用者介面可以是一智慧型手機數位相機、一數位相機、一數位視訊攝影機、一網路攝影機、或是一智慧型手機數位視訊攝影機。

本發明亦較佳的是包含一種用於在一具有一臉的輸入影像上產生一輸出效果之方法，其係包括：(a)提供一使用者的一具有面部標記的面部影像；(b)從該使用者的該面部影像定位該些面部標記，其中該些面部標記係包含一第一區域，並且其中和該第一區域相關的該些標記係和該面部影像的具有一嘴唇色彩的嘴唇相關的，並且該第一區域係包含一嘴唇區域；(c)轉換該影像的該嘴唇區域成為至少一色彩通道，並且偵測及分析該嘴唇區域的一光分布；(d)饋送該至少一色彩通道至在一變化的光分布上的直方圖匹配中，以識別一具有一預先定義的光分布的直方圖，該預先定義的光分布係不同於該嘴唇區域的該 光分布，藉此產生至少一輸出效果；以及(e)組合該輸出效果與該第一影像，以提供一具有該嘴唇色彩以及該至少一被施用至該嘴唇的輸出效果的所產生的影像。

在此實施例中，該至少一色彩通道可包括一飽和度通道及/或一值通道。在此實施例中，在該轉換步驟(c)之前，該方法可以進一步包括從該使用者的該面部影像的該嘴唇區域移除該化妝的步驟。在另一實施例中，該些面部標記可包括一第二區域，並且該第二區域可包括一眼睛區域。在此種實施例中，該方法可以進一步包括：(f)分解該影像的該眼睛區域成為至少一第一通道，並且偵測及分析該眼睛區域的一光分布；(g)饋送該至少一第一通道至在一變化的光分布上的直方圖匹配中，以識別一具有一預先定義的光分布的直方圖，該預先定義的光分布係不同於該眼睛區域的該光分布，藉此在該眼睛上產生至少一第二輸出效果；以及(h)組合該所產生的第一影像與該第二影像以及該至少一第二輸出效果，以提供一具有該預先定義的嘴唇色彩、以及在該嘴唇上的該至少一第一輸出效果、以及在該眼睛上的該至少一第二輸出效果的第二所產生的影像。

在此實施例中，該至少一第一通道可包括著色或反射係數中之一。具有該預先定義的光分布的該直方圖的該光分布可以增加通透性以及平滑度，並且該至少一輸出效果可包含一光澤的(glossy)效果。該光澤的效果較佳的是依據通透性的程度來改變。具有該預先定義的光分布的該直方圖的該光分布可以增加隨機的反射係數，並且該至少一輸出效果可包含一自然的效果。具有該預先定義的光分布的該直方圖的該光分布可以增加通透性以及閃亮(shine)，並且該至少一輸出效果可包含一閃亮的(shiny)效果。具有該預先定義的光分布的該直方圖的該光分布可以增加閃爍(glitter)，並且該至少一輸出效果可以是一閃爍效果。

在此實施例中，該步驟(d)及(e)可加以重覆以在該第一影像上產生至少一不同的輸出效果，並且每一個在該第一影像上具有該至少一不同的輸出效果中之一的所產生的影像將會和該第一所產生的影像組合以提供一最終所產生的影像，其係在該第一影像上具有該至少一第一輸出效果以及該至少一不同的輸出效果的每一個。

該方法可以進一步包括在步驟(b)之後，計算該嘴唇區域的一面積，以一預設的比例來放大該嘴唇區域的該面積以提供所針對的放大的標記，並且產生除了該至少一第一輸出效果之外的一豐滿的(plumped)輸出效果，並且組合及扭曲(warping)該豐滿的輸出效果與該至少一第一輸出效果以及該第一影像以提供至該第一所產生的影像，其係具有被施用至該嘴唇的該嘴唇色彩、該豐滿的輸出效果、以及該至少一第一輸出效果。在此種實施例中，具有該預先定義的光分布的該直方圖的該光分布可以進一步增加通透性及閃亮，並且該至少一第一輸出效果較佳的是包含一閃亮的效果，並且該所產生的影像係包含一豐滿且閃亮的外觀。

本發明在此進一步包含一種用於在一具有一臉的輸入影像上產生一輸出效果之方法，其係包括：(a)提供一使用者的一具有面部標記的面部影像；(b)從該使用者的該面部影像定位該些面部標記，其中該些面部標記係包含一第二區域，並且其中和該第二區域相關的該些標記係和該面部影像的眼睛相關的，並且該第二區域係包含一眼睛區域；(c)分解該影像的該眼睛區域成為至少一第一通道，並且偵測及分析該眼睛區域的一光分布；(d)饋送該至少一第一通道至在一變化的光分布上的直方圖匹配中，以識別一具有一預先定義的光分布的直方圖，該預先定義的光分布係不同於該眼睛區域的該光分布，藉此在該眼睛上產生至少一第二輸出效果；以及(e)組合該第一所產生的影像與該第二影像以及該至少一第二輸出效果以提供一第二所產生的影像，其係具有該預先定 義的嘴唇色彩、以及該至少一第一輸出效果、以及在該眼睛上的該至少一第二輸出效果。

本發明進一步包括一種化妝建議系統，其係包括：至少一用於提供不同的化妝造型的訓練完成的神經網路模型；一化妝品資料庫；以及一化妝註解(annotation)系統，其中該化妝建議系統係能夠根據在該至少一藉由該註解系統所註解的訓練完成的神經網路中的資料、及/或來自該化妝品資料庫的建議的產品，來產生個人化的逐步的化妝指令給一使用者，並且能夠根據一使用者的一輸入影像而用一種逐步的方式來顯示虛擬的化妝施用給該使用者。該至少一訓練完成的模型較佳的是從一深度學習架構所導出的。該深度學習架構較佳的是接收以下的一或多個的資料輸入：已經選擇被施用於其上的化妝造型的面部影像；以及來自一化妝註解系統的輸出基本事實(ground truth)資料。

該註解系統較佳的是註解已經選擇被施用於其上的化妝造型的面部影像，並且該些經註解的面部影像係提供訓練資料給該神經網路。該些化妝造型可以人工地加以選擇及註解。該輸入影像可以是來自一使用者的一視訊的一幀。該建議系統可以進一步包括至少一虛擬的化妝教學。在一實施例中，該些逐步的指令可包含(a)針對於一第一類型的化妝顯示一第一所選的色彩、以及(b)虛擬地用該所選的色彩來施用該類型的化妝到該使用者的臉的該輸入影像的一對應的區域。在此種實施例中，步驟(a)及(b)可以針對於至少一進一步所選的色彩以及至少一第二類型的化妝來加以重覆，以根據在該建議系統中的該資料來在該使用者的該輸入影像上產生一所要的化妝相貌。

該建議系統可加以修改以進一步包括一種用於調整該輸入影像的亮度之系統，其中該用於調整亮度之系統係被配置以利用一皮膚色彩估計器來估計在該使用者的該輸入影像中的一臉的一標準化的皮膚色彩、偵測面部標記以及指定不同的加權的因數至一面部區域、一影像中心區域以及一邊界區 域、計算該輸入影像的一平均亮度以及比較該平均亮度與所估計的標準化的皮膚色彩以產生一校正因數、以及根據該校正因數以利用一多項式轉換來施加一曲線轉換至該輸入影像。

本發明在此進一步包含一種用於調整一輸入影像的亮度之系統，其係可用在一虛擬的化妝試妝或移除的方法中，該系統係具有被配置以實行以下的步驟的軟體：利用一皮膚色彩估計器來估計在一使用者的一輸入影像中的一臉的一標準化的皮膚色彩；偵測面部標記以及指定加權的因數至一面部區域、一影像中心區域以及一邊界區域；計算該輸入影像的一平均亮度；比較該平均亮度與該臉的所估計的標準化的皮膚色彩以產生一校正因數；以及根據該校正因數以利用一多項式轉換來施加一曲線轉換至該輸入影像。

進一步在本發明之內的是一種用於提供經校準的色彩之系統，該系統被配置以實行以下的步驟：響應於從一具有一數位相機的裝置接收到的一使用者的一輸入影像來自動地偵測一於其上具有色塊的色彩參考圖表；針對於該些色塊的每一個讀取一像素值；比較來自該色彩參考圖表的該偵測到的資訊與在一黃金標準系統之下所捕捉的一儲存的參考色彩圖表的像素值；派遣一控制系統以校準該相機的參數，使得該輸入影像係被修改以符合該黃金標準系統以維持色彩的一致性。

在此種實施例中，藉由該用於提供經校準的色彩之系統所校準的色彩係能夠被使用於判斷一物體的一色彩、判斷一產品的一色彩、判斷一被施用至一使用者的化妝品的一色彩、以及評估在色彩上的變化。

本發明進一步包含一種用於提供一虛擬的化妝教學之方法，其係包括：從一或多個既有的化妝視訊選擇關鍵幀；及/或藉由在所選的關鍵幀中偵測產品名稱字元以在既有的化妝視訊中偵測產品名稱、利用字元識別以找出產品的名稱、或是藉由從一評估在一產品資料庫中的產品的訓練完成的產品分 類器導出的分類器來找出產品；在一化妝教學摘要中從所選的關鍵幀及/或偵測到的產品名稱來概述該化妝資訊；以及根據該化妝教學摘要來產生一虛擬的化妝教學。

在該教學方法中，該些關鍵幀可以藉由分割來自該一或多個既有的化妝視訊的視訊資料成為區段來加以選擇；根據幀差異、色彩直方圖、及/或相機運動來產生一組候選關鍵幀，以及根據一組標準以及在一前一個或下一個幀上是否為一不同類型的化妝來選擇最終的關鍵幀。

本發明亦包含一種用於快速的面部偵測以及標記追蹤之方法，其係包括利用一個二維的(2D)相機來捕捉一輸入影像；利用不同尺度的影像來產生一影像金字塔；在該影像金字塔的該些影像上施加在滑動窗口下的梯度的直方圖(HOG)特徵以及一支持向量機(SVM)，以找出臉的一邊框方塊；以及利用一或多個面部標記偵測器來根據一全域學習的下降正則化(GLDR)模型以在該邊框方塊內偵測一臉，若該臉存在的話。該方法可以進一步包括抽取色塊以及施加標記均值漂移(mean-shift)擬合至該影像以平滑化該些標記資料，標準化橫跨該影像金字塔的該標記位置；施用一個三層的神經網路模型作為一正確性驗證模型以過濾錯誤的形狀，並且關聯及選擇該些最終的標記。該神經網路的該三個層較佳的是一卷積(convolution)層、一上取樣層、以及一對映層。該方法亦可包括用以降低和快速的移動相關的延遲以及降低和無移動相關的振動的步驟，其係包括利用一點分布模型(PDM)以從一基本事實資料組過濾雜訊、以及使得該些標記視訊更穩定。

同樣內含在此的是一種從一面部影像抽取一嘴唇區域之方法，其係包括：(a)在一輸入面部影像上利用面部標記來定位一面部區域；(b)利用該些標記以獲得該面部區域以及移除該非面部的背景；(c)根據利用L*a*b*空間的膚色來施加一高斯混合模型至該輸入面部影像的一下方的部分，其中每一個像 素係具有在L*a*b*空間中的一色彩值，並且計算在該輸入面部影像的該部分中的每一個像素的機率以判斷其是否符合或是超出一基礎臨界值，並且產生在該面部影像的一其中該面部區域係將被偵測的部分中的一皮膚區域的一機率圖；(d)從該機率面部圖產生一最初的面部區域二值的影像；(e)利用一疊代的方法以調整該基礎臨界值來決定一改善的二值的影像；以及(f)在每一次疊代中根據預設的標準來評估該改善的二值的影像，以利用該改善的二值的影像來偵測該面部區域。

在此種方法的一實施例中，該高斯混合模型可以具有三個或是更多個分量。該臨界值可以利用一陣列而被調整一偏移，以疊代地改善該基礎臨界值。該預設的標準可包含在該面部區域周圍的一外部的矩形的一寬度以及一高度的一比例；在該面部區域的面積以及該外部的矩形的面積之間的一比例；以及在該面部區域的面積以及該面部影像的該部分的面積之間的一比例中的一或多個。該面部區域在一實施例中是一嘴唇區域，並且該面部影像的該部分是該面部影像的該下方的部分。該方法可以進一步包括在改善的高斯混合模型中，利用在該最初的面部區域中以及在一非面部區域中的像素的該L*a*b*色彩空間色彩；針對於該最初的面部區域以及該非面部區域計算一機率圖；以及利用該些高斯混合模型來產生一整體機率圖以用於偵測該面部區域。該方法的各種實施例可以進一步包括利用一邊緣偵測及輪廓以平滑化該整體機率圖。

本發明亦包含一種虛擬地提供一眼妝附加效果至一面部影像之方法，其係包括：(a)對於一眼睛的至少一眼妝特徵產生一樣版、人工地註解在相關於該眼妝特徵的該樣版上的標記點、以及將該些標記點的位置儲存為一文字檔；(b)針對於該影像幀利用一標記偵測器來抽取一面部影像的一眼睛區域的標記；(c)根據相關於該樣版的該眼妝特徵的該些標記來裁剪該影像的該眼睛區域以產生一影像幀；(d)在該眼睛區域周圍，從在該影像幀的該眼睛區域上的該 些偵測到的抽取的標記藉由線性內插法來產生點；(e)根據該樣版的該些經註解的標記來在該樣版周圍產生點；(f)藉由向前扭曲來施加該樣版至該影像幀，以從被施加於其上的該樣版產生一具有該眼妝特徵的眼睛區域影像幀；以及(g)裁剪該眼睛區域影像幀回到該原始的面部影像，以產生一具有該眼妝特徵於其上的面部影像。在此種方法中，該眼妝特徵可以從一眼影特徵、一中間的眼影特徵、一眼影尾端特徵、一眼影角落特徵、以及一眼睫毛特徵來加以選擇。該方法的步驟(a)可包含對於一眼影特徵、一中間的眼影特徵、一眼影尾端特徵、一眼影角落特徵、以及一眼睫毛特徵的每一個都產生一樣版，並且該方法可以進一步包括在一面部影像上對於在該樣版中的該些眼睛特徵的兩個或多個重覆步驟(b)至(g)，並且在該面部影像上組合該兩個或多個特徵以產生一組合的眼妝相貌。

一種虛擬地提供一口紅質地至一面部影像之方法亦在此加以提出，並且其係包括：提供一質地模擬器，其係包括一具有一深度卷積神經網路結構的訓練模組；在一預處理模組中處理一輸入嘴唇區域以修改該輸入嘴唇區域來具有一所要的口紅色彩以及照度強化，其係利用針對於該所要的口紅色彩的L*a*b*色彩空間的該照度通道以及一加權的覆蓋因數，以產生一具有一照度分布以及模擬的動態質地的L-通道影像，並且針對於該a*以及b*通道來處理該輸入影像以從RGB至L*a*b*空間色彩；從該預處理模組饋送該L-通道影像至一單通道造型轉換模組，該單通道造型轉換模組係在一影像資料組上利用該訓練模組來加以訓練的，以根據在該資料組中的一參考造型影像來產生一具有一合成的色彩及質地的合成的L-通道影像；以及在一用於RGB轉換的後期處理模組中進一步處理來自該預處理模組的具有該動態質地模擬的該合成的L-通道影像以及該a*及b*通道影像以用於RGB轉換。

2‧‧‧標記協定

4‧‧‧所關注的面部區域

6‧‧‧非臉的背景

8‧‧‧機率圖

10‧‧‧二值的影像

12‧‧‧二值的影像

14‧‧‧影像

16‧‧‧灰色區域

18‧‧‧影像

20‧‧‧灰色區域

22‧‧‧整體嘴唇區域機率圖

50‧‧‧預處理模組

52‧‧‧訓練模組

54‧‧‧單通道造型轉換(MST)模組

56‧‧‧後期處理模組

58‧‧‧影像資料組

60‧‧‧嘴唇色彩

62‧‧‧所要的口紅色彩

64‧‧‧造型轉換深度網路

66‧‧‧L-通道

68‧‧‧a-通道影像

70‧‧‧b-通道影像

72‧‧‧最終的影像

74‧‧‧動態質地效果

100‧‧‧質地模擬器

210‧‧‧步驟

220‧‧‧步驟

230‧‧‧步驟

240‧‧‧步驟

300‧‧‧實施例

310‧‧‧步驟

320‧‧‧步驟

330‧‧‧步驟

340‧‧‧步驟

350‧‧‧步驟

370‧‧‧步驟

380‧‧‧步驟

390‧‧‧步驟

395‧‧‧步驟

400‧‧‧方法

424‧‧‧眼睛

426‧‧‧沒有施用化妝的臉

428‧‧‧眼影層附加

430‧‧‧中間的眼影附加

432‧‧‧眼角附加

434‧‧‧眼睛尾端附加

436‧‧‧眼睫毛附加

438‧‧‧眼影樣版

440‧‧‧眼睛中間的樣版

442‧‧‧眼角樣版

444‧‧‧眼睛尾端樣版

446‧‧‧眼睫毛樣版

448‧‧‧點

500‧‧‧組合

600‧‧‧系統

1000‧‧‧實施例

1010‧‧‧步驟

1020‧‧‧步驟

1030‧‧‧步驟

1040A‧‧‧眼睛區域

1040B‧‧‧嘴唇/嘴部區域

1045‧‧‧步驟

1050A‧‧‧步驟

1050B‧‧‧步驟

1060‧‧‧步驟

2000‧‧‧方法

2010‧‧‧步驟

2020‧‧‧步驟

2025a‧‧‧步驟

2025b‧‧‧步驟

2030a‧‧‧步驟

2030b‧‧‧步驟

2040‧‧‧步驟

2040a‧‧‧步驟

2040b‧‧‧步驟

2050‧‧‧步驟

3000‧‧‧方法

3010‧‧‧步驟

3020‧‧‧第一幀

3030‧‧‧受限的平均移位

3035‧‧‧對準先前的標記

3040‧‧‧臉被偵測到

3050‧‧‧全域的偵測器

3060‧‧‧色塊抽取及擬合

3065‧‧‧標準化

3070‧‧‧正確性的驗證

3080‧‧‧相關性匹配

3090‧‧‧最終的標記

4000‧‧‧深度學習模型訓練系統

4010‧‧‧臉影像資料庫

4020a‧‧‧無化妝的臉影像

4020b‧‧‧化妝被虛擬地移除的臉影像

4035‧‧‧深度學習架構

4040‧‧‧訓練完成的模型

4045‧‧‧步驟

5000‧‧‧化妝註解系統

6000‧‧‧化妝建議系統

7000‧‧‧虛擬的化妝教學系統

7010‧‧‧輸入化妝教學視訊

7020‧‧‧化妝建議器/關鍵步驟

7020a‧‧‧區段

7020b‧‧‧關鍵幀

7030‧‧‧產品匹配/教學視訊

7030a‧‧‧產品

7030b‧‧‧執行光學字元辨識技術

7030c‧‧‧步驟

7035‧‧‧訓練完成的分類器

7040‧‧‧化妝教學摘要

7045‧‧‧化妝資料庫

7050‧‧‧個人化的化妝建議/虛擬的化妝試妝的教學

8000‧‧‧系統

8010‧‧‧輸入

8020‧‧‧步驟

8030‧‧‧皮膚色彩估計器

8040‧‧‧路徑

8045‧‧‧影像的平均亮度

8050‧‧‧曲線轉換

8050a‧‧‧響應曲線

8050b‧‧‧校正因數

8050c‧‧‧亮度受控制的視訊

8055‧‧‧估計的皮膚色彩

8060‧‧‧後置處理

9000‧‧‧系統

9010‧‧‧輸入

9015‧‧‧視訊幀

9020‧‧‧步驟

9025‧‧‧步驟

9030‧‧‧參考值

9030a‧‧‧黃金參考系統

9040‧‧‧步驟

9050‧‧‧步驟

9060‧‧‧步驟

9070‧‧‧步驟

10000‧‧‧流程圖

10000a‧‧‧流程圖

10010‧‧‧步驟

10010a‧‧‧步驟

10020‧‧‧步驟

10020a‧‧‧步驟

10030‧‧‧步驟

10030a‧‧‧步驟

10040‧‧‧步驟

10040a‧‧‧步驟

10050‧‧‧步驟

10050a‧‧‧步驟

10060‧‧‧步驟

10060a‧‧‧步驟

10070‧‧‧步驟

10070a‧‧‧步驟

20000‧‧‧實施例

20010‧‧‧步驟

20020‧‧‧步驟

20030‧‧‧步驟

20040‧‧‧步驟

20050‧‧‧步驟

20060‧‧‧步驟

20070‧‧‧步驟

30000‧‧‧實施例

30010‧‧‧步驟

30020‧‧‧步驟

30030‧‧‧步驟

30040‧‧‧步驟

30050‧‧‧步驟

30060‧‧‧步驟

30070‧‧‧步驟

40000‧‧‧實施例

40010‧‧‧步驟

40020‧‧‧步驟

40030‧‧‧步驟

40040‧‧‧步驟

40050‧‧‧步驟

40060‧‧‧步驟

40070‧‧‧步驟

50000‧‧‧實施例

50010‧‧‧步驟

50020‧‧‧步驟

50030‧‧‧步驟

50040‧‧‧步驟

50050‧‧‧步驟

50060‧‧‧步驟

50070‧‧‧步驟

B‧‧‧圖形照度輪廓

C‧‧‧RGB傾斜的立方體

CE‧‧‧光澤位準

DE‧‧‧隨機光效果

EE‧‧‧閃爍效果

F‧‧‧輸入影像

F'‧‧‧主控的色彩

G‧‧‧輸入影像

G'‧‧‧主控的色彩

H‧‧‧輸入影像

H'‧‧‧主控的色彩

HA‧‧‧直方圖分析

LI'‧‧‧輸入嘴唇區域

LD‧‧‧標記偵測

LR‧‧‧嘴唇區域

LP‧‧‧修改後的嘴唇區域

M‧‧‧面部遮罩

MR‧‧‧分量移除

MS‧‧‧化妝服務

P‧‧‧色度平面

RI‧‧‧所產生的影像

SCP‧‧‧皮膚色彩像素

SM‧‧‧系統記憶體

UI‧‧‧使用者介面

II‧‧‧輸入影像

II'‧‧‧輸入影像

II"‧‧‧輸入影像

II'''‧‧‧樣本影像照片

先前的摘要以及以下本發明的較佳實施例的詳細說明當結合所附的圖式來閱讀時，將會更佳的理解。為了描繪本發明之目的，在圖式中係展示有目前是較佳的實施例。然而，應該瞭解的是本發明並不限於所展示的精確內容以及手段。在圖式中：圖1是一範例的HSV色彩空間的一圖形描繪，其係展示色相、飽和度、以及值；圖2是一傾斜的RGB立方體的一圖形描繪，其係被投影到一色度(chromaticity)平面上；圖3是根據本揭露內容的一實施例的一種用於虛擬地移除化妝之方法的流程圖；圖4A及4B係分別描繪根據本揭露內容的一實施例的一經分解的反射係數影像以及一著色影像；圖5A及5B係分別描繪根據本揭露內容的一實施例的一化妝被移除的反射係數影像以及一著色影像；圖5C係描繪相乘分別在圖5A及5B中所示的化妝被移除的反射係數影像以及該著色影像的結果；圖6A及6B係描繪根據本揭露內容的一實施例的在該眼睛區域的化妝移除的例子；圖7是根據本揭露內容的一實施例的用於一口紅質地產生器的一區塊流程圖；圖8是展示根據本揭露內容的一實施例的每一個產生器的輸出效果以及一真實的嘴唇影像的混合的輸出；圖9是展示根據本揭露內容的一實施例的一深度學習的模型訓練部分的一 區塊流程圖；圖10A、10B、10C及10D係分別展示根據本揭露內容的一實施例的化妝註解系統的一更詳細的輸出例子；圖11是根據本揭露內容的一實施例的一種化妝建議系統的一區塊流程圖；圖12是根據本揭露內容的一實施例的一虛擬的面部化妝模擬/建議系統的一區塊流程圖；圖13係展示根據本揭露內容的一實施例的一用於皮膚色彩估計的過程；圖14及15是分別描繪根據本揭露內容的一實施例的一種用於利用一曲線轉換來調整影像亮度之方法的流程圖；圖16是根據本揭露內容的一實施例的一種用於偵測一影像的一色彩參考圖表並且利用該偵測到的色彩參考圖表來校準相機硬體之方法的流程圖；圖17是描繪根據本揭露內容的一實施例的一種色彩量測系統的一區塊流程圖；圖18係描繪輸入影像以及利用根據本揭露內容的一實施例的色彩量測系統所抽取出的其之主控的色彩；圖19是描繪根據本揭露內容的一較佳實施例的一種用於一面部標記架構之系統的流程圖；圖20是一代表性的像素Q的一圖示，其係作為一像素P的一像素4個鄰居以用於評估一著色先驗；圖21是用於本發明在此的實施例的一面部影像的一標記協定的一表示，其係利用標記位置的使用以用於特徵偵測，其係包含用於一種利用一高斯混合方法(GMM)的強化特徵抽取的方法；圖22是一面部遮罩表示，其係描繪一面部影像的一具有一區域的部分，於該區域中具有一所關注的包含一面部特徵的面部區域，其中該面部特徵係藉由 標記來加以偵測的，並且該非面部的背景係被移除。圖23是在圖22中所關注的面部區域上利用GMM產生的一機率圖的一個例子；圖24係包含藉由對於如同在圖23中所產生的一機率圖採用不同的臨界值所產生的二值的影像的例子；圖25a及圖25b分別是在相對用於評估包含由一凸包(convex hull)所形成的二值的影像的已發展出的標準來加以評估時，利用不同的疊代的臨界值的可拒絕以及可接受的二值的影像；圖26是被用來改善所關注的一面部區域的利用一GMM為基礎的方法的一機率圖的一整體機率圖的一個例子，其係藉由利用一改善的GMM為基礎的方法以偵測一面部特徵，其中一GMM係針對於具有該面部特徵的前景以及背景(非面部特徵)區域而被產生，並且該兩個GMM的機率係被用來決定一整體機率；圖26a是描繪用於和圖26相關的改善的GMM為基礎的方法的一實施例中的較佳的步驟的流程圖；圖27a是一沒有施用化妝的臉的一影像，其係用於根據在此的一實施例的一種眼妝附加方法；圖27b是利用根據在此的一實施例的眼妝附加方法而被施用至圖27a的影像的一眼影層附加的一影像；圖27c是利用根據在此的一實施例的眼妝附加方法而被施用至圖27a的影像的一眼影中間的眼睛附加的一影像；圖27d是利用根據在此的一實施例的眼妝附加方法而被施用至圖27a的影像的一眼睛角落化妝附加的一影像；圖27e是利用根據在此的一實施例的眼妝附加方法而被施用至圖27a的影像 的一眼睛尾端化妝附加的一影像；圖27f是利用根據在此的一實施例的眼妝附加方法而被施用至圖27a的影像的一眼睫毛化妝附加的一影像；圖28a是用於在此的一種眼妝附加方法的一實施例中的一眼影樣版的一表示；圖28b是用於在此的一種眼妝附加方法的一實施例中的一眼影中間的樣版的一表示；圖28c是用於在此的一種眼妝附加方法的一實施例中的一眼影角落樣版的一表示；圖28d是用於在此的一種眼妝附加方法的一實施例中的一眼影尾端樣版的一表示；圖28e是用於在此的一種眼妝附加方法的一實施例中的一眼睫毛樣版的一表示；圖29是根據在此的一種用於一眼影化妝附加的一樣版的人工的標記的方法的一實施例的一個例子，其係根據一標記協定來利用在該些樣版上的點；圖30是描繪在根據在此的一眼妝附加方法的一實施例的一種眼影附加方法中的步驟的流程圖；圖31是圖30的流程圖的步驟的一視覺的影像表示；圖32是描繪在根據在此的一眼妝附加方法的一實施例的一種中間的眼影的附加方法中的步驟的流程圖；圖33是描繪在根據在此的一眼妝附加方法的一實施例的一種角落眼影的附加方法中的步驟的流程圖；圖34是描繪在根據在此的一眼妝附加方法的一實施例的一種尾端眼影的附加方法中的步驟的流程圖； 圖35是描繪在根據在此的一眼妝附加方法的一實施例的一種眼睫毛附加方法中的步驟的流程圖；以及圖36是一質地模擬器的構件的一影像流程圖表示，其係能夠學習並且施加虛擬的口紅質地以用於施加輸出效果至一具有嘴唇的影像，而該嘴唇係有一口紅被施用於其上。

圖37是展示根據在其它圖中所展示的實施例以及在此的實施例的標記偵測的方法的使用、化妝移除的方法的使用、化妝試妝的方法的使用的流程圖以及化妝效果，其係包含在一輸入影像上的質地模擬；以及圖38是如同在此的各種實施例中所述的一種用於化妝移除及/或試妝之系統的一示意圖。

以下的詳細說明係包含用於實行一種從一使用者的一輸入影像的化妝移除的方法以及其之一種系統的較佳實施例，因而一化妝試妝的程式係提供一真實的試妝的相貌一致且更佳的著色。除了該虛擬的移除方法以外，系統與方法亦被提出以用於根據至少一訓練完成的神經網路模型、一化妝資料庫、以及一化妝註解系統的虛擬的化妝附加以及化妝品之個人化的建議。該建議系統係能夠根據在該化妝品資料庫中的產品以及來自使用者的輸入影像，來產生個人化的逐步的化妝指令給該使用者。同樣內含在其中的是用於提供虛擬的化妝教學的方法、以及用於提供虛擬的輸出效果至一使用者的一具有一臉的輸入影像的方法。如同在此的圖式中所繪以及在圖37中概述的，此種技術可以獨立地或是協同地被利用。額外敘述的是用於調整亮度以及校準色彩的方法以用於一虛擬的化妝試妝或是虛擬移除的方法、一種用於快速的面部偵測以及標記追蹤之方法，其亦可包含一種用以在輸入影像視訊中降低和快速的移動相關 的延遲以及降低來自無移動下的振動的方法、以及如同以上所指出的一種用於此種方法的註解系統。

如同在此所用的，除非另有指明只指稱一種類型或是一個位置，否則"化妝"係包含在一面部影像的單一位置中的單一類型的化妝或多種類型的化妝、或是位在一面部影像的多個位置中的單一類型的化妝或多種類型的化妝。此外，在一學習或訓練資料中如同在此所用的對於一使用者或是一群人們的一"面部影像"的參照係在其範疇之內包含一面部影像的照片以及視訊兩者，並且可以是一獨立的影像(例如，單一照片或是單一視訊幀)、或是多個影像(例如，一反覆的照片、整個視訊、或是一視訊的一超過一幀的部分)，因而除非另有特別指明，否則不應該被解譯為受限制於只有一照片、只有一視訊、或是只有單一影像。較佳的是，在此的照片及視訊是數位的。此種照片或視訊可被使用作為在此的方法與系統的"輸入影像"(II,II')，並且可以透過一使用者介面而被傳遞用於在此的方法與系統，該使用者介面可以是一智慧型手機數位相機、一數位相機、一數位視訊攝影機、一網路攝影機、或是一智慧型手機數位視訊攝影機、或是能夠提供一輸入影像的類似的裝置。

用於擴增的個人化的教學的虛擬的面部化妝模擬：在本揭露內容中的虛擬的面部化妝模擬係使用以下的技術：HSV色彩空間或是固有分解，其係分別利用直方圖匹配。除了該RGB色彩模型以外，該HSV色彩空間是一眾所周知的用於評估色彩的替代的模型。該RGB模型係以一笛卡兒(立方體)表示來顯現。一HSV色彩模型係重新配置該RGB模型的幾何，並且通常被表示為一圓錐體或是圓柱座標表示，其係藉由以一種更接近人類是如何感受的方式來更佳的顯示色彩而更為直覺且感知相關的。"HSV"係代表色相、飽和度、以及值，並且有時被稱為HSB(其中"B"係代表亮度)。

圖1是描繪一HSV色彩空間。在如同圖1的每一個HSV代表性的 圓柱中，"色相"係藉由一繞著如同在圖1中所示的中央垂直軸的角度來加以量測的，其係藉由該標示為"色相"的旋轉的箭頭來表示。如同藉由標示為"色度(Chroma)"的箭頭所展示的，從在圖1中的圓柱軸A-A'起算的橫向的距離係對應於"飽和度"。沿著該軸A-A'量測的距離係對應於"值"，其亦可被稱為"亮度"或是"明度(lightness)"。

參考圖1，其係顯示一HSV色彩空間以及色相、飽和度、以及值的定義，色相係代表該色彩類型，其可以參考其角度範圍是在從0到360度的整個周邊上的範圍的一部分來加以描述。該飽和度係量測一色彩與灰階不同的程度，亦即該飽和度越低，則其看起來越褪色或是灰色的。該值係代表該色彩的亮度位準，其中一個0的值是完全暗的，並且一個255的值是完全亮的。

該HSV模型可以經由幾何策略來加以導出。該HSV模型可以從一RGB立方體導出，該RGB立方體係具有一R、G、B的色彩代號的紅色、綠色以及藍色的構成的量，其係在其角落上傾斜的，使得"黑色"係坐落在原點，其中"白色"係沿著該垂直軸而在黑色的正上方。取該傾斜的RGB立方體並且將其投影到一垂直於中性軸的"色度平面"上，該投影係具有一個六角形的形狀，其中該些色彩紅色、黃色、綠色、青色、藍色、以及洋紅色在其角落處。圖2是描繪一RGB傾斜的立方體C被投影到一色度平面P上。

色相係大致被量測為至在該投影中的一點的向量的角度，而色度大約是該點到原點的距離。於是，值係被定義為一色彩的最大的分量。飽和度係因此被定義為色度相對於該明度。在數學上，從RGB轉換成為一色相、飽和度、以及值色彩空間的轉換公式例如是在以下被寫入公式(1a)中：

除了該HSV色彩空間的使用以外，本發明係利用直方圖匹配。在影像處理中，直方圖匹配或直方圖規定化(specification)是一影像的轉變或轉換，使得其直方圖係符合一指定或參考的直方圖。眾所周知的直方圖等化方法是一特殊情況，其中該指明或參考的直方圖是均勻分布的。在數學上，給定兩個灰階的影像(亦即，一輸入影像以及一參考影像)以及其個別的直方圖，吾人可以計算每一個直方圖的累積分布：F₁( )用於該輸入影像直方圖、以及F₂( )用於該參考影像直方圖。對於每一個灰階位準，G₁ [0,255]，吾人可以找出其中F₁(G₁)=F₂(G₂)的灰階位準G₂。此係直方圖匹配函數的結果：M(G₁)=G₂。最終，該函數M( )可被施加在該輸入影像的每一個像素上。

亦如上所提到的，除了HSV色彩空間以及直方圖匹配之外，本發明係利用固有分解(intrinsic decomposition)。回復固有影像的工作是去分解一給定的輸入影像成為其材料相依的性質(通常是反射係數)、以及其光相依的性質(例如是照明或著色)的個別的成分。就該眼睛區域影像舉例而言，整個臉皮膚(不包含眉毛或是睫毛)可被視為具有幾乎相同的材料及色彩。理想上，反射係數分量在一裸臉中應該只包含一色彩，而在施用化妝品之後包含所有的化妝色彩資訊。相反地，該著色分量或通道係保有該臉及眼睛的形狀資訊，而且不論化妝是否被施用都沒有多大改變，因為該臉在相同的影像中係保持其基本的 形狀。固有分解是分開這些分量的能力，因而一最初的影像可以根據分開的分量來加以重建。

在詳細介紹該能量函數之前，一記號係首先在此予以指定。對於一給定的影像I，兩個分量需要加以識別：反射係數R以及著色s，使得I=s×R。I_i、R_i以及s_i係分別代表在以上的三個分量分開的每一個的一位置i的像素值，其中I_i以及R_i是具有維度3的三維的向量，並且s_i是具有維度1的一向量。由於該關係I_i=s_i×R_i對於所有的色彩通道(R,G,B)都必須成立，因此R_i的方向是已知的，亦即R_i可以被改寫成為R_i=r_i ，其中=I_i/∥I_i∥，此係剩下r=(r₁,...,r_N)是唯一要解出的未知的變數。在此，I_i/∥I_i∥是R_i的方向，並且r=(r₁,...,r_N)是R_i在其方向上的振幅。由於R係代表一個三維的向量，因而此公式係轉換R成為單一維度的向量r。在以下的部分中，r可以代表R，因為一旦r被獲得後，R亦將會藉由將r乘上其方向I_i/∥I_i∥而為已知的。因此，該最佳化問題係被簡化到N個變數的搜尋，其中N是在影像I中的像素總數。該些著色分量可以利用s_i=∥I_i∥r_i來加以計算出。

在此的能量函數係根據如同在以下闡述的兩項(先驗)(亦即，一著色先驗(E_s)以及一全局稀疏的反射係數先驗(E_cl))來加以寫成，並且那些先驗(亦即，該兩個分量)將會在以下加以詳細地描述。如上所提到的，I_i/∥I_i∥是R_i的方向，r=(r₁,...,r_N)是R_i在其方向上的振幅。由於R係代表一個三維的向量，因此該公式係將R轉換成為單一維度的向量r。在以下的能量函數表示式中，r係被用來代表R，因為如同以上所指出的一旦r係加以獲得，R係藉由將r乘上R的方向I_i/∥I_i∥而為已知的。

在以下的表示式中，α=(α₁,α₂,α₃,...,α_N)，其中每一個α_i係代表一像素i的叢集成員號碼，並且α_i是從1到C。例如，若吾人設定該叢集數目為5，則每一個像素將會被表示為一從1到5的叢集成員號碼。

該能量函數較佳的是被表示為該著色先驗(E_s)以及該全局稀疏的反射係數先驗(E_cl)的一函數：

A.著色先驗(E_s)：一影像的著色在此係被預期在該影像上平滑地變化，並且用以下配對的因數來加以編碼： 其中一4連接的像素圖係被用來編碼該鄰居關係，其係在i~j之內加以表示。在此評估中，若Q及P共用一邊緣的話，一像素Q係被解譯為一給定的像素P的一群4個鄰居。像素P的4個鄰居(亦即，像素P2、P4、P6以及P8)係在圖20中以代表性的形式來加以展示。對於每一個像素P，吾人可以計算以上在其4個鄰居之間配對的值E_s(r)。該4連接的像素圖將會是一影像尺寸的矩陣，其中每一個像素係具有其4個鄰居的配對的值之總和的值。例如，像素P的值將會是E_s(P,P₂)+E_s(P,P₄)+E_s(P,P₆)+E_s(P,P₈)。

B.全局稀疏的反射係數先驗(E_cl)：此項係加以納入並且作用為一在反射係數上的全局的可能性，並且進一步有助於分解成為一些反射係數叢集。假設有C個不同的反射係數叢集，則每一個反射係數叢集係被表示為α_i {1,...,C}，每一個反射係數像素係屬於該些叢集中之一，並且利用該變數α_i而被表示為其叢集成員，其中α_i {1,...,C}。此係被概述在以下的能量項中，其中r以及i係如上所定義的：

在此，連續的r變數以及離散的α變數係加以混合。此係代表一全局的可能性，因為該叢集的平均係依據在該影像中的所有像素的指定而定。 對於一固定的α，此項在r上是凸的(convex)，並且對於一固定的r，最佳的α是一簡單的指定問題。該些反射係數叢集的平均最佳的是如下的給予r以及α來加以決定出：

在一實施例中，本揭露內容係使用以上所指出的技術，並且提供一固有影像分解或是HSV色彩通道轉換、以及直方圖匹配為基礎的架構，以用於分別從眼睛區域以及嘴部區域的虛擬的化妝移除。通常，當消費者在一化妝品店採購時，他們在大多數的情況中都是在其臉上施用化妝。在本揭露內容的系統下，消費者並不需要移除其化妝才能嘗試新的化妝。反而，該消費者可以利用電腦強化的合成影像技術，來虛擬地移除其化妝並且虛擬地嘗試新的化妝。

圖3是展示根據本揭露內容的一實施例的一種用於虛擬地移除化妝之方法的流程圖，其大致被稱為實施例1000。參照圖3，在步驟1010中，一輸入係藉由一使用者來加以獲取。該使用者輸入可以是如同在此定義的術語的任意的面部影像，其係包含單一影像、一重覆的照片、單一視訊幀、或是一具有多個幀的視訊，其係藉由該使用者利用一行動裝置所捕捉的、或是被上載到本揭露內容的系統。一旦獲取後，該面部影像係從該使用者輸入來加以偵測或是識別。較佳的是在該移除方法中，只有一影像係被輸入，並且一旦該影像被上載後，該臉係被偵測出，然而本發明並不限於只有一影像輸入。

在該影像的臉的偵測之際，在步驟1020中，該些面部標記係利用該輸入影像而被定位。標記可加以預設以及選擇，例如是下巴的尖端、每一個眼睛的外側邊緣、每一個眉毛的內側邊緣、與類似者。此種標記是所有的臉所共同的，因而係在具有臉前景的彩色影像中利用其基準點(例如，鼻尖、嘴 部、以及眼角)的精確定位來加以偵測及評估。

在步驟1030中，例如，一標記偵測演算法可被利用以定位該些標記的基準點，透過該些基準點，吾人接著可以取出該嘴部區域以及眼睛區域的影像。在此對於此目有用的一適當的標記偵測軟體以及相關的訓練集可以見於OpenCV(亦即，opencv.org)。額外的軟體以及面部辨識程序，例如是dlib標記偵測(參見http：//dlib.net/face_landmark_detection.py.html)以及Giaran,Inc.的標記偵測的那些軟體亦可被利用。存在有許多例如是Python、dlib以及HOG的用於面部偵測、以及用於標記偵測及基準點的識別的適當的市售以及開放原始碼軟體，例如是由V.Kazemi等人於瑞典斯德哥爾摩的皇家理工學院KTH的電腦視覺及主動感知實驗室(2014)所述的"利用回歸樹的集成的一毫秒面部對準"。用於此較佳的是Giaran,Inc.的軟體。

儘管各種的區域以及基準點都可被用於在此的方法與系統，但是為了解釋描繪一第一及/或第二區域將被抽取並且此種區域中之一被本質分解的一較佳實施例的目的，以下的例子係如下所述地描繪此種利用該眼睛及嘴部區域的步驟。對於該眼睛區域1040A而言，例如一固有影像分解技術係在步驟1045中被利用來找回該眼睛區域的著色以及反射係數通道。接著，在步驟1050A中，該著色通道以及反射係數通道係分別被饋入直方圖匹配中，以獲得一其中在該眼睛區域中的化妝係被移除的影像。對於該嘴唇/嘴部區域1040B而言，例如一影像係首先被轉移(亦即，被轉換)成為HSV色彩通道，並且不同的直方圖匹配程序係個別地關於不同的照明狀況而被施加至該H、S、V通道。為了嘴唇色彩移除，特定的"飽和度"以及"值"的參考直方圖係從一所收集的在嘴唇上沒有化妝的面部影像的資料組來加以學習。在那些預先定義的嘴唇直方圖下，一輸入的嘴唇化妝可以藉由匹配該偵測到的嘴唇直方圖至一對應的沒有化妝的嘴唇直方圖來加以移除。對於該嘴唇通道，該"色相"通道係被使用作為該 嘴唇區域，其通常係只有一個值，因而吾人並不需要使用一直方圖來代表其，因而用於"色相"通道的程序係被設定為針對於每一個像素的相較於一預先訓練完成的色彩值的"色相"通道的值。

在步驟1050B中，該些不同的H、S以及V通道係依適當情況而被饋入直方圖匹配或是像素匹配中。該些通道係個別地被饋送以獲得一其中在該嘴唇/嘴部區域中的化妝係被移除的影像。

在步驟1060中，產生自步驟1050A及1050B的影像係藉由覆蓋在彼此上來加以組合，以便於形成一其中任何來自該嘴唇區域以及該眼睛區域的面部化妝都被移除的影像。若更多區域係利用這些技術而被分析，則它們亦可以被覆蓋在這些區域上。

對於該眼睛區域1040A，兩個先驗的項係加以組合以形成一能量函數。藉由解出該能量函數，吾人可以找出反射係數以及著色影像的最佳化的分解。該兩個先驗係在該著色通道以及該反射係數通道上提供平滑化的限制。一影像的著色接著可以在該影像上平順地變化，其中一個4連接的像素圖係被用來編碼該鄰居關係。該之後的全局稀疏的反射先驗項係限制存在於該反射係數影像中的色彩叢集的數目。其係容許不同材料的反射係數的混合，藉此保持任何可能的化妝色彩以及在數學上的叢集的多樣性。

在本揭露內容的系統與方法中，接在相同的實施例之後的是，該嘴唇區域影像係被轉換成為HSV色彩空間。本發明人在此係從實驗觀察到：該"色相"通道通常是在照明狀況已經改變、或是亮的口紅被施用時改變；該"飽和度"通道係在紅色口紅被施用時改變；而該"值"或是"亮度"係在一紫色或較暗色彩被施用時改變。根據這些觀察，當偵測到不同色彩的口紅時，吾人可以利用該些不同色彩來編輯對應的通道。針對於嘴唇色彩的移除，"飽和度"以及"值"的特定的參考直方圖可以從一收集的無化妝的嘴唇資料組來加以學習。在那些 預先定義的嘴唇直方圖下，一輸入嘴唇化妝可藉由匹配該偵測到的嘴唇直方圖至一對應的無化妝的直方圖來加以移除。注意到的是對於該"色相"通道，該嘴唇區域通常只有一個值，因而並不需要藉由一直方圖來加以表示。

注意到的是，一嘴唇在不同的照明狀況之下看起來是不同的。因此，本揭露內容的系統係將該照明狀況列入考量，以提供一更真實的移除色彩預測。為了用於嘴唇移除，一皮膚色彩資料組係在不同的照明狀況之下加以收集，其係具有和一標準的嘴唇色彩相比較的對應的嘴唇色彩偏移。在此資料組下，本揭露內容的系統係首先抽取出該輸入皮膚色彩，並且找出在此特定的照明狀況下的對應的嘴唇色彩偏移。接著，最終經過修改的移除嘴唇色彩係在該偵測到的色彩偏移下加以提供。一皮膚色彩資料組對於其它移除區域而言並非必需的，但是其係被收集以用於在嘴唇化妝移除上的導引。在無該資料組下，一預先定義的色彩亦可被用來偵測該嘴唇。

針對於眼睛區域的化妝移除，該情況係遠比通常只有一種統一的色彩的嘴唇區域複雜的。因此，針對於該眼睛區域，該固有影像分解技術係被引入以首先分開由形狀及照明所引起的固有色彩資訊以及著色資訊。在該反射係數以及著色影像被獲得之後，該直方圖匹配技術係被施用至移除該化妝。用於該眼睛區域的參考直方圖係與那些用於該嘴唇區域的參考直方圖不同地被產生。針對於該眼睛區域，該些參考直方圖係藉由根據某些標準來過濾所抽取出的直方圖來加以獲得的。該假設是任何眼妝(眼影、眼線、睫毛膏)的化妝色彩都應該是不同於該皮膚色彩，並且被視為相較於該眼睛區域的皮膚色彩的一少數部分。因此，一臨界值係針對於每一個色彩以及其百分量來加以設定。該臨界值是一被用來判斷可能的化妝色彩的尺度，因為該假設是該化妝色彩是相較於該皮膚色彩的少數色彩，因而該臨界值係被施加以找出一小量的一色彩。

在一實施例中，本揭露內容的系統可以根據如同在附錄A中所 示的虛擬碼來加以概述，該虛擬碼係在此被納入作為一用於驅使本發明的此態樣的適當的碼。在此的每一個附錄都是本案說明書的部分，但是和主要的文字分開是為了該文字的更容易的閱讀及理解。

圖4A及4B係描繪一經分解的反射係數影像(圖4A)以及一經分解的著色影像(圖4B)的例子。在圖4A中的反射係數影像是一個包含化妝品的色彩資訊的三通道的RGB影像，而該著色影像是一灰階影像。接著，該兩個經分解的影像都被施加直方圖匹配，以獲得經移除的影像。圖5A及5B係描繪一化妝被移除的反射係數影像(圖5A)、以及一化妝被移除的著色影像(圖5B)的一個例子。在圖5A及5B中的兩個影像係接著相乘(覆蓋)以產生經移除的眼睛區域影像，即如同在圖5C中所示。圖6A及6B係描繪在該眼睛區域的化妝移除的例子。一覆蓋係牽涉到在每一個像素中相乘兩層色彩值。

在此的另一實施例中，使用標記以用於面部特徵抽取以及特別較佳是用於使用於嘴唇區域抽取的標記偵測技術係被強化，以考慮到其中一輸入影像可能包含難以偵測的面部區域，特別是例如那些具有嘴唇姿勢的嘴唇(撅嘴吻的臉、或是一大而扭曲的笑容)、或是在該嘴唇區域之內有阻擋的嘴唇(手指尖端、牙齒、舌頭、或是任何蓋住嘴唇的物體)的情況。在此種情況中，只使用標記通常並不提供一精確的面部區域，例如一精確的嘴唇區域。本實施例係利用色彩資訊來進一步改善標記偵測結果，以獲得及偵測一最佳的面部區域，例如是一較佳的最適嘴唇區域。以下的方法將會相關該嘴唇區域來加以描繪，但應瞭解的是其可以類似地被採用於其它面部區域。

一般而言，在該嘴唇區域以及該面部皮膚背景之間的色彩差異係顯著地改變，並且對於具有不同膚色的不同的人們亦可能會多少有些變化。因此，提出一種嘴唇分段方法以適應到各種的色彩差異是必要的。

因此，本發明係利用一種高斯混合模型(GMM)技術。GMM是 概率性的模型，以用於代表在一整體母群體(population)之內正常分布的次母群體(subpopulation)。混合模型一般並不需要知道一資料點屬於哪一個次母群體，藉此容許該模型自動地學習該些次母群體。

一GMM係藉由兩種類型的值而被參數化：該些混合分量權重、以及該些分量平均及方差/協方差。對於一具有K個分量的GMM而言，第k個分量係具有一μ_k的平均以及σ_k的方差。該些混合分量權重係對於分量C_k被定義為Φ_k，其中限制為Φ_k=1，使得總機率分布標準化至1。

在本發明中，一種從一面部影像取出一嘴唇區域的方法係被提出，其係根據一GMM色彩模型。此方法可被利用在一種用於以一沒有化妝的嘴唇取代一上色的嘴唇的化妝移除方法中、或是在一種移除一現有的嘴唇區域並且以另一上色的嘴唇區域來取代其的化妝附加方法中。此方法的目標是根據一標記剖析結果來改善該嘴唇區域，因為在許多情況中，一標記偵測可能並不提供一真實的嘴唇區域，特別是根據扭曲或咬合時。

該方法首先係如同在此所指出地，利用一面部標記偵測以從該輸入影像偵測該臉區域以及面部標記。此係被展示在圖21中。如圖所示，數字係被指定以標記在一標記協定2中的所有面部標記。從此來說，如同在圖22中所示的所關注的面部區域4係加以獲得(在此例子中，該嘴唇區域)，並且該非臉的背景6係被移除以建構一GMM模型，見於圖22中的面部遮罩M。移除該非臉的背景的精確性係在獲得最終的嘴唇分段結果上具有很小的影響。在此，L*a*b*色彩空間係因為其與人的感知的持久性而被選擇。在該GMM模型中的分量數目係根據本發明人的經驗性研究而被設定為三個(3)，儘管其它例如是4、5、6、等等的值也可被使用，而不顯著地改變該些效果，使得本發明不應該被認為是受限制為一具有3個分量的GMM。

該膚色GMM係被建構在該L*a*b*色彩空間中。對於每一個像素 i而言，在該臉的一下方的部分中有一給定的色彩值x_i=(L_i,a_i,b_i)、以及一個3維的L*a*b*色彩值，使得其從該膚色混合模型產生的膚色機率係如下而被計算出： 其中π_k、μ_k、σ_k係分別代表在該混合模型中的第k個高斯分量的權重、平均以及協方差。如同在圖23中所示的，此係被用來產生相關的皮膚區域4的一機率圖8。該皮膚區域的機率圖係展示一較深的色彩是指出該較深的色彩較低的機率是皮膚，並且該較深的部分較高的機率係代表該嘴唇區域。在獲得該機率圖之後，一疊代的臨界值方法係被採用以獲得一最初的嘴唇二值的影像。一個此種被採用的較佳的疊代的臨界值方法是如同在N.Otsu的"從灰階位準直方圖的臨界值選擇方法"，IEEE系統，人及控制論學報，9.1(1979)，第62-66頁中所敘述的Nobuyuki Otsu的方法，其係在此被納入於相關的部分中。

在傳統的嘴唇偵測方法中，通常一固定的臨界值係被用來估計哪些像素屬於該嘴唇區域、或是在該嘴唇區域之外。然而，對於不同的人們而言，在嘴唇以及在該嘴唇周圍的面部皮膚背景之間的色彩差異可能會顯著地變化。再者，在某些情形中，在嘴唇以及周圍的皮膚區域之間的差異可能是些微的。此問題在此係藉由該疊代的偵測方法來加以解決。首先，該臨界值方法(例如Otsu的方法)係被用來找出一基礎臨界值，並且根據該基礎臨界值，一陣列的偏移係被用來調諧該基礎臨界值，其中：偏移={0,0.05,0.10,0.15,0.18,0.2,0.22,0.24,0.25,0.26,0.27,0.28,0.29,0.30,0.31,0.32,0.33,0.34,0.35,0.36,0.37,0.38,0.39,0.4,0.5}。所施加的臨界值將會是在該基礎臨界值減去該偏移之間的差值。

每一個大於臨界值數字的像素係被設定為0，否則的話將會是255。因此，隨著該臨界值變得較大的，則較少像素將會被保存，並且其它都將會是0。藉由針對於從如同在圖23中的一機率圖所取出的面部區域4施用不同 的臨界值，如同在圖24的兩個影像中所示的不同的二值的影像10、12係加以獲得。

對於每一次疊代，所產生的二值的影像係被用來根據某些有關該嘴唇的先前的知識來偵測該嘴唇區域，並且被用來發展出以下的標準：

1.在該嘴唇區域的一外部的矩形的寬度及高度之間的比例係具有一特定的範圍。該外部的矩形係根據在上述的二值化(binarization)之後可以包含全部的白色區域的最小的矩形而定。在該寬度以及該高度之間的比例係被設定為介於約0.7到約10之間。

2.在該嘴唇區域面積以及其外部的矩形之間的比例係具有一特定的範圍。該嘴唇區域面積是在以上所提及的二值化程序之後的白色區域。例如，在圖24中，在每一個影像中的白色區域係界定偵測到的嘴唇區域面積。該外部的矩形是所展示的能夠包含全部的白色區域的最小矩形。該嘴唇區域面積相對該矩形的面積的比例係被設定為在約0.3到約0.9。

3.在該嘴唇區域面積以及該臉的下方的部分的面積之間的比例係具有一特定的範圍。如同在圖21指出的標記中所示的，一旦該些面部標記被偵測到，則該下方的臉區域可被定義為從該些下方的點(點7；點10)向上延伸到點34，並且從點4延伸到點14。例如，在評估圖24的二值的影像中，該相關的影像區域將會是如同藉由該些標記所決定的下方的臉區域。該嘴唇區域面積至該下方的臉區域的面積的比例是約0.1到約0.5。

在評估以上的參數中，該嘴唇區域的中心位置應該是在該下方的臉的一特定的區域之內，該嘴唇區域的邊界不應該到達該下方的臉的邊界，因而該嘴唇區域面積4應該幾乎是如同參考圖25a及25b所述的一凸包。在評估圖25a中，嘴唇區域4的一影像14係被展示其中該灰色區域16並不構成在該白色區域中的一凸包，此種影像將會因為非凸的而被拒絕。圖25b係提供一影像 18，其係具有一灰色區域20將會被接受為從該白色區域形成一凸包。

該疊代的方法係被用來利用該臉的下方的部分的膚色機率圖來偵測該嘴唇區域。在每一次疊代中，更多的偏移係被加在該基礎臨界值上，直到該二值的影像係包含一輪廓區域是滿足以上的標準並且具有針對於該白色區域的凸包配置為止。一旦符合此種標準後，該偵測到的區域係被視為最初的嘴唇區域。

通常，該最初的嘴唇區域並非一最佳的影像。其可能在該嘴唇中包含一些皮膚像素，並且一些嘴唇像素亦可能錯誤地從該最初的嘴唇被消除。為了進一步解決該問題並且改善該嘴唇，一種最佳化方法係被使用。明確地說，在該L*a*b*色彩空間中，在該最初的嘴唇以及非嘴唇的區域中的像素的色彩係分別被用來建構改善的GMM。在每一個GMM中的分量數目係被設定為3。吾人係使用該兩個GMM來計算該背景機率圖、以及前景機率圖。用於該嘴唇區域的整體機率圖將會是 其中p(x_i|lip)以及p(x_i|non_lip)是從該兩個GMM計算出的對應的機率。在此方法中獲得的一整體嘴唇區域機率圖22係被展示在圖26中。

在獲得該整體嘴唇區域機率圖之後，Canny邊緣偵測以及輪廓平滑係被用來獲得最終的嘴唇區域遮罩。此技術是已知的，並且被敘述在J.Canny的"邊緣偵測的計算方法"，電腦視覺讀物(1987)，第184-203頁中，其係在此被納入在相關的部分中作為參考。

在Canny邊緣偵測之後，有許多邊緣候選者。因此，該嘴唇區域的先前的知識係被用來過濾最終的邊緣線。明確地說，首先嘴部的一左角落以及一右角落係藉由選擇該白色區域的最左點以及最右點來加以找出。接著，在該左角落與右角落之間，並且對於每一個行的像素，該影像區域係從上到下 被掃描，並且兩個具有最大梯度的像素係被選出以分別作為用於上方的嘴唇線以及下方的嘴唇線的最終的邊緣像素。當掃描該行的像素時，先前的限制係施加為每一個相鄰的點應該是在一小的垂直範圍之內(例如，在約-5到約+5個像素之內)，因而最終的邊緣將會是平順的。一用於此方法的演算法是如上所論述的色彩為基礎的嘴唇遮罩抽取，其係在附錄B中以虛擬碼來加以表示。

該方法係在此的圖26a的流程圖中被描繪為實施例300。在該方法中，一使用者的影像係在步驟310中加以獲得。面部標記係如同在此的步驟320中所述地加以偵測。一根據該皮膚色彩的GMM係接著在步驟330中利用來自一無嘴唇的區域的資料來加以訓練，並且在步驟340中，一最初的機率圖係如上所述地針對於在下方的臉中的嘴唇而被產生。在步驟350中，用於該影像二值化的臨界值係如上所述地被調諧，直到該輪廓係滿足該嘴唇區域標準的準則為止。若一嘴唇區域被偵測到，則GMM係在步驟370中針對於該些最初的嘴唇以及非嘴唇的區域來加以訓練。若一嘴唇區域未被偵測到，則該臨界值係持續被調諧以符合該些準則。在步驟370之後，改善的機率圖係在步驟380中根據該兩個已學習的GMM而被產生。在步驟390中，該嘴唇輪廓係接著利用一邊緣偵測演算法以及嘴唇形狀先前的知識而被平滑化。最終，最佳的嘴唇區域係在步驟395中被抽取出以作為一輸出。

用於嘴唇產品的質地產生以及輸出效果

在一實施例中，本揭露內容係提供用於提供各種的輸出效果至一面部影像之方法。該些方法係提供具有動態質地產生的形式的輸出效果，其係針對於一種可應用於各種類型的產品的質地附加方法，該些產品係包含口紅產品，例如是潤唇膏、豐唇蜜、口紅、等等。例如，四個不同的效果產生器以及輸出效果是可能的並且內含在此，其係包含閃亮的(shining)、閃爍的(glittering)、隨機亮光的(lighting)、以及豐唇的。許多其它具有質地變化的形式 的輸出效果可以藉由調諧參數以及組合參數來加以產生。

化妝品公司係提供具有各種色彩以及質地的口紅產品。這些公司中的某些公司係在其網站上提供虛擬試妝的解決方案，以幫助消費者檢視該些產品的色彩。例如，Sephora^TM的Virtual Artist是最大的虛擬試妝的服務中之一，其係容許人們能夠利用滑鼠的點擊而在數百個口紅上試妝，並且使用者亦可以單純地點選購物以將其選項的挑選加入其購物車。

現有虛擬的試妝系統一般只有提供色彩結果，即使該些化妝品產品係具有不同的質地，例如是光澤的、保濕的、霧面的(matte)、等等。有一些在嘴唇上產生閃亮效果的方法，但是此種方法通常只施加一預先定義的遮罩，其並無法適應光的變化。

本揭露內容的質地產生技術係包含四種方法以產生不同的質地。首先，該方法係產生一光澤的效果。其係偵測該嘴唇的光分布，並且施加平滑度以及通透性。此外，其係產生隨機的反射，因而此效果看起來更加自然的。再者，一閃亮的效果可以針對於具有保濕的、閃光(shimmer)、或是光滑的(satin)質地的產品利用不同的參數來加以產生。明確地說，當施用較少光澤的效果時，較少通透性係被使用，同時保持該使用者嘴唇的原始的質地。由於此方法使用來自該輸入影像的光分布，因此所產生的質地係依據該光而改變，此係為與現有的方法的一項區別的因數。

圖7是展示根據本揭露內容的一實施例的一口紅質地產生器的一方塊圖。一可包含一待被處理的臉的輸入影像係與來自三個不同的質地產生器的輸出混合。圖8是展示該些產生器的每一個的輸出效果、以及一真實的嘴唇影像的其混合的輸出。注意到的是，此所展示的例子並不欲限制該質地產生器，因為其可以藉由調諧四個不同的效果產生器的參數及組合來產生許多其它的質地變化。用以增加通透性及閃亮效果的詳細演算法的虛擬碼係在附錄C中 加以提供。

在圖7中，一種用於在一具有一臉的輸入影像上產生一輸出效果之方法2000的一個例子係被展示。該輸入影像可以是一有化妝或是沒有化妝的臉的一影像。在步驟2010中，此輸入影像係被提供至一種例如是在此別處敘述的系統。若該影像在該臉上係有化妝，特別是在該嘴唇區域中有化妝，則若為所要的話，以上的化妝移除方法可被用來移除該化妝，以便於施用所要的口紅色調的一真實色彩至該使用者的臉。該面部影像亦可以按現狀被使用。該面部影像將會有例如是在以上所指出的標記的面部標記，並且所用的系統將會藉由使得如上所述的適當的軟體從該使用者的面部影像定位至少一個或是所有的面部標記來加以配置。該些標記係和至少一面部區域相關的。由於此種輸出效果在此係在一第一範例實施例中針對於嘴唇來加以描繪，因此該面部影像應該使得偵測到的標記和該面部影像的嘴唇相關的，並且該第一面部區域係包含一嘴唇區域。

在該些標記的區域中的面部影像可以如同在此所述地加以轉換，並且一包含一被定位的嘴唇區域的面部區域係被轉換成為至少一色彩通道，以便於偵測及分析該嘴唇區域的光分布(亦即，照度)。為了如此做，所評估的通道較佳的是飽和度通道以及值通道，儘管例如是色相、反射係數、著色、照度、通透性或是其它光反射的性質的其它性質可以進一步被評估。較佳的是，至少飽和度以及值係在一亮度的範圍上加以評估，並且在一第一色彩通道中加以偵測及分析，但是其它如同以上所指出的通道亦可以如同在圖7的步驟2020中所指出地加以偵測及分析。

該(些)色彩通道係利用在此所述的技術而被饋入在一變化的光分布上的直方圖匹配中，以在一具有變化的光分布的直方圖的資料組中識別一直方圖，並且較佳的是該些直方圖係具有各種預先定義的光分布，其係包含從 該嘴唇區域的光分布變化到一將會藉此產生一所要的輸出效果的所要的程度的值。在步驟2025a中，在一範圍上的照度/亮度參數可被利用以提供變化程度的通透性、平滑度及/或閃亮，以用於如同在步驟2025b中的各種光澤或是閃亮效果。

在步驟2030a中，一具有來自光分布的一所要程度的閃爍的預先定義的直方圖可被識別出，以產生如同在步驟2030b中的一閃爍效果，並且提供各種位準的閃光。

在步驟2040a中，一預先定義的直方圖可被識別出，以如同在步驟2040b中的加入隨機光分布並且產生一更自然的效果。

在每一個實例中，該方法在此種用於一第一效果，例如是在步驟2025a及2025b中的一光澤或是閃亮位準的直方圖匹配之後，該方法係提供一具有該輸出效果的第一影像。若多個輸出效果是所要的，則步驟2020以及其它平行的步驟2030a及2030b的另一個以提供在2040a及2040b中的閃光及/或一自然的效果或是其之組合(或是根據需要的如同將會被熟習此項技術者根據此揭露內容理解的額外效果)可加以重覆以提供一或多個額外的影像，該些影像的每一個係具有根據需要的相關的輸出效果。具有該第一輸出效果的第一影像及/或具有其個別的輸出效果的額外的影像係在步驟2040中和該使用者的原始的面部影像加以組合及混合，以在步驟2050中產生一具有被組合在該使用者的面部影像上的輸出效果的每一個之所產生的影像。

若一豐唇的效果是所要的(2050a)，則單獨或是在另一輸出效果的使用下，則在該嘴唇區域中的面部標記被偵測到之後，它們係在該嘴唇區域中被放大一預設的比例。一旦此被完成後，接著若為所要的話，較佳的是一光亮(用於濕潤的建議)輸出效果係利用在以上所指出的技術而被施加在該放大的嘴唇區域上，並且修改後的影像係被產生，其係具有放大的(豐滿的)嘴唇區域 以及任何其它被施加的輸出效果(例如光亮係被施加)。其它效果亦可以和豐唇組合的。具有該豐滿的嘴唇區域以及任何其它被施加的輸出效果的該修改後的影像係接著被覆蓋及扭曲在該最初的使用者影像的原始的嘴部區域上。在最初處理該些標記中，該放大的比例係根據在該最初的使用者照片中的嘴唇區域的最初的面積而被計算出，並且在該最初的嘴唇區域標記之內的影像係朝向所針對的放大的標記扭曲。一最終所產生的影像2050係接著藉由組合該些影像以及輸出效果，利用具有如同在該方法2000中所選的一輸出效果及/或一豐唇的效果的所有影像的覆蓋來加以產生。

如上所提到的，在轉換該影像之前，來自該使用者的面部影像的嘴唇區域的化妝可以藉由利用在此的化妝移除方法與系統來加以完成。因此，除了產生如上所述的輸出效果之外，該面部影像的沒有化妝的嘴唇區域可以如上所述地被轉換成為色彩通道，並且該些色彩通道接著亦可被饋送到在變化的照明狀況下的直方圖匹配中，以識別具有一對應於在該資料組中的一市售的色彩或是其它色彩的口紅的預先定義的化妝色彩之一直方圖，以獲得另一其中該嘴唇色彩被施用至該嘴唇區域的嘴唇的額外的影像，因而相較於施用在既有的化妝之上，該色彩是一較真實的匹配，並且具有該色彩的影像接著可以和該使用者的原始的面部影像以及該使用者所產生的任何具有一終端效果的影像組合，以提供一所產生的具有該預先定義的嘴唇色彩以及所要的輸出效果的影像。

相關該些輸出效果，一具有一預先定義的光分布的直方圖可加以提供，其係根據通透性的程度來納入通透性以及平滑度至變化的程度，以產生一提供變化的程度的光澤的輸出效果。在該預先定義的直方圖中的光分布亦可以增加變化的程度的隨機反射係數，以提供一輸出效果是更多的自然的效果。進一步變化的程度的通透性及閃亮可被使用於一閃亮的效果之輸出效果。 用以提供閃爍的預先定義的光分布效果亦可被採用，以產生一閃爍或是閃光效果。

圖8是展示一輸入影像II、以及從該影像II產生的一偵測到的具有一圖形照度輪廓B的形式的光分布。該資料係接著被對映到如上所提到的預先定義的輸出效果，其係包含一來自通透性以及閃亮變化的光澤位準CE、一隨機光效果DE、以及一閃爍效果EE，其係接著與該原始的面部影像II混合以產生一具有如同所示的一嘴唇區域LR的所產生的影像。若該豐唇的效果係如圖所示地為所要的，則在施加該光亮CE、隨機光效果DE、或是閃爍效果EE之前，在圖8中所示的在該嘴唇區域中用於其它效果的標記係被放大一預設的比例，因而具有該些輸出效果的修改後的(放大的)嘴唇區域LP係被覆蓋及施加豐滿的嘴唇以產生一輸出影像。

學習為基礎的即時的口紅質地模擬

在另一實施例中，一質地產生器係在此被提出，其係利用一深度卷積造型轉換網路以模擬三個口紅質地，亦即霧面的、保濕的、以及光澤的。該質地造型轉換係在一照度位準上操作，其係修改該原始的嘴唇區域的輸入光分布至用於不同的口紅質地的所要的分布，同時維持對於經預處理的口紅色彩忠實的。造型經轉換的嘴唇區域係接著利用該動態質地產生技術來加以處理，以用於最終的潤色。

現有的虛擬試妝的技術係非常倚重在該輸入嘴唇區域上的原始光分布，其係在本質上對於模擬在照度分布中相較於該輸入影像具有一大的偏差的質地是具有挑戰性的。因此，為了產生一更真實的質地，該原始的嘴唇照度圖案需要透過一對映函數而被對映到一參考圖案中。此種對映函數將會必須是高度非線性且複雜的，以藉由手動來明確地建立模型。為此理由，已知是具有能力來建立模型高度非線性函數的深度學習模型係在此被採用於解決造型轉 換的問題。有關造型轉換的研究近年來已經增加，尤其是在深度學習的領域中。譬如，數個刊物係證明深度網路能即時地模仿任意的輸入質地或藝術造型的能力。例如，見於Johnson,Justin等人的"用於即時的造型轉換的感知的損失以及超高解析度"，ECCV(2016)；Zhang、Hang、以及Kristin J.Dana的"用於即時轉換的多造型的生成網路"，CoRR abs/1703.06953(2017)；以及Li、Chuan、以及Michael Wand的"利用Markovian生成對抗網路的預先計算的即時質地合成"，ECCV(2016)。

本案的質地模擬器100係能夠給予任意口紅質地的單一參考影像而學習此種質地，並且其係在圖36中以一代表性的構件流程圖來加以展示。該模擬管線係由四個模組(參見圖36)：訓練模組52、預處理模組50、一單通道造型轉換(MST)模組54、以及一後期處理模組56所組成。給定一所要的深度卷積神經網路結構，該訓練模組係負責透過藉由任何自界定的損失函數所導引的梯度下降來學習所有隱藏的權重及偏移量(bias)。該造型轉換模型可以在任意的影像資料組58上加以訓練，該影像資料組58是在該創作共用姓名標示授權下、或是由在機構內部的一資料組所自備的。在該訓練模組之後，一種造型轉換模型係備妥以供其餘的模組使用。

該預處理模組50係藉由改變該嘴唇色彩60至所要的口紅色彩62以及透過在此所述的動態質地產生方法的照度強化來修改該輸入嘴唇區域LI'。針對於嘴唇色彩匹配，該嘴唇區域I_Lip以及嘴唇彩色影像I_Color係首先被轉換至CIELAB L*a*b*空間，使得照度(L-通道I^L)係從所有的色彩通道(a*及b*通道I^a與I^b)隔離出。

給定一嘴唇區域遮罩M，其中0{M_ij}1，嘴唇色彩匹配係被定義為以下的關係表示式： I_Lip ^L'=α(I_Lip ^L-μ_Lip ^L)+μ_Color ^L,where 0α1

I_Lip ^L=M * I_Lip ^L'+(1-M)* I_Lip ^L

I_Lip ^a=M * I_Color ^a+(1-M)* I_Lip ^a

I_Lip ^b=M * I_Color ^b+(1-M)* I_Lip ^b運算1係將該輸入嘴唇L通道的平均像素值μ_Lip ^L移位至該嘴唇彩色影像的平均像素值μ_Color ^L，此係與所要的口紅RGB值的CIELAB空間L值相同的。該因數α係控制該附加的嘴唇色彩肉眼看起來有多厚實；零α係完全地覆蓋在下面的所有嘴唇圖案，而單位α係保持所有的嘴唇圖案。運算2至4係透過在彩色影像以及嘴唇影像通道之間的加權的總和來更新在CIELAB空間中的所有通道。

該單通道造型轉換(MST)模組54係從該預處理模組50收入該L-通道影像，並且透過該造型轉換深度網路64來執行單推論。

該造型轉換網路係承襲如同在Johnson,Justin等人的"用於即時的造型轉換的感知的損失以及超高解析度"，ECCV(2016)中所述的一般的自編碼器結構，其係具有等量的卷積單元以及反卷積單元。每一個卷積或反卷積單元都被定義為一順序的運算，其係包括一卷積或是反卷積的函數、一標準化函數、以及一非線性啟動函數。在該網路之內的隱藏層(卷積或是反卷積單元)的確切數目係被當作為一將針對於即時嘴唇質地模擬而被最佳化的參數。由於造型轉換係根據該參考造型影像來合成該質地以及色彩，因此該合成的影像將會被轉換至CIELAB空間，並且只有該L-通道66係被使用於後置處理，亦即如同在Gatys,Leon A.等人的"在神經藝術造型轉換中的保存色彩"，CoRRabs/1606.05897(2016)中所述的只有照度的轉換。

該後期處理模組54係從該MST模組收入該合成的L-通道影像以用於動態質地模擬，並且從該預處理模組收入a-及b-通道影像68、70以用於RGB轉換。該動態質地模擬模組係根據在以上相關輸出效果所論述的動態質地模擬段落中所述的每一個質地，來調整該L-通道的照度分布。在使得影像通過 該系統中的MST模組54之後，一具有新的所要的色彩62以及該動態質地效果74的最終的影像72係從後置處理而被產生。

分層眼睛附加方法

除了如同以上所指出的施加一效果至一例如是嘴唇區域的面部特徵之外，本發明在此係包含一種選配的方法400，以利用一種類似於在以上所指出的用於加上效果至該嘴唇區域的技術來建構一從各種的眼睛區域附加層所建構的眼妝效果。

如同在圖27a-27f中所示，利用一樣本影像照片II'''之下，眼妝及/或眼睛特徵的各種區段都可以如同所展示的逐層地在該照片II'''的一眼睛424上分層的。圖27a係展示一沒有施用化妝的臉426的一輸入影像II'''。圖27b係包含一被施用至影像II'''的臉426的眼影層附加428。圖27c係包含一如同施用至影像II'''的中間的眼影附加430。圖27d係包含一施用至影像II'''的眼角附加432。圖27e係展示一施用至影像II'''的眼睛尾端附加434，並且圖27f係包含一亦施用至影像II'''的眼睫毛附加436。

這些效果係利用以下的方法來加以產生。眼睛樣版係被產生為如同在圖28a-28e中所示，其中每一個樣版分別是一眼影樣版438(圖28a)、一眼睛中間的樣版440(圖28b)、一眼角樣版442(圖28c)、一眼睛尾端樣版444(圖28d)、以及一眼睫毛樣版446(圖28e)。每一個此種樣版係藉由根據一標記協定，利用在該樣版上的點來人工地標示標記來加以產生。一例子係被展示在圖29中，其中被識別為點448的點係被施加至眼影樣版438。該些點448的標記位置係被儲存為一文字檔。

為了產生該眼影附加，該些眼睛區域標記係針對於該幀而從一標記偵測器加以抽取出。該眼睛區域係藉由從37至42以及43至48的所關注的標記來加以裁剪。100個點係從偵測到的經註解的標記(該些標記可以利用一如同 在此所述的註解系統而被註解)，藉由線性內插法而被產生在該眼睛區域周圍。從此，100個點係根據該些經人工註解的標記而被產生在該眼影樣版周圍。該樣版係藉由從幀至樣版向前扭曲該100個點而被施加至該幀。有許多可利用的扭曲演算法，例如向前扭曲、反扭曲及相似轉換、仿射(affine)轉換與類似者。在該較佳實施例中，利用仿射轉換的向前扭曲係被採用。在此之後，該眼睛區域影像係被裁剪回到該原始的幀之中。

此眼影應用係被描繪為一在圖30中所示的流程圖10000。在步驟10010中，該些標記係從一目前的幀來加以偵測的，並且在步驟10020中，該眼睛區域係從該些標記來加以裁剪。同時或是在其之前，該眼影樣版係在步驟10030中被載入，並且預先被註解在一標記位置檔中的標記。此種經註解的檔以及樣版係被儲存在一學習資料庫中。在步驟10040中，100個點係根據步驟10030的經註解的標記，藉由線性內插法而被產生在該眼睛區域周圍。在步驟10050中，100個點係根據來自步驟10010的偵測到的標記，藉由線性內插法而被產生在該目前的影像幀的眼睛區域周圍。在步驟10040中來自該樣版的100個點係被向前扭曲到來自步驟10050的在該影像中的該眼睛區域的100個點之上。此係在步驟10060中產生具有被施用的該些樣版的眼睛影像，並且該樣版係在步驟10070中被裁剪回到在該影像上，以顯示具有被施用的該眼影的該影像幀。

圖31係展示一流程圖，其係在流程圖10000a中描繪類似於以上所指出的步驟10010至10070的步驟10010a至10070a，但是針對於以上所指出的步驟利用圖片的圖示。

為了產生一中間的眼影附加，該些眼睛區域標記係被抽取出。該眼睛區域係藉由從38至39、41至42以及44至45、47至48的所關注的標記來加以裁剪。接著，50個點係從偵測到的標記，藉由線性內插法而被產生在該眼睛 區域周圍。再者，50個點係根據該些經人工註解的標記而被產生在該眼影樣版周圍。該樣版係接著藉由從該幀至該樣版向前扭曲該50個點而被施加至該幀。該眼睛區域影像係接著被裁剪回到該原始的幀中，以產生具有被施用作為一中間的眼影附加的眼影化妝的該幀。

此中間的眼睛樣版附加係在圖32的流程圖中被展示為實施例20000。在步驟20010中，該些標記係從目前的幀(影像)加以偵測，並且該眼睛區域係在步驟20020中從該些標記加以裁剪。同時或是在其之前，一中間的眼影樣版係在步驟20030中被載入，並且利用該標記位置檔而預先被註解。接著在步驟20040中，50個點係根據在步驟20030中的經註解的標記，藉由線性內插法而被產生在該中間的眼睛區域周圍。在步驟20050中，50個點亦根據來自步驟20020的標記，藉由線性內插法而被產生在該影像幀的中間的眼睛區域周圍。該樣版係接著在步驟20060中被向前扭曲到該影像幀之上，以產生該些眼睛的一具有被施加於其上的該樣版的影像，並且具有被施加於其上的該眼影的該眼睛影像係在步驟20070中被裁剪回到該影像幀之中。

一眼角附加係利用該眼角樣版，藉由針對於該幀從一標記偵測器抽取眼睛區域標記來加以實行。該眼睛區域係藉由從39至41以及44至45至48的所關注的標記而被裁剪。接著，50個點係從偵測到的標記，藉由線性內插法而被產生在眼角區域周圍。再者，50個點係根據該些經人工註解的標記而被產生在該眼角眼影樣版周圍。該樣版係藉由從幀至樣版向前扭曲該50個點而被施加至該幀。該眼睛區域影像係被裁剪回到該原始的幀之中，以產生具有被施用眼角化妝的該幀。

此眼角眼影應用係在圖33中相關該實施例30000來加以描繪。在步驟30010中，該些標記係從該影像幀來加以偵測，並且該眼睛區域係在步驟30020中從該些標記來加以裁剪。同時或是在該步驟之前，在步驟30030中，該 樣版係被載入，並且其標記係利用該標記位置檔而預先被註解。在步驟30040中，50個點係根據該些經註解的標記，藉由線性內插法而被產生在該角落眼睛區域周圍。再者，在步驟30050中，50個點係根據該些標記，利用線性內插法而被產生在從該影像幀所裁剪的影像區域的角落眼睛區域周圍。該些樣版點係被向前扭曲到該幀影像點上，並且該眼睛的具有被施用於其上的角落樣版的影像係在步驟30060中被產生。具有被施用的該角落眼影的該幀係在步驟30070中被裁剪回到該影像幀之中，以產生具有被施用的該角落眼影的臉。

該眼睛尾端區域係藉由針對於該幀，利用一標記偵測器來抽取該些眼睛區域標記而被產生。該眼睛區域係藉由從39至41以及44至45至48的所關注的標記來加以裁剪。接著，50個點係從該些偵測到的標記，藉由線性內插法而被產生在該眼睛尾端區域周圍。50個點亦根據在該儲存的檔中的經人工註解的標記，而被產生在該眼睛尾端眼影樣版周圍。該樣版係藉由從該幀至該樣版向前該50個點而被施加至該幀。該眼睛區域影像係被裁剪回到該原始的幀，以產生具有被施用該眼睛尾端化妝的該影像幀。

此係在圖34的流程圖中被描繪在實施例40000中。在步驟40010中，該些標記係在目前的影像幀之內加以偵測，並且該眼睛區域係在步驟40020中從該些標記來加以裁剪。同時或是在其之前，一用於一尾端眼睛附加的具有來自一標記位置檔的預先註解的標記的樣版係在步驟40030中被載入。在步驟40040中，50個點係根據在該樣版上的經註解的標記，藉由線性內插法而被產生在該眼睛尾端區域周圍。再者，50個點係在步驟40050中根據該些標記，利用線性內插法而被產生在該被裁剪的影像幀的眼睛尾端區域周圍。該樣版係在步驟40060中被向前扭曲到該影像幀之上，以產生該眼睛的一具有被施加於其上的該樣版的影像，並且最終該影像幀係在步驟40070中被裁剪回到該影像幀之中，以提供一具有一被施用的眼睛尾端眼影區域的臉。

一眼睫毛附加可以針對於該影像幀利用一眼睛區域並且從一標記偵測器抽取該些標記來加以產生。該眼睛區域係接著藉由從37至42以及43至48的所關注的標記來加以裁剪。100個點係從在該原始被裁剪的影像幀中的偵測到的標記，藉由線性內插法而被產生在該眼睛區域周圍。利用一眼睫毛樣版，100個點係根據經人工註解的標記而被產生在該眼睫毛樣版周圍。該樣版係藉由從該幀至該樣版向前扭曲該100個點而被施加至該幀。該眼睛區域影像係接著被施加至原始的幀，以產生具有被施用眼睫毛化妝的該幀。

此眼睫毛附加係在圖35的流程圖中被描繪在實施例50000中。在步驟50010中，該些標記係從目前的影像幀來加以偵測。在步驟50020中，該眼睛區域係從該些標記來加以裁剪。同時或是在其之前，該睫毛樣版係在步驟50030中被載入，其中該樣版係具有來自該些標記位置檔的預先經註解的標記。100個點係在步驟50040中根據該些經註解的標記，藉由線性內插法而被產生在該眼睛區域周圍。再者，100個點亦在步驟50050中根據該原始被裁剪的影像幀的該些標記，藉由線性內插法而被產生在該眼睛區域周圍。該樣版係在步驟50060中利用該些標記而被向前扭曲至該原始的影像，以產生具有被施加於其上的該樣版的眼睛影像。此影像係接著在步驟50070中被裁剪回到該原始的影像幀之中，其中該面部影像係於其上具有該些眼睫毛。

在以上的樣版附加中，用於這些樣版的標記協定係被展示在圖21中。對於整個眼睛區域，100個點係針對於從標記37至42的左眼而被產生，並且100個點係針對於從標記42至48的右眼而被產生。對於該中間的眼睛區域，50個點係在從標記38至40、41及42的左眼上而被產生，並且50個點係在從標記44至45、47及48的右眼上而被產生。對於該眼角區域，30個點係在從標記39至41的左眼上以及在從標記30至41的右眼上而被產生。該線性內插法係依照以下的式子。

給定兩個點(x₀,f(x₀))、(x₁,f(x₁))，內插該兩個點的線係被表示為

對於向前扭曲，該來源影像是將被使用作為參考的影像。此影像的幾何並未被改變，並且被表示為S。該目標影像係藉由轉換該參考影像來獲得的，並且被表示為T。以下的參數係被使用：

(x,y)：在該參考影像中的點的座標

(u,v)：在該目標影像中的點的座標

f,g或F,G：一轉換函數的x及y分量

y_min,y_max：y的最小值以及最大值

x_min,x_max：x的最小值以及最大值

對於y=y_min至y_max

對於x=x_min至x_max

u=f(x,y)；並且v=g(x,y)

在來源S(x,y)的像素係被複製到T(u,v)

如上所提到的，化妝移除及施加的方法、以及所施用的終端效果及質地模擬可以獨立地或是在一整體方法與系統中被利用，並且可以被補充以下所指出的各種強化的技術。圖37係展示在此的方法與系統的一組合500的一流程圖，一輸入影像II可以透過一使用者介面(UI)來加以提供，該UI較佳的是可以通訊一數位輸入影像。該影像II可加以處理，並且該裝置以及色彩係如同在以下敘述地被校準(200、8000)，並且該些標記係利用各種所述的標記偵測及註解方法300、3000來加以偵測及/或識別以及註解。當提供該輸入影像II時，該使用者可以選擇使用在此所述的例如是方法1000的虛擬的化妝移除方法與系統，並且從該輸入影像虛擬地移除任何化妝。該無化妝的輸入影像(來自該 原始的影像、或是在移除之後的影像)接著可以選配地被使用作為一進入到在此的化妝試妝或是終端效果的系統與方法的任一個中的輸入影像。例如，一虛擬的試妝可以施加例如是實施例400以及其子方法10000、20000、30000、40000及50000的眼妝單一層或多層附加、或是在此所述的嘴唇化妝色彩以及終端效果(參見方法2000、以及選配的豐唇的效果以及嘴唇質地模擬方法100)。此種方法可以單獨或是與其它包含那些在此所述的方法或技術來加以利用，以產生一所產生的影像RI的一虛擬的輸出，其係具有此種被施用的虛擬效果中的一或多個(其係提供一具有化妝被移除，但是沒有進一步施用化妝所產生的影像)。

當利用該各種的方法時，此種方法可以利用一種在圖38中所示的系統600來加以實行，該系統600係致能資料在一系統記憶體SM中的儲存、一化妝服務MS，其係具有一控制器C可以執行可程式化的指令以用於實行在此的虛擬的移除及/或化妝的試妝或輸出效果，其係接收如同在此所述的藉由該系統的一使用者從一使用者介面UI所傳送的輸入影像II、II'。

深度學習為基礎的個人化的化妝建議

深度學習為基礎的個人化的化妝建議可以提供非常詳細的逐步驟的化妝指令給使用者。為了達成此，一化妝註解系統係從一輸入影像記錄逐步的化妝資訊，其係包含一化著專業化妝的人。此外，如上所述的虛擬的面部化妝洗去(化妝移除方法與系統)係適配於產生一用於深度學習的輸入資料庫，就在之前以及之後收集足夠的化妝照片來訓練該深度學習模型而論，此係最困難做的事之一。

廣泛而多樣的類型的化妝品以及不同品牌的此種類型的化妝品是可購得的，並且更多的化妝品係不斷地推出，此係使得建議適合個人的產品變為困難的，但是此係為化妝品製造商以及販售商的一項非常重要的銷售點。消費者想要知道更多有關產生一完成的相貌的產品組合，以評估此種化妝品當 施用時將會看起來是如何，而不只是有關單一產品所必然有的效果的資訊(例如，Beauty Youtubers、Sephora的Beauty Board)。現有個人化的化妝建議的方式大部分是導向尋求來自一化妝專業人士的意見。

本揭露內容的化妝建議系統是根據深度學習，因為該深度學習模型在不同的建議系統中是成功的。此外，為了詳細的建議，所揭露的方法係在每一個步驟中產生該化妝品，並且亦解釋給使用者他們應該如何施用它。尤其，本揭露內容的化妝建議系統係產生RGB色彩值作為輸出，並且該產品係藉由在該資料庫上選擇一最接近的輸出而被顯示給該使用者，相較於只產生一小組預先定義的結果的習知技術方法，其係一種顯著進步的方法。在本揭露內容中的輸入資料亦不同於用在其它方法的輸入資料。本發明係提供一種只使用專業的模特兒的臉以及專業施加的化妝相貌作為用於該深度學習模型的輸入之方法與系統，因而在學習期間取出最佳的特徵是可能的。

圖9是展示根據本揭露內容的一實施例的一種深度學習模型訓練系統4000的一方塊圖。一具有被施用的化妝的臉影像資料庫4010係提供相當寬泛且代表性的影像，其中專業的化妝係被使用，並且逐步的化妝資料係利用本揭露內容如同在此以下進一步所述的一種化妝註解系統5000而被註解。該具有化妝的資料庫4010亦變成用於在如上所述的處理該虛擬的面部化妝洗去(化妝移除方法與系統)之後的深度學習訓練之進一步的輸入資料，其係使得該演算法成功的最重要的原理中之一。在一實施例中，該系統4000係產生無化妝的臉影像4020a、或是如同在4020b中的其中化妝被虛擬地移除的臉影像，因而這些影像可以變成用於該深度學習訓練的輸入資料。化妝洗去或移除以產生無化妝的面部影像的獨特的使用係使得該系統更強健的，而且亦代表解決該深度學習訓練問題的最困難的部分的一解決方案，該最困難的部分是收集足夠的在化妝之前以及之後的影像來訓練產生自該訓練的深度學習模型(DLM)4040。因此，吾人 可以收集各種具有化妝在其上的影像，而且並非必須有大量化妝卸除的影像，該化妝移除方法可被用來產生一些沒有化妝被施用的影像，其係在步驟4030中被使用作為用於訓練的輸入資料。

用於模型訓練，一例如是Caffe^TM、Caffe2^TM或Pytorch^TM的深度學習架構4035係被用來支援許多不同類型的深度學習架構，以用於影像分類以及影像分段。此種架構係支援各種神經網路模式、以及完全連接的神經網路設計。例如，對於利用該Caffe^TM架構的訓練而言，輸入定義該神經網路的訓練prototxt也是必要的。原先設計用於面部辨識的神經網路可被調適以用於化妝建議，因為它們的每一個都有關於一個人的外觀。

圖10A-10D係展示根據本揭露內容的一實施例的化妝註解系統5000的更詳細的輸出例子。透過該化妝註解系統5000，數位化的化妝資訊可被產生，並且此資訊可以在步驟4045中被使用作為該深度學習訓練的輸入資料。該化妝註解系統的虛擬碼係在附錄D中加以提供。熟習此項技術者根據此揭露內容將會理解到其它類型的神經網路可以為此目的而根據不同類型的能夠產生一神經網路的原始軟體來加以開發。在圖10A中，一具有被施用化妝的臉的一影像係被標記(被註解)，並且區域係被識別，而且針對於那些如同被藉由數字1-5所指出的區域而被使用作為樣版，以針對於如同在此的別處敘述的用於一眼影樣版(1)、一尾端眼影(2)、一中間的眼影(3)、一角落眼影(4)、以及一睫毛效果(5)的色彩及質地(輸出效果)的不同的著色及輸出效果。用於形成及註解樣版的方法係進一步以下加以描述。在圖10B中，具有化妝的影像(其係如同以上所指出地被註解)亦使用作為用於嘴唇色彩註解的樣版，並且圖10C係展示相關的嘴唇質地註解(輸出效果)，其中該些色彩係如同所展示地被標示，並且該些輸出效果或質地係被指明一離散的對應的值。此種效果及色彩可以利用在此的方法來加以施用，但是為了訓練資料，此種經註解的影像係被使用在一資料參考 組中。圖10D係提供根據整體類型而被分類的影像(如同所展示的一自然的造型以及一煙燻的造型)。

在圖11中，該化妝建議系統係利用在該資料庫中的真實的產品來產生個人化的逐步的化妝指令。用於不同的化妝造型的訓練完成的模型4040可以從該深度學習系統4000以及註解系統5000來取得，其可被輸入到該化妝建議系統6000中以提供一個人化的化妝建議7050，並且同樣選配的是一如同在以下敘述的虛擬的化妝教學可加以提供。該化妝建議7050可以從一化妝建議器7020，從該訓練完成的系統以及例如是訓練完成的模型4040的模型而被導出，儘管單獨地使用於一建議系統的一個別的訓練完成的模型亦可被產生。產品匹配7030亦可以利用一化妝品資料庫來加以利用，該化妝品資料庫可以是與該化妝資料庫7045相同或是不同的(如同在圖11中所示，其係為相同的資料庫)。該化妝建議器及/或產品匹配可以產生該個人化的化妝建議7050。虛擬的教學亦可以利用一訓練完成的產品分類器，利用分段的視訊路徑、或是從產品搜尋及識別而從一如下所論述的美容產品資料庫取得資訊來加以產生的。

虛擬的化妝教學

在一實施例中，本揭露內容係提供一種虛擬的化妝教學系統7000，其可以自動地總結一視訊成為關鍵步驟、取出所有被使用的產品、找出該購買連結、並且提供一虛擬試妝的教學，而不須線上訂購該些產品或是在一零售商店中測試該些產品。圖12是描繪根據本揭露內容的一實施例的一虛擬的化妝教學系統的流程圖。

追蹤在視訊及/或照片共享的網站(例如，YouTube^TM以及Instagram^TM)上的化妝師在許多現代的社群媒體平台上已經是一個一體的部分。儘管視訊教學是一種對於消費者要獲得化妝指點以及發現美容產品而言很好的方式，但是找出及利用此種視訊是耗時的，而且對於在閱聽眾中的使用者而言 重建該相貌經常是困難的。為了追蹤及找出所有使用的產品的連結，消費者必須暫停該視訊許多次，找出每一個在該視訊中所介紹的產品、寫下該產品的名稱、以及線上找出一購買連結。在此揭露內容中，對於輸入化妝教學視訊7010而言，一種虛擬的化妝教學系統可以藉由分割該教學視訊成為關鍵步驟7020來自動地總結、找出及/或藉由抽取出在該教學視訊7030中的所有使用或介紹的產品，該些產品的每一個都可被利用以找出一購買連結以提供一化妝教學摘要7040，該摘要係被用來產生一虛擬的化妝試妝的教學7050，而不須線上訂購該產品、或是在一零售商店中試用該產品。

在一實施例中，在步驟7020中，在分割該視訊成為區段7020a之後，關鍵幀可被選擇7020b，並且化妝品係利用在所指明的化妝相關的標準下的過濾來加以偵測，以產生一化妝教學視訊7040的一逐步的摘要。在步驟7020中的選擇關鍵幀係根據例如是運動的量及特性之可量化的手段而定的，例如手的移動或是被手蓋到的臉，其可能只存在於一化妝施用的持續期間，而該步驟的每一個關鍵幀通常是在清楚且未被阻擋的臉之下被展示的。該用於從視訊資料選擇關鍵幀的方法係包含以下的步驟：分割視訊資料成為區段7020a；利用一般的視訊關鍵幀偵測方法，根據幀差異、色彩直方圖、及/或相機運動來產生一組候選的關鍵幀7020b；根據指明的化妝相關的標準，例如是正面的臉、臉阻擋、手運動、及/或臉的表情(通常有笑容)、以及在其前一個或是下一個關鍵幀之間是否存在有不同的化妝來選擇最終的關鍵幀。

產品偵測：

對於一產品偵測步驟7030，在某些情形中，化妝師係在每一項產品第一次被介紹時都將產品的名稱放在該螢幕上、或是可以在該視訊之下表列所有的產品以作為其說明的部分。因此，本揭露內容的系統可以嘗試偵測在先前的程序中偵測到的關鍵幀周圍的字元，並且接著如同在7030b中執行光學 字元辨識技術以識別一或多個名稱以及相關的產品。在其它情形中，當沒有產品名稱被加在該視訊上時，本揭露內容的系統首先可以找出該產品7030a(例如是經由其瓶子、管子、或是盒子)，該產品通常在該視訊影像中存在於靠近一臉之處、及/或由具有一類似的姿勢的一手所握著的。接著，該產品的影像可被饋入一訓練完成的分類器7035中，其係在步驟7030c中從一美容產品資料庫7045的資料而被分類以識別該產品。在最壞情況情節中，當該些產品無法被識別時，該系統可以將具有未知的產品的該幀傳回作為在該視訊摘要中的一關鍵幀。

產品偵測7030及/或分割視訊7020的每一個都可被用在該虛擬的化妝教學系統，以產生化妝教學摘要7040並且產生虛擬的化妝教學7050。在以上獲得的視訊摘要下，該系統可以透過虛擬的化妝教學7050自動地產生一系列的虛擬的試妝選項，其係容許使用者能夠逐步的重建該相貌，而不須線上訂購該產品或是在一零售商店中試用該產品。

用於數位化妝品的色彩匹配

強健的亮度控制

在一實施例中，本揭露內容係提供在此大致被稱為系統8000的一種用於自動地偵測藉由一相機捕捉的臉並且根據該偵測到的臉皮膚色彩來強健地調整該臉的亮度之系統。此系統目標是伺服器視訊即時的應用程式以避免閃爍，並且使得該調整過程平順。

一般而言，在相機硬體上的自動的亮度控制通常無法調整在一使用者的臉上的亮度。於是，此種具有自動亮度控制的硬體可能是不適合用於虛擬的化妝應用。為了在藉由數位相機所捕捉的一人臉上維持一適當的亮度，一亮度控制演算法是所需的。一種用以達成適當亮度的常見的方式是使用一額外的光源，例如是一LED。然而，硬體光源可能有所限制。在此實施例中，一 使用者的臉的亮度控制係主要在該軟體層級下加以執行的。

參考圖14，在此實施例中，當具有一視訊幀的形式的具有一臉的一輸入8010係被輸入至該系統8000以用於偵測臉以及調整亮度時，一面部標記偵測演算法係在步驟8020中被用來從該輸入影像偵測該臉區域以及面部標記，以便於獲得在該影像中的臉位置以及形狀。接著，該系統使用一皮膚色彩估計器8030，根據來自該影像的該標記資訊來估計的該臉的標準化的皮膚色彩。在另一路徑8040中，在該面部標記被偵測到之下，該系統係指定不同的加權因數至該臉區域、影像中心區域、以及邊界區域，並且接著計算該影像的平均亮度8045。該平均亮度係接著和被估計的皮膚色彩8055比較，並且輸出一校正因數。一使用多項式轉換的曲線轉換8050係根據在以上的程序中計算出的校正因數而被施加至該影像。接著，所產生的影像係備妥被使用在後置處理8060中，例如是在一虛擬的化妝附加中。

該曲線轉換8050亦可以是參考圖15所產生的。在目標的視訊即時的數位化妝品應用中，該亮度位準係欲被保持為盡可能固定的，以避免閃爍以及突然的變化。因此，一響應曲線8050a係被產生並且加入到該亮度控制系統8000。此係在時域中平滑化該校正因數8050b，並且提供穩定的亮度受控制的視訊8050c以作為一輸出。

為了處理該影像以及調整該亮度，一數學的轉換方程式是所需的。在一實施例中，以下的曲線轉換過濾器可被使用：P _o =(1-α)P _i +αP _i ² (6a)

在以上所指出的用於自動地偵測藉由一相機所捕捉的一使用者的臉並且根據該偵測到的臉皮膚色彩來強健地調整該臉的亮度的系統與方法8000中，在步驟8030中，一強健的皮膚色彩估計器係被採用。圖13係描繪根據本揭露內容的一實施例的一種用於皮膚色彩估計的過程，其可被採用作為皮膚 色彩估計器8030的一實施例。在此實施例中，一用於皮膚色彩估計的演算法係被提供在附錄E中。在此實施例中，並且根據該演算法，該方法係接收一輸入影像II'，並且採用利用如同以上所指出的技術的標記偵測(LD)、以及若為所要的話的分量移除(MR)，其可以利用上述的化妝移除方法與系統來加以執行。直方圖分析HA係接著利用RGB以及灰階分析來加以實行。對此目的有用的技術係在以上與該化妝移除過程及系統相關地加以描述。一種表決(分級)設計係被採用以產生忠實的皮膚色彩像素SCP(參見附錄F)。

圖14及15是描繪根據本揭露內容的一如上參考系統8000所述的實施例的一種利用一曲線轉換來調整影像亮度之方法的流程圖。在一實施例中，用於亮度控制的演算法係被提供在附錄E及F的上下文中。

色彩恆常性(constancy)

在一實施例中，本揭露內容係提供一種在此大致被稱為系統9000的用於維持色彩恆常性之系統，以便於執行色彩匹配以精確地偵測場景色彩。該系統9000係自動地偵測一色彩參考圖表，並且使用該偵測到的資訊來校準相機硬體設定。該系統係接著執行額外的先進的軟體校準以符合在此的一黃金標準系統，以便於維持色彩恆常性。此實施例的系統接著可以執行色彩匹配，以精確地偵測場景色彩。

在電腦視覺中的一問題是估計產生某些被觀察到的影像的底層的世界。此問題的一子集合是色彩恆常性，亦即估計該場景的發光體的色彩、以及在該場景中的物體在一白光色彩之下觀看的色彩。恆常性的目標是回復在一影像背後的真實的世界。該色彩恆常性問題對於人眼以及電腦應用程式而言總是一項挑戰。

圖16係描繪根據本揭露內容的一實施例的一種色彩恆常性方法以及系統9000的相關的演算法的一流程圖。用在本揭露內容的色彩恆常性演算 法可以估計由環境的光投射在該場景上的照明。該演算法亦可以回復該些物體的真實的色彩(反射係數)，其在不同的環境狀況中是不變的。此方法可被利用在校準相機的副作用、補償產生自發光體的色彩、以及識別真實世界的產品的基本事實色彩中。

硬體色彩校準演算法：

在系統9000的一實施例中，一種色彩校準的系統係被建立以便於達成色彩恆常性。由於目標是在相機的可利用性下的即時的視訊應用，因此該整體系統可以被建立在一即時的架構上。使用者將會使用一具有一數位視訊功能的相機、或是其它具有一被配置以提供即時的數位視訊的相機的裝置，以作為一輸入9010。如上所提到的，一視訊幀9015可以是一獨立的輸入。當一使用者透過任何適當的輸入技術來起始一色彩校準請求之際。作為響應的，該系統將會在步驟9020中請求該使用者在某一位置中顯示一色彩參考圖表。該校準系統係自動地偵測該色彩參考圖表9020，並且在步驟9025中讀取每一個色塊的像素值。接著，該系統係比較被觀察的色彩圖表與儲存在該資料庫中的在該黃金參考系統9030a之下所捕捉的參考值9030。利用該比較結果，該校準系統係傳送控制信號至一視訊捕捉裝置，例如是一利用在一作業系統中的內建的SDK的網路相機。該系統於是在步驟9040中校準所有的相機參數，例如是ISO速度、白平衡、快門速度、色相、亮度、對比、以及增益，以符合在該黃金系統中的參考值。此校準係作用為一連續的回授過程，其中該校準系統係根據新捕捉的幀而持續地傳送校準控制信號至該相機。最終，所有的控制參數係達成動態平衡，並且在所捕捉的幀中的色彩參考圖表的像素值係變成非常接近該參考值。

軟體色彩校準演算法：

該校準系統接著係在RGB通道中個別地計算曲線轉換，並且將 它們施加在該幀上，其係作用為在步驟9050及9060中的最終的詳細校準。最終，所捕捉的幀係達成色彩恆常性，並且已經準備用於在步驟9070中的色彩匹配。為了修改該影像以校準色彩，一個三階多項式可被用來在三個通道上模擬該轉換過程。在該三階多項式下，該轉換可以在不同範圍的像素值中不同地加以修改，其係提供良好的彈性。藉由實驗，所觀察到的是例如是RG、RB及GB的互通道項在該輸出上並不具有太大影響。因此，這些項可被省略，藉此使得該些多項式是與通道無關的。以該紅色通道舉例而言，該轉換方程式可被寫成如下的：R_o=C_r0+C_r1R_i+C_r2R_i ²+C_r3R_i ³ (1)其中R_o是該輸出紅色通道像素值，R_i係該輸入紅色通道像素值，並且C_r是該多項式的係數(其可以是常數)。以上的函數可被寫成如下的矩陣形式：Ax+b=0 (2)由於有24個觀察是遠大於未知的常數C的數目，因此吾人係有一過定的(overdetermined)系統要解。該問題於是轉換成為一回歸問題，其可以利用最小平方方法來解出。該目標函數可被寫成為：Min∥Ax+b∥² (3)

其中R₁...R_n是吾人的觀察，C_r是待解的係數，R_ref是根據該黃金系統的參考值，並且n是色塊的觀察數目(其在此例中是24)。

在針對於該R、G及B通道的每一個解出C係數之後，吾人係有 一組完整的係數可以在硬體校準之後被利用以處理影像，以最小化色彩恆常性的誤差。最終，在硬體及軟體校準之後，該些視訊幀係準備用於進一步的色彩為基礎的應用，例如是色彩匹配演算法。

相較於其它色彩恆常性演算法，由於本發明的方法在此係使用一參考色彩圖表作為一基本事實參考，因此來自所產生的色彩恆常性演算法的輸出係遠比那些根據許多並不具有任何基本事實資料的假設以及統計結論之軟體為基礎的方法更精確的。再者，吾人的演算法可被校準一次，並且即時地被施加在該視訊上。

色彩匹配：

在上述的色彩校準之後，所有的色彩係根據作為一參考的該黃金系統而被校準。接著，一輸出幀可被利用於一色彩匹配，其可以辨識在該場景中可被做成的確切的色彩。例如，該系統可被利用以辨識口紅色彩。

為了匹配一色彩與其參考值，一量化的色彩差異公式是具有很大的重要性。色彩差異的量化一般是一項挑戰，因為色彩係與人眼所感受到的方式非常不同地被顯示。人們在電子裝置上看見的色彩的大部分都是根據sRGB色彩空間。因此，一種對於色彩差異的最常見的解決方案是去計算在一色彩空間中的一距離。例如，在RGB色彩空間中的歐幾里得(Euclidean)距離可以如下地加以表示：

除了在RGB中的歐幾里得距離之外，一些色彩距離公式可以利用其它例如是HSV的色彩空間，並且相應地計算該空間的距離。然而，全部的色彩距離公式實質上都是以上利用簡單的歐幾里得距離的方程式的簡單的修改，而不脫離該基本的計算的精神及範疇。該些色彩距離公式都不傾向考量人的色彩感知的非均勻的特性。因此，該些方程式可能會在相同的色彩量測上產 生從人眼來看的不同的結果。

該國際照明委員會(CIE)係產生許多色彩差異公式，例如是CIE76、CIE94及CIE2000，其目標是更接近人眼地量化該色彩差異。因為該CIE94的定義並未充分地解決該感知的均勻性問題，因此在CIEDE2000中，該CIE係改善其定義，並且增加五個校正。CIEDE2000係根據一LCH(明度、色度、以及色相)色彩空間，其值係從CIELab色彩空間而被計算出的。CIEDE2000色彩差異係考量到非均勻度，並且較接近人的感知。

具有強調(highlight)移除的色彩量測

在一實施例中，本揭露內容係提供一種用於計算一輸入影像的主控的色彩之色彩量測演算法，其係藉由移除在該影像中所展示的一物體上的反射光。該物體的區域性係被考量，因而更多焦點可以給予該輸入影像的中心。

即使色彩的一致性係被保證，問題仍然待解決。例如，光反射在真實世界的照片中係可見的。為了獲得所要的確切的色彩，抹除該反射光並且量測該物體的一主控的色彩是必要的。

圖17是描繪根據本揭露內容的一實施例的一種色彩量測系統的方塊圖。如同在圖17中所示，一輸入影像II"係在步驟210中被轉換到HSV色彩空間中，其中HSV色彩空間是如同在此以上所述的在一RGB色彩空間中的點的最常見的圓柱座標的表示。

如同先前所論述的，色相、飽和度、以及值可以在如同圖1中所示的一HSV色彩空間中加以界定。色相係代表該色彩類型，其可以就一範圍從0到360度的角度來加以描述。飽和度係量測一色彩與一灰階不同的程度，該飽和度越低，則其看起來越褪色的。值係代表該色彩的亮度，其中0是完全暗的，並且255是完全亮的。

在獲得HSV色彩空間的一影像之後，吾人可以在步驟220中計算該影像的直方圖。一直方圖是數值的資料的分布的一圖形表示。其係為一連續的變數(量化的變數)的機率分布的一估計，並且是首先由Karl Pearson所介紹的。其係一種條形圖。為了建構一直方圖，第一步驟是"分級(bin)"值的範圍，亦即將該整個範圍的值分割成為一系列的間隔，並且接著計數有多少個值落入每一個間隔中。該些級別通常是被指明為一變數的連續的非重疊的間隔。該些級別(間隔)必須是相鄰的，並且通常(但並非必須是)具有相等的尺寸。

在獲得該輸入影像的直方圖之後，每一個級別的一加權的平均可以利用3D卷積而被計算出，並且傳回最高的兩個值。一卷積是表示一函數g當其被移位在另一函數f之上時的重疊量的一積分，例如是在以下的方程式(5)。因為HSV色彩空間是三維的，因此方程式(6)係被使用於3D卷積。此外，該HSV色彩空間的色相值係具有圓柱的表示，因此循環的卷積係被用來考量相鄰的級別的全部值。方程式(7)係展示一卷積矩陣g_τ，其係為針對於色相值的一良好界定的週期性的加總。

區域性亦在步驟230中藉由加權的二維的(2D)卷積而被計算出，以藉由比較最高的兩個值的區域性來決定在步驟240中的最終的傳回值，以給予更多焦點至在該輸入影像的中心的物體。圖18係描繪輸入影像F、G、H以及 利用根據本揭露內容的一實施例的色彩量測系統抽取出的其之主控的色彩F'、G'、H'。該色彩量測系統的一虛擬碼係被提供在附錄G中。

自動化及快速的面部偵測與標記追蹤

在本揭露內容的此部分中，一實施例係描繪一種新穎的用於面部標記的架構，其係利用一種根據一全域學習的下降正則化(GLDR)模型的新穎的演算法，以用於解決該標記振動以及延遲問題。此實施例亦具有一色塊係數計算以檢查該些標記的正確性。

在一實施例中，本揭露內容係有關於一種用於快速的面部標記偵測以及追蹤的架構。本揭露內容係進一步有關於一種用於解決當一個人在視訊中保持不動時，在該臉的快速移動上的延遲問題以及標記振動問題之方法。

在一實施例中，本發明係提供一種用於面部標記偵測的架構。尤其，本發明係有關於一種利用多尺度的全域的偵測器來解決該延遲問題的方法，並且亦有關於一種利用快速的線性回歸於不同尺度的影像、以及色塊相關性匹配作為目前的幀的最初形狀的目前的邊框方塊的本地的標記之方法，以使得該架構甚至更快，並且降低該標記漂移的問題。

在此方法的一第一實施例中，一影像係藉由一個二維的(2D)相機來加以捕捉。接著，一影像金字塔係在不同尺度的影像下加以產生。該些臉的邊框方塊係在該影像金字塔上利用在滑動窗口下的梯度的直方圖特徵以及SVM。

在另一實施例中，數個全域的面部標記偵測器(GLDR模型)係在不同尺度的影像上被利用，若在該邊框方塊內有一臉的話，其係偵測在該邊框方塊內的該臉上的標記。全域的偵測器將會使用該梯度的直方圖作為該些特徵，因為該些特徵在該臉被偵測時已經存在。接著，該些標記位置係橫跨該影像金字塔而被標準化，以移除在標記偵測上的雜訊影響。

在本發明揭露內容的另一實施例中，該些標記的正確性係藉由一訓練完成的神經網路模型來加以驗證，並且接著由該些標記作為中心的色塊係被抽取出。該些標記係在該目前的幀中被使用作為接下來的幀的最初的形狀。在它們藉由全域的標記偵測器而被偵測到之後，該些色塊係利用標記均值漂移擬合來加以擬合。該相關性係數係針對於每一個色塊而被計算出，並且使得不良的標記消失。該過程接著回到該最初的第一實施例。

圖19是概述一最佳化面部標記的偵測的整體過程的流程圖。該方法將會參考在圖19中的方法3000來加以描述，其中在最初，一影像係在步驟3010中利用一2D相機來加以捕捉。

參考3020，一第一幀係被指明為一影像幀。此可以利用一影像金字塔來加以做成，該影像金字塔係在不同的尺度下加以產生的。若該目前的幀係具有先前的標記，則一臉係在3040中被偵測到，並且具有滑動窗口的多尺度的全域的偵測器係被用來掃描該影像3050以偵測該些面部標記，並且進一步在3050中，對於每一個所關注的區域，該梯度的直方圖係被計算出並且使用作為該支持向量機模型3060的輸入，以判斷哪一個部份是用於色塊抽取及擬合的目的地區域。參見N.Dalal以及B.Triggs的"用於人的偵測的定向梯度的直方圖"，CVPR，第886-893頁(2005)；以及C.Cortes以及V.Vapnik的"支持向量網路"，機器學習，第273-297頁(1995)。接著，該些窗口係在3070中被縮減取樣以使得該區域更精確的。若一臉並未被偵測到，則一受限的平均移位3030係在該影像金字塔中被使用以偵測一幀，並且若先前的標記存在，則它們可以在3050中被利用作為該全域的偵測器的最初的形狀。若該目前的幀係具有先前的標記，則該些先前的標記係在3035中被用來對準到一目前的邊框方塊，以作為用於該監督下降方法(SDM)的最初的標記。

如上所提到的，該GLDR模型3050係被用來偵測該些面部標 記。有許多的方法可被利用作為全域的偵測器，例如是回歸樹(參見V.Kazemi以及J.Sullivan的"利用回歸樹的集成的一毫秒面部對準"，CVPR(2014))；回歸本地的二值的特徵(參見S.Ren等人的"經由回歸本地的二值的特徵的在3000FPS下的臉對準，"CVPR(2014))；監督下降方法(參見X.Xiong等人的"監督下降方法以及其對於臉對準的應用"，CVPR(2013))；等等。在本發明中，該較佳的GLDR方法是HOG作為該全域的偵測器方法以用於偵測面部標記，並且使得該偵測更精確的，亦較佳的是利用一點分布模型作為SDM的第二特徵(參見T.Baltrusaitis等人的"用於在野外的強健的面部標記偵測之受限的本地的神經場"，ICCV研討會(2013)。一新的公式係被產生為如下： 該變數x是藉由該點分布模型計算出的參數。H係代表該些標記的梯度的直方圖。H(x*)是該基本事實標記的位置的HOG特徵。吾人可以根據該點分布模型利用該參數p來計算該形狀。該估計的方程式是： 其中s是該尺度，R是該旋轉向量，φ是保持著n個特徵向量的形狀子空間矩陣，該些特徵向量是一固定的矩陣，q係代表非剛性的形狀參數，並且t是該平移。因此，吾人可以獲得參數向量p：p={s,R,t,q} (3)其中s、R以及t可以是全域的參數，並且q可以是一本地的參數。該方程式(1)是該目的方程式，並且所要的是可以最小化該目的方程式的結果的參數。假設該H是二次可微分的，則一個二階的Taylor展開係被使用於方程式(1)的左邊： 其中J以及H是f在p之下求值的Jacobian以及Hessian矩陣。該第一更新係藉由設定x為零並且相關其來微分該方程式(1)而被計算出： △x₁=-H^-1J_f=-2J_h(H(x)-H(x^*)) (5) 較佳的是在更新該形狀x時，更新該些參數p。根據該點分布模型(PDM)，該更新參數係根據該更新形狀而輕易獲得的：△p=-H_p ^-1X_c(Φ^-1p+J_p△X) (6)

Φ=diag{[0；λ₁,λ₂,λ₃,λ₄,λ₅,...λ_m]} (7)其中Hp是該PDM的Hessian矩陣，並且Jp是該PDM的Jacobian矩陣。Xc是該目前的形狀。接著，p的更新係被計算出：p_k=p_k-1-H_p ^-1X(Φ^-1p+J_p△X) (8)

p_k=p_k-1-H_p ^-1X(Φ^-1p+J_p(-2J_hk(H(x_k-1)-H(x^*)))) (9)

p_k=p_k-1-H_p ^-1X(Φ^-1p+J_p(R_k-1 H(x_k-1)-b_k-1)) (10)

p_k=p_k-1-H_p ^-1XΦ^-1p-H_p ^-1XΦ^-1pJ_p(R_k-1 H(x_k-1)-b_k-1) (11)

p_k=p_k-1-B_k-1-H_p ^-1XΦ^-1pJ_pR_k-1 H(x_k-1) (12)

p_k=p_k-1-B_k-1-A_k-1 H(x_k-1) (13)

由於x可以藉由p來加以描述，因此最終的方程式可以是：p_k=p_k-1-B_k-1-A_k-1 H'(p_k-1) (14)

該新的目的函數於是將會是：

就如同SDM，該高斯牛頓法接著可被使用以最佳化該新的目的函數。

因此，在一實施例中，在此步驟中的訓練演算法可以是如下的：

在該些偵測到的標記以及該些參數被獲得之後，該些色塊係被抽取出，並且該些已經可利用的參數係被用來從事該標記均值漂移擬合3060。該些標記較佳的是平滑的，因而一局部的色塊係被使用作為一特徵來計算新的參數p。根據該正則化標記平均移位方法，該些更新參數係被獲得(參見，J.Saragih等人的"藉由正則化標記均值漂移的可變形的模型擬合"，IJCV(2011))： 其中J是相關該向量p的Jacobian矩陣，並且是在p上的先驗，v是在該些色塊之上的平均漂移向量，並且其中p₀是p的最初的估計，其可從SDM而被計算出。在一高斯分布p(p)N(q；0；Λ)中，Λ^-1是指出p的先驗的矩陣。v=[v₁,v₂,...,v_n]^T是該均值漂移向量，其係藉由高斯核心密度估計器而被表示為如下的： 其中該函數N是一高斯分布，是x的目前的估計，其係藉由先前的步驟而被計算出。

該標記位置係橫跨該影像金字塔而被標準化3065。

在該些標記被產生之後，一個3層的神經網路模型係被使用作為 一正確性驗證模型3070，以過濾錯誤的形狀。該些神經網路層較佳的是一卷積層、一上取樣層以及一對映層。

先前的色塊以及目前的色塊係接著藉由計算每一對的色塊的相關性係數來加以匹配。接著，在該些目前的色塊中的所關注的最佳的區域係被選擇，並且其中心係作為最終的標記3090。此外，該相關性係數亦可被用來分類哪些標記係被阻擋的。該計算函數較佳的是：R(x,y)=Σ_x',y' (T(x',y')-I(x+x',y+y'))² (18)

比較

因此，一種新的演算法可被開發並且納入一SDM以及一點分布模型作為用於如同在3050中的GLDR的較佳的方法。然而，在此的較佳的架構以及該GLDR模型都不同於先前的模型。當SDM被用來最佳化該方程式(15)時，該目的函數的變數是藉由該點分布模型計算出的參數，其係能夠從該基本事實過濾雜訊，此係使得在視訊中的標記更穩定。再者，藉由SDM與不同尺度的影像的使用係降低該雜訊。用於SDM的最初的標記係從一先前的幀至該目前的邊框方塊的對準的標記。此外，該架構係利用一GLDR模型是一全域的偵測器，而不是如同在習知技術的利用點分布的GLDR(如同在以上參照到的Baltrusaitis等人中所指出者)中的局部的偵測器。因此，利用本方法的效能並沒有當臉非常快速的旋轉時的一延遲問題。該新的架構甚至是更聰明的，因為其係具有該色塊係數匹配模組以偵測哪些標記被阻擋。

熟習此項技術者將會體認到的是，可以對於上述的實施例做成改變，而不脫離其之寬泛的發明概念。因此，所理解到的是本發明並不限於所揭露的特定實施例，而是其係欲涵蓋在如同藉由所附的申請專利範圍所界定的本發明的精神與範疇之內的修改。

附錄A：

附錄B：

附錄C：

附錄D：

附錄E：

附錄F：

附錄G：

Claims (70)

1. 一種用於虛擬地移除面部化妝之方法，其係包括：提供一使用者的一面部影像，其中化妝係被施用至該使用者；從該使用者的該面部影像定位面部標記，該些面部標記係包含至少一第一區域以及一不同於該第一區域的第二區域；分解該面部影像的該第一區域成為第一通道；饋送該第一區域的該些第一通道至直方圖匹配之中，以獲得一其中在該第一區域中的化妝係被移除的第一影像；轉換該面部影像的該第二區域成為色彩通道；饋送該些色彩通道至在不同的照明狀況下的直方圖匹配之中，以獲得一其中在該第二區域中的化妝係被移除的第二影像；以及組合該第一影像以及該第二影像以形成一其中化妝係從該第一區域以及該第二區域被移除所產生的面部影像。
2. 如請求項1所述之方法，其中該些第一通道係包括一反射係數通道以及一著色通道。
3. 如請求項2所述之方法，其中該反射係數通道係包括該面部影像的材料相依的性質，並且該著色通道係包括該面部影像的光相依的性質。
4. 如請求項3所述之方法，其中該反射係數通道係只包含一色彩，並且該著色通道係保有該第一區域的形狀資訊。
5. 如請求項1所述之方法，其中該第一區域係包括一眼睛區域，並且該第二區域係包括一嘴唇區域。
6. 如請求項1所述之方法，其中在饋送該第一區域的該些第一通道至直方圖對映中之前的在該第一區域中的該化妝的一類型係不同於在轉換該面部影像的該第二區域成為色彩通道之前的在該第二區域中的該化妝的一類型。
7. 如請求項1所述之方法，其中該些色彩通道係包括一色相通道、一飽和度通道、以及一值通道。
8. 如請求項1所述之方法，其中饋送該些色彩通道至直方圖匹配之中係包括：提供面部影像的一資料組，該些面部影像分別是在不同的照明狀況之下，在每一個面部影像的一對應的第二區域中沒有化妝的，並且包含預先定義的直方圖；以及匹配在不同的照明狀況之下的該些色彩通道中的一或多個的一直方圖與該些預先定義的直方圖中的一對應的直方圖，以獲得該第二影像。
9. 如請求項8所述之方法，其中該些色彩通道是該值通道及/或飽和度通道。
10. 一種用於虛擬地移除面部化妝之方法，其係包括：提供一使用者的一面部影像，其中化妝係被施用至該使用者；在該使用者的該面部影像的一區域中定位面部標記；將該面部影像的該區域分解成為個別的通道；以及饋送該區域的該些個別的通道至直方圖匹配中，以獲得一其中在該區域中的該化妝被移除所產生的影像。
11. 如請求項10所述之方法，其中該使用者的該面部影像的該區域係包括一眼睛區域。
12. 如請求項11所述之方法，其中在分解該影像之前的在該使用者的該面部影像上的該化妝係包括眼妝。
13. 如請求項10所述之方法，其中該些個別的通道係包括一反射係數通道以及一著色通道。
14. 如請求項10所述之方法，其中該反射係數通道係包括該面部影 像的材料相依的性質，並且該著色通道係包括該面部影像的光相依的性質。
15. 如請求項10所述之方法，其中該反射係數通道係只包含一色彩，並且該著色通道係保有該第一區域的形狀資訊。
16. 一種用於虛擬地移除面部化妝之方法，其係包括：提供一使用者的一面部影像，其中化妝係被施用至該使用者；在該使用者的該面部影像的一區域中定位面部標記；轉換該面部影像的該區域成為色彩通道；以及饋送該些色彩通道至在不同的照明狀況下的直方圖匹配之中，以獲得一其中在該區域中的該化妝被移除所產生的影像。
17. 如請求項16所述之方法，其中該使用者的該面部影像的該區域係包括一嘴唇區域。
18. 如請求項17所述之方法，其中在轉換該面部影像的該區域成為色彩通道之前的在該面部影像上的該化妝是一口紅或是一潤唇膏。
19. 如請求項16所述之方法，其中該些色彩通道包括一色相通道、一飽和度通道、以及一值通道。
20. 如請求項16所述之方法，其中饋送該些色彩通道至直方圖匹配之中係包括：提供無化妝的面部影像的一資料組，其係包含預先定義的直方圖；以及匹配在不同的照明狀況之下的該些色彩通道中的一或多個的一直方圖與該些預先定義的直方圖中的一對應的直方圖，以獲得該第二影像。
21. 如請求項20所述之方法，其中該些色彩通道是該值通道及/或該飽和度通道。
22. 如請求項16所述之方法，其進一步包括：收集一皮膚色彩資料組，其中皮膚色彩資料係在不同的照明狀況之下收集 的，其係針對於此種不同的照明狀況具有相較於一標準的嘴唇色彩的對應的嘴唇色彩偏移；從該使用者的該影像抽取一輸入皮膚色彩；利用該皮膚色彩資料組來偵測在該輸入皮膚色彩的一特定的照明狀況之下的該輸入皮膚色彩的對應的嘴唇色彩偏移；以及提供一最終經過修改的嘴唇色彩，以用於使用作為來自該使用者的該面部影像的該第一區域的一移除嘴唇色彩，其中該最終經過修改的嘴唇色彩係具有該偵測到的色彩偏移。
23. 一種用於從一輸入影像偵測及移除化妝之系統，其中該系統係被配置以能夠：從一使用者介面接收一輸入影像，其中化妝係被施用至該使用者；從在至少一第一區域及/或一不同於該第一區域的第二區域中的該使用者的面部影像定位面部標記，其中該第一區域係包含化妝且/或該第二區域係包含化妝；若該第一區域係被定位出，則分解該面部影像的該第一區域成為第一通道並且饋送該第一區域的該些第一通道至直方圖匹配之中，該直方圖匹配係利用來自分別沒有化妝的臉的直方圖的一資料組的一參考直方圖，以獲得一其中在該第一區域中的該化妝係被移除的第一影像，且/或若該第二區域係被定位出，則轉換該面部影像的該第二區域成為色彩通道，並且饋送該些色彩通道至在不同的照明狀況下的直方圖匹配之中，並且利用來自在不同的照明狀況之下分別沒有化妝的臉的直方圖的一資料組的一參考直方圖，以獲得一其中在該第二區域中的該化妝被移除的第二影像；以及若該第一區域以及該第二區域都被定位出，則組合該第一影像以及該第二影像以形成一其中化妝係從該第一區域以及該第二區域被移除所產生的面部影像。
24. 如請求項23所述之系統，其中該系統係包括一具有一系統記憶體以及一系統處理器的控制器，其中該控制器係被配置以接收該輸入影像，並且接收及/或儲存在該記憶體中沒有化妝的臉的直方圖的該資料組、以及在不同的照明狀況之下的臉的直方圖的該資料組，並且該系統處理器係能夠執行程式化指令，其係能夠偵測一面部影像以及定位面部標記。
25. 如請求項24所述之系統，其中該處理器係能夠執行用於該輸入影像的該第一區域成為該些第一通道的分解、以及用於該第一區域的該些第一通道的直方圖匹配的程式化指令；並且其中該處理器係能夠執行用於轉換該面部影像的該第二區域成為色彩通道以及在不同的照明狀況之下的該些色彩通道的直方圖匹配的程式化指令。
26. 如請求項23所述之系統，其中該使用者介面是一智慧型手機數位相機、一數位相機、一數位視訊攝影機、一網路攝影機、或是一智慧型手機數位視訊攝影機。
27. 一種用於在一具有一臉的輸入影像上產生一輸出效果之方法，其係包括：(a)提供一使用者的一具有面部標記的面部影像；(b)從該使用者的該面部影像定位該些面部標記，其中該些面部標記係包含一第一區域，並且其中和該第一區域相關的該些標記係和該面部影像的具有一嘴唇色彩的嘴唇相關的，並且該第一區域係包含一嘴唇區域；(c)轉換該影像的該嘴唇區域成為至少一色彩通道，並且偵測及分析該嘴唇區域的一光分布；(d)饋送該至少一色彩通道至在一變化的光分布上的直方圖匹配中，以識別一具有一預先定義的光分布的直方圖，該預先定義的光分布係不同於該嘴唇區域的該光分布，藉此產生至少一第一輸出效果；以及 (e)組合該輸出效果與該第一影像，以提供一具有被施加至該嘴唇的該嘴唇色彩以及該至少一第一輸出效果的第一所產生的影像。
28. 如請求項27所述之方法，其中該至少一色彩通道係包括一飽和度通道及/或一值通道。
29. 如請求項27所述之方法，其中在該轉換步驟(c)之前，該方法進一步包括從該使用者的該面部影像的該嘴唇區域移除該化妝的步驟。
30. 如請求項27所述之方法，其中該些面部標記包括一第二區域，其中在該第二區域中的該些標記係和該面部影像的該眼睛相關的，並且該第二區域係包括一眼睛區域；並且其中該方法進一步包括：(f)分解該影像的該眼睛區域成為至少一第一通道以及偵測及分析該眼睛區域的一光分布；(g)饋送該至少一第一通道至在一變化的光分布上的直方圖匹配中，以識別一具有一預先定義的光分布的直方圖，該預先定義的光分布係不同於該眼睛區域的該光分布，藉此在該眼睛上產生至少一第二輸出效果；以及(h)組合該第一所產生的影像與該第二影像以及該至少一第二輸出效果，以提供一具有該預先定義的嘴唇色彩、以及在該嘴唇上的該至少一第一輸出效果、以及在該眼睛上的該至少一第二輸出效果的第二所產生的影像。
31. 如請求項30所述之方法，其中該至少一第一通道係包括著色或反射係數中之一。
32. 如請求項27所述之方法，其中具有該預先定義的光分布的該直方圖的該光分布係加入通透性以及平滑度，並且該至少一第一輸出效果係包含一光澤的效果。
33. 如請求項32所述之方法，其中該光澤的效果係藉由通透性的程度來加以改變。
34. 如請求項27所述之方法，其中具有該預先定義的光分布的該直方圖的該光分布係加入隨機的反射係數，並且該至少一輸出效果係包含一自然的效果。
35. 如請求項27所述之方法，其中具有該預先定義的光分布的該直方圖的該光分布係加入通透性以及閃亮，並且該至少一第一輸出效果係包含一閃亮的效果。
36. 如請求項27所述之方法，其中具有該預先定義的光分布的該直方圖的該光分布係加入閃爍，並且該至少一輸出效果是一閃爍效果。
37. 如請求項27所述之方法，其中該步驟(d)以及(e)係被重覆以在該第一影像上產生至少一不同的輸出效果，並且每一個在該第一影像上具有該至少一不同的輸出效果中之一的所產生的影像係和該第一所產生的影像組合以提供一最終所產生的影像，其係在該第一影像上具有該至少一第一輸出效果以及該至少一不同的輸出效果的每一個不同的輸出效果。
38. 如請求項27所述之方法，其中該方法進一步包括在步驟(b)之後，計算該嘴唇區域的一面積，以一預設的比例來放大該嘴唇區域的該面積以提供所針對的放大的標記，並且產生除了該至少一第一輸出效果以外的一豐滿的輸出效果，並且組合及扭曲該豐滿的輸出效果與該至少一第一輸出效果以及該第一影像，以提供該豐滿的輸出效果以及該至少一第一輸出效果至具有被施加至該嘴唇的該嘴唇色彩的該第一所產生的影像。
39. 如請求項38所述之方法，其中具有該預先定義的光分布的該直方圖的該光分布係加入通透性以及閃亮，並且該至少一第一輸出效果係包含一閃亮的效果，並且該所產生的影像係包含一豐滿且閃亮的外觀。
40. 一種用於在一具有一臉的輸入影像上產生一輸出效果之方法，其係包括： (a)提供一使用者的一具有面部標記的面部影像；(b)從該使用者的該面部影像定位該些面部標記，其中該些面部標記係包含一第二區域，並且其中和該第二區域相關的該些標記係和該面部影像的眼睛相關的，並且該第二區域係包含一眼睛區域；(c)分解該影像的該眼睛區域成為至少一第一通道，並且偵測及分析該眼睛區域的一光分布；(d)饋送該至少一第一通道至在一變化的光分布上的直方圖匹配中，以識別一具有一預先定義的光分布的直方圖，該預先定義的光分布係不同於該眼睛區域的該光分布，藉此在該眼睛上產生至少一第二輸出效果；以及(e)組合該第一所產生的影像與該第二影像以及該至少一第二輸出效果，以提供一具有該預先定義的嘴唇色彩、以及該至少一第一輸出效果、以及在該眼睛上的該至少一第二輸出效果的第二所產生的影像。
41. 一種化妝建議系統，其係包括：用於提供不同的化妝造型的至少一訓練完成的神經網路模型；一化妝品資料庫；以及一化妝註解系統，其中該化妝建議系統係能夠根據在藉由該註解系統所註解的該至少一訓練完成的神經網路中的資料及/或來自該化妝品資料庫的建議的產品來產生個人化的逐步的化妝指令給一使用者，並且能夠根據一使用者的一輸入影像而用一種逐步的方式來顯示虛擬的化妝施用給該使用者。
42. 如請求項41所述之系統，其中該至少一訓練完成的模型係從一深度學習架構所導出的。
43. 如請求項42所述之系統，其中該深度學習架構係接收包含以下的資料輸入： 具有所選的被施用於其上的化妝造型的面部影像；以及來自一化妝註解系統的輸出基本事實資料。
44. 如請求項41所述之系統，其中該註解系統係註解具有所選的被施用於其上的化妝造型的面部影像，並且該些經註解的面部影像係提供訓練資料給該神經網路。
45. 如請求項44所述之系統，其中該些化妝造型是人工地加以選擇及註解的。
46. 如請求項41所述之系統，其中一輸入影像是來自一使用者的一視訊的一幀。
47. 如請求項41所述之系統，其進一步包括至少一虛擬的化妝教學。
48. 如請求項41所述之系統，其中該些逐步的指令係包含(a)針對於一第一類型的化妝顯示一第一所選的色彩、以及(b)虛擬地用該所選的色彩來施用該類型的化妝到該使用者的臉的該輸入影像的一對應的區域。
49. 如請求項48所述之系統，其中步驟(a)以及(b)係針對於至少一進一步所選的色彩以及至少一第二類型的化妝而被重覆，以根據在該建議系統中的該資料來在該使用者的該輸入影像上產生一所要的化妝相貌。
50. 如請求項41所述之系統，其進一步包括一種用於調整該輸入影像的亮度之系統，其中該用於調整亮度之系統係被配置以利用一皮膚色彩估計器來估計在該使用者的該輸入影像中的一臉的一標準化的皮膚色彩，偵測面部標記並且指定不同的加權的因數至一面部區域、一影像中心區域以及一邊界區域，計算該輸入影像的一平均亮度並且比較該平均亮度與所估計的標準化的皮膚色彩以產生一校正因數，並且根據該校正因數以利用一多項式轉換來施加一 曲線轉換至該輸入影像。
51. 一種用於調整一輸入影像的亮度之系統，其係可用在一虛擬的化妝試妝或移除的方法中，該系統係具有被配置以實行以下的步驟的軟體：利用一皮膚色彩估計器來估計在一使用者的一輸入影像中的一臉的一標準化的皮膚色彩；偵測面部標記以及指定加權的因數至一面部區域、一影像中心區域以及一邊界區域；計算該輸入影像的一平均亮度；比較該平均亮度與該臉的所估計的標準化的皮膚色彩以產生一校正因數；以及根據該校正因數以利用一多項式轉換來施加一曲線轉換至該輸入影像。
52. 一種用於提供經校準的色彩之系統，該系統被配置以實行以下的步驟：響應於從一具有一數位相機的裝置接收到的一使用者的一輸入影像而自動地偵測一於其上具有色塊的色彩參考圖表；針對於該些色塊的每一個色塊讀取一像素值；比較來自該色彩參考圖表的該偵測到的資訊與在一黃金標準系統之下所捕捉的一儲存的參考色彩圖表的像素值；派遣一控制系統以校準該相機的參數，使得該輸入影像係被修改以符合該黃金標準系統以維持色彩的一致性。
53. 如請求項52所述之系統，其中藉由該用於提供經校準的色彩之系統所校準的色彩係能夠被使用於判斷一物體的一色彩、判斷一產品的一色彩、判斷一被施用至一使用者的化妝品的一色彩、以及評估在色彩上的變化。
54. 一種用於提供一虛擬的化妝教學之方法，其係包括： 從一或多個既有的化妝視訊選擇關鍵幀；及/或藉由在所選的關鍵幀中偵測產品名稱字元以在既有的化妝視訊中偵測產品名稱、利用字元辨識以找出產品的名稱、或是藉由從一評估在一產品資料庫中的產品的訓練完成的產品分類器導出的分類器來找出產品；在一化妝教學摘要中概述來自所選的關鍵幀以及偵測到的產品名稱的該化妝資訊；以及根據該化妝教學摘要來產生一虛擬的化妝教學。
55. 如請求項54所述之方法，其中該些關鍵幀係藉由以下所選出的：分割來自該一或多個既有的化妝視訊的視訊資料成為區段；根據幀差異、色彩直方圖、及/或相機運動來產生一組候選關鍵幀，以及根據一組標準以及在一先前或後續的幀上是否有一不同類型的化妝來選擇最終的關鍵幀。
56. 一種用於快速的面部偵測以及標記追蹤之方法，其係包括：利用一個二維的相機來捕捉一輸入影像；利用不同尺度的影像來產生一影像金字塔；在該影像金字塔的該些影像上施加在滑動窗口下的梯度的直方圖特徵以及一支持向量機，以找出臉的一邊框方塊；以及利用一或多個面部標記偵測器以根據一全域學習的下降正則化模型以在該邊框方塊內偵測一臉，若該臉存在的話。
57. 如請求項56所述之方法，其進一步包括抽取色塊以及施加標記均值漂移擬合至該影像以平滑化該些標記資料，標準化橫跨該影像金字塔的該標記位置；施加一個三層的神經網路模型作為一正確性驗證模型以過濾錯誤的形狀，並且關聯及選擇該些最終的標記。
58. 如請求項57所述之方法，其中該神經網路的該三個層是一卷積 層、一上取樣層、以及一對映層。
59. 如請求項56所述之方法，其進一步包括用以降低和快速的移動相關的延遲以及降低和無移動相關的振動的步驟，其係包括利用一點分布模型以從一基本事實資料組過濾雜訊並且使得該些標記視訊更穩定。
60. 一種從一面部影像抽取一嘴唇區域之方法，其係包括：(a)在一輸入面部影像上利用面部標記來定位一面部區域；(b)利用該些標記以獲得該面部區域，並且移除該非面部的背景；(c)根據利用L*a*b*空間的膚色來施加一高斯混合模型至該輸入面部影像的一下方的部分，其中每一個像素係具有在L*a*b*空間中的一色彩值，並且計算在該輸入面部影像的該部分中的每一個像素的機率以判斷其是否符合或是超出一基礎臨界值，並且產生在該面部影像的一其中該面部區域係將被偵測的部分中的一皮膚區域的一機率圖；(d)從該機率面部圖產生一最初的面部區域二值的影像；(e)利用一疊代的方法以調整該基礎臨界值，來決定一改善的二值的影像；以及(f)在每一次疊代中根據預設的標準來評估該改善的二值的影像，以利用該改善的二值的影像來偵測該面部區域。
61. 如請求項60所述之方法，其中該高斯混合模型係具有三個分量。
62. 如請求項60所述之方法，其中該臨界值係利用一陣列而被調整一偏移，以疊代地改善該基礎臨界值。
63. 如請求項60所述之方法，其中該預設的標準係包含在該面部區域周圍的一外部的矩形的一寬度以及一高度的一比例；在該面部區域的面積以及該外部的矩形的面積之間的一比例；以及在該面部區域的面積以及該面部影 像的該部分的面積之間的一比例中的一或多個。
64. 如請求項60所述之方法，其中該面部區域是一嘴唇區域，並且該面部影像的該部分是該面部影像的該下方的部分。
65. 如請求項60所述之方法，其進一步包括在改善的高斯混合模型中，利用在該最初的面部區域中以及在一非面部區域中的像素的該L*a*b*色彩空間色彩；針對於該最初的面部區域以及該非面部區域計算一機率圖；以及利用該些高斯混合模型來產生一整體機率圖，以用於偵測該面部區域。
66. 如請求項65所述之方法，其進一步包括利用一邊緣偵測及輪廓，以平滑化該整體機率圖。
67. 一種虛擬地提供一眼妝附加效果至一面部影像之方法，其係包括：(a)對於一眼睛的至少一眼妝特徵產生一樣版，人工地註解在相關於該眼妝特徵的該樣版上的標記點，以及將該些標記點的位置儲存為一文字檔；(b)針對於該影像幀利用一標記偵測器來抽取一面部影像的一眼睛區域的標記；(c)根據相關於該樣版的該眼妝特徵的該些標記來裁剪該影像的該眼睛區域以產生一影像幀；(d)在該眼睛區域周圍，從在該影像幀的該眼睛區域上的該些偵測到的抽取的標記藉由線性內插法來產生點；(e)根據該樣版的該些經註解的標記來在該樣版周圍產生點；(f)藉由向前扭曲來施加該樣版至該影像幀，以從被施加於其上的該樣版產生一具有該眼妝特徵的眼睛區域影像幀；以及(g)裁剪該眼睛區域影像幀回到該原始的面部影像，以產生一具有該眼妝特徵於其上的面部影像。
68. 如請求項67所述之方法，其中該眼妝特徵係從一眼影特徵、一中間的眼影特徵、一眼影尾端特徵、一眼影角落特徵、以及一眼睫毛特徵來加以選出。
69. 如請求項68所述之方法，其中步驟(a)係包含對於一眼影特徵、一中間的眼影特徵、一眼影尾端特徵、一眼影角落特徵、以及一眼睫毛特徵的每一個產生一樣版，並且該方法進一步包括對於在該些樣版中的該些眼睛特徵的兩個或多個在一面部影像上重覆步驟(b)至(g)，並且在該面部影像上組合該兩個或多個特徵以產生一組合的眼妝相貌。
70. 一種虛擬地提供一口紅質地至一面部影像之方法，其係包括：提供一質地模擬器，其係包括一具有一深度卷積神經網路結構的訓練模組；在一預處理模組中處理一輸入嘴唇區域，以修改該輸入嘴唇區域來具有一所要的口紅色彩以及照度強化，其係利用針對於該所要的口紅色彩的L*a*b*色彩空間的該照度通道以及一加權的覆蓋因數，以產生一具有一照度分布以及模擬的動態質地的L-通道影像，並且針對於該a*及b*通道來從RGB至L*a*b*空間色彩地處理該輸入影像；從該預處理模組饋送該L-通道影像至一單通道造型轉換模組，該單通道造型轉換模組係在一影像資料組上利用該訓練模組來加以訓練的，以根據在該資料組中的一參考造型影像來產生具有一合成的色彩及質地的一合成的L-通道影像；以及在一用於RGB轉換的後期處理模組中進一步處理來自該預處理模組的具有該動態質地模擬的該合成的L-通道影像以及該a*以及b*通道影像以用於RGB轉換。