TWI748432B - 三維局部人體模型的生成方法、裝置、設備及電腦可讀儲存介質 - Google Patents

三維局部人體模型的生成方法、裝置、設備及電腦可讀儲存介質 Download PDF

Info

Publication number
TWI748432B
TWI748432B TW109114493A TW109114493A TWI748432B TW I748432 B TWI748432 B TW I748432B TW 109114493 A TW109114493 A TW 109114493A TW 109114493 A TW109114493 A TW 109114493A TW I748432 B TWI748432 B TW I748432B
Authority
TW
Taiwan
Prior art keywords
bone
parameters
human body
adjustment information
parameter
Prior art date
Application number
TW109114493A
Other languages
English (en)
Other versions
TW202109461A (zh
Inventor
陳呈舉
袁亞振
盛崇山
章國鋒
Original Assignee
大陸商浙江商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商浙江商湯科技開發有限公司 filed Critical 大陸商浙江商湯科技開發有限公司
Publication of TW202109461A publication Critical patent/TW202109461A/zh
Application granted granted Critical
Publication of TWI748432B publication Critical patent/TWI748432B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本說明書實施例提供一種三維局部人體模型的生成方法、裝置及設備。其中，所述三維局部人體模型的生成方法包括：獲取三維局部人體模型的骨骼參數調整資訊；根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數；根據調整後的所述骨骼參數，生成所述三維局部人體模型。

Description

三維局部人體模型的生成方法、裝置、設備及電腦可讀儲存介質
本公開涉及三維局部人體模型的生成方法、裝置、設備及電腦可讀儲存介質。
在遊戲行業和虛擬實境的推動下，數位化虛擬角色得到了大量的應用。對於虛擬角色，已經從單一的虛擬形象演變為玩家自主設計的角色，包括創造出獨具個性的形象、選擇合適的臉部妝容等等。目前在角色生成過程中，通常透過架設大量的骨骼來調節模型的外形。
本說明書一個或多個實施例的目的，即提供一種三維局部人體模型的生成方法、裝置及設備。
第一方面，提供一種三維局部人體模型的生成方法，所述方法包括：獲取三維局部人體模型的骨骼參數調整資訊；根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數；根據調整後的所述骨骼參數，生成所述三維局部人體模型。
結合本公開提供的任一實施方式，所述獲取三維局部人體模型的骨骼參數調整資訊包括：接收骨骼參數調整指令；根據所述骨骼參數調整指令確定所述骨骼參數調整資訊。
結合本公開提供的任一實施方式，根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數，包括：獲取所述三維局部人體模型的骨骼參數中，與所述骨骼參數調整資訊相關聯的至少一根骨骼的參數；根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數。
結合本公開提供的任一實施方式，所述至少一根骨骼包括多根骨骼的情況下，根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數，包括：根據所述骨骼參數調整資訊同時調整所述多根骨骼的參數。
結合本公開提供的任一實施方式，根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數，包括：獲取所述骨骼參數調整資訊對應的第一調節範圍；獲取與所述骨骼參數調整資訊相關聯的骨骼參數的第二調節範圍；根據所述骨骼參數調整資訊在所述第一調節範圍內的變化比例，在所述第二調節範圍內調整與所述骨骼參數調整資訊相關聯的所述骨骼參數的值。
結合本公開提供的任一實施方式，根據所述骨骼參數調整指令確定所述骨骼參數調整資訊，包括：獲取針對所述骨骼參數調整指令設置的控制項的輸出變化量，根據所述輸出變化量確定所述骨骼參數調整資訊。
結合本公開提供的任一實施方式，所述三維局部人體模型包括人臉模型，所述方法還包括：基於所述人臉模型的骨骼參數生成臉部貼圖，所述臉部貼圖包括多個區域，每個所述區域與所述人臉模型的臉部妝容的一個可更換部件對應；針對各個所述區域，根據所述區域的參數獲取相應的可更換部件貼圖；將各個所述可更換部件貼圖與所述臉部貼圖進行合併，得到合併後的貼圖；將所述合併後的貼圖映射到所述人臉模型上，生成所述人臉模型的臉部妝容。
結合本公開提供的任一實施方式，所述區域為矩形區域，所述矩形區域的參數包括寬度和高度；根據所述區域的參數獲取相應的可更換部件貼圖，包括：獲取與所述矩形區域的寬度和高度相一致的可更換部件貼圖。
結合本公開提供的任一實施方式，所述區域為矩形區域，所述矩形區域的參數包括座標橫向偏移值和座標縱向偏移值；所述可更換部件貼圖包括透明度資訊；將所述可更換部件貼圖與所述臉部貼圖進行合併，包括：按照所述可更換部件貼圖對應的矩形區域的座標橫向偏移值和座標縱向偏移值，將所述可更換部件貼圖複製到相應的矩形區域；將所述臉部貼圖與所述可更換部件貼圖按照所述透明度資訊進行混合。
結合本公開提供的任一實施方式，所述可更換部件貼圖包括透明度資訊；獲取所述區域相應的可更換部件貼圖，包括：獲取針對所述可更換部件選擇的紋理資訊；透過將所述可更換部件貼圖的透明度資訊和所述紋理資訊進行混合，生成帶有紋理的可更換部件貼圖。
結合本公開提供的任一實施方式，將所述合併後的貼圖映射到所述人臉模型上，包括：按照所述人臉模型的紋理座標（UV座標），將所述合併後的貼圖映射到所述人臉模型上。
結合本公開提供的任一實施方式，所述三維局部人體模型包括人臉模型，所述方法還包括：獲取標準臉模型對應的第一骨骼參數和第一融合變形資料；獲取所述人臉模型對應的第二骨骼參數；基於所述第二骨骼參數和所述第一骨骼參數之間的變換關係，利用所述第一融合變形資料獲得與所述人臉模型對應的第二融合變形資料。
第二方面，提供一種三維局部人體模型的生成裝置，所述裝置包括：獲取單元，用於獲取三維局部人體模型的骨骼參數調整資訊；調整單元，用於根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數；生成單元，用於根據調整後的所述骨骼參數，生成所述三維局部人體模型。
結合本公開提供的任一實施方式，所述獲取單元具體用於：接收骨骼參數調整指令；根據所述骨骼參數調整指令確定所述骨骼參數調整資訊。
結合本公開提供的任一實施方式，所述調整單元具體用於：獲取所述三維局部人體模型的骨骼參數中，與所述骨骼參數調整資訊相關聯的至少一根骨骼的參數；根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數。
結合本公開提供的任一實施方式，所述至少一根骨骼包括多根骨骼的情況下，所述調整單元在用於根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數時，具體用於：根據所述骨骼參數調整資訊同時調整所述多根骨骼的參數。
結合本公開提供的任一實施方式，所述調整單元在用於根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數時，具體用於：獲取所述骨骼參數調整資訊對應的第一調節範圍；獲取與所述骨骼參數調整資訊相關聯的骨骼參數的第二調節範圍；根據所述骨骼參數調整資訊在所述第一調節範圍內的變化比例，在所述第二調節範圍內調整與所述骨骼參數調整資訊相關聯的所述骨骼參數的值。
結合本公開提供的任一實施方式，所述調整單元在用於根據所述骨骼參數調整指令確定所述骨骼參數調整資訊時，具體用於：獲取針對所述骨骼參數調整指令設置的控制項的輸出變化量；根據所述輸出變化量確定所述骨骼參數調整資訊。
結合本公開提供的任一實施方式，所述三維局部人體模型包括人臉模型；所述裝置還包括妝容生成單元，用於：基於所述人臉模型的骨骼參數生成臉部貼圖，所述臉部貼圖包括多個區域，每個所述區域與所述人臉模型的臉部妝容的一個可更換部件對應；針對各個所述區域，根據所述區域的參數獲取相應的可更換部件貼圖；將各個所述可更換部件貼圖與所述臉部貼圖進行合併，得到合併後的貼圖；將所述合併後的貼圖映射到所述人臉模型上，生成所述人臉模型的臉部妝容。
結合本公開提供的任一實施方式，所述區域為矩形區域，所述矩形區域的參數包括寬度和高度；所述妝容生成單元在用於根據所述區域的參數獲取相應的可更換部件貼圖時，具體用於：獲取與所述矩形區域的寬度和高度相一致的可更換部件貼圖。
結合本公開提供的任一實施方式，所述區域為矩形區域，所述矩形區域的參數包括座標橫向偏移值和座標縱向偏移值；所述可更換部件貼圖包括透明度資訊；所述妝容生成單元在用於將所述可更換部件貼圖與所述臉部貼圖進行合併時，具體用於：按照所述可更換部件貼圖對應的矩形區域的座標橫向偏移值和座標縱向偏移值，將所述可更換部件貼圖複製到相應的矩形區域；將臉部貼圖與所述可更換部件貼圖按照所述透明度資訊進行混合。
結合本公開提供的任一實施方式，所述可更換部件貼圖包括透明度資訊；所述妝容生成單元在用於獲取所述區域相應的可更換部件貼圖時，具體用於：獲取針對所述可更換部件選擇的紋理資訊；透過將所述可更換部件貼圖的透明度資訊 和所述紋理資訊進行混合，生成帶有紋理的可更換部件貼圖。
結合本公開提供的任一實施方式，所述合併單元具體用於：按照所述人臉模型的紋理座標（UV座標），將所述合併後的貼圖映射到所述人臉模型上。
結合本公開提供的任一實施方式，所述三維局部人體模型包括人臉模型；所述裝置還包括更新單元，用於：獲取標準臉模型對應的第一骨骼參數和第一融合變形資料；獲取所述人臉模型對應的第二骨骼參數；基於所述第二骨骼參數和所述第一骨骼參數之間的變換關係，利用所述第一融合變形資料獲得與所述人臉模型對應的第二融合變形資料。
協力廠商面，提供一種三維局部人體模型的生成設備，所述設備包括儲存裝置、處理器，所述儲存裝置用於儲存可在處理器上運行的電腦指令，所述處理器用於在執行所述電腦指令時實現本說明書任一所述的三維局部人體模型的生成方法。
第四方面，提供一種電腦可讀儲存介質，其上儲存有電腦程式，所述程式被處理器執行時實現本說明書任一所述的三維局部人體模型的生成方法。
說明書一個或多個實施例的三維局部人體模型的生成方法、裝置和設備，透過骨骼參數調整資訊，調整局部人體骨骼參數，實現對局部人體中至少一個骨骼參數的同時調整，從而能夠實現對模型的整體形狀和局部細節的同時調整，既可以達到快速調整的目的，同時也能夠進行精細調整。
為了更清楚地說明本說明書一個或多個實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹。下面描述中的附圖僅僅是本說明書一個或多個實施例中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
為了使本技術領域的人員更好地理解本說明書一個或多個實施例中的技術方案，下面將結合本說明書一個或多個實施例中的附圖，對本說明書一個或多個實施例中的技術方案進行清楚、完整地描述。所描述的實施例僅僅是本說明書一部分實施例，而不是全部的實施例。基於本說明書一個或多個實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本公開保護的範圍。
在基於骨骼（bones）生成的模型中，每個骨骼可以具有多個參數。例如，骨骼參數可以包括以下中的至少一種：位移參數t、旋轉參數r、縮放參數s。對於三維局部人體模型，例如人臉模型來說，每個骨骼的參數通常包括x軸、y軸、z軸的數值，因而可以使用Bi=(tx，ty，tz，rx，ry，rz，sx，sy，sz)來表示。其中，i=1、2…Nb，Nb為模型中所包含的骨骼數目。
圖1示出了基於骨骼建立的人臉模型的示意圖。所述人臉模型是基於48根骨骼建立骨架，並且在骨架的基礎上進行了蒙皮處理所得到。圖1中的白色線條表示骨骼。
透過調整骨骼參數Bi，可以使骨骼的位置、方向、大小中的一項或多項發生變化，從而能夠改變模型的骨骼結構。以圖1中的人臉模型為例，其包含了48根骨骼，而每個骨骼具有9個參數，也即用戶可以調節48*9個參數。
基於此，本說明書至少一個實施例提供了一種三維局部人體模型的生成方法，如圖2所示，所述方法可以包括：
在步驟201中，獲取三維局部人體模型的骨骼參數調整資訊。
在本實施例中，可以透過接收骨骼參數調整指令，並根據所述骨骼參數調整指令確定所述骨骼參數調整資訊。其中，骨骼參數調整資訊，至少可以是以下中的一種：變化後的參數值、或者參數值調整前後的相對變化量或者變化比例。
在步驟202中，根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數。
在本步驟中，基於所述骨骼參數調整資訊中所包含的變化後參數值、或者參數值的相對變化量或者變化比例，對三維局部人體模型的骨骼參數進行調整，以使所述骨骼參數發生對應的變化，例如增加/減少相應的相對變化量，或者增加/減少相應的變化比例。在對骨骼參數進行調整後，可以得到調整後的一組骨骼參數。
在步驟203中，根據調整後的所述骨骼參數，生成（rendering）三維局部人體模型。
三維局部人體模型的骨骼參數得到了調整，改變了模型的骨骼結構，從而得到了想要的三維局部人體模型。
本實施例的三維局部人體模型的生成方法，可以用於生成例如頭部（人臉）、手部、軀幹等局部人體模型，也可用於對人體模型進行局部的調整。
在本實施例中，透過基於骨骼參數調整資訊調整局部人體模型中的至少一個骨骼參數，能夠兼顧對模型的整體形狀和局部細節的調整，既可以達到快速調整的目的，同時也能夠進行精細調整。
如下的描述中，將對三維局部人體模型的生成方法進行更詳細的描述。其中，下文以人臉模型為例。但是可以理解的是，其他場景同樣可以應用所述三維局部人體模型生成方法，例如，其他局部人體模型的生成、人體模型的生成、動物模型的生成以及其他基於骨骼建立的模型生成。
在應用本實施例的方法基於骨骼參數生成三維局部人體模型時，可以預先設置用於同時調節三維局部人體模型的多個骨骼參數的調節器（controller）。所述調節器可以視為用以獲取上述骨骼參數調整資訊的一種具體實施方式。具體地，可透過調整調節器的操作參數（operating parameter of controller，以下也可簡稱為操作參數），來傳遞對三維局部人體模型中與所述調節器相關聯的多個骨骼參數的調整資訊。所述調節器是基於三維局部人體模型的骨骼參數設置的。因此，在本實施例中，首先可以獲得人臉模型的骨骼參數。
人臉模型的骨骼參數例如可以為Bi=(tx，ty，tz，rx，ry，rz，sx，sy，sz)，其中，i=1、2…Nb，Nb為人臉模型中所包含的骨骼數目。透過調整骨骼參數Bi ，可以使骨骼的位置、方向、大小中的一項或多項發生變化，從而能夠改變模型的骨骼結構。但當可調節的參數的自由度過高時，會導致使用者調節局部細節的難度過高。因此，在本實施例中，設置調節器，以能夠同時對三維局部人體模型的多個骨骼參數進行調整。
所述調節器與局部人體中的至少一根骨骼的參數相關聯。此處的相關聯是指，改變調節器的操作參數時，所述至少一根骨骼的一個或多個參數可以同時發生變化。所述至少一根骨骼可以是屬於局部人體中的局部區域的一根或多根骨骼。
在一個示例中，可以透過以下方法實現上述調節器的設置。如圖3所示，所述方法可以包括：
在步驟301中，獲取與所述調節器相關聯的骨骼。
每一個調節器與哪些骨骼相關聯，可以是預先設定的。透過獲取與所述調節器相關聯的骨骼，可以確定在調節所述調節器的操作參數時，哪些骨骼的參數會同時得到調整。
對於每一個調節器，可以將一個局部區域內的全部或部分骨骼的參數與所述調節器建立關聯。例如，假設眼部區域共有E1個骨骼，但只對其中的E2個骨骼進行調整（E2>E1）即能夠控制眼睛大小的變化，那麼用於調整雙眼整體大小的眼部骨骼調節器只需控制這E2個骨骼。如圖5A所示，透過將用於調整雙眼整體大小的眼部骨骼調節器與眼部區域的骨骼eye_01、eye_02、eye_03的參數相關聯，使所述眼部骨骼調節器能夠控制這三個骨骼。
在步驟302中，獲取每個與所述調節器相關聯的骨骼的參數中，與所述調節器相關聯的骨骼參數。
對於與上述調節器相關聯的每一個骨骼，調節器可以控制其全部9個參數，也可以控制其中的一個或多個參數。骨骼的哪些參數與調節器相關聯，可以是預先設定的。
以圖4所示為例，調節器controller1、調節器controller2…、調節器controllerM為各個調節器，其中，M是調節器的數目。調節器controller1可以控制三個骨骼bone1、骨骼bone2、骨骼bone3，並且可以具體控制的每個骨骼的參數包括bone1的平移參數（tx，ty）、bone2的縮放參數（sx，sy，sz）和bone3的旋轉參數（ry）。即，透過調整調節器controller1的操作參數，可以同時調整這三個骨骼的上述參數。由此可見，經由步驟301和302，可獲取三維局部人體模型的骨骼參數中，與調節器、具體為調節器的操作參數相關聯的至少一根骨骼的參數。
在步驟303中，將各個與所述調節器相關聯的骨骼參數設置為，根據所述調節器的操作參數的變化而調整。
在確定了與調節器相關聯的骨骼參數後，透過將每個骨骼參數設置為根據所述調節器的操作參數的變化而調整，實現了對與調節器相關聯的骨骼參數的同時控制。根據調節器操作參數的變化而同時調整與所述調節器相關聯的多個骨骼參數包括，以與調節器操作參數相同的變化比例對相關聯的多個骨骼參數進行調整。例如，調節器操作參數的值的調整幅度為增加1/10，與其相關聯的多個骨骼參數的值的調整幅度也為同時增加1/10。
在一個示例中，可以透過以下方法實現調節器對骨骼參數的調整。所述方法包括：
首先，獲取所述調節器的操作參數的變化範圍（以下也可稱為調節範圍）。所述變化範圍可以是預先設定的，用於確定調節器的操作參數的值在調整前後的相對變化量。
接下來，獲取與所述調節器相關聯的每個骨骼參數的變化範圍。所述變化範圍也可以是預先設定的，用於表示根據實際需要調節的例如骨骼的位移、方向、距離等參數的變化範圍。如果一個骨骼參數的變化範圍是0，則表明這個參數是不能調整的，也即不受所述調節器的控制。
之後，將與所述調節器相關聯的骨骼參數設置為，根據所述調節器的操作參數在其變化範圍內的變化比例，在所述骨骼參數的變化範圍內進行相同比例的變化。此處所說的變化比例，也可以用相對變化量來表示。舉例來說，對於圖4中的調節器controller1，如果其操作參數的變化範圍是[0,1]，當調節器的操作參數的值從0.2變化到0.3，那麼相對變化量即為1/10，也即變化比例為1/10。那麼，與調節器controller1相關聯的骨骼bone1、骨骼bone2、骨骼bone3的參數的值則同時上浮調整1/10。由此，實現了調節器對與其相關聯的骨骼參數的同時調整。以上骨骼參數隨調節器的操作參數的等比例變化，可以透過線性插值演算法來實現。
本領域技術人員應當理解，也可以針對不同骨骼參數設置不同的變化方式，例如，當調節器controller1的操作參數的值從0.2變化到0.3，其可以將骨骼bone1的參數向上調整1/10，而將骨骼bone2和骨骼bone3的參數向上調整1/5。也就是說，可以使不同的骨骼參數產生不同的變化趨勢。應當理解的是，當調節器的操作參數值從0變化到1時，各個骨骼參數也相應地在各自的變化區間內從最小值變化到最大值，只是各個骨骼參數的變化過程有可能是不同的。以上不同骨骼參數隨調節器的操作參數以不同趨勢進行變化，可以透過非線性插值演算法來實現。
在本公開的至少一個實施例中，獲取所述骨骼參數調整資訊包括：接收骨骼參數調整指令；根據所述骨骼參數調整指令確定所述骨骼參數調整資訊。其中，所述骨骼參數調整指令可以指對所述調節器的操作參數的調整指令（以下可簡稱為調節器操作指令）。根據所述調節器操作指令，可以確定對調節器的操作參數的調整資訊（以下可簡稱為調節器調整資訊）作為所述骨骼參數調整資訊。
在本公開的至少一個實施例中，在獲取所述骨骼參數調整資訊後，獲取與所述骨骼參數調整資訊相關聯的至少一根骨骼的參數，並根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數。在所述至少一根骨骼僅包括一根骨骼的情況下，根據所述骨骼參數調整資訊調整所述骨骼的參數；在所述至少一根骨骼包括多根骨骼（例如可以是多根頭部骨骼）的情況下，根據所述骨骼參數調整資訊同時調整所述多根骨骼的參數。其中，根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數，可包括：獲取所述骨骼參數調整資訊對應的第一調節範圍；獲取與所述骨骼參數調整資訊相關聯的骨骼參數的第二調節範圍；根據所述骨骼參數調整資訊在所述第一調節範圍內的變化比例，在所述第二調節範圍內調整與所述骨骼參數調整資訊相關聯的所述骨骼參數的值。
在一個示例中，在所述骨骼參數調整資訊包括調節器調整資訊的情況下，根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數，可以具體包括：確定所述調節器調整資訊對應的調節器，並獲取所述調節器的操作參數的調節範圍作為第一調節範圍；獲取所述至少一根骨骼的與所述調節器相關聯的每個參數的調節範圍作為第二調節範圍；針對所述至少一根骨骼的與所述調節器相關聯的每個參數，根據所述參數對應的所述第二調節範圍以及所述調節器調整資訊在所述第一調節範圍內的變化比例調整所述參數的值。
在一個示例中，可以預先針對調節器設置控制項，例如滑杆，透過操作所述控制項來產生相應的調節器操作指令。在生成模型時，透過獲取所述控制項的輸出變化量，即獲取了與調節器操作指令對應的調節器調整資訊，並可基於所述調節器調整資訊確定所述骨骼參數調整資訊，從而能夠基於所述骨骼參數調整資訊對與調節器、具體為所述滑杆相關聯的骨骼參數進行調整。
下面以圖5A調節雙眼整體大小為例具體說明調節器對人臉模型的控制。
例如，將用於調節雙眼整體大小的調節器的操作參數的變化範圍設置為[0,1]，也即其操作參數的值可以是[0,1]間的任意值。並且，透過操作與調節器controller1_eye對應的滑杆可以使其操作參數值在此區間發生變化，如圖5B所示。
調節器controller1_eye可以控制眼部區域的三個骨骼eye_01、骨骼eye_02、骨骼eye_03，並可以具體控制骨骼eye_01的縮放參數（sx，sy，sz）、骨骼eye_02的縮放參數（sx，sy，sz）、骨骼eye_03的縮放參數（sx，sy，sz）。其中，每個參數的調節範圍均為[-1,1]，也即各個參數的值可以是所述區間內的任意數值。這三個骨骼的其他參數的調節範圍為0，也即不能透過調節器controller1_eye進行調整，並且不顯示在其控制列表中。
透過操控調節器controller1_eye對應的滑杆，使其操作參數值發生變化，並獲取所述操作參數的值。然後利用所述操作參數值將調節器controller1_eye關聯的上述三個骨骼的關聯參數在對應的調節範圍內進行線性插值，得到每個參數調節後的數值。也即，基於調節器controller1_eye在其操作參數的調節範圍內的變化，使關聯的骨骼參數的值在各自的調節範圍內發生等比例的變化。由此則實現了對雙眼整體大小的調節。圖5C示出了原雙眼整體大小示意圖。其中，左側的各個框表示骨骼參數，包括頭部整體參數（head_all_p_N）、左部臉頰整體參數（cheek_p_L）、左部臉頰參數（cheek_01_p_L、cheek_02_p_L、cheek_03_p_L）、右部臉頰整體參數（cheek_p_R）右部臉頰參數（cheek_01_p_R、cheek_02_p_R、cheek_03_p_R）、眼部整體參數（eye_p_L）、眼部參數（eye_01_p_L、eye_02_p_L、eye_03_p_L、eye_04_p_L）；右側示出了多個調節器各自對應的滑杆控制項。例如透過操控圖5B右側所示的滑杆「雙眼整體大小」，使其對應的調節器controller1_eye的操作參數的值變小，得出了圖5D所示的雙眼整體變小的效果。本領域技術人員應當知曉，圖5C~圖5D顯示的是在骨架圖的基礎上進行了蒙皮得到的三維模型，但從中可以體現出骨骼變化所產生的效果。
在一個示例中，在得到調整的骨骼是對稱的成對骨骼之一的情況下，與所調整的骨骼對稱的骨骼的參數對應地變化。如圖2所示，人臉的骨骼大部分是對稱的，對於對稱骨骼，在對一邊進行調整的情況下，另一邊的骨骼也會隨之變化。也就是說，對稱骨骼的參數之間是相關聯的，其中一個骨骼的參數發生了變化，與之對稱的另一個骨骼的參數也會對應地變化。透過使對稱骨骼的參數對應地變化，在進一步減少了調節步驟的情況下，有利於保持人臉的對稱性。
本公開中所說的局部區域，可以是相應的調節器能夠實現某一些效果需要控制的區域。可以基於一個調節器所能實現的效果，對所述調節器對應的控制項進行命名。如圖5C~圖5D所示，包含了「眉毛左右」、「眉毛上下」等命名的控制項，直觀地體現了所述控制項對應的調節器所能夠實現的效果，便於用戶進行操作。
在基於調整後的骨骼參數生成人臉模型後，存在能否匹配標準融合變形（Blendshape）資料以正常運行表情的問題。Blendshape可以被稱為融合變形器，是用於製作人臉模型的面部表情的工具。由於標準融合變形資料是基於標準臉製作的，而本公開中對於初始的骨骼參數（可以是標準臉對應的骨骼參數）進行了調整。此處所說的標準臉，是指相關技術中通常使用的利用默認參數生成的標準臉模型。為了便於區分描述，在下文中，將所述標準臉模型對應的骨骼參數稱為第一骨骼參數、其所對應的融合變形資料稱為第一融合變形資料，並將本公開中利用上文所述方法生成的人臉模型對應的骨骼參數稱為第二骨骼參數，其所對應的融合變形資料稱為第二融合變形資料。
以下實施例中提出了一種更新人臉模型對應的融合變形資料的方法。所述方法主要包括：獲取標準臉模型對應的第一骨骼參數和第一融合變形資料；獲取人臉模型（可具體為前述骨骼參數調整後的人臉模型）對應的第二骨骼參數；基於所述第二骨骼參數和所述第一骨骼參數之間的變換關係，利用所述第一融合變形資料獲得與所述人臉模型對應的第二融合變形資料。
在一個示例中，更新人臉模型對應的融合變形資料的方法如圖6所示，可以包括：
在步驟601中，基於標準臉模型對應的第一融合變形資料和第一骨骼參數，獲得所述第一融合變形資料相對應的第一網格資料。
首先，獲得與所述標準臉模型的第一骨骼參數對應的標準網格資料，所述標準網格資料可以包括標準臉模型的骨骼所對應的網格頂點資料。
通常，融合變形器中儲存的是表情對應的網格資料與標準網格資料之間的差值。在獲得了標準網格資料之後，透過將其與第一融合變形器（第一融合變形資料所對應的融合變形器）中所儲存的差值相加，能夠還原出第一融合變形器所對應的第一網格資料。
舉例來說，假設標準臉模型所對應的標準網格資料是向量[1,1,1,…,1,1]；一個用於控制眼睛大小的融合變形器儲存的融合變形資料是向量[0,0,0.5,…,0,0]，這兩個向量的維度大小相同。當運行所述融合變形器時，透過將上述融合變形資料與標準網格資料相加，即能夠在標準臉上得到相應的眼睛變大的效果。也即，標準網格資料[1,1,1,…,1,1]與融合變形資料[0,0,0.5,…,0,0]相加所得到的向量[1,1,1.5,…,1,1]是眼睛變大這一表情所對應的第一網格資料。本領域技術人員應當理解，上述網格資料格式僅用於示意，並不限止本公開中網格資料格式。
在步驟602中，基於人臉模型對應的第二骨骼參數與所述第一骨骼參數，獲得所述調整後的人臉模型中所有骨骼的變換矩陣。
在前述人臉模型與標準臉模型之間遍歷所有骨骼，可以獲得每個骨骼的變換矩陣。
在一個示例中，可以透過以下方法獲得每個骨骼的變換矩陣：首先，基於所述標準臉對應的第一骨骼參數，獲取標準臉模型中每個骨骼的位置矩陣；接下來，基於人臉模型所對應的第二骨骼參數，也即基於前述調整後的骨骼參數，獲取人臉模型中每個骨骼的位置矩陣；將上述標準臉模型對應的骨骼的位置矩陣除以上述人臉模型對應的骨骼的位置矩陣，即可以得到每個骨骼的變換矩陣。
例如，可以透過以下公式計算獲得骨骼的變換矩陣：
T =T new *inverse(T normal )      （1）
其中，T 表示骨骼的變換矩陣，T new 表示標準臉模型對應的骨骼的位置矩陣，T normal 表示人臉模型對應的骨骼的位置矩陣，inverse()表示對矩陣求逆。
在步驟603中，將所述變換矩陣應用於所述第一網格資料，獲得所述人臉模型對應的第二網格資料。
將骨骼的變換矩陣應用到步驟601中得到的第一網格資料，得到新的網格頂點資料。其主要利用了骨架蒙皮的思想，根據骨架的變化狀態以及各網格頂點的綁定資訊計算出新的網格頂點座標，即人臉模型所對應的第二網格資料。例如可以利用如下公式進行計算：
Figure 02_image001
（2）
其中，Vertexnew 表示網格新的頂點，以及Vertexori 表示網格初始的頂點，k 表示所述頂點受k 個骨骼影響，Ti 表示骨骼變換矩陣，weighti’ 表示骨骼變換矩陣Ti 對應的權重。
在步驟604中，將所述第二網格資料減去所述第一網格資料，得到所述調整後的人臉模型對應的第二融合變形資料。
仍以用於控制眼睛大小的融合變形器為例，在步驟601中所得到的第一網格資料是獲得眼睛變大效果所對應的網格資料。將步驟602中得到的骨骼的變換矩陣應用於所述第一網格資料，所得到的第二網格資料對應於獲得眼睛變大效果的人臉模型。透過將所述第二網格資料減去所述第一網格資料所得到的第二融合變形器資料，是人臉模型所對應的融合變形器中儲存的資料。
在本實施例中，在生成新的人臉模型後，透過將骨骼的變換矩陣應用到標準臉模型對應的融合變形器，使其更新為與新的人臉模型相匹配，可提高表情驅動的準確性。
本領域技術人員應當理解，本實施例中的更新融合變形資料的方法，不限於應用于利用前文所述的三維局部人體模型生成方法所生成的人臉模型，而可以用於任意捏臉後模型。對於捏臉後模型的融合變形資料更新，在其變換矩陣中，Tnew 表示捏臉後模型對應的骨骼的位置矩陣，Tnormal 表示捏臉前模型對應的骨骼的位置矩陣。
對於所生成的人臉模型，通常採用模型分割的方式生成自訂妝容，包括為人臉模型中的每個可更換部件分離出一個單獨的模型。這種方式會導致渲染階段多個中央處理單元（Central Processing Unit, CPU）調用圖形程式設計介面（draw call），因此嚴重影響程式的性能。
基於此，以下實施例中，提出一種對人臉模型生成臉部妝容的方法，如圖7所示，可以包括：
在步驟701中，基於人臉模型的骨骼參數生成包括至少一個區域的臉部貼圖，每個所述區域對應臉部妝容的一個可更換部件。
在本步驟中，可以根據所述人臉模型的骨骼參數生成臉部貼圖。所述臉部貼圖可以包括多個區域，每個區域與臉部妝容的一個可更換部件對應。所述多個區域中的每個區域的形狀可相同或不同，例如可同為矩形區域。對於不同的骨骼參數，各個矩形區域的大小和位置通常是不同的。此處所說的臉部妝容，包括對於人臉模型來說可更換的部分，例如，眉毛、腮紅、嘴唇、鬍子等等，而非所生成的人臉模型中已具有的、不可替換的部分。本領域技術人員應當理解，可更換的部分不限於以上所述，還可以包括其他的臉部妝容部件。
本領域技術人員應當理解，所述臉部貼圖也可以是其他方式製作、生成的臉部貼圖，並不限於基於上述人臉模型的骨骼參數生成。
如圖8A所示，在所述臉部貼圖中包括了眉毛、腮紅、嘴唇或嘴唇和鬍子所對應的矩形區域。其中，每個矩形區域可以包括以下參數中的至少一個：寬度、高度、座標橫向偏移值、座標縱向偏移值。本領域技術人員應當理解，所述區域也可以是其他形狀的區域，並不限於是矩形區域。
在步驟702中，針對每個所述區域，獲取相應的可更換部件貼圖。
以臉部貼圖中與妝容的可更換部件對應的區域為矩形區域為例，在本步驟中，可以根據矩形區域的參數製作、生成相應的可更換部件貼圖（以下也可簡稱為部件貼圖），也可調用、導入相應的部件貼圖。部件貼圖的示例參見圖8B所示，其中，各個可更換部件貼圖與相應矩形區域的寬度和高度基本上一致。其中，各個可更換部件貼圖的顏色可以改變，並且也可以使部件貼圖附加一層細節紋理。
在一個示例中，可以透過將可更換部件貼圖的透明度資訊和紋理資訊進行混合，生成所述可更換部件貼圖的紋理。所述紋理資訊是針對可更換部件貼圖所選擇的紋理資訊。
在步驟703中，將各個所述可更換部件貼圖與所述臉部貼圖進行合併，得到合併後的貼圖。
在一個示例中，可以透過以下方式將臉部妝容的各個可更換部件貼圖與臉部貼圖進行合併：按照可更換部件貼圖對應的矩形區域的座標橫向偏移值和座標縱向偏移值，將所述可更換部件貼圖複製到臉部貼圖相應的矩形區域；將臉部貼圖與所述可更換部件貼圖按照透明度資訊進行混合。所述透明度資訊為所述可更換部件貼圖的透明度資訊，其混合公式如下：
Figure 02_image003
（3）
其中，
Figure 02_image005
表示合併後貼圖最終表現出的顏色，
Figure 02_image007
表示
Figure 02_image009
時顯示臉部貼圖
Figure 02_image007
的顏色，
Figure 02_image011
表示
Figure 02_image013
時顯示可更換部件貼圖
Figure 02_image015
的顏色。
在一個示例中，可以首先將臉部貼圖複製到渲染紋理（RenderTexture）中，之後將各個可更換部件貼圖複製到臉部貼圖相應的矩形區域，利用渲染紋理實現可更換部件貼圖與臉部貼圖的合併。在另一個示例中，可以將臉部貼圖及其對應的光照模型（shader）共同複製到渲染紋理中。
可更換部件貼圖與臉部貼圖合併後的結果如圖8C所示。
在步驟704中，將所述合併後的貼圖映射到所述人臉模型上，生成所述人臉模型的臉部妝容。
在一個示例中，可先將所述臉部貼圖渲染到一個幀緩衝物件（Frame Buffer Object）上，然後根據所述人臉模型的紋理座標（UV座標），將所述幀緩衝物件關聯到圖形處理器  （graphic processing unit, GPU）上人臉模型所對應的貼圖物件上，從而實現所述合併後的貼圖到所述人臉模型的映射。
圖9A示出了初始的人臉模型，圖9B示出了透過上述方法生成臉部妝容後的人臉模型。
在本實施例中，透過生成臉部貼圖和與臉部妝容中各可更換部件對應的貼圖，利用先合併再繪製的方法，提高了渲染效率。
圖10A提供了一種三維局部人體模型的生成裝置，如圖10A所示，所述裝置可以包括：獲取單元1001，用於獲取包括三維局部人體模型的骨骼參數調整資訊；調整單元1002，用於根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數；生成單元1003，用於根據調整後的所述骨骼參數，生成三維局部人體模型。
圖10B提供了另一種三維局部人體模型的生成裝置。在所述三維局部人體模型為人臉模型的情況下，如圖10B所示，所述裝置還可以包括：更新單元1005，用於基於預先獲得的標準臉模型對應的第一骨骼參數和第一融合變形資料，以及所述人臉模型所對應的第二骨骼參數，獲得所述人臉模型對應的第二融合變形資料。
圖10C提供了另一種三維局部人體模型的生成裝置。所述三維局部人體模型為人臉模型的情況下，如圖10C所示，所述裝置還可以包括妝容生成單元1006，用於對於所述人臉模型生成臉部妝容，具體用於：基於所述人臉模型的骨骼參數生成臉部貼圖，所述臉部貼圖包括多個區域，每個所述區域與所述人臉模型的臉部妝容的一個可更換部件對應；針對每個所述區域，基於所述區域的參數獲取相應的可更換部件貼圖；將各個所述可更換部件貼圖與所述臉部貼圖進行合併，得到合併後的貼圖；將所述合併後的貼圖映射到所述人臉模型上，生成所述人臉模型的所述臉部妝容。
圖11為本說明書至少一個實施例提供的三維局部人體模型的生成設備，如圖11所示，所述設備可以包括儲存裝置1101、處理器1102。其中，所述儲存裝置1101用於儲存可在處理器1102上運行的電腦指令，所述處理器1102用於在執行所述電腦指令時實現本說明書任一實施例所述的三維局部人體模型的生成方法。
本說明書至少一個實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式，所述程式被處理器執行時實現本說明書任一所述的三維局部人體模型的生成方法。
本領域技術人員應明白，本說明書一個或多個實施例可提供為方法、系統或電腦程式產品。因此，本說明書一個或多個實施例可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本說明書一個或多個實施例可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存介質（包括但不限於磁碟儲存裝置、CD-ROM、光學儲存裝置等）上實施的電腦程式產品的形式。
本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於資料處理設備實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
上述對本說明書特定實施例進行了描述。其它實施例在所附發明申請專利的範圍內。在一些情況下，在發明申請專利範圍中記載的行為或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在附圖中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多工處理和並行處理也是可以的或者可能是有利的。
本說明書中描述的主題及功能操作的實施例可以在以下中實現：數位電子電路、有形體現的電腦軟體或固件、包括本說明書中公開的結構及其結構性等同物的電腦硬體、或者它們中的一個或多個的組合。本說明書中描述的主題的實施例可以實現為一個或多個電腦程式，即編碼在有形非暫時性程式載體上以被資料處理裝置執行或控制資料處理裝置的操作的電腦程式指令中的一個或多個模組。可替代地或附加地，程式指令可以被編碼在人工生成的傳播信號上，例如機器生成的電、光或電磁信號，所述信號被生成以將資訊編碼並傳輸到合適的接收機裝置以由資料處理裝置執行。電腦儲存介質可以是機器可讀儲存儲存裝置、機器可讀儲存基板、隨機或串列存取儲存裝置設備、或它們中的一個或多個的組合。
本說明書中描述的處理及邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式設計電腦執行，以透過根據輸入資料進行操作並生成輸出來執行相應的功能。所述處理及邏輯流程還可以由專用邏輯電路—例如現場可程式設計閘陣列（FPGA）或特定積體電路（ASIC）來執行，並且裝置也可以實現為專用邏輯電路。
適合用於執行電腦程式的電腦包括，例如通用和/或專用微處理器，或任何其他類型的中央處理單元。通常，中央處理單元將從唯讀儲存裝置和/或隨機存取儲存裝置接收指令和資料。電腦的基本元件包括用於實施或執行指令的中央處理單元以及用於儲存指令和資料的一個或多個儲存裝置設備。通常，電腦還將包括用於儲存資料的一個或多個大型儲存區設備，例如磁片、磁光碟或光碟等，或者電腦將可操作地與此大型儲存區設備耦接以從其接收資料或向其傳送資料，抑或兩種情況兼而有之。然而，電腦不是必須具有這樣的設備。此外，電腦可以嵌入在另一設備中，例如行動電話、個人數位助理（PDA）、移動音訊或視訊播放機、遊戲操控台、全球定位系統（GPS）接收機、或例如通用序列匯流排（USB）快閃記憶體儲存裝置驅動器的可擕式儲存裝置，僅舉幾例。
適合於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性儲存裝置、媒介和儲存裝置設備，例如包括半導體儲存裝置設備（例如EPROM、EEPROM和快快閃記憶體儲存裝置設備）、磁片（例如內部硬碟或可移動盤）、磁光碟以及CD ROM和DVD-ROM盤。處理器和儲存裝置可由專用邏輯電路補充或併入專用邏輯電路中。
雖然本說明書包含許多具體實施細節，但是這些不應被解釋為限制任何發明的範圍或所要求保護的範圍，而是主要用於描述特定發明的具體實施例的特徵。本說明書內在多個實施例中描述的某些特徵也可以在單個實施例中被組合實施。另一方面，在單個實施例中描述的各種特徵也可以在多個實施例中分開實施或以任何合適的子組合來實施。此外，雖然特徵可以如上所述在某些組合中起作用並且甚至最初如此要求保護，但是來自所要求保護的組合中的一個或多個特徵在一些情況下可以從所述組合中去除，並且所要求保護的組合可以指向子組合或子組合的變型。
類似地，雖然在附圖中以特定順序描繪了操作，但是這不應被理解為要求這些操作以所示的特定循序執行或順次執行、或者要求所有例示的操作被執行，以實現期望的結果。在某些情況下，多工和並行處理可能是有利的。此外，上述實施例中的各種系統模組和元件的分離不應被理解為在所有實施例中均需要這樣的分離，並且應當理解，所描述的程式元件和系統通常可以一起集成在單個軟體產品中，或者封裝成多個軟體產品。
由此，主題的特定實施例已被描述。其他實施例在所附發明申請專利範圍以內。在某些情況下，發明申請專利範圍中記載的動作可以以不同的循序執行並且仍實現期望的結果。此外，附圖中描繪的處理並非必需所示的特定順序或順次順序，以實現期望的結果。在某些實現中，多工和並行處理可能是有利的。
以上所述僅為本說明書一個或多個實施例的較佳實施例而已，並不用以限制本說明書一個或多個實施例，凡在本說明書一個或多個實施例的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本說明書一個或多個實施例保護的範圍之內。
201、202、203、301、302、303、304、601、602、603、604、701、702、703、704:步驟 controller1、controller2、controllerM、controller1_eye:調節器 bone1、bone2、bone3、eye_01、eye_02、eye_03:骨骼 1001:獲取單元 1002:調整單元 1003:生成單元 1005:更新單元 1006:妝容生成單元 1101:儲存裝置 1102:處理器 1103:內部總線 1104:網路介面
圖1為本說明書至少一個實施例提供的基於骨骼建立的人臉模型的示例圖。 圖2為本說明書至少一個實施例提供的一種三維局部人體模型的生成方法的示例圖。 圖3為本說明書至少一個實施例提供的調節參數的設置方法示例圖。 圖4為本說明書至少一個實施例提供的調節參數的設置示例圖。 圖5A為本說明書至少一個實施例提供的用於調節雙眼整體大小的調節參數設置方法示例圖。 圖5B為本說明書至少一個實施例提供的用於調節雙眼整體大小的控制項示例圖。 圖5C和圖5D為本說明書至少一個實施例提供的調整前的人臉模型示例和調整後的人臉模型示例圖。 圖6為本說明書至少一個實施例提供的更新人臉模型對應的融合變形資料的方法示例圖。 圖7為本說明書至少一個實施例提供的生成臉部妝容的方法示例圖。 圖8A為本說明書至少一個實施例提供的臉部貼圖示例圖。 圖8B為本說明書至少一個實施例提供的可更換部件的貼圖示例圖。 圖8C為本說明書至少一個實施例提供的合併的臉部貼圖和可更換部件貼圖的示例圖。 圖9A和圖9B為本說明書至少一個實施例提供的生成妝容前的人臉模型和生成妝容後的人臉模型。 圖10A為本說明書至少一個實施例提供的一種三維局部人體模型的生成裝置示例圖。 圖10B為本說明書至少一個實施例提供的一種三維局部人體模型的生成裝置示例圖。 圖10C為本說明書至少一個實施例提供的一種三維局部人體模型的生成裝置示例圖。 圖11為本說明書至少一個實施例提供的一種三維局部人體模型的生成設備示例圖。
201、202、203:步驟

Claims (13)

  1. 一種三維局部人體模型的生成方法，包括：獲取三維局部人體模型的骨骼參數調整資訊，所述骨骼參數調整資訊是用於調節所述三維局部人體模型的骨骼參數的調節器的操作參數；根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數；以及根據調整後的所述骨骼參數，生成所述三維局部人體模型，其中，所述根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數的步驟，包括：獲取所述三維局部人體模型的骨骼參數中，與所述骨骼參數調整資訊相關聯的至少一根骨骼的參數；以及根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數，包括：獲取所述骨骼參數調整資訊對應的第一調節範圍；獲取與所述骨骼參數調整資訊相關聯的骨骼參數的第二調節範圍；以及根據所述骨骼參數調整資訊在所述第一調節範圍內的變化比例，在所述第二調節範圍內調整與所述骨骼參數調整資訊相關聯的所述骨骼參數的值，使所述骨骼參數調整資訊相關聯的所述骨骼參數在第二調節範圍內進行與所述變化比例相同比例的變化。
  2. 如申請專利範圍第1項所述的方法，所述獲取三維局部人體模型的骨骼參數調整資訊的步驟，包括：接收骨骼參數調整指令；以及根據所述骨骼參數調整指令確定所述骨骼參數調整資訊。
  3. 如申請專利範圍第1項所述的方法，所述至少一根骨骼包括多根骨骼的情況下，所述根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數的步驟，包括：根據所述骨骼參數調整資訊同時調整所述多根骨骼的參數。
  4. 如申請專利範圍第2項所述的方法，所述根據所述骨骼參數調整指令確定所述骨骼參數調整資訊的步驟，包括：獲取針對所述骨骼參數調整指令設置的控制項的輸出變化量；以及根據所述輸出變化量確定所述骨骼參數調整資訊。
  5. 如申請專利範圍第1至4項中任一項所述的方法，所述三維局部人體模型包括人臉模型，所述方法還包括：基於所述人臉模型的骨骼參數生成臉部貼圖，所述臉部貼圖包括多個區域，每個所述區域與所述人臉模型的臉部妝容的一個可更換部件對應；針對各個所述區域，根據所述區域的參數獲取相應的可更換部件貼圖；將各個所述可更換部件貼圖與所述臉部貼圖進行合併，得到合併後的貼圖；以及 將所述合併後的貼圖映射到所述人臉模型上，生成所述人臉模型的臉部妝容。
  6. 如申請專利範圍第5項所述的方法，所述區域為矩形區域，所述矩形區域的參數包括寬度和高度，其中根據所述區域的參數獲取相應的可更換部件貼圖的步驟，包括：獲取與所述矩形區域的寬度和高度相一致的可更換部件貼圖。
  7. 如申請專利範圍第5項所述的方法，所述區域為矩形區域，所述矩形區域的參數包括座標橫向偏移值和座標縱向偏移值，其中所述可更換部件貼圖包括透明度資訊，且所述將所述可更換部件貼圖與所述臉部貼圖進行合併的步驟，包括：按照所述可更換部件貼圖對應的矩形區域的座標橫向偏移值和座標縱向偏移值，將所述可更換部件貼圖複製到相應的矩形區域；以及將所述臉部貼圖與所述可更換部件貼圖按照所述透明度資訊進行混合。
  8. 如申請專利範圍第5項所述的方法，所述可更換部件貼圖包括透明度資訊，所述獲取所述區域相應的可更換部件貼圖的步驟，包括：獲取針對所述可更換部件選擇的紋理資訊；以及透過將所述可更換部件貼圖的透明度資訊和所述紋理資訊進行混合，生成帶有紋理的可更換部件貼圖。
  9. 如申請專利範圍第5項所述的方法，所述將所述合併後的貼圖映射到所述人臉模型上，包括：按照所述人臉模型的紋理座標，將所述合併後的貼圖映射到所述人臉模型上。
  10. 如申請專利範圍第4項所述的方法，所述三維局部人體模型包括人臉模型，所述方法還包括：獲取標準臉模型對應的第一骨骼參數和第一融合變形資料；獲取所述人臉模型對應的第二骨骼參數；以及基於所述第二骨骼參數和所述第一骨骼參數之間的變換關係，利用所述第一融合變形資料獲得與所述人臉模型對應的第二融合變形資料。
  11. 一種三維局部人體模型的生成裝置，所述裝置包括：獲取單元，用於獲取三維局部人體模型的骨骼參數調整資訊，所述骨骼參數調整資訊是用於調節所述三維局部人體模型的骨骼參數的調節器的操作參數；調整單元，用於根據所述骨骼參數調整資訊，調整所述三維局部人體模型的骨骼參數；以及生成單元，用於根據調整後的所述局部人體骨骼參數，生成所述三維局部人體模型，其中，所述調整單元用於：獲取所述三維局部人體模型的骨骼參數中，與所述骨骼 參數調整資訊相關聯的至少一根骨骼的參數；以及根據所述骨骼參數調整資訊調整所述至少一根骨骼的參數，包括：獲取所述骨骼參數調整資訊對應的第一調節範圍；獲取與所述骨骼參數調整資訊相關聯的骨骼參數的第二調節範圍；以及根據所述骨骼參數調整資訊在所述第一調節範圍內的變化比例，在所述第二調節範圍內調整與所述骨骼參數調整資訊相關聯的所述骨骼參數的值，使所述骨骼參數調整資訊相關聯的所述骨骼參數在第二調節範圍內進行與所述變化比例相同比例的變化。
  12. 一種三維局部人體模型的生成設備，所述設備包括儲存裝置、處理器，所述儲存裝置用於儲存可在處理器上運行的電腦指令，所述處理器用於在執行所述電腦指令時實現申請專利範圍第1至10項中任一項所述的方法。
  13. 一種電腦可讀儲存介質，其上儲存有電腦程式，其特徵在於，所述程式被處理器執行時實現申請專利範圍第1至10項中任一項所述的方法。
TW109114493A 2019-05-15 2020-04-30 三維局部人體模型的生成方法、裝置、設備及電腦可讀儲存介質 TWI748432B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910403882.9A CN110111417B (zh) 2019-05-15 2019-05-15 三维局部人体模型的生成方法、装置及设备
CN201910403882.9 2019-05-15

Publications (2)

Publication Number Publication Date
TW202109461A TW202109461A (zh) 2021-03-01
TWI748432B true TWI748432B (zh) 2021-12-01

Family

ID=67490282

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114493A TWI748432B (zh) 2019-05-15 2020-04-30 三維局部人體模型的生成方法、裝置、設備及電腦可讀儲存介質

Country Status (7)

Country Link
US (1) US11367236B2 (zh)
JP (1) JP7126000B2 (zh)
KR (1) KR102442484B1 (zh)
CN (1) CN110111417B (zh)
SG (1) SG11202101797PA (zh)
TW (1) TWI748432B (zh)
WO (1) WO2020228322A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111417B (zh) * 2019-05-15 2021-04-27 浙江商汤科技开发有限公司 三维局部人体模型的生成方法、装置及设备
CN117861219A (zh) * 2020-08-24 2024-04-12 网易（杭州）网络有限公司 游戏中模型的处理方法、装置、设备及存储介质
CN112017295B (zh) * 2020-08-28 2024-02-09 重庆灵翎互娱科技有限公司 一种可调节动态头模型生成方法、终端和计算机存储介质
CN112102453B (zh) * 2020-09-27 2021-06-18 完美世界(北京)软件科技发展有限公司 一种动画模型骨骼处理方法、装置、电子设备及存储介质
CN112090082A (zh) * 2020-09-27 2020-12-18 完美世界(北京)软件科技发展有限公司 一种面部骨骼处理方法、装置、电子设备及存储介质
CN112107865A (zh) * 2020-09-27 2020-12-22 完美世界(北京)软件科技发展有限公司 一种面部动画模型处理方法、装置、电子设备及存储介质
CN112116722B (zh) * 2020-11-20 2022-03-01 深圳羽迹科技有限公司 一种无序3d模型的有序转化方法及系统
CN112419485B (zh) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419454B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112634466B (zh) * 2020-12-25 2021-10-22 游艺星际(北京)科技有限公司 虚拟形象模型的表情显示方法、装置、设备及存储介质
CN112489174A (zh) * 2020-12-25 2021-03-12 游艺星际(北京)科技有限公司 虚拟形象模型的动作显示方法、装置电子设备及存储介质
CN112884895B (zh) * 2021-02-09 2024-03-12 郭金磊 一种基于人体外貌形态的穿搭匹配系统
WO2022248042A1 (en) 2021-05-27 2022-12-01 Huawei Technologies Co., Ltd. Neural radiance field rig for human 3d shape and appearance modelling
CN113610992B (zh) * 2021-08-04 2022-05-20 北京百度网讯科技有限公司 骨骼驱动系数确定方法、装置、电子设备及可读存储介质
CN115629670B (zh) * 2022-12-01 2023-03-17 北京格如灵科技有限公司 虚拟现实环境下手部姿态的显示方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN107705365A (zh) * 2017-09-08 2018-02-16 郭睿 可编辑的三维人体模型创建方法、装置、电子设备及计算机程序产品
US9898858B2 (en) * 2016-05-18 2018-02-20 Siemens Healthcare Gmbh Human body representation with non-rigid parts in an imaging system
WO2018207232A1 (ja) * 2017-05-08 2018-11-15 株式会社３Ｄ ｂｏｄｙ Ｌａｂ 人体モデル提供システム、人体モデル提供方法、人体モデル提供装置、表示端末装置、人体モデル表示方法、及びコンピュータプログラム
CN109191570A (zh) * 2018-09-29 2019-01-11 网易（杭州）网络有限公司 游戏角色脸部模型的调整方法、装置、处理器及终端

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の３次元モデルの作成方法及びその変形方法
JP4977742B2 (ja) * 2008-10-17 2012-07-18 株式会社スクウェア・エニックス ３次元モデル表示システム
JP5463866B2 (ja) * 2009-11-16 2014-04-09 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5620743B2 (ja) * 2010-08-16 2014-11-05 株式会社カプコン 顔画像編集用プログラム、その顔画像編集用プログラムを記録した記録媒体及び顔画像編集システム
US10033979B2 (en) * 2012-03-23 2018-07-24 Avigilon Fortress Corporation Video surveillance systems, devices and methods with improved 3D human pose and shape modeling
CN104395929B (zh) * 2012-06-21 2017-10-03 微软技术许可有限责任公司 使用深度相机的化身构造
CN104268921A (zh) * 2014-09-12 2015-01-07 上海明穆电子科技有限公司 3d人脸表情控制方法及系统
CN104376594B (zh) * 2014-11-25 2017-09-29 福建天晴数码有限公司 三维人脸建模方法和装置
EP3335197A1 (en) * 2015-08-14 2018-06-20 Metail Limited Method and system for generating an image file of a 3d garment model on a 3d body model
CN107180453B (zh) * 2016-03-10 2019-08-16 腾讯科技（深圳）有限公司 人物面部模型的编辑方法及装置
CN107680167A (zh) * 2017-09-08 2018-02-09 郭睿 一种基于用户形象的三维人体模型创建方法及系统
CN108305309B (zh) * 2018-04-13 2021-07-20 腾讯科技(成都)有限公司 基于立体动画的人脸表情生成方法和装置
US10789753B2 (en) * 2018-04-23 2020-09-29 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
CN108765551B (zh) * 2018-05-15 2022-02-01 福建省天奕网络科技有限公司 一种实现3d模型捏脸的方法及终端
US10234552B1 (en) * 2018-06-27 2019-03-19 University Of South Florida Precise infrastructure mapping using full-waveform inversion of ground penetrating radar signals
CN109395390B (zh) * 2018-10-26 2021-12-21 网易（杭州）网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN109523604A (zh) * 2018-11-14 2019-03-26 珠海金山网络游戏科技有限公司 一种虚拟脸型生成方法、装置、电子设备以及存储介质
CN109727302B (zh) * 2018-12-28 2023-08-08 网易（杭州）网络有限公司 骨骼创建方法、装置、电子设备及存储介质
CN110111417B (zh) * 2019-05-15 2021-04-27 浙江商汤科技开发有限公司 三维局部人体模型的生成方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
US9898858B2 (en) * 2016-05-18 2018-02-20 Siemens Healthcare Gmbh Human body representation with non-rigid parts in an imaging system
WO2018207232A1 (ja) * 2017-05-08 2018-11-15 株式会社３Ｄ ｂｏｄｙ Ｌａｂ 人体モデル提供システム、人体モデル提供方法、人体モデル提供装置、表示端末装置、人体モデル表示方法、及びコンピュータプログラム
CN107705365A (zh) * 2017-09-08 2018-02-16 郭睿 可编辑的三维人体模型创建方法、装置、电子设备及计算机程序产品
CN109191570A (zh) * 2018-09-29 2019-01-11 网易（杭州）网络有限公司 游戏角色脸部模型的调整方法、装置、处理器及终端

Also Published As

Publication number Publication date
US20210174568A1 (en) 2021-06-10
SG11202101797PA (en) 2021-03-30
JP2021527861A (ja) 2021-10-14
JP7126000B2 (ja) 2022-08-25
KR20200135491A (ko) 2020-12-02
CN110111417A (zh) 2019-08-09
US11367236B2 (en) 2022-06-21
KR102442484B1 (ko) 2022-09-13
CN110111417B (zh) 2021-04-27
TW202109461A (zh) 2021-03-01
WO2020228322A1 (zh) 2020-11-19

Similar Documents

Publication Publication Date Title
TWI748432B (zh) 三維局部人體模型的生成方法、裝置、設備及電腦可讀儲存介質
TWI752494B (zh) 虛擬對象的變形處理方法、裝置、設備及儲存媒體
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
CN106575445B (zh) 毛皮虚拟化身动画
CN107452049B (zh) 一种三维头部建模方法及装置
CN109151540B (zh) 视频图像的交互处理方法及装置
CN101635061B (zh) 基于人眼立体视觉机制的自适应立体渲染方法
JP2013061927A (ja) 三次元グラフィックモデルから生成された画像データを処理する方法
JP2011048586A (ja) 画像処理装置および画像処理方法、並びにプログラム
US20240331330A1 (en) System and Method for Dynamically Improving the Performance of Real-Time Rendering Systems via an Optimized Data Set
JP2017111719A (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
CN117152382A (zh) 虚拟数字人面部表情计算方法和装置
CN114026524B (zh) 用于动画化人脸的方法、系统、以及计算机可读介质
US11645813B2 (en) Techniques for sculpting digital faces based on anatomical modeling
WO2020023663A1 (en) Tongue position tracking for facial animation
JP2023171165A (ja) スタイル変換プログラム、スタイル変換装置、およびスタイル変換方法
JP5975092B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5097636B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2023075681A2 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN116645450A (zh) 表情包生成方法及设备

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees