WO2014117447A1 - 一种图像与视频的虚拟发型建模方法 - Google Patents

一种图像与视频的虚拟发型建模方法 Download PDF

Info

Publication number
WO2014117447A1
WO2014117447A1 PCT/CN2013/075129 CN2013075129W WO2014117447A1 WO 2014117447 A1 WO2014117447 A1 WO 2014117447A1 CN 2013075129 W CN2013075129 W CN 2013075129W WO 2014117447 A1 WO2014117447 A1 WO 2014117447A1
Authority
WO
WIPO (PCT)
Prior art keywords
hair
hairstyle
model
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2013/075129
Other languages
English (en)
French (fr)
Inventor
翁彦琳
柴蒙磊
王律迪
周昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Publication of WO2014117447A1 publication Critical patent/WO2014117447A1/zh
Priority to US14/536,571 priority Critical patent/US9792725B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to the field of virtual character modeling and image video editing, and more particularly to virtual character hairstyle modeling and hairstyle editing methods in image video.
  • Dynamic hair styling in video is more complex than static hair styling, and remains a problem in the art.
  • Yamaguchi et al. directly modeled multiple pilot hair styles (WEI, Y., OFEK, E., QUAN, L., AND SHUM, H. _Y. 2005. Model ing hair from multiple views. ACM Trans. Graph. 24, 3, 816 - 820. ) Expanded to process video (YAMAGUCHI, T., WILBURN, B., AND OFEK, E. 2009. Video based modeling of dynamic hair. In the 3rd Pacific Rim Symposium on Advances in Image and Video Technology, 585 - 596. ). Zhang et al. further used physics-based motion simulation to improve the initial reconstructed hairstyle model sequence. Due to the lack of accurate hairline correspondence, these methods combined with the multi-pilot dynamic hair model will over-constrain the movement of the hair style, resulting in excessively smooth results, which will have a large discrepancy with the real situation.
  • semantically editing the existing objects in the image ZHENG, Y., CHEN, X., CHENG, M. _M., ZHOU, K., HU, S.—M., AND MITRA, NJ 2012.
  • Interactive ACM Trans. Graph. 31, 4. the three-dimensional representation of these methods is usually relatively simple, used to roughly represent the approximate three-dimensional information of the scene, the effect is often limited, usually used in movies Three-dimensional processing and the like.
  • Blanz and Vetter proposed a method for fitting a morphable head model to the face part of an image (BLANZ, V. , AND VETTER, T. 1999.
  • the purpose of the present invention is to provide an image and video hairstyle modeling for the deficiencies of the prior art.
  • the method can reconstruct a three-dimensional model with physical rationality for a single image and a person's hairstyle in a video sequence, and can be widely applied to the creation of virtual characters in digital media and other industries, as well as many image and video hairstyle editing applications, such as portrait stereoscopic. , hair movement simulation, interactive hairstyle editing, etc., have high practical value.
  • a virtual hairstyle modeling method for images and videos comprising the following steps:
  • Collection and preprocessing of hair image data Data collection is performed on the target person using a digital device, and the hair part is required to be clear and complete, and the brush selection tool is used to segment the hair part in the image;
  • Image-based hair directional field calculation Solving the ambiguity problem of the image directional field of the image, and combining the unambiguous image styling direction field with the spatial morphological region to solve the spatial directional field;
  • the initial hair style model is obtained by starting from the root sampling point in the spatial hair styling field by taking the scalp area defined on the fitted character head model as the root position. Then, the initial result is improved by iteratively, and a static hairstyle model with uniform distribution and conforming to the original hairstyle region is obtained;
  • Video-based dynamic hairstyle modeling Based on the static hairstyle model obtained in step 3, the motion of the hairstyle in the video is calculated by tracking the movement of the head model and estimating the non-rigid deformation, and generating each moment in the motion process. Dynamic hairstyle model, which naturally fits the real movement of the hairstyle in the video;
  • the invention has the beneficial effects that the present invention performs physical three-dimensional model reconstruction on virtual characters in a single image and a video sequence, and can be widely applied to virtual character creation and image video hairstyle editing in digital media and related industries.
  • the invention firstly proposes a three-dimensional modeling method with physical rationality for an image-based complex hairstyle, and satisfies the original image hairstyle region while ensuring that the generated hairstyle model conforms to its original physical characteristics, that is, from the scalp region.
  • a hairline curve that grows at the root location and has suitable and continuous length and geometric properties.
  • this method can obtain a higher quality hairstyle model, which meets the requirements of many complex dynamic hairstyle editing applications, and can be used in more application fields, which is difficult to achieve by previous methods. Effect. DRAWINGS
  • FIG. 1 is a schematic view of a hair styling modeling process of the present invention, in which (a) is an original captured image and a user's brush, (b) is an initial hair, (c) is a hair after solving the direction, (d) is The initial hairstyle model, (e) is the hairstyle model after the first iteration, and (f) is the final model rendering result;
  • FIG. 2 is a schematic diagram of comparison between the method of the present invention and the existing method in static hairstyle modeling, in which (a) is the original acquired image, (b) is the result obtained by the direction field method, and (c) is ambiguous with direction. Structure The result obtained by the method, (C) is the result obtained by the method;
  • Figure 4 is a schematic diagram comparing the method with the existing method in dynamic hairstyle modeling.
  • (a) (b) is the original image and the initial hairstyle modeling result, (c) is obtained using the non-physical authenticity model.
  • the results, (d) are the results obtained using only the characteristic field, (e) the results obtained using only the optical flow field, and (f) the results obtained for this method;
  • Figure 5 is a schematic illustration of some video hairstyle editing applications of the present invention.
  • the core of the invention is a three-dimensional model reconstruction method for physical plausibility of a single image and a virtual hairstyle object in a video sequence.
  • the core method of the present invention is mainly divided into the following five parts: acquisition and preprocessing of hair image data, image-based hair directional field calculation method, static hair model iterative construction method, video-based dynamic hair styling modeling method and hair styling The export and application of the model results.
  • Collection and preprocessing of hair image data Using digital devices to collect data on the target person, the hair part is required to be clear and complete, and the brush selection tool is used to segment the hair style part of the image.
  • This method is applied to ordinary digital photos and video data.
  • this method requires shooting and recording a real digital object using a digital device including a normal digital camera, a digital video camera, a mobile phone, and the like, to obtain original input data.
  • the main operation object of the method is the hairstyle object of the person in the image and the video, this step requires that the hair style area in the captured image is clear and complete.
  • the method relies on a small amount of user-assisted interaction to preprocess the data to facilitate subsequent steps.
  • the paint selection technique LIU, J., SUN, J., AND SHUM, H. _Y. 2009. Paint selection. ACM Trans. Graph. 28, 3.
  • a small number of strokes are drawn in the hairstyle area.
  • the image is segmented to obtain a hair style region R ⁇ .
  • Image-based hair directional field calculation Solve the problem of directional ambiguity of the image hair directional field, and combine the unambiguous image hair directional field with the spatial hair styling area to solve the spatial directional field.
  • This method uses head model calibration and fitting techniques based on image feature points and training database (CHAI, M., WANG, L., YU, Y., WENG, Y., GUO, B., AND ZHOU, K. 2012. Single-view hair model ing for portrait manipulation. ACM Trans. Graph. 31, 4, 116 : 1 - 8. ), automatic calibration of facial features by ASM (active shape model) method Point, and then based on these feature points and the principal component analysis dimensionality-reduced 3D head model database (using FaceGen software built-in data), the head-to-square transformation parameters are estimated by least-squares optimization. A three-dimensional head model in the image is fitted.
  • ASM active shape model
  • the method uses a series of directed filter functions to perform the filtering operation on the hairstyle regions obtained in step 1.2, wherein each filter function is used to detect the response value of the corresponding direction of the angle.
  • F( ,), ⁇ ( *I)( x ⁇ denote the response value on the pixel.
  • the local value of the confidence value w( xy ) is selected in the hairstyle region.
  • the maximum point P is used as a seed point to satisfy:
  • each step d- wire tracking extends the curve forward by the direction v p corresponding to the angle at the current position P:
  • the method takes each of the non-directional two-dimensional hairs obtained in step 2.2; expressed as a uniformly distributed list of hair vertices, where; represents the first vertex of ; Can be defined; the original hair direction ⁇ is the unit vector to ⁇ .
  • This method approximates this NP-complete problem by the following greedy algorithm: divides all hair into three sets that have been solved, solved, and unsolved. At the beginning of the algorithm, the solution The unsolved collections are all empty, and the set to be solved contains only the user's auxiliary strokes. The algorithm repeats the following steps until all hair is solved:
  • the method adopts a single-view hair styling modeling method (CHAI, ⁇ ., WANG, L., YU, Y., WENG, Y., GUO, B., AND ZHOU, K. 2012.
  • Single-view hair modeling for portrait manipulation ACM Trans. Graph. 31, 4, 116 : 1 _ 8.
  • Solve the depth information of the two-dimensional hair construct the hair volume.
  • the area in the space defines H e M 3 as the closed hair area minus 2.
  • the method first defines the scalp area of the hair root distribution on the head model fitted in step 2.1, in order to make the scalp area conform to the hair style area in the specific image, the scalp area The intersection with the hair area is further excluded.
  • Used in the two-dimensional parameter space corresponding to the scalp area (WANG, L., YU, Y., ZHOU, K., AND GUO, B. 2009.
  • the method uniformly samples the root position and returns it back into the three-dimensional space.
  • the initial hairline is extended by the second-order Runge-Kutta method (second-order Runge-Kutta) according to the spatial hair styling field D obtained in step 2. Until the length exceeds the specified maximum hair length or crosses the boundary of H, a series of initial hair sets are finally obtained as the initial static hairstyle model.
  • the method iteratively adds a new hair to fill the blank area, so that the final hair model is visually and physically as reliable as the original model.
  • the basic iterative process is: 1) by randomly selected sample points in the blank area H, generates a set of alternative hair ⁇ ; 2) ⁇ , check if a suitable alternative for each hair the hair e S e Partially close, if any, a pair of new hairs are created and added to S by shearing and recombining. Repeat these two steps until no suitable alternative hairline can be used.
  • the energy equation corresponding to the metric is defined as follows:
  • the Laplacian ⁇ of the vertex ⁇ is reflected by the geodetic distance weighting to reflect the vicinity of the joint
  • the degree of smoothness. ⁇ )) indicates the hair density value of the vicinity of ⁇ ).
  • Video-based dynamic hairstyle modeling Based on the static hairstyle model of step 3, the motion of the hairstyle in the video is calculated by tracking the movement of the head model and estimating the non-rigid deformation, and generating a dynamic hairstyle at each moment during the movement. The model, which naturally fits the real motion of the hairstyle in the video.
  • This method uses the Multi l inear model (VLASIC, D., BRAND, M., PFISTER, H., AND P0P0VIC, J. 2005. Face transfer with multi l inear models.
  • Video face replacement ACM Trans. Graph. 30 , 6, 130 : 1 _ 130 : 10.
  • this method For non-rigid transformation of hairstyles, this method is first used (LI, X., JIA, J., AND MATSUSHITA, Y. Motion detai l preserving optical flow estimation. TPAMI 34. 9 1744-1757.) The method calculates a dense optical flow V from time to ⁇ , (the two-dimensional position p at the moment corresponds to the position: p + V, (p) below).
  • the method additionally tracks a small number of reliable feature points from the initial frame r, which can be automatically detected by the Kanade-Lucas-Tomasi method or manually calibrated by the user. Subsequently, these sparse features are diffused to the entire image area by boundary retention (LANG, M., WANG, 0., AYDIN, T., SM0LIC, A., AND GROSS, M. 2012. for image-based graphics appl ications. ACM Trans. Graph. 31, 4.) is calculated from the initial frame to a r-dimensional deformation fields (warping flow) W of each of the other frames, ⁇ . In some cases, the method allows the user to interactively adjust the position of feature points in a frame due to motion blur, occlusion, or other reasons that cause tracking offsets. These corrections are then smoothly passed to the entire sequence, resulting in an accurate feature field.
  • boundary retention LAG, M., WANG, 0., AYDIN, T., SM0LIC, A., AND GROSS,
  • the method transforms all the hair vertices of a certain frame to obtain the dynamics at the current moment. Hair style model.
  • the non-rigid deformation field is defined by combining the optical flow field and the characteristic field as follows:
  • W, (v;) W; (p r ) - (p; - p where is the projected position to the XY plane.
  • Steps 3 and 4 of the method construct a static and dynamic hairstyle model for image and video data.
  • hair model data can be represented as a collection of a large number of hairline curves, each of which consists of a sequence of ordered vertices.
  • the method derives the result as the final result of the method by storing the result as a relevant file format.
  • the exported method results can be applied to all existing hair application systems, including the construction of virtual characters in movie effects and animation production, image editing in multimedia applications, special effects production, and virtual reality. Hair style design and virtual synthesis in the field.
  • All generated hairstyle models include large About 20 to 400,000 hairline curves, each individual hair is represented as a line segment with multiple vertices connected, and the vertex color is sampled from the original image. These hairs are expanded by the geometric shader during the actual rendering process. A polygon strip aligned with the screen for real-time rendering.
  • the results show that users typically only need to draw about 2 to 8 simple strokes to interact with a normal portrait.
  • images of approximately 500 x 800 size the system typically takes 2 minutes to perform all 3D modeling processes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像与视频的虚拟发型建模方法，该方法首先使用数码设备对目标人物进行数据采集，并分割得到图像中发型部分区域；然后求解图像发型方向场的方向歧义性问题，得到分布均匀、符合原图发型区域的静态发型模型，通过追踪头部模型运动并估算非刚性形变来计算视频中发型的运动，生成运动过程中每一时刻的动态发型模型，使其自然拟合视频中发型的真实运动；该方法用于对单幅图像及视频序列中的人物发型进行具物理合理性的虚拟三维模型重建，可广泛应用于数字媒体等相关领域中虚拟角色的创建以及诸多图像与视频的发型编辑应用中，如肖像立体化、发型运动仿真、交互式发型编辑等。

Description

一种图像与视频的虚拟发型建模方法
技术领域
本发明涉及虚拟人物建模以及图像视频编辑领域， 尤其涉及虚拟人物发型 建模以及图像视频中发型编辑方法。
背景技术
本发明相关的技术背景简述如下：
一、 虚拟人物的发型建模
尽管在业界的实际应用中， 已有许多软件可以辅助创作人员完成手工的虚 拟发型建模工作， 但是其往往极其复杂耗时， 需要熟练的技巧以及繁杂的手工 操作， 因此会大大延长产品的创作周期以及成本开销（WARD, K.， BERTAILS, F.， KIM, T. - Y.， MARSCHNER, S. R.， CANI, M. -P.， AND LIN, M. C. 2007. A survey on hair modeling : styl ing, simulation, and rendering. IEEE Transactions on Visualization and Computer Graphics 13, 2， 213 - 234. )。 于是， 在此 基础上， 一些现有方法尝试采集真实的发型图像来合成更为真实的发型模型并 减少工作量， 但是多数此类基于图像的建模方法需要采集不同光照、 不同视点 或不同焦距下的多张图像才可能得到足够真实的发型三维结构 （PARIS, S.， BRICE~N0， H.， AND SILL I ON, F. 2004. Capture of hair geometry from multiple images. ACM Trans. Graph. 23， 3， 712 - 719.； WEI, Y.， 0FEK, E.， QUAN, L.， AND SHUM, H. _Y. 2005. Modeling hair from multiple views. ACM Trans. Graph. 24， 3， 816 - 820.； PARIS, S.， CHANG, W.， K0ZHUSHNYAN, 0. I.， JAR0SZ, W.， MATUSIK, W. , ZWICKER, M.， AND DURAND, F. 2008. Hair photobooth : geometric and photometric acquisition of real hairstyles. ACM Trans. Graph. 27, 3， 30 : 1 - 30 : 9.； JAKOB, W. , MOON, J. T.， AND MARSCHNER, S. 2009. Capturing hair assemblies fiber by fiber. ACM Trans. Graph. 28, 5， 164 : 1 - 164 : 9. )。
Bonneel等人提出了一个发型外观估计方法，用以从单张室内闪光灯拍摄的 图片中得到统计上类似的三维发型模型 （BONNEEL, N.， PARIS, S.， PANNE, M. V. D.， DURAND, F.， AND DRETTAKIS, G. 2009. Single photo estimation of hair appearance. Computer Graphics Forum 28, 1171 - 1180. )， 但是其合成 的发型模型并不能在像素级别上拟合原图像中的人物发型， 因此并不适用于图 像发型编辑应用中。 Luo等人发现发丝方向特征通常比原始图像的像素颜色更为 可靠， 在多试点发型建模中使用方向信息来估计更准确的发型体 （LU0， L.， LI, H.， PARIS, S.， WEISE, T.， PAULY, M.， AND RUSINKIEWICZ, S. 2012. Multi-view hair capture using orientation fields. In Proc. CVPR 2012. ) , 但是此方 法生成的发型通过多边形网格来表示， 并不符合数字媒体产业对发型模型的质 量需求。 Beeler等人提出了一个同时采集稀疏面部毛发和被遮挡的皮面表面的 方法 （BEELER, T.， BICKEL, B.， NORIS, G.， BEARDSLEY, P.， MARSCHNER, S.， SUMNER, R. W.， AND GROSS, M. 2012. Coupled 3D reconstruction of sparse facial hair and skin. ACM Trans. Graph. 31， 4. )， 该方法得到的高质量建 模结果印证了毛发对刻画虚拟角色真实性的重要性， 但其只能应用于面部的稀 疏的较短毛发， 例如胡须与眉毛， 无法用于普通的头发。
与静态的发型建模相比， 视频中的动态发型建模则更为复杂， 在本领域中 仍是个尚待解决的问题。 Yamaguchi等人直接将多试点发型建模方法（WEI， Y.， OFEK, E.， QUAN, L.， AND SHUM, H. _Y. 2005. Model ing hair from multiple views. ACM Trans. Graph. 24， 3， 816 - 820. ) 进行扩展用以处理视频 (YAMAGUCHI, T.， WILBURN, B.， AND OFEK, E. 2009. Video based modeling of dynamic hair. In the 3rd Pacific Rim Symposium on Advances in Image and Video Technology, 585 - 596. )。 Zhang等人进一步使用基于物理的运动仿 真来改进初始重建的发型模型序列。 由于缺乏准确的发丝对应关系， 这些方法 结合多试点得到的动态发型模型会过约束发型的运动， 导致过分光滑的结果， 会与真实情况存在较大的出入。
二、 三维信息指导下的图像编辑
在面向个人娱乐产业的数字图像编辑应用中， 用户的输入通常仅仅是任意 的单幅图像。 由于缺少准确的三维信息， 从单幅图像重建准确的三维模型是不 适定问题， 但是现有的一些方法证明了使用适当的特定三维表示 （proxy) 可以 大大扩展可能的图像编辑操作的适用范围。 与通常的基于图像的建模技术不同， 这些三维表示往往被设计来更好刻画并代表特定类型对象的共有结构， 但并不 一定能准确地拟合真实的物体形状。
针对普通的场景图像， 业界常用的现有方法包括分层深度图 （0H， B. M.， CHEN, M.， DORSEY, J. , AND DURAND, F. 2001. Image-based modeling and photo editing. In Proc. SIGGRAPH, 433 - 442. )， 使用平面告示牌结构的图像立体 化 (H0IEM, D.， EFR0S, A. A.， AND HEBERT, M. 2005. Automatic photo pop-up. ACM Trans. Graph. 24, 3， 577 _ 584. )，使用长方体表示的合成物体插入（KARSCH, K.， HEDAU, V. , FORSYTH, D.， AND H0IEM, D. 2011. Rendering synthetic oob ject into legacy photographs. ACM Trans. Graph. 30， 6， 157 : 1 - 12. ) 以及以语义方式对图像中已有物体的编辑（ZHENG, Y.， CHEN, X.， CHENG, M. _M.， ZHOU, K.， HU， S.— M.， AND MITRA, N. J. 2012. Interactive images : Cuboid proxies for smart image manipulation. ACM Trans. Graph. 31, 4. )， 这些 方法的三维表示通常都较为简单， 用以粗略表示场景的大致三维信息， 效果往 往比较有限， 通常应用于电影的立体化处理等。
针对图像中的特定人体对象， 有更有效的三维表示方法。 Blanz 与 Vetter 提出了一种对图像人脸部分拟合参数化的可变形人脸模型 （morphable head model ) 的方法 (BLANZ, V. , AND VETTER, T. 1999. A morphable model for the synthesis of 3D faces. In Proc. SIGGRAPH ， 99. )， 使用这种低参数维度三 维人脸模型可以用于更真实的表情迁移（expression transfer) (YANG, F. , WANG, J. , SHECHTMAN, E.， BOURDEV, L.， AND METAXAS, D. 2011. Expression flow for 3D~aware face component transfer. ACM Trans. Graph. 30， 4， 60 : 1 - 60 : 10. )以及人脸替换（BITOUK, D.， KUMAR, N.， DHILLON, S.， BELHUMEUR, P. N.， AND NAYAR, S. K. 2008. Face Swapping : Automatically replacing faces in photographs. ACM Trans. Graph. 27, 39 : 1 - 39 : 8. ; DALE, K.， SUNKAVALLI, K.， JOHNSON, M. K.， VLASIC, D.， MATUSIK, W. , AND PFISTER, H. 2011. Video face replacement. ACM Trans. Graph. 30， 6， 130 : 1 - 130 : 10. ) 0 类似的， 通过使用完整身体的三维可变形模型， 可以实现图像与视频的参数化人体变形 (ZHOU, S.， FU, H.， LIU, L.， COHEN— 0R， D.， AND HAN, X. 2010. Parametric reshaping of human bodies in images. ACM Trans. Graph. 29, 4， 126 : 1 - 126 : 10.； JAIN, A.， TH0RM " AHLEN, T.， SEIDEL, H. - P.， AND THE0BALT, C. 2010. MovieReshape： Tracking and reshaping of humans in videos. ACM Trans. Graph. 29， 6， 148 : 1 - 148 : 10. ) 0 这些方法可应用于电影特效的制作 以及图像编辑处理等。 但是， 值得注意的是， 人脸与身体等部分通常比发型有 更明显的共性特征， 也更容易进行参数化拟合。
针对发型的三维表示， 最近 Chai等人提出了一个单视点的三维发型重建方 法 （CHAI， M.， WANG, L.， YU, Y.， WENG, Y.， GU0, B.， AND ZHOU, K. 2012. Single-view hair modeling for portrait manipulation. ACM Trans. Graph. 31, 4， 116 : 1 - 8. 但是这个方法仅仅通过大量空间发丝来拟合原图中的发型 区域， 并不能生成具有物理合理性的三维发型模型， 其结果难以被直接用于产 业的相关应用中。
发明内容
本发明的目的在于针对现有技术的不足， 提供一种图像与视频的发型建模 方法。 该方法可对单幅图像以及视频序列中的人物发型进行具物理合理性的三 维模型重建， 可广泛应用于数字媒体等产业中虚拟人物的创建以及诸多图像视 频发型编辑应用中， 如肖像立体化、 发型运动仿真、 交互式发型编辑等， 具有 很高的实用价值。
本发明的目的是通过以下技术方案来实现的： 一种图像与视频的虚拟发型 建模方法， 包括如下步骤：
( 1 ) 发型图像数据的采集与预处理： 使用数码设备对目标人物进行数据采集， 要求发型部分清晰完整， 并使用画笔选取工具分割得到图像中发型部分区域；
(2 ) 基于图像的发型方向场计算： 求解图像发型方向场的方向歧义性问题， 将 该无歧义的图像发型方向场结合空间发型体区域求解空间发型方向场；
(3 )静态发型模型的迭代构建： 通过以拟合的人物头部模型上定义的头皮区域 为发根位置， 于空间发型方向场内以发根采样点起始进行生长得到初始的发型 模型， 随后通过迭代方式改进该初始结果， 得到分布均匀、 符合原图发型区域 的静态发型模型；
(4) 基于视频的动态发型建模： 在步骤 3得到的静态发型模型的基础上， 通过 追踪头部模型运动并估算非刚性形变来计算视频中发型的运动， 生成运动过程 中每一时刻的动态发型模型， 使其自然拟合视频中发型的真实运动；
(5 ) 发型建模结果的导出： 将上述步骤的建模结果， 包括步骤 3得到的静态发 型模型以及步骤 4得到的动态发型模型， 导出与存储。
本发明的有益效果是， 本发明对单幅图像及视频序列中的虚拟人物发型进 行具物理真实性的三维模型重建， 可广泛应用于数字媒体与相关产业的虚拟人 物创建以及图像视频发型编辑中。 本发明首次提出了对基于图像的复杂发型的 具有物理合理性的三维建模方法， 在良好拟合原图像发型区域的同时保证生成 的发型模型符合其原本的物理特性， 即由头皮区域的发根位置生长的发丝曲线 构成， 且具合适且连续的长度与几何特性。 相比现有的基于图像的发型三维建 模技术， 本方法可以得到更高质量的发型模型， 满足许多复杂动态发型编辑应 用对模型的要求， 从而可用于更多应用领域， 达到先前方法难以达到的效果。 附图说明
图 1 是本发明发型建模过程的示意图， 图中， （a) 为原始采集图像以及用 户笔刷， （b )为初始发丝， （c )为求解方向后的发丝， （d )为初始发型模型， （e ) 为第一次迭代后的发型模型， （f ) 为最终模型渲染结果；
图 2是在静态发型建模中本发明方法与现有方法的比较示意图， 图中， （a) 为原始采集图像， （b ) 为方向场方法得到的结果， （c ) 为带方向歧义的结构张 量方法得到的结果， （C ) 为本方法得到的结果；
图 3是本发明中一些建模结果的示意图；
图 4是在动态发型建模中本方法与现有方法的比较示意图， 图中， （a) (b ) 为原始图像与初始发型建模结果， （c ) 为使用不符合物理真实性模型得到的结 果， （d ) 为只使用特征场得到的结果， （e ) 为只使用光流场得到的结果， （f ) 为本方法得到的结果；
图 5是本发明中一些视频发型编辑应用的示意图。
具体实施方式
本发明的核心是对单幅图像以及视频序列中的虚拟发型对象进行具有物理 合理性的三维模型重建方法。 本发明的核心方法主要分为如下五个部分： 发型 图像数据的采集与预处理、 基于图像的发型方向场计算方法、 静态发型模型的 迭代构建方法、 基于视频的动态发型建模方法以及发型建模结果的导出与应用。
1.发型图像数据的采集与预处理： 使用数码设备对目标人物进行数据采集， 要求发型部分清晰完整， 使用画笔选取工具分割得到图像中发型部分区域。
1. 1图像采集
本方法应用于普通的数码相片以及视频数据。 作为输入数据， 本方法需要 对真实的人物对象使用包括普通数码相机、 数码摄像机、 手机在内的具备拍摄 及摄录功能的数码设备进行拍摄与摄录， 以获得原始输入数据。 由于本方法的 主要操作对象为图像及视频中人物的发型对象， 因此本步骤要求采集图像中的 发型区域清晰完整。
1. 2用户辅助交互
由于图像中发型区域的内容及边界存在着复杂的形态特征， 很难鲁棒地进 行自动识别与分割， 因此本方法依赖少量的用户辅助交互来对数据进行预处理 以方便后续步骤的进行。通过采用画笔选取（paint selection)技术（LIU， J. , SUN, J.， AND SHUM, H. _Y. 2009. Paint selection. ACM Trans. Graph. 28， 3. )， 在发型区域内描绘少量笔画对图像进行分割， 得到发型区域 R^。
2.基于图像的发型方向场计算： 解决图像发型方向场的方向歧义性问题， 并将该无歧义的图像发丝方向场结合空间发型体区域求解空间发型方向场。
2. 1头部模型拟合
本方法采用基于图像特征点以及训练数据库的头部模型标定与拟合技术 ( CHAI, M.， WANG, L.， YU, Y.， WENG, Y.， GUO, B.， AND ZHOU, K. 2012. Single-view hair model ing for portrait manipulation. ACM Trans. Graph. 31， 4， 116 : 1 - 8. )， 通过 ASM (active shape model ) 方法自动标定人脸特征 点， 随后基于这些特征点与主元分析 (principle component analysis) 降维 后的三维头部模型数据库 （采用 FaceGen 软件内置数据）， 通过最小二乘 (least-squares)优化估算头部的变换参数同时拟合得到图像中的三维头部模 型。
2.2无方向二维发丝追踪
本方法使用一系列有向滤波函数 对 1.2步中得到的发型区域 进行 滤波操作， 其中每个滤波函数 用来检测角度 对应方向的响应值。 令 F( ,),^ = ( *I)(x ^表示 在像素 上的响应值。则像素 ( ,_y)上的局部方 向 为 =argmaX (F( ,3^)) ， 并求得 该局 部方 向 的 置信度 为 w(x，y) =F( ,3^x^ ^F( ,3,^。 在此二维方向场的基础上， 于发型区域内选 取置信值 w(xy)的局部最大值点 P作为种子点， 令其满足：
wp -maxfwp , wp )
WF > WM8h；
其中 wPi与 WPr为在垂直于 P上局部方向 的两边方向上， 通过双线性插值 方法采样得 j的临近置信度值。对于普通图片，令 v^ = 0.3， w = 0.05， f = 0.2。
对于任一选取的种子点 PS 及其局部方向^^，本方法同时从其相反的两个 方向上进行发丝追踪。类似现有的方法，每一步 d丝追踪都通过在当前位置 P沿 角度 对应的方向 vp， 向前延伸曲线：
P,+1 = P, + ^ Ρι； 最终得到一系列无方向二维发丝。
2.3求解方向歧义
本方法将 2.2 步得到的无方向二维发丝中的每个曲线; 表示为一个均匀分 布的发丝顶点列表， 其中; 表示; 的第 个顶点。 可以定义; 处原始的发丝 方向^为 ^到 的单位向量。 在步骤 2.2 中， 初始二维发丝的方向都是 随机指定的，可以将发丝的生长方向表示为 iiW = w，其中 。类似的， 步骤 1.2 中的用户交互笔画也可表示为同样的发丝方向， 但由于其本身是准确 的， 我们将 替换为全局参数 wm = 10。
对每条发丝曲线 γι定义分数 Ρ形如：
Figure imgf000007_0001
其中 NiW包括邻近 ^的所有已求解得到方向的非处于同一发丝上的所有 发丝顶点。 求解如下的二值整数优化问题 （binary integer programming) :
arg max P(^ )；
W
本方法通过如下的贪婪算法来近似求解这个 NP 完全问题 （NP-complete problem) : 将所有发丝划分为已求解、 求解中的与未求解的三个集合， 在算法 开始时， 求解中的与未求解的集合均为空， 以求解的集合仅包含用户的辅助笔 画。 算法反复进行如下步骤直至所有发丝都被求解：
( 1 ) 选取每个与任一以求解发丝顶点相邻的未求解发丝: 并移至求解中 集合构成的堆 （heap) 结构中， 并令其得分为
Figure imgf000008_0001
(2 ) 从求解中发丝中选取分值最大的; κ,， 选取 吏得 Ρ ,)非负， 并将; ,移至已解决集合中；
(3 ) 更新第 （2 ) 步中移至已解决集中的; 的所有相邻求解中发丝的得分。 2. 4发型体的构建
本方法采用单视点发型建模方法 （CHAI， Μ.， WANG, L.， YU, Y.， WENG, Y.， GUO, B.， AND ZHOU, K. 2012. Single-view hair modeling for portrait manipulation. ACM Trans. Graph. 31， 4， 116 : 1 _ 8. ) 求解二维发丝的深度 信息， 构建发型体 （hair volume) 在空间中的区域定义 H e M3为封闭的发型区 域减去 2. 1中头部模型所在区域。
2. 5求解空间发型方向场
在 2. 4步中得到的发型体 H内部， 构建一个均一空间网格， 通过如下的优 化方法求解离散的无方向歧义的空间矢量场 /) :令在网格单元 处的三维方向向 量为 v,， 优化的能量方程表示为：
Figure imgf000008_0002
其中 Δ为离散拉普拉斯算子 （Laplacian operator ), C为所有存在方向约 束 c,的网格单元集合， ^为控制约束权重的参数， 本方法令^ = 10。 定义方向 约束如下： 将所有二维带方向发丝曲线投影至 H的边界表面， 生成的三维曲线 的切向量存储于所在网格单元处。 同时， 对所有靠近头皮区域的网格令其约束 方向为所在头皮的法向量。
3.静态发型模型的迭代构建： 以拟合的头部模型上定义的头皮区域为发根 位置， 于空间发型方向场内以发根采样点起始进行生长得到初始的发型模型， 随后通过迭代方式改进该初始结果， 得到分布均匀、 符合原图发型区域的静态 发型模型。 3. 1头皮参数化
作为静态发型模型构建的开始， 本方法首先在 2. 1 步中拟合得到的头部模 型上定义发根分布的头皮区域， 为了使该头皮区域能符合特定图像中的发型区 域， 将头皮区域与发型区域相交部分进一步排除。 在头皮区域对应的二维参数 空间内使用 (WANG, L.， YU, Y.， ZHOU, K.， AND GUO, B. 2009. Example-based hair geometry synthes i s. ACM Transact i ons on Graphic s 28, 3， 56 : 1 _ 9. ) 中方法均匀采样得到发根位置 并反投回三维空间中。
3. 2初始模型构建
从 3. 1 中得到的参数化头皮上的发根位置开始， 按照 2. 5步中得到的空间 发型方向场 D通过二阶 Runge-Kutta法 （second-order Runge-Kutta ) 延长初 始发丝， 直至其长度超过特定最大发丝长度或越过 H的边界， 最后得到一系列 初始发丝集合 ^作为初始静态发型模型。
3. 3迭代改进
给定 3. 2步得到的初始静态发型模型^本方法迭代地对其增加新的发丝来 填补 中的空白区域， 使得最终的发型模型在视觉和物理上均同初始模型一样 可信。 基本的迭代过程为： 1 )通过在 H的空白区域中随机选取采样点， 生成一 个备选发丝集合^ ; 2 )对每个备选发丝 e ^， 检查是否有合适的发丝 e S部 分靠近 ，如果有， 则对 与 进行剪切与重组生成一个合并的新发丝 并将其 添加至 S中。 重复这两步直至没有合适的备选发丝可被使用。
令 || ||表示发丝 中的顶点数量， ^为 中的第 个顶点（从发根开始计数）。 剪切重组过程分别寻找一对已有发丝 与备选发丝 对在空间相邻的两个顶点 ^与 ξ、， 并生成新 使得：
Figure imgf000009_0001
其中 '靠近发根的部分总是来自于已有的发丝，使得 保证位于头皮表面。 为了选取合适的发丝 e S以及对应的顶点来进行剪切重组， 本方法定义衡量标 准对应的能量方程如下：
Figure imgf000009_0002
其中顶点 ^的拉普拉斯算子 Δ通过到 的测地距离加权来反映接点附近 的光滑程度。 ^^))表示^)附近区域的发丝密度值。 本方法使用 ^ = 1且密度 权重 = 0.01。对每个备选发丝，本方法以预先定义的搜索半径在 S中遍历其所 有的临近顶点寻找一个接点使得能量最小。 为了提高连接后新发丝的光滑程度， 本方法对 '中靠近接点的顶点进行低通滤波 （low-pass fi lter ) , 得到改进后 的静态发型模型。
4.基于视频的动态发型建模： 在步骤 3 的静态发型模型的基础上， 通过追 踪头部模型运动并估算非刚性形变来计算视频中发型的运动， 生成运动过程中 每一时刻的动态发型模型， 使其自然拟合视频中发型的真实运动。
4. 1初始模型构建
首先选取输入视频序列的某初始帧 r使用步骤 1〜3的方法构建该时刻的静 态发型模型 。
4. 2头部运动追踪
本方法使用多重线性头部模型 (Multi l inear model ) (VLASIC, D.， BRAND, M.， PFISTER, H.， AND P0P0VIC, J. 2005. Face transfer with multi l inear models. ACM Trans. Graph. 24， 3， 426 - 433.； DALE, K.， SUNKAVALLI, K.， JOHNSON, M. K.， VLASIC, D.， MATUSIK, W. , AND PFISTER, H. 2011. Video face replacement. ACM Trans. Graph. 30， 6， 130 : 1 _ 130 : 10. ) 来追踪视频中的 头部运动 Μ,.作为时间 η下的刚性变换 （rigid transformation )o
4. 3光流场计算
对于发型的非刚性变换（non-rigid transformation) ,本方法首先使用（LI， X. , JIA, J. , AND MATSUSHITA, Y. Motion detai l preserving optical flow estimation. TPAMI 34. 9 1744-1757. ) 的方法计算从时刻 到 η的稠密光流场 (optical flow) V, (时刻 下的二维位置 p对应于时刻 ：下的位置 p + V, (p) )。
4. 4特征场计算
由于误差的累积， 光流场会随着时间逐渐变得越来越不精确， 尤其是在靠 近发型区域边界的位置。为了修正这个问题， 本方法另外从初始帧 r开始追踪少 量可靠的特征点， 这些特征点可以由 Kanade-Lucas-Tomasi方法自动检测得到， 也可由用户手工标定。 随后， 将这些稀疏的特征对应通过边界保持的方式扩散 到整幅图像区域 （LANG, M.， WANG, 0.， AYDIN, T.， SM0LIC, A.， AND GROSS, M. 2012. Practical temporal consistency for image-based graphics appl ications. ACM Trans. Graph. 31， 4. ) 来计算一个从初始帧 r到其它各帧 的二维变形场 （warping flow) W,†。 在某些情况下， 由于运动模糊、 遮挡或 是其它原因导致追踪偏移， 本方法允许用户交互地调整某帧中的特征点位置， 随后将这些修正光滑地传递至整个序列， 得到准确的特征场。
4. 5动态发丝变形
在上述步骤 4. 2、 4. 3、 4. 4计算得到的刚性变换、 光流场、 特征场的基础 上， 本方法对某一帧的所有发丝顶点进行变换从而得到当前时刻下的动态发型 模型。
首先结合光流场与特征场定义非刚性变形场 如下：
W.* (p ) = 0.5W.D(p ) + 0.5 [w.^ (p ) + V. (p + W.^ (p w; (p) = Wr D(p) = Vr (p) = 0 ; 令 与 分别表示初始发型模型中发丝顶点的三维位置与到 XY 平面上的 投影位置。 为计算时刻 下该顶点的变形位置， 本方法首先使用 4. 2步中得到的 刚性变换 M,， 得到 = M, ， 使得发型模型能够与头部运动较好地对齐。
随后对 计算二维偏移向量如下：
W, (v;) = W; (pr) - (p; - p 其中 为 到 XY平面的投影位置。
最后得到动态顶点位置为 v, = + ;5W, ^.)， 其中^为发根为 0渐变到发尖 为 1的权值函数， 以保证发根永远位于头皮表面。
5.发型建模结果的导出与应用： 将上述步骤的建模结果以通用格式导出与 存储， 并导入其他多媒体、 数字娱乐产业系统的相关应用之中作后续用途。
5. 1结果的导出
本方法的步骤 3、 4对图像及视频数据构建静态与动态的发型模型。 与业界 的通用数据格式相兼容， 具体可以将发型模型数据表示为大量发丝曲线的集合， 而其中每个发丝都是由一串有序顶点构成。 本方法通过将结果存储为相关文件 格式作为本方法的最终结果导出形式。
5. 2结果的应用
作为通用的发型对象表示形式， 导出后的本方法结果可以应用于所有已有 的发型应用系统中， 包括电影特效与动漫制作中虚拟人物的构建、 多媒体应用 中的图片编辑、 特效制作以及虚拟现实领域的发型设计与虚拟合成等。
实施实例
发明人在一台配备 Intel Xeon E5620中央处理器， NVidia GTX680图形处 理器的机器上实现了本发明的实施实例。 发明人采用所有在具体实施方式中列 出的参数值， 得到了附图中所示的所有实验结果。 所有生成的发型模型包括大 约 20到 40万个发丝曲线， 每个单独的发丝都表示为一条多个顶点相连的线段， 并从原始图像中采样顶点颜色， 实际渲染过程中这些发丝都通过几何着色器扩 展成与屏幕对齐的多边形带进行实时渲染。
发明人邀请了一些用户来测试本方法的原型系统。 结果表明， 用户一般只 需要大约绘制 2 至 8 个简单笔画来对一张普通的肖像进行交互操作。 对大约 500 x 800大小的图像， 系统通常需要 2分钟时间来进行所有三维建模过程。

Claims

权 利 要 求 书
1.一种图像与视频的虚拟发型建模方法， 其特征在于， 包括如下步骤：
( 1 ) 发型图像数据的采集与预处理： 使用数码设备对目标人物进行数据采集， 要求发型部分清晰完整， 并使用画笔选取工具分割得到图像中发型部分区域；
(2 ) 基于图像的发型方向场计算： 求解图像发型方向场的方向歧义性问题， 将 该无歧义的图像发型方向场结合空间发型体区域求解空间发型方向场；
(3 )静态发型模型的迭代构建： 通过以拟合的人物头部模型上定义的头皮区域 为发根位置， 于空间发型方向场内以发根采样点起始进行生长得到初始的发型 模型， 随后通过迭代方式改进该初始结果， 得到分布均匀、 符合原图发型区域 的静态发型模型；
(4) 基于视频的动态发型建模： 在步骤 3得到的静态发型模型的基础上， 通过 追踪头部模型运动并估算非刚性形变来计算视频中发型的运动， 生成运动过程 中每一时刻的动态发型模型， 使其自然拟合视频中发型的真实运动；
(5) 发型建模结果的导出： 将上述步骤的建模结果， 包括步骤 3得到的静态发 型模型以及步骤 4得到的动态发型模型， 导出与存储。
2.根据权利要求 1 所述的图像与视频的虚拟发型建模方法， 其特征在于， 所述 步骤 2包括如下子步骤：
(2. 1 ) 对输入图像中人物头部区域自动拟合三维人头模型；
(2. 2 )在步骤 1分割得到的发型区域内计算稀疏的图像发型方向场， 并基于此 追踪得到一系列二维发丝曲线；
(2. 3 ) 求解二维发丝的方向信息， 得到无方向歧义的二维发丝集合；
(2. 4)利用步骤 2. 3获得的无方向歧义的二维发丝与步骤 2. 1拟合得到的人头 模型估算发丝的深度信息并构建空间中的头发体；
(2. 5)在步骤 2. 4的头发体内构建空间网格， 求解定义在该网格单元上的空间 发型方向场。
3.根据权利要求 2所述的图像与视频的虚拟发型建模方法， 其特征在于， 所述 步骤 3包括如下子步骤：
(3. 1 ) 基于步骤 2. 1中得到的拟合三维人头模型， 对其上的头皮区域进行二维 参数化构建， 并均匀采样得到初始发根位置；
(3. 2 ) 以步骤 3. 1中发根为起始点于步骤 2. 5得到的空间发型方向场为生长方 向定义追踪所有发丝直至结束， 得到初始静态发型模型； (3. 3 ) 以如下方式进行迭代改进： 在空间中发型体内采样得到备选发丝的初始 位置， 以双向追踪的方式得到一系列备选发丝， 对当前发型模型与所有备选发 丝进行剪切与重组得到改进的静态发型模型。
4.根据权利要求 1 所述的图像与视频的虚拟发型建模方法， 其特征在于， 所述 步骤 4包括如下子步骤：
(4. 1 ) 对输入视频序列的参考帧构建静态发型模型；
(4. 2 ) 追踪头部模型的运动得到各帧相对参考帧的刚性变换；
(4. 3 ) 对视频序列中各帧求解参考帧到该帧的稠密光流场；
(4. 4)在图像的发型区域中通过自动检测或用户指定的方式指定可靠的特征点 位置， 追踪这些特征点得到稀疏的特征对应关系， 将该稀疏特征对应关系通过 保持边缘的滤波方法扩散到整个图像区域中得到特征场；
(4. 5)对视频序列的每一帧， 首先依据步骤 4. 2得到的刚性变换对步骤 4. 1得 到的发型模型进行三维对齐， 随后结合步骤 4. 3得到的光流场和步骤 4. 4得到 的特征场生成二维变形场， 对刚体对齐后的发型模型所有顶点进行变形偏移并 保持发丝的连续性得到该帧的动态发型模型。
PCT/CN2013/075129 2013-02-02 2013-05-03 一种图像与视频的虚拟发型建模方法 Ceased WO2014117447A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/536,571 US9792725B2 (en) 2013-02-02 2014-11-07 Method for image and video virtual hairstyle modeling

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310047151.8 2013-02-02
CN201310047151.8A CN103606186B (zh) 2013-02-02 2013-02-02 一种图像与视频的虚拟发型建模方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/536,571 Continuation US9792725B2 (en) 2013-02-02 2014-11-07 Method for image and video virtual hairstyle modeling

Publications (1)

Publication Number Publication Date
WO2014117447A1 true WO2014117447A1 (zh) 2014-08-07

Family

ID=50124406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/075129 Ceased WO2014117447A1 (zh) 2013-02-02 2013-05-03 一种图像与视频的虚拟发型建模方法

Country Status (3)

Country Link
US (1) US9792725B2 (zh)
CN (1) CN103606186B (zh)
WO (1) WO2014117447A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560750A (zh) * 2016-12-30 2017-04-12 贵州大学 一种面向微网与分布式电源的数字物理混合仿真装置
CN111598902A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像分割方法、装置、电子设备及计算机可读介质
CN111899159A (zh) * 2020-07-31 2020-11-06 北京百度网讯科技有限公司 用于变换发型的方法、装置、设备以及存储介质
CN114881845A (zh) * 2022-05-17 2022-08-09 北京字跳网络技术有限公司 特效展示方法、装置、电子设备及存储介质
CN117523077A (zh) * 2022-07-27 2024-02-06 华为技术有限公司 一种虚拟形象生成方法及装置

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606186B (zh) 2013-02-02 2016-03-30 浙江大学 一种图像与视频的虚拟发型建模方法
CN104376597B (zh) * 2014-12-05 2017-03-29 北京航空航天大学 一种基于多方向约束的头发重建方法
US10311623B2 (en) * 2015-02-15 2019-06-04 Zhejiang University Real-time animation method for hair-object collisions
US9679192B2 (en) * 2015-04-24 2017-06-13 Adobe Systems Incorporated 3-dimensional portrait reconstruction from a single photo
WO2017040615A1 (en) * 2015-09-04 2017-03-09 Restoration Robotics, Inc. Methods, systems and instruments for creating partial model of a head for use in hair transplantation
US9460557B1 (en) * 2016-03-07 2016-10-04 Bao Tran Systems and methods for footwear fitting
WO2017156746A1 (en) * 2016-03-17 2017-09-21 Intel Corporation Simulating motion of complex objects in response to connected structure motion
CN107615337B (zh) * 2016-04-28 2020-08-25 华为技术有限公司 一种三维头发建模方法及装置
CN106023288B (zh) * 2016-05-18 2019-11-15 浙江大学 一种基于图像的动态替身构造方法
CN107886516B (zh) * 2017-11-30 2020-05-15 厦门美图之家科技有限公司 一种计算人像中发丝走向的方法及计算设备
CN108399651B (zh) * 2018-02-09 2021-08-06 武汉技兴科技有限公司 一种人体发型三维建模及模型复用的方法
CN108629781B (zh) * 2018-04-24 2022-04-22 成都品果科技有限公司 一种头发绘制方法
CN108712661B (zh) * 2018-05-28 2022-02-25 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN109087377B (zh) * 2018-08-03 2019-11-12 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN109242972B (zh) * 2018-08-14 2022-11-04 重庆大学 一种基于顶点特征的双法向网格模型光顺方法
CN109063689B (zh) * 2018-08-31 2022-04-05 江苏航天大为科技股份有限公司 人脸图像发型检测方法
CN109104602A (zh) * 2018-09-26 2018-12-28 成都工业学院 一种立体场景拍摄装置
CN109785367B (zh) * 2019-01-21 2019-12-20 视辰信息科技(上海)有限公司 三维模型追踪中外点滤除方法和装置
CN110472605B (zh) * 2019-08-21 2022-10-14 广州纳丽生物科技有限公司 一种基于深度学习人脸分区的皮肤问题分类方法
CN113516743A (zh) * 2020-03-27 2021-10-19 北京达佳互联信息技术有限公司 头发的渲染方法、装置、电子设备及存储介质
US11805157B2 (en) * 2020-05-12 2023-10-31 True Meeting Inc. Sharing content during a virtual 3D video conference
CN113763228B (zh) * 2020-06-01 2024-03-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111586444B (zh) * 2020-06-05 2022-03-15 广州繁星互娱信息科技有限公司 视频处理方法、装置、电子设备及存储介质
CN111784807B (zh) * 2020-07-03 2024-07-16 珠海金山数字网络科技有限公司 一种虚拟角色的绘制方法及装置
US11328466B2 (en) * 2020-10-07 2022-05-10 Unity Technologies Sf Method and user interface for generating tangent vector fields usable for generating computer generated imagery
CN112767531B (zh) * 2020-12-30 2022-04-29 浙江大学 面向移动端的虚拟试衣的人体模型脸部分区域建模方法
CN112862934B (zh) * 2021-02-04 2022-07-08 北京百度网讯科技有限公司 用于处理动画的方法、装置、设备、介质和产品
CN112862807B (zh) * 2021-03-08 2024-06-25 网易（杭州）网络有限公司 基于头发图像的数据处理方法及装置
CN113269888B (zh) * 2021-05-25 2022-08-19 山东大学 一种发型三维建模方法、人物三维建模方法及系统
CN113642102B (zh) * 2021-07-23 2024-03-15 一汽奔腾轿车有限公司 一种碰撞模型中刚体对的自动化建模方法
CN113593018A (zh) * 2021-08-07 2021-11-02 王海敏 一种发型设计修剪方法及系统
CN114638754B (zh) * 2022-03-11 2025-06-03 北京奇艺世纪科技有限公司 一种虚拟试衣视频生成方法、装置、设备及介质
CN114758391B (zh) * 2022-04-08 2023-09-12 北京百度网讯科技有限公司 发型图像确定方法、装置、电子设备、存储介质及产品
CN115311403B (zh) * 2022-08-26 2023-08-08 北京百度网讯科技有限公司 深度学习网络的训练方法、虚拟形象生成方法及装置
CN116894917B (zh) * 2023-06-20 2024-10-18 北京百度网讯科技有限公司 虚拟形象的三维发丝模型的生成方法、装置、设备和介质
US20250234981A1 (en) * 2024-01-23 2025-07-24 L'oreal Method and system for 3d hair virtual try on using physics simulation
CN120852605B (zh) * 2025-09-25 2026-01-13 杭州秋果计划科技有限公司 一种高斯数字人重建方法、设备及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344373A (zh) * 2008-08-14 2009-01-14 中国人民解放军总后勤部军需装备研究所 一种基于三维头面部曲面建模的标准化处理方法
CN102419868A (zh) * 2010-09-28 2012-04-18 三星电子株式会社 基于3d头发模板进行3d头发建模的设备和方法
CN102663820A (zh) * 2012-04-28 2012-09-12 清华大学 三维头部模型重建方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04344575A (ja) * 1991-05-21 1992-12-01 Hitachi Ltd 頭髪のモデリング方法および装置
US7450122B2 (en) * 2004-03-25 2008-11-11 Pixar Volumetric hair rendering
KR100940862B1 (ko) * 2007-12-17 2010-02-09 한국전자통신연구원 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법
US8238639B2 (en) * 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
US8384714B2 (en) * 2008-05-13 2013-02-26 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for motion capture using video imaging
JP5269707B2 (ja) * 2009-07-01 2013-08-21 富士フイルム株式会社 画像合成装置及び方法
US9317970B2 (en) * 2010-01-18 2016-04-19 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
US9098944B2 (en) * 2010-03-04 2015-08-04 Pixar Scale separation in hair dynamics
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
US9036898B1 (en) * 2011-01-18 2015-05-19 Disney Enterprises, Inc. High-quality passive performance capture using anchor frames
CN102800129B (zh) * 2012-06-20 2015-09-30 浙江大学 一种基于单幅图像的头发建模和肖像编辑方法
CN103606186B (zh) 2013-02-02 2016-03-30 浙江大学 一种图像与视频的虚拟发型建模方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344373A (zh) * 2008-08-14 2009-01-14 中国人民解放军总后勤部军需装备研究所 一种基于三维头面部曲面建模的标准化处理方法
CN102419868A (zh) * 2010-09-28 2012-04-18 三星电子株式会社 基于3d头发模板进行3d头发建模的设备和方法
CN102663820A (zh) * 2012-04-28 2012-09-12 清华大学 三维头部模型重建方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560750A (zh) * 2016-12-30 2017-04-12 贵州大学 一种面向微网与分布式电源的数字物理混合仿真装置
CN106560750B (zh) * 2016-12-30 2023-05-09 贵州大学 一种面向微网与分布式电源的数字物理混合仿真装置
CN111598902A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像分割方法、装置、电子设备及计算机可读介质
CN111598902B (zh) * 2020-05-20 2023-05-30 抖音视界有限公司 图像分割方法、装置、电子设备及计算机可读介质
CN111899159A (zh) * 2020-07-31 2020-11-06 北京百度网讯科技有限公司 用于变换发型的方法、装置、设备以及存储介质
CN111899159B (zh) * 2020-07-31 2023-12-22 北京百度网讯科技有限公司 用于变换发型的方法、装置、设备以及存储介质
CN114881845A (zh) * 2022-05-17 2022-08-09 北京字跳网络技术有限公司 特效展示方法、装置、电子设备及存储介质
CN117523077A (zh) * 2022-07-27 2024-02-06 华为技术有限公司 一种虚拟形象生成方法及装置

Also Published As

Publication number Publication date
US9792725B2 (en) 2017-10-17
CN103606186A (zh) 2014-02-26
CN103606186B (zh) 2016-03-30
US20150054825A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
WO2014117447A1 (zh) 一种图像与视频的虚拟发型建模方法
Bao et al. High-fidelity 3d digital human head creation from rgb-d selfies
Zhou et al. Hairnet: Single-view hair reconstruction using convolutional neural networks
Chai et al. Dynamic hair manipulation in images and videos
CN103021017B (zh) 基于gpu加速的三维场景重建方法
Cheng et al. Intelligent visual media processing: When graphics meets vision
Zhang et al. A data-driven approach to four-view image-based hair modeling.
CN110458939A (zh) 基于视角生成的室内场景建模方法
CN103366400B (zh) 一种三维头像自动生成方法
Hu et al. Capturing braided hairstyles
WO2013189101A1 (zh) 一种基于单幅图像的头发建模和肖像编辑方法
Xu et al. Dynamic hair capture using spacetime optimization
US12361663B2 (en) Dynamic facial hair capture of a subject
Yeh et al. 2.5 D cartoon hair modeling and manipulation
CN101493953A (zh) 一种交互式三维卡通人脸生成方法及装置
Bao et al. A survey of image-based techniques for hair modeling
Shih et al. Modeling ambient scene dynamics for free-view synthesis
Lee et al. Geoavatar: Geometrically-consistent multi-person avatar reconstruction from sparse multi-view videos
Wu et al. Photogrammetric reconstruction of free-form objects with curvilinear structures
Long et al. TANGLED: Generating 3D Hair Strands from Images with Arbitrary Styles and Viewpoints
Bao et al. Realistic hair modeling from a hybrid orientation field
Chi et al. Dynamic 3D facial expression modeling using Laplacian smooth and multi-scale mesh matching
Sun et al. Weakly-supervised reconstruction of 3d objects with large shape variation from single in-the-wild images
Ren et al. Efficient facial reconstruction and real-time expression for VR interaction using RGB-D videos
CN116993924B (zh) 三维场景建模方法及装置、存储介质、计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13873528

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13873528

Country of ref document: EP

Kind code of ref document: A1