WO2012027904A1 - 从照片合成肖像素描的系统和方法 - Google Patents

从照片合成肖像素描的系统和方法 Download PDF

Info

Publication number
WO2012027904A1
WO2012027904A1 PCT/CN2010/076605 CN2010076605W WO2012027904A1 WO 2012027904 A1 WO2012027904 A1 WO 2012027904A1 CN 2010076605 W CN2010076605 W CN 2010076605W WO 2012027904 A1 WO2012027904 A1 WO 2012027904A1
Authority
WO
WIPO (PCT)
Prior art keywords
photo
sketch
training set
block
information
Prior art date
Application number
PCT/CN2010/076605
Other languages
English (en)
French (fr)
Inventor
王晓刚
汤晓鸥
张伟
Original Assignee
Wang Xiaogang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wang Xiaogang filed Critical Wang Xiaogang
Priority to PCT/CN2010/076605 priority Critical patent/WO2012027904A1/zh
Priority to EP10856591.2A priority patent/EP2613294A1/en
Priority to CN201080068894.8A priority patent/CN103080979B/zh
Priority to US13/820,729 priority patent/US9569699B2/en
Priority to JP2013526296A priority patent/JP2013536960A/ja
Publication of WO2012027904A1 publication Critical patent/WO2012027904A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Definitions

  • the present application relates to systems and methods for synthesizing portrait sketches from photographs. Background technique
  • the present application discloses a method of synthesizing a portrait sketch from a photo, comprising: dividing a test photo into a plurality of test photo blocks;
  • the determined training set sketch image block is synthesized into a portrait sketch image.
  • the step of determining a best matching training set sketch image for each test photo block may further include:
  • the best matching training set sketch image is determined for each test photo block by optimizing the established Markov random field model.
  • the present application also discloses a method for synthesizing a portrait sketch from a photo, comprising:
  • the determined training sketch image blocks are synthesized into a portrait sketch image.
  • the step of determining a best matching training set sketch image for each test photo block may include:
  • the present application discloses such a method of synthesizing a portrait sketch from a photo, which can include:
  • the Markov random field model includes shape prior information of each of the test photos, each Determining first matching information between the test photo block and the photo block of the training set photo, and second matching information between each of the test photo block and the image block of the training set sketch image;
  • the selected training sketch image blocks are synthesized into a portrait sketch image.
  • a system for synthesizing a portrait sketch from a photo disclosed herein includes:
  • a photo-photo matching module that determines first matching information between each test photo block and a pre-segmented photo block of the plurality of training set photos
  • a photo-pixel matching module which determines second matching information between each test photo block and a pre-divided image block in the plurality of training set sketch images
  • a prior information determining module determining shape prior information of the sketch image to be synthesized; and an optimization module, determining, for each test photo block, based on the first matching information, the second matching information, and the shape prior information a best matching training set sketch image; and a synthesis module that synthesizes the determined training set sketch image block into a portrait sketch image.
  • the optimization module is configured to establish a Markov random field model based on the first matching information, the second matching information, and the shape prior information, and optimize the established Marco The husband's random field model determines the best matching training set sketch image for each test photo block.
  • the above system for synthesizing portrait sketches from photos may further include a smoothing module for The gray level consistency information between two adjacent training set image blocks and the gradient consistency information of two adjacent training set sketch image blocks are determined.
  • the optimization module is configured to establish a Markov random field model based on the first and second matching information, shape prior information, gray level consistency information, and gradient consistency information, and optimize The established Markov random field model determines the best matching training set sketch image for each test photo block.
  • FIG. 1 shows a method of synthesizing a portrait sketch from a photo in accordance with one embodiment of the present application.
  • Figure 2 shows a schematic diagram of the Markov random field network model.
  • Figure 3 illustrates a system for synthesizing a portrait sketch from a photo in accordance with one embodiment of the present application. detailed description
  • step S101 in which the input test photo can be divided into N photo blocks.
  • the test photo is divided into N equally spaced overlapping photo blocks.
  • all of the photos and the sketch images described below are pre-processed by panning, rotating, and zooming prior to segmentation so that the center of both eyes is in a fixed position.
  • the image can be truncated to a size of 250x200 with the positions of the center of the eyes being (75, 125) and (125, 125). All color images are converted to grayscale images.
  • the above algorithm may not require a pre-processing step if the illumination is near positive.
  • the contrast-limited adaptive histogram (CLAHE) can be used for pre-processing.
  • step S102 based on the N image blocks divided in step S101, 'a Markov random field (MRF) network model is established for each of the test photo blocks by a plurality of training set photos and a training set sketch image.
  • MRF Markov random field
  • Each node in the MRF network is an image block of the test photo.
  • FIG. 2 shows a schematic diagram of the MRF network model formed above.
  • the energy function of the MRF model is as follows
  • ⁇ is the set of adjacent image block pairs
  • ( , ⁇ ) is a local evidence function
  • ( , ⁇ ) is a shape prior function
  • ( , is an adjacent consistency function, which will be described separately below.
  • a dual-scale MRF can be used, in which case the two-layer image block size of the test photo and the training set photo can be, for example, 10 X 10 and 20 x 20, respectively.
  • the following is illustrated by a single-scale MRF model.
  • the above MRF model is optimized to select the best matching training sketch image block for each test photo block in the plurality of training sketch images.
  • the above-mentioned MRF model may be optimized by a confidence transfer algorithm, that is, by obtaining the minimum value of E ⁇ yi ⁇ ⁇ ) in the formula (1), the best-matched portrait block of the image block xf of the input photo is obtained.
  • the confidence transfer algorithm can use the maximum a posteriori estimate, as it is prior art and therefore will not be described again.
  • a candidate block pre-selection algorithm can also be used before optimizing the MRF model.
  • the block is selected in the 25 25 area around the image block instead of the entire image.
  • step S104 the selected training sketch image blocks are synthesized into a portrait sketch image.
  • a minimum error boundary segmentation algorithm can be applied to the overlapping regions of two overlapping image blocks, which is a commonly used algorithm in texture synthesis.
  • Embodiment 2 according to the present application is similar to Embodiment 1 described above, except that the MRF model established in step S102 is:
  • the role of the local evidence function is to find a matching sketch image block of the test photo image block xf from the training library. Since photographs and sketch images have different shapes, it is very difficult to directly match them, so it is usually used to train a block of photo images corresponding to the sketch image block s . Assume that if W is very close, it is probably a good approximation of the synthetic target sketch image block.
  • the present application proposes to simultaneously calculate the degree of matching between the test photo image block and the training photo image block and the training sketch image block, that is, the local evidence function is defined as the photo-photograph square difference distance d L 2 1 and the photo-image variance distance d L 2 2 weighted sum,
  • d represents the squared internal distance between the test photo block xf and the training set photo block ⁇ ;
  • ⁇ £. 2 is a weight, and in one embodiment, an integer 2 can be taken.
  • the above partial evidence function includes the following two aspects.
  • L i matches from the photo image block to the photo image block d [i «, y ⁇ ).
  • the intra-morphological distance between photo image blocks is not always a good choice for sketch image blocks. Similar photo image blocks at Euclidean distance may correspond to very different sketch image blocks. Interestingly, people can always match photos and sketches directly.
  • the application proposes an inter-form distance between the test photo image block and the training sketch image block to improve the accuracy of the selection. Since photos and sketches vary greatly visually, it is not easy to match them directly. However, there are some similarities in their gradient directions. Therefore, the following steps are used to obtain the inter-morphological distance between the photo image block and the prime image block.
  • the dense SIFT descriptor for each test photo block which is a descriptor belonging to the direction histogram. See, for example, Lowe, D.: Distinctive image features from scale-invariant keypoints. IJCV 60, 91-110 (2004).
  • a dense SIFT descriptor for each image block is computed, and then the Euclidean distance of the determined dense SIFT descriptor is obtained and used as the inter-form distance of the photographic image block and the corresponding sketch image block.
  • descriptors are extracted over a larger area than the image block.
  • each image block it is extracted in an area of 36x36 (image block size 10x10) coincident with the center of the image block, and this area is divided into 4 X 4 spatial sections of the same size.
  • the 8 directions are at 0. -360. Equally spaced.
  • the L2 norm is normalized, truncated with a domain value of 0.2, and then renormalized. See, for example, Lowe, D.: Distinctive image features from scale-invariant keypoints. IJCV 60, 91-110 (2004).
  • the face image is a special kind of image, which has a very regular structure; therefore, the shape of the different parts can be used to effectively improve the synthesis effect. Since the global structure is not considered, the lack of some face structures, especially the contours, is a common problem in image block-based sketch synthesis. When this problem occurs, the line positions of some face parts are combined into blank blocks. This problem is especially noticeable when lighting and posture change. However, using prior information to guide the selection of sketch image blocks can effectively reduce this problem.
  • the predefined feature points are first detected on the training set sketch image and the test photo.
  • a face alignment algorithm can be used, such as Liang, L., Xiao, R., Wen, F., Sun, J.: Face alignment via component-based discriminative search.
  • N t is the number of sketch images of the training set
  • k J is the statistic on the image block with the feature point/centered in the sketch image
  • ⁇ ⁇ is the weight used to normalize the shape of the prior measure scale.
  • the above statistics may be, for example, an average of the gradient intensities, a variance of the pixel values, and a ratio of pixels on the edges.
  • the average of the gradient intensities is used as the statistic ⁇ ( ⁇ ). It solves the problem of structural loss in synthetic portraits.
  • the function of the adjacent consistency function is to smooth the estimated sketch image block, so that the error of the synthesized image can be suppressed.
  • the adjacent consistency function according to one embodiment of the present application is, for example:
  • the weight ⁇ is, for example, an integer 1; the A GC is, for example, 0.1.
  • the above describes a method for synthesizing a portrait sketch from a photo according to an aspect of the present application, and a system 2000 for synthesizing a portrait sketch from a photo according to another aspect of the present application will be described below.
  • the system 2000 includes a segmentation module 201, a photo-photo matching module 202, a photo-pixel matching module 203, a priori information determining module 204, an optimization module 205, and a synthesizing module 206.
  • the segmentation module 201 is used to divide the test photo into a plurality of test photo blocks. As described above, the test photograph can be divided into N equally spaced image blocks. In addition, all the photos and the sketch images described below are pre-processed by panning, rotating, and zooming before the splitting, so that the center of the eyes is in a fixed position.
  • the photo-photo matching module 202 is configured to determine each test photo block and multiple training sets
  • the first matching information may include a squared intra-frame distance between each test photo block and a corresponding training set photo block.
  • the photo-pixel matching module 203 is configured to determine second matching information between the respective test photo blocks and the pre-divided image blocks in the plurality of training set sketch images.
  • the second matching information includes a squared difference distance between each test photo block and a corresponding training set sketch image.
  • the Euclidean distance of the determined dense SIFT descriptor can be obtained by determining the dense SIFT descriptor of each test photo block to use as the distance between the test photo block and the corresponding sketch image block.
  • the a priori information determining module 204 is configured to determine shape a priori information of each test photo block.
  • the a priori information determining modulo 204 is configured to determine the shape prior information from the formula (3) based on the predefined feature points on the training set prime image and the test photograph.
  • the optimization module 205 is configured to determine a best matching training set sketch image for each test photo block based on the first matching information, the second matching information, and the shape prior information. Specifically, the optimization module is configured 205 to establish a Markov random field model based on the first matching information, the second matching information, and the shape prior information, and determine each test photo block by optimizing the established Markov random field model.
  • the established Markov random field model can be, for example, as shown in the above formula ( ⁇ ).
  • the synthesis module 206 is configured to synthesize the training set sketch image block determined by the optimization module 205 into a portrait sketch image.
  • the system 2000 may further include a smoothing module 207 for determining gray level consistency information between two adjacent training set image blocks and two adjacent training set sketch image blocks. Gradient consistency information.
  • the gray consistency information is the square of the difference between the overlapping regions of the two adjacent training set image blocks
  • the gradient consistency information is the square of the Euclidean distance of the dense SIFT descriptor of the sketch image blocks of two adjacent training sets. .
  • the squared internal distance is determined by: determining a dense SIFT descriptor for each test photo block; and obtaining an Euclidean distance of the determined dense SIFT descriptor as the test photo block and the corresponding sketch image block The distance between the forms.
  • the optimization module 205 can establish an MRF model based on the first and second matching information, the shape prior information, the gray level consistency information, and the gradient consistency information, and optimize each of the test photos by optimizing the established MRF model.
  • the block determines the best matching training set sketch image.

Description

从照片合成肖像素描的系统和方法 技术领域
本申请涉及从照片合成肖像素描的系统和方法。 背景技术
由于在司法领域和数码娱乐产业中的广泛应用， 自动肖像合成技术 近年来引起人们的关注。 例如， 在司法领域， 用素描肖像在警方的照片 数据库中搜索犯罪嫌疑人是十分重要的应用。 通过把人像照片转化为素 描， 可以应用人脸识别技术将画家画的素描和电脑合成的素描直接匹配， 从而提高人脸识别的真确性。 在电影工业， 自动素描合成系统可以大大 节省艺术家制作人脸动画的时间。 这样一个系统也为普通人提供了一种 方便的制作在数字世界中像 MSN头像这种身份象征的方法。
大多数流行的素描合成的方法都是基于样本库的。 利用一个由对应 的照片和素描图像组成的训练库， 可以从照片生成具有丰富纹理的素描。 这些方法可以通过更换训练库来合成不同风格的素描像画。 在现有技术 中提出了利用全局特征变换从照片合成素描的方法。 但是， 由于不同人 的发型变化很大， 如果包含了头发区域， 这样的一个全局的线性模型并 不能很好的工作。 为了克服这一方法的缺点， 在本领域中又提出了基于 图像块的合成方法。 这些方法的缺点是各个区域的图像块是独立合成的， 它们之间的空间关系没有被考虑。 因此， 合成结果不能很好的保持人脸 的结构。 此外， 通过训练样本的线性组合进行肖像素描合成会产生模糊 的效果。
总之， 现有的方法只适用于严格控制成像条件的照片， 而无法处理 有光照和姿态变化的照片。 发明内容
一方面， 本申请公开了一种从照片合成肖像素描的方法， 包括： 将测试照片分割成多个测试照片块；
确定出各个测试照片块与多个训练集照片中预分割的照片块之间的 第一匹配信息；
确定出各个测试照片块与多个训练集素描图像中预分割的图像块之 间的第二匹配信息；
确定出所合成的素描图像的形状先验信息；
基于所述第一匹配信息、 所述第二匹配信息和所述形状先验信息， 为各个测试照片块确定出最佳匹配的训练集素描图像； 以及
将所确定的训练集素描图像块合成为肖像素描图像。 其中， 为各个 测试照片块确定出最佳匹配的训练集素描图像的步骤还可包括：
基于所述第一匹配信息、 所述第二匹配信息和所述形状先验信息建 立马尔科夫随机场模型； 以及
通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最 佳匹配的训练集素描图像。 本申请还公开了一种从照片合成肖像素描的方法， 包括：
将测试照片分割成多个等间距重叠的测试照片块；
确定出各个测试照片块与多个训练集照片中预分割的照片块之间的 第一匹配信息；
确定出各个测试图像块与多个训练集素描图像中预分割的图像块之 间的第二匹配信息；
确定出各个所述测试照片的形状先验信息；
确定出两个相邻训练集图像块之间的灰度一致性信息以及两个相邻 训练集素描图像块的梯度一致性信息；
基于所述第一匹配信息、 所述第二匹配信息、 所述形状先验信息、 所述灰度一致性信、 以及所述梯度一致性信息， 为各个所述测试照片块 确定出最佳匹配的训练素描图像； 以及
将所确定的训练素描图像块合成为肖像素描图像。 其中， 为各个测 试照片块确定出最佳匹配的训练集素描图像的步骤可包括：
基于所述第一匹配信息、 所述第二匹配信息、 所述形状先验信息、 所述灰度一致性信、 以及所述梯度一致性信息建立马尔科夫随机场模型； 以及 通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最 佳匹配的训练集素描图像。 另一方面， 本申请公开了这样 一种从照片合成肖像素描的方法， 其 可包括：
将测试照片分割成多个测试照片块；
通过多个训练集照片和训练集素描图像为各个所述测试照片块建立 马尔科夫随机场模型， 其中， 所述马尔科夫随机场模型包括各个所述测 试照片的形状先验信息、 各个所述测试照片块与所述训练集照片的照片 块之间的第一匹配信息、 以及各个所述测试照片块与所述训练集素描图 像的图像块之间的第二匹配信息；
优化所述马尔科夫随机场模型从而在所述多个训练素描图像中为各 个所述测试照片块选取最佳匹配的训练素描图像块； 以及
将所选取的训练素描图像块合成为肖像素描图像。 本申请公开的用于从照片合成肖像素描的系统包括：
分割模块， 将测试照片分割成多个测试照片块；
照片 -照片匹配模块， 确定出各个测试照片块与多个训练集照片中预 分割的照片块之间的第一匹配信息；
照片 -像素匹配模块， 确定出各个测试照片块与多个训练集素描图像 中预分割的图像块之间的第二匹配信息；
先验信息确定模块， 确定出所要合成素描图像的形状先验信息； 优化模块， 基于所述第一匹配信息、 所述第二匹配信息和所述形状 先验信息， 为各个测试照片块确定出最佳匹配的训练集素描图像； 以及 合成模块， 将所确定的训练集素描图像块合成为肖像素描图像。 在一个实施方式中， 所述优化模块被配置为基于所述第一匹配信息、 所述第二匹配信息和所述形状先验信息建立马尔科夫随机场模型， 并通 过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配 的训练集素描图像。
此外， 上述从照片合成肖像素描的系统还可包括平滑模块， 用于确 定两个相邻训练集图像块之间的灰度一致性信息以及两个相邻训练集素 描图像块的梯度一致性信息。 在这种情况下， 所述优化模块被配置为， 基于所述第一、 二匹配信息、 形状先验信息、 灰度一致性信息和梯度一 致性信息建立马尔科夫随机场模型， 并通过优化所建立的马尔科夫随机 场模型为各个测试照片块确定出最佳匹配的训练集素描图像。 上述用于从照片合成肖像素描的方法和系统可以处理不同光照条件 下和不同姿态的人脸照片。 由于引入了下述技术内容中的至少之一， 上 述方法和系统对光照和照片姿态具有鲁棒性。
1. 引入了针对人脸特征部位的形状先验信息， 减少了光照和姿态变 化引起的失真。
2. 用新颖的图像块描述子和测度来寻找给定照片图像块对应的素描 图像块。
3. 对相邻图像块的灰度及其梯度都釆用了一致性约束。 附图说明
图 1所示为根据本申请一个实施方式的从照片合成肖像素描的方法。 图 2示出了马尔科夫随机场网络模型示意图。
图 3示出了根据本申请一个实施方式的从照片合成肖像素描的系统。 具体实施方式
下面， 参照附图对本申请的示例性实施方式进行详细描述。
实施方式 1
图 1 所示为据本申请一个实施方式的从照片合成肖像素描的方法 1000。 方法从步骤 S101开始， 在该步骤中， 可以将输入的测试照片分割 成 N个照片块。 在一个实施方式中， 测试照片分成了 N个等间距重叠的 照片块。 此外， 在进行分割之前， 所有的照片和以及下面所描述的素描 图像都通过平移、 旋转和缩放进行预处理， 以使得双眼的中心在固定的 位置。 在一个实施方式中， 可以把图像截到 250x200大小， 双眼中心的 位置为 (75, 125)和 (125, 125)。 所有彩色图像都转化为灰度图。 经验证明， 如果光照是接近正向时， 上述的算法可以不需要预处理 步骤。 对于侧向光， 可用对比度限制自适应直方图（CLAHE )来预处理。
在步骤 S102中， 基于在步骤 S101中分割的 N个图像块，'通过多个 训练集照片和训练集素描图像为各个所述测试照片块建立马尔可夫随机 场（MRF ) 网络模型。
MRF网络中的每个节点是测试照片的图像块 。 通过 MRF网络模 型估计的目标是估计节点的状态 = {yf , y- ) .也就是说，对于每个 f， 从训练集中找到一对照片-素描图像块， 在这里， 训练集中的照片和素描 已经在几何上对齐。 yf和 分别用来表示对应的照片图像块和素描图像 块。如果图像块 和_ /在测试照片是相邻的，则用一条边把节点 .和 连 起来， 也就是给它们加上了一致性约束。 把所有的{ ^组合在一起就合 成了测试照片的素描。
图 2示出了上述形成的 MRF网络模型示意图。 该 MRF模型的能量 函 义如下
Figure imgf000007_0001
其中， Ξ是相邻的图像块对的集合， ( ，^ )是局部证据函数， 是形状先验函数， ( ， 是相邻一致性函数， 这将在下面 分别进行描述。
在本发明中， 可以使用双尺度 MRF， 在这种情况下， 测试照片以及 训练集照片的双层图像块大小可分别例如为 10 X 10和 20 x 20。 为了便 于理解， 下面用单尺度的 MRF模型来说明。
在步骤 S103中， 优化上述 MRF模型从而在多个训练素描图像中为 各个测试照片块选取最佳匹配的训练素描图像块。 在一个实施方式中， 可采用通过置信度传递算法优化上述 MRF模型， 即通过求公式（1 ) 中 E {yi } χ )的最小值来获得输入照片的图像块 xf的最佳匹配的肖像块 。 此外， 置信度传递算法可使用最大后验估计， 由于其属于现有技术， 因此不再赘述。
为了减少计算量， 在优化 MRF模型之前， 还可采用了候选块预选择 算法。 对于每个测试照片图像块 ， 从训练集选取前 ( =20 )个能量 ^^^f'J^+^w ,')最小的照片-素描图像块对。 为了利用人脸结构，候选
5
替换页 （细则第 26条) 块在图像块 周围的 25 25区域而不是整个图像选取。 节点 最终的估 计 = (j ， ' )是通过联合优化 MRF网络的所有节点来选取 个候选块 中的一个。
最后， 在步骤 S104中， 将所选取的训练素描图像块合成为肖像素描 图像。 在一个实施方式中， 为了避免模糊的问题， 可在两个重叠图像块 的重叠区域施加最小错误边界分割算法， 这是紋理合成中常用的算法。 实施方式 2
根据本申请的实施方式 2和上述实施方式 1类似， 不同之处在于， 在步骤 S102中建立的 MRF模型为：
E EL [x , yi ) +∑ Epi (yi ) , (1 ')
Figure imgf000008_0001
其它的步骤和上述实施方式 1相同， 因此， 不再赘述。 下面分别对上述公式 （1 )或 （Γ ) 中的局部证据函数、 形状先验函 数和相邻一致性函数进行描述。
1. 局部证据函数
局部证据函数的作用是从训练库中找到测试照片图像块 xf的匹配 的素描图像块 ^。 由于照片和素描图像具有不同的形态， 直接匹配它们 非常困难， 所以通常是利用训练素描图像块 s对应的照片图像块 。假 设如果 W和 很接近， 很可能是合成的目标素描图像块的一个很好 的近似。 本申请提出了同时计算测试照片图像块与训练照片图像块和训 练素描图像块的匹配程度， 也就是定义了局部证据函数是照片 -照片平方 差距离 dL 2 1和照片-画像 方差距离 dL 2 2的加权和，
EL {x , y( )
Figure imgf000008_0002
, γ + L 2dL 2 2 (xf' , ), (2) 其中， L ( ， yt- )表示形状先验信息的能量函数；
d 表示测试照片块 xf与训练集照片块 ^之间的平方形态 内距离;
6
替换页 （细则第 26条) dL2 (x ，yD表示测试照片块 χ『与训练集素描图像 ^之间的平方形态内 距离； 以及
λ£.2是权重， 在一个实施方式中可取整数 2。
从公式（2 ) 中可以看出， 上述局部证据函数包括以下两个方面。
L i 从照片图像块到照片图像块的匹配 d【i «，y『）。
函数的一种简单的形式可例如是 [5]文中用到的 和 的欧氏距 离。 但是， 当光照变化存在时， 这种形式效果并不好。 因为大多数素描 线条都对应着照片中的边缘信息， 因此釆用高斯差 （DoG ) 滤波来做照 片预处理， 也就是用两个标准差分别为 σθ和 σΐ的高斯核的差去和每张 照片做卷积， 然后规一化所有的像素值到均值为零方差为 1。在一个实施 方式中，优选使用（σθ, σΐ) = (0, 4) 或 (1, 4)。 DoG滤波有如下优点：第一， 它可以检测和增强图像的边缘， 所以合成的素描有更好的细节。 第二， 减去低频分量可以抑制光照变化的影响， 比如阴影。 将规一化像素值分 布到零均值单位方差， 是一种常用的光照规一化的方法。 但是， 它在素 描合成问题中的提高非常有限。
1.2. 从照片图像块到素描图像块的匹配 ( ，^)。
照片图像块之间的形态内距离并不总是很好的选择素描图像块。 在 欧氏距离下相似的照片图像块可能对应差别很大的素描图像块。 有趣的 是， 人总是能直接匹配照片和素描。 受此启发， 该申请提出了测试照片 图像块和训练素描图像块之间的形态间距离来提高选择的准确度。 由于 照片和素描在视觉上差异很大， 直接匹配它们并不容易。 但是， 它们的 梯度方向存在某些相似性。 因此， 釆用以下步骤来获取照片图像块和素 描图像块的形态间距离。
首先， 确定每个测试照片块的稠密 SIFT描述子， 它是一种属于方向 直方图的描述子。 具体可参见 Lowe, D.: Distinctive image features from scale-invariant keypoints. IJCV 60, 91-110 (2004)。 在一个实施方式中， 计 算每个图像块的稠密 SIFT描述子， 然后获取所确定的稠密 SIFT描述子 的欧氏距离， 并将其作为照片图像块和对应的素描图像块的形态间距离。 为了获得较大范围的结构信息， 在比图像块更大的区域上提取描述子。 对于每个图像块， 在和图像块中心重合的 36x36 (图像块大小为 10x10 ) 的区域内提取， 这一区域被分成 4 X 4的同样大小的空间区间。 8个方向 区间在 0。-360。等间隔分布。 每个像素对直方图的贡献由它的梯度强度和 一个 σ = 6且图像块中心重合的高斯窗决定。 所以， 上述的描述子是 128 维的。 在一个实施方式中， 用 L2范数规一化， 用 0.2的域值截断， 然后 重新规一化。 具体可参见 Lowe, D.: Distinctive image features from scale-invariant keypoints. IJCV 60, 91-110 (2004)。
2.形状先验函数
人脸图像是一类特殊的图像， 它有很规则的结构； 因而， 可以用不 同部位的形状先验来有效的提高合成的效果。 由于没有考虑全局的结构， 一些人脸结构的缺失， 特别是轮廓， 是基于图像块的素描合成中常见的 问题。 当这一问题发生时， 一些人脸部位的线条位置被合成为空白块。 这一问题在光照和姿态变化时尤为明显。 但是， 用先验信息去指导素描 图像块的选择可以有效的减少这一问题。 首先在训练集素描图像和测试 照片上来检测预先定义的特征点。 在一个实施方式中， 可通过人脸对齐 算法, 例如 Liang, L., Xiao, R.,Wen, F.， Sun, J.: Face alignment via component-based discriminative search. In: Forsyth, D., Torr, P., Zisserman, A. (eds.) ECCV 2008, Part II. LNCS, vol. 5303, pp. 72-85. Springer, Heidelberg (2008)中提出的算法来确定特征点。 这些选定的特征点在容易 发生结构缺失的区域， 特别是轮廓处。 在这些区域加上形状先验， 其它 区域不加。 如果一个特征点 /位于测试照片的图像块 , 则用核密度估计 计算
Figure imgf000010_0001
其中，
Nt是训练集的素描图像数量；
( )是素描图像块 上的统计量；
kJ是素描图像：中以特征点/为中心的图像块上的统计量;
替换页 （细则第 26条) 是特征点/对应的带宽， 设为 \j3kJ、的标准差的三倍；
λΡ为权重用来规一化形状先验的测度尺度。 根据本申请实施方式提 出的算法的结果对 ^在相当大的区间不敏感。 在一个示例中， ΑΡ = 0.01。
上述统计量可例如为梯度强度的平均、 像素值的方差、 在边缘上的 像素的比例。 优选地， 使用梯度强度的平均作为统计量 β(·)。 其可以解决 合成肖像中结构丢失的问题。
3.相邻一致性函数
相邻一致性函数的作用是使得估计的素描图像块平滑， 因此可以抑 制合成的图像的错误。 根据本申请一个实施方式的相邻一致性函数例如 为：
Ec ( , yj ) =
Figure imgf000011_0001
( / , yjs ) + cdG 2 C ( ; , y) ) , (4) 其中灰度一致性项 dl 2 c是两个相邻图像块 和 在重叠区域的差 别的平方， 梯度一致性项 是 W和 3^的稠密 SIFT描述子的欧氏距离 的平方。 灰度一致性项要求输出素描平滑； 但是， 只有这一项会导致一 些结构的丟失， 因为两个空白的区域相邻时有很高的灰度一致性。 因此， 在公式（4 ) 中还加上了梯度一致性约束， 它要求相邻的图像块有相似的 梯度方向。 使用梯度一致性可以进一步的减少结构的丢失。 权重 ^^例如 为整数 1 ； AGC例如为 0.1。 以上描述了根据本申请一方面的、 用于从照片合成肖像素描的方法， 下面将描述根据本申请另一方面的、 用于从照片合成肖像素描的系统 2000。如图 3所示，系统 2000包括分割模块 201、照片 -照片匹配模块 202、 照片-像素匹配模块 203、先验信息确定模块 204、优化模块 205和合成模 块 206。
分割模块 201 用于将测试照片分割成多个测试照片块。 如上所述， 可以将测试照片分成了 N个等间距重叠的图像块。 此外， 在进行分割之 前， 所有的照片和以及下面所描述的素描图像都通过平移、 旋转和缩放 进 ^"预处理， 以使得双眼的中心在固定的位置。
照片 -照片匹配模块 202用于确定出各个测试照片块与多个训练集照
替换页 （细则第 26条) 片中预分割的照片块之间的第一匹配信息。 第一匹配信息可包括各个测 试照片块和对应的训练集照片块之间的平方形态内距离。 照片 -像素匹配 模块 203 用于确定出各个测试照片块与多个训练集素描图像中预分割的 图像块之间的第二匹配信息。 第二匹配信息包括各个测试照片块和对应 的训练集素描图像之间的平方差距离。 可通过确定每个测试照片块的稠 密 SIFT描述子， 并获取所确定的稠密 SIFT描述子的欧氏距离， 以将其 作为测试照片块和对应的素描图像块的距离。
先验信息确定模块 204, 用于确定出各个测试照片块的形状先验信 息。 在一个实施方式中， 先验信息确定模 204被配置为， 根据训练集素 描图像和测试照片上预定义的特征点， 通过上述公式（3 )确定所述形状 先验信息。
优化模块 205被配置为， 基于上述第一匹配信息、 第二匹配信息和 形状先验信息， 为各个测试照片块确定出最佳匹配的训练集素描图像。 具体地， 优化模块被配置 205可基于第一匹配信息、 第二匹配信息和形 状先验信息建立马尔科夫随机场模型， 并通过优化所建立的马尔科夫随 机场模型为各个测试照片块确定出最佳匹配的训练集素描图像。 所建立 的马尔科夫随机场模型可例如为上述公式（Γ )所示。
合成模块 206,用于将优化模块 205所确定的训练集素描图像块合成 为肖像素描图像。 此外， 根据本申请的另一个实施方式， 系统 2000还可包括平滑模块 207, 用于确定两个相邻训练集图像块之间的灰度一致性信息以及两个相 邻训练集素描图像块的梯度一致性信息。 其中， 灰度一致性信息为两个 相邻训练集图像块在重叠区域的差别的平方， 以及梯度一致性信息为两 个相邻训练集素描图像块的稠密 SIFT描述子的欧氏距离的平方。 平方形 态内距离通过以下步骤确定： 确定每个测试照片块的稠密 SIFT描述子； 以及获取所确定的稠密 SIFT描述子的欧氏距离， 并将其作为所述测试照 片块和对应的素描图像块的形态间距离。 在这种情况下， 优化模块 205 可基于第一、 二匹配信息、 形状先验信息、 灰度一致性信息和梯度一致 性信息建立 MRF模型， 并通过优化所建立的 MRF模型为各个测试照片 块确定出最佳匹配的训练集素描图像。 以上仅为本申请的示例性实施方式， 本领域技术人员根据上述实施 方式， 在本申请权利要求限定的范围内， 可以对上述各个实施方式进行 修改。

Claims

权利要求:
1. 一种从照片合成肖像素描的方法， 包括：
将测试照片分割成多个测试照片块；
确定出各个测试照片块与多个训练集照片中预分割的照片块之间的 第一匹配信息；
确定出各个测试照片块与多个训练集素描图像中预分割的图像块之 间的第二匹配信息；
确定所要合成的素描图像的形状先验信息；
基于所述第一、 第二匹配信息、 和所述形状先验信息， 为各个测试 照片块确定出最佳匹配的训练集素描图像片； 以及
将所确定的训练集素描图像块合成为肖像素描图像。
2. 如权利要求 1所述的方法， 其中， 所述第一匹配信息包括各个测 试照片块和对应的训练集照片块之间的平方差距离， 以及所述第二匹配 信息包括各个测试照片块和对应的训练集素描图像块之间的平方差距 离。
3. 如权利要求 1所述的方法， 其中， 为各个测试照片块确定出最佳 匹配的训练集素描图像块的步骤包括：
基于所述第一、 第二匹配信息、 和所述形状先验信息建立马尔科夫 随机场模型； 以及
通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最 佳匹配的训练集素描图像块。
4. 一种从照片合成肖像素描的方法， 包括：
将测试照片分割成多个等间距重叠的测试照片块；
确定出各个测试照片块与多个训练集照片中预分割的照片块之间的 第一匹配信息；
确定出各个测试照片块与多个训练集素描图像中预分割的素描图像 块之间的第二匹配信息；
确定出所要合成的素描图像的形状先验信息；
确定出两个相邻训练集素描图像块之间的灰度一致性信息以及两个 相邻训练集素描图像块的梯度一致性信息；
基于所述第一、 第二匹配信息、 所述形状先验信息、 所述灰度一致 性信、 以及所述梯度一致性信息， 为各个所述测试图像块确定出最佳匹 配的训练素描图像； 以及
将所确定的训练素描图像块合成为肖像素描图像。
5. 如权利要求 4所述的方法， 其中， 所述第一匹配信息包括各个测 试照片块和对应的训练集照片块之间的平方差距离， 以及所述第二匹配 信息包括各个测试照片块和对应的训练集素描图像之间的平方差距离。
6. 如权利要求 4所述的方法， 其中， 所述灰度一致性信息为两个相 邻训练集素描图像块在重叠区域的差值的平方和， 以及所述梯度一致性 信息为两个相邻训练集素描图像块的稠密 SIFT描述子的欧氏距离的平 方。
7. 如权利要求 4所述的方法， 其中， 为各个测试照片块确定出最佳 匹配的训练集素描图像的步骤包括：
基于所述第一匹配信息、 所述第二匹配信息、 所述形状先验信息、 所述灰度一致性信、 以及所述梯度一致性信息建立马尔科夫随机场模型； 以及
通过优化所建立的马尔科夫随机场模型为各个测试照片块确定出最 佳匹配的训练集素描图像块。
8. 一种从照片合成肖像素描的方法， 包括：
将测试照片分割成多个测试照片块；
通过多个训练集照片和训练集素描图像为各个所述测试照片块建立 马尔科夫随机场模型， 其中， 所述马尔科夫随机场模型包括各个所述测 试素描图像的形状先验信息、 各个所述测试照片块与所述训练集照片的 照片块之间的第一匹配信息、 以及各个所述测试图像块与所述训练集素 描图像的图像块之间的第二匹配信息；
优化所述马尔科夫随机场模型从而在所述多个训练素描图像中为各 个所述测试图像块选取最佳匹配的训练素描图像块； 以及
将所选取的训练素描图像块合成为肖像素描图像。
9. 如权利要求 8所述的方法， 其中， 所分割的多个测试照片块之间 具有重叠区域， 其中， 所述马尔科夫随机场模型还包括： 两个相邻训练 集素描图像块之间的灰度一致性信息以及两个相邻训练集素描图像块的 梯度一致性信息。
10. 如权利要求 9所述的方法， 其中， 所述灰度一致性信息为两个相 邻训练集素描图像块在重叠区域的差值的平方和， 以及所述梯度一致性 信息为两个相邻训练集素描图像块的稠密 SIFT描述子的欧氏距离的平 方。
11. 如权利要求 1、 4或 8中任意一项所述的方法， 其中， 所述第一 匹配信息包括各个测试照片块和对应的训练集照片块之间的平方差距 离， 以及所述第二匹配信息包括各个测试照片块和对应的训练集素描图 像块之间的平方差距离。
12. 如权利要求 11所述的方法， 其中， 所述平方差距离通过以下步 骤确定：
确定每个测试照片块的稠密 SIFT描述子； 以及
获取所确定的稠密 SIFT描述子的欧氏距离， 并将其作为所述测试照 片块和对应的素描图像块的距离。
13. 如权利要求 8所述的方法， 还包括：
在建立马尔科夫随机场模型之前， 通过两个高斯差滤波分别对所述 照片进行滤波处理。
14. 如权利要求 13所述的方法， 其中， 所述两个高斯差滤波分别具 有两个标准差参数 σθ和 σΐ , 以及其中， （σθ, σ1) = (0，4)或（1，4)。
15. 如权利要求 1、 4或 8中任意一项所述的方法， 其中， 所述形状 先验信息通过以下步骤确定：
在训练集素描图像和测试照片上检测预定义的特征点；
如果测试照片的图像块 i具有特征点 /， 则通过以下核密度估计规则 确定所述形状先验信息，
Figure imgf000017_0001
其中， N,是训练集的素描图像数量；
β{ ή是素描图像块 上的统计量；
A,/是素描图像 中以特征点 /为中心的图像块上的统计量;
是特征点/对应的带宽； 以及
\>为规一化形状先验的测度尺度。
16. 如权利要求 15所述的方法， 其中， 所述统计量为梯度强度的平 均、 像素值的方差、 在边缘上的像素的比例中之一。
17. 如权利要求 15所述的方法， 其中， 所述特征点位于所述训练集 素描图像和所述测试照片中的轮廓处。
18. 如权利要求 1、 4或 8中任意一项所述的方法， 其中， 所述多个 训练集照片和所述多个训练集素描图像分别形成几何上对齐的照片 -素描 对。
19.一种从照片合成肖像素描的方法， 包括:
15
替换页 （细则第 26条） 将测试照片分割成多个测试照片块；
通过多个训练集照片和训练集素描图像为各个测试照片块建立马尔 科夫随机场模型，
用置信度传递算法优化所述马尔科夫随机场模型， 从而在所述多个 训练素描图像中为各个所述测试照片块选取最佳匹配的训练素描图像 块； 以及
将所选取的训练素描图像块合成为肖像素描图像，
其中， 所述马尔科夫随机场表示为：
Figure imgf000018_0001
， 其中， XL2, XJC, XGC为数值范围为 0~1的权重；
表示测试照片块；
为训练集照片块；
为训练集素描图像块；
j,表示 和 构成的照片-素描对；
N表示测试照片块的数量
Nt表示照片 -素描对的数量；
{y )是素描图像块 上的统计量；
k 是素描图像 k中以特征点/为中心的图像块上的统计量； ^是特征点 /对应的带宽；
λρ为规一化形状先验的测度尺度；
d c是两个相邻素描图像块 和 在重叠区域的差的平方和， 梯度 -致性项 dG 2 C是 y;和 yjs的稠密 SIFT描述子的欧氏距离的平方。
20 如权利要求 19所述的方法， 其中， 所述统计量为梯度强度的平
16
替换页 （细则第 26条) 均、 像素值的方差、 在边缘上的像素的比例中之一。
21. 如权利要求 19所述的方法， 其中， 所述特征点位于所述训练 素描图像和测试照片中的轮廓处。
22.—种用于从照片合成肖像素描的系统， 包括
分割模块， 将测试照片分割成多个测试照片块；
照片 -照片匹配模块， 确定出各个测试照片块与多个训练集照片中预 分割的照片块之间的第一匹配信息；
照片-像素匹配模块， 确定出各个测试照片块与多个训练集素描图像 中预分割的图像块之间的第二匹配信息；
先验信息确定模块， 确定出各个测试图像块的形状先验信息； 优化模块， 基于所述第一匹配信息、 所述第二匹配信息和所述形状 先验信息， 为各个测试照片块确定出最佳匹配的训练集素描图像； 以及 合成模块， 将所确定的训练集素描图像块合成为肖像素描图像。
23. 如权利要求 22所述的系统， 其中， 所述第一匹配信息包括各个 测试照片块和对应的训练集照片块之间的平方差距离， 以及所述第二匹 配信息包括各个测试照片块和对应的训练集素描图像之间的平方差距 离。
24 如权利要求 22所述的系统， 其中， 所述优化模块被配置为基于 所述第一匹配信息、 所述第二匹配信息和所述形状先验信息建立马尔科 夫随机场模型， 并通过优化所建立的马尔科夫随机场模型为各个测试照 片块确定出最佳匹配的训练集素描图像。
25. 如权利要求 22所述的系统， 还包括：
平滑模块， 用于确定两个相邻训练集图像块之间的灰度一致性信息 以及两个相邻训练集素描图像块的梯度一致性信息。
26. 如权利要求 25所述的系统， 其中， 所述优化模块被配置为， 基 于所述第一匹配信息、 所述第二匹配信息和所述形状先验信息、 所述灰 度一致性信息和所述梯度一致性信息建立马尔科夫随机场模型， 并通过 优化所建立的马尔科夫随机场模型为各个测试照片块确定出最佳匹配的 训练集素描图像。
27. 如权利要求 25所述的系统， 其中， 所述先验信息确定模块被配 置为， 根据训练集素描图像和测试照片上预定义的特征点， 通过以下核 密度估计规则确定所述形状先验信息，
Figure imgf000020_0001
其中， N,是训练集的素描图像数量；
β (yts )是素描图像块 y;上的统计量；
A,/是素描图像 A中以特征点 /为中心的图像块上的统计量;
是特征点/对应的带宽；
表示具有特征点/ 测试图像块； 以及
V为规一化形状先验的测度尺度。
28. 如权利要求 27所述的系统， 其中， 所述统计量为梯度强度的平 均、 像素值的方差、 在边缘上的像素的比例中之一。
29. 如权利要求 27所述的系统， 其中， 所述特征点位于所述训练集 素描图像和所述测试照片中的轮廓处。
1 8
替换页 （细则第 26条)
PCT/CN2010/076605 2010-09-03 2010-09-03 从照片合成肖像素描的系统和方法 WO2012027904A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/CN2010/076605 WO2012027904A1 (zh) 2010-09-03 2010-09-03 从照片合成肖像素描的系统和方法
EP10856591.2A EP2613294A1 (en) 2010-09-03 2010-09-03 System and method for synthesizing portrait sketch from photo
CN201080068894.8A CN103080979B (zh) 2010-09-03 2010-09-03 从照片合成肖像素描的系统和方法
US13/820,729 US9569699B2 (en) 2010-09-03 2010-09-03 System and method for synthesizing portrait sketch from a photo
JP2013526296A JP2013536960A (ja) 2010-09-03 2010-09-03 写真から肖像スケッチを合成するシステム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/076605 WO2012027904A1 (zh) 2010-09-03 2010-09-03 从照片合成肖像素描的系统和方法

Publications (1)

Publication Number Publication Date
WO2012027904A1 true WO2012027904A1 (zh) 2012-03-08

Family

ID=45772092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/076605 WO2012027904A1 (zh) 2010-09-03 2010-09-03 从照片合成肖像素描的系统和方法

Country Status (5)

Country Link
US (1) US9569699B2 (zh)
EP (1) EP2613294A1 (zh)
JP (1) JP2013536960A (zh)
CN (1) CN103080979B (zh)
WO (1) WO2012027904A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701782A (zh) * 2016-01-13 2016-06-22 无锡北邮感知技术产业研究院有限公司 纹理效果显著的人脸简约图生成方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246895B (zh) * 2013-05-15 2016-03-09 中国科学院自动化研究所 基于深度信息的图像分类方法
CN103984954B (zh) * 2014-04-23 2017-06-13 西安电子科技大学宁波信息技术研究院 基于多特征融合的图像合成方法
CN105096249B (zh) * 2014-05-23 2018-06-26 北京大学 图像处理方法和装置
CN106919885A (zh) * 2015-12-24 2017-07-04 掌赢信息科技（上海）有限公司 一种基于机器学习的人脸风格化方法及电子设备
CN106355593A (zh) * 2016-08-31 2017-01-25 上海交通大学 一种基于马尔科夫随机场的素描画生成方法
WO2018176281A1 (zh) * 2017-03-29 2018-10-04 华为技术有限公司 一种素描图像的生成方法及装置
CN107330408B (zh) * 2017-06-30 2021-04-20 北京乐蜜科技有限责任公司 视频处理方法、装置、电子设备及存储介质
CN107945244A (zh) * 2017-12-29 2018-04-20 哈尔滨拓思科技有限公司 一种基于人脸照片的简笔画生成方法
US11871052B1 (en) * 2018-09-27 2024-01-09 Apple Inc. Multi-band rate control
CN117557688B (zh) * 2024-01-10 2024-03-12 广州趣丸网络科技有限公司 肖像生成模型训练方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017567A (zh) * 2007-03-09 2007-08-15 李昕 用于将数字照片转换成人像素描画的方法和设备
CN101551911A (zh) * 2009-05-07 2009-10-07 上海交通大学 人脸素描肖像画自动生成方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040228504A1 (en) * 2003-05-13 2004-11-18 Viswis, Inc. Method and apparatus for processing image
JP4164809B2 (ja) * 2003-12-19 2008-10-15 富士フイルム株式会社 画像合成処理方法及び装置並びにプログラム
EP1748390A4 (en) * 2004-04-15 2014-01-01 Panasonic Corp DEVICE AND METHOD FOR CREATING IMAGES OF THE FACE
US7660482B2 (en) * 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
JP2007206651A (ja) 2006-02-06 2007-08-16 Toshiba Corp 画像表示装置及びその方法
CN101169830A (zh) * 2007-11-30 2008-04-30 西安电子科技大学 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法
CN101482925B (zh) * 2009-01-16 2012-01-04 西安电子科技大学 基于局部嵌入式隐马尔可夫模型的照片生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017567A (zh) * 2007-03-09 2007-08-15 李昕 用于将数字照片转换成人像素描画的方法和设备
CN101551911A (zh) * 2009-05-07 2009-10-07 上海交通大学 人脸素描肖像画自动生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANG, L.; XIAO, R.; WEN, F.; SUN, J.: "ECCV 2008, Part II. LNCS", vol. 5303, 2008, SPRINGER, article "Face alignment via component-based discriminative search", pages: 72 - 85
LOWE, D.: "Distinctive image features from scale-invariant keypoints", IJCV, vol. 60, 2004, pages 91 - 110

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701782A (zh) * 2016-01-13 2016-06-22 无锡北邮感知技术产业研究院有限公司 纹理效果显著的人脸简约图生成方法

Also Published As

Publication number Publication date
CN103080979A (zh) 2013-05-01
EP2613294A1 (en) 2013-07-10
JP2013536960A (ja) 2013-09-26
CN103080979B (zh) 2015-12-09
US20130308853A1 (en) 2013-11-21
US9569699B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
WO2012027904A1 (zh) 从照片合成肖像素描的系统和方法
WO2018000752A1 (zh) 一种基于多尺度cnn和连续crf的单目图像深度估计方法
Zhang et al. Detecting and extracting the photo composites using planar homography and graph cut
CN108537782B (zh) 一种基于轮廓提取的建筑物图像匹配与融合的方法
JP2018028899A5 (zh)
CN110047139B (zh) 一种指定目标三维重建方法及系统
CN107146240A (zh) 基于相关滤波和显著性检测的航拍视频目标跟踪方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN108460792B (zh) 一种基于图像分割的高效聚焦立体匹配方法
CN110493488A (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
CN111126412A (zh) 基于特征金字塔网络的图像关键点检测方法
Xiao et al. Shadow removal from single rgb-d images
CN111709893B (zh) 一种基于信息熵和锐化调整的orb-slam2改进算法
CN104346630A (zh) 一种异构特征融合的云花卉识别方法
KR20190080388A (ko) Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조
CN114693760A (zh) 图像校正方法、装置及系统、电子设备
Wang et al. Robust color correction in stereo vision
CN109300148B (zh) 基于方法协同的多源图像配准方法
CN105741297B (zh) 一种具有仿射不变性的重复模式图像匹配方法
CN102930529B (zh) 一种基于非对称模板搜索的快速伪造区域盲检测方法
CN112801141B (zh) 基于模板匹配和孪生神经网络优化的异源图像匹配方法
US20150186373A1 (en) Method for sorting a group of images of a database and method for color correcting an image, corresponding devices, computer program and non-transitory computer readable medium
CN108010076B (zh) 一种面向密集工业棒材图像检测的端面外观建模方法
CN106778831B (zh) 基于高斯混合模型的刚体目标在线特征分类与跟踪方法
Luo et al. Accurate normal and reflectance recovery using energy optimization

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080068894.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10856591

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013526296

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2010856591

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010856591

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13820729

Country of ref document: US