WO2006057267A1 - 顔画像合成方法および顔画像合成装置 - Google Patents

顔画像合成方法および顔画像合成装置 Download PDF

Info

Publication number
WO2006057267A1
WO2006057267A1 PCT/JP2005/021517 JP2005021517W WO2006057267A1 WO 2006057267 A1 WO2006057267 A1 WO 2006057267A1 JP 2005021517 W JP2005021517 W JP 2005021517W WO 2006057267 A1 WO2006057267 A1 WO 2006057267A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
face
face images
image
reference point
Prior art date
Application number
PCT/JP2005/021517
Other languages
English (en)
French (fr)
Inventor
Atsushi Marugame
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to US11/791,626 priority Critical patent/US7876320B2/en
Priority to EP05809577A priority patent/EP1818869A1/en
Priority to JP2006547806A priority patent/JP4359784B2/ja
Publication of WO2006057267A1 publication Critical patent/WO2006057267A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Definitions

  • the present invention relates to a face image composition method and a face image composition device that synthesize face images.
  • two or more face images, or at least one face image and one face graphic or face animation are synthesized to create a fictitious face image.
  • few products have been commercialized.
  • feature points in a large number of faces are input in each of the two images as in the three-dimensional polygon mapping 100 shown in Fig. 1, and the faces pasted on the face standard model are synthesized. .
  • This method requires extraction of a large number of feature points in the face and complicated calculation, and is difficult to perform on a mobile terminal.
  • Japanese Patent Laid-Open No. 2003-242480 discloses an image processing method and a server that can use the method.
  • This image processing method matches an existing image stored in the image database of the server with a portrait input to the user terminal, generates an intermediate image in response to the user's customization request, and generates a user terminal.
  • the face image is sent to the server via the network, the compositing process is performed at the server, and the result is sent again to the terminal via the network.
  • Japanese Laid-Open Patent Publication No. 9-62865 discloses a face image processing method and a face image processing apparatus.
  • This face image processing method uses two face images (Gl, G2), a background face image (G3), and each shape model matched to these face images (Gl, G2, G3).
  • Paying attention to the characteristic part of the face image (G1) the coordinates of a predetermined point corresponding to the characteristic part of the shape model of the face image (G1) are changed to the corresponding points of the shape model of the background image (G3).
  • the shape model and the face image (F1) after matching each of the face images (Gl, G2) Predetermine the coordinate value of each corresponding point in the shape model of G3)
  • the shape is complemented with the ratio of the color
  • the shape-complemented shape model is color-complemented with a corresponding ratio and a predetermined ratio.
  • Japanese Patent Laid-Open No. 10-91808 discloses a face image information conversion method and a face image information conversion apparatus.
  • this face image information conversion method the face image information of a plurality of different facial expressions of a predetermined person is processed with respect to each of the facial expressions corresponding to projection components on a plurality of coordinate axes in the face image expression space, with the entire face as a processing unit.
  • a step of extracting a plurality of facial expression components; and a plurality of composite facial expression components corresponding to the facial image information of a composite facial expression in an arbitrary ratio between any two specified different facial expressions corresponding to the two different facial expressions Calculating a facial expression component by interpolation; and generating synthetic facial image information in accordance with the plurality of synthetic facial expression components.
  • Japanese Patent Application Laid-Open No. 2004-178163 discloses an image processing method and an apparatus therefor.
  • the image processing method includes the step of associating the decoration and the arrangement information of the decoration in the body part region; the step of setting the position of the body part region in the input image; and the arrangement information associated with the decoration.
  • the step of determining the arrangement of the decoration so as to match the position of the set body part region using and combining the decoration with the input image; and outputting the combined input image is included.
  • Japanese Patent Application Laid-Open No. 2004-5265 discloses an image composition method, an image composition device, and an image composition system.
  • the image composition method includes a face image acquisition step for acquiring two face images; a base image generation step for generating a base image by combining the two face images by morphing composition; and a feature for acquiring a feature face image.
  • JP-A-2003-296713 discloses a face image synthesizing device, a face image synthesizing method, a program for executing the method, a communication terminal including the face image synthesizing device, and a communication method using the communication terminal.
  • the face image composition device includes an image input unit that captures an image including a person's face, a face region acquisition unit that acquires a face region including the head of the person from the captured image, and the acquired face Face area processing means for processing image data in the area and creating a new face image.
  • Japanese Laid-Open Patent Publication No. 2000-67261 discloses a method and apparatus for creating a face moving image and a recording medium on which this method is recorded.
  • This face moving image creation method is a method of creating a moving image by inputting two human face images with different opening / closing states of the mouth and mouth when viewed from the front.
  • An eye position detecting step for detecting an eye position from the image; a mouth position detecting step for detecting a mouth position from the two input human face images; and an eye detected in the eye position detecting step.
  • An eye deformation control point placement stage in which control points for deformation are arranged around the eyes based on the position information of the eye and the control points of the two human face images are associated with each other; Based on the position information of the mouth detected at the detection stage, control points for deformation are arranged around the mouth, and control points for mouth deformation that associate the control points of the two human face images
  • An intermediate image generation stage for generating a plurality of intermediate images by changing the open / closed state of the eyes and mouth by deforming the two human face images inputted based on the point information; A plurality of half-width images generated in the generation step and an image synthesis processing step of synthesizing a human face moving image based on the two input human face images.
  • One of the problems of compositing two face images is that if one point is simply weighted and averaged, a place that differs greatly from the color of the skin, such as the eyes, shifts and remains like a ghost, which is unnatural. It is to become a proper synthesis. Therefore, a method using three-dimensional polygon mapping as described above is used. In this method, the above-mentioned conspicuous features can be matched between two faces, so the ghost will not occur. On the other hand, a large amount of feature points in the face are extracted and complicated calculation is performed. In particular, it is difficult to execute on a portable terminal with limited input interface and computing power.
  • Facial features include texture and placement of major parts such as eyes, nose and mouth.
  • people A's face and person B's face are mixed in a ratio of 7: 3, they must be mixed in two ways. In other words, it is necessary to set the texture mixing ratio to 7 to 3, and the facial parts placement to 7 for person A and 3 for person B.
  • the latter requires a complicated calculation when a polygon mapping method is used.
  • the facial data is sent to the server via the network and synthesized on the server as disclosed in Japanese Patent Laid-Open No. 2003-242480.
  • users who have resistance to reasons such as communication charges and time depending on network conditions.
  • An object of the present invention is to provide a face image composition method and a face image composition device capable of performing face image composition in an environment where the input interface and the calculation processing capability are limited, such as a portable terminal. It is.
  • Another object of the present invention is to provide a face image synthesizing method and a face image synthesizing apparatus capable of preventing a ghost from being generated in a face synthesized image by shifting a position that differs greatly from the skin color such as eyes. It is to be.
  • Still another object of the present invention is to provide a face image synthesizing method and a face image synthesizing apparatus capable of reducing the burden on an operator required for synthesizing face images.
  • a face image composition device of the present invention includes a storage device and an arithmetic processing device.
  • the storage device stores a plurality of face images and a plurality of feature points including an origin set for each of the plurality of face images.
  • the arithmetic processing device generates a plurality of deformed face images obtained by deforming the plurality of face images so that the origins of the plurality of face images coincide with each other and the other plurality of feature points coincide with each other.
  • a composite face image is generated from the face image.
  • the plurality of feature points include a reference point and a reference point.
  • the arithmetic processing unit includes an inter-image scaling unit, an image normalization unit, and an image composition unit.
  • the inter-image scaling unit based on the plurality of face images and the plurality of feature points, changes the scale of the plurality of face images so that distances between predetermined feature points coincide with each other. Generate an image.
  • the image normalization unit calculates the position of the reference point from the origin in the plurality of scale-changed face images based on the plurality of scale-changed face images and the plurality of feature points.
  • the plurality of deformed faces normalized by setting positions of the reference points at the time of image synthesis and moving the reference points of the plurality of scale-changed face images to the positions of the reference points at the time of the face image synthesis.
  • the image synthesis unit matches the reference points of the plurality of deformed face images based on the plurality of deformed face images and the plurality of feature points, and at least the color and luminance at a composition ratio in each pixel.
  • the composite face image is created by weighting one of them.
  • the arithmetic processing unit generates the synthesized face image by averaging the plurality of deformed face images for each pixel.
  • the plurality of feature points are a first feature point located in the first quadrant, a second feature point located in the second quadrant, and a third quadrant with respect to the origin. It includes the third feature point located and the fourth feature point located in the fourth quadrant.
  • the coordinate of an arbitrary point in an arbitrary face image of the plurality of face images is (xl, yl), and the deformed face image corresponding to the arbitrary point
  • the arithmetic processing unit sets the scaling factor to an arbitrary size of the deformed face image. Calculate to be continuous in the region.
  • a portable housing including the storage device and the arithmetic processing device, a display unit for displaying the plurality of face images and the composite face image, and the plurality of the plurality of face images. And an input unit capable of inputting feature points.
  • the face image synthesis method of the present invention includes: (a) a plurality of face images; and a plurality of feature points including an origin set for each of the plurality of face images. (B) generating a plurality of deformed face images deformed so that positions of two or more feature points included in the plurality of face images match, and (c) the plurality of deformed faces. Generating a composite face image from the face image.
  • the plurality of feature points include a reference point and a reference point.
  • the scales of the plurality of face images are changed so that distances between predetermined feature points coincide with each other.
  • the reference points of the plurality of deformed face images are made coincident and combined with each pixel. Creating a composite face image that is a weighted average of at least one of color and luminance by a ratio.
  • the step (b2) includes (b21) the coordinates of an arbitrary point in an arbitrary face image of the plurality of face images is (xl, yl), and the arbitrary image
  • the scale factor is the deformed face image.
  • the computer program product of the present invention has program code means for executing all the steps described in any one of the above items when used on a computer.
  • a computer program product of the present invention has the above program code means stored in a storage means readable by a computer.
  • FIG. 1 is an example of a three-dimensional polygon map in the background art.
  • FIG. 2 is a configuration diagram of an embodiment of a face image composition device of the present invention.
  • FIG. 3 is a configuration diagram of an embodiment of a face image composition device of the present invention.
  • FIG. 4 is an external view showing an example of an embodiment of a face image composition device of the present invention.
  • FIG. 5 is a flowchart showing an embodiment of a face image synthesis method of the present invention.
  • FIG. 6 is a diagram showing a face image synthesis process in the embodiment of the face image synthesis method of the present invention.
  • Fig. 7 is a diagram for explaining setting of the enlargement / reduction ratio at the time of face normalization in the embodiment of the face image composition method of the present invention.
  • FIG. 2 shows a configuration in the embodiment of the face image composition device of the present invention.
  • the face image synthesis device 60 includes an arithmetic processing device 1, a storage device 2, a display device 3, and an input device 4.
  • the storage device 2 stores a program 5.
  • the arithmetic processing unit 1 is exemplified by a CPU (central processing unit).
  • the storage device 2 is exemplified by a memory or a hard disk.
  • the display device 3 is exemplified by a liquid crystal display.
  • Input device 4 is illustrated on a keyboard.
  • FIG. 3 shows a configuration in the embodiment of the face image composition device of the present invention.
  • the face image synthesizing device 60 includes coordinate point specifying means 10, inter-image scaling means 11, image normalizing means 12, and image synthesizing means 13.
  • the coordinate point designating unit 10 designates a feature point S102 for each of the plurality of input face images S101.
  • the feature point S102 includes a reference point (such as under the nose) and a reference point (such as the center point of both eyes and the left and right ends of the mouth).
  • the coordinate point specifying means 10 is realized by the display device 3 that displays the input face image S101, the input device 4 that receives the specification of the position on the display screen displayed by the display device 3, and the storage device 2 that stores the coordinates of the specified position. Is done.
  • the coordinate point designating means 10 can be omitted if the information specifying the feature point S102 is already obtained when the input face image S101 is input.
  • the inter-image scaling unit 11 Based on the feature point S102, the inter-image scaling unit 11 generates an image S103 scaled by the distance between the centers of both eyes among the reference points.
  • the image normalization means 12 calculates the position of the reference point when the reference point is the origin, sets the reference point position S106 at the time of composition, and the reference point is obtained from the image S103.
  • An image S 104 normalized so as to move to the reference point at the time of synthesis is generated.
  • the image compositing means 13 creates a composite face image S 105 by matching the reference points of each normalized face image S 104 and performing weighted average of color or luminance at a desired composition ratio S 107 in each pixel. To do.
  • the inter-image scaling unit 11, the image normalization unit 12, and the image composition unit 13 are realized by processing in which the arithmetic processing device 1 reads out the program 5 and executes it according to the procedure described in the program 5.
  • FIG. 4 shows an example of the appearance in the embodiment of the face image composition device of the present invention.
  • the face image synthesis device 60 is preferably mounted on a mobile terminal device such as a mobile phone. .
  • the face image synthesizing device 60 is preferably mounted on a portable terminal device such as a mobile phone having a camera function (not shown).
  • the face image synthesis device 60 includes a display device 67.
  • the face image synthesizing device 60 includes a pointing device 61 capable of designating an arbitrary position of an image displayed on the display device 67 and a numeric key capable of designating a numerical value.
  • the display device 67 corresponds to the display device 3 described above.
  • the pointing device 61, the numerical keys 69, and the camera correspond to the input device 4 described above.
  • the display device 67 displays the input face image S101.
  • the input face image S101 is an image photographed by a camera (not shown) included in the face image synthesizer 60, an image set by default in the storage device 2 included in the face image synthesizer 60, or included in the face image synthesizer 60. An image received by the communication device.
  • a reference point 62, an upper left reference point 63, an upper right reference point 64, a lower left reference point 65, and a lower right reference point 66 are set by the pointing device 61.
  • the input face image S 101 is a face-like image such as a character without a mouth, only the upper left reference point 63 and the upper right reference point 64 are set as reference points.
  • FIG. 5 is a flowchart showing an embodiment of the face image synthesis method of the present invention.
  • the flow chart is roughly divided into seven steps, steps S1 to S7.
  • the coordinate point designation means 10 performs step S1
  • the inter-image scaling means 11 performs step S2
  • the image normalization means 12 performs steps S3 to S6, and the image composition means 13 performs step S7.
  • FIG. 6 is a diagram showing a face image composition process in the embodiment of the face image composition method of the present invention. An example of how facial images are synthesized is shown.
  • Step S1 Two input face images S101 are input by a camera or the like.
  • the input face image S101 is an image that can be recognized as a face or face, such as a human face, animal face, doll, or front of a car in the image.
  • FIG. 7 shows an example of the input face image S 101 as the face image F1 and the face image F2.
  • the coordinate point designation means 10 designates the reference point 62, the upper left reference point 63, the upper right reference point 64, the lower left reference point 65, and the lower right reference point 66 for each input face image S101, and is stored in the storage device 2.
  • the This designation may be input by the user using the pointing device 61 without referring to the display device 67, or automatically from the input face image by the program 5 stored in the face image synthesizing device 60. It may be extracted. Standard It is desirable that the points satisfy the conditions such as being easy to extract, having a part different from the skin color nearby, and being intermediate between parts different from the other skin color (both eyes and mouth). An example of a point that satisfies these conditions is the bottom of the nose (the center of the nostril).
  • the reference point is a point that indicates the position of the part different from other skin colors such as the center of the right eye, the center of the left eye, and both ends of the mouth, and it is preferable that the part is specified.
  • Step S2 The inter-image scaling means 11 generates an image S103 by matching the face scales of the two input face images S101. From the fact that the face sizes included in the input face image S101 are different, even if the image sizes are matched, the face scales are not matched. Therefore, a method of matching the scales using the length of the face part with little individual difference can be considered. Often used is the distance between the eyes. The distance between both eyes is usually around 6cm, regardless of the size of the face or head, as described in the literature on binocular stereopsis.
  • the inter-image scaling means 11 holds each input face image S101 horizontally in a line connecting the upper left reference point 63 and the upper right reference point 64 (the face image synthesizer 60 is normally held in an operating posture.
  • the display device 67 in the width direction).
  • calculate the distance between the centers of both eyes in pixels and calculate the ratio of the distance to the distance between the eyes set in advance, that is, (the distance between the eyes set) / (the distance between the eyes in the image). Multiply the image size by this ratio to enlarge or reduce it.
  • the image S103 thus obtained is shown as face images F3 and F4 in FIG. Face image F3 and face image F4 have the same distance between the eyes.
  • Step S3 The image normalization means 12 calculates the positional relationship between the main parts (both eyes, nose, mouth) of the face in the image S103. In other words, the position of the reference point when the reference point is the origin is calculated. The pixel coordinate value with the reference point base point as the origin indicates the positional relationship of the major parts of the face.
  • Step S4 The image normalization means 12 calculates the positions of the upper left reference point 63, the upper right reference point 64, the lower left reference point 65, and the lower right reference point 66 at the time of synthesis from the two images S103. This is equivalent to determining the position of each reference point with respect to the reference point in the synthesized face image S105.
  • a calculation method for example, the following method is used.
  • the coordinates of the position of the right eye center of face image A (upper left reference point 63) are (xa, ya) with the reference point as the origin, and the position of the right eye center of face image B Let the coordinates of the position be (xb, yb) and the composition ratio be p: q.
  • the position coordinate of the center of the right eye in the composite face image S105 is set by the following equation.
  • Step S5 The image normalization means 12 compares the ratio of the distance between the reference point before and after the synthesis of the face image and each reference point (magnification or reduction) for each of the two images S103. Rate, hereinafter abbreviated as scaling rate).
  • Rate hereinafter abbreviated as scaling rate.
  • Step S6 The image normalization means 12 normalizes (enlarges or reduces) the two images S103. That is, for each of the two images, the reference point is moved to the position after synthesis by multiplying by the ratio calculated in step S5. Further, the points other than the reference point are moved by enlargement or reduction so that the enlargement / reduction ratio calculated in step S5 increases or decreases smoothly according to the position. At this time, enlargement or reduction must be performed so that positions other than the reference point do not become discontinuous. Examples of such enlargement or reduction methods are shown below.
  • FIG. 7 is a diagram for explaining setting of the enlargement / reduction ratio at the time of face normalization in the embodiment of the face image composition method of the present invention.
  • the face image is divided into 12 parts according to the position with respect to the reference point.
  • Regions 31, 32, 33, and 34 in FIG. 7 are regions outside the reference point when viewed from the reference point 20 in terms of both the x coordinate and the y coordinate. In these regions, the enlargement / reduction rate of the innermost point, that is, the reference point is set as the enlargement / reduction rate of an arbitrary point in the region.
  • the scaling ratio of region 31 is the scaling ratio of upper left reference point 63.
  • the scaling factor for region 32 is the scaling factor for the upper right reference point 64.
  • the scaling factor for region 33 is the scaling factor for the lower left reference point 65.
  • the enlargement / reduction rate in region 34 is the enlargement / reduction rate at reference point 66 in the lower right.
  • one of the x and y coordinates is outside the reference point when viewed from the reference point 20, and the other is within the reference point when viewed from the reference point 20. It is a certain area. These The enlargement / reduction ratio of an arbitrary point located in the region is determined by using the relative position between the point and the reference point in contact with the region. For example, consider the case where the scaling factor of the point (X, y) in the region 41 is obtained. Using the coordinates (xl, yl) of the upper left reference point 63 and the coordinates (X 2, y2) of the upper right reference point 64, the point (X, y)
  • Equation 2 The scaling factor of the point (X, y) is expressed by using the scaling factor (rl, r2) of the upper left reference point 63 and the scaling factor (r2, s2) of the upper right reference point 64.
  • the coordinates of the upper left reference point 63 and the coordinates of the lower left reference point 65 are used to express the y coordinate of the point inside the area 42 by the internal division relation and set in the same way.
  • the coordinates of the upper right reference point 64 and the coordinates of the lower right reference point 66 are used to express the X coordinate of the points inside the region 43 by the internal relation and set in the same way.
  • the coordinates of the lower left reference point 65 and the coordinates of the lower right reference point 66 are used to express the y coordinate of the point inside the region 44 by the internal relation and set in the same way.
  • Regions 51, 52, 53, and 54 in Fig. 7 are the X-axis and y-axis, where the x-coordinate and y-coordinate are both the reference point forces and the region inside the reference point forms an orthogonal coordinate system with the reference point as the origin. Is divided into four areas. The scaling ratio of these areas 51, 52, 53 and 54 is determined as follows. Description will be made by focusing on the first quadrant area 54 in which both the X coordinate and the y coordinate are positive.
  • the coordinates of the point (X, y) in region 54 are the coordinates of the lower right reference point 66 (x4, y4), the lower left reference point 65 (x3, y3), and the upper right reference point 64 (x2, y2) Using
  • the image normalization means 12 sets the scaling factor of the points in the region 54 by the following equation.
  • each quadrant is enlarged or reduced by the enlargement / reduction ratio of the reference points belonging to each quadrant.
  • the eyes and mouth of the input face image S101 are not symmetrical. This is because the continuous line and texture of the input face image S101 are discontinuously deformed in the region crossing the X and y coordinates, resulting in an unnatural face image.
  • a natural image in which facial parts, lines, and texture continuously change can be obtained.
  • Step S7 The image composition means 13 generates a composite face image S105 using the normalized image S 104 and the input composition ratio S107.
  • the synthesized face image S105 is obtained by matching the reference point 62 of the two images S104 normalized in step S6 with the origin, and calculating the luminance value or color value of the pixel at each point on the coordinates by the synthesis ratio S107. Obtained by weighted average. At this time, it is not necessary to synthesize the entire face with a uniform synthesis ratio. For example, two images S104 may be combined only at the circumference of both eyes at a ratio of 50:50, and the other parts may be combined at a ratio of 0: 100 to form a partial composition only around both eyes. Such a composite ratio S 107 is Therefore, it can be stored in the storage device 2 or input device power can be input!
  • the input face image S101 is not limited to an image obtained by photographing an actual human face.
  • it may be an artificial image created by CG with crab.
  • the front of the car the headlights correspond to the eyes
  • a person like a doll may be assumed.
  • 66 is input using the pointing device 61 while confirming the input face image S101 displayed on the display screen of the display device 67. If a feature point detection program for extracting the input face image S101 force reference point 62 and each reference point is previously installed in the portable terminal, the input by the pointing device 61 is not required.
  • Steps S2 and S3 can be executed by a computing device in the mobile terminal.
  • Step S4 can be realized, for example, by inputting the composition ratio of the two images S103 with the numeric keys of the portable terminal and performing the above calculation with the arithmetic device in the portable terminal.
  • Steps S5 and S6 can be realized by a computing device in the mobile terminal.
  • step S7 can be realized by inputting the composite ratio of the two images S104 with the numeric keys of the portable terminal and performing the above-described calculation with an arithmetic device in the portable terminal.
  • Toi Reasonability is also preferable. If any of the other four points (for example, the center of the right eye) is used as the reference point, a point away from that point (for example, the left edge of the mouth) is rearranged by enlargement or reduction based on the distance of the reference point force. Shake due to enlargement or reduction tends to increase. If a distance image including three-dimensional shape information can be obtained, the apex of the nose can be used as the reference point.
  • the arrangement between the main parts can be defined by the position of the reference point and the remaining four reference points. Therefore, the placement of the reference points after synthesis is determined and the images are enlarged and reduced so that the reference point position matches the post-synthesis position in each synthesized image, so that the reference points match.
  • weighted averaging with color or luminance By performing weighted averaging with color or luminance, a composite image free from ghost in the main parts can be obtained, and the object of the present invention can be achieved.
  • the first effect of the present invention is that even a limited input interface such as a portable terminal can be executed without burden on the operator.
  • face synthesis can be performed by specifying five points: the center of the right eye, the center of the left eye, the right edge of the mouth, and the left edge of the mouth.
  • the second effect of the present invention is that it can be executed even with limited calculation processing capability such as a portable terminal. This is because polygon mapping is not used and processing is performed only with enlargement / reduction based on 5 points.
  • the third effect of the present invention is to prevent a ghost from being generated in a face composition image, such as an eye, where the skin color greatly differs.
  • the reason is that all the original images to be synthesized are enlarged or reduced so that these locations coincide.

Landscapes

  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　顔画像合成装置は、記憶装置（２）と演算処理装置（１）とを具備する。記憶装置（２）は、複数の顔画像と、前記複数の顔画像の各々に対して設定された原点を含む複数の特徴点とを記憶する。演算処理装置（１）は、前記複数の顔画像を互いの前記原点が一致し且つ互いの他の前記複数の特徴点が一致するように変形した複数の変形顔画像を生成し、前記複数の変形顔画像から合成顔画像を生成する。

Description

明 細 書
顔画像合成方法および顔画像合成装置
技術分野
[0001] 本発明は、顔画像を合成する顔画像合成方法および顔画像合成装置に関する。
背景技術
[0002] 研究レベルにおいて、 2つ以上の顔画像同士、もしくは少なくとも 1つの顔画像と一 つの顔グラフィックスや顔アニメーションを合成して、架空の顔画像を作成することが 行われている。しかし、製品化されているものは少ない。従来の方法では、 2つの画 像の各々において図 1のような三次元のポリゴンマッピング 100のように多数の顔中 の特徴点を入力して、顔標準モデルに貼り付けた顔同士を合成する。この方法では 、顔中の大量の特徴点抽出、複雑な計算が必要になるので、携帯端末上で行うこと は難しい。
[0003] 関連する技術として特開 2003— 242480号公報に画像処理方法およびその方法 を利用可能なサーバが開示されている。この画像処理方法は、サーバの画像データ ベースに格納された既存の画像と、ユーザ端末に入力された肖像画とのマッチング をとり、ユーザのカスタマイズの要請に応じた中間画像を生成して、ユーザ端末に提 供する。すなわち、顔画像をネットワークでサーバーに送り、合成処理はサーバーで 行い、結果を再びネットワークで端末に送る。
[0004] 特開平 9— 62865号公報に、顔画像処理方法および顔画像処理装置が開示され ている。この顔画像処理方法は、 2枚の顔画像 (Gl、 G2)および背景となる顔画像（ G3)と、これら顔画像 (Gl、 G2、 G3)に整合させたそれぞれの形状モデルとから、前 記顔画像 (G3)をベースとして顔画像 (Gl、 G2)の特徴を加えた顔画像を合成する 顔画像処理方法である。前記顔画像 (G1)の特徴的部分に注目し、この顔画像 (G1 )の形状モデルの前記特徴的部分に対応する所定点の座標を、背景画像 (G3)の形 状モデルの対応する点の座標に座標変換することで、顔画像 (G2)を背景顔画像（ G3)に大まかに整合させたのち、前記顔画像 (Gl、 G2)のそれぞれの整合後の形 状モデルおよび顔画像 (G3)の形状モデルのそれぞれ対応する点の座標値を所定 の比率で形状補完し、この形状補完された形状モデルに対し、それぞれ対応する画 、て所定の比率で色補完する。
[0005] 特開平 10— 91808に顔画像情報変換方法および顔画像情報変換装置が開示さ れている。この顔画像情報変換方法は、所定の人間の複数の異なる表情の顔画像 情報から、顔全体を処理単位として、顔画像表現空間上の複数の座標軸への射影 成分にそれぞれ対応する前記各表情に対する複数の表情成分を抽出するステップ と;指定された任意の 2つの前記異なる表情間の任意の比率の合成表情の顔画像情 報に対応する複数の合成表情成分を、前記 2つの異なる表情に対応する表情成分 の補間により算出するステップと;前記複数の合成表情成分に応じて、合成顔画像情 報を生成するステップとを備える、。
[0006] 特開 2004— 178163に画像処理方法及びその装置が開示されている。この画像 処理方法は、装飾と、この装飾の身体部分領域における配置情報とを、不可分に関 連付けるステップと;入力画像における身体部分領域の位置を設定するステップと； 装飾に関連付けられた配置情報を用いて、設定した身体部分領域の位置に合うよう に、装飾の配置を定め、装飾を入力画像に合成するステップと;合成した入力画像を 出力するステップとを含む。
[0007] 特開 2004— 5265に画像合成方法、画像合成装置、画像合成システムが開示さ れている。この画像合成方法は、 2つの顔画像を取得する顔画像取得ステップと；上 記 2つの顔画像をモーフイング合成によって合成してベース画像を生成するベース 画像生成ステップと；特徴顔画像を取得する特徴顔画像取得ステップと；上記特徴顔 画像と上記ベース画像とをモーフイング合成によって合成して特徴付加画像を生成 する特徴付加ステップとを含む。
[0008] 特開 2003— 296713に顔画像合成装置、顔画像合成方法およびその方法を実 行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用 端末による通信方法が開示されている。この顔画像合成装置は、人物の顔を含む画 像を取り込む画像入力手段と、取り込まれた前記画像から前記人物の頭部を含む顔 領域を取得する顔領域取得手段と、取得された前記顔領域内の画像データを加工 して、新たな顔画像を作成する顔領域加工手段と、を備える。 [0009] 特開 2000— 67261に顔動画像作成方法及び装置及びこの方法を記録した記録 媒体が開示されている。この顔動画像作成方法は、ほぼ正面から見た目 ·口の開閉 状態が異なる 2枚の人物顔画像を入力して、動画像を作成する顔動画像作成方法 において、該入力した 2枚の人物顔画像から目の位置を検出する目位置検出段階と ；該入力した 2枚の人物顔画像から口の位置を検出する口位置検出段階と;該目位 置検出段階にぉ 、て検出された目の位置情報をもとに、変形のための制御点を目の 周辺に配置し、該 2枚の人物顔画像の制御点の対応付けを行う目変形用制御点配 置段階と;該ロ位置検出段階において検出された口の位置情報をもとに、変形のた めの制御点を口の周辺に配置し、該 2枚の人物顔画像の制御点の対応付けを行う口 変形用制御点配置段階と;該目変形用制御点配置段階と該口変形用制御点配置段 階にぉ 、て配置された目と口の制御点情報をもとに該入力した 2枚の人物顔画像を 変形させて目と口の開閉状態を変化させた複数の中割画像を生成する中割画像生 成段階と;該中割画像生成段階において生成された複数の中割画像と該入力した 2 枚の人物顔画像をもとに人物顔動画像を合成する画像合成処理段階とを有する。
[0010] 2つの顔画像の合成の問題の一つは、一点を合わせて単純に加重平均するだけ では、目など、皮膚の色と大きく異なる場所がずれて、ゴーストのように残り、不自然 な合成になることである。そこで、上記のように三次元のポリゴンマッピングを用いた 方法が用いられる。この方法では、上記の目立つ特徴部を 2つの顔で一致させること が可能であるため、ゴーストが生じることはなくなる力 その反面、顔中の大量の特徴 点を抽出して、複雑な計算をする必要があり、特に入力インターフェースや計算処理 能力が制限される携帯端末では実行が難しい。
[0011] 他に顔合成の本質に由来する問題がある。顔の特徴はテクスチャと、目、鼻、口な どの主要パーツの配置を含む。例えば、人物 Aの顔と人物 Bの顔とを 7対 3の割合で 混合する場合は、 2つの意味で混合する必要がある。すなわち、テクスチャの混合比 を 7対 3にすることと、及び、顔のパーツ配置を人物 Aに 7、人物 Bに 3にする必要があ る。後者は、ポリゴンマッピング的な手法を使うと、複雑な計算が要求される。上記の ような携帯端末で実行上の問題を回避する方法として、特開 2003— 242480号公 報のようにネットワークを介してサーバーに顔のデータを送信してサーバー上で合成 を行う方法があるが、通信料金が発生する、ネットワークの状態によっては時間がか 力るなどの理由力も抵抗のあるユーザーが多い。
発明の開示
[0012] 本発明の目的は、携帯端末のような入力インターフェースや計算処理能力が制限 された環境で、顔画像合成を行うことが可能な顔画像合成方法および顔画像合成装 置を提供することである。
本発明の他の目的は、顔合成画像において、目など、皮膚の色と大きく異なる場所 がずれて、ゴーストが生じな 、ようにすることが可能な顔画像合成方法および顔画像 合成装置を提供することである。
本発明の更に他の目的は、顔画像を合成するために求められる作業者の負担を軽 減することが可能な顔画像合成方法および顔画像合成装置を提供することである。 この発明のこれらの目的とそれ以外の目的と利益とは以下の説明と添付図面とによ つて容易に確認することができる。
[0013] 上記課題を解決するために本発明の顔画像合成装置は、記憶装置と演算処理装 置とを具備する。記憶装置は、複数の顔画像と、前記複数の顔画像の各々に対して 設定された原点を含む複数の特徴点とを記憶する。演算処理装置は、前記複数の 顔画像を互 、の前記原点が一致し且つ互 、の他の前記複数の特徴点が一致するよ うに変形した複数の変形顔画像を生成し、前記複数の変形顔画像から合成顔画像 を生成する。
[0014] 上記の顔画像合成装置において、前記複数の特徴点は、基準点と参照点とを含む 。前記演算処理装置は、画像間スケーリング部と、画像正規化部と、画像合成部とを 備える。画像間スケーリング部は、前記複数の顔画像と前記複数の特徴点とに基づ いて、所定の特徴点間の距離が一致するように前記複数の顔画像のスケールを変更 した複数のスケール変更顔画像を生成する。画像正規化部は、前記複数のスケール 変更顔画像と前記複数の特徴点とに基づ!、て、前記複数のスケール変更顔画像に おける前記原点からの前記参照点の位置を計算し、顔画像合成時の前記参照点の 位置を設定し、前記複数のスケール変更顔画像の前記参照点が前記顔画像合成時 の前記参照点の位置に移動するように正規化された前記複数の変形顔画像を生成 する。画像合成部は、前記複数の変形顔画像と前記複数の特徴点とに基づいて、前 記複数の変形顔画像の前記基準点を一致させて、各画素において合成比率で色及 び輝度の少なくとも一つを加重平均した前記合成顔画像を作成する。
[0015] 上記の顔画像合成装置において、前記演算処理装置は、前記複数の変形顔画像 を各画素毎に平均化することにより前記合成顔画像を生成する。
[0016] 上記の顔画像合成装置において、前記複数の特徴点は、前記原点に対して第 1象 限に位置する第 1特徴点、第 2象限に位置する第 2特徴点、第 3象限に位置する第 3 特徴点及び第 4象限に位置する第 4特徴点を含む。
[0017] 上記の顔画像合成装置において、前記複数の顔画像のうちの任意の顔画像にお ける任意の点の座標を (xl, yl)とし、前記任意の点が対応する前記変形顔画像に おいて (x2, y2)と変換されたときの拡縮率を (r, s) = (x2/xl, y2Zyl)とするとき 、前記演算処理装置は前記拡縮率を前記変形顔画像の任意の領域で連続的となる ように算出する。
[0018] 上記の顔画像合成装置において、前記記憶装置と演算処理装置とを含む携帯可 能な筐体と、前記複数の顔画像及び前記合成顔画像を表示する表示部と、前記複 数の特徴点が入力可能な入力部とを更に具備する。
[0019] 上記課題を解決するために本発明の顔画像合成方法は、 (a)複数の顔画像と、前 記複数の顔画像の各々に対して設定された原点を含む複数の特徴点とを取得する ステップと、 (b)前記複数の顔画像に含まれる 2つ以上の特徴点の位置が一致するよ うに変形した複数の変形顔画像を生成するステップと、 (c)前記複数の変形顔画像 から合成顔画像を生成するステップとを具備する。
[0020] 上記の顔画像合成方法にお!、て、前記複数の特徴点は、基準点と参照点とを含む 。前記 (b)ステップは、（bl)前記複数の顔画像と前記複数の特徴点とに基づいて、 所定の特徴点間の距離が一致するように前記複数の顔画像のスケールを変更した 複数のスケール変更顔画像を生成するステップと、 (b2)前記複数のスケール変更顔 画像と前記複数の特徴点とに基づ!、て、前記複数のスケール変更顔画像における 前記原点からの前記参照点の位置を計算し、顔画像合成時の前記参照点の位置を 設定し、前記複数のスケール変更顔画像の前記参照点が前記顔画像合成時の前記 参照点の位置に移動するように正規化された前記複数の変形顔画像を生成するス テツプとを備える。前記 (c)ステップは、（cl)前記複数の変形顔画像と前記複数の特 徴点とに基づいて、前記複数の変形顔画像の前記基準点を一致させて、各画素に ぉ ヽて合成比率で色及び輝度の少なくとも一つを加重平均した前記合成顔画像を 作成するステップを備える。
[0021] 上記の顔画像合成方法において、前記 (b2)ステップは、（b21)前記複数の顔画 像のうちの任意の顔画像における任意の点の座標を (xl, yl)とし、前記任意の点が 対応する前記変形顔画像において (x2, y2)と変換されたときの拡縮率を (r, s) = (x 2/xl, y2Zyl)とするとき、前記拡縮率を前記変形顔画像の任意の領域で連続的 となるように算出するステップを備える。
[0022] 上記課題を解決するために本発明のコンピュータプログラム製品は、コンピュータ 上で使用したときに、上記の 、ずれか一項に記載された全てのステップを実行する プログラムコード手段を有する。
[0023] 上記課題を解決するために本発明のコンピュータプログラム製品は、コンピュータ により読み取り可能な記憶手段に記憶された、上記のプログラムコード手段を有する
図面の簡単な説明
[0024] [図 1]図 1は、背景技術における三次元のポリゴンマップの一例である。
[図 2]図 2は、本発明の顔画像合成装置の実施の形態における構成図である。
[図 3]図 3は、本発明の顔画像合成装置の実施の形態における構成図である。
[図 4]図 4は、本発明の顔画像合成装置の実施の形態の一例を示す外観図である。
[図 5]図 5は、本発明の顔画像合成方法の実施の形態を示すフローチャートである。
[図 6]図 6は、本発明の顔画像合成方法の実施の形態における顔画像の合成過程を 示す図である。
[図 7]図 7は、本発明の顔画像合成方法の実施の形態における顔の正規化時の拡縮 率の設定を説明する図である。
発明を実施するための最良の形態
[0025] 以下、図面を参照しながら本発明による顔画像合成方法、その装置及びプログラム について説明する。
[0026] 図 2は、本発明の顔画像合成装置の実施の形態における構成を示す。顔画像合成 装置 60は、演算処理装置 1、記憶装置 2、表示装置 3及び入力装置 4を備えている。 記憶装置 2にはプログラム 5が格納されている。演算処理装置 1は、 CPU (central processing unit)に例示される。記憶装置 2は、メモリ又はハードディスクに例示さ れる。表示装置 3は、液晶ディスプレイに例示される。入力装置 4は、キーボードに例 示される。
[0027] 図 3は、本発明の顔画像合成装置の実施の形態における構成を示す。顔画像合成 装置 60は、座標点指定手段 10、画像間スケーリング手段 11、画像正規化手段 12 及び画像合成手段 13を備えている。
[0028] 座標点指定手段 10は、複数の入力顔画像 S101の各々に対して特徴点 S102を 指定する。特徴点 S102は、基準点 (鼻の下など)と参照点（両目中心点と口左右両 端など）とを含む。座標点指定手段 10は、入力顔画像 S101を表示する表示装置 3、 表示装置 3が表示する表示画面における位置の指定を受け付ける入力装置 4、指定 された位置の座標を記憶する記憶装置 2により実現される。座標点指定手段 10は、 入力顔画像 S101の入力時にすでに特徴点 S102を指定する情報が共に得られて V、る場合には省略可能である。
[0029] 画像間スケーリング手段 11は、特徴点 S 102に基づいて、参照点のうちの両目中 心間の距離でスケーリングした画像 S103を生成する。画像正規ィ匕手段 12は、特徴 点 S102に基づいて、基準点を原点にしたときの参照点の位置を計算し、合成時の 参照点位置 S 106を設定し、画像 S 103から参照点が合成時の参照点に移動するよ うに正規化された画像 S 104を生成する。画像合成手段 13は、正規化された各顔画 像 S 104の基準点を一致させて、各画素において所望の合成比率 S 107で色もしく は輝度を加重平均し合成顔画像 S 105を作成する。画像間スケーリング手段 11、画 像正規化手段 12、画像合成手段 13は、演算処理装置 1がプログラム 5を読み出しプ ログラム 5に記述された手順に従って実行する処理により実現される。
[0030] 図 4は、本発明の顔画像合成装置の実施の形態における外観の一例を示す。顔画 像合成装置 60は、携帯電話機などの携帯端末装置に搭載されていることが好ましい 。顔画像合成装置 60は特にカメラ機能 (図示されず)を備えた携帯電話機などの携 帯端末装置に搭載されていることが好ましい。顔画像合成装置 60は表示装置 67を 備えている。顔画像合成装置 60は、表示装置 67に表示される画像の任意の位置を 指定することができるポインティング装置 61と、数値を指定することができる数値キー を備えている。ここで、表示装置 67は、上記の表示装置 3に相当する。ポインティング 装置 61、数値キー 69及びカメラ（図示されず）は、上記の入力装置 4に相当する。
[0031] 表示装置 67は、入力顔画像 S 101を表示する。入力顔画像 S101は、顔画像合成 装置 60が備えるカメラ（図示されず）によって撮影された画像、顔画像合成装置 60が 備える記憶装置 2にデフォルトで設定された画像あるいは顔画像合成装置 60が備え る通信装置が受信した画像である。
[0032] 入力顔画像 S101には、ポインティング装置 61により基準点 62、左上参照点 63、 右上参照点 64、左下参照点 65及び右下参照点 66が設定される。入力顔画像 S 10 1が口の無いキャラクターなどの顔類似画像である場合には、参照点として左上参照 点 63と右上参照点 64のみ設定される。
[0033] 図 5は、本発明の顔画像合成方法の実施の形態を示すフローチャートである。フロ 一チャートは、ステップ S1〜S7の 7つのステップに大別される。座標点指定手段 10 はステップ S1を行い、画像間スケーリング手段 11はステップ S2を行い、画像正規ィ匕 手段 12はステップ S3〜S6を行い、画像合成手段 13はステップ S 7を行う。図 6は、 本発明の顔画像合成方法の実施の形態における顔画像の合成過程を示す図である 。顔画像が合成されていく様子の一例を示している。
[0034] ステップ S1 :二つの入力顔画像 S101がカメラ等により入力される。入力顔画像 S1 01は、画像中に人の顔、動物の顔、人形、自動車の前面など、顔あるいは顔に見立 てることのできる画像である。図 7に入力顔画像 S 101の例が顔画像 F1及び顔画像 F 2として示されている。座標点指定手段 10により、各々の入力顔画像 S101に対して 基準点 62、左上参照点 63、右上参照点 64、左下参照点 65及び右下参照点 66が 指定され、記憶装置 2に格納される。この指定は、ユーザが表示装置 67を参照しな 力 Sらポインティング装置 61を用いて入力するのでも良いし、顔画像合成装置 60に記 憶されているプログラム 5により入力顔画像から自動的に抽出されるのでもよい。基準 点は、抽出が容易、近くに肌の色と異なるパーツがある、他の肌の色と異なるパーツ（ 両目、口）間の中間にあるなどの条件を満たすことが望ましい。こうした条件を満たす 点としては、鼻の下（鼻の穴の中央）が例示される。参照点は、右目中心、左目中心 、口の両端など他の肌の色と異なるパーツの位置を示す点であって指定しやす 、部 分が指定されることが好まし 、。
[0035] ステップ S2 :画像間スケーリング手段 11は、二つの入力顔画像 S 101の顔のスケー ルを一致させて画像 S 103を生成する。入力顔画像 S 101に含まれる顔の大きさが異 なること〖こより、画像サイズを一致させても、顔のスケールを一致させたことにはならな い。そこで、個人差の少ない顔の部分の長さを用いてスケールを一致させる方法が 考えられる。よく用いられるのは両目間の距離である。両目間の距離は両眼立体視 に関する文献で記述されているように、顔や頭の大きさに係わらず通常 6cm程度で ある。
[0036] 画像間スケーリング手段 11は、各々の入力顔画像 S101を左上参照点 63と右上参 照点 64とを結ぶ線が水平 (顔画像合成装置 60を通常、操作する姿勢で手に保持し たときの、表示装置 67の幅方向）になるように回転する。次に両目中心間の距離をピ クセル単位で計算し、その距離と予め設定した両目間の距離との比、つまり（設定し た両目間距離) / (画像中の両目間距離)を計算し、画像の縦横サイズにこの比を乗 じて、拡大もしくは縮小する。こうして得られた画像 S 103は、図 6に顔画像 F3、 F4と して示されている。顔画像 F3と顔画像 F4とは両目間の距離が同じである。
[0037] ステップ S3 :画像正規ィ匕手段 12は、画像 S103における顔の主要パーツ（両目、鼻 、口）の間の位置関係を計算する。つまり、基準点を原点にしたときの参照点の位置 を計算する。参照点の基準点を原点としたピクセル座標値が、顔の主要パーツの位 置関係を示す。
[0038] ステップ S4 :画像正規ィ匕手段 12は、 2つの画像 S103から、合成時の左上参照点 6 3、右上参照点 64、左下参照点 65及び右下参照点 66の位置を算出する。これは、 合成顔画像 S105における基準点に対する各参照点の位置を決めることに相当する 。計算方法としては、例えば次の方法が用いられる。基準点を原点として、顔画像 A の右目中心 (左上参照点 63)の位置の座標を (xa, ya)、顔画像 Bの右目中心の位 置の座標を (xb, yb)として、合成比率を p : qとする。このとき、合成顔画像 S105にお ける右目中心の位置座標は、次式で設定される。
[数 1]
p + q p + q ソ
[0039] ステップ S5 :画像正規ィ匕手段 12は、 2つの画像 S103の各々に対して、顔画像の 合成前と合成後での基準点と各参照点との距離の比 (拡大率または縮小率、以下、 拡縮率と略す)を算出する。ステップ S4の説明で挙げた例を用いると、顔画像 Aの左 上参照点 63の比率は (ra, sa) = (xs/xa, ysZya)となる。顔画像 Bの左上参照点 63の比率は（rb, sb) = (xs/xb, ysZyb)となる。
[0040] ステップ S6 :画像正規ィ匕手段 12は、 2つの画像 S 103を正規化 (合成のための拡 大もしくは縮小）する。つまり、 2つの画像の各々について参照点をステップ S5で計 算した比率を乗じることにより合成後の位置に移動させる。さらに、参照点以外の点 を、位置に応じて、ステップ S5で計算した拡縮率が滑らかに増減するようにして、拡 大もしくは縮小により移動させる。この際、参照点以外の位置が、不連続にならないよ うな拡大もしくは縮小を行わなければならない。このような拡大もしくは縮小の方法の 例を以下に示す。
[0041] 図 7は、本発明の顔画像合成方法の実施の形態における顔の正規化時の拡縮率 の設定を説明する図である。図 7に示すように、顔画像を参照点に対する位置によつ て 12の部分に分ける。図 7の領域 31、 32、 33及び 34は、 x座標、 y座標ともに、基準 点 20から見て参照点の外側にある領域である。これらの領域では、最も内側の点、 すなわち参照点の拡縮率を、領域内の任意の点の拡縮率とする。領域 31の拡縮率 は左上参照点 63の拡縮率である。領域 32の拡縮率は右上参照点 64の拡縮率であ る。領域 33の拡縮率は左下参照点 65の拡縮率である。領域 34の拡縮率は右下参 照点 66の拡縮率である。
[0042] 図 7の領域 41、 42、 43及び 44は、 x座標と y座標の一方は基準点 20から見て参照 点の外部であり、他方は基準点 20から見て参照点の内部にある領域である。これら の領域に位置する任意の点の拡縮率は、その点とその領域に接する参照点との相 対位置を用いて決められる。例えば、領域 41における点 (X, y)の拡縮率を求める場 合を考える。点 (X, y)を、左上参照点 63の座標 (xl , yl)と右上参照点 64の座標 (X 2, y2)を用いて
[数 2]
Figure imgf000013_0001
と表現するとき、点 (X, y)の拡縮率は、左上参照点 63の拡縮率 (rl, r2)と右上参 照点 64の拡縮率 (r2, s2)を用いて、
[数 3]
(r, s) = ^,—^ ^ - - - (3)
u + v u + ソ で設定する。
領域 42に関しては左上参照点 63の座標と左下参照点 65の座標を用いて領域 42 の内部の点の y座標を内分関係により表現して同様に設定する。
領域 43に関しては右上参照点 64の座標と右下参照点 66の座標を用いて領域 43 の内部の点の X座標を内分関係により表現して同様に設定する。
領域 44に関しては左下参照点 65の座標と右下参照点 66の座標を用いて領域 44 の内部の点の y座標を内分関係により表現して同様に設定する。
図 7の領域 51、 52、 53及び 54は、 x座標と y座標が共に基準点力も見て参照点より も内部にある領域が基準点を原点とする直交座標系をなす X軸と y軸により 4つの領 域に分けられたものである。これらの領域 51、 52、 53及び 54の拡縮率は、次のよう に決められる。 X座標、 y座標が共に正である第 1象限の領域 54に着目して説明する 。領域 54における点の座標 (X, y)を、右下参照点 66の座標 (x4, y4)、左下参照点 65の座標（x3, y3)、及び右上参照点 64の座標（x2, y2)を用いて
[数 4] ( , )
Figure imgf000014_0001
で表現する。このとき、画像正規ィ匕手段 12は、領域 54における点の拡縮率を次式 で設定する。
[数 5]
( vr， +ur4 v's2 +u s,
( )
Figure imgf000014_0002
このような設定により、参照点は所望の拡縮率で移動させつつ、全体を滑らかに（ 継ぎ目なく）拡縮率を設定することが可能になる。元の画像ですベての点に拡縮率が 設定されると各点は座標にその拡縮率を乗じた値の座標に移動する。中間で抜けた 値がある場所は、内挿補完により埋める。このようにして画像 S 104が生成される。画 像 S104の例は、図 6に顔画像 F5と顔画像 F6に示されている。顔画像 F5と顔画像 F 6とは、顔の各部分（目、鼻、口）の位置が同じである。
[0044] こうした処理をする理由は、単純に各々の象限を各々の象限に属する参照点の拡 縮率で拡大 '縮小したのでは、例えば入力顔画像 S101の目や口が左右対称からず れている場合に、 X座標、 y座標を横断する領域において、入力顔画像 S101が有す る連続的な線やテクスチャが不連続に変形され、不自然な顔画像となるためである。 上述した拡縮率の算出方法によれば、顔のパーツ、線、テクスチャが連続的に変化 する自然な画像が得られる。
[0045] ステップ S7 :画像合成手段 13は、正規化された画像 S 104と入力された合成比率 S107を用いて合成顔画像 S105を生成する。合成顔画像 S105は、ステップ S6で正 規ィ匕された二つの画像 S 104の基準点 62を原点に一致させて、座標上の各点の画 素の輝度値もしくは色値を合成比率 S107によって加重平均することにより得られる。 このとき、顔全体を一様な合成比率により合成する必要はない。例えば、両目の周り だけ二つの画像 S104を 50 : 50の比で合成し、その他の部分は 0 : 100の比で合成 して、両目周囲だけの部分合成にしてもよい。こうした合成比率 S 107の設定は、予 め記憶装置 2に格納されて 、ても良 、し、入力装置力 入力されるのでも良!、。
[0046] 入力顔画像 S101は、実際の人間の顔を撮影することにより得られた画像に限られ ない。例えば、ァニ入 CGなどで作成された人工画像でもよい。また、自動車の前面 (ヘッドライトが目に対応する）、人形のように人の顔を想定できるものであってもよい
[0047] 顔画像合成装置 60が携帯電話などの携帯端末を用いて実現される場合、ステップ S1における基準点 62、左上参照点 63、右上参照点 64、左下参照点 65及び右下参 照点 66の入力は、表示装置 67の表示画面に表示された入力顔画像 S101を確認し ながら、ポインティング装置 61を用いて行われる。予め携帯端末に入力顔画像 S101 力 基準点 62と各参照点を抽出する特徴点検出プログラムが実装されているならば 、ポインティング装置 61による入力は必要とされない。ステップ S2とステップ S3は、 携帯端末内の演算装置により実行できる。ステップ S4は、例えば、携帯端末の数字 キーで 2つの画像 S103の合成比率を入力し、上述の計算を携帯端末内の演算装置 で行うことで実現できる。ステップ S5とステップ S6は携帯端末内の演算装置で実現 できる。ステップ S7は、ステップ S4と同様に携帯端末の数字キーで二つの画像 S10 4の合成比率を入力し、上述の計算を携帯端末内の演算装置で行うことで実現でき る。
[0048] 本発明によれば、入力インターフェースや計算処理能力が制限された環境にお!ヽ て、ゴーストの生じない質の高い顔合成画像を作ることが可能になり、カメラ付きの携 帯電話や PDAなどへの実装が可能になる。
[0049] 2つの顔画像を合成した画像が実際に存在するように感じられるために最も重要な ことは、目などの特徴部位が一致していることである。合成時のずれが目立つ部分は 、両目、鼻の穴、口、眉毛が挙げられる。眉毛は、描ぐ表情をつける、ということをし ない限り、目の位置との相関が高いので、目の位置が適切に処理されれば眉毛の位 置も適切に処理される。そこで、両目、鼻の穴、口に着目する。鼻の下の点（鼻の両 穴の中間点）を基準点とし、右目中心、左目中心、口右端及び口左端の 4点を各領 域の参照点とする。鼻の下を基準点に取ることは、（1)右目、左目、口右端及び口左 端の 4点の中間にある、（2)鼻の両穴の中間という特徴があるため抽出が容易、とい う理由力も好ましい。他の 4点のいずれ力 (例えば右目中心）を基準点とした場合は、 その点力 離れた点 (例えば口左端)を基準点力 の距離を元に拡大もしくは縮小に より再配置するとき、拡大、縮小によるぶれが大きくなりやすい。もし、立体的な形状 の情報を含む距離画像などが得られるのであれば、鼻の頂点を基準点に採用するこ とちでさる。
[0050] 画像全体をスケーリングしておき、基準点を鼻の下の点等で決めれば、主要パーツ 間の配置は基準点と残りの 4つの参照点の位置で定義できる。そこで、合成後の参 照点の配置をあら力じめ決め、合成されるそれぞれの画像において、参照点の位置 が合成後の位置に一致するように画像を拡大縮小し、基準点を一致させて、色もしく は輝度で加重平均することにより、主要パーツ部にゴーストのない合成画像が得られ 、本発明の目的を達成することができる。
[0051] 本発明の第 1の効果は、携帯端末のような制限された入力インターフェースでも、 作業者の負担なく実行できる点である。その理由は、鼻の下、右目中心、左眼中心、 口右端、口左端の 5点を指定することで顔合成が実行できるからである。
本発明の第 2の効果は、携帯端末のような制限された計算処理能力でも実行できる 点である。その理由は、ポリゴンマッピングを用いず、 5点を基準にした拡大 Z縮小の みで処理を行うからである。
本発明の第 3の効果は、顔合成画像において目など、皮膚の色と大きく異なる場所 にゴーストが生じさせないようにする点である。その理由は、合成される元の画像すベ てでこれらの場所を一致させるように拡大もしくは縮小を行うからである。
[0052] 本発明は上記各実施例に限定されず、本発明の技術思想の範囲内において、各 実施例は適宜変形又は変更され得ることは明らかである。

Claims

請求の範囲
[1] 複数の顔画像と、前記複数の顔画像の各々に対して設定された原点を含む複数の 特徴点とを記憶する記憶装置と、
前記複数の顔画像を互!、の前記原点が一致し且つ互!、の他の前記複数の特徴点 がー致するように変形した複数の変形顔画像を生成し、前記複数の変形顔画像から 合成顔画像を生成する演算処理装置と
を具備する
顔画像合成装置。
[2] 請求項 1に記載の顔画像合成装置において、
前記複数の特徴点は、基準点と参照点とを含み、
前記演算処理装置は、
前記複数の顔画像と前記複数の特徴点とに基づ!、て、所定の特徴点間の距離が 一致するように前記複数の顔画像のスケールを変更した複数のスケール変更顔画像 を生成する画像間スケーリング部と、
前記複数のスケール変更顔画像と前記複数の特徴点とに基づ!、て、前記複数のス ケール変更顔画像における前記原点からの前記参照点の位置を計算し、顔画像合 成時の前記参照点の位置を設定し、前記複数のスケール変更顔画像の前記参照点 が前記顔画像合成時の前記参照点の位置に移動するように正規化された前記複数 の変形顔画像を生成する画像正規化部と、
前記複数の変形顔画像と前記複数の特徴点とに基づ!、て、前記複数の変形顔画 像の前記基準点を一致させて、各画素において合成比率で色及び輝度の少なくとも 一つを加重平均した前記合成顔画像を作成する画像合成部と
を備える
顔画像合成装置。
[3] 請求項 1又は 2に記載の顔画像合成装置において、
前記演算処理装置は、前記複数の変形顔画像を各画素毎に平均化することにより 前記合成顔画像を生成する
顔画像合成装置。 [4] 請求項 1又は 2に記載された顔画像合成装置にお ヽて、
前記複数の特徴点は、前記原点に対して第 1象限に位置する第 1特徴点、第 2象 限に位置する第 2特徴点、第 3象限に位置する第 3特徴点及び第 4象限に位置する 第 4特徴点を含む
顔画像合成装置。
[5] 請求項 1又は 2に記載の顔画像合成装置において、
前記複数の顔画像のうちの任意の顔画像における任意の点の座標を (xl, yl)とし 、前記任意の点が対応する前記変形顔画像において (x2, y2)と変換されたときの 拡縮率を (r, s) = (x2/xl, y2Zyl)とするとき、前記演算処理装置は前記拡縮率 を前記変形顔画像の任意の領域で連続的となるように算出する
顔画像合成装置。
[6] 請求項 1又は 2に記載の顔画像合成装置において、
前記記憶装置と演算処理装置とを含む携帯可能な筐体と、
前記複数の顔画像及び前記合成顔画像を表示する表示部と、
前記複数の特徴点が入力可能な入力部と
を更に具備する
顔画像合成装置。
[7] (a)複数の顔画像と、前記複数の顔画像の各々に対して設定された原点を含む複 数の特徴点とを取得するステップと、
(b)前記複数の顔画像に含まれる 2つ以上の特徴点の位置が一致するように変形 した複数の変形顔画像を生成するステップと、
(c)前記複数の変形顔画像から合成顔画像を生成するステップと
を具備する
顔画像合成方法。
[8] 請求項 7に記載の顔画像合成方法にお 、て、
前記複数の特徴点は、基準点と参照点とを含み、
前記 (b)ステップは、
(bl)前記複数の顔画像と前記複数の特徴点とに基づいて、所定の特徴点間の距 離が一致するように前記複数の顔画像のスケールを変更した複数のスケール変更顔 画像を生成するステップと、
(b2)前記複数のスケール変更顔画像と前記複数の特徴点とに基づ!/、て、前記複 数のスケール変更顔画像における前記原点力 の前記参照点の位置を計算し、顔 画像合成時の前記参照点の位置を設定し、前記複数のスケール変更顔画像の前記 参照点が前記顔画像合成時の前記参照点の位置に移動するように正規化された前 記複数の変形顔画像を生成するステップと
を備え、
前記 (c)ステップは、
(cl)前記複数の変形顔画像と前記複数の特徴点とに基づいて、前記複数の変形 顔画像の前記基準点を一致させて、各画素において合成比率で色及び輝度の少な くとも一つを加重平均した前記合成顔画像を作成するステップを備える
顔画像合成方法。
[9] 請求項 8に記載の顔画像合成方法にぉ 、て、
前記 (b2)ステップは、
(b21)前記複数の顔画像のうちの任意の顔画像における任意の点の座標を (xl , yl)とし、前記任意の点が対応する前記変形顔画像において (x2, y2)と変換された ときの拡縮率を (r, s) = (x2/xl, y2Zyl)とするとき、前記拡縮率を前記変形顔画 像の任意の領域で連続的となるように算出するステップを備える
顔画像合成装置。
[10] コンピュータ上で使用したときに、請求項 7乃至 9のいずれか一項に記載された全 てのステップを実行するプログラムコード手段を有するコンピュータプログラム製品。
[11] コンピュータにより読み取り可能な記憶手段に記憶された、請求項 10に記載された プログラムコード手段を有するコンピュータプログラム製品。
PCT/JP2005/021517 2004-11-25 2005-11-24 顔画像合成方法および顔画像合成装置 WO2006057267A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/791,626 US7876320B2 (en) 2004-11-25 2005-11-24 Face image synthesis method and face image synthesis apparatus
EP05809577A EP1818869A1 (en) 2004-11-25 2005-11-24 Face image synthesis method and face image synthesis device
JP2006547806A JP4359784B2 (ja) 2004-11-25 2005-11-24 顔画像合成方法および顔画像合成装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004341166 2004-11-25
JP2004-341166 2004-11-25

Publications (1)

Publication Number Publication Date
WO2006057267A1 true WO2006057267A1 (ja) 2006-06-01

Family

ID=36498003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/021517 WO2006057267A1 (ja) 2004-11-25 2005-11-24 顔画像合成方法および顔画像合成装置

Country Status (4)

Country Link
US (1) US7876320B2 (ja)
EP (1) EP1818869A1 (ja)
JP (1) JP4359784B2 (ja)
WO (1) WO2006057267A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI332639B (en) * 2006-09-27 2010-11-01 Compal Electronics Inc Method for displaying expressional image
JP2009211513A (ja) * 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置及びその方法
JP2009232243A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理のためのコンピュータプログラム
EP2353297A2 (en) * 2008-11-05 2011-08-10 Shachar Carmi Apparatus and method for chroma-key processing
JP5496036B2 (ja) * 2010-09-21 2014-05-21 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5538160B2 (ja) * 2010-09-24 2014-07-02 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP5547854B2 (ja) * 2010-11-29 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 携帯型装置で捕捉される多重画像からの肖像画像合成
US9801550B2 (en) * 2010-12-27 2017-10-31 Joseph Ralph Ferrantelli Method and system for measuring anatomical dimensions from a digital photograph on a mobile device
US9788759B2 (en) * 2010-12-27 2017-10-17 Joseph Ralph Ferrantelli Method and system for postural analysis and measuring anatomical dimensions from a digital three-dimensional image on a mobile device
CA2822244C (en) * 2010-12-27 2017-02-28 Joseph R. Ferrantelli Mobile postural screening method and system
US20120182315A1 (en) * 2011-01-18 2012-07-19 Kenneth Alan Garzo Make a Face
JP5820257B2 (ja) * 2011-02-18 2015-11-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9251402B2 (en) * 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
US9323980B2 (en) 2011-05-13 2016-04-26 Microsoft Technology Licensing, Llc Pose-robust recognition
KR102013928B1 (ko) * 2012-12-28 2019-08-23 삼성전자주식회사 영상 변형 장치 및 그 방법
US9811889B2 (en) * 2014-12-31 2017-11-07 Nokia Technologies Oy Method, apparatus and computer program product for generating unobstructed object views
CN104657956B (zh) * 2015-03-16 2018-10-02 龙旗电子(惠州)有限公司 一种实现智能手机图片美化功能的方法
US10460493B2 (en) * 2015-07-21 2019-10-29 Sony Corporation Information processing apparatus, information processing method, and program
US9971958B2 (en) 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
US11017547B2 (en) 2018-05-09 2021-05-25 Posture Co., Inc. Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
TWI749370B (zh) * 2019-09-16 2021-12-11 緯創資通股份有限公司 臉部辨識方法及其相關電腦系統
JP7102554B2 (ja) * 2019-09-30 2022-07-19 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 画像処理方法、装置及び電子機器
US11610305B2 (en) 2019-10-17 2023-03-21 Postureco, Inc. Method and system for postural analysis and measuring anatomical dimensions from a radiographic image using machine learning
CN112819922B (zh) * 2021-02-02 2024-03-12 郑州轻工业大学 一种基于连续线条的人物肖像画生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962865A (ja) * 1995-06-16 1997-03-07 Seiko Epson Corp 顔画像処理方法および顔画像処理装置
JP2000036056A (ja) * 1998-05-11 2000-02-02 Hitachi Ltd 画像対応付け方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
JP2918499B2 (ja) * 1996-09-17 1999-07-12 株式会社エイ・ティ・アール人間情報通信研究所 顔画像情報変換方法および顔画像情報変換装置
JP2000067261A (ja) 1998-08-19 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 顔動画像作成方法及び装置及びこの方法を記録した記録媒体
JP2000357221A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US6975750B2 (en) * 2000-12-01 2005-12-13 Microsoft Corp. System and method for face recognition using synthesized training images
US6654018B1 (en) * 2001-03-29 2003-11-25 At&T Corp. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
JP2003242480A (ja) 2002-02-14 2003-08-29 Sony Communication Network Corp 画像処理方法およびその方法を利用可能なサーバ
JP2003271982A (ja) * 2002-03-19 2003-09-26 Victor Co Of Japan Ltd 似顔絵生成装置
JP2003296713A (ja) 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
JP2004005265A (ja) 2002-05-31 2004-01-08 Omron Corp 画像合成方法、画像合成装置、画像合成システム
JP2004178163A (ja) 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 画像処理方法及びその装置
US7587068B1 (en) * 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7379071B2 (en) * 2003-10-14 2008-05-27 Microsoft Corporation Geometry-driven feature point-based image synthesis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962865A (ja) * 1995-06-16 1997-03-07 Seiko Epson Corp 顔画像処理方法および顔画像処理装置
JP2000036056A (ja) * 1998-05-11 2000-02-02 Hitachi Ltd 画像対応付け方法

Also Published As

Publication number Publication date
JP4359784B2 (ja) 2009-11-04
EP1818869A1 (en) 2007-08-15
JPWO2006057267A1 (ja) 2008-08-07
US20080165187A1 (en) 2008-07-10
US7876320B2 (en) 2011-01-25

Similar Documents

Publication Publication Date Title
JP4359784B2 (ja) 顔画像合成方法および顔画像合成装置
JP3847753B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP7504968B2 (ja) アバター表示装置、アバター生成装置及びプログラム
CN112288665B (zh) 图像融合的方法、装置、存储介质及电子设备
EP1710746A1 (en) Makeup simulation program, makeup simulation device, and makeup simulation method
JP5632469B2 (ja) キャラクタ生成システム、キャラクタ生成方法及びプログラム
KR101150097B1 (ko) 얼굴 화상 작성장치 및 방법
CN107452049B (zh) 一种三维头部建模方法及装置
CN109949390A (zh) 图像生成方法、动态表情图像生成方法及装置
TWI780919B (zh) 人臉影像的處理方法、裝置、電子設備及儲存媒體
US20100202697A1 (en) Specifying position of characteristic portion of face image
US8643679B2 (en) Storage medium storing image conversion program and image conversion apparatus
JP4468631B2 (ja) ３次元顔モデルのためのテクスチャー生成方法及び装置
JP4689548B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP6402301B2 (ja) 視線変換装置、視線変換方法及びプログラム
JP5642583B2 (ja) 画像生成装置および画像生成プログラム
JP2943703B2 (ja) ３次元キャラクタ作成装置および３次元キャラクタ作成方法
US6633291B1 (en) Method and apparatus for displaying an image
JP2723070B2 (ja) 人物像表示によるユーザインタフェース装置
JP3543152B2 (ja) 画像作成装置および画像作成方法
JP2000293710A (ja) 三次元似顔絵作成方法ならびに装置
JP2001307122A (ja) 顔写真画像切り抜き方法
JP2000353252A (ja) 映像重畳方法、映像重畳装置及び映像重畳プログラムを記録した記録媒体
JP4767331B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2001216525A (ja) 画像処理装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2006547806

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2005809577

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11791626

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005809577

Country of ref document: EP