JP4474546B2 - Face shape modeling system and face shape modeling method - Google Patents
Face shape modeling system and face shape modeling method Download PDFInfo
- Publication number
- JP4474546B2 JP4474546B2 JP2004293087A JP2004293087A JP4474546B2 JP 4474546 B2 JP4474546 B2 JP 4474546B2 JP 2004293087 A JP2004293087 A JP 2004293087A JP 2004293087 A JP2004293087 A JP 2004293087A JP 4474546 B2 JP4474546 B2 JP 4474546B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- face shape
- standard
- feature point
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 20
- 230000008921 facial expression Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000002316 cosmetic surgery Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008571 general function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000003643 water by type Substances 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
本発明は、顔の三次元幾何形状を生成するための、顔形状モデリングシステムおよび顔形状モデリング方法に関する。 The present invention relates to a face shape modeling system and a face shape modeling method for generating a three-dimensional geometric shape of a face.
顔の三次元幾何形状作成に関する技術は、用いる手法により２つに分類される。ひとつは、実際に存在する対象から自動的に幾何的な特徴を抽出する手法である。例として、レンジスキャナを用いて対象の３次元幾何情報を取り込み、物理法則に基づいたモデルを生成する手法がある（例えば、非特許文献１参照）。また、対象の正面と側面の画像からモデルを生成する手法もある（例えば、非特許文献２参照）。上記の手法は、映画やコンピュータゲームなどのエンターテインメント分野では既に実用化されており、半自動的にリアリスティックな顔形状を得ることができる。しかし上記の手法は、レンジスキャナなど特殊な装置を必要とする。 Techniques for creating a three-dimensional geometric shape of a face are classified into two types depending on the method used. One is a method of automatically extracting geometric features from objects that actually exist. As an example, there is a method of capturing a target three-dimensional geometric information using a range scanner and generating a model based on a physical law (see, for example, Non-Patent Document 1). There is also a method of generating a model from the front and side images of the object (for example, see Non-Patent Document 2). The above-described method has already been put into practical use in the entertainment field such as movies and computer games, and a realistic face shape can be obtained semi-automatically. However, the above method requires a special device such as a range scanner.
もうひとつは、直接的に顔の幾何形状を作成する際に、その作業をより簡便にすることを目標とする手法である。このような手法のうちいくつかは既に商用の３次元モデリングソフトに組み込まれている。しかしこの手法は、作業者に多くの芸術的感性を要求されるため、より高レベルでの制御が可能になるよう研究が行われている。例えば、パラメータによって顔形状を変形する手法（非特許文献３参照）や、局所的な変形パラメータをより大局的な集合にして表現する手法（非特許文献４参照）が提案されている。
しかし、上記の手法は、幾何形状作成の効率化を図る作業補助的なものであり、どんな作業者でも任意の顔形状を作成するには十分ではない。
The other is a technique that aims to simplify the work when creating the face geometry directly. Some of these techniques are already incorporated in commercial 3D modeling software. However, since this method requires a lot of artistic sensibilities for workers, research is being conducted to enable higher-level control. For example, a method of deforming a face shape using parameters (see Non-Patent Document 3) and a method of expressing local deformation parameters as a more global set (see Non-Patent Document 4) have been proposed.
However, the above method is an auxiliary work for improving the efficiency of creating a geometric shape, and is not sufficient for any operator to create an arbitrary face shape.
また、人体計測に基づくパラメータを用いて顔形状を生成する手法もある（非特許文献５参照）。しかし、この手法ではパラメータが十分でなく、顎の突出度と眼裂の大きさなど僅かな特徴の操作しかできない為、詳細な特徴を持つ顔形状の生成はできない。 There is also a method of generating a face shape using parameters based on human body measurement (see Non-Patent Document 5). However, this method does not have enough parameters, and only a few features such as the degree of protrusion of the jaw and the size of the eye fissure can be manipulated, so a face shape having detailed features cannot be generated.
一方、任意の三次元形状を生成する手法として、三次元物体の二次元図形情報を用いる手法がある。この手法は、物体の二次元図形情報の特徴点と、その物体に基本形状が近似する三次元基本形状モデルの制御点をとる。そして、三次元基本形状モデルの制御点を二次元図形情報の特徴点に一致させるよう、三次元基本形状モデルを変形する（例えば、特許文献１参照）。 On the other hand, as a method for generating an arbitrary three-dimensional shape, there is a method using two-dimensional graphic information of a three-dimensional object. This method takes a feature point of 2D graphic information of an object and a control point of a 3D basic shape model whose basic shape approximates the object. Then, the three-dimensional basic shape model is deformed so that the control points of the three-dimensional basic shape model coincide with the feature points of the two-dimensional graphic information (see, for example, Patent Document 1).
また、三次元形状の変形については、変形手法であるＦＦＤ（Free-Form Deformation）を用い、基底関数にcosine関数やcosine-n乗関数（nは２以上の整数）を用いる手法が提案されている（例えば、特許文献２参照）。 For deformation of three-dimensional shapes, FFD (Free-Form Deformation), which is a deformation method, is used, and a method using a cosine function or cosine-n power function (where n is an integer of 2 or more) is proposed. (For example, refer to Patent Document 2).
しかし、顔を対象とした場合、特許文献１の手法をはじめとした、単に三次元形状モデルを作成する手法だけでは、不十分であるといえる。これは、三次元顔形状モデルの主な用途が、デジタルアクターやアバタなどの表情を伴ったアニメーションの作成や、美容整形シミュレーションなどであるためである。これらの用途における顔形状モデルの作成には、顔形状に特有である表情付けや解剖学的な構造などの情報を付加しなければならない。従来技術では、対象を三次元形状全般としているものが多く、顔形状特有の情報を扱っていないため、新たな顔形状モデルを作成するごとに顔形状特有の情報を付加しなければならず、作業効率が悪くなっている。 However, in the case of a face, it can be said that the method of simply creating a three-dimensional shape model such as the method of Patent Document 1 is insufficient. This is because the main use of the three-dimensional face shape model is to create an animation with a facial expression such as a digital actor or an avatar, or a cosmetic surgery simulation. To create a face shape model for these applications, information such as expression and anatomical structure, which are peculiar to the face shape, must be added. In the prior art, since many of the objects are general three-dimensional shapes and do not handle information specific to the face shape, it is necessary to add information specific to the face shape every time a new face shape model is created, Work efficiency is getting worse.
この発明はこのような点に鑑みてなされたもので、人間の顔を対象として、特殊な装置を利用せずに、リアリスティックで、作成後の利用が容易な三次元顔形状モデルが得られる顔形状モデリングシステムおよび顔形状モデリング方法を提供することを目的としている。 The present invention has been made in view of the above points, and a three-dimensional face shape model that is realistic and easy to use after creation can be obtained for a human face without using a special device. It is an object of the present invention to provide a face shape modeling system and a face shape modeling method.
上記した目的を達成するために、請求項１記載の発明は、第1の特徴点の標準位置情報を有する三次元標準顔形状から任意の三次元顔形状モデルを作成する顔形状モデリングシステムにおいて、複数の二次元顔画像を取得する顔画像取得手段と、前記顔画像取得手段により取得した前記二次元顔画像から第２の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出した前記第２の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、前記三次元標準顔形状が有する第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形する変形手段とを有することを特徴とする。 To achieve the above object, the invention according to claim 1 is a face shape modeling system for creating an arbitrary three-dimensional face shape model from a three-dimensional standard face shape having standard position information of a first feature point. Face image acquisition means for acquiring a plurality of two-dimensional face images, feature point extraction means for extracting a second feature point from the two-dimensional face image acquired by the face image acquisition means, and extraction by the feature point extraction means 3D position information acquisition means for acquiring 3D position information of the second feature point, standard position information of the first feature point of the 3D standard face shape, and the 3D position information acquisition means Deformation means for deforming the three-dimensional standard face shape from the acquired three-dimensional position information of the second feature point.
請求項２記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記変換手段が、ＧＦＦＤの変形手法を用い、ガウス関数とユークリッドノルムを基底関数とすることを特徴とする。 According to a second aspect of the present invention, in the face shape modeling system according to the first aspect, the conversion means uses a GFFD deformation method and uses a Gaussian function and a Euclidean norm as basis functions.
請求項３記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記変換手段により変換して作成した三次元顔形状モデルに、前記顔画像取得手段で取得した二次元顔画像をテクスチャとして貼付することを特徴とする。 The invention according to claim 3 is the face shape modeling system according to claim 1, wherein the two-dimensional face image acquired by the face image acquisition means is used as a texture in the three-dimensional face shape model generated by conversion by the conversion means. It is affixed.
請求項４記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記三次元標準顔形状に、任意の情報を付加することを特徴とする。 According to a fourth aspect of the present invention, in the face shape modeling system according to the first aspect, arbitrary information is added to the three-dimensional standard face shape.
請求項５記載の発明は、任意の三次元顔形状モデルを作成する顔形状モデリング方法において、第１の特徴点の標準位置情報を有する三次元標準顔形状を記憶するステップと、複数の二次元顔画像を取得するステップと、取得した前記二次元顔画像から第２の特徴点を抽出するステップと、抽出した前記第２の特徴点の三次元位置情報を取得するステップと、記憶した前記三次元標準顔形状の第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形するステップとを有することを特徴とする。 According to a fifth aspect of the present invention, in the face shape modeling method for creating an arbitrary three-dimensional face shape model, a step of storing a three-dimensional standard face shape having the standard position information of the first feature point, and a plurality of two-dimensional shapes A step of acquiring a face image; a step of extracting a second feature point from the acquired two-dimensional face image; a step of acquiring three-dimensional position information of the extracted second feature point; and the stored tertiary Transforming the three-dimensional standard face shape from the standard position information of the first feature point of the original standard face shape and the three-dimensional position information of the second feature point acquired by the three-dimensional position information acquisition means It is characterized by having.
以上の説明で明らかなように、本発明によれば、複数の二次元顔画像から第２の特徴点を抽出し、該第２の特徴点の三次元位置情報を取得し、三次元標準顔形状の第１の特徴点の標準位置情報と、取得した前記第２の特徴点の三次元位置情報とから前記三次元標準顔形状を変形する。よって、手作業よりも容易に三次元顔形状モデルを作成することが可能である。
また、顔画像を用意すれば数分で三次元顔形状モデルを作成できるので、作業効率が高い。また、レンジスキャナなどの特殊な装置を必要としないので、安価にシステムを構築することができる。ネットワーク上からの利用なども容易である。
As is clear from the above description, according to the present invention, the second feature point is extracted from the plurality of two-dimensional face images, the three-dimensional position information of the second feature point is acquired, and the three-dimensional standard face is obtained. The three-dimensional standard face shape is deformed from the standard position information of the first feature point of the shape and the acquired three-dimensional position information of the second feature point. Therefore, it is possible to create a three-dimensional face shape model more easily than manual work.
Moreover, if a face image is prepared, a three-dimensional face shape model can be created in a few minutes, so that work efficiency is high. Further, since a special device such as a range scanner is not required, the system can be constructed at a low cost. Use from the network is also easy.
また、ガウス関数とユークリッドノルムを基底関数としたＧＦＦＤの変形手法を用いるので、特徴点の移動により周囲の幾何形状もなめらかに変形することができる。また、ガウス関数を用いた場合は、変形の微調整が可能であり、ユークリッドノルムを用いた場合は、元の幾何形状の特徴をできるだけ保った変形が可能である。 Further, since a GFFD deformation method using a Gaussian function and a Euclidean norm as basis functions is used, the surrounding geometric shape can be smoothly deformed by moving the feature points. Further, when a Gaussian function is used, fine adjustment of deformation is possible, and when a Euclidean norm is used, deformation can be performed while maintaining the characteristics of the original geometric shape as much as possible.
また、変換して作成した三次元顔形状モデルに二次元顔画像をテクスチャとして貼付するので、元の二次元顔画像により近い顔形状を作成することができる。 Further, since the 2D face image is pasted as a texture to the 3D face shape model created by conversion, a face shape closer to the original 2D face image can be created.
また、三次元標準顔形状に任意の情報を付加するので、例えば笑いや怒りといった表情の情報を標準顔形状に付加し、前記標準顔形状を変形して作成した三次元顔形状モデルにも、自動的に表情の情報を付加することができるので、様々な用途に対応できる。 In addition, since arbitrary information is added to the three-dimensional standard face shape, for example, a three-dimensional face shape model created by deforming the standard face shape by adding facial expression information such as laughter or anger to the standard face shape, Since facial expression information can be added automatically, it can be used for various purposes.
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る顔形状モデリングシステム１００の概略構成を示すブロック図である。１はシステム全体の制御を行うＣＰＵ（中央制御処理装置、顔画像取得手段、特徴点抽出手段、三次元位置情報取得手段、変形手段）である。２はＣＰＵ１の動作プログラムを記憶するＲＯＭ（リードオンリメモリ）、３はデータ一時記憶用のＲＡＭ（ランダムアクセスメモリ）である。４はモニタ等の表示部、５は二次元の顔画像を入力する入力部である。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of a face shape modeling system 100 according to an embodiment of the present invention. Reference numeral 1 denotes a CPU (central control processing device, face image acquisition means, feature point extraction means, 3D position information acquisition means, deformation means) that controls the entire system. Reference numeral 2 denotes a ROM (read only memory) for storing an operation program of the CPU 1, and 3 denotes a RAM (random access memory) for temporary data storage. 4 is a display unit such as a monitor, and 5 is an input unit for inputting a two-dimensional face image.
７はデータ記憶部であり、標準顔形状モデルを記憶している標準顔形状記憶部７１、特徴点を記憶している計測点データベース７２、プログラム記憶部７３を有する。
プログラム記憶部７３には、三次元形状の変形手法であり、一般的な関数によるＧＦＦＤ（general Free-Form Deformation）のプログラムを記憶している。ＧＦＦＤについては後述する。
A data storage unit 7 includes a standard face shape storage unit 71 that stores a standard face shape model, a measurement point database 72 that stores feature points, and a program storage unit 73.
The program storage unit 73 stores a GFFD (general free-form deformation) program based on a general function, which is a three-dimensional shape deformation technique. The GFFD will be described later.
計測点データベース７２に記憶している特徴点は、法医学複顔法で用いられているものであり、人体測定における計測点を基に、顔形状の個人差を表す形状の特徴点を統計的に解析して定められた点である。この特徴点は、鼻の最突出点や、目尻など、二次元画像上でも明確な特徴を持った点としている。本発明は、この点を顔形状の特徴点として用いることで、対象となる顔の三次元顔形状モデルを十分な精度で得ることができる。 The feature points stored in the measurement point database 72 are those used in the forensic compound face method, and based on the measurement points in the human body measurement, the feature points of the shape representing individual differences in face shape are statistically calculated. This is a point determined by analysis. This feature point has a clear feature on the two-dimensional image such as the most protruding point of the nose and the corner of the eye. In the present invention, by using this point as a feature point of the face shape, a three-dimensional face shape model of the target face can be obtained with sufficient accuracy.
次に、上記構成の顔形状モデリングシステム１００の一実施例について、図２を参照して説明する。ユーザはデジタルカメラで、顔形状モデルを作成する対象となる顔を異なる撮像方向から複数枚撮影し、撮影したその二次元顔画像を入力部５に入力する（ステップＳ１）。二次元顔画像は、システムに要求される精度によって、２枚以上の異なる任意の方向を向いた顔画像を利用する。顔画像の枚数、及び画像中の顔の向きは重要でない。本例では、正面と左右側面の３枚の二次元顔画像を入力する。 Next, an example of the face shape modeling system 100 configured as described above will be described with reference to FIG. The user uses a digital camera to shoot a plurality of faces, which are targets for creating a face shape model, from different imaging directions, and inputs the two-dimensional face images thus taken to the input unit 5 (step S1). The two-dimensional face image uses two or more face images facing in different directions depending on the accuracy required for the system. The number of face images and the face orientation in the images are not important. In this example, three two-dimensional face images on the front and left and right sides are input.
次に、ＣＰＵ１は、計測点データベース７２に記憶されている計測点を呼び出し、入力部５から入力された３枚の二次元顔画像それぞれについて、二次元顔画像の特徴点を抽出する（ステップＳ２）。
特徴点は、手動による抽出の他に、一般的な画像処理手法による自動抽出も可能である。最も容易な特徴点の自動抽出方法は、二次元顔画像から任意の輝度を閾値として２値化し、特徴点の定義に合う点を、画像を走査し判定する方法である。
本例では、十分な精度を持った三次元顔形状モデルを構築するため、図３で示す５１個の特徴点を抽出する。なお、特徴点は、任意の数を定義することも可能である。
Next, the CPU 1 calls the measurement points stored in the measurement point database 72, and extracts the feature points of the two-dimensional face image for each of the three two-dimensional face images input from the input unit 5 (step S2). ).
The feature points can be automatically extracted by a general image processing technique in addition to manual extraction. The easiest feature point automatic extraction method is a method of binarizing an arbitrary luminance from a two-dimensional face image as a threshold and scanning the image to determine a point that meets the definition of the feature point.
In this example, in order to construct a three-dimensional face shape model having sufficient accuracy, 51 feature points shown in FIG. 3 are extracted. Note that an arbitrary number of feature points can be defined.
各画像から抽出した特徴点は、鼻の最突出点や、目尻などといった顔の特徴部位の情報を持っているものの、座標は二次元でしか持っていない。次にＣＰＵ１は、撮像方向の違う各画像での特徴点の対応関係から、特徴点の三次元位置情報を求める（ステップＳ３）。
各顔画像の情報は、撮影したカメラのレンズなどの特性により歪み等が発生している。ＣＰＵ１は、抽出した特徴点の二次元座標に撮影したデジタルカメラのパラメータを用いて歪み等の補正を行い、特徴点の三次元位置情報を算出する。
このパラメータは、カメラの焦点距離等を示す内部パラメータと、カメラの配置、姿勢等を示す外部パラメータである。パラメータが未知の場合は、別工程として寸法の判っている立方体等を同じカメラで複数方向から撮影し、撮影した画像からパラメータを計算する。
The feature points extracted from each image have information on facial features such as the most protruding points of the nose and the corners of the eyes, but have coordinates only in two dimensions. Next, the CPU 1 obtains the three-dimensional position information of the feature points from the correspondence relationship of the feature points in the images with different imaging directions (step S3).
The information of each face image is distorted due to the characteristics of the lens of the photographed camera. CPU1 corrects distortion etc. using the parameter of the digital camera image | photographed to the two-dimensional coordinate of the extracted feature point, and calculates the three-dimensional position information of a feature point.
This parameter is an internal parameter indicating the focal length of the camera and the like, and an external parameter indicating the camera arrangement, posture, and the like. When the parameter is unknown, as a separate process, a cube whose size is known is photographed from a plurality of directions with the same camera, and the parameter is calculated from the photographed image.
次にＣＰＵ１は、標準顔形状記憶部７１に記憶されている標準顔形状モデルを呼び出し、ステップＳ３で求めた特徴点の三次元位置情報に基づき、標準顔形状モデルを変形する（ステップＳ４）。
標準顔形状記憶部７１に記憶されている標準顔形状モデルは、図４に示すように、ポリゴンメッシュ、あるいは自由曲面で構成された幾何形状と、二次元顔画像から抽出する特徴点と一対一で対応する特徴点から構成される。この標準顔形状モデルの特徴点標準位置情報を、ステップＳ３で求めた特徴点の三次元位置情報に合うように移動し、特徴点以外の幾何形状部分を特徴点の移動を補間するように変形する。
Next, the CPU 1 calls the standard face shape model stored in the standard face shape storage unit 71, and deforms the standard face shape model based on the three-dimensional position information of the feature points obtained in step S3 (step S4).
As shown in FIG. 4, the standard face shape model stored in the standard face shape storage unit 71 has a one-to-one correspondence with a geometric shape constituted by a polygon mesh or a free-form surface, and feature points extracted from a two-dimensional face image. It consists of the corresponding feature points. The feature point standard position information of the standard face shape model is moved so as to match the three-dimensional position information of the feature point obtained in step S3, and the geometric shape portion other than the feature point is transformed so as to interpolate the movement of the feature point. To do.
ステップＳ４における標準顔形状モデルの変形には、一般的な関数によるGFFD（General Free-Form Deformation）を用いた手法を用いる。
ここで、FFD(Free-Form Deformation)は変形対象の形状モデルに独立な変形手法であり、空間の変形を定義する操作点の数は変形される物体に独立であるので、スプライン曲面のように多くの制御点を変更する必要がない。しかし、従来のFFDは操作点の形状に制限が設けられている等の問題があった。
これに対してGFFDは、任意数の操作点を任意の位置に配置し、操作点の移動により変形を直感的に制御でき、任意の基底関数を選択できる等、従来のFFDに比べ柔軟な変形の制御を可能とする。図５に、ガウス関数を基底関数とした場合のGFFDによる形状変形の例を示す。このように、GFFDでは、操作点の移動により、周囲の幾何形状も滑らかに変形することができる。
そこで、標準顔形状モデルの特徴点をGFFDの操作点とし、二次元顔画像から抽出した特徴点へと移動することで幾何形状を変形する。
For the deformation of the standard face shape model in step S4, a method using GFFD (General Free-Form Deformation) by a general function is used.
Here, FFD (Free-Form Deformation) is a deformation method that is independent of the shape model to be deformed, and the number of operating points that define the deformation of the space is independent of the object to be deformed. There is no need to change many control points. However, the conventional FFD has a problem that the shape of the operation point is limited.
GFFD, on the other hand, arranges an arbitrary number of operation points at arbitrary positions, enables intuitive control of deformation by moving the operation points, and allows selection of arbitrary basis functions. Can be controlled. FIG. 5 shows an example of shape deformation by GFFD when a Gaussian function is used as a basis function. As described above, in GFFD, the surrounding geometric shape can be smoothly deformed by moving the operation point.
Therefore, the feature point of the standard face shape model is used as the operation point of GFFD, and the geometric shape is deformed by moving to the feature point extracted from the two-dimensional face image.
ここで、GFFDを用いた標準顔形状モデルの変形の詳細を以下に説明する。
ｎ個の標準顔形状モデルにおける特徴点を
Feature points in n standard face shape models
基底関数Gは変形対象に合わせて任意の関数を選択可能である。本発明では主にガウス関数とユークリッドノルムを用いている。ガウス関数を用いた場合では、標準偏差によって変形の微調整が可能であり、ユークリッドノルムの場合は、元の幾何形状の特徴をできるだけ保った変形が可能である。顔形状の全体的な形状を、ユークリッドノルムを用いたGFFDにより変形し、眼、鼻、口などの詳細な形状を、ガウス関数を用いたGFFDにより変形すると、顔の様に複雑な構造を持った形状も精度高く変形することができる。この手法を用いて、標準顔形状モデルを変形した例を図６に示す。作成される顔形状モデルは三次元形状なので、図７に示すように、入力画像とは異なる方向も表示が可能である。 As the basis function G, an arbitrary function can be selected according to the deformation target. In the present invention, a Gaussian function and an Euclidean norm are mainly used. In the case of using a Gaussian function, the fine adjustment of the deformation can be performed by the standard deviation, and in the case of the Euclidean norm, the deformation can be performed while keeping the characteristics of the original geometric shape as much as possible. If the entire shape of the face shape is deformed by GFFD using Euclidean norm, and the detailed shape of eyes, nose, mouth, etc. is deformed by GFFD using Gaussian function, it has a complex structure like a face. The shape can also be deformed with high accuracy. An example in which the standard face shape model is modified using this technique is shown in FIG. Since the face shape model to be created is a three-dimensional shape, it is possible to display a direction different from the input image as shown in FIG.
次にＣＰＵ１００は、入力部５で入力した二次元顔画像のテクスチャを、作成した三次元顔形状モデルに貼り付け、表示部４に表示する（ステップＳ５）。テクスチャとは、コンピュータグラフィックスにおいて形状に画像を貼り付けることにより質感を向上させる手法である。本発明においては、二次元顔画像に合わせて標準顔形状モデルを変形するので、撮像したカメラの向きから顔の画像を貼り付けることで、作成した形状に合ったテクスチャとなる。図７にテクスチャを貼り付けた顔形状を示す。 Next, the CPU 100 pastes the texture of the two-dimensional face image input by the input unit 5 on the created three-dimensional face shape model and displays it on the display unit 4 (step S5). Texture is a technique for improving texture by pasting an image into a shape in computer graphics. In the present invention, since the standard face shape model is deformed in accordance with the two-dimensional face image, the face image is pasted from the direction of the captured camera, so that a texture suitable for the created shape is obtained. FIG. 7 shows the face shape with the texture attached.
標準顔形状モデルには、作成後の三次元顔形状モデルの用途に応じて、任意の情報を付加しておくことが可能である。三次元顔形状モデルは、実際の利用に際し、表情付けなどの変形が行われるのが一般的である。そのため、標準顔形状モデルに、表情などの情報を付加しておき、標準顔形状モデルの変形時にその付加情報も同様に変形すれば、作成される三次元顔形状モデルにも自動的に付加情報を持つようになり、作成後の三次元顔形状モデルの操作が非常に容易になる。 Arbitrary information can be added to the standard face shape model according to the use of the created three-dimensional face shape model. The three-dimensional face shape model is generally subjected to deformation such as expression when actually used. Therefore, if information such as facial expressions is added to the standard face shape model, and the additional information is also changed in the same way when the standard face shape model is deformed, the additional information is also automatically added to the created 3D face shape model. It becomes very easy to operate the 3D face shape model after creation.
例として表情付けを挙げる。一般的な表情を表現するために用いられている筋肉を、三次元ベクトルとしてモデル化し、図８（ａ）のように、筋肉の始点と終点を標準顔形状モデル上の点として定義する。次に、表情筋の始点を、その表情筋のベクトル方向に移動させ、その移動に合わせて標準顔形状モデルを変形させる。よって、図８（ｂ）のように、表情を付けた標準顔形状モデルを作成することができる。 Take facial expressions as an example. Muscles used for expressing a general expression are modeled as a three-dimensional vector, and the start point and end point of the muscle are defined as points on the standard face shape model as shown in FIG. Next, the starting point of the expression muscle is moved in the vector direction of the expression muscle, and the standard face shape model is deformed in accordance with the movement. Therefore, as shown in FIG. 8B, a standard face shape model with a facial expression can be created.
表情を付けた標準顔形状モデルからの変形にも、ガウス関数を用いたGFFDによる変形を用いる。表情を付けた標準顔形状モデルを変形させ、顔画像のテクスチャを貼り付けた例を図９に示す。よって、システムに新たな要素を追加することなく、作成した三次元顔形状モデルへの表情付けを実現している。このように、標準顔形状モデルに情報を付加しておくだけで、作成した三次元顔形状モデルに、比較的容易に表情付けを行うことができる。 For deformation from a standard face shape model with a facial expression, the deformation by GFFD using Gaussian function is also used. FIG. 9 shows an example in which the standard face shape model with a facial expression is deformed and the texture of the face image is pasted. Therefore, expression is added to the created 3D face shape model without adding new elements to the system. In this way, it is possible to add a facial expression to the created three-dimensional face shape model relatively easily by simply adding information to the standard face shape model.
以上説明したように、本実施形態によれば、二次元顔画像から容易に三次元顔形状モデルが作成できる。よって、特殊な装置や芸術的感性を持っていない作業者でも、顔画像を用意すれば数分で三次元顔形状モデルを作成できる。 As described above, according to the present embodiment, a three-dimensional face shape model can be easily created from a two-dimensional face image. Therefore, even a worker who does not have a special device or artistic sensitivity can create a three-dimensional face shape model in a few minutes by preparing a face image.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the scope of the present invention.
例えば、上記実施形態では、あらかじめ組み込まれている標準顔形状モデルからの変形を行ったが、本発明はこれに限定されるものではなく、任意の顔形状を標準顔形状モデルとして設定することも可能である。 For example, in the above embodiment, the standard face shape model incorporated in advance has been transformed, but the present invention is not limited to this, and any face shape may be set as the standard face shape model. Is possible.
また、標準顔形状モデルに付加する情報は、図１０に示す眼鏡の着用シミュレーションなどでもよい。図１０の例では、標準顔形状モデルに、眼鏡をフィットさせるために必要な特徴点を付加しておき、作成した三次元顔形状モデルの特徴点に三次元形状モデルの眼鏡を合わせている。 Further, the information added to the standard face shape model may be a glasses wearing simulation shown in FIG. In the example of FIG. 10, feature points necessary for fitting glasses are added to the standard face shape model, and the glasses of the 3D shape model are aligned with the feature points of the created 3D face shape model.
また本発明は、顔を扱う様々な分野で応用が可能である。前述した眼鏡の装着シミュレーションの他、美容整形シミュレーション、ゲームや映画などのキャラクター作成を行うツールとしての利用、携帯通信端末でのチャットやメールにおけるアバタ作成の利用などに応用が可能である。 Further, the present invention can be applied in various fields dealing with the face. In addition to the above-described eyeglass wearing simulation, the present invention can be applied to cosmetic surgery simulation, use as a tool for creating characters such as games and movies, use for chatting on mobile communication terminals and creation of avatars in e-mails.
１…ＣＰＵ、２…ＲＡＭ、３…ＲＯＭ、４…表示部、５…入力部、７…データ記憶部、７１…標準顔形状記憶部、７２…計測点データベース、７３…プログラム記憶部、１００…顔形状モデリングシステム DESCRIPTION OF SYMBOLS 1 ... CPU, 2 ... RAM, 3 ... ROM, 4 ... Display part, 5 ... Input part, 7 ... Data storage part, 71 ... Standard face shape storage part, 72 ... Measurement point database, 73 ... Program storage part, 100 ... Face shape modeling system
Claims (4)
複数の二次元顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得した前記二次元顔画像から第２の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出した前記第２の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、
前記三次元標準顔形状が有する第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形する変形手段とを有し、
前記変形手段が、
前記三次元標準顔形状の全体的な形状についてはユークリッドノルムを基底関数とするＧＦＦＤの変形手法により変形し、前記三次元標準顔形状の詳細な形状についてはガウス関数を基底関数とするＧＦＦＤの変形手法により変形することを特徴とする顔形状モデリングシステム。 In the face shape modeling system for creating an arbitrary 3D face shape model from the 3D standard face shape having the standard position information of the first feature point,
Face image acquisition means for acquiring a plurality of two-dimensional face images;
Feature point extraction means for extracting a second feature point from the two-dimensional face image acquired by the face image acquisition means;
3D position information acquisition means for acquiring 3D position information of the second feature point extracted by the feature point extraction means;
From the standard position information of the first feature point of the three-dimensional standard face shape and the three-dimensional position information of the second feature point acquired by the three-dimensional position information acquisition means, the three-dimensional standard face shape is obtained. Deformation means for deforming,
The deformation means is
The overall shape of the three-dimensional standard face shape is deformed by a GFFD deformation method using Euclidean norm as a basis function, and the detailed shape of the three-dimensional standard face shape is modified by a GFFD using a Gaussian function as a basis function. A face shape modeling system characterized by deformation by a technique.
前記標準顔形状記憶部が、第１の特徴点の標準位置情報を有する三次元標準顔形状を記憶するステップと、
前記顔画像取得手段が、複数の二次元顔画像を取得するステップと、
前記特徴点抽出手段が、前記顔画像取得手段によって取得された前記二次元顔画像から第２の特徴点を抽出するステップと、
前記三次元位置情報取得手段が、前記特徴点抽出手段によって抽出された前記第２の特徴点の三次元位置情報を取得するステップと、
前記変形手段が、前記標準顔形状記憶部に記憶された前記三次元標準顔形状の第１の特徴点の標準位置情報と、前記三次元位置情報取得手段によって取得された前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形する変形ステップとを有し、
前記変形ステップでは、
前記変形手段が、前記三次元標準顔形状の全体的な形状についてはユークリッドノルムを基底関数とするＧＦＦＤの変形手法により変形し、前記三次元標準顔形状の詳細な形状についてはガウス関数を基底関数とするＧＦＦＤの変形手法により変形することを特徴とする顔形状モデリング方法。 Face shape modeling for creating an arbitrary three-dimensional face shape model using a computer having a standard face shape storage unit, a face image acquisition means, a feature point extraction means, a three-dimensional position information acquisition means, and a deformation means In the method
The standard face shape storage unit storing a three-dimensional standard face shape having standard position information of a first feature point;
The face image obtaining means obtaining a plurality of two-dimensional face images;
The feature point extracting means extracting a second feature point from the two-dimensional face image acquired by the face image acquiring means ;
A step wherein the three-dimensional position information acquiring means, for acquiring three-dimensional position information of the second feature points extracted by the feature point extracting means,
The deforming means includes standard position information of the first feature point of the three-dimensional standard face shape stored in the standard face shape storage unit, and the second feature point acquired by the three-dimensional position information acquisition means. A deformation step of deforming the three-dimensional standard face shape from the three-dimensional position information of
In the deformation step,
The deformation means deforms the overall shape of the three-dimensional standard face shape by a GFFD deformation method using Euclidean norm as a basis function, and uses a Gaussian function as a basis function for the detailed shape of the three-dimensional standard face shape. A face shape modeling method characterized by deforming by a GFFD deformation method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004293087A JP4474546B2 (en) | 2004-10-05 | 2004-10-05 | Face shape modeling system and face shape modeling method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004293087A JP4474546B2 (en) | 2004-10-05 | 2004-10-05 | Face shape modeling system and face shape modeling method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006107145A JP2006107145A (en) | 2006-04-20 |
| JP4474546B2 true JP4474546B2 (en) | 2010-06-09 |
Family
ID=36376811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004293087A Expired - Lifetime JP4474546B2 (en) | 2004-10-05 | 2004-10-05 | Face shape modeling system and face shape modeling method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4474546B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688720A (en) * | 2017-09-21 | 2018-02-13 | 北京众绘虚拟现实技术研究院有限公司 | A kind of real-time soft tissue calcination emulation mode based on position dynamics and bioheat transfer equation |
| CN107948499A (en) * | 2017-10-31 | 2018-04-20 | 维沃移动通信有限公司 | A kind of image capturing method and mobile terminal |
| WO2020177348A1 (en) * | 2019-03-07 | 2020-09-10 | 百度在线网络技术（北京）有限公司 | Method and apparatus for generating three-dimensional model |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100859315B1 (en) * | 2006-12-26 | 2008-09-19 | 연세대학교 산학협력단 | Face Modification of Game Character in Game System |
| KR100930994B1 (en) | 2007-12-18 | 2009-12-10 | 주식회사 케이티 | Method and apparatus for generating 3D image model, image recognition method and apparatus using same, and recording medium recording program for performing the methods |
| JP5206366B2 (en) * | 2008-11-27 | 2013-06-12 | カシオ計算機株式会社 | 3D data creation device |
| JP5239878B2 (en) * | 2009-01-07 | 2013-07-17 | カシオ計算機株式会社 | Stereoscopic image creation system, terminal device, and stereoscopic image providing device |
| JP5327866B2 (en) * | 2009-09-11 | 2013-10-30 | 国立大学法人東京農工大学 | Glasses fitting simulation system, glasses fitting simulation method and program |
| JP5463866B2 (en) * | 2009-11-16 | 2014-04-09 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| CN102640168B (en) | 2009-12-31 | 2016-08-03 | 诺基亚技术有限公司 | Method and apparatus for facial Feature Localization based on local binary pattern |
| KR101558202B1 (en) | 2011-05-23 | 2015-10-12 | 한국전자통신연구원 | Apparatus and method for generating animation using avatar |
| EP3381017B1 (en) * | 2016-10-31 | 2019-11-06 | Google LLC | Face reconstruction from a learned embedding |
| CN111161399B (en) * | 2019-12-10 | 2024-04-19 | 上海青燕和示科技有限公司 | Data processing method and assembly for generating three-dimensional model based on two-dimensional image |
| CN111260796B (en) * | 2019-12-31 | 2022-07-26 | 刘文先 | Facial skin repair preview method and system based on human face three-dimensional model |
| JP7086362B1 (en) | 2021-03-29 | 2022-06-20 | 株式会社セルシス | Information processing system, information processing method and information processing program |
| CN115050067B (en) * | 2022-05-25 | 2024-07-02 | 中国科学院半导体研究所 | Facial expression construction method and device, electronic equipment, storage medium and product |
-
2004
- 2004-10-05 JP JP2004293087A patent/JP4474546B2/en not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688720A (en) * | 2017-09-21 | 2018-02-13 | 北京众绘虚拟现实技术研究院有限公司 | A kind of real-time soft tissue calcination emulation mode based on position dynamics and bioheat transfer equation |
| CN107688720B (en) * | 2017-09-21 | 2020-11-13 | 北京众绘虚拟现实技术研究院有限公司 | Soft tissue burning simulation method based on position dynamics and biological heat conduction equation |
| CN107948499A (en) * | 2017-10-31 | 2018-04-20 | 维沃移动通信有限公司 | A kind of image capturing method and mobile terminal |
| WO2020177348A1 (en) * | 2019-03-07 | 2020-09-10 | 百度在线网络技术（北京）有限公司 | Method and apparatus for generating three-dimensional model |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006107145A (en) | 2006-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3370208B1 (en) | Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data | |
| JP4474546B2 (en) | Face shape modeling system and face shape modeling method | |
| JP6425780B1 (en) | Image processing system, image processing apparatus, image processing method and program | |
| WO2021093453A1 (en) | Method for generating 3d expression base, voice interactive method, apparatus and medium | |
| JP6560480B2 (en) | Image processing system, image processing method, and program | |
| US10846836B2 (en) | View synthesis using deep convolutional neural networks | |
| CN112819947A (en) | Three-dimensional face reconstruction method and device, electronic equipment and storage medium | |
| JP6685827B2 (en) | Image processing apparatus, image processing method and program | |
| CN113706699B (en) | Data processing method and device, electronic equipment and computer readable storage medium | |
| JP4284664B2 (en) | Three-dimensional shape estimation system and image generation system | |
| CN111932678B (en) | Multi-view real-time human motion, gesture, expression and texture reconstruction system | |
| KR20150113751A (en) | Method and apparatus for acquiring three-dimensional face model using portable camera | |
| CN104656893B (en) | The long-distance interactive control system and method in a kind of information physical space | |
| JP2009020761A (en) | Image processing apparatus and method thereof | |
| JP2004537082A (en) | Real-time virtual viewpoint in virtual reality environment | |
| JP2018129007A (en) | Learning data generation apparatus, learning apparatus, estimation apparatus, learning data generation method, and computer program | |
| CN109711472B (en) | Training data generation method and device | |
| WO2020152927A1 (en) | Training data generation method, training data generation device, and inference processing method | |
| EP3591618A2 (en) | Method and apparatus for converting 3d scanned objects to avatars | |
| US11557086B2 (en) | Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping | |
| US20160086365A1 (en) | Systems and methods for the conversion of images into personalized animations | |
| CN107469355A (en) | Game image creation method and device, terminal device | |
| CN107610239A (en) | The virtual try-in method and device of a kind of types of facial makeup in Beijing operas | |
| JP2017037424A (en) | Learning device, recognition device, learning program and recognition program | |
| JP2010211732A (en) | Object recognition device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090826 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091022 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091022 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100209 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |