JP4101734B2 - Facial expression estimation device, facial expression estimation method, and facial expression estimation program - Google Patents
Facial expression estimation device, facial expression estimation method, and facial expression estimation program Download PDFInfo
- Publication number
- JP4101734B2 JP4101734B2 JP2003374422A JP2003374422A JP4101734B2 JP 4101734 B2 JP4101734 B2 JP 4101734B2 JP 2003374422 A JP2003374422 A JP 2003374422A JP 2003374422 A JP2003374422 A JP 2003374422A JP 4101734 B2 JP4101734 B2 JP 4101734B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- facial
- face shape
- coefficient
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
この発明はカメラ等での撮影により得られた対象人物のある表情、たとえば、無表情の画像に基づいて、当該対象人物の所望の表情の顔画像を推定して生成するための顔表情推定装置、顔表情推定方法および顔表情推定プログラムの構成に関する。 The present invention relates to a facial expression estimation apparatus for estimating and generating a facial image of a desired facial expression of a target person based on a certain facial expression of the target person obtained by photographing with a camera or the like, for example, an expressionless image. The present invention relates to a facial expression estimation method and a facial expression estimation program.
映像生成分野におけるコンピュータグラフィックス（ＣＧ）技術による顔アニメーションが普及している。このようなコンピュータアニメーションにおいて、任意の人物の３次元顔形状の表情変化に伴う形状変形を作成する場合、第１の従来手法として、アニメータが専用のソフトウェアを利用して１つの表情から人手で変形を施し、所望の表情を作成するという手法が一般的である。 Facial animation by computer graphics (CG) technology in the video generation field is widespread. In such a computer animation, when creating a shape deformation accompanying a change in facial expression of an arbitrary person, as a first conventional method, an animator can manually deform from a single expression using dedicated software. Is generally used to create a desired facial expression.
しかしながら、このような第１の従来手法による場合、熟練したアニメータでなければリアルな表情の変化を作成することが困難で、一般には、静止画のリアリティは高いものの、動きの画像においてはリアリティに欠けてしまう傾向にある。 However, according to the first conventional method, it is difficult to create a realistic expression change unless it is a skilled animator. Generally, although the reality of a still image is high, the reality of a motion image is high. It tends to be missing.
また、第２の従来手法として、筋肉モデルを定義した計算機シミュレーションにより３次元顔形状のリアルな表情変化を実現する手法が提案されている（たとえば、非特許文献１を参照）。しかしながら、このような第２の従来手法では、対象となるモデルが変わるごとに筋肉の配置を定義する必要があり、任意の人物に対しては、その都度ユーザが定義を行わなければならないと言う問題がある。 As a second conventional method, a method for realizing a realistic expression change of a three-dimensional face shape by computer simulation defining a muscle model has been proposed (see, for example, Non-Patent Document 1). However, in the second conventional method, it is necessary to define the arrangement of muscles every time the target model changes, and for any person, the user must define each time. There's a problem.
あるいは、第３の従来手法として、対象となる人物に対して予め多くの顔表情の３次元形状を計測し、任意表情を合成する手法が提案されている（たとえば、非特許文献２を参照）。しかしながら、この第３の従来手法では、あくまで人物ごとに複数表情の３次元形状を計測しおいた上で、各表情に対応するアニメーションを生成する必要があり、各表情を生成するごとに３次元計測装置が必要とされるという問題がある。
本発明は、上述したような問題点を解決するためになされたものであって、その目的は、予め計測された複数人物の複数の表情の３次元顔形状データベースを用いることで、未知人物の顔形状の表情変化を自動的に推定するための顔表情推定装置、顔表情推定方法および顔表情推定プログラムを提供することである。 The present invention has been made in order to solve the above-described problems, and an object of the present invention is to use a 3D facial shape database of a plurality of facial expressions of a plurality of persons measured in advance, thereby To provide a facial expression estimation device, a facial expression estimation method, and a facial expression estimation program for automatically estimating facial expression changes.
このような目的を達成するために本発明では、予め計測済みの複数人物の複数顔表情に対応する３次元顔形状データベースから主成分を抽出し、さらにデータベース内の全ての顔を主成分空間で表現しておく。そしてデータベースに無い人物について、まず所定の表情（たとえば、無表情）の３次元顔形状をこれら主成分で近似し、次にその無表情の主成分空間におけるもっとも近い人物あるいは近傍の複数人物の主成分空間における顔表情変化を参照することにより目標人物の無表情からの表情変化を推定する。 In order to achieve such an object, in the present invention, principal components are extracted from a three-dimensional face shape database corresponding to a plurality of facial expressions of a plurality of persons that have been measured in advance, and all the faces in the database are extracted in the principal component space. Express it. For a person not in the database, the three-dimensional face shape of a predetermined expression (for example, no expression) is first approximated with these principal components, and then the closest person in the principal component space of the expressionless expression or the principals of a plurality of nearby persons By referring to the facial expression change in the component space, the expression change from the expressionless of the target person is estimated.
すなわち、上記のような目的を達成するために、本発明に係る顔表情推定装置は、複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により抽出された主成分のうち、所定数の限定された主成分の線形合成により、複数の人物の複数の表情に対応する顔形状をそれぞれ近似する複数の第１の合成係数の組を、複数人物および複数の表情にそれぞれ関連付けて記憶する３次元顔形状データベースにアクセスするためのデータベースアクセス手段と、入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、同一のメッシュトポロジへ変換した３次元顔形状データを、限定された主成分の線形合成により近似する第２の合成係数の組を決定するための線形合成係数決定手段と、３次元顔形状データベース内において所定の表情に対応する複数の第１の合成係数の組のうちから、第２の合成係数の組との距離が所定の範囲内である第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索する検索手段と、検索された類似顔候補について、所定の表情に対する第１の線形合成係数の組と他の表情に対する第１の線形合成係数の組との差分を算出する線形合成係数差分算出手段と、距離に基づいて、類似顔候補に対する重み付け係数を決定する類似顔候補加重手段と、線形合成係数差分算出手段から得られた差分と類似顔候補加重手段から得られた重み付け係数とを掛け合わせた結果を、第２の合成係数の組に加えて、推定対象の人物の他の表情に対応する合成係数を推定する線形合成係数加重加算手段とを備える。 That is, in order to achieve the above object, the facial expression estimation apparatus according to the present invention corresponds to each of a plurality of facial expressions of a plurality of persons and has a plurality of facial shapes of the same mesh topology acquired in advance. Among the principal components extracted by the principal component analysis from the mesh vertex coordinates, a plurality of first elements that respectively approximate face shapes corresponding to a plurality of facial expressions of a plurality of persons by linear synthesis of a predetermined number of limited principal components. Database access means for accessing a three-dimensional face shape database for storing a combination of synthesis coefficients in association with a plurality of persons and a plurality of facial expressions, and a three-dimensional measurement corresponding to a predetermined facial expression of the input person to be estimated For the face shape data, a second set of synthesis coefficients approximating the three-dimensional face shape data converted to the same mesh topology by linear synthesis of limited principal components. The distance between the linear combination coefficient determining means for determining and the second combination coefficient set among the plurality of first combination coefficient sets corresponding to the predetermined expression in the three-dimensional face shape database is a predetermined distance. Search means for searching for at least one similar face candidate corresponding to the first combination coefficient set within the range, and for the searched similar face candidate, the first set of linear combination coefficients for the predetermined expression and the other Linear synthesis coefficient difference calculation means for calculating a difference between the first set of linear synthesis coefficients for the facial expression, similar face candidate weighting means for determining a weighting coefficient for the similar face candidate based on the distance, and linear synthesis coefficient difference calculation The result obtained by multiplying the difference obtained from the means by the weighting coefficient obtained from the similar face candidate weighting means is added to the second composition coefficient set, and the composition coefficient corresponding to another facial expression of the person to be estimated Recommend To and a linear combination coefficient weighted addition means.
好ましくは、顔表情推定装置は、推定された他の表情に対応する合成係数に基づいて、対応する顔形状を生成する顔表情推定生成手段をさらに備える。 Preferably, the facial expression estimation device further includes facial expression estimation generation means for generating a corresponding facial shape based on a synthesis coefficient corresponding to the estimated other facial expression.
この発明の他の局面に従うと、顔表情推定方法であって、複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により主成分を抽出するステップと、抽出された主成分のうち、所定数の限定された主成分の線形合成により、複数の人物の複数の表情に対応する顔形状をそれぞれ近似する複数の第１の合成係数の組を、複数人物および複数の表情にそれぞれ関連付けて記憶装置に記憶することで、３次元顔形状データベースを準備するステップと、推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、同一のメッシュトポロジへ変換した３次元顔形状データを、限定された主成分の線形合成により近似する第２の合成係数の組を決定するステップと、３次元顔形状データベース内において所定の表情に対応する複数の第１の合成係数の組のうちから、第２の合成係数の組との距離が所定の範囲内である第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索するステップと、検索された類似顔候補について、所定の表情に対する第１の線形合成係数の組と他の表情に対する第１の線形合成係数の組との差分を算出するステップと、距離に基づいて、類似顔候補に対する重み付け係数を決定するステップと、差分と重み付け係数とを掛け合わせた結果を、第２の合成係数の組に加えて、推定対象の人物の他の表情に対応する合成係数を推定するステップとを備える。 According to another aspect of the present invention, there is provided a facial expression estimation method, which corresponds to a plurality of facial expressions of a plurality of persons, and is based on a plurality of facial shape mesh vertex coordinates of the same mesh topology acquired in advance as a principal component Extracting a principal component by analysis and linearly synthesizing a predetermined number of the principal components extracted from the extracted principal components, and a plurality of second shapes approximating face shapes corresponding to a plurality of facial expressions of a plurality of persons, respectively. A step of preparing a three-dimensional face shape database by associating a set of one synthesis coefficient with a plurality of persons and a plurality of facial expressions in a storage device, and a three-dimensional corresponding to a predetermined facial expression of the person to be estimated For measurement face shape data, a step of determining a second combination coefficient set that approximates the three-dimensional face shape data converted to the same mesh topology by linear combination of limited principal components. And a first synthesis coefficient whose distance between the second synthesis coefficient group and the second synthesis coefficient group among a plurality of first synthesis coefficient groups corresponding to a predetermined expression in the three-dimensional face shape database is within a predetermined range. Searching for at least one similar face candidate corresponding to a set of coefficients; and for the searched similar face candidates, a first set of linear synthesis coefficients for a predetermined expression and a first linear combination coefficient for other expressions The step of calculating the difference with the set, the step of determining the weighting coefficient for the similar face candidate based on the distance, and the result of multiplying the difference and the weighting coefficient are added to the second combination coefficient set, Estimating a synthesis coefficient corresponding to another facial expression of the person to be estimated.
好ましくは、顔表情推定方法は、推定された他の表情に対応する合成係数に基づいて、対応する顔形状を生成するステップをさらに備える。 Preferably, the facial expression estimation method further includes a step of generating a corresponding facial shape based on a synthesis coefficient corresponding to the estimated other facial expression.
この発明のさらに他の局面に従うと、顔表情推定処理をコンピュータに実行させるための顔表情推定プログラムであって、複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により抽出された主成分のうち、所定数の限定された主成分の線形合成により、複数の人物の複数の表情に対応する顔形状をそれぞれ近似する複数の第１の合成係数の組を、複数人物および複数の表情にそれぞれ関連付けて記憶する３次元顔形状データベースにアクセスするステップと、入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、同一のメッシュトポロジへ変換した３次元顔形状データを、限定された主成分の線形合成により近似する第２の合成係数の組を決定するステップと、３次元顔形状データベース内において所定の表情に対応する複数の第１の合成係数の組のうちから、第２の合成係数の組との距離が所定の範囲内である第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索するステップと、検索された類似顔候補について、所定の表情に対する第１の線形合成係数の組と他の表情に対する第１の線形合成係数の組との差分を算出するステップと、距離に基づいて、類似顔候補に対する重み付け係数を決定するステップと、差分と重み付け係数とを掛け合わせた結果を、第２の合成係数の組に加えて、推定対象の人物の他の表情に対応する合成係数を推定するステップと、をコンピュータに実行させる。 According to still another aspect of the present invention, there is provided a facial expression estimation program for causing a computer to execute facial expression estimation processing, the same mesh topology acquired in advance corresponding to a plurality of expressions of a plurality of persons. Approximate facial shapes corresponding to multiple facial expressions of multiple persons by linear synthesis of a limited number of principal components extracted from principal component analysis from mesh vertex coordinates of multiple facial shapes Accessing a three-dimensional face shape database that stores a plurality of sets of first synthesis coefficients to be associated with a plurality of persons and a plurality of facial expressions, and 3 corresponding to a predetermined facial expression of the input person to be estimated A second method of approximating the three-dimensional face shape data converted to the same mesh topology by the linear synthesis of the limited principal components for the three-dimensional measurement face shape data A step of determining a set of generation coefficients and a distance between the second combination coefficient set and a plurality of first combination coefficient sets corresponding to a predetermined expression in the three-dimensional face shape database within a predetermined range Searching for at least one similar face candidate corresponding to the first set of synthesis coefficients, and for the searched similar face candidates, for the first set of linear synthesis coefficients for a predetermined expression and for other expressions A step of calculating a difference from the first set of linear combination coefficients, a step of determining a weighting coefficient for the similar face candidate based on the distance, and a result obtained by multiplying the difference and the weighting coefficient are the second combination. In addition to the set of coefficients, the computer is caused to execute a step of estimating a composite coefficient corresponding to another facial expression of the person to be estimated.
好ましくは、顔表情推定プログラムは、推定された他の表情に対応する合成係数に基づいて、対応する顔形状を生成するステップをさらにコンピュータに実行させる。 Preferably, the facial expression estimation program causes the computer to further execute a step of generating a corresponding facial shape based on a synthesis coefficient corresponding to the estimated other facial expression.
本発明に係る顔表情推定装置、顔表情推定方法および顔表情推定プログラムは、あらかじめ複数の人物の各々について複数の表情に対して顔形状を計測し、主成分分析した結果を３次元顔形状データベースとして構築しておくことにより、この３次元顔形状データベースに登録されていない未知人物の顔形状についても、自動的にその人物らしい表情変形を推定することが可能である。 A facial expression estimation apparatus, a facial expression estimation method, and a facial expression estimation program according to the present invention measure a facial shape for a plurality of facial expressions for each of a plurality of persons in advance, and obtain a result of principal component analysis as a three-dimensional facial shape database As a result, it is possible to automatically estimate the facial expression deformation of an unknown person that is not registered in the three-dimensional face shape database.
以下、図面を参照して本発明の実施の形態について説明する。
［ハードウェア構成］
図１は、本発明の顔表情推定方法を実施するための顔表情推定装置１０００の一例を示す概念図である。
Embodiments of the present invention will be described below with reference to the drawings.
[Hardware configuration]
FIG. 1 is a conceptual diagram showing an example of a facial expression estimation apparatus 1000 for implementing the facial expression estimation method of the present invention.
この顔表情推定装置１０００は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象となる人物の所定の表情の３次元顔形状画像を撮影し、撮影された３次元顔形状に基づいて、予め計測済みの複数人物の複数顔表情についての３次元顔形状データベースを利用して、対象人物の当該所定の表情からの表情変化を推定するためのものである。 This facial expression estimation apparatus 1000 is realized by software executed on a computer such as a personal computer or a workstation, and captures and captures a three-dimensional facial shape image of a predetermined facial expression of a target person. Based on the measured 3D face shape, a 3D face shape database for a plurality of facial expressions of a plurality of persons that have been measured in advance is used to estimate the facial expression change of the target person from the predetermined facial expression. is there.
すなわち、顔表情推定装置１０００内の内部記憶装置、あるいは顔表情推定装置１０００が通信可能な外部記憶装置中には、予め計測済みの複数人物の複数の所定の顔表情についての３次元顔形状データベースが格納されている。この３次元顔形状データベースにおいては、後に説明するような複数人物の複数の顔表情データについての主成分が抽出されている。そして、この３次元顔形状データベースに登録される全ての顔は、これら主成分のうちの上位の主成分の線形結合で近似できることになる。このような線形結合において、各主成分の係数を「線形合成係数」とよぶことにする。 That is, in the internal storage device in the facial expression estimation apparatus 1000 or in the external storage device with which the facial expression estimation apparatus 1000 can communicate, a three-dimensional face shape database for a plurality of predetermined facial expressions of a plurality of persons that have been measured in advance. Is stored. In this three-dimensional face shape database, principal components for a plurality of facial expression data of a plurality of persons as will be described later are extracted. All faces registered in the three-dimensional face shape database can be approximated by a linear combination of higher-order principal components among these principal components. In such a linear combination, each principal component coefficient is referred to as a “linear synthesis coefficient”.
上記３次元顔形状データベースには、各人物ごとに各表情に関連付けて、対応する線形合成係数の組が格納される。 In the three-dimensional face shape database, a set of corresponding linear synthesis coefficients is stored in association with each facial expression for each person.
一方で、この３次元顔形状データベースに基づく主成分空間において、上述のように３次元顔画像が撮影され、推定の対象となる人物の所定の表情を、まず、上述した主成分で近似する。言い換えると、推定の対象となる人物の所定の表情を、主成分空間において、近似に用いた線形合成係数を各座標成分とする点として表す。このように推定の対象となる人物の所定の表情の近似を行った上で、顔表情推定装置１０００は、この主成分空間内で対象人物の所定の表情を表す点の座標に、もっとも近い座標で当該所定の表情が表現されている登録済みの人物（あるいは近傍の座標で当該所定の表情が表現されている複数の登録済みの人物）の主成分空間における顔表情変化を参照することによって、対象人物の所定の表情から他の表情への表情変化を推定するものである。 On the other hand, in the principal component space based on this three-dimensional face shape database, a three-dimensional face image is photographed as described above, and a predetermined facial expression of a person to be estimated is first approximated by the principal component described above. In other words, a predetermined facial expression of a person to be estimated is represented as a point in the principal component space with each linear component coefficient used for approximation as a coordinate component. In this way, after approximating the predetermined facial expression of the person to be estimated, the facial expression estimation apparatus 1000 uses the coordinates closest to the coordinates of the point representing the predetermined facial expression of the target person in this principal component space. By referring to the facial expression change in the principal component space of a registered person (or a plurality of registered persons in which the predetermined expression is expressed in nearby coordinates) in which the predetermined expression is expressed, A change in facial expression from a predetermined facial expression of the target person to another facial expression is estimated.
図２は、上述した「複数の所定の顔表情」の一例を示す図である。 FIG. 2 is a diagram illustrating an example of the “plurality of predetermined facial expressions” described above.
ここでは、「無表情で目を開けた表情」および「無表情で目を閉じた表情」が、「無表情」に分類される。 Here, “an expression with no expression and eyes open” and “an expression with no expression and eyes closed” are classified as “no expression”.
また、「基本口形状」に分類されるものとしては、「母音（/a,i,u,e,o/）を発音時の表情」、「口を意識的に開けた表情」および「口を意識的に閉じた表情」がある。 In addition, “basic mouth shapes” can be classified as “facial expressions when vowels (/ a, i, u, e, o /) are pronounced”, “facial expressions with conscious mouth open” and “mouths” There is a consciously closed expression.
「追加口形状」に分類されるものとしては、「唇を突き出した表情（両唇／上唇／下唇）」、「歯を噛みしめ唇を開けた表情（両唇／上唇）」、「唇の両端を口腔内へ吸い込んだ表情」、「口を左にずらした表情（口の開閉）」および「口を右にずらせた表情（口の開閉）」がある。なお、表情の後に括弧で記載したのは、唇や口の動作が各々の場合について独立に行われることを示す。 “Additional mouth shape” can be classified as “facial expression protruding lips (both lips / upper lip / lower lip)”, “expression of biting teeth and opening lips (both lips / upper lip)”, “ There are "facial expressions with both ends sucked into the mouth", "facial expressions with the mouth shifted to the left (opening and closing the mouth)" and "facial expressions with the mouth shifted to the right (opening and closing the mouth)". The parentheses after the facial expression indicate that the movement of the lips and mouth is performed independently in each case.
さらに、「感情表情」に分類されるものとしては、「笑いの表情（口の開閉）」、「怒りの表情（口の開閉）」、「悲しみの表情」、「驚きの表情」、「恐れの表情」、「嫌悪の表情」、「軽蔑の表情」がある。 Furthermore, “Emotional facial expressions” are classified as “Laughter facial expression (opening and closing mouth)”, “Anger facial expression (opening and closing mouth)”, “Sad expression”, “Surprised facial expression”, “Fear” "Face Expression", "Disgusting Expression", and "Contemptuous Expression".
もちろん、データベースに登録する表情（顔形状）の種類は、上記のようなものに限定されるものではない。 Of course, the types of facial expressions (face shapes) registered in the database are not limited to those described above.
なお、以下の説明では、特に断りのない限り、計測後データベースに登録する複数の表情としては、一例として、１）「無表情で目を閉じた表情」、２）「口を意識的に開けた表情」、３）「母音（/i/）を発音時の表情」、４）「母音（/u/）を発音時の表情」、５）「母音（/o/）を発音時の表情」、６）「唇を突き出した表情（両唇）」、７）「歯を噛みしめ唇を開けた表情（両唇）」、８）「笑いの表情（口は開）」、９）「笑いの表情（口は閉）」の９表情であるものとして説明を行う。 In the following description, unless otherwise specified, as an example, multiple facial expressions to be registered in the database after measurement are as follows: 1) “Expression with no expression and eyes closed”, 2) “Open mouth consciously 3) “Facial expression when vowel (/ i /) is pronounced” 4) “Facial expression when vowel (/ u /) is pronounced” 5) “Facial expression when vowel (/ o /) is pronounced” 6) “Expression sticking out lips (both lips)”, 7) “Face expression with both teeth open (both lips)”, 8) “Laughter expression (mouth open)”, 9) “Laughter The description will be made assuming that there are nine facial expressions of “no facial expression (mouth closed)”.
再び、図１を参照して、顔表情推定装置１０００は、コンピュータ１００と、コンピュータ１００に接続され、推定対象となる人物２の３次元顔形状画像を獲得するための３次元顔形状画像測定装置であって、３次元顔形状画像を全周囲計測により取り込むための３次元レーザスキャナ２００と、同じく３次元顔形状画像測定装置であって、推定対象となる人物２の３次元顔形状画像を取り込むための非接触３次元デジタイザ２０６とを備える。 Referring to FIG. 1 again, facial expression estimation apparatus 1000 is connected to computer 100 and 3D face shape image measurement apparatus for acquiring a 3D face shape image of person 2 to be estimated. It is a 3D laser scanner 200 for capturing a 3D face shape image by all-around measurement, and is also a 3D face shape image measuring apparatus, and captures a 3D face shape image of the person 2 to be estimated. A non-contact three-dimensional digitizer 206.
この実施の形態の装置における３次元レーザスキャナ２００では、対象人物２の頭部のまわりを回転台座２０４に支持されるカメラ２０２が１回転して、頭部の３次元座標とテクスチャ情報を獲得する。ただし、一般に、非接触３次元デジタイザ２０６を用いれば、一方向から見た場合の画像ではあるが、より短時間に頭部の３次元座標とテクスチャ情報を獲得することができる。３次元レーザスキャナ２００および非接触３次元デジタイザ２０６のいずれにおいても、受光するためのカメラとしては、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて撮影処理を行うものとする。 In the three-dimensional laser scanner 200 in the apparatus of this embodiment, the camera 202 supported by the rotating base 204 rotates once around the head of the target person 2 to acquire the three-dimensional coordinates and texture information of the head. . However, generally, if the non-contact three-dimensional digitizer 206 is used, although it is an image viewed from one direction, the three-dimensional coordinates and texture information of the head can be acquired in a shorter time. In both the three-dimensional laser scanner 200 and the non-contact three-dimensional digitizer 206, the camera for receiving light is assumed to perform photographing processing using a video camera including a CCD (solid-state imaging device).
すなわち、これらカメラにより、観察対象の人物２の顔を含む画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。 That is, these cameras prepare digital data of the values of the respective pixels in the target image area, which are images including the face of the person 2 to be observed.
３次元顔形状撮影装置において、コンピュータ１００は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）上の情報を読込むためのＣＤ−ＲＯＭドライブ１０８およびフレキシブルディスク（Flexible Disk、以下ＦＤ）１１６に情報を読み書きするためのＦＤドライブ１０６を備えたコンピュータ本体１０２と、コンピュータ本体１０２に接続された表示装置としてのディスプレイ１０４と、同じくコンピュータ本体１０２に接続された入力装置としてのキーボード１１０およびマウス１１２とを含む。 In the three-dimensional face shape photographing apparatus, the computer 100 reads / writes information from / to a CD-ROM drive 108 and a flexible disk (FD) 116 for reading information on a CD-ROM (Compact Disc Read-Only Memory). A computer main body 102 having an FD drive 106 for display, a display 104 as a display device connected to the computer main body 102, and a keyboard 110 and a mouse 112 as input devices also connected to the computer main body 102.
図３は、このコンピュータ１００の構成をブロック図形式で示す図である。 FIG. 3 is a block diagram showing the configuration of the computer 100. As shown in FIG.
図３に示されるように、このコンピュータ１００を構成するコンピュータ本体１０２は、ＣＤ−ＲＯＭドライブ１０８およびＦＤドライブ１０６に加えて、それぞれバスＢＳに接続されたＣＰＵ（Central Processing Unit ）１２０と、ＲＯＭ（Read Only Memory) およびＲＡＭ （Random Access Memory）を含むメモリ１２２と、直接アクセスメモリ装置、たとえば、ハードディスク１２４と、３次元レーザスキャナ２００および非接触３次元デジタイザ２０６とデータや制御信号の授受を行うための通信インタフェース１２８とを含んでいる。ＣＤ−ＲＯＭドライブ１０８にはＣＤ−ＲＯＭ１１８が装着される。ＦＤドライブ１０６にはＦＤ１１６が装着される。 As shown in FIG. 3, in addition to the CD-ROM drive 108 and the FD drive 106, the computer main body 102 constituting the computer 100 includes a CPU (Central Processing Unit) 120 connected to the bus BS, and a ROM ( A memory 122 including a read only memory (RAM) and a random access memory (RAM), a direct access memory device, for example, the hard disk 124, the three-dimensional laser scanner 200, and the non-contact three-dimensional digitizer 206 for exchanging data and control signals. And a communication interface 128. A CD-ROM 118 is attached to the CD-ROM drive 108. An FD 116 is attached to the FD drive 106.
なお、ＣＤ−ＲＯＭ１１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）やメモリカードなどでもよく、その場合は、コンピュータ本体１０２には、これらの媒体を読取ることが可能なドライブ装置が設けられる。 The CD-ROM 118 may be another medium, such as a DVD-ROM (Digital Versatile Disc) or a memory card, as long as it can record information such as a program installed in the computer main body. In this case, the computer main body 102 is provided with a drive device that can read these media.
本発明の顔表情推定装置１０００の主要部は、コンピュータハードウェアと、ＣＰＵ１２０により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ１１８、ＦＤ１１６等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ１０８またはＦＤドライブ１０６等により記憶媒体から読取られてハードディスク１２４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１２４にコピーされる。そうしてさらにハードディスク１２４からメモリ１２２中のＲＡＭに読出されてＣＰＵ１２０により実行される。なお、ネットワーク接続されている場合には、ハードディスク１２４に格納することなくＲＡＭに直接ロードして実行するようにしてもよい。 The main part of the facial expression estimation apparatus 1000 of the present invention is composed of computer hardware and software executed by the CPU 120. Generally, such software is stored and distributed in a storage medium such as a CD-ROM 118 or FD 116, read from the storage medium by the CD-ROM drive 108 or FD drive 106, and temporarily stored in the hard disk 124. Alternatively, when the device is connected to the network, it is temporarily copied from the server on the network to the hard disk 124. Then, the data is further read from the hard disk 124 to the RAM in the memory 122 and executed by the CPU 120. In the case of network connection, the program may be directly loaded into the RAM and executed without being stored in the hard disk 124.
図１および図３に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ１１６、ＣＤ−ＲＯＭ１１８、ハードディスク１２４等の記憶媒体に記憶されたソフトウェアである。 The computer hardware itself and its operating principle shown in FIGS. 1 and 3 are general. Therefore, the most essential part of the present invention is software stored in a storage medium such as the FD 116, the CD-ROM 118, and the hard disk 124.
なお、一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該顔表情推定装置１０００を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて顔表情推定装置１０００が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。 As a general tendency, various program modules are prepared as a part of a computer operating system, and an application program generally calls a module in a predetermined arrangement and advances the processing when necessary. In such a case, the software itself for realizing the facial expression estimation apparatus 1000 does not include such a module, and the facial expression estimation apparatus 1000 is realized only in cooperation with the operating system on the computer. However, as long as a general platform is used, it is not necessary to distribute software including such modules, and the software itself not including these modules and the recording medium storing the software (and the software distributes on the network). Data signal) can be considered to constitute the embodiment.
［３次元顔表情推定のための前処理］
以下では、まず、本発明の３次元顔表情推定処理を行うための前処理として、３次元顔形状データベースのデータの準備と、３次元顔形状データベースのデータに登録された複数の人物の複数の顔形状のデータに対する主成分による顔表現について説明する。
[Pre-processing for 3D facial expression estimation]
In the following, first, as pre-processing for performing the 3D facial expression estimation process of the present invention, preparation of data of the 3D face shape database and a plurality of persons registered in the data of the 3D face shape database are performed. A description will be given of face expression by principal components for face shape data.
すなわち、複数人物から複数の顔表情の３次元顔形状を計測したデータベースに対して、主成分分析を行うことにより、比較的少ない数の上位主成分を用いるだけで主観的にこれらデータベースに含まれる顔形状を再現することが可能である。たとえば、１００名の人物から９種類の顔表情を計測した例では、３０〜５０の上位主成分があれば、主観的に全ての９００（＝１００（人）×９（種類））の顔を再現することが可能である。 In other words, principal component analysis is performed on databases obtained by measuring three-dimensional face shapes of a plurality of facial expressions from a plurality of persons, so that a relatively small number of higher principal components are used and these are included in these databases subjectively. It is possible to reproduce the face shape. For example, in an example in which nine types of facial expressions are measured from 100 persons, if there are 30 to 50 upper principal components, all 900 (= 100 (persons) × 9 (types)) faces are subjectively determined. It can be reproduced.
なお、後に説明するように、本発明の３次元顔表情推定では、これら主成分をパラメータとして変化させることにより、未知の、言い換えると、３次元顔形状データベースに登録されていない顔形状を近似する。 As will be described later, in the three-dimensional facial expression estimation of the present invention, by changing these principal components as parameters, an unknown face shape, that is, a face shape not registered in the three-dimensional face shape database is approximated. .
［前処理（顔形状データベースの構築）］
図４は、３次元顔表情推定処理を行うための前処理である、顔形状データベースの構築の構築の手順を説明するためのフローチャートである。
[Preprocessing (construction of face shape database)]
FIG. 4 is a flowchart for explaining a procedure for constructing a face shape database, which is a pre-process for performing a three-dimensional facial expression estimation process.
まず、図１において説明したとおり、複数人物の複数の表情の３次元顔形状を計測して、３次元計測顔形状データを獲得する（ステップＳ１００）。 First, as described in FIG. 1, three-dimensional face shapes of a plurality of facial expressions of a plurality of persons are measured to acquire three-dimensional measurement face shape data (step S100).
続いて、このようにして、獲得された３次元計測顔形状データを同一のメッシュトポロジヘと変換する（ステップＳ１０２）。 Subsequently, the three-dimensional measurement face shape data acquired in this way is converted into the same mesh topology (step S102).
図５は、このような同一のメッシュトポロジへの変換手続きを説明するための概念図である。 FIG. 5 is a conceptual diagram for explaining such a procedure for conversion to the same mesh topology.
すなわち、まず、３次元計測顔形状データについて、目・鼻・口・顎・眉などの特徴線の特定を行う。図５においては、一例として、ディスプレイプレイ上に表示される３次元計測顔形状データに対して手動で特徴線を特定するものとしている。 That is, first, feature lines such as eyes, nose, mouth, chin, and eyebrows are specified for the three-dimensional measurement face shape data. In FIG. 5, as an example, feature lines are manually specified for the three-dimensional measurement face shape data displayed on the display play.
さらにこのように特定された特徴線に基づき、モーフィングを用いて、複数の人物および複数の表情に共通な一般化メッシュを、処理対象の３次元計測顔形状データに適合させ、最終的には同じトポロジを持つ３次元データに変換する。なお、このような「一般化メッシュの適合処理」の詳細については、たとえば、特開平１１−２２４３５０号公報に開示されている。 Furthermore, based on the characteristic lines thus identified, morphing is used to adapt a generalized mesh common to multiple persons and multiple facial expressions to the 3D measurement face shape data to be processed. Convert to 3D data with topology. The details of the “generalized mesh fitting process” are disclosed in, for example, Japanese Patent Laid-Open No. 11-224350.
再び、図４に戻って、このような同一のメッシュトポロジへの変換の後、続いて、変換された全ての３次元顔の頂点座標に対して主成分分析を行う（ステップＳ１０４）。 Referring back to FIG. 4, after the conversion to the same mesh topology, the principal component analysis is subsequently performed on the vertex coordinates of all the converted three-dimensional faces (step S104).
すなわち、一般化メッシュを各計測顔形状に適合させることにより、異なる顔形状の数学的解析が容易となる。つまり、ｍ人の人物からｓ種類の顔形状を計測したＭ（＝ｍ×ｓ）個の３次元計測顔形状データの各々に対して、上述した一般化適合を施し、Ｍ個の同じトポロジを持つデータ３次元データ（以下、「３次元顔形状データ」と呼ぶ）が得られる。それぞれの３次元顔形状データは、適合化したメッシュのＮ個のノードの（ｘ，ｙ，ｚ）座標を用い、３Ｎ個の成分を持つ列ベクトルｆi（ｉ＝１，…，Ｍ）で表すことができる。 That is, the mathematical analysis of different face shapes is facilitated by adapting the generalized mesh to each measured face shape. That is, the above-mentioned generalization is applied to each of M (= m × s) three-dimensional measurement face shape data obtained by measuring s types of face shapes from m persons, and the same M topologies are obtained. The obtained three-dimensional data (hereinafter referred to as “three-dimensional face shape data”) is obtained. Each three-dimensional face shape data uses (x, y, z) coordinates of N nodes of the adapted mesh, and is a column vector f i (i = 1,..., M) having 3N components. Can be represented.
これにより、適合化され登録される顔形状は、以下の１つの行列Ｆであらわすことができる。 Thereby, the face shape that is adapted and registered can be represented by the following one matrix F.
図６は、このような行列Ｆを示す概念図である。図６においては、行列Ｆの概念を示すために、一例として、「無表情で目を閉じた表情」を添え字”neutral”で表し、「母音（/a,i,u,e,o/）を発音時の表情」を、各母音（a,i,u,e,o）を添え字として表し、「口を意識的に開けた表情」および「口を意識的に閉じた表情」をそれぞれ添え字”open”および”close”で表した場合を示している。 FIG. 6 is a conceptual diagram showing such a matrix F. In FIG. 6, in order to show the concept of the matrix F, for example, “an expressionless expression with eyes closed” is represented by the subscript “neutral” and “vowels (/ a, i, u, e, o / ) Is expressed as a subscript with each vowel (a, i, u, e, o) as a subscript, and “an expression that consciously opens the mouth” and “an expression that consciously closes the mouth” The case where it represents with the subscript "open" and "close", respectively is shown.
ここで、以下のとおり、任意の３次元顔形状ｆiを、Ｍ個の登録された形状の平均μfからのずれベクトルｆmiにより表現する。 Here, as shown below, an arbitrary three-dimensional face shape f i is expressed by a deviation vector f mi from the average μ f of M registered shapes.
このずれベクトルｆmiにより新たに以下の基本顔形状行列ＦMが定義できる。 The following basic face shape matrix F M can be newly defined by the deviation vector f mi .
この行列ＦMについて、共分散行列Ｃfは以下のように表すことができる。 For this matrix F M , the covariance matrix C f can be expressed as:
この共分散行列Ｃfに対して、以下のような特異値分解を行うことにより、各固有ベクトルを、行列ＦMの線形独立な主成分として求めることができる。 For this covariance matrix C f, by performing singular value decomposition as follows, each eigenvector can be obtained as a linear independent main component of the matrix F M.
ここで、行列Ｕは正規化されたユニタリ行列で、各列が固有ベクトルを表す。また、行列Ｓは対角行列で、対角成分が固有値を表すものである。 Here, the matrix U is a normalized unitary matrix, and each column represents an eigenvector. The matrix S is a diagonal matrix, and the diagonal components represent eigenvalues.
以上の手続きにより、全ての３次元顔の頂点座標に対して主成分分析が行われる。 With the above procedure, principal component analysis is performed on the vertex coordinates of all three-dimensional faces.
続いて、求められた主成分のうち、有効な上位主成分の数を決定し、内部記憶装置であるハードディスク１２４または外部記憶装置内のデータベースに保存する（ステップＳ１０６）。ＣＰＵ１２０は、バスＢＳによりハードディスク１２４にアクセス可能であり、または、バスＢＳおよび通信インターフェース１２８により、図示しない外部記憶装置にアクセスすることが可能である。 Subsequently, the number of effective upper principal components out of the obtained principal components is determined, and stored in the hard disk 124 as an internal storage device or a database in the external storage device (step S106). The CPU 120 can access the hard disk 124 via the bus BS, or can access an external storage device (not shown) via the bus BS and the communication interface 128.
上述のとおり、主観的には、９００表情の場合３０〜５０の上位主成分で十分である。 As described above, subjectively, 30 to 50 upper principal components are sufficient for 900 facial expressions.
さらに、有効な上位主成分の線形合成により全ての３次元顔形状データを表現し、各線形合成係数を、対応する人物および表情の各々と関連付けて、３次元顔形状データベースとして、これもハードディスク１２４または外部記憶装置に保存する（ステップＳ１０８）。 Further, all the three-dimensional face shape data is expressed by linear composition of effective upper principal components, and each linear composition coefficient is associated with each of the corresponding person and facial expression as a three-dimensional face shape database. Alternatively, it is stored in an external storage device (step S108).
すなわち、３次元顔形状データベース内の全ての顔が上位ｋ個の主成分Ｕkの線形結合として表現されていることになる。 That is, all the faces in the three-dimensional face shape database are expressed as a linear combination of the top k principal components U k .
ここで、ｉ番目の顔の線形結合係数αiは、個々の主成分に対する合成係数αij(ｊ＝１，…，ｋ)から構成される列ベクトルとして以下のように表現できる。 Here, the linear combination coefficient α i of the i-th face can be expressed as a column vector composed of synthesis coefficients α ij (j = 1,..., K) for individual principal components as follows.
ただし、線形結合係数αiは、主成分Ｕkと平均顔μfおよび元の形状ｆiより以下の式で与えられる。 However, the linear combination coefficient α i is given by the following equation from the principal component U k , the average face μ f and the original shape f i .
この線形結合係数αiをデータベース内の全ての顔Ｍ種類についてまとめると、以下の線形合成結合行列Ａが定義できる。 When this linear combination coefficient α i is collected for all the face M types in the database, the following linear combination matrix A can be defined.
これにより、データベース内の全ての顔平均からのずれの主成分近似Ｆm´は、主成分Ｕkの線形結合として、線形合成結合行列Ａを用いて、以下の式で表すことができる。 Thus, the principal component approximation Fm ′ of deviation from the average of all faces in the database can be expressed by the following equation using the linear composite coupling matrix A as a linear combination of the principal components U k .
［顔形状推定処理］
このように、主成分分離させたデータベースを用いることにより、データベース内の人物と同様の顔表情に伴う形状変形を、以下の手順で任意の未知人物について推定することが可能である。
[Face shape estimation processing]
As described above, by using the database obtained by separating the principal components, it is possible to estimate the shape deformation accompanying the facial expression similar to the person in the database for any unknown person by the following procedure.
図７は、本発明の顔形状推定処理の流れを説明するためのフローチャートである。 FIG. 7 is a flowchart for explaining the flow of the face shape estimation process of the present invention.
図７を参照して、まず、顔表情推定装置１０００により、推定の対象となる未知人物の所定の表情の３次元計測顔形状データを獲得する（ステップＳ２００）。獲得された３次元計測顔形状データは、たとえば、ハードディス１２４に格納される。 Referring to FIG. 7, first, facial expression estimation apparatus 1000 acquires three-dimensional measurement face shape data of a predetermined expression of an unknown person to be estimated (step S200). The acquired three-dimensional measurement face shape data is stored in the hard disk 124, for example.
ここで、「所定の表情」は、３次元顔形状データベース内の複数の表情のいずれかと同じ表情であればよく、たとえば、「無表情で目を閉じた表情」とすることができる。 Here, the “predetermined facial expression” may be the same facial expression as any one of a plurality of facial expressions in the three-dimensional face shape database.
続いて、顔表情推定装置１０００のＣＰＵ１２０は、獲得された３次元計測顔形状データを、３次元顔形状データベース内の顔形状データと同一メッシュトポロジヘと変換する（ステップＳ２０２）。 Subsequently, the CPU 120 of the facial expression estimation apparatus 1000 converts the acquired 3D measurement face shape data into the same mesh topology as the face shape data in the 3D face shape database (step S202).
このようにして、３次元顔形状データベースに未登録の人物の単一の顔表情形状がデータベースと同一のメッシュ構造で得られる。このとき、入力顔は以下のように列ベクトルｆuで表現できる。 In this way, a single facial expression shape of a person who is not registered in the three-dimensional face shape database is obtained with the same mesh structure as the database. At this time, the input face can be expressed by a column vector fu as follows.
これに対し、データベースから得た平均顔形状μfを用い、入力顔はこの平均からのずれｆmuへと分離できる。 On the other hand, using the average face shape μ f obtained from the database, the input face can be separated into a deviation f mu from this average.
続いて、入力表情顔形状を先の有効な上位主成分の線形合成で近似する（ステップＳ２０４）。 Subsequently, the input facial expression face shape is approximated by linear combination of the effective higher principal components (step S204).
すなわち、この平均からのずれｆmuを、上位ｋ個の主成分Ｕkとの線形結合で表現することにより、入力顔をデータベース内の顔同様に上位ｋ個の主成分空間に定義することができる。ここで、この未登録人物の単一の顔表情形状に対応する線形結合係数βは以下の式で求めることができる。 That is, by expressing the deviation f mu from the average by a linear combination with the top k principal components U k , the input face can be defined in the top k principal component spaces like the face in the database. it can. Here, the linear combination coefficient β corresponding to the single facial expression shape of the unregistered person can be obtained by the following equation.
続いて、顔表情推定装置１０００のＣＰＵ１２０は、推定対象の人物に対して得られた主成分の線形合成係数について、３次元顔形状データベース内の上記所定の表情の線形合成係数と近い線形合成係数で表される顔形状を有する人物を探索する（ステップＳ２０６）。 Subsequently, the CPU 120 of the facial expression estimation apparatus 1000 uses a linear synthesis coefficient that is close to the linear synthesis coefficient of the predetermined expression in the three-dimensional face shape database for the linear synthesis coefficient of the principal component obtained for the person to be estimated. A person having a face shape represented by is searched (step S206).
すなわち、入力顔がｋ個の主成分で表現されたことより、ｋ次元の主成分空間において顔形状の比較が可能となる。そこでまず、他の人物の同じ表情についてｋ次元の主成分空間中における入力顔との距離を比較する。３次元顔形状データベース内のｊ番目の人物の線形合成係数αjの各成分と、入力顔の線形合成係数βの各成分について、以下の式より距離ｄjを求める。 That is, since the input face is represented by k principal components, it is possible to compare face shapes in a k-dimensional principal component space. Therefore, first, the distance between the same facial expression of another person and the input face in the k-dimensional principal component space is compared. For each component of the linear synthesis coefficient α j of the j-th person in the three-dimensional face shape database and each component of the linear synthesis coefficient β of the input face, the distance dj is obtained from the following equation.
ただし、距離の定義は、上記式（８）に定義されるものに限定されるものではなく、距離の公理を満たす限り、他の距離を用いることもできる。 However, the definition of the distance is not limited to that defined in the above formula (8), and other distances can be used as long as the distance axiom is satisfied.
（類似顔の選定）
得られた距離の小さい順に並べることにより、入力顔に近い順に顔表情形状を持つ人物のリストを作成することができる。
(Selection of similar faces)
By arranging the obtained distances in ascending order, a list of persons having facial expression shapes can be created in order from the closest to the input face.
その上で、以下に示す手順（１）〜（４）のいずれかの選定手続を例として、類似顔表情人物の選定を行う。 In addition, a similar facial expression person is selected by taking one of the following selection procedures (1) to (4) as an example.
（１）人数による限定
あらかじめ選定する人数を、たとえば入力顔に近い順に「上位５人」などに限定しておくという選定方法である。
(1) Limitation by the number of people This is a selection method in which the number of people to be selected in advance is limited to, for example, the “top five people” in the order closer to the input face.
（２）距離による限定
あらかじめ主成分空間における距離範囲を、たとえば「距離１００．０以内」などと限定しておく。また、仮に最も近い顔がこの距離に含まれない場合は距離範囲を段階的に増やすようにする。
(2) Limitation by distance The distance range in the principal component space is previously limited to, for example, “within 100.0 distance”. If the closest face is not included in this distance, the distance range is increased stepwise.
（３）人数と距離による限定
あらかじめ選定する人数を、たとえば「上位５人」、主成分空間における距離範囲を、たとえば「距離１００．０以内」などと限定しておく。そして、上位人数に満たない場合は距離範囲を段階的に増やすようにする。
(3) Limitation by Number of Persons and Distance The number of persons selected in advance is limited to, for example, “top 5 persons”, and the distance range in the principal component space is limited to, for example, “within 100.0 distance”. And when it is less than the number of upper ranks, the distance range is increased stepwise.
（４）乱数効果を加えた限定
上述の（１）〜（３）の限定で得られた選定候補に加え、乱数的に無作為に１名以上の候補を追加する。
(4) Limitation with random number effect In addition to the selection candidates obtained by the above-mentioned limitations (1) to (3), one or more candidates are randomly added at random.
このような手続きにより、すくなくとも１名以上の人物を探索する。 By such a procedure, at least one person is searched for.
（選定人物に対する重み付けの決定）
再び、図７に戻って、次に、探索結果の人物の、対象となる表情顔から他の表情への変化を主成分空間中で求める。複数人物が探索結果として得られた場合、たとえば、近さに応じて重み付け加算した変化を求める（ステップＳ２０８）。
(Determination of weighting for selected persons)
Returning again to FIG. 7, next, a change from the target facial expression face to another facial expression of the person as a search result is obtained in the principal component space. When a plurality of persons are obtained as search results, for example, a change obtained by weighting and adding according to proximity is obtained (step S208).
ここで、類似顔表情を持つ人物がｎ人選定されたことにより、次にこれらの人物の表情変化を、入力顔の表情変化に寄与する重み付けの割合を決定する。 Here, when n persons having similar facial expressions are selected, the ratio of the weights that contribute to the expression changes of the input faces is determined next.
選定人物に対する重み付けの決定の手順には、以下の（Ａ）〜（Ｃ）のような手法が考えられる。 As the procedure for determining the weight for the selected person, the following methods (A) to (C) are conceivable.
（Ａ）単純平均
重み付けを均一とし、総和が１となるように、選定された人物数ｘに対し、ｗ＝１．０／ｎを全ての人物の重み付けとする。
(A) Simple average For the selected number of persons x so that the weight is uniform and the sum is 1, w = 1.0 / n is set as the weight of all persons.
（Ｂ）距離加重
距離の近い人物に対して重み付けが大きくなるように重み付けの割合を決定する。以下にその例を示す。
(B) Distance weighting A weighting ratio is determined so that weighting is increased for a person who is close to the distance. An example is shown below.
（Ｂ−１）距離に反比例する例
ｉ番目の人物に対し、以下の式（９）を用いて、重み付け係数ｗiを決定する。
(B-1) An example inversely proportional to the distance For the i-th person, the weighting coefficient w i is determined using the following equation (9).
ただし、ｃ0は総和が１．０となるようにするための定数である。 However, c 0 is a constant for making the total sum 1.0.
（Ｂ−２）距離の自乗に反比例する例
ｉ番目の人物に対し、以下の式（１０）を用いて、重み付け係数ｗiを決定する。
(B-2) Example inversely proportional to the square of distance For the i-th person, the weighting coefficient w i is determined using the following equation (10).
ただし、ｃ1は総和が１．０となるようにするための定数である。 Here, c 1 is a constant for making the total sum 1.0.
（Ｃ）順位加重
選定された順位が上位であるほど、重み付けが大きくなるように重み付けの割合を決定する。以下にその例を示す。
(C) Rank weighting The weighting ratio is determined such that the higher the selected rank is, the larger the weighting is. An example is shown below.
（Ｃ−１）順位に反比例する例
ｉ番目の人物に対し、以下の式（１１）を用いて、重み付け係数ｗiを決定する。
(C-1) Example inversely proportional to rank The weighting coefficient w i is determined for the i-th person using the following equation (11).
ただし、ｃ2は総和が１．０となるようにするための定数である。 Here, c 2 is a constant for making the total sum 1.0.
（Ｃ−２）ユーザ指定
あらかじめユーザにより順位に対する重みを定義しておく。たとえば選定結果が５人である場合に重み付けが順に、たとえば、０．５０，０．２５，０．１０．０．１０，０．０５というように総和が１．０となるよう定義しておく。
(C-2) User designation The weight for the ranking is defined in advance by the user. For example, when the selection result is 5 people, the weights are defined in order so that the sum is 1.0, for example, 0.50, 0.25, 0.10.0.10, 0.05. .
（選定人物の顔表情変形ベクトル）
以上のようにして、選定人物に対する重み付けが決定されると、この重み付けに基づいて、次に、選定人物の顔表情変形ベクトルが算出される。
(Selected person facial expression deformation vector)
When the weight for the selected person is determined as described above, the facial expression deformation vector of the selected person is then calculated based on this weight.
すなわち、先の重み付けに加え、類似顔表情を持つ人物がｎ人選定されたことにより、個々の選定人物の顔表情変形ベクトルを算出する。この「顔表情変形ベクトル」とは、個々の人物において人物選定に用いた表情から、その人物の他の表情への変化を主成分空間のベクトルとして表現したものである。 That is, in addition to the previous weighting, n persons having similar facial expressions are selected, so that facial expression deformation vectors of individual selected persons are calculated. This “facial expression deformation vector” is a representation of a change from the expression used for selecting a person to another expression for each person as a vector in the principal component space.
選定人物１名につき、ｋ×（ｓ−１）個の表情変形ベクトルεiが得られる。これらをまとめて記載すると、以下の式（１２）および（１３）のとおりとなる。 For each selected person, k × (s−1) facial expression deformation vectors ε i are obtained. When these are described together, they are as shown in the following formulas (12) and (13).
ここで、ｑは三次元顔形状データベース内における、選定人物の類似表情（所定の表情）のインデックス番号であり、ｐ1…ｐs-1は選定人物の類似表情以外のインデックス番号を示す。 Here, q is an index number of a similar facial expression (predetermined facial expression) of the selected person in the three-dimensional face shape database, and p 1 ... P s-1 is an index number other than the similar facial expression of the selected person.
この表情変形ベクトルεiを選定人物ｎ人全てについて求める。 This facial expression deformation vector ε i is obtained for all n selected persons.
以上より、選定人物ごとの表情変形ベクトルεiとその重み付け係数ｗiが得られた。これらを用い、入力人物における顔表情変形ベクトルを求め、表情推定を行う。入力人物に
おける顔表情変形ベクトルεiは以下の式（１４）により求めることができる。
As described above, the facial expression deformation vector ε i and the weighting coefficient w i for each selected person are obtained. Using these, the facial expression deformation vector in the input person is obtained, and facial expression estimation is performed. The facial expression deformation vector ε i in the input person can be obtained by the following equation (14).
再び、図７に戻って、続いて、得られた表情変化を、入力表情顔に対して与えることにより、未知人物の顔表情変形を推定する（ステップＳ２１０）。 Returning to FIG. 7 again, the facial expression deformation of the unknown person is estimated by giving the obtained facial expression change to the input facial expression face (step S210).
この顔表情変形ベクトルε0の各列に対し、入力顔の線形結合係数βを加えることにより、以下の式（１５）のように、列ごとに個々の表情に対応する線形結合係数βiを求めることができる。 By adding the linear combination coefficient β of the input face to each column of the facial expression deformation vector ε 0 , the linear combination coefficient β i corresponding to each facial expression is calculated for each column as shown in the following equation (15). Can be sought.
この線形結合係数βiより、データベースから得た平均顔形状μfと主成分Ｕkとを用い、入力人物の推定表情の三次元形状を以下の式（１６）により求めることができる。 From this linear combination coefficient β i , the three-dimensional shape of the estimated facial expression of the input person can be obtained by the following equation (16) using the average face shape μ f obtained from the database and the principal component U k .
以上のようにして、推定された他の表情に対応する３次元顔形状を計算により導出することが可能である。 As described above, a three-dimensional face shape corresponding to another estimated facial expression can be derived by calculation.
図８は、推定対象の人物について、複数の表情に対応する顔形状を実際に３次元的に計測し、各表情について、３次元計測顔形状データを同一のメッシュトポロジヘと変換した結果を示す図である。 FIG. 8 shows a result of actually measuring a face shape corresponding to a plurality of facial expressions for a person to be estimated three-dimensionally and converting the three-dimensional measured face shape data into the same mesh topology for each facial expression. FIG.
一方これに対して、図９は、推定対象の人物について、１つの所定の表情に対応する顔形状を３次元的に計測し、計測により得られた３次元計測顔形状データを同一のメッシュトポロジヘと変換した上で、図８における各表情に対応する顔形状を上述した顔表情推定処理により推定した結果を示す図である。 On the other hand, FIG. 9 shows three-dimensional measurement of the face shape corresponding to one predetermined expression for the person to be estimated, and the three-dimensional measurement face shape data obtained by the measurement is the same mesh topology. FIG. 9 is a diagram showing a result of estimating the facial shape corresponding to each facial expression in FIG.
図８と図９を対比することにより、本発明のした顔表情推定処理によれば、あらかじめ複数の人物の各々について複数の表情に対して顔形状を計測し、主成分分析した結果を３次元顔形状データベースとして構築しておくことにより、この３次元顔形状データベースに登録されていない未知人物の顔形状についても、自動的にその人物らしい表情変形を推定することが可能である。 By comparing FIG. 8 and FIG. 9, according to the facial expression estimation process of the present invention, the face shape is measured for a plurality of facial expressions in advance for each of a plurality of persons, and the result of the principal component analysis is obtained in three dimensions. By constructing as a face shape database, it is possible to automatically estimate facial expression deformations that are characteristic of an unknown person face shape that is not registered in the 3D face shape database.
なお、以上の説明では、推定の対象となるのは、未知の「人物」の顔形状であるものとしたが、本発明において、「人物の表情の推定」とは、必ずしも現実の人物の表情を推定する場合に限られず、本発明は、たとえば、現実の人物を基に作成された彫刻の表情や、人物を模して作成された３次元的な像やキャラクタの表情を推定することにも適用可能なものである。 In the above description, it is assumed that the target of estimation is the face shape of an unknown “person”. However, in the present invention, “estimation of the facial expression of a person” is not necessarily the facial expression of a real person. The present invention is not limited to the case of estimating a facial expression of a sculpture created based on a real person, or a three-dimensional image created by imitating a person or a facial expression of a character. Is also applicable.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１００ コンピュータ、１０２ コンピュータ本体、１０４ ディスプレイ、１０６ ＦＤドライブ、１０８ ＣＤ−ＲＯＭドライブ、１１０ キーボード１１０、１１２ マウス、１１６ フレキシブルディスク、１１８ ＣＤ−ＲＯＭ、１２０ ＣＰＵ、１２２ メモリ、１２４ ハードディスク、１２８ 通信インタフェース、２００ ３次元レーザスキャナ、２０６ 非接触３次元デジタイザ、１０００ 顔表情推定装置。 100 computer, 102 computer main body, 104 display, 106 FD drive, 108 CD-ROM drive, 110 keyboard 110, 112 mouse, 116 flexible disk, 118 CD-ROM, 120 CPU, 122 memory, 124 hard disk, 128 communication interface, 200 3D laser scanner, 206 non-contact 3D digitizer, 1000 facial expression estimation device.
Claims (6)
入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、前記同一のメッシュトポロジへ変換した３次元顔形状データを、前記限定された主成分の線形合成により近似する第２の合成係数の組を決定するための線形合成係数決定手段と、
前記３次元顔形状データベース内において前記所定の表情に対応する複数の前記第１の合成係数の組のうちから、前記第２の合成係数の組との距離が所定の範囲内である前記第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索する検索手段と、
前記検索された類似顔候補について、前記所定の表情に対する前記第１の線形合成係数の組と他の表情に対する前記第１の線形合成係数の組との差分を算出する線形合成係数差分算出手段と、
前記距離に基づいて、前記類似顔候補に対する重み付け係数を決定する類似顔候補加重手段と、
前記線形合成係数差分算出手段から得られた前記差分と前記類似顔候補加重手段から得られた前記重み付け係数とを掛け合わせた結果を、前記第２の合成係数の組に加えて、前記推定対象の人物の前記他の表情に対応する合成係数を推定する線形合成係数加重加算手段とを備える、顔表情推定装置。 Among principal components extracted by principal component analysis from the mesh vertex coordinates of a plurality of face shapes of the same mesh topology acquired in advance corresponding to a plurality of facial expressions of a plurality of persons, a predetermined number of limited principals A set of a plurality of first synthesis coefficients approximating the face shape corresponding to a plurality of facial expressions of the plurality of persons by linear combination of components is stored in association with the plurality of persons and the plurality of facial expressions, respectively. Database access means for accessing the three-dimensional face shape database;
The 3D face shape data converted to the same mesh topology is approximated by linear synthesis of the limited principal components for the 3D measurement face shape data corresponding to the input facial expression of the person to be estimated. Linear synthesis coefficient determining means for determining a set of two synthesis coefficients;
In the three-dimensional face shape database, among the plurality of first combination coefficient sets corresponding to the predetermined facial expression, a distance between the first combination coefficient group and the second combination coefficient set is within a predetermined range. Search means for searching for at least one similar face candidate corresponding to the set of synthesis coefficients of
Linear synthesis coefficient difference calculation means for calculating a difference between the first set of linear synthesis coefficients for the predetermined facial expression and the first set of linear synthesis coefficients for other facial expressions for the searched similar face candidates; ,
Similar face candidate weighting means for determining a weighting coefficient for the similar face candidate based on the distance;
A result obtained by multiplying the difference obtained from the linear synthesis coefficient difference calculation unit by the weighting coefficient obtained from the similar face candidate weighting unit is added to the second combination coefficient set, and the estimation target A facial expression estimation apparatus comprising linear combination coefficient weighted addition means for estimating a combination coefficient corresponding to the other expression of the person.
前記抽出された主成分のうち、所定数の限定された主成分の線形合成により、前記複数の人物の複数の表情に対応する前記顔形状をそれぞれ近似する複数の第１の合成係数の組を、前記複数人物および前記複数の表情にそれぞれ関連付けて記憶装置に記憶することで、３次元顔形状データベースを準備するステップと、
推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、前記同一のメッシュトポロジへ変換した３次元顔形状データを、前記限定された主成分の線形合成により近似する第２の合成係数の組を決定するステップと、
前記３次元顔形状データベース内において前記所定の表情に対応する複数の前記第１の合成係数の組のうちから、前記第２の合成係数の組との距離が所定の範囲内である前記第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索するステップと、
前記検索された類似顔候補について、前記所定の表情に対する前記第１の線形合成係数の組と他の表情に対する前記第１の線形合成係数の組との差分を算出するステップと、
前記距離に基づいて、前記類似顔候補に対する重み付け係数を決定するステップと、
前記差分と前記重み付け係数とを掛け合わせた結果を、前記第２の合成係数の組に加えて、前記推定対象の人物の前記他の表情に対応する合成係数を推定するステップとを備える、顔表情推定方法。 Extracting a principal component by principal component analysis from a plurality of face vertex mesh coordinates of the same mesh topology acquired in advance corresponding to a plurality of facial expressions of each of a plurality of persons;
Among the extracted principal components, a set of a plurality of first synthesis coefficients each approximating the face shape corresponding to a plurality of facial expressions of the plurality of persons by linear synthesis of a predetermined number of limited principal components. Preparing a three-dimensional face shape database by storing them in a storage device in association with each of the plurality of persons and the plurality of facial expressions;
Second synthesis that approximates the three-dimensional face shape data converted to the same mesh topology by linear synthesis of the limited principal components for the three-dimensional measurement face shape data corresponding to a predetermined facial expression of the person to be estimated Determining a set of coefficients;
In the three-dimensional face shape database, among the plurality of first combination coefficient sets corresponding to the predetermined facial expression, a distance between the first combination coefficient group and the second combination coefficient set is within a predetermined range. Searching for at least one similar face candidate corresponding to the set of synthesis coefficients of
Calculating a difference between the first set of linear synthesis coefficients for the predetermined facial expression and the first set of linear synthesis coefficients for another facial expression for the searched similar face candidates;
Determining a weighting factor for the similar face candidate based on the distance;
Adding a result obtained by multiplying the difference and the weighting coefficient to the second combination coefficient set, and estimating a combination coefficient corresponding to the other facial expression of the estimation target person. Expression estimation method.
複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により抽出された主成分のうち、所定数の限定された主成分の線形合成により、前記複数の人物の複数の表情に対応する前記顔形状をそれぞれ近似する複数の第１の合成係数の組を、前記複数人物および前記複数の表情にそれぞれ関連付けて記憶する３次元顔形状データベースにアクセスするステップと、
入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、前記同一のメッシュトポロジへ変換した３次元顔形状データを、前記限定された主成分の線形合成により近似する第２の合成係数の組を決定するステップと、
前記３次元顔形状データベース内において前記所定の表情に対応する複数の前記第１の合成係数の組のうちから、前記第２の合成係数の組との距離が所定の範囲内である前記第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索するステップと、
前記検索された類似顔候補について、前記所定の表情に対する前記第１の線形合成係数の組と他の表情に対する前記第１の線形合成係数の組との差分を算出するステップと、
前記距離に基づいて、前記類似顔候補に対する重み付け係数を決定するステップと、
前記差分と前記重み付け係数とを掛け合わせた結果を、前記第２の合成係数の組に加えて、前記推定対象の人物の前記他の表情に対応する合成係数を推定するステップと、
をコンピュータに実行させる、顔表情推定プログラム。 A facial expression estimation program for causing a computer to execute facial expression estimation processing,
Among principal components extracted by principal component analysis from the mesh vertex coordinates of a plurality of face shapes of the same mesh topology acquired in advance corresponding to a plurality of facial expressions of a plurality of persons, a predetermined number of limited principals A set of a plurality of first synthesis coefficients approximating the face shape corresponding to a plurality of facial expressions of the plurality of persons by linear combination of components is stored in association with the plurality of persons and the plurality of facial expressions, respectively. Accessing a three-dimensional face shape database;
The 3D face shape data converted to the same mesh topology is approximated by linear synthesis of the limited principal components for the 3D measurement face shape data corresponding to the input facial expression of the person to be estimated. Determining a set of two synthesis coefficients;
In the three-dimensional face shape database, among the plurality of first combination coefficient sets corresponding to the predetermined facial expression, a distance between the first combination coefficient group and the second combination coefficient set is within a predetermined range. Searching for at least one similar face candidate corresponding to the set of synthesis coefficients of
Calculating a difference between the first set of linear synthesis coefficients for the predetermined facial expression and the first set of linear synthesis coefficients for another facial expression for the searched similar face candidates;
Determining a weighting factor for the similar face candidate based on the distance;
Adding the result obtained by multiplying the difference and the weighting coefficient to the second combination coefficient set, and estimating a combination coefficient corresponding to the other facial expression of the estimation target person;
A facial expression estimation program that runs a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003374422A JP4101734B2 (en) | 2003-11-04 | 2003-11-04 | Facial expression estimation device, facial expression estimation method, and facial expression estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003374422A JP4101734B2 (en) | 2003-11-04 | 2003-11-04 | Facial expression estimation device, facial expression estimation method, and facial expression estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005141305A JP2005141305A (en) | 2005-06-02 |
| JP4101734B2 true JP4101734B2 (en) | 2008-06-18 |
Family
ID=34686140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003374422A Expired - Fee Related JP4101734B2 (en) | 2003-11-04 | 2003-11-04 | Facial expression estimation device, facial expression estimation method, and facial expression estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4101734B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0668968U (en) * | 1993-03-17 | 1994-09-27 | エムエイシイサンコー株式会社 | Tray |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6282121B2 (en) * | 2014-01-15 | 2018-02-21 | キヤノン株式会社 | Image recognition apparatus, image recognition method, and program |
| CN110378855B (en) * | 2019-07-18 | 2023-04-25 | 博瓦鲸视(深圳)科技有限公司 | Method for constructing character statistical model containing character shape, facial expression, gesture and gesture actions |
-
2003
- 2003-11-04 JP JP2003374422A patent/JP4101734B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0668968U (en) * | 1993-03-17 | 1994-09-27 | エムエイシイサンコー株式会社 | Tray |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005141305A (en) | 2005-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sifakis et al. | Simulating speech with a physics-based facial muscle model | |
| Wechsler | Reliable Face Recognition Methods: System Design, Impementation and Evaluation | |
| Jörg et al. | Data-driven finger motion synthesis for gesturing characters | |
| KR101555347B1 (en) | Apparatus and method for generating video-guided facial animation | |
| US6967658B2 (en) | Non-linear morphing of faces and their dynamics | |
| JP7452016B2 (en) | Learning data generation program and learning data generation method | |
| JP2016218999A (en) | Method for training classifier to detect object represented in image of target environment | |
| JP6207210B2 (en) | Information processing apparatus and method | |
| CN110599395A (en) | Target image generation method, device, server and storage medium | |
| JP2009020761A (en) | Image processing apparatus and method thereof | |
| JPWO2006049147A1 (en) | Three-dimensional shape estimation system and image generation system | |
| KR102270949B1 (en) | 3d human body model reconstruction apparatus and method | |
| KR20220075339A (en) | Face reconstruction method, apparatus, computer device and storage medium | |
| CN112037310A (en) | Game character action recognition generation method based on neural network | |
| KR101116838B1 (en) | Generating Method for exaggerated 3D facial expressions with personal styles | |
| KR100605050B1 (en) | Method and apparatus for searching human 3d body posture | |
| KR20230150867A (en) | Multi-view neural person prediction using implicit discriminative renderer to capture facial expressions, body posture geometry, and clothing performance | |
| JP4101734B2 (en) | Facial expression estimation device, facial expression estimation method, and facial expression estimation program | |
| Ekmen et al. | From 2D to 3D real-time expression transfer for facial animation | |
| Zhang et al. | Anatomy-based face reconstruction for animation using multi-layer deformation | |
| CN114863013A (en) | Target object three-dimensional model reconstruction method | |
| JP5485044B2 (en) | Facial expression learning device, facial expression recognition device, facial expression learning method, facial expression recognition method, facial expression learning program, and facial expression recognition program | |
| JP5061808B2 (en) | Emotion judgment method | |
| EP4111420A1 (en) | Face mesh deformation with detailed wrinkles | |
| Havasi et al. | A motion capture system for sign language synthesis: Overview and related issues |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080319 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120328 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140328 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |