JP3753625B2 - 表情アニメーション生成装置および表情アニメーション生成方法 - Google Patents
表情アニメーション生成装置および表情アニメーション生成方法 Download PDFInfo
- Publication number
- JP3753625B2 JP3753625B2 JP2001104665A JP2001104665A JP3753625B2 JP 3753625 B2 JP3753625 B2 JP 3753625B2 JP 2001104665 A JP2001104665 A JP 2001104665A JP 2001104665 A JP2001104665 A JP 2001104665A JP 3753625 B2 JP3753625 B2 JP 3753625B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- time
- texture
- difference
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ある人物の任意の表情に基づいて、多様な表情アニメーションを生成する方法および表情アニメーションを生成する表情アニメーション生成装置の構成に関する。
【０００２】
【従来の技術】
近年、特定の人物の特定の表情データに基づいて、当該人物の任意表情の合成を行なう研究が行なわれている。ところで、任意表情の生成は、静止画像だけでなく動画（アニメーション）の生成を行なうことで、より実用的となる。たとえば、最近のテレビコマーシャルでも見られるように、歴史上の人物のさまざまな表情アニメーションの生成や、仮想俳優、感性擬人化エージェントなどに応用することが可能となる。
【０００３】
さらに、心理学的な研究分野においては、動画を用いた表情認知の研究が、文献１：蒲池みゆき，吉川左紀子，赤松茂．変化速度は表情認知に影響するか？−動画刺激を用いた顔表情認知の時間特性の解明−．信学技報HCS98-34，pp.17-24，1998．に開示されている。
【０００４】
表情アニメーションは、簡単な方法としては、初めの表情と終わりの表情の２枚の画像間の対応点間の座標の位置、および輝度値を時間変化に比例させて内挿することによって生成し（以下、線形モーフィングと呼ぶ）連続提示させることで生成することが可能となる。
【０００５】
さらに、表情生成機能を持った専用のソフトウェアを用い、顔の表情筋の動きを模倣するなどして、細かな動きの指定が可能となる。
【０００６】
顔全体の線形モーフィングによるアニメーション生成の場合、その表情変化は線形となり、目や口といった顔のパーツは同時に変化する。
【０００７】
ここで、文献２：内田英子，四倉達夫，森島繁生，山田寛，大谷淳，赤松茂．高速度カメラを用いた顔面表情の動的変化に関する分析．信学技報HIP99-76，pp.1-6，2000．には、高速カメラを用いた表情の動的変化の分析を行なうことで、各パーツの変化（動き出し、変化パターン）は非線形であって、各表情ごと、各パーツごとに微妙に異なっていること、およびその表情表出が自発的なものか、または意図的なものかによって、その動作パターンが変化することが開示されている。
【０００８】
また、文献３：西尾修一，小山謙二．目と口の動きの時間的差異に基づく笑いの分類基準．信学論（A），Vol.J80-A，No.8，pp.1316-1318，1997．には、コンピュータグラフィックス（ＣＧ）によって作成された顔を用いて、目と口の動き出しのタイミングを変えることで、同じ「笑い」であっても、その印象が変化することが開示されている。
【０００９】
さらに、文献４：T.Ogawa and M. Oda. How facial parts work in facial-expression judgement. ATR Sympsium on Face and Object Recognition '99, pp.109-110, 1999．および文献５：加藤隆，中口稔，木幡誠治，丸谷真美，赤松茂．表情判断における顔の部位の役割．第１４回ヒューマン・インタフェース・シンポジウム論文集，pp.71-76，1998．には、静止画を用いて、表情種の異なるパーツを組合せることで多様な表情に見えることが示され、かつ表情ごとに重要なパーツが存在することが開示されている。
【００１０】
したがって、上述したような表情アニメーションにおいても、表情ごとの重要なパーツの動作パターンを変化させることによって、多様な表情が生成できるものと考えられる。
【００１１】
【発明が解決しようとする課題】
つまり、より自然な表情、多様な表情のアニメーションを作成するには、各パーツごとに非線形な動作パターンを指定できることが必要である。ところが、従来は、細かな動きの指定は、表情生成機能を持った専用のソフトウェアを用い、しかも、顔の表情筋の動きを模倣するなどして表情を生成するのが一般的であった。
【００１２】
しかしながら、このような専用のソフトウェアは、その使用に関して、専門的な知識を必要とし、誰もが簡単に使用できるものではない。
【００１３】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、専門的な知識を必要とせず、誰もが簡単に多様な表情アニメーションを作成できる表情アニメーション生成装置および表情アニメーション生成方法を提供することである。
【００１４】
【課題を解決するための手段】
請求項１記載の表情アニメーション生成装置は、対象人物の表情顔サンプルから特徴点を抽出し、特徴点に基づいて表情顔サンプルを複数のパーツに分割し、各パーツごとに指定された２つの異なる表情間の表情遷移変化に伴う形状およびテクスチャの差分を求め、差分形状データと差分テクスチャを獲得する表情差分データ抽出手段と、各パーツごとの時間変化を規定するための動作パターン関数を指定する動作パターン設定手段と、動作パターン関数と差分形状データとに基づいて算出された任意時刻における中間差分形状データと、動作パターン関数と差分テクスチャとに基づいて算出された任意時刻における中間差分テキスチャとを所定の時間間隔で生成し、所定の時間間隔ごとの時系列表情形状データおよび時系列表情テクスチャを生成する時系列表情画像合成手段とを備え、時系列表情画像合成手段は、中間差分テキスチャの算出において、特徴点以外の画素における重みは、当該画素が含まれる三角形パッチの頂点の動作パターン関数値に基づき、頂点から当該画素までの距離の二乗に反比例する重み付き平均により導出し、時系列表情形状データに基づく形状に時系列表情テクスチャをマッピングすることで生成された所定の時間間隔ごとに時系列表情画像を連続表示することによって、表情アニメーションを生成する表情アニメーション再生手段をさらに備える。
【００１５】
請求項２記載の表情アニメーション生成装置は、請求項１記載の表情アニメーション生成装置の構成に加えて、対象人物の表情顔サンプルは、対象人物の異なる２つの表情の顔サンプルを含む。
【００１６】
請求項３記載の表情アニメーション生成装置は、請求項１記載の表情アニメーション生成装置の構成に加えて、動作パターン設定手段は、ユーザとの間の対話型インターフェースを含む。
【００１８】
請求項４記載の表情アニメーション生成方法は、表情差分データ抽出部と動作パターン設定部と時系列表情画像合成処理部と表情アニメーション再生部とを含むデータ処理部を備えるアニメーション生成装置により実行される表情アニメーション生成方法であって、対象人物の表情顔サンプルから、前記表情差分データ抽出部が、特徴点を抽出し、前記特徴点に基づいて前記表情顔サンプルを複数のパーツに分割し、各パーツごとに指定された２つの異なる表情間の表情遷移変化に伴う形状およびテクスチャの差分を求め、差分形状データと差分テクスチャを獲得するステップと、ユーザの選択に基づき前記動作パターン設定部が各前記パーツごとの時間変化を規定するための動作パターン関数を指定するステップと、前記時系列表情画像合成処理部が、前記動作パターン関数と前記差分形状データとに基づいて算出された任意時刻における中間差分形状データと、前記動作パターン関数と前記差分テクスチャとに基づいて算出された前記任意時刻における中間差分テキスチャとを所定の時間間隔で生成し、前記所定の時間間隔ごとの時系列表情形状データおよび時系列表情テクスチャを生成するステップとを備え、前記時系列表情形状データおよび時系列表情テクスチャを生成するステップは、前記中間差分テキスチャの算出において、前記特徴点以外の画素における重みは、当該画素が含まれる三角形パッチの頂点の前記動作パターン関数値に基づき、前記頂点から当該画素までの距離の二乗に反比例する重み付き平均により導出するステップを含み、前記表情アニメーション再生部が、前記時系列表情形状データに基づく形状に前記時系列表情テクスチャをマッピングすることで生成された前記所定の時間間隔ごとに時系列表情画像を連続表示することによって、表情アニメーションを生成するステップとを備える。
【００１９】
請求項５記載の表情アニメーション生成方法は、請求項４記載の表情アニメーション生成方法の構成に加えて、対象人物の表情顔サンプルは、対象人物の異なる２つの表情の顔サンプルを含む。
【００２０】
請求項６記載の表情アニメーション生成方法は、請求項４記載の表情アニメーション生成方法の構成に加えて、動作パターン関数を指定するステップは、ユーザとの間の対話型インターフェースにより動作パターン関数を編集するステップを含む。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２３】
図１は、本発明に係る表情アニメーション生成装置１００の構成を説明するための概略ブロック図である。
【００２４】
図１において、特に限定されないが、たとえば、カメラ１０４により、同一人物で表情の異なる２枚の画像からなる入力画像が撮影される。この撮影される画像は、表情アニメーション生成装置１００のユーザ２の画像であっても良いし、他の人物の画像であってもよい。また、同一人物で表情の異なる２枚の画像がデータとして与えられるのであれば、表情アニメーション生成装置１００に接続されるカメラ１０４で撮影された画像である必要もなく、そのような画像データが記録媒体として与えられ、表情アニメーション生成装置１００に読み込まれる構成としてもよい。
【００２５】
ここで、表情アニメーション生成装置１００は、以下に説明するように、このようにして与えられた同一人物で表情の異なる２枚の画像からなる入力画像データに基づいて、アニメーション画像を生成する。このとき、生成されるアニメーション画像を「時系列表情画像」と呼ぶことにする。
【００２６】
表情アニメーション生成装置１００は、さらに、データ処理部１１０と、ユーザ２との間で、対話的なデータ入力を行なうためのデータ入力装置（たとえば、キーボードおよびマウス）１２０と、ユーザ２に対して対話的データ入力の際にデータ入力画面を提示し、かつ最終的に生成された時系列表情画像を出力するための表示装置（たとえば、ＣＲＴ）１３０とを備える。
【００２７】
データ処理部１１０は、データ入出力のインターフェースとして動作するデータ入出力部１１０２と、表情差分データ抽出部１１１０と、各パーツごとの動作パターンをユーザ２との間での対話的データ入力により設定する動作パターン設定部１１２０と、時系列表情画像合成処理部１１３０と、表情アニメーション再生部１１４０と、表情差分データ抽出部１１１０により抽出された形状データおよびテクスチャデータを格納するための形状データ格納部１１５０およびテクスチャデータ格納部１１５２と、時系列表情画像合成処理部１１３０において、時刻ｔにおける差分データをもとに算出された時系列表情形状データおよび時系列表情テクスチャデータを格納するための時系列表情形状データ格納部１１６０および時系列表情テクスチャデータ格納部１１６２と、時系列表情画像合成処理部１１３０により最終的に生成される時系列表情画像を格納するための時系列表情画像格納部１１７０とを備える。
【００２８】
図２は、図１に示したデータ処理部１１０の行なう処理の流れを模式的に示す概念図である。
【００２９】
以下、図１および図２を参照して、データ処理部１１０の各部の動作についてさらに説明する。
【００３０】
表情差分データ抽出部１１１０の特徴点抽出部１１１２は、表情の異なる２枚の画像（入力画像ＡおよびＢ）が与えられると、ユーザ２との間でグラフィックスワークステーションの対話処理機能を用いて、特徴点のサンプリングを行なう（ステップＳ１００）。サンプリングされたデータは、形状データ格納部１１５０およびテクスチャデータ格納部１１５２にそれぞれ格納される（ステップＳ１０２）。
【００３１】
さらに、サンプリングデータに基づき、２枚の入力画像に関する形状データ／テクスチャデータを獲得し、差分データ算出部１１１４は、差分形状データと差分テクスチャの抽出を行なう（ステップＳ１０４）。
【００３２】
一方、動作パターン設定部１１２０は、表示装置に提示された関数のメニューの中から、後に説明するように対話型インターフェースによって、顔の各パーツごとにユーザ２が１つの関数を選択し（ステップＳ１１０）、そのパターン情報が時系列表情画像合成処理部１１３０に通知される（ステップＳ１１２）。
【００３３】
ここで、時系列表情画像合成処理部１１３０は、このようにして得られた形状データ、テクスチャデータおよび差分形状データ、差分テクスチャデータに基づいて、表情画像のアニメーションを合成する。すなわち、時系列表情画像合成処理部１１３０では、合成時間を１秒３０フレームとして、フレーム数に換算する。さらに、時系列表情画像合成処理部１１３０は、差分データ抽出部１１１４から与えられる差分形状データおよび差分テクスチャと、動作パターン設定部１１２０から与えられる動作パターンに基づいて、合成時間をフレーム数で等間隔に分割した各時刻ｔでの差分データを求め、その値を表情の合成比率として、時系列表情形状データおよび時系列表情テクスチャを求め（ステップＳ１２０）、時系列表情形状データ格納部１１６０および時系列表情テクスチャデータ格納部１１６２に格納する（ステップＳ１２２）。このようにして得られた形状とテクスチャを用いて、時系列表情画像合成処理部１１３０は、表情画像を合成し（ステップＳ１２４）、最終的に合成された時系列の表情画像が時系列表情画像格納部１１７０に格納される（ステップＳ１２６）。
【００３４】
表情アニメーション再生部１１４０は、時系列表情画像格納部１１７０に格納されたデータに基づいて表情アニメーションの再生を行ない、表示部１３０に対して出力する（ステップＳ１３０）。
【００３５】
図３は、入力画像として与えられる同一人物で表情のみが異なる２枚の画像のうち、無表情（中立表情）の画像を示す図である。一方、図４は、入力画像として与えられる同一人物で表情のみが異なる２枚の画像のうち、笑顔の画像を示す図である。
【００３６】
図５は、図１に示した表情差分データ抽出部１１２０において、顔サンプルの特徴点の抽出を汎用グラフィックスワークステーションの対話処理機能を利用して行なった結果を示す図である。すなわち、表示された入力画像から目視で特徴点を検出し、マウス操作によって入力画像表面上を移動するカーソルを用いて特徴点の位置を特定する。
【００３７】
ここで、図３に示したような画像データに基づいて、たとえば、８３点の特徴点が規定される。さらに、図５においては、このようにして規定された特徴点に基づいて、画像処理の基本単位である三角パッチの集合として、画像が分割されている。
【００３８】
すなわち、画像特徴点を頂点とする三角パッチの集合（形状）と画像の集合（画像そのもの：テクスチャ）に分けてデータの獲得が行なわれる。
【００３９】
次に、データ処理部１１０の処理、特に、差分データの獲得方法について、さらに詳しく説明する。
【００４０】
データ処理部１１０は、図３および図４において説明したように、任意の対象人物についての表情Ａ（通常は、上述したように「中立表情」）の顔画像（以下、「表情Ａ画像」）が与えられたとき、同じ人物の表情Ｂ（特に限定されないが、上述した例では「笑い」）の顔画像（以下、「表情Ｂ画像」）まで連続的に変化する表情アニメーションを生成する。
【００４１】
表情変化は、形状の変化とそれに伴うテクスチャの変化として表現されるので、顔画像を顔の特徴点を頂点として生成される三角形パッチの集合（形状）と、各画像の輝度値（または、ＲＧＢ値）の集合、つまり、画像そのもの（テクスチャ）との２つに分けて考え、表情変化時の形状とテクスチャを別々に生成する。
【００４２】
図５に示したように、表情Ａ画像から、表情Ａの形状（表情Ａ形状）とテクスチャ（表情Ａテクスチャ）とが同時に得られる。同様に、表情Ｂ画像から、表情Ｂの形状（表情Ｂ形状）とテクスチャ（表情Ｂテクスチャ）とが同時に得られる。
【００４３】
表情Ａと表情Ｂの間の時刻ｔにおける表情Ｃの形状とテクスチャが得られれば、形状にテクスチャをマッピングすることで、対象人物の表情の時間変化を得ることができる。
【００４４】
以下では、イメージの生成過程において、形状とテクスチャを分けて処理する。
【００４５】
（表情差分形状の獲得）
表情Ａから表情Ｂへの表情変化を考えたとき、表情変化に合う顔形状の変化を、表情Ａ画像ＳAと表情Ｂ画像ＳBの対応している特徴点の座標の差分として捉える。
【００４６】
この差分を「差分形状」と呼び、δＳで表わすとすると、表情Ｂ形状は、表情Ａ形状と差分形状との和で、以下の式（１）のように表わすことができる。
【００４７】
【数１】
【００４８】
（表情テクスチャの生成）
表情テクスチャの生成のための差分テクスチャについても、上述した表情形状に対する差分形状と同様に、画素値の差分を求めることで、獲得することが可能となる。
【００４９】
つまり、差分テクスチャは、上述した対象人物の表情Ａ画像と表情Ｂ画像から得られるテクスチャの、対応する各画素における輝度値（ＲＧＢ値）の差分を取ることによって得られる。
【００５０】
ところで、表情間の差分テクスチャを得るには、それぞれのテクスチャの画素同士の対応が取れていなければならない。
【００５１】
しかしながら、顔の形状は個人によって異なり、また、同一人物の画像であっても、表情Ａと表情Ｂでは形状が異なるため、テクスチャの画素同士の対応が取れていない。
【００５２】
そこで、正面から撮影された多数の人物の表情Ａと表情Ｂの画像のペアが格納されており、かつ、両目尻の中点が画像の中心に位置するようにし、両目尻を結んだ直線が水平になるように回転させて、顔の位置と方向に関して正規化を行なった「画像サンプルデータベース」を用いて、以下のような処理を行なう。
【００５３】
すなわち、画素の対応を取るために、画像サンプルデータベース内の表情Ａの平均形状を「基準形状」とする。それから、表情Ａテクスチャと表情Ｂテクスチャを基準形状の各三角形パッチごとにマッピングする。これにより、画素同士の対応の取れたテクスチャが得られる。このようにして、画素同士の対応の取れたテクスチャの差分をとることで、以下の式（２）で表される表情間の差分テクスチャδＴを得る。
【００５４】
【数２】
【００５５】
なお、表情形状におけるテクスチャの変化は顔内部のみで生じるものとし、頭髪や背景のテクスチャは変化しないものとする。
【００５６】
図６は、動作パターン設定部１１２０において、眉、目、鼻、口、輪郭の５つの顔パーツの動作パターン関数の設定を行なうための設定画面の一例を示す図である。
【００５７】
図６に示す動作パターン設定ダイアログを用いて、各パーツごとの動作パターンの設定を行なう。パターンの設定は、図６に示すように、予め用意されたパターン１〜５、たとえば、線形、三乗根、三乗などのパターンの他にエルミート曲線を用いて任意のパターンを編集し設定することもできる。
【００５８】
曲線の指定は、利用者が２つのコントロールポイントＰＡおよびＰＢを操作することで得られる。システムは利用者によって指定された動作パターンに基づいて、時刻ｔにおける表情画像を生成し、それらを連続表示することで、表情アニメーションを作成する。
【００５９】
以上のようにして、各パーツごとの動作パターンの設定が行なわれた上で、図１に示した時系列表情画像合成処理部１１３０において、形状データと時刻ｔにおける表情差分形状データとを用いて、時系列の表情形状データの生成を行ない、テクスチャデータと時刻ｔにおける表情差分テクスチャを用いて、時系列の表情テクスチャを求める。
【００６０】
時刻ｔにおける表情形状は、次のように生成される。
パーツＫに設定された動作パターンをｆK（ｔ）（０＜ｆK（ｔ）＜１）とすると、パーツＫの時刻ｔにおける各特徴点座標および時刻ｔにおけるテクスチャは、以下の式（３）および（４）によりそれぞれ表わされる。
【００６１】
【数３】
【００６２】
ここで、式（４）における係数ω（ｔ）は以下のようにして求められる。
図７は、表情テクスチャの生成に用いられる三角形パッチＰ1Ｐ2Ｐ3を示す概念図である。
【００６３】
時系列の表情テクスチャの生成は以下のように行なう。特徴点Ｐ1，Ｐ2，Ｐ3がそれぞれ、パーツＫ，Ｌ，Ｍに属しているものとし、各点の動作パターンをそれぞれｆK（ｔ）、ｆL（ｔ）、ｆM（ｔ）で表わすとする。
【００６４】
三角形パッチＰ1Ｐ2Ｐ3内の任意の点Ｐまでの各点からの距離をｒ1、ｒ2、ｒ3とすると、点Ｐにおける係数ω（ｔ）は、以下の式（５）により表わされる。
【００６５】
【数４】
【００６６】
時刻ｔにおける表情形状に、時刻ｔにおける表情テクスチャをマッピングすることで、時刻ｔにおける表情画像を合成する。
【００６７】
表情アニメーション再生部４０において、時系列表情画像合成処理部３０で得られた時系列画像を連続提示することで、アニメーションが再生される。
【００６８】
すなわち、本発明に係る表情アニメーション生成装置１００おいては、線形モーフィングばかりでなく、動作パターンの任意指定を可能とするため機能および各パーツごとの動作パターンの任意指定を可能とする機能を備えている。
【００６９】
したがって、任意の２枚の表情顔サンプルから、表情遷移変化に伴う形状およびテクスチャの差分を求め、それぞれ、差分形状データと差分テクスチャを獲得する。その上で、各パーツごとに設定された動作パターンに基づいて、時間ｔの動作パターン関数を生成し、その値を重みとして、入力画像形状データに差分形状データを加えることにより、時刻ｔにおける表情形状データを生成する。また、テクスチャにおいても同様に、動作パターンに基づいて、時間ｔの動作パターン関数を生成し、その値を重みとして、入力画像テクスチャに差分テクスチャを加えることで、時刻ｔにおける表情テクスチャを生成する。
【００７０】
このとき、特徴点以外の画素における重みは、その画素が含まれる三角形パッチの頂点の関数値に基づき、頂点から画素間での距離の二乗に反比例する重み付き平均により導出する。得られた差分形状に差分テクスチャをマッピングすることで、時刻ｔにおける画像を生成し、それらを連続表示することで、表情アニメーションを生成することが可能となる。
【００７１】
なお、以上の説明では、本発明について、任意の対象人物についての表情Ａ画像と表情Ｂ画像とが与えられたとき、表情Ａから表情Ｂまで連続的に変化する表情アニメーションを生成する構成として説明した。しかしながら、本発明はこのような場合に限定されることなく、任意の対象人物についての表情Ａ画像が与えられたとき、表情Ａから表情Ｂまで連続的に変化する表情アニメーションを生成する構成とすることもできる。このときは、差分形状δＳや差分テクスチャδＴとしては、上述したような「画像サンプルデータベース」から得られる平均差分形状や平均差分テクスチャを利用して生成することが可能である。
【００７２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００７３】
【発明の効果】
以上説明したとおり、本発明に従えば、２つの表情の画像が与えられれば、各パーツごとに動作関数を与えることで、同じ表情カテゴリであっても、微妙に印象の異なる表情の生成が可能となり、仮想俳優や、感性擬人化エージェントなどに適用することが可能となる。
【００７４】
さらに、動作パターンの違いによる印象の変化など、動画を用いた表情認知の研究といった、心理学分野の実験刺激としても用いることができる。
【００７５】
さらに、専用ソフトを用いる場合のような、専門的な知識や経験がなくても、誰もが簡単に多様な表情アニメーションの生成を行なうことが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る表情アニメーション生成装置１００の構成を説明するための概略ブロック図である。
【図２】 図１に示したデータ処理部１１０の行なう処理の流れを模式的に示す概念図である。
【図３】 入力画像として与えられる同一人物で表情のみが異なる２枚の画像のうち、無表情（中立表情）の画像を示す図である。
【図４】 入力画像として与えられる同一人物で表情のみが異なる２枚の画像のうち、笑顔の画像を示す図である。
【図５】 顔サンプルの特徴点の抽出を汎用グラフィックスワークステーションの対話処理機能を利用して行なった結果を示す図である。
【図６】 眉、目、鼻、口、輪郭の５つの顔パーツの動作パターン関数の設定を行なうための設定画面の一例を示す図である。
【図７】 表情テクスチャの生成に用いられる三角形パッチＰ1Ｐ2Ｐ3を示す概念図である。
【符号の説明】
２ ユーザ、１００ 表情アニメーション生成装置、１０４ カメラ、１１０データ処理部、１２０ データ入力装置、１３０ 表示装置、１１０２ データ入出力部、１１１０ 表情差分データ抽出部、１１２０ 動作パターン設定部、１１３０ 時系列表情画像合成処理部、１１４０ 表情アニメーション再生部、１１５０ 形状データ格納部、１１５２ テクスチャデータ格納部、１１６０時系列表情形状データ格納部、１１６２ 時系列表情テクスチャデータ格納部、１１７０ 時系列表情画像格納部。
【発明の属する技術分野】
この発明は、ある人物の任意の表情に基づいて、多様な表情アニメーションを生成する方法および表情アニメーションを生成する表情アニメーション生成装置の構成に関する。
【０００２】
【従来の技術】
近年、特定の人物の特定の表情データに基づいて、当該人物の任意表情の合成を行なう研究が行なわれている。ところで、任意表情の生成は、静止画像だけでなく動画（アニメーション）の生成を行なうことで、より実用的となる。たとえば、最近のテレビコマーシャルでも見られるように、歴史上の人物のさまざまな表情アニメーションの生成や、仮想俳優、感性擬人化エージェントなどに応用することが可能となる。
【０００３】
さらに、心理学的な研究分野においては、動画を用いた表情認知の研究が、文献１：蒲池みゆき，吉川左紀子，赤松茂．変化速度は表情認知に影響するか？−動画刺激を用いた顔表情認知の時間特性の解明−．信学技報HCS98-34，pp.17-24，1998．に開示されている。
【０００４】
表情アニメーションは、簡単な方法としては、初めの表情と終わりの表情の２枚の画像間の対応点間の座標の位置、および輝度値を時間変化に比例させて内挿することによって生成し（以下、線形モーフィングと呼ぶ）連続提示させることで生成することが可能となる。
【０００５】
さらに、表情生成機能を持った専用のソフトウェアを用い、顔の表情筋の動きを模倣するなどして、細かな動きの指定が可能となる。
【０００６】
顔全体の線形モーフィングによるアニメーション生成の場合、その表情変化は線形となり、目や口といった顔のパーツは同時に変化する。
【０００７】
ここで、文献２：内田英子，四倉達夫，森島繁生，山田寛，大谷淳，赤松茂．高速度カメラを用いた顔面表情の動的変化に関する分析．信学技報HIP99-76，pp.1-6，2000．には、高速カメラを用いた表情の動的変化の分析を行なうことで、各パーツの変化（動き出し、変化パターン）は非線形であって、各表情ごと、各パーツごとに微妙に異なっていること、およびその表情表出が自発的なものか、または意図的なものかによって、その動作パターンが変化することが開示されている。
【０００８】
また、文献３：西尾修一，小山謙二．目と口の動きの時間的差異に基づく笑いの分類基準．信学論（A），Vol.J80-A，No.8，pp.1316-1318，1997．には、コンピュータグラフィックス（ＣＧ）によって作成された顔を用いて、目と口の動き出しのタイミングを変えることで、同じ「笑い」であっても、その印象が変化することが開示されている。
【０００９】
さらに、文献４：T.Ogawa and M. Oda. How facial parts work in facial-expression judgement. ATR Sympsium on Face and Object Recognition '99, pp.109-110, 1999．および文献５：加藤隆，中口稔，木幡誠治，丸谷真美，赤松茂．表情判断における顔の部位の役割．第１４回ヒューマン・インタフェース・シンポジウム論文集，pp.71-76，1998．には、静止画を用いて、表情種の異なるパーツを組合せることで多様な表情に見えることが示され、かつ表情ごとに重要なパーツが存在することが開示されている。
【００１０】
したがって、上述したような表情アニメーションにおいても、表情ごとの重要なパーツの動作パターンを変化させることによって、多様な表情が生成できるものと考えられる。
【００１１】
【発明が解決しようとする課題】
つまり、より自然な表情、多様な表情のアニメーションを作成するには、各パーツごとに非線形な動作パターンを指定できることが必要である。ところが、従来は、細かな動きの指定は、表情生成機能を持った専用のソフトウェアを用い、しかも、顔の表情筋の動きを模倣するなどして表情を生成するのが一般的であった。
【００１２】
しかしながら、このような専用のソフトウェアは、その使用に関して、専門的な知識を必要とし、誰もが簡単に使用できるものではない。
【００１３】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、専門的な知識を必要とせず、誰もが簡単に多様な表情アニメーションを作成できる表情アニメーション生成装置および表情アニメーション生成方法を提供することである。
【００１４】
【課題を解決するための手段】
請求項１記載の表情アニメーション生成装置は、対象人物の表情顔サンプルから特徴点を抽出し、特徴点に基づいて表情顔サンプルを複数のパーツに分割し、各パーツごとに指定された２つの異なる表情間の表情遷移変化に伴う形状およびテクスチャの差分を求め、差分形状データと差分テクスチャを獲得する表情差分データ抽出手段と、各パーツごとの時間変化を規定するための動作パターン関数を指定する動作パターン設定手段と、動作パターン関数と差分形状データとに基づいて算出された任意時刻における中間差分形状データと、動作パターン関数と差分テクスチャとに基づいて算出された任意時刻における中間差分テキスチャとを所定の時間間隔で生成し、所定の時間間隔ごとの時系列表情形状データおよび時系列表情テクスチャを生成する時系列表情画像合成手段とを備え、時系列表情画像合成手段は、中間差分テキスチャの算出において、特徴点以外の画素における重みは、当該画素が含まれる三角形パッチの頂点の動作パターン関数値に基づき、頂点から当該画素までの距離の二乗に反比例する重み付き平均により導出し、時系列表情形状データに基づく形状に時系列表情テクスチャをマッピングすることで生成された所定の時間間隔ごとに時系列表情画像を連続表示することによって、表情アニメーションを生成する表情アニメーション再生手段をさらに備える。
【００１５】
請求項２記載の表情アニメーション生成装置は、請求項１記載の表情アニメーション生成装置の構成に加えて、対象人物の表情顔サンプルは、対象人物の異なる２つの表情の顔サンプルを含む。
【００１６】
請求項３記載の表情アニメーション生成装置は、請求項１記載の表情アニメーション生成装置の構成に加えて、動作パターン設定手段は、ユーザとの間の対話型インターフェースを含む。
【００１８】
請求項４記載の表情アニメーション生成方法は、表情差分データ抽出部と動作パターン設定部と時系列表情画像合成処理部と表情アニメーション再生部とを含むデータ処理部を備えるアニメーション生成装置により実行される表情アニメーション生成方法であって、対象人物の表情顔サンプルから、前記表情差分データ抽出部が、特徴点を抽出し、前記特徴点に基づいて前記表情顔サンプルを複数のパーツに分割し、各パーツごとに指定された２つの異なる表情間の表情遷移変化に伴う形状およびテクスチャの差分を求め、差分形状データと差分テクスチャを獲得するステップと、ユーザの選択に基づき前記動作パターン設定部が各前記パーツごとの時間変化を規定するための動作パターン関数を指定するステップと、前記時系列表情画像合成処理部が、前記動作パターン関数と前記差分形状データとに基づいて算出された任意時刻における中間差分形状データと、前記動作パターン関数と前記差分テクスチャとに基づいて算出された前記任意時刻における中間差分テキスチャとを所定の時間間隔で生成し、前記所定の時間間隔ごとの時系列表情形状データおよび時系列表情テクスチャを生成するステップとを備え、前記時系列表情形状データおよび時系列表情テクスチャを生成するステップは、前記中間差分テキスチャの算出において、前記特徴点以外の画素における重みは、当該画素が含まれる三角形パッチの頂点の前記動作パターン関数値に基づき、前記頂点から当該画素までの距離の二乗に反比例する重み付き平均により導出するステップを含み、前記表情アニメーション再生部が、前記時系列表情形状データに基づく形状に前記時系列表情テクスチャをマッピングすることで生成された前記所定の時間間隔ごとに時系列表情画像を連続表示することによって、表情アニメーションを生成するステップとを備える。
【００１９】
請求項５記載の表情アニメーション生成方法は、請求項４記載の表情アニメーション生成方法の構成に加えて、対象人物の表情顔サンプルは、対象人物の異なる２つの表情の顔サンプルを含む。
【００２０】
請求項６記載の表情アニメーション生成方法は、請求項４記載の表情アニメーション生成方法の構成に加えて、動作パターン関数を指定するステップは、ユーザとの間の対話型インターフェースにより動作パターン関数を編集するステップを含む。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２３】
図１は、本発明に係る表情アニメーション生成装置１００の構成を説明するための概略ブロック図である。
【００２４】
図１において、特に限定されないが、たとえば、カメラ１０４により、同一人物で表情の異なる２枚の画像からなる入力画像が撮影される。この撮影される画像は、表情アニメーション生成装置１００のユーザ２の画像であっても良いし、他の人物の画像であってもよい。また、同一人物で表情の異なる２枚の画像がデータとして与えられるのであれば、表情アニメーション生成装置１００に接続されるカメラ１０４で撮影された画像である必要もなく、そのような画像データが記録媒体として与えられ、表情アニメーション生成装置１００に読み込まれる構成としてもよい。
【００２５】
ここで、表情アニメーション生成装置１００は、以下に説明するように、このようにして与えられた同一人物で表情の異なる２枚の画像からなる入力画像データに基づいて、アニメーション画像を生成する。このとき、生成されるアニメーション画像を「時系列表情画像」と呼ぶことにする。
【００２６】
表情アニメーション生成装置１００は、さらに、データ処理部１１０と、ユーザ２との間で、対話的なデータ入力を行なうためのデータ入力装置（たとえば、キーボードおよびマウス）１２０と、ユーザ２に対して対話的データ入力の際にデータ入力画面を提示し、かつ最終的に生成された時系列表情画像を出力するための表示装置（たとえば、ＣＲＴ）１３０とを備える。
【００２７】
データ処理部１１０は、データ入出力のインターフェースとして動作するデータ入出力部１１０２と、表情差分データ抽出部１１１０と、各パーツごとの動作パターンをユーザ２との間での対話的データ入力により設定する動作パターン設定部１１２０と、時系列表情画像合成処理部１１３０と、表情アニメーション再生部１１４０と、表情差分データ抽出部１１１０により抽出された形状データおよびテクスチャデータを格納するための形状データ格納部１１５０およびテクスチャデータ格納部１１５２と、時系列表情画像合成処理部１１３０において、時刻ｔにおける差分データをもとに算出された時系列表情形状データおよび時系列表情テクスチャデータを格納するための時系列表情形状データ格納部１１６０および時系列表情テクスチャデータ格納部１１６２と、時系列表情画像合成処理部１１３０により最終的に生成される時系列表情画像を格納するための時系列表情画像格納部１１７０とを備える。
【００２８】
図２は、図１に示したデータ処理部１１０の行なう処理の流れを模式的に示す概念図である。
【００２９】
以下、図１および図２を参照して、データ処理部１１０の各部の動作についてさらに説明する。
【００３０】
表情差分データ抽出部１１１０の特徴点抽出部１１１２は、表情の異なる２枚の画像（入力画像ＡおよびＢ）が与えられると、ユーザ２との間でグラフィックスワークステーションの対話処理機能を用いて、特徴点のサンプリングを行なう（ステップＳ１００）。サンプリングされたデータは、形状データ格納部１１５０およびテクスチャデータ格納部１１５２にそれぞれ格納される（ステップＳ１０２）。
【００３１】
さらに、サンプリングデータに基づき、２枚の入力画像に関する形状データ／テクスチャデータを獲得し、差分データ算出部１１１４は、差分形状データと差分テクスチャの抽出を行なう（ステップＳ１０４）。
【００３２】
一方、動作パターン設定部１１２０は、表示装置に提示された関数のメニューの中から、後に説明するように対話型インターフェースによって、顔の各パーツごとにユーザ２が１つの関数を選択し（ステップＳ１１０）、そのパターン情報が時系列表情画像合成処理部１１３０に通知される（ステップＳ１１２）。
【００３３】
ここで、時系列表情画像合成処理部１１３０は、このようにして得られた形状データ、テクスチャデータおよび差分形状データ、差分テクスチャデータに基づいて、表情画像のアニメーションを合成する。すなわち、時系列表情画像合成処理部１１３０では、合成時間を１秒３０フレームとして、フレーム数に換算する。さらに、時系列表情画像合成処理部１１３０は、差分データ抽出部１１１４から与えられる差分形状データおよび差分テクスチャと、動作パターン設定部１１２０から与えられる動作パターンに基づいて、合成時間をフレーム数で等間隔に分割した各時刻ｔでの差分データを求め、その値を表情の合成比率として、時系列表情形状データおよび時系列表情テクスチャを求め（ステップＳ１２０）、時系列表情形状データ格納部１１６０および時系列表情テクスチャデータ格納部１１６２に格納する（ステップＳ１２２）。このようにして得られた形状とテクスチャを用いて、時系列表情画像合成処理部１１３０は、表情画像を合成し（ステップＳ１２４）、最終的に合成された時系列の表情画像が時系列表情画像格納部１１７０に格納される（ステップＳ１２６）。
【００３４】
表情アニメーション再生部１１４０は、時系列表情画像格納部１１７０に格納されたデータに基づいて表情アニメーションの再生を行ない、表示部１３０に対して出力する（ステップＳ１３０）。
【００３５】
図３は、入力画像として与えられる同一人物で表情のみが異なる２枚の画像のうち、無表情（中立表情）の画像を示す図である。一方、図４は、入力画像として与えられる同一人物で表情のみが異なる２枚の画像のうち、笑顔の画像を示す図である。
【００３６】
図５は、図１に示した表情差分データ抽出部１１２０において、顔サンプルの特徴点の抽出を汎用グラフィックスワークステーションの対話処理機能を利用して行なった結果を示す図である。すなわち、表示された入力画像から目視で特徴点を検出し、マウス操作によって入力画像表面上を移動するカーソルを用いて特徴点の位置を特定する。
【００３７】
ここで、図３に示したような画像データに基づいて、たとえば、８３点の特徴点が規定される。さらに、図５においては、このようにして規定された特徴点に基づいて、画像処理の基本単位である三角パッチの集合として、画像が分割されている。
【００３８】
すなわち、画像特徴点を頂点とする三角パッチの集合（形状）と画像の集合（画像そのもの：テクスチャ）に分けてデータの獲得が行なわれる。
【００３９】
次に、データ処理部１１０の処理、特に、差分データの獲得方法について、さらに詳しく説明する。
【００４０】
データ処理部１１０は、図３および図４において説明したように、任意の対象人物についての表情Ａ（通常は、上述したように「中立表情」）の顔画像（以下、「表情Ａ画像」）が与えられたとき、同じ人物の表情Ｂ（特に限定されないが、上述した例では「笑い」）の顔画像（以下、「表情Ｂ画像」）まで連続的に変化する表情アニメーションを生成する。
【００４１】
表情変化は、形状の変化とそれに伴うテクスチャの変化として表現されるので、顔画像を顔の特徴点を頂点として生成される三角形パッチの集合（形状）と、各画像の輝度値（または、ＲＧＢ値）の集合、つまり、画像そのもの（テクスチャ）との２つに分けて考え、表情変化時の形状とテクスチャを別々に生成する。
【００４２】
図５に示したように、表情Ａ画像から、表情Ａの形状（表情Ａ形状）とテクスチャ（表情Ａテクスチャ）とが同時に得られる。同様に、表情Ｂ画像から、表情Ｂの形状（表情Ｂ形状）とテクスチャ（表情Ｂテクスチャ）とが同時に得られる。
【００４３】
表情Ａと表情Ｂの間の時刻ｔにおける表情Ｃの形状とテクスチャが得られれば、形状にテクスチャをマッピングすることで、対象人物の表情の時間変化を得ることができる。
【００４４】
以下では、イメージの生成過程において、形状とテクスチャを分けて処理する。
【００４５】
（表情差分形状の獲得）
表情Ａから表情Ｂへの表情変化を考えたとき、表情変化に合う顔形状の変化を、表情Ａ画像ＳAと表情Ｂ画像ＳBの対応している特徴点の座標の差分として捉える。
【００４６】
この差分を「差分形状」と呼び、δＳで表わすとすると、表情Ｂ形状は、表情Ａ形状と差分形状との和で、以下の式（１）のように表わすことができる。
【００４７】
【数１】
（表情テクスチャの生成）
表情テクスチャの生成のための差分テクスチャについても、上述した表情形状に対する差分形状と同様に、画素値の差分を求めることで、獲得することが可能となる。
【００４９】
つまり、差分テクスチャは、上述した対象人物の表情Ａ画像と表情Ｂ画像から得られるテクスチャの、対応する各画素における輝度値（ＲＧＢ値）の差分を取ることによって得られる。
【００５０】
ところで、表情間の差分テクスチャを得るには、それぞれのテクスチャの画素同士の対応が取れていなければならない。
【００５１】
しかしながら、顔の形状は個人によって異なり、また、同一人物の画像であっても、表情Ａと表情Ｂでは形状が異なるため、テクスチャの画素同士の対応が取れていない。
【００５２】
そこで、正面から撮影された多数の人物の表情Ａと表情Ｂの画像のペアが格納されており、かつ、両目尻の中点が画像の中心に位置するようにし、両目尻を結んだ直線が水平になるように回転させて、顔の位置と方向に関して正規化を行なった「画像サンプルデータベース」を用いて、以下のような処理を行なう。
【００５３】
すなわち、画素の対応を取るために、画像サンプルデータベース内の表情Ａの平均形状を「基準形状」とする。それから、表情Ａテクスチャと表情Ｂテクスチャを基準形状の各三角形パッチごとにマッピングする。これにより、画素同士の対応の取れたテクスチャが得られる。このようにして、画素同士の対応の取れたテクスチャの差分をとることで、以下の式（２）で表される表情間の差分テクスチャδＴを得る。
【００５４】
【数２】
なお、表情形状におけるテクスチャの変化は顔内部のみで生じるものとし、頭髪や背景のテクスチャは変化しないものとする。
【００５６】
図６は、動作パターン設定部１１２０において、眉、目、鼻、口、輪郭の５つの顔パーツの動作パターン関数の設定を行なうための設定画面の一例を示す図である。
【００５７】
図６に示す動作パターン設定ダイアログを用いて、各パーツごとの動作パターンの設定を行なう。パターンの設定は、図６に示すように、予め用意されたパターン１〜５、たとえば、線形、三乗根、三乗などのパターンの他にエルミート曲線を用いて任意のパターンを編集し設定することもできる。
【００５８】
曲線の指定は、利用者が２つのコントロールポイントＰＡおよびＰＢを操作することで得られる。システムは利用者によって指定された動作パターンに基づいて、時刻ｔにおける表情画像を生成し、それらを連続表示することで、表情アニメーションを作成する。
【００５９】
以上のようにして、各パーツごとの動作パターンの設定が行なわれた上で、図１に示した時系列表情画像合成処理部１１３０において、形状データと時刻ｔにおける表情差分形状データとを用いて、時系列の表情形状データの生成を行ない、テクスチャデータと時刻ｔにおける表情差分テクスチャを用いて、時系列の表情テクスチャを求める。
【００６０】
時刻ｔにおける表情形状は、次のように生成される。
パーツＫに設定された動作パターンをｆK（ｔ）（０＜ｆK（ｔ）＜１）とすると、パーツＫの時刻ｔにおける各特徴点座標および時刻ｔにおけるテクスチャは、以下の式（３）および（４）によりそれぞれ表わされる。
【００６１】
【数３】
ここで、式（４）における係数ω（ｔ）は以下のようにして求められる。
図７は、表情テクスチャの生成に用いられる三角形パッチＰ1Ｐ2Ｐ3を示す概念図である。
【００６３】
時系列の表情テクスチャの生成は以下のように行なう。特徴点Ｐ1，Ｐ2，Ｐ3がそれぞれ、パーツＫ，Ｌ，Ｍに属しているものとし、各点の動作パターンをそれぞれｆK（ｔ）、ｆL（ｔ）、ｆM（ｔ）で表わすとする。
【００６４】
三角形パッチＰ1Ｐ2Ｐ3内の任意の点Ｐまでの各点からの距離をｒ1、ｒ2、ｒ3とすると、点Ｐにおける係数ω（ｔ）は、以下の式（５）により表わされる。
【００６５】
【数４】
時刻ｔにおける表情形状に、時刻ｔにおける表情テクスチャをマッピングすることで、時刻ｔにおける表情画像を合成する。
【００６７】
表情アニメーション再生部４０において、時系列表情画像合成処理部３０で得られた時系列画像を連続提示することで、アニメーションが再生される。
【００６８】
すなわち、本発明に係る表情アニメーション生成装置１００おいては、線形モーフィングばかりでなく、動作パターンの任意指定を可能とするため機能および各パーツごとの動作パターンの任意指定を可能とする機能を備えている。
【００６９】
したがって、任意の２枚の表情顔サンプルから、表情遷移変化に伴う形状およびテクスチャの差分を求め、それぞれ、差分形状データと差分テクスチャを獲得する。その上で、各パーツごとに設定された動作パターンに基づいて、時間ｔの動作パターン関数を生成し、その値を重みとして、入力画像形状データに差分形状データを加えることにより、時刻ｔにおける表情形状データを生成する。また、テクスチャにおいても同様に、動作パターンに基づいて、時間ｔの動作パターン関数を生成し、その値を重みとして、入力画像テクスチャに差分テクスチャを加えることで、時刻ｔにおける表情テクスチャを生成する。
【００７０】
このとき、特徴点以外の画素における重みは、その画素が含まれる三角形パッチの頂点の関数値に基づき、頂点から画素間での距離の二乗に反比例する重み付き平均により導出する。得られた差分形状に差分テクスチャをマッピングすることで、時刻ｔにおける画像を生成し、それらを連続表示することで、表情アニメーションを生成することが可能となる。
【００７１】
なお、以上の説明では、本発明について、任意の対象人物についての表情Ａ画像と表情Ｂ画像とが与えられたとき、表情Ａから表情Ｂまで連続的に変化する表情アニメーションを生成する構成として説明した。しかしながら、本発明はこのような場合に限定されることなく、任意の対象人物についての表情Ａ画像が与えられたとき、表情Ａから表情Ｂまで連続的に変化する表情アニメーションを生成する構成とすることもできる。このときは、差分形状δＳや差分テクスチャδＴとしては、上述したような「画像サンプルデータベース」から得られる平均差分形状や平均差分テクスチャを利用して生成することが可能である。
【００７２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００７３】
【発明の効果】
以上説明したとおり、本発明に従えば、２つの表情の画像が与えられれば、各パーツごとに動作関数を与えることで、同じ表情カテゴリであっても、微妙に印象の異なる表情の生成が可能となり、仮想俳優や、感性擬人化エージェントなどに適用することが可能となる。
【００７４】
さらに、動作パターンの違いによる印象の変化など、動画を用いた表情認知の研究といった、心理学分野の実験刺激としても用いることができる。
【００７５】
さらに、専用ソフトを用いる場合のような、専門的な知識や経験がなくても、誰もが簡単に多様な表情アニメーションの生成を行なうことが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る表情アニメーション生成装置１００の構成を説明するための概略ブロック図である。
【図２】 図１に示したデータ処理部１１０の行なう処理の流れを模式的に示す概念図である。
【図３】 入力画像として与えられる同一人物で表情のみが異なる２枚の画像のうち、無表情（中立表情）の画像を示す図である。
【図４】 入力画像として与えられる同一人物で表情のみが異なる２枚の画像のうち、笑顔の画像を示す図である。
【図５】 顔サンプルの特徴点の抽出を汎用グラフィックスワークステーションの対話処理機能を利用して行なった結果を示す図である。
【図６】 眉、目、鼻、口、輪郭の５つの顔パーツの動作パターン関数の設定を行なうための設定画面の一例を示す図である。
【図７】 表情テクスチャの生成に用いられる三角形パッチＰ1Ｐ2Ｐ3を示す概念図である。
【符号の説明】
２ ユーザ、１００ 表情アニメーション生成装置、１０４ カメラ、１１０データ処理部、１２０ データ入力装置、１３０ 表示装置、１１０２ データ入出力部、１１１０ 表情差分データ抽出部、１１２０ 動作パターン設定部、１１３０ 時系列表情画像合成処理部、１１４０ 表情アニメーション再生部、１１５０ 形状データ格納部、１１５２ テクスチャデータ格納部、１１６０時系列表情形状データ格納部、１１６２ 時系列表情テクスチャデータ格納部、１１７０ 時系列表情画像格納部。
Claims (6)
- 対象人物の表情顔サンプルから特徴点を抽出し、前記特徴点に基づいて前記表情顔サンプルを複数のパーツに分割し、各パーツごとに指定された２つの異なる表情間の表情遷移変化に伴う形状およびテクスチャの差分を求め、差分形状データと差分テクスチャを獲得する表情差分データ抽出手段と、
各前記パーツごとの時間変化を規定するための動作パターン関数を指定する動作パターン設定手段と、
前記動作パターン関数と前記差分形状データとに基づいて算出された任意時刻における中間差分形状データと、前記動作パターン関数と前記差分テクスチャとに基づいて算出された前記任意時刻における中間差分テキスチャとを所定の時間間隔で生成し、前記所定の時間間隔ごとの時系列表情形状データおよび時系列表情テクスチャを生成する時系列表情画像合成手段とを備え、
前記時系列表情画像合成手段は、前記中間差分テキスチャの算出において、前記特徴点以外の画素における重みは、当該画素が含まれる三角形パッチの頂点の前記動作パターン関数値に基づき、前記頂点から当該画素までの距離の二乗に反比例する重み付き平均により導出し、
前記時系列表情形状データに基づく形状に前記時系列表情テクスチャをマッピングすることで生成された前記所定の時間間隔ごとに時系列表情画像を連続表示することによって、表情アニメーションを生成する表情アニメーション再生手段をさらに備える、表情アニメーション生成装置。 - 前記対象人物の表情顔サンプルは、前記対象人物の異なる２つの表情の顔サンプルを含む、請求項１記載の表情アニメーション生成装置。
- 前記動作パターン設定手段は、ユーザとの間の対話型インターフェースを含む、請求項１記載の表情アニメーション生成装置。
- 表情差分データ抽出部と動作パターン設定部と時系列表情画像合成処理部と表情アニメーション再生部とを含むデータ処理部を備えるアニメーション生成装置により実行される表情アニメーション生成方法であって、
対象人物の表情顔サンプルから、前記表情差分データ抽出部が、特徴点を抽出し、前記特徴点に基づいて前記表情顔サンプルを複数のパーツに分割し、各パーツごとに指定された２つの異なる表情間の表情遷移変化に伴う形状およびテクスチャの差分を求め、差分形状データと差分テクスチャを獲得するステップと、
ユーザの選択に基づき前記動作パターン設定部が各前記パーツごとの時間変化を規定するための動作パターン関数を指定するステップと、
前記時系列表情画像合成処理部が、前記動作パターン関数と前記差分形状データとに基づいて算出された任意時刻における中間差分形状データと、前記動作パターン関数と前記差分テクスチャとに基づいて算出された前記任意時刻における中間差分テキスチャとを所定の時間間隔で生成し、前記所定の時間間隔ごとの時系列表情形状データおよび時系列表情テクスチャを生成するステップとを備え、
前記時系列表情形状データおよび時系列表情テクスチャを生成するステップは、前記中間差分テキスチャの算出において、前記特徴点以外の画素における重みは、当該画素が含まれる三角形パッチの頂点の前記動作パターン関数値に基づき、前記頂点から当該画素までの距離の二乗に反比例する重み付き平均により導出するステップを含み、
前記表情アニメーション再生部が、前記時系列表情形状データに基づく形状に前記時系列表情テクスチャをマッピングすることで生成された前記所定の時間間隔ごとに時系列表情画像を連続表示することによって、表情アニメーションを生成するステップとを備える、表情アニメーション生成方法。 - 前記対象人物の表情顔サンプルは、前記対象人物の異なる２つの表情の顔サンプルを含む、請求項４記載の表情アニメーション生成方法。
- 前記動作パターン関数を指定するステップは、ユーザとの間の対話型インターフェースにより前記動作パターン関数を編集するステップを含む、請求項４記載の表情アニメーション生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001104665A JP3753625B2 (ja) | 2001-04-03 | 2001-04-03 | 表情アニメーション生成装置および表情アニメーション生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001104665A JP3753625B2 (ja) | 2001-04-03 | 2001-04-03 | 表情アニメーション生成装置および表情アニメーション生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002304638A JP2002304638A (ja) | 2002-10-18 |
| JP3753625B2 true JP3753625B2 (ja) | 2006-03-08 |
Family
ID=18957490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001104665A Expired - Fee Related JP3753625B2 (ja) | 2001-04-03 | 2001-04-03 | 表情アニメーション生成装置および表情アニメーション生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3753625B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1846234A (zh) | 2003-09-03 | 2006-10-11 | 日本电气株式会社 | 形态变形装置、物体动作编码装置以及物体动作解码装置 |
| JP3829862B1 (ja) | 2005-04-04 | 2006-10-04 | トヨタ自動車株式会社 | ３次元モデル変形システム及びプログラム |
| JP4786389B2 (ja) * | 2006-03-30 | 2011-10-05 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
| JP5460277B2 (ja) * | 2009-12-07 | 2014-04-02 | 株式会社ヤマザキ | モノクロ動画の着色装置及びモノクロ動画の着色方法 |
| JP5906897B2 (ja) * | 2012-03-30 | 2016-04-20 | カシオ計算機株式会社 | 動き情報生成方法、動き情報生成装置及びプログラム |
| JP6393990B2 (ja) * | 2014-01-20 | 2018-09-26 | 株式会社ニコン | 画像処理装置 |
| US11087520B2 (en) | 2018-09-19 | 2021-08-10 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation for facial model |
| US11127181B2 (en) | 2018-09-19 | 2021-09-21 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation |
| EP3809236A1 (en) * | 2019-10-17 | 2021-04-21 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation |
| CN111080754B (zh) * | 2019-12-12 | 2023-08-11 | 广东智媒云图科技股份有限公司 | 一种头部肢体特征点连线的人物动画制作方法及装置 |
| CN111768481B (zh) * | 2020-05-19 | 2024-06-21 | 北京奇艺世纪科技有限公司 | 一种表情包生成方法及装置 |
| CN111783658B (zh) * | 2020-07-01 | 2023-08-25 | 河北工业大学 | 基于双生成对抗网络的两阶段表情动画生成方法 |
| CN111899321B (zh) * | 2020-08-26 | 2023-09-26 | 网易（杭州）网络有限公司 | 一种虚拟角色表情展现的方法和装置 |
| CN117974853B (zh) * | 2024-03-29 | 2024-06-11 | 成都工业学院 | 同源微表情图像自适应切换生成方法、系统、终端及介质 |
-
2001
- 2001-04-03 JP JP2001104665A patent/JP3753625B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002304638A (ja) | 2002-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sifakis et al. | Simulating speech with a physics-based facial muscle model | |
| KR100715735B1 (ko) | 디지털 안면 모델을 애니메이팅하기 위한 시스템 및 방법 | |
| JP3753625B2 (ja) | 表情アニメーション生成装置および表情アニメーション生成方法 | |
| CN108564641B (zh) | 基于ue引擎的表情捕捉方法及装置 | |
| Liao et al. | Automatic caricature generation by analyzing facial features | |
| Jörg et al. | Data-driven finger motion synthesis for gesturing characters | |
| CN110910479A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN110443872B (zh) | 一种具备动态纹理细节的表情合成方法 | |
| Patel et al. | 3D facial model construction and expressions synthesis using a single frontal face image | |
| JPH10240908A (ja) | 映像合成方法 | |
| Mortlock et al. | Virtual conferencing | |
| Pandzic et al. | Towards natural communication in networked collaborative virtual environments | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| KR100792704B1 (ko) | 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법 | |
| Park et al. | A feature‐based approach to facial expression cloning | |
| JP2002525764A (ja) | グラフィックスおよび画像処理システム | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| JP2003030684A (ja) | 顔３次元コンピュータグラフィック生成方法及び装置及び顔３次元コンピュータグラフィック生成プログラム及び顔３次元コンピュータグラフィック生成プログラムを格納した記憶媒体 | |
| Menzel et al. | Automated Blendshape Personalization for Faithful Face Animations Using Commodity Smartphones | |
| JPH08305894A (ja) | しわの表現可能な三次元像生成装置 | |
| Akinjala et al. | Animating human movement & gestures on an agent using Microsoft kinect | |
| JP2709993B2 (ja) | 動画像高速生成装置 | |
| CN115797569B (zh) | 高精度数孪人面部表情动作细分的动态生成方法及系统 | |
| US8896607B1 (en) | Inverse kinematics for rigged deformable characters | |
| Jiang et al. | Animating arbitrary topology 3D facial model using the MPEG-4 FaceDefTables |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |