JP2802725B2 - 表情再現装置および表情再現に用いられるマトリックスの算出方法 - Google Patents
表情再現装置および表情再現に用いられるマトリックスの算出方法Info
- Publication number
- JP2802725B2 JP2802725B2 JP6226664A JP22666494A JP2802725B2 JP 2802725 B2 JP2802725 B2 JP 2802725B2 JP 6226664 A JP6226664 A JP 6226664A JP 22666494 A JP22666494 A JP 22666494A JP 2802725 B2 JP2802725 B2 JP 2802725B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- dimensional motion
- dimensional
- facial expression
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【産業上の利用分野】この発明は撮像された顔画像をコ
ンピュータグラフィックス技術を用いて立体ディスプレ
イに再現する表情再現装置および表情再現に用いられる
マトリックスの算出方法に関し、特に顔画像をワイヤフ
レームモデルにより再現する表情再現装置および表情再
現に用いられるマトリックスの算出方法に関する。
ンピュータグラフィックス技術を用いて立体ディスプレ
イに再現する表情再現装置および表情再現に用いられる
マトリックスの算出方法に関し、特に顔画像をワイヤフ
レームモデルにより再現する表情再現装置および表情再
現に用いられるマトリックスの算出方法に関する。
【０００２】
【従来の技術】近年、遠隔地にいる人々があたかも同じ
場所で会議をするように話し合ったりすることのでき
る、臨場感通信会議システムの開発が進められている
（たとえば、大谷他，「臨場感通信会議システムにおけ
る３次元顔画像の実時間表示」，社団法人、電子情報通
信学会発行，信学技報，ＨＣ９２−６１（Ｊａｎ．’９
３），岸野「臨場感通信」，ＴＶ学会誌，Ｖｏｌ．４
６，Ｎｏ．６，ｐｐ．６９８−７０２（Ｊｕｎ．′９
２）など）。
場所で会議をするように話し合ったりすることのでき
る、臨場感通信会議システムの開発が進められている
（たとえば、大谷他，「臨場感通信会議システムにおけ
る３次元顔画像の実時間表示」，社団法人、電子情報通
信学会発行，信学技報，ＨＣ９２−６１（Ｊａｎ．’９
３），岸野「臨場感通信」，ＴＶ学会誌，Ｖｏｌ．４
６，Ｎｏ．６，ｐｐ．６９８−７０２（Ｊｕｎ．′９
２）など）。
【０００３】実際の会議において、参加者の顔の表情の
微妙な変化はコミュニケーションにおいて重要な意味を
持つため、臨場感通信会議システムにおいても人間の表
情の微妙な変化を再現することが必要であり、そのため
リアリティの高い表情を再現することができる表情再現
装置の開発が期待されている。
微妙な変化はコミュニケーションにおいて重要な意味を
持つため、臨場感通信会議システムにおいても人間の表
情の微妙な変化を再現することが必要であり、そのため
リアリティの高い表情を再現することができる表情再現
装置の開発が期待されている。
【０００４】表情再現装置には送信される人物の頭部の
標準的な形態を、頂点（ノード）と頂点間を結ぶ線（リ
ンク）とによって近似した頭部３次元ワイヤフレームモ
デルが記憶される。送信側の人物の顔に止着されたマー
カの移動量はカメラなどでトラッキングされ、それに併
わせて頭部ワイヤフレームモデルの頂点座標が移動され
ることにより表情の変化は再現される。
標準的な形態を、頂点（ノード）と頂点間を結ぶ線（リ
ンク）とによって近似した頭部３次元ワイヤフレームモ
デルが記憶される。送信側の人物の顔に止着されたマー
カの移動量はカメラなどでトラッキングされ、それに併
わせて頭部ワイヤフレームモデルの頂点座標が移動され
ることにより表情の変化は再現される。
【０００５】図６は従来の表情再現装置のブロック図で
あり、図７は図６の２Ｄ表情検出部６０１の具体例を示
した図である。
あり、図７は図６の２Ｄ表情検出部６０１の具体例を示
した図である。
【０００６】図６を参照して従来の表情再現装置は、人
物の表情を検出する２次元表情検出部６０１と、前述し
た頭部３次元ワイヤフレームモデルを記憶する３Ｄワイ
ヤフレームモデル記憶部６０３と、検出された表情と記
憶された頭部３次元ワイヤフレームモデルとを合成しワ
イヤフレームモデルを変形させることにより表情変化を
再現する画像合成部６０５と、合成された画像を表示す
る画像表示部６０７とから構成される。
物の表情を検出する２次元表情検出部６０１と、前述し
た頭部３次元ワイヤフレームモデルを記憶する３Ｄワイ
ヤフレームモデル記憶部６０３と、検出された表情と記
憶された頭部３次元ワイヤフレームモデルとを合成しワ
イヤフレームモデルを変形させることにより表情変化を
再現する画像合成部６０５と、合成された画像を表示す
る画像表示部６０７とから構成される。
【０００７】表情検出部６０１は、具体的には図７のよ
うに構成される。すなわち送信される人物の顔２０９に
はその表情筋の上にマーカ２０３が止着されている。頭
部に固定されたヘルメット２１１には顔２０９を画像デ
ータ２０５として撮像するカメラ２０１が設けられてい
る。
うに構成される。すなわち送信される人物の顔２０９に
はその表情筋の上にマーカ２０３が止着されている。頭
部に固定されたヘルメット２１１には顔２０９を画像デ
ータ２０５として撮像するカメラ２０１が設けられてい
る。
【０００８】撮像された画像データ２０５中のマーカ２
０３の２次元移動ベクトルはトラッキングされ、パラメ
ータとして画像合成部６０５へと送られる。
０３の２次元移動ベクトルはトラッキングされ、パラメ
ータとして画像合成部６０５へと送られる。
【０００９】図８は図６の画像合成部６０５で行なわれ
る処理について説明するための図である。
る処理について説明するための図である。
【００１０】マーカ２０３の移動ベクトルは２次元のデ
ータであり、記憶されている３次元ワイヤフレームモデ
ルは３次元のデータであるため、画像合成部６０５にお
いて２次元の移動ベクトルから表情の３次元の動きが再
現される必要がある。従来の表情再現装置ではモーショ
ンルールと呼ばれる予め定義された表情の変化規則に基
づいて、ワイヤフレームモデルの変形が行なわれてい
た。
ータであり、記憶されている３次元ワイヤフレームモデ
ルは３次元のデータであるため、画像合成部６０５にお
いて２次元の移動ベクトルから表情の３次元の動きが再
現される必要がある。従来の表情再現装置ではモーショ
ンルールと呼ばれる予め定義された表情の変化規則に基
づいて、ワイヤフレームモデルの変形が行なわれてい
た。
【００１１】具体的には図８（ａ）のように顔に止着さ
れた１３個のマーカ２０３の中の口の下に止着されたマ
ーカ２０３ａが、下に一定量以下移動したときには、右
図のように下顎が下方向に回動したと判定され、３次元
ワイヤフレームモデル中の下顎の３次元移動が行なわれ
る。
れた１３個のマーカ２０３の中の口の下に止着されたマ
ーカ２０３ａが、下に一定量以下移動したときには、右
図のように下顎が下方向に回動したと判定され、３次元
ワイヤフレームモデル中の下顎の３次元移動が行なわれ
る。
【００１２】同様に（ｂ）のように口の左右に止着され
たマーカ２０３ｂ，ｃが接近する動きをしたときには、
口が突き出されたと判定される。（ｃ）のように口の左
右に止着されたマーカ２０３ｂ，ｃが離れる動きをした
ときには口が左右に広げられたと判定される。（ｄ）の
ように口の下に止着されたマーカ２０３ａが下に一定量
以上移動したときには、下顎が下に平行移動したと判定
される。判定された表情の変化に基づいてワイヤフレー
ムモデルは変形され、表情が再現される。
たマーカ２０３ｂ，ｃが接近する動きをしたときには、
口が突き出されたと判定される。（ｃ）のように口の左
右に止着されたマーカ２０３ｂ，ｃが離れる動きをした
ときには口が左右に広げられたと判定される。（ｄ）の
ように口の下に止着されたマーカ２０３ａが下に一定量
以上移動したときには、下顎が下に平行移動したと判定
される。判定された表情の変化に基づいてワイヤフレー
ムモデルは変形され、表情が再現される。
【００１３】
【発明が解決しようとする課題】しかしながら、従来の
表情再現装置は記憶されているモーションルールに従っ
た一義的な表情の再現しかできないため、再現可能な表
情が少なく、再現表情の品質が悪い。そのため、実際の
表情と合成された表情とが異なる事態が発生するなどの
問題点があった。
表情再現装置は記憶されているモーションルールに従っ
た一義的な表情の再現しかできないため、再現可能な表
情が少なく、再現表情の品質が悪い。そのため、実際の
表情と合成された表情とが異なる事態が発生するなどの
問題点があった。
【００１４】それゆえにこの発明は品質が良く、リアリ
ティの高い表情を再現することのできる表情再現装置を
提供することを目的とする。
ティの高い表情を再現することのできる表情再現装置を
提供することを目的とする。
【００１５】
【課題を解決するための手段】上記目的を達成するため
請求項１の発明に係る表情再現装置は、物体の形状を近
似したワイヤフレームモデルを記憶するワイヤフレーム
モデル記憶手段と、物体の所望の形状変化に基づく物体
の所定の点における二次元動きベクトルと、ワイヤフレ
ームモデルを構成する各々の頂点のうち所定の点に対応
する頂点の座標の三次元動きベクトルとの間の対応関係
を記憶する対応関係記憶手段と、物体の実際の形状変化
に基づく所定の点における二次元動きベクトルを取得す
る取得手段と、記憶された対応関係に基づいて、取得さ
れた二次元動きベクトルをワイヤフレームモデルの所定
の点に対応する頂点の座標の三次元動きベクトルに変換
する変換手段と、変換された三次元動きベクトルに基づ
いてワイヤフレームモデルを加工する加工手段とを備
え、対応関係は、物体に付与された複数のマーカの二次
元動きベクトルと、三次元動きベクトルとを測定するこ
とにより得られた関係であることを特徴とする。
請求項１の発明に係る表情再現装置は、物体の形状を近
似したワイヤフレームモデルを記憶するワイヤフレーム
モデル記憶手段と、物体の所望の形状変化に基づく物体
の所定の点における二次元動きベクトルと、ワイヤフレ
ームモデルを構成する各々の頂点のうち所定の点に対応
する頂点の座標の三次元動きベクトルとの間の対応関係
を記憶する対応関係記憶手段と、物体の実際の形状変化
に基づく所定の点における二次元動きベクトルを取得す
る取得手段と、記憶された対応関係に基づいて、取得さ
れた二次元動きベクトルをワイヤフレームモデルの所定
の点に対応する頂点の座標の三次元動きベクトルに変換
する変換手段と、変換された三次元動きベクトルに基づ
いてワイヤフレームモデルを加工する加工手段とを備
え、対応関係は、物体に付与された複数のマーカの二次
元動きベクトルと、三次元動きベクトルとを測定するこ
とにより得られた関係であることを特徴とする。
【００１６】請求項２の発明に係る表情再現装置は、請
求項１に記載の表情再現装置であって、物体の所望の形
状変化に基づく三次元動きベクトルを取得する第２の取
得手段と、取得された三次元動きベクトルと取得された
二次元動きベクトルとから対応関係を数式として算出す
る算出手段とをさらに備えたものである。請求項３の発
明に係る表情再現装置は、請求項１または２に記載の表
情再現装置であって、物体は人物の顔を含み、形状は人
物の表情を含むものである。請求項４の発明に係る表情
再現に用いられるマトリックスの算出方法は、人物の顔
に複数のマーカを付与するステップと、人物が表情を変
化させたときの複数のマーカの二次元動きベクトルと三
次元動きベクトルとを求めるステップと、二次元動きベ
クトルと三次元動きベクトルとの関係を示すマトリック
スを求めるステップとを備える。
求項１に記載の表情再現装置であって、物体の所望の形
状変化に基づく三次元動きベクトルを取得する第２の取
得手段と、取得された三次元動きベクトルと取得された
二次元動きベクトルとから対応関係を数式として算出す
る算出手段とをさらに備えたものである。請求項３の発
明に係る表情再現装置は、請求項１または２に記載の表
情再現装置であって、物体は人物の顔を含み、形状は人
物の表情を含むものである。請求項４の発明に係る表情
再現に用いられるマトリックスの算出方法は、人物の顔
に複数のマーカを付与するステップと、人物が表情を変
化させたときの複数のマーカの二次元動きベクトルと三
次元動きベクトルとを求めるステップと、二次元動きベ
クトルと三次元動きベクトルとの関係を示すマトリック
スを求めるステップとを備える。
【００１７】
【作用】請求項１に記載の表情再現装置は、物体の所望
の形状変化に基づく二次元動きベクトルを取得し、物体
に付与された複数のマーカの二次元動きベクトルと三次
元動きベクトルとを測定することにより得られた対応関
係に基づいて、取得された二次元動きベクトルをワイヤ
フレームモデルを構成する各々の頂点のうち、対応する
頂点の座標の三次元動きベクトルに変換する。変換され
た三次元動きベクトルに基づいてワイヤフレームモデル
は加工される。
の形状変化に基づく二次元動きベクトルを取得し、物体
に付与された複数のマーカの二次元動きベクトルと三次
元動きベクトルとを測定することにより得られた対応関
係に基づいて、取得された二次元動きベクトルをワイヤ
フレームモデルを構成する各々の頂点のうち、対応する
頂点の座標の三次元動きベクトルに変換する。変換され
た三次元動きベクトルに基づいてワイヤフレームモデル
は加工される。
【００１８】請求項２に記載の表情再現装置は、請求項
１に記載の表情再現装置の作用に加えて、物体の形状変
化に基づく三次元動きベクトルを取得し、物体の形状変
化に基づく二次元動きベクトルと三次元動きベクトルと
から対応関係を数式として算出する。請求項３に記載の
表情再現装置は、請求項１または２に記載の表情再現装
置の作用に加えて、人物の顔の表情の変化を再現する。
請求項４に記載の表情再現に用いられるマトリックスの
算出方法は、人物の顔に複数のマーカを付与した後、人
物が表情を変化させたときの複数のマーカの二次元動き
ベクトルと三次元動きベクトルとを求め、二次元動きベ
クトルと三次元動きベクトルとの関係を示すマトリック
スを求める。
１に記載の表情再現装置の作用に加えて、物体の形状変
化に基づく三次元動きベクトルを取得し、物体の形状変
化に基づく二次元動きベクトルと三次元動きベクトルと
から対応関係を数式として算出する。請求項３に記載の
表情再現装置は、請求項１または２に記載の表情再現装
置の作用に加えて、人物の顔の表情の変化を再現する。
請求項４に記載の表情再現に用いられるマトリックスの
算出方法は、人物の顔に複数のマーカを付与した後、人
物が表情を変化させたときの複数のマーカの二次元動き
ベクトルと三次元動きベクトルとを求め、二次元動きベ
クトルと三次元動きベクトルとの関係を示すマトリック
スを求める。
【００１９】
【実施例】図１は本発明の一実施例である表情再現装置
で行なわれる処理の概要について説明するための図であ
り、図２は図１中のマトリックスＡの算出のために行な
われる表情変化による移動ベクトルの計測について説明
するための図であり、図３はマトリックスＡの算出に必
要なデータについて説明するための図である。
で行なわれる処理の概要について説明するための図であ
り、図２は図１中のマトリックスＡの算出のために行な
われる表情変化による移動ベクトルの計測について説明
するための図であり、図３はマトリックスＡの算出に必
要なデータについて説明するための図である。
【００２０】本実施例における表情再現装置の装置構成
は、図６に示される従来の表情再現装置と同じである
が、画像合成部６０５で従来のモーションルールに代え
て、数式を用いてマーカの２次元移動ベクトルをワイヤ
フレームモデルの頂点の３次元移動ベクトル（３次元推
定座標）へ変換することを特徴としている。
は、図６に示される従来の表情再現装置と同じである
が、画像合成部６０５で従来のモーションルールに代え
て、数式を用いてマーカの２次元移動ベクトルをワイヤ
フレームモデルの頂点の３次元移動ベクトル（３次元推
定座標）へ変換することを特徴としている。
【００２１】具体的には図１に示されるように、入力デ
ータは顔に止着されたマーカの無表情時からの相対的な
移動ベクトル［ｘ，ｙ］である。（１）式に示されるよ
うに移動ベクトル［ｘ，ｙ］を補正関数ｆ（ｘ，ｙ）に
代入し、予め用意されているマトリックスＡを掛けるこ
とにより３次元ワイヤフレームモデル（３Ｄ ＷＦＭ）
の頂点の３次元推定座標［Ｘ，Ｙ，Ｚ］が算出される。
ータは顔に止着されたマーカの無表情時からの相対的な
移動ベクトル［ｘ，ｙ］である。（１）式に示されるよ
うに移動ベクトル［ｘ，ｙ］を補正関数ｆ（ｘ，ｙ）に
代入し、予め用意されているマトリックスＡを掛けるこ
とにより３次元ワイヤフレームモデル（３Ｄ ＷＦＭ）
の頂点の３次元推定座標［Ｘ，Ｙ，Ｚ］が算出される。
【００２２】さらに具体的には入力データの２次元移動
ベクトル［ｘ，ｙ］は、図２（ｃ）に示されるように、
実際の人物の顔の半面上に止着されたマーカ＃ａ〜＃ｇ
の移動量として得られる。図２（ｃ）の点線で囲まれる
範囲内に存在する３次元ワイヤフレームモデルの頂点座
標は、その範囲内に存在するマーカの２次元移動ベクト
ルに基づいて算出される。
ベクトル［ｘ，ｙ］は、図２（ｃ）に示されるように、
実際の人物の顔の半面上に止着されたマーカ＃ａ〜＃ｇ
の移動量として得られる。図２（ｃ）の点線で囲まれる
範囲内に存在する３次元ワイヤフレームモデルの頂点座
標は、その範囲内に存在するマーカの２次元移動ベクト
ルに基づいて算出される。
【００２３】たとえば図２（ｂ）の＃１，＃２で示され
る点であるワイヤフレームモデルの頂点座標は図２
（ｃ）の＃ｇのマーカを含む領域にあるので、頂点座標
＃１および＃２の移動量は＃ｇのマーカの２次元移動ベ
クトルに基づいて算出される。
る点であるワイヤフレームモデルの頂点座標は図２
（ｃ）の＃ｇのマーカを含む領域にあるので、頂点座標
＃１および＃２の移動量は＃ｇのマーカの２次元移動ベ
クトルに基づいて算出される。
【００２４】マトリックスＡは、ワイヤフレームモデル
の各々の頂点座標ごとに用意される。図２（ｂ）では＃
１〜＃１７０の１７０の頂点座標があるので、マトリッ
クスＡはＡ#1〜Ａ#170の１７０種類用意されることにな
る。
の各々の頂点座標ごとに用意される。図２（ｂ）では＃
１〜＃１７０の１７０の頂点座標があるので、マトリッ
クスＡはＡ#1〜Ａ#170の１７０種類用意されることにな
る。
【００２５】マトリックスＡ#1〜Ａ#170は以下のように
算出される。図２を参照して実際の人物の顔の半面
（ｂ）上のワイヤフレームモデル（ａ）の１７０の頂点
座標に対応する位置に＃１〜＃１７０の黒色のドットが
記入される。実際の人物が笑い，怒りなどの表情を示し
たときの記入された各々のドットの３次元移動ベクトル
はCyberware Color 3D Digitizerを用いて計測され、３
次元計測データ３０１（図３）として記録される。本実
施例では＃Ａ〜＃Ｍの１３種類の表情について、それぞ
れのドットの移動ベクトル＃１〜＃１７０を計測するこ
ととした。
算出される。図２を参照して実際の人物の顔の半面
（ｂ）上のワイヤフレームモデル（ａ）の１７０の頂点
座標に対応する位置に＃１〜＃１７０の黒色のドットが
記入される。実際の人物が笑い，怒りなどの表情を示し
たときの記入された各々のドットの３次元移動ベクトル
はCyberware Color 3D Digitizerを用いて計測され、３
次元計測データ３０１（図３）として記録される。本実
施例では＃Ａ〜＃Ｍの１３種類の表情について、それぞ
れのドットの移動ベクトル＃１〜＃１７０を計測するこ
ととした。
【００２６】同様に図２における同一人物の顔（ｃ）の
半面の表情筋の上に、マーカ＃ａ〜＃ｇが止着され、人
物が＃Ａ〜＃Ｍの各々の表情を示したときの各々のマー
カの２次元移動ベクトルがビデオカメラにより計測さ
れ、２次元計測データ３０３（図３）として記録され
る。
半面の表情筋の上に、マーカ＃ａ〜＃ｇが止着され、人
物が＃Ａ〜＃Ｍの各々の表情を示したときの各々のマー
カの２次元移動ベクトルがビデオカメラにより計測さ
れ、２次元計測データ３０３（図３）として記録され
る。
【００２７】以上の３次元計測データ３０１と対応する
２次元計測データ３０３とから（２）式によりマトリッ
クスＡ#1〜Ａ#170が算出される。
２次元計測データ３０３とから（２）式によりマトリッ
クスＡ#1〜Ａ#170が算出される。
【００２８】ただし（２）式中、ｎは予め３次元計測を
行なった表情の種類（本実施例では１３種類）、Ｅはｎ
種類についての平均（本実施例では１／１３）、Ｔは行
列の転置、［ ］-1は逆行列をそれぞれ示す。
行なった表情の種類（本実施例では１３種類）、Ｅはｎ
種類についての平均（本実施例では１／１３）、Ｔは行
列の転置、［ ］-1は逆行列をそれぞれ示す。
【００２９】また、Ｄn （Ｘ* ，Ｙ* ，Ｚ* ）は予め３
次元計測しておいた３次元ワイヤフレームモデルの頂点
座標＃１〜＃１７０のいずれかの３次元動きベクトルで
ある。ｆ（ｘ0 ，ｙ0 ）は図２（ｃ）で頂点座標が含ま
れる範囲内のマーカの２次元動きベクトル（ｘ0 ，
ｙ0 ）を用いた補正関数であり、（３）式で与えられ
る。
次元計測しておいた３次元ワイヤフレームモデルの頂点
座標＃１〜＃１７０のいずれかの３次元動きベクトルで
ある。ｆ（ｘ0 ，ｙ0 ）は図２（ｃ）で頂点座標が含ま
れる範囲内のマーカの２次元動きベクトル（ｘ0 ，
ｙ0 ）を用いた補正関数であり、（３）式で与えられ
る。
【００３０】ただし３次元的に複雑な動きをする口周辺
においては、より自然な表情を合成するために２つのマ
ーカ（マーカ１とマーカ２とする）の動きベクトルを用
いてマトリックスを算出するため、補正関数として
（４）式が用いられる。
においては、より自然な表情を合成するために２つのマ
ーカ（マーカ１とマーカ２とする）の動きベクトルを用
いてマトリックスを算出するため、補正関数として
（４）式が用いられる。
【００３１】ただし（４）式中、（ｘ1 ，ｙ1 ）はマー
カ１の２次元動きベクトルであり、（ｘ2 ，ｙ2 ）はマ
ーカ２の２次元動きベクトルである。
カ１の２次元動きベクトルであり、（ｘ2 ，ｙ2 ）はマ
ーカ２の２次元動きベクトルである。
【００３２】
【数１】
【００３３】以上のようにして、Ａ#1〜Ａ#170の１７０
のマトリックスが算出される。表情再現時には記憶され
たＡ#1〜Ａ#170のマトリックスをもとに、図１に示され
る手順によりワイヤフレームモデル頂点の移動が行なわ
れ、顔画像が再現される。
のマトリックスが算出される。表情再現時には記憶され
たＡ#1〜Ａ#170のマトリックスをもとに、図１に示され
る手順によりワイヤフレームモデル頂点の移動が行なわ
れ、顔画像が再現される。
【００３４】なお、マトリックスＡ#1〜Ａ#170により移
動が算出されたワイヤフレームモデルの頂点（以下「制
御点」と呼ぶ）＃１〜＃１７０以外の頂点座標は以下に
示されるように、重み付けがされることにより移動量が
算出される。
動が算出されたワイヤフレームモデルの頂点（以下「制
御点」と呼ぶ）＃１〜＃１７０以外の頂点座標は以下に
示されるように、重み付けがされることにより移動量が
算出される。
【００３５】図４は制御点以外の頂点座標の移動規則に
ついて説明するための図である。３次元計測を予め行な
った制御点以外の３次元ワイヤフレームモデル格子点に
対する移動規則として、制御点からの距離による重み付
けを用いる。３つの制御点ＡＢＣを結んで作られる三角
形ＡＢＣの内側に存在する任意の格子点をＰとする（図
４）。格子点Ｐが制御点ＡＢＣから受ける動きの影響
（重み）は次のように計算される。制御点ＡからＰを通
り、辺ＢＣに降ろした足をＡ′、同様にＢ、Ｃからの足
をＢ′、Ｃ′とする。Ｐ点のＡ点に対する影響の重みＰ
Ｗａは、（５）式のように計算される。
ついて説明するための図である。３次元計測を予め行な
った制御点以外の３次元ワイヤフレームモデル格子点に
対する移動規則として、制御点からの距離による重み付
けを用いる。３つの制御点ＡＢＣを結んで作られる三角
形ＡＢＣの内側に存在する任意の格子点をＰとする（図
４）。格子点Ｐが制御点ＡＢＣから受ける動きの影響
（重み）は次のように計算される。制御点ＡからＰを通
り、辺ＢＣに降ろした足をＡ′、同様にＢ、Ｃからの足
をＢ′、Ｃ′とする。Ｐ点のＡ点に対する影響の重みＰ
Ｗａは、（５）式のように計算される。
【００３６】同様に、ＰＷｂ、ＰＷｃは、（６），
（７）式により計算される。そして、ＰＷａ、ＰＷｂ、
ＰＷｃの間には、（８）式の関係が成立つ。
（７）式により計算される。そして、ＰＷａ、ＰＷｂ、
ＰＷｃの間には、（８）式の関係が成立つ。
【００３７】実際の、Ｐの移動ベクトルｄＰは、各制御
点の移動ベクトルｄＡ、移動ベクトルｄＢ、移動ベクト
ルｄＣより、（９）式のように算出される。
点の移動ベクトルｄＡ、移動ベクトルｄＢ、移動ベクト
ルｄＣより、（９）式のように算出される。
【００３８】
【数２】
【００３９】図５はこの発明の効果について説明するた
めの図である。マトリックスＡを用いた表情再現法の妥
当性を評価するために、図２（ｂ）に示されるように、
実際の人物の顔の半面の３次元ワイヤフレームモデルの
１７０頂点に対応する場所に黒色のドットを記入し、Cy
berware Color 3D Digitizerを用いて、人物が表情を表
出した際の顔のドットの位置の３次元計測を行なった。
評価のために１３種類の表情を用い、２次元移動ベクト
ルはマーカの移動量をトラッキングすることにより入力
するのではなく、マーカの位置に相当する３次元ワイヤ
フレームモデルの頂点の３次元移動ベクトルを２次元平
面に投影したものを用いた。
めの図である。マトリックスＡを用いた表情再現法の妥
当性を評価するために、図２（ｂ）に示されるように、
実際の人物の顔の半面の３次元ワイヤフレームモデルの
１７０頂点に対応する場所に黒色のドットを記入し、Cy
berware Color 3D Digitizerを用いて、人物が表情を表
出した際の顔のドットの位置の３次元計測を行なった。
評価のために１３種類の表情を用い、２次元移動ベクト
ルはマーカの移動量をトラッキングすることにより入力
するのではなく、マーカの位置に相当する３次元ワイヤ
フレームモデルの頂点の３次元移動ベクトルを２次元平
面に投影したものを用いた。
【００４０】実測値とマトリックスによる推定値の比較
として、計測した１３種類の表情すべてについての３次
元ワイヤフレームモデルの１７０頂点の各々の３次元移
動ベクトルの平均二乗誤差（Mean Square Error: MSE）
の値の最小値（ｍｉｎ．）、平均（ａｖｅ．）、最大値
（ｍａｘ．）を図５に示す。
として、計測した１３種類の表情すべてについての３次
元ワイヤフレームモデルの１７０頂点の各々の３次元移
動ベクトルの平均二乗誤差（Mean Square Error: MSE）
の値の最小値（ｍｉｎ．）、平均（ａｖｅ．）、最大値
（ｍａｘ．）を図５に示す。
【００４１】図５に示されるように、ＭＳＥは最も大き
くて２ｍｍ未満であり、実際に測定した顔画像の表情と
ほぼ同じ表情を再現することができることが判った。
くて２ｍｍ未満であり、実際に測定した顔画像の表情と
ほぼ同じ表情を再現することができることが判った。
【００４２】なお本実施例では、表情として１３種類、
計算するワイヤフレームモデルの頂点として１７０ポイ
ント、計測に用いる２次元移動ベクトルの点として７ポ
イントを用いたが、その数は任意でもよい。
計算するワイヤフレームモデルの頂点として１７０ポイ
ント、計測に用いる２次元移動ベクトルの点として７ポ
イントを用いたが、その数は任意でもよい。
【００４３】また本実施例では、顔の半面を計測合成に
用いたが、顔の左右両面を計測合成してもよい。
用いたが、顔の左右両面を計測合成してもよい。
【００４４】さらにこの実施例では人間の表情の変化を
再現することとしたが、たとえば動物の表情、形態変化
してゆく物体など経時的な形態の変化を伴なう物体であ
れば本発明は応用可能である。
再現することとしたが、たとえば動物の表情、形態変化
してゆく物体など経時的な形態の変化を伴なう物体であ
れば本発明は応用可能である。
【００４５】
【発明の効果】請求項１に記載の発明に係る表情再現装
置では、取得された二次元動きベクトルをワイヤフレー
ムモデルの各々の頂点座標の三次元動きベクトルに変換
するときに、物体に付与された複数のマーカの二次元動
きベクトルと三次元動きベクトルとを測定することによ
り得られた対応関係が用いられるため、リアリティの高
い画像を再現することができる。
置では、取得された二次元動きベクトルをワイヤフレー
ムモデルの各々の頂点座標の三次元動きベクトルに変換
するときに、物体に付与された複数のマーカの二次元動
きベクトルと三次元動きベクトルとを測定することによ
り得られた対応関係が用いられるため、リアリティの高
い画像を再現することができる。
【００４６】請求項２の発明に係る表情再現装置では、
請求項１に記載の表情再現装置の効果に加えて、物体の
所望の形状変化に基づく三次元動きベクトルを取得し、
取得した三次元動きベクトルと取得した二次元動きベク
トルとから対応関係を数式として算出するため、効率的
に対応関係を求めることができる。請求項３の発明に係
る表情再現装置では、請求項１または２に記載の表情再
現装置の効果に加えて、人物の顔の表情の変化を再現す
ることができる。請求項４の発明に係る表情再現に用い
られるマトリックスの算出方法では、人物が表情を変化
させたときの複数のマーカの二次元動きベクトルと三次
元動きベクトルとが求められ、それらの関係からマトリ
ックスが求められる。このようにして求められたマトリ
ックスを表情の再現に用いることにより、リアリティの
高い画像を再現することができる。
請求項１に記載の表情再現装置の効果に加えて、物体の
所望の形状変化に基づく三次元動きベクトルを取得し、
取得した三次元動きベクトルと取得した二次元動きベク
トルとから対応関係を数式として算出するため、効率的
に対応関係を求めることができる。請求項３の発明に係
る表情再現装置では、請求項１または２に記載の表情再
現装置の効果に加えて、人物の顔の表情の変化を再現す
ることができる。請求項４の発明に係る表情再現に用い
られるマトリックスの算出方法では、人物が表情を変化
させたときの複数のマーカの二次元動きベクトルと三次
元動きベクトルとが求められ、それらの関係からマトリ
ックスが求められる。このようにして求められたマトリ
ックスを表情の再現に用いることにより、リアリティの
高い画像を再現することができる。
【図１】本発明の一実施例である表情再現装置で行なわ
れる処理の概要について説明するための図である。
れる処理の概要について説明するための図である。
【図２】マトリックスＡの算出のために行なわれる表情
変化による移動ベクトルの計測について説明するための
図である。
変化による移動ベクトルの計測について説明するための
図である。
【図３】マトリックスＡの算出に必要なデータについて
説明するための図である。
説明するための図である。
【図４】制御点以外の頂点座標の移動規則について説明
するための図である。
するための図である。
【図５】この発明の効果について説明するための図であ
る。
る。
【図６】従来の表情再現装置のブロック図である。
【図７】図６の２Ｄ表情検出部の具体例を示した図であ
る。
る。
【図８】図６の画像合成部６０５で行われる処理につい
て説明するための図である。
て説明するための図である。
３０１ ３次元計測データ ３０３ ２次元計測データ ６０１ ２次元表情検出部 ６０３ ３次元ワイヤフレームモデル記憶部 ６０５ 画像合成部 ６０７ 画像表示部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−153581（ＪＰ，Ａ) 特開 平３−74777（ＪＰ，Ａ) 電子情報通信学会技術研究報告ＨＣ92 −61（平成５年１月) (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 1/00 - 17/50 H04N 7/13 - 7/15
Claims (4)
- 【請求項１】 物体の形状を近似したワイヤフレームモ
デルを記憶するワイヤフレームモデル記憶手段と、 前記物体の所望の形状変化に基づく前記物体の所定の点
における二次元動きベクトルと、前記ワイヤフレームモ
デルを構成する各々の頂点のうち前記所定の点に対応す
る頂点の座標の三次元動きベクトルとの間の対応関係を
記憶する対応関係記憶手段と、 前記物体の実際の形状変化に基づく前記所定の点におけ
る二次元動きベクトルを取得する取得手段と、 前記記憶された対応関係に基づいて、前記取得された二
次元動きベクトルを前記ワイヤフレームモデルの前記所
定の点に対応する頂点の座標の三次元動きベクトルに変
換する変換手段と、 前記変換された三次元動きベクトルに基づいて前記ワイ
ヤフレームモデルを加工する加工手段とを備え、 前記対応関係は、前記物体に付与された複数のマーカの
二次元動きベクトルと、三次元動きベクトルとを測定す
ることにより得られた関係である、表情再現装置。 - 【請求項２】 前記物体の前記所望の形状変化に基づく
三次元動きベクトルを取得する第２の取得手段と、 前記取得された三次元動きベクトルと前記取得された二
次元動きベクトルとから前記対応関係を数式として算出
する算出手段とをさらに備えた、請求項１に記載の表情
再現装置。 - 【請求項３】 前記物体は人物の顔を含み、 前記形状は人物の表情を含む、請求項１または２に記載
の表情再現装置。 - 【請求項４】 人物の顔に複数のマーカを付与するステ
ップと、 前記人物が表情を変化させたときの前記複数のマーカの
二次元動きベクトルと三次元動きベクトルとを求めるス
テップと、 前記二次元動きベクトルと前記三次元動きベクトルとの
関係を示すマトリックスを求めるステップとを備えた、
表情再現に用いられるマトリックスの算出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6226664A JP2802725B2 (ja) | 1994-09-21 | 1994-09-21 | 表情再現装置および表情再現に用いられるマトリックスの算出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6226664A JP2802725B2 (ja) | 1994-09-21 | 1994-09-21 | 表情再現装置および表情再現に用いられるマトリックスの算出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0896162A JPH0896162A (ja) | 1996-04-12 |
| JP2802725B2 true JP2802725B2 (ja) | 1998-09-24 |
Family
ID=16848730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6226664A Expired - Lifetime JP2802725B2 (ja) | 1994-09-21 | 1994-09-21 | 表情再現装置および表情再現に用いられるマトリックスの算出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2802725B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100317137B1 (ko) * | 1999-01-19 | 2001-12-22 | 윤덕용 | 얼굴 표정 애니메이션 방법 |
| KR100366210B1 (ko) * | 2000-01-24 | 2002-12-31 | 한국과학기술원 | 인간의 얼굴 모델을 생성하는 모델러 제작방법 및 기록매체 |
| KR100360487B1 (ko) * | 2000-02-28 | 2002-11-13 | 삼성전자 주식회사 | 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치 |
| US6950104B1 (en) * | 2000-08-30 | 2005-09-27 | Microsoft Corporation | Methods and systems for animating facial features, and methods and systems for expression transformation |
| KR20020046515A (ko) * | 2000-12-14 | 2002-06-21 | 오지수 | 웹과 오프라인에서 실시간 평면/입체 랜더링 기술 |
| KR20020048462A (ko) * | 2000-12-16 | 2002-06-24 | 오지수 | 웹과 오프라인에서 실시간 2d / 3d 렌더링기술 |
| KR20020049382A (ko) * | 2000-12-19 | 2002-06-26 | 이형민 | 표정 생성 시스템 및 이를 이용한 표정 생성 방법 |
| US20050162419A1 (en) * | 2002-03-26 | 2005-07-28 | Kim So W. | System and method for 3-dimension simulation of glasses |
| WO2005024728A1 (ja) | 2003-09-03 | 2005-03-17 | Nec Corporation | 形態変形装置、物体動作符号化装置および物体動作復号化装置 |
| JP5362357B2 (ja) * | 2005-08-26 | 2013-12-11 | ソニー株式会社 | 顔の動きのデータの撮影及び処理 |
| US7606392B2 (en) | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
| CN107341785A (zh) * | 2016-04-29 | 2017-11-10 | 掌赢信息科技（上海）有限公司 | 一种基于帧间滤波的表情迁移方法及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0374777A (ja) * | 1989-08-17 | 1991-03-29 | Graphic Commun Technol:Kk | 顔画像合成装置 |
| JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
-
1994
- 1994-09-21 JP JP6226664A patent/JP2802725B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会技術研究報告ＨＣ９２−６１（平成５年１月） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0896162A (ja) | 1996-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7239321B2 (en) | Static and dynamic 3-D human face reconstruction | |
| WO2023119557A1 (ja) | アバター表示装置、アバター生成装置及びプログラム | |
| JP2802725B2 (ja) | 表情再現装置および表情再現に用いられるマトリックスの算出方法 | |
| EP2343685B1 (en) | Information processing device, information processing method, program, and information storage medium | |
| KR19990064245A (ko) | 영상 합성기 및 영상 합성 방법 | |
| KR100317138B1 (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| JP3753625B2 (ja) | 表情アニメーション生成装置および表情アニメーション生成方法 | |
| JPH10240908A (ja) | 映像合成方法 | |
| US11055892B1 (en) | Systems and methods for generating a skull surface for computer animation | |
| Aizawa et al. | Human facial motion analysis and synthesis with application to model-based coding | |
| JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| JP3414683B2 (ja) | 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体 | |
| JP2739444B2 (ja) | ３次元モデルによる動き生成装置 | |
| JP2670663B2 (ja) | 像の実時間認識合成装置 | |
| JP5759439B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
| JP2002525764A (ja) | グラフィックスおよび画像処理システム | |
| CN116051722A (zh) | 三维头部模型重建方法、装置及终端 | |
| JP2843262B2 (ja) | 表情再現装置 | |
| JP2627487B2 (ja) | 像の実時間認識合成装置 | |
| JP2003512802A (ja) | 三次元モデリングのためのシステム及び方法 | |
| JP2813971B2 (ja) | 状態再現方法 | |
| JP2007133449A (ja) | 顔画像駆動装置、顔画像駆動装置用データ生成装置、及びコンピュータプログラム | |
| WO2023106117A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| WO2022259618A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2020166352A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980609 |