JPH0896162A - 表情再現装置 - Google Patents
表情再現装置Info
- Publication number
- JPH0896162A JPH0896162A JP6226664A JP22666494A JPH0896162A JP H0896162 A JPH0896162 A JP H0896162A JP 6226664 A JP6226664 A JP 6226664A JP 22666494 A JP22666494 A JP 22666494A JP H0896162 A JPH0896162 A JP H0896162A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- motion vector
- facial expression
- dimensional motion
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【目的】 品質がよくリアリティの高い表情を再現する
ことのできる表情再現装置を提供する。 【構成】 前処理として、装置が記憶している人物の顔
を近似したワイヤフレームモデル（ａ）の頂点座標に対
応する実際の人物の顔（ｂ）の表皮上に、ドット（＃１
〜１７０）が記入され、１３種類の表情に応じたドット
の３次元動きベクトルが計測される。同じく実際の人物
の顔（ｃ）の表皮上に、マーカ（＃ａ〜ｇ）が止着さ
れ、１３種類の表情に応じたマーカの２次元動きベクト
ルが計測される。計測された３次元動きベクトルと２次
元動きベクトルとから、２次元→３次元変換マトリック
スＡが求められる。表情再現時には、顔のマーカの２次
元動きベクトルが測定され、マトリックスＡを用いるこ
とによりワイヤフレームモデルの形状変化が再現され
る。
ことのできる表情再現装置を提供する。 【構成】 前処理として、装置が記憶している人物の顔
を近似したワイヤフレームモデル（ａ）の頂点座標に対
応する実際の人物の顔（ｂ）の表皮上に、ドット（＃１
〜１７０）が記入され、１３種類の表情に応じたドット
の３次元動きベクトルが計測される。同じく実際の人物
の顔（ｃ）の表皮上に、マーカ（＃ａ〜ｇ）が止着さ
れ、１３種類の表情に応じたマーカの２次元動きベクト
ルが計測される。計測された３次元動きベクトルと２次
元動きベクトルとから、２次元→３次元変換マトリック
スＡが求められる。表情再現時には、顔のマーカの２次
元動きベクトルが測定され、マトリックスＡを用いるこ
とによりワイヤフレームモデルの形状変化が再現され
る。
Description
【０００１】
【産業上の利用分野】この発明は撮像された顔画像をコ
ンピュータグラフィックス技術を用いて立体ディスプレ
イに再現する表情再現装置に関し、特に顔画像をワイヤ
フレームモデルにより再現する表情再現装置に関する。
ンピュータグラフィックス技術を用いて立体ディスプレ
イに再現する表情再現装置に関し、特に顔画像をワイヤ
フレームモデルにより再現する表情再現装置に関する。
【０００２】
【従来の技術】近年、遠隔地にいる人々があたかも同じ
場所で会議をするように話し合ったりすることのでき
る、臨場感通信会議システムの開発が進められている
（たとえば、大谷他，「臨場感通信会議システムにおけ
る３次元顔画像の実時間表示」，社団法人、電子情報通
信学会発行，信学技報，ＨＣ９２−６１（Ｊａｎ．’９
３），岸野「臨場感通信」，ＴＶ学会誌，Ｖｏｌ．４
６，Ｎｏ．６，ｐｐ．６９８−７０２（Ｊｕｎ．′９
２）など）。
場所で会議をするように話し合ったりすることのでき
る、臨場感通信会議システムの開発が進められている
（たとえば、大谷他，「臨場感通信会議システムにおけ
る３次元顔画像の実時間表示」，社団法人、電子情報通
信学会発行，信学技報，ＨＣ９２−６１（Ｊａｎ．’９
３），岸野「臨場感通信」，ＴＶ学会誌，Ｖｏｌ．４
６，Ｎｏ．６，ｐｐ．６９８−７０２（Ｊｕｎ．′９
２）など）。
【０００３】実際の会議において、参加者の顔の表情の
微妙な変化はコミュニケーションにおいて重要な意味を
持つため、臨場感通信会議システムにおいても人間の表
情の微妙な変化を再現することが必要であり、そのため
リアリティの高い表情を再現することができる表情再現
装置の開発が期待されている。
微妙な変化はコミュニケーションにおいて重要な意味を
持つため、臨場感通信会議システムにおいても人間の表
情の微妙な変化を再現することが必要であり、そのため
リアリティの高い表情を再現することができる表情再現
装置の開発が期待されている。
【０００４】表情再現装置には送信される人物の頭部の
標準的な形態を、頂点（ノード）と頂点間を結ぶ線（リ
ンク）とによって近似した頭部３次元ワイヤフレームモ
デルが記憶される。送信側の人物の顔に止着されたマー
カの移動量はカメラなどでトラッキングされ、それに併
わせて頭部ワイヤフレームモデルの頂点座標が移動され
ることにより表情の変化は再現される。
標準的な形態を、頂点（ノード）と頂点間を結ぶ線（リ
ンク）とによって近似した頭部３次元ワイヤフレームモ
デルが記憶される。送信側の人物の顔に止着されたマー
カの移動量はカメラなどでトラッキングされ、それに併
わせて頭部ワイヤフレームモデルの頂点座標が移動され
ることにより表情の変化は再現される。
【０００５】図６は従来の表情再現装置のブロック図で
あり、図７は図６の２Ｄ表情検出部６０１の具体例を示
した図である。
あり、図７は図６の２Ｄ表情検出部６０１の具体例を示
した図である。
【０００６】図６を参照して従来の表情再現装置は、人
物の表情を検出する２次元表情検出部６０１と、前述し
た頭部３次元ワイヤフレームモデルを記憶する３Ｄワイ
ヤフレームモデル記憶部６０３と、検出された表情と記
憶された頭部３次元ワイヤフレームモデルとを合成しワ
イヤフレームモデルを変形させることにより表情変化を
再現する画像合成部６０５と、合成された画像を表示す
る画像表示部６０７とから構成される。
物の表情を検出する２次元表情検出部６０１と、前述し
た頭部３次元ワイヤフレームモデルを記憶する３Ｄワイ
ヤフレームモデル記憶部６０３と、検出された表情と記
憶された頭部３次元ワイヤフレームモデルとを合成しワ
イヤフレームモデルを変形させることにより表情変化を
再現する画像合成部６０５と、合成された画像を表示す
る画像表示部６０７とから構成される。
【０００７】表情検出部６０１は、具体的には図７のよ
うに構成される。すなわち送信される人物の顔２０９に
はその表情筋の上にマーカ２０３が止着されている。頭
部に固定されたヘルメット２１１には顔２０９を画像デ
ータ２０５として撮像するカメラ２０１が設けられてい
る。
うに構成される。すなわち送信される人物の顔２０９に
はその表情筋の上にマーカ２０３が止着されている。頭
部に固定されたヘルメット２１１には顔２０９を画像デ
ータ２０５として撮像するカメラ２０１が設けられてい
る。
【０００８】撮像された画像データ２０５中のマーカ２
０３の２次元移動ベクトルはトラッキングされ、パラメ
ータとして画像合成部６０５へと送られる。
０３の２次元移動ベクトルはトラッキングされ、パラメ
ータとして画像合成部６０５へと送られる。
【０００９】図８は図６の画像合成部６０５で行なわれ
る処理について説明するための図である。
る処理について説明するための図である。
【００１０】マーカ２０３の移動ベクトルは２次元のデ
ータであり、記憶されている３次元ワイヤフレームモデ
ルは３次元のデータであるため、画像合成部６０５にお
いて２次元の移動ベクトルから表情の３次元の動きが再
現される必要がある。従来の表情再現装置ではモーショ
ンルールと呼ばれる予め定義された表情の変化規則に基
づいて、ワイヤフレームモデルの変形が行なわれてい
た。
ータであり、記憶されている３次元ワイヤフレームモデ
ルは３次元のデータであるため、画像合成部６０５にお
いて２次元の移動ベクトルから表情の３次元の動きが再
現される必要がある。従来の表情再現装置ではモーショ
ンルールと呼ばれる予め定義された表情の変化規則に基
づいて、ワイヤフレームモデルの変形が行なわれてい
た。
【００１１】具体的には図８（ａ）のように顔に止着さ
れた１３個のマーカ２０３の中の口の下に止着されたマ
ーカ２０３ａが、下に一定量以下移動したときには、右
図のように下顎が下方向に回動したと判定され、３次元
ワイヤフレームモデル中の下顎の３次元移動が行なわれ
る。
れた１３個のマーカ２０３の中の口の下に止着されたマ
ーカ２０３ａが、下に一定量以下移動したときには、右
図のように下顎が下方向に回動したと判定され、３次元
ワイヤフレームモデル中の下顎の３次元移動が行なわれ
る。
【００１２】同様に（ｂ）のように口の左右に止着され
たマーカ２０３ｂ，ｃが接近する動きをしたときには、
口が突き出されたと判定される。（ｃ）のように口の左
右に止着されたマーカ２０３ｂ，ｃが離れる動きをした
ときには口が左右に広げられたと判定される。（ｄ）の
ように口の下に止着されたマーカ２０３ａが下に一定量
以上移動したときには、下顎が下に平行移動したと判定
される。判定された表情の変化に基づいてワイヤフレー
ムモデルは変形され、表情が再現される。
たマーカ２０３ｂ，ｃが接近する動きをしたときには、
口が突き出されたと判定される。（ｃ）のように口の左
右に止着されたマーカ２０３ｂ，ｃが離れる動きをした
ときには口が左右に広げられたと判定される。（ｄ）の
ように口の下に止着されたマーカ２０３ａが下に一定量
以上移動したときには、下顎が下に平行移動したと判定
される。判定された表情の変化に基づいてワイヤフレー
ムモデルは変形され、表情が再現される。
【００１３】
【発明が解決しようとする課題】しかしながら、従来の
表情再現装置は記憶されているモーションルールに従っ
た一義的な表情の再現しかできないため、再現可能な表
情が少なく、再現表情の品質が悪い。そのため、実際の
表情と合成された表情とが異なる事態が発生するなどの
問題点があった。
表情再現装置は記憶されているモーションルールに従っ
た一義的な表情の再現しかできないため、再現可能な表
情が少なく、再現表情の品質が悪い。そのため、実際の
表情と合成された表情とが異なる事態が発生するなどの
問題点があった。
【００１４】それゆえにこの発明は品質が良く、リアリ
ティの高い表情を再現することのできる表情再現装置を
提供することを目的とする。
ティの高い表情を再現することのできる表情再現装置を
提供することを目的とする。
【００１５】
【課題を解決するための手段】請求項１の発明に係る表
情再現装置は、物体の形状を近似したワイヤフレームモ
デルを記憶するワイヤフレームモデル記憶手段と、物体
の所望の形状変化に基づく物体の所定の点における２次
元動きベクトルと、ワイヤフレームモデルを構成する各
々の頂点のうち、所定の点に対応する頂点の座標の３次
元動きベクトルとの間の対応関係を記憶する対応関係記
憶手段と、物体の実際の形状変化に基づく所定の点にお
ける２次元動きベクトルを取得する取得手段と、記憶さ
れた対応関係に基づいて取得された２次元動きベクトル
をワイヤフレームモデルの所定の点に対応する頂点の座
標の３次元動きベクトルに変換する変換手段と、変換さ
れた３次元動きベクトルに基づいてワイヤフレームモデ
ルを加工する加工手段とを備えたものである。
情再現装置は、物体の形状を近似したワイヤフレームモ
デルを記憶するワイヤフレームモデル記憶手段と、物体
の所望の形状変化に基づく物体の所定の点における２次
元動きベクトルと、ワイヤフレームモデルを構成する各
々の頂点のうち、所定の点に対応する頂点の座標の３次
元動きベクトルとの間の対応関係を記憶する対応関係記
憶手段と、物体の実際の形状変化に基づく所定の点にお
ける２次元動きベクトルを取得する取得手段と、記憶さ
れた対応関係に基づいて取得された２次元動きベクトル
をワイヤフレームモデルの所定の点に対応する頂点の座
標の３次元動きベクトルに変換する変換手段と、変換さ
れた３次元動きベクトルに基づいてワイヤフレームモデ
ルを加工する加工手段とを備えたものである。
【００１６】請求項２の発明に係る表情再現装置は、請
求項１記載の表情再現装置であって、物体の所望の形状
変化に基づく３次元動きベクトルを取得する第２の取得
手段と、取得された３次元動きベクトルと取得された２
次元動きベクトルとから対応関係を数式として算出する
算出手段とをさらに備えたものである。
求項１記載の表情再現装置であって、物体の所望の形状
変化に基づく３次元動きベクトルを取得する第２の取得
手段と、取得された３次元動きベクトルと取得された２
次元動きベクトルとから対応関係を数式として算出する
算出手段とをさらに備えたものである。
【００１７】
【作用】請求項１記載の表情再現装置は、物体の形状変
化に基づく２次元動きベクトルを取得し、記憶された対
応関係に基づいて取得された２次元動きベクトルを、ワ
イヤフレームモデルを構成する各々の頂点のうち、対応
する頂点の座標の３次元動きベクトルに変換する。変換
された３次元動きベクトルに基づいてワイヤフレームモ
デルは加工される。
化に基づく２次元動きベクトルを取得し、記憶された対
応関係に基づいて取得された２次元動きベクトルを、ワ
イヤフレームモデルを構成する各々の頂点のうち、対応
する頂点の座標の３次元動きベクトルに変換する。変換
された３次元動きベクトルに基づいてワイヤフレームモ
デルは加工される。
【００１８】請求項２記載の表情再現装置は、請求項１
記載の表情再現装置の作用に加えて、物体の形状変化に
基づく３次元動きベクトルを取得し、物体の形状変化に
基づく２次元動きベクトルと３次元動きベクトルとから
対応関係を数式として算出する。
記載の表情再現装置の作用に加えて、物体の形状変化に
基づく３次元動きベクトルを取得し、物体の形状変化に
基づく２次元動きベクトルと３次元動きベクトルとから
対応関係を数式として算出する。
【００１９】
【実施例】図１は本発明の一実施例である表情再現装置
で行なわれる処理の概要について説明するための図であ
り、図２は図１中のマトリックスＡの算出のために行な
われる表情変化による移動ベクトルの計測について説明
するための図であり、図３はマトリックスＡの算出に必
要なデータについて説明するための図である。
で行なわれる処理の概要について説明するための図であ
り、図２は図１中のマトリックスＡの算出のために行な
われる表情変化による移動ベクトルの計測について説明
するための図であり、図３はマトリックスＡの算出に必
要なデータについて説明するための図である。
【００２０】本実施例における表情再現装置の装置構成
は、図６に示される従来の表情再現装置と同じである
が、画像合成部６０５で従来のモーションルールに代え
て、数式を用いてマーカの２次元移動ベクトルをワイヤ
フレームモデルの頂点の３次元移動ベクトル（３次元推
定座標）へ変換することを特徴としている。
は、図６に示される従来の表情再現装置と同じである
が、画像合成部６０５で従来のモーションルールに代え
て、数式を用いてマーカの２次元移動ベクトルをワイヤ
フレームモデルの頂点の３次元移動ベクトル（３次元推
定座標）へ変換することを特徴としている。
【００２１】具体的には図１に示されるように、入力デ
ータは顔に止着されたマーカの無表情時からの相対的な
移動ベクトル［ｘ，ｙ］である。（１）式に示されるよ
うに移動ベクトル［ｘ，ｙ］を補正関数ｆ（ｘ，ｙ）に
代入し、予め用意されているマトリックスＡを掛けるこ
とにより３次元ワイヤフレームモデル（３Ｄ ＷＦＭ）
の頂点の３次元推定座標［Ｘ，Ｙ，Ｚ］が算出される。
ータは顔に止着されたマーカの無表情時からの相対的な
移動ベクトル［ｘ，ｙ］である。（１）式に示されるよ
うに移動ベクトル［ｘ，ｙ］を補正関数ｆ（ｘ，ｙ）に
代入し、予め用意されているマトリックスＡを掛けるこ
とにより３次元ワイヤフレームモデル（３Ｄ ＷＦＭ）
の頂点の３次元推定座標［Ｘ，Ｙ，Ｚ］が算出される。
【００２２】さらに具体的には入力データの２次元移動
ベクトル［ｘ，ｙ］は、図２（ｃ）に示されるように、
実際の人物の顔の半面上に止着されたマーカ＃ａ〜＃ｇ
の移動量として得られる。図２（ｃ）の点線で囲まれる
範囲内に存在する３次元ワイヤフレームモデルの頂点座
標は、その範囲内に存在するマーカの２次元移動ベクト
ルに基づいて算出される。
ベクトル［ｘ，ｙ］は、図２（ｃ）に示されるように、
実際の人物の顔の半面上に止着されたマーカ＃ａ〜＃ｇ
の移動量として得られる。図２（ｃ）の点線で囲まれる
範囲内に存在する３次元ワイヤフレームモデルの頂点座
標は、その範囲内に存在するマーカの２次元移動ベクト
ルに基づいて算出される。
【００２３】たとえば図２（ｂ）の＃１，＃２で示され
る点であるワイヤフレームモデルの頂点座標は図２
（ｃ）の＃ｇのマーカを含む領域にあるので、頂点座標
＃１および＃２の移動量は＃ｇのマーカの２次元移動ベ
クトルに基づいて算出される。
る点であるワイヤフレームモデルの頂点座標は図２
（ｃ）の＃ｇのマーカを含む領域にあるので、頂点座標
＃１および＃２の移動量は＃ｇのマーカの２次元移動ベ
クトルに基づいて算出される。
【００２４】マトリックスＡは、ワイヤフレームモデル
の各々の頂点座標ごとに用意される。図２（ｂ）では＃
１〜＃１７０の１７０の頂点座標があるので、マトリッ
クスＡはＡ#1〜Ａ#170の１７０種類用意されることにな
る。
の各々の頂点座標ごとに用意される。図２（ｂ）では＃
１〜＃１７０の１７０の頂点座標があるので、マトリッ
クスＡはＡ#1〜Ａ#170の１７０種類用意されることにな
る。
【００２５】マトリックスＡ#1〜Ａ#170は以下のように
算出される。図２を参照して実際の人物の顔の半面
（ｂ）上のワイヤフレームモデル（ａ）の１７０の頂点
座標に対応する位置に＃１〜＃１７０の黒色のドットが
記入される。実際の人物が笑い，怒りなどの表情を示し
たときの記入された各々のドットの３次元移動ベクトル
はCyberware Color 3D Digitizerを用いて計測され、３
次元計測データ３０１（図３）として記録される。本実
施例では＃Ａ〜＃Ｍの１３種類の表情について、それぞ
れのドットの移動ベクトル＃１〜＃１７０を計測するこ
ととした。
算出される。図２を参照して実際の人物の顔の半面
（ｂ）上のワイヤフレームモデル（ａ）の１７０の頂点
座標に対応する位置に＃１〜＃１７０の黒色のドットが
記入される。実際の人物が笑い，怒りなどの表情を示し
たときの記入された各々のドットの３次元移動ベクトル
はCyberware Color 3D Digitizerを用いて計測され、３
次元計測データ３０１（図３）として記録される。本実
施例では＃Ａ〜＃Ｍの１３種類の表情について、それぞ
れのドットの移動ベクトル＃１〜＃１７０を計測するこ
ととした。
【００２６】同様に図２における同一人物の顔（ｃ）の
半面の表情筋の上に、マーカ＃ａ〜＃ｇが止着され、人
物が＃Ａ〜＃Ｍの各々の表情を示したときの各々のマー
カの２次元移動ベクトルがビデオカメラにより計測さ
れ、２次元計測データ３０３（図３）として記録され
る。
半面の表情筋の上に、マーカ＃ａ〜＃ｇが止着され、人
物が＃Ａ〜＃Ｍの各々の表情を示したときの各々のマー
カの２次元移動ベクトルがビデオカメラにより計測さ
れ、２次元計測データ３０３（図３）として記録され
る。
【００２７】以上の３次元計測データ３０１と対応する
２次元計測データ３０３とから（２）式によりマトリッ
クスＡ#1〜Ａ#170が算出される。
２次元計測データ３０３とから（２）式によりマトリッ
クスＡ#1〜Ａ#170が算出される。
【００２８】ただし（２）式中、ｎは予め３次元計測を
行なった表情の種類（本実施例では１３種類）、Ｅはｎ
種類についての平均（本実施例では１／１３）、Ｔは行
列の転置、［ ］-1は逆行列をそれぞれ示す。
行なった表情の種類（本実施例では１３種類）、Ｅはｎ
種類についての平均（本実施例では１／１３）、Ｔは行
列の転置、［ ］-1は逆行列をそれぞれ示す。
【００２９】また、Ｄn （Ｘ* ，Ｙ* ，Ｚ* ）は予め３
次元計測しておいた３次元ワイヤフレームモデルの頂点
座標＃１〜＃１７０のいずれかの３次元動きベクトルで
ある。ｆ（ｘ0 ，ｙ0 ）は図２（ｃ）で頂点座標が含ま
れる範囲内のマーカの２次元動きベクトル（ｘ0 ，
ｙ0 ）を用いた補正関数であり、（３）式で与えられ
る。
次元計測しておいた３次元ワイヤフレームモデルの頂点
座標＃１〜＃１７０のいずれかの３次元動きベクトルで
ある。ｆ（ｘ0 ，ｙ0 ）は図２（ｃ）で頂点座標が含ま
れる範囲内のマーカの２次元動きベクトル（ｘ0 ，
ｙ0 ）を用いた補正関数であり、（３）式で与えられ
る。
【００３０】ただし３次元的に複雑な動きをする口周辺
においては、より自然な表情を合成するために２つのマ
ーカ（マーカ１とマーカ２とする）の動きベクトルを用
いてマトリックスを算出するため、補正関数として
（４）式が用いられる。
においては、より自然な表情を合成するために２つのマ
ーカ（マーカ１とマーカ２とする）の動きベクトルを用
いてマトリックスを算出するため、補正関数として
（４）式が用いられる。
【００３１】ただし（４）式中、（ｘ1 ，ｙ1 ）はマー
カ１の２次元動きベクトルであり、（ｘ2 ，ｙ2 ）はマ
ーカ２の２次元動きベクトルである。
カ１の２次元動きベクトルであり、（ｘ2 ，ｙ2 ）はマ
ーカ２の２次元動きベクトルである。
【００３２】
【数１】
【００３３】以上のようにして、Ａ#1〜Ａ#170の１７０
のマトリックスが算出される。表情再現時には記憶され
たＡ#1〜Ａ#170のマトリックスをもとに、図１に示され
る手順によりワイヤフレームモデル頂点の移動が行なわ
れ、顔画像が再現される。
のマトリックスが算出される。表情再現時には記憶され
たＡ#1〜Ａ#170のマトリックスをもとに、図１に示され
る手順によりワイヤフレームモデル頂点の移動が行なわ
れ、顔画像が再現される。
【００３４】なお、マトリックスＡ#1〜Ａ#170により移
動が算出されたワイヤフレームモデルの頂点（以下「制
御点」と呼ぶ）＃１〜＃１７０以外の頂点座標は以下に
示されるように、重み付けがされることにより移動量が
算出される。
動が算出されたワイヤフレームモデルの頂点（以下「制
御点」と呼ぶ）＃１〜＃１７０以外の頂点座標は以下に
示されるように、重み付けがされることにより移動量が
算出される。
【００３５】図４は制御点以外の頂点座標の移動規則に
ついて説明するための図である。３次元計測を予め行な
った制御点以外の３次元ワイヤフレームモデル格子点に
対する移動規則として、制御点からの距離による重み付
けを用いる。３つの制御点ＡＢＣを結んで作られる三角
形ＡＢＣの内側に存在する任意の格子点をＰとする（図
４）。格子点Ｐが制御点ＡＢＣから受ける動きの影響
（重み）は次のように計算される。制御点ＡからＰを通
り、辺ＢＣに降ろした足をＡ′、同様にＢ、Ｃからの足
をＢ′、Ｃ′とする。Ｐ点のＡ点に対する影響の重みＰ
Ｗａは、（５）式のように計算される。
ついて説明するための図である。３次元計測を予め行な
った制御点以外の３次元ワイヤフレームモデル格子点に
対する移動規則として、制御点からの距離による重み付
けを用いる。３つの制御点ＡＢＣを結んで作られる三角
形ＡＢＣの内側に存在する任意の格子点をＰとする（図
４）。格子点Ｐが制御点ＡＢＣから受ける動きの影響
（重み）は次のように計算される。制御点ＡからＰを通
り、辺ＢＣに降ろした足をＡ′、同様にＢ、Ｃからの足
をＢ′、Ｃ′とする。Ｐ点のＡ点に対する影響の重みＰ
Ｗａは、（５）式のように計算される。
【００３６】同様に、ＰＷｂ、ＰＷｃは、（６），
（７）式により計算される。そして、ＰＷａ、ＰＷｂ、
ＰＷｃの間には、（８）式の関係が成立つ。
（７）式により計算される。そして、ＰＷａ、ＰＷｂ、
ＰＷｃの間には、（８）式の関係が成立つ。
【００３７】実際の、Ｐの移動ベクトルｄＰは、各制御
点の移動ベクトルｄＡ、移動ベクトルｄＢ、移動ベクト
ルｄＣより、（９）式のように算出される。
点の移動ベクトルｄＡ、移動ベクトルｄＢ、移動ベクト
ルｄＣより、（９）式のように算出される。
【００３８】
【数２】
【００３９】図５はこの発明の効果について説明するた
めの図である。マトリックスＡを用いた表情再現法の妥
当性を評価するために、図２（ｂ）に示されるように、
実際の人物の顔の半面の３次元ワイヤフレームモデルの
１７０頂点に対応する場所に黒色のドットを記入し、Cy
berware Color 3D Digitizerを用いて、人物が表情を表
出した際の顔のドットの位置の３次元計測を行なった。
評価のために１３種類の表情を用い、２次元移動ベクト
ルはマーカの移動量をトラッキングすることにより入力
するのではなく、マーカの位置に相当する３次元ワイヤ
フレームモデルの頂点の３次元移動ベクトルを２次元平
面に投影したものを用いた。
めの図である。マトリックスＡを用いた表情再現法の妥
当性を評価するために、図２（ｂ）に示されるように、
実際の人物の顔の半面の３次元ワイヤフレームモデルの
１７０頂点に対応する場所に黒色のドットを記入し、Cy
berware Color 3D Digitizerを用いて、人物が表情を表
出した際の顔のドットの位置の３次元計測を行なった。
評価のために１３種類の表情を用い、２次元移動ベクト
ルはマーカの移動量をトラッキングすることにより入力
するのではなく、マーカの位置に相当する３次元ワイヤ
フレームモデルの頂点の３次元移動ベクトルを２次元平
面に投影したものを用いた。
【００４０】実測値とマトリックスによる推定値の比較
として、計測した１３種類の表情すべてについての３次
元ワイヤフレームモデルの１７０頂点の各々の３次元移
動ベクトルの平均二乗誤差（Mean Square Error: MSE）
の値の最小値（ｍｉｎ．）、平均（ａｖｅ．）、最大値
（ｍａｘ．）を図５に示す。
として、計測した１３種類の表情すべてについての３次
元ワイヤフレームモデルの１７０頂点の各々の３次元移
動ベクトルの平均二乗誤差（Mean Square Error: MSE）
の値の最小値（ｍｉｎ．）、平均（ａｖｅ．）、最大値
（ｍａｘ．）を図５に示す。
【００４１】図５に示されるように、ＭＳＥは最も大き
くて２ｍｍ未満であり、実際に測定した顔画像の表情と
ほぼ同じ表情を再現することができることが判った。
くて２ｍｍ未満であり、実際に測定した顔画像の表情と
ほぼ同じ表情を再現することができることが判った。
【００４２】なお本実施例では、表情として１３種類、
計算するワイヤフレームモデルの頂点として１７０ポイ
ント、計測に用いる２次元移動ベクトルの点として７ポ
イントを用いたが、その数は任意でもよい。
計算するワイヤフレームモデルの頂点として１７０ポイ
ント、計測に用いる２次元移動ベクトルの点として７ポ
イントを用いたが、その数は任意でもよい。
【００４３】また本実施例では、顔の半面を計測合成に
用いたが、顔の左右両面を計測合成してもよい。
用いたが、顔の左右両面を計測合成してもよい。
【００４４】さらにこの実施例では人間の表情の変化を
再現することとしたが、たとえば動物の表情、形態変化
してゆく物体など経時的な形態の変化を伴なう物体であ
れば本発明は応用可能である。
再現することとしたが、たとえば動物の表情、形態変化
してゆく物体など経時的な形態の変化を伴なう物体であ
れば本発明は応用可能である。
【００４５】
【発明の効果】請求項１に係る表情再現装置では、取得
された２次元動きベクトルをワイヤフレームモデルの各
々の頂点座標の３次元動きベクトルに変換するため、リ
アリティの高い画像を再現することができる。
された２次元動きベクトルをワイヤフレームモデルの各
々の頂点座標の３次元動きベクトルに変換するため、リ
アリティの高い画像を再現することができる。
【００４６】請求項２の発明に係る表情再現装置では、
請求項１記載の表情再現装置の効果に加えて、実測され
た２次元動きベクトルと３次元動きベクトルとから対応
関係を数式として算出するため、よりリアリティの高い
画像を再現することができ、かつ効率的に処理を行なう
ことができる。
請求項１記載の表情再現装置の効果に加えて、実測され
た２次元動きベクトルと３次元動きベクトルとから対応
関係を数式として算出するため、よりリアリティの高い
画像を再現することができ、かつ効率的に処理を行なう
ことができる。
【図１】本発明の一実施例である表情再現装置で行なわ
れる処理の概要について説明するための図である。
れる処理の概要について説明するための図である。
【図２】マトリックスＡの算出のために行なわれる表情
変化による移動ベクトルの計測について説明するための
図である。
変化による移動ベクトルの計測について説明するための
図である。
【図３】マトリックスＡの算出に必要なデータについて
説明するための図である。
説明するための図である。
【図４】制御点以外の頂点座標の移動規則について説明
するための図である。
するための図である。
【図５】この発明の効果について説明するための図であ
る。
る。
【図６】従来の表情再現装置のブロック図である。
【図７】図６の２Ｄ表情検出部の具体例を示した図であ
る。
る。
【図８】図６の画像合成部６０５で行われる処理につい
て説明するための図である。
て説明するための図である。
３０１ ３次元計測データ ３０３ ２次元計測データ ６０１ ２次元表情検出部 ６０３ ３次元ワイヤフレームモデル記憶部 ６０５ 画像合成部 ６０７ 画像表示部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０９Ｇ 5/36 ５１０ Ｖ 9377−5Ｈ ５２０ Ｚ 9377−5Ｈ ５３０ Ａ 9377−5Ｈ Ｈ０４Ｎ 7/18 Ｕ
Claims (3)
- 【請求項１】 物体の形状を近似したワイヤフレームモ
デルを記憶するワイヤフレームモデル記憶手段と、 前記物体の所望の形状変化に基づく前記物体の所定の点
における２次元動きベクトルと、前記ワイヤフレームモ
デルを構成する各々の頂点のうち前記所定の点に対応す
る頂点の座標の３次元動きベクトルとの間の対応関係を
記憶する対応関係記憶手段と、 前記物体の実際の形状変化に基づく前記所定の点におけ
る２次元動きベクトルを取得する取得手段と、 前記記憶された対応関係に基づいて、前記取得された２
次元動きベクトルを前記ワイヤフレームモデルの前記所
定の点に対応する頂点の座標の３次元動きベクトルに変
換する変換手段と、 前記変換された３次元動きベクトルに基づいて前記ワイ
ヤフレームモデルを加工する加工手段とを備えた、表情
再現装置。 - 【請求項２】 前記物体の前記所望の形状変化に基づく
３次元動きベクトルを取得する第２の取得手段と、 前記取得された３次元動きベクトルと前記取得された２
次元動きベクトルとから前記対応関係を数式として算出
する算出手段とをさらに備えた、請求項１記載の表情再
現装置。 - 【請求項３】 前記物体は人物の顔を含み、 前記形状は人物の表情を含む、請求項１または２記載の
表情再現装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6226664A JP2802725B2 (ja) | 1994-09-21 | 1994-09-21 | 表情再現装置および表情再現に用いられるマトリックスの算出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6226664A JP2802725B2 (ja) | 1994-09-21 | 1994-09-21 | 表情再現装置および表情再現に用いられるマトリックスの算出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0896162A true JPH0896162A (ja) | 1996-04-12 |
| JP2802725B2 JP2802725B2 (ja) | 1998-09-24 |
Family
ID=16848730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6226664A Expired - Lifetime JP2802725B2 (ja) | 1994-09-21 | 1994-09-21 | 表情再現装置および表情再現に用いられるマトリックスの算出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2802725B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100317137B1 (ko) * | 1999-01-19 | 2001-12-22 | 윤덕용 | 얼굴 표정 애니메이션 방법 |
| JP2002123837A (ja) * | 2000-08-30 | 2002-04-26 | Microsoft Corp | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
| KR20020046515A (ko) * | 2000-12-14 | 2002-06-21 | 오지수 | 웹과 오프라인에서 실시간 평면/입체 랜더링 기술 |
| KR20020048462A (ko) * | 2000-12-16 | 2002-06-24 | 오지수 | 웹과 오프라인에서 실시간 2d / 3d 렌더링기술 |
| KR20020049382A (ko) * | 2000-12-19 | 2002-06-26 | 이형민 | 표정 생성 시스템 및 이를 이용한 표정 생성 방법 |
| KR100360487B1 (ko) * | 2000-02-28 | 2002-11-13 | 삼성전자 주식회사 | 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치 |
| KR100366210B1 (ko) * | 2000-01-24 | 2002-12-31 | 한국과학기술원 | 인간의 얼굴 모델을 생성하는 모델러 제작방법 및 기록매체 |
| WO2003081536A1 (en) * | 2002-03-26 | 2003-10-02 | So-Woon Kim | System and method for 3-dimension simulation of glasses |
| JP2009506442A (ja) * | 2005-08-26 | 2009-02-12 | ソニー株式会社 | 顔の動きのデータの撮影及び処理 |
| US7668401B2 (en) | 2003-09-03 | 2010-02-23 | Nec Corporation | Form changing device, object action encoding device, and object action decoding device |
| US8218825B2 (en) | 2005-08-26 | 2012-07-10 | Sony Corporation | Capturing and processing facial motion data |
| CN107341785A (zh) * | 2016-04-29 | 2017-11-10 | 掌赢信息科技（上海）有限公司 | 一种基于帧间滤波的表情迁移方法及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0374777A (ja) * | 1989-08-17 | 1991-03-29 | Graphic Commun Technol:Kk | 顔画像合成装置 |
| JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
-
1994
- 1994-09-21 JP JP6226664A patent/JP2802725B2/ja not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0374777A (ja) * | 1989-08-17 | 1991-03-29 | Graphic Commun Technol:Kk | 顔画像合成装置 |
| JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100317137B1 (ko) * | 1999-01-19 | 2001-12-22 | 윤덕용 | 얼굴 표정 애니메이션 방법 |
| KR100366210B1 (ko) * | 2000-01-24 | 2002-12-31 | 한국과학기술원 | 인간의 얼굴 모델을 생성하는 모델러 제작방법 및 기록매체 |
| KR100360487B1 (ko) * | 2000-02-28 | 2002-11-13 | 삼성전자 주식회사 | 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치 |
| JP2002123837A (ja) * | 2000-08-30 | 2002-04-26 | Microsoft Corp | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
| JP4733318B2 (ja) * | 2000-08-30 | 2011-07-27 | マイクロソフト コーポレーション | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
| KR20020046515A (ko) * | 2000-12-14 | 2002-06-21 | 오지수 | 웹과 오프라인에서 실시간 평면/입체 랜더링 기술 |
| KR20020048462A (ko) * | 2000-12-16 | 2002-06-24 | 오지수 | 웹과 오프라인에서 실시간 2d / 3d 렌더링기술 |
| KR20020049382A (ko) * | 2000-12-19 | 2002-06-26 | 이형민 | 표정 생성 시스템 및 이를 이용한 표정 생성 방법 |
| WO2003081536A1 (en) * | 2002-03-26 | 2003-10-02 | So-Woon Kim | System and method for 3-dimension simulation of glasses |
| US7668401B2 (en) | 2003-09-03 | 2010-02-23 | Nec Corporation | Form changing device, object action encoding device, and object action decoding device |
| JP2009506442A (ja) * | 2005-08-26 | 2009-02-12 | ソニー株式会社 | 顔の動きのデータの撮影及び処理 |
| US8218825B2 (en) | 2005-08-26 | 2012-07-10 | Sony Corporation | Capturing and processing facial motion data |
| CN107341785A (zh) * | 2016-04-29 | 2017-11-10 | 掌赢信息科技（上海）有限公司 | 一种基于帧间滤波的表情迁移方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2802725B2 (ja) | 1998-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7239321B2 (en) | Static and dynamic 3-D human face reconstruction | |
| AU2006282764B2 (en) | Capturing and processing facial motion data | |
| US8902232B2 (en) | Facial performance synthesis using deformation driven polynomial displacement maps | |
| JP2802725B2 (ja) | 表情再現装置および表情再現に用いられるマトリックスの算出方法 | |
| KR19990064245A (ko) | 영상 합성기 및 영상 합성 방법 | |
| KR20230032893A (ko) | 화상처리장치, 화상처리방법 및 기억 매체 | |
| JPH10240908A (ja) | 映像合成方法 | |
| JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| Aizawa et al. | Human facial motion analysis and synthesis with application to model-based coding | |
| JP3414683B2 (ja) | 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体 | |
| JP5362357B2 (ja) | 顔の動きのデータの撮影及び処理 | |
| JP2670663B2 (ja) | 像の実時間認識合成装置 | |
| JP2002083286A (ja) | アバタ生成方法、装置及びそのプログラムを記録した記録媒体 | |
| JP2002525764A (ja) | グラフィックスおよび画像処理システム | |
| JP2739447B2 (ja) | しわの表現可能な三次元像生成装置 | |
| JP2627487B2 (ja) | 像の実時間認識合成装置 | |
| JP2003512802A (ja) | 三次元モデリングのためのシステム及び方法 | |
| JPH0273471A (ja) | 三次元形状推定方法 | |
| JP2813971B2 (ja) | 状態再現方法 | |
| JP6464977B2 (ja) | 投影制御装置、及びプログラム | |
| JP2997647B2 (ja) | 非剛体物体変形推定方法 | |
| WO2022224732A1 (ja) | 情報処理装置及び情報処理方法 | |
| JP2002056407A (ja) | 画像生成システム | |
| JP3157015B2 (ja) | 画像処理方法および画像処理装置 | |
| WO2023106117A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980609 |