JP2843262B2 - 表情再現装置 - Google Patents
表情再現装置Info
- Publication number
- JP2843262B2 JP2843262B2 JP22201494A JP22201494A JP2843262B2 JP 2843262 B2 JP2843262 B2 JP 2843262B2 JP 22201494 A JP22201494 A JP 22201494A JP 22201494 A JP22201494 A JP 22201494A JP 2843262 B2 JP2843262 B2 JP 2843262B2
- Authority
- JP
- Japan
- Prior art keywords
- expression
- texture data
- facial expression
- texture
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】この発明は撮像された顔画像をコ
ンピュータグラフィックス技術を用いて実時間で立体デ
ィスプレイに再現する表情再現装置に関し、特に顔画像
をワイヤフレームモデルとテクスチャにより再現する表
情再現装置に関する。
ンピュータグラフィックス技術を用いて実時間で立体デ
ィスプレイに再現する表情再現装置に関し、特に顔画像
をワイヤフレームモデルとテクスチャにより再現する表
情再現装置に関する。
【０００２】
【従来の技術】近年、遠隔地にいる人々があたかも同じ
場所で会議をするような感じで話し合ったりすることの
できる臨場感通信会議システムの開発が進められている
（たとえば社団法人、電子情報通信学会発行、信学技
報、ＨＣ９２−６１）。
場所で会議をするような感じで話し合ったりすることの
できる臨場感通信会議システムの開発が進められている
（たとえば社団法人、電子情報通信学会発行、信学技
報、ＨＣ９２−６１）。
【０００３】実際の会議において参加者の顔の表情の微
妙な動きがコミュニケーションに重要な意味を持つた
め、臨場感通信会議システムにおいて人間の表情の微妙
な変化を再現することが必要であり、そのためリアリテ
ィの高い表情を再現することができる表情再現装置の開
発が期待されている。
妙な動きがコミュニケーションに重要な意味を持つた
め、臨場感通信会議システムにおいて人間の表情の微妙
な変化を再現することが必要であり、そのためリアリテ
ィの高い表情を再現することができる表情再現装置の開
発が期待されている。
【０００４】従来の表情再現装置では、送信される人物
の頭部の標準的な形態を頂点と頂点間を結ぶ線とによっ
て近似した頭部３次元ワイヤフレームモデルを受信側に
保有し、送信側の人物の顔に止着されたマーカーの移動
量をカメラなどでトラッキングし、それに併せて頭部ワ
イヤフレームモデルの頂点座標を移動させることにより
表情の変化を再現する。
の頭部の標準的な形態を頂点と頂点間を結ぶ線とによっ
て近似した頭部３次元ワイヤフレームモデルを受信側に
保有し、送信側の人物の顔に止着されたマーカーの移動
量をカメラなどでトラッキングし、それに併せて頭部ワ
イヤフレームモデルの頂点座標を移動させることにより
表情の変化を再現する。
【０００５】図５は従来の表情再現装置のブロック図で
あり、図６は図５の顔画像入力部の具体例を示した図で
ある。
あり、図６は図５の顔画像入力部の具体例を示した図で
ある。
【０００６】図５を参照して、従来の表情再現装置は人
物の顔画像を入力する顔画像入力部１０１と、顔画像の
動きから表情変化の量を抽出する表情変化量抽出部１０
３と、前述した頭部３次元ワイヤフレームモデルを記憶
する頭部ワイヤフレームモデル記憶部１０５と、記憶さ
れた頭部３次元ワイヤフレームモデルと抽出された表情
変化量とを合成しワイヤフレームモデルを変形させるこ
とにより表情変化を再現するワイヤフレーム変形部１１
３と、無表情時のテクスチャデータ（顔の色彩情報）を
記憶する無表情テクスチャデータベース１０７と、変形
されたワイヤフレームモデルと無表情テクスチャデータ
とを合成する表情顔画像合成部１１５とにより構成され
る。
物の顔画像を入力する顔画像入力部１０１と、顔画像の
動きから表情変化の量を抽出する表情変化量抽出部１０
３と、前述した頭部３次元ワイヤフレームモデルを記憶
する頭部ワイヤフレームモデル記憶部１０５と、記憶さ
れた頭部３次元ワイヤフレームモデルと抽出された表情
変化量とを合成しワイヤフレームモデルを変形させるこ
とにより表情変化を再現するワイヤフレーム変形部１１
３と、無表情時のテクスチャデータ（顔の色彩情報）を
記憶する無表情テクスチャデータベース１０７と、変形
されたワイヤフレームモデルと無表情テクスチャデータ
とを合成する表情顔画像合成部１１５とにより構成され
る。
【０００７】顔画像入力部１０１は、具体的には図６の
ように構成される。すなわち送信される人物の顔２０９
にはその表情筋の上にマーカー２０３が止着されてい
る。頭部に固定されたヘルメット２１１には顔２０９を
画像データ２０５として撮像するカメラ２０１が設けら
れる。
ように構成される。すなわち送信される人物の顔２０９
にはその表情筋の上にマーカー２０３が止着されてい
る。頭部に固定されたヘルメット２１１には顔２０９を
画像データ２０５として撮像するカメラ２０１が設けら
れる。
【０００８】図７は図５の表情再現装置による顔画像の
合成処理について説明するためのフローチャートであ
る。
合成処理について説明するためのフローチャートであ
る。
【０００９】ステップＳ７０１において、マーカーを含
む顔画像が顔画像入力部１０１によって取込まれる。ス
テップＳ７０２において、マーカーの移動量に基づいて
ワイヤフレームモデルの加工が行なわれる。ステップＳ
７０３において、加工されたワイヤフレームモデルに無
表情テクスチャデータが合成される。
む顔画像が顔画像入力部１０１によって取込まれる。ス
テップＳ７０２において、マーカーの移動量に基づいて
ワイヤフレームモデルの加工が行なわれる。ステップＳ
７０３において、加工されたワイヤフレームモデルに無
表情テクスチャデータが合成される。
【００１０】以上の過程により顔の表情が再現される。
【００１１】
【発明が解決しようとする課題】しかしながら従来の表
情再現装置では、頭部ワイヤフレームモデルを検出され
たデータに基づいて変形し、これに無表情時のカラーテ
クスチャを合成していたため、皺や表皮のたるみなど微
妙な表情を再現することが困難であり、リアリティのあ
る表情の再現ができなかった。
情再現装置では、頭部ワイヤフレームモデルを検出され
たデータに基づいて変形し、これに無表情時のカラーテ
クスチャを合成していたため、皺や表皮のたるみなど微
妙な表情を再現することが困難であり、リアリティのあ
る表情の再現ができなかった。
【００１２】もちろん無限の頂点座標を持つ頭部ワイヤ
フレームモデルを用いるのであればよりリアリティのあ
る表情の再現が可能であるが、これでは実時間での表情
再現は不可能である。
フレームモデルを用いるのであればよりリアリティのあ
る表情の再現が可能であるが、これでは実時間での表情
再現は不可能である。
【００１３】皺、たるみを表現する方法として、崔など
（「顔の３次元モデルに基づく表情の記述と合成」，電
子情報通信学会論文誌，Ｖｏｌ．Ｊ７３−Ａ，Ｎｏ．
７，ｐｐ．１２７０〜１２８０）による手法が開示され
ているが、これは予め皺の発生する位置を登録しておか
なければならないので、すべての人に当てはまる手法で
はない。またテクスチャを一部切出すためテクスチャに
不連続が発生するおそれもある。
（「顔の３次元モデルに基づく表情の記述と合成」，電
子情報通信学会論文誌，Ｖｏｌ．Ｊ７３−Ａ，Ｎｏ．
７，ｐｐ．１２７０〜１２８０）による手法が開示され
ているが、これは予め皺の発生する位置を登録しておか
なければならないので、すべての人に当てはまる手法で
はない。またテクスチャを一部切出すためテクスチャに
不連続が発生するおそれもある。
【００１４】また無表情の頭部モデルに加え、予め表情
を持つ頭部モデルを記憶し、表情変化に応じて表情を持
つ頭部モデルを混ぜ合せるmorphing（T. Beier, S. Nee
ly,“Feature Based Image Metamorphosis ”,Proc. of
SIGGRAPH９２，１９９２）と呼ばれる手法が開示され
ている。しかしながら、morphingにおいて、形状変形は
いくつかの変形駆動点に対して近傍点の変形駆動点との
相対的位置比を一定に保ちながら行なわれ、最終的には
人物の表情は予め登録された表情頭部モデルに変形され
ることになる。したがって変形後の表情はいつも同じも
のとなり、微妙な表情の再現が不可能である。
を持つ頭部モデルを記憶し、表情変化に応じて表情を持
つ頭部モデルを混ぜ合せるmorphing（T. Beier, S. Nee
ly,“Feature Based Image Metamorphosis ”,Proc. of
SIGGRAPH９２，１９９２）と呼ばれる手法が開示され
ている。しかしながら、morphingにおいて、形状変形は
いくつかの変形駆動点に対して近傍点の変形駆動点との
相対的位置比を一定に保ちながら行なわれ、最終的には
人物の表情は予め登録された表情頭部モデルに変形され
ることになる。したがって変形後の表情はいつも同じも
のとなり、微妙な表情の再現が不可能である。
【００１５】それゆえにこの発明の主たる目的は、皺や
たるみなどを含む微妙な表情の再現が可能な表情再現装
置を提供することである。
たるみなどを含む微妙な表情の再現が可能な表情再現装
置を提供することである。
【００１６】
【課題を解決するための手段】請求項１の発明に係る表
情再現装置は、人物の顔を近似したワイヤフレームモデ
ルを記憶するワイヤフレームモデル記憶手段と、人物の
顔の複数の基本表情の各々に対応する複数のテクスチャ
データを記憶するテクスチャデータ記憶手段と、人物の
顔の表情の変化に基づく動きパラメータを検出するパラ
メータ検出手段と、検出されたパラメータに基づいてワ
イヤフレームモデルを加工する加工手段と、検出された
パラメータに基づいて人物の顔の表情を基本表情のいず
れかとして認識する認識手段と、記憶されたテクスチャ
データのうち、認識された基本表情に対応したテクスチ
ャデータに基づいて合成すべきテクスチャデータを生成
する生成手段と、生成されたテクスチャデータを加工さ
れたワイヤフレームモデルに合成し再現表情画像とする
合成手段と、再現表情画像を表示する表示手段とを備え
たものである。
情再現装置は、人物の顔を近似したワイヤフレームモデ
ルを記憶するワイヤフレームモデル記憶手段と、人物の
顔の複数の基本表情の各々に対応する複数のテクスチャ
データを記憶するテクスチャデータ記憶手段と、人物の
顔の表情の変化に基づく動きパラメータを検出するパラ
メータ検出手段と、検出されたパラメータに基づいてワ
イヤフレームモデルを加工する加工手段と、検出された
パラメータに基づいて人物の顔の表情を基本表情のいず
れかとして認識する認識手段と、記憶されたテクスチャ
データのうち、認識された基本表情に対応したテクスチ
ャデータに基づいて合成すべきテクスチャデータを生成
する生成手段と、生成されたテクスチャデータを加工さ
れたワイヤフレームモデルに合成し再現表情画像とする
合成手段と、再現表情画像を表示する表示手段とを備え
たものである。
【００１７】請求項２に係る表情再現装置は、請求項１
記載の表情再現装置において、複数のテクスチャデータ
は無表情テクスチャデータと表情テクスチャデータとを
含み、生成手段は、認識手段により認識された基本表情
が表情テクスチャデータに対応したものであるとき、人
物の表情が認識されたときからの時間の経過とともに、
無表情テクスチャデータと表情テクスチャデータとを配
分を変えて合成し、合成すべきテクスチャデータを生成
する表情再現装置である。
記載の表情再現装置において、複数のテクスチャデータ
は無表情テクスチャデータと表情テクスチャデータとを
含み、生成手段は、認識手段により認識された基本表情
が表情テクスチャデータに対応したものであるとき、人
物の表情が認識されたときからの時間の経過とともに、
無表情テクスチャデータと表情テクスチャデータとを配
分を変えて合成し、合成すべきテクスチャデータを生成
する表情再現装置である。
【００１８】
【作用】請求項１記載の表情再現装置は、人物の顔を近
似したワイヤフレームモデルと、人物の複数の基本表情
の各々に対応する複数のテクスチャデータとを記憶す
る。人物の表情の変化に基づく動きパラメータを検出
し、検出されたパラメータに基づいてワイヤフレームモ
デルを加工する。また検出されたパラメータに基づいて
人物の表情を基本表情のいずれかとして認識し、記憶さ
れたテクスチャデータのうち認識された基本表情に対応
したテクスチャデータに基づいて合成すべきテクスチャ
を生成し、生成されたテクスチャデータを加工されたワ
イヤフレームモデルに合成し表示する。
似したワイヤフレームモデルと、人物の複数の基本表情
の各々に対応する複数のテクスチャデータとを記憶す
る。人物の表情の変化に基づく動きパラメータを検出
し、検出されたパラメータに基づいてワイヤフレームモ
デルを加工する。また検出されたパラメータに基づいて
人物の表情を基本表情のいずれかとして認識し、記憶さ
れたテクスチャデータのうち認識された基本表情に対応
したテクスチャデータに基づいて合成すべきテクスチャ
を生成し、生成されたテクスチャデータを加工されたワ
イヤフレームモデルに合成し表示する。
【００１９】請求項２記載の表情再現装置は、請求項１
記載の表情再現装置の作用に加えて、無表情テクスチャ
データと表情テクスチャデータを記憶し、認識手段によ
り認識された基本表情が表情テクスチャデータに対応し
たものであるとき、人物の表情が認識されたときからの
時間の経過とともに、無表情テクスチャと表情テクスチ
ャとを配分を変えて合成し、合成されたテクスチャを加
工されたワイヤフレームモデルに合成する。
記載の表情再現装置の作用に加えて、無表情テクスチャ
データと表情テクスチャデータを記憶し、認識手段によ
り認識された基本表情が表情テクスチャデータに対応し
たものであるとき、人物の表情が認識されたときからの
時間の経過とともに、無表情テクスチャと表情テクスチ
ャとを配分を変えて合成し、合成されたテクスチャを加
工されたワイヤフレームモデルに合成する。
【００２０】
【実施例】図１は本発明の一実施例である表情再現装置
のブロック図である。
のブロック図である。
【００２１】図１を参照して、本実の表情再現装置が図
５に示される従来の表情再現装置と異なる点について説
明する。
５に示される従来の表情再現装置と異なる点について説
明する。
【００２２】本実施例の表情再現装置は従来の表情再現
装置に加え、「喜び」、「怒り」、「悲しみ」、「嫌
悪」、「恐怖」、「驚き」の人間の６基本表情のテクス
チャデータを記憶する表情テクスチャデータベース１０
９と、表情変化量抽出部１０３が抽出する表情変化量に
基づいて表情を推論し、無表情テクスチャデータベース
１０７および表情テクスチャデータベース１０９に記憶
されているテクスチャの選択や合成を行なう頭部テクス
チャ切換部１１１とを備える。
装置に加え、「喜び」、「怒り」、「悲しみ」、「嫌
悪」、「恐怖」、「驚き」の人間の６基本表情のテクス
チャデータを記憶する表情テクスチャデータベース１０
９と、表情変化量抽出部１０３が抽出する表情変化量に
基づいて表情を推論し、無表情テクスチャデータベース
１０７および表情テクスチャデータベース１０９に記憶
されているテクスチャの選択や合成を行なう頭部テクス
チャ切換部１１１とを備える。
【００２３】図２は図１の表情再現装置において行なわ
れる顔画像の合成処理について説明するためのフローチ
ャート、図３は図２のフローチャート中のマーカーの移
動量に基づく表情推論について説明するための図、図４
は図２のフローチャート中の無表情テクスチャと表情テ
クスチャの合成について説明するための図である。
れる顔画像の合成処理について説明するためのフローチ
ャート、図３は図２のフローチャート中のマーカーの移
動量に基づく表情推論について説明するための図、図４
は図２のフローチャート中の無表情テクスチャと表情テ
クスチャの合成について説明するための図である。
【００２４】本実施例における表情再現装置は、無表情
テクスチャ以外に６種類の基本表情に対応する複数の表
情テクスチャを記憶し顔マーカーの動きから表情を推論
し、表情に応じたテクスチャを選択し用いたり、無表情
テクスチャと表情テクスチャとを任意の割合で混ぜ合せ
たものをテクスチャとして用いることを特徴としている
（この方法をテクスチャブレンディング法と呼ぶ）。
テクスチャ以外に６種類の基本表情に対応する複数の表
情テクスチャを記憶し顔マーカーの動きから表情を推論
し、表情に応じたテクスチャを選択し用いたり、無表情
テクスチャと表情テクスチャとを任意の割合で混ぜ合せ
たものをテクスチャとして用いることを特徴としている
（この方法をテクスチャブレンディング法と呼ぶ）。
【００２５】図２を参照して、ステップＳ２０１で顔画
像入力部１０１によりマーカーを貼付けた顔画像が取込
まれ、マーカーの動きがトラッキングされる。ステップ
Ｓ２０２で、マーカーの移動量に基づいて表情の推論が
行なわれる。この推論は図３に示されるように、顔に止
着された０〜１２の１３個のマーカーの無表情時の位置
からの移動量に基づいて行なわれる。
像入力部１０１によりマーカーを貼付けた顔画像が取込
まれ、マーカーの動きがトラッキングされる。ステップ
Ｓ２０２で、マーカーの移動量に基づいて表情の推論が
行なわれる。この推論は図３に示されるように、顔に止
着された０〜１２の１３個のマーカーの無表情時の位置
からの移動量に基づいて行なわれる。
【００２６】たとえば図３の表の上段のように、５番の
マーカーの移動量（pixel 単位）が、５＜ｘ，−１０＞
ｙかつ、６番のマーカーの移動量が−５＞ｘ，−１０＞
ｙかつ、１１番のマーカーの移動量が０＜ｘ，−１０＞
ｙかつ、１２番のマーカーの移動量が０＞ｘ，−１０＞
ｙの関係が成り立つときはその表情は「喜び」であると
判定される。
マーカーの移動量（pixel 単位）が、５＜ｘ，−１０＞
ｙかつ、６番のマーカーの移動量が−５＞ｘ，−１０＞
ｙかつ、１１番のマーカーの移動量が０＜ｘ，−１０＞
ｙかつ、１２番のマーカーの移動量が０＞ｘ，−１０＞
ｙの関係が成り立つときはその表情は「喜び」であると
判定される。
【００２７】ステップＳ２０３でマーカーの動きにより
推論された表情が表情テクスチャデータベース１０９に
記憶されている「喜び」、「怒り」、「悲しみ」、「嫌
悪」、「恐怖」、「驚き」の人間の６基本表情に分類さ
れるか判定される。分類できた場合はステップＳ２０４
において、分類された表情が直前の表情と同一性がある
か判定され、ＮＯであればステップＳ２１０において、
ブレンディングを開始してからの時間ｔをリセットす
る。
推論された表情が表情テクスチャデータベース１０９に
記憶されている「喜び」、「怒り」、「悲しみ」、「嫌
悪」、「恐怖」、「驚き」の人間の６基本表情に分類さ
れるか判定される。分類できた場合はステップＳ２０４
において、分類された表情が直前の表情と同一性がある
か判定され、ＮＯであればステップＳ２１０において、
ブレンディングを開始してからの時間ｔをリセットす
る。
【００２８】ステップＳ２０５において、ブレンディン
グを開始してからの時間ｔがblending-interval （たと
えば３〜４秒程度の予め設定された時刻）を超えたか判
定され、ＮＯであればステップＳ２０６において、以下
の式により無表情テクスチャと表情テクスチャとを混ぜ
合せたものをワイヤフレームに合成するテクスチャ（合
成テクスチャ）とする。
グを開始してからの時間ｔがblending-interval （たと
えば３〜４秒程度の予め設定された時刻）を超えたか判
定され、ＮＯであればステップＳ２０６において、以下
の式により無表情テクスチャと表情テクスチャとを混ぜ
合せたものをワイヤフレームに合成するテクスチャ（合
成テクスチャ）とする。
【００２９】合成するテクスチャ＝｛（blending inter
val −ｔ）×無表情テクスチャ＋ｔ×表情テクスチャ｝
／blending interval この混ぜ合せにより、図４に示されるように無表情テク
スチャと表情テクスチャとが合成されるわけであるが、
その重み付けはブレンディングを開始してからの時間ｔ
が０のときには、無表情テクスチャが１００％、表情テ
クスチャが０％であるのに対して、ｔ＝blending inter
val のときには、表情テクスチャが１００％、無表情テ
クスチャが０％となるように合成されることになる。
val −ｔ）×無表情テクスチャ＋ｔ×表情テクスチャ｝
／blending interval この混ぜ合せにより、図４に示されるように無表情テク
スチャと表情テクスチャとが合成されるわけであるが、
その重み付けはブレンディングを開始してからの時間ｔ
が０のときには、無表情テクスチャが１００％、表情テ
クスチャが０％であるのに対して、ｔ＝blending inter
val のときには、表情テクスチャが１００％、無表情テ
クスチャが０％となるように合成されることになる。
【００３０】ステップＳ２０７において、マーカーの移
動量に基づいてワイヤフレームモデルの頂点座標の移動
が行なわれ、顔の形状変化が再現される。ステップＳ２
０８において、変形されたワイヤフレームモデルに、前
過程で設定された合成テクスチャが合成される。
動量に基づいてワイヤフレームモデルの頂点座標の移動
が行なわれ、顔の形状変化が再現される。ステップＳ２
０８において、変形されたワイヤフレームモデルに、前
過程で設定された合成テクスチャが合成される。
【００３１】一方ステップＳ２０３でＮＯの場合は、ス
テップＳ２０９において無表情テクスチャを合成テクス
チャとする。
テップＳ２０９において無表情テクスチャを合成テクス
チャとする。
【００３２】ステップＳ２０５でＹＥＳの場合は、ステ
ップＳ２１１において分類された表情テクスチャを合成
テクスチャとする。
ップＳ２１１において分類された表情テクスチャを合成
テクスチャとする。
【００３３】この実施例による表情再現装置を用いるこ
とにより実時間で人間の６の基本表情に対応した皺や表
皮のたるみなどを再現することが可能となり、かつ無表
情の状態から表情のある状態への変化もブレンディング
の重み付けを時間とともに変化させることにより滑らか
に行なうことができる。
とにより実時間で人間の６の基本表情に対応した皺や表
皮のたるみなどを再現することが可能となり、かつ無表
情の状態から表情のある状態への変化もブレンディング
の重み付けを時間とともに変化させることにより滑らか
に行なうことができる。
【００３４】なお本実施例では、表情テクスチャとして
６基本表情を用意したが表情の数は任意でもよい。
６基本表情を用意したが表情の数は任意でもよい。
【００３５】
【発明の効果】請求項１の発明に係る表情再現装置は、
表情に応じたテクスチャデータをワイヤフレームモデル
に合成することにより、リアリティの高い表情を再現す
ることができる。
表情に応じたテクスチャデータをワイヤフレームモデル
に合成することにより、リアリティの高い表情を再現す
ることができる。
【００３６】請求項２の発明に係る表情再現装置は、請
求項１記載の表情再現装置の効果に加えて、表情の変化
を滑らかに行なうことができ、不自然さの少ない画像を
再現することができる。
求項１記載の表情再現装置の効果に加えて、表情の変化
を滑らかに行なうことができ、不自然さの少ない画像を
再現することができる。
【図１】本発明の一実施例である表情再現装置のブロッ
ク図である。
ク図である。
【図２】図１の表情再現装置において行なわれる顔画像
の合成処理について説明するためのフローチャートであ
る。
の合成処理について説明するためのフローチャートであ
る。
【図３】図２のフローチャート中のマーカーの移動量に
基づく表情推論について説明するための図である。
基づく表情推論について説明するための図である。
【図４】図２のフローチャート中の無表情テクスチャと
表情テクスチャの合成について説明するための図であ
る。
表情テクスチャの合成について説明するための図であ
る。
【図５】従来の表情再現装置のブロック図である。
【図６】図５の顔画像入力部の具体例を示した図であ
る。
る。
【図７】図５の表情再現装置による顔画像の合成処理に
ついて説明するためのフローチャートである。
ついて説明するためのフローチャートである。
１０１ 顔画像入力部 １０３ 表情変化量抽出部 １０５ 頭部ワイヤフレームモデル記憶部 １０７ 無表情テクスチャデータベース １０９ 表情テクスチャデータベース １１１ 頭部テクスチャ切換部 １１３ ワイヤフレーム変形部 １１５ 表情顔画像合成部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岸野 文郎 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール通 信システム研究所内 (56)参考文献 ＩＣＡＳＳＰ 91 Ｖｏｌ．４ ＭＵ ＬＴＩＤＩＭＥＮＳＩＯＮＡＬ ＳＩＧ ＮＡＬ ＰＲＯＣＥＳＳＩＮＧ 1991 ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＣＯＮＦ ＥＲＥＮＣＥ ＯＮ ＡＣＯＵＳＴＩＣ Ｓ，ＳＰＥＥＣＨ，ＡＮＤ ＳＩＧＮＡ Ｌ ＰＲＯＣＥＳＳＩＮＧ ｐ．2737− 2740（ＡＮＡＬＹＳＩＳ ＡＮＤ ＳＹ ＮＴＨＥＳＩＳ ＯＦ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮＳ ＩＮ ＫＮＯ ＷＬＥＤＧＥ−ＢＡＳＥＤ ＣＯＤＩＮ Ｇ ＯＦ ＦＡＣＩＡＬ ＩＭＡＧＥ ＳＥＱＵＮＣＥＳ) ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮ Ｇ：ＩＭＡＧＥ ＣＯＭＭＵＮＩＣＡＴ ＩＯＮ（1989）ｐ．139−152（ＭＯＤＥ Ｌ−ＢＡＳＥＤ ＡＮＡＬＹＳＩＳ Ｓ ＹＮＴＨＥＳＩＳ ＩＭＡＧＥ ＣＯＤ ＩＮＧ （ＭＢＡＳＩＣ） ＳＹＳＴＥ Ｍ ＦＯＲ Ａ ＰＥＲＳＯＮ’ＦＡＣ Ｅ，Ｆｉｇ．１) 電子情報通信学会論文誌，Ｊ73−Ａ ［７］ｐ．1270−1280（1990) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68
Claims (2)
- 【請求項１】 人物の顔を近似したワイヤフレームモデ
ルを記憶するワイヤフレームモデル記憶手段と、 前記人物の顔の複数の基本表情の各々に対応する複数の
テクスチャデータを記憶するテクスチャデータ記憶手段
と、 前記人物の顔の表情の変化に基づく動きパラメータを検
出するパラメータ検出手段と、 前記検出されたパラメータに基づいて前記ワイヤフレー
ムモデルを加工する加工手段と、 前記検出されたパラメータに基づいて前記人物の顔の表
情を前記基本表情のいずれかとして認識する認識手段
と、 前記記憶されたテクスチャデータのうち、前記認識され
た基本表情に対応したテクスチャデータに基づいて合成
すべきテクスチャデータを生成する生成手段と、 前記生成されたテクスチャデータを前記加工されたワイ
ヤフレームモデルに合成し再現表情画像とする合成手段
と、 前記再現表情画像を表示する表示手段とを備えた、表情
再現装置。 - 【請求項２】 前記複数のテクスチャデータは無表情テ
クスチャデータと表情テクスチャデータとを含み、 前記生成手段は、前記認識手段により認識された基本表
情が前記表情テクスチャデータに対応したものであると
き、前記人物の表情が認識されたときからの時間の経過
とともに、前記無表情テクスチャデータと前記表情テク
スチャデータとを配分を変えて合成し、合成すべきテク
スチャデータを生成する、請求項１記載の表情再現装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22201494A JP2843262B2 (ja) | 1994-09-16 | 1994-09-16 | 表情再現装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22201494A JP2843262B2 (ja) | 1994-09-16 | 1994-09-16 | 表情再現装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0888850A JPH0888850A (ja) | 1996-04-02 |
| JP2843262B2 true JP2843262B2 (ja) | 1999-01-06 |
Family
ID=16775761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22201494A Expired - Fee Related JP2843262B2 (ja) | 1994-09-16 | 1994-09-16 | 表情再現装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2843262B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6016148A (en) * | 1997-06-06 | 2000-01-18 | Digital Equipment Corporation | Automated mapping of facial images to animation wireframes topologies |
| US8391639B2 (en) * | 2007-07-23 | 2013-03-05 | The Procter & Gamble Company | Method and apparatus for realistic simulation of wrinkle aging and de-aging |
| WO2009038484A1 (en) * | 2007-09-19 | 2009-03-26 | David Aaron Bennett | Deformable robotic surface |
| SG10201510822YA (en) | 2015-12-31 | 2017-07-28 | Creative Tech Ltd | A method for generating a customized/personalized head related transfer function |
| CN109165614A (zh) * | 2018-08-31 | 2019-01-08 | 杭州行开科技有限公司 | 基于3d摄像头的人脸识别系统 |
-
1994
- 1994-09-16 JP JP22201494A patent/JP2843262B2/ja not_active Expired - Fee Related
Non-Patent Citations (3)
| Title |
|---|
| ＩＣＡＳＳＰ ９１ Ｖｏｌ．４ ＭＵＬＴＩＤＩＭＥＮＳＩＯＮＡＬ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ １９９１ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＣＯＮＦＥＲＥＮＣＥ ＯＮ ＡＣＯＵＳＴＩＣＳ，ＳＰＥＥＣＨ，ＡＮＤ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ ｐ．２７３７−２７４０（ＡＮＡＬＹＳＩＳ ＡＮＤ ＳＹＮＴＨＥＳＩＳ ＯＦ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮＳ ＩＮ ＫＮＯＷＬＥＤＧＥ−ＢＡＳＥＤ ＣＯＤＩＮＧ ＯＦ ＦＡＣＩＡＬ ＩＭＡＧＥ ＳＥＱＵＮＣＥＳ） |
| ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ：ＩＭＡＧＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ（１９８９）ｐ．１３９−１５２（ＭＯＤＥＬ−ＢＡＳＥＤ ＡＮＡＬＹＳＩＳ ＳＹＮＴＨＥＳＩＳ ＩＭＡＧＥ ＣＯＤＩＮＧ （ＭＢＡＳＩＣ） ＳＹＳＴＥＭ ＦＯＲ Ａ ＰＥＲＳＯＮ’ＦＡＣＥ，Ｆｉｇ．１） |
| 電子情報通信学会論文誌，Ｊ７３−Ａ［７］ｐ．１２７０−１２８０（１９９０） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0888850A (ja) | 1996-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6919892B1 (en) | Photo realistic talking head creation system and method | |
| US7027054B1 (en) | Do-it-yourself photo realistic talking head creation system and method | |
| US8553037B2 (en) | Do-It-Yourself photo realistic talking head creation system and method | |
| JP4310916B2 (ja) | 映像表示装置 | |
| US5734794A (en) | Method and system for voice-activated cell animation | |
| Ezzat et al. | Visual speech synthesis by morphing visemes | |
| US8988436B2 (en) | Training system and methods for dynamically injecting expression information into an animated facial mesh | |
| US5623587A (en) | Method and apparatus for producing an electronic image | |
| JP3030485B2 (ja) | ３次元形状抽出方法及び装置 | |
| WO2001084275A2 (en) | Virtual representatives for use as communications tools | |
| CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
| US7002584B2 (en) | Video information producing device | |
| CN113395569B (zh) | 视频生成方法及装置 | |
| JP2843262B2 (ja) | 表情再現装置 | |
| JPH10240908A (ja) | 映像合成方法 | |
| JP2002304638A (ja) | 表情アニメーション生成装置および表情アニメーション生成方法 | |
| CN113221840B (zh) | 一种人像视频处理方法 | |
| Perng et al. | Image talk: a real time synthetic talking head using one single image with chinese text-to-speech capability | |
| Leung et al. | Realistic video avatar | |
| JP2003512802A (ja) | 三次元モデリングのためのシステム及び方法 | |
| WO1998001830A1 (en) | Image processing | |
| CN116129487A (zh) | 一种三维形象发音头部姿态模拟方法 | |
| Burford et al. | Face-to-face implies no interface | |
| Bregler | Video based animation techniques for human motion | |
| JP2655239B2 (ja) | 顔画像変位検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981006 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071023 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081023 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091023 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091023 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101023 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101023 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111023 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111023 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |