JP2843262B2 - 表情再現装置 - Google Patents
表情再現装置Info
- Publication number
- JP2843262B2 JP2843262B2 JP22201494A JP22201494A JP2843262B2 JP 2843262 B2 JP2843262 B2 JP 2843262B2 JP 22201494 A JP22201494 A JP 22201494A JP 22201494 A JP22201494 A JP 22201494A JP 2843262 B2 JP2843262 B2 JP 2843262B2
- Authority
- JP
- Japan
- Prior art keywords
- expression
- texture data
- facial expression
- texture
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
ンピュータグラフィックス技術を用いて実時間で立体デ
ィスプレイに再現する表情再現装置に関し、特に顔画像
をワイヤフレームモデルとテクスチャにより再現する表
情再現装置に関する。
場所で会議をするような感じで話し合ったりすることの
できる臨場感通信会議システムの開発が進められている
(たとえば社団法人、電子情報通信学会発行、信学技
報、HC92−61)。
妙な動きがコミュニケーションに重要な意味を持つた
め、臨場感通信会議システムにおいて人間の表情の微妙
な変化を再現することが必要であり、そのためリアリテ
ィの高い表情を再現することができる表情再現装置の開
発が期待されている。
の頭部の標準的な形態を頂点と頂点間を結ぶ線とによっ
て近似した頭部3次元ワイヤフレームモデルを受信側に
保有し、送信側の人物の顔に止着されたマーカーの移動
量をカメラなどでトラッキングし、それに併せて頭部ワ
イヤフレームモデルの頂点座標を移動させることにより
表情の変化を再現する。
あり、図6は図5の顔画像入力部の具体例を示した図で
ある。
物の顔画像を入力する顔画像入力部101と、顔画像の
動きから表情変化の量を抽出する表情変化量抽出部10
3と、前述した頭部3次元ワイヤフレームモデルを記憶
する頭部ワイヤフレームモデル記憶部105と、記憶さ
れた頭部3次元ワイヤフレームモデルと抽出された表情
変化量とを合成しワイヤフレームモデルを変形させるこ
とにより表情変化を再現するワイヤフレーム変形部11
3と、無表情時のテクスチャデータ(顔の色彩情報)を
記憶する無表情テクスチャデータベース107と、変形
されたワイヤフレームモデルと無表情テクスチャデータ
とを合成する表情顔画像合成部115とにより構成され
る。
ように構成される。すなわち送信される人物の顔209
にはその表情筋の上にマーカー203が止着されてい
る。頭部に固定されたヘルメット211には顔209を
画像データ205として撮像するカメラ201が設けら
れる。
合成処理について説明するためのフローチャートであ
る。
む顔画像が顔画像入力部101によって取込まれる。ス
テップS702において、マーカーの移動量に基づいて
ワイヤフレームモデルの加工が行なわれる。ステップS
703において、加工されたワイヤフレームモデルに無
表情テクスチャデータが合成される。
情再現装置では、頭部ワイヤフレームモデルを検出され
たデータに基づいて変形し、これに無表情時のカラーテ
クスチャを合成していたため、皺や表皮のたるみなど微
妙な表情を再現することが困難であり、リアリティのあ
る表情の再現ができなかった。
フレームモデルを用いるのであればよりリアリティのあ
る表情の再現が可能であるが、これでは実時間での表情
再現は不可能である。
(「顔の3次元モデルに基づく表情の記述と合成」,電
子情報通信学会論文誌,Vol.J73−A,No.
7,pp.1270〜1280)による手法が開示され
ているが、これは予め皺の発生する位置を登録しておか
なければならないので、すべての人に当てはまる手法で
はない。またテクスチャを一部切出すためテクスチャに
不連続が発生するおそれもある。
を持つ頭部モデルを記憶し、表情変化に応じて表情を持
つ頭部モデルを混ぜ合せるmorphing(T. Beier, S. Nee
ly,“Feature Based Image Metamorphosis ”,Proc. of
SIGGRAPH92,1992)と呼ばれる手法が開示され
ている。しかしながら、morphingにおいて、形状変形は
いくつかの変形駆動点に対して近傍点の変形駆動点との
相対的位置比を一定に保ちながら行なわれ、最終的には
人物の表情は予め登録された表情頭部モデルに変形され
ることになる。したがって変形後の表情はいつも同じも
のとなり、微妙な表情の再現が不可能である。
たるみなどを含む微妙な表情の再現が可能な表情再現装
置を提供することである。
情再現装置は、人物の顔を近似したワイヤフレームモデ
ルを記憶するワイヤフレームモデル記憶手段と、人物の
顔の複数の基本表情の各々に対応する複数のテクスチャ
データを記憶するテクスチャデータ記憶手段と、人物の
顔の表情の変化に基づく動きパラメータを検出するパラ
メータ検出手段と、検出されたパラメータに基づいてワ
イヤフレームモデルを加工する加工手段と、検出された
パラメータに基づいて人物の顔の表情を基本表情のいず
れかとして認識する認識手段と、記憶されたテクスチャ
データのうち、認識された基本表情に対応したテクスチ
ャデータに基づいて合成すべきテクスチャデータを生成
する生成手段と、生成されたテクスチャデータを加工さ
れたワイヤフレームモデルに合成し再現表情画像とする
合成手段と、再現表情画像を表示する表示手段とを備え
たものである。
記載の表情再現装置において、複数のテクスチャデータ
は無表情テクスチャデータと表情テクスチャデータとを
含み、生成手段は、認識手段により認識された基本表情
が表情テクスチャデータに対応したものであるとき、人
物の表情が認識されたときからの時間の経過とともに、
無表情テクスチャデータと表情テクスチャデータとを配
分を変えて合成し、合成すべきテクスチャデータを生成
する表情再現装置である。
似したワイヤフレームモデルと、人物の複数の基本表情
の各々に対応する複数のテクスチャデータとを記憶す
る。人物の表情の変化に基づく動きパラメータを検出
し、検出されたパラメータに基づいてワイヤフレームモ
デルを加工する。また検出されたパラメータに基づいて
人物の表情を基本表情のいずれかとして認識し、記憶さ
れたテクスチャデータのうち認識された基本表情に対応
したテクスチャデータに基づいて合成すべきテクスチャ
を生成し、生成されたテクスチャデータを加工されたワ
イヤフレームモデルに合成し表示する。
記載の表情再現装置の作用に加えて、無表情テクスチャ
データと表情テクスチャデータを記憶し、認識手段によ
り認識された基本表情が表情テクスチャデータに対応し
たものであるとき、人物の表情が認識されたときからの
時間の経過とともに、無表情テクスチャと表情テクスチ
ャとを配分を変えて合成し、合成されたテクスチャを加
工されたワイヤフレームモデルに合成する。
のブロック図である。
5に示される従来の表情再現装置と異なる点について説
明する。
装置に加え、「喜び」、「怒り」、「悲しみ」、「嫌
悪」、「恐怖」、「驚き」の人間の6基本表情のテクス
チャデータを記憶する表情テクスチャデータベース10
9と、表情変化量抽出部103が抽出する表情変化量に
基づいて表情を推論し、無表情テクスチャデータベース
107および表情テクスチャデータベース109に記憶
されているテクスチャの選択や合成を行なう頭部テクス
チャ切換部111とを備える。
れる顔画像の合成処理について説明するためのフローチ
ャート、図3は図2のフローチャート中のマーカーの移
動量に基づく表情推論について説明するための図、図4
は図2のフローチャート中の無表情テクスチャと表情テ
クスチャの合成について説明するための図である。
テクスチャ以外に6種類の基本表情に対応する複数の表
情テクスチャを記憶し顔マーカーの動きから表情を推論
し、表情に応じたテクスチャを選択し用いたり、無表情
テクスチャと表情テクスチャとを任意の割合で混ぜ合せ
たものをテクスチャとして用いることを特徴としている
(この方法をテクスチャブレンディング法と呼ぶ)。
像入力部101によりマーカーを貼付けた顔画像が取込
まれ、マーカーの動きがトラッキングされる。ステップ
S202で、マーカーの移動量に基づいて表情の推論が
行なわれる。この推論は図3に示されるように、顔に止
着された0〜12の13個のマーカーの無表情時の位置
からの移動量に基づいて行なわれる。
マーカーの移動量(pixel 単位)が、5<x,−10>
yかつ、6番のマーカーの移動量が−5>x,−10>
yかつ、11番のマーカーの移動量が0<x,−10>
yかつ、12番のマーカーの移動量が0>x,−10>
yの関係が成り立つときはその表情は「喜び」であると
判定される。
推論された表情が表情テクスチャデータベース109に
記憶されている「喜び」、「怒り」、「悲しみ」、「嫌
悪」、「恐怖」、「驚き」の人間の6基本表情に分類さ
れるか判定される。分類できた場合はステップS204
において、分類された表情が直前の表情と同一性がある
か判定され、NOであればステップS210において、
ブレンディングを開始してからの時間tをリセットす
る。
グを開始してからの時間tがblending-interval (たと
えば3〜4秒程度の予め設定された時刻)を超えたか判
定され、NOであればステップS206において、以下
の式により無表情テクスチャと表情テクスチャとを混ぜ
合せたものをワイヤフレームに合成するテクスチャ(合
成テクスチャ)とする。
val −t)×無表情テクスチャ+t×表情テクスチャ}
/blending interval この混ぜ合せにより、図4に示されるように無表情テク
スチャと表情テクスチャとが合成されるわけであるが、
その重み付けはブレンディングを開始してからの時間t
が0のときには、無表情テクスチャが100%、表情テ
クスチャが0%であるのに対して、t=blending inter
val のときには、表情テクスチャが100%、無表情テ
クスチャが0%となるように合成されることになる。
動量に基づいてワイヤフレームモデルの頂点座標の移動
が行なわれ、顔の形状変化が再現される。ステップS2
08において、変形されたワイヤフレームモデルに、前
過程で設定された合成テクスチャが合成される。
テップS209において無表情テクスチャを合成テクス
チャとする。
ップS211において分類された表情テクスチャを合成
テクスチャとする。
とにより実時間で人間の6の基本表情に対応した皺や表
皮のたるみなどを再現することが可能となり、かつ無表
情の状態から表情のある状態への変化もブレンディング
の重み付けを時間とともに変化させることにより滑らか
に行なうことができる。
6基本表情を用意したが表情の数は任意でもよい。
表情に応じたテクスチャデータをワイヤフレームモデル
に合成することにより、リアリティの高い表情を再現す
ることができる。
求項1記載の表情再現装置の効果に加えて、表情の変化
を滑らかに行なうことができ、不自然さの少ない画像を
再現することができる。
ク図である。
の合成処理について説明するためのフローチャートであ
る。
基づく表情推論について説明するための図である。
表情テクスチャの合成について説明するための図であ
る。
る。
ついて説明するためのフローチャートである。
Claims (2)
- 【請求項1】 人物の顔を近似したワイヤフレームモデ
ルを記憶するワイヤフレームモデル記憶手段と、 前記人物の顔の複数の基本表情の各々に対応する複数の
テクスチャデータを記憶するテクスチャデータ記憶手段
と、 前記人物の顔の表情の変化に基づく動きパラメータを検
出するパラメータ検出手段と、 前記検出されたパラメータに基づいて前記ワイヤフレー
ムモデルを加工する加工手段と、 前記検出されたパラメータに基づいて前記人物の顔の表
情を前記基本表情のいずれかとして認識する認識手段
と、 前記記憶されたテクスチャデータのうち、前記認識され
た基本表情に対応したテクスチャデータに基づいて合成
すべきテクスチャデータを生成する生成手段と、 前記生成されたテクスチャデータを前記加工されたワイ
ヤフレームモデルに合成し再現表情画像とする合成手段
と、 前記再現表情画像を表示する表示手段とを備えた、表情
再現装置。 - 【請求項2】 前記複数のテクスチャデータは無表情テ
クスチャデータと表情テクスチャデータとを含み、 前記生成手段は、前記認識手段により認識された基本表
情が前記表情テクスチャデータに対応したものであると
き、前記人物の表情が認識されたときからの時間の経過
とともに、前記無表情テクスチャデータと前記表情テク
スチャデータとを配分を変えて合成し、合成すべきテク
スチャデータを生成する、請求項1記載の表情再現装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22201494A JP2843262B2 (ja) | 1994-09-16 | 1994-09-16 | 表情再現装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22201494A JP2843262B2 (ja) | 1994-09-16 | 1994-09-16 | 表情再現装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0888850A JPH0888850A (ja) | 1996-04-02 |
JP2843262B2 true JP2843262B2 (ja) | 1999-01-06 |
Family
ID=16775761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22201494A Expired - Fee Related JP2843262B2 (ja) | 1994-09-16 | 1994-09-16 | 表情再現装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2843262B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6016148A (en) * | 1997-06-06 | 2000-01-18 | Digital Equipment Corporation | Automated mapping of facial images to animation wireframes topologies |
US8391639B2 (en) * | 2007-07-23 | 2013-03-05 | The Procter & Gamble Company | Method and apparatus for realistic simulation of wrinkle aging and de-aging |
CN101815562A (zh) * | 2007-09-19 | 2010-08-25 | 戴维·阿龙·贝内特 | 能够变形的机器人表面 |
SG10201510822YA (en) | 2015-12-31 | 2017-07-28 | Creative Tech Ltd | A method for generating a customized/personalized head related transfer function |
CN109165614A (zh) * | 2018-08-31 | 2019-01-08 | 杭州行开科技有限公司 | 基于3d摄像头的人脸识别系统 |
-
1994
- 1994-09-16 JP JP22201494A patent/JP2843262B2/ja not_active Expired - Fee Related
Non-Patent Citations (3)
Title |
---|
ICASSP 91 Vol.4 MULTIDIMENSIONAL SIGNAL PROCESSING 1991 INTERNATIONAL CONFERENCE ON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING p.2737−2740(ANALYSIS AND SYNTHESIS OF FACIAL EXPRESSIONS IN KNOWLEDGE−BASED CODING OF FACIAL IMAGE SEQUNCES) |
SIGNAL PROCESSING:IMAGE COMMUNICATION(1989)p.139−152(MODEL−BASED ANALYSIS SYNTHESIS IMAGE CODING (MBASIC) SYSTEM FOR A PERSON’FACE,Fig.1) |
電子情報通信学会論文誌,J73−A[7]p.1270−1280(1990) |
Also Published As
Publication number | Publication date |
---|---|
JPH0888850A (ja) | 1996-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6919892B1 (en) | Photo realistic talking head creation system and method | |
US7027054B1 (en) | Do-it-yourself photo realistic talking head creation system and method | |
US8553037B2 (en) | Do-It-Yourself photo realistic talking head creation system and method | |
CN112215927B (zh) | 人脸视频的合成方法、装置、设备及介质 | |
JP4310916B2 (ja) | 映像表示装置 | |
Ezzat et al. | Visual speech synthesis by morphing visemes | |
US5734794A (en) | Method and system for voice-activated cell animation | |
US5623587A (en) | Method and apparatus for producing an electronic image | |
JP3030485B2 (ja) | 3次元形状抽出方法及び装置 | |
US20140240324A1 (en) | Training system and methods for dynamically injecting expression information into an animated facial mesh | |
JP3810943B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
CN113221840B (zh) | 一种人像视频处理方法 | |
CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
JPH10240908A (ja) | 映像合成方法 | |
US7002584B2 (en) | Video information producing device | |
CN113395569B (zh) | 视频生成方法及装置 | |
JP2843262B2 (ja) | 表情再現装置 | |
JP2002304638A (ja) | 表情アニメーション生成装置および表情アニメーション生成方法 | |
JP2003512802A (ja) | 三次元モデリングのためのシステム及び方法 | |
CN114741541B (zh) | 基于模板化编辑的ai数字人对ppt的交互控制方法及装置 | |
WO1998001830A1 (en) | Image processing | |
CN116129487A (zh) | 一种三维形象发音头部姿态模拟方法 | |
Burford et al. | Face-to-face implies no interface | |
Bregler | Video based animation techniques for human motion | |
JP2655239B2 (ja) | 顔画像変位検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981006 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071023 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081023 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091023 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091023 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101023 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101023 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111023 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111023 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 15 |
|
LAPS | Cancellation because of no payment of annual fees |