JP2843262B2 - 表情再現装置 - Google Patents

表情再現装置

Info

Publication number
JP2843262B2
JP2843262B2 JP22201494A JP22201494A JP2843262B2 JP 2843262 B2 JP2843262 B2 JP 2843262B2 JP 22201494 A JP22201494 A JP 22201494A JP 22201494 A JP22201494 A JP 22201494A JP 2843262 B2 JP2843262 B2 JP 2843262B2
Authority
JP
Japan
Prior art keywords
expression
texture data
facial expression
texture
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22201494A
Other languages
English (en)
Other versions
JPH0888850A (ja
Inventor
泰一 北村
淳 大谷
文郎 岸野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Original Assignee
Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk filed Critical Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority to JP22201494A priority Critical patent/JP2843262B2/ja
Publication of JPH0888850A publication Critical patent/JPH0888850A/ja
Application granted granted Critical
Publication of JP2843262B2 publication Critical patent/JP2843262B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は撮像された顔画像をコ
ンピュータグラフィックス技術を用いて実時間で立体デ
ィスプレイに再現する表情再現装置に関し、特に顔画像
をワイヤフレームモデルとテクスチャにより再現する表
情再現装置に関する。
【0002】
【従来の技術】近年、遠隔地にいる人々があたかも同じ
場所で会議をするような感じで話し合ったりすることの
できる臨場感通信会議システムの開発が進められている
(たとえば社団法人、電子情報通信学会発行、信学技
報、HC92−61)。
【0003】実際の会議において参加者の顔の表情の微
妙な動きがコミュニケーションに重要な意味を持つた
め、臨場感通信会議システムにおいて人間の表情の微妙
な変化を再現することが必要であり、そのためリアリテ
ィの高い表情を再現することができる表情再現装置の開
発が期待されている。
【0004】従来の表情再現装置では、送信される人物
の頭部の標準的な形態を頂点と頂点間を結ぶ線とによっ
て近似した頭部3次元ワイヤフレームモデルを受信側に
保有し、送信側の人物の顔に止着されたマーカーの移動
量をカメラなどでトラッキングし、それに併せて頭部ワ
イヤフレームモデルの頂点座標を移動させることにより
表情の変化を再現する。
【0005】図5は従来の表情再現装置のブロック図で
あり、図6は図5の顔画像入力部の具体例を示した図で
ある。
【0006】図5を参照して、従来の表情再現装置は人
物の顔画像を入力する顔画像入力部101と、顔画像の
動きから表情変化の量を抽出する表情変化量抽出部10
3と、前述した頭部3次元ワイヤフレームモデルを記憶
する頭部ワイヤフレームモデル記憶部105と、記憶さ
れた頭部3次元ワイヤフレームモデルと抽出された表情
変化量とを合成しワイヤフレームモデルを変形させるこ
とにより表情変化を再現するワイヤフレーム変形部11
3と、無表情時のテクスチャデータ(顔の色彩情報)を
記憶する無表情テクスチャデータベース107と、変形
されたワイヤフレームモデルと無表情テクスチャデータ
とを合成する表情顔画像合成部115とにより構成され
る。
【0007】顔画像入力部101は、具体的には図6の
ように構成される。すなわち送信される人物の顔209
にはその表情筋の上にマーカー203が止着されてい
る。頭部に固定されたヘルメット211には顔209を
画像データ205として撮像するカメラ201が設けら
れる。
【0008】図7は図5の表情再現装置による顔画像の
合成処理について説明するためのフローチャートであ
る。
【0009】ステップS701において、マーカーを含
む顔画像が顔画像入力部101によって取込まれる。ス
テップS702において、マーカーの移動量に基づいて
ワイヤフレームモデルの加工が行なわれる。ステップS
703において、加工されたワイヤフレームモデルに無
表情テクスチャデータが合成される。
【0010】以上の過程により顔の表情が再現される。
【0011】
【発明が解決しようとする課題】しかしながら従来の表
情再現装置では、頭部ワイヤフレームモデルを検出され
たデータに基づいて変形し、これに無表情時のカラーテ
クスチャを合成していたため、皺や表皮のたるみなど微
妙な表情を再現することが困難であり、リアリティのあ
る表情の再現ができなかった。
【0012】もちろん無限の頂点座標を持つ頭部ワイヤ
フレームモデルを用いるのであればよりリアリティのあ
る表情の再現が可能であるが、これでは実時間での表情
再現は不可能である。
【0013】皺、たるみを表現する方法として、崔など
(「顔の3次元モデルに基づく表情の記述と合成」,電
子情報通信学会論文誌,Vol.J73−A,No.
7,pp.1270〜1280)による手法が開示され
ているが、これは予め皺の発生する位置を登録しておか
なければならないので、すべての人に当てはまる手法で
はない。またテクスチャを一部切出すためテクスチャに
不連続が発生するおそれもある。
【0014】また無表情の頭部モデルに加え、予め表情
を持つ頭部モデルを記憶し、表情変化に応じて表情を持
つ頭部モデルを混ぜ合せるmorphing(T. Beier, S. Nee
ly,“Feature Based Image Metamorphosis ”,Proc. of
SIGGRAPH92,1992)と呼ばれる手法が開示され
ている。しかしながら、morphingにおいて、形状変形は
いくつかの変形駆動点に対して近傍点の変形駆動点との
相対的位置比を一定に保ちながら行なわれ、最終的には
人物の表情は予め登録された表情頭部モデルに変形され
ることになる。したがって変形後の表情はいつも同じも
のとなり、微妙な表情の再現が不可能である。
【0015】それゆえにこの発明の主たる目的は、皺や
たるみなどを含む微妙な表情の再現が可能な表情再現装
置を提供することである。
【0016】
【課題を解決するための手段】請求項1の発明に係る表
情再現装置は、人物の顔を近似したワイヤフレームモデ
ルを記憶するワイヤフレームモデル記憶手段と、人物の
顔の複数の基本表情の各々に対応する複数のテクスチャ
データを記憶するテクスチャデータ記憶手段と、人物の
顔の表情の変化に基づく動きパラメータを検出するパラ
メータ検出手段と、検出されたパラメータに基づいてワ
イヤフレームモデルを加工する加工手段と、検出された
パラメータに基づいて人物の顔の表情を基本表情のいず
れかとして認識する認識手段と、記憶されたテクスチャ
データのうち、認識された基本表情に対応したテクスチ
ャデータに基づいて合成すべきテクスチャデータを生成
する生成手段と、生成されたテクスチャデータを加工さ
れたワイヤフレームモデルに合成し再現表情画像とする
合成手段と、再現表情画像を表示する表示手段とを備え
たものである。
【0017】請求項2に係る表情再現装置は、請求項1
記載の表情再現装置において、複数のテクスチャデータ
は無表情テクスチャデータと表情テクスチャデータとを
含み、生成手段は、認識手段により認識された基本表情
が表情テクスチャデータに対応したものであるとき、人
物の表情が認識されたときからの時間の経過とともに、
無表情テクスチャデータと表情テクスチャデータとを配
分を変えて合成し、合成すべきテクスチャデータを生成
する表情再現装置である。
【0018】
【作用】請求項1記載の表情再現装置は、人物の顔を近
似したワイヤフレームモデルと、人物の複数の基本表情
の各々に対応する複数のテクスチャデータとを記憶す
る。人物の表情の変化に基づく動きパラメータを検出
し、検出されたパラメータに基づいてワイヤフレームモ
デルを加工する。また検出されたパラメータに基づいて
人物の表情を基本表情のいずれかとして認識し、記憶さ
れたテクスチャデータのうち認識された基本表情に対応
したテクスチャデータに基づいて合成すべきテクスチャ
を生成し、生成されたテクスチャデータを加工されたワ
イヤフレームモデルに合成し表示する。
【0019】請求項2記載の表情再現装置は、請求項1
記載の表情再現装置の作用に加えて、無表情テクスチャ
データと表情テクスチャデータを記憶し、認識手段によ
り認識された基本表情が表情テクスチャデータに対応し
たものであるとき、人物の表情が認識されたときからの
時間の経過とともに、無表情テクスチャと表情テクスチ
ャとを配分を変えて合成し、合成されたテクスチャを加
工されたワイヤフレームモデルに合成する。
【0020】
【実施例】図1は本発明の一実施例である表情再現装置
のブロック図である。
【0021】図1を参照して、本実の表情再現装置が図
5に示される従来の表情再現装置と異なる点について説
明する。
【0022】本実施例の表情再現装置は従来の表情再現
装置に加え、「喜び」、「怒り」、「悲しみ」、「嫌
悪」、「恐怖」、「驚き」の人間の6基本表情のテクス
チャデータを記憶する表情テクスチャデータベース10
9と、表情変化量抽出部103が抽出する表情変化量に
基づいて表情を推論し、無表情テクスチャデータベース
107および表情テクスチャデータベース109に記憶
されているテクスチャの選択や合成を行なう頭部テクス
チャ切換部111とを備える。
【0023】図2は図1の表情再現装置において行なわ
れる顔画像の合成処理について説明するためのフローチ
ャート、図3は図2のフローチャート中のマーカーの移
動量に基づく表情推論について説明するための図、図4
は図2のフローチャート中の無表情テクスチャと表情テ
クスチャの合成について説明するための図である。
【0024】本実施例における表情再現装置は、無表情
テクスチャ以外に6種類の基本表情に対応する複数の表
情テクスチャを記憶し顔マーカーの動きから表情を推論
し、表情に応じたテクスチャを選択し用いたり、無表情
テクスチャと表情テクスチャとを任意の割合で混ぜ合せ
たものをテクスチャとして用いることを特徴としている
(この方法をテクスチャブレンディング法と呼ぶ)。
【0025】図2を参照して、ステップS201で顔画
像入力部101によりマーカーを貼付けた顔画像が取込
まれ、マーカーの動きがトラッキングされる。ステップ
S202で、マーカーの移動量に基づいて表情の推論が
行なわれる。この推論は図3に示されるように、顔に止
着された0〜12の13個のマーカーの無表情時の位置
からの移動量に基づいて行なわれる。
【0026】たとえば図3の表の上段のように、5番の
マーカーの移動量(pixel 単位)が、5<x,−10>
yかつ、6番のマーカーの移動量が−5>x,−10>
yかつ、11番のマーカーの移動量が0<x,−10>
yかつ、12番のマーカーの移動量が0>x,−10>
yの関係が成り立つときはその表情は「喜び」であると
判定される。
【0027】ステップS203でマーカーの動きにより
推論された表情が表情テクスチャデータベース109に
記憶されている「喜び」、「怒り」、「悲しみ」、「嫌
悪」、「恐怖」、「驚き」の人間の6基本表情に分類さ
れるか判定される。分類できた場合はステップS204
において、分類された表情が直前の表情と同一性がある
か判定され、NOであればステップS210において、
ブレンディングを開始してからの時間tをリセットす
る。
【0028】ステップS205において、ブレンディン
グを開始してからの時間tがblending-interval (たと
えば3〜4秒程度の予め設定された時刻)を超えたか判
定され、NOであればステップS206において、以下
の式により無表情テクスチャと表情テクスチャとを混ぜ
合せたものをワイヤフレームに合成するテクスチャ(合
成テクスチャ)とする。
【0029】合成するテクスチャ={(blending inter
val −t)×無表情テクスチャ+t×表情テクスチャ}
/blending interval この混ぜ合せにより、図4に示されるように無表情テク
スチャと表情テクスチャとが合成されるわけであるが、
その重み付けはブレンディングを開始してからの時間t
が0のときには、無表情テクスチャが100%、表情テ
クスチャが0%であるのに対して、t=blending inter
val のときには、表情テクスチャが100%、無表情テ
クスチャが0%となるように合成されることになる。
【0030】ステップS207において、マーカーの移
動量に基づいてワイヤフレームモデルの頂点座標の移動
が行なわれ、顔の形状変化が再現される。ステップS2
08において、変形されたワイヤフレームモデルに、前
過程で設定された合成テクスチャが合成される。
【0031】一方ステップS203でNOの場合は、ス
テップS209において無表情テクスチャを合成テクス
チャとする。
【0032】ステップS205でYESの場合は、ステ
ップS211において分類された表情テクスチャを合成
テクスチャとする。
【0033】この実施例による表情再現装置を用いるこ
とにより実時間で人間の6の基本表情に対応した皺や表
皮のたるみなどを再現することが可能となり、かつ無表
情の状態から表情のある状態への変化もブレンディング
の重み付けを時間とともに変化させることにより滑らか
に行なうことができる。
【0034】なお本実施例では、表情テクスチャとして
6基本表情を用意したが表情の数は任意でもよい。
【0035】
【発明の効果】請求項1の発明に係る表情再現装置は、
表情に応じたテクスチャデータをワイヤフレームモデル
に合成することにより、リアリティの高い表情を再現す
ることができる。
【0036】請求項2の発明に係る表情再現装置は、請
求項1記載の表情再現装置の効果に加えて、表情の変化
を滑らかに行なうことができ、不自然さの少ない画像を
再現することができる。
【図面の簡単な説明】
【図1】本発明の一実施例である表情再現装置のブロッ
ク図である。
【図2】図1の表情再現装置において行なわれる顔画像
の合成処理について説明するためのフローチャートであ
る。
【図3】図2のフローチャート中のマーカーの移動量に
基づく表情推論について説明するための図である。
【図4】図2のフローチャート中の無表情テクスチャと
表情テクスチャの合成について説明するための図であ
る。
【図5】従来の表情再現装置のブロック図である。
【図6】図5の顔画像入力部の具体例を示した図であ
る。
【図7】図5の表情再現装置による顔画像の合成処理に
ついて説明するためのフローチャートである。
【符号の説明】
101 顔画像入力部 103 表情変化量抽出部 105 頭部ワイヤフレームモデル記憶部 107 無表情テクスチャデータベース 109 表情テクスチャデータベース 111 頭部テクスチャ切換部 113 ワイヤフレーム変形部 115 表情顔画像合成部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岸野 文郎 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール通 信システム研究所内 (56)参考文献 ICASSP 91 Vol.4 MU LTIDIMENSIONAL SIG NAL PROCESSING 1991 INTERNATIONAL CONF ERENCE ON ACOUSTIC S,SPEECH,AND SIGNA L PROCESSING p.2737− 2740(ANALYSIS AND SY NTHESIS OF FACIAL EXPRESSIONS IN KNO WLEDGE−BASED CODIN G OF FACIAL IMAGE SEQUNCES) SIGNAL PROCESSIN G:IMAGE COMMUNICAT ION(1989)p.139−152(MODE L−BASED ANALYSIS S YNTHESIS IMAGE COD ING (MBASIC) SYSTE M FOR A PERSON’FAC E,Fig.1) 電子情報通信学会論文誌,J73−A [7]p.1270−1280(1990) (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 人物の顔を近似したワイヤフレームモデ
    ルを記憶するワイヤフレームモデル記憶手段と、 前記人物の顔の複数の基本表情の各々に対応する複数の
    テクスチャデータを記憶するテクスチャデータ記憶手段
    と、 前記人物の顔の表情の変化に基づく動きパラメータを検
    出するパラメータ検出手段と、 前記検出されたパラメータに基づいて前記ワイヤフレー
    ムモデルを加工する加工手段と、 前記検出されたパラメータに基づいて前記人物の顔の表
    情を前記基本表情のいずれかとして認識する認識手段
    と、 前記記憶されたテクスチャデータのうち、前記認識され
    た基本表情に対応したテクスチャデータに基づいて合成
    すべきテクスチャデータを生成する生成手段と、 前記生成されたテクスチャデータを前記加工されたワイ
    ヤフレームモデルに合成し再現表情画像とする合成手段
    と、 前記再現表情画像を表示する表示手段とを備えた、表情
    再現装置。
  2. 【請求項2】 前記複数のテクスチャデータは無表情テ
    クスチャデータと表情テクスチャデータとを含み、 前記生成手段は、前記認識手段により認識された基本表
    情が前記表情テクスチャデータに対応したものであると
    き、前記人物の表情が認識されたときからの時間の経過
    とともに、前記無表情テクスチャデータと前記表情テク
    スチャデータとを配分を変えて合成し、合成すべきテク
    スチャデータを生成する、請求項1記載の表情再現装
    置。
JP22201494A 1994-09-16 1994-09-16 表情再現装置 Expired - Fee Related JP2843262B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22201494A JP2843262B2 (ja) 1994-09-16 1994-09-16 表情再現装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22201494A JP2843262B2 (ja) 1994-09-16 1994-09-16 表情再現装置

Publications (2)

Publication Number Publication Date
JPH0888850A JPH0888850A (ja) 1996-04-02
JP2843262B2 true JP2843262B2 (ja) 1999-01-06

Family

ID=16775761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22201494A Expired - Fee Related JP2843262B2 (ja) 1994-09-16 1994-09-16 表情再現装置

Country Status (1)

Country Link
JP (1) JP2843262B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016148A (en) * 1997-06-06 2000-01-18 Digital Equipment Corporation Automated mapping of facial images to animation wireframes topologies
US8391639B2 (en) * 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
CN101815562A (zh) * 2007-09-19 2010-08-25 戴维·阿龙·贝内特 能够变形的机器人表面
SG10201510822YA (en) 2015-12-31 2017-07-28 Creative Tech Ltd A method for generating a customized/personalized head related transfer function
CN109165614A (zh) * 2018-08-31 2019-01-08 杭州行开科技有限公司 基于3d摄像头的人脸识别系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ICASSP 91 Vol.4 MULTIDIMENSIONAL SIGNAL PROCESSING 1991 INTERNATIONAL CONFERENCE ON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING p.2737−2740(ANALYSIS AND SYNTHESIS OF FACIAL EXPRESSIONS IN KNOWLEDGE−BASED CODING OF FACIAL IMAGE SEQUNCES)
SIGNAL PROCESSING:IMAGE COMMUNICATION(1989)p.139−152(MODEL−BASED ANALYSIS SYNTHESIS IMAGE CODING (MBASIC) SYSTEM FOR A PERSON’FACE,Fig.1)
電子情報通信学会論文誌,J73−A[7]p.1270−1280(1990)

Also Published As

Publication number Publication date
JPH0888850A (ja) 1996-04-02

Similar Documents

Publication Publication Date Title
US6919892B1 (en) Photo realistic talking head creation system and method
US7027054B1 (en) Do-it-yourself photo realistic talking head creation system and method
US8553037B2 (en) Do-It-Yourself photo realistic talking head creation system and method
CN112215927B (zh) 人脸视频的合成方法、装置、设备及介质
JP4310916B2 (ja) 映像表示装置
Ezzat et al. Visual speech synthesis by morphing visemes
US5734794A (en) Method and system for voice-activated cell animation
US5623587A (en) Method and apparatus for producing an electronic image
JP3030485B2 (ja) 3次元形状抽出方法及び装置
US20140240324A1 (en) Training system and methods for dynamically injecting expression information into an animated facial mesh
JP3810943B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
CN113221840B (zh) 一种人像视频处理方法
CN115393480A (zh) 基于动态神经纹理的说话人合成方法、装置和存储介质
JPH10240908A (ja) 映像合成方法
US7002584B2 (en) Video information producing device
CN113395569B (zh) 视频生成方法及装置
JP2843262B2 (ja) 表情再現装置
JP2002304638A (ja) 表情アニメーション生成装置および表情アニメーション生成方法
JP2003512802A (ja) 三次元モデリングのためのシステム及び方法
CN114741541B (zh) 基于模板化编辑的ai数字人对ppt的交互控制方法及装置
WO1998001830A1 (en) Image processing
CN116129487A (zh) 一种三维形象发音头部姿态模拟方法
Burford et al. Face-to-face implies no interface
Bregler Video based animation techniques for human motion
JP2655239B2 (ja) 顔画像変位検出装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19981006

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071023

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081023

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091023

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091023

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101023

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101023

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111023

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111023

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131023

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees