JPH10255070A - ３次元画像作成装置 - Google Patents
３次元画像作成装置Info
- Publication number
- JPH10255070A JPH10255070A JP5628597A JP5628597A JPH10255070A JP H10255070 A JPH10255070 A JP H10255070A JP 5628597 A JP5628597 A JP 5628597A JP 5628597 A JP5628597 A JP 5628597A JP H10255070 A JPH10255070 A JP H10255070A
- Authority
- JP
- Japan
- Prior art keywords
- face
- expression
- person
- wfm
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 ある人物の表情を他の人物の表情に変換した
３次元顔画像を作成する３次元画像作成装置を提供す
る。 【解決手段】 入力される第１の人物の顔動画像におい
て顔要素の変形量を計測し、その変形量から得られる特
徴ベクトルに基づいて状態確率を求めることにより、上
記第１の人物の表情を認識する表情認識部１と、第２の
人物の３次元顔モデルを生成する３Ｄ顔ＷＦＭ生成部９
と、上記状態確率から表情変換行列を用いてモデル変形
量を算出する表情変換部３と、上記モデル変形量に基づ
いて上記３次元顔モデルを変形し第２の人物の３次元顔
画像を生成する表情生成部５とを備える。
３次元顔画像を作成する３次元画像作成装置を提供す
る。 【解決手段】 入力される第１の人物の顔動画像におい
て顔要素の変形量を計測し、その変形量から得られる特
徴ベクトルに基づいて状態確率を求めることにより、上
記第１の人物の表情を認識する表情認識部１と、第２の
人物の３次元顔モデルを生成する３Ｄ顔ＷＦＭ生成部９
と、上記状態確率から表情変換行列を用いてモデル変形
量を算出する表情変換部３と、上記モデル変形量に基づ
いて上記３次元顔モデルを変形し第２の人物の３次元顔
画像を生成する表情生成部５とを備える。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元画像を作成
する３次元画像作成装置に関するものである。
する３次元画像作成装置に関するものである。
【０００２】
【従来の技術】異なる場所の人物同士の仮想的なシーン
を介した新しいコミュニケーション手段などの仮想的環
境の実現のためには、３次元人物像の表示法が重要であ
り、実際の人物の姿の忠実な再現、人物の姿を別の姿に
変換する仮想変身、の大別して２通りの表示法が存在す
ると考えられる。ここで、仮想変身システムの応用とし
ては娯楽や芸術がまず考えられるが、一方でテレビ電話
などの映像通信が必ずしも盛んでない要因の１つに、自
分の素顔が相手のテレビに映ることへの抵抗感があるこ
とを考えると、仮想変身は映像通信の普及のためのポイ
ントの１つということができる。
を介した新しいコミュニケーション手段などの仮想的環
境の実現のためには、３次元人物像の表示法が重要であ
り、実際の人物の姿の忠実な再現、人物の姿を別の姿に
変換する仮想変身、の大別して２通りの表示法が存在す
ると考えられる。ここで、仮想変身システムの応用とし
ては娯楽や芸術がまず考えられるが、一方でテレビ電話
などの映像通信が必ずしも盛んでない要因の１つに、自
分の素顔が相手のテレビに映ることへの抵抗感があるこ
とを考えると、仮想変身は映像通信の普及のためのポイ
ントの１つということができる。
【０００３】ある人物の表情を別の人物の表情に変換す
る従来の技術としては、顔の３次元コンピュータグラフ
ィック（ＣＧ）モデルにおいて、ある人物より検出され
た表情を再現する技術がある。
る従来の技術としては、顔の３次元コンピュータグラフ
ィック（ＣＧ）モデルにおいて、ある人物より検出され
た表情を再現する技術がある。
【０００４】
【発明が解決しようとする課題】しかしながら、これら
従来の表情再現法に関する技術では、顔の表情筋の動作
に伴う皮膚表面の収縮量の推定結果に基づき、３次元ワ
イヤフレームモデル（３ＤＷＦＭ）を変形して表情を生
成するにとどまっていた。すなわち、これらの従来技術
では、表情認識における特徴抽出処理と、表情生成とが
概念的には直結されていたため、異なる人物同士などの
表情変換処理は全く考慮されていなかった。
従来の表情再現法に関する技術では、顔の表情筋の動作
に伴う皮膚表面の収縮量の推定結果に基づき、３次元ワ
イヤフレームモデル（３ＤＷＦＭ）を変形して表情を生
成するにとどまっていた。すなわち、これらの従来技術
では、表情認識における特徴抽出処理と、表情生成とが
概念的には直結されていたため、異なる人物同士などの
表情変換処理は全く考慮されていなかった。
【０００５】そこで、本発明は、表情筋の動作量の検出
結果だけでなく、表情の認識処理結果も併せて利用する
ことにより、ある人物の表情を他の人物の表情に変換し
て３次元顔画像を生成する３次元画像作成装置を提供す
ることを目的とする。
結果だけでなく、表情の認識処理結果も併せて利用する
ことにより、ある人物の表情を他の人物の表情に変換し
て３次元顔画像を生成する３次元画像作成装置を提供す
ることを目的とする。
【０００６】
【課題を解決するための手段】請求項１に係る３次元画
像作成装置は、入力される第１の人物の顔動画像におい
て、顔要素の変形量を計測し、変形量から得られる特徴
ベクトルに基づいて第１のパラメータを決定することに
より第１の人物の表情を認識する表情認識手段と、第２
の人物の３次元顔モデルを作成するモデル作成手段と、
第１のパラメータを、第２の人物の表情変化から得られ
る顔要素の変化率に基づいて、第２の人物の３次元顔モ
デルを変形するための第２のパラメータに変換する表情
変換手段と、第２のパラメータに応じて３次元顔モデル
を変形し、第２の人物の３次元顔画像を作成する表情生
成手段とを備えるものである。
像作成装置は、入力される第１の人物の顔動画像におい
て、顔要素の変形量を計測し、変形量から得られる特徴
ベクトルに基づいて第１のパラメータを決定することに
より第１の人物の表情を認識する表情認識手段と、第２
の人物の３次元顔モデルを作成するモデル作成手段と、
第１のパラメータを、第２の人物の表情変化から得られ
る顔要素の変化率に基づいて、第２の人物の３次元顔モ
デルを変形するための第２のパラメータに変換する表情
変換手段と、第２のパラメータに応じて３次元顔モデル
を変形し、第２の人物の３次元顔画像を作成する表情生
成手段とを備えるものである。
【０００７】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳しく説明する。
を参照して詳しく説明する。
【０００８】図１は、本発明の実施の形態に係る３次元
画像作成装置の構成を示すブロック図である。図１に示
されるように、この３次元画像作成装置は、ある人物の
顔入力動画像において、顔要素の変形量を計測し、その
変形量から得られる特徴ベクトルに基づいて、第１のパ
ラメータとしての状態確率を算出することにより上記顔
入力動画像の表情を認識する表情認識部１と、他の人物
の顔の形状を入力する形状入力部７と、形状入力部７に
入力されたデータに基づいて３次元（３Ｄ）顔ワイヤフ
レームモデル（ＷＦＭ）を生成する３Ｄ顔ＷＦＭ生成部
９と、表情認識部１で算出された状態確率を、表情認識
部１で計測された変形量に基づいて、上記３Ｄ顔ＷＦＭ
を変形するための第２のパラメータとしての顔モデル変
形パラメータに変換する表情変換部３と、上記他の人物
の顔の映像を入力する映像入力部１１と、映像入力部１
１に入力された映像に基づいて顔表面の色彩情報を獲得
するカラーテクスチャ記憶部１３と、表情生成部５とを
備える。ここで、表情生成部５は、表情変換部３で算出
された顔モデル変形パラメータに基づいて３Ｄ顔ＷＦＭ
生成部９で生成された３Ｄ顔ＷＦＭを変形する３Ｄ顔Ｗ
ＦＭ変形部５１と、変形された３Ｄ顔ＷＦＭにカラーテ
クスチャ記憶部１３で得られた色彩情報に基づいて色彩
を付するテクスチャマッピング部５３とを含む。
画像作成装置の構成を示すブロック図である。図１に示
されるように、この３次元画像作成装置は、ある人物の
顔入力動画像において、顔要素の変形量を計測し、その
変形量から得られる特徴ベクトルに基づいて、第１のパ
ラメータとしての状態確率を算出することにより上記顔
入力動画像の表情を認識する表情認識部１と、他の人物
の顔の形状を入力する形状入力部７と、形状入力部７に
入力されたデータに基づいて３次元（３Ｄ）顔ワイヤフ
レームモデル（ＷＦＭ）を生成する３Ｄ顔ＷＦＭ生成部
９と、表情認識部１で算出された状態確率を、表情認識
部１で計測された変形量に基づいて、上記３Ｄ顔ＷＦＭ
を変形するための第２のパラメータとしての顔モデル変
形パラメータに変換する表情変換部３と、上記他の人物
の顔の映像を入力する映像入力部１１と、映像入力部１
１に入力された映像に基づいて顔表面の色彩情報を獲得
するカラーテクスチャ記憶部１３と、表情生成部５とを
備える。ここで、表情生成部５は、表情変換部３で算出
された顔モデル変形パラメータに基づいて３Ｄ顔ＷＦＭ
生成部９で生成された３Ｄ顔ＷＦＭを変形する３Ｄ顔Ｗ
ＦＭ変形部５１と、変形された３Ｄ顔ＷＦＭにカラーテ
クスチャ記憶部１３で得られた色彩情報に基づいて色彩
を付するテクスチャマッピング部５３とを含む。
【０００９】以下において、上記の主要な各部について
詳しく説明する。図２は、図１に示される表情認識部１
の動作を示すフローチャートである。図２に示されるよ
うに、まず最初にステップＳ１では、入力される動画像
のフレーム毎に顔の各部位の速度ベクトルを推定する。
具体的には、顔入力動画像の隣接する２つのフレームか
らオプティカルフローアルゴリズムを用いて速度ベクト
ルを求める。画像処理においては、たとえば、右目およ
び口をそれぞれ中心とする２つの領域に対して行なう。
この２つの領域の位置合わせは、動画像の第１フレーム
において手動で行なう。なお、動画像はヘルメットに装
着された小型ＣＣＤカメラにより撮影されているので頭
部の動きの影響はない。
詳しく説明する。図２は、図１に示される表情認識部１
の動作を示すフローチャートである。図２に示されるよ
うに、まず最初にステップＳ１では、入力される動画像
のフレーム毎に顔の各部位の速度ベクトルを推定する。
具体的には、顔入力動画像の隣接する２つのフレームか
らオプティカルフローアルゴリズムを用いて速度ベクト
ルを求める。画像処理においては、たとえば、右目およ
び口をそれぞれ中心とする２つの領域に対して行なう。
この２つの領域の位置合わせは、動画像の第１フレーム
において手動で行なう。なお、動画像はヘルメットに装
着された小型ＣＣＤカメラにより撮影されているので頭
部の動きの影響はない。
【００１０】次に、ステップＳ２では、ステップＳ１で
得られた速度ベクトルの各成分に離散フーリエ変換を施
し、フーリエ変換係数の低周波成分（右目・口領域から
７，８個、合計１５個）を特徴ベクトルとして抽出す
る。これらの特徴ベクトルの成分は、表情変化の開始時
および終了時に値が０となり２つの時刻での区別がつか
ないため、右目および口領域の速度ベクトルの自乗和を
時間積分した値を特徴ベクトルの成分として加える。
得られた速度ベクトルの各成分に離散フーリエ変換を施
し、フーリエ変換係数の低周波成分（右目・口領域から
７，８個、合計１５個）を特徴ベクトルとして抽出す
る。これらの特徴ベクトルの成分は、表情変化の開始時
および終了時に値が０となり２つの時刻での区別がつか
ないため、右目および口領域の速度ベクトルの自乗和を
時間積分した値を特徴ベクトルの成分として加える。
【００１１】次に、ステップＳ３，Ｓ４では、それぞれ
隠れマルコフモデル（ＨＭＭ）を用いて各表情カテゴリ
の出力・状態確率を算出する。
隠れマルコフモデル（ＨＭＭ）を用いて各表情カテゴリ
の出力・状態確率を算出する。
【００１２】ＨＭＭは状態数Ｎと、状態Ｓi から次の時
刻に状態Ｓj に遷移する確率ａij、状態Ｓj への遷移に
伴って特徴ベクトルＶを出力する出力確率ｂj （Ｖ）に
よって特徴付けられる。ここでは、表情の変化が３つの
筋肉の状態（弛緩、収縮中、収縮終了）の変化により引
起こされると仮定し、さらに、その変化は１方向である
として図３に示すＬｅｆｔ−ｔｏ−ｒｉｇｈｔ型のＨＭ
Ｍによりモデル化する。
刻に状態Ｓj に遷移する確率ａij、状態Ｓj への遷移に
伴って特徴ベクトルＶを出力する出力確率ｂj （Ｖ）に
よって特徴付けられる。ここでは、表情の変化が３つの
筋肉の状態（弛緩、収縮中、収縮終了）の変化により引
起こされると仮定し、さらに、その変化は１方向である
として図３に示すＬｅｆｔ−ｔｏ−ｒｉｇｈｔ型のＨＭ
Ｍによりモデル化する。
【００１３】ステップＳ３で算出される出力確率ｂ
j （Ｖ）は、以下のように平均値ベクトルμ、共分散行
列Ｕをパラメータとする多変数正規分布Ｎ［Ｖ，μ，
Ｕ］の荷重平均（混合数Ｍ、荷重ｃjk）により近似す
る。
j （Ｖ）は、以下のように平均値ベクトルμ、共分散行
列Ｕをパラメータとする多変数正規分布Ｎ［Ｖ，μ，
Ｕ］の荷重平均（混合数Ｍ、荷重ｃjk）により近似す
る。
【００１４】
【数１】
【００１５】ここで、ｊ番目の混合要素におけるパラメ
ータμjk，Ｕjkは学習データからクラスタリング手法に
より初期値を設定し、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズ
ムを用いて求める。
ータμjk，Ｕjkは学習データからクラスタリング手法に
より初期値を設定し、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズ
ムを用いて求める。
【００１６】一方、ステップＳ４での状態確率算出にお
いては、遷移確率ａijは乱数により初期値を設定し、Ｂ
ａｕｍ−Ｗｅｌｃｈアルゴリズムを用いて求められる。
いては、遷移確率ａijは乱数により初期値を設定し、Ｂ
ａｕｍ−Ｗｅｌｃｈアルゴリズムを用いて求められる。
【００１７】特徴ベクトルＶの時系列Ｖｔが与えられた
とき、ＨＭＭの状態Ｓi の時刻ｔでの第１のパラメータ
としての状態確率ｐi （ｔ）は以下の前向きパスアルゴ
リズムにより求められる。
とき、ＨＭＭの状態Ｓi の時刻ｔでの第１のパラメータ
としての状態確率ｐi （ｔ）は以下の前向きパスアルゴ
リズムにより求められる。
【００１８】
【数２】
【００１９】次に、ステップＳ５では、筋肉の収縮が終
了した状態Ｓ3 の確率が最大となる表情カテゴリを認識
結果とするが、表情変換においては、筋肉が収縮中の状
態Ｓ 2 の確率を表情変換部３に出力する。
了した状態Ｓ3 の確率が最大となる表情カテゴリを認識
結果とするが、表情変換においては、筋肉が収縮中の状
態Ｓ 2 の確率を表情変換部３に出力する。
【００２０】表情変換部３では、次式のように表情認識
部１で得られた表情カテゴリの確率（状態Ｓ2 の確率）
を要素とするベクトルＰに表情変換行列Ｔを乗算して、
以下で説明する第２のパラメータとしての顔モデル変形
パラメータを要素とするベクトルＤを求める。
部１で得られた表情カテゴリの確率（状態Ｓ2 の確率）
を要素とするベクトルＰに表情変換行列Ｔを乗算して、
以下で説明する第２のパラメータとしての顔モデル変形
パラメータを要素とするベクトルＤを求める。
【００２１】
【数３】
【００２２】表情変換行列Ｔの（ｉ，ｊ）要素は各表情
に対する変形パラメータＤi のフレーム間隔当りの変化
量を表わす。この行列Ｔの要素の設定には、Ｅｋｍａｎ
らが表情分析の手法として提案したＦＡＣＳ（Facial A
ction Coding System ）を適用する。
に対する変形パラメータＤi のフレーム間隔当りの変化
量を表わす。この行列Ｔの要素の設定には、Ｅｋｍａｎ
らが表情分析の手法として提案したＦＡＣＳ（Facial A
ction Coding System ）を適用する。
【００２３】具体的には、行列Ｔの要素の値は、表情と
顔モデル変形パラメータとの相関がある要素に対して、
上記他の人物の表情変化を示す顔動画像から予め得られ
る筋肉の収縮速度、顎の回転の角速度、目および口の形
状変化の高さあるいは幅の変化率であり、変換した表情
を形成する他の人物の顔モデルの種類に依存しないもの
である。
顔モデル変形パラメータとの相関がある要素に対して、
上記他の人物の表情変化を示す顔動画像から予め得られ
る筋肉の収縮速度、顎の回転の角速度、目および口の形
状変化の高さあるいは幅の変化率であり、変換した表情
を形成する他の人物の顔モデルの種類に依存しないもの
である。
【００２４】表情生成部５は、３Ｄ顔ＷＦＭ変形部５１
で２９個の顔モデル変形パラメータにより３Ｄ顔ＷＦＭ
を変形し、テクスチャマッピング部５３でその３Ｄ顔Ｗ
ＦＭの上にテクスチャをマッピングする。顔モデル変形
パラメータは、具体的には、表情筋の収縮につき自由度
２６、顎の回転につき自由度１、目の開閉につき自由度
１、口を尖らすことにつき自由度１を有するものであ
る。表情筋の中で、大頬骨筋などの線型筋肉は骨（筋肉
の始点と呼ぶ）と皮膚（筋肉の終点と呼ぶ）とに端点を
持ち、筋肉の収縮により終点の近傍の皮膚を始点の方向
に移動させる作用をする。ここで、この作用を３Ｄ顔Ｗ
ＦＭにおいては終点の近傍の頂点を始点の方向に移動さ
せることにより実現する方法も考えられているが、本実
施の形態においては、皮膚の弾性体モデルに基づいて皮
膚の移動量を算出する。
で２９個の顔モデル変形パラメータにより３Ｄ顔ＷＦＭ
を変形し、テクスチャマッピング部５３でその３Ｄ顔Ｗ
ＦＭの上にテクスチャをマッピングする。顔モデル変形
パラメータは、具体的には、表情筋の収縮につき自由度
２６、顎の回転につき自由度１、目の開閉につき自由度
１、口を尖らすことにつき自由度１を有するものであ
る。表情筋の中で、大頬骨筋などの線型筋肉は骨（筋肉
の始点と呼ぶ）と皮膚（筋肉の終点と呼ぶ）とに端点を
持ち、筋肉の収縮により終点の近傍の皮膚を始点の方向
に移動させる作用をする。ここで、この作用を３Ｄ顔Ｗ
ＦＭにおいては終点の近傍の頂点を始点の方向に移動さ
せることにより実現する方法も考えられているが、本実
施の形態においては、皮膚の弾性体モデルに基づいて皮
膚の移動量を算出する。
【００２５】まず、１次元のモデルで考える。ｘ軸の原
点に筋肉の終点があり、ｘ軸の負方向に筋肉が収縮した
ときの点ｘでのずれをｕ（ｘ）とする。皮膚の微小部分
に働く両側からの応力と皮膚の位置のずれに伴う張力と
は釣り合っているので、応力の差Ｆ1 および張力Ｆ2 を
表わす以下の式を等しいとおいて微分方程式を解くと解
（６）が得られる。
点に筋肉の終点があり、ｘ軸の負方向に筋肉が収縮した
ときの点ｘでのずれをｕ（ｘ）とする。皮膚の微小部分
に働く両側からの応力と皮膚の位置のずれに伴う張力と
は釣り合っているので、応力の差Ｆ1 および張力Ｆ2 を
表わす以下の式を等しいとおいて微分方程式を解くと解
（６）が得られる。
【００２６】
【数４】
【００２７】
【数５】
【００２８】
【数６】
【００２９】ここで、Ｙ，ｋ，Ａは皮膚のヤング率、張
力係数、厚みである。以上のモデルを２次元に拡張して
原点に筋肉の終点があり、始点が負のｘ軸上にある座標
系で考えると、筋肉がｘ軸方向に収縮したときの点
（ｘ，ｙ）でのｘ軸方向のずれｕ（ｘ，ｙ）は以下の式
で書ける。
力係数、厚みである。以上のモデルを２次元に拡張して
原点に筋肉の終点があり、始点が負のｘ軸上にある座標
系で考えると、筋肉がｘ軸方向に収縮したときの点
（ｘ，ｙ）でのｘ軸方向のずれｕ（ｘ，ｙ）は以下の式
で書ける。
【００３０】
【数７】
【００３１】ここで、Ｓは皮膚の剛性率である。剛性率
の値をヤング率の１／３とし、係数を新たにαと定義す
ると式（６）は次式のように書ける。
の値をヤング率の１／３とし、係数を新たにαと定義す
ると式（６）は次式のように書ける。
【００３２】
【数８】
【００３３】ここで、筋肉の幅を考慮して式（７）のｙ
として筋肉の端からの長さが用いられる。
として筋肉の端からの長さが用いられる。
【００３４】係数αは皮膚の柔軟性に比例しており、値
が大きいほど柔軟となり筋肉の影響は局所化される。こ
こで、係数αを操作することにより、表情を強調したり
抑制したりすることができる。
が大きいほど柔軟となり筋肉の影響は局所化される。こ
こで、係数αを操作することにより、表情を強調したり
抑制したりすることができる。
【００３５】たとえば、表情の生成において、顎の回転
は、まず顎骨の近傍の頂点を顎の回転角分回転させ、次
に、隣り合う頂点の移動量の変化が滑らかになるように
調整する。そして、口の輪郭部は式（６）を用いて張力
によるずれを求めて補正する。
は、まず顎骨の近傍の頂点を顎の回転角分回転させ、次
に、隣り合う頂点の移動量の変化が滑らかになるように
調整する。そして、口の輪郭部は式（６）を用いて張力
によるずれを求めて補正する。
【００３６】一方、眼輪筋と口輪筋は、楕円型の形状で
楕円の中心に向かって収縮するため、線型筋のように簡
単にモデル化することはできない。そこで、目の開閉お
よび口を尖らす動作に対して３Ｄモデルの頂点の速度ベ
クトルを予め用意しておき、動作の大きさに応じて速度
ベクトルの長さを変えることにより表情を生成する。
楕円の中心に向かって収縮するため、線型筋のように簡
単にモデル化することはできない。そこで、目の開閉お
よび口を尖らす動作に対して３Ｄモデルの頂点の速度ベ
クトルを予め用意しておき、動作の大きさに応じて速度
ベクトルの長さを変えることにより表情を生成する。
【００３７】以上より、本発明の実施の形態に係る３次
元画像作成装置によれば、ある人物の入力動画像に対し
て、入力動画像の表情の変化に追随したリアリズムの高
い表情を他の人物の顔に対応する３Ｄ顔ＷＦＭ上に生成
することができ、ユーザの所望の顔を用いたインタフェ
ースを容易に作成することができる。また、ある人物の
表情を強調等し、その強調等された表情を他の人物の表
情として表わすことができるため、ある人物の心情を容
易に理解させることのできる３次元顔画像を作成するこ
とができる。
元画像作成装置によれば、ある人物の入力動画像に対し
て、入力動画像の表情の変化に追随したリアリズムの高
い表情を他の人物の顔に対応する３Ｄ顔ＷＦＭ上に生成
することができ、ユーザの所望の顔を用いたインタフェ
ースを容易に作成することができる。また、ある人物の
表情を強調等し、その強調等された表情を他の人物の表
情として表わすことができるため、ある人物の心情を容
易に理解させることのできる３次元顔画像を作成するこ
とができる。
【００３８】
【発明の効果】請求項１に係る３次元画像作成装置によ
れば、動画像中のある人物の表情を他の人物の３次元顔
モデルにおける表情に変換した３次元顔画像を作成する
ことができる。
れば、動画像中のある人物の表情を他の人物の３次元顔
モデルにおける表情に変換した３次元顔画像を作成する
ことができる。
【図１】本発明の実施の形態に係る３次元画像作成装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図２】図１に示される表情認識部の動作を説明するた
めのフローチャートである。
めのフローチャートである。
【図３】状態数が３のときのＬｅｆｔ−ｔｏ−ｒｉｇｈ
ｔ型ＨＭＭの構成を示す図である。
ｔ型ＨＭＭの構成を示す図である。
１ 表情認識部 ３ 表情変換部 ５ 表情生成部 ９ ３Ｄ顔ＷＦＭ生成部 ５１ ３Ｄ顔ＷＦＭ変形部
Claims (1)
- 【請求項１】 入力される第１の人物の顔動画像におい
て、顔要素の変形量を計測し、前記変形量から得られる
特徴ベクトルに基づいて第１のパラメータを決定するこ
とにより前記第１の人物の表情を認識する表情認識手段
と、 第２の人物の３次元顔モデルを作成するモデル作成手段
と、 前記第１のパラメータを、前記第２の人物の表情変化か
ら得られる顔要素の変化率に基づいて、前記第２の人物
の３次元顔モデルを変形するための第２のパラメータに
変換する表情変換手段と、 前記第２のパラメータに応じて前記３次元顔モデルを変
形し、前記第２の人物の３次元顔画像を作成する表情生
成手段とを備える、３次元画像作成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5628597A JP3055666B2 (ja) | 1997-03-11 | 1997-03-11 | ３次元画像作成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5628597A JP3055666B2 (ja) | 1997-03-11 | 1997-03-11 | ３次元画像作成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10255070A true JPH10255070A (ja) | 1998-09-25 |
| JP3055666B2 JP3055666B2 (ja) | 2000-06-26 |
Family
ID=13022837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5628597A Expired - Fee Related JP3055666B2 (ja) | 1997-03-11 | 1997-03-11 | ３次元画像作成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3055666B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020049382A (ko) * | 2000-12-19 | 2002-06-26 | 이형민 | 표정 생성 시스템 및 이를 이용한 표정 생성 방법 |
| KR100421740B1 (ko) * | 2000-11-14 | 2004-03-10 | 삼성전자주식회사 | 객체 활동 모델링 방법 |
| JP2006520971A (ja) * | 2003-03-13 | 2006-09-14 | ソニー ピクチャーズ エンターテインメント | デジタル顔モデルのアニメーション化のためのシステム及び方法 |
| CN1294541C (zh) * | 2001-05-09 | 2007-01-10 | 英特尔公司 | 在单目脸部跟踪中使用数据驱动模型的方法和系统 |
| WO2009038484A1 (en) * | 2007-09-19 | 2009-03-26 | David Aaron Bennett | Deformable robotic surface |
| KR100896065B1 (ko) | 2007-12-17 | 2009-05-07 | 한국전자통신연구원 | ３차원 얼굴 표정 애니메이션 생성 방법 |
| JP2009537927A (ja) * | 2006-05-19 | 2009-10-29 | ソニー株式会社 | 筋骨格形状スキニング |
| JP2014085952A (ja) * | 2012-10-25 | 2014-05-12 | Kddi Corp | 表情生成装置およびプログラム |
| JP2014167737A (ja) * | 2013-02-28 | 2014-09-11 | Kddi Corp | 仕草生成装置およびプログラム |
-
1997
- 1997-03-11 JP JP5628597A patent/JP3055666B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100421740B1 (ko) * | 2000-11-14 | 2004-03-10 | 삼성전자주식회사 | 객체 활동 모델링 방법 |
| US7308030B2 (en) | 2000-11-14 | 2007-12-11 | Samsung Electronics Co., Ltd. | Object activity modeling method |
| US7362806B2 (en) | 2000-11-14 | 2008-04-22 | Samsung Electronics Co., Ltd. | Object activity modeling method |
| KR20020049382A (ko) * | 2000-12-19 | 2002-06-26 | 이형민 | 표정 생성 시스템 및 이를 이용한 표정 생성 방법 |
| CN1294541C (zh) * | 2001-05-09 | 2007-01-10 | 英特尔公司 | 在单目脸部跟踪中使用数据驱动模型的方法和系统 |
| JP2006520971A (ja) * | 2003-03-13 | 2006-09-14 | ソニー ピクチャーズ エンターテインメント | デジタル顔モデルのアニメーション化のためのシステム及び方法 |
| JP2009537927A (ja) * | 2006-05-19 | 2009-10-29 | ソニー株式会社 | 筋骨格形状スキニング |
| US8358310B2 (en) | 2006-05-19 | 2013-01-22 | Sony Corporation | Musculo-skeletal shape skinning |
| WO2009038484A1 (en) * | 2007-09-19 | 2009-03-26 | David Aaron Bennett | Deformable robotic surface |
| US8259102B2 (en) | 2007-12-17 | 2012-09-04 | Electronics And Telecommunications Research Institute | Method and system for producing 3D facial animation |
| KR100896065B1 (ko) | 2007-12-17 | 2009-05-07 | 한국전자통신연구원 | ３차원 얼굴 표정 애니메이션 생성 방법 |
| JP2014085952A (ja) * | 2012-10-25 | 2014-05-12 | Kddi Corp | 表情生成装置およびプログラム |
| JP2014167737A (ja) * | 2013-02-28 | 2014-09-11 | Kddi Corp | 仕草生成装置およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3055666B2 (ja) | 2000-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Terzopoulos et al. | Analysis and synthesis of facial image sequences using physical and anatomical models | |
| KR100715735B1 (ko) | 디지털 안면 모델을 애니메이팅하기 위한 시스템 및 방법 | |
| Noh et al. | A survey of facial modeling and animation techniques | |
| US6967658B2 (en) | Non-linear morphing of faces and their dynamics | |
| JP5344358B2 (ja) | 演技から作り出される顔アニメーション | |
| Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
| Wechsler | Reliable Face Recognition Methods: System Design, Impementation and Evaluation | |
| Choe et al. | Performance‐driven muscle‐based facial animation | |
| US20050057569A1 (en) | Static and dynamic 3-D human face reconstruction | |
| Suetens et al. | Statistically deformable face models for cranio-facial reconstruction | |
| JP2003044873A (ja) | 顔の３次元モデルの作成方法及びその変形方法 | |
| JP3055666B2 (ja) | ３次元画像作成装置 | |
| US7257538B2 (en) | Generating animation from visual and audio input | |
| Tao et al. | Bezier volume deformation model for facial animation and video tracking | |
| Otsuka et al. | Extracting facial motion parameters by tracking feature points | |
| Zhang et al. | Constructing a realistic face model of an individual for expression animation | |
| Ma et al. | Animating visible speech and facial expressions | |
| KR100827749B1 (ko) | 피디에이를 이용한 맞춤형 쓰리디 얼굴 생성/표정구현시스템 및 구현 방법 | |
| Cowe | Example-based computer-generated facial mimicry | |
| Basu | A three-dimensional model of human lip motion | |
| Ishikawa et al. | 3D face expression estimation and generation from 2D image based on a physically constraint model | |
| WO2015042867A1 (zh) | 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法 | |
| Otsuka et al. | Converting facial expressions using recognition-based analysis of image sequences | |
| Lee | The construction and animation of functional facial models from cylindrical range/reflectance data. | |
| Bailly et al. | Hearing by eyes thanks to the “labiophone”: exchanging speech movements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000321 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |