JP2974655B1 - アニメーションシステム - Google Patents
アニメーションシステムInfo
- Publication number
- JP2974655B1 JP2974655B1 JP9882698A JP9882698A JP2974655B1 JP 2974655 B1 JP2974655 B1 JP 2974655B1 JP 9882698 A JP9882698 A JP 9882698A JP 9882698 A JP9882698 A JP 9882698A JP 2974655 B1 JP2974655 B1 JP 2974655B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- coordinate
- dimensional data
- shape
- coordinate conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【要約】
【課題】 従来技術に比較して装置構成が簡単であっ
て、しかも高精度で制御することによりアニメーション
の画像を生成する。 【解決手段】 データ適合処理装置31は人間の形状デ
ータに対して、一般メッシュモデルデータに形状適合化
させ、通過点解析部51は人間の特定の部位が運動する
ときの複数の位置の動きのデータを含む運動学的データ
に対してその動きの加速度の時間微分を最小化するよう
にサンプリングして通過点解析処理を行って圧縮データ
を得る。形状間内挿処理部52は形状適合化された3次
元データと圧縮データとに基づいて対応する形状間で複
数の位置の軌道を所定の曲線に近似して形状間内挿処理
を行って3次元データを軌道に近似した再現データを得
る。時間方向内挿処理部53は再現データに対して圧縮
データを参照して時間方向で内挿処理を行って圧縮デー
タに対応して内挿された再現内挿データをアニメーショ
ン画像データとして出力する。
て、しかも高精度で制御することによりアニメーション
の画像を生成する。 【解決手段】 データ適合処理装置31は人間の形状デ
ータに対して、一般メッシュモデルデータに形状適合化
させ、通過点解析部51は人間の特定の部位が運動する
ときの複数の位置の動きのデータを含む運動学的データ
に対してその動きの加速度の時間微分を最小化するよう
にサンプリングして通過点解析処理を行って圧縮データ
を得る。形状間内挿処理部52は形状適合化された3次
元データと圧縮データとに基づいて対応する形状間で複
数の位置の軌道を所定の曲線に近似して形状間内挿処理
を行って3次元データを軌道に近似した再現データを得
る。時間方向内挿処理部53は再現データに対して圧縮
データを参照して時間方向で内挿処理を行って圧縮デー
タに対応して内挿された再現内挿データをアニメーショ
ン画像データとして出力する。
Description
【0001】
【発明の属する技術分野】本発明は、顔面などの人間の
アニメーションの画像を生成するアニメーションシステ
ムに関する。
アニメーションの画像を生成するアニメーションシステ
ムに関する。
【0002】
【従来の技術】これまでに数多くのコンピュータグラフ
ィックスによる顔表現がなされているが(例えば、従来
技術文献「F.I.Parke et al.,“Computer facial anima
tion",AK Peters,Wellesley,1996年」参照。)、リアル
な顔画像生成のためには、形状や質感の静的情報ととも
に、表情や発話による動作や形状の時間変化などの動的
情報が重要となる。特に、発話を伴う顔アニメーション
に関して、レーザースキャナ等の入力デバイスにより得
られたリアルな形状については、違和感無く音声と同期
した表情変化を与えることが重要となる。
ィックスによる顔表現がなされているが(例えば、従来
技術文献「F.I.Parke et al.,“Computer facial anima
tion",AK Peters,Wellesley,1996年」参照。)、リアル
な顔画像生成のためには、形状や質感の静的情報ととも
に、表情や発話による動作や形状の時間変化などの動的
情報が重要となる。特に、発話を伴う顔アニメーション
に関して、レーザースキャナ等の入力デバイスにより得
られたリアルな形状については、違和感無く音声と同期
した表情変化を与えることが重要となる。
【0003】本発明者らは、音声研究の分野において、
発話時の音響情報が顔面の少数の特徴点の座標の時間変
化から精度良く見積ることができることを示している
(例えば、従来技術文献「E.Vantikiotis-Bateson et a
l.,“Physiological modelingof facial motion during
speech",Transaction of the Technical Comity on Ps
ychological and Phyciological Accoustics,H−96
−65:1−8,1996年」参照。)。このことか
ら、本発明者らこの顔面の同じ特徴点が発話時の表情生
成に大きく起因しているものと考えている。
発話時の音響情報が顔面の少数の特徴点の座標の時間変
化から精度良く見積ることができることを示している
(例えば、従来技術文献「E.Vantikiotis-Bateson et a
l.,“Physiological modelingof facial motion during
speech",Transaction of the Technical Comity on Ps
ychological and Phyciological Accoustics,H−96
−65:1−8,1996年」参照。)。このことか
ら、本発明者らこの顔面の同じ特徴点が発話時の表情生
成に大きく起因しているものと考えている。
【0004】
【発明が解決しようとする課題】ところが、これまでの
顔面部分のアニメーションに関しては、発話同期を主眼
としたものでは唇部分を重要視しているものがほとんど
で、顔面のさらに広い領域まで考慮した発話アニメーシ
ョンの検討はほとんどなされていない。中でも表情筋と
皮膚をモデル化したリアルな発話表情合成モデルも報告
されており(例えば、従来技術文献「森島繁生ほか,
“物理法則に基づいた筋肉モデルによる口唇形状の制
御,第12回NICOGRAPH論文コンテスト論文
集,pp.219−229,1996年」参照。)、こ
れらのモデルはより自然な発話同期アニメーションにお
いて非常に重要な役割を担っている。しかしながら、そ
の反面、モデルが非常に複雑な問題となるために多くの
計算機パワーが必要となり、今後予想されるアプリケー
ション、例えば秘書エージェント・アバタなどの人間の
パーソナルコンピュータ上から利用できるような発話同
期表情生成アニメーションへの応用を考えると、できる
だけ簡易にかつ制御しやすい形態で顔面を含めた発話表
情表現を行なうことが望まれる。
顔面部分のアニメーションに関しては、発話同期を主眼
としたものでは唇部分を重要視しているものがほとんど
で、顔面のさらに広い領域まで考慮した発話アニメーシ
ョンの検討はほとんどなされていない。中でも表情筋と
皮膚をモデル化したリアルな発話表情合成モデルも報告
されており(例えば、従来技術文献「森島繁生ほか,
“物理法則に基づいた筋肉モデルによる口唇形状の制
御,第12回NICOGRAPH論文コンテスト論文
集,pp.219−229,1996年」参照。)、こ
れらのモデルはより自然な発話同期アニメーションにお
いて非常に重要な役割を担っている。しかしながら、そ
の反面、モデルが非常に複雑な問題となるために多くの
計算機パワーが必要となり、今後予想されるアプリケー
ション、例えば秘書エージェント・アバタなどの人間の
パーソナルコンピュータ上から利用できるような発話同
期表情生成アニメーションへの応用を考えると、できる
だけ簡易にかつ制御しやすい形態で顔面を含めた発話表
情表現を行なうことが望まれる。
【0005】本発明の第1の目的は以上の問題点を解決
し、従来技術に比較して装置構成が簡単であって、しか
も高精度で制御することによりアニメーションの画像を
生成することができるアニメーションシステムを提供す
ることにある。
し、従来技術に比較して装置構成が簡単であって、しか
も高精度で制御することによりアニメーションの画像を
生成することができるアニメーションシステムを提供す
ることにある。
【0006】本発明の第2の目的は、従来技術に比較し
て装置構成が簡単であって、しかもきわめて低いビット
レートで動画像を伝送し又は記憶することができるアニ
メーションシステムを提供することにある。
て装置構成が簡単であって、しかもきわめて低いビット
レートで動画像を伝送し又は記憶することができるアニ
メーションシステムを提供することにある。
【0007】さらに、本発明の第3の目的は、第1の目
的又は第2の目的に加えて、音声と同期したアニメーシ
ョンの画像を生成することができるアニメーションシス
テムを提供することにある。
的又は第2の目的に加えて、音声と同期したアニメーシ
ョンの画像を生成することができるアニメーションシス
テムを提供することにある。
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【課題を解決するための手段】本発明に係る請求項1記
載のアニメーションシステムは、離散的な座標値を用い
て線分又は点を定義することにより人間の顔面形状を表
わす形状データを含み入力される第1の3次元データに
対して、別の顔面形状を表わす形状データであって第1
の3次元データとはデータ数及び形状が異なる形状デー
タを含み入力される第2の3次元データを、外見上上記
第1の3次元データと同様の形状へと形状適合化させる
適合手段(31)と、上記人間の顔面の中の特定の部位
が運動するときの所定の複数の位置の動きのデータを含
む運動学的データを記憶する第1の記憶手段(64)
と、上記適合手段(31)によって形状適合化された3
次元データに対して所定の主成分分析処理を行うことに
より、上記3次元データに含まれる形状データに対する
寄与率が所定のしきい値よりも大きくかつ互いに独立な
複数の主成分の合成係数を算出するとともに、上記複数
の主成分からそのサブセットである上記複数の位置に対
応する成分のみを抽出し、抽出した成分に基づいて形状
データをそのサブセットから求めるための線形予測子を
算出する分解手段(56)と、上記第1の記憶手段(6
4)に記憶された運動学的データに基づいて、上記分解
手段(56)によって算出された線形予測子を用いて、
上記運動学的データを再現するための主成分の合成係数
を算出する算出手段(57)と、上記算出手段(57)
によって算出された上記運動学的データを再現するため
の主成分の合成係数に対して複数の位置の動きの加速度
の時間微分を最小化するようにサンプリングして通過点
解析処理を行うことによりその情報量を圧縮して圧縮デ
ータを得て出力する解析手段(51a)と、上記解析手
段(51a)から出力される圧縮データに対して、時間
方向で内挿処理を行うことにより、上記圧縮データに対
応して内挿された再現内挿データを得て出力する内挿処
理手段(58)と、上記分解手段(56)によって算出
された複数の主成分の合成係数と、上記内挿処理手段
(58)から出力される再現内挿データとを合成するこ
とにより、アニメーション画像データを得て出力する合
成手段(59)とを備えたことを特徴とする。
載のアニメーションシステムは、離散的な座標値を用い
て線分又は点を定義することにより人間の顔面形状を表
わす形状データを含み入力される第1の3次元データに
対して、別の顔面形状を表わす形状データであって第1
の3次元データとはデータ数及び形状が異なる形状デー
タを含み入力される第2の3次元データを、外見上上記
第1の3次元データと同様の形状へと形状適合化させる
適合手段(31)と、上記人間の顔面の中の特定の部位
が運動するときの所定の複数の位置の動きのデータを含
む運動学的データを記憶する第1の記憶手段(64)
と、上記適合手段(31)によって形状適合化された3
次元データに対して所定の主成分分析処理を行うことに
より、上記3次元データに含まれる形状データに対する
寄与率が所定のしきい値よりも大きくかつ互いに独立な
複数の主成分の合成係数を算出するとともに、上記複数
の主成分からそのサブセットである上記複数の位置に対
応する成分のみを抽出し、抽出した成分に基づいて形状
データをそのサブセットから求めるための線形予測子を
算出する分解手段(56)と、上記第1の記憶手段(6
4)に記憶された運動学的データに基づいて、上記分解
手段(56)によって算出された線形予測子を用いて、
上記運動学的データを再現するための主成分の合成係数
を算出する算出手段(57)と、上記算出手段(57)
によって算出された上記運動学的データを再現するため
の主成分の合成係数に対して複数の位置の動きの加速度
の時間微分を最小化するようにサンプリングして通過点
解析処理を行うことによりその情報量を圧縮して圧縮デ
ータを得て出力する解析手段(51a)と、上記解析手
段(51a)から出力される圧縮データに対して、時間
方向で内挿処理を行うことにより、上記圧縮データに対
応して内挿された再現内挿データを得て出力する内挿処
理手段(58)と、上記分解手段(56)によって算出
された複数の主成分の合成係数と、上記内挿処理手段
(58)から出力される再現内挿データとを合成するこ
とにより、アニメーション画像データを得て出力する合
成手段(59)とを備えたことを特徴とする。
【0015】また、請求項2記載のアニメーションシス
テムは、請求項1記載のアニメーションシステムにおい
て、上記人間の顔面の中の特定の部位は口であり、当該
口が運動するときに発声するときの時間情報とその音声
の音声信号を記憶する第2の記憶手段(62)と、上記
第2の記憶手段(62)に記憶された音声信号を所定の
音素分析データを参照して音素に分解して上記音声に対
応した音素列データをその時間情報とともに出力する音
素分解処理手段(50)とをさらに備え、上記解析手段
(51a)は、上記圧縮データを得るときに、上記時間
情報を参照して、上記音素分解処理手段(50)から出
力される音素列データを上記圧縮データに対応づけし、
上記内挿処理手段(58)は、上記解析手段(51a)
によって対応づけされた音素列データを参照して、上記
内挿された再現内挿データに対して上記音素列データを
同期させた後、上記音素列データを音声信号データに変
換して再現内挿データとともに出力し、上記合成手段
(59)は、上記合成したアニメーション画像データと
音声信号データとを同期して出力する。
テムは、請求項1記載のアニメーションシステムにおい
て、上記人間の顔面の中の特定の部位は口であり、当該
口が運動するときに発声するときの時間情報とその音声
の音声信号を記憶する第2の記憶手段(62)と、上記
第2の記憶手段(62)に記憶された音声信号を所定の
音素分析データを参照して音素に分解して上記音声に対
応した音素列データをその時間情報とともに出力する音
素分解処理手段(50)とをさらに備え、上記解析手段
(51a)は、上記圧縮データを得るときに、上記時間
情報を参照して、上記音素分解処理手段(50)から出
力される音素列データを上記圧縮データに対応づけし、
上記内挿処理手段(58)は、上記解析手段(51a)
によって対応づけされた音素列データを参照して、上記
内挿された再現内挿データに対して上記音素列データを
同期させた後、上記音素列データを音声信号データに変
換して再現内挿データとともに出力し、上記合成手段
(59)は、上記合成したアニメーション画像データと
音声信号データとを同期して出力する。
【0016】さらに、請求項3記載のアニメーションシ
ステムは、請求項1又は2記載のアニメーションシステ
ムにおいて、上記第2の3次元データは、メッシュモデ
ルに基づく形状データを含むことを特徴とする。
ステムは、請求項1又は2記載のアニメーションシステ
ムにおいて、上記第2の3次元データは、メッシュモデ
ルに基づく形状データを含むことを特徴とする。
【0017】また、請求項4記載のアニメーションシス
テムは、請求項1乃至3のうちの1つに記載のアニメー
ションシステムにおいて、上記適合手段(31)は、3
次元データ中の形状を定義する第1の座標系を有する上
記第1の3次元データに対して、上記第1の3次元デー
タの形状データの少なくとも一部を所定の座標変換処理
により変換した後の2組の座標値に対して残りの座標値
が一意に決定されるような他の第2の座標系を有する第
3の3次元データに座標変換する第1の座標変換手段
(3a)と、上記第1の座標系を有する上記第2の3次
元データに対して、上記座標変換処理を実行して上記第
2の座標系を有する第4の3次元データに座標変換する
第2の座標変換手段(3b)と、上記第1の3次元デー
タの形状データの所定の特徴部分と、上記第2の3次元
データの形状データの所定の特徴部分とを抽出し、上記
抽出された上記第1の3次元データの形状データの特徴
部分を示す線分又は点の組を、上記抽出された上記第2
の3次元データの形状データの特徴部分を示す線分又は
点の組に対して対応づけを行い対応関係を示す対応関係
データを生成する対応生成手段(4)と、上記対応生成
手段(4)によって生成された各特徴部分間の対応関係
データに基づいて、上記第2の3次元データの特徴部分
から、上記第1の3次元データの特徴部分への、第2の
座標系における線分又は点の組の対応間のシフト量を算
出するシフト量算出手段(6)と、上記シフト量算出手
段(6)によって算出されたシフト量に基づいて、上記
第1の座標変換手段(3a)によって座標変換された第
3の3次元データにおける、上記第2の座標変換手段
(3b)によって座標変換された第4の3次元データか
らの、所定の対象点の変動座標位置を算出する変動座標
算出手段(7)と、上記変動座標算出手段(7)によっ
て算出された変動座標位置に基づいて、上記第4の3次
元データが上記第3の3次元データに形状適合化するよ
うに、上記第3の3次元データに対応する第4の3次元
データの座標値を、内挿又は外挿により類推しかつ類推
された座標値を上記第4の3次元データの対応付けを行
った特徴部分を示す線分または点の組に加算することに
より、上記第4の3次元データを上記第3の3次元デー
タに形状適合化された第2の座標系を有する第5の3次
元データを生成するデータ類推及び加算手段(8,9)
と、上記データ類推及び加算手段(8,9)によって生
成された第2の座標系を有する第5の3次元データに対
して、上記第1と第2の座標変換手段(3a,3b)に
よる座標変換処理とは逆の座標逆変換処理を実行して、
上記第2の3次元データを上記第1の3次元データに形
状適合化された第1の座標系を有する第6の3次元デー
タを生成して上記分解手段(56)に出力する座標逆変
換手段(10)とを備えたことを特徴とする。
テムは、請求項1乃至3のうちの1つに記載のアニメー
ションシステムにおいて、上記適合手段(31)は、3
次元データ中の形状を定義する第1の座標系を有する上
記第1の3次元データに対して、上記第1の3次元デー
タの形状データの少なくとも一部を所定の座標変換処理
により変換した後の2組の座標値に対して残りの座標値
が一意に決定されるような他の第2の座標系を有する第
3の3次元データに座標変換する第1の座標変換手段
(3a)と、上記第1の座標系を有する上記第2の3次
元データに対して、上記座標変換処理を実行して上記第
2の座標系を有する第4の3次元データに座標変換する
第2の座標変換手段(3b)と、上記第1の3次元デー
タの形状データの所定の特徴部分と、上記第2の3次元
データの形状データの所定の特徴部分とを抽出し、上記
抽出された上記第1の3次元データの形状データの特徴
部分を示す線分又は点の組を、上記抽出された上記第2
の3次元データの形状データの特徴部分を示す線分又は
点の組に対して対応づけを行い対応関係を示す対応関係
データを生成する対応生成手段(4)と、上記対応生成
手段(4)によって生成された各特徴部分間の対応関係
データに基づいて、上記第2の3次元データの特徴部分
から、上記第1の3次元データの特徴部分への、第2の
座標系における線分又は点の組の対応間のシフト量を算
出するシフト量算出手段(6)と、上記シフト量算出手
段(6)によって算出されたシフト量に基づいて、上記
第1の座標変換手段(3a)によって座標変換された第
3の3次元データにおける、上記第2の座標変換手段
(3b)によって座標変換された第4の3次元データか
らの、所定の対象点の変動座標位置を算出する変動座標
算出手段(7)と、上記変動座標算出手段(7)によっ
て算出された変動座標位置に基づいて、上記第4の3次
元データが上記第3の3次元データに形状適合化するよ
うに、上記第3の3次元データに対応する第4の3次元
データの座標値を、内挿又は外挿により類推しかつ類推
された座標値を上記第4の3次元データの対応付けを行
った特徴部分を示す線分または点の組に加算することに
より、上記第4の3次元データを上記第3の3次元デー
タに形状適合化された第2の座標系を有する第5の3次
元データを生成するデータ類推及び加算手段(8,9)
と、上記データ類推及び加算手段(8,9)によって生
成された第2の座標系を有する第5の3次元データに対
して、上記第1と第2の座標変換手段(3a,3b)に
よる座標変換処理とは逆の座標逆変換処理を実行して、
上記第2の3次元データを上記第1の3次元データに形
状適合化された第1の座標系を有する第6の3次元デー
タを生成して上記分解手段(56)に出力する座標逆変
換手段(10)とを備えたことを特徴とする。
【0018】さらに、請求項5記載のアニメーションシ
ステムは、請求項4記載のアニメーションシステムにお
いて、上記第1の3次元データの形状データに対して部
分的な変形を指示するために入力された第1の座標系に
おける座標値のシフト量に対して、上記座標変換処理を
実行して上記第2の座標系における座標値のシフト量に
座標変換する第3の座標変換手段(3c)をさらに備
え、上記変動座標算出手段(7,7a)は、上記第3の
座標変換手段(3c)によって座標変換された座標値の
シフト量と、上記シフト量算出手段(6)によって算出
されたシフト量に基づいて、上記第1の座標変換手段
(3a)によって座標変換された第3の3次元データに
おける所定の対象点の変動座標位置を算出することを特
徴とする。
ステムは、請求項4記載のアニメーションシステムにお
いて、上記第1の3次元データの形状データに対して部
分的な変形を指示するために入力された第1の座標系に
おける座標値のシフト量に対して、上記座標変換処理を
実行して上記第2の座標系における座標値のシフト量に
座標変換する第3の座標変換手段(3c)をさらに備
え、上記変動座標算出手段(7,7a)は、上記第3の
座標変換手段(3c)によって座標変換された座標値の
シフト量と、上記シフト量算出手段(6)によって算出
されたシフト量に基づいて、上記第1の座標変換手段
(3a)によって座標変換された第3の3次元データに
おける所定の対象点の変動座標位置を算出することを特
徴とする。
【0019】またさらに、請求項6記載のアニメーショ
ンシステムは、請求項4又は5記載のアニメーションシ
ステムにおいて、入力される3次元データに対して互い
に異なる座標変換処理を実行して座標変換後の3次元デ
ータを出力する複数の座標変換装置(14−1,14−
2,…,14−n)と、上記複数の座標変換装置(14
−1,14−2,…,14−n)により座標変換された
3次元データに基づいて、それぞれ座標変換後の2組の
座標値に対して残りの座標値が一意に決定されるか否か
を判断するために、一意に決定されるときにより小さい
値となる評価関数の関数値を算出する変換評価手段(1
5)と、上記変換評価手段(15)によって算出された
上記複数の座標変換装置に対応する複数の関数値のうち
最小の関数値に対応する座標変換装置を選択して、選択
された座標変換装置(14−1,14−2,…,14−
n)から出力される変換後の3次元データを出力する座
標変換選択手段(16)と、上記座標変換手段(16)
により選択された座標変換装置(14−1,14−2,
…,14−n)と、その座標変換処理のためのパラメー
タを記憶した後、上記第1と第2と第3の座標変換手段
(3a,3b,3c)に出力して設定する記憶装置(2
0)と、上記記憶装置(20)に記憶された座標変換処
理のためのパラメータに基づいて、当該座標変換処理と
は逆の座標逆変換処理のためのパラメータを算出して上
記座標逆変換手段(9)に出力して設定する逆変換パラ
メータ算出手段(21)とをさらに備えたことを特徴と
する。
ンシステムは、請求項4又は5記載のアニメーションシ
ステムにおいて、入力される3次元データに対して互い
に異なる座標変換処理を実行して座標変換後の3次元デ
ータを出力する複数の座標変換装置(14−1,14−
2,…,14−n)と、上記複数の座標変換装置(14
−1,14−2,…,14−n)により座標変換された
3次元データに基づいて、それぞれ座標変換後の2組の
座標値に対して残りの座標値が一意に決定されるか否か
を判断するために、一意に決定されるときにより小さい
値となる評価関数の関数値を算出する変換評価手段(1
5)と、上記変換評価手段(15)によって算出された
上記複数の座標変換装置に対応する複数の関数値のうち
最小の関数値に対応する座標変換装置を選択して、選択
された座標変換装置(14−1,14−2,…,14−
n)から出力される変換後の3次元データを出力する座
標変換選択手段(16)と、上記座標変換手段(16)
により選択された座標変換装置(14−1,14−2,
…,14−n)と、その座標変換処理のためのパラメー
タを記憶した後、上記第1と第2と第3の座標変換手段
(3a,3b,3c)に出力して設定する記憶装置(2
0)と、上記記憶装置(20)に記憶された座標変換処
理のためのパラメータに基づいて、当該座標変換処理と
は逆の座標逆変換処理のためのパラメータを算出して上
記座標逆変換手段(9)に出力して設定する逆変換パラ
メータ算出手段(21)とをさらに備えたことを特徴と
する。
【0020】
【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。
る実施形態について説明する。
【0021】<第1の実施形態>図1は、本発明に係る
第1の実施形態である顔面アニメーションシステムの構
成を示すブロック図である。
第1の実施形態である顔面アニメーションシステムの構
成を示すブロック図である。
【0022】発話の際に話者から与えられる画像情報と
しては、唇の動きに加えて頬や顎も含めた顔面領域の動
きが重要な働きを担っており、特に発話時において声道
と顔面領域の動きに高い相関があることがこれまでに調
べられている。本実施形態では、レーザースキャナによ
り得られた代表的な母音の連続発話時の形状を含む基本
的な顔形状をもとに、発話中の顔面領域の少数の特徴点
の3次元運動から個々の時間フレームにおける顔形状を
合成し、音声と同期した顔面アニメーションを生成する
顔面アニメーションシステムについて以下に説明する。
また、通過点解析(via point analysis)によりこれら
顔面特徴点の軌道をより少ないデータ量で記述すること
による情報量削減に関する方法について以下に説明す
る。
しては、唇の動きに加えて頬や顎も含めた顔面領域の動
きが重要な働きを担っており、特に発話時において声道
と顔面領域の動きに高い相関があることがこれまでに調
べられている。本実施形態では、レーザースキャナによ
り得られた代表的な母音の連続発話時の形状を含む基本
的な顔形状をもとに、発話中の顔面領域の少数の特徴点
の3次元運動から個々の時間フレームにおける顔形状を
合成し、音声と同期した顔面アニメーションを生成する
顔面アニメーションシステムについて以下に説明する。
また、通過点解析(via point analysis)によりこれら
顔面特徴点の軌道をより少ないデータ量で記述すること
による情報量削減に関する方法について以下に説明す
る。
【0023】本実施形態では、以下の点を特徴としてい
る。 (a)リアルな顔面アニメーション生成、(b)自然音
声又は合成音声との完全同期、(c)話者固有の自然な
顔面運動の分析及び合成、並びに、(d)顔面3次元運
動の少数パラメータでの表現。従来技術では、発話中の
顔形状をリアルタイムでアニメーションに必要なレート
及び空間解像度で同時に取り込む事が可能な装置が存在
しない。そこで、本実施形態では、モーションキャプチ
ャによる顔面アニメーションシステムを基本とし、発話
時の顔の動きに関しては顔面上の数点に配置したマーカ
ーをリアルタイムでトラッキングを行うトラッキングデ
バイスを用いて計測し、このデータを解析した後、その
結果を用いて予め用意された基本的な顔形状を変形する
ことによりアニメーションを生成する。
る。 (a)リアルな顔面アニメーション生成、(b)自然音
声又は合成音声との完全同期、(c)話者固有の自然な
顔面運動の分析及び合成、並びに、(d)顔面3次元運
動の少数パラメータでの表現。従来技術では、発話中の
顔形状をリアルタイムでアニメーションに必要なレート
及び空間解像度で同時に取り込む事が可能な装置が存在
しない。そこで、本実施形態では、モーションキャプチ
ャによる顔面アニメーションシステムを基本とし、発話
時の顔の動きに関しては顔面上の数点に配置したマーカ
ーをリアルタイムでトラッキングを行うトラッキングデ
バイスを用いて計測し、このデータを解析した後、その
結果を用いて予め用意された基本的な顔形状を変形する
ことによりアニメーションを生成する。
【0024】図1において、離散的な座標値を用いて線
分又は点を定義することにより人間の例えば基本的な顔
面の形状(基本顔形状)を表わす形状データが適合対象
3次元データメモリ1に記憶される一方、上記基本顔形
状を表現するデータ数及び形状が異なる他の3次元デー
タである一般メッシュモデルデータが適合元3次元デー
タメモリ2に記憶される。データ適合処理装置31は、
詳細後述するように、メモリ1及び2からそれぞれ3次
元データを読み出して、一般メッシュモデルデータを、
外見上基本顔形状データと同様の形状へと形状適合化さ
せて、形状適合化後の3次元データを、バッファメモリ
64を介して形状間内挿処理部52に出力する。
分又は点を定義することにより人間の例えば基本的な顔
面の形状(基本顔形状)を表わす形状データが適合対象
3次元データメモリ1に記憶される一方、上記基本顔形
状を表現するデータ数及び形状が異なる他の3次元デー
タである一般メッシュモデルデータが適合元3次元デー
タメモリ2に記憶される。データ適合処理装置31は、
詳細後述するように、メモリ1及び2からそれぞれ3次
元データを読み出して、一般メッシュモデルデータを、
外見上基本顔形状データと同様の形状へと形状適合化さ
せて、形状適合化後の3次元データを、バッファメモリ
64を介して形状間内挿処理部52に出力する。
【0025】一方、人間の特定の部位、例えば顔面が運
動するときの所定の複数の位置の動きのデータを含む運
動学的データは運動学的データメモリ61に記憶され、
画像処理系において、通過点解析部51は、運動学的デ
ータメモリ61に記憶された運動学的データに対して複
数の位置の動きの加速度の時間微分を最小化するように
サンプリングして通過点解析処理を行うことによりその
情報量を圧縮して圧縮データを得て、バッファメモリ6
5を介して形状間内挿処理部52に出力するとともに、
バッファメモリ66を介して時間方向内挿処理部53に
出力する。形状間内挿処理部52は、形状適合化された
3次元データと、通過点解析部51によって得られた圧
縮データとに基づいて、例えば、2つのデータの対応す
る形状間で、各通過点における個々の基本顔形状(/a
/,/i/,/u/,/e/,/o/)の合成係数の時
間変化そのものを通過点解析を行い、それによって内挿
を行うように、上記人間の特定の部位、例えば顔面が運
動するときの複数の位置の軌道を所定の曲線に近似して
形状間内挿処理を行うことにより、上記3次元データ
を、上記人間の特定の部位が運動するときの複数の位置
の軌道に近似した再現データを得て時間方向内挿処理部
53に出力する。これに応答して、時間方向内挿処理部
53は、入力される再現データに対して、通過点解析部
51から出力される圧縮データを参照して、例えば、2
つのデータの対応する形状間で、各通過点における個々
の基本顔形状(/a/,/i/,/u/,/e/,/o
/)の合成係数の時間変化そのものを通過点解析を行
い、それによって内挿を行うように、時間方向で内挿処
理を行うことにより、上記圧縮データに対応して内挿さ
れた再現内挿データを得て、アニメーション画像データ
としてアニメーション画像データメモリ67に出力す
る。
動するときの所定の複数の位置の動きのデータを含む運
動学的データは運動学的データメモリ61に記憶され、
画像処理系において、通過点解析部51は、運動学的デ
ータメモリ61に記憶された運動学的データに対して複
数の位置の動きの加速度の時間微分を最小化するように
サンプリングして通過点解析処理を行うことによりその
情報量を圧縮して圧縮データを得て、バッファメモリ6
5を介して形状間内挿処理部52に出力するとともに、
バッファメモリ66を介して時間方向内挿処理部53に
出力する。形状間内挿処理部52は、形状適合化された
3次元データと、通過点解析部51によって得られた圧
縮データとに基づいて、例えば、2つのデータの対応す
る形状間で、各通過点における個々の基本顔形状(/a
/,/i/,/u/,/e/,/o/)の合成係数の時
間変化そのものを通過点解析を行い、それによって内挿
を行うように、上記人間の特定の部位、例えば顔面が運
動するときの複数の位置の軌道を所定の曲線に近似して
形状間内挿処理を行うことにより、上記3次元データ
を、上記人間の特定の部位が運動するときの複数の位置
の軌道に近似した再現データを得て時間方向内挿処理部
53に出力する。これに応答して、時間方向内挿処理部
53は、入力される再現データに対して、通過点解析部
51から出力される圧縮データを参照して、例えば、2
つのデータの対応する形状間で、各通過点における個々
の基本顔形状(/a/,/i/,/u/,/e/,/o
/)の合成係数の時間変化そのものを通過点解析を行
い、それによって内挿を行うように、時間方向で内挿処
理を行うことにより、上記圧縮データに対応して内挿さ
れた再現内挿データを得て、アニメーション画像データ
としてアニメーション画像データメモリ67に出力す
る。
【0026】ここで、内挿処理部52及び53において
は、各通過点における個々の基本顔形状(/a/,/i
/,/u/,/e/,/o/)の合成係数の時間変化そ
のものを通過点解析を行い、それによって内挿を行って
いるが、本発明はこれに限らず、各通過点をキーフレー
ムとして、単純な線形内挿又はイーズ・イン/イーズ・
アウト(ease−in/ease−out;入口と出
口を滑らかに補間して変形する。)を行って内挿処理を
実行してもよい。
は、各通過点における個々の基本顔形状(/a/,/i
/,/u/,/e/,/o/)の合成係数の時間変化そ
のものを通過点解析を行い、それによって内挿を行って
いるが、本発明はこれに限らず、各通過点をキーフレー
ムとして、単純な線形内挿又はイーズ・イン/イーズ・
アウト(ease−in/ease−out;入口と出
口を滑らかに補間して変形する。)を行って内挿処理を
実行してもよい。
【0027】次いで、音声処理系においては、人間の特
定の部位、例えば顔面が運動するときに発声するときの
時間情報とその音声の音声信号は音声波形データメモリ
62に記憶され、音素分解処理部50は、音声波形デー
タメモリ62から音声信号データを読み出して、例えば
音素コードブックメモリ63に記憶された音素コードブ
ックを参照して、公知の方法により、音声信号データを
音素列に分解して上記音声に対応した音素列データをそ
の時間情報とともに通過点解析部51に出力する。ここ
で、音素分解処理部50は、例えば音素隠れマルコフモ
デル(音素HMM)を参照して音素分解してもよい。
定の部位、例えば顔面が運動するときに発声するときの
時間情報とその音声の音声信号は音声波形データメモリ
62に記憶され、音素分解処理部50は、音声波形デー
タメモリ62から音声信号データを読み出して、例えば
音素コードブックメモリ63に記憶された音素コードブ
ックを参照して、公知の方法により、音声信号データを
音素列に分解して上記音声に対応した音素列データをそ
の時間情報とともに通過点解析部51に出力する。ここ
で、音素分解処理部50は、例えば音素隠れマルコフモ
デル(音素HMM)を参照して音素分解してもよい。
【0028】これに応答して、通過点解析部51は、上
記圧縮データを得るときに、上記時間情報を参照して、
音素分解処理部50から出力される音素列データに対し
て通過点解析の解析期間の特定を行う。ここで、運動学
的データと音声波形データが時間同期したことを前提と
して、音素分解された音声波形の個々の音素の開始時刻
と終了時刻とを通過点解析部51に与え、音素列データ
に対して通過点解析の解析期間の特定を行う。このよう
に、音素列データが上記圧縮データに対応づけした後、
対応づけられた音素列データをバッファメモリ66を介
して時間方向内挿処理部53に出力する。これに応答し
て、時間方向内挿処理部53は、入力される対応づけさ
れた音素列データを参照して、上述のように上記内挿さ
れた再現内挿データに対して上記音素列データを同期さ
せた後、上記音素列データを音声信号データに変換し
て、上記アニメーション画像データとともにそれに同期
させた音声信号データとしてアニメーション画像メモリ
67に出力する。
記圧縮データを得るときに、上記時間情報を参照して、
音素分解処理部50から出力される音素列データに対し
て通過点解析の解析期間の特定を行う。ここで、運動学
的データと音声波形データが時間同期したことを前提と
して、音素分解された音声波形の個々の音素の開始時刻
と終了時刻とを通過点解析部51に与え、音素列データ
に対して通過点解析の解析期間の特定を行う。このよう
に、音素列データが上記圧縮データに対応づけした後、
対応づけられた音素列データをバッファメモリ66を介
して時間方向内挿処理部53に出力する。これに応答し
て、時間方向内挿処理部53は、入力される対応づけさ
れた音素列データを参照して、上述のように上記内挿さ
れた再現内挿データに対して上記音素列データを同期さ
せた後、上記音素列データを音声信号データに変換し
て、上記アニメーション画像データとともにそれに同期
させた音声信号データとしてアニメーション画像メモリ
67に出力する。
【0029】そして、再生処理部54は、アニメーショ
ン画像データメモリ67からアニメーション画像データ
を読み出して例えばRGB画像データの形式で又はNT
SC画像信号の形式でCRTディスプレイ55に出力し
て、アニメーション画像を表示するとともに、アニメー
ション画像データに同期した音声信号データをアニメー
ション画像メモリ67から読み出してD/A変換した
後、スピーカ(図示せず。)を介して出力することによ
り、アニメーション画像データに同期した音声信号の音
声を出力する。
ン画像データメモリ67からアニメーション画像データ
を読み出して例えばRGB画像データの形式で又はNT
SC画像信号の形式でCRTディスプレイ55に出力し
て、アニメーション画像を表示するとともに、アニメー
ション画像データに同期した音声信号データをアニメー
ション画像メモリ67から読み出してD/A変換した
後、スピーカ(図示せず。)を介して出力することによ
り、アニメーション画像データに同期した音声信号の音
声を出力する。
【0030】以上の図1のアニメーションシステムにお
いて、データ適合処理装置31と、音素分解処理部50
と、通過点解析部51と、形状間内挿処理部52と、時
間方向内挿処理部53と、再生処理部54とは、例え
ば、デジタル計算機などのコンピュータで構成される。
また、各メモリ1、2、61、62、63、64、6
5、66、67は例えばハードディスクメモリなどの記
憶装置で構成される。
いて、データ適合処理装置31と、音素分解処理部50
と、通過点解析部51と、形状間内挿処理部52と、時
間方向内挿処理部53と、再生処理部54とは、例え
ば、デジタル計算機などのコンピュータで構成される。
また、各メモリ1、2、61、62、63、64、6
5、66、67は例えばハードディスクメモリなどの記
憶装置で構成される。
【0031】さらに、図1の処理部の詳細について以下
説明する。まず、話者形状データの取得について説明す
る。話者形状データに関しては、代表的な発音時等にお
ける静的な状態での顔全体の基本形状と、実際の発話時
の顔面上の特定部位の3次元座標時間変化、すなわち運
動学的データを計測した。アニメーション生成には、こ
の発話時の運動学的データを再現するために、各フレー
ムにおける運動学的データを表現できる最適な顔形状を
得るような基本顔形状の重ね合わせを求め、必要に応じ
てさらにその形状の部分変形を行う。ここで、形状デー
タとは、3次元座標値により表される点とそれらのつな
がりにより線分、多角形を表現し、さらに、それらに集
合により3次元的な形状を表現するような3次元形状を
記述するためのデータ及び名称、色、法線、材質、線
幅、テクスチャ座標、ラベル、他のデータとの相関関係
など記述した形状以外の付加情報も含む3次元データを
いう。以下にこれらの基本顔形状データと運動学的デー
タの取得方法について説明する。
説明する。まず、話者形状データの取得について説明す
る。話者形状データに関しては、代表的な発音時等にお
ける静的な状態での顔全体の基本形状と、実際の発話時
の顔面上の特定部位の3次元座標時間変化、すなわち運
動学的データを計測した。アニメーション生成には、こ
の発話時の運動学的データを再現するために、各フレー
ムにおける運動学的データを表現できる最適な顔形状を
得るような基本顔形状の重ね合わせを求め、必要に応じ
てさらにその形状の部分変形を行う。ここで、形状デー
タとは、3次元座標値により表される点とそれらのつな
がりにより線分、多角形を表現し、さらに、それらに集
合により3次元的な形状を表現するような3次元形状を
記述するためのデータ及び名称、色、法線、材質、線
幅、テクスチャ座標、ラベル、他のデータとの相関関係
など記述した形状以外の付加情報も含む3次元データを
いう。以下にこれらの基本顔形状データと運動学的デー
タの取得方法について説明する。
【0032】まず、基本顔形状データの取得について説
明する。特定話者の顔面アニメーションを生成するにあ
たり、まずその代表的な発音時等における基本形状を計
測した。計測にはサイバーウエア(Cyberware)社製の
レーザーイメージスキャナを用いて、母音/a/,/i
/,/u/,/e/,/o/を連続発声時の形状と、口
腔を意識的に開いた場合と閉じた場合及び自然な状態
(それぞれ口の開放、口の閉塞、口の中間状態とい
う。)の合計8つの3次元形状を計測した。このイメー
ジスキャナは、鉛直回転軸まわりに360度回転し、各
回転位置において軸方向に形状と表面テクスチャを走査
するもので、解像度は回転方向・縦方向ともに512分
割で計測を行った。計測した基本顔形状の3次元データ
は、適合対象3次元データメモリ1に記憶される。
明する。特定話者の顔面アニメーションを生成するにあ
たり、まずその代表的な発音時等における基本形状を計
測した。計測にはサイバーウエア(Cyberware)社製の
レーザーイメージスキャナを用いて、母音/a/,/i
/,/u/,/e/,/o/を連続発声時の形状と、口
腔を意識的に開いた場合と閉じた場合及び自然な状態
(それぞれ口の開放、口の閉塞、口の中間状態とい
う。)の合計8つの3次元形状を計測した。このイメー
ジスキャナは、鉛直回転軸まわりに360度回転し、各
回転位置において軸方向に形状と表面テクスチャを走査
するもので、解像度は回転方向・縦方向ともに512分
割で計測を行った。計測した基本顔形状の3次元データ
は、適合対象3次元データメモリ1に記憶される。
【0033】図8は、図1の顔面アニメーションシステ
ムにおいて用いる基本顔形状データ(母音/a/)の一
例を示す正面図であり、母音/a/の計測データに関し
て単純に三角形パッチを施した例である。この例ではメ
ッシュ構造が見易いようにオリジナルデータの半分の密
度でパッチを生成してある。また、同時に計測されたテ
クスチャの顔面領域を図9に示す。今回計測したデータ
では、顔面アニメーションに利用できるような有効領域
はおおよそ300×300程度の領域であった。
ムにおいて用いる基本顔形状データ(母音/a/)の一
例を示す正面図であり、母音/a/の計測データに関し
て単純に三角形パッチを施した例である。この例ではメ
ッシュ構造が見易いようにオリジナルデータの半分の密
度でパッチを生成してある。また、同時に計測されたテ
クスチャの顔面領域を図9に示す。今回計測したデータ
では、顔面アニメーションに利用できるような有効領域
はおおよそ300×300程度の領域であった。
【0034】次いで、発話時の運動学的データの取得に
ついて説明する。発話時の特定部位の時間変化を正確に
取得するため、高速かつ高精度でのトラッキングが可能
な、ノーザン・デジタル・インコーポレーテッド(Nort
hern Digital,Inc.)社製のトラッキング装置(OPT
OTRAK(登録商標))を用いた。これは赤外線ダイ
オードを用いたマーカーをCCDにより計測するもの
で、複数のマーカーに関してビデオレート以上でのサン
プリングが可能である。
ついて説明する。発話時の特定部位の時間変化を正確に
取得するため、高速かつ高精度でのトラッキングが可能
な、ノーザン・デジタル・インコーポレーテッド(Nort
hern Digital,Inc.)社製のトラッキング装置(OPT
OTRAK(登録商標))を用いた。これは赤外線ダイ
オードを用いたマーカーをCCDにより計測するもの
で、複数のマーカーに関してビデオレート以上でのサン
プリングが可能である。
【0035】この計測のためには唇のまわり、頬・顎を
主としてマーカーを配置する。図10(a)は図1の顔
面アニメーションシステムにおいて(メモリ61に格納
された)運動学的データの取得のための赤外線ダイオー
ドの配置例を示す正面図であり、図10(b)はその側
面図である。この例では顔面に18個のマーカーを使用
し60Hzでサンプリングを行った。また頭部全体の動
きを得るためにこれら18個とは別に5個のマーカーを
頭部に装着している。実験ではこれらマーカーの軌道以
外にも、音声信号(標本化周波数:10kHz)と、ビ
デオテープレーコーダ(VTR)により正面顔画像を同
時に記録している。発話時の運動学的データは、上述の
3次元データと同様のデータを含み、運動学的データメ
モリ61に記憶される。
主としてマーカーを配置する。図10(a)は図1の顔
面アニメーションシステムにおいて(メモリ61に格納
された)運動学的データの取得のための赤外線ダイオー
ドの配置例を示す正面図であり、図10(b)はその側
面図である。この例では顔面に18個のマーカーを使用
し60Hzでサンプリングを行った。また頭部全体の動
きを得るためにこれら18個とは別に5個のマーカーを
頭部に装着している。実験ではこれらマーカーの軌道以
外にも、音声信号(標本化周波数:10kHz)と、ビ
デオテープレーコーダ(VTR)により正面顔画像を同
時に記録している。発話時の運動学的データは、上述の
3次元データと同様のデータを含み、運動学的データメ
モリ61に記憶される。
【0036】次いで、形状データの一般化適合について
説明する。先に得られた基本顔形状データの重ね合わせ
を行うことにより、発話時の運動学的データを再現する
任意の顔形状にほぼ近い顔形状の合成が可能となる。し
かしながら、個々の計測データ間のずれやメッシュ構造
が顔の特徴に対して無関係に配置されているため、計測
された基本顔形状データそのものを重ね合わせ、またア
ニメーションのために制御を行うには困難であり、何ら
かの構造化が必要となる。そこで、本実施形態では、後
述のジェネリックメッシュを用い、詳細後述するデータ
適合処理装置31を用いて、同じ構造のメッシュを個々
の計測された基本顔形状に適合することにより一般化を
行なった。本実施形態では、今回利用する全ての基本顔
形状データが円柱座標系(r,θ,z)において(θ,
z)平面に対して半径rが一意に決定されるという性質
を利用し(θ,z)空間で特徴部分に基づいたデータ適
合を行う。
説明する。先に得られた基本顔形状データの重ね合わせ
を行うことにより、発話時の運動学的データを再現する
任意の顔形状にほぼ近い顔形状の合成が可能となる。し
かしながら、個々の計測データ間のずれやメッシュ構造
が顔の特徴に対して無関係に配置されているため、計測
された基本顔形状データそのものを重ね合わせ、またア
ニメーションのために制御を行うには困難であり、何ら
かの構造化が必要となる。そこで、本実施形態では、後
述のジェネリックメッシュを用い、詳細後述するデータ
適合処理装置31を用いて、同じ構造のメッシュを個々
の計測された基本顔形状に適合することにより一般化を
行なった。本実施形態では、今回利用する全ての基本顔
形状データが円柱座標系(r,θ,z)において(θ,
z)平面に対して半径rが一意に決定されるという性質
を利用し(θ,z)空間で特徴部分に基づいたデータ適
合を行う。
【0037】図11は、図1の顔面アニメーションシス
テムにおいて用いる(メモリ2に格納された)一般メッ
シュモデルの一例を示す正面図である。すなわち、具体
的には図11に示すような、変形を考慮して目・口など
にノードを集中させた基本的なメッシュ構造を作り、こ
の目・鼻・口・顎などを特徴部分とする。そして、
(θ,z)平面上において、予めジェネリックメッシュ
(図10参照。)上で定義されたこれらの部分と、基本
顔形状データ上でこれらに対応する特徴部分を指定する
ことにより対応関係を明らかにし、この対応関係を元に
特徴部分以外のノード点を(θ,z)平面における顔基
本形状データ上の適当な場所に配置し、最後に個々のノ
ードに関し、(θ,z)平面から一意に決定される半径
r値を用いて形状への適合を行う。
テムにおいて用いる(メモリ2に格納された)一般メッ
シュモデルの一例を示す正面図である。すなわち、具体
的には図11に示すような、変形を考慮して目・口など
にノードを集中させた基本的なメッシュ構造を作り、こ
の目・鼻・口・顎などを特徴部分とする。そして、
(θ,z)平面上において、予めジェネリックメッシュ
(図10参照。)上で定義されたこれらの部分と、基本
顔形状データ上でこれらに対応する特徴部分を指定する
ことにより対応関係を明らかにし、この対応関係を元に
特徴部分以外のノード点を(θ,z)平面における顔基
本形状データ上の適当な場所に配置し、最後に個々のノ
ードに関し、(θ,z)平面から一意に決定される半径
r値を用いて形状への適合を行う。
【0038】この特徴部分以外のノード点の配置には、
特徴ベースの公知のモーフィングを利用した。モーフィ
ングは本来画像変形のために用いられる手法で、画像中
に変形の基準となる特徴ベクトルを指定し、他の画像に
おいてその特徴ベクトルに対応するベクトルを決定する
ことにより画像間の対応づけを行い、その特徴ベクトル
からの相対位置に基づいて画像中の全ての画素の移動や
画素値の補間を行い、滑らかな画像変形を得るものであ
る。この特徴ベクトルに基づく画素の移動を利用して、
ここでは単純に特徴部分以外のノード点の位置決定を行
った。
特徴ベースの公知のモーフィングを利用した。モーフィ
ングは本来画像変形のために用いられる手法で、画像中
に変形の基準となる特徴ベクトルを指定し、他の画像に
おいてその特徴ベクトルに対応するベクトルを決定する
ことにより画像間の対応づけを行い、その特徴ベクトル
からの相対位置に基づいて画像中の全ての画素の移動や
画素値の補間を行い、滑らかな画像変形を得るものであ
る。この特徴ベクトルに基づく画素の移動を利用して、
ここでは単純に特徴部分以外のノード点の位置決定を行
った。
【0039】図11に、用いた(θ,z)平面上におけ
るジェネリックメッシュを示し、図12に先の図8及び
図9における母音/a/の形状の(θ,z)平面上にお
ける適合結果を示す。図中で太い線で示される目・鼻・
口・顎の輪郭線と、黒丸で示すノードを特徴部分として
変形を行った。この黒丸は運動学的データを取得したマ
ーカーに対応している。用いたジェネリックメッシュ
は、544個のノード数と、942個のポリゴンミラー
により構成され、このうち約120個のノードが特徴部
分として定義されている。基本顔形状における特徴部分
の指定は、例えば、図4の装置を用いて手作業で指示し
てもよい。この適合結果をもとに、(θ,z)平面から
一意に決定される半径r値により3次元化した結果を図
13に示す。特徴部分の指定や適合で得られる(θ,
z)平面は、離散的に与えられる基本形状データ中の近
傍の計測点より内挿により求めている。また、本実施形
態では、顔面しか考慮していないため、口腔内はモデル
化されていない。
るジェネリックメッシュを示し、図12に先の図8及び
図9における母音/a/の形状の(θ,z)平面上にお
ける適合結果を示す。図中で太い線で示される目・鼻・
口・顎の輪郭線と、黒丸で示すノードを特徴部分として
変形を行った。この黒丸は運動学的データを取得したマ
ーカーに対応している。用いたジェネリックメッシュ
は、544個のノード数と、942個のポリゴンミラー
により構成され、このうち約120個のノードが特徴部
分として定義されている。基本顔形状における特徴部分
の指定は、例えば、図4の装置を用いて手作業で指示し
てもよい。この適合結果をもとに、(θ,z)平面から
一意に決定される半径r値により3次元化した結果を図
13に示す。特徴部分の指定や適合で得られる(θ,
z)平面は、離散的に与えられる基本形状データ中の近
傍の計測点より内挿により求めている。また、本実施形
態では、顔面しか考慮していないため、口腔内はモデル
化されていない。
【0040】以上のデータ適合処理装置31による一般
化適合処理により全ての基本顔形状データが同じメッシ
ュ構造を持つこととなり、異なる基本顔形状間での内挿
や重ね合わせが容易に行えることになる。
化適合処理により全ての基本顔形状データが同じメッシ
ュ構造を持つこととなり、異なる基本顔形状間での内挿
や重ね合わせが容易に行えることになる。
【0041】次いで、運動学的データと基本顔形状デー
タの対応づけについて説明する。図14は、図1の顔面
アニメーションシステムにおいて用いる基本顔形状の合
成により任意時刻の顔形状を近似する方法を示すブロッ
ク図である。本実施形態のアニメーションの生成によ
り、図14に示すような複数の基本顔形状データの重ね
合わせと、部分変形により運動学的データの各フレーム
におけるより近い形状を獲得する。しかしながら、マー
カーから得られた運動学的データと、静的データとして
取得した個々の基本顔形状データとでは観測した座標系
が異なるため、これらの座標系間の整合を取る必要があ
る。例えば、図4の装置を用いて、マーカーと対応する
点を基本顔形状データ上で手作業により指示し、これら
の点を参照点として個々の基本顔形状データ間の整合性
を得るようにしてもよい。そして、例えば、詳細後述す
る図3の座標変換部3a,3bにより、運動学的データ
の平均的な座標値に対してこれら基本顔形状データから
運動学的データへの座標変換を行う。
タの対応づけについて説明する。図14は、図1の顔面
アニメーションシステムにおいて用いる基本顔形状の合
成により任意時刻の顔形状を近似する方法を示すブロッ
ク図である。本実施形態のアニメーションの生成によ
り、図14に示すような複数の基本顔形状データの重ね
合わせと、部分変形により運動学的データの各フレーム
におけるより近い形状を獲得する。しかしながら、マー
カーから得られた運動学的データと、静的データとして
取得した個々の基本顔形状データとでは観測した座標系
が異なるため、これらの座標系間の整合を取る必要があ
る。例えば、図4の装置を用いて、マーカーと対応する
点を基本顔形状データ上で手作業により指示し、これら
の点を参照点として個々の基本顔形状データ間の整合性
を得るようにしてもよい。そして、例えば、詳細後述す
る図3の座標変換部3a,3bにより、運動学的データ
の平均的な座標値に対してこれら基本顔形状データから
運動学的データへの座標変換を行う。
【0042】この座標変換処理では、回転及び平行移動
の6自由度をもった座標変換によりそれぞれの座標系間
が関係づけられるものとし、対応する参照点との距離の
差の合計を評価関数とする単純な最小値問題としてこれ
らの座標変換を求めた。個々の基本顔形状データにおい
て、発話形状の違いによる参照点の位置のづれが生じる
が、本実施形態では、顎先のように極端に大きなずれが
生じる部分は適宜除外して座標変換を求めた。
の6自由度をもった座標変換によりそれぞれの座標系間
が関係づけられるものとし、対応する参照点との距離の
差の合計を評価関数とする単純な最小値問題としてこれ
らの座標変換を求めた。個々の基本顔形状データにおい
て、発話形状の違いによる参照点の位置のづれが生じる
が、本実施形態では、顎先のように極端に大きなずれが
生じる部分は適宜除外して座標変換を求めた。
【0043】これらの座標変換によりほぼ整合性が取ら
れた基本顔形状データの集合から、それらの成分の合成
により各時間フレームにおける運動学的データを表現す
るべく、各基本顔形状の合成成分を求める。基本顔形状
jでのi番目のマーカーに対応する座標ベクトルを→v
s(i,j)とし(ここで、ベクトルの記号→は符号の上に付
与すべきものであるが、特許明細書において不可能であ
るため、符号の前に付与し、以下、同様である。)、基
本顔形状jの合成係数をkjとすると、8種類の基本顔
形状から合成されるi番目のマーカに対応する座標ベク
トル→v’d(i)は次式で表すことができる。
れた基本顔形状データの集合から、それらの成分の合成
により各時間フレームにおける運動学的データを表現す
るべく、各基本顔形状の合成成分を求める。基本顔形状
jでのi番目のマーカーに対応する座標ベクトルを→v
s(i,j)とし(ここで、ベクトルの記号→は符号の上に付
与すべきものであるが、特許明細書において不可能であ
るため、符号の前に付与し、以下、同様である。)、基
本顔形状jの合成係数をkjとすると、8種類の基本顔
形状から合成されるi番目のマーカに対応する座標ベク
トル→v’d(i)は次式で表すことができる。
【0044】
【数1】
【0045】これと実際の運動学的データとして得られ
るi番目のマーカの座標ベクトル→vd(i)との距離の差
|→vd(i)−→v’d(i)|の総和を評価関数として、こ
の値を最小とする合成係数kjの組を求めればよい。こ
の評価関数をfとすると、先の式を用いて以下のように
まとめることができる。
るi番目のマーカの座標ベクトル→vd(i)との距離の差
|→vd(i)−→v’d(i)|の総和を評価関数として、こ
の値を最小とする合成係数kjの組を求めればよい。こ
の評価関数をfとすると、先の式を用いて以下のように
まとめることができる。
【0046】
【数2】
【0047】本実施形態では、公知のシンプレックス法
により、各フレームにおけるfを最小とする合成係数k
1,k2,…,k8を求めた。
により、各フレームにおけるfを最小とする合成係数k
1,k2,…,k8を求めた。
【0048】次いで、通過点解析部51による通過点解
析処理について説明する。トラッキングデバイス装置に
より得られた限られた数の顔面特徴点の運動学的データ
は、発話に伴う顔面運動を記述するにために重要な情報
を多く含んでいる。しかしながら、テキストデータから
音声及び映像データへの変換処理を目的としたアプリケ
ーションや画像符号化技術への応用を考えると、更なる
情報圧縮が要求される。そこで我々は、この運動学的デ
ータを公知の通過点解析(Via point analysis)(例え
ば、従来技術文献「Y.Wada et al.,“A theory for cur
sive handwriting based on the minimization princip
le",Biological Cybernetics,73:3-13,1995年」参
照。)により更にその情報量を削減し、オリジナルの顔
面特徴点の軌道に近いものを再現できるデータ表現方法
を用いる。
析処理について説明する。トラッキングデバイス装置に
より得られた限られた数の顔面特徴点の運動学的データ
は、発話に伴う顔面運動を記述するにために重要な情報
を多く含んでいる。しかしながら、テキストデータから
音声及び映像データへの変換処理を目的としたアプリケ
ーションや画像符号化技術への応用を考えると、更なる
情報圧縮が要求される。そこで我々は、この運動学的デ
ータを公知の通過点解析(Via point analysis)(例え
ば、従来技術文献「Y.Wada et al.,“A theory for cur
sive handwriting based on the minimization princip
le",Biological Cybernetics,73:3-13,1995年」参
照。)により更にその情報量を削減し、オリジナルの顔
面特徴点の軌道に近いものを再現できるデータ表現方法
を用いる。
【0049】通過点解析は、対象となる全マーカーの軌
道の各座標成分について、最小のジャーク(ここで、ジ
ャークとは、顔面などの急な動作変化をいう。また、最
小のジャークは、加速度の時間微分=ジャークが最小と
なることをいう。)を満たす5次のスプライン曲線によ
り近似する手法である。
道の各座標成分について、最小のジャーク(ここで、ジ
ャークとは、顔面などの急な動作変化をいう。また、最
小のジャークは、加速度の時間微分=ジャークが最小と
なることをいう。)を満たす5次のスプライン曲線によ
り近似する手法である。
【0050】図15は、図1の通過点解析部51の通過
点解析処理を示すグラフであって、図15(a)は当該
処理における元の軌跡と予測された軌跡を示すグラフで
あり、図15(b)は当該処理において抽出された通過
点を示すグラフであり、図15(c)は当該処理におい
て予測された第2の軌跡を示すグラフであり、図15
(d)は当該処理において抽出された第2の通過点を示
すグラフである。
点解析処理を示すグラフであって、図15(a)は当該
処理における元の軌跡と予測された軌跡を示すグラフで
あり、図15(b)は当該処理において抽出された通過
点を示すグラフであり、図15(c)は当該処理におい
て予測された第2の軌跡を示すグラフであり、図15
(d)は当該処理において抽出された第2の通過点を示
すグラフである。
【0051】まず、解析対象となる2つの時刻で決定さ
れるオリジナルの軌道上の点Vs,Vfに関して、 (1)この2つの点Vs,Vf間を結ぶ最小のジャーク
を得る軌道を全てのマーカーの座標成分について予測す
る。そして個々の予測軌道とオリジナルの軌道との誤差
を算出し、さらにその総和も求める。 (2)ある成分において誤差がその成分で設定した誤差
のしきい値を越えた場合、又は誤差の総和があるしきい
値を越えた場合、オリジナルの軌道との距離が最大とな
るマーカーの座標成分のオリジナルの軌道上に通過点
(via point)V1が定義される。この通過点V1はそ
の同時刻において他の軌道においても定義される。 (3)新たに点Vs,V1,Vf間を結ぶ最小のジャー
クを得る軌道を全てのマーカーの座標成分について予測
し、同様に誤差を算出する。 (4)算出された誤差を評価し、必要なら更に通過点V
2を追加する。
れるオリジナルの軌道上の点Vs,Vfに関して、 (1)この2つの点Vs,Vf間を結ぶ最小のジャーク
を得る軌道を全てのマーカーの座標成分について予測す
る。そして個々の予測軌道とオリジナルの軌道との誤差
を算出し、さらにその総和も求める。 (2)ある成分において誤差がその成分で設定した誤差
のしきい値を越えた場合、又は誤差の総和があるしきい
値を越えた場合、オリジナルの軌道との距離が最大とな
るマーカーの座標成分のオリジナルの軌道上に通過点
(via point)V1が定義される。この通過点V1はそ
の同時刻において他の軌道においても定義される。 (3)新たに点Vs,V1,Vf間を結ぶ最小のジャー
クを得る軌道を全てのマーカーの座標成分について予測
し、同様に誤差を算出する。 (4)算出された誤差を評価し、必要なら更に通過点V
2を追加する。
【0052】以後(3),(4)の操作を繰り返すこと
により、オリジナルの軌道に近い軌道をより少ないデー
タ点列により表現することができる。ただし、これら誤
差に関するしきい値の設定、通過点の取り得る数などに
より、どの程度オリジナル軌道に近いものを再現できる
か決定されるため、情報量圧縮と再現データの評価が重
要なポイントとなる。
により、オリジナルの軌道に近い軌道をより少ないデー
タ点列により表現することができる。ただし、これら誤
差に関するしきい値の設定、通過点の取り得る数などに
より、どの程度オリジナル軌道に近いものを再現できる
か決定されるため、情報量圧縮と再現データの評価が重
要なポイントとなる。
【0053】本発明者による実験における運動学的デー
タの場合では18個のマーカーを使用したので、x,
y,z方向に関して合計54種の軌道について同時に通
過点解析を行った。図16は、図1の通過点解析部51
の通過点解析処理による解析例であるあごと上唇のマー
カー軌跡の一例を示すグラフであり、通過点解析例とし
て、解析を行った54種の軌道中の顎と上唇の2点に関
する各座標軸方向ごとの結果を示す。ここで、実線がオ
リジナルの軌道、丸が抽出された通過点、点線がこの通
過点により再構成された軌道である。この例では約4.
6秒のデータ区間全てについて解析を行い、標本化周波
数60Hzで約300個の点列で構成されているオリジ
ナルの軌道から31個所の通過点が得られ、情報量とし
ては約10まで削減されている。
タの場合では18個のマーカーを使用したので、x,
y,z方向に関して合計54種の軌道について同時に通
過点解析を行った。図16は、図1の通過点解析部51
の通過点解析処理による解析例であるあごと上唇のマー
カー軌跡の一例を示すグラフであり、通過点解析例とし
て、解析を行った54種の軌道中の顎と上唇の2点に関
する各座標軸方向ごとの結果を示す。ここで、実線がオ
リジナルの軌道、丸が抽出された通過点、点線がこの通
過点により再構成された軌道である。この例では約4.
6秒のデータ区間全てについて解析を行い、標本化周波
数60Hzで約300個の点列で構成されているオリジ
ナルの軌道から31個所の通過点が得られ、情報量とし
ては約10まで削減されている。
【0054】次いで、図1の顔面アニメーションシステ
ムによるアニメーションの生成例の実験結果について説
明する。この実験では、日本人男性被験者に対して、
「桃太郎」で良く使われる文章から、通常の発話で5秒
程度のものを5種類各々4回づつの発話を記録した。発
話の際は(1)頭をできるだけ安定させる、(2)語り
かけるように自然に頭を動かす、(3)意識的にランダ
ムに動かす、というように頭部の動きを加えた実験を行
った。この中から、「おばあさんは川へ洗濯にでかけま
した」という文章に対して、図17乃至図20に、原画
像(上)、オリジナルの運動学的データから生成した画
像(中)、通過点解析から生成した画像(下)を示す。
また、図21乃至図23にそれぞれ、入力音声信号、そ
してこの時の運動学的データをもとに前述の方法により
求めた8種の基本形状の合成比率、通過点解析結果から
求めた合成比率を示す。ここで、図17乃至図20の各
画像はそれぞれ時刻t=0.00,1.17,2.4
3,3.20(秒)におけるものである。
ムによるアニメーションの生成例の実験結果について説
明する。この実験では、日本人男性被験者に対して、
「桃太郎」で良く使われる文章から、通常の発話で5秒
程度のものを5種類各々4回づつの発話を記録した。発
話の際は(1)頭をできるだけ安定させる、(2)語り
かけるように自然に頭を動かす、(3)意識的にランダ
ムに動かす、というように頭部の動きを加えた実験を行
った。この中から、「おばあさんは川へ洗濯にでかけま
した」という文章に対して、図17乃至図20に、原画
像(上)、オリジナルの運動学的データから生成した画
像(中)、通過点解析から生成した画像(下)を示す。
また、図21乃至図23にそれぞれ、入力音声信号、そ
してこの時の運動学的データをもとに前述の方法により
求めた8種の基本形状の合成比率、通過点解析結果から
求めた合成比率を示す。ここで、図17乃至図20の各
画像はそれぞれ時刻t=0.00,1.17,2.4
3,3.20(秒)におけるものである。
【0055】図21乃至図23の合成比率の結果では運
動学的データから直接得た結果と通過点解析の結果とで
はかなり異なったプロファイルを示しているが、自然な
状態の基本顔形状(口の中間状態)を主として、他の母
音等の形状成分を加算(時には削減)することにより入
力データに近い出力を得る結果が得るという点では同じ
傾向が得られている。個々のフレームを比較すると、図
17乃至図20から明らかなように、運動学的データか
ら直接得た結果と通過点解析の結果とで差異が見られる
が、現在の合成比率の計算精度では残念ながら運動学的
データを直接用いた場合でも必ずしも予想通りの結果が
が得られないフレームもある。このような場合の例とし
て、本来ならば口が完全に閉じているべき状態でアニメ
ーションではそれが実現できていなかったりする場合が
視覚的に特に目立つものとしてあげられる。
動学的データから直接得た結果と通過点解析の結果とで
はかなり異なったプロファイルを示しているが、自然な
状態の基本顔形状(口の中間状態)を主として、他の母
音等の形状成分を加算(時には削減)することにより入
力データに近い出力を得る結果が得るという点では同じ
傾向が得られている。個々のフレームを比較すると、図
17乃至図20から明らかなように、運動学的データか
ら直接得た結果と通過点解析の結果とで差異が見られる
が、現在の合成比率の計算精度では残念ながら運動学的
データを直接用いた場合でも必ずしも予想通りの結果が
が得られないフレームもある。このような場合の例とし
て、本来ならば口が完全に閉じているべき状態でアニメ
ーションではそれが実現できていなかったりする場合が
視覚的に特に目立つものとしてあげられる。
【0056】この計算精度へ影響を与える要因として、
基本顔形状側でのマーカー対応点の指定誤差、また基本
形状データ間での較正誤差などが考えられる。最終的な
生成形状に与えるマーカーとオリジナルの運動学的デー
タとの誤差は、全体の平均誤差で約2mm、特に上唇の
領域での合成の誤差が大きく、動きの表現上不完全のも
のとなっている。通過点解析の結果から生成したアニメ
ーションについては、上記のように現状の画像生成部の
クオリティに問題があるため、オリジナルの軌道を用い
て生成した場合との具体的な圧縮率や視覚効果等の評価
にまでは至らなかったが、自然音声と組み合わせた場合
はほぼ違和感のない発話アニメーションが得られること
ができた。
基本顔形状側でのマーカー対応点の指定誤差、また基本
形状データ間での較正誤差などが考えられる。最終的な
生成形状に与えるマーカーとオリジナルの運動学的デー
タとの誤差は、全体の平均誤差で約2mm、特に上唇の
領域での合成の誤差が大きく、動きの表現上不完全のも
のとなっている。通過点解析の結果から生成したアニメ
ーションについては、上記のように現状の画像生成部の
クオリティに問題があるため、オリジナルの軌道を用い
て生成した場合との具体的な圧縮率や視覚効果等の評価
にまでは至らなかったが、自然音声と組み合わせた場合
はほぼ違和感のない発話アニメーションが得られること
ができた。
【0057】しかしながら、図16に示したように、通
過点解析の結果はおおむねオリジナルの軌道を再現して
はいるものの、変化の激しさ及び通過点の数によっては
オリジナルの軌道をトレースしきれない場合や、オリジ
ナルには無いような動きが生じることもある。このオリ
ジナルには無い動きの顕著な例としては、図21乃至図
23中の計測区間の始めと終り部分の実際には発話、顔
面運動ともほとんど行われていない領域のプロファイル
の差に見られる。図16における顎のオリジナルの軌道
とのずれが図21乃至23のプロファイルに直接影響し
ており、このため原画像と比較した場合の動きの差とし
て現れている。本実験の解析例では音声の計測区間全て
に関して通過点解析を行ったが、実際には発話に関連す
る時間のみを解析対象とすれば良いため、本実験のよう
な不要な動きのずれを避けることができる。
過点解析の結果はおおむねオリジナルの軌道を再現して
はいるものの、変化の激しさ及び通過点の数によっては
オリジナルの軌道をトレースしきれない場合や、オリジ
ナルには無いような動きが生じることもある。このオリ
ジナルには無い動きの顕著な例としては、図21乃至図
23中の計測区間の始めと終り部分の実際には発話、顔
面運動ともほとんど行われていない領域のプロファイル
の差に見られる。図16における顎のオリジナルの軌道
とのずれが図21乃至23のプロファイルに直接影響し
ており、このため原画像と比較した場合の動きの差とし
て現れている。本実験の解析例では音声の計測区間全て
に関して通過点解析を行ったが、実際には発話に関連す
る時間のみを解析対象とすれば良いため、本実験のよう
な不要な動きのずれを避けることができる。
【0058】以上のシステムから通過点を1割ないし2
割だけ増やし、しきい値を調整し、さらには、計測区間
の無音区間を処理対象から除くことにより、視覚的には
オリジナルとはほぼ同じ軌道を生成することができてい
る。
割だけ増やし、しきい値を調整し、さらには、計測区間
の無音区間を処理対象から除くことにより、視覚的には
オリジナルとはほぼ同じ軌道を生成することができてい
る。
【0059】以上説明したように、本実施形態によれ
ば、顔面の唇・頬・顎などの特徴点の運動学的データを
もとに発話同期3次元顔面アニメーション生成システム
を構築し、記録音声と同期したアニメーション生成を行
った。従って、従来技術に比較して装置構成が簡単であ
って、しかも高精度で制御することにより、音声と同期
した顔面アニメーションの画像を生成することができる
顔面アニメーションシステムを提供することにある。
ば、顔面の唇・頬・顎などの特徴点の運動学的データを
もとに発話同期3次元顔面アニメーション生成システム
を構築し、記録音声と同期したアニメーション生成を行
った。従って、従来技術に比較して装置構成が簡単であ
って、しかも高精度で制御することにより、音声と同期
した顔面アニメーションの画像を生成することができる
顔面アニメーションシステムを提供することにある。
【0060】以上の図1の顔面アニメーションシステム
において、音声と同期した顔面アニメーションの画像を
生成することができる顔面アニメーションシステムにつ
いて述べているが、本発明はこれに限らず、音声処理部
分を省略してもよい。具体的には、図1において、音声
波形データメモリ62と音素分解処理部50と音素コー
ドブックメモリ63とを省略してもよい。また、音声波
形データメモリ62から読み出される記録音声を直接に
再生処理部54に入力してスピーカ(図示せず。)から
出力するようにしてもよい。
において、音声と同期した顔面アニメーションの画像を
生成することができる顔面アニメーションシステムにつ
いて述べているが、本発明はこれに限らず、音声処理部
分を省略してもよい。具体的には、図1において、音声
波形データメモリ62と音素分解処理部50と音素コー
ドブックメモリ63とを省略してもよい。また、音声波
形データメモリ62から読み出される記録音声を直接に
再生処理部54に入力してスピーカ(図示せず。)から
出力するようにしてもよい。
【0061】また、本実施形態の顔面アニメーションシ
ステムにおいては、人間の顔面のアニメーション画像を
生成する場合について説明しているが、本発明はこれに
限らず、人間の他の部位、もしくは全体のアニメーショ
ンを生成するように構成してもよい。
ステムにおいては、人間の顔面のアニメーション画像を
生成する場合について説明しているが、本発明はこれに
限らず、人間の他の部位、もしくは全体のアニメーショ
ンを生成するように構成してもよい。
【0062】さらに、図1のデータ適合処理装置31及
びそれに接続される装置について説明する。図2は、第
1の実施形態で用いる座標変換処理装置30の構成を示
すブロック図であり、図3は、当該第1の実施形態であ
るデータ適合処理装置31の構成を示すブロック図であ
る。本実施形態では、座標変換処理装置30とデータ適
合処理装置31とを備えて、3次元データの処理装置を
構成し、離散的な座標値を用いて線分又は点を定義する
ことにより形状を表わす形状データと、材質データを少
なくとも含み入力される第1の3次元データに対して、
その形状を表現するデータ数及び形状が異なる他の入力
される第2の3次元データを、外見上上記第1の3次元
データと同様の形状へと形状適合化させることを特徴と
している。
びそれに接続される装置について説明する。図2は、第
1の実施形態で用いる座標変換処理装置30の構成を示
すブロック図であり、図3は、当該第1の実施形態であ
るデータ適合処理装置31の構成を示すブロック図であ
る。本実施形態では、座標変換処理装置30とデータ適
合処理装置31とを備えて、3次元データの処理装置を
構成し、離散的な座標値を用いて線分又は点を定義する
ことにより形状を表わす形状データと、材質データを少
なくとも含み入力される第1の3次元データに対して、
その形状を表現するデータ数及び形状が異なる他の入力
される第2の3次元データを、外見上上記第1の3次元
データと同様の形状へと形状適合化させることを特徴と
している。
【0063】図2の座標変換処理装置30において、複
数n個の座標変換部14−1乃至14−nは、入力され
る3次元データに対して互いに異なる座標変換処理を実
行して座標変換後の3次元データを変換評価部16に出
力する。ここで、異なる座標変換処理とは、例えば、直
交座標系、極座標系、円筒座標系などの互いに異なる座
標系間で座標変換を行う処理である。これに応答して、
変換評価部16は、複数の座標変換部14−1乃至14
−nにより座標変換された3次元データに基づいて、そ
れぞれ座標変換後の2組の座標値に対して残りの座標値
が一意に決定されるか否かを判断するために、一意に決
定されるときにより小さい値となる評価関数fcnの関数
値を算出して座標変換選択部16に出力する。ここで、
評価関数fcnは例えば次式で表される。
数n個の座標変換部14−1乃至14−nは、入力され
る3次元データに対して互いに異なる座標変換処理を実
行して座標変換後の3次元データを変換評価部16に出
力する。ここで、異なる座標変換処理とは、例えば、直
交座標系、極座標系、円筒座標系などの互いに異なる座
標系間で座標変換を行う処理である。これに応答して、
変換評価部16は、複数の座標変換部14−1乃至14
−nにより座標変換された3次元データに基づいて、そ
れぞれ座標変換後の2組の座標値に対して残りの座標値
が一意に決定されるか否かを判断するために、一意に決
定されるときにより小さい値となる評価関数fcnの関数
値を算出して座標変換選択部16に出力する。ここで、
評価関数fcnは例えば次式で表される。
【0064】
【数3】 ここで、kは入力された3次元データの構成点であり、
Kはその個数である。
Kはその個数である。
【数4】 C(k)=0,投影の重なりがあるとき(評価がOK) =1,投影の重なりがないとき(評価がNG)
【0065】例えば、離散座標値データを構成する2つ
のポリゴンの間を評価するとき、目標とする2つの座標
平面に一方のポリゴンをラスタライズして投影して、他
方のポリゴンと投影の重なりが形成されるか否かを調べ
る。そして、投影の重なりがあるとき、評価がOKであ
り、C(k)=0となる一方、投影の重なりがないと
き、評価がNGであり、C(k)=1となる。
のポリゴンの間を評価するとき、目標とする2つの座標
平面に一方のポリゴンをラスタライズして投影して、他
方のポリゴンと投影の重なりが形成されるか否かを調べ
る。そして、投影の重なりがあるとき、評価がOKであ
り、C(k)=0となる一方、投影の重なりがないと
き、評価がNGであり、C(k)=1となる。
【0066】次いで、座標変換選択部16は、算出され
た複数の座標変換部14−1乃至14−nに対応する複
数の関数値fcnのうち最小の関数値に対応する座標変換
部を選択するようにスイッチ18及び19を切り換え、
選択された座標変換部から出力される変換後の3次元デ
ータを出力3次元データ22として出力するとともに、
選択された座標変換部から出力される座標変換処理のた
めのパラメータをパラメータメモリ20に記憶させる。
また、座標変換選択部16は、選択された座標変換部の
番号もパラメータメモリ20に記憶される。そして、パ
ラメータメモリ20に記憶された座標変換パラメータは
読み出されて、詳細後述する図3の座標変換部3a,3
b,3cに出力されて設定される。また、読み出された
座標変換パラメータは、座標逆変換算出部21に入力さ
れて、座標逆変換算出部21は、上記選択された座標変
換処理とは逆の座標逆変換処理のためのパラメータを算
出して座標逆変換部10に出力して設定する。
た複数の座標変換部14−1乃至14−nに対応する複
数の関数値fcnのうち最小の関数値に対応する座標変換
部を選択するようにスイッチ18及び19を切り換え、
選択された座標変換部から出力される変換後の3次元デ
ータを出力3次元データ22として出力するとともに、
選択された座標変換部から出力される座標変換処理のた
めのパラメータをパラメータメモリ20に記憶させる。
また、座標変換選択部16は、選択された座標変換部の
番号もパラメータメモリ20に記憶される。そして、パ
ラメータメモリ20に記憶された座標変換パラメータは
読み出されて、詳細後述する図3の座標変換部3a,3
b,3cに出力されて設定される。また、読み出された
座標変換パラメータは、座標逆変換算出部21に入力さ
れて、座標逆変換算出部21は、上記選択された座標変
換処理とは逆の座標逆変換処理のためのパラメータを算
出して座標逆変換部10に出力して設定する。
【0067】従って、座標変換処理装置30を備えるこ
とにより、より最適な座標変換部を選択して、3次元デ
ータの処理をより正確に実行することができる。
とにより、より最適な座標変換部を選択して、3次元デ
ータの処理をより正確に実行することができる。
【0068】図3は、第1の実施形態のデータ適合処理
装置31の構成を示すブロック図である。当該データ適
合処理装置31は、3次元座標値により表される点とそ
れらのつながりにより線分、多角形を表現し、さらに、
それらに集合により3次元的な形状を表現するような3
次元形状を記述するためのデータ及び名称、色、法線、
材質、線幅、テクスチャ座標、ラベル、他のデータとの
相関関係など記述した形状以外の付加情報も含む3次元
データに対して、データ数や形状、付加情報などの異な
る他の3次元データの形状を近似させ、見かけ上同様の
形状へと適合化させることを特徴としている。
装置31の構成を示すブロック図である。当該データ適
合処理装置31は、3次元座標値により表される点とそ
れらのつながりにより線分、多角形を表現し、さらに、
それらに集合により3次元的な形状を表現するような3
次元形状を記述するためのデータ及び名称、色、法線、
材質、線幅、テクスチャ座標、ラベル、他のデータとの
相関関係など記述した形状以外の付加情報も含む3次元
データに対して、データ数や形状、付加情報などの異な
る他の3次元データの形状を近似させ、見かけ上同様の
形状へと適合化させることを特徴としている。
【0069】図3において、適合対象となる3次元デー
タ1及び適合元の3次元データ2はそれぞれ座標変換部
3a,3bによって、本来の元の座標系から、2組の座
標値により残りの座標値が一意に決定される座標系へと
座標変換された後、それぞれバッファメモリ3am,3
bmを介して特徴量分離部5a,5bに出力される。こ
こで、例えば(x,y,z)で表される座標値に対し
て、この2組の座標値により表される平面をここでは適
合平面と呼ぶ。座標変換部3a,3bに関しては、形状
データによっては変換が不要な場合、例えば形状データ
が2次元配列により定義されるような場合、具体的には
次式で表される場合がある。
タ1及び適合元の3次元データ2はそれぞれ座標変換部
3a,3bによって、本来の元の座標系から、2組の座
標値により残りの座標値が一意に決定される座標系へと
座標変換された後、それぞれバッファメモリ3am,3
bmを介して特徴量分離部5a,5bに出力される。こ
こで、例えば(x,y,z)で表される座標値に対し
て、この2組の座標値により表される平面をここでは適
合平面と呼ぶ。座標変換部3a,3bに関しては、形状
データによっては変換が不要な場合、例えば形状データ
が2次元配列により定義されるような場合、具体的には
次式で表される場合がある。
【0070】
【数5】i=int(x・kx)
【数6】j=int(y・ky)
【数7】z=f(i,j) ここで、int(x)はxを越えない最大の整数を示す
関数であり、fは2次元配列である。
関数であり、fは2次元配列である。
【0071】また、極座標変換や円筒座標空間への変換
でも適応可能な場合があるが、一般にはこれらの変換で
は安定して2組の座標値に対して残りの座標値が一意に
与えられるような変換を得られるとは限らない。そこ
で、物理現象の計算機シミュレーションなどの分野で行
われている数値的格子形成法(例えば、従来技術文献4
「Joe.F.Tompson et al.,“Numerical Grid Generatio
n",North-Holland,1982」、小国力、河村哲也訳「数値
格子生成の基礎と応用」、丸善1994参照。)や、更
にはユーザがインタラクティブに空間分割格子をデザイ
ンした上で、デカルト座標とこれら格子との変換行列を
解析する手法などが考えられる。
でも適応可能な場合があるが、一般にはこれらの変換で
は安定して2組の座標値に対して残りの座標値が一意に
与えられるような変換を得られるとは限らない。そこ
で、物理現象の計算機シミュレーションなどの分野で行
われている数値的格子形成法(例えば、従来技術文献4
「Joe.F.Tompson et al.,“Numerical Grid Generatio
n",North-Holland,1982」、小国力、河村哲也訳「数値
格子生成の基礎と応用」、丸善1994参照。)や、更
にはユーザがインタラクティブに空間分割格子をデザイ
ンした上で、デカルト座標とこれら格子との変換行列を
解析する手法などが考えられる。
【0072】ここで、数値的格子形成法の代表的なもの
を例に説明する。いま、(x,y,z)で表されるデカ
ルト座標から(ξ,η,ζ)で表される座標系(ここで
はこれを境界適合座標と呼ぶ)への変換について、楕円
型偏微分方程式系を用いた場合、この座標系間の変換は
次式で表すことができる。
を例に説明する。いま、(x,y,z)で表されるデカ
ルト座標から(ξ,η,ζ)で表される座標系(ここで
はこれを境界適合座標と呼ぶ)への変換について、楕円
型偏微分方程式系を用いた場合、この座標系間の変換は
次式で表すことができる。
【数8】 ∂2ξ/∂x2+∂2ξ/∂y2+∂2ξ/∂z2=P
【数9】 ∂2η/∂x2+∂2η/∂y2+∂2η/∂z2=Q
【数10】 ∂2ζ/∂x2+∂2ζ/∂y2+∂2ζ/∂z2=R
【0073】ここで、P,Q,Rは境界適合座標の座標
曲線のデカルト座標系における写像の間隔と方向をコン
トロールするための関数で、制御関数と呼ばれるもので
ある。一般に一つの座標曲線の変換に関するラプラシア
ンが負の値をとると、座標値が一定であるような座標曲
線はラプラシアンがゼロの場合と比べ、その座標が減る
方向へ移動する。当然、ラプラシアンの値が正の場合は
逆の効果を持つ。この性質を利用して、座標曲線の間隔
を制御するものである。例えばP,Q,Rにはデカルト
座標系で細かく制御したい部分で負の極値を取る高次関
数を与えればより複雑な形状へも対応できる。この解法
としては、適合元データ2上の適合面として利用できる
面がζ=0などの平面に対応する、又はある曲線が境界
適合座標上の座標直線などに対応する等の境界条件を与
えることにより、これら偏微分方程式の数値解析をから
解を得ることができる。
曲線のデカルト座標系における写像の間隔と方向をコン
トロールするための関数で、制御関数と呼ばれるもので
ある。一般に一つの座標曲線の変換に関するラプラシア
ンが負の値をとると、座標値が一定であるような座標曲
線はラプラシアンがゼロの場合と比べ、その座標が減る
方向へ移動する。当然、ラプラシアンの値が正の場合は
逆の効果を持つ。この性質を利用して、座標曲線の間隔
を制御するものである。例えばP,Q,Rにはデカルト
座標系で細かく制御したい部分で負の極値を取る高次関
数を与えればより複雑な形状へも対応できる。この解法
としては、適合元データ2上の適合面として利用できる
面がζ=0などの平面に対応する、又はある曲線が境界
適合座標上の座標直線などに対応する等の境界条件を与
えることにより、これら偏微分方程式の数値解析をから
解を得ることができる。
【0074】対応生成部4では、適合元3次元データ1
と適合対象3次元データ2との間で対応付け行う必要が
ある特徴量を抽出し、それぞれのデータ間での対応関係
を求め、その結果をバッファメモリ4mに記憶した後、
特徴量分離部5a,5bに出力される。すなわち、適合
元3次元データ1の形状データの所定の特徴部分(例え
ば、犬の3次元データを猫の3次元データに適合させる
場合、目は確実に対応付けを行いたいとするならば犬の
目)を示す線分又は点の組を、上記第2の3次元データ
の形状データの特徴部分(例えば、先の例の場合なら同
様に猫の目)を示す線分又は点の組に対して対応づけを
行い対応関係を示す対応関係データを生成する。この対
応生成部4の処理については、図5乃至図7を参照して
詳述する。
と適合対象3次元データ2との間で対応付け行う必要が
ある特徴量を抽出し、それぞれのデータ間での対応関係
を求め、その結果をバッファメモリ4mに記憶した後、
特徴量分離部5a,5bに出力される。すなわち、適合
元3次元データ1の形状データの所定の特徴部分(例え
ば、犬の3次元データを猫の3次元データに適合させる
場合、目は確実に対応付けを行いたいとするならば犬の
目)を示す線分又は点の組を、上記第2の3次元データ
の形状データの特徴部分(例えば、先の例の場合なら同
様に猫の目)を示す線分又は点の組に対して対応づけを
行い対応関係を示す対応関係データを生成する。この対
応生成部4の処理については、図5乃至図7を参照して
詳述する。
【0075】次に、データ適合を行う際に対応づけを行
う対応生成部4の結果のバッファメモリ4m中の対応関
係データに基づいて、特徴量分離部5a,5bに入力さ
れた座標変換後の形状データがそれぞれ特徴量データと
非特徴量データとに分離される。ここで、特徴量とは、
上記特徴部分の形状データであり、本実施形態では、適
合元3次元データ側の非特徴量データは使用されない。
特に、近年のDXF,VRML,Open Inven
torなどの3次元データフォーマットでは単一データ
内にラベル情報等を用いて特徴量データと非特徴量デー
タを容易に区別して保持することができるため、容易に
分離が可能である。すなわち、特徴量分離部5aは、バ
ッファメモリ3amから入力される形状データを、バッ
ファメモリ4mから入力される対応関係データに基づい
て、特徴量データと非特徴量データに分離して、前者の
データをシフト量算出部6を介して変動座標算出部7に
出力する一方、後者のデータを直接に変動座標算出部7
に出力する。また、特徴量分離部5bは、バッファメモ
リ3bmから入力される形状データを、バッファメモリ
4mから入力される対応関係データに基づいて、特徴量
データと非特徴量データに分離して、前者のデータをシ
フト量算出部6及び変動座標算出部7に出力する一方、
後者のデータを使用しない。
う対応生成部4の結果のバッファメモリ4m中の対応関
係データに基づいて、特徴量分離部5a,5bに入力さ
れた座標変換後の形状データがそれぞれ特徴量データと
非特徴量データとに分離される。ここで、特徴量とは、
上記特徴部分の形状データであり、本実施形態では、適
合元3次元データ側の非特徴量データは使用されない。
特に、近年のDXF,VRML,Open Inven
torなどの3次元データフォーマットでは単一データ
内にラベル情報等を用いて特徴量データと非特徴量デー
タを容易に区別して保持することができるため、容易に
分離が可能である。すなわち、特徴量分離部5aは、バ
ッファメモリ3amから入力される形状データを、バッ
ファメモリ4mから入力される対応関係データに基づい
て、特徴量データと非特徴量データに分離して、前者の
データをシフト量算出部6を介して変動座標算出部7に
出力する一方、後者のデータを直接に変動座標算出部7
に出力する。また、特徴量分離部5bは、バッファメモ
リ3bmから入力される形状データを、バッファメモリ
4mから入力される対応関係データに基づいて、特徴量
データと非特徴量データに分離して、前者のデータをシ
フト量算出部6及び変動座標算出部7に出力する一方、
後者のデータを使用しない。
【0076】次いで、特徴量データに関しては、適合対
象3次元データ1及び適合元3次元データ2それぞれの
相関関係から適合対象に与えるシフト量がシフト量算出
部6により算出され、変動座標算出部7へと送られる。
すなわち、シフト量算出部6は、特徴分離部5a及び5
bからの特徴量データに基づいて、適合対象3次元デー
タ1の適合元データ2からの座標変換後の座標系におけ
る、非特徴量データの線分又は点の組の対応間のシフト
量を算出して変動座標算出部7に出力する。
象3次元データ1及び適合元3次元データ2それぞれの
相関関係から適合対象に与えるシフト量がシフト量算出
部6により算出され、変動座標算出部7へと送られる。
すなわち、シフト量算出部6は、特徴分離部5a及び5
bからの特徴量データに基づいて、適合対象3次元デー
タ1の適合元データ2からの座標変換後の座標系におけ
る、非特徴量データの線分又は点の組の対応間のシフト
量を算出して変動座標算出部7に出力する。
【0077】変動座標算出部7ではシフト量算出部6か
ら得た特徴量データのシフト量と形状データの特徴点、
線に対応して、適合対象3次元データ1側でのデータ点
との相対位置から個々の座標の変動を計算し、適合後の
座標を決定する。この際座標値の計算は先の座標変換部
3で述べた適合平面上で行う。すなわち、変動座標算出
部7は、シフト量算出部6によって算出された非特徴量
データのシフト量に基づいて、座標変換部3aによって
座標変換された3次元データの形状データにおける、座
標変換部3bによって座標変換された3次元データの形
状データからの、所定の非特徴量データの対象点の変動
座標位置を算出してデータ類推部8に出力する。
ら得た特徴量データのシフト量と形状データの特徴点、
線に対応して、適合対象3次元データ1側でのデータ点
との相対位置から個々の座標の変動を計算し、適合後の
座標を決定する。この際座標値の計算は先の座標変換部
3で述べた適合平面上で行う。すなわち、変動座標算出
部7は、シフト量算出部6によって算出された非特徴量
データのシフト量に基づいて、座標変換部3aによって
座標変換された3次元データの形状データにおける、座
標変換部3bによって座標変換された3次元データの形
状データからの、所定の非特徴量データの対象点の変動
座標位置を算出してデータ類推部8に出力する。
【0078】変動座標算出部7に関しては、単純に距離
に反比例して重みづけを行う手法やポテンシャルを用い
る手法、あるいは映像効果の分野でモーフィングとして
広く知られる手法を用いて特徴線との相対位置に応じて
未知の点を移動させる手法、例えば、従来技術文献5
「Thaddeus Beier et al.,“Feature-Based Image Meta
morphosis",Computer Graphics, Vol.26, No.2, pp.35-
42, 1992」や従来技術文献6「Scott Anderson,“Morph
ing Magic", Sams Publishing, 1993」に紹介されてい
る手法を用いれば、容易に座標位置を特定できる。これ
らの場合は適合対象で点p,qを用いて特徴線がベクト
ル(q−p)、またそれに対応する特徴線が適合元3次
元データ2側で点p’,q’によりベクトル(q’−
p’)で定義されているとすると、適合対象3次元デー
タ1側の任意の点Xに対応する適合元3次元データ2で
のX’は以下の式で定義されるものである。
に反比例して重みづけを行う手法やポテンシャルを用い
る手法、あるいは映像効果の分野でモーフィングとして
広く知られる手法を用いて特徴線との相対位置に応じて
未知の点を移動させる手法、例えば、従来技術文献5
「Thaddeus Beier et al.,“Feature-Based Image Meta
morphosis",Computer Graphics, Vol.26, No.2, pp.35-
42, 1992」や従来技術文献6「Scott Anderson,“Morph
ing Magic", Sams Publishing, 1993」に紹介されてい
る手法を用いれば、容易に座標位置を特定できる。これ
らの場合は適合対象で点p,qを用いて特徴線がベクト
ル(q−p)、またそれに対応する特徴線が適合元3次
元データ2側で点p’,q’によりベクトル(q’−
p’)で定義されているとすると、適合対象3次元デー
タ1側の任意の点Xに対応する適合元3次元データ2で
のX’は以下の式で定義されるものである。
【0079】
【数11】 u={(X−p)・(q−p)}/|q−p|
【数12】 v={(X−p)・⊥(q−p)}/|q−p|
【数13】X’=P’+u・(q’−p’)+{v・⊥
(q’−p’)}/|q’−p’|
(q’−p’)}/|q’−p’|
【0080】ここで、⊥(x)はベクトルxと同じ長さ
で、ベクトルxとは垂直なベクトルを示す。複数の特徴
線が存在する場合は、i番目の特徴線によって求まる点
をX’(i)、その重み付け係数w(i)とすると、以
下の式によりX’を求めればよい。
で、ベクトルxとは垂直なベクトルを示す。複数の特徴
線が存在する場合は、i番目の特徴線によって求まる点
をX’(i)、その重み付け係数w(i)とすると、以
下の式によりX’を求めればよい。
【0081】
【数14】
【0082】ここで、重み付け係数w(i)は、i番目
の特徴線とX’(i)との距離をd(i)、特徴線の長
さをl(i)とすると、次式により得ることができる。
の特徴線とX’(i)との距離をd(i)、特徴線の長
さをl(i)とすると、次式により得ることができる。
【0083】
【数15】 w(i)={d(i)c/[a+d(i)]}b
【0084】ここで、a,b,cは変形効果をコントロ
ールする定数である。aは大きすぎるとコントロールが
困難だが、よりスムーズな変形が可能となり、0に近い
ほど直線近傍の画素への影響が大きくなる。bは0の場
合が全ての特徴線に対して等しく影響を受ける。cは0
の場合全ての直線に対して同じ重み付けとなり、正の値
で長い特徴線からの影響が大きく、負の値で逆となる。
ールする定数である。aは大きすぎるとコントロールが
困難だが、よりスムーズな変形が可能となり、0に近い
ほど直線近傍の画素への影響が大きくなる。bは0の場
合が全ての特徴線に対して等しく影響を受ける。cは0
の場合全ての直線に対して同じ重み付けとなり、正の値
で長い特徴線からの影響が大きく、負の値で逆となる。
【0085】変動座標算出部7によって得られた適合後
の非特徴量データの座標値は適合平面上のものとして求
められた。これに対して、残りの座標値を与えるため、
データ類推部8により、適合元3次元データ2からこの
値を得る。このとき、あらかじめ座標変換部3により適
合元3次元データ2は適合平面上の任意の座標値に対し
て、一意に形状データが与えられる様な座標系に変換さ
れているため、変換前の形状データが複雑に入り組んだ
形状であっても、変換後の座標系では確実に値を特定す
ることが可能である。すなわち、データ類推部8は、変
動座標算出部7によって算出された変動座標位置に基づ
いて、適合元3次元データ2の座標変換後の形状データ
に対して、適合対象3次元データ1の座標変換後の形状
データに対応する座標値を、内挿又は外挿により類推す
る。なお、離散的に定義されたデータ点上で形状以外の
データで、その点固有のデータ、例えば色情報、が定義
されている場合、3次元データは色データを含む。
の非特徴量データの座標値は適合平面上のものとして求
められた。これに対して、残りの座標値を与えるため、
データ類推部8により、適合元3次元データ2からこの
値を得る。このとき、あらかじめ座標変換部3により適
合元3次元データ2は適合平面上の任意の座標値に対し
て、一意に形状データが与えられる様な座標系に変換さ
れているため、変換前の形状データが複雑に入り組んだ
形状であっても、変換後の座標系では確実に値を特定す
ることが可能である。すなわち、データ類推部8は、変
動座標算出部7によって算出された変動座標位置に基づ
いて、適合元3次元データ2の座標変換後の形状データ
に対して、適合対象3次元データ1の座標変換後の形状
データに対応する座標値を、内挿又は外挿により類推す
る。なお、離散的に定義されたデータ点上で形状以外の
データで、その点固有のデータ、例えば色情報、が定義
されている場合、3次元データは色データを含む。
【0086】データ類推部8において、離散的に定義さ
れる座標値からなるデータ群の場合、任意の座標値での
データを得るには、データ群の適合平面上での近傍のデ
ータを用いて類推を行う。類推には例えばPIC(Part
icle-In-Cel)などの粒子シミュレーションなどで用い
られているニアレスト・グリッド・ポイント(Nearest
Grid Point)法(最も近いグリッド、すなわちこの場合
では離散的にデータが定義されいる点の中の、最も距離
の近い点に置ける値をその点の値とする方法)や、エリ
ア・ウエイテイング(Area Weighting)法などを用い
る。このエリア・ウエイテイング法では対象点の近傍の
グリッドにより構成される直線・多角形・多面体を対象
点を基準にそれら直線・多角形・多面体の頂点ごとに分
割し、その分割された線分の長さ・面積・体積から寄与
率を計算し、その頂点に置ける値を対象点に寄与させる
手法である。単純な例では2次元の離散座標値ξ=i,
η=j(i=0,1,…,N,j=0,1,…,M)に
おいて決定されるグリッド上においてのみζ(i,j)
が与えられたとする。このとき任意の(ξ,η)におけ
るζの値を得るには以下の式を用いる。
れる座標値からなるデータ群の場合、任意の座標値での
データを得るには、データ群の適合平面上での近傍のデ
ータを用いて類推を行う。類推には例えばPIC(Part
icle-In-Cel)などの粒子シミュレーションなどで用い
られているニアレスト・グリッド・ポイント(Nearest
Grid Point)法(最も近いグリッド、すなわちこの場合
では離散的にデータが定義されいる点の中の、最も距離
の近い点に置ける値をその点の値とする方法)や、エリ
ア・ウエイテイング(Area Weighting)法などを用い
る。このエリア・ウエイテイング法では対象点の近傍の
グリッドにより構成される直線・多角形・多面体を対象
点を基準にそれら直線・多角形・多面体の頂点ごとに分
割し、その分割された線分の長さ・面積・体積から寄与
率を計算し、その頂点に置ける値を対象点に寄与させる
手法である。単純な例では2次元の離散座標値ξ=i,
η=j(i=0,1,…,N,j=0,1,…,M)に
おいて決定されるグリッド上においてのみζ(i,j)
が与えられたとする。このとき任意の(ξ,η)におけ
るζの値を得るには以下の式を用いる。
【0087】
【数16】i=int(ξ)
【数17】j=int(η)
【数18】t=ξ−i,t=η−j
【数19】ζ=ζ(i,j)・(1−s)・(1−t)
+ζ(i+1,j)・(s)・(1−t)+ζ(i,j
+1)・(1−s)・(t)+ζ(i+1,j+1)・
(s)・(t)
+ζ(i+1,j)・(s)・(1−t)+ζ(i,j
+1)・(1−s)・(t)+ζ(i+1,j+1)・
(s)・(t)
【0088】このようにして形状適合化されたデータは
データ類推部8から加算部9に入力され、加算部9は、
特徴量分離部5bからの特徴量データと、データ類推部
8によって類推された非特徴量データとを加算して合成
することにより、形状適合化された座標変換後の3次元
データの形状データを得る。この形状データは、座標逆
変換部10により、座標変換部3a,3bとは逆の座標
逆変換処理が実行され、元の座標系への逆変換された形
状適合化された3次元データを出力3次元データ11と
して得る。なお、離散的に定義されたデータ点上で形状
以外のデータで、その点固有のデータ、例えば色情報、
が定義されている場合、3次元データは色データを含
む。
データ類推部8から加算部9に入力され、加算部9は、
特徴量分離部5bからの特徴量データと、データ類推部
8によって類推された非特徴量データとを加算して合成
することにより、形状適合化された座標変換後の3次元
データの形状データを得る。この形状データは、座標逆
変換部10により、座標変換部3a,3bとは逆の座標
逆変換処理が実行され、元の座標系への逆変換された形
状適合化された3次元データを出力3次元データ11と
して得る。なお、離散的に定義されたデータ点上で形状
以外のデータで、その点固有のデータ、例えば色情報、
が定義されている場合、3次元データは色データを含
む。
【0089】<第2の実施形態>図4は、図1の顔面ア
ニメーションシステムに適用する第2の実施形態のデー
タ変形処理装置32の構成を示すブロック図である。第
2の実施形態は、第1の実施形態のデータ適合処理装置
31に比較して、座標変換部3cをさらに備え、変動座
標算出部7が変動座標算出部7aにとって代わり、変動
座標算出部7aは、さらに座標変換部3からの座標変換
後の座標値のシフト量に基づいて、変動座標位置を算出
することを特徴とする。
ニメーションシステムに適用する第2の実施形態のデー
タ変形処理装置32の構成を示すブロック図である。第
2の実施形態は、第1の実施形態のデータ適合処理装置
31に比較して、座標変換部3cをさらに備え、変動座
標算出部7が変動座標算出部7aにとって代わり、変動
座標算出部7aは、さらに座標変換部3からの座標変換
後の座標値のシフト量に基づいて、変動座標位置を算出
することを特徴とする。
【0090】図4において、座標変換部3cは、適合対
象3次元データ1の形状データに対して部分的な変形を
指示するために入力された座標値のシフト量である変形
部分指示データ12に対して、座標変換部3a,3bと
同様の座標変換処理を実行することにより、座標変換後
の座標系における座標値のシフト量に座標変換して、変
動座標算出部7aに出力する。これに応答して、変動座
標算出部7aは、座標変換された座標値のシフト量と、
シフト量算出部6によって算出されたシフト量に基づい
て、特徴量分離部5aから出力される非特徴量データに
おける所定の対象点の変動座標位置を算出してデータ類
推部8に出力する。従って、第2の実施形態では、形状
適合化に加えて、変形部分指示データ12により変形を
加えることができる。特に、変形部分指示データが特徴
量データと同等の指示方式である場合は、シフト量算出
部6へ変形部分指示データを入力して処理することも可
能である。
象3次元データ1の形状データに対して部分的な変形を
指示するために入力された座標値のシフト量である変形
部分指示データ12に対して、座標変換部3a,3bと
同様の座標変換処理を実行することにより、座標変換後
の座標系における座標値のシフト量に座標変換して、変
動座標算出部7aに出力する。これに応答して、変動座
標算出部7aは、座標変換された座標値のシフト量と、
シフト量算出部6によって算出されたシフト量に基づい
て、特徴量分離部5aから出力される非特徴量データに
おける所定の対象点の変動座標位置を算出してデータ類
推部8に出力する。従って、第2の実施形態では、形状
適合化に加えて、変形部分指示データ12により変形を
加えることができる。特に、変形部分指示データが特徴
量データと同等の指示方式である場合は、シフト量算出
部6へ変形部分指示データを入力して処理することも可
能である。
【0091】<対応生成部4の実施形態>図5は、図3
及び図4の対応生成部4の実施形態1である対応生成部
4aの構成を示すブロック図である。実施形態1の対応
生成部4aでは、入力されたそれぞれの適合元及び適合
対象の3次元データ1,2中に対応付けを行う対応関係
情報(例えば、適合元では犬の目、適合対象では猫の
目)が付加情報等を利用してあらかじめ定義されてお
り、それらを対応読み取り部41により3次元データ
1,2からそれぞれ読み取り、次いで、対応定義部40
aは、読み取った対応関係データに基づいて、入力され
る2つの3次元データ1,2に対して対応関係を所定の
形式で定義し、定義された対応関係データを後段のバッ
ファメモリ4mに出力する。
及び図4の対応生成部4の実施形態1である対応生成部
4aの構成を示すブロック図である。実施形態1の対応
生成部4aでは、入力されたそれぞれの適合元及び適合
対象の3次元データ1,2中に対応付けを行う対応関係
情報(例えば、適合元では犬の目、適合対象では猫の
目)が付加情報等を利用してあらかじめ定義されてお
り、それらを対応読み取り部41により3次元データ
1,2からそれぞれ読み取り、次いで、対応定義部40
aは、読み取った対応関係データに基づいて、入力され
る2つの3次元データ1,2に対して対応関係を所定の
形式で定義し、定義された対応関係データを後段のバッ
ファメモリ4mに出力する。
【0092】図6は、図3及び図4の対応生成部4の実
施形態2である対応生成部4bの構成を示すブロック図
である。図6の対応生成部4bでは、あらかじめ対応情
報メモリ42中に対応づけを行う情報(対応関係情報)
が記憶されており、対応定義部40bは、対応情報メモ
リ42からの対応関係情報の内容に基づいて、入力され
る2つの3次元データ1,2に対して対応関係を所定の
形式で定義し、定義された対応関係データを後段のバッ
ファメモリ4mに出力する。
施形態2である対応生成部4bの構成を示すブロック図
である。図6の対応生成部4bでは、あらかじめ対応情
報メモリ42中に対応づけを行う情報(対応関係情報)
が記憶されており、対応定義部40bは、対応情報メモ
リ42からの対応関係情報の内容に基づいて、入力され
る2つの3次元データ1,2に対して対応関係を所定の
形式で定義し、定義された対応関係データを後段のバッ
ファメモリ4mに出力する。
【0093】図7は、図3及び図4の対応生成部4の実
施形態3である対応生成部4cの構成を示すブロック図
である。図7の対応生成部4cでは、2つの3次元デー
タ1,2をCRTディスプレイ45に出力して表示し、
ユーザがCRTディスプレイ45に出力される内容を確
認し、それに対してキーボード43又はマウス44など
の入力装置により対応付けを行う対応関係情報を対応定
義部40c入力する。これに応答して、対応定義部40
cは、当該入力された対応関係情報の内容に基づいて、
入力される2つの3次元データ1,2に対して対応関係
を所定の形式で定義し、定義された対応関係データを後
段のバッファメモリ4mに出力する。
施形態3である対応生成部4cの構成を示すブロック図
である。図7の対応生成部4cでは、2つの3次元デー
タ1,2をCRTディスプレイ45に出力して表示し、
ユーザがCRTディスプレイ45に出力される内容を確
認し、それに対してキーボード43又はマウス44など
の入力装置により対応付けを行う対応関係情報を対応定
義部40c入力する。これに応答して、対応定義部40
cは、当該入力された対応関係情報の内容に基づいて、
入力される2つの3次元データ1,2に対して対応関係
を所定の形式で定義し、定義された対応関係データを後
段のバッファメモリ4mに出力する。
【0094】<第3の実施形態>図24は、本発明に係
る第3の実施形態である顔面アニメーションシステムの
構成を示すブロック図である。この第3の実施形態の顔
面アニメーションシステムは、図1の第1の実施形態と
比較して、以下の点が異なることを特徴としている。 (1)形状間内挿処理部52に代えて、主成分分解部5
6を備えた。 (2)バッファメモリ65に代えて、バッファメモリ6
8を備えた。 (3)通過点解析部51に代えて、主成分合成係数算出
部57及び通過点解析部51aを備えた。 (4)バッファメモリ66に代えて、バッファメモリ6
9を備えた。 (5)時間方向内挿処理部53に代えて、合成係数内挿
処理部58及び主成分合成部59を備えた。 以下、これら相違点について詳述する。
る第3の実施形態である顔面アニメーションシステムの
構成を示すブロック図である。この第3の実施形態の顔
面アニメーションシステムは、図1の第1の実施形態と
比較して、以下の点が異なることを特徴としている。 (1)形状間内挿処理部52に代えて、主成分分解部5
6を備えた。 (2)バッファメモリ65に代えて、バッファメモリ6
8を備えた。 (3)通過点解析部51に代えて、主成分合成係数算出
部57及び通過点解析部51aを備えた。 (4)バッファメモリ66に代えて、バッファメモリ6
9を備えた。 (5)時間方向内挿処理部53に代えて、合成係数内挿
処理部58及び主成分合成部59を備えた。 以下、これら相違点について詳述する。
【0095】図24において、主成分分解部56は、デ
ータ適合処理装置31からバッファメモリ64を介して
入力される、形状適合化された3次元データに対して所
定の主成分分析処理を行うことにより、上記3次元デー
タに含まれる形状データに対する寄与率が所定のしきい
値よりも大きくかつ互いに独立な複数の主成分の合成係
数を算出するとともに、上記複数の主成分からそのサブ
セットである上記複数の位置に対応する成分のみを抽出
し、抽出した成分に基づいて形状データをそのサブセッ
トから求めるための線形予測子を算出する。すなわち、
母音/a/,/i/,/u/,/e/,/o/のときの
基本顔面形状、口の開放状態、口の閉塞状態、口の中間
状態のときの自然状態の顔面形状などの入力形状そのま
まではお互いの相関が高く合成係数が容易には求められ
ない場合が多いが、詳細後述する主成分分析(Principa
l Component Analysis)処理を行うことにより、個々の
主成分が独立となる成分が求まるため容易に合成係数が
求められる。主成分分解処理の手順(ステップSS1か
らSS4からなる。)は以下の通りである。ここで、X
tは行列Xの転置行列であり、X-1は行列Xの逆行列で
ある。
ータ適合処理装置31からバッファメモリ64を介して
入力される、形状適合化された3次元データに対して所
定の主成分分析処理を行うことにより、上記3次元デー
タに含まれる形状データに対する寄与率が所定のしきい
値よりも大きくかつ互いに独立な複数の主成分の合成係
数を算出するとともに、上記複数の主成分からそのサブ
セットである上記複数の位置に対応する成分のみを抽出
し、抽出した成分に基づいて形状データをそのサブセッ
トから求めるための線形予測子を算出する。すなわち、
母音/a/,/i/,/u/,/e/,/o/のときの
基本顔面形状、口の開放状態、口の閉塞状態、口の中間
状態のときの自然状態の顔面形状などの入力形状そのま
まではお互いの相関が高く合成係数が容易には求められ
ない場合が多いが、詳細後述する主成分分析(Principa
l Component Analysis)処理を行うことにより、個々の
主成分が独立となる成分が求まるため容易に合成係数が
求められる。主成分分解処理の手順(ステップSS1か
らSS4からなる。)は以下の通りである。ここで、X
tは行列Xの転置行列であり、X-1は行列Xの逆行列で
ある。
【0096】<ステップSS1>母音/a/,/i/,
/u/,/e/,/o/のときの基本顔面形状、口の開
放状態、口の閉塞状態、口の中間状態のときの自然状態
の顔面形状の入力形状の形状データを入力データ例とし
た場合、これらの個々の形状を次式のベクトルfk(k
=1,2,…,8)で表わす。
/u/,/e/,/o/のときの基本顔面形状、口の開
放状態、口の閉塞状態、口の中間状態のときの自然状態
の顔面形状の入力形状の形状データを入力データ例とし
た場合、これらの個々の形状を次式のベクトルfk(k
=1,2,…,8)で表わす。
【数20】fk=[xk1 xk2 … xkN yk1 yk2
… ykN zk1 zk2 … zkN] ここで、Nは形状を表す頂点数である。
… ykN zk1 zk2 … zkN] ここで、Nは形状を表す頂点数である。
【0097】<ステップSS2>これらのベクトルfk
より得られる平均的な顔面形状の式
より得られる平均的な顔面形状の式
【数21】μf=Σfk/k を用いて、各形状を平均的な顔面形状からのずれ量
【数22】f0k=fk−μf として定義する。
【0098】<ステップSS3>このずれ量f0kを1
つのベクトルとして、ずれ量ベクトルF0を次式で定義
する。
つのベクトルとして、ずれ量ベクトルF0を次式で定義
する。
【数23】F0=[f01,f02,…,f0k]
【0099】このずれ量ベクトルF0により表される共
分散行列
分散行列
【数24】Cf=F0F0t に対して、公知の特異値分解(singular value decompo
sition)を行うことにより、各固有ベクトルをF0の線
形独立な主成分として求めることができる。この特異値
分解により次式
sition)を行うことにより、各固有ベクトルをF0の線
形独立な主成分として求めることができる。この特異値
分解により次式
【数25】Cf=USUt を満たす行列U(この行列Uは、正規化されたユニタリ
行列であって、各列が固有ベクトルを表す。)と行列S
(この行列Sは、対角行列であって、対角成分が固有値
を表す。)が得られる。この正規化されたユニタリ行列
Uを用いれば、次式の主成分係数ベクトル
行列であって、各列が固有ベクトルを表す。)と行列S
(この行列Sは、対角行列であって、対角成分が固有値
を表す。)が得られる。この正規化されたユニタリ行列
Uを用いれば、次式の主成分係数ベクトル
【数26】α=[α1,α2,…,αk] により、任意の形状はf=μf+U・αで表すことがで
きる。
きる。
【0100】特に、対角行列Sのi行i列の対角成分を
行列Siとすると、次式の寄与率
行列Siとすると、次式の寄与率
【数27】 によりその主成分の入力形状に対する寄与率が百分率で
得られるので、この寄与率Riの値によっては、寄与率
が充分小さい主成分についてはについては無視すること
ができる。日本人被験者aと米国人被験者bの母音/a
/,/i/,/u/,/e/,/o/の顔面形状と、口
の開放状態と、口の閉塞状態と、口の中間状態の自然な
形状から得た寄与率Ra,Rbでは以下のようなデータ
が得られている。
得られるので、この寄与率Riの値によっては、寄与率
が充分小さい主成分についてはについては無視すること
ができる。日本人被験者aと米国人被験者bの母音/a
/,/i/,/u/,/e/,/o/の顔面形状と、口
の開放状態と、口の閉塞状態と、口の中間状態の自然な
形状から得た寄与率Ra,Rbでは以下のようなデータ
が得られている。
【0101】
【数28】Ra=[78.4635,8.8073,5.8413,3.5385,1.4
809,1.1822,0.6863,0.0000]
809,1.1822,0.6863,0.0000]
【数29】Rb=[75.0164,14.4662,3.7519,2.9914,1.
8486,1.2324,0.6932,0.0000]
8486,1.2324,0.6932,0.0000]
【0102】この場合、8個の形状をもとに共分散行列
の特異値分解を行っているため、有意値を得るのは最初
の7つとなる。また、例えば次式の判断式を用いてて主
成分を無視することにより後述の計算において情報量の
削減、計算の簡略化が可能である。
の特異値分解を行っているため、有意値を得るのは最初
の7つとなる。また、例えば次式の判断式を用いてて主
成分を無視することにより後述の計算において情報量の
削減、計算の簡略化が可能である。
【0103】
【数30】
【0104】上記の式の条件を満たすn番目までの主成
分を用いることにすれば、X=99%とすれば被験者
a,bともn=6となる。
分を用いることにすれば、X=99%とすれば被験者
a,bともn=6となる。
【0105】<ステップSS4>さらに、この求まった
主成分の各成分からそのサブセットである運動学的デー
タ点に対応する成分のみを抽出して、それぞれに平均的
な形状データμfの対応成分データを加えて新たなベク
トル
主成分の各成分からそのサブセットである運動学的デー
タ点に対応する成分のみを抽出して、それぞれに平均的
な形状データμfの対応成分データを加えて新たなベク
トル
【数31】P=[p1,p2,…,pk] を作る。このベクトルPからベクトルPの平均値ベクト
ルを引いたものを、次式の1つのベクトル
ルを引いたものを、次式の1つのベクトル
【数32】P0=[p01,p02,…,p0k] とすることにより、形状データをそのサブセットから求
めるための線形予測子Aを、次式の主成分係数ベクトル
めるための線形予測子Aを、次式の主成分係数ベクトル
【数33】α=A・P0 により決定できる。すなわち、次式を用いて線形予測子
Aを算出することができる。
Aを算出することができる。
【数34】A=αP0t(P0・P0t)-1 ここで、主成分分解部56は、算出された主成分の合成
係数及び線形予測子Aをバッファメモリ68を介して主
成分合成係数算出部57に出力するとともに、算出され
た主成分の合成係数を主成分合成部59に出力する。
係数及び線形予測子Aをバッファメモリ68を介して主
成分合成係数算出部57に出力するとともに、算出され
た主成分の合成係数を主成分合成部59に出力する。
【0106】次いで、主成分合成係数算出部57は、運
動学的データメモリ61に記憶された運動学的データに
基づいて、主成分分解部56によって算出された線形予
測子Aを用いて、上記運動学的データを再現するための
主成分の合成係数を算出する。すなわち、入力された各
フレームの運動学的データ
動学的データメモリ61に記憶された運動学的データに
基づいて、主成分分解部56によって算出された線形予
測子Aを用いて、上記運動学的データを再現するための
主成分の合成係数を算出する。すなわち、入力された各
フレームの運動学的データ
【数35】pi=[pi1,pi2,…,pik] から上記ベクトルPの平均値ベクトルを引いたベクトル
poについて先の線形予測子Aを用いることにより、次
式を用いて
poについて先の線形予測子Aを用いることにより、次
式を用いて
【数36】f=μf+U・α=μf+U・A・po 最終的な形状データを算出する。この主成分合成係数算
出部57では、上記の式の中のα=A・poのみを算出
し、各フレーム毎での各主成分の合成係数を求め、それ
を通過点解析部51aに送る。
出部57では、上記の式の中のα=A・poのみを算出
し、各フレーム毎での各主成分の合成係数を求め、それ
を通過点解析部51aに送る。
【0107】次いで、通過点解析部51aは、主成分合
成係数算出部57によって算出された運動学的データを
再現するための主成分の合成係数に対して複数の位置の
動きの加速度の時間微分を最小化するようにサンプリン
グして通過点解析処理を行うことによりその情報量を圧
縮して圧縮データを得るとともに、上記圧縮データを得
るときに、上記時間情報を参照して、音素分解処理部5
0から出力される音素列データを上記圧縮データに対応
づけしてバッファメモリ69を介して合成係数内挿処理
部58に出力する。ここで、通過点解析処理の具体的な
方法は、第1の実施形態と同様である。
成係数算出部57によって算出された運動学的データを
再現するための主成分の合成係数に対して複数の位置の
動きの加速度の時間微分を最小化するようにサンプリン
グして通過点解析処理を行うことによりその情報量を圧
縮して圧縮データを得るとともに、上記圧縮データを得
るときに、上記時間情報を参照して、音素分解処理部5
0から出力される音素列データを上記圧縮データに対応
づけしてバッファメモリ69を介して合成係数内挿処理
部58に出力する。ここで、通過点解析処理の具体的な
方法は、第1の実施形態と同様である。
【0108】そして、合成係数内挿処理部58は、通過
点解析部51aからバッファメモリ69を介して入力さ
れる圧縮データに対して、時間方向で内挿処理を行うこ
とにより、上記圧縮データに対応して内挿された再現内
挿データを得るとともに、通過点解析部51aによって
対応づけされた音素列データを参照して、上記内挿され
た再現内挿データに対して上記音素列データを同期させ
た後、上記音素列データを音声信号データに変換して再
現内挿データとともに主成分合成部59に出力する。す
なわち、合成係数内挿処理部58は、入力された通過点
解析の結果データから、第1の実施形態の時間方向内挿
処理部53の処理と同様に、再生アニメーションに必要
なフレームレートでの各フレームにおける合成係数を5
次スプラインにより求める。
点解析部51aからバッファメモリ69を介して入力さ
れる圧縮データに対して、時間方向で内挿処理を行うこ
とにより、上記圧縮データに対応して内挿された再現内
挿データを得るとともに、通過点解析部51aによって
対応づけされた音素列データを参照して、上記内挿され
た再現内挿データに対して上記音素列データを同期させ
た後、上記音素列データを音声信号データに変換して再
現内挿データとともに主成分合成部59に出力する。す
なわち、合成係数内挿処理部58は、入力された通過点
解析の結果データから、第1の実施形態の時間方向内挿
処理部53の処理と同様に、再生アニメーションに必要
なフレームレートでの各フレームにおける合成係数を5
次スプラインにより求める。
【0109】さらに、主成分合成部59は、主成分分解
部56によって算出された複数の主成分の合成係数と、
合成係数内挿処理部58から出力される再現内挿データ
とを合成することにより、アニメーション画像データを
得て、上記合成したアニメーション画像データと音声信
号データとを同期してアニメーション画像メモリ67に
出力する。すなわち、主成分合成部59は、得られた合
成係数に基づき各種成分の重ね合わせを行うことにより
合成する。ただし、先に求めた主成分が平均的な顔面形
状からの差として定義されているので、最終的には重ね
合わせの結果を次式のように平均的な顔面形状に足し合
わせることとなる。なお、アニメーション画像データメ
モリ67以降の処理は、第1の実施形態と同様である。
部56によって算出された複数の主成分の合成係数と、
合成係数内挿処理部58から出力される再現内挿データ
とを合成することにより、アニメーション画像データを
得て、上記合成したアニメーション画像データと音声信
号データとを同期してアニメーション画像メモリ67に
出力する。すなわち、主成分合成部59は、得られた合
成係数に基づき各種成分の重ね合わせを行うことにより
合成する。ただし、先に求めた主成分が平均的な顔面形
状からの差として定義されているので、最終的には重ね
合わせの結果を次式のように平均的な顔面形状に足し合
わせることとなる。なお、アニメーション画像データメ
モリ67以降の処理は、第1の実施形態と同様である。
【0110】
【数37】f=μf+U・α
【0111】以上の第3の実施形態においては、第1の
実施形態で示した変形例をそのまま適用することができ
る。以上の第3の実施形態において、主成分分解部5
6、主成分合成係数算出部57、通過点解析部51a、
合成係数内挿処理部58及び主成分合成部59は、例え
ばデジタル計算機などのコンピュータで構成される。ま
た、各バッファメモリ68及び69は、例えばハードデ
ィスクメモリなどの記憶装置で構成される。
実施形態で示した変形例をそのまま適用することができ
る。以上の第3の実施形態において、主成分分解部5
6、主成分合成係数算出部57、通過点解析部51a、
合成係数内挿処理部58及び主成分合成部59は、例え
ばデジタル計算機などのコンピュータで構成される。ま
た、各バッファメモリ68及び69は、例えばハードデ
ィスクメモリなどの記憶装置で構成される。
【0112】図25に、第1の実施形態の図21及至図
23と同じデータに対して主成分分析を行った合成係数
を示す。この例では7つの主成分の時間変化を示してい
る。この被験者の場合では、顎の上下運動にほぼ対応す
る第1主成分の動きが支配的となっており、また、第2
主成分として唇の丸め運動にほぼ対応する動きが加わる
ことにより、おおよその発話時の動きを再現している。
さらに、第3主成分及び第4主成分ではさらに細やかな
口の開き方に関する動きが加わっている。第5主成分、
第6主成分、及び第7主成分では左右非対称な唇の微妙
運動に対応する動きを微少ながらも加えることにより、
個人に特徴的な発話形状を再現している。
23と同じデータに対して主成分分析を行った合成係数
を示す。この例では7つの主成分の時間変化を示してい
る。この被験者の場合では、顎の上下運動にほぼ対応す
る第1主成分の動きが支配的となっており、また、第2
主成分として唇の丸め運動にほぼ対応する動きが加わる
ことにより、おおよその発話時の動きを再現している。
さらに、第3主成分及び第4主成分ではさらに細やかな
口の開き方に関する動きが加わっている。第5主成分、
第6主成分、及び第7主成分では左右非対称な唇の微妙
運動に対応する動きを微少ながらも加えることにより、
個人に特徴的な発話形状を再現している。
【0113】以上のように構成された第3の実施形態に
おいては、データ適合処理装置31から出力される形状
適合化された3次元データの主成分に関する情報と、通
過点解析部51aから出力される通過点解析後のデータ
の情報を、通信媒体を通じて伝送又は記憶媒体(又は記
録媒体)を蓄積することにより、きわめて低いビットレ
ートでの顔面の動画像を伝送して蓄積することができ
る。第1の実施形態における、母音/a/,/i/,/
u/,/e/,/o/の顔面形状、並びに、口の開放、
口の閉塞、及び口の中間状態の8つの形状を、18点の
運動学的データ(18×3=54軌道データ)を用いて
動かしていた場合に比較して、形状で主成分形状が最大
7形状、同様の通過点解析を行った場合で7軌道データ
のみで同様のアニメーションが生成可能であって、バッ
ファメモリ69に記憶されるデータだけでも7倍以上の
データ圧縮を行うことができる。従って、従来技術に比
較して装置構成が簡単であって、しかもきわめて低いビ
ットレートで伝送又は記憶することができ、伝送コスト
及び製造する装置コストを大幅に軽減することができ、
しかも高速で処理できるという特有の利点を有するアニ
メーションシステムを提供することができる。
おいては、データ適合処理装置31から出力される形状
適合化された3次元データの主成分に関する情報と、通
過点解析部51aから出力される通過点解析後のデータ
の情報を、通信媒体を通じて伝送又は記憶媒体(又は記
録媒体)を蓄積することにより、きわめて低いビットレ
ートでの顔面の動画像を伝送して蓄積することができ
る。第1の実施形態における、母音/a/,/i/,/
u/,/e/,/o/の顔面形状、並びに、口の開放、
口の閉塞、及び口の中間状態の8つの形状を、18点の
運動学的データ(18×3=54軌道データ)を用いて
動かしていた場合に比較して、形状で主成分形状が最大
7形状、同様の通過点解析を行った場合で7軌道データ
のみで同様のアニメーションが生成可能であって、バッ
ファメモリ69に記憶されるデータだけでも7倍以上の
データ圧縮を行うことができる。従って、従来技術に比
較して装置構成が簡単であって、しかもきわめて低いビ
ットレートで伝送又は記憶することができ、伝送コスト
及び製造する装置コストを大幅に軽減することができ、
しかも高速で処理できるという特有の利点を有するアニ
メーションシステムを提供することができる。
【0114】<実施形態の効果>以上説明したように、
本発明に係る実施形態によれば、トポロジーの異なる3
次元データの形状適合化及び変形に関して、3次元形状
の構成点の一部又は全部に座標変換を施し、全ての構成
点の座標変換後の座標値が2組の座標値により残りの座
標値が一意に決定されるような座標系へ変換させた上
で、形状の特徴となる点又は線分を変換後の座標系で対
応させ、この2組の座標値で表される平面上で適合及び
変形を行う。これにより、あらかじめ適当な座標変換を
求めておくことにより複雑な形状への形状適合化と変形
を容易に行うことができる。従って、常に安定した動作
で一方の形状を忠実に他方に反映させるように3次元デ
ータを形状適合化させ、また変形させることができ、3
次元データの処理装置の操作性を大幅に向上させること
ができる。
本発明に係る実施形態によれば、トポロジーの異なる3
次元データの形状適合化及び変形に関して、3次元形状
の構成点の一部又は全部に座標変換を施し、全ての構成
点の座標変換後の座標値が2組の座標値により残りの座
標値が一意に決定されるような座標系へ変換させた上
で、形状の特徴となる点又は線分を変換後の座標系で対
応させ、この2組の座標値で表される平面上で適合及び
変形を行う。これにより、あらかじめ適当な座標変換を
求めておくことにより複雑な形状への形状適合化と変形
を容易に行うことができる。従って、常に安定した動作
で一方の形状を忠実に他方に反映させるように3次元デ
ータを形状適合化させ、また変形させることができ、3
次元データの処理装置の操作性を大幅に向上させること
ができる。
【0115】<変形例>以上の実施形態においては、ア
ニメーションシステム、3次元データを形状適合化及び
/又は変形させるための3次元データの処理装置につい
て述べているが、本発明はこれに限らず、例えば、当該
処理装置の処理をコンピュータのソフトウエアで実現す
るように処理プログラムを形成してもよい。当該処理プ
ログラムは、例えば、CD−ROM、DVD、MDなど
の光ディスク又はフロッピーディスクなどの記録媒体に
記録される。当該記録媒体を提供することにより、当該
処理装置の処理をより容易にユーザに提供することがで
きる。
ニメーションシステム、3次元データを形状適合化及び
/又は変形させるための3次元データの処理装置につい
て述べているが、本発明はこれに限らず、例えば、当該
処理装置の処理をコンピュータのソフトウエアで実現す
るように処理プログラムを形成してもよい。当該処理プ
ログラムは、例えば、CD−ROM、DVD、MDなど
の光ディスク又はフロッピーディスクなどの記録媒体に
記録される。当該記録媒体を提供することにより、当該
処理装置の処理をより容易にユーザに提供することがで
きる。
【0116】
【0117】
【0118】
【0119】
【0120】
【0121】
【0122】
【0123】
【発明の効果】以上詳述したように、本発明に係る請求
項1記載のアニメーションシステムによれば、離散的な
座標値を用いて線分又は点を定義することにより人間の
顔面形状を表わす形状データを含み入力される第1の3
次元データに対して、別の顔面形状を表わす形状データ
であって第1の3次元データとはデータ数及び形状が異
なる形状データを含み入力される第2の3次元データ
を、外見上上記第1の3次元データと同様の形状へと形
状適合化させる適合手段(31)と、上記人間の顔面の
中の特定の部位が運動するときの所定の複数の位置の動
きのデータを含む運動学的データを記憶する第1の記憶
手段(64)と、上記適合手段(31)によって形状適
合化された3次元データに対して所定の主成分分析処理
を行うことにより、上記3次元データに含まれる形状デ
ータに対する寄与率が所定のしきい値よりも大きくかつ
互いに独立な複数の主成分の合成係数を算出するととも
に、上記複数の主成分からそのサブセットである上記複
数の位置に対応する成分のみを抽出し、抽出した成分に
基づいて形状データをそのサブセットから求めるための
線形予測子を算出する分解手段(56)と、上記第1の
記憶手段(64)に記憶された運動学的データに基づい
て、上記分解手段(56)によって算出された線形予測
子を用いて、上記運動学的データを再現するための主成
分の合成係数を算出する算出手段(57)と、上記算出
手段(57)によって算出された上記運動学的データを
再現するための主成分の合成係数に対して複数の位置の
動きの加速度の時間微分を最小化するようにサンプリン
グして通過点解析処理を行うことによりその情報量を圧
縮して圧縮データを得て出力する解析手段(51a)
と、上記解析手段(51a)から出力される圧縮データ
に対して、時間方向で内挿処理を行うことにより、上記
圧縮データに対応して内挿された再現内挿データを得て
出力する内挿処理手段(58)と、上記分解手段(5
6)によって算出された複数の主成分の合成係数と、上
記内挿処理手段(58)から出力される再現内挿データ
とを合成することにより、アニメーション画像データを
得て出力する合成手段(59)とを備える。従って、従
来技術に比較して装置構成が簡単であって、しかもきわ
めて低いビットレートで伝送又は記憶することができ、
伝送コスト及び製造する装置コストを大幅に軽減するこ
とができ、しかも高速で処理できるという特有の利点を
有するアニメーションシステムを提供することができ
る。
項1記載のアニメーションシステムによれば、離散的な
座標値を用いて線分又は点を定義することにより人間の
顔面形状を表わす形状データを含み入力される第1の3
次元データに対して、別の顔面形状を表わす形状データ
であって第1の3次元データとはデータ数及び形状が異
なる形状データを含み入力される第2の3次元データ
を、外見上上記第1の3次元データと同様の形状へと形
状適合化させる適合手段(31)と、上記人間の顔面の
中の特定の部位が運動するときの所定の複数の位置の動
きのデータを含む運動学的データを記憶する第1の記憶
手段(64)と、上記適合手段(31)によって形状適
合化された3次元データに対して所定の主成分分析処理
を行うことにより、上記3次元データに含まれる形状デ
ータに対する寄与率が所定のしきい値よりも大きくかつ
互いに独立な複数の主成分の合成係数を算出するととも
に、上記複数の主成分からそのサブセットである上記複
数の位置に対応する成分のみを抽出し、抽出した成分に
基づいて形状データをそのサブセットから求めるための
線形予測子を算出する分解手段(56)と、上記第1の
記憶手段(64)に記憶された運動学的データに基づい
て、上記分解手段(56)によって算出された線形予測
子を用いて、上記運動学的データを再現するための主成
分の合成係数を算出する算出手段(57)と、上記算出
手段(57)によって算出された上記運動学的データを
再現するための主成分の合成係数に対して複数の位置の
動きの加速度の時間微分を最小化するようにサンプリン
グして通過点解析処理を行うことによりその情報量を圧
縮して圧縮データを得て出力する解析手段(51a)
と、上記解析手段(51a)から出力される圧縮データ
に対して、時間方向で内挿処理を行うことにより、上記
圧縮データに対応して内挿された再現内挿データを得て
出力する内挿処理手段(58)と、上記分解手段(5
6)によって算出された複数の主成分の合成係数と、上
記内挿処理手段(58)から出力される再現内挿データ
とを合成することにより、アニメーション画像データを
得て出力する合成手段(59)とを備える。従って、従
来技術に比較して装置構成が簡単であって、しかもきわ
めて低いビットレートで伝送又は記憶することができ、
伝送コスト及び製造する装置コストを大幅に軽減するこ
とができ、しかも高速で処理できるという特有の利点を
有するアニメーションシステムを提供することができ
る。
【0124】また、請求項2記載のアニメーションシス
テムによれば、請求項1記載のアニメーションシステム
において、上記人間の顔面の中の特定の部位は口であ
り、当該口が運動するときに発声するときの時間情報と
その音声の音声信号を記憶する第2の記憶手段(62)
と、上記第2の記憶手段(62)に記憶された音声信号
を所定の音素分析データを参照して音素に分解して上記
音声に対応した音素列データをその時間情報とともに出
力する音素分解処理手段(50)とをさらに備え、上記
解析手段(51a)は、上記圧縮データを得るときに、
上記時間情報を参照して、上記音素分解処理手段(5
0)から出力される音素列データを上記圧縮データに対
応づけし、上記内挿処理手段(58)は、上記解析手段
(51a)によって対応づけされた音素列データを参照
して、上記内挿された再現内挿データに対して上記音素
列データを同期させた後、上記音素列データを音声信号
データに変換して再現内挿データとともに出力し、上記
合成手段(59)は、上記合成したアニメーション画像
データと音声信号データとを同期して出力する。従っ
て、従来技術に比較して装置構成が簡単であって、しか
もきわめて低いビットレートで伝送又は記憶することが
でき、伝送コスト及び製造する装置コストを大幅に軽減
することができ、しかも高速で処理でき、発声音声と同
期した人間のアニメーションの画像を生成することがで
きるアニメーションシステムを提供することができる。
テムによれば、請求項1記載のアニメーションシステム
において、上記人間の顔面の中の特定の部位は口であ
り、当該口が運動するときに発声するときの時間情報と
その音声の音声信号を記憶する第2の記憶手段(62)
と、上記第2の記憶手段(62)に記憶された音声信号
を所定の音素分析データを参照して音素に分解して上記
音声に対応した音素列データをその時間情報とともに出
力する音素分解処理手段(50)とをさらに備え、上記
解析手段(51a)は、上記圧縮データを得るときに、
上記時間情報を参照して、上記音素分解処理手段(5
0)から出力される音素列データを上記圧縮データに対
応づけし、上記内挿処理手段(58)は、上記解析手段
(51a)によって対応づけされた音素列データを参照
して、上記内挿された再現内挿データに対して上記音素
列データを同期させた後、上記音素列データを音声信号
データに変換して再現内挿データとともに出力し、上記
合成手段(59)は、上記合成したアニメーション画像
データと音声信号データとを同期して出力する。従っ
て、従来技術に比較して装置構成が簡単であって、しか
もきわめて低いビットレートで伝送又は記憶することが
でき、伝送コスト及び製造する装置コストを大幅に軽減
することができ、しかも高速で処理でき、発声音声と同
期した人間のアニメーションの画像を生成することがで
きるアニメーションシステムを提供することができる。
【0125】
【0126】さらに、請求項3記載のアニメーションシ
ステムは、請求項1又は2記載のアニメーションシステ
ムにおいて、上記第2の3次元データは、メッシュモデ
ルに基づく形状データを含む。従って、従来技術に比較
して装置構成が簡単であって、しかもきわめて低いビッ
トレートで伝送又は記憶することができ、伝送コスト及
び製造する装置コストを大幅に軽減することができ、し
かも高速で処理でき、メッシュモデルに適合化しかつ発
声音声と同期した人間のアニメーションの画像を生成す
ることができるアニメーションシステムを提供すること
ができる。
ステムは、請求項1又は2記載のアニメーションシステ
ムにおいて、上記第2の3次元データは、メッシュモデ
ルに基づく形状データを含む。従って、従来技術に比較
して装置構成が簡単であって、しかもきわめて低いビッ
トレートで伝送又は記憶することができ、伝送コスト及
び製造する装置コストを大幅に軽減することができ、し
かも高速で処理でき、メッシュモデルに適合化しかつ発
声音声と同期した人間のアニメーションの画像を生成す
ることができるアニメーションシステムを提供すること
ができる。
【0127】また、請求項4記載のアニメーションシス
テムによれば、請求項1乃至3のうちの1つに記載のア
ニメーションシステムにおいて、上記適合手段(31)
は、3次元データ中の形状を定義する第1の座標系を有
する上記第1の3次元データに対して、上記第1の3次
元データの形状データの少なくとも一部を所定の座標変
換処理により変換した後の2組の座標値に対して残りの
座標値が一意に決定されるような他の第2の座標系を有
する第3の3次元データに座標変換する第1の座標変換
手段(3a)と、上記第1の座標系を有する上記第2の
3次元データに対して、上記座標変換処理を実行して上
記第2の座標系を有する第4の3次元データに座標変換
する第2の座標変換手段(3b)と、上記第1の3次元
データの形状データの所定の特徴部分と、上記第2の3
次元データの形状データの所定の特徴部分とを抽出し、
上記抽出された上記第1の3次元データの形状データの
特徴部分を示す線分又は点の組を、上記抽出された上記
第2の3次元データの形状データの特徴部分を示す線分
又は点の組に対して対応づけを行い対応関係を示す対応
関係データを生成する対応生成手段(4)と、上記対応
生成手段(4)によって生成された各特徴部分間の対応
関係データに基づいて、上記第2の3次元データの特徴
部分から、上記第1の3次元データの特徴部分への、第
2の座標系における線分又は点の組の対応間のシフト量
を算出するシフト量算出手段(6)と、上記シフト量算
出手段(6)によって算出されたシフト量に基づいて、
上記第1の座標変換手段(3a)によって座標変換され
た第3の3次元データにおける、上記第2の座標変換手
段(3b)によって座標変換された第4の3次元データ
からの、所定の対象点の変動座標位置を算出する変動座
標算出手段(7)と、上記変動座標算出手段(7)によ
って算出された変動座標位置に基づいて、上記第4の3
次元データが上記第3の3次元データに形状適合化する
ように、上記第3の3次元データに対応する第4の3次
元データの座標値を、内挿又は外挿により類推しかつ類
推された座標値を上記第4の3次元データの対応付けを
行った特徴部分を示す線分または点の組に加算すること
により、上記第4の3次元データを上記第3の3次元デ
ータに形状適合化された第2の座標系を有する第5の3
次元データを生成するデータ類推及び加算手段(8,
9)と、上記データ類推及び加算手段(8,9)によっ
て生成された第2の座標系を有する第5の3次元データ
に対して、上記第1と第2の座標変換手段(3a,3
b)による座標変換処理とは逆の座標逆変換処理を実行
して、上記第2の3次元データを上記第1の3次元デー
タに形状適合化された第1の座標系を有する第6の3次
元データを生成して上記分解手段(56)に出力する座
標逆変換手段(10)とを備える。従って、あらかじめ
適当な座標変換を求めておくことにより複雑な形状への
形状適合化を容易に行うことができる。それ故、常に安
定した動作で一方の形状を忠実に他方に反映させるよう
に3次元データを形状適合化させることができ、アニメ
ーションシステムの操作性を大幅に向上させることがで
きる。
テムによれば、請求項1乃至3のうちの1つに記載のア
ニメーションシステムにおいて、上記適合手段(31)
は、3次元データ中の形状を定義する第1の座標系を有
する上記第1の3次元データに対して、上記第1の3次
元データの形状データの少なくとも一部を所定の座標変
換処理により変換した後の2組の座標値に対して残りの
座標値が一意に決定されるような他の第2の座標系を有
する第3の3次元データに座標変換する第1の座標変換
手段(3a)と、上記第1の座標系を有する上記第2の
3次元データに対して、上記座標変換処理を実行して上
記第2の座標系を有する第4の3次元データに座標変換
する第2の座標変換手段(3b)と、上記第1の3次元
データの形状データの所定の特徴部分と、上記第2の3
次元データの形状データの所定の特徴部分とを抽出し、
上記抽出された上記第1の3次元データの形状データの
特徴部分を示す線分又は点の組を、上記抽出された上記
第2の3次元データの形状データの特徴部分を示す線分
又は点の組に対して対応づけを行い対応関係を示す対応
関係データを生成する対応生成手段(4)と、上記対応
生成手段(4)によって生成された各特徴部分間の対応
関係データに基づいて、上記第2の3次元データの特徴
部分から、上記第1の3次元データの特徴部分への、第
2の座標系における線分又は点の組の対応間のシフト量
を算出するシフト量算出手段(6)と、上記シフト量算
出手段(6)によって算出されたシフト量に基づいて、
上記第1の座標変換手段(3a)によって座標変換され
た第3の3次元データにおける、上記第2の座標変換手
段(3b)によって座標変換された第4の3次元データ
からの、所定の対象点の変動座標位置を算出する変動座
標算出手段(7)と、上記変動座標算出手段(7)によ
って算出された変動座標位置に基づいて、上記第4の3
次元データが上記第3の3次元データに形状適合化する
ように、上記第3の3次元データに対応する第4の3次
元データの座標値を、内挿又は外挿により類推しかつ類
推された座標値を上記第4の3次元データの対応付けを
行った特徴部分を示す線分または点の組に加算すること
により、上記第4の3次元データを上記第3の3次元デ
ータに形状適合化された第2の座標系を有する第5の3
次元データを生成するデータ類推及び加算手段(8,
9)と、上記データ類推及び加算手段(8,9)によっ
て生成された第2の座標系を有する第5の3次元データ
に対して、上記第1と第2の座標変換手段(3a,3
b)による座標変換処理とは逆の座標逆変換処理を実行
して、上記第2の3次元データを上記第1の3次元デー
タに形状適合化された第1の座標系を有する第6の3次
元データを生成して上記分解手段(56)に出力する座
標逆変換手段(10)とを備える。従って、あらかじめ
適当な座標変換を求めておくことにより複雑な形状への
形状適合化を容易に行うことができる。それ故、常に安
定した動作で一方の形状を忠実に他方に反映させるよう
に3次元データを形状適合化させることができ、アニメ
ーションシステムの操作性を大幅に向上させることがで
きる。
【0128】さらに、請求項5記載のアニメーションシ
ステムによれば、請求項4記載のアニメーションシステ
ムにおいて、上記第1の3次元データの形状データに対
して部分的な変形を指示するために入力された第1の座
標系における座標値のシフト量に対して、上記座標変換
処理を実行して上記第2の座標系における座標値のシフ
ト量に座標変換する第3の座標変換手段(3c)をさら
に備え、上記変動座標算出手段(7,7a)は、上記第
3の座標変換手段(3c)によって座標変換された座標
値のシフト量と、上記シフト量算出手段(6)によって
算出されたシフト量に基づいて、上記第1の座標変換手
段(3a)によって座標変換された第3の3次元データ
における所定の対象点の変動座標位置を算出する。従っ
て、あらかじめ適当な座標変換を求めておくことにより
複雑な形状への形状適合化と変形を容易に行うことがで
きる。それ故、常に安定した動作で一方の形状を忠実に
他方に反映させるように3次元データを形状適合化さ
せ、また変形させることができ、アニメーションシステ
ムの操作性を大幅に向上させることができる。
ステムによれば、請求項4記載のアニメーションシステ
ムにおいて、上記第1の3次元データの形状データに対
して部分的な変形を指示するために入力された第1の座
標系における座標値のシフト量に対して、上記座標変換
処理を実行して上記第2の座標系における座標値のシフ
ト量に座標変換する第3の座標変換手段(3c)をさら
に備え、上記変動座標算出手段(7,7a)は、上記第
3の座標変換手段(3c)によって座標変換された座標
値のシフト量と、上記シフト量算出手段(6)によって
算出されたシフト量に基づいて、上記第1の座標変換手
段(3a)によって座標変換された第3の3次元データ
における所定の対象点の変動座標位置を算出する。従っ
て、あらかじめ適当な座標変換を求めておくことにより
複雑な形状への形状適合化と変形を容易に行うことがで
きる。それ故、常に安定した動作で一方の形状を忠実に
他方に反映させるように3次元データを形状適合化さ
せ、また変形させることができ、アニメーションシステ
ムの操作性を大幅に向上させることができる。
【0129】またさらに、請求項6記載のアニメーショ
ンシステムによれば、請求項4又は5記載のアニメーシ
ョンシステムにおいて、入力される3次元データに対し
て互いに異なる座標変換処理を実行して座標変換後の3
次元データを出力する複数の座標変換装置(14−1,
14−2,…,14−n)と、上記複数の座標変換装置
(14−1,14−2,…,14−n)により座標変換
された3次元データに基づいて、それぞれ座標変換後の
2組の座標値に対して残りの座標値が一意に決定される
か否かを判断するために、一意に決定されるときにより
小さい値となる評価関数の関数値を算出する変換評価手
段(15)と、上記変換評価手段(15)によって算出
された上記複数の座標変換装置に対応する複数の関数値
のうち最小の関数値に対応する座標変換装置を選択し
て、選択された座標変換装置(14−1,14−2,
…,14−n)から出力される変換後の3次元データを
出力する座標変換選択手段(16)と、上記座標変換手
段(16)により選択された座標変換装置(14−1,
14−2,…,14−n)と、その座標変換処理のため
のパラメータを記憶した後、上記第1と第2と第3の座
標変換手段(3a,3b,3c)に出力して設定する記
憶装置(20)と、上記記憶装置(20)に記憶された
座標変換処理のためのパラメータに基づいて、当該座標
変換処理とは逆の座標逆変換処理のためのパラメータを
算出して上記座標逆変換手段(9)に出力して設定する
逆変換パラメータ算出手段(21)とをさらに備える。
従って、より最適な座標変換部を選択して、3次元デー
タの処理をより正確に実行することができる。
ンシステムによれば、請求項4又は5記載のアニメーシ
ョンシステムにおいて、入力される3次元データに対し
て互いに異なる座標変換処理を実行して座標変換後の3
次元データを出力する複数の座標変換装置(14−1,
14−2,…,14−n)と、上記複数の座標変換装置
(14−1,14−2,…,14−n)により座標変換
された3次元データに基づいて、それぞれ座標変換後の
2組の座標値に対して残りの座標値が一意に決定される
か否かを判断するために、一意に決定されるときにより
小さい値となる評価関数の関数値を算出する変換評価手
段(15)と、上記変換評価手段(15)によって算出
された上記複数の座標変換装置に対応する複数の関数値
のうち最小の関数値に対応する座標変換装置を選択し
て、選択された座標変換装置(14−1,14−2,
…,14−n)から出力される変換後の3次元データを
出力する座標変換選択手段(16)と、上記座標変換手
段(16)により選択された座標変換装置(14−1,
14−2,…,14−n)と、その座標変換処理のため
のパラメータを記憶した後、上記第1と第2と第3の座
標変換手段(3a,3b,3c)に出力して設定する記
憶装置(20)と、上記記憶装置(20)に記憶された
座標変換処理のためのパラメータに基づいて、当該座標
変換処理とは逆の座標逆変換処理のためのパラメータを
算出して上記座標逆変換手段(9)に出力して設定する
逆変換パラメータ算出手段(21)とをさらに備える。
従って、より最適な座標変換部を選択して、3次元デー
タの処理をより正確に実行することができる。
【図1】 本発明に係る第1の実施形態である顔面アニ
メーションシステムの構成を示すブロック図である。
メーションシステムの構成を示すブロック図である。
【図2】 本発明に係る第1の実施形態である座標変換
処理装置30の構成を示すブロック図である。
処理装置30の構成を示すブロック図である。
【図3】 本発明に係る第1の実施形態であるデータ適
合処理装置31の構成を示すブロック図である。
合処理装置31の構成を示すブロック図である。
【図4】 本発明に係る第2の実施形態であるデータ変
形処理装置32の構成を示すブロック図である。
形処理装置32の構成を示すブロック図である。
【図5】 図3及び図4の対応生成部4の実施形態1で
ある対応生成部4aの構成を示すブロック図である。
ある対応生成部4aの構成を示すブロック図である。
【図6】 図3及び図4の対応生成部4の実施形態2で
ある対応生成部4bの構成を示すブロック図である。
ある対応生成部4bの構成を示すブロック図である。
【図7】 図3及び図4の対応生成部4の実施形態3で
ある対応生成部4cの構成を示すブロック図である。
ある対応生成部4cの構成を示すブロック図である。
【図8】 図1の顔面アニメーションシステムにおいて
用いる基本顔形状データ(母音/a/)の一例を示す正
面図である。
用いる基本顔形状データ(母音/a/)の一例を示す正
面図である。
【図9】 図1の顔面アニメーションシステムにおいて
用いる計測テクスチャ(母音/a/)の一例を示す正面
図である。
用いる計測テクスチャ(母音/a/)の一例を示す正面
図である。
【図10】 (a)は図1の顔面アニメーションシステ
ムにおいて(メモリ61に格納された)運動学的データ
の取得のための赤外線ダイオードの配置例を示す正面図
であり、(b)はその側面図である。
ムにおいて(メモリ61に格納された)運動学的データ
の取得のための赤外線ダイオードの配置例を示す正面図
であり、(b)はその側面図である。
【図11】 図1の顔面アニメーションシステムにおい
て用いる(メモリ2に格納された)一般メッシュモデル
の一例を示す正面図である。
て用いる(メモリ2に格納された)一般メッシュモデル
の一例を示す正面図である。
【図12】 図1のデータ適合処理装置31によって得
られた(θ,z)平面での適合結果の一例を示す正面図
である。
られた(θ,z)平面での適合結果の一例を示す正面図
である。
【図13】 (a)は図1のデータ適合処理装置31に
よって得られた3次元空間でのメッシュ表示の適合結果
の一例を示す正面図であり、(b)は図1のデータ適合
処理装置31によって得られた3次元空間での画像表示
の適合結果の一例を示す正面図である。
よって得られた3次元空間でのメッシュ表示の適合結果
の一例を示す正面図であり、(b)は図1のデータ適合
処理装置31によって得られた3次元空間での画像表示
の適合結果の一例を示す正面図である。
【図14】 図1の顔面アニメーションシステムにおい
て用いる基本顔形状の合成により任意時刻の顔形状を近
似する方法を示すブロック図である。
て用いる基本顔形状の合成により任意時刻の顔形状を近
似する方法を示すブロック図である。
【図15】 図1の通過点解析部51の通過点解析処理
を示すグラフであって、(a)は当該処理における元の
軌跡と予測された軌跡を示すグラフであり、(b)は当
該処理において抽出された通過点を示すグラフであり、
(c)は当該処理において予測された第2の軌跡を示す
グラフであり、(d)は当該処理において抽出された第
2の通過点を示すグラフである。
を示すグラフであって、(a)は当該処理における元の
軌跡と予測された軌跡を示すグラフであり、(b)は当
該処理において抽出された通過点を示すグラフであり、
(c)は当該処理において予測された第2の軌跡を示す
グラフであり、(d)は当該処理において抽出された第
2の通過点を示すグラフである。
【図16】 図1の通過点解析部51の通過点解析処理
による解析例であるあごと上唇のマーカー軌跡の一例を
示すグラフである。
による解析例であるあごと上唇のマーカー軌跡の一例を
示すグラフである。
【図17】 図1の顔面アニメーションシステムによっ
て生成されたアニメーション生成結果(時刻t=0.0
0)の画像を示す正面図である。
て生成されたアニメーション生成結果(時刻t=0.0
0)の画像を示す正面図である。
【図18】 図1の顔面アニメーションシステムによっ
て生成されたアニメーション生成結果(時刻t=1.1
7)の画像を示す正面図である。
て生成されたアニメーション生成結果(時刻t=1.1
7)の画像を示す正面図である。
【図19】 図1の顔面アニメーションシステムによっ
て生成されたアニメーション生成結果(時刻t=2.4
3)の画像を示す正面図である。
て生成されたアニメーション生成結果(時刻t=2.4
3)の画像を示す正面図である。
【図20】 図1の顔面アニメーションシステムによっ
て生成されたアニメーション生成結果(時刻t=3.2
0)の画像を示す正面図である。
て生成されたアニメーション生成結果(時刻t=3.2
0)の画像を示す正面図である。
【図21】 図1の顔面アニメーションシステムの実験
における入力音声信号の信号波形を示すグラフである。
における入力音声信号の信号波形を示すグラフである。
【図22】 図1の顔面アニメーションシステムの実験
における元の運動学的データから得た合成比率の時系列
データを示すグラフである。
における元の運動学的データから得た合成比率の時系列
データを示すグラフである。
【図23】 図1の顔面アニメーションシステムの実験
における通過点解析から得た合成比率の時系列データを
示すグラフである。
における通過点解析から得た合成比率の時系列データを
示すグラフである。
【図24】 本発明に係る第3の実施形態である顔面ア
ニメーションシステムの構成を示すブロック図である。
ニメーションシステムの構成を示すブロック図である。
【図25】 図24の顔面アニメーションシステムのシ
ミュレーション結果であって、第1の実施形態の図21
及至図23と同じデータに対して主成分分析を行った合
成係数を時系列で示すグラフである。
ミュレーション結果であって、第1の実施形態の図21
及至図23と同じデータに対して主成分分析を行った合
成係数を時系列で示すグラフである。
1…適合対象3次元データメモリ、 2…適合元3次元データメモリ、 3a,3b,3c…座標変換部、 3am,3bm…バッファメモリ、 4,4a,4b,4c…対応生成部、 4m…バッファメモリ、 5a,5b…特徴量分離部、 6…シフト量算出部、 7,7a…変動座標算出部、 8…データ類推部、 9…加算器、 10…座標逆変換部、 11…出力3次元データ、 12…変形部分指示データ、 13…入力3次元データ、 14,14−1乃至14−n…座標変換部、 15…変換評価部、 16…座標変換選択部、 18,19…スイッチ、 20…パラメータメモリ、 21…座標逆変換パラメータ算出部、 22…出力3次元データ、 30…座標変換処理装置、 31…データ適合処理装置、 32…データ変形処理装置、 40…対応定義部、 41…対応読み取り部、 42…対応情報メモリ、 43…キーボード、 44…マウス、 45…CRTディスプレイ、 51,51a…通過点解析部、 52…形状間内挿処理部、 53…時間方向内挿処理部、 54…再生処理部、 55…CRTディスプレイ、 56…主成分分解部、 57…主成分合成係数算出部、 58…合成係数内挿処理部、 59…主成分合成部、 61…運動学的データメモリ、 62…音声波形データメモリ、 63…音素コードブックメモリ、 64,65,66,68,69…バッファメモリ、 67…アニメーション画像データメモリ。
フロントページの続き 特許法第30条第1項適用申請有り 画像電子学会第5回 ビジュアルコンピューティング研究委員会研究発表講演 論文集(1997.10.30)第1頁〜第6頁に発表 特許法第30条第1項適用申請有り 電子情報通信学会技 術研究報告第97巻第386号 PRMU97−138(1997. 11.20)第69頁〜第76頁に発表 (72)発明者 倉立 尚明 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社 エイ・ティ・アール 人間情報通信研究所内 (72)発明者 マーク・ティーディー 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社 エイ・ティ・アール 人間情報通信研究所内 (56)参考文献 特開 平9−73559(JP,A) 特開 平4−24876(JP,A) Kiyoshi Araiほか”Bi linear interpolati on for facial expe ression and metamo rphosis in real−ti me animation”,The Visual Computer,Sp ringer,1996年5月9日,Vo l.12,No.3,p.105−116 宮本弘之ほか”最適化原理に基づく見 まねによるけん玉学習”,電子情報通信 学会技術研究報告(NC94−143),電 子情報通信学会,1995年3月18日,Vo l.94,No.563,p.223−230 (58)調査した分野(Int.Cl.6,DB名) G06T 15/00 - 17/50 JICSTファイル(JOIS) 特許ファイル(PATOLIS)
Claims (6)
- 【請求項1】 離散的な座標値を用いて線分又は点を定
義することにより人間の顔面形状を表わす形状データを
含み入力される第1の3次元データに対して、別の顔面
形状を表わす形状データであって第1の3次元データと
はデータ数及び形状が異なる形状データを含み入力され
る第2の3次元データを、外見上上記第1の3次元デー
タと同様の形状へと形状適合化させる適合手段(31)
と、 上記人間の顔面の中の特定の部位が運動するときの所定
の複数の位置の動きのデータを含む運動学的データを記
憶する第1の記憶手段(64)と、 上記適合手段(31)によって形状適合化された3次元
データに対して所定の主成分分析処理を行うことによ
り、上記3次元データに含まれる形状データに対する寄
与率が所定のしきい値よりも大きくかつ互いに独立な複
数の主成分の合成係数を算出するとともに、上記複数の
主成分からそのサブセットである上記複数の位置に対応
する成分のみを抽出し、抽出した成分に基づいて形状デ
ータをそのサブセットから求めるための線形予測子を算
出する分解手段(56)と、 上記第1の記憶手段(64)に記憶された運動学的デー
タに基づいて、上記分解手段(56)によって算出され
た線形予測子を用いて、上記運動学的データを再現する
ための主成分の合成係数を算出する算出手段(57)
と、 上記算出手段(57)によって算出された上記運動学的
データを再現するための主成分の合成係数に対して複数
の位置の動きの加速度の時間微分を最小化するようにサ
ンプリングして通過点解析処理を行うことによりその情
報量を圧縮して圧縮データを得て出力する解析手段(5
1a)と、 上記解析手段(51a)から出力される圧縮データに対
して、時間方向で内挿処理を行うことにより、上記圧縮
データに対応して内挿された再現内挿データを得て出力
する内挿処理手段(58)と、 上記分解手段(56)によって算出された複数の主成分
の合成係数と、上記内挿処理手段(58)から出力され
る再現内挿データとを合成することにより、アニメーシ
ョン画像データを得て出力する合成手段(59)とを備
えたことを特徴とするアニメーションシステム。 - 【請求項2】 請求項1記載のアニメーションシステム
において、 上記人間の顔面の中の特定の部位は口であり、 当該口が運動するときに発声するときの時間情報とその
音声の音声信号を記憶する第2の記憶手段(62)と、 上記第2の記憶手段(62)に記憶された音声信号を所
定の音素分析データを参照して音素に分解して上記音声
に対応した音素列データをその時間情報とともに出力す
る音素分解処理手段(50)とをさらに備え、 上記解析手段(51a)は、上記圧縮データを得るとき
に、上記時間情報を参照して、上記音素分解処理手段
(50)から出力される音素列データを上記圧縮データ
に対応づけし、 上記内挿処理手段(58)は、上記解析手段(51a)
によって対応づけされた音素列データを参照して、上記
内挿された再現内挿データに対して上記音素列データを
同期させた後、上記音素列データを音声信号データに変
換して再現内挿データとともに出力し、 上記合成手段(59)は、上記合成したアニメーション
画像データと音声信号データとを同期して出力すること
を特徴とするアニメーションシステム。 - 【請求項3】 請求項1又は2記載のアニメーションシ
ステムにおいて、 上記第2の3次元データは、メッシュモデルに基づく形
状データを含むことを特徴とするアニメーションシステ
ム。 - 【請求項4】 請求項1乃至3のうちの1つに記載のア
ニメーションシステムにおいて、上記適合手段(31)
は、 3次元データ中の形状を定義する第1の座標系を有する
上記第1の3次元データに対して、上記第1の3次元デ
ータの形状データの少なくとも一部を所定の座標変換処
理により変換した後の2組の座標値に対して残りの座標
値が一意に決定されるような他の第2の座標系を有する
第3の3次元データに座標変換する第1の座標変換手段
(3a)と、 上記第1の座標系を有する上記第2の3次元データに対
して、上記座標変換処理を実行して上記第2の座標系を
有する第4の3次元データに座標変換する第2の座標変
換手段(3b)と、 上記第1の3次元データの形状データの所定の特徴部分
と、上記第2の3次元データの形状データの所定の特徴
部分とを抽出し、上記抽出された上記第1の3次元デー
タの形状データの特徴部分を示す線分又は点の組を、上
記抽出された上記第2の3次元データの形状データの特
徴部分を示す線分又は点の組に対して対応づけを行い対
応関係を示す対応関係データを生成する対応生成手段
(4)と、 上記対応生成手段(4)によって生成された各特徴部分
間の対応関係データに基づいて、上記第2の3次元デー
タの特徴部分から、上記第1の3次元データの特徴部分
への、第2の座標系における線分又は点の組の対応間の
シフト量を算出するシフト量算出手段(6)と、 上記シフト量算出手段(6)によって算出されたシフト
量に基づいて、上記第1の座標変換手段(3a)によっ
て座標変換された第3の3次元データにおける、上記第
2の座標変換手段(3b)によって座標変換された第4
の3次元データからの、所定の対象点の変動座標位置を
算出する変動座標算出手段(7)と、 上記変動座標算出手段(7)によって算出された変動座
標位置に基づいて、上記第4の3次元データが上記第3
の3次元データに形状適合化するように、上記第3の3
次元データに対応する第4の3次元データの座標値を、
内挿又は外挿により類推しかつ類推された座標値を上記
第4の3次元データの対応付けを行った特徴部分を示す
線分または点の組に加算することにより、上記第4の3
次元データを上記第3の3次元データに形状適合化され
た第2の座標系を有する第5の3次元データを生成する
データ類推及び加算手段(8,9)と、 上記データ類推及び加算手段(8,9)によって生成さ
れた第2の座標系を有する第5の3次元データに対し
て、上記第1と第2の座標変換手段(3a,3b)によ
る座標変換処理とは逆の座標逆変換処理を実行して、上
記第2の3次元データを上記第1の3次元データに形状
適合化された第1の座標系を有する第6の3次元データ
を生成して上記分解手段(56)に出力する座標逆変換
手段(10)とを備えたことを特徴とするアニメーショ
ンシステム。 - 【請求項5】 請求項4記載のアニメーションシステム
において、 上記第1の3次元データの形状データに対して部分的な
変形を指示するために入力された第1の座標系における
座標値のシフト量に対して、上記座標変換処理を実行し
て上記第2の座標系における座標値のシフト量に座標変
換する第3の座標変換手段(3c)をさらに備え、 上記変動座標算出手段(7,7a)は、上記第3の座標
変換手段(3c)によって座標変換された座標値のシフ
ト量と、上記シフト量算出手段(6)によって算出され
たシフト量に基づいて、上記第1の座標変換手段(3
a)によって座標変換された第3の3次元データにおけ
る所定の対象点の変動座標位置を算出することを特徴と
するアニメーションシステム。 - 【請求項6】 請求項4又は5記載のアニメーションシ
ステムにおいて、 入力される3次元データに対して互いに異なる座標変換
処理を実行して座標変換後の3次元データを出力する複
数の座標変換装置(14−1,14−2,…,14−
n)と、 上記複数の座標変換装置(14−1,14−2,…,1
4−n)により座標変換された3次元データに基づい
て、それぞれ座標変換後の2組の座標値に対して残りの
座標値が一意に決定されるか否かを判断するために、一
意に決定されるときにより小さい値となる評価関数の関
数値を算出する変換評価手段(15)と、 上記変換評価手段(15)によって算出された上記複数
の座標変換装置に対応する複数の関数値のうち最小の関
数値に対応する座標変換装置を選択して、選択された座
標変換装置(14−1,14−2,…,14−n)から
出力される変換後の3次元データを出力する座標変換選
択手段(16)と、 上記座標変換手段(16)により選択された座標変換装
置(14−1,14−2,…,14−n)と、その座標
変換処理のためのパラメータを記憶した後、上記第1と
第2と第3の座標変換手段(3a,3b,3c)に出力
して設定する記憶装置(20)と、 上記記憶装置(20)に記憶された座標変換処理のため
のパラメータに基づいて、当該座標変換処理とは逆の座
標逆変換処理のためのパラメータを算出して上記座標逆
変換手段(9)に出力して設定する逆変換パラメータ算
出手段(21)とをさらに備えたことを特徴とするアニ
メーションシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9882698A JP2974655B1 (ja) | 1998-03-16 | 1998-04-10 | アニメーションシステム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10-65090 | 1998-03-16 | ||
JP6509098 | 1998-03-16 | ||
JP9882698A JP2974655B1 (ja) | 1998-03-16 | 1998-04-10 | アニメーションシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2974655B1 true JP2974655B1 (ja) | 1999-11-10 |
JPH11328440A JPH11328440A (ja) | 1999-11-30 |
Family
ID=26406222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9882698A Expired - Fee Related JP2974655B1 (ja) | 1998-03-16 | 1998-04-10 | アニメーションシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2974655B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915708A (zh) * | 2020-08-27 | 2020-11-10 | 网易(杭州)网络有限公司 | 图像处理的方法及装置、存储介质及电子设备 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT1320002B1 (it) * | 2000-03-31 | 2003-11-12 | Cselt Centro Studi Lab Telecom | Procedimento per l'animazione di un modello sintetizzato di voltoumano pilotata da un segnale audio. |
US6943794B2 (en) | 2000-06-13 | 2005-09-13 | Minolta Co., Ltd. | Communication system and communication method using animation and server as well as terminal device used therefor |
US6950104B1 (en) * | 2000-08-30 | 2005-09-27 | Microsoft Corporation | Methods and systems for animating facial features, and methods and systems for expression transformation |
AU2002357108A1 (en) * | 2001-12-06 | 2003-07-09 | New York University | Logic arrangement, data structure, system and method for multilinear representation of multimodal data ensembles for synthesis, recognition and compression |
US7606392B2 (en) | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
JP5362357B2 (ja) * | 2005-08-26 | 2013-12-11 | ソニー株式会社 | 顔の動きのデータの撮影及び処理 |
US7567251B2 (en) * | 2006-01-10 | 2009-07-28 | Sony Corporation | Techniques for creating facial animation using a face mesh |
SG182346A1 (en) * | 2010-01-12 | 2012-08-30 | Univ Nanyang Tech | Method, device, and computer readable medium for generating a digital picture |
-
1998
- 1998-04-10 JP JP9882698A patent/JP2974655B1/ja not_active Expired - Fee Related
Non-Patent Citations (2)
Title |
---|
Kiyoshi Araiほか"Bilinear interpolation for facial experession and metamorphosis in real−time animation",The Visual Computer,Springer,1996年5月9日,Vol.12,No.3,p.105−116 |
宮本弘之ほか"最適化原理に基づく見まねによるけん玉学習",電子情報通信学会技術研究報告(NC94−143),電子情報通信学会,1995年3月18日,Vol.94,No.563,p.223−230 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915708A (zh) * | 2020-08-27 | 2020-11-10 | 网易(杭州)网络有限公司 | 图像处理的方法及装置、存储介质及电子设备 |
CN111915708B (zh) * | 2020-08-27 | 2024-05-28 | 网易(杭州)网络有限公司 | 图像处理的方法及装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JPH11328440A (ja) | 1999-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Brand | Voice puppetry | |
Mattheyses et al. | Audiovisual speech synthesis: An overview of the state-of-the-art | |
CA2375350C (en) | Method of animating a synthesised model of a human face driven by an acoustic signal | |
Cao et al. | Expressive speech-driven facial animation | |
JP4631078B2 (ja) | リップシンクアニメーション作成用の統計確率モデル作成装置、パラメータ系列合成装置、リップシンクアニメーション作成システム、及びコンピュータプログラム | |
JP2023545642A (ja) | 目標対象の動作駆動方法、装置、機器及びコンピュータプログラム | |
US20020024519A1 (en) | System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character | |
US7168953B1 (en) | Trainable videorealistic speech animation | |
Busso et al. | Natural head motion synthesis driven by acoustic prosodic features | |
CN110751708B (zh) | 一种实时的语音驱动人脸动画的方法和系统 | |
US20060009978A1 (en) | Methods and systems for synthesis of accurate visible speech via transformation of motion capture data | |
JPH02234285A (ja) | 画像合成方法及びその装置 | |
Elisei et al. | Creating and controlling video-realistic talking heads. | |
JP2974655B1 (ja) | アニメーションシステム | |
KR20230172427A (ko) | 사람 음성에 따른 실사인물의 발화 영상 합성 시스템 | |
Filntisis et al. | Video-realistic expressive audio-visual speech synthesis for the Greek language | |
Tang et al. | Real-time conversion from a single 2D face image to a 3D text-driven emotive audio-visual avatar | |
CN117219050A (zh) | 一种基于深度生成对抗网络的文本生成视频系统 | |
Filntisis et al. | Photorealistic adaptation and interpolation of facial expressions using HMMS and AAMS for audio-visual speech synthesis | |
Csapó | Extending text-to-speech synthesis with articulatory movement prediction using ultrasound tongue imaging | |
Du et al. | Realistic mouth synthesis based on shape appearance dependence mapping | |
Morishima et al. | Speech-to-image media conversion based on VQ and neural network | |
Yu et al. | Synthesizing photo-realistic 3D talking head: Learning lip synchronicity and emotion from audio and video | |
JP2001034785A (ja) | 仮想変身装置 | |
Edge et al. | Model-based synthesis of visual speech movements from 3D video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100903 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110903 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110903 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120903 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |