JPH11328440A - アニメーションシステム - Google Patents

Abstract

(57)【要約】 【課題】 従来技術に比較して装置構成が簡単であっ
て、しかも高精度で制御することによりアニメーション
の画像を生成する。 【解決手段】 データ適合処理装置３１は人間の形状デ
ータに対して、一般メッシュモデルデータに形状適合化
させ、通過点解析部５１は人間の特定の部位が運動する
ときの複数の位置の動きのデータを含む運動学的データ
に対してその動きの加速度の時間微分を最小化するよう
にサンプリングして通過点解析処理を行って圧縮データ
を得る。形状間内挿処理部５２は形状適合化された３次
元データと圧縮データとに基づいて対応する形状間で複
数の位置の軌道を所定の曲線に近似して形状間内挿処理
を行って３次元データを軌道に近似した再現データを得
る。時間方向内挿処理部５３は再現データに対して圧縮
データを参照して時間方向で内挿処理を行って圧縮デー
タに対応して内挿された再現内挿データをアニメーショ
ン画像データとして出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔面などの人間の
アニメーションの画像を生成するアニメーションシステ
ムに関する。

【０００２】

【従来の技術】これまでに数多くのコンピュータグラフ
ィックスによる顔表現がなされているが（例えば、従来
技術文献「F.I.Parke et al.,“Computer facial anima
tion",AK Peters,Wellesley,1996年」参照。）、リアル
な顔画像生成のためには、形状や質感の静的情報ととも
に、表情や発話による動作や形状の時間変化などの動的
情報が重要となる。特に、発話を伴う顔アニメーション
に関して、レーザースキャナ等の入力デバイスにより得
られたリアルな形状については、違和感無く音声と同期
した表情変化を与えることが重要となる。

【０００３】本発明者らは、音声研究の分野において、
発話時の音響情報が顔面の少数の特徴点の座標の時間変
化から精度良く見積ることができることを示している
（例えば、従来技術文献「E.Vantikiotis-Bateson et a
l.,“Physiological modelingof facial motion during
speech",Transaction of the Technical Comity on Ps
ychological and Phyciological Accoustics，Ｈ−９６
−６５：１−８，１９９６年」参照。）。このことか
ら、本発明者らこの顔面の同じ特徴点が発話時の表情生
成に大きく起因しているものと考えている。

【０００４】

【発明が解決しようとする課題】ところが、これまでの
顔面部分のアニメーションに関しては、発話同期を主眼
としたものでは唇部分を重要視しているものがほとんど
で、顔面のさらに広い領域まで考慮した発話アニメーシ
ョンの検討はほとんどなされていない。中でも表情筋と
皮膚をモデル化したリアルな発話表情合成モデルも報告
されており（例えば、従来技術文献「森島繁生ほか，
“物理法則に基づいた筋肉モデルによる口唇形状の制
御，第１２回ＮＩＣＯＧＲＡＰＨ論文コンテスト論文
集，ｐｐ．２１９−２２９，１９９６年」参照。）、こ
れらのモデルはより自然な発話同期アニメーションにお
いて非常に重要な役割を担っている。しかしながら、そ
の反面、モデルが非常に複雑な問題となるために多くの
計算機パワーが必要となり、今後予想されるアプリケー
ション、例えば秘書エージェント・アバタなどの人間の
パーソナルコンピュータ上から利用できるような発話同
期表情生成アニメーションへの応用を考えると、できる
だけ簡易にかつ制御しやすい形態で顔面を含めた発話表
情表現を行なうことが望まれる。

【０００５】本発明の第１の目的は以上の問題点を解決
し、従来技術に比較して装置構成が簡単であって、しか
も高精度で制御することによりアニメーションの画像を
生成することができるアニメーションシステムを提供す
ることにある。

【０００６】本発明の第２の目的は、従来技術に比較し
て装置構成が簡単であって、しかもきわめて低いビット
レートで動画像を伝送し又は記憶することができるアニ
メーションシステムを提供することにある。

【０００７】さらに、本発明の第３の目的は、第１の目
的又は第２の目的に加えて、音声と同期したアニメーシ
ョンの画像を生成することができるアニメーションシス
テムを提供することにある。

【０００８】

【課題を解決するための手段】本発明に係る請求項１記
載のアニメーションシステムは、離散的な座標値を用い
て線分又は点を定義することにより人間の形状を表わす
形状データを含み入力される第１の３次元データに対し
て、その形状を表現するデータ数及び形状が異なる他の
入力される第２の３次元データを、外見上上記第１の３
次元データと同様の形状へと形状適合化させる適合手段
と、上記人間の特定の部位が運動するときの所定の複数
の位置の動きのデータを含む運動学的データを記憶する
第１の記憶手段と、上記第１の記憶手段に記憶された運
動学的データに対して複数の位置の動きの加速度の時間
微分を最小化するようにサンプリングして通過点解析処
理を行うことによりその情報量を圧縮して圧縮データを
得る解析手段と、上記適合手段によって形状適合化され
た３次元データと、上記解析手段によって得られた圧縮
データとに基づいて、２つのデータの対応する形状間
で、上記人間の特定の部位が運動するときの複数の位置
の軌道を所定の曲線に近似して形状間内挿処理を行うこ
とにより、上記３次元データを、上記人間の特定の部位
が運動するときの複数の位置の軌道に近似した再現デー
タを得て出力する第１の内挿処理手段と、上記第１の内
挿処理手段から出力される再現データに対して、上記解
析手段から出力される圧縮データを参照して、時間方向
で内挿処理を行うことにより、上記圧縮データに対応し
て内挿された再現内挿データを得て、アニメーション画
像データとして出力する第２の内挿処理手段とを備えた
ことを特徴とする。

【０００９】また、請求項２記載のアニメーションシス
テムは、請求項１記載のアニメーションシステムにおい
て、上記人間の特定の部位が運動するときに発声すると
きの時間情報とその音声の音声信号を記憶する第２の記
憶手段と、上記第２の記憶手段に記憶された音声信号を
所定の音素分析データを参照して音素に分解して上記音
声に対応した音素列データをその時間情報とともに出力
する音素分解処理手段とをさらに備え、上記解析手段
は、上記圧縮データを得るときに、上記時間情報を参照
して、上記音素分解処理手段から出力される音素列デー
タを上記圧縮データに対応づけし、上記第２の内挿処理
手段は、上記解析手段によって対応づけされた音素列デ
ータを参照して、上記内挿された再現内挿データに対し
て上記音素列データを同期させた後、上記音素列データ
を音声信号データに変換して上記アニメーション画像デ
ータとともに出力することを特徴とする。

【００１０】さらに、請求項３記載のアニメーションシ
ステムは、請求項１又は２記載のアニメーションシステ
ムにおいて、上記第１の３次元データは、人間の基本的
な顔形状データを含むことを特徴とする。さらに、請求
項４記載のアニメーションシステムは、請求項１乃至３
のうちの１つに記載のアニメーションシステムにおい
て、上記第２の３次元データは、メッシュモデルに基づ
く形状データを含むことを特徴とする。

【００１１】また、請求項５記載のアニメーションシス
テムは、請求項１乃至４のうちの１つに記載のアニメー
ションシステムにおいて、上記適合手段は、３次元デー
タ中の形状を定義する第１の座標系を有する第１の３次
元データに対して、上記第１の３次元データの形状デー
タの少なくとも一部を所定の座標変換処理により変換し
た後の２組の座標値に対して残りの座標値が一意に決定
されるような他の第２の座標系を有する第３の３次元デ
ータに座標変換する第１の座標変換手段と、上記第１の
座標系を有する第２の３次元データに対して、上記座標
変換処理を実行して上記第２の座標系を有する第４の３
次元データに座標変換する第２の座標変換手段と、上記
第１の３次元データの形状データの所定の特徴部分を示
す線分又は点の組を、上記第２の３次元データの形状デ
ータの特徴部分を示す線分又は点の組に対して対応づけ
を行い対応関係を示す対応関係データを生成する対応生
成手段と、上記対応生成手段によって生成された対応関
係データに基づいて、上記第１の３次元データの上記第
２の３次元データからの上記第２の座標系における、線
分又は点の組の対応間のシフト量を算出するシフト量算
出手段と、上記シフト量算出手段によって算出されたシ
フト量に基づいて、上記第１の座標変換手段によって座
標変換された第３の３次元データにおける、上記第２の
座標変換手段によって座標変換された第４の３次元デー
タからの、所定の対象点の変動座標位置を算出する変動
座標算出手段と、上記変動座標算出手段によって算出さ
れた変動座標位置に基づいて、上記第４の３次元データ
に対して、上記第３の３次元データに対応する座標値
を、内挿又は外挿により類推しかつ類推された座標値を
上記第４の３次元データの対応付けを行った特徴部分を
示す線分または点の組に加算することにより、上記第４
の３次元データを上記第３の３次元データに形状適合化
された第２の座標系を有する第５の３次元データを生成
するデータ類推及び加算手段と、上記データ類推及び加
算手段によって生成された第２の座標系を有する第５の
３次元データに対して、上記第１と第２の座標変換手段
による座標変換処理とは逆の座標逆変換処理を実行し
て、上記第２の３次元データを上記第１の３次元データ
に形状適合化された第１の座標系を有する第６の３次元
データを生成して出力する座標逆変換手段とを備えたこ
とを特徴とする。

【００１２】さらに、請求項６記載のアニメーションシ
ステムは、請求項５記載のアニメーションシステムにお
いて、上記第１の３次元データの形状データに対して部
分的な変形を指示するために入力された第１の座標系に
おける座標値のシフト量に対して、上記座標変換処理を
実行して上記第２の座標系における座標値のシフト量に
座標変換する第３の座標変換手段をさらに備え、上記変
動座標算出手段は、上記第３の座標変換手段によって座
標変換された座標値のシフト量と、上記シフト量算出手
段によって算出されたシフト量に基づいて、上記第１の
座標変換手段によって座標変換された第３の３次元デー
タにおける所定の対象点の変動座標位置を算出すること
を特徴とする。

【００１３】またさらに、請求項７記載のアニメーショ
ンシステムは、請求項５又は６記載のアニメーションシ
ステムにおいて、入力される３次元データに対して互い
に異なる座標変換処理を実行して座標変換後の３次元デ
ータを出力する複数の座標変換装置と、上記複数の座標
変換装置により座標変換された３次元データに基づい
て、それぞれ座標変換後の２組の座標値に対して残りの
座標値が一意に決定されるか否かを判断するために、一
意に決定されるときにより小さい値となる評価関数の関
数値を算出する変換評価手段と、上記変換評価手段によ
って算出された上記複数の座標変換装置に対応する複数
の関数値のうち最小の関数値に対応する座標変換装置を
選択して、選択された座標変換装置から出力される変換
後の３次元データを出力する座標変換選択手段と、上記
座標変換手段により選択された座標変換装置と、その座
標変換処理のためのパラメータを記憶した後、上記第１
と第２と第３の座標変換手段に出力して設定する記憶装
置と、上記記憶装置に記憶された座標変換処理のための
パラメータに基づいて、当該座標変換処理とは逆の座標
逆変換処理のためのパラメータを算出して上記座標逆変
換手段に出力して設定する逆変換パラメータ算出手段と
をさらに備えたことを特徴とする。

【００１４】本発明に係る請求項８記載のアニメーショ
ンシステムは、離散的な座標値を用いて線分又は点を定
義することにより人間の形状を表わす形状データを含み
入力される第１の３次元データに対して、その形状を表
現するデータ数及び形状が異なる他の入力される第２の
３次元データを、外見上上記第１の３次元データと同様
の形状へと形状適合化させる適合手段と、上記人間の特
定の部位が運動するときの所定の複数の位置の動きのデ
ータを含む運動学的データを記憶する第１の記憶手段
と、上記適合手段によって形状適合化された３次元デー
タに対して所定の主成分分析処理を行うことにより、上
記３次元データに含まれる形状データに対する寄与率が
所定のしきい値よりも大きくかつ互いに独立な複数の主
成分の合成係数を算出するとともに、上記複数の主成分
からそのサブセットである上記複数の位置に対応する成
分のみを抽出し、抽出した成分に基づいて形状データを
そのサブセットから求めるための線形予測子を算出する
分解手段と、上記第１の記憶手段に記憶された運動学的
データに基づいて、上記主成分分解手段によって算出さ
れた線形予測子を用いて、上記運動学的データを再現す
るための主成分の合成係数を算出する算出手段と、上記
算出手段によって算出された上記運動学的データを再現
するための主成分の合成係数に対して複数の位置の動き
の加速度の時間微分を最小化するようにサンプリングし
て通過点解析処理を行うことによりその情報量を圧縮し
て圧縮データを得て出力する解析手段と、上記解析手段
から出力される圧縮データに対して、時間方向で内挿処
理を行うことにより、上記圧縮データに対応して内挿さ
れた再現内挿データを得て出力する内挿処理手段と、上
記分解手段によって算出された複数の主成分の合成係数
と、上記内挿処理手段から出力される再現内挿データと
を合成することにより、アニメーション画像データを得
て出力する合成手段とを備えたことを特徴とする。

【００１５】また、請求項９記載のアニメーションシス
テムは、請求項８記載のアニメーションシステムにおい
て、上記人間の特定の部位が運動するときに発声すると
きの時間情報とその音声の音声信号を記憶する第２の記
憶手段と、上記第２の記憶手段に記憶された音声信号を
所定の音素分析データを参照して音素に分解して上記音
声に対応した音素列データをその時間情報とともに出力
する音素分解処理手段とをさらに備え、上記解析手段
は、上記圧縮データを得るときに、上記時間情報を参照
して、上記音素分解処理手段から出力される音素列デー
タを上記圧縮データに対応づけし、上記内挿処理手段
は、上記解析手段によって対応づけされた音素列データ
を参照して、上記内挿された再現内挿データに対して上
記音素列データを同期させた後、上記音素列データを音
声信号データに変換して再現内挿データとともに出力
し、上記合成手段は、上記合成したアニメーション画像
データと音声信号データとを同期して出力することを特
徴とする。

【００１６】さらに、請求項１０記載のアニメーション
システムは、請求項８又は９記載のアニメーションシス
テムにおいて、上記第１の３次元データは、人間の基本
的な顔形状データを含むことを特徴とする。またさら
に、請求項１１記載のアニメーションシステムは、請求
項８乃至１０のうちの１つに記載のアニメーションシス
テムにおいて、上記第２の３次元データは、メッシュモ
デルに基づく形状データを含むことを特徴とする。

【００１７】また、請求項１２記載のアニメーションシ
ステムは、請求項８乃至１１のうちの１つに記載のアニ
メーションシステムにおいて、上記適合手段は、３次元
データ中の形状を定義する第１の座標系を有する第１の
３次元データに対して、上記第１の３次元データの形状
データの少なくとも一部を所定の座標変換処理により変
換した後の２組の座標値に対して残りの座標値が一意に
決定されるような他の第２の座標系を有する第３の３次
元データに座標変換する第１の座標変換手段と、上記第
１の座標系を有する第２の３次元データに対して、上記
座標変換処理を実行して上記第２の座標系を有する第４
の３次元データに座標変換する第２の座標変換手段と、
上記第１の３次元データの形状データの所定の特徴部分
を示す線分又は点の組を、上記第２の３次元データの形
状データの特徴部分を示す線分又は点の組に対して対応
づけを行い対応関係を示す対応関係データを生成する対
応生成手段と、上記対応生成手段によって生成された対
応関係データに基づいて、上記第１の３次元データの上
記第２の３次元データからの上記第２の座標系におけ
る、線分又は点の組の対応間のシフト量を算出するシフ
ト量算出手段と、上記シフト量算出手段によって算出さ
れたシフト量に基づいて、上記第１の座標変換手段によ
って座標変換された第３の３次元データにおける、上記
第２の座標変換手段によって座標変換された第４の３次
元データからの、所定の対象点の変動座標位置を算出す
る変動座標算出手段と、上記変動座標算出手段によって
算出された変動座標位置に基づいて、上記第４の３次元
データに対して、上記第３の３次元データに対応する座
標値を、内挿又は外挿により類推しかつ類推された座標
値を上記第４の３次元データの対応付けを行った特徴部
分を示す線分または点の組に加算することにより、上記
第４の３次元データを上記第３の３次元データに形状適
合化された第２の座標系を有する第５の３次元データを
生成するデータ類推及び加算手段と、上記データ類推及
び加算手段によって生成された第２の座標系を有する第
５の３次元データに対して、上記第１と第２の座標変換
手段による座標変換処理とは逆の座標逆変換処理を実行
して、上記第２の３次元データを上記第１の３次元デー
タに形状適合化された第１の座標系を有する第６の３次
元データを生成して出力する座標逆変換手段とを備えた
ことを特徴とする。

【００１８】さらに、請求項１３記載のアニメーション
システムは、請求項１２記載のアニメーションシステム
において、上記第１の３次元データの形状データに対し
て部分的な変形を指示するために入力された第１の座標
系における座標値のシフト量に対して、上記座標変換処
理を実行して上記第２の座標系における座標値のシフト
量に座標変換する第３の座標変換手段をさらに備え、上
記変動座標算出手段は、上記第３の座標変換手段によっ
て座標変換された座標値のシフト量と、上記シフト量算
出手段によって算出されたシフト量に基づいて、上記第
１の座標変換手段によって座標変換された第３の３次元
データにおける所定の対象点の変動座標位置を算出する
ことを特徴とする。

【００１９】またさらに、請求項１４記載のアニメーシ
ョンシステムは、請求項１２又は１３記載のアニメーシ
ョンシステムにおいて、入力される３次元データに対し
て互いに異なる座標変換処理を実行して座標変換後の３
次元データを出力する複数の座標変換装置と、上記複数
の座標変換装置により座標変換された３次元データに基
づいて、それぞれ座標変換後の２組の座標値に対して残
りの座標値が一意に決定されるか否かを判断するため
に、一意に決定されるときにより小さい値となる評価関
数の関数値を算出する変換評価手段と、上記変換評価手
段によって算出された上記複数の座標変換装置に対応す
る複数の関数値のうち最小の関数値に対応する座標変換
装置を選択して、選択された座標変換装置から出力され
る変換後の３次元データを出力する座標変換選択手段
と、上記座標変換手段により選択された座標変換装置
と、その座標変換処理のためのパラメータを記憶した
後、上記第１と第２と第３の座標変換手段に出力して設
定する記憶装置と、上記記憶装置に記憶された座標変換
処理のためのパラメータに基づいて、当該座標変換処理
とは逆の座標逆変換処理のためのパラメータを算出して
上記座標逆変換手段に出力して設定する逆変換パラメー
タ算出手段とをさらに備えたことを特徴とする。

【００２０】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。

【００２１】＜第１の実施形態＞図１は、本発明に係る
第１の実施形態である顔面アニメーションシステムの構
成を示すブロック図である。

【００２２】発話の際に話者から与えられる画像情報と
しては、唇の動きに加えて頬や顎も含めた顔面領域の動
きが重要な働きを担っており、特に発話時において声道
と顔面領域の動きに高い相関があることがこれまでに調
べられている。本実施形態では、レーザースキャナによ
り得られた代表的な母音の連続発話時の形状を含む基本
的な顔形状をもとに、発話中の顔面領域の少数の特徴点
の３次元運動から個々の時間フレームにおける顔形状を
合成し、音声と同期した顔面アニメーションを生成する
顔面アニメーションシステムについて以下に説明する。
また、通過点解析（via point analysis）によりこれら
顔面特徴点の軌道をより少ないデータ量で記述すること
による情報量削減に関する方法について以下に説明す
る。

【００２３】本実施形態では、以下の点を特徴としてい
る。 （ａ）リアルな顔面アニメーション生成、（ｂ）自然音
声又は合成音声との完全同期、（ｃ）話者固有の自然な
顔面運動の分析及び合成、並びに、（ｄ）顔面３次元運
動の少数パラメータでの表現。 従来技術では、発話中の顔形状をリアルタイムでアニメ
ーションに必要なレート及び空間解像度で同時に取り込
む事が可能な装置が存在しない。そこで、本実施形態で
は、モーションキャプチャによる顔面アニメーションシ
ステムを基本とし、発話時の顔の動きに関しては顔面上
の数点に配置したマーカーをリアルタイムでトラッキン
グを行うトラッキングデバイスを用いて計測し、このデ
ータを解析した後、その結果を用いて予め用意された基
本的な顔形状を変形することによりアニメーションを生
成する。

【００２４】図１において、離散的な座標値を用いて線
分又は点を定義することにより人間の例えば基本的な顔
面の形状（基本顔形状）を表わす形状データが適合対象
３次元データメモリ１に記憶される一方、上記基本顔形
状を表現するデータ数及び形状が異なる他の３次元デー
タである一般メッシュモデルデータが適合元３次元デー
タメモリ２に記憶される。データ適合処理装置３１は、
詳細後述するように、メモリ１及び２からそれぞれ３次
元データを読み出して、一般メッシュモデルデータを、
外見上基本顔形状データと同様の形状へと形状適合化さ
せて、形状適合化後の３次元データを、バッファメモリ
６４を介して形状間内挿処理部５２に出力する。

【００２５】一方、人間の特定の部位、例えば顔面が運
動するときの所定の複数の位置の動きのデータを含む運
動学的データは運動学的データメモリ６１に記憶され、
画像処理系において、通過点解析部５１は、運動学的デ
ータメモリ６１に記憶された運動学的データに対して複
数の位置の動きの加速度の時間微分を最小化するように
サンプリングして通過点解析処理を行うことによりその
情報量を圧縮して圧縮データを得て、バッファメモリ６
５を介して形状間内挿処理部５２に出力するとともに、
バッファメモリ６６を介して時間方向内挿処理部５３に
出力する。形状間内挿処理部５２は、形状適合化された
３次元データと、通過点解析部５１によって得られた圧
縮データとに基づいて、例えば、２つのデータの対応す
る形状間で、各通過点における個々の基本顔形状（／ａ
／，／ｉ／，／ｕ／，／ｅ／，／ｏ／）の合成係数の時
間変化そのものを通過点解析を行い、それによって内挿
を行うように、上記人間の特定の部位、例えば顔面が運
動するときの複数の位置の軌道を所定の曲線に近似して
形状間内挿処理を行うことにより、上記３次元データ
を、上記人間の特定の部位が運動するときの複数の位置
の軌道に近似した再現データを得て時間方向内挿処理部
５３に出力する。これに応答して、時間方向内挿処理部
５３は、入力される再現データに対して、通過点解析部
５１から出力される圧縮データを参照して、例えば、２
つのデータの対応する形状間で、各通過点における個々
の基本顔形状（／ａ／，／ｉ／，／ｕ／，／ｅ／，／ｏ
／）の合成係数の時間変化そのものを通過点解析を行
い、それによって内挿を行うように、時間方向で内挿処
理を行うことにより、上記圧縮データに対応して内挿さ
れた再現内挿データを得て、アニメーション画像データ
としてアニメーション画像データメモリ６７に出力す
る。

【００２６】ここで、内挿処理部５２及び５３において
は、各通過点における個々の基本顔形状（／ａ／，／ｉ
／，／ｕ／，／ｅ／，／ｏ／）の合成係数の時間変化そ
のものを通過点解析を行い、それによって内挿を行って
いるが、本発明はこれに限らず、各通過点をキーフレー
ムとして、単純な線形内挿又はイーズ・イン／イーズ・
アウト（ｅａｓｅ−ｉｎ／ｅａｓｅ−ｏｕｔ；入口と出
口を滑らかに補間して変形する。）を行って内挿処理を
実行してもよい。

【００２７】次いで、音声処理系においては、人間の特
定の部位、例えば顔面が運動するときに発声するときの
時間情報とその音声の音声信号は音声波形データメモリ
６２に記憶され、音素分解処理部５０は、音声波形デー
タメモリ６２から音声信号データを読み出して、例えば
音素コードブックメモリ６３に記憶された音素コードブ
ックを参照して、公知の方法により、音声信号データを
音素列に分解して上記音声に対応した音素列データをそ
の時間情報とともに通過点解析部５１に出力する。ここ
で、音素分解処理部５０は、例えば音素隠れマルコフモ
デル（音素ＨＭＭ）を参照して音素分解してもよい。

【００２８】これに応答して、通過点解析部５１は、上
記圧縮データを得るときに、上記時間情報を参照して、
音素分解処理部５０から出力される音素列データに対し
て通過点解析の解析期間の特定を行う。ここで、運動学
的データと音声波形データが時間同期したことを前提と
して、音素分解された音声波形の個々の音素の開始時刻
と終了時刻とを通過点解析部５１に与え、音素列データ
に対して通過点解析の解析期間の特定を行う。このよう
に、音素列データが上記圧縮データに対応づけした後、
対応づけられた音素列データをバッファメモリ６６を介
して時間方向内挿処理部５３に出力する。これに応答し
て、時間方向内挿処理部５３は、入力される対応づけさ
れた音素列データを参照して、上述のように上記内挿さ
れた再現内挿データに対して上記音素列データを同期さ
せた後、上記音素列データを音声信号データに変換し
て、上記アニメーション画像データとともにそれに同期
させた音声信号データとしてアニメーション画像メモリ
６７に出力する。

【００２９】そして、再生処理部５４は、アニメーショ
ン画像データメモリ６７からアニメーション画像データ
を読み出して例えばＲＧＢ画像データの形式で又はＮＴ
ＳＣ画像信号の形式でＣＲＴディスプレイ５５に出力し
て、アニメーション画像を表示するとともに、アニメー
ション画像データに同期した音声信号データをアニメー
ション画像メモリ６７から読み出してＤ／Ａ変換した
後、スピーカ（図示せず。）を介して出力することによ
り、アニメーション画像データに同期した音声信号の音
声を出力する。

【００３０】以上の図１のアニメーションシステムにお
いて、データ適合処理装置３１と、音素分解処理部５０
と、通過点解析部５１と、形状間内挿処理部５２と、時
間方向内挿処理部５３と、再生処理部５４とは、例え
ば、デジタル計算機などのコンピュータで構成される。
また、各メモリ１、２、６１、６２、６３、６４、６
５、６６、６７は例えばハードディスクメモリなどの記
憶装置で構成される。

【００３１】さらに、図１の処理部の詳細について以下
説明する。まず、話者形状データの取得について説明す
る。話者形状データに関しては、代表的な発音時等にお
ける静的な状態での顔全体の基本形状と、実際の発話時
の顔面上の特定部位の３次元座標時間変化、すなわち運
動学的データを計測した。アニメーション生成には、こ
の発話時の運動学的データを再現するために、各フレー
ムにおける運動学的データを表現できる最適な顔形状を
得るような基本顔形状の重ね合わせを求め、必要に応じ
てさらにその形状の部分変形を行う。ここで、形状デー
タとは、３次元座標値により表される点とそれらのつな
がりにより線分、多角形を表現し、さらに、それらに集
合により３次元的な形状を表現するような３次元形状を
記述するためのデータ及び名称、色、法線、材質、線
幅、テクスチャ座標、ラベル、他のデータとの相関関係
など記述した形状以外の付加情報も含む３次元データを
いう。以下にこれらの基本顔形状データと運動学的デー
タの取得方法について説明する。

【００３２】まず、基本顔形状データの取得について説
明する。特定話者の顔面アニメーションを生成するにあ
たり、まずその代表的な発音時等における基本形状を計
測した。計測にはサイバーウエア（Cyberware）社製の
レーザーイメージスキャナを用いて、母音／ａ／，／ｉ
／，／ｕ／，／ｅ／，／ｏ／を連続発声時の形状と、口
腔を意識的に開いた場合と閉じた場合及び自然な状態
（それぞれ口の開放、口の閉塞、口の中間状態とい
う。）の合計８つの３次元形状を計測した。このイメー
ジスキャナは、鉛直回転軸まわりに３６０度回転し、各
回転位置において軸方向に形状と表面テクスチャを走査
するもので、解像度は回転方向・縦方向ともに５１２分
割で計測を行った。計測した基本顔形状の３次元データ
は、適合対象３次元データメモリ１に記憶される。

【００３３】図８は、図１の顔面アニメーションシステ
ムにおいて用いる基本顔形状データ（母音／ａ／）の一
例を示す正面図であり、母音／ａ／の計測データに関し
て単純に三角形パッチを施した例である。この例ではメ
ッシュ構造が見易いようにオリジナルデータの半分の密
度でパッチを生成してある。また、同時に計測されたテ
クスチャの顔面領域を図９に示す。今回計測したデータ
では、顔面アニメーションに利用できるような有効領域
はおおよそ３００×３００程度の領域であった。

【００３４】次いで、発話時の運動学的データの取得に
ついて説明する。発話時の特定部位の時間変化を正確に
取得するため、高速かつ高精度でのトラッキングが可能
な、ノーザン・デジタル・インコーポレーテッド（Nort
hern Digital,Inc.）社製のトラッキング装置（ＯＰＴ
ＯＴＲＡＫ（登録商標））を用いた。これは赤外線ダイ
オードを用いたマーカーをＣＣＤにより計測するもの
で、複数のマーカーに関してビデオレート以上でのサン
プリングが可能である。

【００３５】この計測のためには唇のまわり、頬・顎を
主としてマーカーを配置する。図１０（ａ）は図１の顔
面アニメーションシステムにおいて（メモリ６１に格納
された）運動学的データの取得のための赤外線ダイオー
ドの配置例を示す正面図であり、図１０（ｂ）はその側
面図である。この例では顔面に１８個のマーカーを使用
し６０Ｈｚでサンプリングを行った。また頭部全体の動
きを得るためにこれら１８個とは別に５個のマーカーを
頭部に装着している。実験ではこれらマーカーの軌道以
外にも、音声信号（標本化周波数：１０ｋＨｚ）と、ビ
デオテープレーコーダ（ＶＴＲ）により正面顔画像を同
時に記録している。発話時の運動学的データは、上述の
３次元データと同様のデータを含み、運動学的データメ
モリ６１に記憶される。

【００３６】次いで、形状データの一般化適合について
説明する。先に得られた基本顔形状データの重ね合わせ
を行うことにより、発話時の運動学的データを再現する
任意の顔形状にほぼ近い顔形状の合成が可能となる。し
かしながら、個々の計測データ間のずれやメッシュ構造
が顔の特徴に対して無関係に配置されているため、計測
された基本顔形状データそのものを重ね合わせ、またア
ニメーションのために制御を行うには困難であり、何ら
かの構造化が必要となる。そこで、本実施形態では、後
述のジェネリックメッシュを用い、詳細後述するデータ
適合処理装置３１を用いて、同じ構造のメッシュを個々
の計測された基本顔形状に適合することにより一般化を
行なった。本実施形態では、今回利用する全ての基本顔
形状データが円柱座標系（ｒ，θ，ｚ）において（θ，
ｚ）平面に対して半径ｒが一意に決定されるという性質
を利用し（θ，ｚ）空間で特徴部分に基づいたデータ適
合を行う。

【００３７】図１１は、図１の顔面アニメーションシス
テムにおいて用いる（メモリ２に格納された）一般メッ
シュモデルの一例を示す正面図である。すなわち、具体
的には図１１に示すような、変形を考慮して目・口など
にノードを集中させた基本的なメッシュ構造を作り、こ
の目・鼻・口・顎などを特徴部分とする。そして、
（θ，ｚ）平面上において、予めジェネリックメッシュ
（図１０参照。）上で定義されたこれらの部分と、基本
顔形状データ上でこれらに対応する特徴部分を指定する
ことにより対応関係を明らかにし、この対応関係を元に
特徴部分以外のノード点を（θ，ｚ）平面における顔基
本形状データ上の適当な場所に配置し、最後に個々のノ
ードに関し、（θ，ｚ）平面から一意に決定される半径
ｒ値を用いて形状への適合を行う。

【００３８】この特徴部分以外のノード点の配置には、
特徴ベースの公知のモーフィングを利用した。モーフィ
ングは本来画像変形のために用いられる手法で、画像中
に変形の基準となる特徴ベクトルを指定し、他の画像に
おいてその特徴ベクトルに対応するベクトルを決定する
ことにより画像間の対応づけを行い、その特徴ベクトル
からの相対位置に基づいて画像中の全ての画素の移動や
画素値の補間を行い、滑らかな画像変形を得るものであ
る。この特徴ベクトルに基づく画素の移動を利用して、
ここでは単純に特徴部分以外のノード点の位置決定を行
った。

【００３９】図１１に、用いた（θ，ｚ）平面上におけ
るジェネリックメッシュを示し、図１２に先の図８及び
図９における母音／ａ／の形状の（θ，ｚ）平面上にお
ける適合結果を示す。図中で太い線で示される目・鼻・
口・顎の輪郭線と、黒丸で示すノードを特徴部分として
変形を行った。この黒丸は運動学的データを取得したマ
ーカーに対応している。用いたジェネリックメッシュ
は、５４４個のノード数と、９４２個のポリゴンミラー
により構成され、このうち約１２０個のノードが特徴部
分として定義されている。基本顔形状における特徴部分
の指定は、例えば、図４の装置を用いて手作業で指示し
てもよい。この適合結果をもとに、（θ，ｚ）平面から
一意に決定される半径ｒ値により３次元化した結果を図
１３に示す。特徴部分の指定や適合で得られる（θ，
ｚ）平面は、離散的に与えられる基本形状データ中の近
傍の計測点より内挿により求めている。また、本実施形
態では、顔面しか考慮していないため、口腔内はモデル
化されていない。

【００４０】以上のデータ適合処理装置３１による一般
化適合処理により全ての基本顔形状データが同じメッシ
ュ構造を持つこととなり、異なる基本顔形状間での内挿
や重ね合わせが容易に行えることになる。

【００４１】次いで、運動学的データと基本顔形状デー
タの対応づけについて説明する。図１４は、図１の顔面
アニメーションシステムにおいて用いる基本顔形状の合
成により任意時刻の顔形状を近似する方法を示すブロッ
ク図である。本実施形態のアニメーションの生成によ
り、図１４に示すような複数の基本顔形状データの重ね
合わせと、部分変形により運動学的データの各フレーム
におけるより近い形状を獲得する。しかしながら、マー
カーから得られた運動学的データと、静的データとして
取得した個々の基本顔形状データとでは観測した座標系
が異なるため、これらの座標系間の整合を取る必要があ
る。例えば、図４の装置を用いて、マーカーと対応する
点を基本顔形状データ上で手作業により指示し、これら
の点を参照点として個々の基本顔形状データ間の整合性
を得るようにしてもよい。そして、例えば、詳細後述す
る図３の座標変換部３ａ，３ｂにより、運動学的データ
の平均的な座標値に対してこれら基本顔形状データから
運動学的データへの座標変換を行う。

【００４２】この座標変換処理では、回転及び平行移動
の６自由度をもった座標変換によりそれぞれの座標系間
が関係づけられるものとし、対応する参照点との距離の
差の合計を評価関数とする単純な最小値問題としてこれ
らの座標変換を求めた。個々の基本顔形状データにおい
て、発話形状の違いによる参照点の位置のづれが生じる
が、本実施形態では、顎先のように極端に大きなずれが
生じる部分は適宜除外して座標変換を求めた。

【００４３】これらの座標変換によりほぼ整合性が取ら
れた基本顔形状データの集合から、それらの成分の合成
により各時間フレームにおける運動学的データを表現す
るべく、各基本顔形状の合成成分を求める。基本顔形状
ｊでのｉ番目のマーカーに対応する座標ベクトルを→ｖ
_s(i,_j)とし（ここで、ベクトルの記号→は符号の上に付
与すべきものであるが、特許明細書において不可能であ
るため、符号の前に付与し、以下、同様である。）、基
本顔形状ｊの合成係数をｋ_jとすると、８種類の基本顔
形状から合成されるｉ番目のマーカに対応する座標ベク
トル→ｖ’_d(i)は次式で表すことができる。

【００４４】

【数１】

【００４５】これと実際の運動学的データとして得られ
るｉ番目のマーカの座標ベクトル→ｖ_d(i)との距離の差
｜→ｖ_d(i)−→ｖ’_d(i)｜の総和を評価関数として、こ
の値を最小とする合成係数ｋ_jの組を求めればよい。こ
の評価関数をｆとすると、先の式を用いて以下のように
まとめることができる。

【００４６】

【数２】

【００４７】本実施形態では、公知のシンプレックス法
により、各フレームにおけるｆを最小とする合成係数ｋ
₁，ｋ₂，…，ｋ₈を求めた。

【００４８】次いで、通過点解析部５１による通過点解
析処理について説明する。トラッキングデバイス装置に
より得られた限られた数の顔面特徴点の運動学的データ
は、発話に伴う顔面運動を記述するにために重要な情報
を多く含んでいる。しかしながら、テキストデータから
音声及び映像データへの変換処理を目的としたアプリケ
ーションや画像符号化技術への応用を考えると、更なる
情報圧縮が要求される。そこで我々は、この運動学的デ
ータを公知の通過点解析（Via point analysis）（例え
ば、従来技術文献「Y.Wada et al.,“A theory for cur
sive handwriting based on the minimization princip
le",Biological Cybernetics,73:3-13,1995年」参
照。）により更にその情報量を削減し、オリジナルの顔
面特徴点の軌道に近いものを再現できるデータ表現方法
を用いる。

【００４９】通過点解析は、対象となる全マーカーの軌
道の各座標成分について、最小のジャーク（ここで、ジ
ャークとは、顔面などの急な動作変化をいう。また、最
小のジャークは、加速度の時間微分＝ジャークが最小と
なることをいう。）を満たす５次のスプライン曲線によ
り近似する手法である。

【００５０】図１５は、図１の通過点解析部５１の通過
点解析処理を示すグラフであって、図１５（ａ）は当該
処理における元の軌跡と予測された軌跡を示すグラフで
あり、図１５（ｂ）は当該処理において抽出された通過
点を示すグラフであり、図１５（ｃ）は当該処理におい
て予測された第２の軌跡を示すグラフであり、図１５
（ｄ）は当該処理において抽出された第２の通過点を示
すグラフである。

【００５１】まず、解析対象となる２つの時刻で決定さ
れるオリジナルの軌道上の点Ｖｓ，Ｖｆに関して、 （１）この２つの点Ｖｓ，Ｖｆ間を結ぶ最小のジャーク
を得る軌道を全てのマーカーの座標成分について予測す
る。そして個々の予測軌道とオリジナルの軌道との誤差
を算出し、さらにその総和も求める。 （２）ある成分において誤差がその成分で設定した誤差
のしきい値を越えた場合、又は誤差の総和があるしきい
値を越えた場合、オリジナルの軌道との距離が最大とな
るマーカーの座標成分のオリジナルの軌道上に通過点
（via point）Ｖ１が定義される。この通過点Ｖ１はそ
の同時刻において他の軌道においても定義される。 （３）新たに点Ｖｓ，Ｖ１，Ｖｆ間を結ぶ最小のジャー
クを得る軌道を全てのマーカーの座標成分について予測
し、同様に誤差を算出する。 （４）算出された誤差を評価し、必要なら更に通過点Ｖ
２を追加する。

【００５２】以後（３），（４）の操作を繰り返すこと
により、オリジナルの軌道に近い軌道をより少ないデー
タ点列により表現することができる。ただし、これら誤
差に関するしきい値の設定、通過点の取り得る数などに
より、どの程度オリジナル軌道に近いものを再現できる
か決定されるため、情報量圧縮と再現データの評価が重
要なポイントとなる。

【００５３】本発明者による実験における運動学的デー
タの場合では１８個のマーカーを使用したので、ｘ，
ｙ，ｚ方向に関して合計５４種の軌道について同時に通
過点解析を行った。図１６は、図１の通過点解析部５１
の通過点解析処理による解析例であるあごと上唇のマー
カー軌跡の一例を示すグラフであり、通過点解析例とし
て、解析を行った５４種の軌道中の顎と上唇の２点に関
する各座標軸方向ごとの結果を示す。ここで、実線がオ
リジナルの軌道、丸が抽出された通過点、点線がこの通
過点により再構成された軌道である。この例では約４．
６秒のデータ区間全てについて解析を行い、標本化周波
数６０Ｈｚで約３００個の点列で構成されているオリジ
ナルの軌道から３１個所の通過点が得られ、情報量とし
ては約１０まで削減されている。

【００５４】次いで、図１の顔面アニメーションシステ
ムによるアニメーションの生成例の実験結果について説
明する。この実験では、日本人男性被験者に対して、
「桃太郎」で良く使われる文章から、通常の発話で５秒
程度のものを５種類各々４回づつの発話を記録した。発
話の際は（１）頭をできるだけ安定させる、（２）語り
かけるように自然に頭を動かす、（３）意識的にランダ
ムに動かす、というように頭部の動きを加えた実験を行
った。この中から、「おばあさんは川へ洗濯にでかけま
した」という文章に対して、図１７乃至図２０に、原画
像（上）、オリジナルの運動学的データから生成した画
像（中）、通過点解析から生成した画像（下）を示す。
また、図２１乃至図２３にそれぞれ、入力音声信号、そ
してこの時の運動学的データをもとに前述の方法により
求めた８種の基本形状の合成比率、通過点解析結果から
求めた合成比率を示す。ここで、図１７乃至図２０の各
画像はそれぞれ時刻ｔ＝０．００，１．１７，２．４
３，３．２０（秒）におけるものである。

【００５５】図２１乃至図２３の合成比率の結果では運
動学的データから直接得た結果と通過点解析の結果とで
はかなり異なったプロファイルを示しているが、自然な
状態の基本顔形状（口の中間状態）を主として、他の母
音等の形状成分を加算（時には削減）することにより入
力データに近い出力を得る結果が得るという点では同じ
傾向が得られている。個々のフレームを比較すると、図
１７乃至図２０から明らかなように、運動学的データか
ら直接得た結果と通過点解析の結果とで差異が見られる
が、現在の合成比率の計算精度では残念ながら運動学的
データを直接用いた場合でも必ずしも予想通りの結果が
が得られないフレームもある。このような場合の例とし
て、本来ならば口が完全に閉じているべき状態でアニメ
ーションではそれが実現できていなかったりする場合が
視覚的に特に目立つものとしてあげられる。

【００５６】この計算精度へ影響を与える要因として、
基本顔形状側でのマーカー対応点の指定誤差、また基本
形状データ間での較正誤差などが考えられる。最終的な
生成形状に与えるマーカーとオリジナルの運動学的デー
タとの誤差は、全体の平均誤差で約２ｍｍ、特に上唇の
領域での合成の誤差が大きく、動きの表現上不完全のも
のとなっている。通過点解析の結果から生成したアニメ
ーションについては、上記のように現状の画像生成部の
クオリティに問題があるため、オリジナルの軌道を用い
て生成した場合との具体的な圧縮率や視覚効果等の評価
にまでは至らなかったが、自然音声と組み合わせた場合
はほぼ違和感のない発話アニメーションが得られること
ができた。

【００５７】しかしながら、図１６に示したように、通
過点解析の結果はおおむねオリジナルの軌道を再現して
はいるものの、変化の激しさ及び通過点の数によっては
オリジナルの軌道をトレースしきれない場合や、オリジ
ナルには無いような動きが生じることもある。このオリ
ジナルには無い動きの顕著な例としては、図２１乃至図
２３中の計測区間の始めと終り部分の実際には発話、顔
面運動ともほとんど行われていない領域のプロファイル
の差に見られる。図１６における顎のオリジナルの軌道
とのずれが図２１乃至２３のプロファイルに直接影響し
ており、このため原画像と比較した場合の動きの差とし
て現れている。本実験の解析例では音声の計測区間全て
に関して通過点解析を行ったが、実際には発話に関連す
る時間のみを解析対象とすれば良いため、本実験のよう
な不要な動きのずれを避けることができる。

【００５８】以上のシステムから通過点を１割ないし２
割だけ増やし、しきい値を調整し、さらには、計測区間
の無音区間を処理対象から除くことにより、視覚的には
オリジナルとはほぼ同じ軌道を生成することができてい
る。

【００５９】以上説明したように、本実施形態によれ
ば、顔面の唇・頬・顎などの特徴点の運動学的データを
もとに発話同期３次元顔面アニメーション生成システム
を構築し、記録音声と同期したアニメーション生成を行
った。従って、従来技術に比較して装置構成が簡単であ
って、しかも高精度で制御することにより、音声と同期
した顔面アニメーションの画像を生成することができる
顔面アニメーションシステムを提供することにある。

【００６０】以上の図１の顔面アニメーションシステム
において、音声と同期した顔面アニメーションの画像を
生成することができる顔面アニメーションシステムにつ
いて述べているが、本発明はこれに限らず、音声処理部
分を省略してもよい。具体的には、図１において、音声
波形データメモリ６２と音素分解処理部５０と音素コー
ドブックメモリ６３とを省略してもよい。また、音声波
形データメモリ６２から読み出される記録音声を直接に
再生処理部５４に入力してスピーカ（図示せず。）から
出力するようにしてもよい。

【００６１】また、本実施形態の顔面アニメーションシ
ステムにおいては、人間の顔面のアニメーション画像を
生成する場合について説明しているが、本発明はこれに
限らず、人間の他の部位、もしくは全体のアニメーショ
ンを生成するように構成してもよい。

【００６２】さらに、図１のデータ適合処理装置３１及
びそれに接続される装置について説明する。図２は、第
１の実施形態で用いる座標変換処理装置３０の構成を示
すブロック図であり、図３は、当該第１の実施形態であ
るデータ適合処理装置３１の構成を示すブロック図であ
る。本実施形態では、座標変換処理装置３０とデータ適
合処理装置３１とを備えて、３次元データの処理装置を
構成し、離散的な座標値を用いて線分又は点を定義する
ことにより形状を表わす形状データと、材質データを少
なくとも含み入力される第１の３次元データに対して、
その形状を表現するデータ数及び形状が異なる他の入力
される第２の３次元データを、外見上上記第１の３次元
データと同様の形状へと形状適合化させることを特徴と
している。

【００６３】図２の座標変換処理装置３０において、複
数ｎ個の座標変換部１４−１乃至１４−ｎは、入力され
る３次元データに対して互いに異なる座標変換処理を実
行して座標変換後の３次元データを変換評価部１６に出
力する。ここで、異なる座標変換処理とは、例えば、直
交座標系、極座標系、円筒座標系などの互いに異なる座
標系間で座標変換を行う処理である。これに応答して、
変換評価部１６は、複数の座標変換部１４−１乃至１４
−ｎにより座標変換された３次元データに基づいて、そ
れぞれ座標変換後の２組の座標値に対して残りの座標値
が一意に決定されるか否かを判断するために、一意に決
定されるときにより小さい値となる評価関数ｆ_cnの関数
値を算出して座標変換選択部１６に出力する。ここで、
評価関数ｆ_cnは例えば次式で表される。

【００６４】

【数３】 ここで、ｋは入力された３次元データの構成点であり、
Ｋはその個数である。

【数４】 Ｃ（ｋ）＝０，投影の重なりがあるとき（評価がＯＫ） ＝１，投影の重なりがないとき（評価がＮＧ）

【００６５】例えば、離散座標値データを構成する２つ
のポリゴンの間を評価するとき、目標とする２つの座標
平面に一方のポリゴンをラスタライズして投影して、他
方のポリゴンと投影の重なりが形成されるか否かを調べ
る。そして、投影の重なりがあるとき、評価がＯＫであ
り、Ｃ（ｋ）＝０となる一方、投影の重なりがないと
き、評価がＮＧであり、Ｃ（ｋ）＝１となる。

【００６６】次いで、座標変換選択部１６は、算出され
た複数の座標変換部１４−１乃至１４−ｎに対応する複
数の関数値ｆ_cnのうち最小の関数値に対応する座標変換
部を選択するようにスイッチ１８及び１９を切り換え、
選択された座標変換部から出力される変換後の３次元デ
ータを出力３次元データ２２として出力するとともに、
選択された座標変換部から出力される座標変換処理のた
めのパラメータをパラメータメモリ２０に記憶させる。
また、座標変換選択部１６は、選択された座標変換部の
番号もパラメータメモリ２０に記憶される。そして、パ
ラメータメモリ２０に記憶された座標変換パラメータは
読み出されて、詳細後述する図３の座標変換部３ａ，３
ｂ，３ｃに出力されて設定される。また、読み出された
座標変換パラメータは、座標逆変換算出部２１に入力さ
れて、座標逆変換算出部２１は、上記選択された座標変
換処理とは逆の座標逆変換処理のためのパラメータを算
出して座標逆変換部１０に出力して設定する。

【００６７】従って、座標変換処理装置３０を備えるこ
とにより、より最適な座標変換部を選択して、３次元デ
ータの処理をより正確に実行することができる。

【００６８】図３は、第１の実施形態のデータ適合処理
装置３１の構成を示すブロック図である。当該データ適
合処理装置３１は、３次元座標値により表される点とそ
れらのつながりにより線分、多角形を表現し、さらに、
それらに集合により３次元的な形状を表現するような３
次元形状を記述するためのデータ及び名称、色、法線、
材質、線幅、テクスチャ座標、ラベル、他のデータとの
相関関係など記述した形状以外の付加情報も含む３次元
データに対して、データ数や形状、付加情報などの異な
る他の３次元データの形状を近似させ、見かけ上同様の
形状へと適合化させることを特徴としている。

【００６９】図３において、適合対象となる３次元デー
タ１及び適合元の３次元データ２はそれぞれ座標変換部
３ａ，３ｂによって、本来の元の座標系から、２組の座
標値により残りの座標値が一意に決定される座標系へと
座標変換された後、それぞれバッファメモリ３ａｍ，３
ｂｍを介して特徴量分離部５ａ，５ｂに出力される。こ
こで、例えば（ｘ，ｙ，ｚ）で表される座標値に対し
て、この２組の座標値により表される平面をここでは適
合平面と呼ぶ。座標変換部３ａ，３ｂに関しては、形状
データによっては変換が不要な場合、例えば形状データ
が２次元配列により定義されるような場合、具体的には
次式で表される場合がある。

【００７０】

【数５】ｉ＝ｉｎｔ（ｘ・ｋｘ）

【数６】ｊ＝ｉｎｔ（ｙ・ｋｙ）

【数７】ｚ＝ｆ（ｉ，ｊ） ここで、ｉｎｔ（ｘ）はｘを越えない最大の整数を示す
関数であり、ｆは２次元配列である。

【００７１】また、極座標変換や円筒座標空間への変換
でも適応可能な場合があるが、一般にはこれらの変換で
は安定して２組の座標値に対して残りの座標値が一意に
与えられるような変換を得られるとは限らない。そこ
で、物理現象の計算機シミュレーションなどの分野で行
われている数値的格子形成法（例えば、従来技術文献４
「Joe.F.Tompson et al.,“Numerical Grid Generatio
n",North-Holland,1982」、小国力、河村哲也訳「数値
格子生成の基礎と応用」、丸善１９９４参照。）や、更
にはユーザがインタラクティブに空間分割格子をデザイ
ンした上で、デカルト座標とこれら格子との変換行列を
解析する手法などが考えられる。

【００７２】ここで、数値的格子形成法の代表的なもの
を例に説明する。いま、（ｘ，ｙ，ｚ）で表されるデカ
ルト座標から（ξ，η，ζ）で表される座標系（ここで
はこれを境界適合座標と呼ぶ）への変換について、楕円
型偏微分方程式系を用いた場合、この座標系間の変換は
次式で表すことができる。

【数８】 ∂²ξ／∂ｘ²＋∂²ξ／∂ｙ²＋∂²ξ／∂ｚ²＝Ｐ

【数９】 ∂²η／∂ｘ²＋∂²η／∂ｙ²＋∂²η／∂ｚ²＝Ｑ

【数１０】 ∂²ζ／∂ｘ²＋∂²ζ／∂ｙ²＋∂²ζ／∂ｚ²＝Ｒ

【００７３】ここで、Ｐ，Ｑ，Ｒは境界適合座標の座標
曲線のデカルト座標系における写像の間隔と方向をコン
トロールするための関数で、制御関数と呼ばれるもので
ある。一般に一つの座標曲線の変換に関するラプラシア
ンが負の値をとると、座標値が一定であるような座標曲
線はラプラシアンがゼロの場合と比べ、その座標が減る
方向へ移動する。当然、ラプラシアンの値が正の場合は
逆の効果を持つ。この性質を利用して、座標曲線の間隔
を制御するものである。例えばＰ，Ｑ，Ｒにはデカルト
座標系で細かく制御したい部分で負の極値を取る高次関
数を与えればより複雑な形状へも対応できる。この解法
としては、適合元データ２上の適合面として利用できる
面がζ＝０などの平面に対応する、又はある曲線が境界
適合座標上の座標直線などに対応する等の境界条件を与
えることにより、これら偏微分方程式の数値解析をから
解を得ることができる。

【００７４】対応生成部４では、適合元３次元データ１
と適合対象３次元データ２との間で対応付け行う必要が
ある特徴量を抽出し、それぞれのデータ間での対応関係
を求め、その結果をバッファメモリ４ｍに記憶した後、
特徴量分離部５ａ，５ｂに出力される。すなわち、適合
元３次元データ１の形状データの所定の特徴部分（例え
ば、犬の３次元データを猫の３次元データに適合させる
場合、目は確実に対応付けを行いたいとするならば犬の
目）を示す線分又は点の組を、上記第２の３次元データ
の形状データの特徴部分（例えば、先の例の場合なら同
様に猫の目）を示す線分又は点の組に対して対応づけを
行い対応関係を示す対応関係データを生成する。この対
応生成部４の処理については、図５乃至図７を参照して
詳述する。

【００７５】次に、データ適合を行う際に対応づけを行
う対応生成部４の結果のバッファメモリ４ｍ中の対応関
係データに基づいて、特徴量分離部５ａ，５ｂに入力さ
れた座標変換後の形状データがそれぞれ特徴量データと
非特徴量データとに分離される。ここで、特徴量とは、
上記特徴部分の形状データであり、本実施形態では、適
合元３次元データ側の非特徴量データは使用されない。
特に、近年のＤＸＦ，ＶＲＭＬ，Ｏｐｅｎ Ｉｎｖｅｎ
ｔｏｒなどの３次元データフォーマットでは単一データ
内にラベル情報等を用いて特徴量データと非特徴量デー
タを容易に区別して保持することができるため、容易に
分離が可能である。すなわち、特徴量分離部５ａは、バ
ッファメモリ３ａｍから入力される形状データを、バッ
ファメモリ４ｍから入力される対応関係データに基づい
て、特徴量データと非特徴量データに分離して、前者の
データをシフト量算出部６を介して変動座標算出部７に
出力する一方、後者のデータを直接に変動座標算出部７
に出力する。また、特徴量分離部５ｂは、バッファメモ
リ３ｂｍから入力される形状データを、バッファメモリ
４ｍから入力される対応関係データに基づいて、特徴量
データと非特徴量データに分離して、前者のデータをシ
フト量算出部６及び変動座標算出部７に出力する一方、
後者のデータを使用しない。

【００７６】次いで、特徴量データに関しては、適合対
象３次元データ１及び適合元３次元データ２それぞれの
相関関係から適合対象に与えるシフト量がシフト量算出
部６により算出され、変動座標算出部７へと送られる。
すなわち、シフト量算出部６は、特徴分離部５ａ及び５
ｂからの特徴量データに基づいて、適合対象３次元デー
タ１の適合元データ２からの座標変換後の座標系におけ
る、非特徴量データの線分又は点の組の対応間のシフト
量を算出して変動座標算出部７に出力する。

【００７７】変動座標算出部７ではシフト量算出部６か
ら得た特徴量データのシフト量と形状データの特徴点、
線に対応して、適合対象３次元データ１側でのデータ点
との相対位置から個々の座標の変動を計算し、適合後の
座標を決定する。この際座標値の計算は先の座標変換部
３で述べた適合平面上で行う。すなわち、変動座標算出
部７は、シフト量算出部６によって算出された非特徴量
データのシフト量に基づいて、座標変換部３ａによって
座標変換された３次元データの形状データにおける、座
標変換部３ｂによって座標変換された３次元データの形
状データからの、所定の非特徴量データの対象点の変動
座標位置を算出してデータ類推部８に出力する。

【００７８】変動座標算出部７に関しては、単純に距離
に反比例して重みづけを行う手法やポテンシャルを用い
る手法、あるいは映像効果の分野でモーフィングとして
広く知られる手法を用いて特徴線との相対位置に応じて
未知の点を移動させる手法、例えば、従来技術文献５
「Thaddeus Beier et al.,“Feature-Based Image Meta
morphosis",Computer Graphics, Vol.26, No.2, pp.35-
42, 1992」や従来技術文献６「Scott Anderson,“Morph
ing Magic", Sams Publishing, 1993」に紹介されてい
る手法を用いれば、容易に座標位置を特定できる。これ
らの場合は適合対象で点ｐ，ｑを用いて特徴線がベクト
ル（ｑ−ｐ）、またそれに対応する特徴線が適合元３次
元データ２側で点ｐ’，ｑ’によりベクトル（ｑ’−
ｐ’）で定義されているとすると、適合対象３次元デー
タ１側の任意の点Ｘに対応する適合元３次元データ２で
のＸ’は以下の式で定義されるものである。

【００７９】

【数１１】ｕ＝｛（Ｘ−ｐ）・（ｑ−ｐ）｝／｜ｑ−ｐ
｜

【数１２】ｖ＝｛（Ｘ−ｐ）・⊥（ｑ−ｐ）｝／｜ｑ−
ｐ｜

【数１３】Ｘ’＝Ｐ’＋ｕ・（ｑ’−ｐ’）＋｛ｖ・⊥
（ｑ’−ｐ’）｝／｜ｑ’−ｐ’｜

【００８０】ここで、⊥（ｘ）はベクトルｘと同じ長さ
で、ベクトルｘとは垂直なベクトルを示す。複数の特徴
線が存在する場合は、ｉ番目の特徴線によって求まる点
をＸ’（ｉ）、その重み付け係数ｗ（ｉ）とすると、以
下の式によりＸ’を求めればよい。

【００８１】

【数１４】

【００８２】ここで、重み付け係数ｗ（ｉ）は、ｉ番目
の特徴線とＸ’（ｉ）との距離をｄ（ｉ）、特徴線の長
さをｌ（ｉ）とすると、次式により得ることができる。

【００８３】

【数１５】 ｗ（ｉ）＝｛ｄ（ｉ）^c／［ａ＋ｄ（ｉ）］｝^b

【００８４】ここで、ａ，ｂ，ｃは変形効果をコントロ
ールする定数である。ａは大きすぎるとコントロールが
困難だが、よりスムーズな変形が可能となり、０に近い
ほど直線近傍の画素への影響が大きくなる。ｂは０の場
合が全ての特徴線に対して等しく影響を受ける。ｃは０
の場合全ての直線に対して同じ重み付けとなり、正の値
で長い特徴線からの影響が大きく、負の値で逆となる。

【００８５】変動座標算出部７によって得られた適合後
の非特徴量データの座標値は適合平面上のものとして求
められた。これに対して、残りの座標値を与えるため、
データ類推部８により、適合元３次元データ２からこの
値を得る。このとき、あらかじめ座標変換部３により適
合元３次元データ２は適合平面上の任意の座標値に対し
て、一意に形状データが与えられる様な座標系に変換さ
れているため、変換前の形状データが複雑に入り組んだ
形状であっても、変換後の座標系では確実に値を特定す
ることが可能である。すなわち、データ類推部８は、変
動座標算出部７によって算出された変動座標位置に基づ
いて、適合元３次元データ２の座標変換後の形状データ
に対して、適合対象３次元データ１の座標変換後の形状
データに対応する座標値を、内挿又は外挿により類推す
る。なお、離散的に定義されたデータ点上で形状以外の
データで、その点固有のデータ、例えば色情報、が定義
されている場合、３次元データは色データを含む。

【００８６】データ類推部８において、離散的に定義さ
れる座標値からなるデータ群の場合、任意の座標値での
データを得るには、データ群の適合平面上での近傍のデ
ータを用いて類推を行う。類推には例えばＰＩＣ（Part
icle-In-Cel）などの粒子シミュレーションなどで用い
られているニアレスト・グリッド・ポイント（Nearest
Grid Point）法（最も近いグリッド、すなわちこの場合
では離散的にデータが定義されいる点の中の、最も距離
の近い点に置ける値をその点の値とする方法）や、エリ
ア・ウエイテイング（Area Weighting）法などを用い
る。このエリア・ウエイテイング法では対象点の近傍の
グリッドにより構成される直線・多角形・多面体を対象
点を基準にそれら直線・多角形・多面体の頂点ごとに分
割し、その分割された線分の長さ・面積・体積から寄与
率を計算し、その頂点に置ける値を対象点に寄与させる
手法である。単純な例では２次元の離散座標値ξ＝ｉ，
η＝ｊ（ｉ＝０，１，…，Ｎ，ｊ＝０，１，…，Ｍ）に
おいて決定されるグリッド上においてのみζ（ｉ，ｊ）
が与えられたとする。このとき任意の（ξ，η）におけ
るζの値を得るには以下の式を用いる。

【００８７】

【数１６】ｉ＝ｉｎｔ（ξ）

【数１７】ｊ＝ｉｎｔ（η）

【数１８】ｔ＝ξ−ｉ，ｔ＝η−ｊ

【数１９】ζ＝ζ（ｉ，ｊ）・（１−ｓ）・（１−ｔ）
＋ζ（ｉ＋１，ｊ）・（ｓ）・（１−ｔ）＋ζ（ｉ，ｊ
＋１）・（１−ｓ）・（ｔ）＋ζ（ｉ＋１，ｊ＋１）・
（ｓ）・（ｔ）

【００８８】このようにして形状適合化されたデータは
データ類推部８から加算部９に入力され、加算部９は、
特徴量分離部５ｂからの特徴量データと、データ類推部
８によって類推された非特徴量データとを加算して合成
することにより、形状適合化された座標変換後の３次元
データの形状データを得る。この形状データは、座標逆
変換部１０により、座標変換部３ａ，３ｂとは逆の座標
逆変換処理が実行され、元の座標系への逆変換された形
状適合化された３次元データを出力３次元データ１１と
して得る。なお、離散的に定義されたデータ点上で形状
以外のデータで、その点固有のデータ、例えば色情報、
が定義されている場合、３次元データは色データを含
む。

【００８９】＜第２の実施形態＞図４は、図１の顔面ア
ニメーションシステムに適用する第２の実施形態のデー
タ変形処理装置３２の構成を示すブロック図である。第
２の実施形態は、第１の実施形態のデータ適合処理装置
３１に比較して、座標変換部３ｃをさらに備え、変動座
標算出部７が変動座標算出部７ａにとって代わり、変動
座標算出部７ａは、さらに座標変換部３からの座標変換
後の座標値のシフト量に基づいて、変動座標位置を算出
することを特徴とする。

【００９０】図４において、座標変換部３ｃは、適合対
象３次元データ１の形状データに対して部分的な変形を
指示するために入力された座標値のシフト量である変形
部分指示データ１２に対して、座標変換部３ａ，３ｂと
同様の座標変換処理を実行することにより、座標変換後
の座標系における座標値のシフト量に座標変換して、変
動座標算出部７ａに出力する。これに応答して、変動座
標算出部７ａは、座標変換された座標値のシフト量と、
シフト量算出部６によって算出されたシフト量に基づい
て、特徴量分離部５ａから出力される非特徴量データに
おける所定の対象点の変動座標位置を算出してデータ類
推部８に出力する。従って、第２の実施形態では、形状
適合化に加えて、変形部分指示データ１２により変形を
加えることができる。特に、変形部分指示データが特徴
量データと同等の指示方式である場合は、シフト量算出
部６へ変形部分指示データを入力して処理することも可
能である。

【００９１】＜対応生成部４の実施形態＞図５は、図３
及び図４の対応生成部４の実施形態１である対応生成部
４ａの構成を示すブロック図である。実施形態１の対応
生成部４ａでは、入力されたそれぞれの適合元及び適合
対象の３次元データ１，２中に対応付けを行う対応関係
情報（例えば、適合元では犬の目、適合対象では猫の
目）が付加情報等を利用してあらかじめ定義されてお
り、それらを対応読み取り部４１により３次元データ
１，２からそれぞれ読み取り、次いで、対応定義部４０
ａは、読み取った対応関係データに基づいて、入力され
る２つの３次元データ１，２に対して対応関係を所定の
形式で定義し、定義された対応関係データを後段のバッ
ファメモリ４ｍに出力する。

【００９２】図６は、図３及び図４の対応生成部４の実
施形態２である対応生成部４ｂの構成を示すブロック図
である。図６の対応生成部４ｂでは、あらかじめ対応情
報メモリ４２中に対応づけを行う情報（対応関係情報）
が記憶されており、対応定義部４０ｂは、対応情報メモ
リ４２からの対応関係情報の内容に基づいて、入力され
る２つの３次元データ１，２に対して対応関係を所定の
形式で定義し、定義された対応関係データを後段のバッ
ファメモリ４ｍに出力する。

【００９３】図７は、図３及び図４の対応生成部４の実
施形態３である対応生成部４ｃの構成を示すブロック図
である。図７の対応生成部４ｃでは、２つの３次元デー
タ１，２をＣＲＴディスプレイ４５に出力して表示し、
ユーザがＣＲＴディスプレイ４５に出力される内容を確
認し、それに対してキーボード４３又はマウス４４など
の入力装置により対応付けを行う対応関係情報を対応定
義部４０ｃ入力する。これに応答して、対応定義部４０
ｃは、当該入力された対応関係情報の内容に基づいて、
入力される２つの３次元データ１，２に対して対応関係
を所定の形式で定義し、定義された対応関係データを後
段のバッファメモリ４ｍに出力する。

【００９４】＜第３の実施形態＞図２４は、本発明に係
る第３の実施形態である顔面アニメーションシステムの
構成を示すブロック図である。この第３の実施形態の顔
面アニメーションシステムは、図１の第１の実施形態と
比較して、以下の点が異なることを特徴としている。 （１）形状間内挿処理部５２に代えて、主成分分解部５
６を備えた。 （２）バッファメモリ６５に代えて、バッファメモリ６
８を備えた。 （３）通過点解析部５１に代えて、主成分合成係数算出
部５７及び通過点解析部５１ａを備えた。 （４）バッファメモリ６６に代えて、バッファメモリ６
９を備えた。 （５）時間方向内挿処理部５３に代えて、合成係数内挿
処理部５８及び主成分合成部５９を備えた。 以下、これら相違点について詳述する。

【００９５】図２４において、主成分分解部５６は、デ
ータ適合処理装置３１からバッファメモリ６４を介して
入力される、形状適合化された３次元データに対して所
定の主成分分析処理を行うことにより、上記３次元デー
タに含まれる形状データに対する寄与率が所定のしきい
値よりも大きくかつ互いに独立な複数の主成分の合成係
数を算出するとともに、上記複数の主成分からそのサブ
セットである上記複数の位置に対応する成分のみを抽出
し、抽出した成分に基づいて形状データをそのサブセッ
トから求めるための線形予測子を算出する。すなわち、
母音／ａ／，／ｉ／，／ｕ／，／ｅ／，／ｏ／のときの
基本顔面形状、口の開放状態、口の閉塞状態、口の中間
状態のときの自然状態の顔面形状などの入力形状そのま
まではお互いの相関が高く合成係数が容易には求められ
ない場合が多いが、詳細後述する主成分分析（Principa
l Component Analysis）処理を行うことにより、個々の
主成分が独立となる成分が求まるため容易に合成係数が
求められる。主成分分解処理の手順（ステップＳＳ１か
らＳＳ４からなる。）は以下の通りである。ここで、Ｘ
^tは行列Ｘの転置行列であり、Ｘ^-1は行列Ｘの逆行列で
ある。

【００９６】＜ステップＳＳ１＞母音／ａ／，／ｉ／，
／ｕ／，／ｅ／，／ｏ／のときの基本顔面形状、口の開
放状態、口の閉塞状態、口の中間状態のときの自然状態
の顔面形状の入力形状の形状データを入力データ例とし
た場合、これらの個々の形状を次式のベクトルｆ_k（ｋ
＝１，２，…，８）で表わす。

【数２０】ｆ_k＝［ｘ_k1 ｘ_k2 … ｘ_kN ｙ_k1 ｙ_k2
… ｙ_kN ｚ_k1 ｚ_k2 … ｚ_kN］ ここで、Ｎは形状を表す頂点数である。

【００９７】＜ステップＳＳ２＞これらのベクトルｆ_k
より得られる平均的な顔面形状の式

【数２１】μ_f＝Σｆ_k／ｋ を用いて、各形状を平均的な顔面形状からのずれ量

【数２２】ｆ０_k＝ｆ_k−μ_f として定義する。

【００９８】＜ステップＳＳ３＞このずれ量ｆ０_kを１
つのベクトルとして、ずれ量ベクトルＦ０を次式で定義
する。

【数２３】Ｆ０＝［ｆ０₁，ｆ０₂，…，ｆ０_k］

【００９９】このずれ量ベクトルＦ０により表される共
分散行列

【数２４】Ｃ_f＝Ｆ０Ｆ０^t に対して、公知の特異値分解（singular value decompo
sition）を行うことにより、各固有ベクトルをＦ０の線
形独立な主成分として求めることができる。この特異値
分解により次式

【数２５】Ｃ_f＝ＵＳＵ^tを満たす行列Ｕ（この行列Ｕ
は、正規化されたユニタリ行列であって、各列が固有ベ
クトルを表す。）と行列Ｓ（この行列Ｓは、対角行列で
あって、対角成分が固有値を表す。）が得られる。この
正規化されたユニタリ行列Ｕを用いれば、次式の主成分
係数ベクトル

【数２６】α＝［α₁，α₂，…，α_k］ により、任意の形状はｆ＝μ_f＋Ｕ・αで表すことがで
きる。

【０１００】特に、対角行列Ｓのｉ行ｉ列の対角成分を
行列Ｓ_iとすると、次式の寄与率

【数２７】 によりその主成分の入力形状に対する寄与率が百分率で
得られるので、この寄与率Ｒ_iの値によっては、寄与率
が充分小さい主成分についてはについては無視すること
ができる。日本人被験者ａと米国人被験者ｂの母音／ａ
／，／ｉ／，／ｕ／，／ｅ／，／ｏ／の顔面形状と、口
の開放状態と、口の閉塞状態と、口の中間状態の自然な
形状から得た寄与率Ｒａ，Ｒｂでは以下のようなデータ
が得られている。

【０１０１】

【数２８】Ｒａ＝［78.4635,8.8073,5.8413,3.5385,1.4
809,1.1822,0.6863,0.0000］

【数２９】Ｒｂ＝［75.0164,14.4662,3.7519,2.9914,1.
8486,1.2324,0.6932,0.0000］

【０１０２】この場合、８個の形状をもとに共分散行列
の特異値分解を行っているため、有意値を得るのは最初
の７つとなる。また、例えば次式の判断式を用いてて主
成分を無視することにより後述の計算において情報量の
削減、計算の簡略化が可能である。

【０１０３】

【数３０】

【０１０４】上記の式の条件を満たすｎ番目までの主成
分を用いることにすれば、Ｘ＝９９％とすれば被験者
ａ，ｂともｎ＝６となる。

【０１０５】＜ステップＳＳ４＞さらに、この求まった
主成分の各成分からそのサブセットである運動学的デー
タ点に対応する成分のみを抽出して、それぞれに平均的
な形状データμ_fの対応成分データを加えて新たなベク
トル

【数３１】Ｐ＝［ｐ₁，ｐ₂，…，ｐ_k］ を作る。このベクトルＰからベクトルＰの平均値ベクト
ルを引いたものを、次式の１つのベクトル

【数３２】Ｐ０＝［ｐ０₁，ｐ０２，…，ｐ０_k］ とすることにより、形状データをそのサブセットから求
めるための線形予測子Ａを、次式の主成分係数ベクトル

【数３３】α＝Ａ・Ｐ０ により決定できる。すなわち、次式を用いて線形予測子
Ａを算出することができる。

【数３４】Ａ＝αＰ０^t（Ｐ０・Ｐ０^t）^-1 ここで、主成分分解部５６は、算出された主成分の合成
係数及び線形予測子Ａをバッファメモリ６８を介して主
成分合成係数算出部５７に出力するとともに、算出され
た主成分の合成係数を主成分合成部５９に出力する。

【０１０６】次いで、主成分合成係数算出部５７は、運
動学的データメモリ６１に記憶された運動学的データに
基づいて、主成分分解部５６によって算出された線形予
測子Ａを用いて、上記運動学的データを再現するための
主成分の合成係数を算出する。すなわち、入力された各
フレームの運動学的データ

【数３５】ｐ_i＝［ｐ_i1，ｐ_i2，…，ｐ_ik］ から上記ベクトルＰの平均値ベクトルを引いたベクトル
ｐｏについて先の線形予測子Ａを用いることにより、次
式を用いて

【数３６】ｆ＝μ_f＋Ｕ・α＝μ_f＋Ｕ・Ａ・ｐｏ 最終的な形状データを算出する。この主成分合成係数算
出部５７では、上記の式の中のα＝Ａ・ｐｏのみを算出
し、各フレーム毎での各主成分の合成係数を求め、それ
を通過点解析部５１ａに送る。

【０１０７】次いで、通過点解析部５１ａは、主成分合
成係数算出部５７によって算出された運動学的データを
再現するための主成分の合成係数に対して複数の位置の
動きの加速度の時間微分を最小化するようにサンプリン
グして通過点解析処理を行うことによりその情報量を圧
縮して圧縮データを得るとともに、上記圧縮データを得
るときに、上記時間情報を参照して、音素分解処理部５
０から出力される音素列データを上記圧縮データに対応
づけしてバッファメモリ６９を介して合成係数内挿処理
部５８に出力する。ここで、通過点解析処理の具体的な
方法は、第１の実施形態と同様である。

【０１０８】そして、合成係数内挿処理部５８は、通過
点解析部５１ａからバッファメモリ６９を介して入力さ
れる圧縮データに対して、時間方向で内挿処理を行うこ
とにより、上記圧縮データに対応して内挿された再現内
挿データを得るとともに、通過点解析部５１ａによって
対応づけされた音素列データを参照して、上記内挿され
た再現内挿データに対して上記音素列データを同期させ
た後、上記音素列データを音声信号データに変換して再
現内挿データとともに主成分合成部５９に出力する。す
なわち、合成係数内挿処理部５８は、入力された通過点
解析の結果データから、第１の実施形態の時間方向内挿
処理部５３の処理と同様に、再生アニメーションに必要
なフレームレートでの各フレームにおける合成係数を５
次スプラインにより求める。

【０１０９】さらに、主成分合成部５９は、主成分分解
部５６によって算出された複数の主成分の合成係数と、
合成係数内挿処理部５８から出力される再現内挿データ
とを合成することにより、アニメーション画像データを
得て、上記合成したアニメーション画像データと音声信
号データとを同期してアニメーション画像メモリ６７に
出力する。すなわち、主成分合成部５９は、得られた合
成係数に基づき各種成分の重ね合わせを行うことにより
合成する。ただし、先に求めた主成分が平均的な顔面形
状からの差として定義されているので、最終的には重ね
合わせの結果を次式のように平均的な顔面形状に足し合
わせることとなる。なお、アニメーション画像データメ
モリ６７以降の処理は、第１の実施形態と同様である。

【０１１０】

【数３７】ｆ＝μ_f＋Ｕ・α

【０１１１】以上の第３の実施形態においては、第１の
実施形態で示した変形例をそのまま適用することができ
る。以上の第３の実施形態において、主成分分解部５
６、主成分合成係数算出部５７、通過点解析部５１ａ、
合成係数内挿処理部５８及び主成分合成部５９は、例え
ばデジタル計算機などのコンピュータで構成される。ま
た、各バッファメモリ６８及び６９は、例えばハードデ
ィスクメモリなどの記憶装置で構成される。

【０１１２】図２５に、第１の実施形態の図２１及至図
２３と同じデータに対して主成分分析を行った合成係数
を示す。この例では７つの主成分の時間変化を示してい
る。この被験者の場合では、顎の上下運動にほぼ対応す
る第１主成分の動きが支配的となっており、また、第２
主成分として唇の丸め運動にほぼ対応する動きが加わる
ことにより、おおよその発話時の動きを再現している。
さらに、第３主成分及び第４主成分ではさらに細やかな
口の開き方に関する動きが加わっている。第５主成分、
第６主成分、及び第７主成分では左右非対称な唇の微妙
運動に対応する動きを微少ながらも加えることにより、
個人に特徴的な発話形状を再現している。

【０１１３】以上のように構成された第３の実施形態に
おいては、データ適合処理装置３１から出力される形状
適合化された３次元データの主成分に関する情報と、通
過点解析部５１ａから出力される通過点解析後のデータ
の情報を、通信媒体を通じて伝送又は記憶媒体（又は記
録媒体）を蓄積することにより、きわめて低いビットレ
ートでの顔面の動画像を伝送して蓄積することができ
る。第１の実施形態における、母音／ａ／，／ｉ／，／
ｕ／，／ｅ／，／ｏ／の顔面形状、並びに、口の開放、
口の閉塞、及び口の中間状態の８つの形状を、１８点の
運動学的データ（１８×３＝５４軌道データ）を用いて
動かしていた場合に比較して、形状で主成分形状が最大
７形状、同様の通過点解析を行った場合で７軌道データ
のみで同様のアニメーションが生成可能であって、バッ
ファメモリ６９に記憶されるデータだけでも７倍以上の
データ圧縮を行うことができる。従って、従来技術に比
較して装置構成が簡単であって、しかもきわめて低いビ
ットレートで伝送又は記憶することができ、伝送コスト
及び製造する装置コストを大幅に軽減することができ、
しかも高速で処理できるという特有の利点を有するアニ
メーションシステムを提供することができる。

【０１１４】＜実施形態の効果＞以上説明したように、
本発明に係る実施形態によれば、トポロジーの異なる３
次元データの形状適合化及び変形に関して、３次元形状
の構成点の一部又は全部に座標変換を施し、全ての構成
点の座標変換後の座標値が２組の座標値により残りの座
標値が一意に決定されるような座標系へ変換させた上
で、形状の特徴となる点又は線分を変換後の座標系で対
応させ、この２組の座標値で表される平面上で適合及び
変形を行う。これにより、あらかじめ適当な座標変換を
求めておくことにより複雑な形状への形状適合化と変形
を容易に行うことができる。従って、常に安定した動作
で一方の形状を忠実に他方に反映させるように３次元デ
ータを形状適合化させ、また変形させることができ、３
次元データの処理装置の操作性を大幅に向上させること
ができる。

【０１１５】＜変形例＞以上の実施形態においては、ア
ニメーションシステム、３次元データを形状適合化及び
／又は変形させるための３次元データの処理装置につい
て述べているが、本発明はこれに限らず、例えば、当該
処理装置の処理をコンピュータのソフトウエアで実現す
るように処理プログラムを形成してもよい。当該処理プ
ログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＤなど
の光ディスク又はフロッピーディスクなどの記録媒体に
記録される。当該記録媒体を提供することにより、当該
処理装置の処理をより容易にユーザに提供することがで
きる。

【０１１６】

【発明の効果】以上詳述したように本発明に係る請求項
１記載のアニメーションシステムによれば、離散的な座
標値を用いて線分又は点を定義することにより人間の形
状を表わす形状データを含み入力される第１の３次元デ
ータに対して、その形状を表現するデータ数及び形状が
異なる他の入力される第２の３次元データを、外見上上
記第１の３次元データと同様の形状へと形状適合化させ
る適合手段と、上記人間の特定の部位が運動するときの
所定の複数の位置の動きのデータを含む運動学的データ
を記憶する第１の記憶手段と、上記第１の記憶手段に記
憶された運動学的データに対して複数の位置の動きの加
速度の時間微分を最小化するようにサンプリングして通
過点解析処理を行うことによりその情報量を圧縮して圧
縮データを得る解析手段と、上記適合手段によって形状
適合化された３次元データと、上記解析手段によって得
られた圧縮データとに基づいて、２つのデータの対応す
る形状間で、上記人間の特定の部位が運動するときの複
数の位置の軌道を所定の曲線に近似して形状間内挿処理
を行うことにより、上記３次元データを、上記人間の特
定の部位が運動するときの複数の位置の軌道に近似した
再現データを得て出力する第１の内挿処理手段と、上記
第１の内挿処理手段から出力される再現データに対し
て、上記解析手段から出力される圧縮データを参照し
て、時間方向で内挿処理を行うことにより、上記圧縮デ
ータに対応して内挿された再現内挿データを得て、アニ
メーション画像データとして出力する第２の内挿処理手
段とを備える。従って、従来技術に比較して装置構成が
簡単であって、しかも高精度で制御することにより、人
間のアニメーションの画像を生成することができるアニ
メーションシステムを提供することができる。

【０１１７】また、請求項２記載のアニメーションシス
テムによれば、請求項１記載のアニメーションシステム
において、上記人間の特定の部位が運動するときに発声
するときの時間情報とその音声の音声信号を記憶する第
２の記憶手段と、上記第２の記憶手段に記憶された音声
信号を所定の音素分析データを参照して音素に分解して
上記音声に対応した音素列データをその時間情報ととも
に出力する音素分解処理手段とをさらに備え、上記解析
手段は、上記圧縮データを得るときに、上記時間情報を
参照して、上記音素分解処理手段から出力される音素列
データを上記圧縮データに対応づけし、上記第２の内挿
処理手段は、上記解析手段によって対応づけされた音素
列データを参照して、上記内挿された再現内挿データに
対して上記音素列データを同期させた後、上記音素列デ
ータを音声信号データに変換して上記アニメーション画
像データとともに出力する。従って、従来技術に比較し
て装置構成が簡単であって、しかも高精度で制御するこ
とにより、発声音声と同期した人間のアニメーションの
画像を生成することができるアニメーションシステムを
提供することができる。

【０１１８】さらに、請求項３記載のアニメーションシ
ステムによれば、請求項１又は２記載のアニメーション
システムにおいて、上記第１の３次元データは、人間の
基本的な顔形状データを含む。従って、従来技術に比較
して装置構成が簡単であって、しかも高精度で制御する
ことにより、人間のアニメーションの画像を生成するこ
とができる顔面アニメーションシステムを提供すること
ができる。

【０１１９】さらに、請求項４記載のアニメーションシ
ステムによれば、請求項１乃至３のうちの１つに記載の
アニメーションシステムにおいて、上記第２の３次元デ
ータは、メッシュモデルに基づく形状データを含む。従
って、従来技術に比較して装置構成が簡単であって、し
かも高精度で制御することにより、メッシュモデルに適
合化しかつ発声音声と同期した人間のアニメーションの
画像を生成することができるアニメーションシステムを
提供することができる。

【０１２０】また、請求項５記載のアニメーションシス
テムによれば、上記適合手段は、３次元データ中の形状
を定義する第１の座標系を有する第１の３次元データに
対して、上記第１の３次元データの形状データの少なく
とも一部を所定の座標変換処理により変換した後の２組
の座標値に対して残りの座標値が一意に決定されるよう
な他の第２の座標系を有する第３の３次元データに座標
変換する第１の座標変換手段と、上記第１の座標系を有
する第２の３次元データに対して、上記座標変換処理を
実行して上記第２の座標系を有する第４の３次元データ
に座標変換する第２の座標変換手段と、上記第１の３次
元データの形状データの所定の特徴部分を示す線分又は
点の組を、上記第２の３次元データの形状データの特徴
部分を示す線分又は点の組に対して対応づけを行い対応
関係を示す対応関係データを生成する対応生成手段と、
上記対応生成手段によって生成された対応関係データに
基づいて、上記第１の３次元データの上記第２の３次元
データからの上記第２の座標系における、線分又は点の
組の対応間のシフト量を算出するシフト量算出手段と、
上記シフト量算出手段によって算出されたシフト量に基
づいて、上記第１の座標変換手段によって座標変換され
た第３の３次元データにおける、上記第２の座標変換手
段によって座標変換された第４の３次元データからの、
所定の対象点の変動座標位置を算出する変動座標算出手
段と、上記変動座標算出手段によって算出された変動座
標位置に基づいて、上記第４の３次元データに対して、
上記第３の３次元データに対応する座標値を、内挿又は
外挿により類推しかつ類推された座標値を上記第４の３
次元データの対応付けを行った特徴部分を示す線分また
は点の組に加算することにより、上記第４の３次元デー
タを上記第３の３次元データに形状適合化された第２の
座標系を有する第５の３次元データを生成するデータ類
推及び加算手段と、上記データ類推及び加算手段によっ
て生成された第２の座標系を有する第５の３次元データ
に対して、上記第１と第２の座標変換手段による座標変
換処理とは逆の座標逆変換処理を実行して、上記第２の
３次元データを上記第１の３次元データに形状適合化さ
れた第１の座標系を有する第６の３次元データを生成し
て出力する座標逆変換手段とを備える。従って、あらか
じめ適当な座標変換を求めておくことにより複雑な形状
への形状適合化を容易に行うことができる。それ故、常
に安定した動作で一方の形状を忠実に他方に反映させる
ように３次元データを形状適合化させることができ、ア
ニメーションシステムの操作性を大幅に向上させること
ができる。

【０１２１】また、請求項６記載のアニメーションシス
テムにおいては、請求項５記載のアニメーションシステ
ムにおいて、上記第１の３次元データの形状データに対
して部分的な変形を指示するために入力された第１の座
標系における座標値のシフト量に対して、上記座標変換
処理を実行して上記第２の座標系における座標値のシフ
ト量に座標変換する第３の座標変換手段をさらに備え、
上記変動座標算出手段は、上記第３の座標変換手段によ
って座標変換された座標値のシフト量と、上記シフト量
算出手段によって算出されたシフト量に基づいて、上記
第１の座標変換手段によって座標変換された第３の３次
元データにおける所定の対象点の変動座標位置を算出す
る。従って、あらかじめ適当な座標変換を求めておくこ
とにより複雑な形状への形状適合化と変形を容易に行う
ことができる。それ故、常に安定した動作で一方の形状
を忠実に他方に反映させるように３次元データを形状適
合化させ、また変形させることができ、アニメーション
システムの操作性を大幅に向上させることができる。

【０１２２】さらに、請求項７記載のアニメーションシ
ステムによれば、請求項５又は６記載のアニメーション
システムにおいて、入力される３次元データに対して互
いに異なる座標変換処理を実行して座標変換後の３次元
データを出力する複数の座標変換装置と、上記複数の座
標変換装置により座標変換された３次元データに基づい
て、それぞれ座標変換後の２組の座標値に対して残りの
座標値が一意に決定されるか否かを判断するために、一
意に決定されるときにより小さい値となる評価関数の関
数値を算出する変換評価手段と、上記変換評価手段によ
って算出された上記複数の座標変換装置に対応する複数
の関数値のうち最小の関数値に対応する座標変換装置を
選択して、選択された座標変換装置から出力される変換
後の３次元データを出力する座標変換選択手段と、上記
座標変換手段により選択された座標変換装置と、その座
標変換処理のためのパラメータを記憶した後、上記第１
と第２と第３の座標変換手段に出力して設定する記憶装
置と、上記記憶装置に記憶された座標変換処理のための
パラメータに基づいて、当該座標変換処理とは逆の座標
逆変換処理のためのパラメータを算出して上記座標逆変
換手段に出力して設定する逆変換パラメータ算出手段と
をさらに備える。従って、より最適な座標変換部を選択
して、３次元データの処理をより正確に実行することが
できる。

【０１２３】本発明に係る請求項８記載のアニメーショ
ンシステムによれば、離散的な座標値を用いて線分又は
点を定義することにより人間の形状を表わす形状データ
を含み入力される第１の３次元データに対して、その形
状を表現するデータ数及び形状が異なる他の入力される
第２の３次元データを、外見上上記第１の３次元データ
と同様の形状へと形状適合化させる適合手段と、上記人
間の特定の部位が運動するときの所定の複数の位置の動
きのデータを含む運動学的データを記憶する第１の記憶
手段と、上記適合手段によって形状適合化された３次元
データに対して所定の主成分分析処理を行うことによ
り、上記３次元データに含まれる形状データに対する寄
与率が所定のしきい値よりも大きくかつ互いに独立な複
数の主成分の合成係数を算出するとともに、上記複数の
主成分からそのサブセットである上記複数の位置に対応
する成分のみを抽出し、抽出した成分に基づいて形状デ
ータをそのサブセットから求めるための線形予測子を算
出する分解手段と、上記第１の記憶手段に記憶された運
動学的データに基づいて、上記主成分分解手段によって
算出された線形予測子を用いて、上記運動学的データを
再現するための主成分の合成係数を算出する算出手段
と、上記算出手段によって算出された上記運動学的デー
タを再現するための主成分の合成係数に対して複数の位
置の動きの加速度の時間微分を最小化するようにサンプ
リングして通過点解析処理を行うことによりその情報量
を圧縮して圧縮データを得て出力する解析手段と、上記
解析手段から出力される圧縮データに対して、時間方向
で内挿処理を行うことにより、上記圧縮データに対応し
て内挿された再現内挿データを得て出力する内挿処理手
段と、上記分解手段によって算出された複数の主成分の
合成係数と、上記内挿処理手段から出力される再現内挿
データとを合成することにより、アニメーション画像デ
ータを得て出力する合成手段とを備える。従って、従来
技術に比較して装置構成が簡単であって、しかもきわめ
て低いビットレートで伝送又は記憶することができ、伝
送コスト及び製造する装置コストを大幅に軽減すること
ができ、しかも高速で処理できるという特有の利点を有
するアニメーションシステムを提供することができる。

【０１２４】また、請求項９記載のアニメーションシス
テムによれば、請求項８記載のアニメーションシステム
において、上記人間の特定の部位が運動するときに発声
するときの時間情報とその音声の音声信号を記憶する第
２の記憶手段と、上記第２の記憶手段に記憶された音声
信号を所定の音素分析データを参照して音素に分解して
上記音声に対応した音素列データをその時間情報ととも
に出力する音素分解処理手段とをさらに備え、上記解析
手段は、上記圧縮データを得るときに、上記時間情報を
参照して、上記音素分解処理手段から出力される音素列
データを上記圧縮データに対応づけし、上記内挿処理手
段は、上記解析手段によって対応づけされた音素列デー
タを参照して、上記内挿された再現内挿データに対して
上記音素列データを同期させた後、上記音素列データを
音声信号データに変換して再現内挿データとともに出力
し、上記合成手段は、上記合成したアニメーション画像
データと音声信号データとを同期して出力する。従っ
て、従来技術に比較して装置構成が簡単であって、しか
もきわめて低いビットレートで伝送又は記憶することが
でき、伝送コスト及び製造する装置コストを大幅に軽減
することができ、しかも高速で処理でき、発声音声と同
期した人間のアニメーションの画像を生成することがで
きるアニメーションシステムを提供することができる。

【０１２５】さらに、請求項１０記載のアニメーション
システムによれば、請求項８又は９記載のアニメーショ
ンシステムにおいて、上記第１の３次元データは、人間
の基本的な顔形状データを含むことを特徴とする。従っ
て、従来技術に比較して装置構成が簡単であって、しか
もきわめて低いビットレートで伝送又は記憶することが
でき、伝送コスト及び製造する装置コストを大幅に軽減
することができ、しかも高速で処理できるという特有の
利点を有する顔面アニメーションシステムを提供するこ
とができる。

【０１２６】またさらに、請求項１１記載のアニメーシ
ョンシステムは、請求項８乃至１０のうちの１つに記載
のアニメーションシステムにおいて、上記第２の３次元
データは、メッシュモデルに基づく形状データを含む。
従って、従来技術に比較して装置構成が簡単であって、
しかもきわめて低いビットレートで伝送又は記憶するこ
とができ、伝送コスト及び製造する装置コストを大幅に
軽減することができ、しかも高速で処理でき、メッシュ
モデルに適合化しかつ発声音声と同期した人間のアニメ
ーションの画像を生成することができるアニメーション
システムを提供することができる。

【０１２７】また、請求項１２記載のアニメーションシ
ステムによれば、請求項８乃至１１のうちの１つに記載
のアニメーションシステムにおいて、上記適合手段は、
３次元データ中の形状を定義する第１の座標系を有する
第１の３次元データに対して、上記第１の３次元データ
の形状データの少なくとも一部を所定の座標変換処理に
より変換した後の２組の座標値に対して残りの座標値が
一意に決定されるような他の第２の座標系を有する第３
の３次元データに座標変換する第１の座標変換手段と、
上記第１の座標系を有する第２の３次元データに対し
て、上記座標変換処理を実行して上記第２の座標系を有
する第４の３次元データに座標変換する第２の座標変換
手段と、上記第１の３次元データの形状データの所定の
特徴部分を示す線分又は点の組を、上記第２の３次元デ
ータの形状データの特徴部分を示す線分又は点の組に対
して対応づけを行い対応関係を示す対応関係データを生
成する対応生成手段と、上記対応生成手段によって生成
された対応関係データに基づいて、上記第１の３次元デ
ータの上記第２の３次元データからの上記第２の座標系
における、線分又は点の組の対応間のシフト量を算出す
るシフト量算出手段と、上記シフト量算出手段によって
算出されたシフト量に基づいて、上記第１の座標変換手
段によって座標変換された第３の３次元データにおけ
る、上記第２の座標変換手段によって座標変換された第
４の３次元データからの、所定の対象点の変動座標位置
を算出する変動座標算出手段と、上記変動座標算出手段
によって算出された変動座標位置に基づいて、上記第４
の３次元データに対して、上記第３の３次元データに対
応する座標値を、内挿又は外挿により類推しかつ類推さ
れた座標値を上記第４の３次元データの対応付けを行っ
た特徴部分を示す線分または点の組に加算することによ
り、上記第４の３次元データを上記第３の３次元データ
に形状適合化された第２の座標系を有する第５の３次元
データを生成するデータ類推及び加算手段と、上記デー
タ類推及び加算手段によって生成された第２の座標系を
有する第５の３次元データに対して、上記第１と第２の
座標変換手段による座標変換処理とは逆の座標逆変換処
理を実行して、上記第２の３次元データを上記第１の３
次元データに形状適合化された第１の座標系を有する第
６の３次元データを生成して出力する座標逆変換手段と
を備える。従って、あらかじめ適当な座標変換を求めて
おくことにより複雑な形状への形状適合化を容易に行う
ことができる。それ故、常に安定した動作で一方の形状
を忠実に他方に反映させるように３次元データを形状適
合化させることができ、アニメーションシステムの操作
性を大幅に向上させることができる。

【０１２８】さらに、請求項１３記載のアニメーション
システムによれば、請求項１２記載のアニメーションシ
ステムにおいて、上記第１の３次元データの形状データ
に対して部分的な変形を指示するために入力された第１
の座標系における座標値のシフト量に対して、上記座標
変換処理を実行して上記第２の座標系における座標値の
シフト量に座標変換する第３の座標変換手段をさらに備
え、上記変動座標算出手段は、上記第３の座標変換手段
によって座標変換された座標値のシフト量と、上記シフ
ト量算出手段によって算出されたシフト量に基づいて、
上記第１の座標変換手段によって座標変換された第３の
３次元データにおける所定の対象点の変動座標位置を算
出する。従って、あらかじめ適当な座標変換を求めてお
くことにより複雑な形状への形状適合化と変形を容易に
行うことができる。それ故、常に安定した動作で一方の
形状を忠実に他方に反映させるように３次元データを形
状適合化させ、また変形させることができ、アニメーシ
ョンシステムの操作性を大幅に向上させることができ
る。

【０１２９】またさらに、請求項１４記載のアニメーシ
ョンシステムによれば、請求項１２又は１３記載のアニ
メーションシステムにおいて、入力される３次元データ
に対して互いに異なる座標変換処理を実行して座標変換
後の３次元データを出力する複数の座標変換装置と、上
記複数の座標変換装置により座標変換された３次元デー
タに基づいて、それぞれ座標変換後の２組の座標値に対
して残りの座標値が一意に決定されるか否かを判断する
ために、一意に決定されるときにより小さい値となる評
価関数の関数値を算出する変換評価手段と、上記変換評
価手段によって算出された上記複数の座標変換装置に対
応する複数の関数値のうち最小の関数値に対応する座標
変換装置を選択して、選択された座標変換装置から出力
される変換後の３次元データを出力する座標変換選択手
段と、上記座標変換手段により選択された座標変換装置
と、その座標変換処理のためのパラメータを記憶した
後、上記第１と第２と第３の座標変換手段に出力して設
定する記憶装置と、上記記憶装置に記憶された座標変換
処理のためのパラメータに基づいて、当該座標変換処理
とは逆の座標逆変換処理のためのパラメータを算出して
上記座標逆変換手段に出力して設定する逆変換パラメー
タ算出手段とをさらに備える。従って、より最適な座標
変換部を選択して、３次元データの処理をより正確に実
行することができる。

【図面の簡単な説明】

【図１】 本発明に係る第１の実施形態である顔面アニ
メーションシステムの構成を示すブロック図である。

【図２】 本発明に係る第１の実施形態である座標変換
処理装置３０の構成を示すブロック図である。

【図３】 本発明に係る第１の実施形態であるデータ適
合処理装置３１の構成を示すブロック図である。

【図４】 本発明に係る第２の実施形態であるデータ変
形処理装置３２の構成を示すブロック図である。

【図５】 図３及び図４の対応生成部４の実施形態１で
ある対応生成部４ａの構成を示すブロック図である。

【図６】 図３及び図４の対応生成部４の実施形態２で
ある対応生成部４ｂの構成を示すブロック図である。

【図７】 図３及び図４の対応生成部４の実施形態３で
ある対応生成部４ｃの構成を示すブロック図である。

【図８】 図１の顔面アニメーションシステムにおいて
用いる基本顔形状データ（母音／ａ／）の一例を示す正
面図である。

【図９】 図１の顔面アニメーションシステムにおいて
用いる計測テクスチャ（母音／ａ／）の一例を示す正面
図である。

【図１０】 （ａ）は図１の顔面アニメーションシステ
ムにおいて（メモリ６１に格納された）運動学的データ
の取得のための赤外線ダイオードの配置例を示す正面図
であり、（ｂ）はその側面図である。

【図１１】 図１の顔面アニメーションシステムにおい
て用いる（メモリ２に格納された）一般メッシュモデル
の一例を示す正面図である。

【図１２】 図１のデータ適合処理装置３１によって得
られた（θ，ｚ）平面での適合結果の一例を示す正面図
である。

【図１３】 （ａ）は図１のデータ適合処理装置３１に
よって得られた３次元空間でのメッシュ表示の適合結果
の一例を示す正面図であり、（ｂ）は図１のデータ適合
処理装置３１によって得られた３次元空間での画像表示
の適合結果の一例を示す正面図である。

【図１４】 図１の顔面アニメーションシステムにおい
て用いる基本顔形状の合成により任意時刻の顔形状を近
似する方法を示すブロック図である。

【図１５】 図１の通過点解析部５１の通過点解析処理
を示すグラフであって、（ａ）は当該処理における元の
軌跡と予測された軌跡を示すグラフであり、（ｂ）は当
該処理において抽出された通過点を示すグラフであり、
（ｃ）は当該処理において予測された第２の軌跡を示す
グラフであり、（ｄ）は当該処理において抽出された第
２の通過点を示すグラフである。

【図１６】 図１の通過点解析部５１の通過点解析処理
による解析例であるあごと上唇のマーカー軌跡の一例を
示すグラフである。

【図１７】 図１の顔面アニメーションシステムによっ
て生成されたアニメーション生成結果（時刻ｔ＝０．０
０）の画像を示す正面図である。

【図１８】 図１の顔面アニメーションシステムによっ
て生成されたアニメーション生成結果（時刻ｔ＝１．１
７）の画像を示す正面図である。

【図１９】 図１の顔面アニメーションシステムによっ
て生成されたアニメーション生成結果（時刻ｔ＝２．４
３）の画像を示す正面図である。

【図２０】 図１の顔面アニメーションシステムによっ
て生成されたアニメーション生成結果（時刻ｔ＝３．２
０）の画像を示す正面図である。

【図２１】 図１の顔面アニメーションシステムの実験
における入力音声信号の信号波形を示すグラフである。

【図２２】 図１の顔面アニメーションシステムの実験
における元の運動学的データから得た合成比率の時系列
データを示すグラフである。

【図２３】 図１の顔面アニメーションシステムの実験
における通過点解析から得た合成比率の時系列データを
示すグラフである。

【図２４】 本発明に係る第３の実施形態である顔面ア
ニメーションシステムの構成を示すブロック図である。

【図２５】 図２４の顔面アニメーションシステムのシ
ミュレーション結果であって、第１の実施形態の図２１
及至図２３と同じデータに対して主成分分析を行った合
成係数を時系列で示すグラフである。

【符号の説明】

１…適合対象３次元データメモリ、 ２…適合元３次元データメモリ、 ３ａ，３ｂ，３ｃ…座標変換部、 ３ａｍ，３ｂｍ…バッファメモリ、 ４，４ａ，４ｂ，４ｃ…対応生成部、 ４ｍ…バッファメモリ、 ５ａ，５ｂ…特徴量分離部、 ６…シフト量算出部、 ７，７ａ…変動座標算出部、 ８…データ類推部、 ９…加算器、 １０…座標逆変換部、 １１…出力３次元データ、 １２…変形部分指示データ、 １３…入力３次元データ、 １４，１４−１乃至１４−ｎ…座標変換部、 １５…変換評価部、 １６…座標変換選択部、 １８，１９…スイッチ、 ２０…パラメータメモリ、 ２１…座標逆変換パラメータ算出部、 ２２…出力３次元データ、 ３０…座標変換処理装置、 ３１…データ適合処理装置、 ３２…データ変形処理装置、 ４０…対応定義部、 ４１…対応読み取り部、 ４２…対応情報メモリ、 ４３…キーボード、 ４４…マウス、 ４５…ＣＲＴディスプレイ、 ５１，５１ａ…通過点解析部、 ５２…形状間内挿処理部、 ５３…時間方向内挿処理部、 ５４…再生処理部、 ５５…ＣＲＴディスプレイ、 ５６…主成分分解部、 ５７…主成分合成係数算出部、 ５８…合成係数内挿処理部、 ５９…主成分合成部、 ６１…運動学的データメモリ、 ６２…音声波形データメモリ、 ６３…音素コードブックメモリ、 ６４，６５，６６，６８，６９…バッファメモリ、 ６７…アニメーション画像データメモリ。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年７月１４日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】削除

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】削除

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】削除

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】削除

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】削除

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】削除

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正内容】

【００１４】

【課題を解決するための手段】本発明に係る請求項１記
載のアニメーションシステムは、離散的な座標値を用い
て線分又は点を定義することにより人間の顔面形状を表
わす形状データを含み入力される第１の３次元データに
対して、別の顔面形状を表わす形状データであって第１
の３次元データとはデータ数及び形状が異なる形状デー
タを含み入力される第２の３次元データを、外見上上記
第１の３次元データと同様の形状へと形状適合化させる
適合手段（３１）と、上記人間の顔面の中の特定の部位
が運動するときの所定の複数の位置の動きのデータを含
む運動学的データを記憶する第１の記憶手段（６４）
と、上記適合手段（３１）によって形状適合化された３
次元データに対して所定の主成分分析処理を行うことに
より、上記３次元データに含まれる形状データに対する
寄与率が所定のしきい値よりも大きくかつ互いに独立な
複数の主成分の合成係数を算出するとともに、上記複数
の主成分からそのサブセットである上記複数の位置に対
応する成分のみを抽出し、抽出した成分に基づいて形状
データをそのサブセットから求めるための線形予測子を
算出する分解手段（５６）と、上記第１の記憶手段（６
４）に記憶された運動学的データに基づいて、上記分解
手段（５６）によって算出された線形予測子を用いて、
上記運動学的データを再現するための主成分の合成係数
を算出する算出手段（５７）と、上記算出手段（５７）
によって算出された上記運動学的データを再現するため
の主成分の合成係数に対して複数の位置の動きの加速度
の時間微分を最小化するようにサンプリングして通過点
解析処理を行うことによりその情報量を圧縮して圧縮デ
ータを得て出力する解析手段（５１ａ）と、上記解析手
段（５１ａ）から出力される圧縮データに対して、時間
方向で内挿処理を行うことにより、上記圧縮データに対
応して内挿された再現内挿データを得て出力する内挿処
理手段（５８）と、上記分解手段（５６）によって算出
された複数の主成分の合成係数と、上記内挿処理手段
（５８）から出力される再現内挿データとを合成するこ
とにより、アニメーション画像データを得て出力する合
成手段（５９）とを備えたことを特徴とする。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正内容】

【００１５】また、請求項２記載のアニメーションシス
テムは、請求項１記載のアニメーションシステムにおい
て、上記人間の顔面の中の特定の部位は口であり、当該
口が運動するときに発声するときの時間情報とその音声
の音声信号を記憶する第２の記憶手段（６２）と、上記
第２の記憶手段（６２）に記憶された音声信号を所定の
音素分析データを参照して音素に分解して上記音声に対
応した音素列データをその時間情報とともに出力する音
素分解処理手段（５０）とをさらに備え、上記解析手段
（５１ａ）は、上記圧縮データを得るときに、上記時間
情報を参照して、上記音素分解処理手段（５０）から出
力される音素列データを上記圧縮データに対応づけし、
上記内挿処理手段（５８）は、上記解析手段（５１ａ）
によって対応づけされた音素列データを参照して、上記
内挿された再現内挿データに対して上記音素列データを
同期させた後、上記音素列データを音声信号データに変
換して再現内挿データとともに出力し、上記合成手段
（５９）は、上記合成したアニメーション画像データと
音声信号データとを同期して出力する。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】００１６

【補正方法】変更

【補正内容】

【００１６】さらに、請求項３記載のアニメーションシ
ステムは、請求項１又は２記載のアニメーションシステ
ムにおいて、上記第２の３次元データは、メッシュモデ
ルに基づく形状データを含むことを特徴とする。

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正内容】

【００１７】また、請求項４記載のアニメーションシス
テムは、請求項１乃至３のうちの１つに記載のアニメー
ションシステムにおいて、上記適合手段（３１）は、３
次元データ中の形状を定義する第１の座標系を有する上
記第１の３次元データに対して、上記第１の３次元デー
タの形状データの少なくとも一部を所定の座標変換処理
により変換した後の２組の座標値に対して残りの座標値
が一意に決定されるような他の第２の座標系を有する第
３の３次元データに座標変換する第１の座標変換手段
（３ａ）と、上記第１の座標系を有する上記第２の３次
元データに対して、上記座標変換処理を実行して上記第
２の座標系を有する第４の３次元データに座標変換する
第２の座標変換手段（３ｂ）と、上記第１の３次元デー
タの形状データの所定の特徴部分と、上記第２の３次元
データの形状データの所定の特徴部分とを抽出し、上記
抽出された上記第１の３次元データの形状データの特徴
部分を示す線分又は点の組を、上記抽出された上記第２
の３次元データの形状データの特徴部分を示す線分又は
点の組に対して対応づけを行い対応関係を示す対応関係
データを生成する対応生成手段（４）と、上記対応生成
手段（４）によって生成された各特徴部分間の対応関係
データに基づいて、上記第２の３次元データの特徴部分
から、上記第１の３次元データの特徴部分への、第２の
座標系における線分又は点の組の対応間のシフト量を算
出するシフト量算出手段（６）と、上記シフト量算出手
段（６）によって算出されたシフト量に基づいて、上記
第１の座標変換手段（３ａ）によって座標変換された第
３の３次元データにおける、上記第２の座標変換手段
（３ｂ）によって座標変換された第４の３次元データか
らの、所定の対象点の変動座標位置を算出する変動座標
算出手段（７）と、上記変動座標算出手段（７）によっ
て算出された変動座標位置に基づいて、上記第４の３次
元データが上記第３の３次元データに形状適合化するよ
うに、上記第３の３次元データに対応する第４の３次元
データの座標値を、内挿又は外挿により類推しかつ類推
された座標値を上記第４の３次元データの対応付けを行
った特徴部分を示す線分または点の組に加算することに
より、上記第４の３次元データを上記第３の３次元デー
タに形状適合化された第２の座標系を有する第５の３次
元データを生成するデータ類推及び加算手段（８，９）
と、上記データ類推及び加算手段（８，９）によって生
成された第２の座標系を有する第５の３次元データに対
して、上記第１と第２の座標変換手段（３ａ，３ｂ）に
よる座標変換処理とは逆の座標逆変換処理を実行して、
上記第２の３次元データを上記第１の３次元データに形
状適合化された第１の座標系を有する第６の３次元デー
タを生成して上記分解手段（５６）に出力する座標逆変
換手段（１０）とを備えたことを特徴とする。

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】変更

【補正内容】

【００１８】さらに、請求項５記載のアニメーションシ
ステムは、請求項４記載のアニメーションシステムにお
いて、上記第１の３次元データの形状データに対して部
分的な変形を指示するために入力された第１の座標系に
おける座標値のシフト量に対して、上記座標変換処理を
実行して上記第２の座標系における座標値のシフト量に
座標変換する第３の座標変換手段（３ｃ）をさらに備
え、上記変動座標算出手段（７，７ａ）は、上記第３の
座標変換手段（３ｃ）によって座標変換された座標値の
シフト量と、上記シフト量算出手段（６）によって算出
されたシフト量に基づいて、上記第１の座標変換手段
（３ａ）によって座標変換された第３の３次元データに
おける所定の対象点の変動座標位置を算出することを特
徴とする。

【手続補正１３】

【補正対象書類名】明細書

【補正対象項目名】００１９

【補正方法】変更

【補正内容】

【００１９】またさらに、請求項６記載のアニメーショ
ンシステムは、請求項４又は５記載のアニメーションシ
ステムにおいて、入力される３次元データに対して互い
に異なる座標変換処理を実行して座標変換後の３次元デ
ータを出力する複数の座標変換装置（１４−１，１４−
２，…，１４−ｎ）と、上記複数の座標変換装置（１４
−１，１４−２，…，１４−ｎ）により座標変換された
３次元データに基づいて、それぞれ座標変換後の２組の
座標値に対して残りの座標値が一意に決定されるか否か
を判断するために、一意に決定されるときにより小さい
値となる評価関数の関数値を算出する変換評価手段（１
５）と、上記変換評価手段（１５）によって算出された
上記複数の座標変換装置に対応する複数の関数値のうち
最小の関数値に対応する座標変換装置を選択して、選択
された座標変換装置（１４−１，１４−２，…，１４−
ｎ）から出力される変換後の３次元データを出力する座
標変換選択手段（１６）と、上記座標変換手段（１６）
により選択された座標変換装置（１４−１，１４−２，
…，１４−ｎ）と、その座標変換処理のためのパラメー
タを記憶した後、上記第１と第２と第３の座標変換手段
（３ａ，３ｂ，３ｃ）に出力して設定する記憶装置（２
０）と、上記記憶装置（２０）に記憶された座標変換処
理のためのパラメータに基づいて、当該座標変換処理と
は逆の座標逆変換処理のためのパラメータを算出して上
記座標逆変換手段（９）に出力して設定する逆変換パラ
メータ算出手段（２１）とをさらに備えたことを特徴と
する。

【手続補正１４】

【補正対象書類名】明細書

【補正対象項目名】０１１６

【補正方法】削除

【手続補正１５】

【補正対象書類名】明細書

【補正対象項目名】０１１７

【補正方法】削除

【手続補正１６】

【補正対象書類名】明細書

【補正対象項目名】０１１８

【補正方法】削除

【手続補正１７】

【補正対象書類名】明細書

【補正対象項目名】０１１９

【補正方法】削除

【手続補正１８】

【補正対象書類名】明細書

【補正対象項目名】０１２０

【補正方法】削除

【手続補正１９】

【補正対象書類名】明細書

【補正対象項目名】０１２１

【補正方法】削除

【手続補正２０】

【補正対象書類名】明細書

【補正対象項目名】０１２２

【補正方法】削除

【手続補正２１】

【補正対象書類名】明細書

【補正対象項目名】０１２３

【補正方法】変更

【補正内容】

【０１２３】

【発明の効果】以上詳述したように、本発明に係る請求
項１記載のアニメーションシステムによれば、離散的な
座標値を用いて線分又は点を定義することにより人間の
顔面形状を表わす形状データを含み入力される第１の３
次元データに対して、別の顔面形状を表わす形状データ
であって第１の３次元データとはデータ数及び形状が異
なる形状データを含み入力される第２の３次元データ
を、外見上上記第１の３次元データと同様の形状へと形
状適合化させる適合手段（３１）と、上記人間の顔面の
中の特定の部位が運動するときの所定の複数の位置の動
きのデータを含む運動学的データを記憶する第１の記憶
手段（６４）と、上記適合手段（３１）によって形状適
合化された３次元データに対して所定の主成分分析処理
を行うことにより、上記３次元データに含まれる形状デ
ータに対する寄与率が所定のしきい値よりも大きくかつ
互いに独立な複数の主成分の合成係数を算出するととも
に、上記複数の主成分からそのサブセットである上記複
数の位置に対応する成分のみを抽出し、抽出した成分に
基づいて形状データをそのサブセットから求めるための
線形予測子を算出する分解手段（５６）と、上記第１の
記憶手段（６４）に記憶された運動学的データに基づい
て、上記分解手段（５６）によって算出された線形予測
子を用いて、上記運動学的データを再現するための主成
分の合成係数を算出する算出手段（５７）と、上記算出
手段（５７）によって算出された上記運動学的データを
再現するための主成分の合成係数に対して複数の位置の
動きの加速度の時間微分を最小化するようにサンプリン
グして通過点解析処理を行うことによりその情報量を圧
縮して圧縮データを得て出力する解析手段（５１ａ）
と、上記解析手段（５１ａ）から出力される圧縮データ
に対して、時間方向で内挿処理を行うことにより、上記
圧縮データに対応して内挿された再現内挿データを得て
出力する内挿処理手段（５８）と、上記分解手段（５
６）によって算出された複数の主成分の合成係数と、上
記内挿処理手段（５８）から出力される再現内挿データ
とを合成することにより、アニメーション画像データを
得て出力する合成手段（５９）とを備える。従って、従
来技術に比較して装置構成が簡単であって、しかもきわ
めて低いビットレートで伝送又は記憶することができ、
伝送コスト及び製造する装置コストを大幅に軽減するこ
とができ、しかも高速で処理できるという特有の利点を
有するアニメーションシステムを提供することができ
る。

【手続補正２２】

【補正対象書類名】明細書

【補正対象項目名】０１２４

【補正方法】変更

【補正内容】

【０１２４】また、請求項２記載のアニメーションシス
テムによれば、請求項１記載のアニメーションシステム
において、上記人間の顔面の中の特定の部位は口であ
り、当該口が運動するときに発声するときの時間情報と
その音声の音声信号を記憶する第２の記憶手段（６２）
と、上記第２の記憶手段（６２）に記憶された音声信号
を所定の音素分析データを参照して音素に分解して上記
音声に対応した音素列データをその時間情報とともに出
力する音素分解処理手段（５０）とをさらに備え、上記
解析手段（５１ａ）は、上記圧縮データを得るときに、
上記時間情報を参照して、上記音素分解処理手段（５
０）から出力される音素列データを上記圧縮データに対
応づけし、上記内挿処理手段（５８）は、上記解析手段
（５１ａ）によって対応づけされた音素列データを参照
して、上記内挿された再現内挿データに対して上記音素
列データを同期させた後、上記音素列データを音声信号
データに変換して再現内挿データとともに出力し、上記
合成手段（５９）は、上記合成したアニメーション画像
データと音声信号データとを同期して出力する。従っ
て、従来技術に比較して装置構成が簡単であって、しか
もきわめて低いビットレートで伝送又は記憶することが
でき、伝送コスト及び製造する装置コストを大幅に軽減
することができ、しかも高速で処理でき、発声音声と同
期した人間のアニメーションの画像を生成することがで
きるアニメーションシステムを提供することができる。

【手続補正２３】

【補正対象書類名】明細書

【補正対象項目名】０１２５

【補正方法】削除

【手続補正２４】

【補正対象書類名】明細書

【補正対象項目名】０１２６

【補正方法】変更

【補正内容】

【０１２６】さらに、請求項３記載のアニメーションシ
ステムは、請求項１又は２記載のアニメーションシステ
ムにおいて、上記第２の３次元データは、メッシュモデ
ルに基づく形状データを含む。従って、従来技術に比較
して装置構成が簡単であって、しかもきわめて低いビッ
トレートで伝送又は記憶することができ、伝送コスト及
び製造する装置コストを大幅に軽減することができ、し
かも高速で処理でき、メッシュモデルに適合化しかつ発
声音声と同期した人間のアニメーションの画像を生成す
ることができるアニメーションシステムを提供すること
ができる。

【手続補正２５】

【補正対象書類名】明細書

【補正対象項目名】０１２７

【補正方法】変更

【補正内容】

【０１２７】また、請求項４記載のアニメーションシス
テムによれば、請求項１乃至３のうちの１つに記載のア
ニメーションシステムにおいて、上記適合手段（３１）
は、３次元データ中の形状を定義する第１の座標系を有
する上記第１の３次元データに対して、上記第１の３次
元データの形状データの少なくとも一部を所定の座標変
換処理により変換した後の２組の座標値に対して残りの
座標値が一意に決定されるような他の第２の座標系を有
する第３の３次元データに座標変換する第１の座標変換
手段（３ａ）と、上記第１の座標系を有する上記第２の
３次元データに対して、上記座標変換処理を実行して上
記第２の座標系を有する第４の３次元データに座標変換
する第２の座標変換手段（３ｂ）と、上記第１の３次元
データの形状データの所定の特徴部分と、上記第２の３
次元データの形状データの所定の特徴部分とを抽出し、
上記抽出された上記第１の３次元データの形状データの
特徴部分を示す線分又は点の組を、上記抽出された上記
第２の３次元データの形状データの特徴部分を示す線分
又は点の組に対して対応づけを行い対応関係を示す対応
関係データを生成する対応生成手段（４）と、上記対応
生成手段（４）によって生成された各特徴部分間の対応
関係データに基づいて、上記第２の３次元データの特徴
部分から、上記第１の３次元データの特徴部分への、第
２の座標系における線分又は点の組の対応間のシフト量
を算出するシフト量算出手段（６）と、上記シフト量算
出手段（６）によって算出されたシフト量に基づいて、
上記第１の座標変換手段（３ａ）によって座標変換され
た第３の３次元データにおける、上記第２の座標変換手
段（３ｂ）によって座標変換された第４の３次元データ
からの、所定の対象点の変動座標位置を算出する変動座
標算出手段（７）と、上記変動座標算出手段（７）によ
って算出された変動座標位置に基づいて、上記第４の３
次元データが上記第３の３次元データに形状適合化する
ように、上記第３の３次元データに対応する第４の３次
元データの座標値を、内挿又は外挿により類推しかつ類
推された座標値を上記第４の３次元データの対応付けを
行った特徴部分を示す線分または点の組に加算すること
により、上記第４の３次元データを上記第３の３次元デ
ータに形状適合化された第２の座標系を有する第５の３
次元データを生成するデータ類推及び加算手段（８，
９）と、上記データ類推及び加算手段（８，９）によっ
て生成された第２の座標系を有する第５の３次元データ
に対して、上記第１と第２の座標変換手段（３ａ，３
ｂ）による座標変換処理とは逆の座標逆変換処理を実行
して、上記第２の３次元データを上記第１の３次元デー
タに形状適合化された第１の座標系を有する第６の３次
元データを生成して上記分解手段（５６）に出力する座
標逆変換手段（１０）とを備える。従って、あらかじめ
適当な座標変換を求めておくことにより複雑な形状への
形状適合化を容易に行うことができる。それ故、常に安
定した動作で一方の形状を忠実に他方に反映させるよう
に３次元データを形状適合化させることができ、アニメ
ーションシステムの操作性を大幅に向上させることがで
きる。

【手続補正２６】

【補正対象書類名】明細書

【補正対象項目名】０１２８

【補正方法】変更

【補正内容】

【０１２８】さらに、請求項５記載のアニメーションシ
ステムによれば、請求項４記載のアニメーションシステ
ムにおいて、上記第１の３次元データの形状データに対
して部分的な変形を指示するために入力された第１の座
標系における座標値のシフト量に対して、上記座標変換
処理を実行して上記第２の座標系における座標値のシフ
ト量に座標変換する第３の座標変換手段（３ｃ）をさら
に備え、上記変動座標算出手段（７，７ａ）は、上記第
３の座標変換手段（３ｃ）によって座標変換された座標
値のシフト量と、上記シフト量算出手段（６）によって
算出されたシフト量に基づいて、上記第１の座標変換手
段（３ａ）によって座標変換された第３の３次元データ
における所定の対象点の変動座標位置を算出する。従っ
て、あらかじめ適当な座標変換を求めておくことにより
複雑な形状への形状適合化と変形を容易に行うことがで
きる。それ故、常に安定した動作で一方の形状を忠実に
他方に反映させるように３次元データを形状適合化さ
せ、また変形させることができ、アニメーションシステ
ムの操作性を大幅に向上させることができる。

【手続補正２７】

【補正対象書類名】明細書

【補正対象項目名】０１２９

【補正方法】変更

【補正内容】

【０１２９】またさらに、請求項６記載のアニメーショ
ンシステムによれば、請求項４又は５記載のアニメーシ
ョンシステムにおいて、入力される３次元データに対し
て互いに異なる座標変換処理を実行して座標変換後の３
次元データを出力する複数の座標変換装置（１４−１，
１４−２，…，１４−ｎ）と、上記複数の座標変換装置
（１４−１，１４−２，…，１４−ｎ）により座標変換
された３次元データに基づいて、それぞれ座標変換後の
２組の座標値に対して残りの座標値が一意に決定される
か否かを判断するために、一意に決定されるときにより
小さい値となる評価関数の関数値を算出する変換評価手
段（１５）と、上記変換評価手段（１５）によって算出
された上記複数の座標変換装置に対応する複数の関数値
のうち最小の関数値に対応する座標変換装置を選択し
て、選択された座標変換装置（１４−１，１４−２，
…，１４−ｎ）から出力される変換後の３次元データを
出力する座標変換選択手段（１６）と、上記座標変換手
段（１６）により選択された座標変換装置（１４−１，
１４−２，…，１４−ｎ）と、その座標変換処理のため
のパラメータを記憶した後、上記第１と第２と第３の座
標変換手段（３ａ，３ｂ，３ｃ）に出力して設定する記
憶装置（２０）と、上記記憶装置（２０）に記憶された
座標変換処理のためのパラメータに基づいて、当該座標
変換処理とは逆の座標逆変換処理のためのパラメータを
算出して上記座標逆変換手段（９）に出力して設定する
逆変換パラメータ算出手段（２１）とをさらに備える。
従って、より最適な座標変換部を選択して、３次元デー
タの処理をより正確に実行することができる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヘニ・ヤヒヤ 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 (72)発明者 倉立 尚明 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 (72)発明者 マーク・ティーディー 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内

Claims (14)

【特許請求の範囲】
1. 【請求項１】 離散的な座標値を用いて線分又は点を定
   義することにより人間の形状を表わす形状データを含み
   入力される第１の３次元データに対して、その形状を表
   現するデータ数及び形状が異なる他の入力される第２の
   ３次元データを、外見上上記第１の３次元データと同様
   の形状へと形状適合化させる適合手段と、 上記人間の特定の部位が運動するときの所定の複数の位
   置の動きのデータを含む運動学的データを記憶する第１
   の記憶手段と、 上記第１の記憶手段に記憶された運動学的データに対し
   て複数の位置の動きの加速度の時間微分を最小化するよ
   うにサンプリングして通過点解析処理を行うことにより
   その情報量を圧縮して圧縮データを得る解析手段と、 上記適合手段によって形状適合化された３次元データ
   と、上記解析手段によって得られた圧縮データとに基づ
   いて、２つのデータの対応する形状間で、上記人間の特
   定の部位が運動するときの複数の位置の軌道を所定の曲
   線に近似して形状間内挿処理を行うことにより、上記３
   次元データを、上記人間の特定の部位が運動するときの
   複数の位置の軌道に近似した再現データを得て出力する
   第１の内挿処理手段と、 上記第１の内挿処理手段から出力される再現データに対
   して、上記解析手段から出力される圧縮データを参照し
   て、時間方向で内挿処理を行うことにより、上記圧縮デ
   ータに対応して内挿された再現内挿データを得て、アニ
   メーション画像データとして出力する第２の内挿処理手
   段とを備えたことを特徴とするアニメーションシステ
   ム。
2. 【請求項２】 請求項１記載のアニメーションシステム
   において、 上記人間の特定の部位が運動するときに発声するときの
   時間情報とその音声の音声信号を記憶する第２の記憶手
   段と、 上記第２の記憶手段に記憶された音声信号を所定の音素
   分析データを参照して音素に分解して上記音声に対応し
   た音素列データをその時間情報とともに出力する音素分
   解処理手段とをさらに備え、 上記解析手段は、上記圧縮データを得るときに、上記時
   間情報を参照して、上記音素分解処理手段から出力され
   る音素列データを上記圧縮データに対応づけし、 上記第２の内挿処理手段は、上記解析手段によって対応
   づけされた音素列データを参照して、上記内挿された再
   現内挿データに対して上記音素列データを同期させた
   後、上記音素列データを音声信号データに変換して上記
   アニメーション画像データとともに出力することを特徴
   とするアニメーションシステム。
3. 【請求項３】 請求項１又は２記載のアニメーションシ
   ステムにおいて、 上記第１の３次元データは、人間の基本的な顔形状デー
   タを含むことを特徴とするアニメーションシステム。
4. 【請求項４】 請求項１乃至３のうちの１つに記載のア
   ニメーションシステムにおいて、 上記第２の３次元データは、メッシュモデルに基づく形
   状データを含むことを特徴とするアニメーションシステ
   ム。
5. 【請求項５】 請求項１乃至４のうちの１つに記載のア
   ニメーションシステムにおいて、上記適合手段は、 ３次元データ中の形状を定義する第１の座標系を有する
   第１の３次元データに対して、上記第１の３次元データ
   の形状データの少なくとも一部を所定の座標変換処理に
   より変換した後の２組の座標値に対して残りの座標値が
   一意に決定されるような他の第２の座標系を有する第３
   の３次元データに座標変換する第１の座標変換手段と、 上記第１の座標系を有する第２の３次元データに対し
   て、上記座標変換処理を実行して上記第２の座標系を有
   する第４の３次元データに座標変換する第２の座標変換
   手段と、 上記第１の３次元データの形状データの所定の特徴部分
   を示す線分又は点の組を、上記第２の３次元データの形
   状データの特徴部分を示す線分又は点の組に対して対応
   づけを行い対応関係を示す対応関係データを生成する対
   応生成手段と、 上記対応生成手段によって生成された対応関係データに
   基づいて、上記第１の３次元データの上記第２の３次元
   データからの上記第２の座標系における、線分又は点の
   組の対応間のシフト量を算出するシフト量算出手段と、 上記シフト量算出手段によって算出されたシフト量に基
   づいて、上記第１の座標変換手段によって座標変換され
   た第３の３次元データにおける、上記第２の座標変換手
   段によって座標変換された第４の３次元データからの、
   所定の対象点の変動座標位置を算出する変動座標算出手
   段と、 上記変動座標算出手段によって算出された変動座標位置
   に基づいて、上記第４の３次元データに対して、上記第
   ３の３次元データに対応する座標値を、内挿又は外挿に
   より類推しかつ類推された座標値を上記第４の３次元デ
   ータの対応付けを行った特徴部分を示す線分または点の
   組に加算することにより、上記第４の３次元データを上
   記第３の３次元データに形状適合化された第２の座標系
   を有する第５の３次元データを生成するデータ類推及び
   加算手段と、 上記データ類推及び加算手段によって生成された第２の
   座標系を有する第５の３次元データに対して、上記第１
   と第２の座標変換手段による座標変換処理とは逆の座標
   逆変換処理を実行して、上記第２の３次元データを上記
   第１の３次元データに形状適合化された第１の座標系を
   有する第６の３次元データを生成して出力する座標逆変
   換手段とを備えたことを特徴とするアニメーションシス
   テム。
6. 【請求項６】 請求項５記載のアニメーションシステム
   において、 上記第１の３次元データの形状データに対して部分的な
   変形を指示するために入力された第１の座標系における
   座標値のシフト量に対して、上記座標変換処理を実行し
   て上記第２の座標系における座標値のシフト量に座標変
   換する第３の座標変換手段をさらに備え、 上記変動座標算出手段は、上記第３の座標変換手段によ
   って座標変換された座標値のシフト量と、上記シフト量
   算出手段によって算出されたシフト量に基づいて、上記
   第１の座標変換手段によって座標変換された第３の３次
   元データにおける所定の対象点の変動座標位置を算出す
   ることを特徴とするアニメーションシステム。
7. 【請求項７】 請求項５又は６記載のアニメーションシ
   ステムにおいて、 入力される３次元データに対して互いに異なる座標変換
   処理を実行して座標変換後の３次元データを出力する複
   数の座標変換装置と、 上記複数の座標変換装置により座標変換された３次元デ
   ータに基づいて、それぞれ座標変換後の２組の座標値に
   対して残りの座標値が一意に決定されるか否かを判断す
   るために、一意に決定されるときにより小さい値となる
   評価関数の関数値を算出する変換評価手段と、 上記変換評価手段によって算出された上記複数の座標変
   換装置に対応する複数の関数値のうち最小の関数値に対
   応する座標変換装置を選択して、選択された座標変換装
   置から出力される変換後の３次元データを出力する座標
   変換選択手段と、 上記座標変換手段により選択された座標変換装置と、そ
   の座標変換処理のためのパラメータを記憶した後、上記
   第１と第２と第３の座標変換手段に出力して設定する記
   憶装置と、 上記記憶装置に記憶された座標変換処理のためのパラメ
   ータに基づいて、当該座標変換処理とは逆の座標逆変換
   処理のためのパラメータを算出して上記座標逆変換手段
   に出力して設定する逆変換パラメータ算出手段とをさら
   に備えたことを特徴とするアニメーションシステム。
8. 【請求項８】 離散的な座標値を用いて線分又は点を定
   義することにより人間の形状を表わす形状データを含み
   入力される第１の３次元データに対して、その形状を表
   現するデータ数及び形状が異なる他の入力される第２の
   ３次元データを、外見上上記第１の３次元データと同様
   の形状へと形状適合化させる適合手段と、 上記人間の特定の部位が運動するときの所定の複数の位
   置の動きのデータを含む運動学的データを記憶する第１
   の記憶手段と、 上記適合手段によって形状適合化された３次元データに
   対して所定の主成分分析処理を行うことにより、上記３
   次元データに含まれる形状データに対する寄与率が所定
   のしきい値よりも大きくかつ互いに独立な複数の主成分
   の合成係数を算出するとともに、上記複数の主成分から
   そのサブセットである上記複数の位置に対応する成分の
   みを抽出し、抽出した成分に基づいて形状データをその
   サブセットから求めるための線形予測子を算出する分解
   手段と、 上記第１の記憶手段に記憶された運動学的データに基づ
   いて、上記主成分分解手段によって算出された線形予測
   子を用いて、上記運動学的データを再現するための主成
   分の合成係数を算出する算出手段と、 上記算出手段によって算出された上記運動学的データを
   再現するための主成分の合成係数に対して複数の位置の
   動きの加速度の時間微分を最小化するようにサンプリン
   グして通過点解析処理を行うことによりその情報量を圧
   縮して圧縮データを得て出力する解析手段と、 上記解析手段から出力される圧縮データに対して、時間
   方向で内挿処理を行うことにより、上記圧縮データに対
   応して内挿された再現内挿データを得て出力する内挿処
   理手段と、 上記分解手段によって算出された複数の主成分の合成係
   数と、上記内挿処理手段から出力される再現内挿データ
   とを合成することにより、アニメーション画像データを
   得て出力する合成手段とを備えたことを特徴とするアニ
   メーションシステム。
9. 【請求項９】 請求項８記載のアニメーションシステム
   において、 上記人間の特定の部位が運動するときに発声するときの
   時間情報とその音声の音声信号を記憶する第２の記憶手
   段と、 上記第２の記憶手段に記憶された音声信号を所定の音素
   分析データを参照して音素に分解して上記音声に対応し
   た音素列データをその時間情報とともに出力する音素分
   解処理手段とをさらに備え、 上記解析手段は、上記圧縮データを得るときに、上記時
   間情報を参照して、上記音素分解処理手段から出力され
   る音素列データを上記圧縮データに対応づけし、 上記内挿処理手段は、上記解析手段によって対応づけさ
   れた音素列データを参照して、上記内挿された再現内挿
   データに対して上記音素列データを同期させた後、上記
   音素列データを音声信号データに変換して再現内挿デー
   タとともに出力し、 上記合成手段は、上記合成したアニメーション画像デー
   タと音声信号データとを同期して出力することを特徴と
   するアニメーションシステム。
10. 【請求項１０】 請求項８又は９記載のアニメーション
    システムにおいて、 上記第１の３次元データは、人間の基本的な顔形状デー
    タを含むことを特徴とするアニメーションシステム。
11. 【請求項１１】 請求項８乃至１０のうちの１つに記載
    のアニメーションシステムにおいて、 上記第２の３次元データは、メッシュモデルに基づく形
    状データを含むことを特徴とするアニメーションシステ
    ム。
12. 【請求項１２】 請求項８乃至１１のうちの１つに記載
    のアニメーションシステムにおいて、上記適合手段は、 ３次元データ中の形状を定義する第１の座標系を有する
    第１の３次元データに対して、上記第１の３次元データ
    の形状データの少なくとも一部を所定の座標変換処理に
    より変換した後の２組の座標値に対して残りの座標値が
    一意に決定されるような他の第２の座標系を有する第３
    の３次元データに座標変換する第１の座標変換手段と、 上記第１の座標系を有する第２の３次元データに対し
    て、上記座標変換処理を実行して上記第２の座標系を有
    する第４の３次元データに座標変換する第２の座標変換
    手段と、 上記第１の３次元データの形状データの所定の特徴部分
    を示す線分又は点の組を、上記第２の３次元データの形
    状データの特徴部分を示す線分又は点の組に対して対応
    づけを行い対応関係を示す対応関係データを生成する対
    応生成手段と、 上記対応生成手段によって生成された対応関係データに
    基づいて、上記第１の３次元データの上記第２の３次元
    データからの上記第２の座標系における、線分又は点の
    組の対応間のシフト量を算出するシフト量算出手段と、 上記シフト量算出手段によって算出されたシフト量に基
    づいて、上記第１の座標変換手段によって座標変換され
    た第３の３次元データにおける、上記第２の座標変換手
    段によって座標変換された第４の３次元データからの、
    所定の対象点の変動座標位置を算出する変動座標算出手
    段と、 上記変動座標算出手段によって算出された変動座標位置
    に基づいて、上記第４の３次元データに対して、上記第
    ３の３次元データに対応する座標値を、内挿又は外挿に
    より類推しかつ類推された座標値を上記第４の３次元デ
    ータの対応付けを行った特徴部分を示す線分または点の
    組に加算することにより、上記第４の３次元データを上
    記第３の３次元データに形状適合化された第２の座標系
    を有する第５の３次元データを生成するデータ類推及び
    加算手段と、 上記データ類推及び加算手段によって生成された第２の
    座標系を有する第５の３次元データに対して、上記第１
    と第２の座標変換手段による座標変換処理とは逆の座標
    逆変換処理を実行して、上記第２の３次元データを上記
    第１の３次元データに形状適合化された第１の座標系を
    有する第６の３次元データを生成して出力する座標逆変
    換手段とを備えたことを特徴とするアニメーションシス
    テム。
13. 【請求項１３】 請求項１２記載のアニメーションシス
    テムにおいて、 上記第１の３次元データの形状データに対して部分的な
    変形を指示するために入力された第１の座標系における
    座標値のシフト量に対して、上記座標変換処理を実行し
    て上記第２の座標系における座標値のシフト量に座標変
    換する第３の座標変換手段をさらに備え、 上記変動座標算出手段は、上記第３の座標変換手段によ
    って座標変換された座標値のシフト量と、上記シフト量
    算出手段によって算出されたシフト量に基づいて、上記
    第１の座標変換手段によって座標変換された第３の３次
    元データにおける所定の対象点の変動座標位置を算出す
    ることを特徴とするアニメーションシステム。
14. 【請求項１４】 請求項１２又は１３記載のアニメーシ
    ョンシステムにおいて、 入力される３次元データに対して互いに異なる座標変換
    処理を実行して座標変換後の３次元データを出力する複
    数の座標変換装置と、 上記複数の座標変換装置により座標変換された３次元デ
    ータに基づいて、それぞれ座標変換後の２組の座標値に
    対して残りの座標値が一意に決定されるか否かを判断す
    るために、一意に決定されるときにより小さい値となる
    評価関数の関数値を算出する変換評価手段と、 上記変換評価手段によって算出された上記複数の座標変
    換装置に対応する複数の関数値のうち最小の関数値に対
    応する座標変換装置を選択して、選択された座標変換装
    置から出力される変換後の３次元データを出力する座標
    変換選択手段と、 上記座標変換手段により選択された座標変換装置と、そ
    の座標変換処理のためのパラメータを記憶した後、上記
    第１と第２と第３の座標変換手段に出力して設定する記
    憶装置と、 上記記憶装置に記憶された座標変換処理のためのパラメ
    ータに基づいて、当該座標変換処理とは逆の座標逆変換
    処理のためのパラメータを算出して上記座標逆変換手段
    に出力して設定する逆変換パラメータ算出手段とをさら
    に備えたことを特徴とするアニメーションシステム。