JP3368739B2 - アニメーション制作システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はコンピュータを使
用したアニメーション制作システムに関するものであ
る。

【０００２】

【従来の技術】従来、コンピュータを用いてアニメーシ
ョンを制作する場合には、アニメーションに登場する物
体の形状を作成し、その物体の形状に動作を付与し、こ
れらの物体の形状を、あらかじめ記述済みのシナリオを
用いて組み合わせてアニメーションを作成していた（以
下、従来例１とする）。

【０００３】また、コンピュータグラフィクスで作成し
た口形状と音声とを同期させるリップシンク技術につい
ては、従来、音声として発音テキスト文をユーザーが手
動で作成し、それに合わせて合成音声を発声し、それに
対して口形状のアニメーションを同期させていた（以
下、従来例２とする）。

【０００４】さらに、アニメーション作成の過程におい
て、物体の形状に付与する動作をデータベースとして保
存する方式がある（以下、従来例３とする）。

【０００５】従来例１として、特願平３−２１８７５２
号公報に記載された方式がある。図３７はこの従来例１
のアニメーション制作システムを示す構成図である。こ
の方式では、アニメーションに登場する物体の形状の作
成（形状作成手段１）、その物体の形状への動作の付与
（動作作成手段２）、これらの物体の形状の組み合わせ
によるアニメーションの作成の過程（演出作成手段３）
を持つ。

【０００６】物体の形状の組み合わせは、動作を行う物
体名、動作の内容、動作を行う位置及び時間等からなる
動作列からなるシナリオを作成することによって行われ
る。そして、シナリオ作成時に、形状あるいは動作を変
更する場合は、シナリオ作成作業を中断し、データ変更
手段を介して形状あるいは動作作成手段を制御して変更
処理を行うことができる。

【０００７】従来例２として、特願平４−３０６４２２
号公報に記載された方式がある。図３８はこの従来例２
のアニメーション制作システムを示す構成図である。こ
の方式では、発音情報より得られる発音のタイミングを
基準にして加重パラメータ時系列を生成し、この加重パ
ラメータ時系列で多重内挿して口形状が変化するアニメ
ーションを生成している。この方式では、入力として発
音テキスト文を用いており、発音テキスト文の示す文章
を、発音情報にあわせて出力する。さらに、その発音情
報に合わせて、上記の多重内挿法によって作成された口
形状のアニメーションを同期して表示している。

【０００８】従来例３として、特願平５−２４９１０号
公報に記載された方式がある。図３９はこの従来例３の
アニメーション制作システムを示す構成図である。この
方式では、蓄積したアニメーションデータを用いて形状
の異なる他の物体のアニメーションを簡易に作成し、デ
ータベースの大型化を未然に防止得るようにしている。

【０００９】

【発明が解決しようとする課題】このように従来の方式
では、アニメーション制作の過程を統合してはいるが、
アニメーションを構成する要素の組み合わせにおいて、
あらかじめ記述済みのシナリオもしくは手動によって、
これらが行われている。この方法では、これらの要素を
組み合わせてアニメーションを作成する場合に、そのう
ちの一つが変更されると、他の全てに影響が及び修正を
加えなければならないという問題がある。そこで、この
修正を簡単に行なえることが必要となる。

【００１０】また、リップシンクにおける従来の手法で
は、テキスト文やテキストの発音情報を入力し、それら
の情報に従って、合成音声を発声させ、発声情報に基づ
いて口形状等を作成することで、音声と口形状との同期
を行なっていた。この場合、テキスト文やテキストの発
声情報をあらかじめ用意する必要があり、実際に声優を
使い、その音声に対応したコンピュータグラフィクスの
口形状を同期させるといった目的には使用できない。そ
こで、実際の音声データから、音声データ中の文字発音
タイミング等の特徴を抽出し、その特徴からリップシン
クを行なえる手法が必要となる。

【００１１】さらに、物体の形状や動作を組み合わせ作
成したアニメーションデータを、蓄積するための方法に
ついては述べられているが、蓄積したアニメーションデ
ータを有効に利用するための検索手段が用意されていな
い。また蓄積されているモーションデータの合成につい
ては述べられているが、モーションの強調を行ないより
アニメーションらしいモーションを作成する方法につい
ては言及されていない。

【００１２】この発明に係るアニメーション制作システ
ムは上記のような問題点を解決することを目的とするも
のである。

【００１３】

【課題を解決するための手段】第１の発明に係るアニメ
ーション制作システムは、アニメーションの構成に使用
する少なくとも第１のアニメーション構成データ及び第
２のアニメーション構成データを有するアニメーション
構成データを用いてアニメーションの制作を行なうもの
であって、前記第１のアニメーション構成データ及び前
記第２のアニメーション構成データの各々に対し、同期
設定のための同期制御データを付加するとともに、当該
付加された同期制御データを用いて、前記第１のアニメ
ーション構成データと前記第２のアニメーション構成デ
ータの同期を制御する同期制御手段を備えたものであ
る。

【００１４】第２の発明に係るアニメーション制作シス
テムは、第１の発明における同期制御手段を前記第１の
アニメーション構成データ及び第２のアニメーション構
成データを部分的に伸長又は縮退することにより同期を
制御することとしたものである。

【００１５】第３の発明に係るアニメーション制作シス
テムは、アニメーションのモデルの形状を作成する形状
作成手段と、前記形状作成手段において作成された前記
モデルのモーションデータを入力しモーションを作成す
るモーション作成手段と、前記モーション作成手段に入
力されたモーションデータに対して強調計算を行ない、
強調されたモーションデータを出力するモーション強調
手段とを備えたものである。

【００１６】第４の発明に係るアニメーション制作シス
テムは、第３の発明におけるモーション強調手段をモー
ションデータに対し強調係数を乗算するとともに、当該
乗算されたモーションデータに対し、当該モデルの関節
間の長さが一定になるよう補正することとしたものであ
る。

【００１７】第５の発明に係るアニメーション制作シス
テムは、第３の発明におけるモーション強調手段にさら
に強調方向を入力する強調方向入力部と、前記強調方向
入力部に入力された強調方向に対し、モーションの強調
を行なう分解モーション強調計算手段を備えたものであ
る。

【００１８】第６の発明に係るアニメーション制作シス
テムは、アニメーションのモデルのモーションを入力
し、モーションデータを出力するモーション入力手段
と、予め複数のモーションデータが記憶されたモーショ
ンデータ記憶手段と、前記モーション入力手段より出力
されたモーションデータと前記モーションデータ記憶手
段に記憶されたモーションデータとを比較し、その比較
結果に基づいて前記モーションデータ記憶手段に記憶さ
れたモーションデータより選択し、出力するモーション
データ検索手段とを備えたものである。

【００１９】第７の発明に係るアニメーション制作シス
テムは、音声信号を入力する音信号入力手段と、母音情
報に対応した口形状モデルを記憶する口形状モデル記憶
手段と、前記音信号入力手段に入力された音声信号の母
音情報に基づいて前記口形状モデル記憶手段より口形状
モデルを選択し画像出力する画像出力手段とを備えたも
のである。

【００２０】第８の発明に係るアニメーション制作シス
テムは、音声信号を入力する音信号入力手段と、母音情
報及び音声レベルに対応した口形状モデルを記憶する口
形状モデル記憶手段と、前記音信号入力手段に入力され
た音声信号の母音情報及び音声レベルに基づいて前記口
形状モデル記憶手段より口形状モデルを選択し画像出力
する画像出力手段とを備えたものである。

【００２１】第９の発明に係るアニメーション制作シス
テムは、音声信号を入力する音信号入力手段と、前記音
信号入力手段に入力された音声信号の母音情報に基づい
てセグメント処理を行いセグメント情報を生成するセグ
メント手段と、前記音声信号に対応した口形状データを
生成する口形状データ生成手段と、前記セグメント手段
により生成したセグメント情報に基づいて前記口形状デ
ータ生成手段により生成した口形状データと前記音声信
号とを同期させる同期手段とを備えたものである。

【００２２】第１０の発明に係るアニメーション制作シ
ステムは、第９の発明における同期手段が前記セグメン
ト情報よりセグメント中の始点線分、終点線分、最大量
子化値部分を抽出し、各段階において前記口形状モデル
のキーフレームを割り当てるものである。

【００２３】第１１の発明に係るアニメーション制作シ
ステムは、第９の発明においてさらに文字データを入力
する文字入力手段を有し、セグメント手段が前記文字入
力手段に入力された文字データの個々の文字に対してセ
グメントを割り当てるものである。

【００２４】第１２の発明に係るアニメーション制作シ
ステムは、アニメーションのモデルの部分のモーション
を示す第１の部分モーションデータ及び第２の部分モー
ションデータを記憶する部分モーション記憶手段と、前
記部分モーション記憶手段に記憶された第１の部分モー
ションデータと第２の部分モーションデータのそれぞれ
が同一関節を持っており、この同一関節を基準に、同期
制御手段を用いて同期させた前記第１の部分モーション
データと前記第２の部分モーションデータとを組み合わ
せる組み合わせ手段を有するものである。

【００２５】

【発明の実施の形態】

実施の形態１．図１はこの実施の形態１に係るアニメー
ション制作システムのシステム構成図である。図におい
て１は形状作成手段であり、アニメーションの登場人物
であるキャラクタモデルや、背景画像を作成し、アニメ
ーション構成データ保存手段９に保存する。２はモーシ
ョン作成手段であり、形状作成手段１で作成した形状に
対してアニメーションのモーションデータを作成し、ア
ニメーション構成データ保存手段９に保存する。

【００２６】３は音入力手段であり、アニメーションキ
ャラクタのセリフ音声やキャラクタの発する音（拍手や
楽器）を入力し、アニメーション構成データ保存手段９
に保存する。４は文字入力手段である。９はアニメーシ
ョン構成データ保存手段であり、アニメーションを作成
するために必要な形状情報やモーション情報、音情報、
文字情報を蓄積する。

【００２７】５はレンダリング手段であり、レンダリン
グ手段５はアニメーション構成データ保存手段９に蓄積
されているアニメーション構成要素の中でアニメーショ
ン画像を生成するために必要なキャラクタ情報、モーシ
ョン情報を読み込み、陰影をつけるレンダリングを実行
し、アニメーション画像を制作する。６は同期制御手段
であり、アニメーション構成データ保存手段からモーシ
ョンデータ、音データ、文字データを呼びだし、データ
同士の同期をとる。１１は音出力手段であり、アニメー
ション構成データ保存手段９に保存されているセリフ音
声や音データを音として出力する。

【００２８】図２に実施の形態１のシステム構成図を示
す。１０１は同期制御表示部、１１４はスケルトンデー
タ、１１６はモーションデータ、１１８はセリフ音声デ
ータ、１２０は音データである。同期制御表示部１０１
はアニメーション構成データ保存手段９に蓄積されてい
るスケルトンデータ１１４、モーションデータ１１６、
セリフ音声データ１１８、音データ１２０を読み出す。
１１５はスケルトン入力部である。

【００２９】スケルトンデータ１１４はスケルトン入力
部１１５により作成され、保存される。１１７はモーシ
ョン入力部である。モーションデータ１１６はモーショ
ン入力部１１７により作成され、保存される。１１９は
音入力部である。セリフ音声データ１１８はキャラクタ
のセリフ音声をデジタル化したものであり、音入力部１
１９から入力され、保存される。音データ１２０はアニ
メーションで使用する音声以外の音情報であり、これも
同様に音入力部１１９から入力される。

【００３０】１１２はセグメント情報である。読み込ま
れたアニメーション構成データは同期制御手段６におい
て、セグメント分けされる。セグメントはアニメーショ
ン構成データにユーザによって設定されるセグメント情
報１１２により表される。

【００３１】１０２は音表示部である。セリフ音声デー
タ１１８と音データ１２０は同期制御表示部１０１に読
み込まれ、セグメント情報１０４を入力するために音表
示部１０２に渡される。音表示部１０２は渡されたセリ
フ音声データもしくは音データの波形情報と周波数スペ
クトログラムを表示する。１０３は音出力部である。セ
リフ音声データと音データは音表示部１０２から音出力
部１０３へ渡され、音出力部１０３から音として出力さ
れる。セリフ音声データ１１８、音データ１２０は音表
示部１０２から音声セグメント入力部１０４に渡され、
そこでユーザによりセグメント情報を入力され、セグメ
ント情報１１２に登録される。

【００３２】１０５はモーション表示部である。モーシ
ョンデータ１１６は対応するスケルトンデータ１１４と
共に同期制御表示部１０１に読み込まれ、モーション表
示部１０５に渡される。モーション表示部１０５では同
期制御表示部１０１より渡されたモーションデータ１１
６とそれに対応するスケルトンデータを表示する。１０
６はモーションセグメント入力部である。モーションデ
ータはモーション表示部１０５からモーションセグメン
ト入力部１０６に渡されユーザによりセグメント情報が
入力され、セグメント情報１１２に登録される。

【００３３】１２３はセグメント情報対応づけ部であ
り、１１３は同期制御データである。セグメント情報１
１２を使用してセグメント情報対応付け部１２３におい
て同期制御データが設定され、同期制御表示部１０１を
通じて同期制御データ１１３に保存される。

【００３４】１１０はデータ再計算部である。同期付け
られた複数のアニメーション構成データのうち一つのデ
ータのセグメント情報１１２の位置が変更された場合に
は、データ再計算部１１０により同期付けられているア
ニメーション構成データの時間が変更され、同期制御表
示部１０１に戻す。同期制御表示部１０１は同期づけし
て時間が変更されたアニメーション構成データをアニメ
ーション構成データ保存手段９に保存する。

【００３５】次に本実施の形態１について詳細に説明を
行なう。コンピュータアニメーションは、基本的にはア
ニメーションに登場するキャラクタモデルの動きとセリ
フで構成されている。各データは一般的な入力部により
入力され、デジタルデータとしてディスクに蓄積されて
いる。この実施の形態に記載された発明の特徴となる同
期制御手段６は、これらのデータ同士の指定したポイン
トを同一時間に再生できるように変更するものである。

【００３６】まず始めに本実施の形態で説明を行なうア
ニメーション構成データについて説明を行なう。アニメ
ーション構成データはアニメーションに登場するキャラ
クタを構成するデータであり、スケルトンデータ１１
４、モーションデータ１１６、セリフ音声データ１１
８、音データ１２０がある。モーションデータ１１６は
キャラクタの各関節のモーションを表現するものであ
る。

【００３７】以下、これらのデータにつき詳述する。図
７は、モーションデータの構成を示す図である。図７に
示すように、先頭に毎秒のフレーム数が入っており、各
フレームの各関節毎にフレーム番号ｆ、関節番号ｊｆ、
位置変化情報（dxf，dyf，dzf），回転変化情報ｄｒｆ
が繰り返される。

【００３８】図８に示すように、位置変化情報、回転変
化情報は前フレームとの差分を情報として持っている。
この情報により、キャラクタの各関節の動きを表現す
る。回転情報は後述する子供関節から親関節に向かう直
線を軸に対する回転を表現するパラメータである。最上
位の親には回転情報は存在しない。

【００３９】次にスケルトンデータについて説明する。
各モーションデータ１１６には必ず対応するスケルトン
データ１１４が存在する。モーションデータ１１６の先
頭フレームの位置変化情報と回転変化情報はスケルトン
データ１１４の初期位置情報からの差分である。

【００４０】図９にスケルトンデータの構造を示す。ス
ケルトンデータ１１４は関節番号ｊnum 、初期位置情報
（ｓｘ，ｓｙ，ｓｚ）、初期回転情報ｓｒ、親関節Ｊ
ｐ、兄弟関節Ｊｂ、子関節Ｊｃの情報を持っている。親
関節、兄弟関節、子関節のデータは、関節同士の連結情
報である。親子関係は、子関節が親関節の動きに影響さ
れている関節であり、足であれば腿に近い方が親関節に
なり、爪先に近い方の関節が子供関節になる。腕であれ
ば肩に近い方の関節が親になり、手に近い方の関節が子
関節になる。各パーツ同士、例えば腕と体の場合には、
どちらを親にするかはスケルトン設計時による。

【００４１】兄弟関係は親が同じ関節であることを示
し、親関節に対してデータ上は子関節が１つのみの設定
になるため、残りの子関節は、既に親関節に対して子関
節と定義された関節に対して、兄弟関節として表現す
る。

【００４２】さらに、音声データおよび音データについ
て説明する。セリフ音声データ１１８、音データ１２０
は一般的なデジタル音データとし、アナログ音を音入力
部１１９から入力し、量子化、標本化を行ない、音声デ
ータはセリフ音声データ１１８へ、それ以外は音データ
１２０へ保存される。

【００４３】同期制御手段６は上記のアニメーション構
成データを読み込み、同期を制御する。同期制御手段６
の役割は主に次の３つのフェイズからなっている。 １．アニメーション構成データを読み込み、セグメント
情報を設定する。 ２．アニメーション構成データへ設定されたセグメント
同士を同期制御データで同期する。 ３．アニメーション構成データへ設定されたセグメント
情報の変更により、そのデータへ同期されているアニメ
ーション構成データの時間方向再計算を行なう。

【００４４】この同期制御手段６の役割の中ではじめに
アニメーション構成データを読み込み、セグメント情報
１１２を設定する部分についての説明を行なう。図１０
は、セグメント情報とセグメントを示す図である。図上
でセグメント情報１と２によってはさまれているアニメ
ーション構成データの部分がセグメントＡとなる。セグ
メント情報１１２は各アニメーション構成データに区切
りを与える情報であり、各アニメーション構成データの
ファイル毎に用意されている。セグメント情報の構成
は、１つ前のセグメントからの時間を表す情報とセグメ
ントラベル番号を持っている。このセグメント情報１１
２は各アニメーション構成データ毎にそれぞれのセグメ
ント情報入力部から入力する。

【００４５】アニメーション構成データはファイルの開
始と終了に始めからセグメント情報が設定されている。
新しいセグメント情報を入力すると、入力したセグメン
ト情報よりも時間的に１つ前に設定されているセグメン
ト情報と一つ後ろのセグメント情報との間に前後２つの
セグメント領域を作成することになる。ここで使用した
セグメントという言葉は、２つのセグメント情報に囲ま
れたアニメーション構成データの部分である。

【００４６】次に同期制御表示につき図１１、図１２及
び図１３を参照して説明する。図１１は同期制御表示部
の表示イメージ図、図１２は音表示部の表示イメージ
図、図１３はモーション表示部の表示イメージである。
同期制御表示部１０１はアニメーションを構成するアニ
メーション構成データであるモーションデータ１１６、
セリフ音声データ１１８、音データ１２０を読み込み、
データ毎のフォーマットによってブラウジング表示す
る。

【００４７】各アニメーション構成データはアニメーシ
ョン構成データブラウザ上にブラウジング表示される。
時間のスケーリングは表示部上側に用意されている時間
スケールに従って表示される。

【００４８】同期制御表示部１０１のアニメーション構
成データブラウザ上ではセリフ音声データ１１８、音デ
ータ１２０はデータ音波形としてブラウジング表示す
る。ユーザによる音声データ１１８、音データ１２０の
表示の指示で図１２に示す音表示部１０２が起動され、
同期制御表示部１０１に読み込まれているセリフ音声デ
ータ、音データが同期制御表示部１０１から渡される。

【００４９】図１２に示した音表示部１０２では画面に
３つのデータが表示される。上段の表示部に音波形が表
示され、その音波形中で選択された部分の波形のみが中
段の表示部に表示される。中段の表示部の波形の周波数
成分がスペクトログラムとして下段の表示部に表示され
る。音表示部１０２は音出力部１０３に対して、表示し
ているセリフ音声データ１１８、音データ１２０の一部
分を渡すことにより、音声再生を行なう。音表示部１０
２の表示、音出力部１０３の再生情報からユーザはセリ
フ音声データ、音データに対してセグメント情報を入力
する。セグメント情報１１８は音表示部１０２の中段の
音波形表示部と下段のスペクトログラム表示部で入力場
所を指定することで入力を行ない、保存される。

【００５０】次にモーションデータ表示部につき図１３
を用いて説明する。同期制御表示部１０１でモーション
データ１１６は、対応しているスケルトンデータ１１４
と共に表示できる単位のフレーム毎にモーションの形が
表示される。

【００５１】同期制御表示部１０１において、ユーザに
よるモーションデータ表示の指示でモーション表示部１
０５が起動され、同期制御表示部１０１に読み込まれて
いるモーションデータ１１６とスケルトンデータ１１４
がモーション表示部１１６に引き渡される。図１３にモ
ーションデータ表示部１０５を示す。

【００５２】図１３中の表示操作部によりモーション表
示用ウインドウ上にモーションデータの再生が行なわれ
る。モーションデータへのセグメント情報設定は、この
モーション表示部１０５からモーションセグメント入力
部を呼び出すことにより行なわれる。モーション表示部
１０５からモーションセグメント入力部１０６へは図１
３中のセグメント入力ボタンが押された時点で表示され
ているモーションデータのファイル名と時間情報が渡さ
れる。モーションセグメント入力部１０６は受けとった
情報からモーションに対するセグメント情報１１２を設
定し、保存する。

【００５３】図１３におけるアニメーション構成データ
ブラウザのブラウジングされて表示されているアニメー
ション構成データの下側にはそのアニメーション構成デ
ータに 入力されているセグメント情報が対応位置にマ
ークとして表示される。

【００５４】次にアニメーション構成データへ設定され
たセグメント同士を同期制御データで同期する部分の説
明を行なう。同期制御表示部１０１は異なるアニメーシ
ョン構成データに設定されているセグメント情報１１２
同士を同期制御データ１１３を使用して対応付けること
によりアニメーション構成データ同士を同期付ける。

【００５５】ユーザは対応付けるセグメント情報１１２
同士を選択するために同期制御表示部１１０上かもしく
は各アニメーション構成データの表示部により、対応づ
けを行なうセグメントの選択を行なう。選択された２つ
のセグメント情報は同期制御表示部１１０からセグメン
ト情報対応付け部１２３に引き渡される。ここで選択さ
れた２つのセグメント情報の対応づけを行ない、同期制
御データ１１３を生成し、同期制御表示部１０１を通じ
て保存する。

【００５６】図１４に同期制御データ１１３の構成を図
示する。同期制御データ１１３は同期付けた２つのアニ
メーション構成データのセグメント情報のファイル名称
と、セグメントラベル名、同期制御データ上での種類
（マスタ側かスレイブ側）からなる。

【００５７】同期制御データ１１３の構成は、２つの同
期付けたアニメーション構成データのうち、一方のアニ
メーション構成データをアニメーション構成データ１、
他方のアニメーション構成データをアニメーション構成
データ２とすると、同期制御データはアニメーション構
成データ１のセグメントファイル名Ｓf1、セグメントラ
ベル名Ｓl1、種類Ｓk1、アニメーション構成データ２の
セグメントファイル名Ｓf2、セグメントラベル名Ｓl2、
種類Ｓk2、時間変更の方法Ｓm で構成される。

【００５８】同期制御データ１１３中の同期制御データ
上での種類にはマスタとスレイブがある。ここでは同期
づけを行なう２つのセグメント情報に対して、２つの組
合せがある。

【００５９】同期付ける２つのセグメント情報１１２に
おいて、マスタとスレイブの組で同期制御データを設定
した場合には、マスタに設定したアニメーション構成デ
ータのセグメントの時間にスレイブのアニメーション構
成データのセグメント情報が設定されている部分を同期
させ、同期制御表示部１０１に返され、アニメーション
構成データ保存手段９に保存される。

【００６０】図１５にセグメント情報の同期付けの図を
示す。図上のアニメーション構成データ１のセグメント
情報１とアニメーション構成データ２のセグメント情報
２を同期付けた場合、下図に示すようにアニメーション
構成データ２のセグメント情報２の前のセグメントと後
ろのセグメントが再計算される。

【００６１】同期付ける２つのセグメント情報がマスタ
とマスタの組の場合、同期制御データを割り付けた瞬間
には、アニメーション構成データ１に設定したセグメン
ト情報が設定されている時間へ、アニメーション構成デ
ータ２のセグメント情報の前後のセグメント（実際には
ここで同期付けされた２つのアニメーション構成データ
同士でその前後に同期付けされているまでの間に存在す
る全セグメント、他に同じアニメーション構成データが
同期付けられていない場合にはファイルの先頭とファイ
ルの終了部分まで）に存在する部分をデータ再計算部１
１０で再計算し、同期付けられたセグメントの位置を時
間軸上であわせる。

【００６２】データ再計算部１１０で行なう再計算方法
は同期制御データ１１３で指定する時間方向変更方法で
指定する。ここには「延長」と「引き延ばし」の二つの
方法のどちらかが入力される。

【００６３】図１６に同期制御データ１１３によるアニ
メーション構成データの時間変更について示す。「延
長」を選択した場合、マスタが長くなるとスレーブの最
終値をそのまま連続してデータとし、短くなった場合に
は短くなった分のデータの切りとりを行なう。図１６に
おいて元データを「延長」の方法で再計算すると、中央
の延長の項目に書かれたデータとなる。「引き延ばし」
を選択した場合には、同期付けられている部分のデータ
を再計算し、自動的に全データをその時間に実行できる
データに変更する（モーションデータは変化値であるの
で、この変化値から計算された位置情報について再計算
を行なう）。図１６において元データを「引き延ばし」
の方法で延長させると下側に示す引き延ばしの項目に書
かれたデータとなる。

【００６４】もともとＸ時間であった各フレーム毎のデ
ータが入っているモーションデータについて考える。こ
のデータが同期付けされている他のデータの変更により
Ｙ時間に変更された場合、モーションをＹ／Ｘ倍だけ引
き延ばさなければならない。この場合には、元のモーシ
ョンのＸ／Ｙ時間毎の値を補間計算してやることにより
モーションの引き延ばしを行なう。

【００６５】アニメーション構成データへ設定されたセ
グメント情報の変更により、そのデータへ同期されてい
るアニメーション構成データの時間方向再計算を行なう
部分の説明を行なう。

【００６６】図１７に同期制御手段７のフロー図を示
す。例えばセリフ音声データ１１８中のセリフ音声デー
タとモーションデータ１１６中のモーションデータが同
期づけられている。ここで、セリフ音声データが再録音
されて、時間が変わる。ユーザは同期制御表示部１０１
から音表示部１０２を経て、音セグメント入力部１０４
を呼びだし、音声のセグメントを新しいデータのセグメ
ント位置に移動させる。

【００６７】移動させたセグメント情報に同期付けられ
ている他のセグメント情報があり（Ｓ１０２）、かつそ
の時の同期制御データ上で移動させたセグメント情報が
マスタである場合には（Ｓ１０３）、その音声に同期制
御データにより同期付けられているモーションデータの
セグメント情報の前後のセグメントのモーションデータ
を再計算し（ここで、モーションデータは変化値である
ため、位置情報を計算し、この位置情報を使用して再計
算を行なう）、モーションデータのセグメント情報が同
期付けられている音声のセグメント情報と同一の時間位
置に変更する（Ｓ１０４〜Ｓ１０８）。

【００６８】時間変更の方法が延長の場合には、以前に
同一データと同期付けられている部分までを延長により
再計算する（Ｓ１０５）。さらに以後に同一データと同
期付けられている部分までを延長により再計算する（Ｓ
１０６）。マスター要素の時間の長さが変更されるとそ
れにともないスレーブ要素の同期付けられている部分の
時間の長さも同期され、変更される。

【００６９】図１８において同期制御データによるアニ
メーション構成データの時間変更に関する図を示す。図
１８においては、上側のアニメーション構成データ1 を
マスタ、下側のアニメーション構成データ２をスレイブ
とする。マスタのセグメント情報１とスレーブのセグメ
ント情報７が同期制御データ１で同期付けられており、
マスタのセグメント情報２がスレイブのセグメント情報
８と同期制御データ２で同期付けられており、マスタの
セグメント情報４とスレイブのセグメント情報９が同期
制御データ３で同期付けられており、マスタのセグメン
ト情報６がスレイブのセグメント情報１０と同期制御デ
ータ４で同期付けられている。

【００７０】ここでマスタのセグメント情報４を移動す
る。セグメント情報４は同期制御データ３でセグメント
情報９に同期付けられており、セグメント情報９もセグ
メント情報４に同期して移動する。その時セグメント情
報８とセグメント情報９で囲まれたセグメント２−２の
アニメーション構成データは時間的に伸長し、セグメン
ト情報９とセグメント情報１０に囲まれたセグメント２
−３に存在するアニメーション構成データは時間的に縮
退する。

【００７１】このように発明の実施の形態１に記載され
た発明に係るアニメーション制作システムは、アニメー
ションの構成に使用する少なくとも第１のアニメーショ
ン構成データ及び第２のアニメーション構成データを有
するアニメーション構成データを用いてアニメーション
の制作を行なうものであって、前記第１のアニメーショ
ン構成データ及び前記第２のアニメーション構成データ
の各々に対し、同期設定のための同期制御データを付加
するとともに、当該付加された同期制御データを用い
て、前記第１のアニメーション構成データと前記第２の
アニメーション構成データの同期を制御する同期制御手
段を備えているので、人手を介することなく変化したア
ニメーション構成データに同期したアニメーション構成
データの変更を実行することができる。

【００７２】また、同期制御手段において第１のアニメ
ーション構成データ及び第２のアニメーション構成デー
タを部分的に伸長又は縮退することにより同期を制御す
るので、情報全体に亘って同期をとることができる。

【００７３】実施の形態２．この実施の形態はモーショ
ンデータの強調に関するものである。図１において、７
はモーション強調手段である。アニメーション構成デー
タ保存手段９に保存されているモーションデータをモー
ション強調手段７に読み出しし、モーションの強調を行
ない、アニメーション構成データ保存手段９に保存す
る。

【００７４】図３は実施の形態２のシステム構成図を示
す図である。図３において、２０２はモーション強調計
算部、２０５は基本モーションデータである。モーショ
ン入力部１１７で作成されたモーションデータは基本モ
ーションデータ２０５、もしくはモーションデータ１１
６に保存される。モーションデータ１１６は制作するア
ニメーションに直接使用するモーションデータ、基本モ
ーションデータ２０５は直接制作するアニメーションに
使用しないが、基本的なモーションが蓄積されている。

【００７５】モーション強調計算部２０２は基本モーシ
ョンデータ２０５を読み込み、強調処理を行ないモーシ
ョンの変更を行なう。モーションデータ１１６と基本モ
ーションデータ２０５は関節の動きの情報で表されてお
り、その関節間の関係をスケルトンデータ１１４で表
す。２０１は関節距離計算部である。モーション強調計
算部２０２で計算されたモーションの関節間距離を関節
距離計算部２０１でスケルトンデータ１１４と同一に修
正する。修正されたモーションはモーション強調計算部
２０２に戻されて、モーションデータ１１６に保存され
る。

【００７６】モーション強調手段７は基本モーションデ
ータ２０５に蓄積されているモーションデータの強調を
行なう。モーションデータ中のf フレーム目のある関節
に着目すると、モーションデータは上記に記述したよう
に位置変化情報（dxf，dyf，dzf）、回転変化情報ｄｒ
ｆを持っている。回転変化情報は子関節から親関節に向
かって時計回りの方向の回転で表す。これらの位置変化
情報、回転変化情報は前フレームからの差分情報であ
る。図８に位置変化情報と回転変化情報を示す。図８に
示すように、位置変化情報は移動した関節m の移動ベク
トルとなる。回転変化情報は親関節に向かっての回転の
フレーム間の変化である。

【００７７】モーション強調手段７では基本モーション
データ２０５から読み込んだモーションデータを強調
し、蓄積されている基本モーションデータを変更し、モ
ーションデータ１１６に保存する。モーション強調の単
位はスケルトンデータ１１６で結合されている一つのア
ニメーション登場キャラクタである。

【００７８】図１９にモーション強調のフロー図を示
す。モーション強調計算部２０２で、処理を行なうモー
ションに対して強調係数を設定する。強調係数は位置変
化情報、回転変化情報それぞれに対して別々に設定する
ことができる。位置変化情報に対する強調係数をｋt 、
回転変化情報に対する強調係数をｋｒ とする（Ｓ２０
１）。モーション強調計算部２０２において、モーショ
ンを構成する関節情報の中で、基本関節をユーザが設定
する。この基本関節はモーション強調計算時の基本位置
関節となる。

【００７９】まず強調を行なうモーションのスケルトン
データ１１４から、全関節間の長さを計算する。（Ｓ２
０２）

【００８０】初フレーム（１フレーム目）は基本位置と
なるため、各関節のデータは強調せずに基本モーション
データ２０５のままとする（Ｓ２０３）。ここで１フレ
ーム目のａ関節に着目して位置情報変数motion_x,motio
n_y,motion_z を motion_x1,a = a の初期位置ｘ座標 + dｘ1,a motion_y1,a = a の初期位置ｙ座標 + dｙ1,a motion_z1,a = a の初期位置ｚ座標 + dｚ1,a （式２ー１）とする。１フレーム目の強調された回転情
報はdｒ1,a とする（Ｓ２０４）。

【００８１】２フレーム目以降（ｆフレーム目）は始め
にそのフレーム中の全関節の強調された位置情報を求め
る。各変数は次のように計算される。 motion_xf,a = motion_xf-1,a + kt × dｘf,a motion_yf,a = motion_yf-1,a + kt × dｙf,a motion_zf,a = motion_zf-1,a + kt × dｚf,a dｒf,a = dｒf,a × kｒ ここで（motion_x f-1,a ,motion_y f-1,a ,motion_z
f-1,a)はフレームfより１フレーム前の強調処理を終了
し、関節間の長さ変更も行われた関節位置である。

【００８２】全ての関節について計算をし終えたら（Ｓ
２０７〜Ｓ２０８）、スケルトンデータ１１４でつなが
っている関節同士の位置座標(motion_x, motion_y, mot
ion_z) を通る全直線（直線２−１）の式を求める（Ｓ
２０９）。次に関節距離計算部２０１を使用して、各関
節間のスケルトン情報１１４の長さに合わせて関節間の
距離の変換を行なう。

【００８３】関節距離計算部２０１の役割を図２０のモ
ーション強調説明図に示す。位置変化情報を強調係数で
強調すると、図２０の下図のように関節間の長さが元の
スケルトン情報の長さから変化してしまう。そこで接続
している関節との３次元的な傾きを保ったままその関節
間の長さをスケルトンの関節間の長さへ変換する。

【００８４】図１９のフロー図において、強調された関
節位置データとそのモーションに対応するスケルトンデ
ータ、基本関節データはモーション強調計算部２０２か
ら関節距離計算部２０１へ引き渡される。基本関節は各
フレーム毎の強調したモーションを作成する場合の基本
点の役割をする関節である。距離の変換はまずこの基本
関節から始め、基本関節を現関節にする。基本関節は(m
otion_xf,kihon,motion_yf,kihon,motion_zf,kihon)が
そのまま強調されたモーションの位置情報となる（Ｓ２
１１〜Ｓ２１６）。

【００８５】ここで、(motion_x1, motion_y1, motio
n_z1)に（motion_xf,kihon, motion_yf,kihon, motio
n_zf,kihon)を代入しておく。基本関節から後述する方
法を使用して次に計算する関節を探索する。

【００８６】次に計算する関節の探索終了後、基本関節
を第一関節、次に計算を行なう関節を第二関節とする
（Ｓ２１７）。上記で求めた直線２−１のうち第一関節
と第二関節を通る直線を選択する。この直線に平行で第
一関節の位置情報(motion_x1,motion_y1,motion_z1)を
通る直線（直線２−２）を求める（Ｓ２１８）。直線２
−２上で、第一関節と第二関節のスケルトンの距離だけ
離れた点を第２関節の位置情報(motion_x2,motion_y2,m
otion_z2)とする（Ｓ２１９）。

【００８７】距離の条件を満足する点は２点あるが、第
一関節の元位置（Ｓ２０７で求めた第１関節の位置）か
ら現在の位置への移動と同一分の移動を第二関節に行な
い、その点に近い方を第二関節の位置情報とし、(motio
n_x2,motion_y2,motion_z2)にその位置情報を代入す
る。位置変化情報は前フレームとの減算で求める（Ｓ２
１１〜Ｓ２１７）。この処理を全フレーム、全関節に対
して行ない、位置変化情報をモーション強調計算部２０
２へ戻す。ここでモーション強調検索部２０３は位置変
化情報と回転変化情報をモーションデータ１１６へ保存
する。

【００８８】計算終了後はスケルトンデータ１１４を使
用して、基本関節の未計算の子供関節を検索する。未計
算の子供関節がない場合には未計算の兄弟関節を、未計
算の兄弟関節がない場合には未計算の親関節を検索す
る。未計算の親関節もなくなった場合には自分を呼び出
した関節に戻り、同様に次の関節を検索する。最終的に
一番上位の親の関節で親検索に行きついた時点で終了
し、そのフレームのモーション強調を終了して、次フレ
ームに進む。ここで関節距離計算部２０１は関節間の距
離変換を行なったモーションデータをモーション強調計
算部２０２に返し、モーション強調計算部２０２は次フ
レームのモーションの強調を行なう。

【００８９】探索している関節が見つかった場合にはそ
の時に元にした関節を第一関節にして、今回探索された
関節を第二関節として位置の計算を行なう。

【００９０】例えばこのモーション強調手段７により、
実際の人間の動きをデータ化し、モーションデータを作
成するモーションキャプチャシステムをモーション入力
部１１７として使用した場合に得られる基本モーション
データ２０５を強調する事により、アニメーションらし
いモーションを作成する。

【００９１】この実施の形態に記載された発明に係るア
ニメーション制作システムは、アニメーションのモデル
の形状を作成する形状作成手段と、前記形状作成手段に
おいて作成された前記モデルのモーションデータを入力
しモーションを作成するモーション作成手段と、前記モ
ーション作成手段に入力されたモーションデータに対し
て強調計算を行ない、強調されたモーションデータを出
力するモーション強調手段とを備えているので、強調さ
れたモーションを得ることができる。

【００９２】また、モーション強調手段をモーションデ
ータに対し強調係数を乗算するとともに、当該乗算され
たモーションデータに対し、当該モデルの関節間の長さ
が一定になるよう補正することとしたので、モーション
を強調させた場合であっても関節の長さが一定であり、
モーションが不自然とならない。

【００９３】実施の形態３．図１において、１０はモー
ション検索手段である。モーション検索手段１０はアニ
メーション構成データ保存手段９からモーションデータ
を検索するための手段を提供する。図３は実施の形態３
のシステム構成図である。２０３はモーション検索部で
あり、２０４はモーションキーワードデータである。モ
ーション検索部２０３は基本モーションデータ２０５か
らモーションキーワードデータ２０４を使用してモーシ
ョンの検索を行なう。その検索したモーションの中から
モーション入力部により入力されたモーションデータと
照合を行ない、モーションデータの絞り込みを行なう。
ここで検索するために入力したモーションデータは、例
えば人の動きなどを特定するものであり、あらかじめ人
の動きとして違和感のないデータである。

【００９４】基本モーションデータ２０５は一般的なデ
ータベースの構造をしており、モーション検索部２０３
によって検索される。基本モーションデータ２０５には
キーワードを設定することができ、その情報はモーショ
ンキーワードデータ２０５に入力されている。

【００９５】図２１にモーションキーワードデータ２０
５の構成を示す。モーションキーワードデータ２０４は
管理番号、モーションデータ名、キーワード、所在ディ
レクトリで管理されている。基本モーションデータ２０
５はモーション入力時に入力したキーワードによって検
索することができる。さらに基本モーションデータ２０
５はキーワードで検索したデータ集合からモーション入
力部１１７で入力されるモーションデータと照合を行う
ことにより、検索候補の絞り込みを行うことができる。
ここでこのモーション入力部１１７は、例えば人間の形
をした人形であり、各関節にセンサーが設けられ、この
人形を動かすことにより各関節の情報がモーションとし
て入力される。例えばあやつり人形のような形状を有す
る。

【００９６】図２２にモーション検索のフロー図を示
す。例えば複数の歩行するモーションの中から、指定し
た速さで歩行する様なモーションを検索する場合につい
て考える。ユーザはキーワード「歩行」を入力し（Ｓ３
０１）モーションデータを検索する（Ｓ３０２）。検索
してきたデータの中からユーザの検索したい歩行速度の
モーションを指定するために、人間の形をし、各関節を
曲げることでモーションを入力するモーション入力部１
１７により、希望の歩行速度を入力し（Ｓ３０３）、そ
の関節のモーションデータを入力しモーション検索部２
０３へ引き渡す。モーション検索部にユーザは照合に使
用する関節番号を入力する。ここでは歩く速度であるた
め、どちらか一方の足首の関節を指定する（Ｓ３０
５）。モーション検索部２０３では入力されてきたモー
ションから足の動きの速度を計算する。

【００９７】モーション検索部２０３は入力されたモー
ションの照合に使用する関節の位置変化情報を計算す
る。歩行の場合には、位置変化情報をベクトルと考える
と、その大きさは、足を上げている時には値を持ち、地
面に着いている時には０となる。これが交互に繰り返さ
れる。これをグラフにすると図２３に示す様に歩数に合
わせて波が現れる。この波の数をカウントし、その歩数
を算出する（Ｓ３０６）。

【００９８】この計算結果を用いて、キーワード検索を
行なったモーションと照合し、ある範囲でマッチングし
たものは検索結果として、ユーザに提示される（Ｓ３０
８〜Ｓ３１０）。

【００９９】このように、モーションを直接シミュレー
トすることにより、モーションを入力し、予め蓄積され
ていたデータと照合し、入力されたモーションデータと
近いデータを選択し、出力するものである。従って、検
索キーワードで表現しづらいモーションの特徴や検索し
たいイメージのみが存在する場合でもモーションの検索
を行なうことができる。

【０１００】以上のようにこの実施の形態に記載された
発明に係るアニメーション制作システムは、アニメーシ
ョンのモデルのモーションを入力し、モーションデータ
を出力するモーション入力部１１７と、予め複数のモー
ションデータが記憶された基本モーションデータ２０５
と、前記モーション入力部１１７より出力されたモーシ
ョンデータと前記基本モーションデータ２０５に記憶さ
れたモーションデータとを比較し、その比較結果に基づ
いて前記基本モーションデータ２０５に記憶されたモー
ションデータより選択し、出力するモーションデータ検
索部２０３とを備えているので、入力されたモーション
に近いモーションで、既に登録されているモーションデ
ータを検索することができる。

【０１０１】実施の形態４．実施の形態４に係るアニメ
ーション制作システムについて図４を用いて説明する。
音入力部１１９から出力されたセリフ音声データ１１８
を音声セグメント処理部３０２に入力する。音声セグメ
ント処理部３０２では、音出力部１０３を使用して確認
しながら、セリフ音声データ１１８を１語毎にセグメン
テーションする、セグメントの結果をセグメント情報１
１２に出力し、また各セグメント毎に対応する文字をセ
リフ文字データ３１３に出力する。

【０１０２】また、音声自動セグメント部３０１では辞
書パターンデータ３１２を入力する。この音声自動セグ
メント部３０１を用いることで、音声セグメント処理部
３０２に入力されたセリフ音声データ１１８の母音とそ
の発声タイミングを自動認識し、母音をセリフ文字とし
て、また、その発声タイミングをセグメント情報とし
て、音声セグメント処理部３０２に返す。音声セグメン
ト処理部３０２はセグメント情報１１２とセリフ音声デ
ータ１１８とセリフ文字データ３１３を用いて、口形状
キーフレームタイミングデータ３０３を出力する。

【０１０３】口形状モーション作成部３０４は、口形状
タイミングデータ３０３を入力し、モーションデータ１
１６を出力する。レンダリング部３０５は、モーション
データ１１６とモデル入力部３０９によって出力された
モデルデータ３０８を入力し、レンダリングを行ない、
その結果を画像データ３０６に出力する。画像出力部３
０７では、画像データ３０６を入力する。また、音出力
部１０３ではセリフ音声データ１１８を入力する。画像
出力部３０７では画像を再生する。またその画像と同期
させて音出力部１０３から音声を出力する。

【０１０４】アニメーション制作システムを用いてリッ
プシンクアニメーションを実現する。リップシンクアニ
メーションとは、口形状のモデルデータ３０８をセリフ
音声データ１１８に同期させるアニメーションのことで
ある。本アニメーション制作システムでは、口形状のモ
デルデータ３０８の口形状モデルの形状として（「あ」
／「い」／「う」／「え」／「お」／「ん」）、口形状
モデルの大きさとして（「大」／「中」／「小」、ただ
し「ん」については「中」のみ）の組み合わせの合計16
種類を用いている。

【０１０５】これは、日本語の発声における口形状が基
本的に（「あ」／「い」／「う」／「え」／「お」／
「ん」）という母音のバリエーションにより表現できる
と考えられるからである。また、後述するキーフレーム
アニメーションの手法を用いてアニメーションを作成す
るために、口形状の大きさを、必要十分であると考えら
れる3 段階分だけ用意した。この16種類の口形状のモデ
ルデータ３０８を、セリフ音声データ１１８に対して適
切なタイミングで対応させることによりリップシンクア
ニメーションの制作を実現する。

【０１０６】まず、セリフ音声入力部１１９で、アナロ
グ音声を標本化及び量子化の処理によってデジタル音声
としたセリフ音声データ１１８を出力する。音声セグメ
ント処理部３０２では、このセリフ音声データ１１８を
入力し、周波数成分に変換するためにFFT （高速フーリ
エ変換）し、スペクトログラムを表示する。スペクトロ
グラム中には、母音の特徴を示すホルマントを見い出す
ことができる。

【０１０７】次に、このホルマントを参考にして、セリ
フ音声データ１１８を発声した一語一語についてセグメ
ンテーションする。ここでの目的は、セリフ音声データ
１１８を母音や空白などの特徴に着目してセグメンテー
ションして、セグメント情報１１２をつくり出すことで
ある。セグメント情報１１２は開始線分及び終了線分に
よって示される。またそのセグメント情報に対して、セ
リフ音声データ１１８の内容をテキストにし、さらに無
音の部分が空白記号で表記されるセリフ文字データ３１
３が一対一で設定される。セリフ文字データ３１３は、
日本語文字についてのヘボン式ローマ字表記によって表
され、空白記号については [pau] という文字によって
表記される。

【０１０８】図２４に、セリフ文字データ３１３と、そ
の設定例を示す。図２５に、音声セグメント処理部３０
２のユーザーインターフェースを示す。図中A がスペク
トログラム、B がセグメント情報１１２、C がセリフ文
字データ３１３を表す。音声セグメント処理部３０２で
のセグメンテーションの方法には、マウスもしくはキー
ボードを用いて、セリフ音声データ１１８上にセグメン
ト情報１１２を手動設定する方法と、音声自動セグメン
ト部３０１を音声セグメント処理部３０２から呼び出す
ことで、セグメント情報１１２を自動設定する方法があ
る。

【０１０９】マウスもしくはキーボードによるセグメン
ト情報１１２の手動設定では、母音の特徴を示すホルマ
ントを参考にして、マウスにより開始線分及び終了線分
を作成する。実際には、あるセグメントの終了線分が、
次のセグメントの開始線分になっている。線分を移動し
たり削除したりすることで、セグメント情報１１２の変
更修正を行なう。また、音声セグメント処理部３０２か
ら、音出力部１０３を呼び出して、音声を全体再生、部
分再生などにより確認する。次に、それぞれのセグメン
トに対応する適切なセリフ文字データ３１３を手動によ
り設定する。セリフ文字データ３１３に対しては任意に
変更修正を行なう。

【０１１０】セグメント情報１１２の自動設定では、音
声セグメント処理部３０２から音声自動セグメント部３
０１を呼び出すことによって、セリフ音声データ１１８
中の母音及び空白とその位置を自動認識する。セリフ音
声データ１１８の自動認識は、あらかじめ作成済みの比
較用のセリフ音声データの母音、「ん」の音声、空白の
部分（「あ」／「い」／「う」／「え」／「お」／
「ん」、空白）をFFT した結果を数値化した辞書パター
ンデータ３１２を入力し、セリフ音声データ１１８を音
声セグメント処理部３０２内部でFFT したテストパター
ンとをパターンマッチングによって比較することで行な
われる。

【０１１１】図２６に、パターンマッチングのフローチ
ャートを示す。最初に、辞書パターンデータ３１２とテ
ストパターンを設定する（Ｓ４０１）（Ｓ４０２）。パ
ターンマッチングの方法は、まずポインタをテストパタ
ーンの始点位置に設定する（Ｓ４０３）。次に辞書パタ
ーンとの比較を行なう。このときポインタからのマッチ
ング幅を一定の範囲内で変化させて、最もマッチング率
が高くなるマッチングの幅と母音との組み合わせを一つ
求める（Ｓ４０４）。

【０１１２】一部分についてパターンマッチングを行な
ったら、次のポインタを、マッチングした幅の分だけ進
めて、次のマッチングを行なうことを繰り返す（Ｓ４０
６）。ポインタの位置が、テストパターンの最大値を越
えてしまった時点で終了となる（Ｓ４０５）。パターン
マッチングの結果、マッチングされた辞書パターンデー
タ３１２の文字列が生じるが、最後にこれをフィルター
によって重みづけし、ノイズとみなされる成分を除去
し、定常的な成分を際だたせる事で、最終的なパターン
マッチングの結果を出力する（Ｓ４０７）。

【０１１３】セグメントは認識を行なった母音が変化す
る部分に設定される。この結果を用いることで、元のセ
リフ音声データ１１８に対して、セグメント情報１１
２、セリフ文字データ３１３を自動的に設定することが
できる。セグメント情報１１２の自動設定終了後、上記
の手動設定手段で修正することで、さらに正確なセグメ
ンテーションを行なう。

【０１１４】音声セグメント処理部３０２は、セグメン
ト情報１１２、セリフ文字データ３１３及びセリフ音声
データ１１８の内容から、口形状のモデルデータ３０８
中の口形状モデルに対応する記号と、時間軸上へ口形状
をあてはめるタイミング（以下、キーフレームタイミン
グとする）を設定して口形状キーフレームタイミングデ
ータ３０３を作成する。

【０１１５】図２７に、口形状キーフレームタイミング
データ３０３の作成方法のフロチャートを示す。図２８
に、口形状キーフレームタイミングデータ３０３の作成
方法のイメージを示す。まず、セグメント情報１１２で
示されるそれぞれのセグメントごとにセリフ文字データ
３１３を参照し（ただし空白記号[pau] は除く）、セリ
フ文字データ３１３の母音が（「あ」／「い」／「う」
／「え」／「お」／「ん」）のいずれに対応するかを判
断し分類する（Ｓ５０１）（たとえば、[ka （か）] な
ら、母音は「あ」となる）。

【０１１６】この時、セリフ音声データ１１８につい
て、セグメント情報１１２の始点線分、終点線分及びセ
グメント中でセリフ音声データ１１８の量子化値が最大
になる点をそれぞれ、口形状のモデルデータ３０８中の
口形状モデルのキーフレームタイミングとする（Ｓ５０
２）。そして、それぞれのキーフレームタイミングの位
置での量子化値を参照する（Ｓ５０３）。

【０１１７】ここで、量子化値Ｆtの最大値が1.0 にな
るようにセリフ音声データ１１８の全体を正規化し、こ
のときのキーフレームタイミングの位置での量子化値の
値に応じて口形状モデルの大きさを決定する（Ｓ５０
４）。たとえば、0.66〜1.00までは（「大」）の口形状
モデルの大きさ（Ｓ５０７）を、0.33〜0.66までは
（「中」）の口形状モデルの大きさ（Ｓ５０６）を、0.
00〜0.33までは（「小」）の口形状モデルの大きさ（Ｓ
５０５）を設定する。口形状のモデルデータ３０８中の
どの口形状モデルをキーフレームにするかは、上記の口
形状モデルの母音と口形状の大きさの組み合わせによっ
て決定される（Ｓ５０８）。

【０１１８】口形状モデルの母音が「あ」で、口形状モ
デルの大きさが「大」ならば、口形状モデルは（「あ・
大」）になる。このような口形状は前記した16通りの形
状のうちのいずれかになる。また、セグメント情報１１
２と対応するセリフ文字データ３１３が、「[ma]
（ま）」「[mi]（み）」「[mu]（む）」「[me]（め）」
「[mo]（も）」などの様に、一旦口を閉じてから発音を
はじめる文字の場合については（Ｓ５０９）、セグメン
トの始点線分位置に、「ん」のキーフレームを付け加え
ることにする（Ｓ５１０）。これらは、口形状キーフレ
ームタイミングデータ３０３として出力される。口形状
キーフレームタイミングデータ３０３の構成図を図２９
に示す。口形状キーフレームタイミングデータ３０３
は、口形状のキーフレームをあてはめるタイミングを示
すフレーム番号とそのときの口形状モデル対応記号との
対によって示される。

【０１１９】口形状モーション作成部３０４では、口形
状キーフレームタイミングデータ３０３を読み込み、前
述した１６通りの口形状モデル、及びそれらのキーフレ
ームタイミングからキーフレームアニメーションを作成
する。キーフレームアニメーションとは、アニメーショ
ン作成の手法として、アニメーションの中心となるフレ
ーム（以下 キーフレーム）だけを用意し、それらの間
をインビートウイーンにより補間することによって完全
なアニメーションを作成する手法である。

【０１２０】口形状モーション作成部３０４では、キー
フレームタイミングデータ３０３中の口形状モデルの対
応記号に従った、口形状のモデルデータ３０８中の口形
状モデルをキーフレームタイミングのフレーム番号の通
りに並べ、それらの口形状モデルの間を補間すること
で、口形状のモーションデータ１１６を出力する。

【０１２１】レンダリング部３０５では、口形状のモー
ションデータ１１６及び口形状のモデルデータ３０８を
入力し、レンダリングを行ないアニメーション画像を作
成することができる。レンダリング部３０５で作成され
たアニメーション画像は、画像データ３０６として出力
される。

【０１２２】画像出力部３０７では、画像データ３０６
を入力する。また、音出力部１０３では、セリフ音声デ
ータ１１８を入力する。画像出力部３０７では、画像デ
ータの再生時に、音出力部１０３でのセリフ音声データ
１１８の出力を同時に行なうことで、セリフ音声データ
１１８と口形状のアニメーションが同期したリップシン
クアニメーションを作成する。この発明の実施の形態に
記載された発明に係るアニメーション制作システムは、
音声を入力する音入力手段３と、母音の情報に対応した
口形状モデルをモデルデータ３０８に保存するアニメー
ションデータ保存手段９と、前記音入力手段３に入力さ
れた音声の母音の情報に基づいて前記モデルデータ３０
８より口形状モデルを選択し、音声に同期した口形状の
モーションデータ１１６を作成する音声同期口形状作成
手段と、前記口形状のモーションデータ１１６に従い口
形状を選択し画像出力するレンダリング手段５を備えて
いるので、母音情報に基づいて口形状を特定するため簡
易な構成で口形状のアニメーションを作成することがで
きる。

【０１２３】また、音声を入力する音入力手段３と、母
音の情報及び音声レベルに対応した口形状モデルをモデ
ルデータ３０８に保存するアニメーション保存手段９
と、前記音入力手段に入力された音声の母音の情報及び
音声レベルに基づいて前記モデルデータ３０８より口形
状モデルを選択し、音声に同期した口形状のモーション
データ１１６を作成する音声同期口形状作成手段８と、
前記口形状のモーションデータに従い口形状を選択し画
像出力するレンダリング手段５を備えているので、母音
の情報のみならず、音声レベルに基づいた口形状を出力
することができるので、簡易な構成で、より正確に口形
状のアニメーションを制作することができる。

【０１２４】さらに、音声を入力する音入力手段３と、
前記音入力手段３に入力された音声の母音の情報に基づ
いてセグメント処理を行いセグメント情報１１２を生成
する音声セグメント処理部３０２と、前記音声に対応し
た口形状のモーションデータ１１６を生成する口形状モ
ーション作成部３０４と、前記口形状のモーションデー
タ１１６を用いて画像データ３０６を出力するレンダリ
ング部３０５と、前記画像データ３０６と音声とを同期
して出力する画像出力部３０７を備えているため、簡単
な構成で口形状と音声が同期した口形状のアニメーショ
ンを制作することができる。

【０１２５】さらにまた、同期手段が前記セグメント情
報よりセグメント中の始点線分、終点線分、最大量子化
値部分を抽出し、各段階において前記口形状モデルのキ
ーフレームを割り当てるものなので、簡易な構成により
口形状のモーションをより自然にすることができる。

【０１２６】なお、この発明の画像出力手段は、上記実
施の形態では音声同期口形状作成手段８及びレンダリン
グ手段５により構成されている。

【０１２７】実施の形態５．アニメーション制作システ
ムにおいて、音声セグメント処理部３０２からセグメン
ト均等割り付け部３１０を呼び出し、また、セリフ文字
データ３１３を、あらかじめ作成するためのセリフ文字
入力部３１１を付け加えることで、実施の形態４で前述
した、セリフ音声データ１１８からのリップシンクの他
に、セリフ文字データ３１３からのリップシンク、セリ
フ音声データ１１８及びセリフ文字データ３１３双方か
らのリップシンクを行なう。

【０１２８】図３０には、音声セグメント処理部３０２
に入力されているデータの種類によって、口形状キーフ
レームデータ３０３を出力するまでの過程がどのように
変わるかを示す。音声セグメント処理部３０２では、入
力されているデータが、セリフ音声データ１１８だけの
場合、セリフ文字データ３１３だけの場合、セリフ音声
データ１１８及びセリフ文字データ３１３の両方の場合
のいずれかであるかによって処理が異なる（Ｓ９０
１）。

【０１２９】セリフ音声データ１１８だけが、音声セグ
メント処理部３０２に与えられている場合は、音声自動
セグメント部３０１を呼びだして、セリフ音声データ１
１８を自動分析し（Ｓ９０２）、セグメント情報１１２
を作成し（Ｓ９０３）、セリフ文字データを作成（Ｓ９
０４）した上で、口形状キーフレームタイミングデータ
を出力する（Ｓ９１１）。以下、セリフ文字データ３１
３によってリップシンクを行なう場合、及びセリフ音声
データ１１８とセリフ文字データ３１３の両方からリッ
プシンクを行なう場合について説明する。

【０１３０】セリフ文字データ３１３を元にして、リッ
プシンクを行なう、セリフ文字データ３１３を、セリフ
文字入力部３１１によって、あらかじめ作成する。セリ
フ文字データ３１３は、セリフ音声データの内容を文字
として表したものである。音声セグメント処理部３０２
では、セリフ文字データ３１３を入力する。音声セグメ
ント処理部３０２では、セリフ文字データ３１３につい
て、自動的にセグメント均等割り付け部３１０を呼び出
し、文字のセグメンテーションを行なう（Ｓ９０８）。
セグメント均等割り付け部３１０では、セリフ文字デー
タ３１３の文字列（空白記号[pau] も含む）に対して、
その総文字数分のセグメント区間を作成し、セグメント
情報１１２として出力する。これによりセリフ文字デー
タ３１３中のすべての文字について、均等な任意の幅の
セグメント情報１１２を作成する（Ｓ９０９）。音声セ
グメント処理部３０２では、セリフ文字データ３１３及
びセグメント情報１１２を用いて、口形状キーフレーム
タイミングデータ３０３を作成する。

【０１３１】口形状キーフレームタイミングデータ３０
３の作成方法については、前述の通りである。ただし、
この場合では、セリフ音声データ１１８を用いないた
め、セグメント中で最大の量子化値を持つキーフレーム
タイミングの値、及びセグメントの開始線分、終了線
分、及び最大の量子化値のキーフレームタイミングにお
けるそれぞれの量子化値の値を自動的に作成する必要が
ある。そのために、セグメント中で最大の量子化値を持
つキーフレームタイミングの値については、開始線分と
終了線分の中央値を用いることにする。また、それぞれ
のキーフレームタイミングでの量子化値はデフォルトの
値(0.5) を用いることにする（Ｓ９１０）。セリフ音声
データ１１８及びセリフ文字データ３１３の双方を用い
てリップシンクを行なう。セリフ文字入力部３１１で作
成されたセリフ文字データ３１３と、音入力部１１９で
入力されたセリフ音声データ１１８を、音声セグメント
処理部３０２で入力する。ここで、セリフ文字データ３
１３はセリフ音声データの内容を文字で表したものであ
るとする。セグメント処理部３０２では、セグメント均
等割り付け部３１０を呼びだし、文字のセグメンテーシ
ョンを行なう（Ｓ９０５）。セグメント均等割り付け部
３１０では、前述の方法で、セリフ文字データ３１３中
のすべての文字について、均等な任意の幅のセグメント
情報１１２を作成する（Ｓ９０６）。

【０１３２】次に、音声セグメント処理部３０２では、
音声自動セグメント部３０１に、セリフ音声データ１１
８と、セグメント情報１１２から獲得されるセリフ文字
データ３１３の文字数を送る。音声自動セグメント部３
０１では、前述のパターンマッチングの手法により、セ
リフ音声データ１１８の自動セグメンテーションを行な
うにあたり、そのセグメント数をセリフ文字データ３１
３の文字数に調整する。また、セグメント情報１１２に
おける、セグメント線分の位置を修正する（Ｓ９０
７）。

【０１３３】さらに、前述のパターンマッチングの結
果、獲得されるセリフ文字データ３１３については棄却
する。音声セグメント処理部３０２では、新しく修正さ
れたセグメント情報１１２を出力する。音声セグメント
処理部３０２は、セリフ音声データ１１８、セリフ文字
データ３１３及びセグメント情報１１２を用いて、口形
状キーフレームタイミングデータ３０３を作成する（Ｓ
９１１）。口形状キーフレームタイミングデータ３０３
の設定方法については、前述の通りである。

【０１３４】この実施の形態に記載された発明に係るア
ニメーション制作システムは、セリフ文字データ３１３
を入力する文字入力手段４を有し、セグメント均等割り
付け部３１０が前記文字入力手段に入力されたセリフ文
字データ３１３の個々の文字に対してセグメント情報１
１２を割り当てるので、文字毎に口形状を対応させるこ
とができる。

【０１３５】実施の形態６．実施の形態６は、モーショ
ン強調手段７に強調方向面を指定するための機能を加え
たものである。図５は実施の形態６のシステム構成図で
ある。モーション入力部１１７で作成されたモーション
データを基本モーションデータ２０５、もしくはモーシ
ョンデータ１１６に保存する。モーションデータ１１６
は制作するアニメーションに直接使用するモーションデ
ータ、基本モーションデータ２０５は直接制作するアニ
メーションに使用しないが、基本的なモーションが蓄積
されている。５０４は分解モーション強調計算部であ
る。分解モーション強調計算部５０４は基本モーション
データ２０５を読みだす。５０１は強調方向面入力部で
ある。ユーザは強調方向面入力部５０１から強調を行な
いたい面を構成する座標点を指定し、この座標により構
成される面を求める。５０２は面位置変化情報分解部で
ある。面位置変化情報分解部５０２は強調方向面入力部
５０１で計算された面を使用して、位置変化情報を分解
する。

【０１３６】面位置変化情報分解部５０２で分解した位
置変化情報を分解モーション強調計算部５０４へ引き渡
し、面情報に対してユーザの指定した方向（例えば水平
か垂直か）に分解した位置変化情報に強調処理を行な
う。モーションデータ１１６と基本モーションデータ２
０５は関節の動きの情報で表されており、その関節間の
関係をスケルトンデータ１１４で表す。分解モーション
強調計算部５０４で計算されたモーションの関節位置を
関節距離計算部２０１でスケルトンデータ１１４の関節
間の長さと同一に修正する。修正されたモーションは分
解モーション強調計算部５０４に戻されて、モーション
データ１１６に保存される。図３１に強調方向面入力部
５０１を用いたモーション強調のフロー図を示す。この
フロー図は「Ａに挿入」の部分を図１９のモーション強
調フロー中Ａと示された部分に挿入し、「Ｂを変更」の
部分を図１９のモーション強調フロー中Ｂと示された部
分をおき換える。

【０１３７】はじめに「Ａに挿入」の部分の説明を行な
う。ユーザは強調方向面入力部５０１で、モーションデ
ータを構成する複数の関節から３点の関節、もしくは座
標点を選択し、これを強調方向面入力部５０１から入力
し、強調する方向をその面に水平か、垂直かを指定す
る。（Ｓ６０１〜Ｓ６０２）入力された３点に関節が含
まれていない場合（Ｓ６０３）、強調方向面入力部５０
１は入力された座標により構成される面（面１０−１）
の式を計算し（Ｓ６０４）、面１０−１に平行で原点を
通る面の式（面１０−２）を計算する（Ｓ６０５）。分
解モーション強調計算部５０４はモーションデータを基
本モーションデータ２０５から、スケルトンデータをス
ケルトンデータ１１４から読み込む。１フレーム目のモ
ーションデータは実施の形態２に示したように基本フレ
ームとするため、読み込んだ位置変化情報はそのまま変
更しない。ここで位置情報(motion_x,motion_y,motion_
z) を式（２−１）で求めておく。

【０１３８】次に「Ｂに変更」の部分の説明を行なう。
２フレーム目以降はスケルトンデータと処理フレームの
位置変化情報を分解モーション強調計算部５０４から面
位置変化情報分解部５０２へ引き渡す。強調方向面入力
部５０１で指定された座標が関節を含んでいた場合には
（Ｓ６０６）、各関節の前フレームの位置情報を計算
し、面位置変化情報分解部からこの位置情報とスケルト
ン情報を強調方向面入力部５０１に渡す。

【０１３９】強調方向面入力部５０１は指定された関節
を通るの面（面１０−１）（Ｓ６０７）の式の計算を行
ない、面１０−１に平行で原点を通る面の式（面１０−
２）（Ｓ６０８）を計算し、面位置変化情報分解部へ戻
す。面位置変化情報分解部５０２では、強調方向面入力
部で求めた面１０−２の式を用いて、各関節のモーショ
ンデータのうち、位置変化情報(dxf,dyf,dzf)を位置変
化ベクトルと考え（Ｓ６１０）、面１０−２上に位置変
化情報を垂直に射影する。これにより、位置変化情報は
上記面上に垂直に射影されたベクトルと、その面に垂直
なベクトルとの和で表される（Ｓ６１１）。図３２に位
置変化ベクトル強調面による分解の様子を示す。図３２
に示すように位置変化ベクトルが強調方向面上のベクト
ルと、強調方向面に垂直なベクトルに分解される。

【０１４０】この分解された位置変化ベクトルと面に対
して水平に強調するか、垂直に強調するかを面位置変化
情報分解部５０２は分解モーション強調計算部５０４に
返す。分解モーション強調計算部５０４では強調方向に
垂直方向を指定したときは面１０−２に垂直な成分に対
して強調係数ktをかける。逆に平行成分を指定した場合
には面に射影された成分のみに強調係数ktをかける（Ｓ
６１２）。この後に面に射影されたベクトルと、面に垂
直なベクトルを加えることによって、指定した強調方向
のみのモーションの強調を行うことができる（Ｓ６１
３）。前フレームの位置情報に強調した位置情報位置情
報ベクトルを加え、今回フレームの位置情報を作成す
る。次に分解モーション強調計算部５０４から関節距離
計算部へ上記計算を行なった強調されたモーションデー
タとスケルトンを引き渡す。実施の形態２で述べた方法
で、関節の強調位置の調整処理を行う。実施の形態２と
同じ方法で、この処理を全フレームに対して行ない、指
定した面に対する強調を行なう。

【０１４１】この実施の形態に記載された発明に係るア
ニメーション制作システムは、モーション強調手段にさ
らに強調方向を入力する強調方向面入力部５０１と、前
記強調方向入力手段に入力された強調方向に対し、モー
ションの強調を行なう分解モーション強調計算部５０４
を備えているので、指定した方向にのみモーションの強
調を行なうことができる。

【０１４２】実施の形態７．実施の形態７は、図１にお
けるモーション強調手段７へ指定した線方向に対するモ
ーションの強調機能を付加したものである。図５は実施
の形態７のシステム構成図である。モーション入力部１
１７で作成されたモーションデータを基本モーションデ
ータ２０５、もしくはモーションデータ１１６に保存す
る。モーションデータ１１６は制作するアニメーション
に直接使用するモーションデータ、基本モーションデー
タ２０５は直接制作するアニメーションに使用しない
が、基本的なモーションが蓄積されている。

【０１４３】５０４は分解モーション強調計算部であ
る。分解モーション強調計算部５０４は基本モーション
データ２０５を読みだす。５０３は強調方向線入力部で
ある。ユーザは強調方向線入力部５０３から強調を行な
いたい線を構成する座標点を指定し、この座標により構
成される線の式を求める。５０５は線位置変化情報分解
部である。線位置変化情報分解部５０５は強調方向線入
力部５０３で計算された線を使用して、位置変化情報を
分解する。線位置変化情報分解部５０５で分解した位置
変化情報を分解モーション強調計算部５０４へ引き渡
し、入力された線情報に対して分解した位置情報の平行
成分のみに強調処理を行なう。モーションデータ１０６
と基本モーションデータ２０５は関節の動きの情報で表
されており、その関節間の関係をスケルトンデータ１１
４で表す。分解モーション強調計算部５０４で計算され
たモーションの関節位置を関節距離計算部２０１でスケ
ルトンデータ１１４と同一に修正する。修正されたモー
ションは分解モーション強調計算部５０４に戻されて、
モーションデータ１１６に保存される。

【０１４４】図３３に強調方向線入力部５０３を用いた
モーション強調のフロー図を示す。このフロー図はＡに
挿入の部分を図１９のモーション強調フロー中Ａと示さ
れた部分に挿入し、B を変更と書かれた部分を図１９の
モーション強調フロー中B と示された部分とおき換え
る。「Ａに挿入」の部分から説明を行なう。強調方向線
入力部５０３から、ユーザはモーションデータを構成す
る関節もしくは任意の座標点から２点を選択する（Ｓ７
０１）。

【０１４５】指定された２点に関節が含まれていない場
合には（Ｓ７０２）、強調方向線入力部５０３で、この
２点から計算される直線の式を求め（直線１１−１）、
この直線に平行で原点を通る直線の位置を計算し（直線
１１−２）、線位置変化情報分解部５０５へ直線１１−
２の式を引き渡す（Ｓ７０３〜Ｓ７０４）。分解モーシ
ョン強調計算部５０４はモーションデータを基本モーシ
ョンデータ２０５から、スケルトンデータをスケルトン
データ１１４から読み込む。１フレーム目のモーション
データは実施の形態２に示したように基本フレームとす
るため、読み込んだ位置変化情報をそのまま変更しな
い。式（２−１）で位置情報を求めておく。

【０１４６】２フレーム目以降はスケルトンデータと処
理フレームの位置変化情報を分解モーション強調計算部
５０４から線位置変化情報分解部５０５へ引き渡す。
「Ｂに挿入」の部分の説明を行なう。強調方向線入力部
５０３で指定された座標が関節を含んでいた場合には
（Ｓ７０５）、線位置変化情報分解部５０５から各関節
の前フレームの位置座標情報と位置情報とスケルトン情
報を強調方向線入力部５０１に渡す。強調方向線入力部
５０３で、指定された２点から計算される直線の式を求
め（直線１１−１）、この直線に平行で原点を通る直線
の位置を計算する（直線１１−２）。直線１１−２を線
位置変化情報分解部５０５へ戻す（Ｓ７０６）。

【０１４７】全関節について次の処理を行なう。強調し
ようとする関節の位置変化情報を位置変化ベクトルと呼
び、(dｘ,dｙ,dｚ)とする。直線１１−２と(dｘ,dｙ,d
ｚ)を通る面の式を求める。（面１１−１）（Ｓ７０
８） 面１１−１上で原点を通り、直線１１−２に垂直な直線
１１−３を求める（Ｓ７０９）。位置変化ベクトル(d
ｘ,dｙ,dｚ)を直線１１−２と直線１１−３に平行なベ
クトルに分解する（直線１１−２に対してベクトル１１
−２、直線１１−３に対してベクトル１１−３とする）
（Ｓ７１０）。

【０１４８】図３４に位置変化ベクトル強調線による分
解の様子を示す。位置変化ベクトルを直線１１−２に平
行なベクトル１１−２と直線１１−３に平行なベクトル
１１−３に分解する。この分解した位置変化ベクトル１
１−２と１１−３を分解モーション強調計算部５０４へ
戻す。

【０１４９】分解モーション強調計算部５０４で、直線
１１−２に平行なベクトル１１−２に強調係数ktをかけ
る（Ｓ７１１）。強調された直線１１−２に平行なベク
トル１１−２と、もう一方の直線１１−３に平行なベク
トル１１−３を加えることにより、指定した直線方向に
強調したモーション強調を行なう（Ｓ７１２）。全フレ
ームの位置情報に強調したい位置変化情報を加えて、現
フレームの位置情報を作成しておく。この処理を処理フ
レームの全関節について行なう（Ｓ７１４、Ｓ７１
５）。分解モーション計算部５０４は強調された位置変
化情報から位置情報を計算し、この位置情報とスケルト
ン情報を関節距離計算部２０１に引き渡す。

【０１５０】関節距離計算部２０１により関節の調整処
理は実施の形態２で述べた方法で行なうことができる。
これを全フレームに対して行なう。この実施の形態に記
載されたアニメーション制作システムは、モーション強
調手段にさらに強調方向を入力する強調方向入力手段
と、前記強調方向入力手段に入力された強調方向に対
し、モーションの強調を行なう分解モーション強調計算
手段を備えているので、指定した方向にのみモーション
の強調を行なうことができる。特に上記方法により、ユ
ーザは指定した方向、例えば体の上向きの方向成分のみ
を強調させることができる。

【０１５１】図１において、１２はモーション組合せ手
段である。モーション組合せ手段１２はアニメーション
構成データ保存手段９の複数の部分モーションデータを
同期制御手段６により同期づけし、１つのモーションへ
組合わせる。

【０１５２】図６は実施の形態８のシステム構成図であ
る。６０２は部分モーションであり、アニメーションキ
ャラクタの体の位置部分のモーションのみが蓄積されて
いる。

【０１５３】モーション入力部１１７により作成された
部分モーション６０２は該当するスケルトンデータ１１
４中のスケルトンデータと共に同期制御表示部１０１に
読み込まれる。部分モーション６０２はモーション表示
部１０５に渡され、ユーザはモーションを表示しながら
モーションセグメント入力部１０６によりセグメント情
報を入力し、セグメント情報１１２に保存する。セグメ
ントはこれから組合せを行なう２つのモーションデータ
で同じ時間に合わせたい部分に入力を行なう。組合わせ
るモーションは必ず１つの関節を共有する。

【０１５４】部分モーションに同期制御表示部１０１で
同期制御データ１１３を作成する。データ再計算部１１
０へ同期付けたモーションを渡し再計算し、同期された
セグメント部分が同時間に実行されるように同期され、
部分モーション６０２へ保存される。６０１はモーショ
ン組合せ部である。モーション組合せ部６０１は部分毎
に別々に入力されている部分モーション６０２を組合わ
せて一つのアニメーションキャラクタのモーションを作
成し、基本モーションデータ２０５もしくはモーション
データ１１６へ保存する。

【０１５５】図３５にモーション組合せ部６０１のフロ
ー図を示す。モーション入力部６０２によって別々に入
力された同一キャラクタの各部分のモーションデータが
存在した時に、その別々のモーションを同期制御表示部
１０１に読み込む（Ｓ８０１）。同期制御表示部１０１
を使用するのは組合わせるモーションデータは組合わせ
るために入力したものであるため、時間的にほぼ同期は
とれているはずであるが、実際には若干組合わせる部分
モーション同士の同期がずれているからである。

【０１５６】同期制御手段６では実施の形態１に示した
方法で、組合せを行なう同期をとるタイミングに対して
同期制御データ１１３でモーション同士を同期させる
（Ｓ８０２）。同期制御手段６で同期をとられたモーシ
ョンは部分モーションデータ６０２に保存される。この
部分モーションデータ６０２からモーション組合せ部６
０１が上記で同期づけされたモーションをとり出す。同
期制御手段６で同期させられた組合せを行なう各モーシ
ョンで同一である関節を持っており、これを同一関節と
呼ぶ。図３６にモーション組合せ部６０１の説明図を示
す。この図では組合せを行なうモーション１とモーショ
ン２において関節Ａが同一関節となっている。

【０１５７】ユーザはモーション組合せ部６０１を使用
して、この同一関節の情報（関節Ａ）を入力し（Ｓ８０
３）、部分モーションから読み込む、組合わせる部分モ
ーションうち、どちらか一方を基モーションとし、基モ
ーションでないモーションを組合せモーションとする。
またモーション組合せ部には基モーションのスケルトン
情報、組合せモーションのスケルトン情報も読み込んで
おく。

【０１５８】モーション組合せ部６０１では基モーショ
ンのスケルトンの同一関節の初期位置１フレーム目の位
置の差はスケルトン情報に登録されている初期位置情報
から基モーションの１フレーム目の位置変化情報、回転
変化情報をたして１フレーム目の位置情報を算出する。
同様に組合せフレームについても１フレーム目の位置情
報を算出する。

【０１５９】具体的には、基本モーション１フレーム目
の同一関節の位置情報を(ｘb,ｙb,ｚb),ｒb、位置変化
情報を(dｘb,dｙb,dｚb）,dｒb、組合せモーションの１
フレーム目の同一関節の位置情報を(ｘa,ｙa,ｚa),ｒ
a、位置変化情報を(dｘa,dｙa,dｚa),dｒaとする。基本
モーションスケルトンデータの同一関節の初期位置情報
を(sｘb,sｙb,sｚb),sｒb、組合せモーションスケルト
ンデータの同一関節の初期位置情報を(sｘa,sｙa,sｚ
a),sｒaとする。

【０１６０】基モーションが、 ｘb=sｘb+dｘb ｙb=sｙb+dｙb ｚb=sｚb+dｚb ｒb=sｒb+dｒｂ

【０１６１】組合せモーションが、 ｘａ＝ｓｘa+dｘa ｙa=sｙa+dｙa ｚa=sｚa+dｚa ｒa=sｒa+dｒa となる（Ｓ８０４）。

【０１６２】１フレーム目の基本モーションと組合せモ
ーションの同一関節における位置情報の差を求める。基
本モーションと組合せモーションの位置情報の差を(mｘ
ba,mｙba,mｚba),mｒbaとすると、 mｘba=ｘb-ｘa mｙba=ｙb-ｙa mｚba=ｚb-ｚa mｒba=ｒb-ｒa で求める（Ｓ８０５）。

【０１６３】この差を組合せモーションの１フレーム目
の全関節の位置変化情報、回転変化情報から減算する
（Ｓ８０６）。この後、基モーションの同一関節部分と
組合せモーションで基モーションの同一関節を親関節、
組合せモーションの同一関節につながっている関節を子
関節とし、一つのモーションデータへ変換し、モーショ
ンデータ１１６もしくは基本モーションデータ２０５へ
保存する（Ｓ８０７）。

【０１６４】これにより例えばモーション入力部１とし
て光学式モーションキャプチャシステムを使用する場
合、体の一部により隠れてしまう関節部分のモーション
をその部分のみ別にとりこみ、組合せを行なうことで、
一つのモーションを制作することができる。

【０１６５】

【発明の効果】第１の発明に係るアニメーション制作シ
ステムは、アニメーションの構成に使用する少なくとも
第１のアニメーション構成データ及び第２のアニメーシ
ョン構成データを有するアニメーション構成データを用
いてアニメーションの制作を行なうものであって、前記
第１のアニメーション構成データ及び前記第２のアニメ
ーション構成データの各々に対し、同期設定のための同
期制御データを付加するとともに、当該付加された同期
制御データを用いて、前記第１のアニメーション構成デ
ータと前記第２のアニメーション構成データの同期を制
御する同期制御手段を備えているので、人手を介するこ
となくアニメーションを構成するデータの同期を確立す
ることができる。

【０１６６】第２の発明に係るアニメーション制作シス
テムは、第１の発明における同期制御手段において前記
第１のアニメーション構成データ及び第２のアニメーシ
ョン構成データを部分的に伸長又は縮退することにより
同期を制御するので、情報全体に亘って同期をとること
ができる。

【０１６７】第３の発明に係るアニメーション制作シス
テムは、アニメーションのモデルの形状を作成する形状
作成手段と、前記形状作成手段において作成された前記
モデルのモーションデータを入力しモーションを作成す
るモーション作成手段と、前記モーション作成手段に入
力されたモーションデータに対して強調計算を行ない、
強調されたモーションデータを出力するモーション強調
手段とを備えているので、強調されたモーションを得る
ことができる。

【０１６８】第４の発明に係るアニメーション制作シス
テムは、第３の発明におけるモーション強調手段をモー
ションデータに対し強調係数を乗算するとともに、当該
乗算されたモーションデータに対し、当該モデルの関節
間の長さが一定になるよう補正することとしたので、モ
ーションを強調させた場合であっても関節の長さが一定
であり、動作が不自然とならない。

【０１６９】第５の発明に係るアニメーション制作シス
テムは、第３の発明におけるモーション強調手段にさら
に強調方向を入力する強調方向入力部と、前記強調方向
入力手段に入力された強調方向に対し、モーションの強
調を行なう分解モーション強調計算部を備えているの
で、指定した方向にのみモーションの強調を行なうこと
ができる。

【０１７０】第６の発明に係るアニメーション制作シス
テムは、アニメーションのモデルのモーションを入力
し、モーションデータを出力するモーション入力手段
と、予め複数のモーションデータが記憶されたモーショ
ンデータ記憶手段と、前記モーション入力手段より出力
されたモーションデータと前記モーションデータ記憶手
段に記憶されたモーションデータとを比較し、その比較
結果に基づいて前記モーションデータ記憶手段に記憶さ
れたモーションデータより選択し、出力するモーション
データ検索手段とを備えているので、入力されたモーシ
ョンが不自然なものであってもモーション記憶手段に自
然なモーションを記憶させておけば、自然なモーション
を出力することができる。

【０１７１】第７の発明に係るアニメーション制作シス
テムは、音声信号を入力する音信号入力手段と、母音情
報に対応した口形状モデルを記憶する口形状モデル記憶
手段と、前記音信号入力手段に入力された音声信号の母
音情報に基づいて前記口形状モデル記憶手段より口形状
モデルを選択し画像出力する画像出力手段とを備えてい
るので、母音情報に基づいて口形状を特定するため簡易
な構成で口形状のアニメーションを作成することができ
る。

【０１７２】第８の発明に係るアニメーション制作シス
テムは、音声信号を入力する音信号入力手段と、母音情
報及び音声レベルに対応した口形状モデルを記憶する口
形状モデル記憶手段と、前記音信号入力手段に入力され
た音声信号の母音情報及び音声レベルに基づいて前記口
形状モデル記憶手段より口形状モデルを選択し画像出力
する画像出力手段とを備えているので、母音情報のみな
らず、音声レベルに応じた口形状モデルを出力すること
ができるので、簡易な構成で、より正確に口形状のアニ
メーションを制作することができる。

【０１７３】第９の発明に係るアニメーション制作シス
テムは、音声信号を入力する音信号入力手段と、前記音
信号入力手段に入力された音声信号の母音情報に基づい
てセグメント処理を行いセグメント情報を生成するセグ
メント手段と、前記音声信号に対応した口形状データを
生成する口形状データ生成手段と、前記セグメント手段
により生成したセグメント情報に基づいて前記口形状デ
ータ生成手段により生成した口形状データと前記音声信
号とを同期させる同期手段とを備えているので、簡易な
構成で口形状と音声信号とが同期した口形状のアニメー
ションを制作することができる。

【０１７４】第１０の発明に係るアニメーション制作シ
ステムは、第９の発明における同期手段が前記セグメン
ト情報よりセグメント中の始点線分、終点線分、最大量
子化値部分を抽出し、各段階において前記口形状モデル
のキーフレームを割り当てるものなので、簡易な構成に
より口形状のモーションをより自然にすることができ
る。

【０１７５】第１１の発明に係るアニメーション制作シ
ステムは、第９の発明においてさらに文字データを入力
する文字入力手段を有し、セグメント手段が前記文字入
力手段に入力された文字データの個々の文字に対してセ
グメントを割り当てるので、文字毎に口形状を対応させ
ることができる。

【０１７６】第１２の発明に係るアニメーション制作シ
ステムは、アニメーションのモデルの部分のモーション
を示す第１の部分モーションデータ及び第２の部分モー
ションデータを記憶する部分モーション記憶手段と、前
記部分モーション記憶手段に記憶された第１の部分モー
ションデータと第２の部分モーションデータのそれぞれ
が同一関節を持っており、この同一関節を基準に、同期
制御手段を用いて同期させた前記第１の部分モーション
データと前記第２の部分モーションデータとを組み合わ
せる組み合わせ手段を有するので、例えば単一のモーシ
ョンの入力手段では、モーションが捉えきれない場合に
複数の入力手段によりモーションを制作することができ
る。

【図面の簡単な説明】

【図１】 本アニメーション制作システムのシステム構
成図である。

【図２】 実施の形態１のシステム構成図である。

【図３】 実施の形態２、３のシステム構成図である。

【図４】 実施の形態４、５のシステム構成図である。

【図５】 実施の形態６、７のシステム構成図である。

【図６】 実施の形態８のシステム構成図である。

【図７】 モーションデータ１１６の構成である。

【図８】 位置変化情報、回転変化情報である。

【図９】 スケルトンデータ１１４の構成である。

【図１０】 セグメント情報１１３とセグメントであ
る。

【図１１】 同期制御表示部１０１の表示イメージ図で
ある。

【図１２】 音表示部１０２である。

【図１３】 モーション表示部１０５である。

【図１４】 同期制御データ１１３である。

【図１５】 セグメント情報１１２の同期付けである。

【図１６】 同期制御データ１１３設定によるアニメー
ション構成データの時間変更である。

【図１７】 同期制御手段７のフロー図である。

【図１８】 同期制御データ１１３によるキャラクタモ
デル構成データの時間変更である。

【図１９】 モーション強調のフロー図である。

【図２０】 モーション強調説明図である。

【図２１】 モーションキーワードデータ２０５の構成
である。

【図２２】 モーション検索のフロー図である。

【図２３】 モーション検索部２０３である。

【図２４】 セリフ文字データ３１３と、その設定例で
ある。

【図２５】 音声セグメント処理部３０２のユーザーイ
ンターフェースである。

【図２６】 パターンマッチングのフローチャートであ
る。

【図２７】 口形状キーフレームタイミングデータ３０
３の作成方法のフロチャートである。

【図２８】 口形状キーフレームタイミングデータ３０
３の作成方法のイメージである。

【図２９】 口形状キーフレームタイミングデータの構
成である。

【図３０】 音声セグメント処理部３０２に入力されて
いるデータの種類による口形状キーフレームデータ３０
３の出力フローである。

【図３１】 強調方向面入力部５０１を用いたモーショ
ン強調のフロー図である。

【図３２】 位置変化ベクトル強調面による分解の様子
である。

【図３３】 強調方向線入力部５０３を用いたモーショ
ン強調のフロー図である。

【図３４】 位置変化ベクトル強調線による分解の様子
である。

【図３５】 ョン組合せ部６０１のフロー図である。

【図３６】 モーション組合せ部６０１の説明図であ
る。

【図３７】 従来例（１）の説明図である。

【図３８】 従来例（２）の説明図である。

【図３９】 従来例（３）の説明図である。

【符号の説明】

１ 形状作成手段、２ モーション作成手段、３ 音入
力手段、４ 文字入力手段、５ レンダリング手段、６
同期制御手段、７ モーション強調手段、８音声同期
口形状作成手段、９ アニメーション構成データ保存手
段、１０ モーション検索手段、１１ 音出力手段、１
２ モーション組合せ手段、１０１ 同期制御表示部、
１０２ 音表示部、１０３ 音出力部、１０４ 音声セ
グメント入力部、１０５ モーション表示部、１０６
モーションセグメント入力部、１１０、データ再計算
部、１１２ セグメント情報、１１３ 同期制御デー
タ、１１４ スケルトンデータ、１１５ スケルトン入
力部、１１６ モーションデータ、１１７ モーション
入力部、１１８ セリフ音声データ、１１９ 音入力
部、１２０ 音データ、１２３ セグメント情報対応付
け部、２０１ 関節距離計算部、２０２ モーション強
調計算部、２０３ モーション検索部、２０４ モーシ
ョンキーワードデータ、２０５ 基本モーションデー
タ、３０１ 音声自動セグメント部、３０２ 音声セグ
メント処理部、３０３ 口形状キーフレームタイミング
データ、３０４ 口形状モーション作成部、３０５ レ
ンダリング部、３０６ 画像データ、３０７ 画像出力
部、３０８ モデルデータ、３０９ モデル入力部、３
１０ セグメント均等割り付け部、３１１ セリフ文字
入力部、３１２ 辞書パターンデータ、５０１ 強調方
向入力部、５０２ 面位置変化情報分解部、５０３ 強
調方向入力部、５０４ 分解モーション強調計算部、５
０５ 線位置変化情報分解部、６０１ モーション組み
合わせ部、６０２ 部分モーションデータ。

フロントページの続き (56)参考文献 特開 平７−239948（ＪＰ，Ａ) 特開 平７−44727（ＪＰ，Ａ) 特開 平６−162168（ＪＰ，Ａ) 特開 平６−139333（ＪＰ，Ａ) 特開 平６−162166（ＪＰ，Ａ) 特開 平５−143708（ＪＰ，Ａ) 特開 平６−348801（ＪＰ，Ａ) 特開 平６−215103（ＪＰ，Ａ) 特開 平５−313686（ＪＰ，Ａ) 特開 平７−239947（ＪＰ，Ａ) 特開 平７−84801（ＪＰ，Ａ) 特開 平７−306954（ＪＰ，Ａ) 特開 平７−334507（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 13/00 H04N 5/91 ＣＳＤＢ（日本国特許庁)

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】アニメーションを構成する少なくとも第１
   のアニメーション構成データ及び第２のアニメーション
   構成データを用いてアニメーションの制作を行なうアニ
   メーション制作システムにおいて、 前記第１のアニメーション構成データ及び前記第２のア
   ニメーション構成データの各々に対し、同期設定のため
   の同期制御データを付加するとともに、 当該付加された同期制御データを用いて前記第１のアニ
   メーション構成データ及び第２のアニメーション構成デ
   ータを部分的に伸長又は縮退させることによって、前記
   第１のアニメーション構成データと前記第２のアニメー
   ション構成データの同期を制御する同期制御手段を備え
   たことを特徴とするアニメーション制作システム。
2. 【請求項２】音声信号を入力する音信号入力手段と、 母音情報及び音声レベルに対応した口形状モデルを記憶
   する口形状モデル記憶手段と、 前記音信号入力手段に入力された音声信号の母音情報及
   び音声レベルに基づいて前記口形状モデル記憶手段より
   口形状モデルを選択し画像出力する画像出力手段とを備
   えたアニメーション制作システム。
3. 【請求項３】音声信号を入力する音信号入力手段と、 前記音信号入力手段に入力された音声信号の母音情報に
   基づいてセグメント処理を行いセグメント情報を生成す
   るセグメント手段と、 前記音声信号の母音情報及び音声レベルに基づき口形状
   モデルを選択する口形状モデル選択手段と、 前記セグメント情報におけるセグメントの始点及び終点
   と、前記セグメント中の最大量子化値点とを抽出し、前
   記口形状モデルと前記音声信号とを前記各点で同期させ
   る同期手段とを備えたアニメーション制作システム。
4. 【請求項４】文字データが入力される文字入力手段を有
   し、 前記セグメント手段は、 前記文字入力手段に入力された文字データの個々の母音
   に対してセグメントを割り当てることを特徴とする請求
   項３記載のアニメーション制作システム。
5. 【請求項５】アニメーションのモデルの部分のモーショ
   ンを示す第１の部分モーションデータ及び第２の部分モ
   ーションデータを記憶する部分モーション記憶手段と、 前記部分モーション記憶手段に記憶された第１の部分モ
   ーションデータと第２の部分モーションデータのそれぞ
   れが同一関節を持っており、 この同一関節を基準に、前記第１の部分モーションデー
   タと前記第２の部分モーションデータとを組み合わせ、
   前記第１の部分モーションデータ及び第２の部分モーシ
   ョンデータを部分的に伸長又は縮退させる組み合わせ手
   段を有するアニメーション制作システム。