JPH06162166A - 画像作成装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、コンピユータグラフイツクスの手法
を適用したアニメーシヨン作成装置等の画像作成装置に
関し、多重内挿法アニメーシヨンの利点を活かし、オブ
ジエクトモデルに依存しない表現豊かなリツプシンクア
ニメーシヨンを簡単に生成し得るようにする。 【構成】本発明は、発音情報より得られる発音のタイミ
ングを基準にして加重パラメータ時系列を生成し、この
加重パラメータ時系列で多重内挿して口形状の変化する
アニメーシヨンを生成する。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図４８） 発明が解決しようとする課題（図４８） 課題を解決するための手段（図３９及び図４６） 作用（図３９及び図４６） 実施例 （１）第１の実施例 （１−１）全体構成（図１及び図２） （１−２）口形状パラメータ（図３） （１−３）加重パラメータ（図４〜図３８） （１−４）加重パラメータの生成（図３９〜図４２） （１−５）実施例の効果 （２）第２の実施例 （２−１）全体構成（図４３〜図４５） （２−２）合成バランスパラメータ（図４６） （２−３）第２の実施例の効果 （３）他の実施例（図４７） 発明の効果

【０００２】

【産業上の利用分野】本発明は画像作成装置に関し、例
えばコンピユータグラフイツクスの手法を適用したアニ
メーシヨン作成装置に適用し得る。

【０００３】

【従来の技術】従来、この種のアニメーシヨン作成装置
においては、加重パラメータ時系列を用いて複数個の内
挿ベクトルを多重内挿し、このようにして生成した内挿
ベクトルを用いてアニメーシヨンを作成するようになさ
れたものが提案されている（特願平2-256415号）。

【０００４】すなわち多重内挿法においては、それぞれ
ｍ個のパラメータ要素を持つ内挿パラメータベクトルｐ
（ｔ）について、各パラメータ要素の基本値を要素とす
る基本ベクトルｐ０を設定し、ｎ個の内挿パラメータベ
クトルｐｉ（ｉ＝１．．．ｎ）からそれぞれ基本ベクト
ルｐ０を減算してｍ＊ｎの内挿パラメータ行列Ｐ（ｔ）
を形成する。

【０００５】さらに多重内挿法においては、ｎ個のパラ
メータ要素を持つ加重パラメータベクトルｗ（ｔ）を設
定し、内挿パラメータ行列Ｐ（ｔ）、基本ベクトルｐ０
から、次式

【数１】 で示されるｍ個の要素を持つベクトルａ（ｔ）を新たに
生成する。

【０００６】これにより図４８に示すようにアニメーシ
ヨン作成装置においては、１つの動きの対象となる物体
（以下オブジエクトと呼ぶ）の動きを複数のオブジエク
ト形状と加重パラメータ時系列との多重内挿によつて生
成する。

【０００７】すなわちアニメーシヨン作成装置において
は、動作を与えるオブジエクトと同じ定義のオブジエク
トＮ１、Ｎ２、Ｎ３を複数個用意し、それぞれに違つた
姿勢を与える（以下内挿オブジエクトと呼ぶ）。

【０００８】さらにアニメーシヨン作成装置において
は、基本ベクトルｐ０に対応して内挿オブジエクトの基
本姿勢でなる基本オブジエクトＫを与え、これにより内
挿オブジエクトＮ１、Ｎ２、Ｎ３を定義する。さらにｎ
個の内挿パラメータベクトルｐ（ｔ）から基本オブジエ
クトＫを定義する基本ベクトルｐ０を減算し、加重パラ
メータベクトルｗ１、ｗ２、ｗ３で加重混合する。

【０００９】これによりアニメーシヨン作成装置におい
ては、（１）式の演算処理を実行して各時刻のオブジエ
クトの姿勢を表す時系列ベクトルｗ（ｔ）を生成すれ
ば、内挿オブジエクトの姿勢情報を内挿パラメータベク
トルとした多重内挿法を用いて生成することができ、こ
れによりこのベクトルｗ（ｔ）に基づいてアニメーシヨ
ンＡを作成することができる。

【００１０】これにより多重内挿法を適用したアニメー
シヨン作成装置においては、コンピユータグラフイツク
アニメーシヨンの最も一般的な手法であるキーフレーム
法を適用した場合に比して、少ないデータ量でアニメー
シヨンを作成し得、また自由度の高い、表現豊かなアニ
メーシヨンを作成し得る特徴がある。

【００１１】

【発明が解決しようとする課題】ところで人が登場する
アニメーシヨンにおいては、話す言葉に合わせて口を動
かすアニメーシヨン（以下リツプシンクアニメーシヨン
と呼ぶ）が不可欠である。

【００１２】ところが従来のリツプシンクアニメーシヨ
ンにおいては、殆どが発声している間、単に口の開閉を
繰り返しているだけの単純なものである。このリツプシ
ンクアニメーシヨンを実際の口の動きに近づけるために
は、従来のアニメーシヨン作成装置においては、緻密な
オブジエクトモデルを設定し、オブジエクトモデルが持
つパラメータを駆動する必要がある。

【００１３】すなわち得られたアニメーシヨンの動き
は、オブジエクトモデルがどんなパラメータを持つかに
よつて左右され、例えリアルな動きを実現し得たとして
も、そのアニメーシヨンデータを別のオブジエクトモデ
ルに適用することが困難な特徴がある。

【００１４】このためリツプシンクアニメーシヨンを作
成する場合、従来のアニメーシヨン作成装置において
は、簡単にしかも表現豊かに作成することが困難な問題
があり、また一旦作成しても種々のオブジエクトに適用
し得ない問題があつた。これに対して多重内挿法を適用
したアニメーシヨン作成装置においては、基本的に動き
が加重パラメータの時系列として記述されるので、加重
パラメータを自動的に生成することができれば、効率良
くアニメーシヨンを作成することができる。

【００１５】本発明は以上の点を考慮してなされたもの
で、多重内挿法アニメーシヨンの利点を活かし、オブジ
エクトモデルに依存しない表現豊かなリツプシンクアニ
メーシヨンを簡単に生成することができる画像作成装置
を提案しようとするものである。

【００１６】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、多重内挿法によるアニメーシヨン
データを作成する画像作成装置１において、予め設定し
た口形状に対して、発音情報１２に基づいて内挿パラメ
ータＷ０〜Ｗ５を生成した後、発音情報１２により発音
のタイミングを基準にして加重パラメータ時系列Ｗ６、
Ｗ７を生成し、加重パラメータ時系列Ｗ６、Ｗ７で多重
内挿することにより、発音情報１２に応じて口形状の変
化するアニメーシヨンＵ３を作成する。

【００１７】さらに本発明において、予め設定した口形
状は、「あ」を発音する口形状、「い」を発音する口形
状及び「う」を発音する口形状でなる。

【００１８】さらに本発明においては、発生する音声の
すべての母音と子音に対して、加重パラメータ時系列Ｗ
６、Ｗ７を形成する加重パラメータの要素データを設定
する。

【００１９】さらに本発明においては、発音情報１２に
よる子音の種類及び又は無音の頻度に応じて、口形状に
表れる子音の強さが変化するように、加重パラメータ時
系列Ｗ６、Ｗ７を生成する。

【００２０】さらに本発明においては、加重パラメータ
時系列Ｗ６、Ｗ７は、母音及び特殊音の加重パラメータ
時系列Ｗ６と、子音の加重パラメータ時系列Ｗ７を形成
した後、母音及び特殊音の加重パラメータ時系列Ｗ６と
子音の加重パラメータ時系列Ｗ７とを合成して形成す
る。

【００２１】さらに本発明において、加重パラメータ時
系列Ｗ８、Ｗ９は、母音の動きと子音の動きとの比率を
適切な値に保持するように、発音情報１２、母音発音情
報及び子音発音情報に基づいて値が時系列で変化する。

【００２２】

【作用】発音情報１２により発音のタイミングを基準に
して加重パラメータ時系列Ｗ６、Ｗ７を生成し、加重パ
ラメータ時系列Ｗ６、Ｗ７で多重内挿して口形状の変化
するアニメーシヨンＵ３を作成すれば、多重内挿法アニ
メーシヨンの利点を活かし、オブジエクトモデルに依存
しない表現豊かなリツプシンクアニメーシヨンを簡単に
生成することができる。

【００２３】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２４】（１）第１の実施例 （１−１）全体構成 図１において、１は全体としてリツプシンクアニメーシ
ヨンを生成するアニメーシヨン作成装置の全体構成を示
し、この実施例の場合、規則合成法で作成した音声と同
期するリツプシンクアニメーシヨンを生成する。

【００２５】すなわちこの実施例においてアニメーシヨ
ン作成装置１は、複素ケプストラム規則音声合成システ
ムを用いて音声規則合成部２で音声を合成するようにな
され、ここで複素ケプストラム規則音声合成システムに
おいては、発音記号とアクセント位置情報を記述した発
音テキストに基づいて音声を合成する。

【００２６】ここで図２に示すように発音情報は、音韻
情報及び発音タイミング情報で形成され、音韻情報は、
例えばローマ字、その他の記号で表すことができ、発音
タイミング情報は、各音韻が発音される時刻を所定の数
字データで表し得るようになされている。

【００２７】アニメーシヨン作成装置１においては、こ
の発音タイミング情報を基準にして加重パラメータ合成
部４で音韻情報から加重パラメータを生成する。さらに
アニメーシヨン作成装置１においては、この加重パラメ
ータに基づいてＭＩＭｅアニメーシヨン生成部６で口形
状モデルからアニメーシヨンを作成する。

【００２８】これによりアニメーシヨン作成装置１にお
いては、４つの静止パターン（内挿、基本オブジエク
ト）と３つの加重パラメータ時系列から動パターンを生
成するようになされている。

【００２９】（１−２）口形状パラメータ この実施例においてアニメーシヨン作成装置１は、口の
形状を表現する内挿オブジエクトとして３パターンの口
形状オブジエクトが予め設定されるようになされてい
る。

【００３０】ここで図３に示すように第１の口形状オブ
ジエクトは、下顎をおろして口を開いた「あ」の音声を
発生する口形状で（図３（Ａ））、第２の口形状オブジ
エクトは、歯を剥いて唇を横に引つ張つた「い」の音声
を発生する口形状（図３（Ｂ））、第３の口形状オブジ
エクトは、唇を窄めた「う」の音声を発生する口形状
（図３（Ｃ））が選定されるようになされている。

【００３１】これにより「え」の音声を発生する口形状
は、「あ」の音声を発生する口形状と「い」の音声を発
生する口形状との中間の口形状で表現し得、「お」の音
声を発生する口形状は、「あ」の音声を発生する口形状
と「う」の音声を発生する口形状との中間の口形状で表
現し得、これによりアニメーシヨン作成装置１は、母音
についての口形状オブジエクトを自由に選定及び作成し
得るようになされている。

【００３２】さらにこの実施例においてアニメーシヨン
作成装置１は、基本の口形状オブジエクトとして口を自
然に閉じた基本パターンが用意され（図３（Ｄ））、こ
れによりこの４つのパターンを用いてほぼ全ての口形状
を表現し得るようになされている。なおこのように３つ
の内挿オブジエクトに３種類の母音の口形状を選定すれ
ば、この３つの内挿オブジエクトをパラメータを設定す
る際の座標軸に選定した際、種々の口形状を直感的に把
握し得、その分全体の使い勝手を向上することができ
る。

【００３３】かくしてこの実施例においては、「あ」、
「い」、「う」に対応する形状と基本形の４パターンに
よつて日本語の発音形状を表現することにより、規則合
成法で作成した音声と同期するリツプシンクアニメーシ
ヨンを生成するようになされている。

【００３４】（１−３）加重パラメータ ここで日本語の音要素は、母音、子音、特殊音に分けら
れ、この実施例の場合それぞれに加重パラメータ要素を
選定する。ここで加重パラメータは、それぞれ内挿オブ
ジエクトで表現される３つの口形状パターンの内挿比を
決める３次元のベクトルで、この実施例の場合、この加
重パラメータ要素で加重パラメータの時系列を生成し、
この時系列を用いて一連のアニメーシヨンを作成する。

【００３５】この場合日本語の母音の発音における口形
状は、それぞれ内挿オブジエクトで表現される３つの口
形状パターンで表現できることにより、子音の発音にお
ける口形状も口形状パターンの時系列で表現し得るよう
にする。このためこの実施例においてアニメーシヨン作
成装置１は、母音について加重パラメータ要素を所定の
ベクトルパターンで定義し、子音については同様のベク
トルパターンを用いてこのベクトルパターンを変化させ
て表現する。

【００３６】すなわち図４に加重パラメータ要素を示す
ように、母音においては、「あ」、「い」、「う」の口
形状を３次元の座標軸上に取つて、それぞれの口形状を
１つの点として表現することができる。

【００３７】これに対して図５に示すように、子音にお
いては、「あ」、「い」、「う」の口形状でなる３次元
の座標軸に対して、軌跡として示すことができる。これ
により母音の口形状においては、所定のベクトルパター
ンで定義し得、また子音についても同様のベクトルパタ
ーンで表現することができる。

【００３８】これに対して長音、促音、無音でなる特殊
音について、アニメーシヨン作成装置１は、決まつた加
重パラメータ要素を設定せず、これに代えて加重パラメ
ータ時系列を生成する際、特殊音の前後関係に応じて前
後の加重パラメータ時系列から生成する。

【００３９】ところでアニメーシヨン作成装置１でリア
ルなリツプシングアニメーシヨンを作成するためには、
各音要素の口形状をうまく表現できるように各要素デー
タを設定する必要がある。このためこの実施例において
は、図５〜図３８に示すように、各子音に加重パラメー
タ要素データを割当て、これによりリアルなリツプシン
グアニメーシヨンを作成し得るようにした。なおここで
横軸は、子音の発音タイミング時刻を０として時間（ｍ
ｓ）を表し、縦軸は加重の強さを表す。さらに記号
「＠」は無音化した子音を表し、記号「ｑ」は鼻濁音の
「ｇ」を、記号「ｘ」は「ん」を表す。

【００４０】従つて図６においては、発音記号「ｋ」で
表される音声を発音した際の加重パラメータ要素データ
を、図７はその無音化した際の加重パラメータ要素デー
タを表す。さらに図８は、発音記号「ｓ」で表される音
声を発生した際の加重パラメータ要素データを表し、図
９はその無音化した際の加重パラメータ要素データを、
図１０は発音記号「ｓｈ」で表される音声の加重パラメ
ータ要素データを、図１１はその無音化した際の加重パ
ラメータ要素データを表す。

【００４１】さらに図１２は発音記号「ｔ」で表される
音声の加重パラメータ要素データを、図１３は発音記号
「ｃｈ」で表される音声の加重パラメータ要素データ
を、図１４はその無音化した際の加重パラメータ要素デ
ータを表す。さらに図１５は発音記号「ｔｓ」で表され
る音声の加重パラメータ要素データを、図１６はその無
音化した際の加重パラメータ要素データを、図１７は発
音記号「ｎ」で表される音声の加重パラメータ要素デー
タ、図１８は発音記号「ｈ」で表される音声の加重パラ
メータ要素データを表す。

【００４２】さらに図１９〜図３０は、それぞれ発音記
号「ｆ」、「ｍ」、「ｙ」、「ｒ」、「ｗ」、「ｇ」、
「ｑ」、「ｚ」、「ｊ」、「ｄ」、「ｂ」、「ｐ」で表
される音声の加重パラメータ要素データを、図３１〜図
３８は、それぞれ発音記号「ｋｙ」、「ｎｙ」、「ｈ
ｙ」、「ｍｙ」、「ｒｙ」、「ｇｙ」、「ｂｙ」、
「ｘ」で表される音声の加重パラメータ要素データを表
す。

【００４３】（１−４）加重パラメータの生成 図３９に示すようにアニメーシヨン作成装置１において
は、予め準備した口形状パターンと加重パラメータ要素
を用いて、発音情報に基づいて加重パラメータ時系列を
自動的に生成し、これによりリツプシングアニメーシヨ
ンを自動的に生成する。

【００４４】すなわちアニメーシヨン作成装置１におい
ては、子音だけの口の動きを記述する加重パラメータ時
系列Ｗ１、Ｗ３、Ｗ５（以下子音加重パラメータ時系列
と呼ぶ）と母音及び特殊音の口の動きを記述する加重パ
ラメータ時系列Ｗ０、Ｗ２、Ｗ４（以下母音加重パラメ
ータ時系列と呼ぶ）の２つの時系列を生成し、各加重パ
ラメータ時系列と「あ」、「い」、「う」の内挿オブジ
エクトとの間で多重内挿法を適用して２種類の口の動き
Ｕ１及びＵ２を生成する。

【００４５】続いてアニメーシヨン作成装置１において
は、多重内挿法を適用することにより、この２種類の口
の動きＵ１及びＵ２を所定の混合加重パラメータＷ６、
Ｗ７を用いてバランスよく混合し、これにより最終的な
リツプシングアニメーシヨンＵ３を生成する。ここでア
ニメーシヨン作成装置１は、各子音に対応する加重パラ
メータ要素を発音タイミングに従つて時間軸上に離散的
に並べた後、各要素の終端と次の要素の始端を補間する
ことにより、子音加重パラメータ時系列を生成する。

【００４６】このとき前後の子音の加重パラメータ要素
が時間軸上で重なる場合、アニメーシヨン作成装置１
は、内挿の手法を適用して子音加重パラメータ時系列を
生成することにより、連続的に変化するように子音加重
パラメータ時系列を生成する。

【００４７】これに対してアニメーシヨン作成装置１
は、各音の発音タイミング時刻について、加重パラメー
タを決定することにより、同様に加重パラメータ要素を
時間軸上に離散的に並べた後、補間処理によりこの間を
順次埋めるように加重パラメータ要素を設定し、これに
より母音加重パラメータ時系列を生成する。

【００４８】このときある発音タイミング時刻の音要素
が母音である場合、アニメーシヨン作成装置１は、その
時刻の加重パラメータ値をその母音の加重パラメータ要
素に設定するのに対し、ある発音タイミング時刻の音要
素が長音である場合、その直前の発音タイミング時刻の
加重パラメータ値をその時刻の加重パラメータ値に設定
する。

【００４９】さらにアニメーシヨン作成装置１において
は、ある発音タイミング時刻の音要素が促音である場合
は、その時刻の加重パラメータ値を０ベクトル（すなわ
ち３パラメータがすべて値０でなる）に設定するのに対
し、ある発音タイミング時刻の音要素が無音である場合
は、その直前の発音タイミング時刻の加重パラメータ値
から一定の減衰比を乗じた値をその時刻の加重パラメー
タ値に設定する。

【００５０】これにより規則合成法を適用して作成した
音声と同期するリツプシンクアニメーシヨンをリアルタ
イムで生成することができる。

【００５１】ところでこのようにして生成した母音加重
パラメータ時系列だけで口の動きを表現する場合、実際
の動きに対して違和感のある動きにしか表現し得ない。
このためこの実施例においては、２種類の口の動きＵ１
及びＵ２を所定の混合加重パラメータＷ６、Ｗ７を用い
てバランスよく混合し、これによりリアルで表情の豊か
な動きを実現する。

【００５２】このためには、混合の割合を決める加重パ
ラメータＷ６、Ｗ７（以下混合加重パラメータ時系列と
呼ぶ）の設定が重要になる。ここで混合加重パラメータ
時系列は、母音、子音両者の混合比を決める２次元のベ
クトルで、この実施例の場合、発音タイミング情報に基
づいて、発音のタイミングを中心にしてそれぞれ母音、
子音が相手を引き合うように混合加重パラメータ時系列
を生成し、これにより母音と子音の動きをなめらかに表
現する。

【００５３】このときアニメーシヨン作成装置１におい
ては、子音の音要素の種類に応じて、相手を引き合う強
さが切り換わるように、混合加重パラメータ時系列を切
り換えて生成するようになされ、これによりはつきりし
た口の形状として現われる例えば「ま」、「ぱ」、
「ば」などの子音を発音する口形状と、はつきりした口
の形状として現われない例えば「か」、「は」などの子
音について、この子音を発音する口形状の違いを表現す
るようになされている。

【００５４】これによりアニメーシヨン作成装置１にお
いては、リアルで表情の豊かなリツプシングアニメーシ
ヨンＵ３を生成することができた。さらに２つの動きの
混合とすることにより、母音と子音の前後関係による相
互作用も表現できる。

【００５５】具体的には、単音として「く」と発音した
場合、「う」に比べて口の動きがはつきり現われるのに
対し、一連の発音の中の「く」は母音を発音するために
口の動きためにはつきりと現われない特徴があり、この
ような表情も表現することができた。

【００５６】さらに図４０及び図４１に示すように、実
際に人が話すように、話す速度によつても口形状が変化
することを確認し得た。この場合「あいうえお」と「か
きくけこ」の違いは子音［ｋ］によるものであるが、ゆ
つくり話たときと、はやく話したときとで［ｋ］の表れ
かたが違うことがわかる。

【００５７】さらに図４２に示すように、このように２
種類の口の動きＵ１及びＵ２を所定の混合加重パラメー
タで混合することにより、このバランスを調整して特徴
のある話かたを作ることができる。すなわち図４２にお
いては、母音の口の動きＵ２と子音の口の動きＵ１の混
合比を可変した場合の口形状で、右側に行く程母音の混
合比大きくした場合を表す。

【００５８】これにより実際の口の動きを反映するよう
に加重パラメータ時系列を自動的に生成することがで
き、これにより多重内挿法を適用して予め設定された口
形状パターンを用いてリアルタイムで自動的にアニメー
シヨンを作成することができる。さらにこのとき日本語
の発音情報（すなわち音要素とタイミングでなる）を入
力するだけで簡易にリツプシンクアニメーシヨンを作る
ことができ、さらに各子音による口形状の違いが表現で
きることにより、リアルなアニメーシヨンを作成するこ
とができる。

【００５９】また音声合成システムとの併用により、日
本語のテキスト情報を読み上げるアニメーシヨンを自動
的に作成することもできる。さらに同じ動きデータを違
う口（オブジエクトモデル）で共有することができ、こ
れにより動きデータをライブラリ化するもできる。

【００６０】すなわち多重内挿法アニメーシヨンの加重
パラメータは、オブジエクトモデルに依存しない特徴が
ある。従つて通常のアニメーシヨン作成装置において、
例えばいくつかの代表点で構成されているオブジエクト
について、このオブジエクトの動きを各代表点の動きの
時系列として表現し、このとき対象となるオブジエクト
の代表点数を変更して元の動きデータを適用し得なくな
つた場合でも多重内挿法アニメーシヨンにおいては、代
表点数を変更しても元の動きデータを適用し得ることに
よりアニメーシヨンデータのライブラリ化を図ることが
できる。

【００６１】従つてこの実施例によれば、動きのデータ
としての加重パラメータ時系列を種々のオブジエクトに
共通に使用することができる。また内挿オブジエクトモ
デルの設定を変更すれば、同じ動きデータで口以外のオ
ブジエクトを言葉に同期して動かすこともできる。

【００６２】（１−５）実施例の効果 以上の構成によれば、多重内挿法を適用して口形状のア
ニメーシヨンを作成する際に、発音のタイミングに基づ
いて加重パラメータ時系列を生成することにより、話す
言葉に合わせて口を動かすことができるオブジエクトモ
デルに依存しない表現豊かなリツプシンクアニメーシヨ
ンを簡単に生成することができる。

【００６３】（２）第２の実施例 （２−１）全体構成 図４３においては、１０は全体として第２の実施例によ
るアニメーシヨン作成装置を示し、第１の実施例と同様
に発音情報を使用して加重パラメータ時系列を自動的に
生成する。

【００６４】アニメーシヨン作成装置１０においては、
この発音情報１２を発音情報分離部１４に与え、ここで
テキスト処理を実行して母音及び子音の発音情報に分離
し、それぞれ母音発音情報及び子音発音情報として動き
情報生成部１６及び１８に出力する。

【００６５】動き情報生成部１６及び１８は、それぞれ
母音発音情報及び子音発音情報に基づいて口形状の変化
を表すパラメータ時系列を生成する。すなわち図４４に
示すように動き情報生成部１６及び１８は、母音発音情
報及び子音発音情報でなる発音情報を発音情報入力部２
０に入力し、この発音情報を発音情報メモリ２２に格納
する。

【００６６】動き情報生成部１６及び１８は、予め設定
した口形状パラメータを口形状データメモリ２４に格納
するようになされ、演算装置２６は、発音情報メモリ２
２に格納した発音情報を順次読み出し、この発音情報に
基づいて口形状データメモリ２４に格納した口形状パラ
メータについて対応する口形状パラメータを順次選択す
る。

【００６７】さらに演算装置２６は、選択した口形状パ
ラメータを動き情報時系列メモリ２８に格納し、このと
き発音タイミング情報から得られる発音のタイミングに
応じて所定のアドレスを選択して口形状パラメータを格
納する。これに対して動き情報出力部３０は、アドレス
順に情報時系列メモリ２８の内容を読み出して出力し、
これにより口形状パラメータの時系列でなる動き情報時
系列を動き情報合成部３２に出力する。

【００６８】これにより動き情報生成部１６及び１８
は、第１の実施例と同様の手法を適用して口形状パラメ
ータの時系列でなる動き情報時系列を母音動き情報及び
子音動き情報として出力する。

【００６９】動き情報合成部３２は、この母音動き情報
及び子音動き情報と合成バランスパラメータを使用して
１つの動き情報を生成する。すなわち図４５に示すよう
に動き情報合成部３２は、動き入力部３４を介して母音
動き情報及び子音動き情報を入力するのに対し、合成バ
ランスパラメータ入力部３６を介して合成バランスパラ
メータを入力し、順次演算装置３８で演算処理する。

【００７０】このとき演算装置３８においては、順次所
定の時間間隔で多重内挿演算処理を実行することによ
り、時系列データでなる動き情報を生成し、この動き情
報を動き情報出力部４０を介して画像生成装置４２に出
力する。ここで画像生成装置４２は、この動き情報に基
づいてリツプシングアニメーシヨンを作成し、モニタ装
置４４に表示する。

【００７１】ここで合成バランスパラメータは、母音及
び子音でなる２つの口形状パラメータを内挿するための
加重パラメータで、この実施例においては、この合成バ
ランスパラメータを用いることにより、表情の豊かなリ
ツプシングアニメーシヨンを作成する。

【００７２】（２−２）合成バランスパラメータ ここで図４６に示すように、合成バランスパラメータに
おいては、合成バランスパラメータ生成部４６で発音情
報１２、母音発音情報及び子音発音情報に基づいて生成
され、母音動き情報及び子音動き情報に対して第１の実
施例の混合加重パラメータＷ６、Ｗ７（図３９）と同一
の関係にある。

【００７３】この実施例においては、この合成バランス
パラメータを合成バランスパラメータ時系列Ｗ７、Ｗ８
として使用し、これにより母音の動きと子音の動きとの
比率を適切な関係に保持し、表情の豊かなリツプシング
アニメーシヨンを作成する。

【００７４】すなわち合成バランスパラメータ生成部４
６においては、各発音のタイミングで値が最大になり、
この最大値のタイミングから遠ざかるに従つて値が除々
に小さくなるように合成バランスパラメータを生成す
る。これによりアニメーシヨン作成装置１０において
は、母音の動きと子音の動きとが、互いに相手の動きを
妨害するような動きを未然に防止し得、リアルなリツプ
シングアニメーシヨンを作成することができる。

【００７５】さらに合成バランスパラメータ生成部４６
においては、発音のタイミングを順次検出することによ
り、各音韻の時間間隔を検出し、これにより発音の速度
情報を検出する。

【００７６】さらに合成バランスパラメータ生成部４６
においては、この速度情報に基づいて発音の速度が大き
いとき、母音、子音の何れかの動きが小さくなるよう
に、または双方の動きが小さくなるように合成バランス
パラメータを生成する。これによりアニメーシヨン作成
装置１０においては、発音の速度が大きいときでも滑ら
かさを失わないリアルなリツプシングアニメーシヨンを
作成することができる。

【００７７】さらに合成バランスパラメータ生成部４６
においては、音韻固有の情報を所定のメモリ回路に格納
し、これにより子音の音韻に応じて、その口形状に表れ
る重要度を重み情報値として格納する。これによりアニ
メーシヨン作成装置１０においては、この値に基づいて
合成バランスパラメータを補正し、かくしてよりリアル
なリツプシングアニメーシヨンを作成することができ
る。

【００７８】（２−３）第２の実施例の効果 図４３の構成によれば、発音情報、母音発音情報及び子
音発音情報に基づいて合成バランスパラメータを生成
し、これにより母音の動きと子音の動きとの比率を適切
な関係に保持することにより、表情の豊かなリツプシン
グアニメーシヨンを作成することができる。

【００７９】（３）他の実施例 なお上述の第２の実施例においては、口形状パラメータ
の時系列として動き情報時系列を動き情報生成部から出
力する場合について述べたが、本発明はこれに限らず、
図４７に示すように加重パラメータ要素を格納する加重
パラメータ要素メモリ４８と、この加重パラメータ要素
で生成した加重パラメータ時系列を格納する加重パラメ
ータ時系列データメモリ５０を動き情報生成部に加え、
これにより動き情報出力部３０から直接加重パラメータ
時系列を出力するようにしてもよい。

【００８０】さらに上述の実施例においては、音声合成
システムから発音情報を入力する場合について述べた
が、本発明はこれに限らず、例えば肉声から発音情報を
検出し、この発音情報を用いるようにしてもよい。

【００８１】さらに上述の実施例においては、ゆつくり
話す場合と速く話す場合とで加重パラメータを切り換え
る場合について述べたが、本発明はこれに限らず、発音
タイミング情報だけでなく他の情報を併せて用いて加重
パラメータを切り換えるようにしてもよい。すなわち母
音加重パラメータ時系列の振幅は、口の開け方の大きさ
と関係がある。これに対して子音加重パラメータ時系列
の振幅は、口の動きの派手さに関係している。従つて例
えば、音声の音量や声の調子などの情報を検出し、この
検出結果に基づいて混合加重パラメータを変調すれば、
音声のイメージにより近いアニメーシヨンを生成するこ
とができる。

【００８２】

【発明の効果】上述のように本発明によれば、発音情報
より得られる発音のタイミングを基準にして加重パラメ
ータ時系列を生成し、この加重パラメータ時系列で多重
内挿して口形状の変化するアニメーシヨンを生成するこ
とにより、多重内挿法アニメーシヨンの利点を活かし、
オブジエクトモデルに依存しない表現豊かなリツプシン
クアニメーシヨンを簡単に生成することができる画像作
成装置を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例によるアニメーシヨン作成装
置の全体構成を示す略線図である。

【図２】発音情報を示す略線図である。

【図３】口形状オブジエクトを示す略線図である。

【図４】母音の加重パラメータ要素を示す特性曲線図で
ある。

【図５】子音の加重パラメータ要素を示す特性曲線図で
ある。

【図６】発音記号「ｋ」で表される音声の加重パラメー
タ要素データを表す特性曲線図である。

【図７】その無音化した際の加重パラメータ要素データ
を表す特性曲線図である。

【図８】発音記号「ｓ」で表される音声の加重パラメー
タ要素データを表す特性曲線図である。

【図９】その無音化した際の加重パラメータ要素データ
を表す特性曲線図である。

【図１０】発音記号「ｓｈ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図１１】その無音化した際の加重パラメータ要素デー
タを表す特性曲線図である。

【図１２】発音記号「ｔ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図１３】発音記号「ｃｈ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図１４】その無音化した際の加重パラメータ要素デー
タを表す特性曲線図である。

【図１５】発音記号「ｔｓ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図１６】その無音化した際の加重パラメータ要素デー
タを表す特性曲線図である。

【図１７】発音記号「ｎ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図１８】発音記号「ｈ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図１９】発音記号「ｆ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２０】発音記号「ｍ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２１】発音記号「ｙ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２２】発音記号「ｒ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２３】発音記号「ｗ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２４】発音記号「ｇ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２５】発音記号「ｑ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２６】発音記号「ｚ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２７】発音記号「ｊ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２８】発音記号「ｄ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図２９】発音記号「ｂ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図３０】発音記号「ｐ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図３１】発音記号「ｋｙ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図３２】発音記号「ｎｙ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図３３】発音記号「ｈｙ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図３４】発音記号「ｍｙ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図３５】発音記号「ｒｙ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図３６】発音記号「ｇｙ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図３７】発音記号「ｂｙ」で表される音声の加重パラ
メータ要素データを表す特性曲線図である。

【図３８】発音記号「ｘ」で表される音声の加重パラメ
ータ要素データを表す特性曲線図である。

【図３９】リツプシングアニメーシヨンの自動生成の説
明に供する略線図である。

【図４０】ゆつくり話した場合の口の動きを示す特性曲
線図である。

【図４１】速く話した場合の口の動きを示す特性曲線図
である。

【図４２】実際の口の動きを示す略線図である。

【図４３】第２の実施例によるアニメーシヨン作成装置
を示すブロツク図である。

【図４４】動き情報生成部を示すブロツク図である。

【図４５】動き情報合成部を示すブロツク図である。

【図４６】合成バランスパラメータの説明に供する略線
図である。

【図４７】動き情報生成部の他の実施例を示すブロツク
図である。

【図４８】多重内挿法を適用したアニメーシヨン作成の
説明に供する略線図である。

【符号の説明】

１、１０……アニメーシヨン作成装置、２……音声規則
合成部、４……加重パラメータ生成部、６……ＭＩＭｅ
アニメーシヨン生成部、１２……発音情報、１４……発
音情報分離部、１６、１８……動き情報生成部、３２…
…動き情報合成部。

Claims (6)

【特許請求の範囲】
1. 【請求項１】多重内挿法によるアニメーシヨンデータを
   作成する画像作成装置において、 予め設定した口形状に対して、発音情報に基づいて内挿
   パラメータを生成した後、上記発音情報により発音のタ
   イミングを基準にして加重パラメータ時系列を生成し、
   上記加重パラメータ時系列で多重内挿することにより、
   上記発音情報に応じて口形状の変化するアニメーシヨン
   を作成することを特徴とする画像作成装置。
2. 【請求項２】上記予め設定した口形状は、「あ」を発音
   する口形状、「い」を発音する口形状及び「う」を発音
   する口形状でなることを特徴とする請求項１に記載の画
   像作成装置。
3. 【請求項３】発生する音声のすべての母音と子音に対し
   て、上記加重パラメータ時系列を形成する加重パラメー
   タの要素データを設定したことを特徴とする請求項１又
   は請求項２に記載の画像作成装置。
4. 【請求項４】上記発音情報による子音の種類及び又は無
   音の頻度に応じて、口形状に表れる子音の強さが変化す
   るように、上記加重パラメータ時系列を生成することを
   特徴とする請求項１、請求項２又は請求項３に記載の画
   像作成装置。
5. 【請求項５】上記加重パラメータ時系列は、母音及び特
   殊音の加重パラメータ時系列と、子音の加重パラメータ
   時系列を形成した後、上記母音及び特殊音の加重パラメ
   ータ時系列と上記子音の加重パラメータ時系列とを合成
   して形成することを特徴とする請求項１、請求項２、請
   求項３又は請求項４に記載の画像作成装置。
6. 【請求項６】上記加重パラメータ時系列は、母音の動き
   と子音の動きとの比率を適切な値に保持するように、発
   音情報、母音発音情報及び子音発音情報に基づいて値が
   時系列で変化するように生成されることを特徴とする請
   求項５に記載の画像作成装置。