JPH08123977A

JPH08123977A - アニメーションシステム

Info

Publication number: JPH08123977A
Application number: JP25857094A
Authority: JP
Inventors: Minoru Yamamoto; 実山本
Original assignee: IMEEJI RINKU KK
Current assignee: IMEEJI RINKU KK
Priority date: 1994-10-24
Filing date: 1994-10-24
Publication date: 1996-05-17
Anticipated expiration: 2020-07-27
Also published as: JP3674875B2

Abstract

(57)【要約】【目的】本発明はアニメーションシステムに関し、音
声に応じてキャラクターの口をリアルタイムで細かに動
かすことができ、キャラクターがときおり細かな仕草を
行って生命感を持った動作を行い、表現が豊かなリアル
タイムキャラクターアニメーションを行うことのできる
ことを目的とする。【構成】音声分析手段Ｍ１は、供給される音声を分析
して音声パラメータを得る。アニメーションデータベー
スＭ２は、アニメーションを構成するキャラクターの画
像情報を予め格納している。画像情報取得手段Ｍ３は、
音声パラメータに基づき上記アニメーションデータベー
スから画像情報を取得する。映像信号生成手段Ｍ４は、
画像情報取得手段で取得した画像情報からアニメーショ
ン表示用の映像信号を生成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はアニメーションシステム
に関し、特にキャラクターアニメーションをリアルタイ
ムに行うアニメーションシステムに関する。

【０００２】

【従来の技術】従来より、コンピュータグラフィックス
でキャラクターが話をするときの動作（トーキングアニ
メーション）を人間の音声でコントロールするシステム
がある。従来のトーキングアニメーションは、例えば音
声を検出したときに、口を閉じたキャラクターの画像
と、口を開けたキャラクターの画像とを交互に表示し、
音声に同期した口の動きを表現している。

【０００３】

【発明が解決しようとする課題】従来のトーキングアニ
メーションは単に音声が発せられたとき、これに同期し
てキャラクターの口がパクパク動くだけであり、この音
声の大きさや音質に従ったアニメーションを行うことは
できず、また、音声が発せられてないときはキャラクタ
ーは動きがなく静止してしまい、表現が乏しいという問
題があった。

【０００４】本発明は上記の点に鑑みなされたもので、
音声に応じてキャラクターの口をリアルタイムで細かに
動かすことができ、キャラクターがときおり細かな仕草
を行って生命感を持った動作を行い、表現が豊かなリア
ルタイムキャラクターアニメーションを行うことのでき
るアニメーションシステムを提供することを目的とす
る。

【０００５】

【課題を解決するための手段】請求項１に記載の発明
は、図１の原理図に示す如く、供給される音声を分析し
て音声パラメータを得る音声分析手段Ｍ１と、アニメー
ションを構成するキャラクターの画像情報を予め格納し
たアニメーションデータベースＭ２と、上記音声パラメ
ータに基づき上記アニメーションデータベースから画像
情報を取得する画像情報取得手段Ｍ３と、上記画像情報
取得手段で取得した画像情報からアニメーション表示用
の映像信号を生成する映像信号生成手段Ｍ４とを有す
る。

【０００６】請求項２に記載の発明は、前記音声パラメ
ータに対応するアニメーションデータベース内の複数の
画像情報のうちどの画像情報を取得するかを決定するた
めのアニメーションパラメータを、上記音声パラメータ
と同一音声パラメータの継続時間とに基づき生成するア
ニメーションパラメータ生成手段を有し、前記画像情報
取得手段は上記音声パラメータとアニメーションパラメ
ータとに基づき画像情報を取得する。

【０００７】請求項３に記載の発明は、キャラクターの
動作と表情との少なくとも一方を選択する選択スイッチ
を有し、前記画像情報取得手段は、上記選択スイッチで
選択された動作又は表情で、前記音声パラメータに基づ
くリップパターンのキャラクターの画像情報を取得す
る。

【０００８】請求項４に記載の発明では、前記画像情報
取得手段は、前記音声パラメータに基づきキャラクター
の表情とリップパターンとを選択して画像情報を取得す
る。

【０００９】

【作用】請求項１に記載の発明においては、音声を分析
した音声パラメータに基づきキャラクターの画像情報を
取得してアニメーション表示用の映像信号を生成するた
め、音声に応じてキャラクターの口をリアルタイムで動
かすことができる。請求項２に記載の発明においては、
音声パラメータとアニメーションパラメータとに基づい
て画像情報を取得するため、同一音声パラメータの継続
時間が長くなるとキャラクターがときおり細かな仕草を
行って生命感のある豊かなキャラクター表現を行うこと
ができる。

【００１０】請求項３に記載の発明においては、キャラ
クターの動作や表情を選択スイッチで選択し、リップパ
ターンを音声パラメータから選択するため、キャラクタ
ーは音声に応じた口の動きの他に動作や表情を自由に変
えることができ、表現が豊かになる。請求項４に記載の
発明においては、キャラクターの表情及びリップパター
ンを音声パラメータに応じて選択するため、キャラクタ
ーは音声に応じて表情及び口の動きを自動的に変化する
ことができ、選択スイッチの数を減らすことができ、簡
単な操作で豊かな表現のアニメーションが可能となる。

【００１１】

【実施例】図２は本発明システムの一実施例の機能構成
図を示す。同図中、入力装置１０は例えばマイクロホン
又はライン入力端子であり、この入力装置１０で得られ
た音声信号はアンプ及びフィルタ１１において増幅さ
れ、かつ不要周波数成分を除去されて音声分析部１２に
供給される。音声分析手段Ｍ１である音声分析部１２
は、アニメーションジェネレータ１５から音声パラメー
タ取得トリガ信号を供給されると、音声信号のレベル
（音圧）及び周波数（音高）を解析して音圧パラメー
タ、音高パラメータ、音圧変化パラメータ、音高変化パ
ラメータ夫々を得て、これらのパラメータを用いて音声
パラメータファイル１６を参照して音声パラメータを得
る。音声パラメータファイル１６は例えば男性と女性と
で別々に設けられてており、入力音声が男性か女性かに
よって選択して使用する。

【００１２】アニメーションパラメータ生成手段である
アニメーションパラメータ生成部１７は、上記の音声パ
ラメータを用いてアニメーションパラメータファイル１
８を参照してアニメーションパラメータを得る。このア
ニメーションパラメータは音声パラメータと共にアニメ
ーションジェネレータ１５に供給される。選択スイッチ
２０は会話アクションや表情の切換えを指示するもの
で、選択したキーの情報つまりキーステータスはアニメ
ーションジェネレータ１５に供給される。

【００１３】画像情報取得手段Ｍ３であるアニメーショ
ンジェネレータ１５は選択スイッチ２０からのキーステ
ータスと、音声分析部１２からの音声パラメータとによ
ってアニメーションデータグループを選択し、更にアニ
メーションパラメータ生成部１７からのアニメーション
パラメータによってキャラクターの顔の向き等の動作、
表情、及び口の形状であるリップパターンを選択し、こ
れらにアニメーションパラメータ生成部１７からのアニ
メーションパラメータを加えてアニメーションデータベ
ース２１（Ｍ２）を参照してパターンデータを取得して
画像表示装置２２に供給する。映像信号生成手段Ｍ４で
ある画像表示装置２２はこのパターンデータを背景画デ
ータと合成して画像メモリ２３に書き込み、この画像メ
モリ２３から順次画像データを読み出して映像信号を生
成し、これをディスプレイ装置２４に供給してアニメー
ションの表示を行う。

【００１４】なお、アニメーションパラメータファイル
１８及びアニメーションデータベース２１はキャラクタ
毎に設けられており、使用するキャラクタに合わせて選
択し使用する。図３は音声分析部１２が実行する音声分
析処理のフローチャートを示す。この処理はアニメーシ
ョンジェネレータ１５より音声パラメータ取得トリガが
供給されることにより開始される。同図中、ステップＳ
１０ではアンプ及びフィルタ１１から供給される音声信
号のピッチシフト処理を行う。この加工処理としては、
入来する音声が男声の声の場合には例えば周波数２００
〜４０００Ｈｚの帯域を周波数２５０〜５０００Ｈｚの
帯域に周波数シフトを行う。これは音圧検知を容易とす
るために行われるもので必ずしも必要ではない。

【００１５】次にステップＳ１２では加工処理された音
声信号のレベルをＡ／Ｄ変換して例えば８ビットの音声
データ即ち音圧パラメータとする。ステップＳ１４では
前回取得音圧パラメータと今回取得した音圧パラメータ
との差を算出して音圧変化パラメータを得る。この後、
ステップＳ１６で今回取得した音圧パラメータを前回取
得音圧パラメータとして保存する。

【００１６】次にステップＳ２０でアンプ及びフィルタ
１１から供給される音声信号の不要周波数帯域をカット
する。ここでは人間の音声の主な帯域である周波数２０
０〜４０００Ｈｚの帯域を残し、２００Ｈｚ未満の帯域
及び４０００Ｈｚを越える帯域をカットする。次にステ
ップＳ２２で上記周波数２００〜４０００Ｈｚの帯域を
例えば１０分割し、各帯域毎に音声信号レベルをＡ／Ｄ
変換する。この後、ステップＳ２４で１０分割された帯
域の中でレベルが最大の帯域の中心周波数を音高パラメ
ータとする。なお音圧パラメータとしては音声の基音の
周波数を用いても良い。

【００１７】次にステップＳ２６では前回取得音高パラ
メータと今回取得した音高パラメータとの差を算出して
音高変化パラメータを得る。この後、ステップＳ２８で
今回取得した音高パラメータを前回取得音高パラメータ
として保存する。この後、ステップＳ３０では今回取得
した音圧パラメータ、音圧変化パラメータ、音高パラメ
ータ、音高変化パラメータを用いて音声パラメータファ
イル１６を参照し音声パラメータを得る。この音声パラ
メータとは上記音圧パラメータ、音圧変化パラメータ、
音高パラメータ、音高変化パラメータをコード化したも
ので、アニメーションパターンを決定するための条件デ
ータである。上記ステップＳ３０で取得した音声パラメ
ータはステップＳ３２で出力され、処理が終了する。

【００１８】図４はアニメーションパラメータ生成部１
７が実行するアニメーションパラメータ生成処理のフロ
ーチャートを示す。同図中、ステップＳ４０では音声分
析部１２から供給される音声パラメータを取り込み、ス
テップＳ４２で前回取り込み保存されている音声パラメ
ータと比較し、ステップＳ４４でその比較結果が一致し
たかどうかを判別する。

【００１９】ここで、不一致の場合はステップＳ４６に
進み、タイマをリセットする。この後、ステップＳ４８
で今回取り込んだ音声パラメータからアニメーションパ
ラメータファイル１８を参照してアニメーションパラメ
ータを生成するための条件データ、つまりアニメーショ
ンキャラクターに対応したパターンバリエーションと夫
々の出現頻度のデータを得て、この条件データとタイマ
で計測した継続時間とに基づきアニメーションパラメー
タを決定する。次にステップＳ５０で今回取り込んだ音
声パラメータを保存する。

【００２０】一方、ステップＳ４４で今回取り込んだ音
声パラメータが保存されている前回のパラメータと一致
する場合はステップＳ５２でタイマで計測されている継
続時間を取り込む。次にステップＳ５４で音声パラメー
タが口閉じ状態を指示し、かつ継続時間が一定時間を越
えているかどうかを判別する。ここで、口開き状態又は
口閉じ状態で一定時間経過してない場合はステップＳ５
６に進んで音声パラメータからアニメーションパラメー
タファイル１８を参照して条件データを得て、この条件
データと継続時間保存された前回のアニメーションパラ
メータとに基づきアニメーションパラメータを決定す
る。また、口閉じ状態で一定時間を越えている場合はス
テップＳ５８で音声パラメータからアニメーションパラ
メータファイル１８を参照して条件データを得、この条
件データと継続時間保存された前回のアニメーションパ
ラメータとに基づき、アイドルモードのアニメーション
パラメータを決定する。次にステップＳ６０でタイマを
リセットする。

【００２１】次に、ステップＳ６２では上記のステップ
Ｓ５０，Ｓ５６，Ｓ６０のいずれかで決定されたアニメ
ーションパラメータを保存し、ステップＳ６４では決定
されたアニメーションパラメータをアニメーションジェ
ネレータ１５に供給して、処理を終了する。アニメーシ
ョンジェネレータ１５は図５の機能ブロック図に示す如
く、アニメーションデータグループ選択部１５ａとパタ
ーンデータ決定取得部１５ｂとより構成されている。ア
ニメーションデータグループ選択部１５ａは選択スイッ
チ２０のキーステータスを読取り、音声分析部１６の出
力する音声パラメータを取込んでアニメーションデータ
グループを選択する。パターンデータ取得部１５ｂはア
ニメーションデータグループ選択部１５ａで選択された
アニメーションデータグループとアニメーションパラメ
ータ生成部１７から供給されるアニメーションパラメー
タとによってアニメーションデータベース２１を参照し
てパターンデータを取得し、画像表示制御部２２へ供給
する。

【００２２】図６はアニメーションデータグループ選択
部１５ａによる顔向き選択処理のフローチャートを示
す。この処理は所定時間毎に実行される。同図中、ステ
ップＳ７０では選択スイッチ２０にキーステータスを要
求し、ステップＳ７２でキーステータスを取得する。次
にステップＳ７４でこのキーステータスから向き選択キ
ーが押されているか否かを判別し、押されていない場合
はステップＳ７６で正面向きを選択して処理を終了す
る。押されている場合はステップＳ７８で押されている
向き選択キーに対応して左向き又は右向きを選択して処
理を終了する。

【００２３】ここで、キャラクターの顔向き等の動作は
例えば図７に示す如く、正面向き、右向き、左向きの３
種類であり、選択スイッチ２０の顔向きのキーステータ
スが無い場合は正面向きが指定されたものとみなされ
る。３種類の顔向きは相互に制限なく移行することがで
き、例えば、正面向きの状態で右向きのキーステータス
が指示されれば、キャラクターの顔向きはキーステータ
スで指示された右向きに変わる。

【００２４】図８はアニメーションデータグループ選択
部１５ａによる表情選択処理のフローチャートを示す。
この処理は所定時間毎に実行される。同図中、ステップ
Ｓ８０では選択スイッチ２０にキーステータスを要求
し、ステップＳ８２でキーステータスを取得する。次に
ステップＳ８４でこのキーステータスから表情選択キー
が押されているか否かを判別し、押されていない場合は
ステップＳ８６でノーマルの表情を選択して処理を終了
する。押されている場合はステップＳ７８で押されてい
る表情選択キーに対応して喜び又は怒り又は驚き又は哀
みいずれかの表情を選択して処理を終了する。

【００２５】ここで、キャラクターの表情は例えば図９
に示す如く、ノーマル、喜び、怒り、驚き、哀みの５種
類であり、選択スイッチ２０の表情のキーステータスが
無い場合はノーマルが指定されたものとみなされる。５
種類の表情は相互に制限なく移行することができ、例え
ば、ノーマルの状態で驚きのキーステータスが指示され
れば、キャラクターの表情はキーステータスで指示され
た驚きに変わる。なお、上記５種類の表情は、正面向
き、右向き、左向き夫々毎に用意されている。

【００２６】図１０はアニメーションデータグループ選
択部１５ａによるリップパターン選択処理のフローチャ
ートを示す。この処理は所定時間毎に実行される。同図
中、ステップＳ９０で音声分析部１６に音声パラメータ
取得トリガーを供給し、ステップＳ９２で音声パラメー
タを取得する。次にステップＳ９４でこの音声パラメー
タが口開きを指示しているか否かを判別し、口開きを指
示していない場合はステップＳ９６で口閉じリップパタ
ーンを選択して処理を終了する。口開きを指示している
場合はステップＳ９８で音声パラメータで指示されてい
る小さな口開き又は中ぐらいの口開き又は大きな口開き
のリップパターンを選択して処理を終了する。

【００２７】ここで、キャラクターのリップパターンは
例えば図１１に示す如く、口閉じ、口開き（小）、口開
き（中）、口開き（大）の４種類である。なお、口閉じ
は音声入力がないことに対応している。３種類のリップ
パターンは相互に制限なく移行することができ、例え
ば、口閉じの状態で口開き（大）の音声パラメータが取
得されれば、キャラクターのリップパターンは音声パラ
メータで指示された口開き（大）に変わる。なお、上記
４種類のリップパターンはノーマル、喜び、怒り、驚
き、哀み夫々毎に用意されている。

【００２８】上記の顔向きと表情とリップパターンとの
組合せによりアニメーションデータグループが指定さ
れ、これにアニメーションパラメータを加えることによ
りアニメーションデータベース２１を参照するキーが得
られる。アニメーションデータベースは例えば図１２に
示す如く、３種類の顔向きの下層に５種類の表情が連な
り、表情の下層に４種類のリップパターンが連なり、リ
ップパターンの下層にアニメーションパラメータが連な
る階層構造である。アニメーションパラメータは基本形
正面パターン、基本形左傾パターン、基本形右傾パター
ンと、複数のゆらぎパターンと複数のアイドルパターン
とを区別するためのものである。なお、アイドルパター
ンは口閉じのリップパターンに対してのみ設けられ、口
開きのリップパターンに対しては設けられていない。

【００２９】ここで、顔向きが正面向き、表情がノーマ
ル、リップパターンが口閉じのアニメーションデータグ
ループには例えば図１３に示す如く、基本形正面パター
ンＰ ₁と基本形左傾パターンＰ₂と、基本形右傾パター
ンＰ₃と、ゆらぎパターン群ＦＰ₁と、アイドルパター
ン群ＩＰ₁が含まれる。ゆらぎパターン群ＦＰ₁は例え
ば図１４に示す如く、正面の瞬き、眉動き、耳動き夫々
のパターンＰ₁₁，Ｐ₁₂，Ｐ₁₃と、左傾の瞬き、眉動き、
耳動き夫々のパターンＰ₁₄，Ｐ₁₅，Ｐ₁₆と、右傾の瞬
き、眉動き、耳動き夫々のパターンＰ₁₇，Ｐ₁₈，Ｐ₁₉を
含む。

【００３０】また、アイドルパターン群ＩＰ₁は例えば
図１５に示す如く、目左向きのパターンＰ₂₁、瞬きのパ
ターンＰ₂₂、目右向きのパターンＰ₂₃、左上向きのパタ
ーンＰ₂₄、頬膨らみのパターンＰ₂₅、右上向きのパター
ンＰ₂₆、眉動きのパターンＰ ₂₇、耳動きのパターン
Ｐ₂₈、及び足踏みの連続パターンＰ₃₀，Ｐ₃₁，Ｐ₃₂を含
む。

【００３１】アニメーションパラメータ生成部１７は図
４に示す処理によって、図１３乃至図１５に示す各種パ
ターンの中から表示しようとするパターンのアニメーシ
ョンパラメータを決定している。例えばステップＳ４８
では基本形パターンＰ₁〜ＰＰ₃のいずれかのアニメー
ションパラメータの指示を決定する。ステップＳ５６で
は基本形パターンＰ₁〜Ｐ₃とゆらぎパターン群ＦＰ₁
の各パターンＰ₁₁〜Ｐ₁₇のいずれかのアニメーションパ
ラメータの指示を決定する。このとき継続時間と前回の
アニメーションパラメータに基づいて決定が行われるた
め、例えは基本形パターンＰ₁を数秒連続して表示した
後、ゆらぎパターン群ＦＰ₁の基本形Ｐ₁と同形のパタ
ーンＰ₁₁〜Ｐ₁₃内の例えばパターンＰ₁₁を表示し、その
後基本形パターンＰ₁を表示することにより、キャラク
ターが瞬きする動作を表現ができる。

【００３２】ステップＳ５８ではアイドルパターン群Ｉ
Ｐ₁の各パターンＰ₂₁〜Ｐ₃₂のいずれかのアニメーショ
ンパラメータの指示を決定する。例えば基本形パターン
Ｐ₁をゆらぎパターンを挿入しつつ一定時間表示した
後、アイドルパターン群ＩＰ₁の例えばパターンＰ₂₄を
表示し、その後基本形パターンＰ₁を表示することによ
りキャラクターが左上向き動作を表現できる。またパタ
ーンＰ₂₄の代りに連続パターンＰ₃₀，Ｐ₃₁，Ｐ₃₂を表示
することによりキャラクターが足踏みする動作を表現で
きる。

【００３３】このように口閉じのリップパターンを持つ
アニメーションデータグループでアイドルパターン群が
設定されているのは音声入力がないためにリップパター
ンが変化せずキャラクターの動きが少なくなるので、こ
のような状態で少しでもキャラクターを動作させるため
である。また、顔向きが正面向き、表情がノーマル、リ
ップパターンが口開き（中）のアニメーションデータグ
ループには例えば図１６に示す如く、基本形正面パター
ンＰ₄₁と基本形左傾パターンＰ₄₂と、基本形右傾パター
ンＰ₄₃と、ゆらぎパターン群ＦＰ₂が含まれる。

【００３４】ゆらぎパターン群ＦＰ₂は例えば図１７に
示す如く、正面の上向き、下向き、瞬き、眉動き夫々の
パターンＰ₅₁，Ｐ₅₂，Ｐ₅₃，Ｐ₅₄と、左傾の上向き、下
向き、瞬き、眉動き夫々のパターンＰ₅₅，Ｐ₅₆，Ｐ₅₇，
Ｐ₅₈と、右傾の上向き、下向き、瞬き、眉動き夫々のパ
ターンＰ₅₉，Ｐ₆₀，Ｐ₆₁，Ｐ₆₂を含む。アニメーション
パラメータ生成部１７は図４に示す処理によって、図１
６及び図１７に示す各種パターンの中から表示しようと
するパターンのアニメーションパラメータを決定してい
る。例えばステップＳ４８では基本形パターンＰ₄₁〜Ｐ
₄₃のいずれかのアニメーションパラメータの指示を決定
する。

【００３５】ステップＳ５６では基本形パターンＰ₄₁〜
Ｐ₄₃とゆらぎパターン群ＦＰ₂の各パターンＰ₅₁〜Ｐ₆₂
のいずれかのアニメーションパラメータの指示を決定す
る。このとき連続時間と前回のアニメーションパラメー
タに基づいて決定が行われるため、例えば基本形パター
ンＰ₄₁を数秒連続して表示した後、ゆらぎパターン群Ｆ
Ｐ₂の基本形Ｐ₄₁と同形のパターンＰ₅₁〜Ｐ₅₄内の例え
ばパターンＰ₅₁を表示し、その後基本形パターンＰ₄₁を
表示することにより、キャラクターが下向く動作を表現
ができる。

【００３６】このように、音声信号を分析して音圧、音
圧変化、音高、音高変化に基きリップパターンを決定し
ているため、音声に応じてキャラクター口が音声に応じ
てリアルタイムできめ細かに動き表現が豊かになる。ま
た音声が同一の状態が連続するときは、ゆらぎパターン
を挿入しており、更に無音状態が連続するときはアイド
ルパターンを挿入しているため、キャラクターが長時間
同じ姿勢を続ける間にときおり細かな仕草を行い、キャ
ラクターが生命感を持った動きを行い、表現が豊かにな
る。

【００３７】このため、歌に合わせてキャラクターが動
くカラオケや、ニュースや天気予報の音声に合わせてキ
ャラクターが動く放送支援システム、製品説明の音声に
合わせてキャラクターが動くトークパフォーマンス等の
利用が好適である。なお、図３の処理では音圧パラメー
タ、音圧変化パラメータ、音高パラメータ、音高変化パ
ラメータによって音声パラメータを取得しているが、音
圧パラメータ又はこれと音圧変化パラメータだけで音声
パラメータを取得することも可能である。

【００３８】更に、図３のステップＳ１０のピッチシフ
ト処理において、供給された音声信号の周波数２００〜
４０００Ｈｚの帯域を周波数２５０〜５０００Ｈｚの帯
域に周波数シフトした第１の信号と、供給された音声信
号の周波数２００〜４０００Ｈｚの帯域を周波数３５０
〜７２００Ｈｚの帯域に周波数シフトした第２の信号と
を加算し、次のステップＳ１２に進んでも良い。この場
合は２種類のピッチの異なる音声信号を混合することに
より音の干渉が起き、これによって生じる音圧パラメー
タのゆらぎによって、キャラクターの口の動きが自然な
ゆらめきを持つ。

【００３９】更に、図３の代りに図１８に示す音声分析
処理を行っても良い。図１８において図３と同一部分に
は同一符号を付し、その説明を省略する。図１８におい
て、ステップＳ２８を実行した後、ステップＳ１０２に
進み、アンプ及びフィルタ１１から供給される音声信号
をＡ／Ｄ変換する。この後、ステップＳ１０４で高速フ
ーリエ解析を行って音声信号の周波数分布データを得
る。次のステップＳ１０６では全てのリップ形状につい
ての周波数分布データが登録されたリップパラメータフ
ァイルを参照して音声の発声時のリップ形状を表わすリ
ップパラメータを得る。

【００４０】この後、ステップＳ１０８では今回取得し
た音圧パラメータ、音圧変化パラメータ、音高パラメー
タ、音高変化パラメータ、リップパラメータを用いて音
声パラメータファイル１６を参照し音声パラメータを得
る。ここでは音声パラメータとは上記音圧パラメータ、
音圧変化パラメータ、音高パラメータ、音高変化パラメ
ータ及びリップパラメータをコード化したものである。
上記ステップＳ１０８で取得した音声パラメータはステ
ップＳ１１０で出力され、処理が終了する。

【００４１】なお、この場合は図２の音声分析部１２に
はリップファイルを接続し、音声パラメータファイルは
キーの一部としてリップパラメータを有してなければな
らない。ところで、図５に示すアニメーションジェネレ
ータ１５は選択スイッチ２０からキーステータスを取得
して顔の向き及び表情のアニメーションデータグループ
を選択しているが、図１９に示す如く、アニメーション
データグループ選択部１５ｃで取得した音声パラメータ
からアニメーションデータグループを選択しても良い。
この場合は例えば音高パラメータから音高が低いとき哀
み、音高パラメータから音高が高いとき喜び、音圧パラ
メータから音圧が大なるとき怒り、音圧変化パラメータ
から音圧が増大したとき驚き等の表情を選択する。

【００４２】上記実施例では、アニメーションデータベ
ース２１にビットマップ形式のパターンデータが格納さ
れているとして説明をしたが、アニメーションデータベ
ース２１に３次元画像生成用データが格納されている場
合は、図２０に示す如く、アニメーションジェネレータ
１５内に画像生成部１５ｄを設け、この画像生成部１５
ｄにおいてアニメーションデータベース２１から取得し
た３次元画像生成用データを用いてレンダリングを行
い、３次元画像のパターンデータを生成して出力する構
成とすれば良い。

【００４３】なお、選択スイッチ２０として話者の手足
の動きを検出するセンサを設け、このセンサ出力に応じ
てキャラクタの手足の動きを変化させても良い。更に入
力音声として、音楽を用い、この音楽に合わせてキャラ
クタがピアノ，ギター，ドラムス等の楽器を演奏するよ
うに動作，表情を変化させるようにしても良く、上記実
施例に限定されない。

【００４４】

【発明の効果】上述の如く、請求項１に記載の発明によ
れば、音声を分析した音声パラメータに基づきキャラク
ターの画像情報を取得してアニメーション表示用の映像
信号を生成するため、音声に応じてキャラクターの口を
リアルタイムで動かすことができる。

【００４５】請求項２に記載の発明によれば、音声パラ
メータとアニメーションパラメータとに基づいて画像情
報を取得するため、同一音声パラメータの継続時間が長
くなるとキャラクターがときおり細かな仕草を行って生
命感のある豊かなキャラクター表現を行うことができ
る。請求項３に記載の発明によれば、キャラクターの動
作や表情を選択スイッチで選択し、リップパターンを音
声パラメータから選択するため、キャラクターは音声に
応じた口の動きの他に動作や表情を自由に変えることが
でき、表現が豊かになる。

【００４６】請求項４に記載の発明によれば、キャラク
ターの表情及びリップパターンを音声パラメータに応じ
て選択するため、キャラクターは音声に応じて表情及び
口の動きを自動的に変化することができ、選択スイッチ
の数を減らすことができ、簡単な操作で豊かな表現が可
能となり、リアルタイムのキャラクターアニメーション
を行うことができ、実用上きわめて有用である。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】本発明の機能構成図である。

【図３】音声分析処理のフローチャートである。

【図４】アニメーションパラメータ処理のフローチャー
トである。

【図５】アニメーションジェネレータの機能ブロック図
である。

【図６】顔向き選択処理のフローチャートである。

【図７】顔向き選択を説明するための図である。

【図８】表情選択処理のフローチャートである。

【図９】表情選択を説明するための図である。

【図１０】リップパターン選択処理のフローチャートで
ある。

【図１１】リップパターン選択を説明するための図であ
る。

【図１２】アニメーションデータベースの楮をを示す図
である。

【図１３】パターンデータ決定を説明するための図であ
る。

【図１４】パターンデータ決定を説明するための図であ
る。

【図１５】パターンデータ決定を説明するための図であ
る。

【図１６】パターンデータ決定を説明するための図であ
る。

【図１７】パターンデータ決定を説明するための図であ
る。

【図１８】音声分析処理のフローチャートである。

【図１９】アニメーションジェネレータの機能ブロック
図である。

【図２０】アニメーションジェネレータの機能ブロック
図である。

【符号の説明】

１０入力装置１２音声分析部１５アニメーションジェネレータ１６音声パラメータファイル１７アニメーションパラメータ生成部１８アニメーションファイル２０選択スイッチ２１，Ｍ２アニメーションデータベース２２画像表示制御部２３画像メモリ２４ディスプレイ装置Ｍ１音声分析手段Ｍ３画像情報取得手段Ｍ４映像信号生成部

Claims

【特許請求の範囲】

【請求項１】供給される音声を分析して音声パラメー
タを得る音声分析手段と、アニメーションを構成するキャラクターの画像情報を予
め格納したアニメーションデータベースと、上記音声パラメータに基づき上記アニメーションデータ
ベースから画像情報を取得する画像情報取得手段と、上記画像情報取得手段で取得した画像情報からアニメー
ション表示用の映像信号を生成する映像信号生成手段と
を有することを特徴とするアニメーションシステム。
【請求項２】前記音声パラメータに対応するアニメー
ションデータベース内の複数の画像情報のうちどの画像
情報を取得するかを決定するためのアニメーションパラ
メータを、上記音声パラメータと同一音声パラメータの
継続時間とに基づき生成するアニメーションパラメータ
生成手段を有し、前記画像情報取得手段は上記音声パラメータとアニメー
ションパラメータとに基づき画像情報を取得することを
特徴とする請求項１記載のアニメーションシステム。
【請求項３】キャラクターの動作と表情との少なくと
も一方を選択する選択スイッチを有し、前記画像情報取得手段は、上記選択スイッチで選択され
た動作又は表情で、前記音声パラメータに基づくリップ
パターンのキャラクターの画像情報を取得することを特
徴とする請求項１又は２記載のアニメーションシステ
ム。
【請求項４】前記画像情報取得手段は、前記音声パラ
メータに基づきキャラクターの表情とリップパターンと
を選択して画像情報を取得することを特徴とする請求項
１又は２記載のアニメーションシステム。