JP3674875B2 - アニメーションシステム - Google Patents
アニメーションシステム Download PDFInfo
- Publication number
- JP3674875B2 JP3674875B2 JP25857094A JP25857094A JP3674875B2 JP 3674875 B2 JP3674875 B2 JP 3674875B2 JP 25857094 A JP25857094 A JP 25857094A JP 25857094 A JP25857094 A JP 25857094A JP 3674875 B2 JP3674875 B2 JP 3674875B2
- Authority
- JP
- Japan
- Prior art keywords
- animation
- parameter
- voice
- image information
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
【０００１】
【産業上の利用分野】
本発明はアニメーションシステムに関し、特にキャラクターアニメーションをリアルタイムに行うアニメーションシステムに関する。
【０００２】
【従来の技術】
従来より、コンピュータグラフィックスでキャラクターが話をするときの動作（トーキングアニメーション）を人間の音声でコントロールするシステムがある。
従来のトーキングアニメーションは、例えば音声を検出したときに、口を閉じたキャラクターの画像と、口を開けたキャラクターの画像とを交互に表示し、音声に同期した口の動きを表現している。
【０００３】
【発明が解決しようとする課題】
従来のトーキングアニメーションは単に音声が発せられたとき、これに同期してキャラクターの口がパクパク動くだけであり、この音声の大きさや音質に従ったアニメーションを行うことはできず、また、音声が発せられてないときはキャラクターは動きがなく静止してしまい、表現が乏しいという問題があった。
【０００４】
本発明は上記の点に鑑みなされたもので、音声に応じてキャラクターの口をリアルタイムで細かに動かすことができ、キャラクターがときおり細かな仕草を行って生命感を持った動作を行い、表現が豊かなリアルタイムキャラクターアニメーションを行うことのできるアニメーションシステムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、図１の原理図に示す如く、供給される音声を分析して音声パラメータを得る音声分析手段Ｍ１と、
アニメーションを構成するキャラクターの画像情報を予め格納したアニメーションデータベースＭ２と、
上記音声パラメータに基づき上記アニメーションデータベースから画像情報を取得する画像情報取得手段Ｍ３と、
上記画像情報取得手段で取得した画像情報からアニメーション表示用の映像信号を生成する映像信号生成手段Ｍ４とを有する。
【０００６】
請求項２に記載の発明は、前記音声パラメータに対応するアニメーションデータベース内の複数の画像情報のうちどの画像情報を取得するかを決定するためのアニメーションパラメータを、上記音声パラメータと同一音声パラメータの継続時間とに基づき生成するアニメーションパラメータ生成手段を有し、
前記画像情報取得手段は上記音声パラメータとアニメーションパラメータとに基づき画像情報を取得する。
【０００７】
請求項３に記載の発明は、キャラクターの動作と表情との少なくとも一方を選択する選択スイッチを有し、
前記画像情報取得手段は、上記選択スイッチで選択された動作又は表情で、前記音声パラメータに基づくリップパターンのキャラクターの画像情報を取得する。
【０００８】
請求項４に記載の発明では、前記画像情報取得手段は、前記音声パラメータに
基づきキャラクターの表情とリップパターンとを選択して画像情報を取得する。
【０００９】
【作用】
請求項１に記載の発明においては、音声を分析した音声パラメータに基づきキャラクターの画像情報を取得してアニメーション表示用の映像信号を生成するため、音声に応じてキャラクターの口をリアルタイムで動かすことができる。
請求項２に記載の発明においては、音声パラメータとアニメーションパラメータとに基づいて画像情報を取得するため、同一音声パラメータの継続時間が長くなるとキャラクターがときおり細かな仕草を行って生命感のある豊かなキャラクター表現を行うことができる。
【００１０】
請求項３に記載の発明においては、キャラクターの動作や表情を選択スイッチで選択し、リップパターンを音声パラメータから選択するため、キャラクターは音声に応じた口の動きの他に動作や表情を自由に変えることができ、表現が豊かになる。
請求項４に記載の発明においては、キャラクターの表情及びリップパターンを音声パラメータに応じて選択するため、キャラクターは音声に応じて表情及び口の動きを自動的に変化することができ、選択スイッチの数を減らすことができ、簡単な操作で豊かな表現のアニメーションが可能となる。
【００１１】
【実施例】
図２は本発明システムの一実施例の機能構成図を示す。同図中、入力装置１０は例えばマイクロホン又はライン入力端子であり、この入力装置１０で得られた音声信号はアンプ及びフィルタ１１において増幅され、かつ不要周波数成分を除去されて音声分析部１２に供給される。音声分析手段Ｍ１である音声分析部１２は、アニメーションジェネレータ１５から音声パラメータ取得トリガ信号を供給されると、音声信号のレベル（音圧）及び周波数（音高）を解析して音圧パラメータ、音高パラメータ、音圧変化パラメータ、音高変化パラメータ夫々を得て、これらのパラメータを用いて音声パラメータファイル１６を参照して音声パラメータを得る。音声パラメータファイル１６は例えば男性と女性とで別々に設けられてており、入力音声が男性か女性かによって選択して使用する。
【００１２】
アニメーションパラメータ生成手段であるアニメーションパラメータ生成部１７は、上記の音声パラメータを用いてアニメーションパラメータファイル１８を参照してアニメーションパラメータを得る。このアニメーションパラメータは音声パラメータと共にアニメーションジェネレータ１５に供給される。選択スイッチ２０は会話アクションや表情の切換えを指示するもので、選択したキーの情報つまりキーステータスはアニメーションジェネレータ１５に供給される。
【００１３】
画像情報取得手段Ｍ３であるアニメーションジェネレータ１５は選択スイッチ２０からのキーステータスと、音声分析部１２からの音声パラメータとによってアニメーションデータグループを選択し、更にアニメーションパラメータ生成部１７からのアニメーションパラメータによってキャラクターの顔の向き等の動作、表情、及び口の形状であるリップパターンを選択し、これらにアニメーションパラメータ生成部１７からのアニメーションパラメータを加えてアニメーションデータベース２１（Ｍ２）を参照してパターンデータを取得して画像表示装置２２に供給する。映像信号生成手段Ｍ４である画像表示装置２２はこのパターンデータを背景画データと合成して画像メモリ２３に書き込み、この画像メモリ２３から順次画像データを読み出して映像信号を生成し、これをディスプレイ装置２４に供給してアニメーションの表示を行う。
【００１４】
なお、アニメーションパラメータファイル１８及びアニメーションデータベース２１はキャラクタ毎に設けられており、使用するキャラクタに合わせて選択し使用する。
図３は音声分析部１２が実行する音声分析処理のフローチャートを示す。この処理はアニメーションジェネレータ１５より音声パラメータ取得トリガが供給されることにより開始される。同図中、ステップＳ１０ではアンプ及びフィルタ１１から供給される音声信号のピッチシフト処理を行う。この加工処理としては、入来する音声が男声の声の場合には例えば周波数２００〜４０００Ｈｚの帯域を周波数２５０〜５０００Ｈｚの帯域に周波数シフトを行う。これは音圧検知を容易とするために行われるもので必ずしも必要ではない。
【００１５】
次にステップＳ１２では加工処理された音声信号のレベルをＡ／Ｄ変換して例えば８ビットの音声データ即ち音圧パラメータとする。ステップＳ１４では前回取得音圧パラメータと今回取得した音圧パラメータとの差を算出して音圧変化パラメータを得る。この後、ステップＳ１６で今回取得した音圧パラメータを前回取得音圧パラメータとして保存する。
【００１６】
次にステップＳ２０でアンプ及びフィルタ１１から供給される音声信号の不要周波数帯域をカットする。ここでは人間の音声の主な帯域である周波数２００〜４０００Ｈｚの帯域を残し、２００Ｈｚ未満の帯域及び４０００Ｈｚを越える帯域をカットする。次にステップＳ２２で上記周波数２００〜４０００Ｈｚの帯域を例えば１０分割し、各帯域毎に音声信号レベルをＡ／Ｄ変換する。この後、ステップＳ２４で１０分割された帯域の中でレベルが最大の帯域の中心周波数を音高パラメータとする。なお音圧パラメータとしては音声の基音の周波数を用いても良い。
【００１７】
次にステップＳ２６では前回取得音高パラメータと今回取得した音高パラメータとの差を算出して音高変化パラメータを得る。この後、ステップＳ２８で今回取得した音高パラメータを前回取得音高パラメータとして保存する。
この後、ステップＳ３０では今回取得した音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータを用いて音声パラメータファイル１６を参照し音声パラメータを得る。この音声パラメータとは上記音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータをコード化したもので、アニメーションパターンを決定するための条件データである。上記ステップＳ３０で取得した音声パラメータはステップＳ３２で出力され、処理が終了する。
【００１８】
図４はアニメーションパラメータ生成部１７が実行するアニメーションパラメータ生成処理のフローチャートを示す。同図中、ステップＳ４０では音声分析部１２から供給される音声パラメータを取り込み、ステップＳ４２で前回取り込み保存されている音声パラメータと比較し、ステップＳ４４でその比較結果が一致したかどうかを判別する。
【００１９】
ここで、不一致の場合はステップＳ４６に進み、タイマをリセットする。この後、ステップＳ４８で今回取り込んだ音声パラメータからアニメーションパラメータファイル１８を参照してアニメーションパラメータを生成するための条件データ、つまりアニメーションキャラクターに対応したパターンバリエーションと夫々の出現頻度のデータを得て、この条件データとタイマで計測した継続時間とに基づきアニメーションパラメータを決定する。次にステップＳ５０で今回取り込んだ音声パラメータを保存する。
【００２０】
一方、ステップＳ４４で今回取り込んだ音声パラメータが保存されている前回のパラメータと一致する場合はステップＳ５２でタイマで計測されている継続時間を取り込む。次にステップＳ５４で音声パラメータが口閉じ状態を指示し、かつ継続時間が一定時間を越えているかどうかを判別する。
ここで、口開き状態又は口閉じ状態で一定時間経過してない場合はステップＳ５６に進んで音声パラメータからアニメーションパラメータファイル１８を参照して条件データを得て、この条件データと継続時間保存された前回のアニメーションパラメータとに基づきアニメーションパラメータを決定する。また、口閉じ状態で一定時間を越えている場合はステップＳ５８で音声パラメータからアニメーションパラメータファイル１８を参照して条件データを得、この条件データと継続時間保存された前回のアニメーションパラメータとに基づき、アイドルモードのアニメーションパラメータを決定する。次にステップＳ６０でタイマをリセットする。
【００２１】
次に、ステップＳ６２では上記のステップＳ５０，Ｓ５６，Ｓ６０のいずれかで決定されたアニメーションパラメータを保存し、ステップＳ６４では決定されたアニメーションパラメータをアニメーションジェネレータ１５に供給して、処理を終了する。
アニメーションジェネレータ１５は図５の機能ブロック図に示す如く、アニメーションデータグループ選択部１５ａとパターンデータ決定取得部１５ｂとより構成されている。アニメーションデータグループ選択部１５ａは選択スイッチ２０のキーステータスを読取り、音声分析部１６の出力する音声パラメータを取込んでアニメーションデータグループを選択する。パターンデータ取得部１５ｂはアニメーションデータグループ選択部１５ａで選択されたアニメーションデータグループとアニメーションパラメータ生成部１７から供給されるアニメーションパラメータとによってアニメーションデータベース２１を参照してパターンデータを取得し、画像表示制御部２２へ供給する。
【００２２】
図６はアニメーションデータグループ選択部１５ａによる顔向き選択処理のフローチャートを示す。この処理は所定時間毎に実行される。同図中、ステップＳ７０では選択スイッチ２０にキーステータスを要求し、ステップＳ７２でキーステータスを取得する。次にステップＳ７４でこのキーステータスから向き選択キーが押されているか否かを判別し、押されていない場合はステップＳ７６で正面向きを選択して処理を終了する。押されている場合はステップＳ７８で押されている向き選択キーに対応して左向き又は右向きを選択して処理を終了する。
【００２３】
ここで、キャラクターの顔向き等の動作は例えば図７に示す如く、正面向き、右向き、左向きの３種類であり、選択スイッチ２０の顔向きのキーステータスが無い場合は正面向きが指定されたものとみなされる。３種類の顔向きは相互に制限なく移行することができ、例えば、正面向きの状態で右向きのキーステータスが指示されれば、キャラクターの顔向きはキーステータスで指示された右向きに変わる。
【００２４】
図８はアニメーションデータグループ選択部１５ａによる表情選択処理のフローチャートを示す。この処理は所定時間毎に実行される。同図中、ステップＳ８０では選択スイッチ２０にキーステータスを要求し、ステップＳ８２でキーステータスを取得する。次にステップＳ８４でこのキーステータスから表情選択キーが押されているか否かを判別し、押されていない場合はステップＳ８６でノーマルの表情を選択して処理を終了する。押されている場合はステップＳ７８で押されている表情選択キーに対応して喜び又は怒り又は驚き又は哀みいずれかの表情を選択して処理を終了する。
【００２５】
ここで、キャラクターの表情は例えば図９に示す如く、ノーマル、喜び、怒り、驚き、哀みの５種類であり、選択スイッチ２０の表情のキーステータスが無い場合はノーマルが指定されたものとみなされる。５種類の表情は相互に制限なく移行することができ、例えば、ノーマルの状態で驚きのキーステータスが指示されれば、キャラクターの表情はキーステータスで指示された驚きに変わる。なお、上記５種類の表情は、正面向き、右向き、左向き夫々毎に用意されている。
【００２６】
図１０はアニメーションデータグループ選択部１５ａによるリップパターン選択処理のフローチャートを示す。この処理は所定時間毎に実行される。同図中、ステップＳ９０で音声分析部１６に音声パラメータ取得トリガーを供給し、ステップＳ９２で音声パラメータを取得する。次にステップＳ９４でこの音声パラメータが口開きを指示しているか否かを判別し、口開きを指示していない場合はステップＳ９６で口閉じリップパターンを選択して処理を終了する。口開きを指示している場合はステップＳ９８で音声パラメータで指示されている小さな口開き又は中ぐらいの口開き又は大きな口開きのリップパターンを選択して処理を終了する。
【００２７】
ここで、キャラクターのリップパターンは例えば図１１に示す如く、口閉じ、口開き（小）、口開き（中）、口開き（大）の４種類である。なお、口閉じは音声入力がないことに対応している。３種類のリップパターンは相互に制限なく移行することができ、例えば、口閉じの状態で口開き（大）の音声パラメータが取得されれば、キャラクターのリップパターンは音声パラメータで指示された口開き（大）に変わる。なお、上記４種類のリップパターンはノーマル、喜び、怒り、驚き、哀み夫々毎に用意されている。
【００２８】
上記の顔向きと表情とリップパターンとの組合せによりアニメーションデータグループが指定され、これにアニメーションパラメータを加えることによりアニメーションデータベース２１を参照するキーが得られる。
アニメーションデータベースは例えば図１２に示す如く、３種類の顔向きの下層に５種類の表情が連なり、表情の下層に４種類のリップパターンが連なり、リップパターンの下層にアニメーションパラメータが連なる階層構造である。アニメーションパラメータは基本形正面パターン、基本形左傾パターン、基本形右傾パターンと、複数のゆらぎパターンと複数のアイドルパターンとを区別するためのものである。なお、アイドルパターンは口閉じのリップパターンに対してのみ設けられ、口開きのリップパターンに対しては設けられていない。
【００２９】
ここで、顔向きが正面向き、表情がノーマル、リップパターンが口閉じのアニメーションデータグループには例えば図１３に示す如く、基本形正面パターンＰ1 と基本形左傾パターンＰ2 と、基本形右傾パターンＰ3 と、ゆらぎパターン群ＦＰ1 と、アイドルパターン群ＩＰ1 が含まれる。
ゆらぎパターン群ＦＰ1 は例えば図１４に示す如く、正面の瞬き、眉動き、耳動き夫々のパターンＰ11，Ｐ12，Ｐ13と、左傾の瞬き、眉動き、耳動き夫々のパターンＰ14，Ｐ15，Ｐ16と、右傾の瞬き、眉動き、耳動き夫々のパターンＰ17，Ｐ18，Ｐ19を含む。
【００３０】
また、アイドルパターン群ＩＰ1 は例えば図１５に示す如く、目左向きのパターンＰ21、瞬きのパターンＰ22、目右向きのパターンＰ23、左上向きのパターンＰ24、頬膨らみのパターンＰ25、右上向きのパターンＰ26、眉動きのパターンＰ27、耳動きのパターンＰ28、及び足踏みの連続パターンＰ30，Ｐ31，Ｐ32を含む。
【００３１】
アニメーションパラメータ生成部１７は図４に示す処理によって、図１３乃至図１５に示す各種パターンの中から表示しようとするパターンのアニメーションパラメータを決定している。例えばステップＳ４８では基本形パターンＰ1 〜ＰＰ3 のいずれかのアニメーションパラメータの指示を決定する。
ステップＳ５６では基本形パターンＰ1 〜Ｐ3 とゆらぎパターン群ＦＰ1 の各パターンＰ11〜Ｐ17のいずれかのアニメーションパラメータの指示を決定する。このとき継続時間と前回のアニメーションパラメータに基づいて決定が行われるため、例えは基本形パターンＰ1 を数秒連続して表示した後、ゆらぎパターン群ＦＰ1 の基本形Ｐ1 と同形のパターンＰ11〜Ｐ13内の例えばパターンＰ11を表示し、その後基本形パターンＰ1 を表示することにより、キャラクターが瞬きする動作を表現ができる。
【００３２】
ステップＳ５８ではアイドルパターン群ＩＰ1 の各パターンＰ21〜Ｐ32のいずれかのアニメーションパラメータの指示を決定する。例えば基本形パターンＰ1 をゆらぎパターンを挿入しつつ一定時間表示した後、アイドルパターン群ＩＰ1 の例えばパターンＰ24を表示し、その後基本形パターンＰ1 を表示することによりキャラクターが左上向き動作を表現できる。またパターンＰ24の代りに連続パターンＰ30，Ｐ31，Ｐ32を表示することによりキャラクターが足踏みする動作を表現できる。
【００３３】
このように口閉じのリップパターンを持つアニメーションデータグループでアイドルパターン群が設定されているのは音声入力がないためにリップパターンが変化せずキャラクターの動きが少なくなるので、このような状態で少しでもキャラクターを動作させるためである。
また、顔向きが正面向き、表情がノーマル、リップパターンが口開き（中）のアニメーションデータグループには例えば図１６に示す如く、基本形正面パターンＰ41と基本形左傾パターンＰ42と、基本形右傾パターンＰ43と、ゆらぎパターン群ＦＰ2 が含まれる。
【００３４】
ゆらぎパターン群ＦＰ2 は例えば図１７に示す如く、正面の上向き、下向き、瞬き、眉動き夫々のパターンＰ51，Ｐ52，Ｐ53，Ｐ54と、左傾の上向き、下向き、瞬き、眉動き夫々のパターンＰ55，Ｐ56，Ｐ57，Ｐ58と、右傾の上向き、下向き、瞬き、眉動き夫々のパターンＰ59，Ｐ60，Ｐ61，Ｐ62を含む。
アニメーションパラメータ生成部１７は図４に示す処理によって、図１６及び図１７に示す各種パターンの中から表示しようとするパターンのアニメーションパラメータを決定している。例えばステップＳ４８では基本形パターンＰ41〜Ｐ43のいずれかのアニメーションパラメータの指示を決定する。
【００３５】
ステップＳ５６では基本形パターンＰ41〜Ｐ43とゆらぎパターン群ＦＰ2 の各パターンＰ51〜Ｐ62のいずれかのアニメーションパラメータの指示を決定する。このとき連続時間と前回のアニメーションパラメータに基づいて決定が行われるため、例えば基本形パターンＰ41を数秒連続して表示した後、ゆらぎパターン群ＦＰ2 の基本形Ｐ41と同形のパターンＰ51〜Ｐ54内の例えばパターンＰ51を表示し、その後基本形パターンＰ41を表示することにより、キャラクターが下向く動作を表現ができる。
【００３６】
このように、音声信号を分析して音圧、音圧変化、音高、音高変化に基きリップパターンを決定しているため、音声に応じてキャラクター口が音声に応じてリアルタイムできめ細かに動き表現が豊かになる。また音声が同一の状態が連続するときは、ゆらぎパターンを挿入しており、更に無音状態が連続するときはアイドルパターンを挿入しているため、キャラクターが長時間同じ姿勢を続ける間にときおり細かな仕草を行い、キャラクターが生命感を持った動きを行い、表現が豊かになる。
【００３７】
このため、歌に合わせてキャラクターが動くカラオケや、ニュースや天気予報の音声に合わせてキャラクターが動く放送支援システム、製品説明の音声に合わせてキャラクターが動くトークパフォーマンス等の利用が好適である。
なお、図３の処理では音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータによって音声パラメータを取得しているが、音圧パラメータ又はこれと音圧変化パラメータだけで音声パラメータを取得することも可能である。
【００３８】
更に、図３のステップＳ１０のピッチシフト処理において、供給された音声信号の周波数２００〜４０００Ｈｚの帯域を周波数２５０〜５０００Ｈｚの帯域に周波数シフトした第１の信号と、供給された音声信号の周波数２００〜４０００Ｈｚの帯域を周波数３５０〜７２００Ｈｚの帯域に周波数シフトした第２の信号とを加算し、次のステップＳ１２に進んでも良い。この場合は２種類のピッチの異なる音声信号を混合することにより音の干渉が起き、これによって生じる音圧パラメータのゆらぎによって、キャラクターの口の動きが自然なゆらめきを持つ。
【００３９】
更に、図３の代りに図１８に示す音声分析処理を行っても良い。図１８において図３と同一部分には同一符号を付し、その説明を省略する。図１８において、ステップＳ２８を実行した後、ステップＳ１０２に進み、アンプ及びフィルタ１１から供給される音声信号をＡ／Ｄ変換する。この後、ステップＳ１０４で高速フーリエ解析を行って音声信号の周波数分布データを得る。次のステップＳ１０６では全てのリップ形状についての周波数分布データが登録されたリップパラメータファイルを参照して音声の発声時のリップ形状を表わすリップパラメータを得る。
【００４０】
この後、ステップＳ１０８では今回取得した音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータ、リップパラメータを用いて音声パラメータファイル１６を参照し音声パラメータを得る。ここでは音声パラメータとは上記音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータ及びリップパラメータをコード化したものである。上記ステップＳ１０８で取得した音声パラメータはステップＳ１１０で出力され、処理が終了する。
【００４１】
なお、この場合は図２の音声分析部１２にはリップファイルを接続し、音声パラメータファイルはキーの一部としてリップパラメータを有してなければならない。
ところで、図５に示すアニメーションジェネレータ１５は選択スイッチ２０からキーステータスを取得して顔の向き及び表情のアニメーションデータグループを選択しているが、図１９に示す如く、アニメーションデータグループ選択部１５ｃで取得した音声パラメータからアニメーションデータグループを選択しても良い。この場合は例えば音高パラメータから音高が低いとき哀み、音高パラメータから音高が高いとき喜び、音圧パラメータから音圧が大なるとき怒り、音圧変化パラメータから音圧が増大したとき驚き等の表情を選択する。
【００４２】
上記実施例では、アニメーションデータベース２１にビットマップ形式のパターンデータが格納されているとして説明をしたが、アニメーションデータベース２１に３次元画像生成用データが格納されている場合は、図２０に示す如く、アニメーションジェネレータ１５内に画像生成部１５ｄを設け、この画像生成部１５ｄにおいてアニメーションデータベース２１から取得した３次元画像生成用データを用いてレンダリングを行い、３次元画像のパターンデータを生成して出力する構成とすれば良い。
【００４３】
なお、選択スイッチ２０として話者の手足の動きを検出するセンサを設け、このセンサ出力に応じてキャラクタの手足の動きを変化させても良い。
更に入力音声として、音楽を用い、この音楽に合わせてキャラクタがピアノ，ギター，ドラムス等の楽器を演奏するように動作，表情を変化させるようにしても良く、上記実施例に限定されない。
【００４４】
【発明の効果】
上述の如く、請求項１に記載の発明によれば、音声を分析した音声パラメータに基づきキャラクターの画像情報を取得してアニメーション表示用の映像信号を生成するため、音声に応じてキャラクターの口をリアルタイムで動かすことができる。
【００４５】
請求項２に記載の発明によれば、音声パラメータとアニメーションパラメータとに基づいて画像情報を取得するため、同一音声パラメータの継続時間が長くなるとキャラクターがときおり細かな仕草を行って生命感のある豊かなキャラクター表現を行うことができる。
請求項３に記載の発明によれば、キャラクターの動作や表情を選択スイッチで選択し、リップパターンを音声パラメータから選択するため、キャラクターは音声に応じた口の動きの他に動作や表情を自由に変えることができ、表現が豊かになる。
【００４６】
請求項４に記載の発明によれば、キャラクターの表情及びリップパターンを音声パラメータに応じて選択するため、キャラクターは音声に応じて表情及び口の動きを自動的に変化することができ、選択スイッチの数を減らすことができ、簡単な操作で豊かな表現が可能となり、リアルタイムのキャラクターアニメーションを行うことができ、実用上きわめて有用である。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明の機能構成図である。
【図３】音声分析処理のフローチャートである。
【図４】アニメーションパラメータ処理のフローチャートである。
【図５】アニメーションジェネレータの機能ブロック図である。
【図６】顔向き選択処理のフローチャートである。
【図７】顔向き選択を説明するための図である。
【図８】表情選択処理のフローチャートである。
【図９】表情選択を説明するための図である。
【図１０】リップパターン選択処理のフローチャートである。
【図１１】リップパターン選択を説明するための図である。
【図１２】アニメーションデータベースの楮をを示す図である。
【図１３】パターンデータ決定を説明するための図である。
【図１４】パターンデータ決定を説明するための図である。
【図１５】パターンデータ決定を説明するための図である。
【図１６】パターンデータ決定を説明するための図である。
【図１７】パターンデータ決定を説明するための図である。
【図１８】音声分析処理のフローチャートである。
【図１９】アニメーションジェネレータの機能ブロック図である。
【図２０】アニメーションジェネレータの機能ブロック図である。
【符号の説明】
１０ 入力装置
１２ 音声分析部
１５ アニメーションジェネレータ
１６ 音声パラメータファイル
１７ アニメーションパラメータ生成部
１８ アニメーションファイル
２０ 選択スイッチ
２１，Ｍ２ アニメーションデータベース
２２ 画像表示制御部
２３ 画像メモリ
２４ ディスプレイ装置
Ｍ１ 音声分析手段
Ｍ３ 画像情報取得手段
Ｍ４ 映像信号生成部
【産業上の利用分野】
本発明はアニメーションシステムに関し、特にキャラクターアニメーションをリアルタイムに行うアニメーションシステムに関する。
【０００２】
【従来の技術】
従来より、コンピュータグラフィックスでキャラクターが話をするときの動作（トーキングアニメーション）を人間の音声でコントロールするシステムがある。
従来のトーキングアニメーションは、例えば音声を検出したときに、口を閉じたキャラクターの画像と、口を開けたキャラクターの画像とを交互に表示し、音声に同期した口の動きを表現している。
【０００３】
【発明が解決しようとする課題】
従来のトーキングアニメーションは単に音声が発せられたとき、これに同期してキャラクターの口がパクパク動くだけであり、この音声の大きさや音質に従ったアニメーションを行うことはできず、また、音声が発せられてないときはキャラクターは動きがなく静止してしまい、表現が乏しいという問題があった。
【０００４】
本発明は上記の点に鑑みなされたもので、音声に応じてキャラクターの口をリアルタイムで細かに動かすことができ、キャラクターがときおり細かな仕草を行って生命感を持った動作を行い、表現が豊かなリアルタイムキャラクターアニメーションを行うことのできるアニメーションシステムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、図１の原理図に示す如く、供給される音声を分析して音声パラメータを得る音声分析手段Ｍ１と、
アニメーションを構成するキャラクターの画像情報を予め格納したアニメーションデータベースＭ２と、
上記音声パラメータに基づき上記アニメーションデータベースから画像情報を取得する画像情報取得手段Ｍ３と、
上記画像情報取得手段で取得した画像情報からアニメーション表示用の映像信号を生成する映像信号生成手段Ｍ４とを有する。
【０００６】
請求項２に記載の発明は、前記音声パラメータに対応するアニメーションデータベース内の複数の画像情報のうちどの画像情報を取得するかを決定するためのアニメーションパラメータを、上記音声パラメータと同一音声パラメータの継続時間とに基づき生成するアニメーションパラメータ生成手段を有し、
前記画像情報取得手段は上記音声パラメータとアニメーションパラメータとに基づき画像情報を取得する。
【０００７】
請求項３に記載の発明は、キャラクターの動作と表情との少なくとも一方を選択する選択スイッチを有し、
前記画像情報取得手段は、上記選択スイッチで選択された動作又は表情で、前記音声パラメータに基づくリップパターンのキャラクターの画像情報を取得する。
【０００８】
請求項４に記載の発明では、前記画像情報取得手段は、前記音声パラメータに
基づきキャラクターの表情とリップパターンとを選択して画像情報を取得する。
【０００９】
【作用】
請求項１に記載の発明においては、音声を分析した音声パラメータに基づきキャラクターの画像情報を取得してアニメーション表示用の映像信号を生成するため、音声に応じてキャラクターの口をリアルタイムで動かすことができる。
請求項２に記載の発明においては、音声パラメータとアニメーションパラメータとに基づいて画像情報を取得するため、同一音声パラメータの継続時間が長くなるとキャラクターがときおり細かな仕草を行って生命感のある豊かなキャラクター表現を行うことができる。
【００１０】
請求項３に記載の発明においては、キャラクターの動作や表情を選択スイッチで選択し、リップパターンを音声パラメータから選択するため、キャラクターは音声に応じた口の動きの他に動作や表情を自由に変えることができ、表現が豊かになる。
請求項４に記載の発明においては、キャラクターの表情及びリップパターンを音声パラメータに応じて選択するため、キャラクターは音声に応じて表情及び口の動きを自動的に変化することができ、選択スイッチの数を減らすことができ、簡単な操作で豊かな表現のアニメーションが可能となる。
【００１１】
【実施例】
図２は本発明システムの一実施例の機能構成図を示す。同図中、入力装置１０は例えばマイクロホン又はライン入力端子であり、この入力装置１０で得られた音声信号はアンプ及びフィルタ１１において増幅され、かつ不要周波数成分を除去されて音声分析部１２に供給される。音声分析手段Ｍ１である音声分析部１２は、アニメーションジェネレータ１５から音声パラメータ取得トリガ信号を供給されると、音声信号のレベル（音圧）及び周波数（音高）を解析して音圧パラメータ、音高パラメータ、音圧変化パラメータ、音高変化パラメータ夫々を得て、これらのパラメータを用いて音声パラメータファイル１６を参照して音声パラメータを得る。音声パラメータファイル１６は例えば男性と女性とで別々に設けられてており、入力音声が男性か女性かによって選択して使用する。
【００１２】
アニメーションパラメータ生成手段であるアニメーションパラメータ生成部１７は、上記の音声パラメータを用いてアニメーションパラメータファイル１８を参照してアニメーションパラメータを得る。このアニメーションパラメータは音声パラメータと共にアニメーションジェネレータ１５に供給される。選択スイッチ２０は会話アクションや表情の切換えを指示するもので、選択したキーの情報つまりキーステータスはアニメーションジェネレータ１５に供給される。
【００１３】
画像情報取得手段Ｍ３であるアニメーションジェネレータ１５は選択スイッチ２０からのキーステータスと、音声分析部１２からの音声パラメータとによってアニメーションデータグループを選択し、更にアニメーションパラメータ生成部１７からのアニメーションパラメータによってキャラクターの顔の向き等の動作、表情、及び口の形状であるリップパターンを選択し、これらにアニメーションパラメータ生成部１７からのアニメーションパラメータを加えてアニメーションデータベース２１（Ｍ２）を参照してパターンデータを取得して画像表示装置２２に供給する。映像信号生成手段Ｍ４である画像表示装置２２はこのパターンデータを背景画データと合成して画像メモリ２３に書き込み、この画像メモリ２３から順次画像データを読み出して映像信号を生成し、これをディスプレイ装置２４に供給してアニメーションの表示を行う。
【００１４】
なお、アニメーションパラメータファイル１８及びアニメーションデータベース２１はキャラクタ毎に設けられており、使用するキャラクタに合わせて選択し使用する。
図３は音声分析部１２が実行する音声分析処理のフローチャートを示す。この処理はアニメーションジェネレータ１５より音声パラメータ取得トリガが供給されることにより開始される。同図中、ステップＳ１０ではアンプ及びフィルタ１１から供給される音声信号のピッチシフト処理を行う。この加工処理としては、入来する音声が男声の声の場合には例えば周波数２００〜４０００Ｈｚの帯域を周波数２５０〜５０００Ｈｚの帯域に周波数シフトを行う。これは音圧検知を容易とするために行われるもので必ずしも必要ではない。
【００１５】
次にステップＳ１２では加工処理された音声信号のレベルをＡ／Ｄ変換して例えば８ビットの音声データ即ち音圧パラメータとする。ステップＳ１４では前回取得音圧パラメータと今回取得した音圧パラメータとの差を算出して音圧変化パラメータを得る。この後、ステップＳ１６で今回取得した音圧パラメータを前回取得音圧パラメータとして保存する。
【００１６】
次にステップＳ２０でアンプ及びフィルタ１１から供給される音声信号の不要周波数帯域をカットする。ここでは人間の音声の主な帯域である周波数２００〜４０００Ｈｚの帯域を残し、２００Ｈｚ未満の帯域及び４０００Ｈｚを越える帯域をカットする。次にステップＳ２２で上記周波数２００〜４０００Ｈｚの帯域を例えば１０分割し、各帯域毎に音声信号レベルをＡ／Ｄ変換する。この後、ステップＳ２４で１０分割された帯域の中でレベルが最大の帯域の中心周波数を音高パラメータとする。なお音圧パラメータとしては音声の基音の周波数を用いても良い。
【００１７】
次にステップＳ２６では前回取得音高パラメータと今回取得した音高パラメータとの差を算出して音高変化パラメータを得る。この後、ステップＳ２８で今回取得した音高パラメータを前回取得音高パラメータとして保存する。
この後、ステップＳ３０では今回取得した音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータを用いて音声パラメータファイル１６を参照し音声パラメータを得る。この音声パラメータとは上記音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータをコード化したもので、アニメーションパターンを決定するための条件データである。上記ステップＳ３０で取得した音声パラメータはステップＳ３２で出力され、処理が終了する。
【００１８】
図４はアニメーションパラメータ生成部１７が実行するアニメーションパラメータ生成処理のフローチャートを示す。同図中、ステップＳ４０では音声分析部１２から供給される音声パラメータを取り込み、ステップＳ４２で前回取り込み保存されている音声パラメータと比較し、ステップＳ４４でその比較結果が一致したかどうかを判別する。
【００１９】
ここで、不一致の場合はステップＳ４６に進み、タイマをリセットする。この後、ステップＳ４８で今回取り込んだ音声パラメータからアニメーションパラメータファイル１８を参照してアニメーションパラメータを生成するための条件データ、つまりアニメーションキャラクターに対応したパターンバリエーションと夫々の出現頻度のデータを得て、この条件データとタイマで計測した継続時間とに基づきアニメーションパラメータを決定する。次にステップＳ５０で今回取り込んだ音声パラメータを保存する。
【００２０】
一方、ステップＳ４４で今回取り込んだ音声パラメータが保存されている前回のパラメータと一致する場合はステップＳ５２でタイマで計測されている継続時間を取り込む。次にステップＳ５４で音声パラメータが口閉じ状態を指示し、かつ継続時間が一定時間を越えているかどうかを判別する。
ここで、口開き状態又は口閉じ状態で一定時間経過してない場合はステップＳ５６に進んで音声パラメータからアニメーションパラメータファイル１８を参照して条件データを得て、この条件データと継続時間保存された前回のアニメーションパラメータとに基づきアニメーションパラメータを決定する。また、口閉じ状態で一定時間を越えている場合はステップＳ５８で音声パラメータからアニメーションパラメータファイル１８を参照して条件データを得、この条件データと継続時間保存された前回のアニメーションパラメータとに基づき、アイドルモードのアニメーションパラメータを決定する。次にステップＳ６０でタイマをリセットする。
【００２１】
次に、ステップＳ６２では上記のステップＳ５０，Ｓ５６，Ｓ６０のいずれかで決定されたアニメーションパラメータを保存し、ステップＳ６４では決定されたアニメーションパラメータをアニメーションジェネレータ１５に供給して、処理を終了する。
アニメーションジェネレータ１５は図５の機能ブロック図に示す如く、アニメーションデータグループ選択部１５ａとパターンデータ決定取得部１５ｂとより構成されている。アニメーションデータグループ選択部１５ａは選択スイッチ２０のキーステータスを読取り、音声分析部１６の出力する音声パラメータを取込んでアニメーションデータグループを選択する。パターンデータ取得部１５ｂはアニメーションデータグループ選択部１５ａで選択されたアニメーションデータグループとアニメーションパラメータ生成部１７から供給されるアニメーションパラメータとによってアニメーションデータベース２１を参照してパターンデータを取得し、画像表示制御部２２へ供給する。
【００２２】
図６はアニメーションデータグループ選択部１５ａによる顔向き選択処理のフローチャートを示す。この処理は所定時間毎に実行される。同図中、ステップＳ７０では選択スイッチ２０にキーステータスを要求し、ステップＳ７２でキーステータスを取得する。次にステップＳ７４でこのキーステータスから向き選択キーが押されているか否かを判別し、押されていない場合はステップＳ７６で正面向きを選択して処理を終了する。押されている場合はステップＳ７８で押されている向き選択キーに対応して左向き又は右向きを選択して処理を終了する。
【００２３】
ここで、キャラクターの顔向き等の動作は例えば図７に示す如く、正面向き、右向き、左向きの３種類であり、選択スイッチ２０の顔向きのキーステータスが無い場合は正面向きが指定されたものとみなされる。３種類の顔向きは相互に制限なく移行することができ、例えば、正面向きの状態で右向きのキーステータスが指示されれば、キャラクターの顔向きはキーステータスで指示された右向きに変わる。
【００２４】
図８はアニメーションデータグループ選択部１５ａによる表情選択処理のフローチャートを示す。この処理は所定時間毎に実行される。同図中、ステップＳ８０では選択スイッチ２０にキーステータスを要求し、ステップＳ８２でキーステータスを取得する。次にステップＳ８４でこのキーステータスから表情選択キーが押されているか否かを判別し、押されていない場合はステップＳ８６でノーマルの表情を選択して処理を終了する。押されている場合はステップＳ７８で押されている表情選択キーに対応して喜び又は怒り又は驚き又は哀みいずれかの表情を選択して処理を終了する。
【００２５】
ここで、キャラクターの表情は例えば図９に示す如く、ノーマル、喜び、怒り、驚き、哀みの５種類であり、選択スイッチ２０の表情のキーステータスが無い場合はノーマルが指定されたものとみなされる。５種類の表情は相互に制限なく移行することができ、例えば、ノーマルの状態で驚きのキーステータスが指示されれば、キャラクターの表情はキーステータスで指示された驚きに変わる。なお、上記５種類の表情は、正面向き、右向き、左向き夫々毎に用意されている。
【００２６】
図１０はアニメーションデータグループ選択部１５ａによるリップパターン選択処理のフローチャートを示す。この処理は所定時間毎に実行される。同図中、ステップＳ９０で音声分析部１６に音声パラメータ取得トリガーを供給し、ステップＳ９２で音声パラメータを取得する。次にステップＳ９４でこの音声パラメータが口開きを指示しているか否かを判別し、口開きを指示していない場合はステップＳ９６で口閉じリップパターンを選択して処理を終了する。口開きを指示している場合はステップＳ９８で音声パラメータで指示されている小さな口開き又は中ぐらいの口開き又は大きな口開きのリップパターンを選択して処理を終了する。
【００２７】
ここで、キャラクターのリップパターンは例えば図１１に示す如く、口閉じ、口開き（小）、口開き（中）、口開き（大）の４種類である。なお、口閉じは音声入力がないことに対応している。３種類のリップパターンは相互に制限なく移行することができ、例えば、口閉じの状態で口開き（大）の音声パラメータが取得されれば、キャラクターのリップパターンは音声パラメータで指示された口開き（大）に変わる。なお、上記４種類のリップパターンはノーマル、喜び、怒り、驚き、哀み夫々毎に用意されている。
【００２８】
上記の顔向きと表情とリップパターンとの組合せによりアニメーションデータグループが指定され、これにアニメーションパラメータを加えることによりアニメーションデータベース２１を参照するキーが得られる。
アニメーションデータベースは例えば図１２に示す如く、３種類の顔向きの下層に５種類の表情が連なり、表情の下層に４種類のリップパターンが連なり、リップパターンの下層にアニメーションパラメータが連なる階層構造である。アニメーションパラメータは基本形正面パターン、基本形左傾パターン、基本形右傾パターンと、複数のゆらぎパターンと複数のアイドルパターンとを区別するためのものである。なお、アイドルパターンは口閉じのリップパターンに対してのみ設けられ、口開きのリップパターンに対しては設けられていない。
【００２９】
ここで、顔向きが正面向き、表情がノーマル、リップパターンが口閉じのアニメーションデータグループには例えば図１３に示す如く、基本形正面パターンＰ1 と基本形左傾パターンＰ2 と、基本形右傾パターンＰ3 と、ゆらぎパターン群ＦＰ1 と、アイドルパターン群ＩＰ1 が含まれる。
ゆらぎパターン群ＦＰ1 は例えば図１４に示す如く、正面の瞬き、眉動き、耳動き夫々のパターンＰ11，Ｐ12，Ｐ13と、左傾の瞬き、眉動き、耳動き夫々のパターンＰ14，Ｐ15，Ｐ16と、右傾の瞬き、眉動き、耳動き夫々のパターンＰ17，Ｐ18，Ｐ19を含む。
【００３０】
また、アイドルパターン群ＩＰ1 は例えば図１５に示す如く、目左向きのパターンＰ21、瞬きのパターンＰ22、目右向きのパターンＰ23、左上向きのパターンＰ24、頬膨らみのパターンＰ25、右上向きのパターンＰ26、眉動きのパターンＰ27、耳動きのパターンＰ28、及び足踏みの連続パターンＰ30，Ｐ31，Ｐ32を含む。
【００３１】
アニメーションパラメータ生成部１７は図４に示す処理によって、図１３乃至図１５に示す各種パターンの中から表示しようとするパターンのアニメーションパラメータを決定している。例えばステップＳ４８では基本形パターンＰ1 〜ＰＰ3 のいずれかのアニメーションパラメータの指示を決定する。
ステップＳ５６では基本形パターンＰ1 〜Ｐ3 とゆらぎパターン群ＦＰ1 の各パターンＰ11〜Ｐ17のいずれかのアニメーションパラメータの指示を決定する。このとき継続時間と前回のアニメーションパラメータに基づいて決定が行われるため、例えは基本形パターンＰ1 を数秒連続して表示した後、ゆらぎパターン群ＦＰ1 の基本形Ｐ1 と同形のパターンＰ11〜Ｐ13内の例えばパターンＰ11を表示し、その後基本形パターンＰ1 を表示することにより、キャラクターが瞬きする動作を表現ができる。
【００３２】
ステップＳ５８ではアイドルパターン群ＩＰ1 の各パターンＰ21〜Ｐ32のいずれかのアニメーションパラメータの指示を決定する。例えば基本形パターンＰ1 をゆらぎパターンを挿入しつつ一定時間表示した後、アイドルパターン群ＩＰ1 の例えばパターンＰ24を表示し、その後基本形パターンＰ1 を表示することによりキャラクターが左上向き動作を表現できる。またパターンＰ24の代りに連続パターンＰ30，Ｐ31，Ｐ32を表示することによりキャラクターが足踏みする動作を表現できる。
【００３３】
このように口閉じのリップパターンを持つアニメーションデータグループでアイドルパターン群が設定されているのは音声入力がないためにリップパターンが変化せずキャラクターの動きが少なくなるので、このような状態で少しでもキャラクターを動作させるためである。
また、顔向きが正面向き、表情がノーマル、リップパターンが口開き（中）のアニメーションデータグループには例えば図１６に示す如く、基本形正面パターンＰ41と基本形左傾パターンＰ42と、基本形右傾パターンＰ43と、ゆらぎパターン群ＦＰ2 が含まれる。
【００３４】
ゆらぎパターン群ＦＰ2 は例えば図１７に示す如く、正面の上向き、下向き、瞬き、眉動き夫々のパターンＰ51，Ｐ52，Ｐ53，Ｐ54と、左傾の上向き、下向き、瞬き、眉動き夫々のパターンＰ55，Ｐ56，Ｐ57，Ｐ58と、右傾の上向き、下向き、瞬き、眉動き夫々のパターンＰ59，Ｐ60，Ｐ61，Ｐ62を含む。
アニメーションパラメータ生成部１７は図４に示す処理によって、図１６及び図１７に示す各種パターンの中から表示しようとするパターンのアニメーションパラメータを決定している。例えばステップＳ４８では基本形パターンＰ41〜Ｐ43のいずれかのアニメーションパラメータの指示を決定する。
【００３５】
ステップＳ５６では基本形パターンＰ41〜Ｐ43とゆらぎパターン群ＦＰ2 の各パターンＰ51〜Ｐ62のいずれかのアニメーションパラメータの指示を決定する。このとき連続時間と前回のアニメーションパラメータに基づいて決定が行われるため、例えば基本形パターンＰ41を数秒連続して表示した後、ゆらぎパターン群ＦＰ2 の基本形Ｐ41と同形のパターンＰ51〜Ｐ54内の例えばパターンＰ51を表示し、その後基本形パターンＰ41を表示することにより、キャラクターが下向く動作を表現ができる。
【００３６】
このように、音声信号を分析して音圧、音圧変化、音高、音高変化に基きリップパターンを決定しているため、音声に応じてキャラクター口が音声に応じてリアルタイムできめ細かに動き表現が豊かになる。また音声が同一の状態が連続するときは、ゆらぎパターンを挿入しており、更に無音状態が連続するときはアイドルパターンを挿入しているため、キャラクターが長時間同じ姿勢を続ける間にときおり細かな仕草を行い、キャラクターが生命感を持った動きを行い、表現が豊かになる。
【００３７】
このため、歌に合わせてキャラクターが動くカラオケや、ニュースや天気予報の音声に合わせてキャラクターが動く放送支援システム、製品説明の音声に合わせてキャラクターが動くトークパフォーマンス等の利用が好適である。
なお、図３の処理では音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータによって音声パラメータを取得しているが、音圧パラメータ又はこれと音圧変化パラメータだけで音声パラメータを取得することも可能である。
【００３８】
更に、図３のステップＳ１０のピッチシフト処理において、供給された音声信号の周波数２００〜４０００Ｈｚの帯域を周波数２５０〜５０００Ｈｚの帯域に周波数シフトした第１の信号と、供給された音声信号の周波数２００〜４０００Ｈｚの帯域を周波数３５０〜７２００Ｈｚの帯域に周波数シフトした第２の信号とを加算し、次のステップＳ１２に進んでも良い。この場合は２種類のピッチの異なる音声信号を混合することにより音の干渉が起き、これによって生じる音圧パラメータのゆらぎによって、キャラクターの口の動きが自然なゆらめきを持つ。
【００３９】
更に、図３の代りに図１８に示す音声分析処理を行っても良い。図１８において図３と同一部分には同一符号を付し、その説明を省略する。図１８において、ステップＳ２８を実行した後、ステップＳ１０２に進み、アンプ及びフィルタ１１から供給される音声信号をＡ／Ｄ変換する。この後、ステップＳ１０４で高速フーリエ解析を行って音声信号の周波数分布データを得る。次のステップＳ１０６では全てのリップ形状についての周波数分布データが登録されたリップパラメータファイルを参照して音声の発声時のリップ形状を表わすリップパラメータを得る。
【００４０】
この後、ステップＳ１０８では今回取得した音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータ、リップパラメータを用いて音声パラメータファイル１６を参照し音声パラメータを得る。ここでは音声パラメータとは上記音圧パラメータ、音圧変化パラメータ、音高パラメータ、音高変化パラメータ及びリップパラメータをコード化したものである。上記ステップＳ１０８で取得した音声パラメータはステップＳ１１０で出力され、処理が終了する。
【００４１】
なお、この場合は図２の音声分析部１２にはリップファイルを接続し、音声パラメータファイルはキーの一部としてリップパラメータを有してなければならない。
ところで、図５に示すアニメーションジェネレータ１５は選択スイッチ２０からキーステータスを取得して顔の向き及び表情のアニメーションデータグループを選択しているが、図１９に示す如く、アニメーションデータグループ選択部１５ｃで取得した音声パラメータからアニメーションデータグループを選択しても良い。この場合は例えば音高パラメータから音高が低いとき哀み、音高パラメータから音高が高いとき喜び、音圧パラメータから音圧が大なるとき怒り、音圧変化パラメータから音圧が増大したとき驚き等の表情を選択する。
【００４２】
上記実施例では、アニメーションデータベース２１にビットマップ形式のパターンデータが格納されているとして説明をしたが、アニメーションデータベース２１に３次元画像生成用データが格納されている場合は、図２０に示す如く、アニメーションジェネレータ１５内に画像生成部１５ｄを設け、この画像生成部１５ｄにおいてアニメーションデータベース２１から取得した３次元画像生成用データを用いてレンダリングを行い、３次元画像のパターンデータを生成して出力する構成とすれば良い。
【００４３】
なお、選択スイッチ２０として話者の手足の動きを検出するセンサを設け、このセンサ出力に応じてキャラクタの手足の動きを変化させても良い。
更に入力音声として、音楽を用い、この音楽に合わせてキャラクタがピアノ，ギター，ドラムス等の楽器を演奏するように動作，表情を変化させるようにしても良く、上記実施例に限定されない。
【００４４】
【発明の効果】
上述の如く、請求項１に記載の発明によれば、音声を分析した音声パラメータに基づきキャラクターの画像情報を取得してアニメーション表示用の映像信号を生成するため、音声に応じてキャラクターの口をリアルタイムで動かすことができる。
【００４５】
請求項２に記載の発明によれば、音声パラメータとアニメーションパラメータとに基づいて画像情報を取得するため、同一音声パラメータの継続時間が長くなるとキャラクターがときおり細かな仕草を行って生命感のある豊かなキャラクター表現を行うことができる。
請求項３に記載の発明によれば、キャラクターの動作や表情を選択スイッチで選択し、リップパターンを音声パラメータから選択するため、キャラクターは音声に応じた口の動きの他に動作や表情を自由に変えることができ、表現が豊かになる。
【００４６】
請求項４に記載の発明によれば、キャラクターの表情及びリップパターンを音声パラメータに応じて選択するため、キャラクターは音声に応じて表情及び口の動きを自動的に変化することができ、選択スイッチの数を減らすことができ、簡単な操作で豊かな表現が可能となり、リアルタイムのキャラクターアニメーションを行うことができ、実用上きわめて有用である。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明の機能構成図である。
【図３】音声分析処理のフローチャートである。
【図４】アニメーションパラメータ処理のフローチャートである。
【図５】アニメーションジェネレータの機能ブロック図である。
【図６】顔向き選択処理のフローチャートである。
【図７】顔向き選択を説明するための図である。
【図８】表情選択処理のフローチャートである。
【図９】表情選択を説明するための図である。
【図１０】リップパターン選択処理のフローチャートである。
【図１１】リップパターン選択を説明するための図である。
【図１２】アニメーションデータベースの楮をを示す図である。
【図１３】パターンデータ決定を説明するための図である。
【図１４】パターンデータ決定を説明するための図である。
【図１５】パターンデータ決定を説明するための図である。
【図１６】パターンデータ決定を説明するための図である。
【図１７】パターンデータ決定を説明するための図である。
【図１８】音声分析処理のフローチャートである。
【図１９】アニメーションジェネレータの機能ブロック図である。
【図２０】アニメーションジェネレータの機能ブロック図である。
【符号の説明】
１０ 入力装置
１２ 音声分析部
１５ アニメーションジェネレータ
１６ 音声パラメータファイル
１７ アニメーションパラメータ生成部
１８ アニメーションファイル
２０ 選択スイッチ
２１，Ｍ２ アニメーションデータベース
２２ 画像表示制御部
２３ 画像メモリ
２４ ディスプレイ装置
Ｍ１ 音声分析手段
Ｍ３ 画像情報取得手段
Ｍ４ 映像信号生成部
Claims (7)
- 供給される音声を分析して音声パラメータを得る音声分析手段と、経時的に得られる複数の上記音声パラメータの比較からアニメーションパラメータを得るアニメーションパラメータ生成手段と、アニメーションを構成するキャラクターの画像情報を予め格納したアニメーションデータベースと、上記音声パラメータと上記アニメーションパラメータに基づき上記アニメーションデータベースから画像情報を取得する画像情報取得手段と、上記画像情報取得手段で取得した画像情報からアニメーション表示用の映像信号を生成する映像信号生成手段とを有することを特徴とするアニメーションシステム。
- 上記アニメーションパラメータ生成手段は、上記音声パラメータの比較により、同一の上記音声パラメータが継続している時間を参照して上記アニメーションパラメータを生成することを特徴とする、請求項１記載のアニメーションシステム。
- キャラクターの動作と表情との少なくとも一方を選択する選択スイッチを有し、前記画像情報取得手段は、上記選択スイッチで選択された動作又は表情で、前記音声パラメータに基づくリップパターンのキャラクターの画像情報を取得することを特徴とする請求項１又は２記載のアニメーションシステム。
- 前記画像情報取得手段は、前記音声パラメータに基づきキャラクターの表情とリップパターンとを選択して画像情報を取得することを特徴とする請求項１又は２記載のアニメーションシステム。
- 供給される音声を分析して得られた音声パラメータを参照する音声パラメータ参照手段と、経時的に得られる複数の上記音声パラメータの比較に基づいて得られたアニメーションパラメータを参照するアニメーションパラメータ参照手段と、上記音声パラメータと上記アニメーションパラメータに基づき、アニメーションを構成するキャラクターの画像情報を予め格納したアニメーションデータベースから特定の画像情報を取得する画像情報取得手段とを具備する、アニメーションジェネレータ装置。
- 供給される音声を分析して音声パラメータを得るステップと、経時的に得られる複数の上記音声パラメータの比較からアニメーションパラメータを得るステップと、上記音声パラメータと上記アニメーションパラメータに基づき、アニメーションを構成するキャラクターの画像情報を予め格納したアニメーションデータベースから画像情報を取得するステップと、を有することを特徴とするアニメーション画像の生成方法。
- 上記画像情報を取得するステップで取得した上記画像情報からアニメーション表示用の映像信号を生成するステップをさらに有する、請求項６のアニメーション画像の生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25857094A JP3674875B2 (ja) | 1994-10-24 | 1994-10-24 | アニメーションシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25857094A JP3674875B2 (ja) | 1994-10-24 | 1994-10-24 | アニメーションシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08123977A JPH08123977A (ja) | 1996-05-17 |
| JP3674875B2 true JP3674875B2 (ja) | 2005-07-27 |
Family
ID=17322084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25857094A Expired - Fee Related JP3674875B2 (ja) | 1994-10-24 | 1994-10-24 | アニメーションシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3674875B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3771989B2 (ja) | 1997-03-24 | 2006-05-10 | オリンパス株式会社 | 画像音声通信システムおよびテレビ電話送受信方法 |
| FR2807188B1 (fr) * | 2000-03-30 | 2002-12-20 | Vrtv Studios | Equipement pour production automatique en temps reel de sequences audiovisuelles virtuelles a partir d'un message textuel et pour la diffusion de telles sequences |
| JP2002133445A (ja) * | 2000-10-30 | 2002-05-10 | Namco Ltd | 画像処理装置、画像処理方法および情報記憶媒体 |
| JP4631077B2 (ja) * | 2006-05-02 | 2011-02-16 | 株式会社国際電気通信基礎技術研究所 | アニメーション作成装置 |
| KR101541907B1 (ko) | 2008-10-14 | 2015-08-03 | 삼성전자 주식회사 | 음성 기반 얼굴 캐릭터 형성 장치 및 방법 |
| JP6134151B2 (ja) * | 2013-02-04 | 2017-05-24 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲーム処理方法及びゲームプログラム |
| JP2016080908A (ja) * | 2014-10-17 | 2016-05-16 | ヤマハ株式会社 | 信号加工装置 |
| CN109801349B (zh) * | 2018-12-19 | 2023-01-24 | 武汉西山艺创文化有限公司 | 一种声音驱动的三维动画角色实时表情生成方法和系统 |
| CN113672194A (zh) * | 2020-03-31 | 2021-11-19 | 北京市商汤科技开发有限公司 | 声学特征样本的获取方法、装置、设备以及存储介质 |
| CN112188304B (zh) * | 2020-09-28 | 2022-11-15 | 广州酷狗计算机科技有限公司 | 视频生成方法、装置、终端及存储介质 |
-
1994
- 1994-10-24 JP JP25857094A patent/JP3674875B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08123977A (ja) | 1996-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10681408B2 (en) | Systems and methods for creating composite videos | |
| US20180295427A1 (en) | Systems and methods for creating composite videos | |
| US9691429B2 (en) | Systems and methods for creating music videos synchronized with an audio track | |
| EP0829847B1 (en) | Conduct-along system | |
| US5847303A (en) | Voice processor with adaptive configuration by parameter setting | |
| US5974386A (en) | Timeline display of sound characteristics with thumbnail video | |
| WO2016121921A1 (ja) | コンピュータグラフィックスのデータ構造、情報処理装置、情報処理方法及び情報処理システム | |
| JP3674875B2 (ja) | アニメーションシステム | |
| KR100874176B1 (ko) | 오디오 신호 출력 방법 및 배경 음악 발생 방법 | |
| US7203558B2 (en) | Method for computing sense data and device for computing sense data | |
| EP1318503A2 (en) | Audio signal outputting method, audio signal reproduction method, and computer program product | |
| JP2004117632A (ja) | プレイリスト生成装置、音楽再生装置、音楽配信システム及びその方法、プログラム、記録媒体 | |
| JP4757704B2 (ja) | 音楽再生プログラム、音楽再生装置、音楽再生方法及び音楽再生システム | |
| JP2010160358A (ja) | 動画制御システム及び動画制御方法 | |
| JPH10143151A (ja) | 指揮装置 | |
| Borchers et al. | Personal Orchestra: conducting audio/video music recordings | |
| JP4720974B2 (ja) | 音声発生装置およびそのためのコンピュータプログラム | |
| JPH06130981A (ja) | 音楽再生装置 | |
| JP2007236826A (ja) | 音楽テンポ判別機能を備えたゲーム機 | |
| JP2006221253A (ja) | 画像処理装置および画像処理プログラム | |
| JP2003271158A (ja) | 画像変更機能を持つカラオケ装置及びプログラム | |
| JP2004354583A (ja) | 音楽生成装置および音楽生成方法 | |
| JP2006064973A (ja) | 制御システム | |
| JP2002112113A (ja) | 映像編集装置および記憶媒体 | |
| JP2001118084A (ja) | オブジェクト表示制御システムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040826 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050422 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080513 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080513 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |