JP3629088B2 - 人体コンピュータグラフィクス制御装置及びその制御方法 - Google Patents
人体コンピュータグラフィクス制御装置及びその制御方法 Download PDFInfo
- Publication number
- JP3629088B2 JP3629088B2 JP05982396A JP5982396A JP3629088B2 JP 3629088 B2 JP3629088 B2 JP 3629088B2 JP 05982396 A JP05982396 A JP 05982396A JP 5982396 A JP5982396 A JP 5982396A JP 3629088 B2 JP3629088 B2 JP 3629088B2
- Authority
- JP
- Japan
- Prior art keywords
- human body
- computer graphics
- control
- energy
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像合成装置に係り、より詳細には人体画像を合成する人体コンピュータグラフィクス制御装置及びその制御方法に関するものである。
【０００２】
【従来の技術】
従来、人間の身体の一部、若しくは全部のアニメーション画像を合成する装置に於いて、特定の主たる動作を明示的に与える手法がほとんどを占めている。例えば、複数動作が混在するコンピュータグラフィクスを生成する場合に、時間軸に沿って、手作業により明示的に個々の動作を指定し、重畳したり、交互に表出させたり等の処理は従来行われてきたが、自動的にそれらを生成することはできなかった。更に、身体の個々の部位に対しても、同様に手作業により行うのが主な手段であった。
【０００３】
また、特定の主たる動作を明示的に与え、且つその動作中に他の動作を生成し得る技術としては、例えば、特開平３−７４７７７号公報に開示されている無意識の行動をランダムに画像に合成する方法や、特開平２−１６６８１号公報に開示されるような発声時と非発声時でまばたきの頻度を変化させる方法や、特開平５−２９８４２５号公報に開示されているように喜怒哀楽や発声／非発声によってまばたきの頻度を変化させる方法が提案されてきている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特開平３−７４７７７号公報による無意識行動を画像合成に加える方法では、無意識的若しくは本能的動作を顔画像情報に付加することはできるが、明示的動作を複数同時に顔画像情報に付加することはできないものであった。
【０００５】
また、上記特開平２−１６６８１号公報によるまばたき調整方法では、顔動画像にまばたき情報を加えた上、発声、或いは非発声によってまばたきの頻度を制御することは可能であった。更に、上記特開平５−２９８４２５号公報による顔画像合成方法では、喜怒哀楽や発声、或いは非発声によってまばたきの頻度を制御して表示することが可能であった。しかしながら、これら特開平２−１６６８１号公報及び特開平５−２９８４２５号公報による技術では、まばたき以外の他の動作を表現することはできないものであった。
【０００６】
このように、従来技術では、間欠的な動作表出が行われる場合の表現を自動的に生成することはできず、また、その動作表出の重み、タイミング等の設定は手作業で行うしかなかった。更に、上述した従来技術では、複数動作が重なった場合の表現はしきれておらず、また、その度合によって制御法を細かく変化させるようなことはできないものであった。
【０００７】
加えて、１つ、或いは複数の動作を表現する場合に、全体を明示的に表現することはできても、個々の部位によって制御方法を変えて全体を統合的に表現することはできなかった。
【０００８】
更に、１つの動作が他の動作によって中断された場合の表現も、どこから再開させるかは手作業で行っていたので、繁雑な作業を必要としていた。
本発明は上記実状に鑑みてなされたものであり、その目的は、人体動作をコンピュータグラフィクスで表現する際に、ある１つまたは複数の因子によって、１或いは複数の動作に対して、間欠的、または交互、断続的、重畳的、若しくはそれらの処理を交互に変化させた制御を行い、また部位毎に動作が表出されるタイミング、若しくは重みを制御することによって、目だけ笑う等のより自然な表現を行うことが可能な人体コンピュータグラフィクス制御装置及びその制御方法を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の構成を有する。
（１） コンピュータグラフィクス処理にてモデル化した人間の身体の所定の動作を表示するコンピュータグラフィクス制御装置に於いて、上記モデル化した人間の身体の所定の動作を設定する設定手段と、この設定手段で設定された所定の動作を人体コンピュータグラフィクスによって間欠的に行わせるよう制御する動作制御手段とを具備することを特徴とする人体コンピュータグラフィクス制御装置。
【００１０】
（２） 上記動作制御手段は、上記設定手段で設定された動作に従って、少なくとも２つの動作を交互に表出するよう人体コンピュータグラフィクスを制御することを特徴とする上記（１）に記載の人体コンピュータグラフィクス制御装置。
【００１１】
（３） 上記動作制御手段は、上記設定手段で設定された所定の動作のうち、少なくとも２つの動作を人体コンピュータグラフィクスによって交互、断続的若しくは重畳的に行わせるよう制御することを特徴とする上記（１）に記載の人体コンピュータグラフィクス制御装置。
【００１２】
（４） 上記設定手段で上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力する制御因子入力手段を更に具備することを特徴とする上記（１）に記載の人体コンピュータグラフィクス制御装置。
【００１３】
（５） 上記設定手段で上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力する制御因子入力手段を更に具備することを特徴とする上記（２）に記載の人体コンピュータグラフィクス制御装置。
【００１４】
（６） 上記設定手段で上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力する制御因子入力手段を更に具備することを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
【００１５】
（７） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（４）に記載の人体コンピュータグラフィクス制御装置。
【００１６】
（８） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（５）に記載の人体コンピュータグラフィクス制御装置。
【００１７】
（９） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（６）に記載の人体コンピュータグラフィクス制御装置。
【００１８】
（１０） 上記動作制御手段は、上記人間の身体の部位に応じて個別に動作表出のタイミングを決定か若しくは上記人間の身体の部位に応じて個別に動作表出の重みを決定することを特徴とする上記（１）若しくは（２）に記載の人体コンピュータグラフィクス制御装置。
【００１９】
（１１） 上記動作制御手段は、上記人間の身体の部位に応じて、個別に交互、断続的若しくは重畳的な制御、動作表出の重み、若しくは動作表出のタイミングを決定することを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
【００２０】
（１２） 上記動作制御手段は、ヒステリシスを設けて各々の制御を行うことを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
（１３） 上記動作制御手段は、上記コンピュータグラフィクス処理にて上記人間の身体の動作を複数表示する際に、１つの動作が発話の場合、他の動作によって中断した時に、言語的に意味のある部分、文節の頭若しくは文の区切りまで遡って発話を再開させることを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
【００２１】
（１４） 上記動作制御手段は、上記コンピュータグラフィクス処理にて上記人間の身体の動作を複数表示する際に、１つの動作が他の動作によって中断した時に、中断時から再び動作を開始しても意味をなさないと判断した場合は、該動作単位の始め若しくは動作的に意味をなす部分に遡って動作を開始させることを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
【００２２】
（１５） コンピュータグラフィクス処理にてモデル化した人間の身体の所定の動作を表示するコンピュータグラフィクスの制御方法に於いて、上記モデル化した人間の身体の所定の動作を設定するステップと、この設定するステップで設定された所定の動作を人体コンピュータグラフィクスによって間欠的に行わせるよう制御するステップとを具備することを特徴とする人体コンピュータグラフィクスの制御方法。
【００２３】
（１６） 上記制御するステップは、上記設定するステップで設定された動作に従って、少なくとも２つの動作を交互に表出するよう人体コンピュータグラフィクスを制御することを特徴とする上記（１５）に記載の人体コンピュータグラフィクスの制御方法。
【００２４】
（１７） 上記制御するステップは、上記設定するステップで設定された動作に従って、少なくとも２つの動作を交互、断続的若しくは重畳的に表出するよう人体コンピュータグラフィクスを制御することを特徴とする上記（１５）に記載の人体コンピュータグラフィクスの制御方法。
【００２５】
（１８） 上記設定するステップで上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力するステップを更に具備することを特徴とする上記（１５）に記載の人体コンピュータグラフィクスの制御方法。
【００２６】
（１９） 上記設定するステップで上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力するステップを更に具備することを特徴とする上記（１６）に記載の人体コンピュータグラフィクスの制御方法。
【００２７】
（２０） 上記設定するステップで上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力するステップを更に具備することを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００２８】
（２１） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（１８）に記載の人体コンピュータグラフィクスの制御方法。
【００２９】
（２２） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（１９）に記載の人体コンピュータグラフィクスの制御方法。
【００３０】
（２３） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（２０）に記載の人体コンピュータグラフィクスの制御方法。
【００３１】
（２４） 上記制御するステップは、上記人間の身体の部位に応じて個別に動作表出のタイミングを決定するステップ若しくは上記人間の身体の部位に応じて個別に動作表出の重みを決定するステップから成ることを特徴とする上記（１５）若しくは（１６）に記載の人体コンピュータグラフィクスの制御方法。
【００３２】
（２５） 上記制御するステップは、上記人間の身体の部位に応じて、個別に交互、断続的若しくは重畳的な制御、動作表出の重み、若しくは動作表出のタイミングを決定するステップから成ることを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００３３】
（２６） 上記制御するステップは、ヒステリシスを設けて各々の制御を行うことを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００３４】
（２７） 上記制御するステップは、上記コンピュータグラフィクス処理にて上記人間の身体の動作を複数表示する際に、１つの動作が発話の場合、他の動作によって中断した時に、言語的に意味のある部分、文節の頭若しくは文の区切りまで遡って発話を再開させることを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００３５】
（２８） 上記制御するステップは、上記コンピュータグラフィクス処理にて上記人間の身体の動作を複数表示する際に、１つの動作が他の動作によって中断した時に、中断時から再び動作を開始しても意味をなさないと判断した場合は、該動作単位の始め若しくは動作的に意味をなす部分に遡って動作を開始させることを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００３６】
本発明は、コンピュータグラフィクスで人体の動作を生成する場合、制御因子を用いた動作エネルギーを決定し、それを用いることによって、ある動作を間欠的に表出させることを自動的に行うことが可能となる。
【００３７】
また本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、複数動作が重複して起こる時に、制御因子によって動作エネルギーを決定し、それを用いることによって、１つの動作が間欠的に、或いは複数動作が交互、または重畳的に表出するタイミング、若しくは動作表出の重みを自動的に生成することができ、自然な複数動作の表現を自動的に行うことが可能となる。
【００３８】
本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、複数動作が重複して起こる時に、制御因子によって交互か、断続的か若しくは重畳的かを、制御を行うことによって自然な複数動作の表現を自動的に行うことが可能となる。
【００３９】
更に本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、人体の個々の部位によって各々単一動作を間欠的に、若しくは複数動作を重畳的或いは交互に表出させる制御を行ったり、または各々に対して個々に動作表出のタイミング、重み等を変化させることによって、自然な複数動作の表現を自動的に行うことが可能となる。
【００４０】
そして本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、複数動作が重複して起こる時に、制御因子にヒステリシスを設け、断続的或いは重畳的に、交互に制御することによって、自然な複数動作の表現を自動的に行うことが可能となる。
【００４１】
本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、発話している時に他の動作によって中断された場合、自動的に言語的に意味のあるところ、若しくは文節の頭、或いは分の区切りに遡って発話を再開させることによって、自然な複数動作の表現を自動的に行うことが可能となる。
【００４２】
また本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、１つの動作が他の動作によって中断された際に、中断したところから再開しては動作的に意味をなさないと判断した時には、自動的に動作単位の始め、または動作的に意味のあるところから動作を再開させることによって、自然な複数動作の表現を自動的に行うことが可能となる。
【００４３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の実施の形態を示すもので、人体コンピュータグラフィクス制御装置の全体的な構成を示すブロック図である。
【００４４】
図１に於いて、人体モデル入力部１は顔及び身体モデルの入力を行うためのもので、データ保存用ディスク２を介して、スクリプト入力部３からの入力と共にパラメータ設定装置４内のパラメータ自動生成部４ａに供給される。このパラメータ設定装置４は、上記パラメータ自動生成部４ａの他、手入力用の入力部４ｂと、パラメータ設定部４ｃとを有している。
【００４５】
このパラメータ設定装置４の出力と、上記データ保存用ディスク２及びスクリプト入力部３の出力は、それぞれ動作制御決定部５に供給される。この動作制御決定部５では、スクリプトに従った動作の制御方法が決定される。動作制御決定部５の出力は、簡易プレビュー部６で簡易的にプレビューを介して画像生成部７に供給される。その後、画像生成部７で生成された出力が出力部８に供給されて、モニタ等に画像出力される。
【００４６】
このように構成された人体コンピュータグラフィクス制御装置に於いて、人体モデル入力部１より、顔及び身体モデルの入力が行われる。尚、通常はデータ保存用ディスク２から、人体モデルデータが読込まれて使用される。また、人体モデル入力部１よりモデルを入力して、データ保存用ディスク３に保存することも可能である。
【００４７】
一方、スクリプト入力部３からは、モデルにどのような動きをさせるかというデータが入力される。
次に、パラメータ設定装置４内のパラメータ設定部４ｃに於いて、上記モデルの状態、モデルの周囲の状態を表現するパラメータの設定が行われる。このパラメータは、例えば、モデルに対する心理的状態、或いは生理的状態、若しくはモデルを取巻く環境の状態を表すパラメータである。
【００４８】
上記心理的状態としては不安度、集中度或いは興奮度を、生理的状態としては疲労度、体温、呼気段落、乾燥肌或いはオイリー肌を、また環境状態としては気温、湿度或いは経過時間等の心理的及び生理的状態にも作用するものが、それぞれ設定され得る。設定方法に関しては、入力された人体モデル及びスクリプトからパラメータ自動生成部４ａにより自動生成することが基本であるが、入力部４ｂから手入力することも可能である。
【００４９】
以上の情報、すなわち、データ保存用ディスク２からの人体モデルデータと、スプリト入力部３からのスクリプトデータと、パラメータ設定装置４からのパラメータが用いられて、動作制御決定部５に於いて、スクリプトに従った動作の制御方法が決定される。
【００５０】
例えば、上記各種の情報から、スクリプトの中の動作に対してエネルギーが与えられ、そのエネルギーの値に従って動作が制御されたり、また、１つ或いは同時に複数動作が混在する時に、その動作が重畳的に表出されるか、若しくは間欠的に表出されるかがパラメータにより制御されたり、ヒステリシスを設けてパラメータの値によって重畳的或いは間欠的制御が交互に行われる等の処理が行われる。
【００５１】
こうして、動作制御が決定されたところで、簡易プレビュー部６に於いて簡易的にプレビューが行われて、自動生成された動作が適当であるかどうかの判断がなされる。このプレビューでは、簡易モデルが用いられて画像が生成され、動作のタイミングや身体の動きの大きさ等を見て、動作制御決定部５にて決定された動作が適当であるかどうかが判断される。
【００５２】
ここで、上記動作が適当でないと判断された場合はパラメータ設定部４ｃに戻り、パラメータの再設定をすることができる。一方、適当だと判断された場合には、以下の処理が行われる。
【００５３】
画像生成部７に於いては、入力されたモデルに対して、決定された動作を行う画像が生成される。そして、出力部８に於いて、モニタ等に画像の出力が行われる。
【００５４】
次に、図２のフローチャートを参照して、本発明の第１の実施の形態に基く画像生成処理の動作を説明する。
第１の実施の形態として、若い女性のモデルを入力し、モデルに「大笑いする」という動作をさせるよう、スクリプトを入力した場合を考える。モデルの状態としては、「笑う」、という状態の他に、何の動作も行われていない、ニュートラルな状態が設定される。
【００５５】
人体モデル入力部１により上述したモデルの入力がなされ（ステップＳ１）、データ保存用ディスク２にてその読込みがなされる（ステップＳ２）。一方、スクリプト入力部３により上述した「大笑いする」という動作が入力される（ステップＳ３）。
【００５６】
次に、パラメータ設定装置４により、パラメータ設定が行われる（ステップＳ４）。このパラメータ設定では、上述したように、モデルに対する心理的状態、或いは生理的状態、若しくはモデルを取巻く環境の状態等を表すパラメータが設定される。尚、パラメータ自動生成部４ａによる自動生成でない場合は（ステップＳ５）、そのパラメータはパラメータ設定装置４内の入力部４ｂにより、手入力による設定が行われる（ステップＳ６）。
【００５７】
こうして、設定されたパラメータ、例えば、ここでは心理状態パラメータが用いられて、モデルの動作制御が行われるものとする（ステップＳ７）。パラメータとしては、興奮度ｐ１、リラックス度ｐ２、おかしさ度ｐ３等が設定される。また、入力されたデータから、最終的動作の程度ｄｅｇが予め取出される。
【００５８】
以上の情報が用いられることにより、「笑い」のエネルギーが決定される。
ここでは、例えば定められた関数Ａを用いて、笑いのエネルギーＥを決定する場合について説明する。
【００５９】
Ａ：Ｅ＝ｆ（ｐ１，ｐ２，ｐ３，…，ｄｅｇ，ｔ）
例えば、関数Ａとしては、以下のような重み付け線形和等の関数が考えられる。
【００６０】
尚、上式の重みの内挿和は、特に“１”とは限らない。
【００６１】
上記関数より、時間ｔに於ける笑いエネルギーＥが求められる。この「笑い」エネルギーを用いて、例えば、笑いエネルギーがある値以下の場合には、徐々に間欠的に、「笑い」とニュートラルな状態とが交互に表出される閾値処理等が行われて動作が生成される。
【００６２】
或いは、生理的因子に呼気段落が設定され、この呼気段落に従って「笑い」とニュートラルな状態とが交互に表出されるような処理が自動的に行われる。
また、目、口、肩等の体の部位について、個別に笑いエネルギーが算出される。目は常に笑っており、口は徐々に大きく笑って、次第に「笑い」が収まり、肩は呼気段落に従って上下する、等の間欠的制御が、個別に自動的に行われることも可能である。
【００６３】
以上のように、大笑いする若い女性のモデルの動作生成が行われると、次に簡易プレビュー部６にて簡易な画像が用いられて、動作の確認を行うためのプレビューが実行される（ステップＳ８）。ここで、簡易画像の動作のタイミング、或いは動作の大きさ等が適当であれば、画像生成部６にて画像が生成される（ステップＳ９）。その後、図示されないモニタに画像出力が行われる（ステップＳ１０）。
【００６４】
一方、上記プレビューにて、動作が適当でないと思われた場合には、上記ステップＳ４に戻り、パラメータを再設定することによって、適当な動作を生成させることが可能である。
【００６５】
上述したプレビュー或いは画像生成に対しては、例えば、人体モデルの全点或いは代表点の動きのベクトルとなる信号が出力され、その信号に従って該人体モデルの全点或いは代表点が制御されることによって画像生成が行われる、等の手法が考えられる。
【００６６】
尚、ここでは単一動作について、その動作とニュートラルな状態との間欠的制御を行う場合について説明したが、これは複数動作を間欠的に表出させる場合についても同様であり、エネルギーを複数用意し、そのエネルギーを用いて閾値処理等によって生成が行われる。
【００６７】
また、このことは、１つの動作から次の動作に移行する時の動作生成にも用いることができ、エネルギーの変化に従って徐々に動作が移行していく様子を生成することが可能である。
【００６８】
次に、第２の実施の形態について説明する。
この第２の実施の形態では、若い男性の人体モデルを入力し、そのモデルに「大きく笑いながら話すと」言う動作をさせるよう、スクリプトを入力するものである。ここで、「笑いながら話す」時のパターンを簡単に次の５パターンに大別することにする。
【００６９】
（ａ）大笑いしてしまって、全く話せない。笑いが収まってから話し始める。（ｂ）非常におかしくて大笑いしてはいるが、笑いの合間合間に何とか話そうとして、一言、二言、言葉を挟む。
【００７０】
（ｃ）おかしくて笑ってはいるものの、笑いながらでも聞きとれる程度の話はできる。
（ｄ）おかしな話をしながら、話の合間合間に時折笑いが入ってくる。
【００７１】
（ｅ）笑顔を浮かべながら話をする。
以上の５つのパターンについて、モデルの様々な状態を表すパラメータが用いられて制御が行われる。
【００７２】
先ず、モデルの初期状態が設定される。人体モデルは、おかいことがあって現在笑っている状態である。したがって、心理的状態としては、興奮度は比較的高くなっているが集中度には欠けている。また、笑いを抑える必要のないリラックスした状態にいるものと設定される。生理的状態は、若い男性ということから、肺活量は比較的大きいものと設定される。更に、環境の状態のパラメータとしては、時間Ｔに関して制御するよう設定される。
【００７３】
以上の状態パラメータを用いて、上記人体モデルの動作制御が行われる。
ここで例えば、興奮度ｐ１、リラックス度ｐ２、おかしさ度ｐ３等を状態パラメータに、そして入力されたデータから取出した、笑いと話す動作の程度ｄｅｇ１，ｄｅｇ２を、定められた関数Ａ１，Ａ２にそれぞれ入力することにより、時間ｔに於ける笑いのエネルギーＥ１及び発話エネルギーＥ２を決定する場合について説明する。
【００７４】
Ａ１：Ｅ１＝ｆ１（ｐ１，ｐ２，ｐ３，…，ｄｅｇ１，ｔ）
Ａ２：Ｅ２＝ｆ２（ｐ１，ｐ２，ｐ３，…，ｄｅｇ２，ｔ）
上述した第１の実施の形態と同様に、上記関数Ａ１、Ａ２には重み付け線形和等の関数が考えられる。
【００７５】
上記関数Ａ１、Ａ２より、時間ｔに於ける笑いエネルギーＥ１と発話エネルギーＥ２が求められる。これらのエネルギーＥ１、Ｅ２を用いて、交互に或いは断続的に、若しくは重畳的に笑う動作と話す動作が表出される。制御方法としては、例えば、笑いエネルギーを中心に動作制御を行う場合について説明する。
【００７６】
先ず、笑いのエネルギーを０〜１の範囲に正規化して定めた時、
０ 〜Ｐ１：パターン１
Ｐ１′〜Ｐ２：パターン２
Ｐ２′〜Ｐ３：パターン３
Ｐ３′〜Ｐ４：パターン４
Ｐ４′〜 １：パターン５
のように閾値制御が行われるものとする。この時、Ｐ１〜Ｐ１′の範囲ではパターン１とパターン２の制御が交互に表れるように設定される。同様に、Ｐ２〜Ｐ２′、Ｐ３〜Ｐ３′、Ｐ４〜Ｐ４′に於いてもパターン２と３、パターン３と４、パターン４と５の制御が交互に表出される。但し、何れの場合でも、発話エネルギーＥ２がある値以上の時は強制的に話し始めようとし、またある値以下の時には話せる状態にいる時でも話そうとはしないようにする。
【００７７】
また、上記閾値以外の手法を用いて決定する方法としては、動画像として取込んだある人の笑いを解析し、その人の笑いの癖を学習させて割出すことも可能である。
【００７８】
更に、肺活量、体型、年齢等の生理的因子から呼気段落が設定され、呼気段落を基にした時間的閾値が設定されて笑いの制御が行われるようにしてもよい。これは、呼気段落を経る度に笑いの段階が強まっていき、或いは笑いのエネルギーの値によって次第に弱まり収まっていく制御が行われる。または、呼気段落を経る度に、笑う動作と話す動作が交互に表出されるように設定が行われることも可能である。
【００７９】
また、上記閾値に関して、一度笑った後に、状況によって閾値が変動するように設定しておく。これによって、閾値が下がった場合、一度笑って笑いやすくなっている状況を表現することができる。また、閾値が上がった場合、例えば場の雰囲気等に影響をされて、笑いを自分で制御しているような状況を表現することができる。
【００８０】
更に、目、口、肩等の体の部位について個別に笑いエネルギーを算出して制御することも可能である。すなわち、例えば、目は常に笑っており、口は徐々に大きく笑う動作と話す動作を呼気段落或いは笑いエネルギーによって制御し、肩は呼気段落に従って上下する、等の間欠的、断続的或いは重畳的制御を個別に自動的に行うことも可能である。
【００８１】
また、発話している時に、瞬間的に笑いエネルギーが高くなり、吹出して笑ってしまって発話が中断された場合には、我々が普段自然にそうしているように、中断した同じところからではなく、言語的に意味のあるところ、または文節の頭、或いは文の区切りに遡って発話を再開するよう、自動的に制御される。
【００８２】
同様に、例えば、キャッチボールをしていて、今まさに投げようとしている時に吹出して笑ってしまった場合には、同じところから動作を再開しても意味をなさないと判断され、自動的に振りかぶるところへ遡って動作が再開されるよう制御が行われることも可能である。
【００８３】
以上述べた、笑いながら話す時の笑いエネルギーと発話エネルギーの移り変わりとその時の制御について、図３のタイムチャートを参照して簡単に説明する。図３に於いて、先ず時刻ｔが０の場合、つまり初期状態に於いてはパターン５の状態であり、モデルは笑顔を浮かべておかしい話を始めた状態である。そして、パターン５からパターン１が短時間に順に表出されて、時刻ｔ１ では発話エネルギ―も下がっているので、笑いのみの状態となる。
【００８４】
次いで、時刻ｔ２ に向けて、笑いも収まってきており、パターン１からパターン２、３へと移行される。そして、時刻ｔ２ にて、パターン３となり、発話エネルギ―も上がったので、モデルは話をしようと努める状態となる。
【００８５】
その後、徐々にパターン３からパターン４へ移行されるが、この移行の間、パターン３とパターン４は交互に表出される。時刻ｔ３ では、パターン４の状態となり、笑いは収まってきた状態となる。
【００８６】
上記時刻ｔ３ から再び笑いエネルギ―が上昇を始め、話すことができなくなる状態に移行する。そして、時刻ｔ４ にて、再び笑いが始まる。この時は、時刻ｔ１ で一度笑った後なので、笑いやすい状態となっている。この後、笑いは収まり始める。しかしながら、二度目の笑いであったため、発話エネルギ―は上昇し難いものとなっている。
【００８７】
そして、時刻ｔ５ になると、笑いは収まってきているものの、まだ発話エネルギ―が低い状態であるので、話を始めることはしていない。時刻ｔ５ を経過してしばらくすると、ようやく話を始める。この時は、発話エネルギ―が上昇している。
【００８８】
発話エネルギ―が上昇して時刻ｔ６ になると、パターン４となって、モデルは笑いつつも話をしている状態となる。
以上の制御により、モデルが、設定された時間内に何時どのように笑い、話すのかが決定される。これに従って、笑いなながら話そうとする若い男性のモデルの動作生成が行われ、簡易プレビュー部６に於いて簡易的に画像が生成される。そして、ここで生成された画像が適当であると判断された場合には、画像生成部７にて画像が生成されて、モニタ等の出力部８に画像出力が行われる。
【００８９】
一方、簡易プレビュー部６にて、画像が適当ではないと判断された場合には、パラメータ設定装置４内でパラメータが再設定され、再び動作生成が行われるようにすることが可能である。
【００９０】
このように、第２の実施の形態に於いては、上述した第１の実施の形態と同様に、プレビュー或いは画像生成に対しては、例えば人体モデルの全点或いは代表点の動きのベクトルとなる信号を出力し、その信号に従って人体モデルの全点或いは代表点を制御することによって画像生成を行う、等の手法が考えられる。
【００９１】
【発明の効果】
以上のように本発明によれば、人体モデルがある動作を行う際に、その動作と動作がないニュートラルな状態とが交互に表出されるような間欠的制御を自動的に行うことができ、自然な人体のコンピュータグラフィクスの生成を容易に行うことができるようになった。
【００９２】
また、本発明によれば、人体モデルが複数の動作を同時に行う時の間欠的或いは重畳的制御を自動的に行うことができ、自然な人体のコンピュータグラフィクスの生成を容易に行うことができるようになった。
【００９３】
更に、本発明によれば、人体モデルの部位によって、個々に間欠的或いは重畳的制御を行う、若しくは動作表出のタイミング、重みを個々に設定する等の処理を自動的に行うことによって、自然な人体のコンピュータグラフィクスの生成を容易に行うことができるようになった。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すもので、人体コンピュータグラフィクス制御装置の全体的な構成を示すブロック図である。
【図２】本発明の第１の実施の形態に基く画像生成処理の動作を説明するフローチャートである。
【図３】本発明の第２の実施の形態に基いた、笑いながら話す時の笑いエネルギーと発話エネルギーの移り変わりとその時の制御について説明するタイムチャートである。
【符号の説明】
１ 人体モデル入力部、
２ データ保存用ディスク、
３ スクリプト入力部、
４ パラメータ設定装置、
４ａ パラメータ自動生成部、
４ｂ 入力部、
４ｃ パラメータ設定部、
５ 動作制御決定部、
６ 簡易プレビュー部、
７ 画像生成部、
８ 出力部。
【発明の属する技術分野】
本発明は画像合成装置に係り、より詳細には人体画像を合成する人体コンピュータグラフィクス制御装置及びその制御方法に関するものである。
【０００２】
【従来の技術】
従来、人間の身体の一部、若しくは全部のアニメーション画像を合成する装置に於いて、特定の主たる動作を明示的に与える手法がほとんどを占めている。例えば、複数動作が混在するコンピュータグラフィクスを生成する場合に、時間軸に沿って、手作業により明示的に個々の動作を指定し、重畳したり、交互に表出させたり等の処理は従来行われてきたが、自動的にそれらを生成することはできなかった。更に、身体の個々の部位に対しても、同様に手作業により行うのが主な手段であった。
【０００３】
また、特定の主たる動作を明示的に与え、且つその動作中に他の動作を生成し得る技術としては、例えば、特開平３−７４７７７号公報に開示されている無意識の行動をランダムに画像に合成する方法や、特開平２−１６６８１号公報に開示されるような発声時と非発声時でまばたきの頻度を変化させる方法や、特開平５−２９８４２５号公報に開示されているように喜怒哀楽や発声／非発声によってまばたきの頻度を変化させる方法が提案されてきている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特開平３−７４７７７号公報による無意識行動を画像合成に加える方法では、無意識的若しくは本能的動作を顔画像情報に付加することはできるが、明示的動作を複数同時に顔画像情報に付加することはできないものであった。
【０００５】
また、上記特開平２−１６６８１号公報によるまばたき調整方法では、顔動画像にまばたき情報を加えた上、発声、或いは非発声によってまばたきの頻度を制御することは可能であった。更に、上記特開平５−２９８４２５号公報による顔画像合成方法では、喜怒哀楽や発声、或いは非発声によってまばたきの頻度を制御して表示することが可能であった。しかしながら、これら特開平２−１６６８１号公報及び特開平５−２９８４２５号公報による技術では、まばたき以外の他の動作を表現することはできないものであった。
【０００６】
このように、従来技術では、間欠的な動作表出が行われる場合の表現を自動的に生成することはできず、また、その動作表出の重み、タイミング等の設定は手作業で行うしかなかった。更に、上述した従来技術では、複数動作が重なった場合の表現はしきれておらず、また、その度合によって制御法を細かく変化させるようなことはできないものであった。
【０００７】
加えて、１つ、或いは複数の動作を表現する場合に、全体を明示的に表現することはできても、個々の部位によって制御方法を変えて全体を統合的に表現することはできなかった。
【０００８】
更に、１つの動作が他の動作によって中断された場合の表現も、どこから再開させるかは手作業で行っていたので、繁雑な作業を必要としていた。
本発明は上記実状に鑑みてなされたものであり、その目的は、人体動作をコンピュータグラフィクスで表現する際に、ある１つまたは複数の因子によって、１或いは複数の動作に対して、間欠的、または交互、断続的、重畳的、若しくはそれらの処理を交互に変化させた制御を行い、また部位毎に動作が表出されるタイミング、若しくは重みを制御することによって、目だけ笑う等のより自然な表現を行うことが可能な人体コンピュータグラフィクス制御装置及びその制御方法を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の構成を有する。
（１） コンピュータグラフィクス処理にてモデル化した人間の身体の所定の動作を表示するコンピュータグラフィクス制御装置に於いて、上記モデル化した人間の身体の所定の動作を設定する設定手段と、この設定手段で設定された所定の動作を人体コンピュータグラフィクスによって間欠的に行わせるよう制御する動作制御手段とを具備することを特徴とする人体コンピュータグラフィクス制御装置。
【００１０】
（２） 上記動作制御手段は、上記設定手段で設定された動作に従って、少なくとも２つの動作を交互に表出するよう人体コンピュータグラフィクスを制御することを特徴とする上記（１）に記載の人体コンピュータグラフィクス制御装置。
【００１１】
（３） 上記動作制御手段は、上記設定手段で設定された所定の動作のうち、少なくとも２つの動作を人体コンピュータグラフィクスによって交互、断続的若しくは重畳的に行わせるよう制御することを特徴とする上記（１）に記載の人体コンピュータグラフィクス制御装置。
【００１２】
（４） 上記設定手段で上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力する制御因子入力手段を更に具備することを特徴とする上記（１）に記載の人体コンピュータグラフィクス制御装置。
【００１３】
（５） 上記設定手段で上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力する制御因子入力手段を更に具備することを特徴とする上記（２）に記載の人体コンピュータグラフィクス制御装置。
【００１４】
（６） 上記設定手段で上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力する制御因子入力手段を更に具備することを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
【００１５】
（７） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（４）に記載の人体コンピュータグラフィクス制御装置。
【００１６】
（８） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（５）に記載の人体コンピュータグラフィクス制御装置。
【００１７】
（９） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（６）に記載の人体コンピュータグラフィクス制御装置。
【００１８】
（１０） 上記動作制御手段は、上記人間の身体の部位に応じて個別に動作表出のタイミングを決定か若しくは上記人間の身体の部位に応じて個別に動作表出の重みを決定することを特徴とする上記（１）若しくは（２）に記載の人体コンピュータグラフィクス制御装置。
【００１９】
（１１） 上記動作制御手段は、上記人間の身体の部位に応じて、個別に交互、断続的若しくは重畳的な制御、動作表出の重み、若しくは動作表出のタイミングを決定することを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
【００２０】
（１２） 上記動作制御手段は、ヒステリシスを設けて各々の制御を行うことを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
（１３） 上記動作制御手段は、上記コンピュータグラフィクス処理にて上記人間の身体の動作を複数表示する際に、１つの動作が発話の場合、他の動作によって中断した時に、言語的に意味のある部分、文節の頭若しくは文の区切りまで遡って発話を再開させることを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
【００２１】
（１４） 上記動作制御手段は、上記コンピュータグラフィクス処理にて上記人間の身体の動作を複数表示する際に、１つの動作が他の動作によって中断した時に、中断時から再び動作を開始しても意味をなさないと判断した場合は、該動作単位の始め若しくは動作的に意味をなす部分に遡って動作を開始させることを特徴とする上記（３）に記載の人体コンピュータグラフィクス制御装置。
【００２２】
（１５） コンピュータグラフィクス処理にてモデル化した人間の身体の所定の動作を表示するコンピュータグラフィクスの制御方法に於いて、上記モデル化した人間の身体の所定の動作を設定するステップと、この設定するステップで設定された所定の動作を人体コンピュータグラフィクスによって間欠的に行わせるよう制御するステップとを具備することを特徴とする人体コンピュータグラフィクスの制御方法。
【００２３】
（１６） 上記制御するステップは、上記設定するステップで設定された動作に従って、少なくとも２つの動作を交互に表出するよう人体コンピュータグラフィクスを制御することを特徴とする上記（１５）に記載の人体コンピュータグラフィクスの制御方法。
【００２４】
（１７） 上記制御するステップは、上記設定するステップで設定された動作に従って、少なくとも２つの動作を交互、断続的若しくは重畳的に表出するよう人体コンピュータグラフィクスを制御することを特徴とする上記（１５）に記載の人体コンピュータグラフィクスの制御方法。
【００２５】
（１８） 上記設定するステップで上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力するステップを更に具備することを特徴とする上記（１５）に記載の人体コンピュータグラフィクスの制御方法。
【００２６】
（１９） 上記設定するステップで上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力するステップを更に具備することを特徴とする上記（１６）に記載の人体コンピュータグラフィクスの制御方法。
【００２７】
（２０） 上記設定するステップで上記動作を設定する際に、該動作のエネルギ―を決定する少なくとも１つの制御因子を入力するステップを更に具備することを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００２８】
（２１） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（１８）に記載の人体コンピュータグラフィクスの制御方法。
【００２９】
（２２） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（１９）に記載の人体コンピュータグラフィクスの制御方法。
【００３０】
（２３） 上記制御因子は、周囲の環境に応じた環境状態因子、心理的な長期の特性とした心理的因子、及び生理的な長期の特性とした生理的因子のうちの、少なくとも２つで構成されることを特徴とする上記（２０）に記載の人体コンピュータグラフィクスの制御方法。
【００３１】
（２４） 上記制御するステップは、上記人間の身体の部位に応じて個別に動作表出のタイミングを決定するステップ若しくは上記人間の身体の部位に応じて個別に動作表出の重みを決定するステップから成ることを特徴とする上記（１５）若しくは（１６）に記載の人体コンピュータグラフィクスの制御方法。
【００３２】
（２５） 上記制御するステップは、上記人間の身体の部位に応じて、個別に交互、断続的若しくは重畳的な制御、動作表出の重み、若しくは動作表出のタイミングを決定するステップから成ることを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００３３】
（２６） 上記制御するステップは、ヒステリシスを設けて各々の制御を行うことを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００３４】
（２７） 上記制御するステップは、上記コンピュータグラフィクス処理にて上記人間の身体の動作を複数表示する際に、１つの動作が発話の場合、他の動作によって中断した時に、言語的に意味のある部分、文節の頭若しくは文の区切りまで遡って発話を再開させることを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００３５】
（２８） 上記制御するステップは、上記コンピュータグラフィクス処理にて上記人間の身体の動作を複数表示する際に、１つの動作が他の動作によって中断した時に、中断時から再び動作を開始しても意味をなさないと判断した場合は、該動作単位の始め若しくは動作的に意味をなす部分に遡って動作を開始させることを特徴とする上記（１７）に記載の人体コンピュータグラフィクスの制御方法。
【００３６】
本発明は、コンピュータグラフィクスで人体の動作を生成する場合、制御因子を用いた動作エネルギーを決定し、それを用いることによって、ある動作を間欠的に表出させることを自動的に行うことが可能となる。
【００３７】
また本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、複数動作が重複して起こる時に、制御因子によって動作エネルギーを決定し、それを用いることによって、１つの動作が間欠的に、或いは複数動作が交互、または重畳的に表出するタイミング、若しくは動作表出の重みを自動的に生成することができ、自然な複数動作の表現を自動的に行うことが可能となる。
【００３８】
本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、複数動作が重複して起こる時に、制御因子によって交互か、断続的か若しくは重畳的かを、制御を行うことによって自然な複数動作の表現を自動的に行うことが可能となる。
【００３９】
更に本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、人体の個々の部位によって各々単一動作を間欠的に、若しくは複数動作を重畳的或いは交互に表出させる制御を行ったり、または各々に対して個々に動作表出のタイミング、重み等を変化させることによって、自然な複数動作の表現を自動的に行うことが可能となる。
【００４０】
そして本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、複数動作が重複して起こる時に、制御因子にヒステリシスを設け、断続的或いは重畳的に、交互に制御することによって、自然な複数動作の表現を自動的に行うことが可能となる。
【００４１】
本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、発話している時に他の動作によって中断された場合、自動的に言語的に意味のあるところ、若しくは文節の頭、或いは分の区切りに遡って発話を再開させることによって、自然な複数動作の表現を自動的に行うことが可能となる。
【００４２】
また本発明は、コンピュータグラフィクスによって人体の動作を生成する場合、１つの動作が他の動作によって中断された際に、中断したところから再開しては動作的に意味をなさないと判断した時には、自動的に動作単位の始め、または動作的に意味のあるところから動作を再開させることによって、自然な複数動作の表現を自動的に行うことが可能となる。
【００４３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の実施の形態を示すもので、人体コンピュータグラフィクス制御装置の全体的な構成を示すブロック図である。
【００４４】
図１に於いて、人体モデル入力部１は顔及び身体モデルの入力を行うためのもので、データ保存用ディスク２を介して、スクリプト入力部３からの入力と共にパラメータ設定装置４内のパラメータ自動生成部４ａに供給される。このパラメータ設定装置４は、上記パラメータ自動生成部４ａの他、手入力用の入力部４ｂと、パラメータ設定部４ｃとを有している。
【００４５】
このパラメータ設定装置４の出力と、上記データ保存用ディスク２及びスクリプト入力部３の出力は、それぞれ動作制御決定部５に供給される。この動作制御決定部５では、スクリプトに従った動作の制御方法が決定される。動作制御決定部５の出力は、簡易プレビュー部６で簡易的にプレビューを介して画像生成部７に供給される。その後、画像生成部７で生成された出力が出力部８に供給されて、モニタ等に画像出力される。
【００４６】
このように構成された人体コンピュータグラフィクス制御装置に於いて、人体モデル入力部１より、顔及び身体モデルの入力が行われる。尚、通常はデータ保存用ディスク２から、人体モデルデータが読込まれて使用される。また、人体モデル入力部１よりモデルを入力して、データ保存用ディスク３に保存することも可能である。
【００４７】
一方、スクリプト入力部３からは、モデルにどのような動きをさせるかというデータが入力される。
次に、パラメータ設定装置４内のパラメータ設定部４ｃに於いて、上記モデルの状態、モデルの周囲の状態を表現するパラメータの設定が行われる。このパラメータは、例えば、モデルに対する心理的状態、或いは生理的状態、若しくはモデルを取巻く環境の状態を表すパラメータである。
【００４８】
上記心理的状態としては不安度、集中度或いは興奮度を、生理的状態としては疲労度、体温、呼気段落、乾燥肌或いはオイリー肌を、また環境状態としては気温、湿度或いは経過時間等の心理的及び生理的状態にも作用するものが、それぞれ設定され得る。設定方法に関しては、入力された人体モデル及びスクリプトからパラメータ自動生成部４ａにより自動生成することが基本であるが、入力部４ｂから手入力することも可能である。
【００４９】
以上の情報、すなわち、データ保存用ディスク２からの人体モデルデータと、スプリト入力部３からのスクリプトデータと、パラメータ設定装置４からのパラメータが用いられて、動作制御決定部５に於いて、スクリプトに従った動作の制御方法が決定される。
【００５０】
例えば、上記各種の情報から、スクリプトの中の動作に対してエネルギーが与えられ、そのエネルギーの値に従って動作が制御されたり、また、１つ或いは同時に複数動作が混在する時に、その動作が重畳的に表出されるか、若しくは間欠的に表出されるかがパラメータにより制御されたり、ヒステリシスを設けてパラメータの値によって重畳的或いは間欠的制御が交互に行われる等の処理が行われる。
【００５１】
こうして、動作制御が決定されたところで、簡易プレビュー部６に於いて簡易的にプレビューが行われて、自動生成された動作が適当であるかどうかの判断がなされる。このプレビューでは、簡易モデルが用いられて画像が生成され、動作のタイミングや身体の動きの大きさ等を見て、動作制御決定部５にて決定された動作が適当であるかどうかが判断される。
【００５２】
ここで、上記動作が適当でないと判断された場合はパラメータ設定部４ｃに戻り、パラメータの再設定をすることができる。一方、適当だと判断された場合には、以下の処理が行われる。
【００５３】
画像生成部７に於いては、入力されたモデルに対して、決定された動作を行う画像が生成される。そして、出力部８に於いて、モニタ等に画像の出力が行われる。
【００５４】
次に、図２のフローチャートを参照して、本発明の第１の実施の形態に基く画像生成処理の動作を説明する。
第１の実施の形態として、若い女性のモデルを入力し、モデルに「大笑いする」という動作をさせるよう、スクリプトを入力した場合を考える。モデルの状態としては、「笑う」、という状態の他に、何の動作も行われていない、ニュートラルな状態が設定される。
【００５５】
人体モデル入力部１により上述したモデルの入力がなされ（ステップＳ１）、データ保存用ディスク２にてその読込みがなされる（ステップＳ２）。一方、スクリプト入力部３により上述した「大笑いする」という動作が入力される（ステップＳ３）。
【００５６】
次に、パラメータ設定装置４により、パラメータ設定が行われる（ステップＳ４）。このパラメータ設定では、上述したように、モデルに対する心理的状態、或いは生理的状態、若しくはモデルを取巻く環境の状態等を表すパラメータが設定される。尚、パラメータ自動生成部４ａによる自動生成でない場合は（ステップＳ５）、そのパラメータはパラメータ設定装置４内の入力部４ｂにより、手入力による設定が行われる（ステップＳ６）。
【００５７】
こうして、設定されたパラメータ、例えば、ここでは心理状態パラメータが用いられて、モデルの動作制御が行われるものとする（ステップＳ７）。パラメータとしては、興奮度ｐ１、リラックス度ｐ２、おかしさ度ｐ３等が設定される。また、入力されたデータから、最終的動作の程度ｄｅｇが予め取出される。
【００５８】
以上の情報が用いられることにより、「笑い」のエネルギーが決定される。
ここでは、例えば定められた関数Ａを用いて、笑いのエネルギーＥを決定する場合について説明する。
【００５９】
Ａ：Ｅ＝ｆ（ｐ１，ｐ２，ｐ３，…，ｄｅｇ，ｔ）
例えば、関数Ａとしては、以下のような重み付け線形和等の関数が考えられる。
【００６０】
【００６１】
上記関数より、時間ｔに於ける笑いエネルギーＥが求められる。この「笑い」エネルギーを用いて、例えば、笑いエネルギーがある値以下の場合には、徐々に間欠的に、「笑い」とニュートラルな状態とが交互に表出される閾値処理等が行われて動作が生成される。
【００６２】
或いは、生理的因子に呼気段落が設定され、この呼気段落に従って「笑い」とニュートラルな状態とが交互に表出されるような処理が自動的に行われる。
また、目、口、肩等の体の部位について、個別に笑いエネルギーが算出される。目は常に笑っており、口は徐々に大きく笑って、次第に「笑い」が収まり、肩は呼気段落に従って上下する、等の間欠的制御が、個別に自動的に行われることも可能である。
【００６３】
以上のように、大笑いする若い女性のモデルの動作生成が行われると、次に簡易プレビュー部６にて簡易な画像が用いられて、動作の確認を行うためのプレビューが実行される（ステップＳ８）。ここで、簡易画像の動作のタイミング、或いは動作の大きさ等が適当であれば、画像生成部６にて画像が生成される（ステップＳ９）。その後、図示されないモニタに画像出力が行われる（ステップＳ１０）。
【００６４】
一方、上記プレビューにて、動作が適当でないと思われた場合には、上記ステップＳ４に戻り、パラメータを再設定することによって、適当な動作を生成させることが可能である。
【００６５】
上述したプレビュー或いは画像生成に対しては、例えば、人体モデルの全点或いは代表点の動きのベクトルとなる信号が出力され、その信号に従って該人体モデルの全点或いは代表点が制御されることによって画像生成が行われる、等の手法が考えられる。
【００６６】
尚、ここでは単一動作について、その動作とニュートラルな状態との間欠的制御を行う場合について説明したが、これは複数動作を間欠的に表出させる場合についても同様であり、エネルギーを複数用意し、そのエネルギーを用いて閾値処理等によって生成が行われる。
【００６７】
また、このことは、１つの動作から次の動作に移行する時の動作生成にも用いることができ、エネルギーの変化に従って徐々に動作が移行していく様子を生成することが可能である。
【００６８】
次に、第２の実施の形態について説明する。
この第２の実施の形態では、若い男性の人体モデルを入力し、そのモデルに「大きく笑いながら話すと」言う動作をさせるよう、スクリプトを入力するものである。ここで、「笑いながら話す」時のパターンを簡単に次の５パターンに大別することにする。
【００６９】
（ａ）大笑いしてしまって、全く話せない。笑いが収まってから話し始める。（ｂ）非常におかしくて大笑いしてはいるが、笑いの合間合間に何とか話そうとして、一言、二言、言葉を挟む。
【００７０】
（ｃ）おかしくて笑ってはいるものの、笑いながらでも聞きとれる程度の話はできる。
（ｄ）おかしな話をしながら、話の合間合間に時折笑いが入ってくる。
【００７１】
（ｅ）笑顔を浮かべながら話をする。
以上の５つのパターンについて、モデルの様々な状態を表すパラメータが用いられて制御が行われる。
【００７２】
先ず、モデルの初期状態が設定される。人体モデルは、おかいことがあって現在笑っている状態である。したがって、心理的状態としては、興奮度は比較的高くなっているが集中度には欠けている。また、笑いを抑える必要のないリラックスした状態にいるものと設定される。生理的状態は、若い男性ということから、肺活量は比較的大きいものと設定される。更に、環境の状態のパラメータとしては、時間Ｔに関して制御するよう設定される。
【００７３】
以上の状態パラメータを用いて、上記人体モデルの動作制御が行われる。
ここで例えば、興奮度ｐ１、リラックス度ｐ２、おかしさ度ｐ３等を状態パラメータに、そして入力されたデータから取出した、笑いと話す動作の程度ｄｅｇ１，ｄｅｇ２を、定められた関数Ａ１，Ａ２にそれぞれ入力することにより、時間ｔに於ける笑いのエネルギーＥ１及び発話エネルギーＥ２を決定する場合について説明する。
【００７４】
Ａ１：Ｅ１＝ｆ１（ｐ１，ｐ２，ｐ３，…，ｄｅｇ１，ｔ）
Ａ２：Ｅ２＝ｆ２（ｐ１，ｐ２，ｐ３，…，ｄｅｇ２，ｔ）
上述した第１の実施の形態と同様に、上記関数Ａ１、Ａ２には重み付け線形和等の関数が考えられる。
【００７５】
上記関数Ａ１、Ａ２より、時間ｔに於ける笑いエネルギーＥ１と発話エネルギーＥ２が求められる。これらのエネルギーＥ１、Ｅ２を用いて、交互に或いは断続的に、若しくは重畳的に笑う動作と話す動作が表出される。制御方法としては、例えば、笑いエネルギーを中心に動作制御を行う場合について説明する。
【００７６】
先ず、笑いのエネルギーを０〜１の範囲に正規化して定めた時、
０ 〜Ｐ１：パターン１
Ｐ１′〜Ｐ２：パターン２
Ｐ２′〜Ｐ３：パターン３
Ｐ３′〜Ｐ４：パターン４
Ｐ４′〜 １：パターン５
のように閾値制御が行われるものとする。この時、Ｐ１〜Ｐ１′の範囲ではパターン１とパターン２の制御が交互に表れるように設定される。同様に、Ｐ２〜Ｐ２′、Ｐ３〜Ｐ３′、Ｐ４〜Ｐ４′に於いてもパターン２と３、パターン３と４、パターン４と５の制御が交互に表出される。但し、何れの場合でも、発話エネルギーＥ２がある値以上の時は強制的に話し始めようとし、またある値以下の時には話せる状態にいる時でも話そうとはしないようにする。
【００７７】
また、上記閾値以外の手法を用いて決定する方法としては、動画像として取込んだある人の笑いを解析し、その人の笑いの癖を学習させて割出すことも可能である。
【００７８】
更に、肺活量、体型、年齢等の生理的因子から呼気段落が設定され、呼気段落を基にした時間的閾値が設定されて笑いの制御が行われるようにしてもよい。これは、呼気段落を経る度に笑いの段階が強まっていき、或いは笑いのエネルギーの値によって次第に弱まり収まっていく制御が行われる。または、呼気段落を経る度に、笑う動作と話す動作が交互に表出されるように設定が行われることも可能である。
【００７９】
また、上記閾値に関して、一度笑った後に、状況によって閾値が変動するように設定しておく。これによって、閾値が下がった場合、一度笑って笑いやすくなっている状況を表現することができる。また、閾値が上がった場合、例えば場の雰囲気等に影響をされて、笑いを自分で制御しているような状況を表現することができる。
【００８０】
更に、目、口、肩等の体の部位について個別に笑いエネルギーを算出して制御することも可能である。すなわち、例えば、目は常に笑っており、口は徐々に大きく笑う動作と話す動作を呼気段落或いは笑いエネルギーによって制御し、肩は呼気段落に従って上下する、等の間欠的、断続的或いは重畳的制御を個別に自動的に行うことも可能である。
【００８１】
また、発話している時に、瞬間的に笑いエネルギーが高くなり、吹出して笑ってしまって発話が中断された場合には、我々が普段自然にそうしているように、中断した同じところからではなく、言語的に意味のあるところ、または文節の頭、或いは文の区切りに遡って発話を再開するよう、自動的に制御される。
【００８２】
同様に、例えば、キャッチボールをしていて、今まさに投げようとしている時に吹出して笑ってしまった場合には、同じところから動作を再開しても意味をなさないと判断され、自動的に振りかぶるところへ遡って動作が再開されるよう制御が行われることも可能である。
【００８３】
以上述べた、笑いながら話す時の笑いエネルギーと発話エネルギーの移り変わりとその時の制御について、図３のタイムチャートを参照して簡単に説明する。図３に於いて、先ず時刻ｔが０の場合、つまり初期状態に於いてはパターン５の状態であり、モデルは笑顔を浮かべておかしい話を始めた状態である。そして、パターン５からパターン１が短時間に順に表出されて、時刻ｔ１ では発話エネルギ―も下がっているので、笑いのみの状態となる。
【００８４】
次いで、時刻ｔ２ に向けて、笑いも収まってきており、パターン１からパターン２、３へと移行される。そして、時刻ｔ２ にて、パターン３となり、発話エネルギ―も上がったので、モデルは話をしようと努める状態となる。
【００８５】
その後、徐々にパターン３からパターン４へ移行されるが、この移行の間、パターン３とパターン４は交互に表出される。時刻ｔ３ では、パターン４の状態となり、笑いは収まってきた状態となる。
【００８６】
上記時刻ｔ３ から再び笑いエネルギ―が上昇を始め、話すことができなくなる状態に移行する。そして、時刻ｔ４ にて、再び笑いが始まる。この時は、時刻ｔ１ で一度笑った後なので、笑いやすい状態となっている。この後、笑いは収まり始める。しかしながら、二度目の笑いであったため、発話エネルギ―は上昇し難いものとなっている。
【００８７】
そして、時刻ｔ５ になると、笑いは収まってきているものの、まだ発話エネルギ―が低い状態であるので、話を始めることはしていない。時刻ｔ５ を経過してしばらくすると、ようやく話を始める。この時は、発話エネルギ―が上昇している。
【００８８】
発話エネルギ―が上昇して時刻ｔ６ になると、パターン４となって、モデルは笑いつつも話をしている状態となる。
以上の制御により、モデルが、設定された時間内に何時どのように笑い、話すのかが決定される。これに従って、笑いなながら話そうとする若い男性のモデルの動作生成が行われ、簡易プレビュー部６に於いて簡易的に画像が生成される。そして、ここで生成された画像が適当であると判断された場合には、画像生成部７にて画像が生成されて、モニタ等の出力部８に画像出力が行われる。
【００８９】
一方、簡易プレビュー部６にて、画像が適当ではないと判断された場合には、パラメータ設定装置４内でパラメータが再設定され、再び動作生成が行われるようにすることが可能である。
【００９０】
このように、第２の実施の形態に於いては、上述した第１の実施の形態と同様に、プレビュー或いは画像生成に対しては、例えば人体モデルの全点或いは代表点の動きのベクトルとなる信号を出力し、その信号に従って人体モデルの全点或いは代表点を制御することによって画像生成を行う、等の手法が考えられる。
【００９１】
【発明の効果】
以上のように本発明によれば、人体モデルがある動作を行う際に、その動作と動作がないニュートラルな状態とが交互に表出されるような間欠的制御を自動的に行うことができ、自然な人体のコンピュータグラフィクスの生成を容易に行うことができるようになった。
【００９２】
また、本発明によれば、人体モデルが複数の動作を同時に行う時の間欠的或いは重畳的制御を自動的に行うことができ、自然な人体のコンピュータグラフィクスの生成を容易に行うことができるようになった。
【００９３】
更に、本発明によれば、人体モデルの部位によって、個々に間欠的或いは重畳的制御を行う、若しくは動作表出のタイミング、重みを個々に設定する等の処理を自動的に行うことによって、自然な人体のコンピュータグラフィクスの生成を容易に行うことができるようになった。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すもので、人体コンピュータグラフィクス制御装置の全体的な構成を示すブロック図である。
【図２】本発明の第１の実施の形態に基く画像生成処理の動作を説明するフローチャートである。
【図３】本発明の第２の実施の形態に基いた、笑いながら話す時の笑いエネルギーと発話エネルギーの移り変わりとその時の制御について説明するタイムチャートである。
【符号の説明】
１ 人体モデル入力部、
２ データ保存用ディスク、
３ スクリプト入力部、
４ パラメータ設定装置、
４ａ パラメータ自動生成部、
４ｂ 入力部、
４ｃ パラメータ設定部、
５ 動作制御決定部、
６ 簡易プレビュー部、
７ 画像生成部、
８ 出力部。
Claims (2)
- コンピュータグラフィックス処理にてモデル化した人間の身体の動作を表示するコンピュータグラフィックス制御装置に於いて、
上記モデル化した人間の身体の動作を設定する動作設定手段と、
制御因子をパラメータとして設定する制御因子設定手段と、
この動作設定手段で設定された動作に対するエネルギーを、この制御因子設定手段で設定された制御因子に基づいて計算するエネルギー計算手段と、
このエネルギー計算手段で計算されたエネルギーの大きさに基づいて、上記動作を人体コンピュータグラフィックスによって行わせる期間が、当該動作を表出する期間と表出しない期間とから成るよう制御する動作制御手段とを具備することを特徴とする人体コンピュータグラフィックス制御装置。 - コンピュータグラフィックス処理にてモデル化した人間の身体の動作を表示するコンピュータグラフィックスの制御方法に於いて、
上記モデル化した人間の身体の動作を設定するステップと、
制御因子をパラメータとして設定するステップと、
この設定された動作に対するエネルギーを、この設定された制御因子に基づいて計算するステップと、
この計算されたエネルギーの大きさに基づいて、上記動作を人体コンピュータグラフィックスによって行わせる期間が、当該動作を表出する期間と表出しない期間とから成るよう制御するステップとを具備することを特徴とする人体コンピュータグラフィックスの制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05982396A JP3629088B2 (ja) | 1996-03-15 | 1996-03-15 | 人体コンピュータグラフィクス制御装置及びその制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05982396A JP3629088B2 (ja) | 1996-03-15 | 1996-03-15 | 人体コンピュータグラフィクス制御装置及びその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09251549A JPH09251549A (ja) | 1997-09-22 |
| JP3629088B2 true JP3629088B2 (ja) | 2005-03-16 |
Family
ID=13124343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05982396A Expired - Fee Related JP3629088B2 (ja) | 1996-03-15 | 1996-03-15 | 人体コンピュータグラフィクス制御装置及びその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3629088B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6735780B2 (ja) * | 2018-02-19 | 2020-08-05 | 株式会社ドワンゴ | 情報処理装置、情報処理方法およびプログラム |
-
1996
- 1996-03-15 JP JP05982396A patent/JP3629088B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09251549A (ja) | 1997-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106653052B (zh) | 虚拟人脸动画的生成方法及装置 | |
| US10089895B2 (en) | Situated simulation for training, education, and therapy | |
| EP3381175B1 (en) | Apparatus and method for operating personal agent | |
| CN113781610B (zh) | 一种虚拟人脸的生成方法 | |
| JP2001216530A (ja) | アニメーション・キャラクターの社会的プリミティブの指定、制御、及び変更のための方法及び装置 | |
| KR102152500B1 (ko) | 발달장애 아동 언어치료 방법 및 장치 | |
| Cassidy et al. | Expressive visual text-to-speech as an assistive technology for individuals with autism spectrum conditions | |
| EP3477433A1 (en) | Information processing device, information processing method, and computer program | |
| Hu et al. | Storytelling agents with personality and adaptivity | |
| CN112379780A (zh) | 多模态情感交互方法、智能设备、系统、电子设备及介质 | |
| Zibrek et al. | Does synthetic voice alter social response to a photorealistic character in virtual reality? | |
| Llanes-Jurado et al. | Developing conversational Virtual Humans for social emotion elicitation based on large language models | |
| JPH10143351A (ja) | インタフェース装置 | |
| Chollet et al. | A multimodal corpus approach to the design of virtual recruiters | |
| JP3629088B2 (ja) | 人体コンピュータグラフィクス制御装置及びその制御方法 | |
| Ding et al. | Audio-driven laughter behavior controller | |
| Imashev et al. | A user-centered evaluation of the data-driven sign language avatar system: A pilot study | |
| Prendinger et al. | MPML and SCREAM: Scripting the bodies and minds of life-like characters | |
| Pasztor | Subjective experience divided and conquered | |
| JP2006330173A (ja) | 学習支援装置、学習支援装置の制御方法、学習支援装置の制御プログラム、及びコンピュータ読み取り可能な記録媒体 | |
| Juhan et al. | Character design towards narrative believability of Boboiboy in the Malaysian animated feature film Boboiboy: The Movie (2016) | |
| Ritschel | Real-time generation and adaptation of social companion robot behaviors | |
| WO2001038959A2 (en) | An apparatus and method for determining emotional and conceptual context from a user input | |
| Corradini et al. | Towards believable behavior generation for embodied conversational agents | |
| Granström et al. | Speech and gestures for talking faces in conversational dialogue systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071217 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |