JP5232129B2 - 仮想キャラクタ生成装置及び仮想キャラクタ生成プログラム - Google Patents

Description

本発明は、仮想キャラクタ生成装置及び仮想キャラクタ生成プログラムに係り、特に、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成するための仮想キャラクタ生成装置及び仮想キャラクタ生成プログラムに関する。

従来、３次元仮想空間上の仮想キャラクタ（以下、適宜「キャラクタ」という。）等を自然に動作させるために、キャラクタの骨の動きを基準とし、その骨の動きに合わせて皮膚表面の動きを制御することで、滑らかで自然な動きを実現させるスキニング手法やその編集ツール等が知られている（例えば、特許文献１及び２、非特許文献１等参照。）。

具体的には、キャラクタの動作の生成においては、キャラクタの骨（以下、適宜「ボーン」という。）等に対して、皮膚や衣服との関係付け（スキニング）が行われる。ここで、従来のスキニング手法について図を用いて説明する。図１は、従来におけるスキニング手法の一例を示す図である。

図１に示す従来のスキニング手法では、まず、骨情報１１や皮膚や衣服等の形状情報１２−１、材質情報等の別々のデータファイルをＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）ソフト等に読み込む（図１（ａ））。次に、骨の動作に応じて表面形状である皮膚や衣服等が滑らかに変形するように骨情報と形状情報との関係付け（スキニング）を行う（図１（ｂ））。なお、上述した作業は、例えば非特許文献１等に示されるソフトウェア等を用いて、そのソフトウェアがインストールされたパソコン等の画面を見ながらユーザが操作することにより行われる。また、ここで生成されるキャラクタデータは、一体化したデータとしてファイルに出力してワンスキンモデルとしてのキャラクタ情報が完成する。つまり、骨の動きに滑らかに追随するようにするには、細かなスキニング作業が繰り返し行われる。

ここで、キャラクタの衣服を変更する場合、一度スキニングにより得られたキャラクタ情報を解除して古い衣服のデータを削除し（図１（ｃ））、骨情報１１の状態から新たに衣服等の形状情報１２−２の読み込みや編集を行い（図１（ｄ））、再度、その形状情報１２−２を用いて、上述と同様にスキニング作業が行われる（図１（ｅ））。

特開２００５−７１１８２号公報 特開２００７−１４８８５６号公報

田中健二／有限会社Ｂ３Ｄｅｓｉｇｎ／芦野健太郎／南奥敬文／工藤芳邦／鈴木幹彦／鈴木靖生／阿部知弘，「Ａｕｔｏｄｅｓｋ Ｍａｙａ ビジュアルリファレンス」，株式会社ワークスコーポレーション，２００６年３月

上述したようなスキニング手法等を用いてキャラクタモデルを制作する場合は、通常、高い専門性と長い制作時間が必要となる。特に、動作に追従させて皮膚や衣服が滑らかに変形するワンスキンモデルの場合には、形状や材質の制作だけでなく、動作を指定する骨格と皮膚、衣服との関係付け（スキニング）に熟練した技術を要する。また、既存の高機能なＣＧソフトは、作業効率を向上させるものではあるが、それでもスキニング作業にはＣＧソフトに関する専門知識が必要であり、ＣＧソフトも高価であるため、一般ユーザは利用できない。

更に、上述した従来手法では、キャラクタの形状情報の変更に伴い、上述したスキニング、スキニング解除、再スキニングが繰り返される。この作業は、キャラクタ全体を基準に行われるため、変更の必要がないパーツについてもスキニング情報を解除して再スキニングする必要があるため、作業が膨大となる。

本発明は、上述した問題点に鑑みなされたものであり、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成するための仮想キャラクタ生成装置及び仮想キャラクタ生成プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、３次元仮想空間上で動作する仮想キャラクタを、少なくとも前記仮想キャラクタの骨情報及び形状情報を用いて生成する仮想キャラクタ生成装置において、前記骨情報及び前記形状情報を前記仮想キャラクタに対する所定の部位単位で分割したパーツ情報として蓄積する蓄積手段と、入力手段からの指示に基づいて、前記蓄積手段により蓄積された複数の骨情報と複数のパーツ情報とがパーツグループ情報として生成され、生成された前記パーツグループ情報の中から、所定の骨情報及びパーツ情報を選択し、選択された骨情報に基づいて、選択されたパーツ情報を連結させて仮想キャラクタを生成するキャラクタ生成手段と、前記キャラクタ生成手段により前記骨情報及び前記パーツ情報を選択させるための表示画面、又は前記キャラクタ生成手段により生成された仮想キャラクタを動作させるための表示画面を生成する画面生成手段と、前記パーツ情報に含まれる形状情報、材質情報、及びスキンウエイト情報のうち、何れかの情報を、前記複数のパーツグループ情報に基づいて前記仮想キャラクタの所定の部位で分割されたパーツ単位でテキスト情報により編集させるためのテキスト編集手段と、を有し、前記テキスト編集手段は、前記骨情報から得られる前記仮想キャラクタの骨の動きに応じて前記パーツ情報に含まれる表面の形状が所定の変形を行わせるために、前記スキンウエイト情報の内容を追加・変更することを特徴とする。

請求項１記載の発明によれば、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成することができる。

請求項２に記載された発明は、前記キャラクタ生成手段又は前記テキスト編集手段により生成されたキャラクタ情報であるテキストファイルを読み込み、前記仮想キャラクタの動作を再生させる再生手段と、前記再生手段により再生された映像又は音声を出力する出力手段と、を有し、前記再生手段は、前記出力手段により記述された前記テキストファイルに対応するＴＶＭＬスクリプトから前記仮想キャラクタの動作を再生し、映像又は音声を生成することを特徴とする。

請求項３に記載された発明は、３次元仮想空間上で動作する仮想キャラクタを、少なくとも前記仮想キャラクタの骨情報及び形状情報を用いて生成するための仮想キャラクタ生成プログラムにおいて、コンピュータを、前記骨情報及び前記形状情報を前記仮想キャラクタに対する所定の部位単位で分割したパーツ情報として蓄積する蓄積手段、入力手段からの指示に基づいて、前記蓄積手段により蓄積された複数の骨情報と複数のパーツ情報とがパーツグループ情報として生成され、生成された前記パーツグループ情報の中から、所定の骨情報及びパーツ情報を選択し、選択された骨情報に基づいて、選択されたパーツ情報を連結させて仮想キャラクタを生成するキャラクタ生成手段、前記キャラクタ生成手段により前記骨情報及び前記パーツ情報を選択させるための表示画面、又は前記キャラクタ生成手段により生成された仮想キャラクタを動作させるための表示画面を生成する画面生成手段、及び、前記パーツ情報に含まれる形状情報、材質情報、及びスキンウエイト情報のうち、何れかの情報を、前記複数のパーツグループ情報に基づいて前記仮想キャラクタの所定の部位で分割されたパーツ単位でテキスト情報により編集させるためのテキスト編集手段、として機能させ、前記テキスト編集手段は、前記骨情報から得られる前記仮想キャラクタの骨の動きに応じて前記パーツ情報に含まれる表面の形状が所定の変形を行わせるために、前記スキンウエイト情報の内容を追加・変更することを特徴とする。

請求項３記載の発明によれば、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に仮想キャラクタ生成処理を実現することができる。

本発明によれば、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成することができる。

従来におけるスキニング手法の一例を示す図である。 仮想キャラクタ生成装置の機能構成の一例を示す図である。 本実施形態におけるキャラクタ生成の具体例について説明するための図である。 パーツ情報の選択例について説明するための図である。 パーツグループについて説明するための図である。 画面生成手段により生成されるキャラクタ編集画面の一例について説明するための図である。 パーツ情報のテキスト情報を表示させた一例の図である。 各ボーンセットの連結部（ボーンの繋ぎ目、ジョイント）のパラメータの一例を示す図である。 仮想キャラクタ生成処理の処理手順の一例を示すフローチャートである。

＜本発明について＞
本発明は、例えばＣＧで３次元仮想空間上に表示させる人や動物、植物、昆虫、ロボット、車等の通常考えられる動作可能な物体であるキャラクタの生成（編集も含む）に関し、そのキャラクタの顔や服装等の表面の形状情報を複数のパーツ（部品）として扱う。更に、本発明は、パーツの構成や構造等をテキスト情報で表現して直接編集することを可能とする。

具体的には、例えばワンスキンモデルのキャラクタの編集において、皮膚や衣服等のスキニングを行う対象について、その形状情報や材質情報（テクスチャ情報）と共に、予めスキニング情報をテキスト情報で記述したセット（組）を蓄積、管理し、そのセット単位で結合、削除、挿入等の編集を行うことにより、キャラクタモデルの編集を、例えば安価なテキストエディタ等により容易に実現する。これにより、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成することができる。

以下に、上述したような特徴を有する本発明における仮想キャラクタ生成装置及び仮想キャラクタ生成プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

なお、本実施形態において生成されたキャラクタの一例として人（人体）を用いることとし、そのキャラクタが適用されるコンテンツの一例としては、例えばＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｋｉｎｇ Ｌａｎｇｕａｇｅ）スクリプトを読み込み、リアルタイムＣＧと音声合成を使用して制作されるＣＧ番組等がある。

つまり、本実施形態では、一般ユーザが、ＣＧ番組の出演者であるＣＧキャラクタモデルを簡便に生成する手法について以下に説明する。また、以下に説明する本発明の一実施形態として適用されるコンテンツ制作システムは、自動番組制作システム（ＴＶ４Ｕ）の機能を有する。

ここで、ＴＶＭＬとは、テレビ番組を制作するためのオブジェクトベース記述言語であり、テレビ番組の映像や音声等を、素材データと台本（演出内容等）とに分けて記述することができ、制作側で台本を記述することで、パソコン等で動作するソフトウェア等がこれをスクリプトとして読み取り、台本に記述された素材データを取得して即座にテレビ番組として再生・視聴することができる。なお、スクリプトの中には、番組に出演させるキャラクタ情報等を記述することができる。

＜仮想キャラクタ生成装置：機能構成例＞
本実施形態における仮想キャラクタ生成装置の機能構成例について図を用いて説明する。図２は、仮想キャラクタ生成装置の機能構成の一例を示す図である。図２に示す仮想キャラクタ生成装置２０は、入力手段２１と、出力手段２２と、蓄積手段２３と、パーツ読込手段２４と、キャラクタ読込手段２５と、画面生成手段２６と、キャラクタ生成手段２７と、テキスト編集手段２８と、再生手段２９と、送受信手段３０と、制御手段３１とを有するよう構成されている。

入力手段２１は、ユーザ等からの指示により本実施形態における動作可能なキャラクタを生成するために、キャラクタ読み込み指示や、パーツ読込指示、画面生成指示、キャラクタ生成指示、テキスト編集指示、再生指示、送受信指示等のキャラクタ生成における各入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。

出力手段２２は、入力手段２１から入力された指示内容と、これらの各指示内容に基づいて生成されるキャラクタと、そのキャラクタに関するテキストデータとをＴＶＭＬスクリプトに記述し、そのＴＶＭＬスクリプトを、例えばＴＶＭＬプレイヤーで構成される再生手段２９にて再生させる機能を有する。これにより、番組、パーツ情報、キャラクタ情報、及びテキスト情報に基づいて、本実施形態により生成されるキャラクタやキャラクタを生成するための画面等を表示する。また、必要に応じてキャラクタの動作に対応した音声を出力する。このため、出力手段２２は、図示しないディスプレイ等による画面表示機能やスピーカ等による音声出力機能を備える。出力手段２２は、再生手段２０により再生されたＴＶＭＬスクリプトに対応する映像又は音声を上述の画面表示機能や音声出力機能を用いて出力する。

蓄積手段２３は、パーツデータベース（ＤＢ）４１及びキャラクタデータベース（ＤＢ）４２を備えている。パーツＤＢ４１は、例えば、体型、顔、目、まゆげ、まぶた、鼻、口、耳等のうち少なくとも１つからなる身体情報、及び、衣類（ワイシャツ、セーター、Ｔシャツ、上着、ズボーン、靴下）や眼鏡、帽子、ヘルメット、時計、ネックレス、靴、手袋、ブレスレット、イヤリング等のキャラクタが着用するもののうち、少なくとも１つからなるアクセサリー情報等の各種パーツ情報が複数蓄積されている。また、キャラクタＤＢ４２は、人体や動物等の複数のキャラクタに関する骨情報１１及び皮膚や衣服等の形状情報１２等がキャラクタ毎に設定されている。

ここで、パーツＤＢ４１におけるパーツ情報には、そのパーツの表面の形状情報、材質情報、スキンウエイト情報、各パーツに対応する画像情報等が含まれる。なお、スキンウエイト情報とは、例えば、多数のポリゴンの集まりで表される皮膚（スキン）に対してスキニング手法によりパーツ毎のスキンと連結部（関節）を関連付ける際に、滑らかで自然なスキンの変形を実現するための情報をいう。この関節部分にポーズを付けると、関連付けられたスキンの曲げた部分に皺ができたり、他の部分の頂点（スキンポイント）を引っ張ってしまうことがある。そのため、引っ張り部分にウエイト（重み）を付加して調整を行い、滑らかで自然なスキンの変形を実現する。

また、パーツＤＢ４１は、後述する各パーツに含まれる構成や構造等に関する詳細情報や複数のパーツの組を纏めたパーツグループ情報等も蓄積し、必要に応じて読み込みと、書き込みを行うことができる。

また、蓄積手段２３は、上述した情報の他にも本実施形態を実施することで得られるキャラクタ情報や、生成された画面、再生した番組、番組を再生するためのＴＶＭＬスクリプトや、台本データ、素材データ、番組制作エンジン等のＴＶＭＬ用の番組を制作するための各種情報等を蓄積する。なお、蓄積手段２３に蓄積されている各種データは、必要に応じて読み出しや書き込みが行われる。また、蓄積手段２３は、上述した各種データを通信ネットワーク等に接続された外部装置等から取得することもできる。

なお、上述したパーツＤＢ４１やキャラクタＤＢ４２は、必要に応じて通信ネットワーク等に接続された外部装置等から取得することができる。これにより、ユーザ自らがメンテナンス等を行う必要がなく、外部装置から更新済みの最新のパーツＤＢ４１及びキャラクタＤＢ４２を取得することができる。

パーツ読込手段２４は、蓄積手段２３等に蓄積されているパーツＤＢ４１から所望するキャラクタの生成に必要となる上述した各種パーツ情報群や各詳細情報群を読み込む。また、キャラクタ読込手段２５は、蓄積手段２３等に蓄積されているキャラクタＤＢ４２から所望するキャラクタの生成に必要となるキャラクタ情報を読み込む。

画像生成手段２６は、本実施形態における人体等のキャラクタの生成において、上述したキャラクタ読込手段２５及びパーツ読込手段２４により読み込まれた情報のうち、ユーザが所望するキャラクタ情報及びパーツ情報等を選択させるための画面や、生成されたキャラクタを動作可能に表示するための画面を生成する。

なお、画面生成手段２６は、生成された画面をディスプレイ等の出力手段２２により出力すると共に、ユーザ等から入力手段２１により入力された情報に基づいて画面の表示内容を逐次対応させるための画面を生成する。

キャラクタ生成手段２７は、画面生成手段２６により生成され、出力手段２２により表示されている情報に基づいて、ユーザ等が入力手段２１により入力された情報からキャラクタを生成する。

具体的には、キャラクタ生成手段２７は、画面に表示された複数の骨情報及び複数のパーツ情報から、所望するキャラクタを新しく生成する。また、キャラクタ生成手段２７は、キャラクタに他の衣服等を着用させる等の編集を行うために、ユーザ等が入力手段２１により選択された骨情報やパーツ情報に基づき、選択された骨情報に基づいてそれぞれにパーツ情報を連結させて動作可能な仮想キャラクタを生成する。なお、本実施形態において、パーツ同士は直接的に連結するのではなく、各パーツは骨情報（後述するボーンセット）に連携し、複数のパーツが１つの骨情報と連結することで、一体となって動作が行われる。

つまり、キャラクタ生成手段２７は、例えば各パーツ情報に含まれる形状情報や材質情報、スキンウエイト情報等に基づいて、パーツ毎にスキニング処理を行い、対応するキャラクタ全体の動作を実現させる。したがって、例えば、キャラクタの衣服を変更するような場合には、スキニング処理を、パーツの変更部分のみ行えばよいため、迅速且つ効率的にキャラクタの編集を行うことができる。なお、キャラクタ生成手段２７におけるキャラクタ生成の具体例については後述する。

なお、キャラクタ生成手段２７により生成されたキャラクタは、画面生成手段２６により生成された画面に表示させてユーザに確認させることができる。また、キャラクタ生成手段２７は、生成されたキャラクタ情報を蓄積手段２３のキャラクタＤＢ４２に蓄積し、必要に応じて読み込むことができる。

テキスト編集手段２８は、本実施形態におけるパーツ情報をテキスト情報ファイルとし、各パーツ情報（部品）はテキストデータの塊（ブロック）として表現することで、テキストエディタ等のテキスト編集ツール等を用いてパーツ毎の編集を行う。

具体的には、本実施形態におけるキャラクタの生成、編集等において、テキスト編集手段２８は、パーツ情報毎に生成されたテキスト情報の各ブロックをファイル内で結合したり、削除したり、挿入したりすることにより、パーツ情報に含まれる形状情報、材質情報、及びスキンウエイト情報のうち、何れかの情報をキャラクタの所定の部位で分割されたパーツ単位でテキスト情報により編集する。

例えば、テキスト編集手段２８は、骨情報から得られるキャラクタの骨の動きに応じて、パーツ情報に含まれる表面の形状に対し所定の変形を行わせるために、スキンウエイト情報の内容を追加・変更することができる。

なお、テキスト編集手段２８は、画面生成手段２６により生成されたアイコン等により表示されるパーツ情報を選択することで、その選択したパーツ情報に対応するテキスト情報を別画面等に表示し、表示されたテキスト情報に対してユーザが入力手段２１等により入力された情報を反映させることで、容易にユーザにパーツ情報の編集を行わせることができる。

なお、テキスト編集手段２８は、予め蓄積手段２３に蓄積されているＴＶＭＬスクリプトのテキスト情報を編集することもできる。これにより、既存のＴＶＭＬスクリプトに記載されている番組に登場するキャラクタに対して新たに生成したキャラクタの情報に変えることができる。

再生手段２９は、ブラウザ機能を有し、キャラクタ生成手段２７又はテキスト編集手段２８により生成されたキャラクタ情報のテキストファイルを読み込み、キャラクタ動作を再生させてディスプレイ等の出力手段２２に出力させる。

また、再生手段２９は、出力手段２２から得られるＴＶＭＬスクリプトを再生し、再生して得られた映像又は音声等を出力手段２２の画面表示機能や音声出力機能により出力させる。このとき、例えば予め設定された番組用のＴＶＭＬスクリプトに対し、本実施形態により生成されたキャラクタ情報を指定することで、その番組に新たにキャラクタを参加させることができる。更に、本実施形態によれば、キャラクタの衣服等を変更させるといった処理を行うことができる。

送受信手段３０は、通信ネットワークを介してパーツＤＢ４１、キャラクタＤＢ４２、キャラクタ情報、画面情報、キャラクタデータ、パーツデータ、テキスト編集情報、生成されたキャラクタやそのキャラクタを用いた番組、素材データ、台本データ、番組制作エンジン等の各種データを、送信することができ、また外部装置から受信することもできる通信インタフェースである。

制御手段３１は、本実施形態における仮想キャラクタ生成装置２０の各機能構成全体の制御を行う。具体的には、制御手段３１は、ユーザ等から入力手段２１により入力された各種情報に基づいて、例えばキャラクタ情報データを読み込んだり、パーツ情報を読み込んだり、画面を生成したり、キャラクタを生成したり、テキスト情報を編集したり、ＴＶＭＬスクリプトを再生させたり、送受信手段３０を介して他の端末に送信させる等の各種制御を行う。

上述したように、本実施形態によれば、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成することができる。また、本実施形態によれば、一度設定したスキニング情報を保持し、また、一般ユーザでも容易且つ効率的にワンスキンモデルを制作することができる。

＜キャラクタ生成手段２７におけるキャラクタ生成の具体例について＞
次に、上述したキャラクタ生成手段２７におけるキャラクタ生成の具体例について図を用いて説明する。なお、以降の説明では、キャラクタの一例として人（人体）を用いることとするが、本発明において生成されるキャラクタについてはこれに限定されるものではない。

図３は、本実施形態におけるキャラクタ生成の具体例について説明するための図である。例えば、キャラクタモデルを新たに生成する場合に、本実施形態では、ボディパーツ、上着パーツ、ズボーンパーツ、靴パーツからなるパーツ情報、及び骨情報としてのボーンセットを選択する。なお、ボーンセットには、キャラクタの動きに応じて各骨が親子関係等相互に関係を持ちながら全体として人らしい自然な動きになるような人体全体の骨情報が予め設定されている。

このとき、例えば図３に示す画面５１に表示されるような各人体のパーツを選択するが、本実施形態では、各パーツに対し、それぞれ複数のパーツ群が設定されている。具体的には、図３に示すように、複数の異なる各パーツ選択群５２と、複数のボーンセット群５３とがパーツＤＢ４１から読み込まれる。なお、図３に示すパーツ選択群５２は、具体的には、ボディパーツ選択群５２−１、上着パーツ選択群５２−２、ズボーンパーツ選択群５２−３、及び靴パーツ群５２−４等から構成されている。

ユーザは、画面に表示されたこれらの各パーツ群及びボーンセット群から所望するキャラクタを生成するためのパーツ情報及びボーンセットを選択する。なお、上述の内容は、本発明においてはこれに限定されるものではなく、上記内容の他にも例えばキャラクタの顔や性別、性格等の情報を設定することができる。また、キャラクタ生成手段２７におけるキャラクタ作成時に、予め設定されたキャラクタ毎のプロファイル情報（体型、性別、性格、趣味等）に基づいて、好みの服装を優先的に選択する等の機能を備えていてもよい。これにより、ユーザの操作が簡単になり、容易且つ効率的にキャラクタを生成することができる。

上述したようなユーザによる選択により、図３に示すようなキャラクタモデル１のキャラクタ情報５４が設定され、その設定された内容から得られるキャラクタ５５が画面生成手段２６により生成される画面に表示される（図３（ａ））。また、そのキャラクタ５５がボーンセットに予め設定された骨の位置（関節部分等）を変形させることで、変形されたボーンセットに基づいて、対応するパーツの各部が移動しても、滑らかで自然な動作を実現することができる（図３（ｂ））。なお、上述のキャラクタ情報５４は、蓄積手段２３に蓄積し、必要に応じてそのキャラクタ情報を読み込んで、編集等行うことができる。また、上述した手法により複数のキャラクタ情報を生成することができる。

なお、パーツ情報としては、図３に示すように、パーツの表面形状を３次元仮想空間上の３次元座標等で示された形状情報、パーツ毎の材質、模様（テクスチャ）、色等をパラメータとして数値化して設定された材質情報、形状情報とボーンセットとの関係を示すスキンウエイト情報等が設定されている。なお、スキンウエイト情報とは、例えば、スキン形状に予め設定された頂点座標と、ボーンの連結部との関係から、動作等によって生じるスキンが引っ張られる状態等を重みとして表したものである。

また、パーツ情報には、ボーンセットに関する情報も含まれていてもよい。なお、上述した形状情報、材質情報、スキンウエイト情報に関する詳細な説明は後述する。

なお、図３に示すパーツ情報には、それぞれのパーツ毎に予め形状情報、材質情報、スキンウエイト情報（ボーンセット情報）等が蓄積されているが、本発明においてはこれに限定されるものではなく、例えば形状情報、材質情報、スキンウエイト情報のそれぞれに対応する各詳細情報群を予め用意しておき、パーツ設定時には、その各詳細情報群から対応する各情報を選択することもできる。

ここで、上述の内容について図を用いて説明する。図４は、パーツ情報の選択例について説明するための図である。図４に示すように、あるパーツ情報６１自体を選択する場合には、各詳細情報群６２を蓄積手段２３から読み込み、読み込んだ情報の中から所望する情報を選択する。

なお、図４に示す例では、形状情報群６２−１、材質情報群６２−２、及びスキンウエイト情報群６２−３が蓄積手段２３等から読み込まれており、この中からユーザが所望する情報を選択してパーツ情報を選択する。また、選択した各詳細情報により得られたパーツ情報は、例えば、図３に示す画面５１に示すように画面生成手段に２６によりパーツのみの画面を生成して表示してもよく、また必要に応じてこのパーツのみを生成して蓄積手段２３のパーツＤＢ４１等に蓄積することもできる。

更に、図３に示すような各パーツ群５２−１〜５２−４に対して、季節やキャラクタの性別、ユーザの嗜好等に応じて今までの設定等により既にパーツの組み合わせがある程度決まっている場合や、他のユーザ等のランキング等により人気のあるパーツの組み合わせが決まっている場合には、それらの各パーツをグループ化して蓄積手段２３に蓄積しておき、キャラクタを新たに生成する場合や既に生成されたキャラクタの衣類等を変更する場合に、そのグルーピングされたパーツグループ情報を蓄積手段２３から読み込んで、その中から適切なパーツの組合せを選択させることもできる。これにより、キャラクタの生成や編集処理を行うたびに、各パーツをそれぞれ設定する必要がなく、容易且つ効率的にキャラクタの生成等を行うことができる。

ここで、上述の内容について図を用いて説明する。図５は、パーツグループについて説明するための図である。図５に示すように、例えば、複数のパーツグループ７１−１〜７１−５を予め設定して蓄積手段２３に蓄積しておくことにより、キャラクタの生成やキャラクタ情報の変更の際、蓄積手段２３により、図５に示すパーツグループ７１−１〜７１−５を読み込んで、複数のパーツグループの中から所望するキャラクタの生成に適切なパーツグループを選択する。

なお、パーツグループとしてグループ化されるのは、キャラクタに必要な全てのパーツ詳細情報（図５の例では、ボディパーツ、上着パーツ、ズボーンパーツ、靴パーツ）に限定されるものではなく、例えば、パーツグループ７１−４又はパーツグループ７１−４に示すように、キャラクタの一部のパーツ情報であってもよい。なお、パーツグループは、異なる部位パーツの少なくとも２つがグルーピングされる。

更に、これらのパーツグループは、画面生成手段２６により表示可能で、必要に応じて編集することもできる。また編集後のパーツグループは、蓄積手段２３のパーツＤＢ４１に蓄積される。

つまり、本実施形態では、複数のパーツグループ情報に基づいてキャラクタの所定の部位で分割されたパーツ単位の編集（追加・変更等）を実現することができる。

＜編集画面例＞
次に、画面生成手段２６により生成されるキャラクタ編集画面の一例について説明する。図６は、画面生成手段により生成されるキャラクタ編集画面の一例について説明するための図である。図６に示すキャラクタ編集画面８１は、概略するとパーツ情報表示領域８２と、キャラクタ情報表示領域８３と、キャラクタ表示領域８４とを有するよう構成されている。

なお、図６におけるパーツ情報表示領域８２、キャラクタ情報表示領域８３、及びキャラクタ表示領域８４の配置や表示形態については、本発明においては特に制限されるものではない。

図６に示すパーツ情報表示領域８２は、パーツＤＢ４１から読み込まれたパーツ情報に対応する各選択可能な部品画像（パーツ情報表示領域８２の左側）、及び選択可能な項目情報（パーツ情報表示領域８２の右側）が表示されている。

なお、図６に示すパーツ情報表示領域８２で表示される画像は、項目情報で選択した項目に対応する部品画像が表示される。ここで、部品画像には、各パーツが３次元仮想空間上で浮遊している画面が表示されており、表示される各パーツが所定の方向に回転可能であり、一周すると全てのパーツが一度は一番前に表示されるように表示される。また部品画像からパーツを選択した際には、その選択したパーツが、キャラクタ情報表示領域８３及びキャラクタ表示領域８４に反映される。これにより、ユーザの選択を容易に行うことができる。

また、キャラクタ情報表示領域８３では、キャラクタの生成や編集において選択され、現在キャラクタ表示領域８４に表示されているキャラクタが使用中のパーツ（部品）が表示される。なお、これらの内容は、キャラクタ表示領域８４により表示されるキャラクタに対応したものである。

ここで、図６に示すキャラクタ情報表示領域８３では、使用中のパーツとして体型、顔（輪郭）、髪、帽子、眼鏡、上着、ズボーン、靴のアイコン画像が表示されている。また、それぞれのパーツのアイコン画像がキャラクタに装着されている位置関係に対応して表示領域の上下に配置して表示されている。これにより、パーツがどの部位を示すものであるかを容易に把握することができる。

また、キャラクタ表示領域８４には、キャラクタ情報表示領域８３で表示されているパーツに対応するキャラクタが表示されている。また、キャラクタ表示領域８４に表示されているキャラクタは、ボーンセットに基づいて各パーツを連結させたものである。したがって、ユーザは入力手段２１等によりキャラクタ表示領域８４に表示されているキャラクタのボーンを動かすことで、キャラクタの皮膚や衣服の変形の様子を容易に確認することができる。

＜ＴＶＭＬ用のキャラクタモデルについて＞
ここで、本実施形態で用いられるＴＶＭＬ用のキャラクタモデルは、例えばｘファイルフォーマットのＣＧデータファイルが用いられる。なお、ｘファイルフォーマットとは、例えばＣＧ分野で用いられているＣＧデータ形式であり、グラフィックスライブラリＤｉｒｅｃｔＸ等で使用しているファイルフォーマットである。

また、ＣＧデータファイルは、例えば、顔と体部分に大別され、それぞれの特徴が異なる。また、顔部分のｘファイルは、モーフィングやパーツの切り替えにより表情を操作するため、複数のパーツをそれぞれ別ファイルで管理する。

更に、パーツデータは、上述した形状情報、材質情報等を有する構成となっている。一方、体部分のｘファイルは、内部のボーンの動きにより表面の皮膚が滑らかに変形するワンスキンモデルとしているため、１つのファイル内に、形状や材質以外に、ボーン構造、スキンウエイト情報等を有した複雑な構成となっている。

本実施形態では、ボーンも１つの形状として管理することにより、スキンウエイト機能を持たない安価或いは簡易なＣＧデータ制作ツールの利用が可能となる。
したがって、例えばフリーＣＧソフトウェア等を使って、予め設定された識別情報によりボーンや人体の各パーツを指定して制作したＣＧキャラクタモデルをワンスキンモデルに変換する。

また、本実施形態では、衣服等のパーツ単位にワンスキンモデル化することにより、簡易な方法で、モデルの編集が可能となる。つまり、本実施形態では、テキスト情報で記述された複数のワンスキンモデルを編集して１つのキャラクタモデルを制作することができる。

＜テキスト編集手段２８における編集内容＞
次に、上述したテキスト編集手段２８における編集内容について、説明する。図７は、パーツ情報のテキスト情報を表示させた一例の図である。また、図８は、各ボーンセットの連結部（ボーンの繋ぎ目、ジョイント）のパラメータの一例を示す図である。

図７に示す例では、上述した形状情報、材質情報、スキンウエイト情報がテキスト情報として表示されている。ここで、本実施形態に示されるＣＧモデルは、例えば、多数のポリゴンの集まりとして表わされる。したがって、形状情報としては、例えば、頂点情報（各頂点の３次元位置座標）及び面情報（各面がどの頂点から構成されるか）、材質情報（色や明るさ等）がある。なお、模様がある場合は、テクスチャ情報（３次元画像と頂点との対応：マッピング情報）を有する。

このとき、例えば、ワンスキンモデルのようにボーンの動きに応じて変形する場合は、スキンウエイト情報と呼ばれる各頂点がジョイント（ボーンの繋ぎ目、連結部）の動きにどのくらい影響を受けるかを表すウエイト情報が必要となる。

つまり、図７に示すスキンウエイト情報として、図８に示す“Ｊｏｉｎｔ＿Ｃｈｅｓｔ”（腰），“Ｊｏｉｎｔ＿ＬｅｆｔＳｈｏｕｌｄｅｒ”（左肩）、“Ｊｏｉｎｔ＿Ｎｅｃｋ”（首）のそれぞれのジョイント（連結部）について、対応する三角形ポリゴンの各頂点情報と、頂点に対するウエイト情報がそれぞれ設定される。なお、連結部は、上記内容に限定されず、その他にも肘、膝、手首、足首、指関節等の動作可能な部位からなり、必要に応じて多数の連結部のウエイト情報が設定される。

なお、ボーンセット（ジョイントセット）が異なるとキャラクタの所望する変形がされないので、ボーンセットを指定する必要があるが、例えば、編集するキャラクタが人等に限定されるのであれば、わざわざキャラクタの衣服を変更する編集を行う度にボーンセットを選択する必要がなく、同じボーンセットを利用することができる。そのため、ボーンセットの指定を省略することもできる。

図７に示されるように記述したパーツを選択し、組み合わせて１つのテキストファイルにすれば、それが即ち、ＣＧキャラクタモデルとなる。したがって、ユーザは、パーツを表示した画面を見てパーツを複数選択して、対応するテキストファイルを合成（マージ）して、１つのテキストファイルとする。このテキストファイルには、ワンスキンモデルの全ての情報が入っており、画面生成手段（ＣＧモデル表示ツール）で表示し、ボーンを動かして、皮膚や衣服の変形の様子を確認することができる。

また、本実施形態では、衣服等、キャラクタの一部を変更するのも容易に行うことができる。具体的には、テキストファイル内の対応するブロックを削除するか、或いは、別のパーツのテキストファイルの内容と置換するだけでよい。アクセサリー等の部品を追加する場合は、アクセサリパーツのテキストファイルの内容を追加するだけで容易に変換することができる。

通常、スキニング作業は熟練を要するが、本実施形態では、ジョイントへの重み付け情報であるウエイト情報がテキスト記述されているため、腕時計部品のように変形がなく、特定の１つのジョイント（例えば、手首等）の動きだけに連携するのであれば、テキスト編集手段２８のテキストエディタを使って、図７に示すテキストでジョインを１つ設定し、そのウエイト情報を全て「１．０」とすることで手首の動きを固定させて自然な動きを実現することができる。

つまり、本実施形態では、ボーンセットから得られるキャラクタのボーンの動きに応じてパーツ情報に含まれる皮膚や衣服が滑らかに変形させる等の所定の変形を行わせるために、スキンウエイト情報の内容を変更することができる。

なお、図７に示すテキスト情報は、例えば、図６に示すキャラクタ情報表示領域８３の各パーツのアイコンを画面上で選択することで、画面生成手段２６により、テキストエディタ用の画面が生成され、選択したパーツに対応するテキスト情報が表示される。したがって、ユーザは、入力手段２１により該当箇所に適切に修正、変更を行うことができる。

＜ボーンセットを使った動作制御について＞
ここで、本実施形態におけるボーンセットを使った動作制御については、既存の手法を適用することができる。例えば、特許文献１（特開２００５−７１１８２号公報）等に示されているように、３次元仮想空間において動くキャラクタの骨格を、長さを属性に持つ複数のリンクとリンク間を結合する関節とを用いて表される骨格モデルを用いて定義し、更にキャラクタの関節の角度を定義して、定義された関節の角度を、定義されたキャラクタの骨格モデルに適用し、関節の角度が決められたキャラクタを含む３次元仮想空間を表示するディスプレイ装置と、リンクと関節とがキャラクタと同じ結合関係であって各関節の角度変位を検出する角度センサを備え３次元実空間において動く多関節ロボットとを備え、多関節ロボットの操作により角度センサから得られる角度をキャラクタの関節の角度として記憶すると共に統合演算手段に与える機能を有することにより、動きを制御する手法を用いることができる。

また、例えば、特許文献２（特開２００７−１４８８５６号公報）等に示されているように、第１のボーンの位置や姿勢の変化を、第２のボーンにも継承させ、第２のボーンの位置や姿勢は、第１のボーンに対する第２のボーンの相対的な姿勢によって定め、更に第１のボーンと第２のボーンとの連結点からの距離が一定の点（仮想点）の位置を更新する。すなわち、特許文献２では、取得された変化後の姿勢と第１のボーンに対する第２のボーンの変化前の姿勢とを補間するように、当該連結点と当該仮想点とを結ぶ線分の姿勢が変化するように、更新する。また、特許文献２では、仮想点の位置から、スキンの制御点の位置を求めて出力し、その出力された情報に基づいて各パーツ部分の連結を実現することができる。

更に、例えば、特開２００７−２３４０３３号公報等に示されるように、複数のポリゴンにより構成され第１〜第Ｎの仮想ボーン（スケルトン）の位置情報及び方向情報の変化により形状が変形するオブジェクトが配置されるオブジェクト空間内での視界画像を合成する手法を用いて、第Ｋ（１≦Ｋ≦Ｎ）の仮想スケルトン（ボーン）の位置情報及び方向情報の少なくとも一方を変化させ、第Ｋの仮想スケルトン（ボーン）の位置情報及び方向情報の変化により変化するポリゴンの頂点の位置情報を、変化前における該頂点の位置情報と、第Ｋの仮想スケルトン（ボーン）の位置情報及び方向情報の少なくとも一方と、第Ｋの仮想スケルトン（ボーン）からの影響度情報と、第Ｋの仮想スケルトン（ボーン）と隣り合う第（Ｋ−１）の仮想スケルトン（ボーン）からの影響度情報とに基づいて求め、求めたポリゴンの頂点の位置情報であるオブジェクト空間内の所与の視点位置に基づいて視線方向における視界画像を合成し、各パーツ部分の連結を実現することができる。

上述したように、本発明によれば、熟練者でなくても、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成することができる。したがって、例えば、熟練者がスキニングを行ったパーツに対して、上述した簡単なテキストの編集操作だけで、一般ユーザでも自由に組み合わせてＣＧキャラクタモデルを制作、編集できる。また、スキニング作業に対応した高価で特殊なＣＧソフトは必要なく、テキスト編集は、ブロック単位の追加、削除、挿入の処理だけで十分となる。

＜実行プログラム＞
ここで、上述した仮想キャラクタ生成装置２０は、ＣＰＵ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。

したがって、仮想キャラクタ生成装置が有する各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（仮想キャラクタ生成プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、仮想キャラクタ生成処理を実現することができる。

次に、本発明における実行プログラムによる処理手順についてコンテンツ制作システムにおける仮想キャラクタ生成処理についてフローチャートを用いて説明する。

＜仮想キャラクタ生成処理手順について＞
図９は、仮想キャラクタ生成処理の処理手順の一例を示すフローチャートである。図９において、まず、仮想キャラクタ生成装置２０は、パーツ情報の読み込みを行い（Ｓ０１）、次に、キャラクタ情報のサンプルの読み込みを行う（Ｓ０２）、次に、パーツ等の選択によるキャラクタ生成を行う（Ｓ０３）。このときボーンセットの選択も併せて行う。また、Ｓ０３の処理後、選択された各パーツやボーンセットに対応して生成されたキャラクタの動作を再生する（Ｓ０４）。なお、再生により得られる映像又は音声等は出力手段２２により出力される。

次に、テキスト編集が必要か否かを判断し（Ｓ０５）、ユーザ等の指示により必要であると判断された場合（Ｓ０５において、ＹＥＳ）、テキストエディタ等によりパーツ毎のテキスト情報を編集する（Ｓ０６）。次に、Ｓ０６の終了後、又はＳ０５の処理において、ユーザ等の指示等に基づきテキスト編集の必要がないと判断された場合（Ｓ０５において、ＮＯ）、それまでに得られたパーツ情報に基づいてキャラクタの動作を再生する（Ｓ０７）。なお、再生により得られる映像又は音声等は出力手段２２により出力される。

また、生成されたキャラクタが希望通りであるか否かを判断し（Ｓ０８）、ユーザ等の指示等に基づき希望通りでないと判断された場合（Ｓ０８において、ＮＯ）、Ｓ０３に戻り、例えば他のパーツ等を選択して後続の処理を行う。また、Ｓ０８の処理において、ユーザ等の指示等に基づき希望通りであると判断された場合（Ｓ０８において、ＹＥＳ）、そのキャラクタ情報を蓄積手段２３等に登録して蓄積する（Ｓ０９）。

ここで、仮想キャラクタ生成処理が処理終了であるか否かを判断し（Ｓ１０）、ユーザ等の指示等に基づき終了しないと判断された場合（Ｓ１０において、ＮＯ）、Ｓ０１に戻り、後続の処理を行う。また、ユーザ等の指示等に基づき終了すると判断された場合（Ｓ１０において、ＹＥＳ）、仮想キャラクタ生成処理を終了する。

上述したように本発明によれば、３次元仮想空間上で動作する仮想キャラクタを容易且つ効率的に生成することができる。また、一度設定したスキニング情報を保持し、また、一般ユーザが容易にワンスキンモデルを制作することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１１ 骨情報
１２ 形状情報
２０ 仮想キャラクタ生成装置
２１ 入力手段
２２ 出力手段
２３ 蓄積手段
２４ パーツ読込手段
２５ キャラクタ読込手段
２６ 画面生成手段
２７ キャラクタ生成手段
２８ テキスト編集手段
２９ 再生手段
３０ 送受信手段
３１ 制御手段
４１ パーツデータベース（ＤＢ）
４２ キャラクタデータベース（ＤＢ）
５１ 画面
５２ 各パーツ群
５３ ボーンセット群
５４ キャラクタ情報
５５ キャラクタ
６１ パーツ情報
６２ 各詳細情報群
７１ パーツグループ
８１ キャラクタ編集画面
８２ パーツ情報表示領域
８３ キャラクタ情報表示領域
８４ キャラクタ表示領域

Claims (3)

1. ３次元仮想空間上で動作する仮想キャラクタを、少なくとも前記仮想キャラクタの骨情報及び形状情報を用いて生成する仮想キャラクタ生成装置において、
   前記骨情報及び前記形状情報を前記仮想キャラクタに対する所定の部位単位で分割したパーツ情報として蓄積する蓄積手段と、
   入力手段からの指示に基づいて、前記蓄積手段により蓄積された複数の骨情報と複数のパーツ情報とがパーツグループ情報として生成され、生成された前記パーツグループ情報の中から、所定の骨情報及びパーツ情報を選択し、選択された骨情報に基づいて、選択されたパーツ情報を連結させて仮想キャラクタを生成するキャラクタ生成手段と、
   前記キャラクタ生成手段により前記骨情報及び前記パーツ情報を選択させるための表示画面、又は前記キャラクタ生成手段により生成された仮想キャラクタを動作させるための表示画面を生成する画面生成手段と、
   前記パーツ情報に含まれる形状情報、材質情報、及びスキンウエイト情報のうち、何れかの情報を、前記複数のパーツグループ情報に基づいて前記仮想キャラクタの所定の部位で分割されたパーツ単位でテキスト情報により編集させるためのテキスト編集手段と、を有し、
   前記テキスト編集手段は、
   前記骨情報から得られる前記仮想キャラクタの骨の動きに応じて前記パーツ情報に含まれる表面の形状が所定の変形を行わせるために、前記スキンウエイト情報の内容を追加・変更することを特徴とする仮想キャラクタ生成装置。
2. 前記キャラクタ生成手段又は前記テキスト編集手段により生成されたキャラクタ情報であるテキストファイルを読み込み、前記仮想キャラクタの動作を再生させる再生手段と、
   前記再生手段により再生された映像又は音声を出力する出力手段と、を有し、
   前記再生手段は、前記出力手段により記述された前記テキストファイルに対応するＴＶＭＬスクリプトから前記仮想キャラクタの動作を再生し、映像又は音声を生成することを特徴とする請求項１に記載の仮想キャラクタ生成装置。
3. ３次元仮想空間上で動作する仮想キャラクタを、少なくとも前記仮想キャラクタの骨情報及び形状情報を用いて生成するための仮想キャラクタ生成プログラムにおいて、
   コンピュータを、
   前記骨情報及び前記形状情報を前記仮想キャラクタに対する所定の部位単位で分割したパーツ情報として蓄積する蓄積手段、
   入力手段からの指示に基づいて、前記蓄積手段により蓄積された複数の骨情報と複数のパーツ情報とがパーツグループ情報として生成され、生成された前記パーツグループ情報の中から、所定の骨情報及びパーツ情報を選択し、選択された骨情報に基づいて、選択されたパーツ情報を連結させて仮想キャラクタを生成するキャラクタ生成手段、
   前記キャラクタ生成手段により前記骨情報及び前記パーツ情報を選択させるための表示画面、又は前記キャラクタ生成手段により生成された仮想キャラクタを動作させるための表示画面を生成する画面生成手段、及び、
   前記パーツ情報に含まれる形状情報、材質情報、及びスキンウエイト情報のうち、何れかの情報を、前記複数のパーツグループ情報に基づいて前記仮想キャラクタの所定の部位で分割されたパーツ単位でテキスト情報により編集させるためのテキスト編集手段、として機能させ、
   前記テキスト編集手段は、
   前記骨情報から得られる前記仮想キャラクタの骨の動きに応じて前記パーツ情報に含まれる表面の形状が所定の変形を行わせるために、前記スキンウエイト情報の内容を追加・変更することを特徴とする仮想キャラクタ生成プログラム。

Images