JP4252490B2 - ３次元画像生成装置および３次元画像生成プログラム - Google Patents

Description

この発明は３次元画像生成装置および３次元画像生成プログラムに関し、特にたとえば、操作者の操作入力に応じてキャラクタを含む３次元画像を生成する、３次元画像生成装置および３次元画像生成プログラムに関する。

３次元グラフィック処理技術を用いて所望のキャラクタを作成するソフトウェアの一例が、非特許文献１に開示されている。非特許文献１によれば、操作者は、人物などのキャラクタを所望の３次元空間に描画し、描画されたキャラクタをこの３次元空間内で動かすためのアニメーションを作成することができる。

また、特許文献１には、骨（ボーン）と接続点（ジョイント）によってアニメーションを定義するビデオゲーム装置が開示される。ボーンの角度とジョイントの位置とによってアニメーションを作成するときに、モーションキャプチャ技術と手付けによる異なるデータ作成とを用いるので、最終的にアニメーションとして人間の動作を表現したときに起こりうる違和感（関節の過度の開き）が出ないように、すべてのボーンについてジョイントにおける開く角度を制限している。そして、制限を越えたときには、角度の最大値に固定される。

さらに、特許文献２によれば、まずカメラで人の顔を撮影した後、この顔の画像データをテクスチャデータとして利用して、キャラクタを作成する。このとき、撮影した顔の画像に応じて操作者が入力した個性データに基づいた体型で、キャラクタが表示されることを楽しむことができる。さらに、作成されたキャラクタの個性データに応じたアニメーションが表示されることを楽しむことができる装置について開示している。このとき、使用されるアニメーションのデータも上記のようなボーンとジョイントとの動きデータを応用することができる。
「目指せプロアニメータ Ｍａｙａキャラクタアニメーション 著者：ティム コールマン，シェリー シェリダン，発行人 石橋 俊雄，編集 太田 奈緒美，発行 株式会社ボーンデジタル，２００２年４月２５日初版第一刷発行，全頁」 特開２００２−３４２７８４ 特開２００４−４６７９３

しかし、非特許文献１に記載の技術や一般的なグラフィックソフトは、専ら精巧なキャラクタや芸術性に優れたキャラクタの作成を意図するものであり、娯楽性に優れたキャラクタの作成については何ら言及されていない。また、このようなソフトウェアにおいては、ボーンとジョイントとを、生成中のキャラクタに合わせて定義してアニメーションを作成するので、同じアニメーションを異なる体型のキャラクタで表現するときに発生し得る不自然さを解決することはできない。

また、特許文献１では、常にすべてのジョイントにおいて、ボーンの角度を監視する必要があり、処理負担が大きくなるおそれがあった。また、人物の動作のアニメーションをできる限り滑らかにし、かつコストを抑える目的のために、ボーンとジョイントとについて別々の手法でアニメーションデータを作成することを前提としているため、娯楽的で精密なアニメーション動作を必要としないときには、いたずらに処理負担を増大させることになってしまう。

さらに、特許文献２では、個性データに基づくキャラクタの自動生成において、娯楽性を追及したキャラクタの生成を楽しむことはできるが、個性データに合わせてアニメーションを選択するときに、体型に拘わらず同じアニメーションのデータを適用すると、不自然なアニメーションが表示されてしまうことがあった。たとえば、太った体型のキャラクタでは、腕を垂直に降ろした場合に、腕が体にめり込んでしまうことがあった。

それゆえに、この発明の主たる目的は、新規な、３次元画像生成装置および３次元画像生成プログラムを提供することである。

この発明の他の目的は、キャラクタの体型に拘わらず共通のアニメーションデータを使用しても違和感のないアニメーションを表示することができる、３次元画像生成装置および３次元画像生成プログラムを提供することである。

この発明のその他の目的は、キャラクタの体型に拘わらず共通のアニメーションデータを使用し、キャラクタの体型を変化させた場合であっても、簡易かつ処理負担を軽減してアニメーションを生成および表示できる、３次元画像生成装置および３次元画像生成プログラムを提供することである。

請求項１の発明は、操作者の操作入力に応じてキャラクタを含む３次元画像を生成する３次元画像生成装置であって、操作手段、キャラクタ画像生成手段、表示手段、ポリゴンデータ記憶手段、骨組みデータ記憶手段、拡大縮小値設定手段、および関節角度制御手段を備える。操作手段は、操作者が操作入力を行う。キャラクタ画像生成手段は、操作手段からの操作入力に応じてキャラクタ画像を生成する。表示手段は、キャラクタ画像を含む３次元画像を表示する。ポリゴンデータ記憶手段は、キャラクタの形を定義するポリゴンデータを記憶する。骨組みデータ記憶手段は、ボーンと複数のボーンを接続するジョイントとによってキャラクタの骨組みを定義する骨組みデータを、ポリゴンデータに関連付けて記憶する。拡大縮小値設定手段は、少なくともポリゴンデータの一部を所望の大きさに拡大または縮小する拡大縮小値を設定する。関節角度制御手段は、骨組みデータはポリゴンデータに関連づけされていないダミーボーンをさらに含み、当該ダミーボーンが接続されたジョイントにおいて、当該ダミーボーンと他のボーンとの角度を制御する。そして、キャラクタ画像生成手段は、ポリゴンデータおよび骨組みデータを用いるとともに、拡大縮小値に従ってキャラクタ画像を生成する。また、関節角度制御手段は、拡大縮小値に応じて、ダミーボーンと他のボーンとの角度が所定値以下にならないように制御する。

請求項１の発明では、３次元画像生成装置は、操作者の操作入力に応じてキャラクタを含む３次元画像を生成する。操作手段（１２：実施例で相当する参照符号。以下、同じ。）は、操作者が操作入力を行うために用いられる。キャラクタ画像生成手段（１１ａ，１１ｃ，Ｓ９）は、操作手段（１２）からの操作入力に応じてキャラクタ画像を生成する。表示手段（１４）は、キャラクタ画像を含む３次元画像を表示する。ポリゴンデータ記憶手段（１１ｂ）は、キャラクタの形を定義するポリゴンデータを記憶する。骨組みデータ記憶手段（１１ｂ）は、ボーンと複数のボーンを接続するジョイントとによってキャラクタの骨組みを定義する骨組みデータを、ポリゴンデータに関連付けて記憶する。拡大縮小値設定手段（１１ａ，Ｓ１７）は、少なくともポリゴンデータの一部を所望の大きさに拡大または縮小する拡大縮小値を設定する。関節角度制御手段（１１ａ，Ｓ２１，Ｓ３１）は、骨組みデータはポリゴンデータに関連づけされていないダミーボーンをさらに含み、当該ダミーボーンが接続されたジョイントにおいて、当該ダミーボーンと他のボーンとの角度を制御する。そして、キャラクタ画像生成手段（１１ａ，１１ｃ，Ｓ９）は、ポリゴンデータおよび骨組みデータを用いるとともに、拡大縮小値に従ってキャラクタ画像を生成する。また、関節角度制御手段（１１ａ，Ｓ２１，Ｓ３１）は、拡大縮小値に応じて、ダミーボーンと他のボーンとの角度が所定値以下にならないように制御する。

請求項１の発明によれば、所定のジョイントに接続されるボーン同士の角度を、キャラクタを構成する一部のポリゴンの拡大率に基づいて制御するので、キャラクタの体型に合わせた骨組み、すなわち関節の制御を行うことができる。このため、体型に拘わらず、同じアニメーションデータを用いた場合であっても、違和感のないキャラクタを生成し、表示することができる。また、所定のジョイントのみを監視すればよいので、すべてのボーンおよびジョイントを監視する場合に比べて、処理負担を大幅に減らすことができる。

請求項２の発明は請求項１に従属し、骨組みデータは、少なくともキャラクタの肩のジョイントに接続される腕のボーンの位置にダミーボーンを含み、関節角度制御手段は、肩のジョイントにおいて、腕のボーンとダミーボーンとの角度を制御する。

請求項２の発明では、骨組みデータは、少なくともキャラクタの肩のジョイントに接続される腕のボーンの位置にダミーボーンを含む。具体的には、キャラクタが直立し、両腕を下ろしたときの、二の腕に相当する位置にダミーボーンは配置され、キャラクタの動作に拘わらず、その状態（位置）が維持される。関節角度制御手段（１１ａ，Ｓ２１，Ｓ３１）は、肩のジョイントにおいて、腕のボーンとダミーボーンとの角度を監視し、当該角度が所定値以下にならないように制御する。これにより、たとえば、太ったキャラクタ（７２）の腕（手）が身体（腹部）に入り込むことがないようにしてある。

請求項２の発明によれば、太ったキャラクタの腕（手）が身体（腹部）に入り込むような不都合な画像が表示されることがない。つまり、違和感を与えることのないキャラクタを生成し、表示することができる。

請求項３の発明は請求項１または２に従属し、ボーンの位置とジョイントの位置との時系列変化についてのアニメーションデータを記憶するアニメーションデータ記憶手段、およびキャラクタ画像生成手段によって生成されたキャラクタとアニメーションデータとを用いてアニメーションを表示手段に表示するアニメーション表示制御手段をさらに備える。

請求項３の発明では、３次元画像生成装置は、アニメーションデータ記憶手段（１１ｂ）およびアニメーション表示制御手段（１１ａ，１１ｃ，Ｓ３３）をさらに備える。アニメーションデータ記憶手段（１１ｂ）は、ボーンの位置とジョイントの位置との時系列変化についてのアニメーションデータを記憶する。アニメーション表示制御手段（１１ａ，１１ｃ，Ｓ３３）は、キャラクタ画像生成手段（１１ａ，１１ｃ，Ｓ９）によって生成されたキャラクタ（７２）と、アニメーションデータとを用いて、アニメーションを表示手段（１４）に表示する。上述したように、キャラクタ（７２）のジョイントに接続されるボーン同士の角度を監視し、当該角度が所定値以下にならないように制御するようにしてあるため、アニメーションデータは、キャラクタの体型（種類）に拘わらず共通に使用することができる。

請求項３の発明によれば、キャラクタの体型に拘わらず、共通のアニメーションデータを用いて、アニメーション表示することができる。つまり、共通のアニメーションデータを用いた場合であっても、違和感のないキャラクタを生成し、アニメーション表示することができる。

請求項４の発明においても、請求項１の発明と同様に、違和感のないキャラクタを生成し、表示することができる。

この発明によれば、所定のジョイントに接続されるボーン同士の角度を、キャラクタを構成する一部のポリゴンの拡大率に基づいて制御するので、キャラクタの体型に合わせた骨組み、すなわち関節の制御を行うことができる。このため、体型に拘わらず、同じアニメーションデータを用いた場合であっても、違和感のないキャラクタを生成し、表示することができる。また、所定のジョイントのみを監視すればよいので、すべてのボーンおよびジョイントを監視する場合に比べて、処理負担を大幅に減らすことができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の画像処理システム１０は、コントローラ１２が接続された据置型ゲーム装置１１を含む。この据置型ゲーム装置１１は、３次元画像生成装置および３次元画像生成プログラムを備えている。据置型ゲーム装置１１にはコントローラ１２が接続される。このコントローラ１２は、操作スイッチ１２ａおよびジョイスティック１２ｂを備える。操作スイッチ１２ａは、主にメニュー選択画面での決定操作に使用される。ジョイスティック１２ｂは、主にメニュー選択画面での方向指示操作や選択項目の変更操作に使用される。

据置型ゲーム装置１１を３次元画像生成装置として機能させるためのプログラムすなわち３次元画像生成プログラムは、ディスク型のＲＯＭのような外部記憶媒体１３から供給（ロード）される。据置型ゲーム装置１１には、ＣＲＴ（モニタ）１４が接続される。ＣＲＴ１４は典型的にはテレビモニタであり、このＣＲＴ１４には上述のプログラムの処理に応じて作成される３次元キャラクタ画像が表示される。操作者は、ＣＲＴ１４に表示される画像を見ながら、コントローラ１２を操作してキャラクタ画像の形状を変更する。また、ＣＲＴ１４にはスピーカ１４ａが設けられ、このスピーカ１４ａからは、キャラクタ画像に関連するキャラクタ音声が出力される。たとえば、このキャラクタ音声の高さ（音程）は、キャラクタ画像の形状に応じて変化する。

なお、据置型ゲーム装置１１には、メモリカードのような外部データ記憶媒体１５が接続されてもよい。キャラクタ生成処理の途中経過（途中データ）を外部データ記憶媒体１５に記憶させれば、キャラクタ生成処理の一時的な中断が可能となる。また、キャラクタ生成処理の結果（結果データ）を外部データ記憶媒体１５に記憶されることもできる。

画像処理システム１０は、撮像装置として機能する携帯型ゲーム装置２０を含む。携帯型ゲーム装置２０は、携帯型ゲーム装置本体２１と撮像カートリッジ２２とを含む。携帯型ゲーム装置本体２１は、操作スイッチ２１ａを有する。被写体を撮影するとき、操作者は、操作スイッチ２１ａをシャッタボタンとして使用する。携帯型ゲーム装置２０はまた、ＬＣＤモニタ２１ｂを備える。ＬＣＤモニタ２１ｂは、携帯型ゲーム装置本体２１で処理されたプログラムの結果を画像として表示する。

撮像カートリッジ２２には、撮像ユニット２２ａが設けられる。撮像カートリッジ２２のＲＯＭ２２ｂ（図２参照）には、携帯型ゲーム装置本体２１を撮像装置として機能させるためのプログラムおよびデータが記憶されている。撮像ユニット２２ａによって撮影された画像データは、撮像カートリッジ２２のバックアップＲＡＭ（またはフラッシュメモリ）２２ｃ（図２参照）に記憶される。携帯型ゲーム装置２０は、接続ケーブル１６を介して据置型ゲーム装置１１に接続される。バックアップＲＡＭ２２ｃに記憶された画像データは、据え置き型ゲーム装置１１で使用することができる。

図２は、画像処理システム１０の電気的な構成を示すブロック図である。据置型ゲーム装置１１は、ＣＰＵ１１ａを内蔵している。ＣＰＵ１１ａは、プロセサないしコンピュータと呼ばれ、据置型ゲーム装置１１の全体制御を司る。このＣＰＵ１１ａには、ＲＡＭ１１ｂが接続される。ＲＡＭ１１ｂには、ＣＰＵ１１ａによって処理されるプログラムやデータが一時的に記憶される。

ＣＰＵ１１ａには、画像処理ユニット１１ｃおよび音声処理ユニット１１ｇがさらに接続されている。画像処理ユニット１１ｃは、ＣＰＵ１１ａからの指示に基づいて、ＲＡＭ１１ｂに記憶された画像データを処理する。画像処理ユニット１１ｃによって生成された画像データは、ビデオエンコーダ１１ｄを介してＣＲＴ１４から出力される。音声処理ユニット１１ｇは、ＣＰＵ１１ａからの指示に基づいて、ＲＡＭ１１ｂに記憶された音声データを処理する。音声処理ユニット１１ｃによって生成された音声データは、スピーカ１４ａから出力される。

ＣＰＵ１１ａにはさらに、インタフェース１１ｅが接続される。インタフェース１１ｅは、ＲＡＭ１１ｂにも接続される。コントローラ１２は、インタフェース１１ｅを介してＣＰＵ１１ａに接続される。インタフェース１１ｅにはまた、ディスクドライブユニット１１ｆが接続される。外部記憶媒体１３のデータは、ＣＰＵ１１ａの指示に基づいて、ディスクドライブユニット１１ｆによって読み取られる。読み取られたデータは、ＲＡＭ１１ｂに転送される。プログラム処理によって得られたデータを保存するとき、このデータは、ＲＡＭ１１ｂから読み出され、インタフェース１１ｅを介して外部データ記憶媒体（たとえばメモリカード）１５に転送される。

携帯型ゲーム装置本体２１は、ＣＰＵ２１ｃを内蔵する。ＣＰＵ２１ｃは、ＲＡＭ２１ｄと接続される。ＲＡＭ２１ｄには、ＣＰＵ２１ｃのプログラム処理によって得られたデータが一時的に記憶される。画像処理ユニット２１ｅは、ＣＰＵ２１ｃおよびＲＡＭ２１ｄと接続される。画像処理ユニット２１ｅは、ＣＰＵ２１ｃの指示に基づいて、ＲＡＭ２１ｄに一時記憶された画像データを処理し、処理された画像データをＶＲＡＭ２１ｆに格納する。ＶＲＡＭ２１ｆに格納された画像データは、ＬＣＤドライバ２１ｇを介してＬＣＤモニタ２１ｂから出力される。

撮像カートリッジ２２は、コネクタを介して携帯型ゲーム装置本体２１に着脱可能とされる。また、撮像カートリッジ２２は、上述の撮像ユニット２２ａ，ＲＯＭ２２ｂおよびバックアップＲＡＭ２２ｃ、並びに、携帯型ゲーム装置本体２１と接続するためのインタフェース２２ｄを備える。

携帯型ゲーム装置本体２１のＣＰＵ２１ｃは、インタフェース２１ｈを介して、撮像カートリッジ２２にアクセスする。すなわち、ＣＰＵ２１ｃは、ＲＯＭ２２ｂに記憶されたプログラムおよびデータに基づいて、撮像ユニット２２ａを駆動し、かつ所定の処理によって撮像データを生成する。なお、生成された撮像データをバックアップメモリ２２ｃに保存するようにすれば、この画像データを他の携帯型ゲーム装置で使用することができる。

撮像カートリッジ２２に設けられたＲＯＭ２２ｂのメモリマップ３０を図３に示す。メモリマップ３０は、プログラム記憶領域３１とデータ記憶領域３２とに区分される。プログラム記憶領域３１には、撮影指標表示プログラム３１ａ，被写体撮影プログラム３１ｂ，被写体特徴データ取得プログラム３１ｃ，およびデータ送信プログラム３１ｄが記憶される。

撮影指標表示プログラム３１ａは、被写体の目、鼻および口の位置を決めるための指標６２ａ〜６２ｄをＬＣＤモニタ２１ｂに表示するためのプログラムである。被写体の顔は図４の状態図６１に示す要領で撮影され、指標６２ａ〜６２ｄは図４の状態図６２に示す要領で表示される。

被写体撮影プログラム３１ｂは、被写体の画像を撮像ユニット２２ａで撮影するためのプログラムである。操作スイッチ２１ａが操作されると、撮像ユニット２２ａによって撮影された被写体の画像データに所定の処理が施され、処理後の画像データがバックアップＲＡＭ２２ｃに格納される。この画像データは、キャラクタ画像の顔部分に貼り付けるためのテクスチャデータとして用いられる。

被写体特徴データ取得プログラム３１ｃは、撮像ユニット２２ａによって撮影された被写体の特徴を表すデータである被写体特徴データを取得するプログラムである。図４の状態図６３に示すように、被写体特徴データは、“性別”，“体型”，“性格”および“年齢”の４つの項目を含む。所望の性別、体型、性格および年齢が操作者によって選択されると、選択された項目を含む被写体特徴データがＲＡＭ２２ｃ上で画像データと関連づけられる。

データ送信プログラム３１ｄは、こうして得られた画像データ（顔画像データ）および被写体特徴データを、接続ケーブル１６を介して据置型ゲーム装置１１に送信するプログラムである。

データ記憶領域３２は、撮影指標画像データ領域３２ａ，カメラプログラム用画像データ領域３２ｂおよびカメラプログラム用サウンドデータ領域３２ｃを有する。撮影指標画像データ領域３２ａに記憶されるデータは、状態図６２に示される指標６２ａ〜６２ｄを示すデータであり、撮影指標表示プログラム３１ａによって使用される。

カメラプログラム用画像データ領域３２ｂおよびカメラプログラム用サウンドデータ領域３２ｃに記憶されるデータは、状態図６２または状態図６３に示す要領で被写体を撮影するときに使用されるデータである。具体的には、カメラプログラム用画像データ領域３２ｂのデータは、プログラム記憶領域３１に記憶された種々のプログラムの実行中に、演出効果を高めるべく画面に表示される被写体以外の絵のデータである。また、カメラプログラム用サウンドデータ領域３２ｃのデータは、擬似シャッタ音データである。

図示は省略するが、ＲＡＭ２２ｃには、撮像データ記憶領域および被写体特徴データ記憶領域が形成される。撮像データ記憶領域は、撮像ユニット２２ａで撮影された被写体の顔画像データを記憶し、被写体特徴データ記憶領域は、操作者によって入力された被写体特徴データが記憶される。互いに関連する撮像データおよび被写体特徴データには、たとえば共通の識別番号が割り当てられる。

据置型ゲーム装置１１に設けられたＲＡＭ１１ｂのメモリマップ４０を図５に示す。ＲＡＭ１１ｂは、プログラム記憶領域４１およびデータ記憶領域４２に区分される。

プログラム記憶領域４１には、初期設定プログラム４１ａ、操作データ取得プログラム４１ｂ、データ受信プログラム４１ｃ、キャラクタ生成プログラム４１ｄ、キャラクタ選択プログラム４１ｅ、キャラクタ表示プログラム４１ｆ、拡大／縮小率設定プログラム４１ｇ、肩関節角度監視制御プログラム４１ｈ、θ_ｍｉｎ設定プログラム４１ｉ、アニメーション表示プログラム４１ｊなどのプログラムが記憶される。

初期設定プログラム４１ａは、３次元画像生成処理の開始時に、ＲＡＭ１１ｂのワーク領域やバッファ領域をクリアする等の初期設定をするためのプログラムである。操作データ取得プログラム４１ｂは、コントローラ１２の操作状態（操作データ）を取得（検出）するプログラムである。かかるプログラムによって得られる操作データは、コントローラ１２の最新の操作状態を示す。キャラクタ生成プログラム４１ｃは、基本ポリゴンデータ、服装や靴のような顔以外の画像のテクスチャデータおよびキャラクタ変更データを生成（作成）するためのプログラムである。基本ポリゴンデータ、テクスチャデータ（撮影された顔画像を含む。）およびキャラクタ変更データによってキャラクタ画像が定義される。以下、これらのデータを総称して“キャラクタデータ”と呼ぶ場合がある。

キャラクタ選択プログラム４１ｅは、データ記憶領域４２に準備された複数のキャラクタの中から所望のキャラクタを選択するためのプログラムである。キャラクタ表示プログラム４１ｆは、データ記憶領域４２に記憶されたキャラクタデータに基づいて疑似３次元キャラクタ画像を生成するためのプログラムである。

拡大／縮小率設定プログラム４１ｇは、キャラクタ画像の形状を変更する操作が行われたときに、この変更操作に応じて拡大縮小値（拡大／縮小率）を決定するためのプログラムである。拡大／縮小率とは、３次元座標軸の各々におけるキャラクタ画像の変動量ｘ，ｙおよびｚを示す数値であり、キャラクタ画像の初期の形状に対する相対値で表される。ただし、この実施例では、身体の高さ方向（ｙ方向）の大きさは考慮しないため、ｙ方向の変動量ｙは無視される。

なお、初期の形状は、キャラクタ生成プログラム４１ｄによって作成された基本ポリゴンデータおよびキャラクタ変更データによって規定される。また、拡大／縮小率の算出にあたって、頭部形状の変更は考慮されない。

肩関節角度監視制御プログラム４１ｈは、キャラクタを表示する際に（静止画および動画の両方）、着目する関節（この実施例では、肩関節）すなわち肩のジョイントに接続されるボーン同士の角度を監視（検出）し、当該角度が所定値（後述する最小値θ_ｍｉｎ）以下にならないように制御するためのプログラムである。後で詳細に説明するが、ボーン同士の角度は、ポリゴンデータに関連付けられた通常のボーン（腕ボーン）とポリゴンに関連付けされていないボーン（以下、「ダミーボーン」）とが肩のジョイント（肩関節）を中心になす（作る）角度である。

θ_ｍｉｎ設定プログラム４１ｉは、キャラクタ選択プログラム４１ｅに従って選択されたキャラクタの体型に応じて、腕ボーンとダミーボーンとがなす角度の最小値（制限値）θ_ｍｉｎを設定するためのプログラムである。アニメーション表示プログラム４１ｊは、操作者の指示に応答して、アニメーションデータを用いて、生成したキャラクタのアニメーションを表示するためのプログラムである。

データ記憶領域４２は、ポインタデータ領域４２ａ、被写体特徴データ領域４２ｂ、基本ポリゴンデータ領域４２ｃ、テクスチャデータ領域４２ｄ、骨組みデータ領域４２ｅ、アニメーションデータ領域４２ｆ、キャラクタ変更データ領域４２ｇ、体型変更用画像データ領域４２ｈ、操作データ・拡大／縮小率バッファ領域４２ｉ、表示データ領域４２ｊおよびその他の領域４２ｋを有する。

ポインタデータ領域４２ａは、複数のキャラクタＡ，Ｂ，…の各々を定義する各種データ（被写体特徴データ、基本ポリゴンデータ、テクスチャデータ，骨組みデータ、キャラクタ変更データ）を指定（指向）するポインタデータを記憶する。

被写体特徴データ領域４２ｂ、基本ポリゴンデータ領域４２ｃ、テクスチャデータ領域４２ｄ、骨組みデータ記憶領域４２ｅおよびキャラクタ変更データ領域４２ｅは、それぞれ、複数のキャラクタＡ，Ｂ，…の各々を定義する被写体特徴データ、基本ポリゴンデータ、テクスチャデータおよびキャラクタ変更データを記憶する。また、アニメーションデータ領域４２ｆは、キャラクタの種類に拘わらず任意に選択されるアニメーションデータを種類別に記憶する。言い換えると、アニメーションデータは、各キャラクタで共通に用いられる。

体型変更用画像データ領域４２ｈは、体型変更のためのメニュー画面データを記憶する。操作データ・拡大／縮小率バッファ領域４２ｉは、操作データ取得プログラム４１ｂに従って取得された操作データ、および拡大／縮小率設定プログラム４１ｇに従って決定された拡大／縮小率を一時的に記憶する。表示データ領域４２ｊは、表示すべきキャラクタ画像のデータを記憶する。その他の領域４２ｋは、上述した各プログラム４１ａ〜４１ｊを実行する際に発生するデータやフラグを一時的に記憶するバッファ領域として用いられたり、作業領域として用いられたりする。

基本ポリゴンデータは、キャラクタ画像の基本形状を表すデータである。テクスチャデータは、上述のように、基本ポリゴンデータに貼り付けられる顔画像，服装および靴を表すデータである。骨組みデータは、基本ポリゴンデータに関連づけられ、キャラクタの骨組みを決定するためのボーンデータおよび基本ポリゴンデータに関連づけられていないボーンデータ（ダミーボーンデータ）が含まれる。アニメーションデータ（モーションデータ）は、たとえば、モーションキャプチャすることにより取得された人間等の様々な動作を、動作毎に記憶したデータであり、具体的には、ジョイントの位置とジョイントに接続されるボーンの位置とについての時系列変化を示すデータである。したがって、キャラクタに、アニメーションデータを当てはめる（適用する）ことにより、歩く、走る、手を振る、ステップを踏むなどの様々な動作をさせることができる。キャラクタ変更データは、キャラクタ画像の体型および頭部の大きさの基本形状からの変更量を定義するデータである。

被写体特徴データと顔画像のテクスチャデータとは、データ受信プログラム４１ｂによって、被写体特徴データ領域４２ｂおよびテクスチャデータ領域４２ｆに書き込まれる。また、基本ポリゴンデータ、顔以外のテクスチャデータ、骨組みデータおよびキャラクタ変更データは、キャラクタ生成プログラムによって、基本ポリゴンデータ領域４２ｃ、テクスチャデータ領域４２ｄ、骨組みデータ領域４２ｅおよびキャラクタ変更データ領域４２ｇにそれぞれ書き込まれる。体型についてのキャラクタ変更データは、上述した拡大／縮小率設定プログラム４１ｇによって設定された拡大／縮小率に従って更新される。

なお、頭部についてのキャラクタ変更データは、体型と同様に、拡大／縮小率が別途算出され、算出された拡大／縮小率に従って更新される。

たとえば、据え置き型ゲーム装置１１のＣＰＵ１１ａは、データ受信プログラム４１ｂに従って被写体の顔画像データおよび被写体特徴データを受信した後、当該顔画像データと当該被写体特徴データとに基づくキャラクタを生成することができる。具体的に説明すると、操作者がコントローラ１２を操作して、体型を変更することについての指示を入力すると、これに応じて、図示しないキャラクタを選択するための画面（キャラクタ選択画面）がＣＲＴ１４に表示される。このキャラクタ選択画面は、簡単に説明すると、受信した全ての（或いはその一部についての）被写体の顔画像データについての縮小画像（サムネイル画像）を並べて表示した画面である。

このキャラクタ選択画面において、操作者がコントローラ１２を操作して、所望のキャラクタを選択すると、当該キャラクタを生成するための画面（キャラクタ生成画面）がＣＲＴ１４に表示される。具体的には、図６に示すようなキャラクタ生成画面７０がＣＲＴ１４に表示される。キャラクタ生成画面７０には、上述のようにして選択されたキャラクタの画像（キャラクタ画像）７２が表示されるとともに、体型変更用画像データに従うメニュー画像７４が表示される。

キャラクタ生成画面７０が表示された当初では、キャラクタ７２は、画像特徴データに従う特徴（性別、年齢、体型等）に応じて、予め記憶されている基本ポリゴンデータが読み出され、それに顔画像データおよび顔画像以外のテクスチャデータが貼り付けられ、図６に示すように、画面表示される。つまり、被写体を模したキャラクタが生成される。図示は省略するが、生成されたキャラクタ７２を、アニメーションデータを用いて、アニメーション表示させることができる。

なお、このようなキャラクタの生成およびアニメーション表示等については、本件出願人が先に出願し、既に出願公開された特開２００４−４６７９３号公報に詳細に開示されているため、ここでは、その詳細な説明は省略することにする。

また、メニュー画像７４には、選択された体型を表示する体型表示部７４ａと、頭部または体型の大きさを変更するための変更バー７４ｂとが表示される。たとえば、体型表示部７４ａには、“細身”、“標準”、“太目”の３つの項目が表示され、変更バー７４ｂで変更された体型に応じた項目に、太枠のカーソルが設定される。ただし、変更された体型に応じた項目の表示を色反転させるようにしてもよい。変更バー７４には、三角印の目盛が表示され、操作者がコントローラ１２を用いてカーソルを移動させることにより、当該目盛の位置が変化され、頭部や体型の大きさを変更することができる。

具体的には、目盛をプラス（＋）側に移動させると、頭部や体型は大きくなり、逆に、目盛をマイナス（−）側に移動させると、頭部や体型は小さくなる。また、目盛の移動量に応じて、頭部や体型の大きさが変更される割合が異なる。ただし、目盛の位置に応じて、頭部や体型の大きさが変更される割合（拡大／縮小率）は、ゲームプログラマのような開発者によって予め設定されている。つまり、目盛の位置で、拡大／縮小率が設定（決定）されるのである。

なお、図６に示す例では、変更バー７４ｂは変更されていないため、頭部や体型の大きさは変更されていない。

また、基本ポリゴンデータには、対応する骨組みデータが割り当てられている。図６に示すような標準の体型では、そのポリゴンデータに対応して、図７に示すような骨組みデータが記憶される。骨組みデータは、骨組みを構成する通常のボーン、ダミーボーンおよびジョイントについてのデータを含む。通常のボーンは、アニメーション表示する際、アニメーションデータに含まれる位置データに応じてその位置が制御される。つまり、動きが制御される。ダミーボーンは、ポリゴンデータに関連づけがされておらず、また、アニメーションデータに従って動くこともない。このため、図７に示すように、キャラクタ７２が直立し、両手を下ろした状態において、肩関節（肩のジョイント）に接続され、腕ボーンの二の腕の位置に固定的に配置され、キャラクタ７２の動作にかかわらず、その状態（位置）が維持される。ジョイントは、アニメーションデータに含まれる位置データに応じてその位置が制御される。

図８に示すように、操作者が変更バー７４ｂを変更させて、体型が“太目”に変更されると、それに従ってキャラクタ７２の体型が太目に変更される。このとき、基本ポリゴンデータは体型に応じた大きさに拡大される。また、基本ポリゴンデータが拡大されることに伴って、図９に示すように、骨組みデータも拡大される。ここで、図９からも分かるように、体型が拡大された場合には、両腕に相当する腕ボーンやそれに関連するポリゴンは、両腕を垂直に降ろした場合に比べて、少し開いた状態となっている。これは、太目の体型では、標準の体型と同様に腕を垂直に降ろしてしまうと、腕（手）がキャラクタ７２の体内（たとえば、腹部）に食い込んで（入り込んで）しまい、所望でない画像がＣＲＴ１４に表示されてしまうからである。

具体的に説明すると、図９の点線の円で囲む部分の肩のジョイント、腕ボーンおよびダミーボーンを拡大した図１０に示すように、体型が太目に選択された場合には、当該肩のジョイントに接続される腕ボーンとダミーボーンとがなす角度θが所定値θ_ｍｉｎ以下にならないように制御してある。ただし、所定値θ_ｍｉｎは、キャラクタ７２の体型の大きさすなわち体型の拡大／縮小率に応じて可変的に設定される。このように、所定値θ_ｍｉｎ以下にならないように、腕ボーンとダミーボーンとの角度θを制御することにより、上述したような所望でない画像がＣＲＴ１４に表示されるのを回避することができる。このような制御は、キャラクタ生成画面７０のように、静止画を表示する場合のみならず、キャラクタ７２をアニメーションデータに従ってアニメーション表示（動画表示）する場合にも実行される。

具体的には、図２に示したＣＰＵ１１ａが図１１および図１２に示すフロー図に従って３次元画像生成およびアニメーション表示処理を実行する。ＣＰＵ１１ａは、処理を開始すると、ステップＳ１で、キャラクタ生成初期設定を実行する。ここでは、ＲＡＭ１１ｂのワーク領域やバッファ領域を初期化（クリア）する。続くステップＳ３では、操作者に生成するキャラクタを選択させる。ここでは、図示しないキャラクタ選択画面を表示し、操作者によって、生成すべきキャラクタ７２が選択される。

次のステップＳ５では、選択されたキャラクタ７２についての基本ポリゴンデータを読み出す。続くステップＳ７では、基本ポリゴンデータに関連付けられた骨組みデータを読み出す。そして、ステップＳ９で、描画処理を実行する。つまり、読み出した基本ポリゴンデータに、顔画像データおよびテクスチャデータを貼り付けたキャラクタ７２を生成し、図６に示したようなキャラクタ生成画面７０をＣＲＴ１４に表示する。

なお、上述したように、キャラクタ７２を生成する当初では、携帯型ゲーム装置２０から受信した顔画像データおよび被写体特徴データに従うキャラクタ７２が生成される。

次に、ステップＳ１１で、操作データを取得し、ステップＳ１３で、拡大縮小かどうかを判断する。つまり、ステップＳ１３では、ステップＳ１１において取得した操作データが体型の拡大または縮小を指示するかどうかを判断する。ステップＳ１３で“ＮＯ”であれば、つまり操作データが拡大または縮小を指示していなければ、そのままステップＳ２３に進む。なお、ステップＳ１１において操作データが取得されなかった場合にも、拡大または縮小の指示でないと判断される。

一方、ステップＳ１３で“ＹＥＳ”であれば、つまり操作データが拡大または縮小を指示していれば、ステップＳ１５で、体型の拡大または縮小があるかどうかを判断する。ここで、“ＮＯ”であれば、つまり頭部の拡大縮小であれば、そのまま図１２に示すステップＳ２３に進む。しかし、“ＹＥＳ”であれば、つまり体型の拡大縮小があれば、ステップＳ１７で、体型についての拡大／縮小率を取得する。そして、ステップＳ１９で、当該拡大／縮小率に応じた所定値θ_ｍｉｎを設定し、ステップＳ２１で、後述するボーン角度制御処理（図１３参照）を実行して、ステップＳ２３に進む。ただし、ステップＳ１９においては、体型が太目以外では、所定値θ_ｍｉｎは「０」に固定的に設定される。

図１２に示すように、ステップＳ２３では、キャラクタ生成処理を終了するかどうかを判断する。つまり、キャラクタ生成終了の指示が操作者によって入力されたかどうかを判断する。ステップＳ２３で“ＮＯ”であれば、つまりキャラクタ生成処理の終了でなければ、図１１に示したステップＳ９に戻る。一方、ステップＳ２３で“ＹＥＳ”であれば、つまりキャラクタ生成処理の終了であれば、ステップＳ２５で、アニメーション表示するかどうかを判断する。つまり、操作者によって、アニメーション表示の指示が入力されたかどうかを判断する。ステップＳ２５で“ＮＯ”であれば、つまりアニメーション表示しない場合には、そのままステップＳ３７に進む。

一方、ステップＳ２５で“ＹＥＳ”であれば、つまりアニメーション表示する場合には、ステップＳ２７で、アニメーションデータをＲＡＭ１１ｂから読み出し、ステップＳ２９で、描画キャラクタ（キャラクタ７２）にアニメーションデータを当てはめる（適用する）。たとえば、ステップＳ２７においては、アニメーションデータをランダムに選択し、または、所定のルールに従って選択し、ＲＡＭ１１ｂから読み出す。そして、ステップＳ２９において、読み出したアニメーションデータに従って、キャラクタ７２を動作させる。次のステップＳ３１では、後述するボーン角度制御処理を実行し、ステップＳ３３で、描画処理（アニメーション表示）を実行して、ステップＳ３５に進む。

ステップＳ３５では、アニメーション表示を終了するかどうかを判断する。つまり、アニメーション表示終了の指示があるかどうかを判断する。ステップＳ３５で“ＮＯ”であれば、つまりアニメーション表示を終了しない場合には、ステップＳ２７に戻る。つまり、次のアニメーションデータを選択し、キャラクタ７２に適用する。一方、ステップＳ３５で“ＹＥＳ”であれば、つまりアニメーション表示を終了する場合には、ステップＳ３７に進む。

ステップＳ３７では、キャラクタを生成するかどうかを判断する。つまり、キャラクタ生成の指示が入力されたかどうかを判断する。ステップＳ３７で“ＹＥＳ”であれば、つまりキャラクタを生成する場合には、図１１に示したステップＳ１に戻る。一方、ステップＳ３７で“ＮＯ”であれば、つまりキャラクタを生成しない場合には、３次元画像生成およびアニメーション表示処理を終了する。

図１３は、図１１に示したステップＳ２１および図１２に示したステップ３１のそれぞれで実行されるボーン角度制御処理を示すフロー図である。この図１３を参照して、ＣＰＵ１１ａがボーン角度制御処理を開始すると、ステップＳ５１で、拡大値（拡大率）が所定値以上かどうかを判断する。つまり、太った体型が選択されているかどうかを判断する。ステップＳ５１で、“ＮＯ”であれば、つまり拡大値が所定値未満であり、太った体型が選択されていないと判断すれば、ステップＳ６１で、アニメーションデータに従って腕ボーンの位置データ（アニメーションデータに含まれる。）を更新して、ボーン角度制御処理をリターンする。

一方、ステップＳ５１で“ＹＥＳ”であれば、つまり拡大値が所定値以上であり、太った体型が選択されていると判断すると、ステップＳ５３で、両肩の関節について、それぞれ腕ボーンの位置データを読み出し、ステップＳ５５で、ダミーボーンと腕ボーンとの角度θを算出する。そして、ステップＳ５７で、ステップＳ５５において算出した角度θが所定値θ_ｍｉｎ以下であるかどうかを判断する。

ステップＳ５７で“ＮＯ”であれば、つまり角度θが所定値θ_ｍｉｎより大きければ、そのままステップＳ６１に進む。一方、ステップＳ５７で“ＹＥＳ”であれば、つまり角度θが所定値θ_ｍｉｎ以下であれば、ステップＳ５９で、腕ボーンとダミーボーンとの角度θを所定値θ_ｍｉｎに設定して、ボーン角度制御処理をリターンする。つまり、ステップＳ５９の処理により、腕ボーンとダミーボーンとがなす角度θが所定値θ_ｍｉｎ以下にならないように強制的に制御されるのである。

この実施例によれば、骨組みにダミーボーンを含んでおき、キャラクタが太った体型である場合には、腕ボーンとダミーボーンとがなす角度が所定値以下にならないようにするので、体型に拘わらず、共通のアニメーションデータを用いた場合であっても、不所望な画像が表示されるのを回避することができる。つまり、違和感のないキャラクタおよびそのアニメーションを表示することができる。

また、腕ボーンとダミーボーンとの角度を算出するだけなので、簡易かつ処理負担を軽減して、キャラクタを生成し、そのアニメーションを表示することができる。

なお、この実施例では、携帯型ゲーム装置２０から受信した顔画像データや被写体特徴データを用いて、キャラクタを生成するようにしてあるが、顔画像データや被写体特徴データは、予めプログラマのような開発者が作成（用意）しておき、外部記憶媒体１３から据置型ゲーム装置１１にロードするようにしてもよい。

また、この実施例では、ポリゴンデータや骨組みデータは共通に用いるようにしたが、体型に応じたポリゴンデータおよび骨組みデータを用意しておき、選択された体型に応じたポリゴンデータおよび骨組みデータを選択するようにしてもよい。かかる場合には、記憶するデータ量は増加するが、ポリゴンデータや骨組みデータの拡大または縮小の演算処理は軽減される。

さらに、この実施例では、据置型ゲーム装置にモニタが接続された画像処理システムについてのみ説明したが、モニタが一体的に設けられた（携帯型）ゲーム装置、アーケードゲーム、ゲーム機能を備える携帯電話機、ゲーム機能を備える（携帯型）ＰＣなどにも適用できることは言うまでもない。

この発明のゲームシステムの一例を示す図解図である。 図１実施例に示すゲームシステムの電気的な構成を示すブロック図である。 図１実施例に示す携帯型ゲーム装置に装着される撮像ユニットに設けられるＲＯＭのメモリマップを示す図解図である。 図１実施例に示す携帯型ゲーム装置を用いて顔画像を撮影する様子および被写体特徴データを入力する様子を説明するための図解図である。 図１実施例に示す据置型ゲーム装置に設けられるＲＡＭのメモリマップを示す図解図である。 図１実施例に示すモニタに表示されるキャラクタ生成画面の一例を示す図解図である。 キャラクタ生成画面において標準の体型が選択されている場合のキャラクタに適用される骨組みデータの一例を示す図解図である。 図１実施例に示すモニタに表示されるキャラクタ生成画面の他の一例を示す図解図である。 キュラクタ生成画面において太目の体型が選択されている場合のキャラクタに適用される骨組みデータの一例を示す図解図である。 図９に示す骨組みデータの一部を拡大した拡大図である。 図２に示す据置型ゲーム装置に設けられるＣＰＵの３次元画像生成およびアニメーション表示処理の一部を示すフロー図である。 図２に示す据置型ゲーム装置に設けられるＣＰＵの３次元画像生成およびアニメーション表示処理の他の一部であり、図１１に後続するフロー図である。 図２に示す据置型ゲーム装置に設けられるＣＰＵのボーン角度制御処理を示すフロー図である。

符号の説明

１０ …画像処理システム
１１ …据置型ゲーム装置
１２ …コントローラ
１３ …据置型ゲーム装置用外部記憶媒体
１４ …ＣＲＴ
２０ …携帯型ゲーム装置
２１ａ …操作スイッチ
２１ｂ …ＬＣＤモニタ
２２ａ …撮像ユニット

Claims (6)

1. 操作者の操作入力に応じてキャラクタを含む３次元画像を生成する３次元画像生成装置であって、
   前記操作者が操作入力を行う操作手段、
   前記操作手段からの操作入力に応じてキャラクタ画像を生成するキャラクタ画像生成手段、
   前記キャラクタ画像を含む３次元画像を表示する表示手段、
   キャラクタの形を定義するポリゴンデータを記憶するポリゴンデータ記憶手段、
   ボーンと複数の前記ボーンを接続するジョイントとによって前記キャラクタの骨組みを定義する骨組みデータを、前記ポリゴンデータに関連付けて記憶する骨組みデータ記憶手段、
   少なくとも前記ポリゴンデータの一部を所望の大きさに拡大または縮小する拡大縮小値を設定する拡大縮小値設定手段、および
   前記骨組みデータは前記ポリゴンデータに関連づけされていないダミーボーンをさらに含み、当該ダミーボーンが接続されたジョイントにおいて、当該ダミーボーンと他のボーンとの角度を制御する関節角度制御手段を備え、
   前記キャラクタ画像生成手段は、前記ポリゴンデータおよび前記骨組みデータを用いるとともに、前記拡大縮小値に従ってキャラクタ画像を生成し、
   前記関節角度制御手段は、前記拡大縮小値に応じて、前記ダミーボーンと前記他のボーンとの角度が所定値以下にならないように制御する、３次元画像生成装置。
2. 前記骨組みデータは、少なくとも前記キャラクタの肩のジョイントに接続される腕のボーンの位置にダミーボーンを含み、
   前記関節角度制御手段は、前記肩のジョイントにおいて、前記腕のボーンと前記ダミーボーンとの角度を制御する、請求項１記載の３次元画像生成装置。
3. 前記ボーンの位置と前記ジョイントの位置との時系列変化についてのアニメーションデータを記憶するアニメーションデータ記憶手段、および前記キャラクタ画像生成手段によって生成されたキャラクタと前記アニメーションデータとを用いてアニメーションを前記表示手段に表示するアニメーション表示制御手段をさらに備える、請求項１または２記載の３次元画像生成装置。
4. 操作者が操作入力を行う操作手段、
   キャラクタ画像を含む３次元画像を表示する表示手段、
   キャラクタの形を定義するポリゴンデータを記憶するポリゴンデータ記憶手段、および
   ボーンと複数の前記ボーンを接続するジョイントとによって前記キャラクタの骨組みを定義する骨組みデータを、前記ポリゴンデータに関連付けて記憶する骨組みデータ記憶手段を備える、画像生成装置であって、
   前記画像生成装置を３次元画像装置として機能される３次元画像生成プログラムにおいて、
   前記画像生成装置のコンピュータに、
   前記操作手段からの操作入力に応じてキャラクタ画像を生成するキャラクタ画像生成ステップ、
   少なくとも前記ポリゴンデータの一部を所望の大きさに拡大または縮小する拡大縮小値を設定する拡大縮小値設定ステップ、および
   前記骨組みデータは前記ポリゴンデータに関連づけされていないダミーボーンをさらに含み、当該ダミーボーンが接続されたジョイントにおいて、当該ダミーボーンと他のボーンとの角度を制御する関節角度制御ステップを実行させ、
   前記キャラクタ画像生成ステップは、前記ポリゴンデータおよび前記骨組みデータを用いるとともに、前記拡大縮小値に従ってキャラクタ画像を生成し、
   前記関節角度制御ステップは、前記拡大縮小値に応じて、前記ダミーボーンと前記他のボーンとの角度が所定値以下にならないように制御する、３次元画像生成プログラム。
5. 前記骨組みデータは、少なくとも前記キャラクタの肩のジョイントに接続される腕のボーンの位置にダミーボーンを含み、
   前記関節角度制御ステップは、前記肩のジョイントにおいて、前記腕のボーンと前記ダミーボーンとの角度を制御する、請求項４記載の３次元画像生成プログラム。
6. 前記画像生成装置は、前記ボーンの位置と前記ジョイントの位置との時系列変化についてのアニメーションデータを記憶するアニメーションデータ記憶手段をさらに備え、
   前記キャラクタ画像生成ステップによって生成されたキャラクタと前記アニメーションデータ記憶手段に記憶されたアニメーションデータとを用いてアニメーションを前記表示手段に表示するアニメーション表示制御ステップをさらに実行させる、請求項４または５記載の３次元画像生成プログラム。

Images