JP6104223B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラムに関する。

一般に、コンピュータグラフィックス等の分野において、３次元ポリゴンモデルで形成される３次元オブジェクトの表面に２次元のテクスチャ画像をマッピングする技術が知られている。

ここで、例えば、ぬいぐるみを表す３次元ポリゴンモデル（ポリゴンモデル）に、形状の異なるぬいぐるみの画像（テクスチャ画像）をマッピングする場合、当該ぬいぐるみの画像上に表示されたポリゴンモデルのワイヤモデル（ポリゴンモデルを頂点や辺で表したモデル）を縮小または拡大するとともに、ポリゴンモデルのワイヤモデルを移動してワイヤモデルとテクスチャ画像のおよその位置合わせを行い、その後、テクスチャ画像とポリゴンモデルの形状が異なることから、ワイヤモデルの頂点を移動することにより、テクスチャ画像とワイヤモデルとの更なる位置合わせを行うことが考えられる。

しかしながら、この場合、位置合わせが必要な頂点の数が多くなる場合があり、位置合わせが困難であるとともに、位置合わせに多くの時間がかかる場合がある。

そこで、本発明は、テクスチャ画像とポリゴンモデルの位置合わせをより簡易かつ短時間に行うことのできる画像処理装置等を実現することを目的とする。

（１）本発明の画像処理装置は、テクスチャ画像を含む２次元の画像情報を取得する画像情報取得手段と、前記テクスチャ画像のマッピング対象であり、複数の頂点の位置情報を含む３次元のポリゴンモデルを表すポリゴンモデル情報を取得するポリゴンモデル取得手段と、前記複数の頂点のうち少なくとも１の頂点の移動を表す頂点移動情報に応じた所定の関係に基づいて、前記ポリゴンモデル情報に含まれる前記少なくとも１の頂点及び他の頂点の位置情報を更新するポリゴンモデル情報更新手段と、前記更新されたポリゴンモデル情報に基づいて、前記ポリゴンモデルに前記テクスチャ画像をマッピングするマッピング手段と、を含むことを特徴とする。

（２）上記（１）に記載の画像処理装置において、前記所定の関係は、前記各頂点を結ぶ辺について仮想的にそれぞればねを設けるばねモデルに応じた関係であり、前記画像処理装置は、更に、前記ばねモデル及び前記頂点移動情報に基づいて、物理シミュレーションを行う物理シミュレーション手段を含むことを特徴とする。

（３）上記（２）に記載の画像処理装置は、更に、所定のタイミングで前記各ばねの自然長を更新するばねモデル更新手段を含むことを特徴とする。

（４）上記（２）または（３）に記載の画像処理装置は、更に、前記ポリゴンモデル情報に基づいて前記ポリゴンモデルの各頂点及び各辺を表すワイヤモデルを前記画像情報に重ねて表示する重畳画像情報を生成する重畳画像情報生成手段を有することを特徴とする。

（５）上記（４）に記載の画像処理装置において、前記重畳画像情報生成手段は、前記ポリゴンモデルに含まれる各頂点及び各辺のうち、一部の頂点及び辺を表すワイヤモデルを重ねて表示する重畳画像情報を生成することを特徴とする。

（６）上記（５）に記載の画像処理装置において、前記物理シミュレーション手段は、前記一部の頂点及び辺を用いて、前記物理シミュレーションを行うことを特徴とする。

（７）本発明の画像処理方法は、テクスチャ画像を含む２次元の画像情報を取得し、前記テクスチャ画像のマッピング対象であり、複数の頂点の位置情報を含む３次元のポリゴンモデルを表すポリゴンモデル情報を取得し、前記複数の頂点のうち少なくとも１の頂点の移動を表す頂点移動情報に応じた所定の関係に基づいて、前記ポリゴンモデル情報に含まれる前記少なくとも１の頂点及び他の頂点の位置情報を更新し、前記更新されたポリゴンモデル情報に基づいて、前記ポリゴンモデルに前記テクスチャ画像をマッピングする、ことを特徴とする。

（８）本発明の画像処理プログラムは、テクスチャ画像を含む２次元の画像情報を取得する画像情報取得手段、前記テクスチャ画像のマッピング対象であり、複数の頂点の位置情報を含む３次元のポリゴンモデルを表すポリゴンモデル情報を取得するポリゴンモデル取得手段、前記複数の頂点のうち少なくとも１の頂点の移動を表す頂点移動情報に応じた所定の関係に基づいて、前記ポリゴンモデル情報に含まれる前記少なくとも１の頂点及び他の頂点の位置情報を更新するポリゴンモデル情報更新手段、及び、前記更新されたポリゴンモデル情報に基づいて、前記ポリゴンモデルに前記テクスチャ画像をマッピングするマッピング手段、としてコンピュータを機能させることを特徴とする。

第１の実施形態における画像処理装置の構成の概要の一例を示す図である。 画像処理装置の機能的構成の概要の一例を示す図である。 ポリゴンモデルの一例を示す図である。 テクスチャ画像の一例を示す図である。 テクスチャ画像がマッピングされたマッピング画像の一例を示す図である。 画像情報にワイヤモデルが重畳された重畳画像の一例を示す図である。 画像情報にワイヤモデルが重畳された重畳画像の一例を示す図である。 ばねモデルについて説明するための図である。 ばねモデルについて説明するための図である。 ばねモデルについて説明するための図である。 ばねモデルについて説明するための図である。 ばねモデルについて説明するための図である。 画像情報にワイヤモデルが重畳された重畳画像の一例を示す図である。 調整処理のフローの一例を示す図である。 頂点移動処理のフローの一例を示す図である。 第２の実施形態におけるキャラクタ型コントローラの一例を示す図である。

以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

[第１の実施形態]
図１は、本発明の第１の実施の形態における情報処理装置の構成の概要について説明するための図である。図１に示すように、本実施の形態における画像処理装置１００は、例えば、ＣＰＵやメモリ等で構成されるコンピュータで構成され、例えば、制御部１０１、記憶部１０２、通信部１０３、操作部１０４、表示部１０５を有する。なお、制御部１０１、記憶部１０２、通信部１０３、操作部１０４、表示部１０５は、内部バス１０６により互いに接続される。

制御部１０１は、例えば、ＣＰＵまたはＭＰＵ等であって、記憶部１０２に格納されたプログラムに従って動作する。記憶部１０２は、例えば、ＲＯＭやＲＡＭ、ハードディスク等の情報記録媒体で構成され、制御部１０１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１０２は、制御部１０１のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワークを介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。

通信部１０３は、当該画像処理装置１００を、ネットワークを介して、他の情報処理装置やデータベース等（図示なし）と接続する。操作部１０４は、例えば、キーボードやマウス、コントローラ等で構成され、ユーザの指示操作に応じて、当該指示操作の内容を制御部１０１に出力する。表示部１０５は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、制御部１０１からの指示に従い、情報を表示する。

なお、上記画像処理装置１００の構成は、一例であってこれに限定されるものではない。例えば、上記画像処理装置１００は、いわゆるサーバ・クライアントシステムで構成してもよいし、クラウド技術等を用いて構成してもよい。また、上記画像処理装置１００は、例えば、カメラを有し、当該カメラで撮像した画像情報を取得するように構成してもよい。

図２は、本実施の形態における画像処理装置の機能的構成の概要の一例について説明するための図である。図２に示すように、画像処理装置１００の制御部１０１は、機能的に、例えば、画像情報取得部２０１、ポリゴンモデル情報取得部２０２、重畳画像情報生成部２０３、調整情報取得部２０４、マッピング部２０５、マッピング画像情報生成部２０６、頂点移動情報取得部２０７、ばねモデル適用部２０８、物理シミュレーション部２０９、ポリゴンモデル更新部２１０を含む。

なお、下記においては、理解の容易化のため、主に、図３Ａに示すぬいぐるみを表すポリゴンモデルの顔部分に、図３Ｂに示すような、ぬいぐるみの画像の顔の画像（テクスチャ画像）を、図３Ｃに示すように、より適切に、つまり、ぬいぐるみの目や鼻等の特徴点が、所望の位置に配置されるようマッピングする場合を例として説明する。なお、図３Ａ乃至図３Ｃについては、ポリゴンモデルの一部（顔部分）に当該顔に相当するテクスチャ画像をマッピングする場合について説明したが、ポリゴンモデル全体にポリゴンモデル全体についてのテクスチャ画像をマッピングする構成としてもよいことはいうまでもない。

まず、ワイヤモデル４０１全体を移動したり、ワイヤモデル４０１のサイズを拡大・縮小することにより、テクスチャ画像とワイヤモデル４０１との位置やサイズを合わせる調整処理を実現するための画像処理装置１００の制御部１０１の機能的構成の一例について説明する。なお、ワイヤモデル４０１は、例えば、図３Ａ乃至図３Ｃに示す場合、図３Ａに示すぬいぐるみを表すポリゴンモデルの顔部分のワイヤモデルに相当する。

画像情報取得部２０１は、ポリゴンモデルにマッピングするテクスチャ画像を含む２次元の画像情報を取得する。当該画像情報は、例えば、ユーザがカメラにより撮影した画像情報であってもよいし、既存の画像情報であってもよい。また、画像情報は、画像処理装置１００に記憶された画像情報であってもよいし、ネットワーク等を介して外部から取得されるように構成してもよい。なお、上記は例示であって、他の画像情報を用いてもよいことはいうまでもない。

ポリゴンモデル情報取得部２０２は、ポリゴンモデルを表すポリゴンモデル情報を取得する。ここで、ポリゴンモデル情報は、例えば、複数の頂点の位置情報、ポリゴンモデルにおける辺を表す情報等を含む。

重畳画像情報生成部２０３は、取得された画像情報が表す画像にポリゴンモデルのワイヤモデル４０１（ポリゴンモデルを頂点や辺で表したモデル）を重ねた重畳画像情報を生成し、表示部１０５に表示する。具体的には、例えば、初期状態においては、重畳画像情報生成部２０３は、図４に示すように、ワイヤモデル４０１を図３Ｂに示す画像に重ねて表示するための重畳画像情報を生成し、当該重畳画像情報を表示部１０５に表示する。このとき、ワイヤモデル４０１の特徴点（輪郭、目、鼻）等とテクスチャ画像（ぬいぐるみの顔部分の画像）の特徴点（輪郭、目、鼻等）の位置等がずれる場合がある。

調整情報取得部２０４は、例えば、重畳画像におけるワイヤモデル４０１の拡大または縮小やワイヤモデル４０１全体の移動など、テクスチャ画像とワイヤモデル４０１の位置やサイズ等を合わせる調整情報を取得する。例えば、図４に示すように、初期状態等においては、ワイヤモデル４０１の特徴点（輪郭、目、鼻）等とテクスチャ画像（ぬいぐるみの顔部分の画像）の特徴点（輪郭、目、鼻等）の位置等がずれる場合があるため、この場合、ユーザは、重畳画像を参照しつつ、ワイヤモデル４０１の位置を移動したり、ワイヤモデル４０１のサイズを拡大または縮小する調整指示を行うことにより、ワイヤモデル４０１とテクスチャ画像の位置やサイズを調整する。

重畳画像情報生成部２０３は、当該調整情報に応じてワイヤモデル４０１を拡大または縮小、及び／または、移動等させた重畳画像情報を生成し、表示部１０５に表示する。

マッピング部２０５は、ポリゴンモデルにテクスチャ画像をマッピングする。具体的には、例えば、マッピング部２０５は、上記調整後の重畳画像情報におけるワイヤモデル４０１の表す各頂点とテクスチャ画像の位置に基づいて、テクスチャ画像をポリゴンモデルにマッピングする。

マッピング画像情報生成部２０６は、調整後のポリゴンモデルにテクスチャ画像をマッピングした画像情報を生成し、表示部１０５に表示する。

ここで、マッピング部２０５は、例えば、図４に示すように、上記のようにワイヤモデル４０１の頂点とテクスチャ画像の位置に基づいて、テクスチャ画像をポリゴンモデルにマッピングする。したがって、上記の場合、マッピング画像情報生成部２０６は、例えば、ぬいぐるみの耳の部分等においては、テクスチャ画像におけるぬいぐるみの顔の一部ではないではない背景の画像情報がポリゴンモデルの耳の部分にマッピングしたマッピング画像情報を生成し、表示部１０５に表示する。なお、図４は、一例として、中央部に画像情報に頂点と辺等で表されるワイヤモデル４０１が重畳された重畳画像情報が表示され、右下の部分にマッピング後のポリゴンモデルを表すマッピング画像情報がワイヤモデル４０１と比べて小さく表示される場合を示すが、本実施の形態はこれに限られず、他の表示形式であってもよいことはいうまでもない。例えば、重畳画像情報と、マッピング画像情報をユーザの指示により切り替えて表示されるように構成してもよい。

次に、ワイヤモデル４０１における頂点を移動して、テクスチャ画像の特徴とワイヤモデル４０１の特徴の位置合わせを行う頂点調整処理を実現するための画像処理装置の制御部１０１における機能的構成の一例について説明する。

頂点移動情報取得部２０７は、ユーザにより移動された頂点の位置情報に応じた頂点移動情報を取得する。具体的には、例えば、図５に示すように、ユーザは、ワイヤモデル４０１に含まれる１または複数の頂点を、重畳画像情報を参照しつつ、移動し、頂点移動情報取得部２０７は、当該ユーザの頂点移動指示に応じた頂点移動情報を取得する。なお、図５においては、移動された頂点及び当該頂点に接続される辺を点線で示す。

ばねモデル適用部２０８は、ポリゴンモデル情報が表す各頂点及び各辺にばねモデルを適用する。具体的には、例えば、ばねモデル適用部２０８は、図６Ａ及び図６Ｂに示すように、ポリゴンモデルの表す頂点を質点、ポリゴンモデルの表す各辺をばねで置換するいわゆるばねモデルを適用する。ここで、当該ばねモデルにおいては、例えば、ポリゴンモデルの初期状態から決まる辺の長さをばねの自然長とする。そして、上記のようにユーザにより頂点が移動された場合、辺の長さや向きが変わり、当該変化に応じて、質点に力が加わる。そして、質点に接続されるすべてのばねによる力の総和によって質点が移動する。なお、当該ばねモデルを用いた他の頂点の移動等については、後述する物理シミュレーション部２０９により行われる。また、当該適用されるばねの自然長は、所定のタイミングで更新されるように構成してもよい。具体的には、例えば、所定の回数の頂点移動が行われた場合や、所定期間ごとに、その時点におけるばねの長さを自然長としてもよい。これにより、後述する物理シミュレーションにおいて、ばねの振動が収束しない状態を防止することができる。

物理シミュレーション部２０９は、上記のように頂点移動情報に基づき、物理シミュレーションを行うことにより、他の頂点の位置情報を算出する。具体的には、図７Ａ乃至図７Ｃを用いて説明する。図７Ａは、自然状態のポリゴンモデルの一例を示し、図７Ｂは、頂点Ｐ０が移動した場合、図７Ｃは、頂点Ｐ０の移動に応じて、他の頂点Ｐ１乃至Ｐ３が移動する場合を示す。図７Ａ及び図７Ｃにおいては、固定点をＰ４とし、Ｐ１を編集点、つまり、ユーザにより移動されたワイヤモデルの頂点を表すものとして説明する。この場合、固定点をＰ４とすることから、Ｐ１には、下記式（１）乃至（４）に示すように、Ｐ１に接続される辺Ｌ１乃至Ｌ３に対応するばねからＦ１、Ｆ２、Ｆ３の力が働く。なお、式（１）乃至（４）において、Ｋはばね定数、Ｌはばねの長さ、ｅ１乃至ｅ３は単位ベクトルを表す。

ここで、現在の頂点Ｐ１の位置は、式（５）乃至（９）を用いて、求められ、Ｐ２乃至Ｐ３についても同様に求められる。そして、当該処理を繰り返すことにより、減衰項により、Ｐ１乃至Ｐ３が安定な位置に収束する。なお、式（５）乃至（９）において、単位時間は１として省略する。また、Ｄは、減衰定数、Ｍは質量を表す。また、固定点や、質量、減衰定数の値はポリゴンモデルに応じて決定する。なお、ばねモデル自体に対しては周知であるので、更なる詳細については説明を省略する。

ポリゴンモデル更新部２１０は、物理シミュレーション結果（最終的な各頂点の位置等）に基づいて、ポリゴンモデル情報取得部２０２により取得されたポリゴンモデル情報を更新する。つまり、ポリゴンモデル更新部２１０は、物理シミュレーション後の各頂点の位置等に応じてポリゴンモデル情報を更新する。

重畳画像情報生成部２０３は、画像情報上に更新後のポリゴンモデルを重ねた重畳画像情報を生成し、表示部１０５に表示する。ここで、重畳画像情報生成部２０３は、例えば、図５の中央部に示すように、ワイヤモデル４０１の頂点のうち、上記のようにユーザにより移動指示が行われた頂点や当該頂点に接続される辺について、識別表示されるように構成してもよい。更に、画像情報生成部は、物理シミュレーションによって所定の距離以上、位置が移動した頂点（移動指示が行われた頂点以外の頂点）についても識別表示されるように構成してもよい。

マッピング部２０５は、更新後のポリゴンモデル情報で表されるポリゴンモデルにテクスチャ画像をマッピングする。マッピング画像情報生成部２０６は、更新後のポリゴンモデル情報で表されるポリゴンモデルにテクスチャ画像がマッピングされたポリゴンモデルを表示するためのマッピング画像情報を生成し、表示部１０５に表示する。この場合、図５右下に示すように、ポリゴンモデルの特徴点（輪郭、目、鼻）に相当する頂点が、図３に示す場合と比べて、よりテクスチャ画像（ぬいぐるみ）の特徴点（輪郭、目、鼻）が合致していることから、マッピング後のポリゴンモデルにおける特徴点（輪郭、目、鼻）が、図３に示す場合と比べて、より好ましい位置に配置されていることがわかる。

上記のように、テクスチャ画像とワイヤモデル４０１との位置やサイズを合わせる調整処理及びワイヤモデル４０１における頂点を移動して、テクスチャ画像の特徴とワイヤモデル４０１の特徴の位置合わせを行う頂点移動処理を、ユーザが所望のマッピング画像情報が取得するまで行うことにより、ユーザは所望のマッピング画像を取得することができる。なお、図８は、上記のようにして所望のマッピング画像情報が取得された場合における重畳画像情報及びマッピング画像情報の一例を示す。図８に示すように、適切な位置に頂点移動処理等を行うことにより、ポリゴンモデルの目や鼻や耳等について、より好ましい態様で、テクスチャ画像がマッピングされることがわかる。なお、図８についても図５と同様に、頂点移動後の頂点及び当該頂点に接続される辺を点線で示す。

上記のように、本実施の形態によれば、頂点移動処理において、一部の頂点を移動することにより、ばねモデルにより関連する他の頂点も当該一部の頂点の移動に応じて移動する。これにより、ユーザは、より少ない回数の頂点移動指示を行うことにより、所望のマッピング画像情報を取得することができるとともに、頂点移動処理におけるエラーによる歪等を軽減することもできる。なお、上記の画像処理装置１００の機能的構成は、一例であって、本実施の形態は上記に限定されるものではなく、同様の作用効果を奏する限り異なる構成であってもよい。

次に、当該画像処理装置１００の処理のフローの概要の一例について説明する。まず、テクスチャ画像とポリゴンモデルの位置やサイズを合わせる調整する調整フローについて説明する。図９は、本実施の形態における調整フローの概要の一例を示す図である。

画像情報取得部２０１は、ポリゴンモデルにマッピングするテクスチャ画像を含む２次元の画像情報を取得する（Ｓ１０１）。ポリゴンモデル情報取得部２０２は、ポリゴンモデルを表すモデルポリゴンモデル情報を取得する（Ｓ１０２）。重畳画像情報生成部２０３は、取得された画像情報が表す画像にポリゴンモデルのワイヤモデル４０１を重ねた重畳画像情報を生成し、表示部１０５に表示する（Ｓ１０３）。

調整情報取得部２０４は、例えば、重畳画像におけるワイヤモデル４０１の拡大やワイヤモデル４０１全体の移動など、テクスチャ画像とワイヤモデル４０１の位置やサイズ等を合わせる調整情報を取得する（Ｓ１０４）。重畳画像情報生成部２０３は、当該調整情報に応じてワイヤモデル４０１全体を拡大及び／または移動等させた重畳画像情報を生成し、表示部１０５に表示する（Ｓ１０５）。

マッピング部２０５は、ポリゴンモデルにテクスチャ画像をマッピングする（Ｓ１０６）。マッピング画像情報生成部２０６は、調整後のポリゴンモデルにテクスチャ画像をマッピングされた画像情報を生成し、表示部１０５に表示する（Ｓ１０７）。

調整処理が終了したか否かを判定する（Ｓ１０８）。具体的には、例えば、調整情報取得部２０４がユーザにより調整処理の終了指示を取得したか否かにより判定する。そして、調整操作が終了したと判定した場合には、当該調整処理を終了する。一方、調整処理が終了していないと判定した場合には、Ｓ１０４に戻る。つまり、ユーザが再度ワイヤモデル４０１全体の移動指示を行う等、再度調整を行う。

次に、本実施の形態における頂点調整処理のフローの概要の一例について説明する。図１０は、本実施の形態における頂点調整処理のフローの概要の一例を示す図である。

図１０に示すように、頂点移動情報取得部２０７は、ユーザは重畳画像情報を参照しつつ、頂点を移動し、ユーザにより移動された頂点の位置情報に応じた頂点移動情報を取得する（Ｓ２０１）。ばねモデル適用部２０８は、ポリゴンモデル情報が表す各頂点及び各辺にばねモデルを適用する（Ｓ２０２）。物理シミュレーション部２０９は、上記のように頂点移動情報に基づき、物理シミュレーションを行うことにより、他の頂点の位置情報を算出する（Ｓ２０３）。

ポリゴンモデル更新部２１０は、物理シミュレーション結果に基づいて、ポリゴンモデル情報を更新する（Ｓ２０４）。重畳画像情報生成部２０３は、テクスチャ画像上に更新後のポリゴンモデルを重ねた重畳画像情報を生成し、表示部１０５に表示する（Ｓ２０５）。

マッピング部２０５は、更新後のポリゴンモデル情報で表されるポリゴンモデルにテクスチャ画像をマッピングする（Ｓ２０６）。マッピング画像情報生成部２０６は、更新後のポリゴンモデル情報で表されるポリゴンモデルにテクスチャ画像がマッピングされたポリゴンモデルを表示するためのマッピング画像情報を生成し、表示部１０５に表示する（Ｓ２０７）。

頂点移動処理が終了したか否かを判定する（Ｓ２０８）。具体的には、例えば、頂点移動情報取得部２０７は、ユーザにより頂点調整処理が終了指示を取得したか否かに基づいて、頂点移動処理が終了したか否かを判定する。頂点編集処理が終了したと判定した場合には、処理を終了する。一方、頂点編集処理が終了していないと判定した場合には、Ｓ２０１に戻る。この場合、ユーザは、例えば、更に、同じ頂点を移動したり、他の頂点を移動したりすることにより、再度頂点調整処理を行う。

なお、上記調整処理及び頂点調整処理のフローは一例であって、本実施の形態は上記に限定されるものではない。例えば、上記においては、理解の容易化のため、調整処理と頂点調整処理を個別に説明したが、調整処理を行いつつ頂点調整処理を行うように構成してもよいことはいうまでもない。

本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。

例えば、ポリゴンモデルにおける頂点や辺の数が所定の数より多い場合には、所定の頂点数を間引いたワイヤモデル４０１において頂点調整処理を行うように構成してもよい。または、あらかじめ頂点数を間引いたワイヤモデル４０１を階層的に準備し、上位のワイヤモデル４０１において頂点調整処理を行った後、当該上位のワイヤモデル４０１における頂点を固定した上で、下位のワイヤモデル４０１において頂点調整処理を行うように構成してもよい。これにより、ユーザはより容易に頂点調整処理を行うことが可能となる。具体的には、例えば、ユーザの頂点移動指示の回数を減らすことが可能となる。更に、当該頂点数を間引いたワイヤモデル４０１に応じた物理シミュレーションを行うように形成してもよい。これにより、物理シミュレーションの負荷を軽減することができ、処理時間を短縮することもできる。

また、上記においては、調整処理をユーザが行う場合について説明したが、例えば、画像処理技術等を用いて、顔領域等の輪郭抽出を行い、当該輪郭に応じた位置やサイズを有するワイヤモデル４０１が提供されるように構成してもよい。

更に、上記のように頂点移動処理や調整処理とともに、テクスチャ画像の変形処理（例えば、拡大、縮小、縦横比を変更する等）を行うことができるように構成してもよい。

更に、上記画像処理装置１００をシステムで構成する場合には、上記画像処理装置１００の機能的構成を各構成に分散して設けてもよい。例えば、サーバ・クライアントシステム等で構成する場合においては、上記画像処理装置１００の機能的構成の全部または一部をサーバ側に設けて、ユーザは、クライアントを用いて、頂点移動情報の入力や調整情報の入力等を行うように構成してもよい。

[第２の実施形態]
次に、本発明の第２の実施形態を説明する。図１１は、本実施の形態におけるキャラクタ型コントローラの概要の一例について説明するための図である。

図１１に示すように、本実施の形態におけるキャラクタ型コントローラ３００は、例えば、ゲームのキャラクタ等に対応する形状を有し（例えば、ぬいぐるみ）、当該形状の様々な部分（例えば、耳、手、足、胴体、口、目など）の内部に、加速度センサ、角速度センサ、圧力センサ、地磁気センサ、曲げセンサ、音センサなどの各種センサ３０１、及び、制御部３０２を有する。制御部３０２は、各種センサ３０１を制御する。また、制御部３０２は、各種センサからの出力を取得するとともに、当該出力を当該コントローラ３００に接続される情報処理装置（例えば、ゲーム機器やサーバ）（図示なし）に出力する。

そして、情報処理装置は、各種センサからの出力に基づいて操作指示の内容を把握する。具体的には、例えば、圧力センサによって押されている強さと位置を検出し、音センサによって触り方（単に押しているのか、摩擦しているのか等）を把握する等である。この場合、例えば、ユーザが、例えばゲームにおけるぬいぐるみの所定の位置をなでる動作を、ぬいぐるみの形状をしたコントローラ３００の対応する位置を実際になでることにより入力することができる。

また、格闘ゲーム等においては、相手方キャラクタの特定の部位を指定（例えば、足を攻撃する場合に足を指定する）等する場合が考えられるが、この場合、上記本実施の形態におけるコントローラ３００を相手方キャラクタに類似する形状とし（例えば、相手方キャラクタが人の場合は人の形状にするなど）、上記のように所定の各種センサ３０１をコントローラ３００に内蔵することにより、当該コントローラ３００の特定の部位等をユーザが実際に押す等の行為を介して、ゲームにおける相手方の特定の部位に対する攻撃等が可能となる。具体的には、例えば、一般に、ゲーム機器等のコントローラにおいては、方向操作指示ボタンや、傾倒操作ボタンが含まれているが、コントローラに対するユーザの行為は主に、ボタンを押す、レバーを傾倒するなどであり、ゲームにおけるキャラクタの特定の部位の指定や、動作の種類（例えば、なでる等）を判別することは困難である。しかしながら、本実施の形態によれば、より直接的に特定の部位の指定や、動作の種類を入力し、判別することが可能となる。なお、図１１に示した各種センサ３０１の配置は一例であって、本実施の形態は上記に限られるものではない。また、コントローラ３００の形状や各種センサ３０１の種類や位置等も一例であって、ゲームの操作対象等に応じて様々な変形が可能であることはいうまでもない。

本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。

１０１ 制御部、１０２ 記憶部、１０３ 通信部、１０４ 操作部、１０５ 表示部、１０６ 内部バス、２０１ 画像情報取得部、２０２ ポリゴンモデル情報取得部、２０３ 重畳画像情報生成部、２０４ 調整情報取得部、２０５ マッピング部、２０６ マッピング画像情報生成部、２０７ 頂点移動情報取得部、２０８ ばねモデル適用部、２０９ 物理シミュレーション部、２１０ ポリゴンモデル更新部、３００ コントローラ、３０１ センサ、３０２ 制御部。

Claims (7)

1. テクスチャ画像を含む２次元の画像情報を取得する画像情報取得手段と、
   前記テクスチャ画像のマッピング対象であり、複数の頂点の位置情報を含む３次元のポリゴンモデルを表すポリゴンモデル情報を取得するポリゴンモデル取得手段と、
   前記ポリゴンモデル情報に基づいて前記ポリゴンモデルの各頂点及び各辺を表すワイヤモデルを前記画像情報に重ねて表示する重畳画像情報を生成する重畳画像情報生成手段と、
   前記複数の頂点のうち少なくとも１の頂点の移動を表す頂点移動情報と、前記各頂点を結ぶ辺について仮想的にそれぞればねを設けるばねモデルと、に基づいて、前記ポリゴンモデル情報に含まれる前記少なくとも１の頂点及び他の頂点の位置情報を更新するポリゴンモデル情報更新手段と、
   前記更新されたポリゴンモデル情報に基づいて、前記ポリゴンモデルに前記テクスチャ画像をマッピングするマッピング手段と、
   を含み、
   前記ポリゴン情報更新手段は、
   ユーザが前記重畳画像情報を参照しつつ、前記複数の頂点のうち任意の頂点それぞれについて、前記画像情報における任意の固定先を示す固定位置を指示することにより、当該任意の頂点それぞれを指示された前記固定位置に移動させて固定点とする手段、をさらに含み、
   前記任意の頂点が固定点とされた後に、ユーザが当該固定点とは異なる頂点を移動することにより、当該固定点とは異なる頂点の移動を表す前記頂点移動情報と、当該固定点を含む前記ばねモデルとに基づいて、当該固定点とは異なる頂点の前記位置情報を更新する、
   ことを特徴とする画像処理装置。
2. 前記画像処理装置は、更に、前記ばねモデル及び前記頂点移動情報に基づいて、物理シミュレーションを行う物理シミュレーション手段を含むことを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理装置は、更に、所定のタイミングで前記各ばねの自然長を更新するばねモデル更新手段を含むことを特徴とする請求項２記載の画像処理装置。
4. 前記重畳画像情報生成手段は、前記ポリゴンモデルに含まれる各頂点及び各辺のうち、一部の頂点及び辺を表すワイヤモデルを重ねて表示する重畳画像情報を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記物理シミュレーション手段は、前記一部の頂点及び辺を用いて、前記物理シミュレーションを行うことを特徴とする請求項４記載の画像処理装置。
6. テクスチャ画像を含む２次元の画像情報を取得し、
   前記テクスチャ画像のマッピング対象であり、複数の頂点の位置情報を含む３次元のポリゴンモデルを表すポリゴンモデル情報を取得し、
   前記ポリゴンモデル情報に基づいて前記ポリゴンモデルの各頂点及び各辺を表すワイヤモデルを前記画像情報に重ねて表示する重畳画像情報を生成し、
   前記複数の頂点のうち少なくとも１の頂点の移動を表す頂点移動情報と、前記各頂点を結ぶ辺について仮想的にそれぞればねを設けるばねモデルと、に基づいて、前記ポリゴンモデル情報に含まれる前記少なくとも１の頂点及び他の頂点の位置情報を更新し、
   前記更新されたポリゴンモデル情報に基づいて、前記ポリゴンモデルに前記テクスチャ画像をマッピングする、
   ことを特徴とする画像処理方法であって、
   ユーザが前記重畳画像情報を参照しつつ、前記複数の頂点のうち任意の頂点それぞれについて、前記画像情報における任意の固定先を示す固定位置を指示することにより、当該任意の頂点それぞれを指示された前記固定位置に移動させて固定点とし、
   前記任意の頂点が固定点とされた後に、ユーザが当該固定点とは異なる頂点を移動することにより、当該固定点とは異なる頂点の移動を表す前記頂点移動情報と、当該固定点を含む前記ばねモデルとに基づいて、当該固定点とは異なる頂点の前記位置情報を更新する、
   ことを特徴とする画像処理方法。
7. テクスチャ画像を含む２次元の画像情報を取得する画像情報取得手段、
   前記テクスチャ画像のマッピング対象であり、複数の頂点の位置情報を含む３次元のポリゴンモデルを表すポリゴンモデル情報を取得するポリゴンモデル取得手段、
   前記ポリゴンモデル情報に基づいて前記ポリゴンモデルの各頂点及び各辺を表すワイヤモデルを前記画像情報に重ねて表示する重畳画像情報を生成する重畳画像情報生成手段、
   前記複数の頂点のうち少なくとも１の頂点の移動を表す頂点移動情報と、前記各頂点を結ぶ辺について仮想的にそれぞればねを設けるばねモデルと、に基づいて、前記ポリゴンモデル情報に含まれる前記少なくとも１の頂点及び他の頂点の位置情報を更新するポリゴンモデル情報更新手段、及び、
   前記更新されたポリゴンモデル情報に基づいて、前記ポリゴンモデルに前記テクスチャ画像をマッピングするマッピング手段、
   としてコンピュータを機能させることを特徴とする画像処理プログラムであって、
   前記ポリゴン情報更新手段は、
   ユーザが前記重畳画像情報を参照しつつ、前記複数の頂点のうち任意の頂点それぞれについて、前記画像情報における任意の固定先を示す固定位置を指示することにより、当該任意の頂点それぞれを指示された前記固定位置に移動させて固定点とする手段、をさらに含み、
   前記任意の頂点が固定点とされた後に、ユーザが当該固定点とは異なる頂点を移動することにより、当該固定点とは異なる頂点の移動を表す前記頂点移動情報と、当該固定点を含む前記ばねモデルとに基づいて、当該固定点とは異なる頂点の前記位置情報を更新する、
   ことを特徴とする画像処理プログラム。

Images