JP2024052519A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】２つの３Ｄモデルを融合する際に、その詳細を調整することが可能な技術を提供する。【解決手段】情報処理装置は、第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得する第１取得手段と、前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得する第２取得手段と、前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成する生成手段とを有する。【選択図】図２

Description

本発明は、３Ｄモデルを融合する技術に関する。

２つの３Ｄモデルを融合又は合成する技術が知られている。例えば特許文献１は、全身の３Ｄモデルと頭部の３Ｄモデルとを別々に生成し、全身の３Ｄモデルと頭部の３Ｄモデルとを合成する技術を開示している。

米国特許第１０７９６４８０号明細書

特許文献１に記載の技術においては、全身の３Ｄモデルにおいて単に頭部の３Ｄモデルを置換するだけであり、その融合の詳細をユーザが調整することはできなかった。

これに対し本発明は、２つの３Ｄモデルを融合する際に、その詳細を調整することが可能な技術を提供する。

本発明の一態様によれば、第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得する第１取得手段と、前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得する第２取得手段と、前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成する生成手段とを有する情報処理装置が提供される。

この情報処理装置は、前記第１の３Ｄモデル及び前記第１のテンプレートの頂点の対応関係を特定する特定手段を有し、前記生成手段は、前記対応関係に基づいて前記第１の３Ｄモデル及び前記第１のテンプレートの一方を変更してもよい。

前記特定手段は、前記第１の３Ｄモデル及び前記第１のテンプレートのトポロジから、各頂点が属する部位を特定し、前記特定された部位の対応関係に基づいて前記頂点の対応関係を特定してもよい。

前記生成手段が、前記第１の３Ｄモデル及び前記第１のテンプレートの少なくとも一方のジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種を前記パラメータに従って変更してもよい。

前記パラメータが、前記第１の３Ｄモデルと前記第１のテンプレートとの混合比を示し、前記生成手段が、前記第１の３Ｄモデル及び前記第１のテンプレートのジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種を、前記混合比に従って混合してもよい。

この情報処理装置は、前記第１の３Ｄモデルを構成する要素のうち一部の要素の指定を受け付ける受け付け手段を有し、前記生成手段は、前記指定された要素を前記パラメータに従って変更した第２の３Ｄモデルを生成してもよい。

前記第１取得手段は、前記第１のテンプレートと異なる第２のテンプレートを取得し、前記第２取得手段は、前記第１の３Ｄモデル、前記第１のテンプレート、及び前記第２のテンプレートを融合するパラメータを取得し、前記生成手段は、前記第１の３Ｄモデル、前記第１のテンプレート、及び前記第２のテンプレートの１つを、前記パラメータ並びに当該第１の３Ｄモデル、当該第１のテンプレート、及び当該第２のテンプレートの残りに従って変更した前記第２の３Ｄモデルを生成してもよい。

前記第２の３Ｄモデルのデータが、前記第１の３Ｄモデル及び前記テンプレートのデータを含んでもよい。

本発明の別の一態様は、第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得するステップと、前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得するステップと、前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成するステップとを有する情報処理方法を提供する。

本発明のさらに別の一態様は、コンピュータに、第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得するステップと、前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得するステップと、前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成するステップとを実行させるためのプログラムを提供する。

本発明によれば、２つの３Ｄモデルを融合する際に、その詳細を調整することができる。

一実施形態に係る３Ｄデータシステム１の概要を示す図。 ３Ｄデータシステム１の機能構成を例示する図。 サーバ１０のハードウェア構成を例示する図。 ユーザ端末２０のハードウェア構成を例示する図。 ３Ｄデータシステム１の動作を例示するシーケンスチャート。 ３Ｄモデルの融合処理の詳細を例示する図。 融合３Ｄモデルの表示画面を例示する図。

１．構成
図１は、一実施形態に係る３Ｄデータシステム１の概要を示す図である。３Ｄデータシステム１は、３Ｄデータを提供するサービス（以下「３Ｄサービス」という）を提供する。本稿において「システム」とは、協働してある機能を提供する１又は複数の装置をいう。３Ｄデータシステム１は、サーバ１０及びユーザ端末２０を有する。サーバ１０は、３Ｄデータサービスにおけるサーバとして機能する装置であり、ユーザ端末２０等の他の装置に３Ｄデータを提供する。ユーザ端末２０は、３Ｄデータサービスにおけるクライアントとして機能する装置であり、サーバから提供された３Ｄデータを用いて、ユーザとインタラクションする。特にこの例において、３Ｄデータシステム１は、ユーザの（全身の）３Ｄモデルとテンプレートとを融合して、新たな３Ｄモデルを生成する。この例において、テンプレートは、ある人間の（全身の）３Ｄモデルである。テンプレートの被写体となる人間は、例えば、歌手、俳優、コメディアン、又はプロスポーツ選手など、いわゆる有名人である。あるいは、テンプレートは、家族、友人、又は同僚など、そのユーザと個人的な繋がりのある一般人であってもよい。

図２は、３Ｄデータシステム１の機能構成を例示する図である。３Ｄデータシステム１は、記憶手段１１、取得手段１２、取得手段１３、生成手段１４、制御手段１９、記憶手段２１、受け付け手段２２、表示手段２３、及び制御手段２９を有する。このうち、記憶手段１１、取得手段１２、取得手段１３、生成手段１４、及び制御手段１９はサーバ１０に、記憶手段２１、受け付け手段２２、表示手段２３、及び制御手段２９はユーザ端末２０に、それぞれ実装される。

記憶手段１１は、各種のデータ及びプログラムを記憶する。この例において、記憶手段１１は、データベース１１１及びデータベース１１２を記憶する。データベース１１１は、複数のユーザの各々について、そのユーザの３Ｄデータを記録したデータベースである。ユーザの３Ｄデータとは、そのユーザの３Ｄモデリングデータを含むデータである。３Ｄモデリングデータとは、そのユーザの３Ｄモデルを表すデータである。３Ｄモデルとは、そのユーザの立体形状を模したグラフィックオブジェクトである。３Ｄモデルは、仮想空間においていわゆるアバターとして用いられる。

取得手段１２は、対象３Ｄモデル（第１の３Ｄモデルの一例）のデータ及びテンプレート（第１のテンプレートの一例）のデータを取得する（第１取得手段の一例）。対象３Ｄモデルとは、融合の対象となる３Ｄモデルである。取得手段１３は、対象３Ｄモデルとテンプレートとを融合するパラメータを取得する（第２取得手段の一例）。このパラメータは、融合処理において用いられるパラメータであり、融合により生成される３Ｄモデル（以下「融合３Ｄモデル」という。第２の３Ｄモデルの一例）を特徴付けるパラメータである。

生成手段１４は、対象３Ｄモデル、テンプレート、及びパラメータを用いて融合３Ｄモデルを生成する。融合３Ｄモデルは、対象３Ｄモデル及びテンプレートを、パラメータを用いて融合又は合成した３Ｄモデルである。融合３Ｄモデルは、対象３Ｄモデル及びテンプレートの一方を、パラメータ並びに対象３Ｄモデル及びテンプレートの他方に従って変更した３Ｄモデルであるということもできる。

制御手段１９は、各種の制御を行う。

記憶手段２１は、各種のデータを記憶する。受け付け手段２２は、ユーザからの指示又は情報の入力を受け付ける。表示手段２３は、各種の情報を表示する。制御手段２９は、各種の制御を行う。

図３は、サーバ１０のハードウェア構成を例示する図である。サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、及び通信ＩＦ１０４を有するコンピュータ装置又は情報処理装置である。ＣＰＵ１０１は、プログラムに従って各種の演算を行う処理装置である。メモリ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＡＭ（Random Access Memory）を含む。ストレージ１０３は、各種のプログラム及びデータを記憶する補助記憶装置であり、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を含む。通信ＩＦ１０４は、所定の通信規格（例えばイーサネット）に従って他の装置と通信する装置であり、例えばＮＩＣ（Network Interface Card）を含む。

この例において、ストレージ１０３が記憶するプログラムには、コンピュータを３Ｄデータシステム１におけるサーバ１０として機能させるためのプログラム（以下「サーバプログラム」という）が含まれる。ＣＰＵ１０１がサーバプログラムを実行している状態において、メモリ１０２及びストレージ１０３の少なくとも一方が記憶手段１１の一例であり、ＣＰＵ１０１が取得手段１２、取得手段１３、生成手段１４、及び制御手段１９の一例である。

図４は、ユーザ端末２０のハードウェア構成を例示する図である。ユーザ端末２０は、ＣＰＵ２０１、メモリ２０２、ストレージ２０３、通信ＩＦ２０４、入力装置２０５、及び出力装置２０６を有するコンピュータ装置、例えば、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。ＣＰＵ２０１は、プログラムに従って各種の演算を行う処理装置である。メモリ２０２は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＡＭを含む。ストレージ２０３は、各種のプログラム及びデータを記憶する補助記憶装置であり、例えばＨＤＤ又はＳＳＤを含む。通信ＩＦ２０４は、所定の通信規格（例えばＷｉＦｉ（登録商標）又はＬＴＥ（登録商標）など））に従って他の装置と通信する装置であり、例えばアンテナ及びモデムチップセットを含む。入力装置２０５は、ユーザ又は他の装置から指示又は情報の入力を受け付ける装置であり、例えば、タッチスクリーン、キーボード、ポインティングデバイス、及びマイクロフォンの少なくとも一種を含む。出力装置２０６は、ユーザ又は他の装置に情報を出力する装置であり、例えば、ディスプレイ及びスピーカの少なくとも一種を含む。

この例において、ストレージ２０３が記憶するプログラムには、コンピュータを３Ｄデータシステム１におけるユーザ端末２０として機能させるためのプログラム（以下「クライアントプログラム」という）が含まれる。ＣＰＵ２０１がクライアントプログラムを実行している状態において、メモリ２０２及びストレージ２０３の少なくとも一方が記憶手段２１の一例であり、入力装置２０５が受け付け手段２２の一例であり、出力装置２０６が表示手段２３の一例であり、ＣＰＵ１０１が制御手段２９の一例である。

２．動作
図５は、３Ｄデータシステム１の一実施形態に係る動作を例示するシーケンスチャートである。このフローの開始前の時点において、ユーザは３Ｄスキャナ（図示略）を用いて自身の３Ｄデータを生成する。この３Ｄデータは、サーバ１０においてデータベース１１１に記録される。この例において、データベース１１１は、あるユーザについて、異なる複数のタイミング（例えば異なる日時）で撮影された画像を用いて生成された複数の３Ｄデータを記憶している。

図５のフローに先立ち、ユーザは、ユーザ端末２０から、３Ｄデータシステム１にログインを要求する。サーバ１０は、ユーザ端末２０から送信される認証情報を用いてログイン処理を行う。

ステップＳ１において、ユーザ端末２０は、対象３Ｄモデルの指定を受け付ける。詳細には以下のとおりである。ユーザ端末２０は、３Ｄデータ一覧をサーバ１０に要求する。この要求は、候補となる３Ｄデータを絞り込むための情報を含む。候補となる３Ｄデータを絞り込むための情報は、例えば、ユーザＩＤである。この要求を受けると、サーバ１０は、条件を満たす３Ｄデータの一覧をデータベース１１１から抽出する。サーバ１０は、抽出した３Ｄデータの一覧をユーザ端末２０に送信する。抽出された３Ｄデータは、例えば、ユーザ端末２０から３Ｄデータシステム１にログインしているユーザの３Ｄデータである。ユーザ端末２０は、３Ｄデータの一覧を表示する。ユーザは、この一覧の中から、融合の対象３Ｄデータを選択する。ユーザ端末２０は、選択された３Ｄデータの識別情報をサーバ１０に送信する。

ステップＳ２において、ユーザ端末２０は、融合に用いられるテンプレートの指定を受け付ける。詳細には以下のとおりである。ユーザ端末２０は、テンプレート一覧サーバ１０に要求する。この要求は、候補となるテンプレートを絞り込むための情報を含む。候補となるテンプレートを絞り込むための情報は、例えば、テンプレートのジャンルである。この要求を受けると、条件を満たすテンプレートの一覧をデータベース１１２から抽出する。サーバ１０は、抽出したテンプレートの一覧をユーザ端末２０に送信する。ユーザ端末２０は、テンプレートの一覧を表示する。ユーザは、この一覧の中から、対象テンプレートを選択する。ユーザ端末２０は、選択されたテンプレートの識別情報をサーバ１０に送信する。

ステップＳ３において、サーバ１０は、対象３Ｄデータと選択されたテンプレートとを融合する。詳細には以下のとおりである。対象３Ｄデータと選択されたテンプレートとを融合させるとは、対象３Ｄモデルとテンプレートとを所定のアルゴリズムに従って融合し、新たな３Ｄモデルを生成することをいう。こうして生成された３Ｄモデルを融合３Ｄモデルという。

図６は、ステップＳ３における３Ｄモデルの融合処理の詳細を例示する図である。ステップＳ３０１において、サーバ１０は、対象３Ｄモデルのトポロジから、その３Ｄモデルを構成する各頂点がどの部位に相当するか特定する。３Ｄモデルにおける部位とは、例えば、頭、胴、腕、手、腰、脚、及び足など身体の部位をいう。さらに、３Ｄモデルにおける部位は、顔において目、鼻、口、及び耳など、より詳細な分類を含んでもよい。一例において、部位の特定は、機械学習を用いて行われる。この場合、種々の被写体から生成した３Ｄモデリングデータを入力とし、この３Ｄモデルを構成する各頂点がどの部位に属するかの分類をしたデータを出力とする教師データを与えて学習済の機械学習モデルが用いられる。

ステップＳ３０２において、サーバ１０は、テンプレートの３Ｄモデルのトポロジから、その３Ｄモデルを構成する各頂点がどの部位に相当するか特定する。具体的な手法は対象３Ｄモデルと同様である。

ステップＳ３０３において、サーバ１０は、対象３Ｄモデルの頂点とテンプレートの３Ｄモデルの頂点との対応を特定する。この例において、サーバ１０に記録されている３Ｄデータにより表される３Ｄモデルと、テンプレートの３Ｄモデルとはトポロジが統一されている。ここで、トポロジの統一について説明する。３Ｄモデルの形状をジオメトリという。ジオメトリはメッシュで構成される。メッシュは、エッジで囲まれた面である。エッジは、２つの頂点を結ぶ辺である。このメッシュの流れのことをトポロジという。すなわちトポロジとは、３Ｄモデルにおけるエッジの分布又は構造を指す。２つの３Ｄモデルのトポロジが「統一されている」とは、２つの３Ｄモデルの頂点がすべて一対一に対応することをいう。あるいは、２つの３Ｄモデルのトポロジが「統一されている」とは、エッジの長さを規格化したときに、２つの３Ｄモデルのトポロジが同一となることをいう。

対象３Ｄモデルのトポロジとテンプレートのトポロジとが統一されているため、対象３Ｄモデルの頂点は、全てテンプレートの３Ｄモデルの頂点と一対一に対応する。

ステップＳ３０４において、サーバ１０は、対象３Ｄモデルにおける各頂点の特性と、対応するテンプレートの頂点の特性とを融合する。頂点の特性とは、例えば、頂点の相対位置の座標である。すなわち、サーバ１０は、対象３Ｄモデルのジオメトリとテンプレートのジオメトリとを融合する。対象３Ｄモデルの、ある頂点の座標をＶｏ、テンプレートの、頂点Ｖｏと対応する頂点の座標をＶｔと表すと、融合後の頂点の座標Ｖｍは、

と表される。ここで、αは混合比（又は重み）を表す。α＝０のとき融合３Ｄモデルのジオメトリは対象３Ｄモデルと同一であり、α＝１のとき融合３Ｄモデルのジオメトリはテンプレートと同一である。また、メッシュに貼り付けるテクスチャについても同様に、２つの３Ｄモデルのテクスチャを重み付きで融合することにより、２つの３Ｄモデルを融合させることができる。サーバ１０は、このようにして対象３Ｄモデルとテンプレートとを融合する。

再び図５を参照する。ステップＳ４において、サーバ１０は、融合３Ｄモデルのデータをユーザ端末２０に送信する。ユーザ端末２０は、融合３Ｄモデルを表示する（ステップＳ５）。

図７は、融合３Ｄモデルの表示画面を例示する図である。この画面は、表示領域９１、表示領域９２、表示領域９３、及び表示領域９４を有する。表示領域９１は、融合３Ｄモデルを表示する領域である。表示領域９１には、例えば、融合３Ｄモデルを表示する視点（すなわち融合３Ｄモデルを映す仮想カメラの位置）を設定するためのＵＩオブジェクト、及び融合３Ｄモデルに与えるモーションを設定するためのＵＩオブジェクトも表示される。

表示領域９２は、対象３Ｄモデルを表示する領域である。表示領域９３は、テンプレートを表示する領域である。対象３Ｄモデル及びテンプレートを表示する視点、並びに対象３Ｄモデル及びテンプレートのモーションは、融合３Ｄモデルの視点及びモーションと同期する。

表示領域９４は、融合３Ｄモデルに関する指示を入力するためのＵＩオブジェクトを表示する領域である。融合３Ｄモデルに関する指示には、例えば、３Ｄモデルとテンプレートとを融合する際のパラメータの設定が含まれる。このパラメータは、例えば、対象３Ｄモデルとテンプレートとの混合比である。この例では、混合比を設定するＵＩオブジェクトとしてスライドバーが示されている。融合３Ｄモデルを最初に表示した時点では、混合比は自動的に初期値に設定される。なお図７では、対象３Ｄモデルが体幅の広い男性であり、テンプレートが体幅の細い男性である。融合３Ｄモデルは、対象３Ｄモデルに、テンプレートの体型を融合させた例を示している。

再び図５を参照する。ユーザがスライドバーをドラッグ又はクリックする等して混合比を指定すなわち変更すると、ユーザ端末２０は、指定された混合比をサーバ１０に送信する（ステップＳ６）。混合比の指定を受け付けると、サーバ１０は、指定された混合比で、対象３Ｄモデルとテンプレートとを融合し、新たな（すなわち更新された）融合３Ｄモデルを生成する（ステップＳ７）。サーバ１０は、生成された融合３Ｄモデルのデータをユーザ端末２０に送信する（ステップＳ８）。ユーザ端末２０は、更新された融合３Ｄモデルを表示する（ステップＳ９）。

このように、ユーザ端末２０は、ユーザの指示により指定された混合比で生成された融合３Ｄモデルをリアルタイムで表示する。ユーザは、自身の指示の影響をリアルタイムで確認しながら、対象３Ｄモデルとテンプレートとを融合することができる。

融合３Ｄモデルの保存を希望するときは、ユーザは、ＵＩオブジェクトから融合３Ｄモデルの保存を指示する。ユーザ端末２０は、融合３Ｄモデルを保存する指示を受け付ける（ステップＳ８）。ユーザ端末２０は、融合３Ｄモデルを保存する指示をサーバ１０に送信する（ステップＳ９）。この指示を受信すると、サーバ１０は、データベース１１１に、融合３Ｄモデルを示す３Ｄデータ（以下「融合３Ｄデータ」という）を記録する。融合３Ｄデータは、融合３Ｄモデルの３Ｄモデリングデータ及び融合３Ｄモデルの属性データを含む。融合３Ｄモデルの属性データは、融合３Ｄモデルを生成する際に元となった３Ｄモデル及びテンプレートのデータを含む。融合３Ｄデータが元の３Ｄモデル及びテンプレートのデータを含むことで、サーバ１０から融合３Ｄデータを受信したユーザ端末２０は、融合３Ｄモデルを元の３Ｄモデル及びテンプレートに分離したり、混合比を変えて融合し直したりすることができる。

融合３Ｄモデルは種々の用途に適用が可能である。一例において、融合３Ｄモデルはエンターテイメント用途に用いられる。エンターテイメント用途とは、例えば、ビデオゲームのキャラクタ、動画コンテンツ、又はＳＮＳ（Social Networking System）のスタンプを含む。別の例において融合３Ｄモデルは、スポーツトレーニングに用いられる。３Ｄデータシステム１は、スポーツトレーニングのため、ユーザ自身の３Ｄモデルのモーションと、手本となるトレーナー又はスポーツ選手のモーション（例えば、ランニング、テニスラケット若しくはバットのスイング、又はボールのキックなど）とを融合させる。ユーザは、融合３Ｄモデルのモーションの動画を見て、自身のモーションの改善点を把握することができる。あるいは、トレーニング補助システム（図示略）が、この融合３Ｄモデルに基づいてユーザ本人の特性に合った練習プログラムを提案することができる。さらに別の例において、融合３Ｄモデルは、骨盤矯正に用いられる。３Ｄデータシステム１は、骨盤矯正のため、ユーザ自身の３Ｄモデルの骨格と、標準の３Ｄモデルの骨格とを融合させる（この場合、３Ｄデータは骨格のデータを含む）。ユーザは、融合３Ｄモデルのモーションの骨格を見て、トレーニングをすれば自身の骨盤がどこまで改善できるかをシミュレーションすることができる。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下において説明する事項のうち、２つ以上のものが組み合わせて適用されてもよい。

３－１．融合される特性
対象３Ｄモデルとテンプレートとにおいて融合される特性は、ジオメトリに限定されない。融合される特性は、対象３Ｄモデル及びテンプレートの、ジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種であってもよい。一般にリギングとは、３Ｄモデルにボーン（スケルトンといわれることもある）とメッシュとの対応関係を設定すること、並びにそれを制御する仕組み及びインターフェースをいうが、ここでは３Ｄモデルに設定されたボーンとメッシュとの対応関係のことをいい、特定の部位のボーンとメッシュとの組み合わせ（又は群）をリグという。この「対応関係」は、ボーンと関節との位置関係の定義、及びスキンと連動する重みすなわちスキンウェイトを含む。例えば、対象３Ｄモデルのリギングとテンプレートのリギングが融合されるとは、ボーン（又はジョイント）の相対位置を融合することをいう。モーションとは、３Ｄモデルの動き（例えば上記のリグの動き）をいう。モーションは、例えば、複数のリグの相対位置の時間変化である。モーションを融合するとは、例えば、以下の処理をいう。対象３Ｄモデルとテンプレートとで共通するモーション（例えば「歩く」モーション）が指定される。これら２つのモーションの時間長が規格化される。これら２つのモーションが時間フレームに分割される。各フレームにおいて、対象３Ｄモデルのリグ及びテンプレートのリグの相対位置が融合される。

図７の表示画面は、融合される特性の指定を受け付けるためのＵＩオブジェクトを含んでもよい。ユーザは、ジオメトリ、テクスチャ、リギング、及びモーションのうち、所望の特性を融合させることができる。

さらに、ユーザの３Ｄデータが、３Ｄモデルの外観以外の、ユーザの特徴を表すデータを含んでもよい。ユーザの特徴とは、例えば、そのユーザの声、話し方又は言葉遣い、及びモーション（例えば、歩き方、走り方、表情、又は仕草など）である。これらの特徴はデータ化又は数値化されて記録される。対象３Ｄモデル及びテンプレートについてこれらの特徴を融合する際は、必要に応じて規格化が行われる。規格化は、データを融合する際の基準値を一致させる処理である。規格化は、例えば、モーションであればそのモーションの開始から終了までの時間を一致させる処理である。

３－２．テンプレートの数
対象３Ｄモデルと融合されるテンプレートの数は１つに限定されない。３Ｄデータシステム１は、対象モデルと複数のテンプレートとを融合して１つの融合３Ｄモデルを生成してもよい。この場合、融合３Ｄモデルの表示画面は、複数のテンプレートを融合する混合比を設定するためのＵＩオブジェクトを含む。例えば、対象３Ｄモデルを第１テンプレート及び第２テンプレートの２つのテンプレートと融合させる場合、このＵＩオブジェクトは、（全体に対する）第１テンプレートの混合比及び第２テンプレートの混合比をそれぞれ設定することができる。

３－３．対象モデルの数
テンプレートと融合される対象３Ｄモデルの数は１つに限定されない。３Ｄデータシステム１は、テンプレートと複数の対象３Ｄモデルとを融合してもよい。この場合、融合３Ｄモデルは、対象３Ｄモデルと同じ数、生成される。例えば、テンプレートが第１対象３Ｄモデル及び第２対象３Ｄモデルの２つの３Ｄモデルと融合される場合、第１対象３Ｄモデルとテンプレートとを融合した第１融合３Ｄモデル、及び第２対象３Ｄモデルとテンプレートとを融合した第２融合３Ｄモデルの２つの融合３Ｄモデルが生成される。これら２つの融合３Ｄモデルにおいて、テンプレートとの混合比は共通である。例えば融合３Ｄモデルの表示画面は、第１対象３Ｄモデルを表示する領域、第２対象３Ｄモデルを表示する領域、テンプレートを表示する領域、第１融合３Ｄモデルを表示する領域、第２融合３Ｄモデルを表示する領域、及び融合３Ｄモデルに関する指示を入力するためのＵＩオブジェクトを表示する領域を含む。このＵＩオブジェクトにおいて単一の混合比を設定すると、この混合比が第１融合３Ｄモデル及び第２融合３Ｄモデルの双方に適用される。この例によれば、例えば友人同士のグループに同じテンプレートを適用して融合３Ｄモデルを生成することができる。

さらに、対象３Ｄモデル及びテンプレートは、いずれも複数であってもよい。すなわち、対象３Ｄモデルが第１、第２、・・・、及び第ｉ対象３Ｄモデルを含み、テンプレートが第１、第２、・・・、及び第ｊテンプレートを含む。ｉとｊとは同じでもよいし異なっていてもよい。

３－４．テンプレートの内容
テンプレートは人間の全身の３Ｄモデルに限定されない。テンプレートは、人間の身体の一部（例えば、頭、胸、腕、手、腹、腰、脚、又は足）であってもよい。あるいは、３Ｄモデルはジオメトリ（すなわち形状）及びテクスチャ（すなわち表面の色彩、模様）など複数の要素を含んでいるところ、テンプレートはこれらのうちの一部、例えば、全身のジオメトリのみでテクスチャ無し、又は全身のテクスチャ無しでジオメトリのみ、といったデータであってもよい。対象３Ｄモデルが全身であるのにテンプレートが身体の一部しかない場合、３Ｄデータシステム１は、身体のその一部のみ、対象３Ｄモデルとテンプレートとを融合させる。

３－５．対象３Ｄモデル及びテンプレートの被写体
対象３Ｄモデル及びテンプレートは、人間を被写体とするものに限定されない。対象３Ｄモデル及びテンプレートの少なくとも一方は、動物又はロボットなど、人間以外の生物又は人間型の非生物であってもよい。

３－６．パラメータ
融合処理に用いられるパラメータは融合比に限定されない。実施形態において、融合処理が、加重平均又は重み付き平均を計算する例を説明した（この重みが融合比である）。しかし、融合処理は、幾何平均を計算する処理又は調和平均を計算する処理など、加重平均を計算する処理以外の処理であってもよい。融合処理に用いられるパラメータは、融合処理の内容に応じて定義される。

３－７．融合される要素
実施形態においては、対象３Ｄモデルの全身のジオメトリ及びテクスチャが、それぞれ、テンプレートの全身のジオメトリ及びテクスチャと融合される例を説明した。しかし、融合される要素はこれに限定されない。例えば、融合される要素は、ユーザにより指定されてもよい。この場合、受け付け手段２２は、３Ｄモデルを構成する要素のうち一部の要素の指定を受け付ける。３Ｄデータシステム１は、受け付け手段２２を介して指定された要素を融合する。例えば、受け付け手段２２が、対象３Ｄモデル又はテンプレートの全身のうちの一部（例えば、頭、腕、脚など）の指定をユーザから受け付け、生成手段１４が、受け付け手段２２を介して指定された部位について、対象３Ｄモデルとテンプレートとを融合する。あるいは、受け付け手段２２が、融合される要素としてジオメトリ又はテクスチャの指定を受け付けてもよい。ジオメトリが指定された場合、生成手段１４は、対象３Ｄモデルのジオメトリとテンプレートのジオメトリとを融合する（テクスチャは対象３Ｄモデルのまま）。テクスチャが指定された場合、生成手段１４は、対象３Ｄモデルのテクスチャとテンプレートのテクスチャとを融合する（ジオメトリは対象３Ｄモデルのまま）。さらにあるいは、融合される要素は、身長、体重、胸囲、又は胴囲など、３Ｄモデルに関する。

この場合において、融合処理は、指定された要素のみを融合するものに限定されない。例えば、３Ｄデータシステム１は、指定された要素と連動して、指定されていない他の要素を融合してもよい。あるテンプレートにおいてある要素と連動する要素は、３Ｄデータシステム１においてあらかじめ定義され、例えばデータベース（図示略）に記録される。一例としては、あるテンプレートに対して、頭部と連動する要素として、頭身比（頭部の高さと身長との比率）及び頭肩比（頭部の幅と肩幅との比率）が定義されている。さらに、頭部と頭身比とが連動する程度、及び頭部と頭肩比とが連動する程度を示すパラメータが併せて記録されている。ユーザが、対象３Ｄモデルとこのテンプレートの頭部を融合させることを指定すると、３Ｄデータシステム１は、テンプレートの頭部だけでなく、頭身比及び頭肩比を対象３Ｄモデルと融合させる。

３－８．融合処理
融合処理の詳細は、実施形態の例（図６）に限定されない。例えば、３Ｄデータ及びテンプレートに、部位を特定する情報があらかじめ埋め込まれている場合、ステップＳ３０１及びステップＳ３０２の処理は省略可能である。あるいは、３Ｄデータシステム１は、機械学習等のＡＩ（Artificial Intelligence）技術を用いて、対象３Ｄデータ及びテンプレートにおける、部位の対応関係を特定してもよい。

実施形態においては対象３Ｄモデルとテンプレートとのトポロジが統一されている例を説明したが、これらのトポロジは統一されていなくてもよい。トポロジが統一されていない場合、３Ｄデータシステム１は、両者の対応点を特定又は検出する。３Ｄデータシステム１は、対応点の周りの点を、対応点の変化に応じて補間することによって両者を融合する。

３－９．他の実施形態
３Ｄデータシステム１における機能とハードウェアとの関係は、実施形態において例示したものに限定されない。例えば、物理的に複数の装置が協働して、サーバ１０としての機能を有してもよい。特に、各種のデータベースは、サーバ１０とは別の装置に記憶されてもよい。この場合、サーバ１０は、このデータベースにアクセスする手段を有していればよい。また、サーバ１０は、物理サーバであってもよいし、仮想サーバ（いわゆるクラウドを含む）であってもよい。また、実施形態においてサーバ１０が有するものとして説明した機能の一部を、ユーザ端末２０等の他の装置が有してもよい。すなわち、サーバ１０の機能は一部が省略されてもよい。

ＣＰＵ１０１等により実行されるプログラムは、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的記録媒体に記録された状態で提供されてもよいし、インターネット等のコンピュータネットワークを介してダウンロード可能な状態で提供されてもよい。

１…３Ｄデータシステム、１０…サーバ、１１…記憶手段、１２…取得手段、１３…取得手段、１４…生成手段、１９…制御手段、２１…記憶手段、２２…受け付け手段、２３…表示手段、２９…制御手段、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…通信ＩＦ、２０１…ＣＰＵ、２０２…メモリ、２０３…ストレージ、２０４…通信ＩＦ、２０５…入力装置、２０６…出力装置

Claims (10)

1. 第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得する第１取得手段と、
   前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得する第２取得手段と、
   前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成する生成手段と
   を有する情報処理装置。
2. 前記第１の３Ｄモデル及び前記第１のテンプレートの頂点の対応関係を特定する特定手段を有し、
   前記生成手段は、前記対応関係に基づいて前記第１の３Ｄモデル及び前記第１のテンプレートの一方を変更する
   請求項１に記載の情報処理装置。
3. 前記特定手段は、
   前記第１の３Ｄモデル及び前記第１のテンプレートのトポロジから、各頂点が属する部位を特定し、
   前記特定された部位の対応関係に基づいて前記頂点の対応関係を特定する
   請求項２に記載の情報処理装置。
4. 前記生成手段が、前記第１の３Ｄモデル及び前記第１のテンプレートの少なくとも一方のジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種を前記パラメータに従って変更する
   請求項１に記載の情報処理装置。
5. 前記パラメータが、前記第１の３Ｄモデルと前記第１のテンプレートとの混合比を示し、
   前記生成手段が、前記第１の３Ｄモデル及び前記第１のテンプレートのジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種を、前記混合比に従って混合する
   請求項４に記載の情報処理装置。
6. 前記第１の３Ｄモデルを構成する要素のうち一部の要素の指定を受け付ける受け付け手段を有し、
   前記生成手段は、前記指定された要素を前記パラメータに従って変更した第２の３Ｄモデルを生成する
   請求項１に記載の情報処理装置。
7. 前記第１取得手段は、前記第１のテンプレートと異なる第２のテンプレートを取得し、
   前記第２取得手段は、前記第１の３Ｄモデル、前記第１のテンプレート、及び前記第２のテンプレートを融合するパラメータを取得し、
   前記生成手段は、前記第１の３Ｄモデル、前記第１のテンプレート、及び前記第２のテンプレートの１つを、前記パラメータ並びに当該第１の３Ｄモデル、当該第１のテンプレート、及び当該第２のテンプレートの残りに従って変更した前記第２の３Ｄモデルを生成する
   請求項１に記載の情報処理装置。
8. 前記第２の３Ｄモデルのデータが、前記第１の３Ｄモデル及び前記テンプレートのデータを含む
   請求項１に記載の情報処理装置。
9. 第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得するステップと、
   前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得するステップと、
   前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成するステップと
   を有する情報処理方法。
10. コンピュータに、
    第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得するステップと、
    前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得するステップと、
    前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成するステップと
    を実行させるためのプログラム。

Images