JP6818219B1 - ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム - Google Patents

Abstract

【課題】撮像画像データに基づく高品質な３次元アバターを容易に生成する装置及び方法を提供する。【解決手段】３次元アバター生成装置において、汎用素体を生成する素体生成部１と、３次元アバターの生成対象となる人物等の対象物の撮像データに基づき対象物の３次元の表面形状情報を生成する形状情報生成部２と、３次元の表面形状情報を２次元画像に変換する２次元画像生成部３と、２次元画像の特徴点抽出を行う特徴点抽出部４と、抽出した特徴点を３次元の表面形状情報上に付加する特徴点付加部５と、３次元の表面形状情報上に付加された特徴点について汎用素体の骨格構造との対応関係を判別する骨格対応関係判別部６と、当該特徴点の３次元分布に適合するよう汎用素体の骨格構造の３次元分布を調整する骨格調整部７と、３次元の形状情報に含まれる対象物表面の３次元形状に適合するよう汎用素体の表面形状を調整する表面調整部８と、を備える。【選択図】図１

Description

本発明は、人物等を対象とした撮像データに基づく３次元コンピュータグラフィックスデータを作成する３次元アバター生成装置等に関するものである。

近年、コンピュータ等の電子計算機における処理能力向上等に伴い、３次元のコンピュータグラフィックスを活用したゲーム、動画コンテンツの活用が進められている。すなわち、かつては２次元アニメーションで表現されていた著名なコンピュータゲームのシリーズが３ＤＣＧを用いてリメイクされ、また、古典的な童話を原作とした映画が３ＤＣＧを用いて作製されて世界的に大ヒットしており、今や３次元コンピュータグラフィックスは、動画コンテンツにおける表現態様において、事実上の標準として広く活用されている。

３次元コンピュータグラフィックスの発展形として、実在の人物等をモデルとした写実的な３次元コンピュータグラフィックスを利用するとも提案されている。これは、コンピュータゲーム等のキャラクターとしてゲームをプレイする人物、あるいは共同でプレイする相手方の人物等を模したアバター（分身としてのキャラクター）を使用するものであって、アバターを使用することにより作品世界への没入感が向上し、よりリアルな体験としてゲームを楽しむことが可能となる。

特許文献１、２は、いずれもヘッドマウントディスプレイを使用して仮想空間を表現するコンピュータゲームにおいて、プレイヤー自身、あるいは共同プレイヤーの姿を模したアバターを使用した例について開示している。

特開２０１９−０１２５０９号公報 特開２０１９−１３９６７３号公報

しかし、特許文献１、２のいずれにおいても、プレイヤー等の人物を模したアバターをどのように作成するかについては開示されていない。実際のゲームにおいては、例えば、肢体部分については一般的な体格のものを用意し、頭部については球体あるいは楕円体に顔写真を貼り付けた構成や、ユーザが描画ツール等で自ら用意した自画像イラストを貼り付けた構成を使用する手法が一般的である。しかし、このようなアバターは体型も頭部も実際のプレイヤーと似ても似つかぬものとなり、ゲームのプレイヤーが作品世界に対する没入感を抱くことは困難である。

他方で、一般的な３次元コンピュータグラフィックスと同様の手法によってユーザのアバターを作成する方法を採用することは、現実的でない。なぜならば、３次元コンピュータグラフィックスによるキャラクター作成は、まず人体における皮膚等に相当するメッシュ構造についてモデリング作業等を行い、人体における骨格に相当するスケルトン構造の構築作業を行い、さらに、人体における筋肉、腱に相当する機能すなわち骨格と皮膚との関連付けであるスキニング作業を行う必要があるためである。

これらの作業のうち、例えばモデリング作業については、複数方向からユーザの姿形を撮影した映像を合成して立体形状を生成し、これに基づきある程度は自動的に表面形状に関するモデリング作業等を行うことは不可能ではない。しかしながら、ユーザの姿形（表面）の画像のみからは内部構造に関する作業であるスケルトンの構築作業及びスキニング作業を自動化することはできず、これらの作業は熟練した技術者による長時間の手作業によって行うほかない。これだけの手間を要する事実に鑑みて、個々のユーザのアバターについて、一般的な３次元コンピュータグラフィックスによるキャラクター作成作業を行うことは、現実的でない。

本発明は上記の課題に鑑みてなされたものであって、撮像画像データに基づく高品質な３次元アバターを容易に生成する装置、方法を提供することを目的とする。

上記目的を達成するため、請求項１にかかる３次元アバター生成装置は、対象物の撮像データに基づき、３次元表面形状を頂点群及び／又は面群によって表現した３次元アバターを生成する３次元アバター生成装置であって、対象物の撮像データに基づき３次元表面形状を生成する表面形状生成手段と、対象物の３次元表面形状を２次元画像に変換し、前記２次元画像に基づき少なくとも一部の骨格構造を推定する骨格構造推定手段と、前記骨格構造推定手段によって推定された骨格構造と、３次元表面形状、骨格構造及び双方の関係性について規定した汎用素体アバターにおける骨格構造との対応関係を判別する骨格対応関係判別手段と、骨格構造の構成要素間の接続関係を維持しつつ、前記骨格対応関係判別手段によって判別された対応関係と整合するよう前記汎用素体アバターの骨格構造の位置調整を行う骨格調整手段と、対象物の３次元表面形状を表現する頂点群及び／又は面群と、骨格構造の位置調整を行った前記汎用素体アバターの３次元表面形状を表現する頂点群及び／又は面群の対応関係に基づき、前記汎用素体アバターの頂点群及び／又は面群を、前記対象物の３次元表面形状を表現する頂点群及び／又は面群に一致する位置に移動させる表面調整手段と、前記表面調整手段による頂点群及び／又は面群の位置移動がなされた前記汎用素体アバターの表面に対し対象物の撮像データを加工した画像を付加する画像付加手段とを備えたことを特徴とする。

また、上記目的を達成するため、請求項２にかかる３次元アバター生成装置は、上記の発明において、前記汎用素体アバターは、動作時における前記骨格構造全体の位置変化及び前記骨格構造の構成要素間の連動態様に関する情報である動作情報と、３次元表面形状の少なくとも一部領域における第１形状から第２形状へ移行する際の頂点群の遷移態様について規定する形状遷移情報と、内部形状を表現する頂点群に関する情報について規定され、前記内部形状を表現する頂点群を前記表面調整手段による位置移動の対象としないことを特徴とする。

また、上記目的を達成するため、請求項１２にかかる３次元アバター生成プログラムは、上記の発明において、対象物の撮像データに基づく３次元表面形状上の前記被服領域に位置する表面構造を抽出する被服領域抽出ステップと、抽出部分を３次元化した被服素体に変換する被服素体生成ステップと、前記被服素体を前記撮像データに基づく３次元アバターに前記被服素体を接続する素体接続ステップと、前記３次元アバターと前記被服素体を接続したものに対し、前記形状遷移情報に基づき、前記汎用素体アバターの３次元表現形状に適合するよう形状変化させる汎用形状化ステップと、形状変化した前記被服素体に対し、前記汎用素体アバターに備わる３次元表面形状と骨格構造の関連性に関する情報及び前記形状遷移情報を転送する情報転送ステップと、前記情報転送ステップによる情報転送後に前記被服素体を前記３次元アバターとの接続から解除する接続解除ステップとをさらに含むことを特徴とする。

また、上記目的を達成するため、請求項４にかかる３次元アバター生成装置は、上記の発明において、対象物の撮像データに基づく３次元表面形状上の前記被服領域に位置する表面構造を抽出する被服領域抽出手段と、抽出部分を３次元化した被服素体に変換する被服素体生成手段と、前記被服素体を前記撮像データに基づく３次元アバターに前記被服素体を接続する素体接続手段と、前記３次元アバターと前記被服素体を接続したものに対し、前記形状遷移情報に基づき、前記汎用素体アバターの３次元表現形状に適合するよう形状変化させる汎用形状化手段と、形状変化した前記被服素体に対し、前記汎用素体アバターに備わる３次元表面形状と骨格構造の関連性に関する情報及び前記形状遷移情報を転送する情報転送手段と、前記情報転送手段による情報転送後に前記被服素体を前記３次元アバターとの接続から解除する接続解除手段とを備えたことを特徴とする。

また、上記目的を達成するため、請求項５にかかる３次元アバター生成方法は、対象物の撮像データに基づき、３次元表面形状を頂点群及び／又は面群によって表現した３次元アバターを生成する３次元アバター生成方法であって、対象物の撮像データに基づき３次元表面形状を生成する表面形状生成工程と、対象物の３次元表面形状を２次元画像に変換し、前記２次元画像に基づき少なくとも一部の骨格構造を推定する骨格構造推定工程と、前記骨格構造推定工程によって推定された骨格構造と、３次元表面形状、骨格構造及び双方の関係性について規定した汎用素体アバターにおける骨格構造との対応関係を判別する骨格対応関係判別工程と、骨格構造の構成要素間の接続関係を維持しつつ、前記骨格対応関係判別工程によって判別された対応関係と整合するよう前記汎用素体アバターの骨格構造の位置調整を行う骨格調整工程と、対象物の３次元表面形状を表現する頂点群及び／又は面群と、骨格構造の位置調整を行った前記汎用素体アバターの３次元表面形状を表現する頂点群及び／又は面群の対応関係に基づき、前記汎用素体アバターの頂点群及び／又は面群を、前記対象物の３次元表面形状を表現する頂点群及び／又は面群に一致する位置に移動させる表面調整工程と、前記表面調整工程による頂点群及び／又は面群の位置移動がなされた前記汎用素体アバターの表面に対し対象物の撮像データを加工した画像を付加する画像付加工程とを含むことを特徴とする。

また、上記目的を達成するため、請求項６にかかる３次元アバター生成方法は、上記の発明において、前記汎用素体アバターは、動作時における前記骨格構造全体の位置変化及び前記骨格構造の構成要素間の連動態様に関する情報である動作情報と、３次元表面形状の少なくとも一部領域における第１形状から第２形状へ移行する際の頂点群の遷移態様について規定する形状遷移情報と、内部形状を表現する頂点群に関する情報について規定され、前記内部形状を表現する頂点群を前記表面調整工程において位置移動の対象としないことを特徴とする。

また、上記目的を達成するため、請求項７にかかる３次元アバター生成方法は、上記の発明において、対象物の撮像データに基づく３次元表面形状において肌露出領域、被服領域及び頭髪領域を判別する表面領域判定工程と、前記表面領域判定工程によって判別された被服領域について、被服部分を除去して基本体型の表面形状を生成する基本体型生成工程と、前記形状遷移情報に基づき、前記基本体型に整合するよう前記汎用素体アバターの表面形状を形状変化させる形状遷移工程をさらに含み、前記表面調整工程において、少なくとも前記被服領域及び前記頭髪領域について表面調整処理を行なわず、対象物の撮像データのうち被服及び頭髪に関する情報を有さない３次元アバターを生成することを特徴とする。

また、上記目的を達成するため、請求項８にかかる３次元アバター生成方法は、上記の発明において、対象物の撮像データに基づく３次元表面形状上の前記被服領域に位置する表面構造を抽出する被服領域抽出工程と、抽出部分を３次元化した被服素体に変換する被服素体生成工程と、前記被服素体を前記撮像データに基づく３次元アバターに前記被服素体を接続する素体接続工程と、前記３次元アバターと前記被服素体を接続したものに対し、前記形状遷移情報に基づき、前記汎用素体アバターの３次元表現形状に適合するよう形状変化させる汎用形状化工程と、形状変化した前記被服素体に対し、前記汎用素体アバターに備わる３次元表面形状と骨格構造の関連性に関する情報及び前記形状遷移情報を転送する情報転送工程と、前記情報転送工程による情報転送後に前記被服素体を前記３次元アバターとの接続から解除する接続解除工程とをさらに含むことを特徴とする。

また、上記目的を達成するため、請求項９にかかる３次元アバター生成プログラムは、対象物の撮像データに基づき、３次元表面形状を頂点群及び／又は面群によって表現した３次元アバターを生成する３次元アバター生成プログラムであって、対象物の撮像データに基づき３次元表面形状を生成する表面形状生成ステップと、対象物の３次元表面形状を２次元画像に変換し、前記２次元画像に基づき少なくとも一部の骨格構造を推定する骨格構造推定ステップと、前記骨格構造推定ステップによって推定された骨格構造と、３次元表面形状、骨格構造及び双方の関係性について規定した汎用素体アバターにおける骨格構造との対応関係を判別する骨格対応関係判別ステップと、骨格構造の構成要素間の接続関係を維持しつつ、前記骨格対応関係判別ステップによって判別された対応関係と整合するよう前記汎用素体アバターの骨格構造の位置調整を行う骨格調整ステップと、対象物の３次元表面形状を表現する頂点群及び／又は面群と、骨格構造の位置調整を行った前記汎用素体アバターの３次元表面形状を表現する頂点群及び／又は面群の対応関係に基づき、前記汎用素体アバターの頂点群及び／又は面群を、前記対象物の３次元表面形状を表現する頂点群及び／又は面群に一致する位置に移動させる表面調整ステップと、前記表面調整ステップによる頂点群及び／又は面群の位置移動がなされた前記汎用素体アバターの表面に対し対象物の撮像データを加工した画像を付加する画像付加ステップとをコンピュータに実行させることを特徴とする。

また、上記目的を達成するため、請求項１０にかかる３次元アバター生成プログラムは、上記の発明において、前記汎用素体アバターは、動作時における前記骨格構造全体の位置変化及び前記骨格構造の構成要素間の連動態様に関する情報である動作情報と、３次元表面形状の少なくとも一部領域における第１形状から第２形状へ移行する際の頂点群の遷移態様について規定する形状遷移情報と、内部形状を表現する頂点群に関する情報について規定され、前記内部形状を表現する頂点群を前記表面調整ステップにおいて位置移動の対象としないことを特徴とする。

また、上記目的を達成するため、請求項１１にかかる３次元アバター生成プログラムは、上記の発明において、対象物の撮像データに基づく３次元表面形状において肌露出領域、被服領域及び頭髪領域を判別する表面領域判定ステップと、前記表面領域判定ステップによって判別された被服領域について、被服部分を除去して基本体型の表面形状を生成する基本体型生成ステップと、前記形状遷移情報に基づき、前記基本体型に整合するよう前記汎用素体アバターの表面形状を形状変化させる形状遷移ステップをさらに含み、前記表面調整ステップにおいて、少なくとも前記被服領域及び前記頭髪領域について表面調整処理を行なわず、対象物の撮像データのうち被服及び頭髪に関する情報を有さない３次元アバターを生成することを特徴とする。

また、上記目的を達成するため、請求項１２にかかる３次元アバター生成プログラムは、上記の発明において、対象物の撮像データに基づく３次元表面形状上の前記被服領域に位置する表面構造を抽出する被服領域抽出ステップと、抽出部分を３次元化した被服素体に変換する被服素体生成ステップと、前記被服素体を前記撮像データに基づく３次元アバターに前記被服素体を接続する素体接続ステップと、前記３次元アバターと前記被服素体を接続したものに対し、前記形状遷移情報に基づき、前記汎用素体アバターの３次元表現形状に適合するよう形状変化させる汎用形状化ステップと、形状変化した前記被服素体に対し、前記汎用素体アバターに備わる３次元表面形状と骨格構造の関係性に関する情報及び前記遷移情報を転送する情報転送ステップと、前記情報転送ステップによる情報転送後に前記被服素体を前記３次元アバターとの接続から解除する接続解除ステップとをさらに含むことを特徴とする。

本発明によれば、実写映像に基づく高品質な３次元コンピュータグラフィックスを容易に生成できるという効果を奏する。

実施の形態１にかかる３次元アバター生成装置の構成を示す模式図である。 実施の形態１にかかる３次元アバター生成装置の動作について示すフローチャートである。 実施の形態２にかかる３次元アバター生成装置の構成を示す模式図である。 実施の形態２にかかる３次元アバター生成装置の動作について示すフローチャートである。 実施の形態３にかかる３次元アバター生成装置の構成を示す模式図である。 実施の形態３にかかる３次元アバター生成装置の動作について示すフローチャートである。 変形例にかかる３次元アバター生成装置の構成を示す模式図である。 実施の形態４にかかる３次元アバター生成装置の構成を示す模式図である。 実施の形態４にかかる３次元アバター生成装置の動作について示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の実施の形態においては、本発明の実施の形態として最も適切と考えられる例について記載するものであり、当然のことながら、本発明の内容を本実施の形態にて示された具体例に限定して解すべきではない。同様の作用・効果を奏する構成であれば、実施の形態にて示す具体的構成以外のものであっても、本発明の技術的範囲に含まれることは勿論である。

（実施の形態１）
まず、実施の形態１にかかる３次元アバター生成装置について説明する。本実施の形態１にかかる３次元アバター生成装置は、対象物を撮影することによって得られる撮影データに基づき、３次元コンピュータグラフィックスとしての基本情報について記録した汎用素体を活用して、当該対象物の３次元アバターを生成するためのものである。

図１は、実施の形態１の構成を示す模式図である。図１に示すとおり、実施の形態１にかかる３次元アバター生成装置は、汎用素体を生成する素体生成部１と、３次元アバターの生成対象となる人物等の対象物の撮像データに基づき、対象物の表面形状に関する３次元の表面形状情報を生成する形状情報生成部２と、３次元の形状情報を２次元画像に変換する２次元画像生成部３と、２次元画像の特徴点抽出を行う特徴点抽出部４と、抽出した特徴点を３次元の表面形状情報上に付加する特徴点付加部５と、３次元の表面形状情報上に付加された特徴点について、汎用素体の骨格構造との対応関係を判別する骨格対応関係判別部６と、当該特徴点の３次元分布に適合するよう汎用素体の骨格構造の３次元分布を調整する骨格調整部７と、３次元の形状情報に含まれる対象物表面の３次元形状に適合するよう汎用素体の表面形状を調整する表面調整部８と、対象物の３次元画像データに基づき対象物の表面における質感に関する情報を生成する質感情報生成部９と、質感情報に基づき汎用素体の表面に質感表現を付加する表面質感付与部１０と、汎用素体の表面に対象物の撮像データから生成された画像情報を付加する表面画像付加部１１とを備える。

素体生成部１は、対象物の３次元アバターを生成する材料である汎用素体を生成するためのものである。汎用素体とは、例えば平均的な体格からなる人物等の３次元コンピュータグラフィックス情報であり、具体的には、３次元表面形状に関する３次元の形状情報と、動作等を制御するための骨格構造に関する骨格情報と、表面形状と骨格構造の関連性に関する関連性情報と、３次元表面形状の表面について２次元展開した２次元マッピング情報を少なくとも含んで構成される。素体生成部１は、これらの情報を生成して、体格、容貌等について無個性な汎用素体を生成する機能を有する。

表面形状情報とは、人体における皮膚等の形状に相当する、３次元コンピュータグラフィックスの表面形状に関する情報である。情報の形式としては、表面全体をボクセル等の微小単位の集合と規定し各微小単位の位置情報を記録した形式としてもよいが、情報処理上の負担軽減の観点から、いわゆるモデリング処理を行い、所定数の頂点及び頂点間の接続態様を規定することによって、表面の３次元形状を表現した形式とすることが望ましい。モデリング処理を行った場合、頂点及び頂点間の接続態様に関する情報に基づき頂点間を結ぶ辺が形成され、３本以上の辺によって囲まれた領域が面（ポリゴン）として定義され、面の集合（メッシュ）によって、表面形状が特定されることとなる。

ただし、本発明の適用対象はこれらに限定されるものではなく、形状情報としては、表面形状に対応して配置された複数の頂点及び／又は複数の面の位置情報を含んで構成されるものであれば、本発明における表面形状情報として使用することが可能である。また、表面形状情報に含まれる複数の頂点の一部については、その位置情報及び頂点間の接続態様に関する情報に加え、その頂点の意味内容に関する情報についても記録されているものとする。例えば、目、鼻、口等の部位における特定箇所及び各部位における詳細な位置関係（目尻、瞳、鼻頭、口角等）に対応する特徴点に該当する頂点については、右目の目尻に該当する、等の情報が付されるものとする。また、頂点の位置情報に関しては、絶対的な位置に関する情報と、ジョイント、ボーンからなる骨格構造に対する相対的な位置に関する情報のいずれか一方を含む形式が望ましい。本実施の形態では前者のみならず後者の位置情報も含むものとし、ジョイントの位置変化、ボーンの位置、長さ等の変化に応じて、各頂点は相対的な位置関係を維持しつつ位置が変化するものとする。

骨格情報とは、人体における骨格等に相当する、３次元コンピュータグラフィックスにおいて動作を作出する際等において基準となる内部構造に関する情報である。情報の形式としては、人体における骨格構造等と同様に所定の太さ、大きさを有する骨や関節からなる骨格構造としてもよいが、いわゆるスケルトンと称される、人体における関節等に相当するジョイント（点として表現される。）と、ジョイント間に位置し、人体における骨に相当するボーン（線として表現される。）の集合によって表現される形式とすることが望ましい。ただし、本発明の適用対象がこれらの情報形式に限定されることはなく、関節等のように平行移動・回転移動可能であると共に隣接部分との関係で支点としても機能する部分（本発明ではこれらを総称して「ジョイント」という。）と、骨等のように平行移動・回転移動のみ可能とした部分（これらを総称して「ボーン」という。）に関する情報によって構成されたものであれば他の形式でもよい。

関連性情報とは、骨格情報と表面形状情報との間の関連性を規定する情報であり、より具体的には、骨格構造に含まれるジョイント、ボーンの動作に対し、表面形状を形成する各頂点がどの程度追従して動作するかについて規定する情報である。仮に表面形状がジョイント、ボーンの動作に１００％追従する構成の場合、人間等のキャラクターであるにもかかわらずブリキ製ロボットのような動作となり現実感に乏しいキャラクターとなってしまう。そのため、人物等の３次元コンピュータグラフィックスを生成する際には、表面形状の各部分ごとに、近接するボーン、ジョイントの移動に対しどの程度追従するかに関する情報を予め設定することが望ましい。本実施の形態においても、表面形状情報を構成する各頂点に関して、これと近接するボーン及び／又はジョイントに対する追従性を示す数値情報を設定したものを関連性情報として設定する。なお、関連性情報の生成作業はスキニング処理、ウェイト編集等と称され関連性情報についてもウェイト値が一般に使用されるところ、本発明における関連性情報はこれらに限定されることはなく、上述の条件を満たす情報全てを含むこととする。

２次元マッピング情報とは、球面上の世界の地形を２次元の世界地図に変換するが如く、汎用素体の表面形状を構成する各頂点の位置情報を２次元座標系に変換して図示した情報をいう。２次元マッピング情報は、表面における質感、詳細な模様等を作成する際の便宜のため、３次元構造からなる表面形状を２次元座標系上に表現したものである。一般にはＵＶ展開によって２次元マッピングが実現されるものの、本発明における２次元マッピング情報は、ＵＶ展開によって得られるものに限定されず、上述の条件を満たす情報全てを含むこととする。

次に、形状情報生成部２について説明する。形状情報生成部２は、対象物の撮像データに基づき、対象物の表面形状に関する情報である３次元の表面形状情報を生成するためのものである。形状情報生成部２が生成する表面形状情報は、素体生成部１が生成するものと同様に、表面形状に対応して配置された複数の頂点の位置情報を含んで構成された情報をいい、３次元画像データの分析処理を自動的に、あるいは半自動的に行うことによって生成される。

２次元画像生成部３は、対象物の撮像データに基づき生成された３次元の表面形状情報に基づき２次元画像を生成するためのものである。２次元画像として素体生成部１のように２次元マッピング情報を生成する扱いとしてもよいが、本実施の形態においては、３次元の表面形状情報を、１方向に投影することによって２次元画像を生成することとする。より具体的には、後述する特徴点抽出部４による特徴点抽出処理における便宜上、人物等の正面像、すなわち人物等の顔面の法線方向（両目の目尻間を結んだ直線方向及び人物等が直立する方向と直交する方向）に投影したものが望しい。もっとも、顔面構造及び胴体部分の形状がある程度判明する２次元画像であれば、他の方向に投影した画像でもよいし、１方向に投影したもののみならず、互いに異なる方向に投影した２通りの２次元画像を生成してもよい。

特徴点抽出部４は、２次元画像生成部３にて生成された２次元の形状情報に基づき、顔面及び骨格構造における特徴点の位置を分析するためのものである。特徴点抽出部４は、姿勢推定技術等の２次元画像分析技術を利用することにより、例えば対象となる人物について、首、肩、肘、手首、指先、腰、膝、足首等の関節等を示す内部構造上の特徴点の位置を判定し、顔面において目、鼻、口、耳等を示す外表面上の特徴点の位置を判定する。なお、特徴点抽出部４の具体的構成としては、例えば深層学習、機械学習等によって実現した他の画像認識技術を利用してもよいし、複数の画像認識技術を組み合わせたものとしてもよい。また、判定対象の２次元画像についても、１方向に投影した１つの２次元画像のみならず、異なる方向に投影した他の２次元画像も併用して特徴点分析を行うこととしてもよい。

特徴点付加部５は、特徴点抽出部４にて抽出された特徴点に関する情報を、対象物の表面形状に関する３次元の表面形状情報上に付加するためのものである。本実施の形態においては、特徴点付加部５は、特徴点に関する情報として、特徴点の位置と及び意義（目尻に対応した点である、膝関節に対応する点である、等）に関する情報を付加する機能を有する。

例えば、３次元画像データにおける人物等の顔面に対する法線方向をＺ軸とし、これと直交する２軸（例えば、人物が直立する方向と両目の目尻間を結んだ直線方向）をＸ軸、Ｙ軸と設定する。このように設定すると、Ｚ軸正方向の投影図である２次元画像にて特定された特徴点のＸ座標及びＹ座標は、そのまま３次元画像データにおけるＸ座標及びＹ座標に相当する。

また、特徴点のＺ座標は、特徴点が３次元の表面形状における外表面上に位置する場合（例えば、顔面における特徴点）は、当該Ｘ座標、Ｙ座標に位置する外表面上の点（２か所）のうち、投影方向側に位置する点のＺ座標と同じ値となる。かかる原理に基づき、外表面上の特徴点の位置について、特徴点付加部５は、２次元画像におけるＸ座標、Ｙ座標に加え、当該Ｘ、Ｙ座標に位置する３次元の外表面形状上の点のＺ座標を、位置情報として付加する。

また、関節等を示す内部構造上の特徴点の場合のＺ座標は、当該Ｘ座標、Ｙ座標に位置する外表面上の点（２か所）のＺ座標Ｚ１、Ｚ２（Ｚ１＜Ｚ２とする）を用いてＺ１＜Ｚ＜Ｚ２と表現される。特徴点付加部５においては、例えば、簡易な位置特定を用いる場合は外表面上の点（２か所）の中点（（Ｚ１＋Ｚ２）／２）とする。また、特定の特徴点についてＺ座標に関する統計データ等の情報がある場合は、それに従って（ａＺ１＋ｂＺ２）／（ａ＋ｂ）（ａ、ｂは統計データ等によって導かれる定数）のように表現してもよい。また、特徴点抽出部４において、投影方向の異なる複数の２次元画像によって特徴点の位置を分析した場合、例えばＺ軸方向と直交する方向であるＹ軸方向に投影した２次元画像を分析すれば、特徴点のＺ座標を具体的に把握することが可能である。このように、複数の２次元画像を分析することによって、特徴点の位置情報を３次元のものに変換する態様としてもよい。

骨格対応関係判別部６は、３次元の位置情報を付された特徴点のうち内部構造上の特徴点について、汎用素体における骨格構造すなわちジョイント・ボーンとの対応関係について判別するためのものである。具体的には、骨格対応関係判別部６は、対象物の３次元の表面形状全体に対する特徴点の位置と、汎用素体中の表面形状全体に対するジョイント・ボーンの位置とを比較対照することによって、ある内部構造に関する特徴点が、汎用素体中の骨格構造のどの構成要素に対応するものであるかについて、判別処理を行う。

汎用素体中の骨格構造の構成要素に対応する特徴点が抽出されていない場合は、骨格対応関係判別部６によって、対応するべき特徴点の存在及び位置を推測する。例えば、特徴点抽出部４が左膝に相当する特徴点を抽出した一方で、右膝に相当する特徴点を抽出しなかった場合、骨格構造において人体が左右対称性を有する点を利用して、対象物の３次元の表面形状における右膝に相当する特徴点を抽出した上で、汎用素体中の骨格構造との対応関係を判別する。具体的には、右膝のように人体の正中線から離れた場所に位置する特徴点の場合は、正中線に対し、左膝と対称の位置に特徴点が位置するものとして、３次元の表面形状中における位置を決定する。

骨格調整部７は、汎用素体の骨格情報を、ジョイント・ボーン等の構成要素間の接続関係を維持しつつ、特徴点抽出部４によって抽出された内部構造に関する特徴点の分布に整合するように、骨格情報を構成するジョイント及びボーンの位置を調整するためのものである。骨格調整部７は、対象物の表面形状情報の内部構造に関する特徴点と対応する素体中のジョイント・ボーンを判定し、当該ジョイント・ボーンの位置情報を、対応する特徴点と同様の位置情報に変換する。対象物の表面形状情報の内部構造に関する特徴点との対応関係が判明しなかったジョイント・ボーンに関しては、基準素体内におけるジョイント・ボーン相互間の接続関係を維持しつつ、対応関係が判明したジョイント・ボーンの位置変化に応じた位置変化を行う。例えば、特徴点抽出部４によって右肩、右手先に相当する内部構造上の特徴点が抽出され、右肘に相当する特徴点が抽出されなかった場合右肩、右手先に相当するジョイントの位置情報が対応する特徴点の位置情報に変換されると共に、それらの間に位置する右肘に相当するジョイントは、右肩、右手先との内分比率を維持するように位置情報が変換される。

具体的には、骨格調整部７は、特徴点抽出部４によって抽出され、特徴点付加部５によって３次元的な位置情報に変換された内部構造に関する特徴点の情報と、汎用素体における骨格情報とを比較し、互いの対応関係、例えば、内部構造に関する特定の特徴点Ａ、Ｂ、Ｃ・・・は、それぞれ、汎用素体における骨格情報を構成するジョイント１、２、３・・・に相当するといった関係性を導出する。その上で、骨格調整部７は、汎用素体中の骨格構造の位置関係を、内部構造に関する特徴点の位置関係と一致するよう、移動させる。上記の例でいうと、汎用素体におけるジョイント１の位置（ｘ_１、ｙ_１、ｚ_１）、ジョイント２の位置（ｘ_２、ｙ_２、ｚ_２）・・・を、それぞれ対応する内部構造に関する特徴点Ａの位置（Ｘ_Ａ、Ｙ_Ａ、Ｚ_Ａ）、特徴点Ｂの位置（Ｘ_Ｂ、Ｙ_Ｂ、Ｚ_Ｂ）・・・に移動させる。ジョイントの移動に伴い、ジョイント間に形成されるボーンの位置、形状（長さ）も変化し、さらに、ジョイント及びボーンとの相対的な位置関係の情報を保有する、汎用素体の表面形状に関する情報を形成する頂点についても、ジョイントの移動に応じた位置変化がなされる。

また、特徴点抽出部４によって抽出できない特徴点が存する場合でも、骨格調整部７は、対応特徴点が存しないジョイント・ボーンを削除することなく、かつ、ジョイント・ボーン間の接続関係を維持しつつ、抽出した特徴点の分布に整合するように、これらのジョイント・ボーンについても位置調整を行う。かかる機能により、汎用素体のコンピュータグラフィックスとしての機能を損なうことなく、ジョイント・ボーンの位置返変換処理が行われる。

以上の骨格調整部７による処理により、汎用素体は、対象物の３次元画像データと、腕の長さ、足の長さ、胴の長さ、肩幅等の骨格構造に起因した部分がほぼ一致する内容に変化する。

表面調整部８は、骨格調整部７によって骨格構造の位置調整がなされた汎用素体の表面形状を構成する頂点及び／又は面の位置を変化させて、汎用素体の表面形状を、対象物の３次元画像データに基づく外表面形状と同一化させるためのものである。

具体的には、表面調整部８は、最初に、汎用素体の表面形状を構成する各頂点と、対象人物等の３次元画像データについて形状情報生成部２によって生成された形状情報に含まれる各頂点とを対比し、汎用素体の各頂点α、β、γ・・・が、３次元画像データに基づく表面形状に含まれる各頂点ａ、ｂ、ｃ・・・に相当する、といった対応関係を導出する。その上で、表面調整部８は、汎用素体の表面形状情報に含まれる頂点の位置関係を、これに対応する対象物の外表面形状における頂点の位置関係と一致するよう、移動させる。上記の例でいうと、汎用素体の頂点αの位置（ｘ_α、ｙ_α、ｚ_α）、頂点β（ｘ_β、ｙ_β、ｚ_β）・・・を、それぞれが対応する３次元画像データに基づく外表面形状の頂点ａの位置（Ｘ_ａ、Ｙ_ａ、Ｚ_ａ）、頂点ｂ（Ｘ_ｂ、Ｙ_ｂ、Ｚ_ｂ）・・・に移動させる。頂点の移動に伴い、頂点間を結ぶ辺、３本以上の辺によって構成される面（ポリゴン）、面の集合（メッシュ）の位置、形状も変化する。

頂点間の対応関係導出について、本実施の形態１では次の手法を用いる。まず、汎用素体と３次元画像データに基づく表面形状情報について、それぞれを同一空間上にて、骨格構造の位置関係が一致する態様にて配置する。次に、汎用素体の表面形状を構成する面（ポリゴン）のそれぞれについて、法線方向に位置する３次元画像データに基づく表面形状の面（ポリゴン）を探索し、最も距離が近いものを対応面として特定する。そして、対応面を構成する頂点のうち、汎用素体における面を構成する頂点と最も距離が近いものを対応する頂点として特定し、この作業を全ての頂点に関して行う。

なお、汎用素体の表面形状を構成する各頂点の一部において対象物の表面形状を構成する頂点との対応関係が判明しない場合は、当該各頂点の一部については、周囲の頂点移動に応じて、相互の位置関係を維持しつつ移動する。以上の表面調整部８の処理により、汎用素体は、対象物の３次元画像データと、３次元的な表面形状においてほぼ一致する内容に変化する。

また、表面調整部８による処理としては、頂点の移動によるものの他に面の位置を調整する方法も有効である。例えば、汎用素体の表面形状を構成する面（ポリゴン）のそれぞれについて、法線方向に位置する対象物の３次元画像データに基づく表面形状の面（ポリゴン）を探索し、最も距離が近いものを対応面として特定する。その後、汎用素体の表面形状を構成する面を対応面の場所まで移動し、かつ、面の向きを対応面の向きと一致するよう回転させる。以上の処理によって、汎用素体について、対象物の３次元画像データと、３次元的な表面形状においてほぼ一致する態様に変化させることが可能である。

本実施の形態１においては、表面調整部８の処理によって、骨格情報と表面形状情報の関係性を規定する関連性情報について、変化することなくそのまま維持される。関連性情報は、骨格構造に含まれるジョイント、ボーンと表面形状を構成する頂点との間の関連性を示す情報であるところ、ジョイント、ボーン、頂点共に、３次元画像データに一致させるよう位置が移動するのみであってそれぞれの同一性を喪失することがないため、これらの相関関係を示す関連性情報が変化することはない。

したがって、表面調整部８の処理が完了した時点で、汎用素体は骨格構造、３次元的な表面形状及び骨格構造と表面形状の間の関連性情報の全てを維持しつつ、骨格構造において対象物の内部構造の特徴点の位置と整合性を有し、かつ、表面形状において対象物とほぼ一致し、かつ、表面形状と骨格構造の関連性情報を完全に具備した３次元コンピュータグラフィックスが生成されたこととなる。

質感情報生成部９は、３次元アバターを生成する対象である人物等を撮影することによって生成された外表面に関する３次元画像データに基づき、外表面における質感に関する情報である質感情報を生成するためのものである。質感とは、テクスチャ等とも表現され、外表面における微小な凹凸等からなる外観的な特徴をいう。一般に、３次元ＣＧではモデリング処理によって、外表面が頂点及び頂点間の接続態様に関する情報に基づき頂点間を結ぶ辺が形成され、３本以上の辺によって囲まれた領域が面（ポリゴン）として定義され、面の集合（メッシュ）によって、表面形状が特定されることとなる。かかる手法は現実的な表面形状を近似的に表現するものであるため、表面の微小な凹凸等からなる質感に関する情報は含まれない。そのため、質感に関する情報を別途作成し、モデリング処理によって形成された外表面に付加して、リアルな外観を作出している。なお、質感に関する情報とは、具体的には外表面上に付加される２次的な画像に関する情報であり、２次元平面上に陰陽等を反映したパターン、例えばハイトマップ、ノーマルマップを形成することによって、疑似的に凹凸等を表現している。

質感情報の生成態様としては、理屈上は３次元の表面形状に対し直接的に生成することも可能である。ただし、本実施の形態１においては、３次元の表面形状を２次元的に表示した２次元マッピング情報を利用することとし、２次元マッピング上に質感を生成する、あるいは汎用素体用として事前に２次元マッピング上に用意されていた質感情報を流用する扱いとする。

表面質感付与部１０は、骨格調整及び表面調整を経た汎用素体の表面に対し、質感を付与するためのものである。質感情報生成部９にて生成された質感情報を汎用素体の表面に付加することによって、モデリング処理によって生成された表面からなる汎用素体について、微小な凹凸等からなる質感をも再現することが可能となる。本実施の形態１においては、汎用素体の２次元マッピング上に生成された質感情報について、２次元構造を３次元に戻す処理を行うことによって、質感情報を付加することとしている。なお、汎用素体の表面形状は表面調整部８による頂点移動によって対象物の表面形状に変形しているところ、処理の前後を通じて頂点の同一性は維持されていることから、２次元マッピング上の各頂点の位置を、表面調整部８による移動後の位置に対応付けることによって、自動的に質感情報を付与することが可能である。

表面画像付加部１１は、骨格調整及び表面調整を経た汎用素体の表面に対し、対象となる人物等の３次元画像データに含まれる外表面の模様、色彩等からなる表面画像を付加するためのものである。既に表面調整を経た汎用素体の表面形状は、３次元画像データにおける外表面と形状面において一致しており、同一形状からなる汎用素体の表面上に、３次元画像データに含まれる表面画像を、必要に応じて適宜加工処理した上で貼り付ける処理を行う機能を有する。本実施の形態１においては、３次元画像データ取得のために撮影を行った複数のカメラの設置位置から、当該カメラにて取得したＲＧＢ画像を疑似的なプロジェクションマッピングによって投影する形式により、表面画像を付加することとしている。

次に、本実施の形態１にかかる３次元アバター生成装置の動作の流れについて、図２を参照しつつ説明する。まず、素体生成部１により表面形状、骨格構造及び両者の関連性を示す情報を具備した汎用素体を用意する（ステップＳ１０１）。これとは別に形状情報生成部２により対象物の撮像データに基づく３次元の表面形状情報を生成し（ステップＳ１０２）、生成した３次元の表面形状情報に基づき２次元画像を生成し（ステップＳ１０３）、２次元画像において特徴点抽出を行った後（ステップＳ１０４）、抽出した特徴点を３次元の表面形状の表面又は内部の適切な位置にマッピングする（ステップＳ１０５）。

その後、骨格調整部７によって、対象物の３次元の表面形状の内部に位置する特徴点のうち対応するものの位置と整合するよう、汎用素体のボーン・ジョイントの位置を移動する（ステップＳ１０６）。そして、表面調整部８によって、対象物の３次元の表面形状を構成する頂点及び／又は面と汎用素体の３次元の表面形状を構成する頂点及び／又は面とを対比し、対応する対象物の頂点及び／又は面の位置と一致するよう、汎用素体の頂点及び／又は面の位置を移動する（ステップＳ１０７）。

さらに、質感情報生成部９によって生成された質感情報が汎用素体の表面形状に付され（ステップＳ１０８）、対象物の撮像データに基づき生成された画像を汎用素体の３次元の表面形状に付加する（ステップＳ１０９）ことによって、対象物を写実的に表現した３次元アバターが完成する。

最後に、実施の形態１にかかる３次元アバター生成装置の利点について説明する。まず、本実施の形態１では、予めアバターの構成に必要な情報（３次元表面形状、骨格構造、両者の関係性、等）を盛り込んだ汎用素体を用意し、対象物の撮像データから生成した３次元表面形状に適合するよう汎用素体の骨格構造及び３次元表面形状の位置情報を調整することによって、対象物の３次元アバターを生成している。かかる構成を採用することにより、撮像データに対し骨格構造及び骨格構造と表面形状間の関係性について手作業で構築していた従来と比較して、飛躍的に容易にかつ短時間で、高精細な３次元アバターを生成できるという利点を有する。

また、本実施の形態１では、撮像データから生成した３次元表面形状における特徴点抽出処理において、一旦２次元画像に変換して特徴点抽出を行った上で、当該特徴点を３次元表面形状の表面ないし内部に投影することとしている。２次元画像に対する分析処理は、画像認識、姿勢推定技術等の研究が進められていることから、本実施の形態１にかかる手法を採用することによって、高い精度で３次元表面形状に関する特徴点抽出が可能となる。また、特徴点抽出部４による抽出漏れが生じた場合であっても、例えば人体の左右対称性等の経験則に基づき、適宜特徴点の存在を推定できるという利点も有する。

さらに、本実施の形態１では、骨格調整部７による汎用素体の骨格構造の調整時に、骨格構造の構成要素間、すなわちジョイント・ボーン間の接続関係を維持する条件のもと、対応関係にある対象物の３次元表面形状内の特徴点の分布と整合するよう、汎用素体の骨格構造の位置調整を行う扱いとしている。かかる構成としたことにより、仮に対象物の３次元表面形状の特徴点について一部しか抽出できなかった場合でも、抽出された特徴点を手掛かりとして、対象物の３次元表面形状に適した配置にて、適正な骨格構造からなる３次元アバターを生成できるという利点を有する。

（実施の形態２）
次に、実施の形態２にかかる３次元アバター生成装置について説明する。実施の形態２において、実施の形態１と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１における構成要素と同一の機能を発揮するものとする。

図３に示すとおり、実施の形態２にかかる３次元アバター生成装置は、実施の形態１の構成に加え、骨格構造の動作に関する動作情報を汎用素体に付加する動作情報付加部１４と、３次元の表面形状の変化に関する情報である形状遷移情報を汎用素体に付加する形状遷移情報付加部１５と、３次元の表面形状のうち外表面に現れにくい内表面の表面形状を汎用素体に付加する内表面形状生成部１６と、汎用素体の表面形状の頂点に関し表面調整部８による位置移動の対象としない頂点を指定する無調整領域指定部１７をさらに備える。

動作情報付加部１４は、素体生成部１によって生成された汎用素体の骨格構造に関し、動作の際の位置変化やジョイント・ボーン間の連動態様に関する動作情報を生成し、汎用素体に付加するためのものである。具体的には、動作情報は、各ジョイントにおける屈曲方向、屈曲範囲や各ジョイント及び／又はボーンにおける回転方向、回転範囲について規定する情報の他、複数のジョイント・ボーン間における動作時の具体的な連動態様について規定するものである。連動態様に関する情報としては、いわゆるInverse Kinematics設定情報やForward Kinematics設定情報等のように、所定の動作時にジョイントが移動した際にこれと接続されたボーン、ジョイントがどのように連動して動作するかを規定する情報も含む。

動作情報は、骨格構造を備えた汎用素体をアニメーション等にて動作させる際に用いられる。動作情報がない場合、汎用素体をアニメーション動作させるためには、例えばアニメーションの１コマごとに手作業にて全てのジョイント・ボーンの位置指定を行う必要があり、極めて煩雑な作業となる。本実施の形態２では、動作情報をあらかじめ付加しておくことにより、汎用素体が例えば「右手を伸ばしてテーブルの上に置かれたリンゴを取る」という動作を行う際に、右手先のジョイントの位置の時間変化（定常位置からリンゴまでの移動に関する時間変化）のみ指定することで、ほぼ自動的に、当該ジョイントに関連する右手首、右手肘、右肩等のジョイントやその間のボーンの位置変化を指定し、汎用素体に対し、自然なアニメーション動作を行わせることが可能となる。

形状遷移情報付加部１５は、表面形状の変化に関する情報であって、具体的には、表面形状上の一部領域における第１形状及び第２形状を形成するための各頂点の位置情報と、第１形状から第２形状に移行するまでの各頂点の位置変化に関する形状遷移情報を生成し、汎用素体に付加するためのものである。

汎用素体の表面形状は、頂点及び頂点間の接続態様によって規定される。したがって、所定範囲における第１形状及び第２形状についても、当該範囲に位置する各頂点の位置情報等によって規定される。形状遷移情報において各頂点は、第１形状における具体的な位置情報と第２形状における具体的な位置情報を与えられ、第１形状から第２形状に遷移する際の各頂点の移動経路についても規定される。移動経路に関する規定としては、例えば変数ｔ＝０の際に第１形状に対応した位置となり、ｔ＝１の際に第２形状に対応した位置となり、０＜ｔ＜１において、頂点は第１形状における位置と第２形状における位置の間の所定の位置となるよう変数ｔの関数を設定する。

例えば、顔面の「目」に対応した領域において、第１形状を「瞼を閉じた状態」とし、第２形状を「目を開いた状態」とする。形状遷移情報付加部１５によって、汎用素体の表面形状のうち例えば「目」に対応した領域の頂点に対しこれらの形状及び形状間遷移に対応した位置情報からなる形状遷移情報が付加され、アニメーション動作時に変数ｔを適宜調整することにより、「瞬き」を表現することができる。また、顔面の「目尻」と「口角」に対応した領域において、第１形状を「目尻を上げた状態」、「口角を下げた状態」とし、第２形状を「目尻を下げた状態」、「口角を上げた状態」とすることで、第１形状から第２形状に遷移させることで「笑顔になる」という動作を表現することができる。

また、顔面のみならず、手、足、胴回りの形状を変化させることで、アニメーション動作時に体型変化を表現することも可能である。このように、表現態様に応じて所定の領域を指定し、当該領域に属する各頂点について第１、第２形状及びその中間形状に関し所定の変数を用いた位置指定を行うことで、変数の値を制御することにより平滑かつ自然なアニメーション動作を実現する。

なお、上記では説明上の便宜のため単一の変数ｔを用いて形状変化させる例を説明したが、もとより形状遷移情報が単一の変数のみからなる構成に限定されることはない。２以上の変数によって構成してもよく、複数通りからなる第１形状、第２形状の性質に応じて互いに別個独立な変数をそれぞれ設定してもよい。

内表面形状生成部１６は、外表面に現れない内表面の形状を汎用素体上に生成するためのものである。内表面とは、外表面と連続的に接続された表面構造であるものの、通常は外部から確認できない部分をいう。例えば、口腔内（口を開けた際に明らかとなる部分）、鼻腔内、眼窩内（瞼の下にある構造部分）に相当する部分をいう。内表面形状生成部１６によって汎用素体に内表面形状を構築しておくことにより、例えば形状遷移情報付加部１５によって第１、第２形状を適宜選択することにより口を開閉する動作を実現する場合、口を開けた状態でも口腔内の内表面形状についても表示され、自然な映像表現を実現することが可能となる。

無調整領域指定部１７は、汎用素体における表面形状のうち、表面調整部８による調整の対象としない領域を指定するためのものである。実施の形態１でも説明したとおり、表面調整部８は、汎用素体の表面形状を構成する各頂点を、対象物の３次元の表面形状を構成する各頂点と対応させた上で対応する頂点の位置に移動する処理を行う。しかし、対象物の３次元の表面形状は撮像情報等によって構成される関係上、外表面のみに関する情報が与えられ、例えば、口を閉じた状態における口腔内のような内表面上の頂点については、対象物の３次元の表面形状上に対応すべき頂点が存在しないため、表面調整部８による調整対象とすべきではない。無調整領域指定部１７は、このような調整対象となるべきではない領域の頂点を指定することにより、これらの頂点を、表面調整部８による調整対象から除外させる機能を有している。なお、表面調整部８による調整が行われない場合でも、これらの頂点は他の頂点と同様に骨格調整部７による調整の際に対応するボーン・ジョイントの位置変化に応じて形状が変化し、かつ、表面調整部８による調整後に、指定範囲に隣接する各頂点の位置変化と整合するよう、内表面の各頂点も移動するあるいは補間処理が行われる。

次に、実施の形態２にかかる３次元アバター生成装置の動作について、図４を参照しつつ説明する。まず、実施の形態１と同様に汎用素体を用意し（ステップＳ２０１）、汎用素体の骨格構造に関し動作情報を付与し（ステップＳ２０２）、汎用素体の３次元的な表面形状に関し形状遷移情報を付加し（ステップＳ２０３）、表面形状に関し内表面形状を付加する（ステップＳ２０４）。

その後、実施の形態１と同様に対象物の撮像データの撮像データに基づく３次元の表面形状情報を生成し（ステップＳ２０５）、生成した３次元の表面形状情報に基づき２次元画像を生成し（ステップＳ２０６）、２次元画像において特徴点抽出を行った後（ステップＳ２０７）、抽出した特徴点を３次元の表面形状の表面又は内部の適切な位置にマッピングする（ステップＳ２０８）。その後、骨格調整部７によって、対象物の３次元の表面形状の内部に位置する特徴点のうち対応するものの位置と整合するよう、汎用素体のボーン・ジョイントの位置を移動する（ステップＳ２０９）。

そして、無調整領域指定部１７によって、内表面形状等を構成する領域を表面調整の対応から除外し（ステップＳ２１０）、その上で実施の形態１と同様に表面調整部８によって、対応する対象物の頂点の位置と一致するよう、汎用素体の頂点の位置を移動する（ステップＳ２１１）。その後は、実施の形態１と同様に表面形状に質感情報が付され（ステップＳ２１２）、対象物の撮像データを汎用素体の３次元の表面形状に付加することによって（ステップＳ２１３）、対象物の３次元アバターが完成する。

最後に、実施の形態２にかかる３次元アバター生成装置の利点について説明する。まず、実施の形態２においては、汎用素体に動作情報及び形状遷移情報を付加する構成としており、かかる構成により、生成された３次元アバターの自然なアニメーション動作を、簡易に実現できるという利点がある。動作情報を付加することにより、例えば指先の位置変化について指定するのみによって手首、肘、肩等の自然な位置変化態様が定まり、形状遷移情報を付加することにより、瞬き、微笑みといった表情変化や、体型変化等について自然な表現を、簡易に実現することができる。

また、実施の形態２においては、表面調整部８による表面調整処理において、対象物の３次元表面形状には現れない内部表面等を調整対象から除外することとしている。実施の形態１にて説明したとおり、表面調整部８は頂点同士、あるいは面同士の対応関係を自動的に導出して表面調整処理を行うところ、例えば内部表面を構成する頂点及び／又は面をも対象として調整処理を行った場合、本来対応関係とすべきでない対象物の３次元表面形状の外表面の一部等と対応関係を構築してしまう恐れがある。本実施の形態２ではこのような事態を回避すべく、予め対応関係を構築できないことが明らかな内表面形状や、撮像データにて撮影できなかった領域に対応した外表面形状について、表面調整処理の対応から除外できる構成としている。これにより、自動的な処理を行いながらも不当な処理結果が生じることを回避できる、という利点が生じる。

（実施の形態３）
次に、実施の形態３にかかる３次元アバター生成装置について説明する。なお、実施の形態３において、実施の形態１、２と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１、２における構成要素と同一の機能を発揮するものとする。

本実施の形態３にかかる３次元アバター生成装置は、髪型及び服装に関する情報を規定しない汎用素体を用意し、そのような汎用素体と対象物の撮影データに基づき、対象物に関し髪型及び服装について限定しない構成である基本アバターを生成する。

本実施の形態３にかかる３次元アバター生成装置は、図５に示すとおり実施の形態１、２における構成に加えて、対象物の３次元の表面形状における肌露出領域、頭髪領域及び被服領域を判定する表面領域判別部２０と、対象物の被服領域において被服等を除去した状態である基本体型を推定する体型推定部２１と、推定された基本体型に適合するよう汎用素体の表面形状を調整する形状遷移部２２と、被服領域、頭髪領域及び内表面形状について表面調整の対象から除外指定する無調整領域指定部２４と、対象物の肌の色を算出する肌色算出部２５と、頭髪及び被服を具備しないアバターに関する質感情報を生成する質感情報生成部２６と、生成された質感情報に基づきアバターの全表面に質感を付与する表面質感付与部２７を、新たに備える。

表面領域判別部２０は、人物等の３次元画像データに基づく外表面形状に対し解析処理を行うことにより、肌を露出した領域である肌露出領域と、服等の装飾物に覆われている領域である被服領域と、髪の毛に覆われた領域である頭髪領域とを判別するためのものである。具体的には、表面領域判別部２０は、２次元画像生成部２と同様に３次元画像データを２次元画像に変換し、変換後の２次元画像に対しセマンティックセグメンテーション(Semantic Segmentation)等の技術を利用して、２次元画像における肌露出領域、被服領域及び頭髪領域を判定する。そして、特徴点付加部５が行う処理と同様の処理を行うことによって、２次元的に導出された領域の境界線を３次元の表面形状上に再現することによって、肌露出領域、被服領域及び頭髪領域をそれぞれ明らかにする。なお、表面領域判別部２０の処理においては、２次元画像は、複数の方向に投影した複数の画像を用いることが好ましい。

体型推定部２１は、対象となる人物等について、被服領域において服等の装飾物を取り除いた状態である基本体型を推定するためのものである。対象となる人物等の３次元画像データは、服等の装飾物を付けた状態で撮影されるのが通常であるため、一般的には、撮像データそのものから基本体型を導出することはできない。そのため、本実施の形態３では、体型推定部２１による推定処理によって、基本体型を設定する構成を採用している。

具体的には、体型推定部２１は、被服領域における服等の装飾物の構造を推定した上で当該装飾物分の推定体積分を除外することにより、対象となる人物等の被服領域における基本体型を推定する。具体的には、体型推定部２１は、服に覆われた領域の大部分に関しては、服の厚みに応じて被服領域の体積を縮小する処理を行う。また、体型推定２１は、被服領域のうちジョイント近傍部分、例えば首周り、脇の下、股当てに相当する部分について、服の厚みに１よりも大きい係数を乗算した厚み分だけ体積を縮小する処理を行う。被服においては関節部分の屈曲時に窮屈感を与えぬよう余裕をもった寸法にて形成されるのが通常であるため、他の部分よりも縮小幅を大きくすることが望ましいためである。具体的な係数の値に関しては、被服の種別等に応じて予めデータベース化しておくことも好ましい。

なお、体型推定部２１の機能として、例えば、被服領域と肌露出領域の境界近傍における形状変化に基づき、服の厚さを推定してもよい。肌露出領域との境界近傍における形状変化の原因は服等の装飾物の有無によることから、形状変化に伴う被服領域側の体積増加分が服等の厚さに起因するものとの想定下で、服の厚さを推定することも好ましい。

また、体型推定部２１の機能として、別途装飾物の色、質感、形状、模様等と装飾物部分の厚さとの関係についてデータベース等に記憶すると共に、対象となる人物等の被服領域における色調、質感及び具体的形状・模様を当該データベースにて参照して、服等の厚さを推定することとしてもよい。具体的には、例えば色調、質感等より冬用コートと推定された場合には、当該コートの厚さ及び平均的なインナーの厚さを服等の厚さと推定し、Tシャツと推定された場合には、当該Tシャツの厚さと推定して、基本体型を推定することとしてもよい。

さらに、首周りのように肌露出領域と被服領域が混在する（すべて服等の装飾物に覆われるのではなく、一部において肌が露出している）箇所について、体型推定部２１は、肌露出領域における表面形状の情報を利用する。具体的には、首周りにおける基本体型は、内部のジョイント（又は背骨に相当するボーン）を中心とした略円柱状となっていることから、被服領域における基本体型が、対応するジョイント（又はボーン）から肌露出領域の表面までの距離を半径とした略円柱の表面によって構成されるものと推定することが可能である。かかる推定に基づき、体型推定部２１は、首周り等における基本体型を導出する。

形状遷移部２２は、汎用素体について予め設定された形状遷移情報を利用することにより、汎用素体の表面形状を変化させるためのものである。実施の形態２でも説明したとおり、形状遷移情報は手、足、胴回り等の形状を変化させる目的で設定することが可能であり、これらに相当する表面形状を構成する各頂点について、０≦ｔ≦１における位置変化をそれぞれ規定し、変数ｔを適宜調整することによって、汎用素体の表面形状を基本体型に適合するよう変化させている。本実施の形態３においては、被服領域において基本体型を推定した部分に関しては、表面調整部８による表面調整処理ではなく、形状遷移部２２による形状遷移情報の調整による形状変化を行うこととしている。

なお、理論上は被服領域に相当する部分についてのみ形状遷移処理を行う扱いとし、肌露出部分については実施の形態１、２と同様に表面調整部８によって調整を行う態様とすることが可能である。もっとも、本実施の形態では被服領域における基本体型と肌露出領域における表面形状が連続的に形成されていることから、汎用素体の表面形状の調整において、領域ごとに別異の手法によるべきとする理由に乏しい。したがって、本実施の形態３においては、細かな調整が必要となる頭部の表面形状以外について、形状遷移部２２によって汎用素体の表面形状を調整する構成を採用している。

無調整領域指定部２４は、無調整領域指定部１７と同様に内部表面について表面調整の対象から除外すると共に、新たに頭髪領域及び被服領域に対応する領域についても、表面調整の対象から除外する。無調整領域指定部２４の領域指定により、表面調整部８は、肌露出領域における外表面のうち頭部に対応した部分においてのみ、汎用素体の各頂点を、対象となる人物等の３次元画像データに基づく外表面形状における各頂点と同一化する処理を行う。

肌色算出部２５は、対象となる人物の肌の色を算出するためのものである。対象となる人物等の撮影データにおける肌露出領域の色は一様ではなく、撮影時における照明の当たり具合等に応じて変化する。そのため、肌色算出部２５は、肌露出領域における色情報を取得すると共に、質感情報生成部２６に対して、被服領域及び頭髪領域にて被服及び頭髪を除去した部分における肌の色等に関する情報を提供する。

質感情報生成部２６は、質感情報生成部９の機能に加え、被服領域及び頭髪領域における表面形状を基本体型に置き換えた際の表面質感に関する情報及びこれらの領域における肌の色に関する情報を生成するためのものである。基本体型に置き換えた際の表面質感については、既存の肌用テクスチャを使用することとしてもよいし、対象となる人物等の肌露出領域における情報に基づき肌用テクスチャを新たに生成してもよい。また、肌の色に関する情報については、肌色算出部２５にて生成された情報を利用するものとする。

表面質感付与部２７は、表面質感付与部１０の機能に加え、髪型領域及び被服領域における表面形状を基本体型に置き換えた場合において、これらの領域について基本体型に適した表面質感を付与するためのものである。付与する表面質感に関する情報としては、質感情報生成部２６によって生成された情報を使用する。

次に、実施の形態３にかかる３次元アバター生成装置の動作について図６を参照しつつ説明する。まず、頭髪領域及び被服領域に特徴を有さない汎用素体を用意し（ステップＳ３０１）、実施の形態２と同様に、汎用素体の骨格構造に関し動作情報を付加し（ステップＳ３０２）、汎用素体の３次元的な表面形状に関し形状遷移情報を付加し（ステップＳ３０３）、表面形状に関し内表面形状を付加する（ステップＳ３０４）。その後、実施の形態１と同様に対象物の撮像データの撮像データに基づく３次元の表面形状情報を生成し（ステップＳ３０５）、生成した３次元の表面形状情報に基づき２次元画像を生成し（ステップＳ３０６）、２次元画像において特徴点抽出を行った後（ステップＳ３０７）、抽出した特徴点を３次元の表面形状の表面又は内部の適切な位置にマッピングする（ステップＳ３０８）。その後、骨格調整部７によって、対象物の３次元の表面形状の内部に位置する特徴点のうち対応するものの位置と整合するよう、汎用素体のボーン・ジョイントの位置を移動する（ステップＳ３０９）。

次に、表面領域判別部２０により対象物の表面形状について肌露出領域、頭髪領域及び被服領域を判別し（ステップＳ３１０）、被服領域について体型推定部２１による基本体型の推定処理を行う（ステップＳ３１１）。

その後、形状遷移部２２により汎用素体に対し、対象物の表面形状のうち被服領域については基本体型で置換したものに適合するよう、予め設定した形状遷移情報の変数を適宜調整することによって、汎用素体の３次元の表面形状を変化させる（ステップＳ３１２）。他方で、頭部に関しては、汎用素体に対し表面調整部８によって内表面形状及び頭髪領域を除外した他の部分について、汎用素体の形状を対象の表面形状に一致するよう調整処理を行い、内表面形状及び頭髪領域に関しては、汎用素体における構造をそのまま維持する（ステップＳ３１３）。

さらに、肌色算出部２５によって、対象となる人物等の肌の色を算出し（ステップＳ３１４）、算出した肌の色を用いて、基本体型に置換した部分の質感を含む質感情報を生成する（ステップＳ３１５）。その後、表面質感付与部２７によって、基本体型に置換した部分の質感情報及び被服領域以外の領域に関する質感情報を、表面形状の調整がなされた汎用素体の表面形状に付与し（ステップＳ３１６）、顔面等の必要な部分に対し表面画像付加部１１による画像付加を行った上（ステップＳ３１７）で、対象となる人物等に関する基本アバターが生成される。

最後に、実施の形態３にかかる３次元アバター生成装置の利点について説明する。実施の形態３では、対象物について顔面、体格等の特徴を備えつつも、髪型、服装に関しては汎用素体における基本形態のままとした基本アバターを生成することとしている。

対象物を忠実に再現した３次元アバターの活用例として、髪型を実際の対象物とは異なるものとする、あるいは服装を撮像時と異なるものとするケースが想定される。実施の形態３においては基本アバターから髪型及び服飾部分を別個の物体として分離する構成としたため、基本アバターに対し別途、撮像データのものとは異なる髪型、服装を設定できるという利点がある。

（変形例）
本変形例にかかる３次元アバター生成装置は、実施の形態３にかかる３次元アバター生成装置の機能に関連して、対象となる人物等の頭髪と身に着けていた服等の装飾物を抽出して、独立した３次元コンピュータグラフィックスからなる素体データを生成する。

本変形例にかかる３次元アバター生成装置は、図７に示すように、実施の形態３にかかる３次元アバター生成装置の構成要素に加えて、対象物の３次元の表面形状より頭髪領域及び被服領域における表面部分を抽出する表面抽出部２９と、抽出された表面部分を３次元構造化する３次元化処理部３０と、表面部分と３次元化処理部３０によって付加した構造の境界（エッジ）を補間処理する境界補間処理部３１と、３次元構造全体について表面形状情報を再構成する形状情報生成部３２とを備える。

表面抽出部２９は、表面領域判別部２０によって頭髪領域、被服領域と判定された表面部分を抽出するためのものである。かかる抽出処理が可能であれば具体的な構成としては任意のものとすることが可能であるものの、本変形例においては、いわゆるエクストラクト処理によって、頭髪領域、被服領域に含まれる表面部分を抽出することとする。

３次元化処理部３０は、表面抽出部２９によって抽出された表面部分を、３次元構造化するためのものである。表面抽出部２９によって抽出された表面部分は、３次元コンピュータグラフィックスの一部表面のみから構成されるため、それ自体において３次元構造を具備していない。３次元画像処理においてかかる構造のデータ処理は煩雑となるため、本変形例では、３次元化処理部３０によって３次元構造に変換する扱いとしている。３次元構造の例としては、抽出された表面部分について内部方向（マイナスオフセット方向）に厚さを付与することによって中空部分を有する筒状の３次元構造を形成してもよいし、他領域との境界部分に相当する端部を新しく設定した面構造にて閉じることによって中空部分を設けない柱状の３次元構造を形成してもよい。

境界補間処理部３１は、表面抽出部２９によって抽出された表面部分と、３次元化処理された際に付加された構造部分との境界について補間処理を行うためのものである。例えばカーブ補間処理を行うことにより、境界形状を平滑化することが望ましい。

形状情報生成部３２は、３次元化された被服領域の表面形状について、改めて表面形状情報を生成するためのものである。形状情報生成部３２によって、表面形状における頂点の配置等を最適化する。

形状情報生成部３２によって表面形状が最適化された後、被服領域の外表面についてＵＶ展開を行って２次元化した後、２次元化した外表面に対し質感情報を生成・付与し、再度３次元構造に戻した後、頭髪部分、被服部分に関するＲＧＢ画像を疑似的なプロジェクションマッピングによって投影する形式により、色、模様等を外表面に付加する。

以上のとおり、本変形例では、対象物の３次元の表面形状から、頭髪領域に属する部分及び被服領域に属する部分を抽出し、３次元化することで、基本アバターとは独立した素体データを生成している。

（実施の形態４）
次に、実施の形態４にかかる３次元アバター生成装置について説明する。なお、実施の形態４において、実施の形態１ないし３と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１ないし３における構成要素と同一の機能を発揮するものとする。

本実施の形態４にかかる３次元アバター生成装置は、対象物の３次元の表面形状から抽出した頭髪部分及び被服部分について、他の人物等の基本アバターに移植する機能を有する。具体的には、実施の形態３にて特定の人物等に関する３次元の表面形状を活用して生成した基本アバターと、変形例にて当該人物等の被服、頭髪に関する独立した素体データを用いて所定の処理を行うことにより、被服素体及び頭髪素体を、他の人物に関する基本アバターに移植する構成を有する。

本実施の形態４にかかる３次元アバター生成装置は、図８に示すように、実施の形態１〜３の構成に加え、特定の人物等に関する被服素体及び頭髪素体を、当該特定人物の基本アバターと紐づける素体接続部３５と、素体データ接続部３５によって互いに紐づけられた基本アバター、被服素体及び頭髪素体を一体的に汎用素体の形状に変化させる汎用形状化部３６と、汎用素体の形状に変化した被服素体及び頭髪素体を構成する各頂点に対し、対応する汎用素体の頂点に関する関連性情報を転送する関連性情報転送部３７と、対応する汎用素体の頂点に関する形状遷移情報を転送する遷移情報転送部３８と、基本アバターに対する被服素体及び頭髪素体の紐づけを解除する接続解除部３９を備える。

素体接続部３５は、特定の人物等に関して抽出した被服素体及び頭髪素体を、同一人物の基本アバターと紐づけるためのものである。具体的には、素体接続部３５は、被服素体及び頭髪素体の独立性を維持しつつ、それぞれを基本アバターの被服領域及び頭髪領域に対応した位置に接続する処理を行う。かかる処理により、被服素体及び頭髪素体は、基本アバターに対する独立性を維持しつつも、基本アバターの形状変化に連携して自らの形状が変化するようになる。

汎用形状化部３６は、互いに一体化した基本アバター、被服素体及び頭髪素体の形状について、汎用素体と同一形状に変化させるためのものである。実施の形態３にて述べたとおり、基本アバターは、対象物の３次元の表面形状（被服領域等については基本体型に置換したもの）に適合するよう、形状遷移部２２が汎用素体に対し遷移情報に基づき変数ｔを調整している。汎用形状化部３６は、形状遷移部２２と反対の処理、すなわち変数ｔを調整済の値から汎用素体の値に戻すことにより、基本アバター、被服素体及び頭髪素体が汎用素体の形状と一致するよう、形状変化処理を行う機能を有する。

関連性情報転送部３７は、被服素体及び頭髪素体を構成する各頂点に対し、対応する汎用素体上の頂点に関する関連性情報を転送するためのものである。上述のとおり、汎用形状化部３６によって被服素体及び頭髪素体は汎用素体の形状と一致するよう形状変化しており、汎用素体表面上の頂点と、被服素体等の頂点とは、互いに対応関係が生じている。対応する頂点に関し、汎用素体表面上の頂点に与えられた関連性情報を転送することにより、被服素体及び頭髪素体は、骨格構造の動作に対し汎用素体表面と同じように追従して動作することが可能となる。

遷移情報転送部３８は、被服素体及び頭髪素体を構成する各頂点に対し、対応する汎用素体上の頂点に関する遷移情報を転送するためのものである。実施の形態３にて説明したとおり、汎用素体の表面形状を構成する各頂点には遷移情報が与えられ、形状遷移部２２が基本体型に適合するよう遷移情報の変数ｔを適宜調整して基本アバターが生成される。被服素体及び頭髪素体を構成する各頂点に関しても、対応する汎用素体上の各頂点と同様の遷移情報が与えられることにより、汎用素体と同様に、形状遷移部２２によって形状を変化させることが可能となる。

接続解除部３９は、一連の処理を終えた被服素体及び頭髪素体について、基本アバターとの接続関係を解除するためのものである。汎用素体と適合した３次元の表面形状を有し、汎用素体と同様の関連性情報及び遷移情報を与えられた被服素体及び頭髪素体を基本アバターから分離することにより、他の基本アバターのパーツとして活用することが可能となる。すなわち、他の対象物について基本アバターが生成された際に、当該基本アバターにおける遷移情報の変数調整と同様の調整を行うことによって３次元的な表面形状を変化させると、当該基本アバターの形状に適合した状態となる。かかる状態の被服素体、頭髪素体を基本アバターに付着させることによって、当該対象物に関して、撮像時とは異なる髪型、異なる服装の３次元アバターを実現することが可能である。

次に、本実施の形態４にかかる３次元アバター生成装置の動作について、図９を参照しつつ説明する。まず、実施の形態３及び変形例によって生成された基本アバター及び頭髪素体・被服素体について、素体データ接続部３５によってそれぞれを一体化させる紐づけ処理が行われる（ステップＳ４０１）。そして、汎用形状化部３６によって、一体化した基本アバター、被服素体及び頭髪素体からなる３次元の表面形状に対し、汎用素体の表面形状と一致するよう遷移情報の変数調整を行うことにより、形状変化処理が行われる（ステップＳ４０２）。

その後、頭髪素体・被服素体に対し汎用素体の関連性情報が転送され（ステップＳ４０３）、同じく汎用素体の遷移情報が転送された後（ステップＳ４０４）、頭髪素体・被服素体は基本アバターとの接続関係を解除される（ステップＳ４０５）。以上のプロセスを経ることにより、頭髪素体及び被服素体は独立したパーツとして任意の基本アバターに付属せしめることが可能となり、任意の基本アバターに関して、対象物の撮像データとは異なる髪型、服装を付与することが可能となる。

本発明は、対象物の撮像データに基づく高品質な３次元アバターを生成する技術として利用可能である。

１ 素体生成部
２ 形状情報生成部
３ ２次元画像生成部
４ 特徴点抽出部
５ 特徴点付加部
６ 骨格対応関係判別部
７ 骨格調整部
８ 表面調整部
９、２６ 質感情報生成部
１０、２７ 表面質感付与部
１１ 表面画像付加部
１４ 動作情報付加部
１５ 形状遷移情報付加部
１６ 内表面形状生成部
１７、２４ 無調整領域指定部
２０ 表面領域判別部
２１ 体型推定部
２２ 形状遷移部
２５ 肌色算出部
２９ 表面抽出部
３０ ３次元化処理部
３１ 境界補間処理部
３２ 形状情報生成部
３５ 素体接続部
３６ 汎用形状化部
３７ 関連性情報転送部
３８ 遷移情報転送部
３９ 接続解除部

Claims (12)

1. 対象物の撮像データに基づき、３次元表面形状を頂点群及び／又は面群によって表現した３次元アバターを生成する３次元アバター生成装置であって、
   対象物の撮像データに基づき３次元表面形状を生成する表面形状生成手段と、
   対象物の３次元表面形状を２次元画像に変換し、前記２次元画像に基づき少なくとも一部の骨格構造を推定する骨格構造推定手段と、
   前記骨格構造推定手段によって推定された骨格構造と、３次元表面形状、骨格構造及び双方の関連性について規定した汎用素体アバターにおける骨格構造との対応関係を判別する骨格対応関係判別手段と、
   骨格構造の構成要素間の接続関係を維持しつつ、前記骨格対応関係判別手段によって判別された対応関係と整合するよう前記汎用素体アバターの骨格構造の位置調整を行う骨格調整手段と、
   対象物の３次元表面形状を表現する頂点群及び／又は面群と、骨格構造の位置調整を行った前記汎用素体アバターの３次元表面形状を表現する頂点群及び／又は面群の対応関係に基づき、前記汎用素体アバターの頂点群及び／又は面群を、前記対象物の３次元表面形状を表現する頂点群及び／又は面群に一致する位置に移動させる表面調整手段と、
   前記表面調整手段による頂点群及び／又は面群の位置移動がなされた前記汎用素体アバターの表面に対し対象物の撮像データを加工した画像を付加する画像付加手段と、
   を備えたことを特徴とする３次元アバター生成装置。
2. 前記汎用素体アバターは、動作時における前記骨格構造全体の位置変化及び前記骨格構造の構成要素間の連動態様に関する情報である動作情報と、３次元表面形状の少なくとも一部領域における第１形状から第２形状へ移行する際の頂点群の遷移態様について規定する形状遷移情報と、内部形状を表現する頂点群に関する情報について規定され、
   前記内部形状を表現する頂点群を前記表面調整手段による位置移動の対象としないことを特徴とする請求項１記載の３次元アバター生成装置。
3. 対象物の撮像データに基づく３次元表面形状において肌露出領域、被服領域及び頭髪領域を判別する表面領域判定手段と、
   前記表面領域判定手段によって判別された被服領域について、被服部分を除去して基本体型の表面形状を生成する基本体型生成手段と、
   前記形状遷移情報に基づき、前記基本体型に整合するよう前記汎用素体アバターの表面形状を形状変化させる形状遷移手段をさらに備え、
   前記表面調整手段が、少なくとも前記被服領域及び前記頭髪領域について表面調整処理を行なわず、対象物の撮像データのうち被服及び頭髪に関する情報を有さない３次元アバターを生成することを特徴とする請求項２記載の３次元アバター生成装置。
4. 対象物の撮像データに基づく３次元表面形状上の前記被服領域に位置する表面構造を抽出する被服領域抽出手段と、
   抽出部分を３次元化した被服素体に変換する被服素体生成手段と、
   前記被服素体を前記撮像データに基づく３次元アバターに前記被服素体を接続する素体接続手段と、
   前記３次元アバターと前記被服素体を接続したものに対し、前記形状遷移情報に基づき、前記汎用素体アバターの３次元表現形状に適合するよう形状変化させる汎用形状化手段と、
   形状変化した前記被服素体に対し、前記汎用素体アバターに備わる３次元表面形状と骨格構造の関連性に関する情報及び前記形状遷移情報を転送する情報転送手段と、
   前記情報転送手段による情報転送後に前記被服素体を前記３次元アバターとの接続から解除する接続解除手段と、
   を備えたことを特徴とする請求項３記載の３次元アバター生成装置。
5. 対象物の撮像データに基づき、３次元表面形状を頂点群及び／又は面群によって表現した３次元アバターを生成する３次元アバター生成方法であって、
   対象物の撮像データに基づき３次元表面形状を生成する表面形状生成工程と、
   対象物の３次元表面形状を２次元画像に変換し、前記２次元画像に基づき少なくとも一部の骨格構造を推定する骨格構造推定工程と、
   前記骨格構造推定工程によって推定された骨格構造と、３次元表面形状、骨格構造及び双方の関連性について規定した汎用素体アバターにおける骨格構造との対応関係を判別する骨格対応関係判別工程と、
   骨格構造の構成要素間の接続関係を維持しつつ、前記骨格対応関係判別工程によって判別された対応関係と整合するよう前記汎用素体アバターの骨格構造の位置調整を行う骨格調整工程と、
   対象物の３次元表面形状を表現する頂点群及び／又は面群と、骨格構造の位置調整を行った前記汎用素体アバターの３次元表面形状を表現する頂点群及び／又は面群の対応関係に基づき、前記汎用素体アバターの頂点群及び／又は面群を、前記対象物の３次元表面形状を表現する頂点群及び／又は面群に一致する位置に移動させる表面調整工程と、
   前記表面調整工程による頂点群及び／又は面群の位置移動がなされた前記汎用素体アバターの表面に対し対象物の撮像データを加工した画像を付加する画像付加工程と、
   を含むことを特徴とする３次元アバター生成方法。
6. 前記汎用素体アバターは、動作時における前記骨格構造全体の位置変化及び前記骨格構造の構成要素間の連動態様に関する情報である動作情報と、３次元表面形状の少なくとも一部領域における第１形状から第２形状へ移行する際の頂点群の遷移態様について規定する形状遷移情報と、内部形状を表現する頂点群に関する情報について規定され、
   前記内部形状を表現する頂点群を前記表面調整工程において位置移動の対象としないことを特徴とする請求項５記載の３次元アバター生成方法。
7. 対象物の撮像データに基づく３次元表面形状において肌露出領域、被服領域及び頭髪領域を判別する表面領域判定工程と、
   前記表面領域判定工程によって判別された被服領域について、被服部分を除去して基本体型の表面形状を生成する基本体型生成工程と、
   前記形状遷移情報に基づき、前記基本体型に整合するよう前記汎用素体アバターの表面形状を形状変化させる形状遷移工程をさらに含み、
   前記表面調整工程において、少なくとも前記被服領域及び前記頭髪領域について表面調整処理を行なわず、対象物の撮像データのうち被服及び頭髪に関する情報を有さない３次元アバターを生成することを特徴とする請求項６記載の３次元アバター生成方法。
8. 対象物の撮像データに基づく３次元表面形状上の前記被服領域に位置する表面構造を抽出する被服領域抽出工程と、
   抽出部分を３次元化した被服素体に変換する被服素体生成工程と、
   前記被服素体を前記撮像データに基づく３次元アバターに前記被服素体を接続する素体接続工程と、
   前記３次元アバターと前記被服素体を接続したものに対し、前記形状遷移情報に基づき、前記汎用素体アバターの３次元表現形状に適合するよう形状変化させる汎用形状化工程と、
   形状変化した前記被服素体に対し、前記汎用素体アバターに備わる３次元表面形状と骨格構造の関連性に関する情報及び前記形状遷移情報を転送する情報転送工程と、
   前記情報転送工程による情報転送後に前記被服素体を前記３次元アバターとの接続から解除する接続解除工程と、
   をさらに含むことを特徴とする請求項７記載の３次元アバター生成方法。
9. 対象物の撮像データに基づき、３次元表面形状を頂点群及び／又は面群によって表現した３次元アバターを生成する３次元アバター生成プログラムであって、
   対象物の撮像データに基づき３次元表面形状を生成する表面形状生成ステップと、
   対象物の３次元表面形状を２次元画像に変換し、前記２次元画像に基づき少なくとも一部の骨格構造を推定する骨格構造推定ステップと、
   前記骨格構造推定ステップによって推定された骨格構造と、３次元表面形状、骨格構造及び双方の関連性について規定した汎用素体アバターにおける骨格構造との対応関係を判別する骨格対応関係判別ステップと、
   骨格構造の構成要素間の接続関係を維持しつつ、前記骨格対応関係判別ステップによって判別された対応関係と整合するよう前記汎用素体アバターの骨格構造の位置調整を行う骨格調整ステップと、
   対象物の３次元表面形状を表現する頂点群及び／又は面群と、骨格構造の位置調整を行った前記汎用素体アバターの３次元表面形状を表現する頂点群及び／又は面群の対応関係に基づき、前記汎用素体アバターの頂点群及び／又は面群を、前記対象物の３次元表面形状を表現する頂点群及び／又は面群に一致する位置に移動させる表面調整ステップと、
   前記表面調整ステップによる頂点群及び／又は面群の位置移動がなされた前記汎用素体アバターの表面に対し対象物の撮像データを加工した画像を付加する画像付加ステップと、
   をコンピュータに実行させることを特徴とする３次元アバター生成プログラム。
10. 前記汎用素体アバターは、動作時における前記骨格構造全体の位置変化及び前記骨格構造の構成要素間の連動態様に関する情報である動作情報と、３次元表面形状の少なくとも一部領域における第１形状から第２形状へ移行する際の頂点群の遷移態様について規定する形状遷移情報と、内部形状を表現する頂点群に関する情報について規定され、
    前記内部形状を表現する頂点群を前記表面調整ステップにおいて位置移動の対象としないことを特徴とする請求項９記載の３次元アバター生成プログラム。
11. 対象物の撮像データに基づく３次元表面形状において肌露出領域、被服領域及び頭髪領域を判別する表面領域判定ステップと、
    前記表面領域判定ステップによって判別された被服領域について、被服部分を除去して基本体型の表面形状を生成する基本体型生成ステップと、
    前記形状遷移情報に基づき、前記基本体型に整合するよう前記汎用素体アバターの表面形状を形状変化させる形状遷移ステップをさらに含み、
    前記表面調整ステップにおいて、少なくとも前記被服領域及び前記頭髪領域について表面調整処理を行なわず、対象物の撮像データのうち被服及び頭髪に関する情報を有さない３次元アバターを生成することを特徴とする請求項１０記載の３次元アバター生成プログラム。
12. 対象物の撮像データに基づく３次元表面形状上の前記被服領域に位置する表面構造を抽出する被服領域抽出ステップと、
    抽出部分を３次元化した被服素体に変換する被服素体生成ステップと、
    前記被服素体を前記撮像データに基づく３次元アバターに前記被服素体を接続する素体接続ステップと、
    前記３次元アバターと前記被服素体を接続したものに対し、前記形状遷移情報に基づき、前記汎用素体アバターの３次元表現形状に適合するよう形状変化させる汎用形状化ステップと、
    形状変化した前記被服素体に対し、前記汎用素体アバターに備わる３次元表面形状と骨格構造の関連性に関する情報及び前記形状遷移情報を転送する情報転送ステップと、
    前記情報転送ステップによる情報転送後に前記被服素体を前記３次元アバターとの接続から解除する接続解除ステップと、
    をさらに含むことを特徴とする請求項１１記載の３次元アバター生成プログラム。

Images