WO2018139203A1

WO2018139203A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2018139203A1
Application number: PCT/JP2018/000426
Authority: WO
Inventors: 真人島川
Original assignee: ソニー株式会社
Priority date: 2017-01-26
Filing date: 2018-01-11
Publication date: 2018-08-02
Also published as: JPWO2018139203A1; US10943383B2; US20190362530A1; US20210166460A1; JP7070435B2; US11288854B2

Abstract

本技術の一形態に係る情報処理装置は、取得部と、生成部と、生成制御部とを具備する。前記取得部は、対象物の画像を取得する。前記生成部は、前記取得された前記対象物の画像に基づいて前記対象物のモデルを生成する生成処理として、第１の生成処理、及び前記第１の生成処理と異なる第２の生成処理の各々を実行可能である。前記生成制御部は、前記生成部による前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御する。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、仮想空間等に表示されるモデルを生成可能な情報処理装置、情報処理方法、及びプログラムに関する。

　近年、コンピュータシステム等により構築された仮想空間を介して、ユーザに様々な仮想体験を提供する技術が知られている。例えばユーザが選択したキャラクタ等が、仮想空間内に表示される。ユーザはキャラクタ等を操作することで、仮想空間内を移動したり、他のユーザとコミュニケーションを行ったりすることが可能である。

　例えば特許文献１には、コントローラを使った仮想空間内のキャラクタの操作表現について記載されている。特許文献１では、ユーザが手にしたコントローラの位置の変化やボタン操作といったコントローラのアクティビティが検出される。検出されたコントローラのアクティビティをもとに、仮想空間でのキャラクタの姿勢、動作、及び表情が表現される。これにより、例えばジェスチャー等を交えて円滑にコミュニケーションを行うことが可能となっている。（特許文献１の明細書段落［０００１］［０００８］［００３３］等）

特開２０１４－１４９８３６号公報

　このようにユーザの操作等に応じて仮想空間内のキャラクタ等の表現を制御して、自然な仮想体験を提供することが可能な技術が求められている。

　以上のような事情に鑑み、本技術の目的は、ユーザに自然な仮想体験を提供可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、生成部と、生成制御部とを具備する。
　前記取得部は、対象物の画像を取得する。
　前記生成部は、前記取得された前記対象物の画像に基づいて前記対象物のモデルを生成する生成処理として、第１の生成処理、及び前記第１の生成処理と異なる第２の生成処理の各々を実行可能である。
　前記生成制御部は、前記生成部による前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御する。

　この情報処理装置では、対象物の画像に基づいて対象物のモデルを生成する生成処理として、互いに異なる第１及び第２の生成処理が実行可能である。これら第１及び第２の生成処理の各々の実行を適宜切替えることで、ユーザに自然な仮想体験を提供することが可能となる。

　前記第１の生成処理は、第１の再現性にて前記対象物が再現された第１のモデルを生成してもよい。この場合、前記第２の生成処理は、前記第１の再現性よりも低い第２の再現性にて前記対象物が再現された第２のモデルを生成してもよい。
　これにより高い再現性を有する第１のモデルと低い再現性を有する第２のモデルとを使い分けることが可能である。これによりユーザにより自然な仮想体験を提供することが可能となる。

　前記第１の生成処理は、前記対象物の画像に含まれる前記対象物の状態が再現された前記第１のモデルを生成してもよい。この場合、前記第２の生成処理は、前記対象物の画像に含まれる前記対象物の状態の少なくとも一部が変更された前記第２のモデルを生成してもよい。
　これにより例えば対象物の状態をそのまま再現した第１のモデルと、対象物の状態の一部を変更して所望の状態を表現した第２のモデルとがそれぞれ生成可能となる。

　前記第２の生成処理は、前記対象物の少なくとも一部が置換、又は削除された前記第２のモデルを生成してもよい。
　これにより対象物の状態を容易に変更することが可能となる。この結果、処理時間等を短縮することが可能となり、高いパフォーマンスを発揮することが可能となる。

　前記対象物は、人物、及びその人物が使用する物を含んでもよい。
　これにより例えばユーザの状態を模したモデルを生成することが可能となり、ユーザにより自然な仮想体験を提供することが可能となる。

　前記第２の生成処理は、前記人物の表情、姿勢、及び動作の少なくとも１つの状態が変更された前記第２のモデルを生成してもよい。
　これによりユーザの様々な状態を表現することが可能となる。

　前記第２の生成処理は、前記人物が使用する物が置換、又は削除された前記第２のモデルを生成してもよい。
　これにより例えばユーザの使用するコントローラ等が削除されたモデルを生成することが可能となり、より自然な仮想体験を提供することが可能となる。

　前記生成部は、前記第１及び前記第２の生成処理の各々の実行が切替えられる際に、前記第１及び前記第２のモデルの各々へ切替えるための遷移状態が表現された前記第１及び前記第２のモデルをそれぞれ生成してもよい。
　これにより第１及び第２のモデルの各々への切替えがスムーズに表現される。

　前記生成制御部は、前記対象物の状態の少なくとも一部を変更するか否かの判定条件を含む判定情報に基づいて、前記生成部による前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御してもよい。
　これにより第１及び第２の生成処理を高精度に切替えることが可能となる。

　前記判定条件は、前記人物が使用するコントローラからの出力、前記人物の画像、及び前記人物の音声の少なくとも１つに関する条件を含んでもよい。
　これにより様々な状況に応じた判定を行うことが可能となり、第１及び第２の生成処理を適正に切替えることが可能となる。

　前記生成制御部は、所定の動作の指示が入力された場合には、前記第２の生成処理の実行を選択してもよい。この場合、前記生成部は、前記第２の生成処理として、前記所定の動作を実行する前記第２のモデルを生成してもよい。
　これにより、第２のモデルを使ってユーザが指示した動作を高精度に表現することが可能となる。

　前記生成部は、前記第２の生成処理として、前記所定の動作へ遷移する動作を実行する前記第２のモデルを生成してもよい。
　これにより所定の動作へとスムーズに移行する様子を表現可能となる。

　前記判定条件は、前記人物のジェスチャーによる操作入力、及び音声による操作入力の少なくとも一方に関する条件を含んでもよい。
　これにより操作入力のためのジェスチャーや発話等が行われているか否かを判定することが可能となり、ジェスチャー等を他の表現に切替えることが可能となる。

　前記生成制御部は、前記ジェスチャーによる操作入力、及び前記音声による操作入力が受付けられた場合には、前記第２の生成処理の実行を選択してもよい。この場合、前記生成部は、前記第２の生成処理として、前記ジェスチャー及び前記音声の発話動作を実行しない前記第２のモデルを生成してもよい。
　これにより操作入力のためのジェスチャーや発話等の動作が再現されない第２のモデルを生成可能である。これにより操作入力の動作等をカットすることが可能となる。

　前記判定条件は、前記人物がプライバシーの保護が必要な状態にあるか否かに関する条件を含んでもよい。
　これによりユーザのプライバシーの保護が必要な場合を判定することが可能となり、プライバシーが保護された表現に切替えることが可能となる。

　前記生成制御部は、前記人物がプライバシーの保護が必要な状態にあると判定された場合には、前記第２の生成処理の実行を選択してもよい。この場合、前記生成部は、前記第２の生成処理として、前記人物の少なくとも一部が変更された前記第２のモデルを生成してもよい。
　これによりユーザのプライバシーが保護された第２のモデルを生成可能となり、安心して仮想体験を楽しむことができる。

　前記判定情報は、前記判定条件に関連付けられた前記対象物の状態の少なくとも一部を変更する方法を含んでもよい。この場合、前記生成部は、前記判定情報に基づいて前記第２の生成処理を実行してもよい。
　これにより様々な状況に応じた第２のモデルを高精度に生成することが可能となり、ユーザが所望する状態を高精度に実現することが可能となる。

　前記判定情報は、前記対象物の変更対象となる部位を特定するための特定情報と、前記特定された前記変更対象となる部位を変更する方法とを含んでもよい。
　これにより高精度に第２のモデルを生成することが可能となり、ユーザが所望する状態を高精度に実現することが可能となる。

　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、対象物の画像を取得することを含む。
　前記取得された前記対象物の画像に基づいて前記対象物のモデルを生成する生成処理として、第１の生成処理、及び前記第１の生成処理と異なる第２の生成処理の各々が実行される。
　前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えが制御される。

　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　対象物の画像を取得するステップ。
　前記取得された前記対象物の画像に基づいて前記対象物のモデルを生成する生成処理として、第１の生成処理、及び前記第１の生成処理と異なる第２の生成処理の各々を実行するステップ。
　前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御するステップ。

　以上のように、本技術によれば、ユーザにより自然な仮想体験を提供可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の一実施形態に係る仮想空間生成システムの概要を説明するための模式図である。仮想空間生成システムの構成例を示すブロック図である。仮想モデルの生成の概要を示すフローチャートである。第２の生成処理の一例を示す模式図である。置換制御部の処理例を示すフローチャートである。図４に示す例において参照される置換情報の一例を示す模式図であり。置換処理部の動作の一例を説明するための模式図である。置換処理の一例を示すフローチャートである。第２の生成処理の他の例を示す模式図である。図９に示す例において参照される置換情報の一例を示す模式図である。第２の生成処理の他の例を示す模式図である。図１１に示す例において参照される置換情報の一例を示す模式図である。ＵＩ判定部の具体的な構成例を示すブロック図である。置換制御部に出力されるＵＩイベントの一例を示す表である。第２の生成処理の他の例を示す模式図である。図１５に示す例において参照される置換情報の一例を示す模式図である。第２の生成処理の他の例を示す模式図である。図１７に示す例において参照される置換情報の一例を示す模式図である。ＨＭＤが使用される場合の仮想空間生成システムの構成例を示すブロック図である。第２の生成処理の他の例を示す模式図である。図２０に示す例において参照される置換情報の一例を示す模式図である。図２０に示す例において参照される置換情報の他の例を示す模式図である。第２の生成処理の他の例を示す模式図である。図２３に示す例において参照される置換情報の一例を示す模式図である。仮想空間での移動についての一例を示す模式図である。第２の生成処理の他の例を示す模式図である。図２６に示す例において参照される置換情報の一例を示す模式図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　［仮想空間生成システム］
　図１は、本技術の一実施形態に係る仮想空間生成システムの概要を説明するための模式図である。仮想空間生成システム１０は、複数のカメラ４０と、モデル生成装置１００と、仮想空間生成装置５０とを有する。

　複数のカメラ４０により実空間Ｒのユーザ（人物）２０が撮影され、モデル生成装置１００によりユーザ２０の仮想モデル３０が生成される。生成された仮想モデル３０は、仮想空間生成装置５０に出力され、仮想モデル３０を含む仮想空間Ｖが生成される。生成された仮想空間Ｖは、例えばユーザ２０が所有する図示しない表示デバイス等に送信されて表示される。これによりユーザ２０は仮想空間Ｖの自由視点映像を見ることが可能となる。

　本実施形態では、モデル生成装置１００により、仮想モデル３０としてユーザ２０の状態が詳細に再現された三次元（３Ｄ）のＣＧ（Computer Graphics）等を生成することが可能である。また例えばユーザ２０を常時撮影することで、ユーザ２０の状態をリアルタイムで再現する仮想モデル３０を生成可能である。なお仮想モデル３０の対象は人物に限定されず、ペットやロボットといった任意の対象物について仮想モデル３０を生成することも可能である。

　仮想空間生成装置５０には、仮想空間Ｖを構築するアプリケーション（コンピュータプログラム）５１がインストールされており、当該アプリケーション５１に仮想モデル３０が出力される（図２参照）。これにより仮想空間Ｖ上に仮想モデル３０が表示される。

　複数のカメラ４０、モデル生成装置１００、及び仮想空間生成装置５０の接続形態は限定されない。例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して各装置が接続されてもよいし、ケーブル等を用いて直接的に接続されてもよい。例えば複数のカメラ４０はユーザ２０の近傍に配置され、モデル生成装置１００及び仮想空間生成装置５０は、ネットワーク上に配置される。あるいは、仮想空間生成装置５０のみがネットワーク上に配置される。その他、任意の接続形態、及び装置の配置構成が採用されてよい。

　モデル生成装置１００及び仮想空間生成装置５０は、例えばＰＣ（Personal Computer）等の任意のコンピュータにより実現可能である。本実施形態において、モデル生成装置１００は、本技術に係る情報処理装置の一実施形態に相当する。

　図２は、仮想空間生成システム１０の構成例を示すブロック図である。図２に示す例では、仮想空間生成装置５０にインストールされたアプリケーション５１が模式的に図示されている。また図２では、複数のカメラ４０として、Ｎ台のカメラ４０が図示されている。

　Ｎ台のカメラ４０は、対象物（ユーザ２０）を撮影して対象物の画像（ユーザ２０の画像）を生成する。Ｎ台のカメラ４０は、所定の撮影エリアを基準として、互いに異なる位置にそれぞれ配置される。撮影エリアにユーザ２０が移動し、Ｎ台のカメラ４０により撮影される。これによりユーザ２０を様々な方向から撮影した、Ｎ個のユーザ２０の画像が生成される。

　カメラ４０としては、例えばＲＧＢ－Ｄカメラ等が用いられる。ＲＧＢ－Ｄカメラは、カラー画像を撮影するＲＧＢカメラと、撮影された画像の画素ごとに距離を測定できる距離センサとを備えたカメラである。ＲＧＢカメラとしては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。また距離センサとしては、例えば赤外線ＬＥＤ（Light Emitting Diode）と撮像素子により、照射した光が対象物まで往復する時間に基づいて距離を測定するＴＯＦ(Time Of Flight)方式のセンサ等が用いられる。

　ＲＧＢ－Ｄカメラを使ってユーザ２０等を撮影することで、ユーザ２０の画像として、例えば各画素のおける色情報と距離情報を含むＲＧＢ－Ｄ画像が生成される。ＲＧＢ－Ｄ画像は、対象物を撮影する方向からの距離情報（奥行情報）を含むことから２．５Ｄ画像、あるいは３Ｄ画像と呼ばれる画像である。従って本実施形態では、Ｎ台のＲＧＢ－Ｄカメラにより、ユーザ２０を撮影したＮ個のＲＧＢ－Ｄ画像が生成される。これにより例えばユーザ２０の外形等についての３次元座標を生成することが可能となる。なおカメラ４０の具体的な構成等は限定されず、例えば距離センサ等を持たないＲＧＢカメラが用いられてもよい。この場合でも、複数のＲＧＢカメラを使ったステレオ撮影等によりユーザ２０等の３次元座標を生成可能である。

　モデル生成装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等のコンピュータの構成に必要なハードウェアを有する。

　ＣＰＵが、ＲＯＭやＨＤＤに格納された本技術に係るプログラムをＲＡＭにロードして実行することにより、図２に示す各機能ブロックが実現される。そしてこれらの機能ブロックにより、本技術に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＦＰＧＡ（Field Programmable Gate Array）や画像処理ＩＣ（Integrated Circuit）等の専用のハードウェアが適宜用いられてもよい。

　プログラムは、例えば種々の記録媒体を介してモデル生成装置１００にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。

　図２に示すように、モデル生成装置１００は、機能ブロックとして、３Ｄモデル生成部１１０、置換処理部１２０、置換制御部１３０、ＵＩ判定部１４０、及びストリーム生成部１５０を有する。またモデル生成装置１００のＲＯＭ等により構成される記憶部には置換情報ＤＢ（Data Base）１６０が格納されており、同じく記憶部により生成済モデルバッファ１７０が構成される。さらにモデル生成装置１００は、図示を省略した画像取得部を有する。

　画像取得部は、インターフェース等を介してユーザ２０のＲＧＢ－Ｄ画像を取得する。使用されるインターフェースの種類は限定されず、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等やＷｉＦｉモジュール等が備えられたインターフェースが用いられる。画像取得部により取得されたＲＧＢ－Ｄ画像は、３Ｄモデル生成部１１０に出力される。本実施形態では、画像取得部は、対象物の画像を取得する取得部に相当する。

　３Ｄモデル生成部１１０は、Ｎ個のＲＧＢ－Ｄ画像に基づいてユーザ２０やユーザ２０が使用する物等を含む対象物の３Ｄモデルを生成する。すなわちＮ個のＲＧＢ－Ｄ画像の各々に含まれる対象物の状態（ユーザ２０の表情、姿勢、及び動作等に関する状態、及びユーザが使用する物の状態）がそのまま再現された３Ｄモデルが生成される。以下、説明を簡潔にするために、ユーザ２０及びユーザ２０が使用する物を含めて、単にユーザ２０と記載する場合がある。

　本実施形態では、ＲＧＢ－Ｄカメラが撮影したＲＧＢ－Ｄ画像に対して座標変換等が実行される。具体的には、ＲＧＢ－Ｄ画像の各画素の位置及び奥行が、所定の３次元座標系の座標に変換される。この結果、ユーザ２０の３次元形状を表す多数の点の３次元座標（ポイントクラウド）が算出される。

　ポイントクラウドを算出する処理が、Ｎ個のＲＧＢ－Ｄ画像に対して実行される。これにより例えばユーザ２０の全体像を表すポイントクラウドを高精度に算出可能である。算出されたポイントクラウドに基づいて、ユーザ２０の３次元形状を表すメッシュモデルが生成される。

　ＲＧＢ－Ｄ画像に基づいて、ユーザ２０の肌の色や着ている服の色等に関するテクスチャ情報が取得される。取得されたテクスチャ情報に基づいて、メッシュモデル表面の色等が設定され、ユーザ２０等の３Ｄモデルが生成される。従って３Ｄモデルでは、ＲＧＢ－Ｄ画像に映っているユーザ２０の形状や色が高精度に再現される。なお３Ｄモデルを生成する方法は限定されず、他の方法で３Ｄモデルが生成されてもよい。

　図２に示すように本実施形態では、３Ｄモデル生成部１１０から、３Ｄモデルの情報又はＮ個の２Ｄ画像が他の機能ブロックに出力される。ここで２Ｄ画像とは、ＲＧＢ－Ｄ画像のうち、距離情報（奥行情報）等を除いた２次元の画像である。例えば３Ｄモデルが所定のフレームレートで生成される場合には、３Ｄモデルの情報がフレーム毎に出力される。この場合例えば、出力される３Ｄモデルの生成に使用されたＮ個のＲＧＢ－Ｄ画像からＮ個の２Ｄ画像が生成され３Ｄモデルの情報と一緒に出力される。なお他の機能ブロックに出力される情報等は限定されず、例えばＮ個の２Ｄ画像に代えてＮ個のＲＧＢ－Ｄ画像がそのまま出力されてもよい。本実施形態では、ＲＧＢ－Ｄ画像及びＲＧＢ－Ｄ画像の一部である２Ｄ画像は、対象物の画像に相当する。

　置換処理部１２０は、３Ｄモデル生成部１１０により生成された３Ｄモデルの少なくとも一部を変更することが可能である。すなわち置換処理部１２０は、Ｎ個の２Ｄ画像の各々に含まれる対象物の状態（ユーザ２０の表情、姿勢、及び動作等に関する状態、及びユーザ２０が使用する物の状態）の少なくとも一部が変更された３Ｄモデルを生成することが可能である。置換処理部１２０により変更処理が実行された３Ｄモデルは、変更前の３Ｄモデルと比べて、低い再現性にて対象物が再現されたモデルとなる。

　３Ｄモデルに変更を加える変更処理として、例えば３Ｄモデルの少なくとも一部を置換する処理、少なくとも一部を削除する処理、及び３Ｄモデルに対して所定のオブジェクトを追加する処理等が実行される。静止状態のユーザ２０の体の一部等を置換、又は削除する場合のみならず、静止状態である体の一部を所定の動作をしている状態に置換する場合等も含まれる。またユーザ２０が使用するコントローラ等を削除する場合や、他のものに置換する場合等も含まれる。その他、３Ｄモデルに変更を加える処理は限定されず、後に具体的な例を詳細に説明する。

　置換制御部１３０は、置換処理部１２０の動作を制御する。本実施形態では置換制御部１３０により、置換処理部１２０による変更処理の実行の有無が制御される。従って置換制御部１３０により、置換処理部１２０による変更処理が実行されるモードと、変更処理が実行されないモードとが適宜切替えられる。変更処理が実行されない場合には、再現性の高い３Ｄモデルが置換処理部１２０から出力される。変更処理が実行される場合には、再現性の低い３Ｄモデルが置換処理部１２０から出力される。

　置換制御部１３０による変更処理の実行の有無の制御は、置換情報ＤＢ１６０に記憶された置換情報１６１に基づいて実行される。図２に示すように、置換情報１６１は、置換条件情報１６２、置換対象情報１６３、及びモデル生成情報１６４を含む。

　置換条件情報１６２は、対象物の状態の少なくとも一部を変更するか否かの判定条件を含む情報である。本実施形態では、当該判定条件のことを置換条件と記載して説明を行う。すなわち本説明における置換条件は、置換をするための条件のみならず、削除等も含めた３Ｄモデルの種々の変更に関する判定条件を含む。また以下、置換処理部１２０による変更処理のことを、置換処理と記載する場合がある。

　置換制御部１３０は、３Ｄモデル生成部１１０、ＵＩ判定部１４０、及びアプリケーション５１から入力されたユーザ２０や仮想空間Ｖに関する情報に基づいて、置換条件情報１６２に含まれる置換条件が満たされるか否かを判定する。置換条件が満たされる場合には、例えば置換処理の開始及び終了の指示や、置換処理の具体的な指示（どの部位をどのように変更するか等）を、置換処理部１２０に出力する。

　置換対象情報１６３は、置換対象となる部位を特定するための特定情報である。モデル生成情報１６４は、特定された置換対象となる部位を変更する方法を含む情報である。これらの情報は、置換条件情報１６２と関連付けられて記憶されている。すなわち置換対象情報１６３及びモデル生成情報１６４は、置換条件に関連付けられた対象物の状態の少なくとも一部を変更する方法に関する情報に相当する。

　置換情報ＤＢ１６０には、様々な状況に対応する複数の置換情報１６１が記録されている。従って、様々な状況に応じた置換処理を実行することが可能となり、ユーザ２０が所望する３Ｄモデルを高精度に生成することが可能となる。なお置換情報１６１に含まれる情報は限定されず、所望の置換処理を実現可能とする任意の情報が用いられてよい。

　本実施形態では、３Ｄモデル生成部１１０と、置換処理部１２０と、置換制御部１３０とが協働することで、生成部が実現される。また本実施形態では、置換制御部１３０は、生成制御部としても機能する。

　置換制御部１３０の制御により、置換処理部１２０による置換処理が実行されず、再現性の高い３Ｄモデルが生成される処理が、本実施形態において、第１の生成処理に相当する。また置換処理部１２０により出力される再現性の高い３Ｄモデルが、第１の再現性にて対象物が再現された第１のモデルに相当し、図１に示すユーザ２０の仮想モデル３０となる。なお、置換処理なしで生成された仮想モデル３０を、第１の生成処理にて生成された第１の仮想モデルと記載する場合がある。

　置換制御部１３０の制御により、置換処理部１２０による置換処理が実行され、再現性の低い３Ｄモデルが生成される処理が、本実施形態において、第２の生成処理に相当する。また置換処理部１２０により出力される再現性の低い３Ｄモデルが、第１の再現性よりも低い第２の再現性にて対象物が再現された第２のモデルに相当し、図１に示すユーザ２０の仮想モデル３０となる。なお、置換処理により生成された仮想モデル３０を、第２の生成処理にて生成された第２の仮想モデルと記載する場合がある。

　すなわち本実施形態では、仮想空間Ｖに表示されるユーザ２０の仮想モデル３０として、再現性の高い第１の仮想モデルと、再現性の低い第２の仮想モデルとを互いに切替えて表示させることが可能となる。例えば様々な状況において、ユーザ２０の状態をそのまま再現した仮想モデル３０よりも、一部を変更した仮想モデル３０を表示した方が、違和感なく自然に仮想体験を楽しむことが可能となる場合がある。すなわち第１及び第２の生成処理が適宜切替えられ、第１及び第２の仮想モデルが切替えられことで、ユーザ２０に自然な仮想体験を提供することが可能となる。詳しくは後述する。

　なお本実施形態において、置換制御部１３０による置換処理の実行の有無の切替えは、生成制御部による第１の生成処理の実行及び第２の生成処理の実行の切替えに相当する。

　ＵＩ判定部１４０は、様々なユーザインターフェース（User Interface）を介してユーザ２０が入力した指示等の認識、又は判定を行う。例えばＵＩ判定部１４０は、ユーザ２０の２Ｄ画像や、モデル生成装置１００に接続されたマイク４１及びボタン４２からの情報等に基づいて、ユーザ２０のジェスチャーによる操作入力や音声による操作入力等を認識する。使用されるインターフェースの種類等は限定されず、例えばジェスチャーや音声を併用したマルチモーダル・インターフェース等が用いられてもよい。

　例えばＵＩ判定部１４０により、ユーザ２０が要求するサービス等の内容が判定され、ＵＩ判定結果としてアプリケーション５１に送信される。これにより、アプリケーション５１は要求されたサービス等をユーザ２０に提供することが可能となる。またユーザ２０が操作入力中であるといった情報がＵＩイベントとして置換制御部１３０に送信される。これにより置換制御部１３０は、例えばユーザ２０が所定の操作入力を行っている場合には置換処理を行うといった判定を行うことが可能となる。

　生成済みモデルバッファ１７０は、置換処理部１２０から出力された仮想モデル３０（３Ｄモデル）の情報を一定期間保持する。すなわち過去に出力された仮想モデル３０の情報が所定のフレーム枚数分だけ保存される。保存された仮想モデル３０の情報は、置換処理部１２０にフィードバックすることが可能である。これにより例えば、直前に生成された仮想モデル３０の情報等を使って置換処理等を実行することが可能となる。

　ストリーム生成部１５０は、置換処理部１２０からフレーム毎に出力される仮想モデル３０の情報に基づいて仮想モデル３０の映像（ストリーム）を生成する。ストリームを生成する方法等は限定されず、３Ｄモデルの形式やアプリケーション５１の仕様等に応じた任意のレンダリング処理が実行されてよい。生成された仮想モデル３０のストリームは、アプリケーション５１に出力される。

　アプリケーション５１は、仮想空間生成装置５０を使って仮想空間Ｖを生成するコンピュータプログラムである。アプリケーション５１は、仮想モデル３０の映像情報等を取得して仮想空間Ｖ内の適正な位置に仮想モデル３０を配置する。これにより、仮想空間Ｖ上にユーザ２０の仮想モデル３０が再現される。

　またアプリケーション５１は、仮想空間Ｖ内での仮想モデル３０の状態に関するステータス情報を置換制御部１３０に出力可能である。ステータス情報は、仮想モデルがどのような状態であるかを表す情報であり、例えば仮想モデル３０に対する動作の指示や、仮想空間Ｖ内の表現として定められた動作や演出等の指示等に応じて生成される。例えばユーザ２０が使用するコントローラ等を介して所定の動作の指示が入力中である場合には、当該指示された動作中であるステータス情報が生成される。その他、種々のステータス情報が生成される。

　図３は、仮想モデル３０の生成の概要を示すフローチャートである。画像取得部により、ユーザ２０（対象物）の２Ｄ画像（ＲＧＢ－Ｄ画像）が取得される（ステップ１０１）。置換制御部１３０により、置換条件情報１６２に基づいて、ユーザ２０の状態の少なくとも一部を変更するか否かが判定される（ステップ１０２）。

　ユーザ２０の状態の少なくとも一部を変更しない、すなわち置換条件が満たされないと判定された場合（ステップ１０２のＮＯ）、第１の生成処理が実行される（ステップ１０３）。本実施形態では、置換制御部１３０から置換処理部１２０に置換処理を実行しない旨の指示が出力される。そして３Ｄモデル生成部１１０により生成された３Ｄモデルが、そのまま第１の仮想モデルとして出力される。これにより２Ｄ画像に含まれるユーザ２０の状態が再現された第１の仮想モデルが生成される。

　ユーザ２０の状態の少なくとも一部を変更する、すなわち置換条件が満たされると判定された場合（ステップ１０２のＹＥＳ）、第２の生成処理が実行される（ステップ１０４）。本実施形態では、置換制御部１３０から置換処理部１２０に置換処理を実行する旨の指示が出力される。これにより置換処理部１２０により、３Ｄモデル生成部１１０により生成された３Ｄモデルに対して置換処理が実行され、第２の仮想モデルとして出力される。これにより２Ｄ画像に含まれるユーザ２０の状態の少なくとも一部が変更された第２の仮想モデルが生成される。

　このように、置換制御部１３０により置換処理部１２０の動作が制御され、第１の仮想モデルと第２の仮想モデルとが互いに切替えられて生成される。これにより例えばユーザ２０や仮想空間Ｖの様々な状況に対応した適切な仮想モデル３０を適宜表示させることが可能となる。

　なお仮想モデル３０の生成方法は、上記で説明した方法に限定されず、他の任意の方法が用いられてよい。例えば本実施形態では、ユーザ２０の２Ｄ画像の取得に応じて、３Ｄモデル生成部１１０によりユーザ２０の３Ｄモデルが生成される。そして生成された３Ｄモデルに置換処理を実行するか否かにより、第１及び第２の生成処理が切替えられる。

　これに代えて、まずステップ１０２の判定が実行され、その後に判定結果に基づいて、第１及び第２の生成処理のいずれかが開始されてもよい。その際には、例えばユーザ２０の２Ｄ画像に基づいて直接的に第１及び第２の仮想モデルがそれぞれ生成されてもよい。

　以下、第２の生成処理について、具体的な例を挙げて説明する。

　図４は、第２の生成処理の一例を示す模式図である。図４に示す例では、歩行コントローラ４３を使用するユーザ２０ａの３Ｄモデル６０ａに置換処理１２１が実行され、歩行動作を行う第２の仮想モデル３０ａが生成される。なお図４には、置換処理１２１に用いられる置換情報１６１が模式的に図示されている。

　図４に示す歩行コントローラ４３は、ユーザ２０ａが上に乗って使用するタイプのものであり、ユーザ２０ａは体重を移動させることで、仮想空間Ｖ内での第２の仮想モデル３０ａの移動（歩行／走行）を指示することが可能である。体重を移動させる方向や大きさを調整することで、第２の仮想モデル３０ａの移動方向や移動速度等をコントロールすることが可能である。すなわちユーザ２０ａは実際に歩行動作を行うことなく、ほぼ直立の姿勢のまま、第２の仮想モデル３０ａに歩行動作を実行させることが可能である。

　歩行コントローラ４３を介して入力された歩行動作の指示等は、アプリケーション５１に出力され、ステータス情報として置換制御部１３０に出力される。

　上記したように本実施形態では、まず３Ｄモデル生成部１１０により、歩行コントローラ４３を使用するユーザ２０のＮ個の２Ｄ画像に基づいて、ユーザ２０ａ及び歩行コントローラ４３を含む３Ｄモデル６０ａが生成される。

　図５は、置換制御部１３０の処理例を示すフローチャートである。図６は、本例において参照される置換情報の一例を示す模式図であり、図４に示す置換情報１６１の詳細である。上記したように置換情報１６１は、置換条件情報１６２、置換対象情報１６３、及びモデル生成情報１６４を含む。本実施形態では、置換条件としてステータス情報、対象オブジェクト（図６ではモデルと表記）、ＵＩ判定に関する項目が含まれる。

　置換情報ＤＢ１６０から複数の置換情報１６１（１～ｍ）が取得される（ステップ２０１）。また３Ｄモデル生成部１１０により生成された３Ｄモデル６０ａ、及びＮ個の２Ｄ画像が取得される（ステップ２０２）。

　１～ｍの複数の置換条件情報１６２に含まれる置換条件が満たされるか否かが判定される。具体的には、置換情報１６１が順に読みだされ、まず置換条件情報１６２内のステータスが合致するか否かが判定される（ステップ２０３）。本実施形態では、図６に示す置換情報１６１が読み出され、歩行コントローラ４３を介した歩行動作の指示により歩行動作中であるというステータスが合致しているとする（ステップ２０３のＹｅｓ）。

　なお歩行コントローラ４３を介して歩行動作の指示が入力されていない場合には、置換条件は満たされないと判定され、他の置換情報１６１が読み出される（ステップ２０３のＮｏ、ステップ２０９、及びステップ２１０のＹｅｓのフロー）。未だ読み出されていない置換情報が存在しない場合（ステップ２１０のＮｏ）には、置換処理部１２０へ置換対象が存在しない旨が通知され処理が終了する（ステップ２１１）。

　ステータスが合致していると判定されると、置換条件情報１６２内に格納された対象オブジェクトが認識可能であるか否かが判定される（ステップ２０４）。本実施形態では、置換条件情報１６２に歩行コントローラ４３の２Ｄ映像（画像）における認識特徴量が含まれる。置換制御部１３０は、ステップ２０２にて取得したＮ個の２Ｄ画像の各々について、認識特徴量が合致する部分が検出されるか否かを判定する。合致する部分がある場合には、対象オブジェクトは認識可能であると判定される（ステップ２０４のＹｅｓ）。２Ｄ画像内に認識特徴量と合致する部分がない場合には、置換条件は満たされないと判定され、ステップ２０４のＮｏからステップ２０９に進む。

　なお対象オブジェクトを認識する方法は限定されず、マッチング技術等の任意の技術が用いられてよい。図６に示す置換情報では、置換条件として、Ｎ個の２Ｄ画像に基づいた認識の有無と、３Ｄモデルに基づいた認識の有無とが、別の項目として設定されている。これに対して２Ｄ画像及び３Ｄモデルを区別することなく、これらのうち少なくとも一方にて対象オブジェクトが認識されるといった条件が、置換条件として設定されてもよい。

　対象オブジェクト、すなわち本例では歩行コントローラ４３が認識された場合には、３Ｄモデル６０ａ上の、歩行コントローラ４３に該当する部分がマークされる（ステップ２０５）。具体的には、歩行コントローラ４３の認識特徴量に合致した２Ｄ画像内の各点の座標に基づいて、各点に対応する３Ｄモデル上での各頂点情報が取得される。取得された各頂点情報が、歩行コントローラ４３の各点を表す頂点情報としてマークされる。

　またマークされた各頂点情報に基づいて、３Ｄモデル６０ａ上の歩行コントローラ４３に該当する部分には、オブジェクトＩＤが設定される。なお本例では、歩行コントローラ４３は削除対象となる部分である。従って対象オブジェクトは、置換対象となる部位を特定するための特定情報ともなる。

　次に人体を含む領域があるか否かが判定される（ステップ２０６）。すなわち人物の体が検出されるか否かが判定される。人体を検出する方法は限定されず、２Ｄ画像や３Ｄモデル６０ａを用いた任意の技術が用いられてよい。人体が検出されない場合には、置換条件は満たされないと判定され、ステップ２０６のＮｏからステップ２０９に進む。

　人体が検出された場合（ステップ２０６のＹｅｓ）、３Ｄモデル６０ａ上の人体に該当する部分がマークされる（ステップ２０７）。例えばステップ２０５と同様の方法により、３Ｄモデル６０ａ上での人体に該当する頂点情報がマークされ、人体に該当する部分にオブジェクトＩＤが設定される。

　対象物（歩行コントローラ４３）のマーク及びＩＤと、人体（ユーザ２０ａ）のマーク及びＩＤと、置換情報とが置換処理部に送信され処理が終わる（ステップ２０８）。すなわちこの場合は置換条件が満たされたと判定され、図３のステップ１０２のＹｅｓからステップ１０４に進み第２の生成処理が実行される。

　図７Ａは、置換処理部の具体的な構成例を示すブロック図である。図７Ｂは、置換処理部１２０の各ブロックが実行する処理に関する模式図である。図８は、置換処理の一例を示すフローチャートである。図７Ｂに付されたステップは、図８のステップに対応する。

　置換処理部１２０は、置換処理制御部１２２、対象オブジェクト置換処理部１２３、ボディモデル変換部１２４、ボディモデル置換処理部１２５、及びＭｅｓｈモデル変換部１２６を有する。置換処理制御部１２２により、置換制御部１３０から出力された置換情報１６１等に基づいて、各ブロックの動作が制御される。

　まず、対象オブジェクトについての置換処理が実行される（ステップ３０１）。対象オブジェクト置換処理部１２３により、モデル生成情報１６４に基づいて対象オブジェクトが他のオブジェクト等に置換される。なおモデル生成情報１６４に、他のオブジェクト等の情報が含まれない場合には、対象オブジェクトは単に削除される。

　本実施形態では、歩行コントローラ４３の頂点情報に基づいて、３Ｄモデル６０ａから歩行コントローラ４３に該当する部分が削除される。上記したように３Ｄモデル６０ａ上の歩行コントローラ４３に該当する部分（セグメント）にはオブジェクトＩＤが設定されている。従ってオブジェクトＩＤが指定するセグメントを削除することで、歩行コントローラ４３を容易に削除することが可能となる。

　ボディモデル変換部１２４により、人物の骨格が推定（Ｂｏｎｅ認識）され、これに基づいてボディモデル７０への変換が実行される（ステップ３０２）。ボディモデル７０は、３Ｄモデル６０ａのうち人体に該当する部分を人体の特徴を利用して変形や置換を行いやすい形に変換したモデルである。ボディモデル７０としては、３Ｄモデル６０ａのメッシュと骨格との相対的な位置関係が推定されたＤｅｆｏｒｍａｂｌｅモデルや、人体の各部位のサイズ（パラメータ）等を制御可能なパラメトリックモデル等が適宜使用される。またボディモデル７０は、例えばＢｏｎｅ認識により生成されたボーンモデルをもとに、解剖学上の制約に基づいて生成される。これに限定されず、人体等を表現可能な任意のモデルが、ボディモデル７０として用いられてよい。

　Ｂｏｎｅ認識やボディモデル７０への変換に用いられる技術は限定されない。例えばＢｏｎｅ認識として、２Ｄ画像やメッシュモデル等から人物の骨格を推定可能な技術や、機械学習等を用いた任意の技術が用いられてよい。またボディモデル７０への変換として、メッシュモデル等を変形可能な任意の変換方法等が用いられてよい。

　ボディモデル置換処理部１２５は、ボディモデル７０の変更（変形）及び置換等を含むボディモデル置換処理を実行する（ステップ３０３）。図７では、ボディモデル置換処理部１２５により、ボディモデル７０の両足が歩く動作に置換される。例えば、置換対象情報１６３で指定された部位（両足）が、モデル生成情報１６４に基づいて歩く動作をするモデルに置き換えられる。従って人物が直立した状態から歩行動作を行う状態に変更された、置換後のボディモデル７１が生成される。

　このように本実施形態では、ボディモデル変換部１２４及びボディモデル置換処理部１２５により、人体についての置換処理１２１が実行される。ボディモデル７０での置換処理１２１を行うことで、自然な歩行動作を容易に表現することが可能となる。例えば人物の歩く動作に合わせて、人物の上半身が適宜変形されたモデルを生成するといったことも可能となり、ユーザが感じる違和感を十分に軽減することが可能となる。なお人体は、オブジェクトＩＤ等を用いて識別される。

　図６ではボーンモデル（骨格）に基づいて、置換対象となる置換対象情報１６３と、その置換対象の置換方法を表すモデル生成情報１６４とが生成される。例えば置換対象情報１６３として両足の骨格が指定された場合には、当該両足の骨格に関する置換モデルがモデル生成情報１６４に格納される。従って、置換対象情報１６３で指定される骨格とモデル生成情報１６４で生成される骨格とは同じになるように設定される。なおボーンモデルに限定されず、例えば人体の各部位に関する特徴量等の、任意のパラメータが用いられてもよい。

　なお図６に示すように、モデル生成情報１６４には、歩行動作等を表現するために複数のフレームの情報が保持されている。例えば歩行動作中は、複数のフレームの情報等を繰り返し使用することで、容易に歩行動作の継続を表現することが可能となる。

　Ｍｅｓｈモデル変換部１２６により、置換後のボディモデル７１が再びメッシュモデルに変換される（ステップ３０４）。これにより第２の仮想モデル３０ａが生成され処理が終了する。生成された第２の仮想モデル３０ａは、ストリーム生成部１５０等に適宜出力され、アニメーションとしてユーザに表示される。

　このように置換制御部１３０は、歩行動作の指示が入力された場合には、置換情報１６１に基づいて第２の生成処理の実行を選択する。そして第２の生成処理として、歩行動作を実行する第２の仮想モデル３０ａが生成される。これにより、ユーザ２０ａが歩行動作等を行っていない場合であっても、仮想空間Ｖには歩行動作を行うユーザ２０ａの第２の仮想モデル３０ａが表示される。この結果、ユーザ２０ａにとっての負担が小さく自然な仮想体験を提供することが可能となる。

　なお第１の生成処理から第２の生成処理に切替えられる場合の遷移状態を表すモデルを生成することも可能である。例えば本例において、歩行動作の開始が指示された場合には、開始時点での第１の仮想モデルの状態（ユーザ２０ａの状態）から歩き始めるまでの動作が遷移状態のモデルとして生成される。これにより、動作を開始する前の状態から動作を行う状態へとスムーズに移行する様子を表現可能となる。

　同様に第２の生成処理から第１の生成処理に切替えられる場合の遷移状態を表すモデルを生成することも可能である。例えば歩行動作の終了が指示された場合には、終了時点の第１の仮想モデルの状態（ユーザ２０ａの状態）となるように、その状態に向けて歩行をやめる動作が遷移状態のモデルとして生成される。例えばユーザ２０ａが座っている場合には、歩きを止めつつ座るといった遷移状態が表現される。

　遷移状態を表すモデルを生成する方法は限定されず、例えば種々の動作についての開始動作及び終了動作の情報に基づいた機械学習による推定技術や、その他、任意の技術が用いられてよい。

　また置換される動作に、ユーザ２０ａ独自の特徴が反映されてもよい。例えば本例において、ユーザ２０ａの歩き方が反映された歩行動作が表現されてもよい。ユーザ２０ａの独特の動作の特徴は、例えば事前にユーザ２０ａの動作を撮影した２Ｄ画像等に基づいて取得可能である。例えばユーザ２０ａが仮想空間生成システム１０を利用している間に、ユーザ２０ａの２Ｄ画像に基づいて、歩く、走る、座る、立つ、飛び上がる等の種々の動作について、ユーザ２０ａの特徴を分析して記憶する、といったことも可能である。その他、機械学習等の任意の技術が用いられてよい。

　図９は、第２の生成処理の他の例を示す模式図である。図１０は、本例において参照される置換情報の一例を示す模式図である。図９に示す例では、手持ちコントローラ４４を使用するユーザ２０ｂの３Ｄモデル６０ｂに置換処理１２１が実行され、歩行動作を行う第２の仮想モデル３０ｂが生成される。

　手持ちコントローラ４４は、ユーザ２０ｂの手元で操作される。ユーザ２０ｂは、手持ちコントローラ４４のボタンやジョイスティック等を使って仮想モデル３０の各種の動作をコントロールすることが可能である。例えば図９に示すように、ユーザ２０ｂは座った姿勢のまま、手持ちコントローラ４４を介して仮想モデル３０に様々な動作を実行させることが可能である。

　置換条件情報１６２に基づいて、ステータスが合致するか否かが判定される。手持ちコントローラ４４からの指示により歩行動作中であるというステータスが合致している場合、手持ちコントローラ４４が認識可能であるか否かが判定される。図１０に示す置換情報１６１では、３Ｄモデル６０ｂにおいて、手持ちコントローラ４４の認識特徴量が合致するか否かが判定される。

　手持ちコントローラ４４が認識された場合には、該当する部分がマークされＩＤが付される。また人体が検出されマーク付け及びＩＤ付与が実行される。手持ちコントローラ４４のマーク及びＩＤと、人体のマーク及びＩＤと、置換情報１６１とが、置換処理部１２０に送信される。そして置換処理１２１（第２の生成処理）が実行される。

　図９に示すように、手持ちコントローラ４４に対して置換処理１２１が行われる際には、例えばユーザ２０ｂが座っている場合等が想定される。このため置換される部位として広い範囲が指定される。本例の置換対象情報１６３では、手持ちコントローラ４４と、それを使用する両腕と、両足とが置換対象として指定される。またモデル生成情報１６４には、両腕及び両足についての歩行動作を表すモデルの情報が記憶される。

　置換対象情報１６３及びモデル生成情報１６４に基づいて、３Ｄモデル６０ｂ内の手持ちコントローラ４４が削除される。また人物の両腕及び両足が、歩く動作をするモデルに置換され、歩く動作を行う第２の仮想モデル３０ｂが生成される。

　図９に示す例では、座っている姿勢の３Ｄモデル６０ｂから歩く動作を行う第２の仮想モデル３０ｂが生成される。この場合第２の生成処理により、まず座っている状態から立ち上がる動作を実行し、続いて歩き始める動作を実行するといった歩く動作へ遷移する動作を実行する第２の仮想モデル３０ｂが生成される。例えばモデル生成情報１６４に含まれる複数のフレームの情報に基づいて、歩く動作へ遷移する一連の動作を表現することが可能である。これにより歩く動作へとスムーズに移行する様子を表現可能となる。

　なお、座った状態のユーザ２０ｂを撮影した２Ｄ画像に基づいて３Ｄモデル６０ｂを生成した場合、足元などの情報が十分に得られない可能性がある。従ってボディモデルへの変換等を使って３Ｄモデルを変形しても良好な第２の仮想モデル３０ｂを得られない可能性がある。この場合例えば、直立した姿勢でのユーザ２０ｂの３Ｄモデル６０ｂを取得しておき、当該３Ｄモデル６０ｂのメッシュやテクスチャ等の情報を使って第２の仮想モデル３０ｂを生成するといった方法が実行されてもよい。

　図１１は、第２の生成処理の他の例を示す模式図である。図１２は、本例において参照される置換情報の一例を示す模式図である。図１１に示す例では、ジェスチャーによる操作入力を行うユーザ２０ｃの３Ｄモデル６０ｃに置換処理１２１が実行され、ジェスチャーを実行しない第２の仮想モデル３０ｃが生成される。

　ユーザ２０ｃは所定のジェスチャーを実行することで、当該ジェスチャーに対応した操作入力を行うことが可能である。図１１に示す例では、ユーザ２０ｃにより両肘をまげて両手振るといったジェスチャーが実行される。ユーザ２０ｃのジェスチャーは、Ｎ個の２Ｄ画像や３Ｄモデル６０ｃに基づいて、ＵＩ判定部１４０により認識される。

　図１３は、ＵＩ判定部１４０の具体的な構成例を示すブロック図である。ＵＩ判定部１４０は、ジェスチャー認識部１４１と、音声認識部１４２と、判定部１４３とを有する。以下ジェスチャーによる操作入力が行われた場合の、ジェスチャー認識部１４１及び判定部１４３の動作について説明する。なお音声認識部１４２の動作等については、他の例で説明する。

　ユーザ２０ｃにより、ジェスチャーによる操作入力が行われる。３Ｄモデル生成部１１０により、ジェスチャーによる操作入力を行うユーザ２０ｃの３Ｄモデル６０ｃが生成され、当該３Ｄモデル６０ｃの情報及びＮ個の２Ｄ画像がジェスチャー認識部１４１に入力される。

　ジェスチャー認識部１４１により、入力された２Ｄ画像等に基づいて、ユーザ２０ｃがジェスチャーによる操作入力を実行していることが認識される。例えば、特徴量等に基づいてユーザ２０ｃの動作が検出され、その動作が予め記憶されたジェスチャーと一致するか否かが判定される。

　ユーザ２０ｃの動作が記憶されたジェスチャーと一致する場合は、ユーザ２０ｃがジェスチャーによる操作入力を実行していると認識され、ジェスチャーによる操作入力が受け付けられる。なお、ジェスチャーを認識する方法等は限定されず、例えば３Ｄモデル６０ｃや２Ｄ画像に基づいて動作を検出可能な任意の方法が用いられてよい。

　判定部１４３により、ジェスチャー認識部１４１の認識結果に基づいて、ジェスチャーの内容が判定される。すなわちユーザ２０ｃが要求するサービス等の内容が判定される。判定されたサービス内容等の情報は、判定結果としてアプリケーション５１に出力される。また判定部１４３は、ジェスチャーによる操作入力が認識中であるといった状況を知らせるＵＩイベントを生成し、置換制御部１３０に適宜出力する。

　図１４は、置換制御部１３０に出力されるＵＩイベントの一例を示す表である。例えばジェスチャー認識の開始、認識中、認識の終了等、ジェスチャーによる操作入力に対する認識の状況が出力される。またＵＩイベントとして、ジェスチャーによる操作入力の内容（認識結果）等を出力することも可能である。なおＵＩイベントには、音声に基づく操作入力についての情報も含まれる。この点については後述する。

　置換制御部１３０は、ＵＩ判定部１４０から出力されたＵＩイベントに基づいて、置換条件が合致するか否かを判定する。図１２に示す置換条件情報１６２では、ＵＩ判定のジェスチャー認識の項目が置換条件として設定されている。すなわち、ＵＩイベントに基づいて、ユーザ２０ｃによるジェスチャーが認識中であるか否かが判定される。

　ユーザ２０ｃのジェスチャーが認識中であると判定された場合には、２Ｄ画像等に基づいて人体が検出され、人体に対してマーク付け及びＩＤ付与が実行される。そして人体のマーク及びＩＤと置換情報１６１とが置換処理部１２０に送信され、置換処理１２１（第２の生成処理）が実行される。

　図１１に示すように、本例の置換対象情報１６３では、置換対象として両腕が指定されている。またモデル生成情報１６４には、両腕を伸ばした状態を表すモデルの情報が記憶される。置換対象情報１６３及びモデル生成情報１６４に基づいて置換処理１２１が実行され、両腕を伸ばして直立した第２の仮想モデル３０ｃが生成される。

　もちろん置換されるジェスチャーの種類等は限定されず、任意のジェスチャーに対して置換処理１２１が実行されてよい。例えば、ユーザ２０ｃが指先を使ってサインを出すといったジェスチャーが認識されたとする。この場合例えばユーザ２０ｃの指先や手のひらが置換されてもよい。これによりジェスチャーに関係した部位だけが置換されるので、置換処理１２１の効率化をはかることが可能となる。

　このように、置換制御部１３０は、ジェスチャーによる操作入力が受け付けられた場合には、第２の生成処理の実行を選択する。そして第２の生成処理としてジェスチャーを実行しない第２の仮想モデル３０ｃが生成される。これにより、ジェスチャー等を他の動作に切替えることが可能となる。従って、例えばローカルな操作入力等を仮想空間Ｖを共有している他のユーザに見せることなく、仮想体験を楽しむことが可能となる。

　なお本例では、ジェスチャー認識部１４１によりジェスチャーが開始されていると認識された時点で置換処理１２１が実行される。このため、ユーザ２０ｃがジェスチャーを始めてから、ジェスチャーが置換された第２の仮想モデル３０ｃが生成されるまでに、一定の遅延が生じる可能性がある。

　こうした置換処理１２１の遅延を回避するため、例えばユーザ２０ｃは図１３に示すボタン４２を使ってジェスチャーを開始する旨をＵＩ判定部１４０に通知することが可能である。例えばボタン４２の出力に基づいてジェスチャー認識部１４１及び判定部１４３により、ジェスチャー認識開始のＵＩイベントが出力される。これによりジェスチャー認識部１４１が実際にユーザ２０ｃのジェスチャーを認識する前から、置換処理１２１を開始することが可能となる。また、例えば３Ｄモデル生成部１１０と置換処理部１２０との間に、３Ｄモデル６０ｃを一定の時間保持できる３Ｄモデルバッファ等を設けることで、遅延による影響を回避することもできる。

　図１５は、第２の生成処理の他の例を示す模式図である。図１６は、本例において参照される置換情報の一例を示す模式図である。図１５に示す例では、音声による操作入力を行うユーザ２０ｄの３Ｄモデル６０ｄに置換処理１２１が実行され、音声の発話動作を実行しない第２の仮想モデル３０ｄが生成される。

　ユーザ２０ｄは音声による操作入力を行うことが可能である。例えば、ユーザ２０ｄが所定のフレーズを含む指示等を発話することで、指示内容に対応した操作が実行される。３Ｄモデル生成部１１０は、発話動作を行うユーザ２０ｄの３Ｄモデル６０ｄを生成する。また、ユーザ２０ｄの音声はマイク４１によって取得され、ＵＩ判定部１４０に音声の情報が出力される。

　図１３に示すＵＩ判定部１４０の音声認識部１４２により、ユーザ２０ｄの音声の情報に基づいて、ユーザ２０ｄが音声による操作入力を実行しているか否かが認識される。例えば音声認識部１４２によりユーザ２０ｄの音声の情報が解析され、音声に含まれる単語やフレーズ等が取得される。ユーザ２０ｄの音声を解析する方法等は限定されず、任意の音声認識技術等が用いられてよい。

　例えば、予め記憶された操作入力に関する所定のフレーズ等がユーザ２０ｄの音声に含まれる場合には、ユーザ２０ｄが音声による操作入力を実行していると認識される。また所定のフレーズ等が含まれない場合には、ユーザ２０ｄは音声による操作入力を実行していないと認識される。

　音声による操作入力が実行されていると認識された場合、判定部１４３により、音声認識部１４２の認識結果に基づいて音声の内容が判定される。すなわちユーザ２０ｄが要求するサービス等の内容が判定される。判定部１４３は、例えば音声認識部１４２が解析した単語やフレーズ等をもとにユーザ２０ｄが指示している内容を判定する。音声の内容を判定する方法等は限定されず、例えば機械学習を用いた文章認識技術等が適宜用いられてよい。

　判定部１４３により、判定されたサービス内容等の情報が判定結果としてアプリケーション５１に出力される。またＵＩイベントとして、音声による操作入力を認識中であるといった情報（図１４参照）が、置換制御部１３０に出力される。

　置換制御部１３０により、ＵＩ判定部１４０から出力されたＵＩイベントに基づいて、置換条件が合致するか否かが判定される。図１６に示す置換条件情報１６２では、ＵＩ判定の音声認識の項目が置換条件として設定されている。ＵＩイベントに基づいて、ユーザ２０ｄの音声が認識中であるか否か、すなわちユーザ２０ｄが音声による操作入力を実行中であるか否かが判定される。

　ユーザ２０ｄの音声が認識中であると判定された場合には、２Ｄ画像等に基づいて人体が検出され、人体に対してマーク付け及びＩＤ付与が実行される。そして人体のマーク及びＩＤと置換情報１６１とが置換処理部１２０に送信され、置換処理１２１（第２の生成処理）が実行される。

　図１５に示すように、本例の置換対象情報１６３では、置換対象として頭部が指定されている。従って３Ｄモデル６０ｄでの口の動きや表情等が置換対象となる。またモデル生成情報１６４には、口を閉じた頭部のモデルが記憶される。口を閉じた頭部のモデルは、例えば事前にユーザ２０ｄが口を閉じた状態を撮影した２Ｄ画像等に基づいて生成可能である。置換対象情報１６３及びモデル生成情報１６４に基づいて置換処理１２１が実行され、口を閉じた状態の第２の仮想モデル３０ｄが生成される。

　なお、仮想空間Ｖ上で他のユーザと音声等を介したコミュニケーション等が可能な場合が想定される。この場合、例えばユーザ２０ｄが音声による操作入力を実行している間は、ユーザ２０ｄの音声がカットされてもよい。例えば口を閉じた第２の仮想モデル３０ｄが表示される際に、ユーザ２０ｄの音声をカットするといった方法が用いられてもよい。

　このように、置換制御部１３０は、音声による操作入力が受け付けられた場合には、第２の生成処理の実行を選択する。そして第２の生成処理として音声の発話動作を実行しない第２のモデルが生成される。これにより、発話動作を他の動作に切替えることが可能となる。従って、例えば音声による操作入力等を仮想空間Ｖを共有している他のユーザに知られることなく、仮想体験を楽しむことが可能となる。

　なお本例では、音声認識部１４２が音声による操作入力が開始されていると認識された時点で置換処理１２１が実行される。このため、発話動作を実行しない第２の仮想モデル３０ｄが生成されるまでに、一定の遅延が生じる可能性がある。本例では、ユーザ２０ｄは図１３に示すボタン４２を使って音声による操作入力を開始する旨をＵＩ判定部１４０に通知することが可能である。これにより、音声認識部１４２が実際に音声による操作入力を認識する前から、置換処理１２１を開始することが可能となる。また、例えば３Ｄモデル生成部１１０と置換処理部１２０との間に、３Ｄモデル６０ｄを一定の時間保持できる３Ｄモデルバッファ等を設けることで、遅延による影響を回避することもできる。

　他のユーザと音声等を介したコミュニケーション等が可能な場合、音声による操作入力であると判定されない場合は、第１の生成処理が実行される。すなわちユーザの発話動作がそのまま再現された第１の仮想モデルが生成される。これにより高精度なコミュニケーションが可能となる。

　この際に、例えばユーザ２０ｄの頭部を撮影するサンプリングレートを上げるといった処理が実行されてもよい。これにより、発話動作を行うユーザ２０ｄの口元等を高い再現性で再現することが可能となる。具体的な処理例としては、例えば音声認識部１４２にユーザ２０ｄの音声が入力された場合に、ユーザ２０ｄの頭部を撮影するサンプリングレートを上げる処理が実行される。音声の内容が操作入力に関するものでない場合には、そのまま第１の生成処理が実行される。音声の内容が操作入力に関するものである場合には、サンプリングレートを下げ（例えば通常に戻し）、第２の生成処理が実行される。これにより自然な仮想体験を容易に実現することが可能となる。

　図１１及び図１５では、ジェスチャーによる操作入力及び音声による操作入力が行われた場合の第２の生成処理の一例が示された。操作入力として、ジェスチャー及び音声の両方が同時に使用されるマルチモーダルな操作入力が行われてもよい。この場合、ＵＩ判定部１４０はユーザ２０のジェスチャーと音声とをともに認識して、マルチモーダルな操作入力に対応するＵＩイベントを出力する（図１４参照）。これにより、例えばジェスチャー及び発話動作を実行しない第２の仮想モデルを生成することが可能となる。

　図１７は、第２の生成処理の他の例を示す模式図である。図１８は、本例において参照される置換情報の一例を示す模式図である。図１８に示す例では、ＨＭＤ（Head Mount Display）４５を使用したユーザ２０ｅの３Ｄモデル６０ｅに置換処理１２１が実行され、ＨＭＤ４５が削除された第２の仮想モデル３０ｅが生成される。

　ＨＭＤ４５は、ユーザ２０ｅの頭部に装着して使用されるディスプレイ装置である。ＨＭＤは、アプリケーション５１がインストールされたコンピュータシステム等に接続され、例えばアプリケーション５１により生成された仮想空間Ｖの画像等が表示される。ＨＭＤ４５を使用することで、例えばユーザ２０ｅ自身が仮想空間Ｖ内にいるかのような体験を楽しむことが可能となる。ＨＭＤ４５の種類等は限定されず、例えばユーザの目を完全に覆う没入方のディスプレイ等が使用される。この他透過型ディスプレイを備えたＨＭＤやスマートグラス等が適宜使用されてよい。

　図１７に示すように、ユーザ２０ｅがＨＭＤ４５を装着している場合には、ユーザ２０ｅの表情等の情報を取得することが難しい場合がある。このためＨＭＤ４５を装着した３Ｄモデル６０ｅの顔部分の置換を行う際には、ユーザ２０ｅの表情等に関するパラメータ（顔モデルパラメータ）が新たに取得される。本例では、ＨＭＤ４５の内部に取り付けられたユーザ２０ｅの表情等を読み取るセンサからの情報に基づいて、ユーザ２０ｅの顔モデルパラメータが取得される。

　表情等を読み取るセンサとして、例えばＨＭＤ４５の内部にユーザ２０ｅの目や眉等を撮影可能なカメラ等が搭載される。ユーザ２０ｅの表情等を読み取るセンサの種類は限定されず、ユーザ２０ｅの視線方向を検出するセンサや、眉の動きを検出するセンサ等が適宜用いられてよい。

　図１９は、ＨＭＤ４５が使用される場合の仮想空間生成システム１１の構成例を示すブロック図である。仮想空間生成システム１１は、ＨＭＤ４５と、複数のカメラ４０と、モデル生成装置１０１と、アプリケーション５１とを有する。モデル生成装置１０１には、図２に示した各機能ブロックに加え、顔モデルパラメータ生成部１８０、及び顔モデル生成部１８１が含まれる。なお図１９では、図２に示したマイク４１、ボタン４２、ＵＩ判定部１４０、及び生成済モデルバッファ１７０が省略されている。

　顔モデルパラメータ生成部１８０は、ＨＭＤ４５に搭載されたユーザ２０ｅの表情等を読みとるセンサからの情報に基づいて、ユーザ２０ｅの顔モデルパラメータを生成する。例えばユーザ２０ｅの目元を撮影した画像に基づいて、ユーザ２０ｅの視線の向き、目の形状（輪郭）、及び眉の動き等が顔モデルパラメータとして生成される。顔モデルパラメータを生成する方法は限定されない。例えば目、鼻、及び口等の動きを検出可能な任意の表情認識技術が用いられてよい。

　顔モデル生成部１８１は、顔モデルパラメータに基づいて、ユーザ２０ｅの顔モデルを生成する。例えば、ユーザ２０ｅの顔の輪郭や目、鼻、口、及び耳等の各部位が再現された基準顔モデルが予め生成されて記憶される。そして顔モデル生成部１８１により、顔モデルパラメータと基準顔モデルとに基づいてユーザの顔モデルが生成される。

　ユーザ２０ｅの基準顔モデルは、例えばＨＭＤ４５を装着しない状態でユーザ２０ｅの顔を撮影した２Ｄ画像等に基づいて生成される。また、ユーザ２０ｅがモデル生成装置１０１を利用している途中からＨＭＤ４５を使用し始めるといった状況も想定される。このような場合、ＨＭＤ４５を使用する直前に生成されたユーザ２０ｅの３Ｄモデルに基づいて基準顔モデルが生成されてもよい。これにより直近のユーザ２０ｅの状態に基づいて顔モデルを生成可能である。

　顔モデル生成部１８１は、顔モデルパラメータに基づいて基準顔モデルを変形することで、ユーザ２０ｅの顔モデルを生成する。例えば顔モデルパラメータでの目の開き具合や眉の動き等に合わせて基準顔モデルが変形される。これによりユーザ２０ｅがＨＭＤ４５を装着している時の、ユーザ２０ｅの表情等を再現した顔モデルが生成される。基準顔モデルを変形する方法等は限定されず、例えば人物の表情等を表現可能な任意のモデル等を使った３Ｄモデルの変形等が適宜用いられる。

　図１７に示すように、ＨＭＤ４５を使用したユーザ２０ｅの３Ｄモデル６０ｅが生成される。置換制御部１３０により、置換条件情報１６２に基づいて、ステータスが合致するか否かが判定される。図１８に示すように、本実施形態では、ＨＭＤ４５を利用中であることを知らせるステータス情報が置換制御部１３０に入力されると、ステータスが合致していると判定される。そして、２Ｄ画像において、ＨＭＤ４５の認識特徴量が合致するか否かが判定される。すなわちＨＭＤ４５が認識可能であるか否かが判定される。

　ＨＭＤ４５が認識された場合には、該当する部分がマークされＩＤが付される。また人体が検出されマーク付け及びＩＤ付与が実行される。ＨＭＤ４５のマーク及びＩＤと、人体のマーク及びＩＤと、置換情報１６１とが、置換処理部１２０に送信される。そして置換処理１２１（第２の生成処理）が実行される。

　本例の置換対象情報１６３ではＨＭＤ４５と頭部とが指定される。またモデル生成情報１６４には置換対象となる頭部を変更する方法が記憶される。モデル生成情報１６４として、例えば顔モデル生成部１８１により生成されたユーザ２０ｅの顔モデルを使って、置換用の頭部のモデルを生成するといった指示が記憶される。

　置換処理部１２０により、置換対象情報１６３及びモデル生成情報１６４に基づいて、３Ｄモデル６０ｅ内のＨＭＤ４５が削除される。また３Ｄモデル６０ｅの頭部は、ユーザ２０ｅの顔モデルに基づいて生成された頭部のモデルに置換される。これにより、ユーザ２０ｅの表情等が再現された第２の仮想モデル３０ｅが生成される。

　このように、第２の生成処理によりユーザ２０ｅが使用するＨＭＤ４５が削除された第２の仮想モデル３０ｅが生成される。これにより、ＨＭＤ４５等を使用する場合であってもユーザ２０ｅの表情が再現され、他のユーザとの円滑なコミュニケーション等を実現することが可能となる。従ってユーザ２０ｅへの負担を軽減し、自然な仮想体験を提供することが可能となる。

　ＨＭＤ４５の他にも、ユーザ２０ｅが装着する任意の装置等が検出されて、適宜置換処理が実行されてもよい。例えばヘッドホンや触覚等の感覚を再現する装置等が装着されている場合であっても、これらの装置が削除された第２の仮想モデルを生成することが可能である。

　図２０は、第２の生成処理の他の例を示す模式図である。図２１は、本例において参照される置換情報の一例を示す模式図である。図２０に示す例では、プライバシーの保護が必要な状態にあるユーザ２０ｆの３Ｄモデル６０ｆに置換処理１２１が実行され、プライバシーが保護されるように変更された第２の仮想モデル３０ｆが生成される。

　プライバシーの保護が必要な状態とは、例えばユーザ２０ｆが着替え中、あるいは裸であるといった状態である。このような状態は、例えばユーザ２０ｆを撮影した２Ｄ画像中での肌の露出量等を検出する画像処理を行うことで検出される。他にもユーザ２０ｆが仮想空間Ｖ内で暗証番号等の入力を行う場合や、ユーザの個人情報に関する情報が撮影される場合が、プライバシーの保護が必要な状態に該当する。

　本例ではモデル生成装置１００（図２参照）に図示しないプライバシー検出部が設けられる。プライバシー検出部は、２Ｄ画像または３Ｄモデル６０ｆに基づいて、プライバシーの保護が必要な状態であるかを判定する。そしてプライバシーの保護が必要な状態が撮影された２Ｄ画像等を、プライバシー画像として検出する。例えば、２Ｄ画像中でのユーザ２０ｆの肌の露出量が所定の閾値を超えた場合に、プライバシーの保護が必要な状態であると判定される。そしてその状態のユーザ２０ｆが撮影された２Ｄ画像等が、プライバシー画像として検出される。

　プライバシー検出部からは、プライバシー画像についての検出状況が置換制御部１３０に出力される。すなわちプライバシー画像の検出開始、検出が継続中、検出終了等に関する情報が出力される。あるいは検出されたプライバシー画像や、プライバシーの保護が必要な部位についての情報等が出力されてもよい。

　置換制御部１３０は、プライバシー検出部から出力されたプライバシー画像の検出状況に基づいて、置換条件が合致するか否かを判定する。図２１に示す置換条件情報１６２では、ユーザ２０ｆがプライバシーの保護が必要な状態にあるか否かに関する置換条件として、プライバシー画像の検出状況についての項目が設定されている。プライバシー画像が検出されている場合には、プライバシーの保護が必要な状態であるとして、置換条件が満たされる。

　置換条件が満たされると判定された場合には、置換制御部１３０により２Ｄ画像等に基づいて人体が検出され、人体に対してマーク付け及びＩＤ付与が実行される。そして人体のマーク及びＩＤと置換情報１６１とが置換処理部１２０に送信され、置換処理１２１（第２の生成処理）が実行される。

　図２０に示すように、本例の置換対象情報１６３では、置換対象として頭部以外の部位が指定される。すなわち、両手、両足、及び胴体が置換対象となる。またモデル生成情報１６４には、置換対象となる両手、両足、及び胴体を変更する方法が記憶される。モデル生成情報として、例えば置換対象となる部位をぼかして表示させるといった指示が記憶される。置換対象情報１６３及びモデル生成情報１６４に基づいて、３Ｄモデル６０ｆの頭部以外の部位がぼかされた第２の仮想モデル３０ｆが生成される。

　なお置換対象を変更する方法等は限定されない。例えば、置換対象となる部位にモザイクを入れる、過去の画像や３Ｄモデルに基づいて通常状態のモデルに置換する、予め用意されたモデルに置換する、所定のオブジェクトを表示（追加）して隠す、あるいは単に削除するといった様々な方法が用いられてよい。

　このように置換制御部１３０は、ユーザ２０ｆがプライバシーの保護が必要な状態にあると判定された場合には、第２の生成処理の実行を選択する。そして第２の生成処理としてユーザ２０ｆの少なくとも一部が変更された第２の仮想モデル３０ｆが生成される。これによりユーザ２０ｆのプライバシーが保護された第２の仮想モデル３０ｆを生成可能となり、安心して仮想体験を楽しむことができる。

　なお置換等の対象となる部位が指定可能であってもよい。例えばプライバシー検出部により、２Ｄ画像等に基づいて、上半身や下半身、胸や腰等、プライバシーの保護対象となる部位が細かく判定されて指定されてもよい。この場合、例えば置換対象情報１６３及びモデル生成情報１６４として、プライバシー検出部により指定された部位に対して、ぼかす等の変更を行う旨の情報が記憶される。なおユーザ２０ｆが着ているＴシャツや、２Ｄ画像内に映ったカレンダー等に、裸体の写真等が載せられている場合等において、そこにモザイク等を施すといったことも可能である。

　仮想空間Ｖのシチュエーション等に応じて、プライバシー保護の必要性が判定されてもよい。例えば仮想空間Ｖ上において、銀行のＡＴＭやドア等の前に仮想モデル３０ｆが立ち、暗証番号等を入力するシチュエーションの場合、他のユーザに対しては、テンキー等がぼかされた仮想空間Ｖが提供されてもよい。

　図２２は、置換情報の他の例を示す模式図である。図２２Ａは、ジェスチャーによる操作入力が置換条件に含まれる置換情報１６１を示す模式図である。図２２Ｂは、音声による操作入力が置換条件に含まれる置換情報１６１を示す模式図である。

　例えばユーザ２０ｆのジェスチャー、音声、又はボタン等による操作入力等に基づいて、プライバシー保護のためのプライバシーモードに変更された場合に、モザイク等を施すといった上記の第２の生成処理が実行されてもよい。

　図２２Ａでは、ユーザ２０ｆのプライバシー画像の候補が検出中であり、ジェスチャーによるプライバシーモードへの変更が認識されている場合に置換条件が満たされる。なお、プライバシー画像の候補とは、例えばプライバシー画像が満たす条件を満たしていない画像である。また図２２Ｂでは、プライバシー画像の候補が検出中で、音声によるプライバシーモードへの変更が認識された場合に置換条件が満たされる。

　これによりユーザ２０ｆは、ジェスチャー等を用いた操作入力を行うことで、明示的にプライバシーモード（第２の生成処理）に切替えることが可能となる。従って例えばプライバシー検出部がプライバシーの保護が必要な状態であると判定できないような状況であっても、ユーザ２０ｆのプライバシーを十分に保護することが可能となる。

　図２２Ａ及び図２２Ｂに示す例では、プライバシー画像の候補の検出、及びユーザ２０ｆによるプライバシーモードの指示が、プライバシーの保護に必要な状態と判定するための条件となる。

　ユーザ２０ｆによるプライバシーモードの指示がある場合には、プライバシー画像や、その候補の検出の有無にかかわらず、プライバシーの保護が必要な状態であると判定されてもよい。そして例えば肌の露出量等にかかわらず、ユーザ２０ｆの頭部以外をぼかして表示する等の第２の生成処理が実行されてもよい。これによりユーザ２０ｆの意図を十分に反映したプライバシーの保護を実現することが可能となる。

　プライバシー画像の検出によるプライバシーモードへの移行に加えて、ユーザ２０ｆの指示によるプライバシーモードへの移行を可能とすることで、確実なプライバシー保護を実現することが可能となる。

　図２３は、第２の生成処理の他の例を示す模式図である。図２４は、本例において参照される置換情報の一例を示す模式図である。図２３に示す例では、歩行コントローラ４３を使用するユーザ２０ｇの３Ｄモデル６０ｇに置換処理１２１が実行され、歩行コントローラ４３が他のオブジェクトに置換された第２の仮想モデル３０ｇが生成される。

　図２３に示すように、ユーザ２０ｇは歩行コントローラ４３を使って仮想空間Ｖ内での歩行動作等の指示を行う。図４に示した例では歩行動作の指示に基づいて、歩行コントローラ４３が削除され歩行動作を行う第２の仮想モデル３０ａが生成された。本例では、歩行コントローラ４３が他のオブジェクトに置換され歩行動作とは異なる移動状態が表現される。

　置換条件情報１６２に基づいて、ステータスが合致するか否かが判定される。歩行コントローラ４３からの指示により歩行動作中であるというステータスが合致している場合、歩行コントローラ４３が認識可能であるか否かが判定される。図２４に示す置換情報１６１では、２Ｄ画像に基づいて、歩行コントローラ４３の認識特徴量が合致するか否かが判定される。

　歩行コントローラ４３が認識された場合には、３Ｄモデル６０ｇ上の該当する部分がマークされＩＤが付される。歩行コントローラ４３のマーク及びＩＤと置換情報１６１とが、置換処理部１２０に送信される。そして置換処理１２１（第２の生成処理）が実行される。なお図２４に示すように、置換対象情報１６３には人体についての情報が含まれない。従って例えば、３Ｄモデル６０ｇ上の人体に該当する部分等の検出は行われない。もちろん人体の認識の有無が置換条件に含まれてもよい。

　置換対象情報１６３では、置換対象として歩行コントローラ４３が指定される。またモデル生成情報１６４には雲状のオブジェクト３１が記録されている。置換対象情報１６３及びモデル生成情報に基づいて、３Ｄモデル６０ｇ上の歩行コントローラ４３が雲状のオブジェクト３１に置換された第２の仮想モデル３０ｇが生成される。この場合、例えば３Ｄモデル６０ｇの足元を覆うようにして雲状のオブジェクト３１が配置されるような置換が行われる。

　例えば、雲状のオブジェクト３１に乗った第２の仮想モデル３０ｇが、ユーザ２０ｇが指定する移動方向に移動することで、歩行動作に代わる移動動作が表現される。このように、歩行コントローラ４３を雲状のオブジェクト３１等に置換することで、仮想空間Ｖ内での所定の動作等を表すメタファーとして使用することが可能となる。この場合、人体についての置換処理１２１等を行う必要が無いため、効率的に移動動作等を表現することが可能となる。

　３Ｄモデル６０ｇの少なくとも一部を他のオブジェクトに置換することで表現される動作や状態は限定されない。例えば、ユーザ２０ｇが使用する片手持ちのコントローラが、拳銃のモデルや釣竿等に置換されてもよい。また両手持ちのコントローラが自動車等のハンドルに置換されてもよい。

　またユーザ２０ｇが所定の動作を行った場合に、その動作に対応する置換処理１２１等が実行されてもよい。例えばユーザ２０ｇが指先で拳銃の形を作る動作を行った場合に、その部分を拳銃のモデルに置換することが可能である。他にもそばを食べる動作が行われた場合にユーザ２０ｇの持ち物をどんぶりと箸に置換したり、ユーザ２０ｇが両手を動かして羽ばたく動作を行った場合に両手を羽に置換したりといった様々な置換処理１２１のバリエーションが実現されてよい。これによりユーザ２０ｇは多様な仮想体験を十分に楽しむことが可能となる。

　図２５は、第２の生成処理の他の例を説明するための図であり、仮想空間Ｖでの移動についての一例を示す模式図である。図２５では複数のカメラ４０によりユーザを撮影してユーザの仮想モデル３０を生成する空間共有スポットＳが模式的に図示されている。空間共有スポットＳを利用することで、ユーザは仮想空間Ｖを体験することが可能となる。例えばユーザが空間共有スポットＳ内に入ると、ユーザの仮想モデル３０が生成され、空間共有スポットＳにデフォルトで設定された仮想空間Ｖ上に表示される。

　図２５に示す例では、３つの空間共有スポットＳ１～Ｓ３が図示されている。これら空間共有スポットＳ１～Ｓ３に対して、原宿竹下通り、渋谷センター街、及び銀座中央通りを再現した仮想空間Ｖ１～Ｖ３がデフォルトで設定される。従って、ユーザが空間共有スポットＳ１を利用して仮想体験を始める場合には、原宿竹下通りを再現した仮想空間Ｖ１を体験することになる。

　こうした複数の仮想空間Ｖ１～Ｖ３を、実際の地図等に基づいて生成された静的な３Ｄ空間上に配置することが可能である。そして１つの空間共有スポットＳを利用して、他の共有スポットＳにデフォルトで設定された仮想空間Ｖに移動することも可能である。例えばユーザが空間共有スポットＳ１を利用して原宿竹下通りの仮想空間Ｖ１を体験しているとする。そのユーザが、実空間における原宿竹下通りから渋谷センター街までの道のりと同様の道のりを、仮想空間Ｖ１上で歩くことで、渋谷センター街が再現された仮想空間Ｖ２へ移動することが可能である。

　またこのような仮想空間Ｖ上での長距離移動を行う際には、例えば行き先を指定して瞬間的に移動（仮想空間移動）するといったことも可能である。例えば空間共有スポットＳ１を利用して原宿竹下通りの仮想空間Ｖ１を体験しているユーザが、渋谷センター街を指定して瞬間移動の指示を入力すると、瞬間的に渋谷センター街の仮想空間Ｖ２に切替えられる。

　図２６Ａは歩行動作が指示された場合の第２の生成処理の一例を示す模式図である。図２６Ｂは、仮想空間移動が指示された場合の第２の生成処理の一例を示す模式図である。図２７Ａ及び図２７Ｂは、それぞれ図２６Ａ及び図２６Ｂで参照される置換情報の一例を示す模式図である。

　図２６Ａでは、ユーザ２０ｈは空間共有スポットＳ２から仮想空間Ｖ２にログインを行い、ユーザ２０ｈの仮想モデル３０ｈが渋谷センター街を再現した仮想空間Ｖ２上に表示される。ユーザ２０ｈは歩行コントローラ４３を使用して歩行の指示等を出力することが可能である。

　置換制御部１３０により、図２７Ａに示す置換条件情報１６２に基づいてステータスが合致するか否かが判定される。歩行コントローラ４３からの指示により歩行動作中であるというステータスが合致している場合、歩行コントローラ４３が認識可能であるか否かが判定される。歩行コントローラ４３が認識された場合には、３Ｄモデル６０ｈ上の歩行コントローラ４３に該当する部分と人体に該当する部分とが検出され、それぞれにマーク付け及びＩＤ付与が実行される。

　歩行コントローラ４３のマーク及びＩＤと、人体のマーク及びＩＤと、置換情報１６１とが、置換処理部１２０に送信される。そして置換処理１２１（第２の生成処理）が実行され、歩行動作を行う第２の仮想モデル３０ｈが生成される。これによりユーザ２０ｈは、第２の仮想モデル３０ｈを介して仮想空間Ｖ２内を歩行して移動することが可能となる。

　図２６Ｂでは、ユーザ２０ｉは渋谷センター街を再現した仮想空間Ｖ２から、銀座中央通りを再現した仮想空間Ｖ３への瞬間的な仮想空間移動を行う。例えばユーザ２０ｉは、銀座中央通り（仮想区間Ｖ３）へ移動する旨のフレーズを発話し音声による操作入力を実行する。この際、ユーザ２０ｉは、歩行コントローラ４３上でジャンプ等の所定の動作を行う。

　ＵＩ判定部１４０により音声による操作入力の内容等が判定され、ＵＩ判定結果及びＵＩイベントがアプリケーション５１及び置換制御部１３０にそれぞれ送信される。また歩行コントローラ４３により、ジャンプ動作の指示がアプリケーション５１に出力される。

　アプリケーション５１は、ＵＩ判定結果及び歩行コントローラ４３からの情報に基づいて、ユーザ２０ｉ等の状況を判定する。本例では、ユーザ２０ｉが仮想空間移動を要求していると判定される。アプリケーション５１により、仮想空間移動中を表すステータス情報が生成され、当該ステータス情報が置換制御部１３０に送信される。

　置換制御部１３０により、図２７Ｂに示す置換条件情報１６２に基づいてステータス及びＵＩ判定の項目が合致するか否かが判定される。ユーザ２０ｉが仮想空間移動を要求しておりジャンプ動作の指示が出力されているというステータスが合致し、音声認識結果が所定の内容と合致した場合、歩行コントローラ４３が認識可能であるか否かが判定される。

　歩行コントローラ４３が認識された場合には、該当する部分がマークされＩＤが付される。また人体が検出されマーク付け及びＩＤ付与が実行される。歩行コントローラ４３のマーク及びＩＤと、人体のマーク及びＩＤと、置換情報１６１とが、置換処理部１２０に送信される。そして置換処理１２１（第２の生成処理）が実行される。

　図２７Ｂに示す例では、置換対象情報１６３により歩行コントローラ４３と人体の両手、両足、及び胴体とが置換対象として指定される。またモデル生成情報１６４には、仮想空間移動を表現する動作として飛行動作を行うモデルが格納される。置換処理部１２０により、３Ｄモデル６０ｉの歩行コントローラ４３が削除され、飛行動作を行う第２の仮想モデル３０ｉが生成される。

　仮想空間移動の表現として、飛行動作の他にも様々な表現が実現されてもよい。例えば、モデル生成情報１６４として、アニメーション等で用いられるようなデフォルメされたポーズや効果等を表現するモデルが設定されてよい。これにより、実空間Ｓでは実現することが困難な動作等を容易に表現することが可能となる。

　このように、置換制御部１３０により歩行コントローラ４３からの出力及び音声による操作入力に関する判定条件が判定され、第２の生成処理の実行が選択される。そして第２の生成処理により、ユーザの姿勢や動作が変更された第２の仮想モデル３０ｉが生成される。これにより、仮想空間Ｖの間を瞬間的に移動するといった仮想空間Ｖに固有の動作を十分に表現することが可能となり、ユーザ２０ｉの動作負担を軽減した仮想体験を提供することが可能となる。

　以上、本実施形態に係るモデル生成装置では、ユーザの画像に基づいてユーザのモデルを生成する生成処理として、互いに異なる第１及び第２の生成処理が実行可能である。これら第１及び第２の生成処理の各々の実行を適宜切替えることで、ユーザに自然な仮想体験を提供することが可能となる。

　仮想空間を共有するユーザ同士が、自身の像を互いに送りあってコミュニケーションを行う場合、所定の指示を入力するためのジェスチャー等、他のユーザとのコミュニケーションとは関係のない動作等が、仮想空間上で再現されてしまう場合がある。このような場合、仮想空間上でのユーザ（仮想モデル）の挙動が不自然となったり、他のユーザに知られたくない動作等が表示されてしまったりといった問題が生じる。

　本実施形態では、置換制御部１３０により第１及び第２の生成処理の実行の切替えが制御される。第１の生成処理では、ユーザの画像に含まれるユーザの状態が再現された第１の仮想モデルが生成される。また第２の生成処理では、ユーザの画像に含まれるユーザの状態の少なくとも一部が変更された第２の仮想モデルが生成される。

　これにより、実際に撮影されているユーザの状態をそのまま再現したモデル（第１の仮想モデル）と、ユーザの状態を適宜変更して再現したモデル（第２の仮想モデル）とを切替えて表示することが可能となる。従って、一時的なＵＩ操作や移動操作に伴うジェスチャー等の、他のユーザには一時的に見せたくない自身の像の一部を置き換えて表示させることが可能となる。

　また第１及び第２の生成処理の実行の切替えの制御は、様々なシチュエーションに対応した複数の置換条件に基づいて実行される。これにより、置換処理をその時の状況等に合わせて動的に行うことが可能となる。また置換条件には、ユーザの状態の少なくとも一部を変更する方法が関連付けられて記憶されている。従って、各シチュエーションに応じた適切な変更等が実行され、ユーザの動作等をより自然に表現することが可能となる。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記では、置換条件が満たされた場合に、第１の生成処理から第２の生成処理に切替えられ、ユーザの状態が変更された第２の仮想モデルが生成されて表示された。これに限定されず、第２の仮想モデルをデフォルトで表示し、所定の復元条件が満たされた場合に、第１の生成処理に切替えられ、ユーザの状態をそのまま再現した第１の仮想モデルが生成されて表示されてもよい。

　例えばデフォルトの第２の仮想モデルとして、ユーザの左手が置換されたモデルが生成される。すなわちユーザの実際の左手の動きがどのようなものであっても、仮想空間上では、ユーザの全体の動作や姿勢に応じて自然に動く左手が表現される。例えば歩行／走行動作に応じた自然な腕のふり、直立／座位の姿勢に応じた自然な左手の構え、等である。これによりユーザは左手を使って、ジェスチャー等を含むローカルな操作等を、他のユーザに知られることなく行うことが可能となる。

　復元条件としては、種々の条件が考えられる。例えば両手を用いた動作が必要なシチュエーション等が発生する場合には、復元条件が満たされて、第１の生成処理に切替えられる。これにより左右の手の動きがそのまま再現された第１の仮想モデルが表示される。またボタン操作、音声、ジェスチャー等を介したユーザの指示の有無が、復元条件として設定されてよい。例えばデフォルトの置換対象である左手を使った所定のジェスチャーの有無等が考えられる。これにより、ユーザの所望するタイミングで両手の動作等を反映した第１の仮想モデルに切替えることが可能である。

　第１の生成処理に切替えられた後に、例えば所定の時間が経過すると自動的にデフォルトの置換処理（第２の生成処理）に切替えるといった設定も可能である。これにより他のユーザに気づかれることなく、再びダミーの左手に切替えることが可能となる。このように、第２の生成処理をデフォルトに設定することで、ユーザは他のユーザへの見え方等を気にせずにローカルな操作等を行うことが可能となる。

　なお置換条件に基づいて第２の生成処理へ切替える場合に、所定の時間の経過後に第１の生成処理へ戻す処理が適宜実行されてもよい。

　複数の置換条件が同時に成立する場合には、より広範な置換が行われる条件を優先して置換処理を実行してもよい。例えば両足の置換を行う条件と、両足及び両手の置換を行う条件とでは、後者のほうが優先されてもよい。これにより複数の置換えが同時に行われて不自然な仮想モデルが表示されることを防止することが可能である。

　上記した実施形態では、ユーザ等の状態がそのまま再現された第１の仮想モデルを生成する第１の生成処理と、ユーザ等の状態の少なくとも一部が変更された第２の仮想モデルを生成する第２の生成処理とが適宜切替えられた。これに限定されず、第１及び第２の生成処理として互いに異なる処理であれば、どのような処理が実行されてもよい。

　例えば第１の生成処理として、ユーザ等の３Ｄモデルに対して第１の置換処理が実行されて第１の仮想モデルが生成される。そして第２の生成処理として、ユーザ等の３Ｄモデルに対して第１の置換処理とは異なる第２の置換処理が実行されて第２の仮想モデルが生成される。すなわち第１及び第２の生成処理として、互いに異なる置換処理が実行されてもよい。例えば第１の生成処理（第１の置換処理）はオブジェクトの変更処理であり、第２の生成処理（第２の置換処理）は人体の変更処理等が考えられるが、もちろんこれに限定される訳ではない。

　また３以上の互いに異なる複数の生成処理が切替え可能に実行されてもよい。例えば第１～第３の生成処理や、第１～第４の生成処理等が、条件等に応じて、切替え可能に実行されてもよい。

　図２等に示すように、上記の実施形態では、３Ｄモデル生成部１１０と、置換処理部１２０と、置換制御部１３０とが協働することで、生成部が実現された。また置換制御部１３０が、生成制御部としても機能した。この構成に限定されず、例えば３Ｄモデル生成部１１０、置換処理部１２０、及び置換制御部１３０の各々の機能を統合したブロックが構成されてもよい。あるいはこれらのブロックの機能を任意に分割して、複数のブロックに担当させてもよい。例えば置換処理部１２０及び置換制御部１３０が統合されたブロックと、３Ｄモデル生成部１１０とにより、生成部が実現されてもよい。その他、任意の構成が可能である。

　上記では、仮想現実ＶＲ（Virtual Reality）を表現した仮想空間上に表示されるモデルを生成する処理等が行われた。例えば拡張現実ＡＲ（Augmented Reality）や複合現実ＭＲ（Mixed Reality）が表現される空間上にモデルを表示する場合であっても本技術は適用可能である。

　上記ではユーザにより操作されるＰＣ等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係るシミュレーションシステムが構築されてもよい。

　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば第１の生成処理、第２の生成処理、及び各生成処理の実行の切替えの制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）対象物の画像を取得する取得部と、
　前記取得された前記対象物の画像に基づいて前記対象物のモデルを生成する生成処理として、第１の生成処理、及び前記第１の生成処理と異なる第２の生成処理の各々を実行可能な生成部と、
　前記生成部による前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御する生成制御部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記第１の生成処理は、第１の再現性にて前記対象物が再現された第１のモデルを生成し、
　前記第２の生成処理は、前記第１の再現性よりも低い第２の再現性にて前記対象物が再現された第２のモデルを生成する
　情報処理装置。
（３）（２）に記載の情報処理装置であって、
　前記第１の生成処理は、前記対象物の画像に含まれる前記対象物の状態が再現された前記第１のモデルを生成し、
　前記第２の生成処理は、前記対象物の画像に含まれる前記対象物の状態の少なくとも一部が変更された前記第２のモデルを生成する
　情報処理装置。
（４）（２）又は（３）に記載の情報処理装置であって、
　前記第２の生成処理は、前記対象物の少なくとも一部が置換、又は削除された前記第２のモデルを生成する
　情報処理装置。
（５）（３）又は（４）に記載の情報処理装置であって、
　前記対象物は、人物、及びその人物が使用する物を含む
　情報処理装置。
（６）（５）に記載の情報処理装置であって、
　前記第２の生成処理は、前記人物の表情、姿勢、及び動作の少なくとも１つの状態が変更された前記第２のモデルを生成する
　情報処理装置。
（７）（５）または（６）に記載の情報処理装置であって、
　前記第２の生成処理は、前記人物が使用する物が置換、又は削除された前記第２のモデルを生成する
　情報処理装置。
（８）（２）から（７）のうちいずれか１つに記載の情報処理装置であって、
　前記生成部は、前記第１及び前記第２の生成処理の各々の実行が切替えられる際に、前記第１及び前記第２のモデルの各々へ切替えるための遷移状態が表現された前記第１及び前記第２のモデルをそれぞれ生成する
　情報処理装置。
（９）（５）から（８）のうちいずれか１つに記載の情報処理装置であって、
　前記生成制御部は、前記対象物の状態の少なくとも一部を変更するか否かの判定条件を含む判定情報に基づいて、前記生成部による前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御する
　情報処理装置。
（１０）（９）に記載の情報処理装置であって、
　前記判定条件は、前記人物が使用するコントローラからの出力、前記人物の画像、及び前記人物の音声の少なくとも１つに関する条件を含む
　情報処理装置。
（１１）（３）から（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記生成制御部は、所定の動作の指示が入力された場合には、前記第２の生成処理の実行を選択し、
　前記生成部は、前記第２の生成処理として、前記所定の動作を実行する前記第２のモデルを生成する
　情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
　前記生成部は、前記第２の生成処理として、前記所定の動作へ遷移する動作を実行する前記第２のモデルを生成する
　情報処理装置。
（１３）（９）から（１２）のうちいずれか１つに記載の情報処理装置であって、
　前記判定条件は、前記人物のジェスチャーによる操作入力、及び音声による操作入力の少なくとも一方に関する条件を含む
　情報処理装置。
（１４）（１３）に記載の情報処理装置であって、
　前記生成制御部は、前記ジェスチャーによる操作入力、及び前記音声による操作入力が受付けられた場合には、前記第２の生成処理の実行を選択し、
　前記生成部は、前記第２の生成処理として、前記ジェスチャー及び前記音声の発話動作を実行しない前記第２のモデルを生成する
　情報処理装置。
（１５）（９）から（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記判定条件は、前記人物がプライバシーの保護が必要な状態にあるか否かに関する条件を含む
　情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
　前記生成制御部は、前記人物がプライバシーの保護が必要な状態にあると判定された場合には、前記第２の生成処理の実行を選択し、
　前記生成部は、前記第２の生成処理として、前記人物の少なくとも一部が変更された前記第２のモデルを生成する
　情報処理装置。
（１７）（９）から（１６）のうちいずれか１つに記載の情報処理装置であって、
　前記判定情報は、前記判定条件に関連付けられた前記対象物の状態の少なくとも一部を変更する方法を含み、
　前記生成部は、前記判定情報に基づいて前記第２の生成処理を実行する
　情報処理装置。
（１８）（１７）に記載の情報処理装置であって、
　前記判定情報は、前記対象物の変更対象となる部位を特定するための特定情報と、前記特定された前記変更対象となる部位を変更する方法とを含む
　情報処理装置。

　Ｖ、Ｖ１～Ｖ３…仮想空間
　１０、１１…仮想空間生成システム
　２０、２０ａ～２０ｉ…ユーザ
　３０…仮想モデル
　３０ａ～３０ｉ…第２の仮想モデル
　４０…カメラ
　４１…マイク
　４３…歩行コントローラ
　４４…手持ちコントローラ
　４５…ＨＭＤ
　５０…仮想空間生成装置
　５１…アプリケーション
　６０ａ～６０ｉ…３Ｄモデル
　１００、１０１…モデル生成装置
　１１０…３Ｄモデル生成部
　１２０…置換処理部
　１２１…置換処理
　１３０…置換制御部
　１４０…ＵＩ判定部
　１４１…ジェスチャー認識部
　１４２…音声認識部
　１４３…判定部
　１６０…置換情報ＤＢ
　１６１…置換情報
　１６２…置換条件情報
　１６３…置換対象情報
　１６４…モデル生成情報

Claims

　対象物の画像を取得する取得部と、
　前記取得された前記対象物の画像に基づいて前記対象物のモデルを生成する生成処理として、第１の生成処理、及び前記第１の生成処理と異なる第２の生成処理の各々を実行可能な生成部と、
　前記生成部による前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御する生成制御部と
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記第１の生成処理は、第１の再現性にて前記対象物が再現された第１のモデルを生成し、
　前記第２の生成処理は、前記第１の再現性よりも低い第２の再現性にて前記対象物が再現された第２のモデルを生成する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記第１の生成処理は、前記対象物の画像に含まれる前記対象物の状態が再現された前記第１のモデルを生成し、
　前記第２の生成処理は、前記対象物の画像に含まれる前記対象物の状態の少なくとも一部が変更された前記第２のモデルを生成する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記第２の生成処理は、前記対象物の少なくとも一部が置換、又は削除された前記第２のモデルを生成する
　情報処理装置。
　請求項３に記載の情報処理装置であって、
　前記対象物は、人物、及びその人物が使用する物を含む
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記第２の生成処理は、前記人物の表情、姿勢、及び動作の少なくとも１つの状態が変更された前記第２のモデルを生成する
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記第２の生成処理は、前記人物が使用する物が置換、又は削除された前記第２のモデルを生成する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記生成部は、前記第１及び前記第２の生成処理の各々の実行が切替えられる際に、前記第１及び前記第２のモデルの各々へ切替えるための遷移状態が表現された前記第１及び前記第２のモデルをそれぞれ生成する
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記生成制御部は、前記対象物の状態の少なくとも一部を変更するか否かの判定条件を含む判定情報に基づいて、前記生成部による前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御する
　情報処理装置。
　請求項９に記載の情報処理装置であって、
　前記判定条件は、前記人物が使用するコントローラからの出力、前記人物の画像、及び前記人物の音声の少なくとも１つに関する条件を含む
　情報処理装置。
　請求項３に記載の情報処理装置であって、
　前記生成制御部は、所定の動作の指示が入力された場合には、前記第２の生成処理の実行を選択し、
　前記生成部は、前記第２の生成処理として、前記所定の動作を実行する前記第２のモデルを生成する
　情報処理装置。
　請求項１１に記載の情報処理装置であって、
　前記生成部は、前記第２の生成処理として、前記所定の動作へ遷移する動作を実行する前記第２のモデルを生成する
　情報処理装置。
　請求項９に記載の情報処理装置であって、
　前記判定条件は、前記人物のジェスチャーによる操作入力、及び音声による操作入力の少なくとも一方に関する条件を含む
　情報処理装置。
　請求項１３に記載の情報処理装置であって、
　前記生成制御部は、前記ジェスチャーによる操作入力、及び前記音声による操作入力が受付けられた場合には、前記第２の生成処理の実行を選択し、
　前記生成部は、前記第２の生成処理として、前記ジェスチャー及び前記音声の発話動作を実行しない前記第２のモデルを生成する
　情報処理装置。
　請求項９に記載の情報処理装置であって、
　前記判定条件は、前記人物がプライバシーの保護が必要な状態にあるか否かに関する条件を含む
　情報処理装置。
　請求項１５に記載の情報処理装置であって、
　前記生成制御部は、前記人物がプライバシーの保護が必要な状態にあると判定された場合には、前記第２の生成処理の実行を選択し、
　前記生成部は、前記第２の生成処理として、前記人物の少なくとも一部が変更された前記第２のモデルを生成する
　情報処理装置。
　請求項９に記載の情報処理装置であって、
　前記判定情報は、前記判定条件に関連付けられた前記対象物の状態の少なくとも一部を変更する方法を含み、
　前記生成部は、前記判定情報に基づいて前記第２の生成処理を実行する
　情報処理装置。
　請求項１７に記載の情報処理装置であって、
　前記判定情報は、前記対象物の変更対象となる部位を特定するための特定情報と、前記特定された前記変更対象となる部位を変更する方法とを含む
　情報処理装置。
　対象物の画像を取得し、
　前記取得された前記対象物の画像に基づいて前記対象物のモデルを生成する生成処理として、第１の生成処理、及び前記第１の生成処理と異なる第２の生成処理の各々を実行し、
　前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御する
　ことをコンピュータシステムが実行する情報処理方法。
　対象物の画像を取得するステップと、
　前記取得された前記対象物の画像に基づいて前記対象物のモデルを生成する生成処理として、第１の生成処理、及び前記第１の生成処理と異なる第２の生成処理の各々を実行するステップと、
　前記第１の生成処理の実行及び前記第２の生成処理の実行の切替えを制御するステップと
　をコンピュータシステムに実行させるプログラム。