JP7078234B2

JP7078234B2 - 拡張現実空間に配置される３ｄオブジェクトを生成する方法

Info

Publication number: JP7078234B2
Application number: JP2021130530A
Authority: JP
Inventors: 昌史三上; 洋鬼山
Original assignee: Gugenka; XR IPLab Co Ltd
Current assignee: Gugenka; XR IPLab Co Ltd
Priority date: 2019-01-15
Filing date: 2021-08-10
Publication date: 2022-05-31
Anticipated expiration: 2039-01-15
Also published as: JP2022084658A; JP2020113094A; WO2020149270A1; JP2021185498A

Description

本発明は、拡張現実空間に配置される３Ｄオブジェクトを生成する方法に関する。詳し
くは、スマートフォン等の携帯端末の表示部に表示される拡張現実空間に配置される３Ｄ
オブジェクトを生成する方法に関する。また、スマートグラス、ヘッドマウントディスプ
レイ等のウェアラブルデバイス等の表示部に表示される拡張現実空間に配置される３Ｄオ
ブジェクトを生成する方法に関する。

従来、二次元（２Ｄ）や三次元（３Ｄ）の静止画や動画（アニメーション）で表現され
るキャラクタを生成するため、様々な技術が提案されている。

多くの場合、画像として表現する対象物を構成する部品に対してパラメータを設け、パ
ラメータを調整することで、各々の部品の状態を変化させる、といった手法が用いられる
。

一例として、3次元オブジェクト（例えば、キャラクタ）の生成に当たり、その構成要
素（例えば、顔、口、眉等）に対して、各部品の状態の変化（例えば、口の開閉、目の開
閉、眉の縦移動、眉の横移動、目玉の縦移動、目玉の横移動、怒りの度合、笑いの度合
、照れの度合）に関連するパラメータや、物体（例えば、顔）の回転角（－１８０～１８
０）に関連するパラメータを設定する手法が開示されている（例えば、特許文献１）。

昨今、現実世界に画像やアノテーション等の情報をウェアリングデバイスのディスプレ
イ等を通して付加することで、ユーザの現実空間を拡張する、という拡張現実空間を提供
するサービスが普及している。一例として、スマートフォンのカメラにより撮像された現
実空間上に、アニメキャラクタのようなデジタル画像を重畳させて表示する、といったサ
ービスが挙げられ、ユーザは、あたかもそのキャラクタが現実空間に実在しているかのよ
うな感覚を持つことができる。

特開２００９－１０４５７０号公報

しかしながら、このような拡張現実空間を演出するキャラクタのようなデジタル画像は
、元々現実空間に配置されることを想定したものでない場合が多く、各々のユーザによっ
て異なる現実空間にマッチするキャラクタを提供することは難しい。上記特許文献の３Ｄ
オブジェクト生成技術は、二次元上のイラスト編集ツールの延長上にある技術であり、拡
張現実空間に配置されるキャラクタを生成することを想定したものではない。

そこで、本発明は、拡張現実空間に配置される３Ｄオブジェクトを生成する技術を提供
することを目的とする。

本発明の一の実施形態において、ユーザ装置の表示部に表示される拡張現実空間に配置
される３Ｄオブジェクトを生成する方法であって、撮像された現実空間に３Ｄオブジェク
トの画像を表示し、前記拡張現実空間内におけるユーザのハンドジェスチャを検出し、当
該ハンドジェスチャに基づいて、前記３Ｄオブジェクトの姿勢を制御する、方法。

本発明によれば、拡張現実空間に配置される３Ｄオブジェクトを生成する技術を提供す
ることを実現することができる。

第１の実施形態に係るシステム構成図を示す。第１の実施形態に係るサーバの機能構成図を示す。第１の実施形態に係るユーザ端末の機能構成図を示す。第１の実施形態に係る制御部の機能構成図を示す。第１の実施形態に係るストレージの詳細を示す。第１の実施形態に係る、３Dオブジェクトの生成方法のフローチャートを示す。第１の実施形態に係る、ユーザ端末の姿勢制御に伴う処理のフローチャートを示す。第１の実施形態に係る、３Dオブジェクトの生成画面の例を示す。

＜第１実施形態＞
本発明の第１実施形態に係る３Dオブジェクトの生成方法の具体例を、以下に図面を参
照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の
範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれ
ることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を
付し、重複する説明を省略する。

図１に、本発明の第１の実施形態に係るシステム構成図を示す。図１に示すように、本
実施形態に係るシステムは、サーバ１と、サーバ１に、インターネット等のネットワーク
を介して接続される、ユーザ端末２Ａとユーザ端末２Ｂとを含む。図１には、説明の便宜
上ユーザ端末２Ａ、２Ｂ（以下、ユーザ端末２と総称する）が図示されているが、任意の
数のユーザ端末がネットワークに接続可能である。

サーバ１は、ユーザ端末２Ａ、２Ｂに関連付けられるユーザに対し、現実空間に、例え
ば、アニメキャラクタのような、３Dオブジェクトを配置することによる拡張現実空間を
提供するサービスを提供することができる。例えば、サーバ１は、ユーザ端末２（例えば
、携帯電話端末やスマートフォン）内蔵のカメラにより撮像される現実空間に、キャラク
タ画像を重畳させることによる拡張現実空間を提供するサービスを提供する。

より具体的には、ユーザは、ユーザの部屋を、例えばスマートフォン内蔵のカメラによ
り撮像し、ユーザはお気に入りのキャラクタ画像をその部屋の背景画像に重畳させて表示
させることができる。これにより、ユーザは、あたかも自分の部屋にお気に入りのキャラ
クタが同居しているかの感覚を覚えることができる。

例えば、ユーザは、ユーザ端末２に、サーバ１または他のプラットフォームから本サービ
スアプリケーションをダウンロードし、アプリケーションを介して、サーバ１と本サービ
スに関するデータを送受信することができる。または、ユーザは、ユーザ端末２に内蔵さ
れたＷｅｂブラウザにより、サーバ１に格納されるＷｅｂアプリケーションにアクセスす
ることにより、本サービスに関するデータを送受信することもできる。以下の実施形態に
おいては、例示として、ダウンロードされたアプリケーションを介した本サービスの提供
方法について説明する。

ユーザ端末２として、例えばスマートフォン、タブレット、携帯端末その他情報端末と
してもよいし、ワークステーションやパーソナルコンピュータのような汎用コンピュータ
であってもよい。さらに、スマートグラス、ヘッドマウントディスプレイ等の、ユーザの
身体に装着し得るウェアラブルデバイスであってもよい。

図２は、第１実施形態に係るサーバの機能構成図を示す。なお、図示された構成は一例で
あり、これ以外の構成を有していてもよい。

図示されるように、サーバ１は、データベース(図示せず)と接続されシステムの一部を
構成する。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎
用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に
実現されてもよい。

サーバ１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、
入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

制御部１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御
、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。
例えば制御部１０はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であり
、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理
を実施する。

メモリ１１は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒ
ｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ
ＤｉｓｃＤｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実
行されるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）、及び各種
設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベース（図示せず）がストレージ１２に構築さ
れていてもよい。

送受信部１３は、サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕ
ｅｔｏｏｔｈ（登録商標）及びＢＬＥ（ＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ）の
近距離通信インターフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。

図３は、第１実施形態に係るユーザ端末の機能構成図を示す。なお、図示された構成は一
例であり、これ以外の構成を有していてもよい。

ユーザ端末２は、前述の通り、様々な情報端末や汎用コンピュータとすることができる
か、以下、スマートフォンを例に説明する。ユーザ端末２は、少なくとも、制御部２０、
メモリ２１、ストレージ２２、送受信部２３、入力部２４等を備え、これらはバス２５を
通じて相互に電気的に接続される。

制御部２０は、ユーザ端末２全体の動作を制御し、各要素間におけるデータの送受信の
制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置であ
る。例えば制御部２０はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）で
あり、ストレージ２２に格納されメモリ２１に展開されたプログラム等を実行して各情報
処理を実施する。

メモリ２１は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒ
ｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ
ＤｉｓｃＤｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
２１は、制御部２０のワークエリア等として使用され、また、ユーザ端末２の起動時に実
行されるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）、及び各種
設定情報等を格納する。

ストレージ２２は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベース（図示せず）がストレージ２２に構築さ
れていてもよい。

送受信部２３は、ユーザ端末２をネットワークに接続する。なお、送受信部２３は、Ｂ
ｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（ＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ
）の近距離通信インターフェースを備えていてもよい。

入力部２４は、タッチパネル等の情報入力機器である。

バス２５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。

さらに、ユーザ端末２は、カメラ２６を備える。カメラ２６は、ユーザ端末２に内蔵され
、現実空間を撮像し、通常、ユーザ端末２を把持するユーザの視線方向と一致するように
備えられる。カメラ２６はまた、ユーザのジェスチャをキャプチャするセンサ（例えば、
二次元／三次元カメラ、超音波、深度、ＩＲセンサ等）としての機能を備える。

カメラ２６により撮像された現実空間の画像は、画像制御部２７により、キャラクタ等の
３Ｄオブジェクトの画像と合成され、表示部２８により、現実空間の画像に３Ｄオブジェ
クトの画像が重畳して表示される。画像制御部２７は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃ
ｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であり、主に画像処理に係る演算処理を実行する
。また、表示部２８は、スマートフォンの場合、例えば、ＬＣＤまたは有機ＥＬ等のディ
スプレイである。表示部２８は、カメラ２６のファインダとして機能することもできる。

ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）２９は、現在位置情報
を測位する。ＧＰＳ２９は、ＧＰＳ衛星から測位用の電波を受信し、絶対位置となる緯度
経度情報を測位することができる。また、複数の携帯電話用の基地局から通信電波を受信
し、複数基地局測位機能によって現在位置情報を測位することもできる。

加速度センサ３０は、加速度（単位時間当たりの速度の変化）を検出する。加速度センサ
３０は、３軸方向（ｘ、ｙ、ｚ方向）の加速度を検出することができる。例えば、スマー
トフォンの前後方向をｘ軸、左右方向をｙ軸、上下方向をｚ軸とし、前方方向をｘ軸正方
向、左方向をｙ軸正方向、下方向をｚ軸方向とすると、加速度センサ３０は、各方向の加
速度を検出するとともに、ｘ軸回りの回転角（ロール角）、ｙ軸回りの回転角（ピッチ角
）、ｚ軸回りの回転角（ヨー角）を検出する。

地磁気センサ３１は、３軸方向（上記ｘ、ｙ、ｚ軸方向）の地磁気の方向を検出し、水平
方向の方位を表示する。方位角は、地磁気センサにより検出され、算出された真北の方位
Ｎを基点とした時計回りの角度で示される。

本例においては、スマートフォンを挙げて説明しているが、上述の通り、ユーザ端末とし
て、ウェアラブルデバイスを用いることもできる。この場合、ウェアラブルデバイスに、
本例におけるスマートフォンに内蔵される機能と同等の機能を備えることができる。

図４は、第１の実施形態に係る制御部の機能構成図を示す。なお、本実施形態においては
、ユーザ端末２の制御部２０の機能構成図の詳細について説明するが、同様の機能をサー
バ１の制御部１０に備え、制御部１０において処理することができる。以下、各機能構成
は、メモリ２１、ストレージ１２等に記憶されたプログラムを制御部２０において実行す
ることで実現される。

ジェスチャ検出部４１は、例えば、ユーザの手のジェスチャを検出する。具体的には、ジ
ェスチャ検出部４１は、ユーザ端末２（スマートフォン）のカメラ２６がキャプチャした
、ユーザの手のジェスチャを含む画像をフィルタ除去等の手法により正規化し、正規化さ
れた画像のエッジ画像の各画素に対して、カメラの三次元座標系（ｘ、ｙ、ｚ）における
位置及び方向を含むインデックスを付与し、付与されたインデックスを基に、ユーザ端末
外部のデータベースに格納された、予めインデックスが付与されたジェスチャ画像を検索
し、インデックスがマッチした手のジェスチャ画像を決定する。

キャラクタ画像管理部４２は、ストレージ２２に格納されるキャラクタの３Ｄオブジェク
トを管理し、例えば、ジェスチャ検出に応じて、キャラクタの位置や姿勢を制御する。

図５は、第１の実施形態に係るストレージの詳細を示す。なお、本実施形態においては
、ユーザ端末２のストレージ２２の詳細について説明するが、同様の情報をメモリ２１や
、サーバ１のメモリ１１、ストレージ１２等に格納することもできる。

ストレージ１２は、キャラクタ情報５１を格納する。キャラクタ情報として、拡張現実空
間に表示されるキャラクタの３Ｄオブジェクトの生成に関連するデータ（例えば、キャラ
クタ画像データ、３Ｄ形状データ、テクスチャデータ、アニメーションデータ及び座標情
報、色情報等のそれらを構成するデータ）を所定の形式で格納する。また、キャラクタ情
報は、アニメーションデータとして、キャラクタの各々の部品（例えば、髪の毛、顔、首
、胴体、腕、手、脚等）が相互に動くために必要なボーンオブジェクト情報を有し、各々
の部品について、位置（ｘ、ｙ、ｚ座標）、接続元／接続先の部品、質量／幅／高さ、回
転制限（ｘ、ｙ、ｚ座標の最大値／最小値）、及び移動制限（ｘ、ｙ、ｚ座標の最大値／
最小値）等の情報を有することができる。また、ユーザが複数の種類のキャラクタを選択
できるよう、複数のキャラクタ情報を格納することもできる。その他、ストレージ１２は
、画像処理プログラムを始め各種プログラム、アプリケーション、オペレーションシステ
ム等を格納する。

図６は、第１の実施形態に係る、３Dオブジェクトの生成方法のフローチャートを示す。
本３Ｄオブジェクトの生成方法に係る処理は、例えば、ユーザ端末２のメモリ２２に展開
されるプログラムを制御部２１において実行することで実現され得るが、他に、サーバ１
のメモリ１２に展開されるプログラムを制御部１１において実行することで実現すること
もでき、または、これらが協働して実行することで実現することも可能である。

まず、制御部２０のユーザ要求受付部４１は、アプリケーション等を介して、ユーザ端末
２に関連づけられるユーザから拡張現実空間に表示するキャラクタの選択要求を受信する
（Ｓ１０１）。表示するキャラクタの種類が、1種類の場合は、本ステップを省略するこ
ともできる。

続いて、表示制御部２７は、ユーザが選択したキャラクタを拡張現実空間に表示する処理
を行う（Ｓ１０２）。例えば、表示制御部２７は、ストレージ２２に格納されたキャラク
タ情報を基に、３Ｄ形状データを所定の空間にマッピングし、キャラクタ画像データから
変換されたテクスチャデータに、テクスチャデータを３Ｄ形状にマッピングさせることで
、キャラクタの３Ｄオブジェクトを生成する。そして、カメラ２６で撮像された現実空間
を、所定の空間の背景画像として設定することで、現実空間にキャラクタの３Ｄオブジェ
クトが重畳された画像が生成され、拡張現実空間が提供され、拡張現実空間がディスプレ
イに表示される。例えば、図８に示すように、キャラクタの３Ｄオブジェクトは、拡張現
実空間において中央に表示され、正面を向いている。ここで、表示制御部７２は、キャラ
クタの３Ｄオブジェクトの各構成要素（例えば、顏、眼、鼻、口、眉、耳、髪型等）の状
態を変化させるパラメータを調整するための複数のインジケータを表示し、ユーザからパ
ラメータを調整するためのインジケータを介した指示を受け付け、これに応じて、指定さ
れた構成要素の状態を変更する処理を行うことができる。また、表示制御部２７は、拡張
現実空間におけるキャラクタの３Ｄオブジェクトのテクスチャの色の補正を行うためのイ
ンジケータを表示することもできる。ここで、色の補正とは、明るさ、彩度、色調、鮮明
さ、コントラスト等の補正を含む。

続いて、制御部２０のジェスチャ検出部４１は、ジェスチャを検出したか、を確認する（
Ｓ１０３）。例えば、ユーザは、図８（ａ）に示すように、自分の手を使って、ディスプ
レイに表示されるキャラクタのポージングを変えるよう試みる。ジェスチャ検出の一例と
して、ジェスチャ検出部４１は、ユーザ端末２（スマートフォン）のカメラ２６がキャプ
チャしたユーザの手のジェスチャを含む画像をフィルタ除去等の手法により正規化し、正
規化された画像のエッジ画像の各画素に対して、カメラの三次元座標系（ｘ、ｙ、ｚ）に
おける位置及び方向を含むインデックスを付与し、付与されたインデックスを基に、ユー
ザ端末外部のデータベースに格納された、予めインデックスが付与されたジェスチャ画像
を検索し、インデックスがマッチしたジェスチャ画像を決定する。図８の例においては、
ジェスチャ検出部４１は、ユーザが指で何かを摘まんで（いわゆる、ピンチ操作）、所定
の方向に移動するジェスチャを検出する。

ジェスチャ検出部４１は、ユーザの手のジェスチャを検出すると、そのジェスチャに応
じて、制御部２０及び画像制御部２７は、キャラクタの姿勢（ポージング）を制御する（
Ｓ１０４）。本処理において、例えば、図８（ｂ）に示すように、画像制御部２７は、キ
ャラクタの３Ｄオブジェクトの左手を持ち上げるよう制御する。本処理の詳細は、図７に
おいて説明する。

次に、画像制御部２７は、姿勢制御後のキャラクタの３Ｄオブジェクトを拡張現実空間に
表示する（Ｓ１０５）。例えば、図８（ｂ）に示すように、表示されるオブジェクトの画
像は、左手を持ち上げるようアニメーション表示される。

図７は、第１の実施形態に係る、キャラクタの姿勢制御に係る処理のフローチャートを示
す。まず、制御部２０のジェスチャ検出部４１は、ユーザに手のジェスチャを検出する（
Ｓ２０１）。ここで、ジェスチャ検出部４１は、ユーザの手の動きに対応した動きを含め
たジェスチャ画像、すなわち、何かを指で摘まむ操作（ピンチ操作）をして、所定の方向
に移動するジェスチャに対応する画像を決定する。

次に、ジェスチャ検出部４１は、検出したジェスチャを基に、ユーザの手の座標を確認
する（Ｓ２０２）。前述のとおり、ここで、ジェスチャ検出部４１は、キャプチャされ、
正規化された画像のエッジ画像の各画素に対して付与された、カメラの三次元座標（ｘ、
ｙ、ｚ）における位置及び方向を参照する。図８（ａ）及び図８（ｂ）に示すように、ジ
ェスチャ検出部４１によって、ユーザの手の始点位置の三次元座標の位置及び方向とユー
ザの手の終点位置の三次元座標の位置及び方向が確認される。ここで、検出したジェスチ
ャによっては、本処理を進まずに、特定のジェスチャをトリガとして、本処理に進むこと
もできる。例えば、単にユーザが手をキャラクタの周辺にかざしている状態では何もアク
ションを取らずに、キャラクタの部位を指で摘まむ操作（ピンチ操作）を検出したことを
トリガとして、本処理以降に進むこととしてもよい。

続いて、ジェスチャ検出部４１は、検出したユーザの手の座標に対応する３Ｄオブジェク
トの座標を確認する（Ｓ２０３）。具体的には、図８（ａ）及び図８（ｂ）に示すように
、検出されたユーザの手の始点位置に対応するキャラクタの３Ｄオブジェクトの三次元座
標を確認する。

そして、ジェスチャ検出部４１は、確認した３Ｄオブジェクトの座標に対応する、３Ｄオ
ブジェクトの部品を特定する（Ｓ２０４）。図８（ａ）に示す例において、ユーザの手の
始点位置に対応するキャラクタの３Ｄオブジェクトの三次元座標は、キャラクタの左手で
あることが分かる。

そして、表示制御部２７は、キャラクタの３Ｄオブジェクトの部品の位置を変更するよう
制御する。例えば、表示制御部２７は、図８（ａ）及び図８（ｂ）に示す例においては、
検出した手のジェスチャに応じ、キャラクタの左手を振り上げる制御する。

なお、上記の例によれば、ユーザの手の位置及び相対的なキャラクタの部品位置の特定に
カメラの三次元座標を使用しているが、ワールド座標やローカル座標を適用し、適宜座標
変換することもできる。また、三次元座標ではなく、二次元座標を提供することもできる
。また、検出されたユーザの手のジェスチャをジェスチャ画像として手の画像を表示する
ことで、ユーザは、感覚的にキャラクタのポージングの調整を図ることができるが、手の
画像を表示させないこともできる。

以上のように、本実施形態によれば、拡張現実空間にキャラクタの３Ｄオブジェクトを配
置させたまま、ハンドトラッキングを使ってキャラクタのポージングを調整することがで
きるため、あたかも現実空間でキャラクタフィギュアのポージングを決めるかのように、
キャラクタの３Ｄオブジェクトを生成することができる。

本実施形態によれば、単体のキャラクタの３Ｄオブジェクトを拡張現実空間に配置し、そ
の構成要素を変更させる処理を行うこととしているが、例えば、複数のキャラクタを同じ
拡張現実空間に配置させて、ユーザは、複数のキャラクタのうち、任意のキャラクタの３
Ｄオブジェクトのポージングを変更するよう、ハンドトラッキングを使って調整すること
ができる。これにより、ユーザは、あたかも現実空間において、複数の異なる容姿、背丈
のキャラクタが共存しているかのような感覚を覚えながら、お気に入りのキャラクタのポ
ージングを楽しむことができる。

さらに、本実施形態において、サーバ１は、あるユーザ端末２Ａに提供された拡張現実空
間を、ネットワークを介して、別のユーザ端末２Ｂに提供することができる。ここで、ユ
ーザ端末２Ａは、自端末の表示部２８に表示される拡張現実空間において配置される、キ
ャラクタの３Ｄオブジェクトに関する情報を、他の端末２Ｂに送信するようサーバ１に要
求を送信する。ユーザ端末２Ｂは、ユーザ端末２Ａにおいて表示されたキャラクタの３Ｄ
オブジェクトに関する情報を受信すると、自端末２Ｂの表示部に表示される拡張現実空間
に、キャラクタを表示させる。このとき、拡張現実空間に表示される背景画像には、ユー
ザ端末２Ｂ内蔵のカメラにより撮像された現実空間を使用することができる。そして、ユ
ーザ端末２Ｂを操作するユーザは、ユーザ端末２Ａが操作するユーザによって指示される
キャラクタの容姿の変更の様子を自端末の拡張現実空間の中でリアルタイムに楽しむこと
ができる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定
して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良
することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１サーバ
２ユーザ端末

Claims

ユーザ装置の表示部に表示される拡張現実空間に配置される人型のキャラクタに係る３Ｄオブジェクトを生成する方法であって、
撮像された現実空間に３Ｄオブジェクトの画像を表示し、
前記拡張現実空間内におけるユーザの指で摘まむようなピンチ操作を検出し、
当該ピンチ操作に基づいて、前記人型のキャラクタに係る３Ｄオブジェクトの髪の姿勢を制御する、
方法。
前記人型のキャラクタに係る３Ｄオブジェクトの髪の姿勢を制御することは、
前記拡張現実空間内に表示される３Ｄオブジェクト画像のうち、当該検出された位置座標を確認し、
当該検出された位置座標に対応する前記３Ｄオブジェクトの位置座標を確認し、
当該確認した３Ｄオブジェクトの位置座標に対応する当該３Ｄオブジェクトの髪を特定し、
前記検出されたハンドジェスチャに基づいて、当該３Ｄオブジェクトの髪の姿勢を変更する、ことを含む、
請求項１に記載の方法。
ユーザ装置の表示部に表示される拡張現実空間に配置される人型のキャラクタに係る３Ｄオブジェクトを生成する方法をコンピュータに実行させるプログラムであって、
前記方法は、
撮像された現実空間に３Ｄオブジェクトの画像を表示し、
前記拡張現実空間内におけるユーザの指で摘まむようなピンチ操作を検出し、
当該ピンチ操作に基づいて、前記人型のキャラクタに係る３Ｄオブジェクトの髪の姿勢を制御する、
プログラム。
ユーザ装置の表示部に表示される拡張現実空間に配置される人型のキャラクタに係る３Ｄオブジェクトを生成する方法を実行するコンピュータを含むシステムであって、
前記方法は、
撮像された現実空間に３Ｄオブジェクトの画像を表示し、
前記拡張現実空間内におけるユーザの指で摘まむようなピンチ操作を検出し、
当該ピンチ操作に基づいて、前記人型のキャラクタに係る３Ｄオブジェクトの髪の姿勢を制御する、
システム。