JP6276882B1 - 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】仮想体験のエンタテイメント性を向上させ得る。【解決手段】表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法は、仮想空間を定義する仮想空間データを生成するステップと、ユーザ端末の動きと、仮想空間データと、に基づいて視界画像を生成し、表示部に視界画像を表示させるステップと、仮想空間データに基づいて、所定の撮影期間における仮想空間内の指定位置からの全方位の映像である全方位動画を再生するための記録データを保存するステップと、を含む。記録データは、仮想空間を定義するためのコンテンツ情報と、ユーザによる作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む。【選択図】図１４

Description

本開示は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

非特許文献１は、仮想空間において、ユーザに関連付けられたアバターオブジェクトをユーザの操作に基づいて動作させる技術を開示している。

"Facebook Mark Zuckerberg Social VR Demo OC3 Oculus Connect 3 Keynote"、［online］、平成２８年１０月６日、VRvibe、［平成２８年１２月５日検索］、インターネット＜https://www.youtube.com/watch?v=NCpNKLXovtE＞

米国特許第９５７３０６２号公報

仮想空間における仮想体験（例えばアバターを介したユーザ間の対話）について、ユーザが過去の場面を閲覧したいと考える場合があり得る。このようなユーザの要求に応えることにより、ユーザの仮想体験のエンタテイメント性を向上させる余地がある。

そこで、本開示は、仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

本開示が示す一態様によれば、表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法が提供される。この情報処理方法は、仮想体験を提供するための仮想空間を定義する仮想空間データを生成するステップと、ユーザ端末の動きと、仮想空間データと、に基づいて視界画像を生成し、表示部に視界画像を表示させるステップと、仮想空間データに基づいて、所定の撮影期間における仮想空間内の指定位置からの全方位の映像である全方位動画を再生するための記録データを保存するステップと、を含み、記録データは、仮想空間を定義するためのコンテンツ情報と、ユーザによる作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む。

本開示によれば、仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することが可能となる。

ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。 一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。 ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。 仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。 仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。 ある実施の形態に従うコントローラ１６０の概略構成を表す図である。 ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。 ＨＭＤシステム１００Ａが実行する処理を表すフローチャートである。 複数ユーザに共有される仮想空間２を模式的に表す図である。 ユーザ１９０Ａに提供される視界画像Ｍの一例を表す図である。 ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、ＨＭＤシステム１００Ｃ、およびサーバ１５０が実行する処理を示すシーケンス図である。 記録データの保存および再生に関する処理を表すフローチャートである。 図１４の破線Ｔで囲んだ部分の第１の処理例を表すフローチャートである。 基準位置ＲＰの例を表す図である。 動き情報の一例を説明するための図である。 図１４の破線Ｔで囲んだ部分の第２の処理例を表すフローチャートである。 表示オブジェクトＤの抽出に関する処理を表すフローチャートである。 表示オブジェクトＤの一例を表す図である。 表示オブジェクトＤの編集処理を説明するための図である。

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head Mount Device）システム１００の構成について説明する。図１は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

ＨＭＤシステム１００は、ＨＭＤ装置１１０（ユーザ端末）と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ装置１１０は、ディスプレイ１１２（表示部）と、カメラ１１６と、マイク１１８と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。別の局面において、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。

ＨＭＤ装置１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ装置１１０は、右目用の画像および左目用の画像をディスプレイ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。

ディスプレイ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、ディスプレイ１１２は、ユーザの両目の前方に位置するようにＨＭＤ装置１１０の本体に配置されている。したがって、ユーザは、ディスプレイ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、ディスプレイ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイとして実現され得る。ディスプレイ１１２は、ＨＭＤ装置１１０の本体と一体に構成されてもよいし、別体として構成されてもよい。

ある局面において、ディスプレイ１１２は、右目用の画像を表示するためのサブディスプレイと、左目用の画像を表示するためのサブディスプレイとを含み得る。別の局面において、ディスプレイ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、ディスプレイ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

カメラ１１６は、ＨＭＤ装置１１０を装着するユーザの顔画像を取得する。カメラ１１６によって取得された顔画像は、画像解析処理によってユーザの表情を検知するために使用され得る。カメラ１１６は、例えば、瞳の動き、まぶたの開閉、および眉毛の動き等を検知するために、ＨＭＤ装置１１０本体に内蔵された赤外線カメラであってもよい。あるいは、カメラ１１６は、ユーザの口、頬、および顎等の動きを検知するために、図１に示されるようにＨＭＤ装置１１０の外側に配置された外付けカメラであってもよい。また、カメラ１１６は、上述した赤外線カメラおよび外付けカメラの両方によって構成されてもよい。

マイク１１８は、ユーザが発した音声を取得する。マイク１１８によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。当該音声は、仮想空間２に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク１９およびサーバ１５０等を介して、他のユーザが使用するＨＭＤシステムに送られ、当該ＨＭＤシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話（チャット）が実現される。

ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。

なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ装置１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ装置１１０の位置および傾きを検出することができる。

別の局面において、ＨＭＤ装置１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ装置１１０は、センサ１１４を用いて、ＨＭＤ装置１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ装置１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ装置１１０は、各角速度に基づいて、ＨＭＤ装置１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ装置１１０の傾きを算出する。また、ＨＭＤ装置１１０は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ装置１１０に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤ装置に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。サーバ１５０は、一または複数のコンピュータ装置により構成され得る。サーバ１５０は、後述するコンピュータ２００のハードウェア構成と同様のハードウェア構成（プロセッサ、メモリ、ストレージ等）を備え得る。

コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ１９０によって与えられる操作を受け付ける。

モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

［ハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェース１３と、通信インターフェース１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。メモリ１１に保存されるデータは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発性メモリとして実現される。

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ２００との通信を実現するためのプログラム等を含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。

ある実施の形態において、入出力インターフェース１３は、ＨＭＤ装置１１０、ＨＭＤセンサ１２０またはモーションセンサ１３０との間で信号を通信する。ある局面において、入出力インターフェース１３は、ＵＳＢ（Universal Serial Bus）インターフェース、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェース１３は上述のものに限られない。例えば、入出力インターフェース１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インターフェースを含み得る。

ある実施の形態において、入出力インターフェース１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェース１３は、モーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェース１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

通信インターフェース１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェース１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェース、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェースとして実現される。なお、通信インターフェース１４は上述のものに限られない。

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェース１３を介して、仮想空間を提供するための信号をＨＭＤ装置１１０に送る。ＨＭＤ装置１１０は、その信号に基づいてディスプレイ１１２に映像を表示する。

サーバ１５０は、ネットワーク１９を介して複数のＨＭＤシステム１００の各々の制御装置と接続される。図２に示される例では、サーバ１５０は、ＨＭＤ装置１１０Ａを有するＨＭＤシステム１００Ａと、ＨＭＤ装置１１０Ｂを有するＨＭＤシステム１００Ｂと、ＨＭＤ装置１１０Ｃを有するＨＭＤシステム１００Ｃとを含む複数のＨＭＤシステム１００を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各ＨＭＤシステムを使用するユーザに提供される。なお、ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、ＨＭＤシステム１００Ｃ、およびその他のＨＭＤシステム１００は、いずれも同様の構成を備える。ただし、各ＨＭＤシステム１００は、互いに異なる機種であってもよいし、互いに異なる性能（処理性能、およびユーザ動作の検知に関する検知性能等）を有してもよい。

なお、図２に示される例では、コンピュータ２００がＨＭＤ装置１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ装置１１０に内蔵されてもよい。一例として、ディスプレイ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

また、コンピュータ２００は、複数のＨＭＤ装置１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のＨＭＤシステム１００は、入出力インターフェース１３により、コンピュータ２００に直接接続されてもよい。また、本実施形態におけるサーバ１５０の各機能（例えば後述する同期処理等）は、コンピュータ２００に実装されてもよい。

ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ装置１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ装置１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ装置１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ装置１１０の位置および傾きの時間的変化を検出できる。

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ装置１１０の各傾きは、グローバル座標系におけるＨＭＤ装置１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ装置１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ装置１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の起動時に、グローバル座標系におけるＨＭＤ装置１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。

図３に示されるように、ＨＭＤ装置１１０は、ＨＭＤ装置１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ装置１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ装置１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

ある局面において、ＨＭＤ装置１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ｕｖｗ視野座標系がＨＭＤ装置１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ装置１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ装置１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ装置１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ装置１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ装置１１０の傾き角度を表す。

ＨＭＤセンサ１２０は、検出されたＨＭＤ装置１１０の傾き角度に基づいて、ＨＭＤ装置１１０が動いた後のＨＭＤ装置１１０におけるｕｖｗ視野座標系を、ＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０と、ＨＭＤ装置１１０のｕｖｗ視野座標系との関係は、ＨＭＤ装置１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ装置１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ装置１１０のｕｖｗ視野座標系の位置および傾きが変化する。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ装置１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系の原点を決定してもよい。

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。仮想空間２内の各位置は、ＸＹＺ座標系における座標値によって一意に特定される。

ＨＭＤ装置１１０の起動時、すなわちＨＭＤ装置１１０の初期状態において、仮想カメラ１は、例えば仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ装置１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ装置１１０の位置および傾きの変化が、仮想空間２において同様に再現される。

仮想カメラ１には、ＨＭＤ装置１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ装置１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ装置１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ装置１１０を装着したユーザの視界に対応する。

注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ装置１１０のｕｖｗ視野座標系は、ユーザ１９０がディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ装置１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。

［ユーザの視線］
図５を参照して、ユーザの視線方向の決定について説明する。図５は、ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

［視界領域］
図６および図７を参照して、視界領域２３について説明する。図６は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。

図６に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。

図７に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像をディスプレイ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。視界領域２３内において仮想カメラ１と仮想空間画像２２との間に後述する仮想オブジェクトが配置されている場合、視界画像には当該仮想オブジェクトが含まれる。すなわち、視界画像において、仮想空間画像２２よりも手前側にある仮想オブジェクトが仮想空間画像２２に重畳して表示される。ユーザ１９０が、頭に装着したＨＭＤ装置１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、ディスプレイ１１２に表示される視界画像は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。

ユーザ１９０は、ＨＭＤ装置１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。

ある局面において、プロセッサ１０は、ＨＭＤ装置１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および傾きに基づいて、ＨＭＤ装置１１０のディスプレイ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。すなわち、仮想カメラ１によって、仮想空間２におけるユーザ１９０の視野（視界）が定義される。

ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ装置１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

［コントローラ］
図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。

図８の状態（Ａ）に示されるように、ある局面において、コントローラ１６０は、右コントローラ１６０Ｒと左コントローラ（図示しない）とを含み得る。右コントローラ１６０Ｒは、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ１６０Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ１６０Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ１６０Ｒについて説明する。

右コントローラ１６０Ｒは、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。

フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ１６０Ｒと左コントローラとの各位置および姿勢（傾き、向き）等を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動させるための操作を含む。

ある局面において、右コントローラ１６０Ｒおよび左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ１６０Ｒおよび左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ１６０Ｒおよび左コントローラは、電池を必要としない。

図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ１９０の右手８１０に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ１９０が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。

［ＨＭＤ装置の制御装置］
図９を参照して、ＨＭＤ装置１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図９は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。

図９に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト制御モジュール２３２と、チャット制御モジュール２３３と、仮想空間記録モジュール２３４とを含む。

ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェース１４によって実現される。

ある局面において、表示制御モジュール２２０は、ＨＭＤ装置１１０のディスプレイ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ装置１１０を装着したユーザの頭の向きに応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、ディスプレイ１１２に表示される視界画像を生成する。基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。

仮想オブジェクト制御モジュール２３２は、後述するコンテンツ情報２４１およびオブジェクト情報２４２に基づいて、仮想空間２に配置される仮想オブジェクトを生成する。また、仮想オブジェクト制御モジュール２３２は、仮想空間２における仮想オブジェクトの動作（移動および状態変化等）も制御する。

仮想オブジェクトは、仮想空間２に配置されるオブジェクト全般である。仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。また、仮想オブジェクトは、仮想空間におけるユーザの分身であるアバターおよびユーザにより操作されるゲームのキャラクタ（プレイヤキャラクタ）等のキャラクタオブジェクトを含み得る。さらに、仮想オブジェクトは、ユーザ１９０の身体の一部（例えば手）の動きに応じて動くオブジェクトである操作オブジェクトを含み得る。操作オブジェクトは、例えば、ＨＭＤ装置１１０を装着したユーザ１９０の手に相当する手オブジェクト、ユーザ１９０の指に相当する指オブジェクト等を含み得る。また、手オブジェクトに関連付けられて操作されるオブジェクトも、ユーザ１９０の手の動きに応じて動く操作オブジェクトとして機能し得る。例えば、手オブジェクトにより把持されるタッチペン等のスティック状のオブジェクト等が、操作オブジェクトとして機能し得る。なお、以下の説明において、誤解が生じない場合には、仮想オブジェクトのことを単に「オブジェクト」と表記する。

チャット制御モジュール２３３は、同じ仮想空間２に滞在する他のユーザのアバターとチャットをするための制御を行う。例えば、チャット制御モジュール２３３は、仮想空間２を介したチャットを行うために必要なデータ（例えば、マイク１１８に入力された音声データ等）をサーバ１５０に送信する。また、チャット制御モジュール２３３は、サーバ１５０から受信した他のユーザの音声データを図示しないスピーカに出力する。これにより、音声によるチャットが実現される。また、チャット制御モジュール２３３は、その他のユーザ間で共有すべきデータについても、サーバ１５０を介して他のユーザのＨＭＤシステム１００との間で送受信する。共有すべきデータとしては、アバターの身体の一部の動作を制御するための動き検知データ等がある。

動き検知データは、例えば、向きデータ、アイトラッキングデータ、フェイストラッキングデータ、およびハンドトラッキングデータ等である。向きデータは、ＨＭＤセンサ１２０等により検出されたＨＭＤ装置１１０の位置および傾きを示す情報である。アイトラッキングデータは、注視センサ１４０等により検出された視線方向を示す情報である。フェイストラッキングデータは、例えばＨＭＤ装置１１０Ａのカメラ１１６により取得された画像情報に対する画像解析処理によって生成されるデータである。フェイストラッキングデータは、ユーザ１９０Ａの顔の各パーツの位置および大きさの経時変化を示す情報である。ハンドトラッキングデータは、例えばモーションセンサ１３０等により検出されたユーザ１９０Ａの手の動きを示す情報である。

本実施形態では、チャット制御モジュール２３３は、音声データと動き検知データとを含む情報（以下「プレイヤ情報」という。）を、ユーザ間で共有すべき情報として、サーバ１５０を介して他のユーザのＨＭＤシステム１００との間で送受信する。プレイヤ情報の送受信は、通信制御モジュール２５０の機能を利用することにより実現される。

仮想空間記録モジュール２３４は、所定期間における仮想空間２内の所定位置からの全方位の映像である全方位動画を再生するための記録データの取得、保存、再生等の制御を行う。仮想空間記録モジュール２３４による詳細な処理については後述する。

仮想空間制御モジュール２３０は、仮想空間２に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール２３０は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、コンテンツ情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。

コンテンツ情報２４１には、例えば、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。具体的には、コンテンツ情報２４１は、仮想空間２の背景を規定する仮想空間画像データ（仮想空間画像２２）と、仮想空間２に配置されるオブジェクトの定義情報とを含み得る。オブジェクトの定義情報は、オブジェクトを描画するための描画情報（例えば、オブジェクトの形状および色等のデザインを表す情報）、およびオブジェクトの初期配置を示す情報等を含み得る。また、予め設定された動作パターンに基づいて自律的に動作するオブジェクトの定義情報は、当該動作パターンを示す情報（プログラム等）を含み得る。予め定められた動作パターンに基づく動作の例としては、草を模したオブジェクトが一定のパターンで揺れる動作のような単純な繰り返し動作が挙げられる。

オブジェクト情報２４２には、仮想空間２に配置される各オブジェクトの状態（ゲームの進行およびユーザ１９０の操作等に応じて変化し得る状態）を示す情報が含まれている。具体的には、オブジェクト情報２４２は、各オブジェクトの位置（例えばオブジェクトに設定された重心の位置）を示す位置情報を含み得る。また、オブジェクト情報２４２は、変形可能なオブジェクトの動作を示す動き情報（すなわち、オブジェクトの形状を特定するための情報）をさらに含み得る。変形可能なオブジェクトの例としては、上述したアバターのように、頭部、胴体、および手等のパーツを有し、ユーザ１９０の動きに応じて各パーツを独立して動かすことが可能なオブジェクト等が挙げられる。

ユーザ情報２４３には、例えば、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、コンテンツ情報２４１に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。

メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ装置１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、メモリモジュール２４０に一旦格納される。そのソフトウェアは、プロセッサ１０によってメモリモジュール２４０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。

図９に示されるコンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。

ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。

［制御構造］
図１０を参照して、本実施の形態に係るコンピュータ２００の制御構造について説明する。図１０は、ユーザ１９０Ａによって使用されるＨＭＤシステム１００Ａがユーザ１９０Ａに仮想空間２を提供するために実行する処理を表すフローチャートである。他のＨＭＤシステム１００Ｂ，１００Ｃにおいても、同様の処理が実行される。

ステップＳ１において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間２の背景を構成する仮想空間画像データ（仮想空間画像２２）を特定し、仮想空間２を定義する。

ステップＳ２において、プロセッサ１０は、仮想カメラ制御モジュール２２１として、仮想カメラ１を初期化する。例えば、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心点に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。

ステップＳ３において、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ装置１１０に送られる。

ステップＳ４において、ＨＭＤ装置１１０のディスプレイ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ装置１１０Ａを装着したユーザ１９０Ａは、視界画像を視認すると仮想空間２を認識し得る。

ステップＳ５において、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０から発信される複数の赤外線光に基づいて、ＨＭＤ装置１１０の位置および傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に送られる。

ステップＳ６において、プロセッサ１０は、視界領域決定モジュール２２２として、ＨＭＤ装置１１０Ａの位置と傾きとに基づいて、ＨＭＤ装置１１０Ａを装着したユーザ１９０Ａの視界方向（すなわち、仮想カメラ１の位置および傾き）を特定する。プロセッサ１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間２にオブジェクトを配置する。

ステップＳ７において、コントローラ１６０は、現実空間におけるユーザ１９０Ａの操作を検出する。例えば、ある局面において、コントローラ１６０は、ユーザ１９０Ａによってボタンが押下されたことを検出する。別の局面において、コントローラ１６０は、ユーザ１９０Ａの両手の動作（たとえば、両手を振る等）を検出する。検出内容を示す信号は、コンピュータ２００に送られる。

ステップＳ８において、プロセッサ１０は、チャット制御モジュール２３３として、他のＨＭＤシステム１００（ここではＨＭＤシステム１００Ｂ，１００Ｃ）との間で、サーバ１５０を介してプレイヤ情報を送受信する。

ステップＳ９において、プロセッサ１０は、仮想オブジェクト制御モジュール２３２として、各ユーザ１９０のプレイヤ情報に基づいて、各ユーザに関連付けられたアバターの動作を制御する。

ステップＳ１０において、プロセッサ１０は、視界画像生成モジュール２２３として、ステップＳ９の処理結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをＨＭＤ装置１１０に出力する。

ステップＳ１１において、ＨＭＤ装置１１０のディスプレイ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。

ステップＳ５〜Ｓ１１の処理は、定期的に繰り返し実行される。

図１１は、複数ユーザに共有される仮想空間２を模式的に表す図である。図１１に示される例では、ＨＭＤ装置１１０Ａを装着するユーザ１９０Ａに関連付けられたアバターＡ１と、ＨＭＤ装置１１０Ｂを装着するユーザ１９０Ｂに関連付けられたアバターＡ２と、ＨＭＤ装置１１０Ｃを装着するユーザ１９０Ｃに関連付けられたアバターＡ３とが、同一の仮想空間２に配置されている。このような複数ユーザに共通の仮想空間２によれば、各ユーザに対して、アバターＡ１〜Ａ３を介した他のユーザとのチャット等のコミュニケーション体験を提供することができる。

この例では、各アバターＡ１〜Ａ３は、動物（猫、熊、うさぎ）を模したキャラクタオブジェクトとして定義されている。アバターＡ１〜Ａ３は、ユーザの動きに連動して動作可能な部分として、頭部（顔の向き）、目（視線および瞬き等）、顔（表情）、および手を含んでいる。頭部は、ＨＭＤセンサ１２０等によって検出されたＨＭＤ装置１１０の動きに連動して動く部分である。目は、カメラ１１６および注視センサ１４０等によって検出されたユーザの目の動きおよび視線の変化に連動して動く部分である。顔は、後述するフェイストラッキングデータに基づいて決定される表情が反映される部分である。手は、モーションセンサ１３０等により検出されたユーザの手の動きに連動して動く部分である。また、アバターＡ１〜Ａ３は、頭部および手に付随して表示される胴体部および腕部とを含んでいる。なお、腰から下の脚部については動作制御が複雑となるため、アバターＡ１〜Ａ３は脚部を含んでいない。

アバターＡ１の視野は、ＨＭＤシステム１００Ａにおける仮想カメラ１の視野と一致している。これにより、ユーザ１９０Ａに対して、アバターＡ１の１人称視点における視界画像Ｍが提供される。すなわち、ユーザ１９０Ａに対して、あたかも自分がアバターＡ１として仮想空間２に存在しているかのような仮想体験が提供される。図１２は、ＨＭＤ装置１１０Ａを介してユーザ１９０Ａに提供される視界画像Ｍの一例を表す図である。ユーザ１９０Ｂ，１９０Ｃに対しても同様に、アバターＡ２，Ａ３の１人称視点における視界画像が提供される。

図１３は、仮想空間２におけるチャットを実現するためにＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、ＨＭＤシステム１００Ｃ、およびサーバ１５０が実行する処理を表すシーケンス図である。

ステップＳ２１Ａにおいて、ＨＭＤシステム１００Ａにおけるプロセッサ１０は、チャット制御モジュール２３３として、アバターＡ１の動作を決定するためのプレイヤ情報を取得する。プレイヤ情報には、アバターＡ１（あるいはアバターＡ１に関連付けられるユーザ１９０Ａ）を特定する情報（ユーザＩＤ等）、およびアバターＡ１が存在する仮想空間２を特定する情報（ルームＩＤ等）等が含まれてもよい。プロセッサ１０は、チャット制御モジュール２３３として、上述のように取得されたプレイヤ情報を、ネットワーク１９を介してサーバ１５０に送信する。

ステップＳ２１Ｂにおいて、ＨＭＤシステム１００Ｂにおけるプロセッサ１０は、ステップＳ２１Ａにおける処理と同様に、アバターＡ２の動作を決定するためのプレイヤ情報を取得し、サーバ１５０に送信する。同様に、ステップＳ２１Ｃにおいて、ＨＭＤシステム１００Ｃにおけるプロセッサ１０は、アバターＡ３の動作を決定するためのプレイヤ情報を取得し、サーバ１５０に送信する。

ステップＳ２２において、サーバ１５０は、ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、およびＨＭＤシステム１００Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ１５０は、各プレイヤ情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間２に関連付けられた全ユーザ（この例では、ユーザ１９０Ａ〜１９０Ｃ）のプレイヤ情報を統合する。そして、サーバ１５０は、予め定められたタイミングで、統合したプレイヤ情報を当該仮想空間２に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、およびＨＭＤシステム１００Ｃは、互いのプレイヤ情報をほぼ同じタイミングで共有することができる。

続いて、サーバ１５０から各ＨＭＤシステム１００Ａ〜１００Ｃに送信されたプレイヤ情報に基づいて、各ＨＭＤシステム１００Ａ〜１００Ｃは、ステップＳ２３Ａ〜Ｓ２３Ｃの処理を実行する。なお、ステップＳ２３Ａの処理は、図１０におけるステップＳ９の処理に相当する。

ステップＳ２３Ａにおいて、ＨＭＤシステム１００Ａにおけるプロセッサ１０は、仮想オブジェクト制御モジュール２３２として、仮想空間２におけるユーザ１９０Ａ〜１９０ＣのアバターＡ１〜Ａ３の動作を制御する。具体的には、プロセッサ１０は、ＨＭＤシステム１００Ｂから送信されたプレイヤ情報に含まれるユーザ１９０Ａ〜１９０Ｃの動き検知データに基づいて、アバターＡ１〜Ａ３の動作を制御する。ステップＳ２３ＢおよびＳ２３Ｃの処理は、ステップＳ２３Ａの処理と同様である。

［記録データの保存および再生］
図１４〜図１８を参照して、記録データの保存および再生に関する処理手順を説明する。記録データは、所定の撮影期間における仮想空間２内の所定の指定位置からの全方位の映像である全方位動画（３６０度動画）を再生するためのデータである。

まず、図１４に示されるフローチャートを参照して、記録データの保存および再生に関する一連の処理手順を説明する。本実施形態では、記録データの保存および再生に関する処理がＨＭＤシステム１００Ａにより実行されるものとして説明する。ただし、当該処理は、他のＨＭＤシステム１００Ｂ，１００Ｃにより実行されてもよいし、当該処理の一部または全部がサーバ１５０によって実行されてもよい。

ステップＳ３１において、ＨＭＤシステム１００Ａのプロセッサ１０（以下単に「プロセッサ１０」）は、仮想空間定義モジュール２３１として、仮想空間２を定義する。当該処理は、図１０のステップＳ１の処理に相当する。具体的には、プロセッサ１０は、仮想空間２を定義する仮想空間データを生成することにより、仮想空間２を規定する。仮想空間データは、上述したコンテンツ情報２４１とオブジェクト情報２４２とを含む。

ステップＳ３２において、プロセッサ１０は、ＨＭＤ装置１１０Ａの動きに応じて仮想空間２における仮想カメラ１の位置および傾きを決定する。当該処理は、図１０のステップＳ６の処理の一部に相当する。

ステップＳ３３において、プロセッサ１０は、視界画像Ｍ（図１２参照）をユーザ１９０に提供する。具体的には、プロセッサ１０は、ＨＭＤ装置１１０Ａの動き（すなわち仮想カメラ１の位置および傾き）と、仮想空間２を定義する仮想空間データと、に基づいて視界画像Ｍを生成し、ＨＭＤ装置１１０Ａのディスプレイ１１２に視界画像Ｍを表示させる。当該処理は、図１０のステップＳ１０の処理に相当する。

続いて、プロセッサ１０は、仮想空間記録モジュール２３４として、ステップＳ３４〜Ｓ３８の処理を実行する。ステップＳ３４〜Ｓ３７の処理は、記録データを保存するための処理であり、ステップＳ３８の処理は、記録データを再生するための処理である。なお、上述したステップＳ３２およびＳ３３の処理（すなわち、ＨＭＤ装置１１０Ａの動きに応じた視界画像Ｍの更新）は、後述するステップＳ３４〜Ｓ３８が実行される間にも、継続して繰り返し実行される。

ステップＳ３４において、プロセッサ１０は、開始条件の成立を検知する。開始条件とは、記録データの保存開始の契機として予め定められた条件である。例えば、プロセッサ１０は、コントローラ１６０に対する入力操作、および視界画像に表示されるメニュー画面に対するユーザ操作等に基づいて、上記開始条件の成立を検知する。プロセッサ１０は、開始条件の成立を検知すると、ステップＳ３５に進み、記録データの保存を開始する。

ステップＳ３５において、プロセッサ１０は、仮想空間２の状態を定義する仮想空間データに基づいて、仮想空間２の少なくとも一部を再現するための情報を取得する。より具体的には、プロセッサ１０は、仮想空間２内の指定位置からの全方位の映像である全方位動画を再生するための情報を取得する。後述する第１の処理例では、指定位置は、基準位置ＲＰに相当する。また、後述する第２の処理例では、指定位置は、事後的に選択される任意の位置に相当する。全方位動画を再生するための情報の詳細については、第１の処理例および第２の処理例の説明と共に後述する。

ステップＳ３６において、プロセッサ１０は、終了条件が成立したか否かを判定する。終了条件とは、記録データの保存終了の契機として予め定められた条件である。例えば、プロセッサ１０は、コントローラ１６０に対する入力操作、および視界画像に表示されるメニュー画面に対するユーザ操作等に基づいて、上記終了条件が成立したと判定する。終了条件が成立するまで、プロセッサ１０は、ステップＳ３５の処理を予め定められた時間間隔で定期的に実行する（ステップＳ３６：ＮＯ→Ｓ３５）。終了条件が成立した場合（ステップＳ３６：ＹＥＳ）、プロセッサ１０は、ステップＳ３７に進む。

ステップＳ３７において、プロセッサ１０は、開始条件が成立してから終了条件が成立するまでの撮影期間にステップＳ３５で取得された情報を、記録データとして保存する。例えば、ステップＳ３５で取得された各情報は、各情報が取得された時点（例えば取得時刻）を示す時間情報に関連付けられた上で、記録データとして保存される。記録データは、例えばメモリモジュール２４０に保存されてもよいし、複数のＨＭＤシステム１００間で共有されるために、サーバ１５０に送られ、サーバ１５０上で保存されてもよい。

ステップＳ３８において、プロセッサ１０は、例えばユーザ１９０からの予め定められた再生指示操作を受け付けた場合に、ステップＳ３７において記録された記録データを再生する。具体的には、プロセッサ１０は、記録データに基づいて全方位動画を生成し、生成された全方位動画を仮想空間２内に設けられる仮想スクリーン上で再生する。例えば、仮想スクリーンは、天球状の仮想空間２の球面部分に設けられた複数のメッシュ（仮想空間画像２２が表示される部分）により構成される。あるいは、仮想スクリーンは、仮想空間２内に生成されるオブジェクト（例えばプラネタリウムのようなドームスクリーン状のオブジェクト）であってもよい。

［第１の処理例］
続いて、記録データの保存および再生の処理（図１４のフローチャートの破線Ｔに囲まれた部分）の第１の処理例について説明する。第１の処理例では、録画データは、現実空間で３６０度カメラにより撮影されるデータと同様の映像データとして取得される。例えば、プロセッサ１０は、仮想空間２内に設定された基準位置からの全方位画像を取得するために、当該基準位置を中心として予め定められた複数の方位の各々に対応する画像を取得する。各方位に対応する各画像は、上述した視界画像と同様の画像である。取得された複数の画像を公知のソフトウェア処理によってつなぎあわせることにより、１つの全方位画像が生成される。プロセッサ１０は、このような全方位画像を生成するために必要となる複数の方位の各々に対応する画像を、仮想空間２における基準位置から視認可能な部分を再現するための情報として、定期的に取得する。上述した映像データは、このようにして定期的に取得された複数の画像によって構成され得る。このように、第１の処理例においては、あたかも仮想空間２内の基準位置に配置された仮想的な３６０度カメラによって撮影されたような映像データが、記録データとして取得される。

図１５に示されるフローチャートを参照して、上述した第１の処理例の一連の処理手順について説明する。ステップＳ４１〜Ｓ４４の処理は、図１４のステップＳ３５〜Ｓ３７の処理に対応し、ステップＳ４５の処理は、図１４のステップＳ３８の処理に対応する。

ステップＳ４１において、プロセッサ１０は、仮想空間２内の基準位置を設定する。基準位置は、上述した仮想的な３６０度カメラの位置に相当する。図１６は、基準位置ＲＰの例（基準位置ＲＰ１〜ＲＰ３）を表す図である。

図１６の基準位置ＲＰ１のように、プロセッサ１０は、ＨＭＤ装置１１０Ａの動きに連動する仮想カメラ１の位置を基準位置ＲＰ１として設定してもよい。この場合、仮想カメラ１が移動すると、基準位置ＲＰ１も仮想カメラ１と連動して移動する。このような基準位置ＲＰ１を設定した場合には、あるユーザ（この場合ユーザ１９０Ａ）に提供される視界画像Ｍを含む全方位の映像データを取得することが可能となる。すなわち、あるユーザの過去の仮想体験を追体験できる映像データを取得することが可能となる。

図１６の基準位置ＲＰ２のように、プロセッサ１０は、仮想空間２内の予め定められた固定点を基準位置ＲＰ２として設定してもよい。基準位置ＲＰ２は、デフォルト設定で定められていてもよいし、ユーザ操作等によって定められてもよい。図１６の例のようにアバターＡ１〜Ａ３を介したチャットが行われる場合には、基準位置ＲＰ２は、例えば全てのアバターＡ１〜Ａ３の顔を映すことができる位置に設定される。この場合、アバターＡ１〜Ａ３を介したユーザ間のチャットの様子を適切に捉えた映像データを取得することが可能となる。

図１６の基準位置ＲＰ３のように、プロセッサ１０は、予め定められた移動パターンに基づいて基準位置ＲＰ３を移動させることにより、基準位置ＲＰ３を動的に設定してもよい。より具体的には、プロセッサ１０は、移動パターンに基づいて生成されるルートＲＴに沿って、予め定められた速度で基準位置ＲＰ３を移動させてもよい。この場合、あたかも仮想的なカメラマンがルートＲＴに沿って移動しながら撮影したような映像データを取得することが可能となる。例えば、ルートＲＴは、予め用意された複数のモードのうちユーザ１９０Ａによって選択されたモードに従って生成される。モードは、基準位置ＲＰ３の移動パターン（すなわちルートＲＴ）を決定する際の基準となるルールを示す情報である。モードの具体例としては、発言量の多いユーザ１９０に関連付けられたアバターを優先的に写すことを定めたモード、各アバターをなるべく均等に写すことを定めたモード等が挙げられる。前者のモードが利用される場合、例えば、プロセッサ１０は、複数のユーザ１９０の各々の音声データに基づいて最も発言量の多いユーザ１９０を特定し、特定されたユーザ１９０のアバターから一定範囲内のエリアに基準位置ＲＰ３が含まれるように、ルートＲＴを決定する。例えば、プロセッサ１０は、各モードに対応して予め用意されたプログラム（メモリモジュール２４０に格納されたプログラム）を実行することにより、各モードに応じたルートＲＴを生成する。

また、モードは、ユーザ１９０Ａによる選択ではなく、公知の機械学習により生成された判定モデルにより決定されてもよい。このような判定モデルは、例えば以下の処理によって生成され得る。すなわち、サーバ１５０は、各ＨＭＤシステム１００において記録データの録画を行う際にユーザ１９０が選択したモードと、当該ユーザ１９０の特徴を表す属性情報とを関連付けた正解データを一定期間収集する。属性情報は、例えば予めＨＭＤシステム１００に登録されたユーザ１９０の性別、年齢、趣味等である。サーバ１５０は、収集された正解データを用いて公知の機械学習を実行することにより、判定モデルを生成する。この判定モデルは、ユーザの属性情報を説明変数として入力し、当該属性情報を有するユーザによって選択され易いと想定されるモードを目的変数として出力するプログラムである。そして、各ＨＭＤシステム１００は、サーバ１５０によって生成された判定モデルをダウンロードし、メモリモジュール２４０に保持する。このような構成によれば、プロセッサ１０は、ユーザ１９０Ａの属性情報を判定モデルに入力することで得られたモードに基づいて、ルートＲＴを生成することができる。ユーザ１９０Ａの属性情報は、例えばメモリモジュール２４０等に予め保持され得る。

ステップＳ４２において、プロセッサ１０は、基準位置ＲＰを中心とした全方位の映像を撮影する。すなわち、プロセッサ１０は、基準位置ＲＰからの複数の方位の各々に対応する画像を取得する。

ステップＳ４３において、プロセッサ１０は、上述した終了条件が成立したか否かを判定する。終了条件が成立するまで、プロセッサ１０は、ステップＳ４１およびＳ４２の処理を定期的に実行する（ステップＳ４３：ＮＯ→Ｓ４１→Ｓ４２）。ただし、固定点である基準位置ＲＰ２が設定される場合には、基準位置ＲＰ２の更新は不要であるため、プロセッサ１０は、ステップＳ４１の処理を省略してもよい。終了条件が成立した場合（ステップＳ４３：ＹＥＳ）、プロセッサ１０は、ステップＳ４４に進む。

ステップＳ４４において、プロセッサ１０は、開始条件が成立してから終了条件が成立するまでの撮影期間にステップＳ４２で撮影された映像（複数の画像）から構成される映像データを、記録データとして保存する。

ステップＳ４５において、例えばユーザ１９０からの予め定められた再生指示操作を受け付けた場合に、プロセッサ１０は、ステップＳ４４において記録された記録データを再生する。具体的には、プロセッサ１０は、記録データに基づいて全方位動画を生成する。第１の処理例では記録データは上述した映像データであるため、プロセッサ１０は、当該映像データをそのまま全方位動画として扱うことができる。そして、プロセッサ１０は、当該全方位動画を仮想スクリーン上で再生する。例えば、プロセッサ１０は、全方位動画に含まれる各方位に対応する映像を、仮想スクリーン上の対応領域（例えば対応するメッシュ）に割り当てて表示する。

第１の処理例によれば、現実空間における３６０度カメラによる撮影と同様に、仮想空間２内の基準位置ＲＰを中心位置とする３６０度動画を再生するための映像データを記録データとして保存することができる。

［第２の処理例］
続いて、記録データの保存および再生の処理（図１４のフローチャートの破線Ｔに囲まれた部分）の第２の処理例について説明する。第２の処理例では、録画データは、コンテンツ情報２４１と、撮影期間におけるオブジェクト情報２４２（各オブジェクトの位置情報および各変形オブジェクトの動き情報）とを含む。撮影期間におけるオブジェクト情報２４２とは、撮影期間を予め定められた時間間隔で区切った各時点の状態を示すオブジェクト情報２４２である。

プロセッサ１０は、変形オブジェクトの動き情報として、変形オブジェクトの予め定められた複数の部分の位置を示す情報を取得してもよい。変形オブジェクトの予め定められた複数の部分は、当該変形オブジェクトの形状および姿勢を特定するために必要なポイントとして予め設定された部分である。例えば、変形オブジェクトがアバターである場合、上記複数の部分は、アバターの関節に相当する部分を含み得る。

図１７を参照して、上記複数の部分の例を説明する。図１７は、アバターＡ２に設定された複数の部分Ｐの例を表す図である。この場合、プロセッサ１０は、オブジェクト（アバターＡ２）の形状および姿勢を特定するために必要となる複数（ここでは１１個）の部分Ｐの位置情報（例えば仮想空間２のＸＹＺ座標における座標値）を、動き情報として取得してもよい。各部分Ｐの位置に基づいて隣接する部分Ｐ同士を接続するボーン（骨）の位置および姿勢が特定され、特定された個々のボーンの位置および姿勢に基づいて変形オブジェクトの骨格が特定される。特定された骨格の上に肉付けを行う（変形オブジェクトの定義情報に含まれる外観デザインを適用する）ことにより、変形オブジェクトの形状および姿勢を再現することができる。すなわち、プロセッサ１０は、変形オブジェクトの定義情報（描画情報等）と動き情報とに基づいて、当該変形オブジェクトの動作（形状および姿勢）を特定することができる。このように、変形オブジェクトの具体的な外観デザインを含むデータ（画像データ等）ではなく、比較的データ量の少ない変形オブジェクトの一部（部分Ｐ）の位置情報を動き情報として利用することにより、動き情報のデータ量を抑えることができる。

図１８に示されるフローチャートを参照して、上述した第２の処理例の一連の処理手順について説明する。ステップＳ５１〜Ｓ５４の処理は、図１４のステップＳ３５〜Ｓ３７の処理に対応し、ステップＳ５５の処理は、図１４のステップＳ３８の処理に対応する。

ステップＳ５１において、プロセッサ１０は、コンテンツ情報２４１を取得する。ステップＳ５２において、プロセッサ１０は、オブジェクト情報２４２（各オブジェクトの位置情報および各変形オブジェクトの動き情報）を取得する。

ステップＳ５３において、プロセッサ１０は、上述した終了条件が成立したか否かを判定する。終了条件が成立するまで、プロセッサ１０は、ステップＳ５２の処理を定期的に実行する（ステップＳ５３：ＮＯ→Ｓ５２）。これにより、撮影期間に含まれる各時点において、仮想空間２に配置されたオブジェクトの位置情報と、変形オブジェクトの動き情報と、が取得される。終了条件が成立した場合（ステップＳ５３：ＹＥＳ）、プロセッサ１０は、ステップＳ５４に進む。

ステップＳ５４において、プロセッサ１０は、ステップＳ５１で取得されたコンテンツ情報２４１と、撮影期間中にステップＳ５２で取得されたオブジェクト情報２４２（各オブジェクトの位置情報および各変形オブジェクトの動き情報）とを、記録データとして保存する。

ステップＳ５５において、例えばユーザ１９０Ａからの予め定められた再生指示操作を受け付けた場合に、プロセッサ１０は、ステップＳ５４において記録された記録データを再生する。具体的には、プロセッサ１０は、記録データに含まれるコンテンツ情報２４１およびオブジェクト情報２４２（各オブジェクトの位置情報および各変形オブジェクトの動き情報）に基づいて、撮影期間における仮想空間２（すなわち仮想空間２の状態）を特定する。そして、プロセッサ１０は、特定された仮想空間２における所定の視点位置からの全方位の映像である全方位動画を生成する。所定の視点位置は、仮想空間２内の任意の位置であり、例えばユーザ１９０Ａによって選択された位置である。

より具体的には、プロセッサ１０は、内部的に再現された撮影期間に含まれる各時点の仮想空間２について、所定の視点位置からの複数の方位の各々に対応する画像を取得する。そして、プロセッサ１０は、取得された複数の画像を公知のソフトウェア処理によってつなぎあわせることにより、各時点の全方位画像（所定の視点位置を中心とした全方位画像）を生成する。プロセッサ１０は、このようにして生成される各時点の全方位画像を時系列に並べることにより、全方位動画を生成することができる。そして、プロセッサ１０は、このようにして生成された全方位動画を仮想スクリーン上で再生する。

第２の処理例によれば、記録データに基づいて撮影期間における仮想空間２を内部的に再現することができる。これにより、ユーザ１９０Ａ（すなわちアバターＡ１）が内部的に再現された過去の仮想空間２内の所定の視点位置に存在していた場合に視認可能であった風景（アバターＡ１の頭部を水平方向に沿って３６０度回すことにより視認可能であった風景）を、ユーザ１９０Ａに全方位動画として提供することができる。

補足すると、第１の処理例では、仮想空間２における基準位置ＲＰから視認できない部分に関する情報は記録データとして記録されないため、当該部分を全方位動画として再生することはできない。一方、第２の処理例では、撮影期間における仮想空間データ（コンテンツ情報２４１およびオブジェクト情報２４２）に基づいて過去の仮想空間２の全体を３次元的に再現可能であるため、過去の仮想空間２内の任意の位置からの全方位動画を生成および再生することができる。このため、第２の処理例によれば、ユーザ１９０Ａは、過去の仮想体験時の視点とは異なる視点からも過去の仮想体験を振り返ることができる。

例えば、仮想体験を行っているユーザ１９０Ａの現時点の仮想カメラ１の位置が、上述した所定の視点位置として設定されてもよい。この場合、全方位動画の再生中に仮想カメラ１の位置が移動した場合には、ユーザ１９０Ａに提供される全方位動画の中心位置も、仮想カメラ１の移動に応じて変更されてもよい。このような構成によれば、ユーザ１９０Ａは、現時点の仮想空間２内を移動することにより、あたかも過去の仮想空間２内を同じように移動しているかのような風景の変化を、仮想スクリーン上に再生される全方位動画を通じて楽しむことができる。また、他のユーザ１９０Ｂ，１９０Ｃに対しても、同様に処理された全方位動画が提供されてもよい。すなわち、各ユーザ１９０Ａ〜１９０Ｃの仮想カメラの位置に応じて、ユーザ毎に異なる全方位動画が生成および再生されてもよい。このような構成によれば、他のユーザ１９０Ｂ，１９０Ｃにも、仮想スクリーン上に再生される全方位動画を通じて、ユーザ１９０Ａと同様の楽しみ方を提供することができる。

［２次元画像データの抽出および編集］
第２の処理例においては、２次元画像データの抽出および編集を行うこともできる。２次元画像データは、例えば現実世界における写真のように、ある時点における仮想空間２の状態を２次元画像として記録したデータである。２次元画像データは、仮想空間２における所定位置から見た仮想空間２の一部に相当する。例えば、２次元画像データは、現実世界における写真を模した持ち運び可能な表示オブジェクトとして生成され得る。この場合、例えば複数のユーザ間で２次元画像データを見せ合ったりすることが可能となる。また、２次元画像データは、インターネット等を介して他のシステム（例えばＳＮＳ（Social Networking Service）サイト等）にアップロード可能とされてもよい。この場合、仮想空間２内で撮影された２次元画像データをＳＮＳサイト等に投稿すること等が可能となり、仮想空間２における過去の体験を現実空間で他のユーザと共有するといった楽しみ方が可能となる。

なお、第１の処理例においても、生成された全方位動画から特定の位置および方位に対応する２次元画像を抽出することにより、２次元画像データを生成し得る。しかし、第１の処理例では、記録データは基準位置から視認可能な対象のみを写した映像データであるため、当該基準位置から視認可能な範囲の２次元画像データしか抽出できない。また、第１の処理例では、２次元画像データ内に配置されたオブジェクトの位置等を自由に編集することが困難である。例えば、オブジェクトの位置をずらす編集処理を行う場合、元々オブジェクトが写っていた部分に対応するデータ（すなわち、当該オブジェクトによって隠されていた背景等のデータ）が記録データに含まれていないため、当該部分に対応するデータを何らかの方法で補う必要がある。このように、第１の処理例においては、現実空間において撮影された動画から静止画を抽出したり、抽出された静止画を編集したりする場面と同様の制約が課される。一方、第２の処理例では、過去の仮想空間２の状態を３次元的に再現可能な記録データが取得されているため、仮想空間２内の任意の対象を任意の方向から捉えた２次元画像データを生成することができる。また、上述のような編集作業を行う場合でも、元々オブジェクトが写っていた部分に対応するデータを記録データから取得することができる。したがって、第２の処理例によれば、第１の処理例のような現実世界と同様の制限を受けることなく、自由度の高い２次元画像データを生成することができる。

図１９に示されるフローチャートを参照して、上述した２次元画像データの抽出および編集に関する一連の処理手順について説明する。プロセッサ１０は、仮想空間記録モジュール２３４として、ステップＳ６１〜Ｓ６６の処理を実行する。

ステップＳ６１において、プロセッサ１０は、ユーザ１９０Ａから仮想空間２内における視点情報を取得する。視点情報は、仮想空間２内における視界領域を特定するための情報であり、例えば仮想空間２内における位置および傾きを示す情報である。仮想カメラ１の位置および傾きを示す情報は、視点情報の一種である。プロセッサ１０は、視点情報に基づいて、当該視点情報に対応する視界領域（以下「特定視界領域」）を特定する。特定視界領域は、例えば図６および図７に示される視界領域２３と同様の領域である。

ステップＳ６２において、プロセッサ１０は、処理対象となる記録データに基づいて過去の撮影期間における仮想空間２の状態（オブジェクトの配置および動作等）を内部的に再現する。そして、プロセッサ１０は、内部的に再現された過去の仮想空間２のうち特定視界領域と重なる部分を、プレビュー表示する。例えば、プロセッサ１０は、内部的に再現された過去の仮想空間２と特定視界領域とに基づいて暫定的な２次元画像データを決定する。当該２次元画像データは、視界領域２３に基づいてユーザ１９０Ａに提供される視界画像を決定する処理と同様の処理によって決定される。そして、プロセッサ１０は、決定された２次元画像データを仮想空間２内でプレビュー表示する。本実施形態では、プロセッサ１０は、２次元画像データを表す表示オブジェクトＤを仮想空間２内に生成する。

図２０は、仮想空間２内に配置された表示オブジェクトＤの一例を表す図である。表示オブジェクトＤは、２次元画像データに基づいて生成された画像（テクスチャ）が表面に貼られたオブジェクトである。表示オブジェクトＤが仮想空間２に配置されることにより、仮想空間２を共有する複数のユーザ１９０（この例では、アバターＡ１，Ａ２に対応するユーザ１９０Ａ，１９０Ｂ）は、仮想空間２内において２次元画像データの内容を一緒に確認することができる。表示オブジェクトＤは、仮想空間２内の所定の位置に固定されたオブジェクトであってもよいし、移動可能なオブジェクトであってもよい。後者の例としては、アバターを介して持ち運び可能な写真を模したオブジェクト等が挙げられる。

ステップＳ６３において、プロセッサ１０は、ユーザ１９０からの編集要求を受け付けられるように待機する。例えば、編集要求は以下のようなユーザ操作によって入力され得る。

すなわち、プロセッサ１０は、仮想オブジェクト制御モジュール２３２として、手オブジェクトを介した表示オブジェクトＤに対する入力を受け付ける。具体的には、プロセッサ１０は、２次元画像データの内容を変更するためのユーザ１９０からの入力を受け付ける。例えば、被写体であるオブジェクト（例えばアバター）同士の距離が遠すぎる、オブジェクト同士が重なっている、木等のオブジェクトが構図を悪くしているといったように、２次元画像データの構図に改善の余地がある場合がある。このような場合に、ユーザ１９０は、操作オブジェクト（手オブジェクトまたは手オブジェクトに関連付けられたオブジェクト）を介した表示オブジェクトＤに対する入力操作により、２次元画像データ内のオブジェクトの位置等を変更することが可能となっている。具体的には、タッチパネルに対してドラッグ操作を行うような感覚で、表示オブジェクトＤに対する操作を行うことが可能となっている。

図２１の状態（Ａ）は、表示オブジェクトに対する入力操作の一例を示す。まず、変形しないオブジェクト（以下「非変形オブジェクト」）Ｆ１，Ｆ２，Ｆ３に対する操作例について説明する。ここでは一例として、非変形オブジェクトＦ１に対する操作例について説明する。例えば、手オブジェクトＨが表示オブジェクトＤに表示された非変形オブジェクトＦ１に一定距離以下まで近づくと、プロセッサ１０は、手オブジェクトＨと非変形オブジェクトＦ１との接触を検知する。そして、プロセッサ１０は、手オブジェクトＨと非変形オブジェクトＦ１とが接触した状態のまま手オブジェクトＨが移動した場合に、非変形オブジェクトＦ１を移動させる移動操作を検知し、その移動量（例えばベクトル）を示す情報を編集情報として取得する。

次に、変形オブジェクトであるアバターＡ２，Ａ３に対する操作例について説明する。ここでは一例として、アバターＡ３に対する操作例について説明する。変形オブジェクトであるアバターＡ３に対しては、非変形オブジェクトＦ１を移動させる操作と同様の移動操作以外に、アバターＡ３を変形させる操作が可能である。例えば、プロセッサ１０は、表示オブジェクトＤに表示されたアバターＡ３の複数の部分Ｐのいずれかを操作対象として選択する操作を、ユーザ１９０から受け付ける。そして、プロセッサ１０は、手オブジェクトＨと選択された部分Ｐとが接触した状態のまま手オブジェクトＨが移動した場合に、当該部分Ｐを移動させる変形操作を検知し、その移動量（例えばベクトル）を示す情報を編集情報として取得する。

なお、表示オブジェクトＤに表示されたオブジェクトに対する操作は、手オブジェクトＨによって直接行われてもよいし、手オブジェクトＨに関連付けられたオブジェクト（例えばタッチペン等を模したオブジェクト等）によって行われてもよい。

ユーザ１９０からの編集要求を受け付けなかった場合（ステップＳ６３：ＮＯ）、ステップＳ６４において、プロセッサ１０は、表示オブジェクトＤにプレビュー表示された通りの２次元画像データを抽出する。

一方、ユーザ１９０からの編集要求を受け付けた場合（ステップＳ６３：ＹＥＳ）、ステップＳ６５において、プロセッサ１０は、ユーザ１９０からの編集情報を受け付ける。編集情報は、記録データの一部（本実施形態では、オブジェクトの位置情報または変形オブジェクトの動き情報）を再定義するための情報である。再定義とは、既に定義されているデータの内容を異なる内容に書き換えることである。

ステップＳ６６において、プロセッサ１０は、記録データおよび編集情報に基づいて特定される撮影期間における仮想空間２のうち、特定視界領域（ユーザ１９０により指定された視点情報に基づいて決定される領域）に基づいて特定される部分を２次元画像データとして抽出する。より具体的には、プロセッサ１０は、編集情報に基づいて再定義された記録データに基づいて、仮想空間２の状態（オブジェクトの配置および動作等）を内部的に再現する。そして、プロセッサ１０は、内部的に再現された仮想空間２と特定視界領域とに基づいて２次元画像データを抽出する。これにより、編集後の状態を反映した２次元画像データが得られる。

編集情報に基づく記録データの一部（オブジェクトの位置情報または変形オブジェクトの動き情報）の再定義に関するいくつかの例について、以下説明する。

表示オブジェクトＤに表示された非変形オブジェクトを移動させる操作がされた場合、上述したように、プロセッサ１０は、その移動量を示す情報を編集情報として取得する。この場合、プロセッサ１０は、２次元画像データに関連付けられた仮想空間データのうち操作対象とされた非変形オブジェクトの位置情報を、上記移動量に基づいて再定義する。すなわち、プロセッサ１０は、当該非変形オブジェクトの元の位置から上記移動量だけ移動した後の位置（例えばＸＹＺ座標値）を、当該非変形オブジェクトの新たな位置情報として再定義する。

表示オブジェクトＤに表示された変形オブジェクトを移動させる操作がされた場合、上述したように、プロセッサ１０は、その移動量を示す情報を編集情報として取得する。この場合、プロセッサ１０は、上述同様の処理により、２次元画像データに関連付けられた仮想空間データのうち操作対象とされた変形オブジェクトの位置情報を、上記移動量に基づいて再定義する。なお、変形オブジェクト自体を移動させる場合、変形オブジェクトの複数の部分Ｐの各々の位置も同様に移動させる必要がある。このため、プロセッサ１０は、当該変形オブジェクトの動き情報についても、上記移動量に基づいて再定義する。具体的には、プロセッサ１０は、当該変形オブジェクトの動き情報に含まれる複数の部分Ｐの各々の位置情報を、上記移動量に基づいて再定義する。

表示オブジェクトＤに表示された変形オブジェクトの一部（部分Ｐ）を移動させる操作（すなわち変形オブジェクトを変形させる操作）がされた場合、上述したように、プロセッサ１０は、その移動量を示す情報を取得する。ここで、部分Ｐはアバターの関節に相当する部分であり、各部分Ｐはボーン（骨）により互いに連結されている。したがって、一の部分Ｐの位置を変化させた場合、その影響を受けて他の部分Ｐの位置も変化し得る。一の部分Ｐの位置の変化が他の部分Ｐの位置に与える影響は、複数の部分Ｐとそれらを結合するボーンとを含むスケルトンモデルについて予め定められた計算を実行することにより求められる。プロセッサ１０は、このような計算を実行することにより、操作対象とされた変形オブジェクトの部分Ｐを上記移動量だけ移動させた場合に影響を受ける他の部分Ｐの移動量を算出する。そして、プロセッサ１０は、操作対象とされた変形オブジェクトの動き情報のうち操作対象とされた部分Ｐの位置情報を、上記移動量に基づいて再定義する。また、プロセッサ１０は、影響を受ける他の部分Ｐの位置情報についても、上記算出された移動量に基づいて再定義する。

図２１の状態（Ｂ）は、表示オブジェクトＤに表示された編集後の２次元画像データの例を表している。この例では、非変形オブジェクトＦ１，Ｆ２，Ｆ３は、当初位置よりも全体的に右側に移動している。また、変形オブジェクトであるアバターＡ３は、当初位置よりもアバターＡ２の近くに移動すると共に、右手部分の形状が手を挙げている状態から手を下した状態に変更されている。

以上説明した第１の処理例および第２の処理例によれば、各ユーザ１９０Ａ〜１９０Ｃに、仮想空間２内において過去の仮想体験（撮影期間における仮想空間２の状態）を振り返る体験を提供することができる。このような振り返り体験を提供することにより、各ユーザ１９０Ａ〜１９０Ｃの仮想体験のエンタテイメント性を向上させることができる。特に第２の処理例では、撮影期間における仮想空間データを記録データとして保存することにより、当該記録データに基づいて過去の仮想空間２を３次元的に再現することが可能となる。その結果、任意の視点位置から過去の仮想体験を振り返る機能をユーザ１９０に提供することが可能となる。また、ユーザ１９０の好みの構図の２次元画像データを生成する機能をユーザ１９０に提供することも可能となる。

以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

例えば、上記実施形態では２次元画像データの編集の例として、オブジェクトの配置変更について説明したが、２次元画像データに対して可能な編集処理は上記例に限られない。例えば、仮想空間データに新たなオブジェクトに関する情報（コンテンツ情報または動き情報）を追加してもよい。これにより、実際には存在していなかったオブジェクトを被写体として含んだ２次元画像データが得られる。

また、上述した第１の処理例と第２の処理例とは、適宜切り替えられてもよいし、適宜組み合わせられて併用されてもよい。また、オブジェクトの位置が初期位置から変形されない場合には、記録データは、オブジェクトの位置情報を含まなくてもよい。

また、本実施形態においてＨＭＤシステム１００のプロセッサ１０が実行するものとして説明した各処理は、ＨＭＤシステム１００のプロセッサ１０ではなく、サーバ１５０が備えるプロセッサによって実行されてもよいし、プロセッサ１０とサーバ１５０とによって分散して実行されてもよい。

また、本実施形態においては、ＨＭＤ装置１１０によってユーザ１９０が没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤ装置１１０として、透過型のＨＭＤ装置を採用してもよい。この場合、透過型のＨＭＤ装置を介してユーザ１９０が視認する現実空間に、仮想空間を構成する画像の一部が視界画像として重畳されるように視界画像を出力することにより、拡張現実（ＡＲ：Augumented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザ１９０に提供してもよい。この場合、仮想空間２内における操作オブジェクト（例えば手オブジェクトＨ）に代えて、現実空間におけるユーザ１９０の手の動きに基づいて、仮想空間２内における対象オブジェクト（例えば表示オブジェクトＤ）への作用を生じさせてもよい。具体的には、プロセッサ１０は、現実空間におけるユーザ１９０の手の位置の座標情報を特定するとともに、仮想空間２内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサ１０は、現実空間におけるユーザ１９０の手と仮想空間２における対象オブジェクトとの位置関係を把握し、ユーザ１９０の手と対象オブジェクトとの間で上述した当たり判定等に対応する処理を実行可能となる。その結果、ユーザ１９０の手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。

本明細書に開示された主題は、例えば、以下のような項目として示される。
（項目１）
表示部（ディスプレイ１１２）を備えるユーザ端末（ＨＭＤ装置１１０）を介してユーザ１９０に仮想体験を提供するためにコンピュータ（コンピュータ２００またはサーバ１５０が備えるコンピュータ）によって実行される情報処理方法であって、
前記仮想体験を提供するための仮想空間２を定義する仮想空間データを生成するステップ（図１０のＳ１）と、
前記ユーザ端末の動きと、前記仮想空間データと、に基づいて視界画像Ｍを生成し、前記表示部に前記視界画像Ｍを表示させるステップ（図１０のＳ１０）と、
前記仮想空間データに基づいて、所定の撮影期間における前記仮想空間２内の指定位置からの全方位の映像である全方位動画を再生するための記録データを保存するステップ（図１４のＳ３７，図１５のＳ４４，図１８のＳ５４）と、
を含み、
前記記録データは、前記仮想空間２を定義するためのコンテンツ情報と、前記ユーザ１９０による作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む、
情報処理方法。
本項目の情報処理方法によれば、仮想空間２内において過去の仮想体験（過去の所定期間における仮想空間２の状態）を振り返る体験をユーザ１９０に提供することが可能となる。これにより、ユーザ１９０の仮想体験のエンタテイメント性を向上させることができる。
（項目２）
前記記録データに基づいて、前記全方位動画を前記仮想空間内で再生するステップ（図１４のＳ３８，図１５のＳ４５，図１８のＳ５５）をさらに含み、
前記再生するステップにおいて、前記コンテンツ情報および前記動き情報に基づいて前記撮影期間における前記仮想空間２を特定し、特定された前記仮想空間２における所定の視点位置からの全方位の映像である前記全方位動画を生成する、
項目１の情報処理方法。
本項目の情報処理方法によれば、所定の視点位置からの全方位動画を仮想空間２内で再生することができる。
（項目３）
前記コンテンツ情報は、前記仮想空間２の背景を規定する背景画像データと、各オブジェクトの定義情報と、を含み、
前記コンテンツ情報に含まれる前記変形オブジェクトの定義情報と、前記変形オブジェクトの前記動き情報とに基づいて、前記全方位動画における前記変形オブジェクトの動作を特定し、特定された前記変形オブジェクトの動作と前記背景画像データとに基づいて、前記全方位動画を生成する、
項目２の情報処理方法。
本項目の情報処理方法によれば、撮影期間における仮想空間２が撮影された全方位動画を生成するにあたって、変形オブジェクトの動作（形状および姿勢等）を、変形オブジェクトの定義情報と動き情報とに基づいて特定することができる。
（項目４）
前記視界画像は、前記ユーザ端末の動きに応じて決定される前記仮想空間２内の仮想カメラ１の位置および傾きに基づいて生成され、
前記仮想カメラ１の位置が、前記視点位置として設定される、
項目２または３の情報処理方法。
本項目の情報処理方法によれば、ユーザ１９０は、現時点の仮想空間２内を移動することにより、あたかも過去の仮想空間２内を同じように移動しているかのような風景の変化を、仮想スクリーン上に再生される全方位動画を通じて楽しむことが可能となる。
（項目５）
前記動き情報は、前記変形オブジェクトの予め定められた複数の部分Ｐの位置を示す情報である、
項目１〜４のいずれかの情報処理方法。
本項目の情報処理方法によれば、動き情報のデータ量を抑えることができる。
（項目６）
前記仮想空間２内における視点情報を前記ユーザ１９０から受け付けるステップ（図１９のＳ６１）と、
前記記録データに基づいて特定される前記撮影期間における前記仮想空間のうち、前記視点情報に基づいて特定される部分を２次元画像データとして抽出するステップ（図１９のＳ６４）と、
をさらに含む、
項目１〜５のいずれかの情報処理方法。
本項目の情報処理方法によれば、記録された仮想空間２（撮影期間における仮想空間２）内の任意の視点位置からの２次元画像データを抽出する仮想体験が可能となり、ユーザ１９０の仮想体験をよりリッチにし得る。
（項目７）
前記記録データを再定義するための編集情報を前記ユーザ１９０から受け付けるステップ（図１９のＳ６５）と、
前記記録データおよび前記編集情報に基づいて特定される前記撮影期間における前記仮想空間２のうち、前記視点情報に基づいて特定される部分を前記２次元画像データとして抽出するステップ（図１９のＳ６６）と、
をさらに含む、
項目６の情報処理方法。
本項目の情報処理方法によれば、ユーザ１９０の好みの構図の２次元画像データを生成する機能をユーザ１９０に提供することが可能となる。
（項目８）
前記仮想空間２内の基準位置ＲＰを設定するステップ（図１５のＳ４１）をさらに含み、
前記保存するステップにおいて、前記撮影期間における前記基準位置ＲＰからの全方位の映像が記録された映像データを、前記記録データとして保存する、
項目１〜７のいずれかの情報処理方法。
本項目の情報処理方法によれば、現実空間における３６０度カメラによる撮影と同様に、仮想空間２内の基準位置ＲＰを中心位置とする映像データを記録データとして保存することができる。
（項目９）
前記基準位置ＲＰは、予め用意された複数のモードのうちから前記ユーザ１９０によって選択されたモードに基づいて設定され、
前記モードは、前記基準位置ＲＰの移動パターンを決定する際の基準となるルールを示す情報である、
項目８の情報処理方法。
本項目の情報処理方法によれば、仮想的なカメラマンが移動パターンに基づくルートに沿って移動しながら撮影したような映像データを取得することが可能となる。
（項目１０）
前記複数のモードは、発言量の多いユーザ１９０に関連付けられたキャラクタオブジェクト（アバター）が優先的に映されるように前記基準位置ＲＰを移動させる移動パターンに対応するモードを含む、
項目９の情報処理方法。
本項目の情報処理方法によれば、仮想空間２内で盛り上がっている場所を優先的に映すモードをユーザ１９０に提供することができる。
（項目１１）
前記コンピュータは、判定モデルを格納しており、
前記判定モデルは、複数のユーザ１９０の各々が選択した前記モードと、当該ユーザ１９０の属性情報と、に基づいて生成され、
前記モードは、前記仮想空間２に関連付けられた前記ユーザ１９０の属性情報と前記判定モデルとに基づいて特定され、
前記基準位置ＲＰは、特定された前記モードに基づいて設定される、
項目９または１０の情報処理方法。
本項目の情報処理方法によれば、例えば機械学習によって生成された判定モデルを用いることにより、ユーザ１９０に適したモードを自動的に選択することができる。
（項目１２）
項目１〜１１のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
（項目１３）
少なくともメモリ（メモリモジュール２４０）と、前記メモリに結合されたプロセッサ（プロセッサ１０）とを備え、前記プロセッサの制御により項目１〜１１のいずれかの情報処理方法を実行する、装置。

１…仮想カメラ、２…仮想空間、５…基準視線、１０…プロセッサ、１１…メモリ、１２…ストレージ、１３…入出力インターフェース、１４…通信インターフェース、１５…バス、１９…ネットワーク、２１…中心、２２…仮想空間画像、２３…視界領域、２４，２５…領域、３１…フレーム、３２…天面、３３，３４，３６，３７…ボタン、３５…赤外線ＬＥＤ、３８…アナログスティック、１００，１００Ａ，１００Ｂ，１００Ｃ…ＨＭＤシステム、１１０，１１０Ａ，１１０Ｂ，１１０Ｃ…ＨＭＤ装置、１１２…ディスプレイ、１１４…センサ、１１６…カメラ、１１８…マイク、１２０…ＨＭＤセンサ、１３０…モーションセンサ、１４０…注視センサ、１５０…サーバ、１６０…コントローラ、１６０Ｒ…右コントローラ、１９０，１９０Ａ，１９０Ｂ，１９０Ｃ…ユーザ、２００…コンピュータ、２２０…表示制御モジュール、２２１…仮想カメラ制御モジュール、２２２…視界領域決定モジュール、２２３…視界画像生成モジュール、２２４…基準視線特定モジュール、２３０…仮想空間制御モジュール、２３１…仮想空間定義モジュール、２３２…仮想オブジェクト制御モジュール、２３３…チャット制御モジュール、２３４…仮想空間記録モジュール、２４０…メモリモジュール、２４１…コンテンツ情報、２４２…オブジェクト情報、２４３…ユーザ情報、２５０…通信制御モジュール、８１０…右手、Ａ１，Ａ２，Ａ３…アバター、Ｄ…表示オブジェクト、Ｆ１，Ｆ２，Ｆ３…非変形オブジェクト、Ｈ…手オブジェクト、Ｍ…視界画像、Ｐ…部分、ＲＰ，ＲＰ１，ＲＰ２，ＲＰ３…基準位置、ＲＴ…ルート。

Claims (4)

1. 表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法であって、
   前記仮想体験を提供するための仮想空間を定義する仮想空間データを生成するステップと、
   前記ユーザ端末の動きと、前記仮想空間データと、に基づいて視界画像を生成し、前記表示部に前記視界画像を表示させるステップと、
   前記仮想空間データに基づいて、所定の撮影期間における前記仮想空間内の指定位置からの全方位の映像である全方位動画を再生するための記録データを保存するステップと、
   前記仮想空間内の基準位置を設定するステップと、
   を含み、
   前記保存するステップにおいて、前記撮影期間における前記基準位置からの全方位の映像が記録された映像データを、前記記録データとして保存し、
   前記基準位置は、予め用意された複数のモードのうちから前記ユーザによって選択されたモードに基づいて設定され、
   前記モードは、前記基準位置の移動パターンを決定する際の基準となるルールを示す情報であり、
   前記複数のモードは、発言量の多いユーザに関連付けられたキャラクタオブジェクトが優先的に映されるように前記基準位置を移動させる移動パターンに対応するモードを含む、情報処理方法。
2. 前記コンピュータは、判定モデルを格納しており、
   前記判定モデルは、複数のユーザの各々が選択した前記モードと、当該ユーザの属性情報と、に基づいて生成され、
   前記モードは、前記仮想空間に関連付けられた前記ユーザの属性情報と前記判定モデルとに基づいて特定され、
   前記基準位置は、特定された前記モードに基づいて設定される、
   請求項１に記載の情報処理方法。
3. 請求項１又は２に記載の情報処理方法をコンピュータに実行させる、プログラム。
4. 少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により請求項１又は２に記載の情報処理方法を実行する、装置。