JP6248219B1 - 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】複数のユーザに共有される仮想空間における仮想体験のエンタテイメント性を向上させ得る。【解決手段】第１ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法は、第１ユーザに関連付けられた第１アバターと、キャラクタオブジェクトと、第２ユーザに関連付けられた第２アバターと、仮想カメラとを含む仮想空間を定義する仮想空間データを取得するステップと、仮想カメラが第１アバターの視点に関連付けられる第１視点モードと、仮想カメラがキャラクタオブジェクトの視点に関連付けられる第２視点モードとを含む複数の視点モードのうちから、適用される視点モードを決定するステップと、適用される視点モードに応じて仮想カメラにより定義される視界画像を第１ユーザに提供するステップと、を含む。【選択図】図１９

Description

本開示は、情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

仮想空間におけるゲーム体験（ＶＲゲーム）をユーザに提供するハードウェアとして、プレイステーション（登録商標）ＶＲが知られている（非特許文献１参照）。プレイステーションＶＲでは、ユーザは、例えば両手で保持可能なコントローラを用いて仮想空間におけるプレイヤキャラクタ等を操作することにより、ＶＲゲームをプレイすることができる。コントローラを用いてＶＲゲームをプレイするための技術については、特許文献１，２にも開示されている。

特開２０１５−２３２７８３号公報 特開２０１６−１５８７９４号公報

"PlayStation（登録商標）VR｜プレイステーション（登録商標）オフィシャルサイト"、［online］、SONY、［平成２９年２月８日検索］、インターネット＜https://www.youtube.com/watch?v=NCpNKLXovtE＞

ところで、複数のユーザが仮想空間において各自のプレイヤキャラクタを操作するマルチプレイゲームの分野においては、ユーザの仮想体験のエンタテイメント性を高めるための更なる工夫が求められている。

本開示は、上述のような課題を解決するためになされたものであり、複数のユーザに共有される仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

本開示が示す一態様によれば、表示部を備えるヘッドマウントデバイスを介して第１ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法が提供される。この情報処理方法は、第１ユーザに関連付けられた第１アバターと、第１ユーザにより使用されるコントローラに対する入力操作に基づいて操作されるキャラクタオブジェクトと、第２ユーザに関連付けられた第２アバターと、ヘッドマウントデバイスに提供される視界画像を定義する仮想カメラとを含む仮想空間を定義する仮想空間データを取得するステップと、コントローラに対する予め定められた入力操作および前記コントローラの状態の少なくとも一方に基づいて、仮想カメラが第１アバターの視点に関連付けられる第１視点モードと、仮想カメラがキャラクタオブジェクトの視点に関連付けられる第２視点モードとを含む複数の視点モードのうちから、適用される視点モードを決定するステップと、適用される視点モードに応じて仮想カメラにより定義される視界画像を、ヘッドマウントデバイスを介して第１ユーザに提供するステップと、を含む。

本開示によれば、複数のユーザに共有される仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することが可能となる。

ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。 一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。 ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。 仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。 仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。 ある実施の形態に従うコントローラ１６０の概略構成を表す図である。 ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。 ＨＭＤシステム１００Ａが実行する処理を表すフローチャートである。 複数ユーザに共有される仮想空間２を模式的に表す図である。 ユーザ１９０Ａに提供される視界画像Ｍ１の一例を表す図である。 ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、およびサーバ１５０が実行する処理を表すシーケンス図である。 図１３におけるステップＳ２３Ａの詳細な処理を表すフローチャートである。 第１の変形例に係る処理を表すフローチャートである。 第２操作モードにおけるアバターＡ１の動作制御の一例を表す図である。 第２の変形例に係る処理を表すフローチャートである。 第２の変形例に係るＨＭＤシステム１００Ｂの処理を表すフローチャートである。 第２の変形例に係る仮想空間２の一例を表す図である。 第２の変形例に係るユーザ１９０Ｂに提供される視界画像Ｍ２の一例を表す図である。 第３の変形例に係る処理を表すフローチャートである。 第２モードにおけるアバターＡ１の手オブジェクトＶＨ１の動作制御の一例を表す図である。 コントローラの変形例を表す図である。

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head Mount Device）システム１００の構成について説明する。図１は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

ＨＭＤシステム１００は、ＨＭＤ装置１１０（ヘッドマウントデバイス）と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ装置１１０は、モニタ１１２（表示部）と、マイク１１８と、注視センサ１４０とを含む。

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。別の局面において、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。

ＨＭＤ装置１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ装置１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。

モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザの両目の前方に位置するようにＨＭＤ装置１１０の本体に配置されている。したがって、ユーザは、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。モニタ１１２は、ＨＭＤ装置１１０の本体と一体に構成されてもよいし、別体として構成されてもよい。

ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

マイク１１８は、ユーザが発した音声を取得する。マイク１１８によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。検知結果は、後述するアバターの表情等に反映されてもよい。当該音声は、仮想空間２に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク１９およびサーバ１５０等を介して、他のユーザが使用するＨＭＤシステムに送られ、当該ＨＭＤシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話（チャット）が実現される。

ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０およびコントローラ１６０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ装置１１０の位置および傾き、ならびにコントローラ１６０の位置および傾きを検出する。

なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ装置１１０およびコントローラ１６０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ装置１１０の位置および傾き、ならびにコントローラ１６０の位置および傾きを検出することができる。

別の局面において、ＨＭＤ装置１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ装置１１０は、センサ１１４を用いて、ＨＭＤ装置１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ装置１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ装置１１０は、各角速度に基づいて、ＨＭＤ装置１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ装置１１０の傾きを算出する。また、ＨＭＤ装置１１０は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ装置１１０に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤ装置に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。なお、サーバ１５０は、一または複数のコンピュータ装置により構成され、後述するコンピュータ２００のハードウェア構成と同様に、一般的なコンピュータが備えるハードウェア構成（プロセッサ、メモリ、ストレージ等）を備える。

コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。本実施形態では、コントローラ１６０は、ユーザ１９０によって両手で把持されるタイプの入力装置である。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想現実を提供する空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ１９０によって与えられる操作を受け付ける。上述したように、現実空間におけるコントローラ１６０の位置および傾きは、ＨＭＤセンサ１２０（あるいはカメラ等）によって検出され得る。別の局面において、コントローラ１６０は、位置検出器として、上述したセンサ１１４と同様のセンサ（図示しない）を備えてもよい。この場合、当該センサにより、コントローラ１６０の位置および傾きが検出され得る。また、ＨＭＤセンサ１２０とコントローラ１６０が備えるセンサとが併用されてもよい。この場合、例えば、コントローラ１６０の位置はＨＭＤセンサ１２０によって検出され、コントローラ１６０の傾きはコントローラ１６０が備えるセンサによって検出される。

［ハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェース１３と、通信インターフェース１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。メモリ１１に保存されるデータは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発性メモリとして実現される。

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ２００との通信を実現するためのプログラム等を含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。

ある実施の形態において、入出力インターフェース１３は、ＨＭＤ装置１１０およびＨＭＤセンサ１２０との間で信号を通信する。ある局面において、入出力インターフェース１３は、ＵＳＢ（Universal Serial Bus）インターフェース、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェース１３は上述のものに限られない。例えば、入出力インターフェース１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インターフェースを含んでもよい。

ある実施の形態において、入出力インターフェース１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェース１３は、コントローラ１６０から出力された信号の入力を受ける。別の局面において、入出力インターフェース１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

通信インターフェース１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェース１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェース、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェースとして実現される。なお、通信インターフェース１４は上述のものに限られない。

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェース１３を介して、仮想空間を提供するための信号をＨＭＤ装置１１０に送る。ＨＭＤ装置１１０は、その信号に基づいてモニタ１１２に映像を表示する。

サーバ１５０は、ネットワーク１９を介して複数のＨＭＤシステム１００の各々の制御装置と接続される。図２に示される例では、サーバ１５０は、ＨＭＤ装置１１０Ａを有するＨＭＤシステム１００Ａと、ＨＭＤ装置１１０Ｂを有するＨＭＤシステム１００Ｂとを含む複数のＨＭＤシステム１００を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各ＨＭＤシステムを使用するユーザに提供される。なお、ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、およびその他のＨＭＤシステム１００は、いずれも同様の構成を備える。ただし、各ＨＭＤシステム１００は、互いに異なる機種であってもよいし、互いに異なる性能（処理性能および検知性能等）を有するものであってもよい。

なお、図２に示される例では、コンピュータ２００がＨＭＤ装置１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ装置１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

また、コンピュータ２００は、複数のＨＭＤ装置１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のＨＭＤシステム１００は、入出力インターフェース１３により、コンピュータ２００に直接接続されてもよい。また、本実施形態におけるサーバ１５０の各機能（例えば後述する同期処理等）は、コンピュータ２００に実装されてもよい。

ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ装置１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ装置１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ装置１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ装置１１０の位置および傾きの時間的変化を検出できる。

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ装置１１０の各傾きは、グローバル座標系におけるＨＭＤ装置１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ装置１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ装置１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の起動時に、グローバル座標系におけるＨＭＤ装置１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。

図３に示されるように、ＨＭＤ装置１１０は、ＨＭＤ装置１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ装置１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ装置１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

ある局面において、ＨＭＤ装置１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ｕｖｗ視野座標系がＨＭＤ装置１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ装置１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ装置１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ装置１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ装置１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ装置１１０の傾き角度を表す。

ＨＭＤセンサ１２０は、検出されたＨＭＤ装置１１０の傾き角度に基づいて、ＨＭＤ装置１１０が動いた後のＨＭＤ装置１１０におけるｕｖｗ視野座標系を、ＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０と、ＨＭＤ装置１１０のｕｖｗ視野座標系との関係は、ＨＭＤ装置１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ装置１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ装置１１０のｕｖｗ視野座標系の位置および傾きが変化する。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ装置１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系の原点を決定してもよい。

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

ＨＭＤ装置１１０の起動時、すなわちＨＭＤ装置１１０の初期状態において、仮想カメラ１は、例えば仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ装置１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ装置１１０の位置および向きの変化が、仮想空間２において同様に再現される。

仮想カメラ１には、ＨＭＤ装置１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ装置１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ装置１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ装置１１０を装着したユーザの視界に対応する。

注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ装置１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ装置１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。

［ユーザの視線］
図５を参照して、ユーザの視線方向の決定について説明する。図５は、ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

［視界領域］
図６および図７を参照して、視界領域２３について説明する。図６は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。

図６に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。

図７に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ装置１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。

ユーザ１９０は、ＨＭＤ装置１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。

ある局面において、プロセッサ１０は、ＨＭＤ装置１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ装置１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。すなわち、仮想カメラ１によって、仮想空間２におけるユーザ１９０の視野が定義される。

ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ装置１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

［コントローラ］
図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。図８の状態（Ａ）は、コントローラ１６０の上面の外観構成を示しており、図８の状態（Ｂ）は、コントローラ１６０の奥側側面の外観構成を示している。ここで、コントローラ１６０の上面とは、ユーザ１９０がコントローラ１６０を両手で保持した場合に、ユーザ１９０の方を向く面である。

図８の状態（Ａ）に示されるように、コントローラ１６０の上面には、入力部としての、方向キー１６１、アナログスティック１６２Ｌ，１６２Ｒ、４種の操作ボタン１６３、タッチパッド１６４、および機能ボタン１６５等が設けられている。また、コントローラ１６０は、ユーザ１９０がコントローラ１６０を把持するための把持部１６６を有する。把持部１６６は、ユーザ１９０の左手によって把持される左把持部１６６Ｌとユーザ１９０の右手によって把持される右把持部１６６Ｒとを有する。また、図８の状態（Ｂ）に示されるように、コントローラ１６０の奥側側面には、入力部としての上部ボタン１６７Ｌ，１６７Ｒと、コントローラ１６０から送信される指示情報等に基づいて発光する発光部１６８とが設けられている。

タッチパッド１６４は、方向キー１６１と操作ボタン１６３との間に設けられている。機能ボタン１６５は、左右のアナログスティック１６２Ｌ，１６２Ｒの間に設けられている。機能ボタン１６５は、例えばコントローラ１６０を起動したり、コントローラ１６０とコンピュータ２００との間の通信接続をアクティブにしたりするために使用され得る。その他の入力部（方向キー１６１、アナログスティック１６２、操作ボタン１６３、および上部ボタン１６７）は、後述するアバターおよびプレイヤキャラクタの操作等に使用され得る。例えば、アナログスティック１６２は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動させるための操作を含む。

方向キー１６１およひアナログスティック１６２Ｌは、ユーザ１９０の左手の親指による操作を受け付けることを想定して配置されている。操作ボタン１６３およびアナログスティック１６２Ｒは、ユーザ１９０の右手の親指による操作を受け付けることを想定して配置されている。上部ボタン１６７Ｌは、ユーザ１９０の左手の人差し指による操作を受け付けることを想定して配置されており、上部ボタン１６７Ｒは、ユーザ１９０の右手の人差し指による操作を受け付けることを想定して配置されている。ただし、コントローラ１６０の形状、各部の配置構成、および各部の機能は、上記例に限られない。例えば、操作ボタン１６３の個数は４つ以外（例えば２つ）であってもよいし、アナログスティック１６２Ｌ，１６２Ｒが省略されてもよい。

ある局面において、コントローラ１６０は、発光部１６８その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、コントローラ１６０は、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、コントローラ１６０は、電池を必要としない。

［ＨＭＤ装置の制御装置］
図９を参照して、ＨＭＤ装置１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図９は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。

図９に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト制御モジュール２３２と、コントローラ情報取得モジュール２３３と、チャット制御モジュール２３４とを含む。

ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェース１４によって実現される。

ある局面において、表示制御モジュール２２０は、ＨＭＤ装置１１０のモニタ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ装置１１０を装着したユーザの頭の向きに応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、モニタ１１２に表示される視界画像を生成する。基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。

仮想オブジェクト制御モジュール２３２は、後述するオブジェクト情報２４２に基づいて、仮想空間２に配置される対象オブジェクトを生成する。また、仮想オブジェクト制御モジュール２３２は、仮想空間２における対象オブジェクトの動作（移動および状態変化等）を制御する。また、仮想オブジェクト制御モジュール２３２は、後述するコントローラ情報取得モジュール２３３により取得されたコントローラ情報等に基づいて、アバターおよびプレイヤキャラクタの動作（移動および状態変化等）を制御する。対象オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。アバターは、ＨＭＤ装置１１０を装着したユーザに関連付けられたオブジェクトである。アバターは、仮想空間２におけるユーザの分身としての位置付けを有するオブジェクトである。一方、プレイヤキャラクタは、仮想空間２で展開されるゲームにおいて、ユーザによって操作されるキャラクタオブジェクトである。本実施形態では、仮想空間２で展開されるゲームは、複数のユーザが仮想空間２に用意されたゲームフィールド（例えば闘技場）上で各自のプレイヤキャラクタ同士を闘わせる対戦ゲーム（あるいは、複数のユーザ同士が協力して進めるアクションゲーム等）である。また、アバターは人型のオブジェクトであり、プレイヤキャラクタは動物を模したオブジェクトである。ただし、プレイヤキャラクタは、仮想空間２で展開されるゲームの内容に応じて適宜の形態を採り得る。例えば、プレイヤキャラクタは、人型のオブジェクトであってもよいし、ロボット等の生物以外を模したオブジェクトであってもよい。より具体的には、仮想空間２で展開されるゲームがラジコンカーを用いたレースゲームである場合、プレイヤキャラクタは、ラジコンカーを表すオブジェクトであってもよい。

コントローラ情報取得モジュール２３３は、コントローラ１６０の状態を特定するための状態情報と、コントローラ１６０に対するユーザ１９０による入力操作の内容を示す操作情報とを含むコントローラ情報を取得する。状態情報は、例えば、上述したＨＭＤセンサ１２０等により検出されたコントローラ１６０の位置および傾きを特定するための情報である。コントローラ情報は、コントローラ１６０の状態およびコントローラ１６０に対する入力操作の内容を仮想空間２におけるアバターまたはプレイヤキャラクタに反映させるために、仮想オブジェクト制御モジュール２３２に受け渡される。また、コントローラ情報取得モジュール２３３は、後述するチャット制御モジュール２３４を介して取得された他のユーザのコントローラ情報についても、適宜仮想オブジェクト制御モジュール２３２に受け渡す。これにより、他のユーザに関連付けられたアバターまたはプレイヤキャラクタを、他のユーザのコントローラ情報に基づいて動作させることができる。

チャット制御モジュール２３４は、同じ仮想空間２に滞在する他のユーザのアバターとチャットをするための制御を行う。例えば、チャット制御モジュール２３４は、仮想空間２を介したチャットを行うために必要なデータ（例えば、マイク１１８に入力された音声データ）をサーバ１５０に送信する。また、チャット制御モジュール２３４は、サーバ１５０から受信した他のユーザの音声データを図示しないスピーカに出力する。これにより、音声によるチャットが実現される。また、チャット制御モジュール２３４は、その他ユーザ間で共有すべきデータについても、サーバ１５０を介して他のユーザのＨＭＤシステム１００との間で送受信する。共有すべきデータとしては、アバターの身体の一部の動作を制御するための動き情報、およびプレイヤキャラクタの動作を制御するためのコントローラ情報等がある。動き情報は、例えば、ＨＭＤセンサ１２０等により検出されたＨＭＤ装置１１０の位置および傾きを特定するための情報（以下「向きデータ」）、および注視センサ１４０等により検出されたアイトラッキングデータ等である。本実施形態では、チャット制御モジュール２３４は、音声データと動き情報とコントローラ情報とを含む情報（以下「プレイヤ情報」という。）を、ユーザ間で共有すべき情報として、サーバ１５０を介して他のユーザのＨＭＤシステム１００との間で送受信する。プレイヤ情報の送受信は、後述する通信制御モジュール２５０の機能を利用することにより実現される。

仮想空間制御モジュール２３０は、仮想空間２に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール２３０は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。空間情報２４１には、例えば、仮想空間２を提供するために規定された１つ以上のテンプレートが含まれている。オブジェクト情報２４２には、例えば、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。オブジェクト情報２４２には、各オブジェクト（例えば、対象オブジェクトおよびアバター等）を描画するための描画情報も含まれている。また、オブジェクト情報２４２は、各オブジェクトに関連付けられた属性を示す属性情報も含み得る。対象オブジェクトの属性情報としては、例えば当該対象オブジェクトが可動物であるか固定物であるかを示す情報等が挙げられる。ユーザ情報２４３には、例えば、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。

メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ装置１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、メモリモジュール２４０に一旦格納される。そのソフトウェアは、プロセッサ１０によってメモリモジュール２４０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。

図９に示されるコンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。

ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。

［制御構造］
図１０を参照して、本実施の形態に係るコンピュータ２００の制御構造について説明する。図１０は、ユーザ１９０Ａ（第１ユーザ）によって使用されるＨＭＤシステム１００Ａがユーザ１９０Ａに仮想空間２を提供するために実行する処理を表すフローチャートである。

ステップＳ１において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間画像データを特定し、仮想空間２を定義する仮想空間データを取得する。ここで、プロセッサ１０は、仮想空間２を共有する他のユーザのアバターおよびプレイヤキャラクタの初期配置等に関する情報をサーバ１５０等から受信することにより、当該他のユーザのアバターおよびプレイヤキャラクタを含む仮想空間２を定義する仮想空間データを生成することができる。あるいは、各ＨＭＤシステム１００と通信可能に接続されたサーバ１５０によって、複数のユーザに共通の仮想空間２を定義する仮想空間データが生成されてもよい。この場合、プロセッサ１０は、サーバ１５０から仮想空間データをダウンロードすることにより、仮想空間データを取得することができる。

ステップＳ２において、プロセッサ１０は、仮想カメラ制御モジュール２２１として、仮想カメラ１を初期化する。例えば、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心点（あるいはその他の予め規定されたデフォルト位置）に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。

ステップＳ３において、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ装置１１０に送られる。

ステップＳ４において、ＨＭＤ装置１１０のモニタ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ装置１１０を装着したユーザ１９０Ａは、視界画像を視認すると仮想空間２を認識し得る。

ステップＳ５において、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０から発信される複数の赤外線光に基づいて、ＨＭＤ装置１１０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に送られる。

ステップＳ６において、プロセッサ１０は、視界領域決定モジュール２２２として、ＨＭＤ装置１１０の位置と傾きとに基づいて、ＨＭＤ装置１１０を装着したユーザ１９０Ａの視界方向を特定する。プロセッサ１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間２にオブジェクトを配置する。

ステップＳ７において、コントローラ１６０は、現実空間におけるユーザ１９０Ａの操作を検出する。例えば、ある局面において、コントローラ１６０は、ユーザ１９０Ａによってボタンが押下されたことを検出する。また、上述したようにＨＭＤセンサ１２０またはコントローラ１６０自身が備えるセンサは、コントローラ１６０の位置および傾きを検出する。検出結果を示す信号は、ＨＭＤセンサ１２０またはコントローラ１６０からコンピュータ２００に送られる。このようにして、コントローラ１６０に対するユーザ１９０Ａによる入力操作の内容を示す操作情報とコントローラ１６０の状態（位置および傾き等）を特定するための状態情報とを含むコントローラ情報が、コンピュータ２００に送られる。そして、プロセッサ１０は、コントローラ情報取得モジュール２３３として、当該コントローラ情報を取得する。

ステップＳ８において、プロセッサ１０は、コントローラ情報取得モジュール２３３およびチャット制御モジュール２３４として、サーバ１５０から、仮想空間２を共有する他のユーザのプレイヤ情報（音声データ、動き情報、およびコントローラ情報等）を取得する。

ステップＳ９において、プロセッサ１０は、仮想オブジェクト制御モジュール２３２として、ユーザ１９０Ａを含む各ユーザ１９０のプレイヤ情報に基づいて、各ユーザのアバターおよびプレイヤキャラクタの動作を制御する。

ステップＳ１０において、プロセッサ１０は、視界画像生成モジュール２２３として、ステップＳ９の処理結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをＨＭＤ装置１１０に出力する。

ステップＳ１１において、ＨＭＤ装置１１０のモニタ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。

図１１は、仮想空間２の一例を模式的に表す図である。図１１に示されるように、仮想空間２は、ユーザ１９０Ａに関連付けられたアバターＡ１（第１アバター）と、ユーザ１９０Ａにより使用されるコントローラ１６０Ａ（第１コントローラ）に対する入力操作に基づいて操作されるプレイヤキャラクタＣ１（第１キャラクタオブジェクト）と、ユーザ１９０Ａとは異なるユーザ１９０Ｂ（第２ユーザ）に関連付けられたアバターＡ２（第２アバター）と、ユーザ１９０Ｂにより使用されるコントローラ１６０Ｂ（第２コントローラ）に対する入力操作に基づいて操作されるプレイヤキャラクタＣ２（第２キャラクタオブジェクト）と、ユーザ１９０Ａに装着され、モニタ１１２（第１表示部）を備えるＨＭＤ装置１１０Ａ（第１ヘッドマウントデバイス）に提供される視界画像Ｍ１を定義する仮想カメラ１Ａ（第１仮想カメラ）と、ユーザ１９０Ｂに装着され、モニタ１１２（第２表示部）を備えるＨＭＤ装置１１０Ｂ（第２ヘッドマウントデバイス）に提供される視界画像Ｍ２を定義する仮想カメラ１Ｂ（第２仮想カメラ）とを含む。また、図１１に示される例では、仮想空間２は、さらに、コントローラ１６０Ａ，１６０Ｂに対応する仮想的なコントローラを表すコントローラオブジェクトＶＣ１，ＶＣ２と、アバターＡ１，Ａ２の仮想的な手を表す手オブジェクトＶＨ１，ＶＨ２とを含む。

図１１に示される例では、仮想空間２において、複数のユーザ１９０Ａ，１９０Ｂが各自のプレイヤキャラクタＣ１，Ｃ２をゲームフィールドＦ上で闘わせる対戦ゲーム（ここでは、爆弾Ｂ１を投げ合うゲーム）が展開されている。仮想空間２では、ゲームに関連するプレイヤキャラクタＣ１，Ｃ２だけでなく、コントローラオブジェクトＶＣ１，ＶＣ２を保持するアバターＡ１，Ａ２が所定の位置に配置されている。これにより、仮想空間２において、各ユーザ１９０Ａ，１９０ＢのアバターＡ１，Ａ２が各プレイヤキャラクタＣ１，Ｃ２を操作しているシチュエーションが表現されている。また、仮想カメラ１Ａ，１Ｂは、アバターＡ１，Ａ２の視点に関連付けられている。これにより、ユーザ１９０Ａ，１９０Ｂに対して、アバターＡ１，Ａ２の１人称視点における視界画像Ｍ１，Ｍ２が提供される。

図１２は、ＨＭＤ装置１１０Ａを介してユーザ１９０Ａに提供される視界画像Ｍ１の一例を表す図である。図１２に示されるように、ユーザ１９０Ａは、視界画像Ｍ１を認識することによって、あたかも自分がアバターＡ１として仮想空間２に存在しているかのような仮想体験をすることができる。同様に、ユーザ１９０Ｂは、視界画像Ｍ２を認識することによって、あたかも自分がアバターＡ２として仮想空間２に存在しているかのような仮想体験をすることができる。

ここで、仮想空間２におけるコントローラオブジェクトＶＣ１，ＶＣ２のデザインは、コントローラ１６０Ａ，１６０Ｂの機種等に応じて決定されてもよい。例えば、プロセッサ１０は、コントローラ１６０Ａの機種を示す情報をコントローラ１６０Ａから取得し、オブジェクト情報２４２として機種毎に予め用意されたコントローラオブジェクトの描画データに基づいて、コントローラオブジェクトＶＣ１を描画してもよい。これにより、各ユーザ１９０Ａ，１９０Ｂは、視界画像Ｍ１，Ｍ２に表示されるコントローラオブジェクトＶＣ１，ＶＣ２のデザインに基づいて、他のユーザが利用するコントローラ１６０のタイプ（例えば両手持ちであるか片手持ちであるか）を把握することができる。

このような仮想空間２によれば、各ユーザ１９０Ａ，１９０Ｂに対して、アバターＡ１，Ａ２を介したチャットおよびマルチプレイゲームを提供することができる。また、この仮想空間２には、各ユーザ１９０Ａ，１９０ＢのアバターＡ１，Ａ２およびプレイヤキャラクタＣ１，Ｃ２の両方が存在する。このため、各ユーザ１９０Ａ，１９０Ｂは、アバターＡ１，Ａ２を介して互いの存在を認識しつつ、仮想空間２において共通のゲームを楽しむことができる。これにより、各ユーザ１９０Ａ，１９０Ｂは、仮想空間２において、複数人で盛り上がっている感覚を容易に得ることができる。その結果、各ユーザ１９０Ａ，１９０Ｂの仮想体験のエンタテイメント性を向上させることができる。

図１３は、複数ユーザ１９０Ａ，１９０Ｂに同一の仮想空間２を共有させるために、各ＨＭＤシステム１００Ａ，１００Ｂおよびサーバ１５０によって実行される処理を表すシーケンス図である。なお、図１３に示される処理は、図１０におけるステップＳ７〜Ｓ９に示される処理と一部重複している。

ステップＳ２１Ａにおいて、ＨＭＤシステム１００Ａにおけるプロセッサ１０は、コントローラ情報取得モジュール２３３として、コントローラ１６０Ａについてのコントローラ情報を取得する。また、プロセッサ１０は、チャット制御モジュール２３４として、ユーザ１９０Ａの音声データを取得する。また、プロセッサ１０は、ＨＭＤセンサ１２０および注視センサ１４０等によって検出された向きデータおよびアイトラッキングデータを含む動き情報を取得する。これにより、音声データ、コントローラ情報、および動き情報を含むプレイヤ情報が取得される。また、プレイヤ情報には、アバターＡ１（あるいはユーザ１９０Ａ）を特定するための情報（ユーザＩＤ等）、およびアバターＡ１が存在する仮想空間２を特定するための情報（ルームＩＤ等）が含まれ得る。プロセッサ１０は、チャット制御モジュール２３４として、上述のように取得されたプレイヤ情報を、ネットワーク１９を介してサーバ１５０に送信する。

ステップＳ２１Ｂにおいて、ＨＭＤシステム１００Ｂのプロセッサ１０は、ステップＳ２１Ａの処理と同様に、ユーザ１９０Ｂのプレイヤ情報を取得し、サーバ１５０に送信する。

ステップＳ２２において、サーバ１５０は、複数のＨＭＤシステム１００（ここでは、ＨＭＤシステム１００Ａ，１００Ｂ）のそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ１５０は、各プレイヤ情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間２に関連付けられた全ユーザ（この例では、ユーザ１９０Ａ，１９０Ｂ）のプレイヤ情報を統合する。そして、サーバ１５０は、予め定められたタイミングで、統合したプレイヤ情報を当該仮想空間２に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤシステム１００Ａ，１００Ｂは、互いのプレイヤ情報をほぼ同じタイミングで共有することができる。

続いて、サーバ１５０から各ＨＭＤシステム１００Ａ，１００Ｂに送信されたプレイヤ情報に基づいて、各ＨＭＤシステム１００Ａ，１００Ｂは、ステップＳ２３Ａ，Ｓ２３Ｂの処理を実行する。ステップＳ２３Ａの処理は、図１０におけるステップＳ９の処理に相当する。

ステップＳ２３Ａにおいて、ＨＭＤシステム１００Ａにおけるプロセッサ１０は、仮想オブジェクト制御モジュール２３２として、仮想空間２におけるアバターＡ１，Ａ２およびプレイヤキャラクタＣ１，Ｃ２の動作を制御する。ステップＳ２３Ｂの処理は、ステップＳ２３Ａの処理と同様である。

図１４は、ステップＳ２３Ａの詳細な処理を示すフローチャートである。以下、図１４を参照して、ステップＳ２３Ａの処理内容（アバターおよびプレイヤキャラクタについての基本的な動作制御）について説明する。

ステップＳ３１において、プロセッサ１０は、各ユーザ１９０Ａ，１９０Ｂのプレイヤ情報（音声データ、動き情報、およびコントローラ情報）をサーバ１５０から取得する。

ステップＳ３２において、プロセッサ１０は、各ユーザ１９０Ａ，１９０Ｂのプレイヤ情報に含まれる動き情報（向きデータおよびアイトラッキングデータ）に基づいて、アバターＡ１，Ａ２の動作を制御する。例えば、プロセッサ１０は、各ユーザ１９０Ａ，１９０Ｂの向きデータに基づいて、対応するアバターＡ１，Ａ２の頭部の向きを変化させる。また、プロセッサ１０は、各ユーザ１９０Ａ，１９０Ｂのアイトラッキングデータに基づいて、対応するアバターＡ１，Ａ２に瞬きさせたり、当該アバターＡ１，Ａ２の視線方向を変化させたりする。また、プロセッサ１０は、動き情報に含まれるＨＭＤ装置１１０Ａ，１１０Ｂの位置情報とコントローラ情報に含まれるコントローラ１６０Ａ，１６０Ｂの位置情報とに基づいて、現実空間におけるコントローラ１６０Ａ，１６０ＢのＨＭＤ装置１１０Ａ，１１０Ｂに対する相対位置を算出する。そして、プロセッサ１０は、当該相対位置に基づいて、各アバターＡ１，Ａ２によって保持されるコントローラオブジェクトＶＣ１，ＶＣ２の位置を決定する。例えば、プロセッサ１０は、現実空間におけるコントローラ１６０Ａ，１６０ＢのＨＭＤ装置１１０Ａ，１１０Ｂに対する相対位置が、仮想空間２におけるコントローラオブジェクトＶＣ１，ＶＣ２のアバターＡ１，Ａ２の頭部に対する相対位置と一致するように、コントローラオブジェクトＶＣ１，ＶＣ２を仮想空間２に配置する。また、プロセッサ１０は、このようにして決定されたコントローラオブジェクトＶＣ１，ＶＣ２の位置に基づいて、アバターＡ１，Ａ２の手オブジェクトＶＨ１，ＶＨ２の位置を決定する。例えば、プロセッサ１０は、手オブジェクトＶＨ１，ＶＨ２がコントローラオブジェクトＶＣ１，ＶＣ２の両側を保持するように、手オブジェクトＶＨ１，ＶＨ２を配置する（図１１および図１２参照）。

ステップＳ３３において、プロセッサ１０は、各ユーザ１９０Ａ，１９０Ｂのプレイヤ情報に含まれるコントローラ情報に基づいて、プレイヤキャラクタＣ１，Ｃ２の動作を制御する。例えば、プロセッサ１０は、コントローラ１６０Ａ，１６０Ｂに対する入力操作の内容（操作情報）に基づいて、プレイヤキャラクタＣ１，Ｃ２の位置を変化させたり、特定の動作（例えば爆弾を投げる動作、および防御する動作等）を実行させたりする。

以上のような動作制御により、ユーザ１９０Ａ，１９０Ｂの動作（ここでは、頭部および目の動き）およびコントローラ１６０Ａ，１６０Ｂに対する入力操作に応じた動作を、アバターＡ１，Ａ２およびプレイヤキャラクタＣ１，Ｃ２に反映させることができる。なお、図１４に示されるフローチャートにおいて、ステップＳ３３の処理は、ステップＳ３２の処理よりも先に実行されてもよいし、ステップＳ３２の処理と同時並行的に実行されてもよい。

［第１の変形例］
続いて、本実施形態の第１の変形例について説明する。第１の変形例は、コントローラ１６０に対する入力操作に基づいてプレイヤキャラクタが操作される第１操作モードと、コントローラ１６０に対する入力操作に基づいてアバターが操作される第２操作モードとを切替可能な構成を有する。以下、図１５に示されるフローチャートを参照して、第１の変形例におけるアバターおよびプレイヤキャラクタの動作制御について説明する。図１５は、本変形例において、図１４に示されるフローチャートの代わりに実行される処理を表すフローチャートである。

ステップＳ４１において、プロセッサ１０は、ステップＳ３１の処理と同様に、各ユーザ１９０Ａ，１９０Ｂのプレイヤ情報をサーバ１５０から取得する。

ステップＳ４２〜Ｓ４５において、プロセッサ１０は、ユーザ毎に適用される操作モードを判定し、適用される操作モードに応じた動作制御を各ユーザのアバターおよびプレイヤキャラクタに対して実行する。

ステップＳ４２において、プロセッサ１０は、判定対象のユーザ（ここでは一例としてユーザ１９０Ａ）を選択する。

ステップＳ４３において、プロセッサ１０は、判定対象のユーザ１９０Ａに適用される操作モードを決定する。例えば、プロセッサ１０は、コントローラ１６０Ａに対する予め定められた入力操作がされたか否かに基づいて、適用される操作モードを決定する。例えば、タッチパッド１６４の押下操作が予め定められた入力操作である場合、第１操作モードと第２操作モードとは、タッチパッド１６４が１回押下される毎に切り替えられてもよい。この場合、プロセッサ１０は、現在の操作モードを示す情報（例えばメモリモジュール２４０に保持された情報）と、ユーザ１９０Ａのコントローラ情報とに基づいて、適用される操作モードを決定することができる。例えば、コントローラ情報に含まれる操作情報に上記の予め定められた入力操作（ここではタッチパッド１６４の押下操作）が含まれている場合には、プロセッサ１０は、現在の操作モードとは異なる方の操作モードを適用される操作モードとして決定することができる。一方、操作情報に予め定められた入力操作が含まれていない場合には、プロセッサ１０は、現在の操作モードを引き続き適用される操作モードとして決定することができる。

また、ステップＳ４３において、プロセッサ１０は、コントローラ１６０Ａの状態に基づいて、適用される操作モードを決定してもよい。この場合、プロセッサ１０は、ユーザ１９０Ａのコントローラ情報に含まれる状態情報を参照することにより、コントローラ１６０Ａの位置または傾きを特定してもよい。例えば、プロセッサ１０は、コントローラ１６０Ａの傾き（例えばコントローラ１６０Ａの上面が水平面に平行であるときを基準とした傾斜角度等）が所定値以上であるか否かを判定する。そして、プロセッサ１０は、コントローラ１６０Ａの傾きが所定値未満である場合に、コントローラ１６０Ａの状態がユーザ１９０Ａによって両手で保持されている第１状態であると判定してもよい。一方、プロセッサ１０は、コントローラ１６０Ａの傾きが所定値以上である場合に、コントローラ１６０Ａの状態がユーザ１９０Ａによって片手で保持されている第２状態であると判定してもよい。プロセッサ１０は、コントローラ１６０Ａの状態が第１状態であると判定された場合には、第１操作モードを適用されるモードとして決定し、コントローラ１６０Ａの状態が第２状態であると判定された場合には、第２操作モードを適用されるモードとして決定してもよい。これによれば、ユーザ１９０Ａは、コントローラ１６０Ａの保持状態（すなわち、両手持ちの状態または片手持ちの状態）に応じて、プレイヤキャラクタＣ１を操作可能な第１操作モードとアバターＡ１を操作可能な第２操作モードとを直感的に切り替えることができる。

また、ステップＳ４３において、プロセッサ１０は、コントローラ１６０ＡのＨＭＤ装置１１０Ａに対する相対位置に基づいて、適用される操作モードを決定してもよい。例えば、プロセッサ１０は、当該相対位置に基づいて、ユーザ１９０Ａの頭部の左側または右側において頭部の高さ位置よりも高い位置にコントローラ１６０Ａが位置する状態であるか否かを判定することができる。そして、プロセッサ１０は、コントローラ１６０Ａが当該状態であると判定された場合に、コントローラ１６０Ａの状態が第２状態（片手持ちの状態）であると判定してもよい。

また、コントローラ１６０Ａに対するユーザ１９０Ａによる予め定められた入力操作に基づいて操作モードを切り替える場合、上述したコントローラ１６０Ａの状態判定が併用されてもよい。例えば、プロセッサ１０は、上述したような判定によってコントローラ１６０Ａの状態が第２状態（片手持ちの状態）であると判定され、かつ、コントローラ１６０Ａに対する予め定められた入力操作（例えば、上部ボタン１６７の押下操作等）がされた場合に、操作モードを切り替えてもよい。このように、コントローラ１６０Ａに対する入力操作とコントローラ１６０Ａの状態との両方について所定の条件が満たされた場合に操作モードを切り替える構成によれば、操作モードの切り替えに関する誤操作の発生を抑制し得る。ユーザ１９０Ａの意図しない操作モードの切り替えの発生を抑制することにより、ユーザ１９０Ａのユーザビリティを向上させることができる。

第１操作モードが適用されると判定された場合（ステップＳ４３：ＹＥＳ）、ステップＳ４４において、プロセッサ１０は、上述したステップＳ３２における処理と同様に、ユーザ１９０Ａの動き情報に基づいてアバターＡ１の動作（頭部の向きおよび目の動き等）を制御する。また、プロセッサ１０は、上述したステップＳ３３における処理と同様に、ユーザ１９０Ａのコントローラ情報に基づいてプレイヤキャラクタＣ１の動作を制御する。

一方、第２操作モードが適用されると判定された場合（ステップＳ４３：ＮＯ）、ステップＳ４５において、プロセッサ１０は、ユーザ１９０Ａの動き情報およびコントローラ情報に基づいてアバターＡ１の動作（頭部の向きおよび目の動き等）を制御する。さらに、プロセッサ１０は、ユーザ１９０Ａのコントローラ情報に基づいてアバターＡ１の仮想的な身体の一部の動作を制御する。コントローラ１６０Ａの状態が第２状態（片手持ちの状態）であるときに第２操作モードが適用される場合、プロセッサ１０は、コントローラ１６０Ａを保持している方のユーザ１９０Ａの手（左手または右手）に関連付けられたアバターＡ１の手オブジェクトＶＨ１の動作を制御してもよい。例えば、プロセッサ１０は、コントローラ１６０Ａを保持している方のユーザ１９０Ａの手が右手である場合、アバターＡ１の右手部分に対応する手オブジェクトＶＨ１に予め定められた動作を実行させてもよい。なお、コントローラ１６０Ａが左手および右手のいずれで保持されているか否かは、検知されたコントローラ１６０Ａの傾きまたはコントローラ１６０Ａに対する入力操作の内容に基づいて把握され得る。例えば、上部ボタン１６７Ｌ（１６７Ｒ）を押下するためには左手（右手）でコントローラ１６０Ａを操作する必要があるため、上部ボタン１６７Ｌ（１６７Ｒ）の押下操作が検知された場合には、コントローラ１６０Ａは左手（右手）によって保持されていると判断され得る。

上記動作制御によってアバターＡ１に実行させる動作は、例えばコントローラ１６０Ａを保持している方のユーザ１９０Ａの手によるコントローラ１６０Ａに対する入力操作（例えば、操作ボタン１６３の押下等）に応じて決定されてもよい。また、この場合、以下のような２段階の操作によってアバターＡ１の動作が制御されてもよい。すなわち、プロセッサ１０は、コントローラ１６０Ａの状態が第２状態であることを検知した場合に、第２操作モードを適用するとともに、アバターＡ１の手オブジェクトＶＨ１の状態を、予め定められた状態に変化させてもよい。ここでは一例として、予め定められた状態は、爆弾を手に持っている状態であるものとする。その後、プロセッサ１０は、コントローラ１６０Ａに対する所定の入力操作（例えば、操作ボタン１６３の押下等）を検知した場合に、爆弾を投げる動作を手オブジェクトＶＨ１に実行させてもよい。例えば、プロセッサ１０は、仮想オブジェクト制御モジュール２３２として、コントローラ１６０Ａに対する入力操作によってユーザ１９０Ａから指示された方向に対象オブジェクトの一種である爆弾を飛ばす。そして、プロセッサ１０は、仮想空間２に予め関連付けられた環境条件（重力、空気抵抗等）に基づく物理計算を実行することにより爆弾の軌跡を算出し、当該軌跡に沿って爆弾を移動させる。

図１６は、第２操作モードにおけるアバターＡ１の動作制御の一例を表す図である。図１６に示される例は、上述したアバターＡ１の動作制御によって、アバターＡ１の右手部分に対応する手オブジェクトＶＨ１が爆弾Ｂ２をゲームフィールドＦに投げ込む様子を表している。このように、ユーザ１９０Ａは、操作モードを第２操作モードに切り替えることにより、アバターＡ１をゲームに介入させることができる。すなわち、この例のように、ユーザ１９０Ａは、アバターＡ１を操作することにより、自分のプレイヤキャラクタＣ１を支援すること等ができる。例えば、プレイヤキャラクタＣ１が戦闘不能（あるいは一時的な麻痺状態等）になったときでも、ユーザ１９０Ａは、操作モードを第２操作モードに切り替えることで、アバターＡ１を操作してゲームに介入し続けることができる。

ステップＳ４６において、プロセッサ１０は、仮想空間２を共有する全てのユーザについて処理を完了したか否かを判定し、全てのユーザについて処理を完了したと判定された場合に処理を終了する。これにより、各ユーザに適用される操作モードに応じて、各ユーザのアバターおよびプレイヤキャラクタの動作が制御される。

上記第１の変形例では、ユーザ１９０Ａに第１操作モードが適用される場合には、各ユーザ１９０Ａ，１９０Ｂに提供される視界画像Ｍ１，Ｍ２において、アバターＡ１が、コントローラオブジェクトＶＣ１を手オブジェクトＶＨ１で保持している態様で表示される。これにより、各ユーザ１９０Ａ，１９０Ｂは、視界画像Ｍ１，Ｍ２の表示内容に基づいて、ユーザ１９０Ａに第１操作モードが適用されていることを直感的に把握することができる。

一方、ユーザ１９０Ａに第２操作モードが適用される場合には、各ユーザ１９０Ａ，１９０Ｂに提供される視界画像Ｍ１，Ｍ２において、コントローラオブジェクトＶＣ１が表示されず、アバターＡ１の手オブジェクトＶＨ１が、コントローラ１６０Ａに対する入力操作に応じた態様で表示される（図１６参照）。これにより、各ユーザ１９０Ａ，１９０Ｂは、視界画像Ｍ１，Ｍ２の表示内容に基づいて、ユーザ１９０Ａに第２操作モードが適用されていることを直感的に把握することができる。

なお、第１の変形例において、第１操作モードおよび第２操作モード以外の操作モードを含む複数の操作モードのうちから、適用される操作モードが決定されてもよい。第１操作モードおよび第２操作モード以外の操作モードとしては、例えば視界画像に所定のメニュー画面を表示させ、当該メニュー画面の所定の項目を選択操作するような操作モードが考えられる。

［第２の変形例］
続いて、本実施形態の第２の変形例について説明する。第２の変形例は、仮想カメラ１がアバターの視点に関連付けられる第１視点モードと、仮想カメラ１がプレイヤキャラクタの視点に関連付けられる第２視点モードとを切替可能な構成を有する。

具体的には、プロセッサ１０は、図１０におけるステップＳ１０の処理の一部として、適用される視点モードを決定し、決定された視点モードに応じた視界画像を表示するための視界画像データを生成し、生成された視界画像データをＨＭＤ装置１１０に出力する。以下、図１７に示されるフローチャートを参照して、第２の変形例における処理について説明する。図１７は、本変形例において実行される図１０におけるステップＳ１０の処理手順の一例を表すフローチャートである。

ステップＳ５１において、プロセッサ１０は、第１視点モードおよび第２視点モードのいずれの視点モードを適用するか否かを決定する。ここで、視点モードは、上述した操作モードの切り替えと同様に、コントローラ１６０Ａに対する予め定められた入力操作（例えば、所定の操作ボタン１６３の押下等）およびコントローラ１６０Ａの状態（位置および傾き等）の少なくとも一方に基づいて切り替えられ得る。すなわち、ユーザ１９０Ａは、コントローラ１６０Ａに対して予め定められた入力操作を行ったり、コントローラ１６０Ａを予め定められた状態（例えば片手持ちの状態等）にしたりすることによって、自由に視点を切り替えることができる。また、現時点で適用されている視点モードを示す情報は、メモリモジュール２４０に保持され得る。この場合、プロセッサ１０は、メモリモジュール２４０を参照することにより、適用される視点モードを決定することができる。

第１視点モードが適用されると決定された場合（ステップＳ５１：ＹＥＳ）、ステップＳ５２において、プロセッサ１０は、第１視点モードが適用された仮想カメラ１Ａに基づいて、アバターＡ１の視点に関連付けられた視界画像（図１２に示される視界画像Ｍ１参照）を表示するための視界画像データを生成する。

一方、第２視点モードが適用されると決定された場合（ステップＳ５１：ＮＯ）、ステップＳ５３において、プロセッサ１０は、第２視点モードが適用された仮想カメラ１Ａに基づいて、プレイヤキャラクタＣ１の視点に関連付けられた視界画像を表示するための視界画像データを生成する。ここで、プレイヤキャラクタＣ１の視点は、プレイヤキャラクタＣ１の１人称視点であってもよいし、プレイヤキャラクタＣ１の少し後方から撮影される３人称視点であってもよい。

上述したように、通常、アバターＡ１の視線方向は、ユーザ１９０Ａのアイトラッキングデータに基づいて制御される。しかし、第２視点モードが適用されている場合には、ユーザ１９０Ａは、アバターＡ１の視点ではなくプレイヤキャラクタＣ１の視点で仮想空間２内を視認している。したがって、この場合の現実空間におけるユーザ１９０Ａの視線方向は、プレイヤキャラクタＣ１に反映されるべきであり、アバターＡ１に反映されるべきではない。しかし、特別な処理が実行されない限り、第２視点モードが適用されている場合でも、現実空間におけるユーザ１９０Ａの視線方向がアバターＡ１に反映されてしまう。このため、他のユーザ（ここではユーザ１９０Ｂ）に提供される視界画像Ｍ２にアバターＡ１が含まれる場合、視界画像Ｍ２において、アバターＡ１の視線方向は、実際にはユーザ１９０Ａが見ていない方向を向いてしまうおそれがある。このような状況は、ユーザ１９０Ｂに違和感を与えてしまい、ユーザ１９０Ｂの仮想空間２への没入感覚を損なうおそれがあるため好ましくない。また、ユーザ１９０Ｂに対して誤った情報を通知することになるため、アバターＡ１が見ている方向（すなわちユーザ１９０Ａが見ている方向）がゲームをプレイする上で重要な情報となる場合には、適切なゲーム進行が阻害され得る。

そこで、本変形例において、プロセッサ１０は、第２視点モードが適用されている場合に、ユーザ１９０Ｂによって装着されるＨＭＤ装置１１０Ｂに接続されたコンピュータ２００（すなわち、ＨＭＤシステム１００Ｂのプロセッサ１０）に対して、ユーザ１９０ＡがプレイヤキャラクタＣ１の視点を介して見ている位置を特定するための補助情報を出力してもよい。例えば、プロセッサ１０は、上述したプレイヤ情報の一部として、当該補助情報をサーバ１５０に送信すればよい。これにより、ＨＭＤシステム１００Ｂのプロセッサ１０は、当該補助情報に基づいて、視界画像Ｍ２におけるアバターＡ１の視線方向を適切に表現することが可能となる。

補助情報は、例えば、ユーザ１９０ＡがプレイヤキャラクタＣ１の視点を介して見ている位置（以下「注目点」）を特定するための情報である。注目点は、ユーザ１９０Ａのアイトラッキングデータと、仮想空間２における視点位置（すなわち、プレイヤキャラクタＣ１の視点位置）とに基づいて特定され得る。例えば、プロセッサ１０は、第２視点モードが適用された仮想カメラ１Ａの位置（プレイヤキャラクタＣ１の視点位置）を基準位置とする視線方向を、アイトラッキングデータに基づいて特定する。そして、プロセッサ１０は、当該視線方向の先にある仮想オブジェクト（すなわち、ユーザ１９０ＡがプレイヤキャラクタＣ１の視点を介して実際に注目している対象）を特定し、当該視線方向と当該仮想オブジェクトとが交わる位置を注目点として特定する。そして、プロセッサ１０は、注目点を示す情報（例えば座標データ）を補助情報として生成してもよい。一方、プレイヤキャラクタＣ１の視線の先に仮想オブジェクトが存在しない場合、プロセッサ１０は、プレイヤキャラクタＣ１の視線と天球状の仮想空間画像２２（図４参照）との交差位置を注目点として特定してもよい。あるいは、プロセッサ１０は、プレイヤキャラクタＣ１の視線と予め定められた基準平面（例えば仮想空間２において定義された地面）とが交差する場合には、その交差位置を注目点として特定してもよい。

なお、補助情報は、注目点を直接示す情報でなくてもよく、注目点を特定するために用いられる情報であってもよい。例えば、補助情報は、ユーザ１９０ＡのアイトラッキングデータおよびプレイヤキャラクタＣ１の視点位置の組情報であってもよい。この場合、補助情報を受信したＨＭＤシステム１００Ｂのプロセッサ１０が、当該補助情報に基づいて注目点を特定することができる。あるいは、プレイヤ情報を最初に受信するサーバ１５０が、プレイヤ情報に含まれる補助情報に基づいて注目点を特定し、特定された注目点を示す情報をＨＭＤシステム１００Ｂに送信してもよい。この場合には、注目点を特定するための処理をサーバ１５０側で一括して行うことができる。

以下、図１８に示されるフローチャートを参照して、第２の変形例においてＨＭＤシステム１００Ｂによって実行される処理について説明する。図１８は、ＨＭＤシステム１００Ｂ側で実行される、図１０のステップＳ１０の処理に対応する処理の一部を表すフローチャートである。なお、本フローチャートの説明においては、特に断らない限り、「プロセッサ１０」は、ＨＭＤシステム１００Ｂのプロセッサ１０を指す。

ステップＳ６１において、プロセッサ１０は、ＨＭＤシステム１００Ａから補助情報を取得したか否かを判定する。例えば、プロセッサ１０は、ユーザ１９０Ａのプレイヤ情報に補助情報に該当する情報が含まれているか否かに基づいて、上述の判定を実行することができる。

補助情報を取得したと判定された場合（ステップＳ６１：ＹＥＳ）、ステップＳ６２において、プロセッサ１０は、補助情報に基づいてアバターＡ１の視線方向を決定する。例えば、補助情報が上述した注目点を示す情報である場合には、プロセッサ１０は、当該注目点を向くように、アバターＡ１の視線方向を決定する。これにより、ユーザ１９０Ｂに対して、実際にユーザ１９０ＡがプレイヤキャラクタＣ１を介して見ている位置を向くように、アバターＡ１の視線方向が適切に表現された視界画像Ｍ２が提供される。

一方、補助情報を取得したと判定されなかった場合（ステップＳ６１：ＮＯ）、プロセッサ１０は、ユーザ１９０Ａは第１視点モードを利用していると判断できる。このため、ステップＳ６３において、プロセッサ１０は、通常通り、ユーザ１９０Ａのアイトラッキングデータに基づいて、アバターＡ１の視線方向を決定する。

図１９および図２０は、それぞれ、図１８に示される制御が実行された場合の仮想空間２および視界画像Ｍ２の一例を表す図である。図１９に示されるように、ユーザ１９０Ａの仮想カメラ１Ａに第２視点モードが適用されている場合、仮想カメラ１ＡはプレイヤキャラクタＣ１の視点に関連付けられる。この例では、ユーザ１９０Ａは、プレイヤキャラクタＣ１の視点を介して、視線方向Ｅ１の先にある対象（プレイヤキャラクタＣ２）を見ている。すなわち、この例では、プレイヤキャラクタＣ２と視線方向Ｅ１とが交わる位置が上述した注目点に該当する。

ＨＭＤシステム１００Ｂ側において、仮にユーザ１９０Ａのアイトラッキングデータに基づいてアバターＡ１の視線方向が決定された場合、アバターＡ１の視線方向は、プレイヤキャラクタＣ１の視線方向Ｅ１と平行となるように表現される。しかし、上述した通り、そのように表現された視界画像Ｍ２がユーザ１９０Ｂに提供された場合、ユーザ１９０Ｂに違和感を与えてしまうおそれがある。そこで、本変形例では、ＨＭＤシステム１００Ｂ側で図１８に示される制御が実行される。これにより、図２０に示されるように、ユーザ１９０Ｂに提供される視界画像Ｍ２において、アバターＡ１の視線方向Ｅ２は、補助情報に基づいて、プレイヤキャラクタＣ２を向くように表現される。

以上述べたように、第２視点モードが適用される側のＨＭＤシステム１００Ａから他のＨＭＤシステム１００Ｂに補助情報が送られることにより、ＨＭＤシステム１００Ｂは、補助情報に基づいてアバターＡ１の視線方向を適切に決定することができる。このような構成により、一のユーザ１９０Ａが視点モードを第２視点モードに切り替えた場合であっても、他のユーザ１９０Ｂに対して違和感を与えることなく、他のユーザ１９０Ｂの仮想空間２への没入感覚が損なわれることを防止できる。逆の視点から言い換えると、一のユーザ１９０Ｂは、他のユーザ１９０Ａに第２視点モードが適用されている場合であっても、他のユーザ１９０Ａが注目している対象を当該他のユーザ１９０ＡのアバターＡ１の視線方向Ｅ２によって正確に把握することができる。

また、例えば３人以上のユーザによって仮想空間２が共有され、かつ、ゲームフィールドＦが広い場合には、一のユーザは、他のユーザの視線方向を手掛かりとして、ゲーム内で盛り上がっている場所を見つけようとする状況が想定され得る。上述した補助情報に基づくアバターの視線方向の制御によれば、第２視点モードが適用されているユーザのアバターの視線方向が適切に表現される。このため、各ユーザは、他のユーザがいずれの視点モードを利用しているか否かによらず、他のユーザのアバターの視線方向を手掛かりとして、ゲーム内で盛り上がっている場所を容易に把握することができる。

なお、第２の変形例において、仮想空間２内において予め定められた条件が成立した場合に、当該条件に関連付けられた視点モードが強制的に適用されるように構成されてもよい。例えば、プロセッサ１０は、ユーザ１９０Ａに第２視点モードが適用されているときにプレイヤキャラクタＣ１が戦闘不能（予め定められた状態）となったと判定した場合に、第２視点モードから第１視点モードへと強制的に切り替えてもよい。これによれば、プレイヤキャラクタＣ１を操作不能な状態になった場合に、操作可能なアバターＡ１に視点を強制的に戻すことができる。その結果、ユーザ１９０Ａは、スムーズにゲームをプレイすることができる。なお、強制的に視点モードを切り替えるトリガは、上記例に限られない。例えば、プロセッサ１０は、ユーザ１９０Ａに第１視点モードが適用されているときに予め定められたイベントが発生した場合に、第１視点モードから第２視点モードへと強制的に切り替えてもよい。

また、第１視点モードおよび第２視点モード以外の視点モードを含む複数の視点モードのうちから、適用される視点モードが決定されてもよい。第１視点モードおよび第２視点モード以外の操作モードとしては、例えばアバターおよびプレイヤキャラクタの上方から、これらのオブジェクトを俯瞰する視点モード等が考えられる。

［第３の変形例］
続いて、本実施形態の第３の変形例について説明する。第３の変形例は、左右の手オブジェクトＶＨ１の動作がコントローラ１６０Ａの位置に基づいて決定される第１モードと、左右の手オブジェクトＶＨ１の動作が左右別々に決定される第２モードとを切替可能な構成を有する。なお、本変形例におけるアバターの手オブジェクトの動作制御は、仮想空間２内にプレイヤキャラクタが存在せず、アバターのみが存在するようなケース（例えば、アバターを介したチャットを行うだけの場合等）にも適用可能である。

以下、図２１に示されるフローチャートを参照して、第３の変形例における処理について説明する。図２１は、図１４に示されるフローチャートの代わりに実行される処理のうち、アバターの手オブジェクトの動作制御に関する処理（すなわち、図１３におけるステップＳ２３Ａの処理の一部）を表すフローチャートである。したがって、図２１においては、アバターの手オブジェクト以外の部分およびプレイヤキャラクタの動作制御に関する処理は省略されている。

ステップＳ７１において、プロセッサ１０は、ステップＳ３１の処理と同様に、各ユーザ１９０Ａ，１９０Ｂのプレイヤ情報をサーバ１５０から取得する。

ステップＳ７２〜Ｓ７５において、プロセッサ１０は、ユーザ毎に適用されるモードを判定し、適用されるモードに応じた動作制御を各ユーザのアバターの手オブジェクトに対して実行する。

ステップＳ７２において、プロセッサ１０は、判定対象のユーザ（ここでは一例としてユーザ１９０Ａ）を選択する。

ステップＳ７３において、プロセッサ１０は、判定対象のユーザ１９０Ａについて適用されるモードを判定する。例えば、プロセッサ１０は、第１変形例（図１５におけるステップＳ４３）と同様の手法により、適用されるモードを決定することができる。

第１モードが適用されると判定された場合（ステップＳ７３：ＹＥＳ）、ステップＳ７４において、プロセッサ１０は、コントローラ１６０の位置に基づいて、アバターＡ１の手オブジェクトＶＨ１の動作を制御する。例えば、プロセッサ１０は、コントローラ１６０のＨＭＤ装置１１０Ａに対する相対位置に基づいて、アバターＡ１の手オブジェクトＶＨ１を仮想空間２に配置してもよい。具体的には、プロセッサ１０は、現実空間におけるコントローラ１６０ＡのＨＭＤ装置１１０Ａに対する相対位置が、仮想空間２におけるコントローラオブジェクトＶＣ１のアバターＡ１の頭部に対する相対位置と一致するように、コントローラオブジェクトＶＣ１を仮想空間２に配置してもよい。そして、プロセッサ１０は、このようにして決定されたコントローラオブジェクトＶＣ１の両側を左右の手オブジェクトＶＨ１が保持するように、左右の手オブジェクトＶＨ１を配置してもよい。これにより、第１モードが適用される場合には、コントローラ１６０のＨＭＤ装置１１０Ａに対する相対位置の変化にともなって、手オブジェクトＶＨ１およびコントローラオブジェクトＶＣ１を移動させることができる。

ステップＳ７４における処理によれば、ユーザ１９０Ａについて第１モードが適用される場合には、各ユーザ１９０Ａ，１９０Ｂに提供される視界画像Ｍ１，Ｍ２において、アバターＡ１が、コントローラオブジェクトＶＣ１を手オブジェクトＶＨ１で保持している態様で表示される。これにより、各ユーザ１９０Ａ，１９０Ｂは、視界画像Ｍ１，Ｍ２の表示内容に基づいて、ユーザ１９０Ａに第１モードが適用されていることを直感的に把握することができる。

また、コントローラ１６０Ａに対応するコントローラオブジェクトＶＣ１が視界画像Ｍ１，Ｍ２に表示されるので、ユーザ１９０Ａが利用しているコントローラ１６０Ａのタイプ（例えば両手持ちであるか片手持ちであるか）を他のユーザ１９０Ｂに把握させることができる。例えば、仮想空間２を共有する複数のユーザの中には、現実空間における手の動きをアバターに精度良く反映できる高機能なコントローラ（例えば、左右の手に別々に装着され、モーションセンサを備えるハンドデバイス等）を利用するユーザが存在し得る。一方で、本実施形態のコントローラ１６０のような低スペックのコントローラ（ここでは両手持ちのコントローラ）を利用するユーザも存在し得る。このような低スペックのコントローラを利用するユーザは、当該ユーザの現実空間における手の動きをアバターに反映させることができない。このため、当該ユーザのアバターの動作が単調であることが原因で、周囲のユーザは、当該ユーザが仮想体験を楽しんでいないと誤解してしまうおそれがある。したがって、上述のように視界画像にコントローラオブジェクトを表示してコントローラのスペック等を他のユーザに周知することは、仮想空間におけるコミュニケーションの円滑化に貢献し得る。

なお、コントローラオブジェクトＶＣ１が仮想空間２で提供される世界観に合わないような場合等、視界画像にコントローラオブジェクトＶＣ１を保持する態様でアバターＡ１が表現された場合に各ユーザが違和感を感じてしまう状況もあり得る。したがって、プロセッサ１０は、仮想空間２に手オブジェクトＶＨ１を配置する一方で、コントローラオブジェクトＶＣ１を配置しなくてもよい。また、コントローラオブジェクトＶＣ１を配置するか否かは、ユーザ１９０Ａによる明示的な操作（例えばコントローラ１６０に対する所定操作）によって切り替えられてもよい。

第２モードが適用されると判定された場合（ステップＳ７３：ＮＯ）、ステップＳ７５において、プロセッサ１０は、左右の手オブジェクトＶＨ１の動作を左右別々に決定する。例えば、プロセッサ１０は、ユーザ１９０Ａのアイトラッキングデータ（視線情報）に基づいて、上述したような手法によってユーザ１９０Ａが仮想空間２において注目している特定位置を特定する。そして、プロセッサ１０は、左右の手オブジェクトＶＨ１のうちいずれか一方が特定位置を指し示すように、手オブジェクトＶＨ１を動作させてもよい。

あるいは、プロセッサ１０は、コントローラ１６０Ａに対して予め定められた入力操作を検知したことをトリガとして、左右の手オブジェクトＶＨ１のうち当該入力操作に関連付けられた方の手オブジェクトＶＨ１が特定位置を指し示すように、手オブジェクトＶＨ１の動作を制御してもよい。例えば、プロセッサ１０は、コントローラ１６０Ａの左側の上部ボタン１６７Ｌが押下された場合には、左側の手オブジェクトＶＨ１を動作させ、コントローラ１６０Ａの右側の上部ボタン１６７Ｒが押下された場合には、右側の手オブジェクトＶＨ１を動作させてもよい。

ステップＳ７６において、プロセッサ１０は、仮想空間２を共有する全てのユーザについて処理を完了したか否かを判定し、全てのユーザについて処理を完了したと判定された場合に処理を終了する。これにより、各ユーザに適用されるモードに応じて、各ユーザのアバターの手オブジェクトの動作が制御される。

図２２は、第２モードにおけるアバターＡ１の手オブジェクトＶＨ１の動作制御の一例を表す図である。具体的には、図２２は、上述した動作制御によって、アバターＡ１の右手に対応する手オブジェクトＶＨ１がアバターＡ１の視線方向Ｅ２に基づいて特定された特定位置Ｐを指し示している状態を表している。これにより、ユーザ１９０Ａ，１９０Ｂが互いに協力してゲームをプレイするような状況において、ユーザ１９０Ａは、アバターＡ１に指差し動作を実行させることによって、ユーザ１９０Ｂに指示（例えば爆弾Ｂ１を当てる目標位置を示す指示）を出すことができる。このように、ユーザ１９０Ａは、コントローラ１６０Ａを実際には両手で操作しながらも、実際のユーザ１９０Ａの手の動きと連動しない所定の動作（ここでは指差し）をアバターＡ１の手オブジェクトＶＨ１に実行させることができる。その結果、モーションセンサ等を備える高スペックのコントローラを有さないユーザも、仮想空間２において他のユーザと直感的なコミュニケーションを図ることが可能となる。特に、複数ユーザで協力してプレイされるゲームにおいて、本変形例に係るアバターＡ１の手オブジェクトＶＨ１の動作制御は有効である。

以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

例えば、上述のアバターおよびプレイヤキャラクタの動作制御に関する処理（図１０におけるステップＳ９の処理）は、各ユーザのＨＭＤシステムにおいて、視界画像に含まれるアバター等についてのみ実行されてもよい。これにより、視界画像に含まれないアバター等に関する制御のための処理を削減することができる。なお、視界画像にアバター等が含まれるか否かは、例えば、図１０におけるステップＳ６の処理により特定される視界方向に基づいて定められる視界領域２３にアバター等が含まれるか否かに基づいて判定され得る。

また、各ＨＭＤシステム１００のコンピュータ２００（プロセッサ１０）で実行される処理（図１０のステップＳ１〜Ｓ３，Ｓ６，Ｓ９，Ｓ１０等）の一部または全部は、サーバ１５０によって実行されてもよいし、コンピュータ２００とサーバ１５０とによって分散して実行されてもよい。このように、一部または全部の処理をサーバ１５０側で負担することにより、各ＨＭＤシステム１００側の処理量を低減し得る。また、各ＨＭＤシステム１００で共通で必要となる処理をサーバ１５０が一括して処理することにより、処理の効率化を図ることもできる。

また、コントローラの形態は、上述したコントローラ１６０（図８参照）に限られない。例えば、ＨＭＤシステム１００において、Ｎｉｎｔｅｎｄｏ Ｓｗｉｔｃｈ（登録商標）用のコントローラのように支持部材に着脱可能な左右のコントローラを備える形態のコントローラが用いられてもよい。図２３を参照して、そのようなコントローラの変形例（コントローラ２６０）について説明する。以下では、コントローラ２６０を利用する場合における、状態（特に、上述した片手持ちの状態および両手持ちの状態）の判定手法の一例について説明する。一方、コントローラ２６０の各種ボタン等の機能および役割等は、上述したコントローラ１６０の各種ボタン等の機能および役割等と同様であるため、詳細な説明を繰り返さない。

図２３に示されるように、コントローラ２６０は、支持部材２６１と、左コントローラ２６２と、右コントローラ２６３とを備える。左コントローラ２６２および右コントローラ２６３の各々には、ユーザ１９０の操作を受け付けるための各種ボタン等が設けられている。左コントローラ２６２および右コントローラ２６３は、それぞれ支持部材２６１に対してスライドさせることで着脱自在とされている。

図２３の（Ａ）は、左コントローラ２６２および右コントローラ２６３の両方が支持部材２６１に装着された状態（以下「装着状態」）を表している。装着状態において、左コントローラ２６２はユーザ１９０の左手で操作され、右コントローラ２６３はユーザ１９０の右手で操作される。すなわち、装着状態であるコントローラ２６０は、一体的なコントローラとして、ユーザ１９０によって両手で保持された状態で操作される。したがって、プロセッサ１０は、装着状態を上述した両手持ちの状態に対応付けてもよい。すなわち、プロセッサ１０は、コントローラ２６０が装着状態である場合に、上述した両手持ちの状態であると判定してもよい。

図２３の（Ｂ）は、左コントローラ２６２および右コントローラ２６３の両方が支持部材２６１に装着されていない状態を表している。このように、左コントローラ２６２および右コントローラ２６３の少なくとも一方が支持部材２６１に装着されていない状態（以下「非装着状態」）においては、ユーザ１９０は、左コントローラ２６２と右コントローラ２６３とを独立して動かすことができる。例えば、ユーザ１９０は、左コントローラ２６２とは独立して、右コントローラ２６３だけを頭上に振りかざしたり、振ったりすることができる。したがって、プロセッサ１０は、非装着状態を上述した片手持ちの状態に対応付けてもよい。すなわち、プロセッサ１０は、コントローラ２６０が非装着状態である場合に、上述した片手持ちの状態であると判定してもよい。

なお、左コントローラ２６２および右コントローラ２６３が支持部材２６１に装着されているか否かを示す情報は、左コントローラ２６２および右コントローラ２６３から、上述したコントローラ情報の一部としてプロセッサ１０に通知され得る。これにより、プロセッサ１０は、コントローラ情報に基づいてコントローラ２６０が装着状態であるか非装着状態であるかを把握することができる。ただし、コントローラ２６０に対して適用可能な状態判定は、装着状態であるか否かに基づく判定に限られない。例えば、コントローラ２６０が装着状態であるか否かと共に、予め定められたボタン操作がされたか否かにも基づいて、上述した状態判定が実行されてもよい。また、非装着状態は、図２３の（Ｂ）に示されるように左コントローラ２６２および右コントローラ２６３の両方が支持部材２６１に装着されていない状態だけでなく、左コントローラ２６２のみが支持部材２６１に装着されていない状態、および右コントローラ２６３のみが支持部材２６１に装着されていない状態を含み得る。

本明細書に開示された主題は、例えば、以下のような項目として示される。
（項目１）
表示部（モニタ１１２）を備えるヘッドマウントデバイス（ＨＭＤ装置１１０Ａ）を介して第１ユーザ（ユーザ１９０Ａ）に仮想空間２を提供するためにコンピュータ（コンピュータ２００またはサーバ１５０）によって実行される情報処理方法であって、
前記第１ユーザに関連付けられた第１アバター（アバターＡ１）と、前記第１ユーザにより使用されるコントローラ１６０Ａに対する入力操作に基づいて操作されるキャラクタオブジェクト（プレイヤキャラクタＣ１）と、第２ユーザ（ユーザ１９０Ｂ）に関連付けられた第２アバター（アバターＡ２）と、前記ヘッドマウントデバイスに提供される視界画像Ｍ１を定義する仮想カメラ１Ａとを含む仮想空間２を定義する仮想空間データを取得するステップ（例えば図１０のＳ１）と、
前記コントローラ１６０Ａに対する予め定められた入力操作および前記コントローラ１６０Ａの状態の少なくとも一方に基づいて、前記仮想カメラ１Ａが前記第１アバターの視点に関連付けられる第１視点モードと、前記仮想カメラ１Ａが前記キャラクタオブジェクトの視点に関連付けられる第２視点モードとを含む複数の視点モードのうちから、適用される視点モードを決定するステップ（例えば図１７のＳ５１）と、
前記適用される視点モードに応じて前記仮想カメラ１Ａにより定義される前記視界画像Ｍ１を、前記ヘッドマウントデバイス（ＨＭＤ装置１１０Ａ）を介して前記第１ユーザに提供するステップ（例えば図１７のＳ５２またはＳ５３）と、
を含む、情報処理方法。
本項目の情報処理方法によれば、第１ユーザは、第１ユーザに関連付けられた第１アバターと、第１ユーザがコントローラで操作可能なキャラクタオブジェクトとが存在する仮想空間において、第１アバターの視点とキャラクタオブジェクトの視点とを切り替えることができる。その結果、第１ユーザの仮想体験のエンタテイメント性を向上させることができる。
（項目２）
前記第２視点モードが前記適用される視点モードとして決定された場合、前記第２ユーザによって装着されるヘッドマウントデバイス（ＨＭＤ装置１１０Ｂ）に接続されたコンピュータ２００に対して、前記第１ユーザが前記キャラクタオブジェクトの視点を介して見ている位置を特定するための補助情報を出力するステップ（例えば図１３のＳ２１Ａ）を更に含む、
項目１の情報処理方法。
本項目の情報処理方法によれば、第２視点モードが適用されている場合において、第２ユーザに提供される視界画像における第１アバターの視線方向を当該補助情報に基づいて適切に表現することが可能となる。
（項目３）
前記仮想空間内において予め定められた条件が成立した場合に、前記条件に関連付けられた視点モードを強制的に適用するステップを更に含む、
項目１または２の情報処理方法。
本項目の情報処理方法によれば、予め定められた条件の成立に応じて視点モードを適切かつ強制的に切り替えることができ、第１ユーザの操作性を向上し得る。
（項目４）
前記適用するステップにおいて、前記第２視点モードが適用されているときに前記キャラクタオブジェクトの状態が予め定められた状態となった場合に、前記第１視点モードを強制的に適用する、
項目３の情報処理方法。
本項目の情報処理方法によれば、例えばキャラクタオブジェクトを操作不能な状態になった場合等に、操作可能な第１アバターに視点を強制的に戻すことができる。その結果、第１ユーザの操作性を向上し得る。
（項目５）
項目１〜４のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
（項目６）
少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により項目１〜４のいずれかの情報処理方法を実行する、装置。
（項目７）
第２ユーザ（ユーザ１９０Ｂ）に仮想空間２を提供するためにコンピュータ（コンピュータ２００またはサーバ１５０）によって実行される情報処理方法であって、
第１ユーザ（ユーザ１９０Ａ）に関連付けられた第１アバター（アバターＡ１）と、前記第１ユーザにより使用されるコントローラ１６０Ａに対する入力操作に基づいて操作されるキャラクタオブジェクト（プレイヤキャラクタＣ１）と、前記第２ユーザに関連付けられた第２アバター（アバターＡ２）と、前記第１ユーザに装着され、第１表示部を備える第１ヘッドマウントデバイス（ＨＭＤ装置１１０Ａ）に提供される視界画像Ｍ１を定義する第１仮想カメラ（仮想カメラ１Ａ）と、前記第２ユーザに装着され、第２表示部を備える第２ヘッドマウントデバイス（ＨＭＤ装置１１０Ｂ）に提供される視界画像Ｍ２を定義する第２仮想カメラ（仮想カメラ１Ｂ）とを含む仮想空間２を定義する仮想空間データを取得するステップ（例えば図１０のＳ１）と、
前記第２仮想カメラにより定義される前記視界画像Ｍ２を、前記第２ヘッドマウントデバイスを介して前記第２ユーザに提供するステップ（例えば図１０のＳ１０）と、
を含み、
前記提供するステップにおいて、前記第１仮想カメラが前記キャラクタオブジェクトの視点に関連付けられている場合、前記第１ユーザが前記キャラクタオブジェクトの視点を介して見ている位置を向くように、前記第１アバターの視線方向が表現された前記視界画像Ｍ２を提供する、
情報処理方法。
本項目の情報処理方法によれば、第１ユーザに第２視点モードが適用されている場合に、第２ユーザに提供される視界画像において、第１アバターの視線方向を、第１ユーザが実際に見ている位置を向くように適切に表示させることができる。

１…仮想カメラ、２…仮想空間、５…基準視線、１０…プロセッサ、１１…メモリ、１２…ストレージ、１３…入出力インターフェース、１４…通信インターフェース、１５…バス、１９…ネットワーク、２１…中心、２２…仮想空間画像、２３…視界領域、２４，２５…領域、１００，１００Ａ，１００Ｂ…ＨＭＤシステム、１１０，１１０Ａ，１１０Ｂ…ＨＭＤ装置、１１２…モニタ、１１４…センサ、１１８…マイク、１２０…ＨＭＤセンサ、１４０…注視センサ、１５０…サーバ、１６０，１６０Ａ，１６０Ｂ，２６０…コントローラ、１９０，１９０Ａ，１９０Ｂ…ユーザ、２００…コンピュータ、２２０…表示制御モジュール、２２１…仮想カメラ制御モジュール、２２２…視界領域決定モジュール、２２３…視界画像生成モジュール、２２４…基準視線特定モジュール、２３０…仮想空間制御モジュール、２３１…仮想空間定義モジュール、２３２…仮想オブジェクト制御モジュール、２３３…コントローラ情報取得モジュール、２３４…チャット制御モジュール、２４０…メモリモジュール、２４１…空間情報、２４２…オブジェクト情報、２４３…ユーザ情報、２５０…通信制御モジュール、Ａ１，Ａ２…アバター、Ｂ１，Ｂ２…爆弾、Ｃ１，Ｃ２…プレイヤキャラクタ、Ｆ…ゲームフィールド、Ｍ１，Ｍ２…視界画像、ＶＣ１，ＶＣ２…コントローラオブジェクト、ＶＨ１，ＶＨ２…手オブジェクト。

Claims (7)

1. 表示部を備えるヘッドマウントデバイスを介して第１ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法であって、
   前記第１ユーザに関連付けられた第１アバターと、前記第１ユーザにより使用されるコントローラに対する入力操作に基づいて操作されるキャラクタオブジェクトと、第２ユーザに関連付けられた第２アバターと、前記ヘッドマウントデバイスに提供される視界画像を定義する仮想カメラとを含む仮想空間を定義する仮想空間データを取得するステップと、
   前記コントローラに対する予め定められた入力操作および前記コントローラの状態の少なくとも一方に基づいて、前記仮想カメラが前記第１アバターの視点に関連付けられる第１視点モードと、前記仮想カメラが前記キャラクタオブジェクトの視点に関連付けられる第２視点モードとを含む複数の視点モードのうちから、適用される視点モードを決定するステップと、
   前記適用される視点モードに応じて前記仮想カメラにより定義される前記視界画像を、前記ヘッドマウントデバイスを介して前記第１ユーザに提供するステップと、
   を含む、情報処理方法。
2. 前記第２視点モードが前記適用される視点モードとして決定された場合、前記第２ユーザによって装着されるヘッドマウントデバイスに接続されたコンピュータに対して、前記第１ユーザが前記キャラクタオブジェクトの視点を介して見ている位置を特定するための補助情報を出力するステップを更に含む、
   請求項１に記載の情報処理方法。
3. 前記仮想空間内において予め定められた条件が成立した場合に、前記条件に関連付けられた視点モードを強制的に適用するステップを更に含む、
   請求項１または２に記載の情報処理方法。
4. 前記適用するステップにおいて、前記第２視点モードが適用されているときに前記キャラクタオブジェクトの状態が予め定められた状態となった場合に、前記第１視点モードを強制的に適用する、
   請求項３に記載の情報処理方法。
5. 請求項１〜４のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム。
6. 少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により請求項１〜４のいずれか一項に記載の情報処理方法を実行する、コンピュータ。
7. 第２ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法であって、
   第１ユーザに関連付けられた第１アバターと、前記第１ユーザにより使用されるコントローラに対する入力操作に基づいて操作されるキャラクタオブジェクトと、前記第２ユーザに関連付けられた第２アバターと、前記第１ユーザに装着され、第１表示部を備える第１ヘッドマウントデバイスに提供される視界画像を定義する第１仮想カメラと、前記第２ユーザに装着され、第２表示部を備える第２ヘッドマウントデバイスに提供される視界画像を定義する第２仮想カメラとを含む仮想空間を定義する仮想空間データを取得するステップと、
   前記第２仮想カメラにより定義される前記視界画像を、前記第２ヘッドマウントデバイスを介して前記第２ユーザに提供するステップと、
   を含み、
   前記提供するステップにおいて、前記第１仮想カメラが前記キャラクタオブジェクトの視点に関連付けられている場合、前記第１ユーザが前記キャラクタオブジェクトの視点を介して見ている位置を向くように、前記第１アバターの視線方向が表現された前記視界画像を提供する、
   情報処理方法。