JP7413472B1 - 情報処理システムおよびプログラム - Google Patents

Abstract

【課題】仮想空間の用途の幅を広げる。【解決手段】情報処理システムは、所定の現実空間に仮想オブジェクトが配置された複合現実空間のビューである第１のビューを第１ユーザに提供する第１表示手段と、所定の現実空間を模した仮想空間に、第１ユーザのアバターが配置された第２のビューを第２ユーザに提供する第２表示手段と、第１ユーザからの入力を受け付ける第１入力受付手段と、第１入力受付手段が受け付けた第１ユーザからの入力に基づいて、仮想空間中の第１ユーザのアバターを制御する第１制御手段と、を備える。【選択図】図８

Description

本発明は、情報処理システムおよびプログラムに関する。

従来より、複合現実（ＭＲ：Mixed Reality）空間や仮想現実（ＶＲ：Virtual Reality）空間をユーザに提供する技術が知られている（例えば、特許文献１および特許文献２参照）。

特許第６８６０４８８号公報 特許第６８００５９９号公報

ところで、従来より仮想空間の用途の幅を広げることが求められていた。

本発明は、前記事情に鑑みてなされたものであり、仮想空間の用途の幅を広げることを目的とする。

本開示に示す一実施形態によれば、
所定の現実空間に仮想オブジェクトが配置された複合現実空間のビューである第１のビューを第１ユーザに提供する第１表示手段と、
前記所定の現実空間を模した仮想空間に、前記第１ユーザのアバターが配置された第２のビューを第２ユーザに提供する第２表示手段と、
前記第１ユーザからの入力を受け付ける第１入力受付手段と、
前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記仮想空間中の前記第１ユーザのアバターを制御する第１制御手段と、を備える
情報処理システムが提供される。

本発明によれば、仮想空間の用途の幅を広げることができる。

情報処理システムの概略構成を示す図である。 ＶＲシステムの概略構成を示す図である。 ＭＲシステムの概略構成を示す図である。 仮想空間を概念的に示す図である。 仮想空間において視界領域をＸ方向から見たＹＺ断面を示す図である。 仮想空間において視界領域をＹ方向から見たＸＺ断面を示す図である。 コントローラの概略構成を示す図である。 複合現実空間および仮想空間について説明するための図である。 情報処理システムの機能的構成を示す図である。 現実オブジェクトと現実オブジェクトに対応する仮想オブジェクトとについて説明するための図である。 ＶＲシステムの実行する処理の一例を示すフローチャートである。 ＭＲシステムの実行する処理の一例を示すフローチャートである。 ＭＲユーザの行動を仮想空間に反映させる処理の一例を示すフローチャートである。 ＶＲユーザの行動を複合現実空間に反映させる処理の一例を示すフローチャートである。

以下、図面を参照しながら本発明の実施の形態について説明する。

＜情報処理システムの構成＞
図１に示されるように、本実施形態の情報処理システム１００は、ＶＲ（Virtual Reality）システム２００と、ＭＲ（Mixed Reality）システム４００と、サーバ６００と、外部機器７００と、を備えている。ＶＲシステム２００は、ネットワーク２を介してサーバ６００、ＭＲシステム４００、および外部機器７００と通信可能に構成される。また、ＭＲシステム４００は、ネットワーク２を介してサーバ６００、ＶＲシステム２００、および外部機器７００と通信可能に構成される。情報処理システム１００を構成するＭＲシステム４００の数は、１つに限られず、複数存在してもよい。また、情報処理システム１００を構成するＶＲシステム２００の数は、１つに限られず、複数存在してもよい。なお、本実施形態では、ＶＲシステム２００とＭＲシステム４００とのネットワーク２を介した通信は、サーバ６００を介して行われるが、サーバ６００を介さずに行われてもよい。なお、ネットワーク２は、例えば、インターネット、移動通信システム（例えば、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の通信回線、またはこれらの組み合わせ等のいずれによって構成されていてもよい。

（ＶＲシステムの構成）
図２に示されるように、ＶＲシステム２００は、ＶＲ装置２１０と、コンピュータ３００と、検出装置２６０と、ディスプレイ２７０と、コントローラ２８０とを備える。ＶＲ装置２１０は、ディスプレイ２１１と、注視センサ２１２と、第１カメラ２１３と、第２カメラ２１４と、マイク２１５と、スピーカ２１６と、センサ２１７と、を備える。以下、ＶＲ装置２１０を使用するユーザを、ＶＲユーザと呼ぶ。

コンピュータ３００は、インターネットその他のネットワーク２に接続可能であり、例えば、ネットワーク２に接続されているサーバ６００、ＭＲシステム４００のコンピュータ、およびその他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＶＲシステム２００のコンピュータや外部機器７００等が挙げられる。

ＶＲ装置２１０は、ＶＲユーザの頭部に装着され、動作中に仮想空間をＶＲユーザに提供し得る。ＶＲ装置２１０は、例えば、ディスプレイを備える所謂ヘッドマウントディスプレイであってもよく、スマートフォンその他のディスプレイを有する端末が装着されたヘッドマウント機器等であってもよい。ＶＲ装置２１０は、例えば、右目用の画像および左目用の画像をディスプレイ２１１にそれぞれ表示する。ＶＲユーザの各目がそれぞれの画像を視認すると、ＶＲユーザは、両目の視差に基づき当該画像を３次元画像として認識し得る。

ディスプレイ２１１は、例えば、非透過型の表示装置として実現される。ディスプレイ２１１は、例えば、ＶＲユーザの両目の前方に位置するようにＶＲ装置２１０の本体に配置されている。したがって、ＶＲユーザは、ディスプレイ２１１に表示される３次元画像を視認すると、仮想空間に没入することができる。なお、ディスプレイ２１１は、所謂スマートフォンその他の端末が備えるディスプレイ等によって実現されてもよい。

検出装置２６０は、ＶＲ装置２１０を使用するＶＲユーザの動きを検出する。検出装置２６０は、ＶＲ装置２１０の動きを検出するためのポジショントラッキング機能を有し、これによりＶＲユーザの動きを検出するものであってもよい。具体的には、検出装置２６０は、例えば、ＶＲユーザの動きを検出するためのセンサとして、ＶＲ装置２１０からの光（例えば、赤外光）を読み取るセンサを有し、現実空間内におけるＶＲ装置２１０の位置や傾き等を検出するものであってもよい。この場合に、ＶＲ装置２１０は、図示せぬ複数の光源を有していてもよい。また、各光源は例えば、赤外光を発するＬＥＤ（Light Emitting Diode）により実現されてもよい。

また、検出装置２６０は、例えば、カメラにより実現されてもよい。具体的には、検出装置２６０は、ＶＲユーザの動きを検出するためのセンサとして、イメージセンサ（例えば、ＲＧＢ画像を取得するイメージセンサ、白黒画像を取得するイメージセンサ、またはデプスセンサ等）を有するものであってもよい。換言すると、ＶＲユーザの動きは、カメラによって検出されてもよい。検出装置２６０は、例えば、赤外光や所定のパターンの光等の所定の光を放射する装置と、イメージセンサ（例えば、デプスセンサ）とを備えるデプスカメラ等であり、当該装置から放射された光の反射光を当該イメージセンサにより検出し、イメージセンサからの出力に基づいて、ＶＲユーザの位置や姿勢等を検出するもの等であってもよい。また、検出装置４６０は、このようなデプスカメラとＲＧＢ画像が取得可能なカメラとを備えるものであり、これらのカメラからの出力に基づいて、ＶＲユーザの位置や姿勢等を検出するもの等であってもよい。また、検出装置２６０は、例えば、複数のイメージセンサを備えるステレオカメラ等であり、複数のイメージセンサからの出力に基づいて、ＶＲユーザの位置や姿勢等を検出するもの等であってもよい。なお、ＶＲユーザの位置や姿勢等の検出とは、ＶＲユーザの体の位置や姿勢等の検出であってもよく、ＶＲ装置２１０の位置や傾き等の検出であってもよい。

なお、ＶＲシステム２００は、検出装置２６０として、１または複数種類の検出装置を有していてもよく、各種類の検出装置を複数有していてもよい。また、ＶＲシステム２００は、検出装置２６０を有していなくてもよい。なお、検出装置２６０の一部がコンピュータ３００等によって構成されてもよい。例えば、イメージセンサからの出力の解析（例えば、画像認識等）は、コンピュータ３００等で行われてもよい。

なお、検出装置２６０は、上述の各種センサ等に加え、検出装置２６０自身の位置や傾き等を検出可能なセンサを有していてもよい。具体的には、例えば、検出装置２６０は、角速度センサ（例えば、３軸角速度センサ）、加速度センサ（例えば、３軸加速度センサ）、または地磁気センサ（例えば、３軸地磁気センサ）等を有していてもよい。また、これらのセンサからの出力は、コンピュータ３００等に送られ、例えば、検出装置２６０の備えるイメージセンサからの出力に基づいて所定の処理が行われる際等に使用されてもよい。

また、ＶＲ装置２１０は、ＶＲユーザの動きを検出する検出手段として、検出装置２６０の代わりに、あるいは検出装置２６０に加えてセンサ２１７を備えてもよい。ＶＲ装置２１０は、センサ２１７を用いて、ＶＲ装置２１０自身の位置および傾きを検出し得る。センサ２１７は、例えば、角速度センサ（例えば、３軸角速度センサ）、加速度センサ（例えば、３軸加速度センサ）、または地磁気センサ（例えば、３軸地磁気センサ）等であってもよい。また、ＶＲ装置２１０は、センサ２１７として、１または複数種類のセンサを有していてもよく、各種類のセンサを複数有していてもよい。一例として、センサ２１７として角速度センサを用いた場合、ＶＲ装置２１０は、現実空間におけるＶＲ装置２１０の３軸周りの角速度を経時的に検出できる。そして、ＶＲ装置２１０は、各角速度に基づいて、ＶＲ装置２１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＶＲ装置２１０の傾きを算出すること等ができる。また、センサ２１７は、例えば、イメージセンサであってもよい。そして、当該イメージセンサからの出力に基づいて、ＶＲユーザの位置や姿勢等を検出してもよい。換言すると、ＶＲユーザの位置や姿勢等は、ＶＲ装置２１０の備えるＶＲ装置２１０の周囲を撮影するカメラからの情報等に基づいて検出されてもよい。換言すると、ＶＲ装置２１０のトラッキングは、アウトサイドイン方式によって行われてもよく、インサイドアウト方式によって行われてもよい。

注視センサ２１２は、ＶＲユーザの右目および左目の視線が向けられる方向を検出する。すなわち、注視センサ２１２は、ＶＲユーザの視線（換言すると、目の動き）を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ２１２は、当該アイトラッキング機能を有するセンサにより実現される。注視センサ２１２は、右目用のセンサおよび左目用のセンサを含んでいてもよい。注視センサ２１２は、例えば、ＶＲユーザの右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。この場合、注視センサ２１２は、検出した各回転角に基づいて、ＶＲユーザの視線を検出することができる。

第１カメラ２１３は、ＶＲユーザの顔の下部を撮影する。より具体的には、第１カメラ２１３は、ＶＲユーザの鼻および口などを撮影する。第２カメラ２１４は、ＶＲユーザの目および眉などを撮影する。ここで、ＶＲ装置２１０の筐体のＶＲユーザ側をＶＲ装置２１０の内側、ＶＲ装置２１０の筐体のＶＲユーザとは逆側をＶＲ装置２１０の外側と定義する。第１カメラ２１３は、ＶＲ装置２１０の外側に配置され、第２カメラ２１４は、ＶＲ装置２１０の内側に配置されてもよい。第１カメラ２１３および第２カメラ２１４により撮影された画像は、コンピュータ３００に入力される。なお、第１カメラ２１３と第２カメラ２１４とを１台のカメラとして実現し、この１台のカメラでＶＲユーザの顔を撮影してもよい。

音入力手段としてのマイク２１５は、ＶＲユーザの声を音信号（換言すると、電気信号）に変換してコンピュータ３００に出力する。音出力手段としてのスピーカ２１６は、音信号を音に変換してＶＲユーザに出力する。なお、ＶＲ装置２１０は、音出力手段としてスピーカ２１６に代えてイヤホンを含んでいてもよい。

ディスプレイ２７０は、ディスプレイ２１１に表示されている画像と同様の画像を表示する。これにより、ＶＲ装置２１０を装着しているＶＲユーザ以外のユーザにも当該ＶＲユーザと同様の画像（換言すると仮想空間）を視聴させることができる。ディスプレイ２７０に表示される画像は、３次元画像である必要はなく、例えば、ＶＲ装置２１０で表示される右目用の画像や左目用の画像であってもよい。ディスプレイ２７０としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。

コントローラ２８０は、有線または無線によりコンピュータ３００に接続されている。コントローラ２８０は、ＶＲユーザからコンピュータ３００への指示に係る入力操作を受け付ける。また、コントローラ２８０は、仮想空間に配置される仮想オブジェクトの位置や動きを制御するためのＶＲユーザによる入力操作を受け付ける。コントローラ２８０は、例えば、ＶＲユーザによって把持可能に構成されてもよい。また、コントローラ２８０は、例えば、ＶＲユーザの身体あるいは衣類の一部に装着可能に構成されてもよい。具体的には、コントローラ２８０は、例えば、手袋型等であってもよい。また、コントローラ２８０は、コンピュータ３００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力可能に構成されてもよい。

また、コントローラ２８０は、複数の光源を有していてもよい。各光源は例えば、赤外光を発するＬＥＤにより実現されてもよい。そして、検出装置２６０は、コントローラ２８０からの赤外光を読み取り、現実空間内におけるコントローラ２８０の位置および傾き等を検出してもよい。換言すると、検出装置２６０は、コントローラ２８０の動きを検出するポジショントラッキング機能を有し、これによりＶＲユーザの動きを検出するものであってもよい。

なお、ＶＲシステム２００は、コントローラ２８０を有していなくてもよい。

また、情報処理システム１００は、ＶＲユーザの動きを検出するセンサ２８６を有していてもよい。センサ２８６は、例えば、角速度センサ、加速度センサ、または地磁気センサであってもよい。また、センサ２８６は、例えば、コントローラ２８０に設けられていてもよい（図７参照）。なお、情報処理システム１００は、センサ２８６として、１または複数種類のセンサを有していてもよく、各種類のセンサを複数有していてもよい。また、センサ２８６を備える装置（例えば、コントローラ２８０や所定のカメラ等）と、コンピュータ３００とは、例えば、無線により互いに接続されてもよい。そして、センサ２８６により取得された情報は、例えば、無線通信によりコンピュータ３００に送信されてもよい。

また、ＶＲユーザの位置や動きは、ＶＲ装置２１０が、所定の無線通信（例えば、Ｗｉ－Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、またはＵＷＢ（Ultra Wide Band）通信などの近距離無線通信）を行う装置を備え、当該装置と周囲の機器とが無線通信を行いＶＲ装置２１０の位置情報を取得することにより検出されてもよい。

また、ＶＲユーザの位置や動きは、ＶＲユーザが身につけるデバイス等（例えば、時計型、リストバンド型、指輪型、もしくは衣服型等のウェアラブルデバイス、または体内埋め込み型のデバイス等）の、ＶＲユーザの動きをトラッキング可能とする外部機器７００（および当該機器と近距離無線通信等により連携してＶＲユーザの動きをトラッキングする機器）を用いて検出されてもよい。また、これらの外部機器７００をコントローラ２８０として使用してもよい。また、ＶＲユーザの位置や動きは、ＧＰＳセンサ等によって検出されてもよい。

（コンピュータ３００の構成）
図２に示されるように、コンピュータ３００は、主たる構成要素として、プロセッサ３０１と、メモリ３０２と、ストレージ３０３と、入出力インターフェース３０４と、通信インターフェース３０５とを備える。各構成要素は、それぞれ、バスによって互いに接続されている。

プロセッサ３０１は、ＶＲ装置２１０の動作を制御する。プロセッサ３０１は、ストレージ３０３からプログラムを読み出し、メモリ３０２に展開する。プロセッサ３０１は、展開したプログラムを実行する。プロセッサ３０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、およびＦＰＧＡ（Field-Programmable Gate Array）等のうちの１種類以上を含んで構成され得る。

メモリ３０２は、主記憶装置である。メモリ３０２は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等の記憶装置により構成される。メモリ３０２は、プロセッサ３０１がストレージ３０３から読み出したプログラムおよび各種データを一時的に記憶することにより、プロセッサ３０１に作業領域を提供する。メモリ３０２は、プロセッサ３０１がプログラムに従って動作している間に生成した各種データやコンピュータ３００に入力された各種データ等も一時的に記憶する。

ストレージ３０３は、補助記憶装置である。ストレージ３０３は、例えば、フラッシュメモリまたはＨＤＤ（Hard Disk Drive）等の記憶装置により構成される。ストレージ３０３には、情報処理システム１００においてサービスを提供するためのプログラムが格納される。また、ストレージ３０３には、情報処理システム１００においてサービスを提供するための各種データが格納される。ストレージ３０３に格納されるデータには、仮想空間を規定するためのデータおよび仮想オブジェクトに関するデータ等が含まれる。

なお、ストレージ３０３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。また、コンピュータ３００に内蔵されたストレージ３０３の代わりに、外部の記憶装置に保存されているプログラムおよびデータが使用される構成であってもよい。

入出力インターフェース３０４は、コンピュータ３００がデータの入力を受け付けるためのインターフェースであるとともに、コンピュータ３００がデータを出力するためのインターフェースである。入出力インターフェース３０４は、ＶＲ装置２１０、検出装置２６０、およびディスプレイ２７０との間でデータの送信または受信をし得る。また、ＶＲ装置２１０に含まれるディスプレイ２１１、注視センサ２１２、第１カメラ２１３、第２カメラ２１４、マイク２１５、スピーカ２１６、およびセンサ２１７との間でデータの送信または受信をしてもよい。

なお、入出力インターフェース３０４は、コントローラ２８０との間でデータの送信または受信をしてもよい。例えば、入出力インターフェース３０４は、コントローラ２８０およびセンサ２８６から出力された信号の入力を受けてもよい。また、入出力インターフェース３０４は、プロセッサ３０１から出力された命令を、コントローラ２８０に送信してもよい。当該命令は、振動、音出力、発光等をコントローラ２８０に指示するものであってもよい。コントローラ２８０は、当該命令を受信すると、命令に応じて、振動、音出力または発光等を行う。

なお、ＶＲ装置２１０、検出装置２６０、ディスプレイ２７０、コントローラ２８０、およびセンサ２８６のそれぞれとコンピュータ３００とは、有線接続されてもよく、無線接続されてもよい。

通信インターフェース３０５は、他のコンピュータ（例えば、サーバ６００、コンピュータ５００、または他のコンピュータ３００等）とのネットワーク２を介した各種データの送受信を制御する。

プロセッサ３０１は、ストレージ３０３にアクセスし、ストレージ３０３に格納されているプログラムをメモリ３０２に展開し、当該プログラムに含まれる一連の命令を実行する。また、プロセッサ３０１は、入出力インターフェース３０４を介して、仮想空間を提供するための信号をＶＲ装置２１０に送る。

なお、コンピュータ３００はＶＲ装置２１０の外部に設けられていてもよく、コンピュータ３００の一部または全体がＶＲ装置２１０に内蔵されてもよい。また、ディスプレイ２１１を含む携帯型の端末（例えば、スマートフォン）がコンピュータ３００の少なくとも一部として機能してもよい。なお、ＶＲ装置２１０が複数存在する場合に、コンピュータ３００は、各ＶＲ装置２１０に対して設けられていてもよく、複数のＶＲ装置２１０に対して共通して用いられてもよい。

（座標系）
ＶＲシステム２００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。

現実空間内におけるＶＲ装置２１０の位置や傾きは、検出装置２６０やセンサ２１７によって検出できる。検出されるＶＲ装置２１０の傾きは、例えば、実座標系におけるＶＲ装置２１０の３軸周りの各傾きに相当する。コンピュータ３００は、実座標系におけるＶＲ装置２１０の傾きに基づき、ｕｖｗ視野座標系をＶＲ装置２１０に設定する（図４参照）。ＶＲ装置２１０に設定されるｕｖｗ視野座標系は、ＶＲ装置２１０を装着したＶＲユーザが仮想空間において物体を見る際の視点座標系に対応する。

ここで、ｕｖｗ視野座標系について説明する。コンピュータ３００は、ＶＲ装置２１０を装着したＶＲユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、コンピュータ３００は、実座標系を規定する水平方向、鉛直方向、および前後方向を、実座標系内においてＶＲ装置２１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＶＲ装置２１０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。

例えば、ＶＲ装置２１０を装着したＶＲユーザが直立し、かつ、正面を視認している場合、プロセッサ３０１は、実座標系に平行な視野座標系をＶＲ装置２１０に設定する。この場合、実座標系における水平方向、鉛直方向、および前後方向は、ＶＲ装置２１０における視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。

ｕｖｗ視野座標系がＶＲ装置２１０に設定された後、検出装置２６０またはセンサ２１７は、ＶＲ装置２１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＶＲ装置２１０の傾きを検出できる。この場合、検出装置２６０またはセンサ２１７は、ＶＲ装置２１０の傾きとして、ｕｖｗ視野座標系におけるＶＲ装置２１０のピッチ角、ヨー角、およびロール角をそれぞれ検出する。ピッチ角は、ｕｖｗ視野座標系におけるピッチ軸周りのＶＲ装置２１０の傾き角度を表す。ヨー角は、ｕｖｗ視野座標系におけるヨー軸周りのＶＲ装置２１０の傾き角度を表す。ロール角は、ｕｖｗ視野座標系におけるロール軸周りのＶＲ装置２１０の傾き角度を表す。

コンピュータ３００は、検出されたＶＲ装置２１０の傾きに基づいて、ＶＲ装置２１０が動いた後のＶＲ装置２１０におけるｕｖｗ視野座標系を、ＶＲ装置２１０に設定する。ＶＲ装置２１０と、ＶＲ装置２１０のｕｖｗ視野座標系との関係は、ＶＲ装置２１０の位置および傾きに関わらず、常に一定である。ＶＲ装置２１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＶＲ装置２１０のｕｖｗ視野座標系の位置および傾きが変化する。

なお、検出装置２６０は、ＶＲ装置２１０の現実空間内における位置を、検出装置２６０に対する相対位置として特定してもよい。また、プロセッサ３０１は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＶＲ装置２１０のｕｖｗ視野座標系の原点を決定してもよい。

（仮想空間）
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ３００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。

仮想空間１１では、所定の点を原点１２とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸が実座標系の水平方向と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系の鉛直方向と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系の前後方向と平行である。

ＶＲ装置２１０の起動時、すなわちＶＲ装置２１０の初期状態においては、仮想カメラ１４が、仮想空間１１の所定の位置（例えば、中心）に配置される。また、プロセッサ３０１は、仮想カメラ１４が撮影する画像をＶＲ装置２１０のディスプレイ２１１に表示する。仮想カメラ１４は、現実空間におけるＶＲ装置２１０の動きに連動して、仮想空間１１内で動く。これにより、現実空間におけるＶＲ装置２１０の傾きや位置の変化が、仮想空間１１において同様に再現され得る。

仮想カメラ１４には、ＶＲ装置２１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＶＲ装置２１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＶＲ装置２１０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。なお、仮想カメラ１４は、ＶＲユーザの現実空間における移動に連動して、仮想空間１１において移動してもよいが、本実施形態では、ＶＲユーザが現実空間において移動しても、仮想空間１１では移動しないようになっている。

コンピュータ３００のプロセッサ３０１は、仮想カメラ１４の位置と傾きとに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＶＲ装置２１０を装着したＶＲユーザが視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるＶＲユーザの視点といえる。

ＶＲ装置２１０のｕｖｗ視野座標系は、ＶＲユーザがディスプレイ２１１を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＶＲ装置２１０のｕｖｗ視野座標系に連動している。したがって、注視センサ２１２によって検出されたＶＲユーザの視線を、仮想カメラ１４のｕｖｗ視野座標系におけるＶＲユーザの視線とみなすことができる。

（視界領域）
図５および図６を参照して、視界領域１５について説明する。図５は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図６は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。

図５に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ３０１は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として定義する。

図６に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ３０１は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として定義する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。

ＶＲシステム２００は、コンピュータ３００からの信号に基づいて、視界画像１７をディスプレイ２１１に表示させることにより、ＶＲユーザに仮想空間１１における視界を提供する（図４参照）。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ＶＲユーザが、頭に装着したＶＲ装置２１０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、ディスプレイ２１１に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてＶＲユーザが向いた方向の視界領域１５に重畳する画像に更新される。ＶＲユーザは、仮想空間１１における所望の方向を視認することができる。

ＶＲユーザは、ＶＲ装置２１０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、情報処理システム１００は、仮想空間１１への高い没入感覚をＶＲユーザに与えることができる。

なお、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。この場合、ＶＲユーザが３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。なお、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。

（コントローラ）
図７を参照して、コントローラ２８０の一例について説明する。

図７に示されるように、コントローラ２８０は、右コントローラ２８０Ｒと図示せぬ左コントローラとを含み得る。この場合に、右コントローラ２８０Ｒは、ＶＲユーザの右手で操作される。左コントローラは、ＶＲユーザの左手で操作される。ある局面において、右コントローラ２８０Ｒと左コントローラとは、別個の装置として構成される。したがって、ＶＲユーザは、右コントローラ２８０Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ２８０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ２８０Ｒについて説明する。

右コントローラ２８０Ｒは、グリップ２８１と、フレーム２８２と、天面２８３と、ボタン２８４，２８５と、センサ（例えば、モーションセンサ）２８６と、赤外光ＬＥＤ２８７と、ボタン２８８，２８９と、アナログスティック２９０とを備える。グリップ２８１は、ＶＲユーザの右手によって把持されるように構成されている。たとえば、グリップ２８１は、ＶＲユーザの右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

ボタン２８４は、グリップ２８１の側面に配置され、右手の中指による操作を受け付ける。ボタン２８５は、グリップ２８１の前面に配置され、右手の人差し指による操作を受け付ける。また、ボタン２８４，２８５は、ボタン２８４，２８５を押下するユーザの動きを検出するスイッチを備えている。なお、ボタン２８４，２８５は、トリガー式のボタンとして構成されてもよい。

センサ２８６は、グリップ２８１の筐体に内蔵されている。また、センサ２８６は、ＶＲユーザの動きを検出する。具体的には、センサ２８６は、ＶＲユーザの手の動きを検出する。例えば、センサ２８６は、手の回転速度、回転数等を検出する。なお、コントローラ２８０は、センサ２８６を備えなくてもよい。

フレーム２８２には、その円周方向に沿って複数の赤外光ＬＥＤ２８７が配置されている。赤外光ＬＥＤ２８７は、コントローラ２８０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外光を発光する。赤外光ＬＥＤ２８７から発せられた赤外光は、右コントローラ２８０Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。

天面２８３は、ボタン２８８，２８９と、アナログスティック２９０とを備える。ボタン２８８，２８９は、ＶＲユーザの右手の親指による操作を受け付ける。また、ボタン２８８，２８９は、ボタン２８８，２８９を押下するユーザの動きを検出するスイッチを備えている。アナログスティック２９０は、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動させるための操作を含む。また、アナログスティック２９０は、アナログスティック２９０を操作するユーザの動きを検出するセンサを備えている。

コントローラ２８０が検出したＶＲユーザの入力操作（換言すると、ＶＲユーザの動き）に関する情報は、コンピュータ３００に送られる。

図７に示されるように、コントローラ２８０には、例えば、ＶＲユーザの右手に対して、ヨー、ロール、ピッチの各方向が規定される。具体的には、例えば、ＶＲユーザが親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。

（ＭＲシステムの構成）
図３に示されるように、ＭＲシステム４００は、ＭＲ装置４１０と、コンピュータ５００と、検出装置４６０と、ディスプレイ４７０と、コントローラ４８０とを備える。ＭＲ装置４１０は、ディスプレイ４１１と、注視センサ４１２と、カメラ４１３と、マイク４１５と、スピーカ４１６と、センサ４１７とを備える。以下、ＭＲ装置４１０を使用するユーザを、ＭＲユーザ６と呼ぶ。

コンピュータ５００は、インターネットその他のネットワーク２に接続可能であり、例えば、ネットワーク２に接続されているサーバ６００、ＶＲシステム２００のコンピュータ、およびその他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＭＲシステム４００のコンピュータや外部機器７００等が挙げられる。

ＭＲ装置４１０は、ＭＲユーザ６の頭部に装着され、動作中に複合現実空間をＭＲユーザ６に提供し得る。ＭＲ装置４１０は、例えば、ディスプレイを備えるメガネ型の装置（例えば、所謂ＭＲグラス）であってもよい。また、ＭＲ装置４１０は、コンタクトレンズ型の装置等であってもよい。

ディスプレイ４１１は、例えば、透過型の表示装置として実現される。なお、透過型のディスプレイ４１１は、その透過率を調整することにより、一時的に非透過型の表示装置として機能するものであってもよい。ディスプレイ４１１は、例えば、ＭＲユーザ６の両目の前方に位置するようにＭＲ装置４１０の本体に配置されている。したがって、ＭＲユーザ６には、透過型のディスプレイ４１１を介して見える現実空間に、ディスプレイ４１１が表示する仮想オブジェクトが重畳された表示が提供される。すなわち、ＭＲ装置４１０は、現実空間に仮想オブジェクトが配置された複合現実空間のビューをＭＲユーザ６に提供する。換言すると、ＭＲユーザ６は、ＭＲ装置４１０により、仮想オブジェクトと、現実空間に存在するオブジェクト（以下、「現実オブジェクト」という。）とを同時に見ることができる。

検出装置４６０は、ＭＲ装置４１０を使用するＭＲユーザ６の動きを検出する。検出装置４６０は、ＭＲ装置４１０の動きを検出するためのポジショントラッキング機能を有し、これによりＭＲユーザ６の動きを検出するものであってもよい。具体的には、検出装置４６０は、例えば、ＭＲユーザ６の動きを検出するためのセンサとして、ＭＲ装置４１０からの光（例えば、赤外光）を読み取るセンサを有し、複合現実空間内におけるＭＲ装置４１０の位置や傾き等を検出するものであってもよい。この場合に、ＭＲ装置４１０は、図示せぬ複数の光源を有していてもよい。また、各光源は例えば、赤外光を発するＬＥＤ（Light Emitting Diode）により実現されてもよい。

また、検出装置４６０は、例えば、カメラにより実現されてもよい。具体的には、検出装置４６０は、ＭＲユーザ６の動きを検出するためのセンサとして、イメージセンサ（例えば、ＲＧＢ画像を取得するイメージセンサ、白黒画像を取得するイメージセンサ、またはデプスセンサ等）を有するものであってもよい。換言すると、ＭＲユーザ６の動きは、カメラによって検出されてもよい。検出装置４６０は、例えば、赤外光や所定のパターンの光等の所定の光を放射する装置と、イメージセンサ（例えば、デプスセンサ）とを備えるデプスカメラ等であり、当該装置から放射された光の反射光を当該イメージセンサにより検出し、イメージセンサからの出力に基づいて、ＭＲユーザ６の位置や姿勢等を検出するもの等であってもよい。また、検出装置４６０は、このようなデプスカメラとＲＧＢ画像が取得可能なカメラとを備えるものであり、これらのカメラからの出力に基づいて、ＭＲユーザ６の位置や姿勢等を検出するもの等であってもよい。また、検出装置４６０は、例えば、複数のイメージセンサを備えるステレオカメラ等であり、複数のイメージセンサからの出力に基づいて、ＭＲユーザ６の位置や姿勢等を検出するもの等であってもよい。なお、ＭＲユーザ６の位置や姿勢等の検出とは、ＭＲユーザ６の体の位置や姿勢等の検出であってもよく、ＭＲ装置４１０の位置や傾き等の検出であってもよい。

なお、ＭＲシステム４００は、検出装置４６０として、１または複数種類の検出装置を有していてもよく、各種類の検出装置を複数有していてもよい。例えば、ＭＲシステム４００は、複数のカメラ（換言すると、複数のセンサ）を備え、当該複数のカメラが検出装置４６０として機能してもよい。本実施形態では、ＭＲシステム４００は、３台の検出装置４６０を備え、各検出装置４６０が、デプスカメラとＲＧＢ画像が取得可能なカメラとを備えるものとして説明する。なお、検出装置４６０の一部がコンピュータ５００等によって構成されてもよい。例えば、イメージセンサからの出力の解析（例えば、画像認識等）は、コンピュータ５００等で行われてもよい。なお、ＭＲシステム４００は、検出装置４６０を有していなくてもよい。

なお、検出装置４６０は、上述の各種センサ等に加え、検出装置４６０自身の位置や傾き等を検出可能なセンサを有していてもよい。具体的には、例えば、検出装置４６０は、角速度センサ（例えば、３軸角速度センサ）、加速度センサ（例えば、３軸加速度センサ）、または地磁気センサ（例えば、３軸地磁気センサ）等を有していてもよい。また、これらのセンサからの出力は、コンピュータ５００等に送られ、例えば、検出装置４６０の備えるイメージセンサからの出力に基づいて所定の処理が行われる際等に使用されてもよい。

また、後述するＭＲ装置４１０の構成から理解されるように、他のＭＲユーザ６のＭＲ装置４１０が、検出装置４６０として用いられてもよい。

また、ＭＲ装置４１０は、ＭＲユーザ６の動きを検出する検出手段として、検出装置４６０の代わりに、あるいは検出装置４６０に加えてセンサ４１７を備えてもよい。ＭＲ装置４１０は、センサ４１７を用いて、ＭＲ装置４１０自身の位置および傾きを検出し得る。センサ４１７は、例えば、角速度センサ（例えば、３軸角速度センサ）、加速度センサ（例えば、３軸加速度センサ）、または地磁気センサ（例えば、３軸地磁気センサ）等であってもよい。また、ＭＲ装置４１０は、センサ４１７として、１または複数種類のセンサを有していてもよく、各種類のセンサを複数有していてもよい。

注視センサ４１２は、ＭＲユーザ６の右目および左目の視線が向けられる方向を検出する。すなわち、注視センサ４１２は、ＭＲユーザ６の視線（換言すると、目の動き）を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ４１２は、当該アイトラッキング機能を有するセンサにより実現される。注視センサ４１２は、右目用のセンサおよび左目用のセンサを含んでいてもよい。注視センサ４１２は、例えば、ＭＲユーザ６の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。この場合、注視センサ４１２は、検出した各回転角に基づいて、ＭＲユーザ６の視線を検出することができる。

カメラ４１３は、ＭＲユーザ６の周囲（例えば、前方）を撮影する。ＭＲ装置４１０は、例えば、カメラ４１３として、デプスカメラと、ＲＧＢ画像が取得可能なカメラとを備えていてもよい。そして、カメラ４１３からの出力に基づいて、コンピュータ５００が、ＭＲ装置４１０（換言するとＭＲユーザ６）の周囲のオブジェクトの形状や、ＭＲ装置４１０と周囲のオブジェクトとの相対的な距離等を検出してもよい。また、ＭＲ装置４１０の位置や傾きは、カメラ４１３からの出力に基づいて検出されてもよい。換言すると、ＭＲ装置４１０のトラッキングは、アウトサイドイン方式によって行われてもよく、インサイドアウト方式によって行われてもよい。

音入力手段としてのマイク４１５は、ＭＲユーザ６の声を音信号（換言すると、電気信号）に変換してコンピュータ５００に出力する。音出力手段としてのスピーカ４１６は、音信号を音に変換してＭＲユーザ６に出力する。なお、ＭＲ装置４１０は、音出力手段としてスピーカ４１６に代えてイヤホンを含んでいてもよい。

ディスプレイ４７０は、例えば、ディスプレイ４１１に表示されている画像と同様の画像を表示する。これにより、ＭＲ装置４１０を装着しているＭＲユーザ６以外のユーザにも当該ＭＲユーザ６と同様の画像を視聴させることができる。ディスプレイ４７０に表示される画像は、３次元画像である必要はなく、例えば、ＭＲ装置４１０で表示される右目用の画像や左目用の画像であってもよい。ディスプレイ４７０としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。なお、ディスプレイ４７０は、ＭＲ装置４１０がＭＲユーザ６に提供する複合現実空間のビューを示す画像を表示してもよい。

コントローラ４８０は、有線または無線によりコンピュータ５００に接続されている。コントローラ４８０は、ＭＲユーザ６からコンピュータ５００への指示に係る入力操作を受け付ける。また、コントローラ４８０は、複合現実空間に配置される仮想オブジェクトの位置や動きを制御するためのＭＲユーザ６による入力操作を受け付ける。コントローラ４８０は、例えば、ＭＲユーザ６によって把持可能に構成されてもよい。また、コントローラ４８０は、例えば、ＭＲユーザ６の身体あるいは衣類の一部に装着可能に構成されてもよい。また、コントローラ４８０は、コンピュータ５００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力可能に構成されてもよい。

また、コントローラ４８０は、複数の光源を有していてもよい。各光源は例えば、赤外光を発するＬＥＤにより実現されてもよい。そして、検出装置４６０は、コントローラ４８０からの赤外光を読み取り、複合現実空間内におけるコントローラ４８０の位置および傾き等を検出してもよい。換言すると、検出装置４６０は、コントローラ４８０の動きを検出するポジショントラッキング機能を有し、これによりＭＲユーザ６の動きを検出するものであってもよい。

なお、ＭＲシステム４００は、コントローラ４８０を有していなくてもよい。また、コントローラ４８０は、例えば、コントローラ２８０の備える構成の一部または全部を有していてもよい。

なお、情報処理システム１００は、ＭＲユーザ６の動きを検出するセンサ４８６を有していてもよい。センサ４８６は、例えば、角速度センサ、加速度センサ、または地磁気センサであってもよい。また、センサ４８６は、例えば、コントローラ４８０に設けられていてもよい。なお、情報処理システム１００は、センサ４８６として、１または複数種類のセンサを有していてもよく、各種類のセンサを複数有していてもよい。また、センサ４８６を備える装置（例えば、コントローラ４８０や所定のカメラ等）と、コンピュータ５００とは、例えば、無線により互いに接続されてもよい。そして、センサ４８６により取得された情報は、例えば、無線通信によりコンピュータ３００に送信されてもよい。

また、ＭＲユーザ６の位置や動きは、ＭＲ装置４１０が、所定の無線通信（例えば、Ｗｉ－Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、またはＵＷＢ通信などの近距離無線通信）を行う装置を備え、当該装置と周囲の機器とが無線通信を行いＶＲ装置２１０の位置情報を取得することにより検出されてもよい。

また、ＭＲユーザ６の位置や動きは、ＭＲユーザ６が身につけるデバイス等（例えば、時計型、リストバンド型、指輪型、もしくは衣服型等のウェアラブルデバイス、または体内埋め込み型のデバイス等）の、ＭＲユーザ６の動きをトラッキング可能とする外部機器７００（および当該機器と近距離無線通信等により連携してＭＲユーザ６の動きをトラッキングする機器）を用いて検出されてもよい。また、これらの外部機器７００をコントローラ４８０として使用してもよい。また、ＭＲユーザ６の位置や動きは、ＧＰＳセンサ等によって検出されてもよい。

（コンピュータ５００の構成）
図３に示されるように、コンピュータ５００は、主たる構成要素として、プロセッサ５０１と、メモリ５０２と、ストレージ５０３と、入出力インターフェース５０４と、通信インターフェース５０５とを備える。各構成要素は、それぞれ、バスによって互いに接続されている。

プロセッサ５０１は、ＭＲ装置４１０の動作を制御する。プロセッサ５０１は、ストレージ５０３からプログラムを読み出し、メモリ５０２に展開する。プロセッサ５０１は、展開したプログラムを実行する。プロセッサ５０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、およびＦＰＧＡ（Field-Programmable Gate Array）等のうちの１種類以上を含んで構成され得る。

メモリ５０２は、主記憶装置である。メモリ５０２は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等の記憶装置により構成される。メモリ５０２は、プロセッサ５０１がストレージ５０３から読み出したプログラムおよび各種データを一時的に記憶することにより、プロセッサ５０１に作業領域を提供する。メモリ５０２は、プロセッサ５０１がプログラムに従って動作している間に生成した各種データやコンピュータ５００に入力された各種データ等も一時的に記憶する。

ストレージ５０３は、補助記憶装置である。ストレージ５０３は、例えば、フラッシュメモリまたはＨＤＤ（Hard Disk Drive）等の記憶装置により構成される。ストレージ５０３には、情報処理システム１００においてサービスを提供するためのプログラムが格納される。また、ストレージ５０３には、情報処理システム１００においてサービスを提供するための各種データが格納される。ストレージ５０３に格納されるデータには、複合現実空間を規定するためのデータおよび仮想オブジェクトに関するデータ等が含まれる。

なお、ストレージ５０３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。また、コンピュータ５００に内蔵されたストレージ５０３の代わりに、外部の記憶装置に保存されているプログラムおよびデータが使用される構成であってもよい。

入出力インターフェース５０４は、コンピュータ５００がデータの入力を受け付けるためのインターフェースであるとともに、コンピュータ５００がデータを出力するためのインターフェースである。入出力インターフェース５０４は、ＭＲ装置４１０、検出装置４６０、およびディスプレイ４７０との間でデータの送信または受信をし得る。また、入出力インターフェース５０４は、ＭＲ装置４１０に含まれるディスプレイ４１１、注視センサ４１２、カメラ４１３、マイク４１５、スピーカ４１６、およびセンサ４１７との間でデータの送信または受信をしてもよい。

なお、入出力インターフェース５０４は、コントローラ４８０との間でデータの送信または受信をしてもよい。例えば、入出力インターフェース５０４は、コントローラ４８０およびセンサ４８６から出力された信号の入力を受けてもよい。また、入出力インターフェース５０４は、プロセッサ５０１から出力された命令を、コントローラ４８０に送信してもよい。当該命令は、振動、音出力、発光等をコントローラ４８０に指示するものであってもよい。コントローラ４８０は、当該命令を受信すると、命令に応じて、振動、音出力または発光等を行う。

なお、ＭＲ装置４１０、検出装置４６０、ディスプレイ４７０、コントローラ４８０、およびセンサ４８６のそれぞれとコンピュータ５００とは、有線接続されてもよく、無線接続されてもよい。

通信インターフェース５０５は、他のコンピュータ（例えば、サーバ６００、コンピュータ３００、または他のコンピュータ５００等）とのネットワーク２を介した各種データの送受信を制御する。

プロセッサ５０１は、ストレージ５０３にアクセスし、ストレージ５０３に格納されているプログラムをメモリ５０２に展開し、当該プログラムに含まれる一連の命令を実行する。また、プロセッサ５０１は、入出力インターフェース５０４を介して、複合現実空間を提供するための信号をＭＲ装置４１０に送る。

なお、コンピュータ５００は、ＭＲ装置４１０の外部に設けられていてもよく、コンピュータ５００の一部または全体がＭＲ装置４１０に内蔵されてもよい。また、ＭＲ装置４１０が複数存在する場合に、コンピュータ５００は、各ＭＲ装置４１０に対して設けられていてもよく、複数のＭＲ装置４１０に対して共通して用いられてもよい。また、この場合に、コンピュータ５００の一部が複数のＭＲ装置４１０のそれぞれに内蔵されるなどしてもよい。本実施形態では、コンピュータ５００に複数のＭＲ装置４１０が接続される場合を例に説明する。

現実空間（換言すると、複合現実空間）内におけるＭＲ装置４１０の位置や傾きを取得する方法は周知であり、また、前述のＶＲ装置２１０における方法と同様の方法により検出できるため説明を省略する。

（サーバの構成）
サーバ６００は、コンピュータ３００にプログラムを送信し得る。また、サーバ６００は、コンピュータ５００にプログラムを送信し得る。また、サーバ６００は、コンピュータ３００とコンピュータ５００との通信を可能とする。また、サーバ６００は、コンピュータ３００と他のコンピュータ３００との通信を可能とする。例えば、情報処理システム１００が、複数のＶＲユーザが参加可能なサービスを提供する場合、ＶＲユーザの各コンピュータ３００は、サーバ６００を介して他のコンピュータ３００と通信し、これにより同じ仮想空間において複数のＶＲユーザが体験を共有することが可能となっていてもよい。なお、各コンピュータ３００は、サーバ６００を介さずに他のコンピュータ３００と通信するようにしてもよい。

図１に示されるように、サーバ６００は、プロセッサ６０１と、メモリ６０２と、ストレージ６０３と、入出力インターフェース６０４と、通信インターフェース６０５とを備える。各構成要素は、それぞれ、バスによって互いに接続されている。

プロセッサ６０１は、サーバ６００全体の動作を制御する。プロセッサ６０１は、ストレージ６０３からプログラムを読み出し、メモリ６０２に展開する。プロセッサ６０１は、展開したプログラムを実行する。プロセッサ６０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、およびＦＰＧＡ（Field-Programmable Gate Array）等のうちの１種類以上を含んで構成され得る。

メモリ６０２は、主記憶装置である。メモリ６０２は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等の記憶装置により構成される。メモリ６０２は、プロセッサ６０１がストレージ６０３から読み出したプログラムおよび各種データを一時的に記憶することにより、プロセッサ６０１に作業領域を提供する。メモリ６０２は、プロセッサ６０１がプログラムに従って動作している間に生成した各種データやサーバ６００に入力された各種データ等も一時的に記憶する。

ストレージ６０３は、補助記憶装置である。ストレージ６０３は、例えば、フラッシュメモリまたはＨＤＤ（Hard Disk Drive）等の記憶装置により構成される。ストレージ６０３には、情報処理システム１００においてサービスを提供するためのプログラムが格納される。また、ストレージ６０３には、情報処理システム１００においてサービスを提供するための各種データが格納される。ストレージ６０３に格納されるデータには、仮想空間を規定するためのデータ、複合現実空間を規定するためのデータ、および仮想オブジェクトに関するデータ等が含まれる。

なお、ストレージ６０３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。また、サーバ６００に内蔵されたストレージ６０３の代わりに、外部の記憶装置に保存されているプログラムおよびデータが使用される構成であってもよい。

入出力インターフェース６０４は、サーバ６００がデータの入力を受け付けるためのインターフェースであるとともに、サーバ６００がデータを出力するためのインターフェースである。入出力インターフェース６０４は、例えば、マウス、キーボード等の入力機器や、ディスプレイ等の出力機器との間でデータの送信または受信をし得る。

通信インターフェース６０５は、他のコンピュータ（例えば、コンピュータ３００、およびコンピュータ５００等）とのネットワーク２を介した各種データの送受信を制御する。

外部機器７００は、コンピュータ３００、コンピュータ５００、またはサーバ６００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ３００と通信可能な機器であってもよく、近距離無線通信や有線接続によりコンピュータ３００と通信可能な機器であってもよい。また、外部機器７００は、例えば、ネットワーク２を介してコンピュータ５００と通信可能な機器であってもよく、近距離無線通信や有線接続によりコンピュータ５００と通信可能な機器であってもよい。また、外部機器７００は、例えば、ネットワーク２を介してサーバ６００と通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、およびコンピュータ３００やコンピュータ５００の周辺機器などが挙げられるが、これらに限定されるものではない。

＜情報処理システムの制御＞
本実施形態のＭＲシステム４００では、ＭＲ装置４１０は、周知のＭＲ装置と同様、現実空間に仮想オブジェクトが配置された複合現実空間のビューをＭＲユーザ６に提供する。また、本実施形態のＶＲシステム２００では、ＶＲ装置２１０は、周知のＶＲ装置と同様、仮想空間のビューをＶＲユーザに提供する。また、本実施形態のＭＲシステム４００では、ＭＲユーザ６は、複合現実空間中の仮想オブジェクトを操作することが可能となっている。また、本実施形態のＶＲシステム２００では、ＶＲユーザは、仮想空間中の仮想オブジェクトを操作することが可能となっている。加えて、本実施形態の情報処理システム１００では、ＶＲシステム２００を使用するＶＲユーザの動き等が、ＭＲシステム４００の提供する複合現実空間のビューに含まれる仮想オブジェクトに反映されるようになっている。また、本実施形態の情報処理システム１００では、ＭＲシステム４００を使用するＭＲユーザ６の動き等が、ＶＲシステム２００の提供する仮想空間のビューに含まれる仮想オブジェクトに反映されるようになっている。なお、本実施形態では、ＶＲユーザの動き等の仮想空間および複合現実空間の仮想オブジェクトへの反映はリアルタイムで行われる。また、本実施形態では、ＭＲユーザ６の動き等の仮想空間および複合現実空間の仮想オブジェクトへの反映はリアルタイムで行われる。

以下では、本実施形態に係る構成が、ＭＲユーザ６とＶＲユーザとの間でのコミュニケーションを可能とするサービス（換言すると、アプリケーション）に適用される場合を例に説明する。具体的には、所定の現実空間としての会議室にいるＭＲユーザ６と、当該会議室と離れた場所にいるＶＲユーザとが、仮想オブジェクトとしての製品のモックアップ等のオブジェクトを同時に見ながら会議を行うこと等を可能とするサービスに本実施形態に係る構成が適用される場合を例に説明する。なお、本実施形態に係る構成は、例えば、学校の授業を自宅から受けることを可能とするシステム等に適用することもできる。また、本実施形態に係る構成は、特定の家で行われるホームパーティに他の場所から参加することを可能とするシステム等に適用することもできる。なお、本実施形態に係る構成の適用先は、これらのサービスに限られない。また、以下では、図８に示されるように、会議室には、複数の検出装置４６０が会議室中の所定の位置に予め設置されているものとして説明する。また、会議室には、ＭＲユーザ６としてＭＲユーザ６Ａ、ＭＲユーザ６Ｂ、およびＭＲユーザ６Ｃの３名が存在するものとして説明する。なお、以下では、ＶＲユーザのアバターオブジェクトをＶＲアバター２５と呼ぶ。また、ＭＲユーザ６のアバターオブジェクトをＭＲアバター２６と呼ぶ。具体的には、ＭＲユーザ６ＡのアバターオブジェクトをＭＲアバター２６Ａと呼び、ＭＲユーザ６ＢのアバターオブジェクトをＭＲアバター２６Ｂと呼び、ＭＲユーザ６ＣのアバターオブジェクトをＭＲアバター２６Ｃと呼ぶ。

図８を参照しながら、現実の会議室２１（換言すると、複合現実空間２１）にいるＭＲユーザ６Ａ，６Ｂ，６Ｃに提供される視界と、ＶＲ装置２１０を介してこの会議室２１を模した仮想空間１１に入り込むＶＲユーザに提供される視界とについて説明する。図８は、ＭＲユーザ６Ａ，６Ｂ，６ＣとＶＲユーザとが、サービスを利用しているときの現実の会議室２１の状態と、仮想空間１１の状態とを表す模式図である。図８の上側部分には、現実の会議室２１の状態が示され、図８の下側部分には、仮想空間１１の状態が示されている。なお、図８においては、ＶＲアバター２５がＶＲ装置２１０を装着しているが、これは説明を分かりやすくするためのものであり、実際にはＶＲアバター２５は、ＶＲ装置２１０（仮想的なＶＲ装置２１０）を装着していなくてもよい。また、図８においては、ＭＲアバター２６がＭＲ装置４１０（仮想的なＭＲ装置４１０）を装着していないが、ＭＲアバター２６が、ＭＲ装置４１０を装着していてもよい。

図８に示されるように、会議室２１には、現実オブジェクトとしての机８等が配置されている。また、会議室２１には、３台の検出装置４６０が配置されている。また、会議室２１には、３名のＭＲユーザ６Ａ，６Ｂ，６Ｃが存在する。一方、会議室２１には、ＶＲユーザは存在しない。ここで、ＭＲユーザ６Ａ，６Ｂ，６Ｃのそれぞれが使用するＭＲ装置４１０のディスプレイ４１１には、仮想オブジェクトとして、ＶＲアバター２５と、モックアップの仮想オブジェクト３０（以下、「仮想模型３０」ともいう。）とが表示される。すなわち、ＭＲ装置４１０では、透過型のディスプレイ４１１を介して見える現実の会議室２１に、ＶＲアバター２５や仮想模型３０が現れた表示がされる。このため、ＭＲユーザ６Ａ，６Ｂ，６Ｃには、実際には会議室２１に存在しないＶＲアバター２５や仮想模型３０があたかも会議室２１に存在するかのような視界が提供される。

また、ＶＲユーザがＶＲ装置２１０を介して見る仮想空間１１は、会議室２１を模したものであり、現実の会議室２１に存在する机８の仮想オブジェクト３１等を含んでいる。また、当該仮想空間１１には、ＭＲユーザ６Ａ，６Ｂ，６ＣのＭＲアバター２６Ａ，２６Ｂ，２６Ｃや、仮想模型３０等が配置される。このため、ＶＲユーザには、あたかもＭＲユーザ６Ａ，６Ｂ，６Ｃがいる会議室２１に自身がいるかのような視界が提供される。

このように、本実施形態の情報処理システム１００では、ＭＲユーザ６は、透過型のディスプレイ４１１を介して、実際に同じ場所に存在する他のＭＲユーザ６や現実オブジェクトが視認できる。また、その上で、ＭＲユーザ６の視点では、仮想オブジェクトとして現れるＶＲユーザのＶＲアバター２５が視認できる。このため、ＭＲユーザ６は、現実世界にいる感覚を損なうことなく、ＶＲユーザや他のＭＲユーザ６等とコミュニケーションを図ることができる。また、ＶＲユーザは、現実世界においてＭＲユーザ６と異なる場所におり、このような場合、ＶＲユーザのいる場所とＭＲユーザ６とのいる場所とでは、部屋の形状等が異なる場合が多い。このため、ＶＲユーザ側においても、ＭＲ装置４１０等を使用して現実空間にＭＲアバター２６を表示させることとすると、違和感のある表示になってしまうおそれがある。本実施形態では、ＶＲユーザは、仮想空間１１に入り込み、ＭＲユーザ６等とコミュニケーションを取ることができるので、このような違和感が生じることを防止できる。また、ＶＲユーザに提供される仮想空間１１は、ＭＲユーザ６のいる場所を模したものであるため、ＶＲユーザやＭＲユーザ６がそれぞれ仮想空間１１または現実空間で動き回る場合や仮想オブジェクトを動かす場合に、相手方に対して表示されるアバターや仮想模型３０等の動きが自然なものとなる。また、ＶＲユーザやＭＲユーザ６は仮想模型３０等の仮想オブジェクトを操作する場合に、相手方にどのように見えるのか等をイメージすることが容易となり、円滑なコミュニケーションを図ることが可能となる。

以下、図９を参照しながら、情報処理システム１００の機能的構成について説明する。なお、図９に示す機能的構成は一例にすぎない。ＶＲシステム２００、コンピュータ５００、およびサーバ６００のそれぞれは、他の装置が備える機能の少なくとも一部を備えていてもよい。換言すると、本実施形態においてコンピュータ３００、コンピュータ５００、およびサーバ６００のそれぞれが備える機能ブロックの一部または全部を、コンピュータ３００、コンピュータ５００、サーバ６００、またはその他の装置が備えていてもよい。また、コンピュータ３００、コンピュータ５００、およびサーバ６００等の各装置は、一体の機器により実現されるものでなくてもよく、例えば、ネットワーク等を介して接続される複数の機器によって実現されてもよい。

また、本実施形態では、プロセッサ３０１、プロセッサ５０１、またはプロセッサ６０１が、情報処理システム１００に記憶されているプログラムを実行することによって、後述する各処理を行うものとして説明する。ただし、後述する処理であってプロセッサ３０１が行う処理のうちの少なくとも一部を、プロセッサ３０１とは別のプロセッサが実行するようにしてもよい。また、後述する処理であってプロセッサ５０１が行う処理のうちの少なくとも一部を、プロセッサ５０１とは別のプロセッサが実行するようにしてもよい。また、後述する処理であってプロセッサ６０１が行う処理のうちの少なくとも一部を、プロセッサ６０１とは別のプロセッサが実行するようにしてもよい。換言すると、本実施形態においてプログラムを実行するコンピュータは、コンピュータ３００、コンピュータ５００、およびサーバ６００を含むいずれのコンピュータであってもよく、また、複数の装置の組み合わせにより実現されてもよい。

図９は、情報処理システム１００の機能的構成を示すブロック図である。図９に示されるように、コンピュータ３００（換言すると、ＶＲシステム２００）は、プロセッサ３０１、メモリ３０２、ストレージ３０３、入出力インターフェース３０４、および通信インターフェース３０５の協働によって、制御部３１０および記憶部３１１として機能する。また、コンピュータ５００（換言すると、ＭＲシステム４００）は、プロセッサ５０１、メモリ５０２、ストレージ５０３、入出力インターフェース５０４、および通信インターフェース５０５の協働によって、制御部５１０および記憶部５１１として機能する。また、サーバ６００は、プロセッサ６０１、メモリ６０２、ストレージ６０３、入出力インターフェース６０４、および通信インターフェース６０５の協働によって、制御部６１０および記憶部６１１として機能する。

ＭＲシステム４００の制御部５１０は、仮想空間生成部８１０と、座標定義部８１２と、ＭＲ側入力受付部８１６と、ユーザ情報取得部８１８と、ＭＲ側オブジェクト制御部８２０と、表示制御部８４０と、音制御部８４５と、通信制御部８５０と、を備える。

仮想空間生成部８１０は、所定の現実空間に基づいて仮想空間（換言すると、仮想空間を表す仮想空間データ）を生成する。換言すると、仮想空間生成部８１０は、所定の現実空間を模した仮想空間を生成する。ここで、所定の現実空間とは、現実世界に存在する所定の場所であり、例えば、会議室、または学校の教室のような特定の部屋等であってもよい。また、所定の現実空間とは、例えば、学校、または家のような特定の建物等であってもよい。また、所定の現実空間とは、例えば、特定の町等であってもよい。換言すると、所定の現実空間とは、壁等によって仕切られた空間でなくてもよい。また、所定の現実空間を模したとは、生成される仮想空間が、現実空間の基本的な構造と同様の構造を有するものであればよい。具体的には、例えば、現実世界の会議室を模した仮想空間は、仮想空間としての仮想の部屋の形状（例えば、壁や床等の形状等）が現実世界の会議室の形状と略一致したものであって、現実世界の会議室に存在する机や椅子等の現実オブジェクトに対応する仮想オブジェクトが配置されたもの等とすることができる。このとき、机、椅子、壁、床等の仮想オブジェクトは、現実オブジェクトの形態を精密にコピーしたものでなくてもよく、例えば、形状、模様、または色彩等が簡略化されたものであってもよい。また、例えば、壁に貼られたポスターあるいは机や床等に置かれた小物等、現実オブジェクトには、仮想世界に表れないオブジェクト（対応する仮想オブジェクトが存在しない現実オブジェクト）が存在してもよい。

本実施形態では、前述のように、所定の現実空間は、特定の会議室２１であり、当該特定の会議室２１を模した仮想空間１１が生成されるものとして説明する。

現実空間を模した仮想空間を生成する方法については、公知の方法が利用でき、また特に限定されるものではないが、例えば以下のようにしてもよい。すなわち、仮想空間生成部８１０は、例えば、現実空間を構成する壁、床、机、椅子等の現実オブジェクトの形状や位置等を検出可能なセンサからの情報に基づいて仮想空間１１を生成する。具体的には、仮想空間生成部８１０は、例えば、検出装置４６０またはＭＲ装置４１０が備えるイメージセンサ（例えば、ＲＧＢ画像を取得するイメージセンサ、白黒画像を取得するイメージセンサ、またはデプスセンサ等）からの情報に基づいて現実空間の３次元情報を取得し、仮想空間を生成してもよい。また、仮想空間生成部８１０は、仮想空間１１の生成に、例えば、加速度センサ、角速度センサ、または地磁気センサ等の情報を用いてもよい。

仮想空間生成部８１０は、生成した仮想空間１１を示すデータ（以下、「仮想空間データ」という。）を、例えば、仮想空間データ記憶部としての記憶部６１１に記憶させる。

なお、仮想空間生成部８１０は、ＶＲユーザやＭＲユーザ６がサービスの利用を開始するよりも前に、事前に仮想空間１１を示す仮想空間データを生成してもよい。また、仮想空間生成部８１０は、例えば、ＶＲユーザやＭＲユーザ６がサービスを利用している最中にリアルタイムで仮想空間１１を示す仮想空間データを生成してもよい。

座標定義部８１２は、現実空間の座標（換言すると、複合現実空間２１の座標。以下、「複合現実座標」という。）を定義する。また、座標定義部８１２は、仮想空間１１の座標（以下、「仮想空間座標」という。）を定義する。

複合現実座標は、例えば、ｘ軸、ｙ軸、ｚ軸の互いに直交する３軸を有する。仮想空間座標は、例えば、Ｘ軸、Ｙ軸、Ｚ軸の互いに直交する３軸を有する。座標定義部８１２は、現実空間（換言すると、現実の会議室２１）の各地点に対応する（換言すると、同じ地点を示す）仮想空間１１（換言すると、仮想の会議室）の各地点について、現実空間の各地点を示す複合現実座標と、仮想空間の各地点を示す仮想空間座標とが一対一で対応したものとなるように、各座標を定義する（換言すると対応付ける）。座標定義部８１２は、例えば、仮想空間生成部８１０が現実空間を模した仮想空間を生成する際に、複合現実座標と対応付けられた仮想空間座標を定義する。このとき、座標定義部８１２は、例えば、検出装置４６０またはＭＲ装置４１０等によって検出される会議室の特徴点を基準として複合現実座標と仮想空間座標とを対応付けてもよい。また、座標定義部８１２は、例えば、検出装置４６０の位置あるいは会議室中に予め設置したマーカー等の位置を基準として複合現実座標と仮想空間座標とを対応付けてもよい。

また、座標定義部８１２は、複合現実座標と仮想空間座標との対応関係（換言すると、現実空間の各地点と、仮想空間の各地点との対応関係）に関する情報を、位置関係記憶部としての記憶部６１１に記憶させる。

なお、複合現実座標や仮想空間座標を定義する方法としては、公知の方法が利用でき、また特に限定されるものではない。

なお、複合現実座標を定義するタイミングや、仮想空間座標を定義するタイミング（換言すると、複合現実座標と仮想空間座標とを対応付けるタイミング）は、例えば、仮想空間生成部８１０が現実空間を模した仮想空間を生成するとき等であってもよく、ＭＲ装置４１０での仮想オブジェクトの表示開始のタイミング等であってもよい。

なお、仮想空間の生成や、各座標の定義等は、例えば、現実空間を高精度にスキャン可能な外部機器７００としての専用の装置が予め行い、生成されたデータを記憶部６１１に記憶しておくこととしてもよい。

ＭＲ側入力受付部８１６は、ＭＲユーザ６からの入力を受け付ける。換言すると、ＭＲ側入力受付部８１６は、ＭＲユーザ６からの入力情報を取得する。具体的には、ＭＲ側入力受付部８１６は、検出装置４６０、コントローラ４８０、カメラ４１３、ＭＲユーザが身につけるデバイス、注視センサ４１２、センサ４１７、センサ４８６、および検出装置４６０やＭＲ装置４１０が備えるイメージセンサ等の出力を、ＭＲユーザ６からの入力として受け付ける。換言すると、ＭＲ側入力受付部８１６は、ＭＲユーザ６の動きを検出する検出手段（例えば、検出装置４６０、コントローラ４８０、カメラ４１３、注視センサ４１２、センサ４１７、センサ４８６、および検出装置４６０やＭＲ装置４１０が備えるイメージセンサ等）の出力を、ＭＲユーザ６からの入力として受け付ける。これらの装置やセンサは、後述するように、仮想空間１１や複合現実空間２１の仮想オブジェクト等を制御するために使用されるＭＲユーザ６の動きに関する情報等を取得するためのものであり、ＭＲユーザ６は自身の動きによって、ＭＲシステム４００に対して当該仮想オブジェクト等を動かしたりするための情報を入力することが可能となっている。

具体的には、ＭＲ側入力受付部８１６は、例えば、検出装置４６０としてのカメラまたはカメラ４１３からの出力を、ＭＲユーザ６からの入力として受け付けてもよい。より具体的には、ＭＲ側入力受付部８１６は、例えば、これらの各カメラが備えるイメージセンサによって撮影される画像から画像認識によって検出される、複合現実空間２１中のＭＲユーザ６の位置を示す位置情報を、ＭＲユーザ６からの入力として受け付けてもよい。換言すると、ＭＲ側入力受付部８１６は、複合現実空間２１中のＭＲユーザ６の位置を検出する位置検出手段からの出力をＭＲユーザ６からの入力として受け付けてもよい。なお、当該位置検出手段は、例えば、ＭＲ装置４１０とＭＲシステム４００の所定の装置（例えば、検出装置４６０やビーコン（図示せず）等）との間での無線通信（例えば、Ｗｉ－Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、またはＵＷＢ通信）に基づく測位、あるいはＭＲ装置４１０の備えるＧＰＳ（Global Positioning System）センサを用いた測位等に基づいて、ＭＲユーザ６の位置を検出し、当該位置情報を取得するもの等であってもよい。なお、ＭＲユーザ６の位置を示す位置情報は、ＭＲユーザ６の動きに関する情報ともいえる。

また、ＭＲ側入力受付部８１６は、例えば、検出装置４６０としてのカメラまたはカメラ４１３が備えるイメージセンサによって撮影される画像から画像認識によって検出されるＭＲユーザ６の動きに関する情報を、ＭＲユーザ６からの入力として受け付けてもよい。例えば、ＭＲ側入力受付部８１６は、画像認識によって検出されるＭＲユーザ６の手の動きに関する情報や、ＭＲユーザ６の傾きや向いている方向に関する情報を、ＭＲユーザ６からの入力として受け付けてもよい。

また、ＭＲ側入力受付部８１６は、例えば、ＭＲユーザ６が身につけるデバイス等（例えば、時計型、リストバンド型、指輪型、もしくは衣服型等のウェアラブルデバイス、または体内埋め込み型のデバイス等）の、ＭＲユーザ６の動きをトラッキング可能とする機器（および当該機器と近距離無線通信等により連携してＭＲユーザ６の動きをトラッキングする機器）を用いて取得されるＭＲユーザ６の動きに関する情報を、ＭＲユーザ６からの入力として受け付けてもよい。

また、ＭＲ側入力受付部８１６は、例えば、コントローラ４８０により検出されるＭＲユーザ６の操作を示す情報（換言すると、ＭＲユーザ６の動きに関する情報）を、ＭＲユーザ６からの入力として受け付けてもよい。

また、ＭＲ側入力受付部８１６は、例えば、検出装置４６０またはＭＲ装置４１０の備えるセンサ（例えば、加速度センサ、角速度センサ、地磁気センサ等）からの、ＭＲ装置４１０の傾きや向いている方向に関する出力データ（換言すると、ＭＲユーザ６の動きに関する情報）をＭＲユーザ６からの入力として受け付けてもよい。

ユーザ情報取得部８１８は、複合現実空間２１中に存在するＭＲユーザ６に関する情報を取得する。具体的には、例えば、ユーザ情報取得部８１８は、複合現実空間２１中の各ＭＲユーザ６Ａ，６Ｂ，６Ｃを識別可能とする識別情報（換言すると、各ＭＲ装置４１０を識別可能とする識別情報）を取得する。例えば、ユーザ情報取得部８１８は、各ユーザが身につけているＭＲ装置４１０と通信を行い、ＭＲ装置４１０からＭＲ装置４１０を使用しているユーザの情報（例えば、ＭＲ装置４１０にログインしているアカウントの情報等）を、当該識別情報として取得してもよい。また、例えば、ユーザ情報取得部８１８は、各ユーザが身につけているＭＲ装置４１０と通信を行い、ＭＲ装置４１０から各ＭＲ装置４１０を識別可能とする各ＭＲ装置４１０固有の情報を、当該識別情報として取得してもよい。また、例えば、ユーザ情報取得部８１８は、検出装置４６０またはＭＲ装置４１０が備えるイメージセンサによって撮影される画像から画像認識によって複合現実空間２１中のＭＲユーザ６を識別することで、当該識別情報を取得してもよい。また、ユーザ情報取得部８１８は、ＭＲ側入力受付部８１６が取得する情報を、当該識別情報に関連付ける。換言すると、ユーザ情報取得部８１８は、ＭＲユーザ６の動きに関する情報等が、後述する仮想オブジェクトの制御等において使用される際に、どのＭＲユーザ６の情報か把握可能となるように制御する。

ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中の仮想オブジェクトを制御する。

ＭＲ側オブジェクト制御部８２０は、複合現実空間２１に、仮想オブジェクトを配置する。具体的には、ＭＲ側オブジェクト制御部８２０は、例えば、ＶＲユーザのＶＲアバター２５や、ＶＲユーザまたはＭＲユーザ６の少なくとも一方によって所定の変化が与えられるオブジェクト等を配置する。本実施形態では、ＭＲ側オブジェクト制御部８２０は、図８に示されるように、ＶＲアバター２５と、ＶＲユーザおよびＭＲユーザ６によって動かされたりするモックアップの仮想オブジェクト３０（以下、「仮想模型３０」ともいう。）とを、複合現実空間２１に配置する。

ＭＲ側オブジェクト制御部８２０は、例えば、仮想空間１１中における仮想オブジェクトが配置される位置に対応する複合現実空間２１中の位置に、当該仮想オブジェクトに対応する仮想オブジェクトを配置する。ここで、当該仮想オブジェクトに対応する仮想オブジェクト、すなわち仮想空間１１中の仮想オブジェクトに対応する複合現実空間２１中の仮想オブジェクトとは、例えば、仮想空間１１中の仮想オブジェクトと同じ形態を有するもの（換言すると、同じ物体を示すもの）であってもよく、異なる形態を有するものであってもよい。本実施形態では、複合現実空間２１には、仮想空間１１中の仮想模型３０と同じ形態の仮想模型３０が配置される。また、複合現実空間２１には、仮想空間１１中のＶＲアバター２５と同じ形態のＶＲアバター２５が配置される。

なお、複合現実空間２１へのＶＲアバター２５の配置については、以下のようにもいえる。すなわち、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中のＶＲユーザの位置に対応する複合現実空間２１中の位置に、当該ＶＲアバター２５を配置するともいえる。ここで、仮想空間１１中におけるＶＲユーザの位置とは、例えば、仮想空間１１中のＶＲアバター２５の位置である。なお、ＶＲユーザが、一人称視点で仮想空間１１に入り込むコンテンツにおいては、自身（ＶＲアバター２５）の姿を視認できない場合（具体的には、手などの一部しか視認できない場合や、一部すら視認できない場合）もあり得るが、このような場合についても、コンピュータ３００が認識する仮想空間１１中のＶＲユーザはＶＲアバター２５といえ、コンピュータ３００が認識する仮想空間１１中のＶＲユーザの位置は仮想空間中のＶＲアバター２５の位置といえる。

なお、ＶＲアバター２５の外見（換言すると、形態）は、ＶＲユーザの外見を模したものでもよいが、模したものでなくてもよい。例えば、ＶＲアバター２５の外見は、所定の動物の外見を模したもの等であってもよい。また、仮想空間１１中に配置されるＶＲアバター２５と、複合現実空間２１中に配置されるＶＲアバター２５とは、外見が異なっていてもよい。このような構成によれば、ＶＲユーザは、仮想空間１１中の自身のアバターの形態を隠したまま複合現実空間２１中に自身のアバターを表示させること等ができる。なお、ここで仮想空間１１中に配置されるＶＲアバター２５の外見とは、当該ＶＲアバター２５を操作するＶＲユーザに視認される外見であってもよく、当該ＶＲアバター２５が存在する仮想空間１１に存在する、他のＶＲアバター２５を操作する他のＶＲユーザに視認される外見等であってもよい。

また、ＭＲ側オブジェクト制御部８２０は、例えば、以下のようにして仮想オブジェクトを複合現実空間２１中に配置してもよい。

すなわち、例えば、ＶＲアバター２５を配置する場合に、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中のＶＲユーザ（換言すると、ＶＲアバター２５）の位置を示す位置情報に基づいて、複合現実空間２１中のどの位置に配置するかを決定する。具体的には、例えば、後述するＶＲ側オブジェクト制御部９２０は、仮想空間１１中にＶＲアバター２５を配置すると、仮想空間１１中のＶＲアバター２５の位置（例えば、仮想空間座標の座標値）に関する情報を、サーバ６００を介してＭＲ側オブジェクト制御部８２０に送信する。そして、ＭＲ側オブジェクト制御部８２０は、当該情報に基づいて、仮想空間１１中のＶＲユーザの位置に対応する複合現実空間２１中の位置（例えば、前記仮想空間座標の座標値に対応する複合現実座標の座標値の位置）に、ＶＲアバター２５を配置する。これにより、ＶＲアバター２５が、仮想空間１１と複合現実空間２１とで、会議室中の同じ位置に配置されることとなる。

換言すると、仮想オブジェクト（例えば、ＶＲアバター２５または仮想模型３０等）を複合現実空間２１中に配置する場合に、ＭＲ側オブジェクト制御部８２０は、当該仮想オブジェクトに対応する仮想空間中の仮想オブジェクト（例えば、ＶＲアバター２５または仮想模型３０等）の位置を示す位置情報（例えば、ＶＲ側オブジェクト制御部９２０が送信する位置情報）に基づいて、複合現実空間２１中のどの位置に配置するかを決定してもよい。

また、例えば、仮想オブジェクトを複合現実空間２１中に配置する場合に、ＭＲ側オブジェクト制御部８２０は、ＭＲシステム４００の所定のセンサが検出した情報に基づいて、複合現実空間２１中のどの位置に配置するかを決定してもよい。具体的には、例えば、現実空間中に所定のマーカーを予め設置しておき、ＭＲ側オブジェクト制御部８２０は、検出装置４６０またはＭＲ装置４１０が備えるイメージセンサによって撮影される当該マーカーの位置に、仮想オブジェクトとしての仮想模型３０を配置するなどしてもよい。また、ＭＲ側オブジェクト制御部８２０は、ＭＲユーザ６が指示した位置に、仮想オブジェクトとしての仮想模型３０を配置するなどしてもよい。当該指示は、所定のジェスチャー等（例えば、仮想模型３０を配置する地点を指差すジェスチャーなど）により行われるものであってもよく、前記マーカを配置するもの等であってもよい。また、ＭＲ側オブジェクト制御部８２０は、検出装置４６０またはＭＲ装置４１０が備えるイメージセンサによって撮影される画像等から複合現実空間２１中の平坦面を検出し、当該平坦面上に仮想模型３０を配置するなどしてもよい。

なお、ＭＲ側オブジェクト制御部８２０は、仮想オブジェクトを複合現実空間２１中に配置する場合に、仮想オブジェクトの形態を示すオブジェクトデータを受信し、当該オブジェクトデータに基づいて仮想オブジェクトを配置する。ここで、ＭＲ側オブジェクト制御部８２０は、オブジェクトデータを、例えば、サーバ６００の制御部６１０から受信してもよく、ＶＲシステム２００のＶＲ側オブジェクト制御部９２０から受信してもよい。具体的には、ＭＲ側オブジェクト制御部８２０は、ＶＲアバター２５を複合現実空間２１中に配置する際に、ＶＲアバター２５の形態を示すオブジェクトデータを制御部６１０から受け取り、当該オブジェクトデータの示す形態のＶＲアバター２５を複合現実空間２１に配置してもよい。また、ＭＲ側オブジェクト制御部８２０は、ＶＲアバター２５を複合現実空間２１中に配置する際に、ＶＲアバター２５の形態を示すオブジェクトデータをＶＲ側オブジェクト制御部９２０から受け取り、当該オブジェクトデータの示す形態のＶＲアバター２５を複合現実空間２１に配置してもよい。

表示制御部８４０は、ＭＲ装置４１０のディスプレイ４１１における画像表示を制御する。表示制御部８４０は、ＭＲ側オブジェクト制御部８２０が配置した複合現実空間２１中の仮想オブジェクトを、ＭＲ側オブジェクト制御部８２０が配置した位置に表示させるための画像を生成する。また、表示制御部８４０は、当該画像をディスプレイ４１１に表示させる。これにより、現実空間の所望の位置に仮想オブジェクトが配置された複合現実空間のビューがＭＲユーザ６に提供される。

また、表示制御部８４０は、ディスプレイ４７０における画像表示を制御する。表示制御部８４０は、例えば、ディスプレイ４１１に表示されている画像と同様の画像をディスプレイ４７０に表示させる。なお、表示制御部８４０は、ＭＲ装置４１０がＭＲユーザ６に提供する複合現実空間のビューを示す画像をディスプレイ４７０に表示させてもよい。

音制御部８４５は、ＭＲ装置４１０のマイク４１５によって、ＭＲユーザ６の発話が検出されると、当該発話に対応する音データを取得する。また、音制御部８４５は、取得した音データを、ネットワーク２を介してコンピュータ３００等に送信する。また、音制御部８４５は、ネットワーク２を介してコンピュータ３００から音データを受信すると、当該音データに対応する音（発話）をスピーカ４１６から出力する。これにより、ＭＲユーザ６は、例えば、ＶＲユーザと通話によるコミュニケーションを行うことが可能となっている。なお、ＭＲ側入力受付部８１６は、マイク４１５が検出したＭＲユーザ６の発話に関する音データを、ＭＲユーザ６からの入力として受け付けてもよい。

通信制御部８５０は、ネットワーク２を介して、サーバ６００、コンピュータ３００その他の情報通信装置と通信し得る。通信制御部８５０は、例えば、サーバ６００またはコンピュータ３００に、サーバ６００またはコンピュータ３００で使用される情報を送信する。また、通信制御部８５０は、例えば、サーバ６００またはコンピュータ３００から、コンピュータ５００で使用される情報を受信する。

ＶＲシステム２００の制御部３１０は、ＶＲ側入力受付部９１６と、ＶＲ側オブジェクト制御部９２０と、仮想カメラ制御部９３０と、表示制御部９４０と、音制御部９４５と、通信制御部９５０と、を備える。

ＶＲ側入力受付部９１６は、ＶＲユーザからの入力を受け付ける。換言すると、ＶＲ側入力受付部９１６は、ＶＲユーザからの入力情報を取得する。具体的には、ＶＲ側入力受付部９１６は、検出装置２６０、コントローラ２８０、第１カメラ２１３、第２カメラ２１４、ＶＲユーザが身につけるウェアラブルデバイス、注視センサ２１２、センサ２１７、センサ２８６、および検出装置２６０やＶＲ装置２１０が備えるイメージセンサ等の出力を、ＶＲユーザからの入力として受け付ける。換言すると、ＶＲ側入力受付部９１６は、ＶＲユーザの動きを検出する検出手段（例えば、検出装置２６０、コントローラ２８０、第１カメラ２１３、第２カメラ２１４、ＶＲユーザが身につけるウェアラブルデバイス、注視センサ２１２、センサ２１７、センサ２８６、および検出装置２６０やＶＲ装置２１０が備えるイメージセンサ等）の出力を、ＶＲユーザからの入力として受け付ける。これらの装置やセンサは、後述するように、仮想空間１１や複合現実空間２１の仮想オブジェクト等を制御するために使用されるＶＲユーザの動きに関する情報等を取得するためのものであり、ＶＲユーザは自身の動きによって、ＶＲシステム２００に対して当該仮想オブジェクト等を動かしたりするための情報を入力することが可能となっている。

具体的には、ＶＲ側入力受付部９１６は、例えば、検出装置２６０としてのカメラまたはＶＲ装置２１０の備えるＶＲ装置２１０の周囲を撮影するカメラからの出力を、ＶＲユーザからの入力として受け付けてもよい。より具体的には、ＶＲ側入力受付部９１６は、これらの各カメラが備えるイメージセンサによって撮影される画像から画像認識によって検出される、現実空間におけるＶＲユーザの位置を示す位置情報を、ＶＲユーザからの入力として受け付けてもよい。換言すると、ＶＲ側入力受付部９１６は、ＶＲユーザの現実空間における位置を検出する位置検出手段からの出力をＶＲユーザからの入力として受け付けてもよい。なお、当該位置検出手段は、例えば、ＶＲ装置２１０とＶＲシステム２００の所定の装置（例えば、検出装置２６０やビーコン（図示せず）等）との間での無線通信（例えば、Ｗｉ－Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、またはＵＷＢ通信）に基づく測位、あるいはＶＲ装置２１０の備えるＧＰＳ（Global Positioning System）センサを用いた測位等に基づいて、ＶＲユーザの位置を検出し、当該位置情報を取得するもの等であってもよい。なお、ＶＲユーザの位置を示す位置情報は、ＶＲユーザの動きに関する情報ともいえる。

また、ＶＲ側入力受付部９１６は、例えば、検出装置２６０としてのカメラまたはＶＲ装置２１０の備えるＶＲ装置２１０の周囲を撮影するカメラが備えるイメージセンサによって撮影される画像から画像認識によって検出されるＶＲユーザの動きに関する情報を、ＶＲユーザからの入力として受け付けてもよい。例えば、ＶＲ側入力受付部９１６は、画像認識によって検出されるＶＲユーザの手の動きに関する情報や、ＶＲユーザの傾きや向いている方向に関する情報を、ＶＲユーザからの入力として受け付けてもよい。

また、ＶＲ側入力受付部９１６は、例えば、ＶＲユーザが身につけるデバイス等（例えば、時計型、リストバンド型、指輪型、もしくは衣服型等のウェアラブルデバイス、または体内埋め込み型のデバイス等）の、ＶＲユーザの動きをトラッキング可能とする機器（および当該機器と近距離無線通信等により連携してＭＲユーザ６の動きをトラッキングする機器）を用いて取得されるユーザの動きに関する情報を、ＶＲユーザからの入力として受け付けてもよい。

また、ＶＲ側入力受付部９１６は、例えば、コントローラ２８０により検出されるＶＲユーザの操作を示す情報（換言すると、ＶＲユーザの動きに関する情報）を、ＶＲユーザからの入力として受け付けてもよい。

また、ＶＲ側入力受付部９１６は、例えば、検出装置２６０またはＶＲ装置２１０の備えるセンサ（例えば、加速度センサ、角速度センサ、地磁気センサ等）からの、ＶＲ装置２１０の傾きや向いている方向に関する出力データ（換言すると、ＶＲユーザの動きに関する情報）をＶＲユーザからの入力として受け付けてもよい。

制御部３１０は、仮想空間１１を制御する。制御部３１０は、記憶部６１１に記憶された仮想空間１１を示す仮想空間データを取得し、当該仮想空間データに基づいてＶＲユーザに提供する仮想空間１１を定義する。

ＶＲ側オブジェクト制御部９２０は、仮想空間１１中の仮想オブジェクトを制御する。

ＶＲ側オブジェクト制御部９２０は、仮想空間データの示す仮想空間１１に、仮想オブジェクトを配置する。仮想オブジェクトを示すオブジェクトデータは、例えば、オブジェクトデータ記憶部としての記憶部６１１または記憶部３１１に記憶されている。そして、ＶＲ側オブジェクト制御部９２０は、当該オブジェクトデータを用いて、仮想空間１１に仮想オブジェクトを配置する。

具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、仮想的な会議室内に、ＭＲユーザ６Ａ，６Ｂ，６ＣのＭＲアバター２６Ａ，２６Ｂ，２６Ｃや、ＶＲユーザまたはＭＲユーザ６の少なくとも一方によって所定の変化が与えられる仮想オブジェクト等を配置する。本実施形態では、ＶＲ側オブジェクト制御部９２０は、ＶＲアバター２５と、ＭＲアバター２６と、ＶＲユーザおよびＭＲユーザ６によって動かされたりするモックアップの仮想オブジェクト３０（以下、「仮想模型３０」ともいう。）とを、仮想空間１１に配置する。なお、仮想空間１１には、現実オブジェクトとしての机８に対応する仮想オブジェクト３１等も配置される。

なお、例えば、ＶＲユーザの使用するＶＲシステム２００（換言すると、コンピュータ３００）に、ネットワーク２を介して他のＶＲユーザが使用するＶＲシステム２００（換言すると、コンピュータ３００）が接続される場合、ＶＲ側オブジェクト制御部９２０は、仮想空間１１に、当該他のＶＲユーザのＶＲアバター２５を配置してもよい。他のＶＲユーザのＶＲアバター２５は、当該他のＶＲユーザによって操作され得る。

ＶＲ側オブジェクト制御部９２０は、例えば、複合現実空間２１中のＭＲユーザ６の位置に対応する仮想空間１１中の位置に当該ＭＲユーザ６のＭＲアバター２６を配置する。すなわち、ＶＲ側オブジェクト制御部９２０は、現実の会議室２１におけるＭＲユーザ６Ａ，６Ｂ，６Ｃのそれぞれが存在する位置と、仮想の会議室におけるＭＲアバター２６Ａ，２６Ｂ，２６Ｃのそれぞれが存在する位置とが同じ位置となるように、ＭＲアバター２６Ａ，２６Ｂ，２６Ｃを配置する。

なお、ＭＲアバター２６の外見（換言すると、形態）は、ＭＲユーザ６の外見を模したものでもよいが、模したものでなくてもよい。例えば、ＭＲアバター２６の外見は、所定の動物の外見を模したもの等であってもよい。ＶＲ側オブジェクト制御部９２０は、仮想オブジェクトを複合現実空間２１中に配置する場合に、仮想オブジェクトの形態を示すオブジェクトデータを受信し、当該オブジェクトデータに基づいて仮想オブジェクトを配置する。ここで、ＶＲ側オブジェクト制御部９２０は、オブジェクトデータをサーバ６００の制御部６１０から受信してもよく、ＭＲシステム４００のＭＲ側オブジェクト制御部８２０から受信してもよい。具体的には、例えば、ＶＲ側オブジェクト制御部９２０は、ＭＲアバター２６を仮想空間１１中に配置する際に、ＭＲアバター２６の形態を示すオブジェクトデータを制御部６１０またはＭＲ側オブジェクト制御部８２０から受け取り、当該オブジェクトデータの示す形態のＭＲアバター２６を仮想空間１１に配置してもよい。なお、ＭＲアバター２６の外見は、ＭＲユーザ６が予め設定しておくことが可能となっており、ＶＲ装置２１０でＭＲアバター２６が表示される際に、ＭＲユーザ６が設定した外見で表示がされるようになっていてもよい。また、ＭＲアバター２６の外見が、ＭＲユーザ６の外見を模したものである場合、ＶＲ側オブジェクト制御部９２０は、検出装置４６０としてのカメラやカメラ４１３等の所定のカメラによって取得されるＭＲユーザ６の画像に基づいて生成される（例えば、制御部５１０が生成する）ＭＲアバター２６を、仮想空間１１に配置するなどしてもよい。

仮想カメラ制御部９３０は、仮想空間１１に仮想カメラ１４を配置する。また、仮想カメラ制御部９３０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）とを制御する。なお、本実施形態では、仮想カメラ制御部９３０は、仮想カメラ１４を仮想空間１１におけるＶＲアバター２５の目の位置に配置する。換言すると、仮想カメラ制御部９３０は、仮想カメラ１４の位置をＶＲアバター２５の位置と連動させ、仮想空間１１内においてＶＲアバター２５が移動すると、仮想空間１１内で仮想カメラ１４を移動させる。なお、仮想カメラ１４の位置は、ＶＲアバター２５の位置と連動するものでなくてもよい。例えば、仮想カメラ１４を所定の位置に固定したまま、仮想空間１１内でＶＲアバター２５を移動させること等が可能となっていてもよい。

表示制御部９４０は、ＶＲ装置２１０のディスプレイ２１１における画像表示を制御する。表示制御部９４０は、仮想カメラ１４の位置と傾き（換言すると、ＶＲ装置２１０を装着したＶＲユーザの頭の傾き）に応じて、視界領域１５を規定する。また、表示制御部９４０は、規定した視界領域１５に基づいて、ディスプレイ２１１に表示される視界画像１７を生成する。表示制御部９４０により生成された視界画像１７は、ＶＲ装置２１０に出力される。

また、表示制御部９４０は、ディスプレイ２７０における画像表示を制御する。表示制御部９４０は、例えば、ディスプレイ２１１に表示されている画像と同様の画像をディスプレイ２７０に表示させる。

音制御部９４５は、ＶＲ装置２１０から、ＶＲユーザのマイク２１５を用いた発話を検出すると、当該発話に対応する音データを取得する。また、音制御部９４５は、取得した音データを、ネットワーク２を介してコンピュータ５００や他のＶＲユーザのコンピュータ３００等に送信する。また、音制御部９４５は、ネットワーク２を介してコンピュータ５００や他のユーザのコンピュータ３００から音データを受信すると、当該音データに対応する音（発話）をスピーカ２１６から出力する。これにより、ＶＲユーザは、例えば、ＭＲユーザ６と通話によるコミュニケーションを行うことが可能となっている。なお、ＶＲ側入力受付部９１６は、マイク２１５が検出したＶＲユーザの発話に関する音データを、ＶＲユーザからの入力として受け付けてもよい。

通信制御部９５０は、ネットワーク２を介して、サーバ６００、コンピュータ５００、他のＶＲユーザのコンピュータ３００その他の情報通信装置と通信し得る。通信制御部９５０は、例えば、サーバ６００、コンピュータ５００、または他のＶＲユーザのコンピュータ３００に、サーバ６００、コンピュータ５００、または他のＶＲユーザのコンピュータ３００で使用される情報を送信する。また、通信制御部８５０は、例えば、サーバ６００、コンピュータ５００、または他のＶＲユーザのコンピュータ３００から、コンピュータ３００で使用される情報を受信する。

（複合現実空間と仮想空間との融合）
本実施形態では、ＭＲ側入力受付部８１６が取得したＭＲユーザ６からの入力に基づいて、ＭＲ装置４１０が表示する仮想オブジェクトと、ＶＲ装置２１０が表示する仮想オブジェクトとが制御されるようになっている。

具体的には、ＭＲ側オブジェクト制御部８２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、複合現実空間２１中の仮想オブジェクト、具体的には仮想模型３０に所定の変化を与える。ここで、所定の変化とは、仮想オブジェクトを移動させたり、仮想オブジェクトの傾きや向いている方向等を変化させたり、仮想オブジェクトのパーツ同士の相対的な位置関係を変化させたりするなど、複合現実空間２１中の仮想オブジェクトを動かすものであってもよい。また、所定の変化とは、仮想オブジェクトの色を変化させたり、仮想オブジェクトが表示する情報等を変化させたり、仮想オブジェクトの形態を変化させたりするものであってもよい。

より具体的には、ＭＲ側オブジェクト制御部８２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、ＭＲユーザ６の動きに関する情報に基づいて、複合現実空間２１中の仮想模型３０を動かす。具体的には、例えば、検出手段（例えば、検出装置４６０またはカメラ４１３等）によって、ＭＲユーザ６が仮想模型３０を持って運ぶジェスチャーが検出され、検出手段が当該ジェスチャーに関する出力をすると、ＭＲ側入力受付部８１６は、当該出力をＭＲユーザ６からの入力として受け付ける。また、ＭＲ側オブジェクト制御部８２０は、ＭＲ側入力受付部８１６が受け付けた当該入力に基づいて、当該ジェスチャーによるＭＲユーザ６からの指示に従い、仮想模型３０を複合現実空間２１中で移動させる。なお、仮想オブジェクトとしての仮想模型３０に所定の変化を与えるＭＲユーザ６のジェスチャーは、複合現実空間２１中で仮想模型３０に触れるものでなくてもよい。例えば、仮想模型３０に向けて手をかざし、手を横に振るジェスチャーによって仮想オブジェクトを回転させること等が可能となっていてもよい。

また、ＭＲ側オブジェクト制御部８２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、コントローラ４８０に対するＭＲユーザ６の操作に関する情報（換言すると、ＭＲユーザ６の動きに関する情報）に基づいて、仮想オブジェクトに所定の変化を与えるなどしてもよい。また、ＭＲ側オブジェクト制御部８２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、ＭＲユーザ６の発話に関する音データに基づいて、仮想オブジェクトに所定の変化を与えるなどしてもよい。

また、ＶＲ側オブジェクト制御部９２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、仮想空間１１中の仮想オブジェクトに所定の変化を与える。

具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて複合現実空間２１中の仮想模型３０に与えられる変化と同様の変化を、仮想空間１１中の仮想模型３０に与える。すなわち、例えば、前述のように、ＭＲユーザ６の仮想模型３０を持って運ぶジェスチャーによって、複合現実空間２１中の仮想模型３０が移動すると、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中の仮想模型３０を、同じように移動させる。

なお、複合現実空間２１中の仮想模型３０に与えられる変化と同様の変化を仮想空間中の仮想模型３０に与える方法については、特に限定されるものではないが、例えば以下のようにしてもよい。すなわち、例えば、ＭＲ側オブジェクト制御部８２０は、ＭＲユーザ６からの入力に基づいて複合現実空間２１中の仮想模型３０（換言すると、仮想オブジェクト）を動かすと（換言すると、所定契機で）、ＶＲ側オブジェクト制御部９２０に対して、動かした後の仮想模型３０の位置や傾きを示す情報（換言すると、仮想模型３０の状態に関する情報）を送ってもよい。そして、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中の当該情報によって示される位置に仮想模型３０を配置したり、当該情報によって示される傾きで仮想模型３０を配置したりしてもよい。また、例えば、通信制御部８５０が、ＭＲユーザ６からの入力に基づく情報（例えば、制御部５１０が当該入力に基づいて算出（換言すると、取得）する仮想模型３０の移動量や移動軌跡や傾き等に関する情報）を通信制御部９５０に対して送り、ＶＲ側オブジェクト制御部９２０は、当該情報に基づいて、仮想模型３０等の仮想オブジェクトを動かす等してもよい。すなわち、本実施形態では、ＶＲ側オブジェクト制御部９２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、仮想空間１１中の仮想オブジェクトに所定の変化を与えるが、「ＭＲユーザ６からの入力に基づいて」とは、ＶＲ側オブジェクト制御部９２０自体が当該入力を受け取って仮想オブジェクトを制御するものに限られず、仮想空間１１中の仮想オブジェクトが結果として当該入力に応じて所定の変化をするものであればよい。

また、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、仮想空間１１中のＭＲアバター２６を動かす。具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、ＭＲユーザ６の動きに関する情報に基づいて、ＭＲアバター２６を動かす。例えば、ＶＲ側オブジェクト制御部９２０は、ＭＲ側入力受付部８１６が、ＭＲユーザ６からの入力として受け付ける、複合現実空間２１中のＭＲユーザ６の位置を示す位置情報に基づいて、ＭＲアバター２６を動かす。すなわち、ＶＲ側オブジェクト制御部９２０は、当該位置情報に基づいて、複合現実空間２１中のＭＲユーザ６の位置に対応する仮想空間１１中の位置にＭＲアバター２６を配置し、ＭＲユーザ６が複合現実空間２１中で移動すると、移動後の位置に対応する仮想空間１１中の位置にＭＲアバター２６を配置する。

また、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が、ＭＲユーザ６からの入力として受け付ける、ＭＲユーザ６の体の各部位の動き（例えば、手の動きや、頭の動きや、目の動きや、表情の変化等）に関する情報や、ＭＲユーザ６の傾きや向いている方向に関する情報に基づいて、ＭＲアバター２６を動かす。すなわち、ＶＲ側オブジェクト制御部９２０は、これらの各情報に基づいて、ＭＲユーザ６の体の各部位の動き（換言すると、姿勢）や、ＭＲユーザ６の傾きや向いている方向を、仮想空間１１中のＭＲアバター２６に反映させる。すなわち、本実施形態では、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中のＭＲアバター２６の動きが、ＭＲユーザ６の動きを検出する検出手段が検出するＭＲユーザ６の動きを模したものとなるように、ＭＲアバター２６の動きを制御する。換言すると、ＶＲ側オブジェクト制御部９２０は、少なくとも体の一部（例えば、手、足、頭、目、口等）について、ＭＲアバター２６の動きが、ＭＲユーザ６の動きに連動したものとなるように、ＭＲアバター２６の動きを制御する。

なお、ＭＲアバター２６の動きの少なくとも一部が、コントローラ４８０に対するＭＲユーザ６の操作（例えば、アナログスティックやボタン等に対する操作）により実現されてもよい。すなわち、例えば、ＶＲ側オブジェクト制御部９２０は、ＭＲユーザ６からの入力としての、コントローラ４８０に対するＭＲユーザ６の操作を示す情報に基づいて、ＭＲアバター２６の体の一部を動かす等してもよい。

なお、仮想空間１１中のＭＲアバター２６は、仮想空間１１中における位置あるいは動きの少なくとも一方が、複合現実空間２１中のＭＲユーザ６の位置あるいは動きに連動したものでなくてもよい。すなわち、例えば、複合現実空間２１中においてＭＲユーザ６が移動しても、仮想空間１１中のＭＲアバター２６がこれに応じた移動をしないものであってもよい。また、例えば、複合現実空間２１中においてＭＲユーザ６が手を動かしたりしても、仮想空間１１中のＭＲアバター２６がこれと同じ動きをしないものであってもよい。

また、本実施形態では、ＶＲ側入力受付部９１６が取得したＶＲユーザからの入力に基づいて、ＶＲ装置２１０が表示する仮想オブジェクトと、ＭＲ装置４１０が表示する仮想オブジェクトとが制御されるようになっている。

具体的には、ＶＲ側オブジェクト制御部９２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、仮想空間１１中の仮想オブジェクト、具体的には仮想模型３０に所定の変化を与える。

より具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＶＲ側入力受付部９１６が受け付けた、コントローラ２８０に対するＶＲユーザの操作を示す情報（換言すると、ＶＲユーザの動きに関する情報）に基づいて、仮想空間１１中の仮想模型３０に所定の変化を与える。具体的には、例えば、ＶＲ側オブジェクト制御部９２０は、コントローラ２８０に対する操作によるＶＲユーザからの指示に従い、仮想模型３０を仮想空間１１中で移動させる。

また、ＶＲ側オブジェクト制御部９２０は、例えば、検出手段によって検出されるＶＲユーザのジェスチャー等に基づいて、仮想オブジェクトに所定の変化を与えるなどしてもよい。また、ＶＲ側オブジェクト制御部９２０は、例えば、ＶＲ側入力受付部９１６が受け付けた、ＶＲユーザの発話に関する音データに基づいて、仮想オブジェクトに所定の変化を与えるなどしてもよい。

また、ＭＲ側オブジェクト制御部８２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、複合現実空間２１中の仮想オブジェクトに所定の変化を与える。

具体的には、ＭＲ側オブジェクト制御部８２０は、例えば、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて仮想空間１１中の仮想模型３０に与えられる変化と同様の変化を、複合現実空間２１中の仮想模型３０に与える。すなわち、例えば、前述のように、ＶＲユーザのコントローラ２８０に対する操作によって、仮想空間１１中の仮想模型３０が移動すると、ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中の仮想模型３０を、同じように移動させる。

なお、仮想空間１１中の仮想模型３０に与えられる変化と同様の変化を複合現実空間２１中の仮想模型３０に与える方法については、特に限定されるものではないが、例えば以下のようにしてもよい。すなわち、例えば、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザからの入力に基づいて仮想空間１１中の仮想模型３０（換言すると、仮想オブジェクト）を動かすと（換言すると、所定契機で）、ＭＲ側オブジェクト制御部８２０に対して、動かした後の仮想模型３０の位置や傾きを示す情報（換言すると、仮想模型３０の状態に関する情報）を送ってもよい。そして、ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中の当該情報によって示される位置に仮想模型３０を配置したり、当該情報によって示される傾きで仮想模型３０を配置したりしてもよい。また、例えば、通信制御部９５０が、ＶＲユーザからの入力に基づく情報（例えば、制御部３１０が当該入力に基づいて算出（換言すると、取得）する仮想模型３０の移動量や移動軌跡や傾き等に関する情報）を通信制御部８５０に対して送り、ＭＲ側オブジェクト制御部８２０は、当該情報に基づいて、仮想模型３０等の仮想オブジェクトを動かしたりしてもよい。すなわち、本実施形態では、ＭＲ側オブジェクト制御部８２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、複合現実空間２１中の仮想オブジェクトに所定の変化を与えるが、「ＶＲユーザからの入力に基づいて」とは、ＭＲ側オブジェクト制御部８２０自体が当該入力を受け取って仮想オブジェクトを制御するものに限られず、複合現実空間２１中の仮想オブジェクトが結果として当該入力に応じて所定の変化をするものであればよい。

また、ＶＲ側オブジェクト制御部９２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、仮想空間１１中のＶＲアバター２５に所定の変化を与える。具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＶＲ側入力受付部９１６が受け付けた、コントローラ２８０に対するＶＲユーザの操作を示す情報（換言すると、ＶＲユーザの動きに関する情報）に基づいて、仮想空間１１中のＶＲアバター２５に所定の変化を与える。具体的には、例えば、ＶＲ側オブジェクト制御部９２０は、コントローラ２８０に対する操作によるＶＲユーザからの指示に従い、ＶＲアバター２５を仮想空間１１中で移動させる。

また、ＶＲ側オブジェクト制御部９２０は、例えば、ＶＲ側入力受付部９１６が、ＶＲユーザからの入力として受け付ける、ＶＲユーザの体の各部位の動き（例えば、手の動きや、頭の動きや、目の動きや、表情の変化等）に関する情報や、ＶＲユーザの傾きや向いている方向に関する情報に基づいて、ＶＲアバター２５を動かす。すなわち、ＶＲ側オブジェクト制御部９２０は、これらの各情報に基づいて、ＶＲユーザの体の各部位の動き（換言すると、姿勢）や、ＶＲユーザの傾きや向いている方向を、仮想空間１１中のＶＲアバター２５に反映させる。すなわち、本実施形態では、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中のＶＲアバター２５の動きが、ＶＲユーザの動きを検出する検出手段が検出するＶＲユーザの動きを模したものとなるように、ＶＲアバター２５の動きを制御する。換言すると、ＶＲ側オブジェクト制御部９２０は、少なくとも体の一部（例えば、手、足、頭、目、口等）について、ＶＲアバター２５の動きが、ＶＲユーザの動きに連動したものとなるように、ＶＲアバター２５の動きを制御する。

また、ＭＲ側オブジェクト制御部８２０は、例えば、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて仮想空間１１中のＶＲアバター２５に与えられる変化と同様の変化を、複合現実空間２１中のＶＲアバター２５に与える。すなわち、例えば、前述のように、ＶＲユーザのコントローラ２８０に対する操作によって、仮想空間１１中のＶＲアバター２５が移動すると、ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中のＶＲアバター２５を、同じように移動させる。なお、仮想空間１１中のＶＲアバター２５に与えられる変化と同様の変化を複合現実空間２１中のＶＲアバター２５に与える方法については、特に限定されるものではないが、例えば前述の仮想模型３０の場合と同様にすることができる。

なお、ＶＲアバター２５の仮想空間１１中における位置および複合現実空間２１中における位置が、現実空間におけるＶＲユーザの移動に伴い移動してもよい。すなわち、例えば、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザからの入力としての、現実空間におけるＶＲユーザの位置を示す位置情報に基づいて、ＶＲアバター２５を移動させてもよい。

また、仮想空間１１中のＶＲアバター２５および複合現実空間２１中のＶＲアバター２５の一部の動きがコントローラ２８０に対する操作によって実現されてもよい。すなわち、例えば、ＶＲ側オブジェクト制御部９２０およびＭＲ側オブジェクト制御部８２０は、ＶＲユーザからの入力としての、コントローラ２８０に対するＶＲユーザの操作を示す情報に基づいて、ＶＲアバター２５の体の一部を動かす等してもよい。

本実施形態では、所定の現実空間としての会議室２１に実際に存在する現実オブジェクトに対する行動の結果についても、ＶＲユーザとＭＲユーザ６との間で共有することが可能となっている。この点について、以下では、現実オブジェクトとしての所定の記入が可能なオブジェクト（例えば、黒板やホワイトボード等）についての制御を例に説明する。図８に示されるように、複合現実空間２１には、現実オブジェクトとしての黒板３５が配置されており、仮想空間１１には、黒板３５に対応する位置に、黒板３５に対応する仮想オブジェクトとしての仮想黒板３６が配置されているものとする。

本実施形態では、複合現実空間２１においてＭＲユーザ６が現実オブジェクトとしての黒板３５に対して行った行動（換言すると、行動の結果）が、複合現実空間２１の黒板３５に反映されるようになっている。また、本実施形態では、当該行動が、仮想空間１１の仮想黒板３６に反映されるようになっている。

複合現実空間２１においては、ＭＲユーザ６は、黒板３５に対して所定の記入を行うことが可能となっている。また、ＭＲユーザ６による黒板３５に対する記入動作は、当該記入動作を検出する検出手段（以下、「ＭＲ側記入検出手段」という。）によって検出され、ＭＲ側記入検出手段からの出力（換言すると、記入動作に関する情報）がＭＲユーザ６からの入力としてＭＲ側入力受付部８１６に受け付けられるようになっている。ＭＲ側記入検出手段は、例えば、ＭＲユーザ６の手の動きを検出可能な検出手段であってもよい。具体的には、ＭＲ側記入検出手段は、例えば、コントローラ４８０としてのペン型のコントローラ等であってもよい。また、ＭＲ側記入検出手段は、検出装置４６０としてのカメラや、カメラ４１３等であってもよい。また、ＭＲ側記入検出手段は、ＭＲユーザ６が身につけるデバイス等であってもよい。また、ＭＲ側記入検出手段は、黒板３５が備えるセンサ（例えば、タッチセンサや、黒板３５の備える赤外光を発する装置からの赤外光の反射光を読み取るセンサ等）であってもよい。換言すると、黒板３５は、コンピュータ５００と通信可能となっており、黒板３５の備えるセンサによって検出されたＭＲユーザ６の記入動作に関する情報が、ＭＲユーザ６からの入力としてＭＲ側入力受付部８１６に受け付けられるようになっていてもよい。

複合現実空間２１の黒板３５には、ＭＲユーザ６の記入動作が反映される。換言すると、ＭＲユーザ６が記入動作を行うと、黒板３５は、図１０（ａ）に示されるように、ＭＲユーザ６の記入した記入内容（例えば、図１０（ａ）における、月の絵、ハートの絵、および「Ｓａｍｐｌｅ」の文字）を表示する状態に変化する。例えば、黒板３５は、ＭＲユーザ６の記入した記入内容を電子的に表示する（換言すると、反映する）電子黒板となっており、ＭＲユーザ６が記入動作を行うと、記入内容を表示する状態に変化するようになっていてもよい。具体的には、例えば、黒板３５の記入面自体がディスプレイとなっており、当該ディスプレイが記入内容を表示してもよい。また、黒板３５が、記入面に画像を投影するプロジェクタを備え、当該プロジェクタが記入面に記入内容を映し出してもよい。換言すると、複合現実空間２１へのユーザの行動の反映（換言すると、ＭＲユーザ６の行動に起因するＭＲ装置４１０を介して見られる複合現実空間２１の変化）は、現実オブジェクト自体に何らかの変化（例えば、表示内容の変化）が起こることにより実現されてもよい。なお、記入内容を電子的に表示する場合に、黒板３５のコンピュータが、黒板の備えるセンサの検出結果に基づいて当該表示を制御してもよく、コンピュータ５００が、ＭＲ側記入検出手段の検出結果に基づいて当該表示を制御してもよい。すなわち、例えば、コンピュータ５００の制御部５１０等が、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて黒板３５の表示を制御する制御手段（以下、「黒板表示制御手段」という。）として機能してもよい。具体的には、黒板表示制御手段は、ＭＲユーザ６からの入力に基づいて、黒板３５のディスプレイまたはプロジェクタが表示する画像が、記入内容を示す画像となるように制御してもよい。なお、複合現実空間２１の黒板３５へのＭＲユーザ６の記入動作の反映は、ＭＲユーザ６がチョーク等の筆記具によって実際に黒板３５に文字や絵を記入することにより行われてもよい。換言すると、筆記具によって実際に黒板３５に文字や絵を記入する動作が、ＭＲユーザ６の記入動作としてＭＲ側記入検出手段によって検出されてもよい。

また、例えば、ＭＲ側オブジェクト制御部８２０は、ＭＲユーザ６の記入した記入内容を示す仮想オブジェクト（以下、「記入オブジェクト３７」という。）を生成し、複合現実空間２１の黒板３５の位置に配置してもよい（図１０（ａ）参照）。具体的には、ＭＲ側オブジェクト制御部８２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、記入オブジェクト３７を生成してもよい。そして、ＭＲ装置４１０を介して黒板３５を見た場合に、黒板３５が記入内容（換言すると、記入オブジェクト３７）を表示する状態が視認されるようになっていてもよい。換言すると、複合現実空間２１へのユーザの行動の反映（換言すると、ＭＲユーザ６の行動に起因するＭＲ装置４１０を介して見られる複合現実空間２１の変化）は、現実オブジェクトに対して所定の仮想オブジェクトが付加されることにより実現されてもよい。

また、ＶＲ側オブジェクト制御部９２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、現実オブジェクトに対応する仮想オブジェクトに所定の変化を与える。具体的には、ＶＲ側オブジェクト制御部９２０は、図１０（ｂ）に示されるように、ＭＲユーザ６からの入力を仮想黒板３６に反映させ、仮想黒板３６がＭＲユーザ６の記入した記入内容を表示する状態となるように制御する。換言すると、ＶＲ側オブジェクト制御部９２０は、ＭＲユーザ６の行動に基づく複合現実空間２１中の現実オブジェクト（例えば、黒板３５）に関する変化を、当該現実オブジェクトに対応する仮想空間１１中の仮想オブジェクト（例えば、仮想黒板３６）に反映させる。具体的には、例えば、ＭＲユーザ６の記入動作に関する情報が、ＭＲ側入力受付部８１６に入力されると、ＶＲ側オブジェクト制御部９２０は、ＭＲユーザ６の記入した記入内容を示す記入オブジェクト３８を、仮想空間１１の仮想黒板３６の位置に配置することとしてもよい（図１０（ｂ）参照）。また、ＶＲ側オブジェクト制御部９２０は、例えば、仮想黒板３６自体の形態を変化させることにより、仮想黒板３６が記入内容を表示する状態となるように制御してもよい。また、仮想黒板３６が、黒板３５のディスプレイまたはプロジェクタ等が表示している画像を表示する仮想オブジェクトとなっており、ＶＲ側オブジェクト制御部９２０は、当該画像を仮想黒板３６に表示させるようになっていてもよい。また、複合現実空間２１の黒板３５を撮影するカメラをＭＲシステム４００が備え、仮想黒板３６は、当該カメラにより撮影される画像を表示する仮想オブジェクトとなっており、ＶＲ側オブジェクト制御部９２０は、当該画像を仮想黒板３６に表示させるようになっていてもよい。

また、本実施形態では、仮想空間１１においてＶＲユーザが仮想オブジェクトとしての仮想黒板３６に対して行った行動（換言すると、行動の結果）が、仮想空間１１の仮想黒板３６に反映されるようになっている。また、本実施形態では、当該行動が、複合現実空間２１の黒板３５に反映されるようになっている。

仮想空間１１においては、ＶＲユーザは、仮想黒板３６に対して所定の記入を行うことが可能となっている。また、ＶＲユーザによる仮想黒板３６に対する記入動作は、当該記入動作を検出する検出手段（以下、「ＶＲ側記入検出手段」という。）によって検出され、ＶＲ側記入検出手段からの出力がＶＲユーザからの入力としてＶＲ側入力受付部９１６に受け付けられるようになっている。ＶＲ側記入検出手段は、例えば、ＶＲユーザの手の動きを検出可能な検出手段であってもよい。具体的には、ＶＲ側記入検出手段は、例えば、コントローラ２８０等であってもよい。また、ＶＲ側記入検出手段は、検出装置２６０としてのカメラ等であってもよい。また、ＶＲ側記入検出手段は、ＶＲユーザが身につけるデバイス等であってもよい。

複合現実空間２１の黒板３５には、ＶＲユーザの記入動作が反映される。換言すると、ＶＲユーザが記入動作を行うと、黒板３５は、ＶＲユーザの記入した記入内容を表示する状態に変化する。さらに換言すると、黒板３５には、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力が反映される。黒板３５へのＶＲユーザからの入力の反映は、例えば、以下のように行ってもよい。すなわち、例えば、ＭＲ側オブジェクト制御部８２０は、ＶＲユーザの記入した記入内容を示す記入オブジェクト３７を、複合現実空間２１の黒板３５の位置に配置してもよい。また、前記黒板表示制御手段が、ＶＲユーザからの入力に基づいて、黒板３５のディスプレイまたはプロジェクタが表示する画像が、ＶＲユーザの記入した記入内容を示す画像となるように制御してもよい。すなわち、ＭＲ側オブジェクト制御部８２０または黒板表示制御手段は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力を、複合現実空間２１中の現実オブジェクトに反映させる反映手段として機能し得る。

また、仮想空間１１の仮想黒板３６にも、ＶＲユーザの記入動作が反映される。換言すると、ＶＲユーザが記入動作を行うと、仮想黒板３６は、ＶＲユーザの記入した記入内容を表示する状態に変化する。さらに換言すると、仮想黒板３６には、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力が反映される。具体的には、ＶＲ側オブジェクト制御部９２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、仮想黒板３６に所定の変化を与える。より具体的には、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザからの入力を仮想黒板３６に反映させ、仮想黒板３６がＶＲユーザの記入した記入内容を表示する状態となるように制御する。具体的には、例えば、ＶＲユーザの記入動作に関する情報が、ＶＲ側入力受付部９１６に入力されると、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザの記入した記入内容を示す記入オブジェクト３８を、仮想空間１１の仮想黒板３６の位置に配置することとしてもよい。また、ＶＲ側オブジェクト制御部９２０は、例えば、仮想黒板３６自体の形態を変化させることにより、仮想黒板３６が記入内容を表示する状態となるように制御してもよい。また、仮想黒板３６が、黒板３５のディスプレイまたはプロジェクタ等が表示している画像を表示する仮想オブジェクトとなっており、ＶＲ側オブジェクト制御部９２０は、当該画像を仮想黒板３６に表示させるようになっていてもよい。また、複合現実空間２１の黒板３５を撮影するカメラをＭＲシステム４００が備え、仮想黒板３６は、当該カメラにより撮影される画像を表示する仮想オブジェクトとなっており、ＶＲ側オブジェクト制御部９２０は、当該画像を仮想黒板３６に表示させるようになっていてもよい。換言すると、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力が、複合現実空間２１中の現実オブジェクトに反映され、これにより、ＶＲユーザからの入力に基づく仮想黒板３６の変化が起こるようになっていてもよい。

以上のように、本実施形態では、ＭＲユーザ６が現実オブジェクトに対して行った行動、および、ＶＲユーザが当該現実オブジェクトに対応する仮想オブジェクトに対して行った行動が、複合現実空間２１および仮想空間１１に反映されるようになっている。このような、各行動の複合現実空間２１または仮想空間１１への反映は、以下のようなものであってもよい。

すなわち、例えば、ＭＲユーザ６が、複合現実空間２１において、レーザポインタ等の所定のポインタで任意の位置を指し示すと、仮想空間１１においても指し示された位置（以下、「指示位置」という。）がわかるようになっていてもよい。具体的には、例えば、複合現実空間２１では、ＭＲシステム４００の検出装置４６０やカメラ４１３等が、指示位置を検出する指示位置検出手段として機能してもよい。そして、指示位置検出手段によって検出された指示位置に関する情報が、ＭＲユーザ６からの入力としてＭＲ側入力受付部８１６に受け付けられるようになっていてもよい。また、ＶＲ側オブジェクト制御部９２０は、複合現実空間２１中の指示位置に対応する仮想空間１１中の位置に、レーザポインタからの光を示す仮想オブジェクトを配置するなどしてもよい。換言すると、制御部３１０は、ＶＲ装置２１０における仮想空間１１の表示において、複合現実空間２１中の指示位置に対応する仮想空間１１中の位置が、レーザポインタからの光を表す所定の色で光るように制御してもよい。

また、例えば、ＶＲユーザが、仮想空間１１において、仮想的なレーザポインタ等の所定のポインタで任意の位置を指し示すと、複合現実空間２１においても指示位置がわかるようになっていてもよい。具体的には、例えば、仮想的なレーザポインタを操作するためのコントローラ２８０に対するＶＲユーザの操作に関する情報（換言すると、ＶＲユーザの動きに関する情報）がＶＲ側入力受付部９１６に入力されると、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザの操作によって指示される位置（換言すると、仮想的なレーザポインタによって指示される位置）に、仮想的なレーザポインタからの光を示す仮想オブジェクトを配置するなどしてもよい。換言すると、制御部３１０は、ＶＲ装置２１０における仮想空間の表示において、仮想的なＶＲユーザの操作によって指示される仮想空間１１中の位置が、仮想的なレーザポインタからの光を表す所定の色で光るように制御してもよい。また、制御部５１０等は、仮想空間１１中の指示位置（具体的には、ＶＲユーザによる指示位置）に対応する複合現実空間２１中の位置が、仮想的なレーザポインタからの光を表す所定の色で光るように制御してもよい。具体的には、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中の指示位置に対応する複合現実空間２１中の位置に、仮想的なレーザポインタからの光を示す仮想オブジェクトを配置するなどしてもよい。また、例えば、ＶＲユーザによる指示位置が、仮想黒板３６上の所定の位置である場合に、前記黒板表示制御手段が、ＶＲユーザからの入力に基づいて、黒板３５のディスプレイまたはプロジェクタが表示する画像が、仮想黒板３６上の当該所定の位置に対応する位置が光る画像（すなわち、レーザポインタによって所定箇所が指し示されていることを示す画像）となるように制御してもよい。また、例えば、検出装置４６０やＭＲ装置４１０等がレーザ光を放射する装置を備え、制御部５１０が、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に応じて、当該装置を制御して仮想空間１１中の指示位置に対応する複合現実空間２１中の位置にレーザ光を当てるようにしてもよい。

また、ＭＲユーザ６またはＶＲユーザの行動の複合現実空間２１および仮想空間１１への反映は、以下のようなものであってもよい。すなわち、例えば、複合現実空間２１には、現実オブジェクトとしての音の入力または出力が可能な装置（例えば、電子ピアノ）が配置されており、当該装置に関するＭＲユーザ６またはＶＲユーザの行動が、複合現実空間２１および仮想空間１１へ反映されるようになっていてもよい。以下では、複合現実空間２１には、現実オブジェクトとしての電子ピアノが配置されており、仮想空間１１には、当該電子ピアノに対応する位置に、当該電子ピアノに対応する仮想オブジェクトとしての仮想電子ピアノが配置されているものとする。

電子ピアノは、例えば、コンピュータ５００と通信可能となっていてもよい。そして、複合現実空間２１において、ＭＲユーザ６が電子ピアノを操作すると、当該操作に関する情報（例えば、当該操作に対応する音データ）が、コンピュータ５００を介してコンピュータ３００に送られるなどしてもよい。そして、音制御部９４５は、当該情報に基づいてスピーカ２１６から音を出力するなどしてもよい。これにより、例えば、ＭＲユーザ６が電子ピアノの鍵（例えば、「ド」の音の鍵）を操作すると、スピーカ２１６から操作された鍵に対応する音（例えば、「ド」の音）が出力されるようになっていてもよい。換言すると、ＭＲ側入力受付部８１６は、ＭＲユーザ６の操作を検出する検出手段としての電子ピアノ（換言すると、鍵に対する操作を検出するセンサ等）からの出力（例えば、操作に応じた音データ）をＭＲユーザ６からの入力として受け付け、制御部３１０（例えば、音制御部９４５）は、当該入力に基づいて、ＭＲユーザ６の電子ピアノに対する操作に対応する音をスピーカ２１６に出力させるようになっていてもよい。また、音制御部９４５は、電子ピアノに対する操作に対応する音が、仮想空間１１中の仮想電子ピアノから出力されているように聞こえるよう、音の発せられる方向を制御してもよい。

また、仮想空間１１において、ＶＲユーザが仮想電子ピアノを操作すると、当該操作に関する情報が、コンピュータ５００に送られるなどしてもよい。そして、音制御部８４５は、当該情報に基づいてスピーカ４１６から音を出力するなどしてもよい。これにより、例えば、ＶＲユーザが仮想電子ピアノの鍵（例えば、「ド」の音の鍵）を操作すると、スピーカ４１６から操作された鍵に対応する音（例えば、「ド」の音）が出力されるようになっていてもよい。換言すると、ＶＲ側入力受付部９１６は、仮想電子ピアノに対するＶＲユーザの操作を検出する検出手段（例えば、検出装置２６０またはコントローラ２８０）からの出力をＶＲユーザからの入力として受け付け、制御部５１０（例えば、音制御部８４５）は、当該入力に基づいて、ＶＲユーザの仮想電子ピアノに対する操作に対応する音をスピーカ４１６に出力させるようになっていてもよい。なお、制御部５１０は、ＶＲユーザの仮想電子ピアノに対する操作に対応する音を電子ピアノのスピーカに出力させるようになっていてもよい。

なお、ＭＲユーザ６が、電子ピアノを操作した際の、当該操作に対応する音の複合現実空間２１における出力は、電子ピアノのスピーカが行ってもよく、スピーカ４１６が行ってもよい。また、ＶＲユーザが、仮想電子ピアノを操作した際の、当該操作に対応する音の仮想空間１１における出力は、スピーカ２１６が行ってもよい。

＜情報処理システムの実行する処理＞
次に図１１～図１４を参照しながら、情報処理システム１００が実行する処理の流れについて説明する。

ＶＲシステム２００の実行する処理の一例について、図１１を参照しながら説明する。

ステップＳ１０１において、コンピュータ３００のプロセッサ３０１は、仮想空間データを特定し、仮想空間１１を定義する。

ステップＳ１０２において、プロセッサ３０１は、仮想空間１１に、ＶＲユーザのＶＲアバター２５を配置する。

ステップＳ１０３において、プロセッサ３０１は、ネットワーク２を介してコンピュータ３００と接続されるコンピュータ５００であって、当該仮想空間１１と対応する複合現実空間２１を制御するコンピュータ５００のプロセッサ５０１から、複合現実空間２１中のＭＲユーザ６の位置を示す位置情報を取得する。

ステップＳ１０４において、プロセッサ３０１は、ステップＳ１０３で取得した位置情報に基づいて、複合現実空間２１中のＭＲユーザ６の位置に対応する仮想空間１１中の位置に、ＭＲユーザ６のＭＲアバター２６を配置する。

ステップＳ１０５において、プロセッサ３０１は、仮想空間１１に仮想オブジェクトとしての仮想模型３０を配置する。プロセッサ３０１は、複合現実空間２１中の仮想模型３０の位置と対応する仮想空間１１中の位置に仮想模型３０を配置する。なお、対応する位置に配置するとは、複合現実空間２１中の位置が先行して決まるものであってもよく、仮想空間１１中の位置が先行して決まるものであってもよい。

ステップＳ１０６において、プロセッサ３０１は、ＶＲユーザからの入力を受け付ける。具体的には、プロセッサ３０１は、例えば、ＶＲユーザの動きを検出する検出手段の出力をＶＲユーザからの入力として受け付ける。

ステップＳ１０７において、プロセッサ３０１は、ＶＲユーザからの入力に基づいて仮想空間１１中の仮想オブジェクトに所定の変化を与える。具体的には、プロセッサ３０１は、例えば、ＶＲユーザからの入力に基づいて、仮想空間１１中のＶＲアバター２５または仮想模型３０を動かす。例えば、当該入力がＶＲアバター２５に関するものであった場合、プロセッサ３０１は、ＶＲアバター２５を動かす。また、例えば、当該入力が仮想模型３０に関するものであった場合、プロセッサ３０１は、仮想模型３０を動かす。また、プロセッサ３０１は、ＶＲユーザからの入力に関する情報を、プロセッサ５０１に送信する。

ステップＳ１０８において、プロセッサ３０１は、プロセッサ５０１が受け付けたＭＲユーザ６からの入力に関する情報を取得する。

ステップＳ１０９において、プロセッサ３０１は、ステップＳ１０８で取得したＭＲユーザ６からの入力に基づいて、仮想空間１１中の仮想オブジェクトに所定の変化を与える。具体的には、プロセッサ３０１は、例えば、ＭＲユーザ６からの入力に基づいて、仮想空間１１中のＭＲアバター２６または仮想模型３０を動かす。例えば、当該入力がＭＲアバター２６に関するものであった場合、プロセッサ３０１は、ＭＲアバター２６を動かす。また、当該入力が仮想模型３０に関するものであった場合、プロセッサ３０１は、仮想模型３０を動かす。

次に、ＭＲシステム４００の実行する処理の一例について、図１２を参照しながら説明する。

ステップＳ２０１において、コンピュータ５００のプロセッサ５０１は、複合現実空間２１を定義する。

ステップＳ２０２において、プロセッサ５０１は、複合現実空間２１内のＭＲユーザ６の位置を検出する。また、プロセッサ５０１は、検出したＭＲユーザ６の位置を示す位置情報を、ネットワーク２を介してコンピュータ５００と接続されるコンピュータ３００であって、当該複合現実空間２１と対応する仮想空間１１を制御するコンピュータ３００のプロセッサ３０１に送信する。

ステップＳ２０３において、プロセッサ５０１は、プロセッサ３０１から、仮想空間１１中のＶＲアバター２５の位置を示す位置情報を取得する。

ステップＳ２０４において、プロセッサ５０１は、ステップＳ２０３で取得した位置情報に基づいて、仮想空間１１中のＶＲアバター２５の位置に対応する複合現実空間２１中の位置に、ＶＲアバター２５を配置する。なお、対応する位置に配置するとは、仮想空間１１中の位置が先行して決まるものであってもよく、複合現実空間２１中の位置が先行して決まるものであってもよい。

ステップＳ２０５において、プロセッサ５０１は、複合現実空間２１に仮想オブジェクトとしての仮想模型３０を配置する。プロセッサ５０１は、仮想空間１１中の仮想模型３０の位置と対応する複合現実空間２１中の位置に仮想模型３０を配置する。

ステップＳ２０６において、プロセッサ５０１は、ＭＲユーザ６からの入力を受け付ける。具体的には、プロセッサ５０１は、例えば、ＭＲユーザ６の動きを検出する検出手段の出力をＭＲユーザ６からの入力として受け付ける。

ステップＳ２０７において、プロセッサ５０１は、ＭＲユーザ６からの入力に基づいて、複合現実空間２１中の仮想オブジェクトに所定の変化を与える。具体的には、プロセッサ５０１は、例えば、ＭＲユーザ６からの入力に基づいて、複合現実空間２１中の仮想模型３０を動かす。また、プロセッサ５０１は、ＭＲユーザ６からの入力に関する情報を、プロセッサ３０１に送信する。

ステップＳ２０８において、プロセッサ５０１は、プロセッサ３０１が受け付けたＶＲユーザからの入力に関する情報を取得する。

ステップＳ２０９において、プロセッサ５０１は、ステップＳ２０８で取得したＶＲユーザからの入力に基づいて、複合現実空間２１中の仮想オブジェクトに所定の変化を与える。具体的には、プロセッサ５０１は、例えば、ＶＲユーザからの入力に基づいて、複合現実空間２１中のＶＲアバター２５または仮想模型３０を動かす。例えば、当該入力がＶＲアバター２５に関するものであった場合、プロセッサ５０１は、ＶＲアバター２５を動かす。また、当該入力が仮想模型３０に関するものであった場合、プロセッサ５０１は、仮想模型３０を動かす。

次に、ＭＲユーザ６の行動を仮想空間１１に反映させる処理の一例について、図１３を参照しながら説明する。

ステップＳ３０１において、プロセッサ５０１は、ＭＲユーザ６からの入力を受け付ける。具体的には、プロセッサ５０１は、例えば、特定の現実オブジェクト（例えば、黒板３５、レーザポインタまたは電子ピアノ等）に対するＭＲユーザ６の行動を検出する検出手段の出力をＭＲユーザ６からの入力として受け付ける。

ステップＳ３０２において、プロセッサ５０１は、ステップＳ３０１で受け付けたＭＲユーザ６からの入力に関する情報を、プロセッサ３０１（換言すると、ＶＲシステム２００）に送信する。

ステップＳ３０３において、プロセッサ３０１は、ステップＳ３０２で送信された情報に基づいて、ＭＲユーザ６が行動を行った特定の現実オブジェクトに対応する仮想オブジェクトに所定の変化を与える。例えば、ＭＲユーザ６が、黒板３５に所定の記入内容を記入する記入動作を行った場合、プロセッサ３０１は、黒板３５に対応する仮想黒板３６を当該所定の記入内容を表示する状態に変化させる。

次に、ＶＲユーザの行動を複合現実空間２１に反映させる処理の一例について、図１４を参照しながら説明する。

ステップＳ３５１において、プロセッサ３０１は、ＶＲユーザからの入力を受け付ける。具体的には、プロセッサ３０１は、例えば、特定の現実オブジェクトに対応する仮想オブジェクト（例えば、仮想黒板３６または仮想電子ピアノ等）に対するＶＲユーザの行動を検出する検出手段の出力をＶＲユーザからの入力として受け付ける。

ステップＳ３５２において、プロセッサ３０１は、ステップＳ３５１で受け付けたＶＲユーザからの入力に関する情報を、プロセッサ５０１（換言すると、ＭＲシステム４００）に送信する。

ステップＳ３５３において、プロセッサ５０１は、ステップＳ３５２で送信された情報に基づいて、特定の現実オブジェクトに対応する仮想オブジェクトに対してＶＲユーザが行った行動を、当該特定の現実オブジェクトに反映させる。例えば、ＶＲユーザが、仮想黒板３６に所定の記入内容を記入する記入動作を行った場合、プロセッサ５０１は、黒板３５を当該所定の記入内容を表示する状態に変化させる。

なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変形して実施できる。本発明はその発明の範囲内において、各構成要素の自由な組み合わせ、任意の構成要素の変形、または任意の構成要素の省略等が可能である。また、本明細書において説明した処理の流れはあくまで一例であり、各処理の順序や構成は異なるものであってもよい。

＜付記＞
以上の実施形態で説明した事項は、以下の付記のようにも記載され得る。

（付記１）
所定の現実空間に仮想オブジェクトが配置された複合現実空間のビューである第１のビューを第１ユーザに提供する第１表示手段（例えば、ＭＲ装置４１０）と、
前記所定の現実空間を模した仮想空間に、前記第１ユーザのアバターが配置された第２のビューを第２ユーザに提供する第２表示手段（例えば、ＶＲ装置２１０）と、
前記第１ユーザからの入力を受け付ける第１入力受付手段（例えば、ＭＲ側入力受付部８１６）と、
前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記仮想空間中の前記第１ユーザのアバターを制御する第１制御手段（例えば、制御部３１０またはＶＲ側オブジェクト制御部９２０）と、を備える
情報処理システム。
このような構成によれば、第１ユーザのアバターは、第１ユーザがいる所定の現実空間を模した仮想空間に配置され、第１ユーザからの入力に基づいて制御されることとなる。したがって、複合現実空間中の第１ユーザからの入力に基づいて仮想空間中の第１ユーザのアバターを制御する上で、複合現実空間と仮想空間との隔たりを埋め、両者の結びつきを強めることができる。したがって、仮想空間の用途の幅が広がる。

（付記２）
前記第１入力受付手段は、前記複合現実空間中の前記第１ユーザの位置を検出する位置検出手段の出力を、前記第１ユーザからの入力として受け付け、
前記第１制御手段は、前記位置検出手段が検出した前記複合現実空間中の前記第１ユーザの位置に対応する前記仮想空間中の位置に、前記第１ユーザのアバターを配置する
付記１に記載の情報処理システム。
このような構成によれば、第１ユーザのアバターは、複合現実空間中の第１ユーザの位置に対応する仮想空間中の位置に配置されることとなる。すなわち、複合現実空間中の第１ユーザの位置と、仮想空間中の第１ユーザのアバターの位置とが連動したものとなる。したがって、第２ユーザの視点において、第１ユーザが現実のどの位置にいるのか、どのような場所にいるのか等がわかる。また、第１ユーザの視点において、自身のアバターが第２ユーザにどのように見られるのかがわかりやすくなる。したがって、複合現実空間と仮想空間との隔たりを埋めることができ、仮想空間の用途の幅が広がる。

（付記３）
前記第２のビューは、前記仮想空間に配置された仮想カメラ（例えば、仮想カメラ１４）から見た前記仮想空間のビューであり、
前記第２ユーザからの入力を受け付ける第２入力受付手段（例えば、ＶＲ側入力受付部９１６）と、
前記第２入力受付手段が受け付けた前記第２ユーザからの入力に基づいて、前記仮想空間中の前記仮想カメラの位置を移動させる仮想カメラ制御手段（例えば、仮想カメラ制御部９３０）と、を備える
付記１に記載の情報処理システム。
このような構成によれば、第２ユーザは、仮想カメラの位置を動かして、仮想空間を見る視点を移動させることができる。したがって、第２ユーザは、所定の現実空間を模した仮想空間や、当該所定の現実空間に存在する第１ユーザのアバターであって当該仮想空間に存在するアバターを、様々な視点から見ることができ、仮想空間の用途の幅が広がる。

（付記４）
前記第２ユーザからの入力を受け付ける第２入力受付手段（例えば、ＶＲ側入力受付部９１６）と、
反映手段（例えば、ＭＲ側オブジェクト制御部８２０、黒板表示制御手段、または音制御部８４５）と、を備え、
前記第１制御手段は、
前記所定の現実空間に実際に存在する特定のオブジェクト（例えば、黒板３５または電子ピアノ）に対応する特定仮想オブジェクト（例えば、仮想黒板３６または仮想電子ピアノ）を前記仮想空間に配置し、
前記第２入力受付手段が受け付けた前記第２ユーザからの入力に基づいて前記特定仮想オブジェクトに所定の変化を与え、
前記反映手段は、前記第２入力受付手段が受け付けた前記第２ユーザからの入力を、前記複合現実空間中の前記特定のオブジェクトに反映させる
付記１に記載の情報処理システム。
このような構成によれば、仮想空間中の仮想オブジェクトに対して行った第２ユーザの操作を、第１ユーザがいる現実空間に実際に存在するオブジェクトに反映させることができる。したがって、現実空間と仮想空間とが高度に融合され、仮想空間の用途の幅が広がる。

（付記５）
前記第２ユーザからの入力を受け付ける第２入力受付手段（例えば、ＶＲ側入力受付部９１６）を備え、
前記第１制御手段は、
前記仮想空間中に前記第２ユーザのアバターを配置し、
前記第２入力受付手段が受け付けた前記第２ユーザからの入力に基づいて、前記仮想空間中の前記第２ユーザのアバターを制御する
付記１～４のいずれか１つに記載の情報処理システム。
このような構成によれば、仮想空間には、第１ユーザのアバターと第２ユーザのアバターとが存在し、それぞれ第１ユーザまたは第２ユーザからの入力に基づいて制御されることとなる。したがって、仮想空間において、第１ユーザのアバターと第２ユーザのアバターとを用いたコミュニケーションをとることが可能となり、仮想空間の用途の幅が広がる。

（付記６）
前記仮想空間中の前記第２ユーザのアバターの位置に関する情報を前記第１制御手段から受信し、前記仮想空間中の前記第２ユーザのアバターの位置に対応する前記複合現実空間中の位置に、前記第２ユーザのアバターを配置する第２制御手段（例えば、制御部５１０またはＭＲ側オブジェクト制御部８２０）を備える
付記５に記載の情報処理システム。
このような構成によれば、複合現実空間では、仮想空間中の第２ユーザが第２ユーザのアバターを配置した位置に対応する位置に、第２ユーザのアバターが配置されることとなる。また、複合現実空間中の第２ユーザのアバターは、仮想空間中の第２ユーザのアバターの動きに連動して動くこととなる。このため、仮想空間と複合現実空間との間でのアバターを介したコミュニケーションの質を向上させることができる。したがって、仮想空間の用途の幅が広がる。

（付記７）
所定の現実空間に仮想オブジェクトが配置された複合現実空間のビューである第１のビューを第１ユーザに提供する第１表示手段（例えば、ＭＲ装置４１０）と、
前記所定の現実空間を模した仮想空間に、前記第１ユーザのアバターが配置された第２のビューを第２ユーザに提供する第２表示手段（例えば、ＶＲ装置２１０）と、
前記第１ユーザからの入力を受け付ける第１入力受付手段（例えば、ＭＲ側入力受付部８１６）と、を備える情報処理システムのコンピュータを、
前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記仮想空間中の前記第１ユーザのアバターを制御する第１制御手段（例えば、制御部３１０またはＶＲ側オブジェクト制御部９２０）として機能させる
プログラム。
このような構成によれば、付記１に記載のプログラムと同様の作用効果を奏することができる。

１１ 仮想空間、２１ 複合現実空間、２５ ＶＲアバター、２６ ＭＲアバター、３０ 仮想模型、３５ 黒板、３６ 仮想黒板、１００ 情報処理システム、２００ ＶＲシステム、２１０ ＶＲ装置、２１１ ディスプレイ、２１２ 注視センサ、２１３ 第１カメラ、２１４ 第２カメラ、２１５ マイク、２１６ スピーカ、２１７ センサ、２６０ 検出装置、２７０ ディスプレイ、２８０ コントローラ、２８６ センサ、３００ コンピュータ、３０１ プロセッサ、３０２ メモリ、３０３ ストレージ、３０４ 入出力インターフェース、３０５ 通信インターフェース、３１０ 制御部、３１１ 記憶部、４００ ＭＲシステム、４１０ ＭＲ装置、４１１ ディスプレイ、４１２ 注視センサ、４１３ カメラ、４１５ マイク、４１６ スピーカ、４１７ センサ、４６０ 検出装置、４７０ ディスプレイ、４８０ コントローラ、４８６ センサ、５００ コンピュータ、５０１ プロセッサ、５０２ メモリ、５０３ ストレージ、５０４ 入出力インターフェース、５０５ 通信インターフェース、５１０ 制御部、５１１ 記憶部、６００ サーバ、６０１ プロセッサ、６０２ メモリ、６０３ ストレージ、６０４ 入出力インターフェース、６０５ 通信インターフェース、６１０ 制御部、６１１ 記憶部、７００ 外部機器、８１０ 仮想空間生成部、８１２ 座標定義部、８１６ ＭＲ側入力受付部、８１８ ユーザ情報取得部、８２０ ＭＲ側オブジェクト制御部、８４０ 表示制御部、８４５ 音制御部、８５０ 通信制御部、９１６ ＶＲ側入力受付部、９２０ ＶＲ側オブジェクト制御部、９３０ 仮想カメラ制御部、９４０ 表示制御部、９４５ 音制御部、９５０ 通信制御部

Claims (7)

1. 所定の現実空間に仮想オブジェクトが配置された複合現実空間のビューである第１のビューを第１ユーザに提供する第１表示手段と、
   前記所定の現実空間を構成する建物に関する３次元情報を含む前記所定の現実空間についての３次元情報を取得する３次元情報取得手段によって取得された３次元情報に基づいて生成される仮想空間のビューである第２のビューを第２ユーザに提供する第２表示手段と、
   前記第１ユーザからの入力を受け付ける第１入力受付手段と、
   前記第２ユーザからの入力を受け付ける第２入力受付手段と、
   前記仮想空間中の仮想オブジェクトを制御する第１制御手段と、
   前記複合現実空間中の仮想オブジェクトを制御する第２制御手段と、を備え、
   前記第１制御手段は、
   前記第１ユーザのアバターを前記仮想空間に配置することと、
   前記第１ユーザおよび前記第２ユーザが操作可能な所定の仮想オブジェクトを前記仮想空間に配置することと、
   前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記仮想空間中の前記第１ユーザのアバターを制御することと、
   前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記仮想空間中の前記所定の仮想オブジェクトに所定の変化を与えることと、
   前記第２入力受付手段が受け付けた前記第２ユーザからの入力に基づいて、前記仮想空間中の前記所定の仮想オブジェクトに前記所定の変化を与えることと、を実行し、
   前記第２制御手段は、
   前記仮想空間中の前記所定の仮想オブジェクトの位置に対応する前記複合現実空間中の位置に前記所定の仮想オブジェクトを配置することと、
   前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記複合現実空間中の前記所定の仮想オブジェクトに前記所定の変化を与えることと、
   前記第２入力受付手段が受け付けた前記第２ユーザからの入力に基づいて、前記複合現実空間中の前記所定の仮想オブジェクトに前記所定の変化を与えることと、を実行し、
   前記所定の変化には、前記所定の仮想オブジェクトのパーツ同士の相対的な位置関係の変化、または前記所定の仮想オブジェクトの形態の変化の少なくともいずれかが含まれる
   情報処理システム。
2. 前記第２入力受付手段が受け付けた前記第２ユーザからの入力を、前記所定の現実空間に実際に存在するオブジェクトに反映させる反映手段をさらに備え、
   前記第１制御手段は、
   前記所定の現実空間に実際に存在する特定のオブジェクトに対応する特定仮想オブジェクトを前記仮想空間に配置することと、
   前記第２入力受付手段が受け付けた前記第２ユーザからの入力としての、前記特定仮想オブジェクトに対する前記第２ユーザの記入動作に関する情報に基づいて、前記特定仮想オブジェクトを、前記第２ユーザが記入した記入内容を表示する状態に変化させることと、を実行し、
   前記反映手段は、前記第２入力受付手段が受け付けた前記第２ユーザからの入力としての、前記特定仮想オブジェクトに対する前記第２ユーザの記入動作に関する情報に基づいて、前記複合現実空間中の前記特定のオブジェクトを、前記第２ユーザが記入した記入内容を表示する状態に変化させる
   請求項１に記載の情報処理システム。
3. 前記第２入力受付手段が受け付けた前記第２ユーザからの入力を、前記所定の現実空間に実際に存在するオブジェクトに反映させる反映手段をさらに備え、
   前記第１制御手段は、前記第２ユーザによる仮想的なレーザポインタで前記仮想空間中の任意の位置を指し示す操作に基づいて、前記仮想空間中の指し示された位置を光らせ、
   前記反映手段は、前記仮想空間中の前記指し示された位置に対応する前記複合現実空間中の位置を光らせる
   請求項１に記載の情報処理システム。
4. 前記複合現実空間における音の出力を制御する第１音制御手段と、
   前記第２ユーザに対して出力する音を制御する第２音制御手段と、をさらに備え、
   前記第１制御手段は、前記所定の現実空間に実際に存在する楽器に対応する特定仮想オブジェクトを前記仮想空間に配置し、
   前記第２音制御手段は、前記楽器に対する前記第１ユーザの操作に基づいて、当該操作に対応する音を出力させるとともに、当該音が前記特定仮想オブジェクトの方向から発せられているように聞こえるよう音の出力を制御し、
   前記第１音制御手段は、前記特定仮想オブジェクトに対する前記第２ユーザの操作に基づいて、当該操作に対応する音を前記複合現実空間において出力させる
   請求項１に記載の情報処理システム。
5. 前記第１制御手段は、前記仮想空間に前記第２ユーザのアバターを配置し、
   前記第２制御手段は、前記仮想空間中の前記第２ユーザのアバターの位置に対応する前記複合現実空間中の位置に前記第２ユーザのアバターを配置する
   請求項１～４のいずれか１項に記載の情報処理システム。
6. 前記仮想空間に配置される前記第２ユーザのアバターと、前記複合現実空間に配置される前記第２ユーザのアバターとは、外見が異なる
   請求項５に記載の情報処理システム。
7. 所定の現実空間に仮想オブジェクトが配置された複合現実空間のビューである第１のビューを第１ユーザに提供する第１表示手段と、
   前記所定の現実空間を構成する建物に関する３次元情報を含む前記所定の現実空間についての３次元情報を取得する３次元情報取得手段によって取得された３次元情報に基づいて生成される仮想空間のビューである第２のビューを第２ユーザに提供する第２表示手段と、
   前記第１ユーザからの入力を受け付ける第１入力受付手段と、
   前記第２ユーザからの入力を受け付ける第２入力受付手段と、
   前記仮想空間中の仮想オブジェクトを制御する第１制御手段と、
   前記複合現実空間中の仮想オブジェクトを制御する第２制御手段と、を備える情報処理システムのコンピュータを、前記第１制御手段と前記第２制御手段ととして機能させ、
   前記第１制御手段は、
   前記第１ユーザのアバターを前記仮想空間に配置することと、
   前記第１ユーザおよび前記第２ユーザが操作可能な所定の仮想オブジェクトを前記仮想空間に配置することと、
   前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記仮想空間中の前記第１ユーザのアバターを制御することと、
   前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記仮想空間中の前記所定の仮想オブジェクトに所定の変化を与えることと、
   前記第２入力受付手段が受け付けた前記第２ユーザからの入力に基づいて、前記仮想空間中の前記所定の仮想オブジェクトに前記所定の変化を与えることと、を実行し、
   前記第２制御手段は、
   前記仮想空間中の前記所定の仮想オブジェクトの位置に対応する前記複合現実空間中の位置に前記所定の仮想オブジェクトを配置することと、
   前記第１入力受付手段が受け付けた前記第１ユーザからの入力に基づいて、前記複合現実空間中の前記所定の仮想オブジェクトに前記所定の変化を与えることと、
   前記第２入力受付手段が受け付けた前記第２ユーザからの入力に基づいて、前記複合現実空間中の前記所定の仮想オブジェクトに前記所定の変化を与えることと、を実行し、
   前記所定の変化には、前記所定の仮想オブジェクトのパーツ同士の相対的な位置関係の変化、または前記所定の仮想オブジェクトの形態の変化の少なくともいずれかが含まれる
   プログラム。

Images