JP7312550B2 - 仮想空間提供システム、仮想空間提供方法及びプログラム - Google Patents

Description

本発明は、１又は複数のユーザに対して仮想空間を提供する仮想空間提供システム、仮想空間提供方法及びプログラムに関する。

特許文献１には、端末のディスプレイにおいて、仮想空間内に設けられた擬似的なプロジェクタと、仮想空間内を探索するユーザＡのキャラクタとユーザＢのキャラクタが表示される技術が記載されている。

特開２００７－０７９７９９号公報

ここで、仮想空間において、ユーザに関連付けられたキャラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反映させたいという要請がある。しかしながら、特許文献１に記載された従来技術では、このような要請に対して十分に応えることができなかった。

そこで、本開示は、仮想空間において、ユーザに関連付けられたキャラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反映することが可能な仮想空間提供技術を提供することを目的とする。

本発明の一態様に係る仮想空間提供システムは、１又は複数のユーザに対して仮想空間を提供する仮想空間提供システムであって、ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、仮想空間にキャラクタを配置するキャラクタ配置部と、ユーザの表現に関する表現情報を取得する取得部と、取得した表現情報に基づいて、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表現情報に基づく表現を反映する反映部と、を備える。

本発明の一態様に係る仮想空間提供方法は、１又は複数のユーザに対して仮想空間を提供するコンピュータが実行する仮想空間提供であって、ユーザのうち少なくとも一のユーザに対してキャラクタを関連付けるステップと、仮想空間にキャラクタを配置するステップと、ユーザの表現に関する表現情報を取得するステップと、取得した表現情報に基づいて、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表現情報に基づく表現を反映するステップと、を含む。

本発明の一態様に係るプログラムは、１又は複数のユーザに対して仮想空間を提供するコンピュータを、記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、仮想空間にキャラクタを配置するキャラクタ配置部と、ユーザの表現に関する表現情報を取得する取得部と、取得した表現情報に基づいて、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表現情報に基づく表現を反映する反映部と、して機能させる。

なお、本発明において、「部」、「装置」とは、単に物理的手段を意味するものではなく、その「部」、「装置」」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「装置」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」、「装置」の機能が１つの物理的手段や装置により実現されてもよい。

本発明の上記態様によれば、ユーザに関連付けられたキャラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反映することができる。

本発明の実施形態に係る仮想空間提供システムの概略構成図である。 本発明の実施形態に係るコンピュータ及び管理サーバの概略構成図である。 本発明の実施形態に係るコンピュータの機能的構成の一例を示す概略構成図である。 本発明の実施形態に係る仮想空間の一例を示す概念的に示した図である。 本発明の実施形態に係る仮想空間提供処理の一例を示すフローチャートである。 本発明の実施形態に係る会議室の一例を示す図である。 本発明の実施形態に係るＨＭＤで表示される視界画像の一例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

図１は、本発明の実施形態に係る仮想空間提供システム１００の全体構成を示すブロック図である。図１に示すように、仮想空間提供システム１００は、例示的に、コンピュータ１ａ，１ｂ，１ｃと、ユーザＵａが用いるＨＭＤ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ）３と、ユーザＵｂ，Ｕｃが用いるカメラ５ｂ，５ｃと、管理サーバ７と、を備える。

なお、図１中には、３台のコンピュータとして、コンピュータ１ａ～１ｃを図示している。ただし、以下の説明において、これら３台のコンピュータを区別することなく説明する場合には、符号を一部省略して、単に「コンピュータ１」と呼ぶ。さらに、２台のカメラとして、カメラ５ｂ及び５ｃを図示している。ただし、以下の説明において、これら２台のカメラを区別することなく説明する場合には、符号を一部省略して、単に「カメラ５」と呼ぶ。さらにまた、３人のユーザとして、ユーザＵａ～Ｕｃを図示している。ただし、以下の説明において、これら３人のユーザを区別することなく説明する場合には、符号を一部省略して、単に「ユーザＵ」と呼ぶ。またさらに、コンピュータ１、ＨＭＤ３、カメラ５、及び管理サーバ７の各構成の台数には特に制限はない。

コンピュータ１は、１又は複数のユーザＵに対して仮想空間を提供する。コンピュータ１は、ネットワークＮを介して互いに通信可能に接続される。コンピュータ１は、ネットワークＮを介して管理サーバ７と通信可能に接続されている。なお、ネットワークＮは、例えば、インターネット、携帯電話網といったネットワーク、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、あるいはこれらを組み合わせたネットワークにより実現される。また、図１に示す例において、コンピュータ１ａは、ＨＭＤ３の外部に配置されているが、この構成に限られず、コンピュータ１ａは、ＨＭＤ３に内蔵されてもよい。同様に、コンピュータ１ｂは、カメラ５ｂに内蔵されてもよいし、コンピュータ１ｃは、カメラ５ｃに内蔵されてもよい。

ＨＭＤ３は、例えば、ユーザＵａの頭部に装着され、ユーザＵａの頭部の動きに応じて仮想空間と、仮想空間に基づく視界画像９ａと、を提供する。ＨＭＤ３は、ディスプレイ(不図示)を備え、ディスプレイは、コンピュータ１ａから送信される画像情報又はテキスト情報等をモニタに表示可能である。ディスプレイは、ユーザＵａの目の前方に位置するように配置される。ディスプレイは、例えば、非透過型の表示装置であり、仮想空間を視界画像９ａ（例えば３次元画像）として表示可能である。なお、ディスプレイは、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含む。また、ディスプレイは、透過型又は半透過型の表示装置を含んでもよい。ディスプレイは、仮想空間を示す画像の少なくとも一部、及び、ＨＭＤ３に備えられたカメラで撮像した現実空間の所定範囲を同時に表示してもよい。

ＨＭＤ３は、コンピュータ１ａから送信される音声情報をスピーカ(不図示)から音声として出力可能である。また、ＨＭＤ３は、ユーザＵａの音声を取得し、コンピュータ１ａに出力するマイク（不図示）を備えてもよい。

カメラ５は、現実空間の所定の範囲を撮像する。例えば、カメラ５ｂは、ユーザＵｂを含む所定の範囲を撮像し、カメラ５ｃは、ユーザＵｃを含む所定の範囲を撮像する。カメラ５ｂ，５ｃは、撮像することにより取得される３Ｄ情報をコンピュータ１ｂ，１ｃに送信する。また、カメラ５は、ユーザＵｂ，Ｕｃの音声を取得するマイク（不図示）の機能を更に備える。さらに、カメラ５は、コンピュータ１ａから送信されるユーザＵａに対応する音声情報に基づいて音声を出力するスピーカ（不図示）を備えてもよい。

管理サーバ７は、例えば、コンピュータ１に１又は複数のユーザＵに対して仮想空間を提供するためのプログラムを送信する。例えば、ユーザＵａが滞在する所定のエリアＡ１において、複数のユーザが参加する会議を行なう場合、各コンピュータ１は、ユーザＵのそれぞれの表現に関する表現情報を、管理サーバ７を介して他のコンピュータ１と通信して、共通の仮想空間において複数のユーザＵが同一の会議を行うことを可能にする。

「表現情報」とは、ユーザＵの感情や思想を態度や言語等で示す情報を含む。表現情報は、例えば、ユーザＵの動作（動き）又は音声の少なくとも一方を含む。表現情報は、ユーザＵが用いる不図示の入力装置に入力した画像情報、テキスト情報、又は音声情報を含んでもよい。また、表現情報は、ユーザＵの近傍にある不図示のホワイトボード又は紙に記述した内容をカメラ等で取得した画像情報等を含んでもよい。

なお、各コンピュータ１は、各ユーザＵの表現に関する表現情報を、管理サーバ６００を介すことなく他のコンピュータ２００と通信するようにしてもよい。なお、管理サーバ７は、例えば、１つ又は複数のサーバ装置により実現される。

ここで、本実施形態における仮想空間提供システム１００の概要を説明する。図１に示すＨＭＤ３がユーザＵａに仮想空間と当該仮想空間に基づく視界画像９ａを提供する。視界画像９ａは、ＨＭＤ３のディスプレイ（不図示）に表示される画像である。視界画像９ａは、コンピュータ１ａにより生成された画像である。コンピュータ１ａは、コンピュータ１ｂからユーザＵｂの表現情報を取得し、また、コンピュータ１ｃからユーザＵｃの表現情報を取得する。コンピュータ１ａは、仮想空間を定義し、仮想空間に配置される、ユーザＵｂに関連付けられたキャラクタＣｂ及びユーザＵｃに関連付けられたキャラクタＣｃを当該仮想空間に配置する。「キャラクタ」は、例えば、人物や動物などを含む。キャラクタは、例えば、ユーザＵｂ，Ｕｃを模した、又は、ユーザＵｂ，Ｕｃに対応した人型の物体を示す画像であってもよい。

コンピュータ１ａは、取得した表現情報を踏まえて、ユーザＵｂ，Ｕｃの表現が反映された視界画像９ａを生成する。つまり、ユーザＵｂ，Ｕｃの表現が変化するたびに視界画像を生成する。なお、コンピュータ１ａは、表現情報が音声情報を含む場合は、当該音声情報を踏まえて、ＨＭＤ３から、ユーザＵｂ，Ｕｃに対応する音声を出力するための音声出力情報を生成してもよい。

ユーザＵａは仮想空間において、キャラクタＣｂ，Ｃｃと対話による通信（コミュニケーション）を図ることができる。例えば、カメラ５ｂのマイクで取得されたユーザＵｂの音声は、コンピュータ１ｂを介して、ＨＭＤ３が備えるスピーカから出力される。カメラ５ｃのマイクで取得されたユーザＵｃの音声は、コンピュータ１ｃを介して、ＨＭＤ３が備えるスピーカから出力される。また、ＨＭＤ３に備えられたマイクは、ユーザＵａの音声を取得し、音声情報としてコンピュータ１ｂに送信し、カメラ５ｂに備えられたスピーカによりユーザＵａの音声が出力されてもよい。これにより、ユーザＵｂは、ユーザＵａの音声を聞くことができる。さらに、ＨＭＤ３に備えられたマイクは、ユーザＵａの音声を取得し、音声情報としてコンピュータ１ｃに送信し、カメラ５ｃに備えられたスピーカによりユーザＵａの音声が出力されてもよい。これにより、ユーザＵｃは、ユーザＵａの音声を聞くことができる。

図２は、本発明の実施形態に係るコンピュータ１のハードウェアの構成と、管理サーバ７のハードウェアの構成とを示すブロック図である。なお、図中では、コンピュータ１のハードウェアに対応する符号には括弧を付すことなく記載し、管理サーバ７のハードウェアに対応する符号には括弧を付して記載する。

コンピュータ１は、例示的に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなるメモリ１２と、入力部１３と、出力部１４と、記録部１５と、通信部１６と、バス１７と、を備えている。

ＣＰＵ１１は、メモリ１２に記録されているプログラム、又は、記録部１５からメモリ１２にロードされたプログラムにしたがって各種の処理を実行する。

メモリ１２には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。ＣＰＵ１１及びメモリ１２は、バス１７を介して相互に接続されている。また、このバス１７には、入力部１３と、出力部１４と、記録部１５と、通信部１６と、が接続されている。

入力部１３は、コンピュータ１を操作する者（例えば、ユーザＵａ）の指示操作に応じて各種情報を入力する。入力部１３は、例えば、各種ボタン、タッチパネルあるいはマイク等で構成される。なお、入力部１３は、コンピュータ１の他の各部を収容する本体とは独立した、キーボードやマウス等の入力装置により実現してもよい。

出力部１４は、画像データや音声データを出力する。出力部１４は、例えば、ディスプレイやスピーカ等で構成される。出力部１４が出力した画像データや音声データは、ディスプレイやスピーカ等から、画像や音楽としてプレイヤが認識可能に出力される。

記録部１５は、各種データを記憶する。記録部１５は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成される。

通信部１６は、他の装置との間で行う通信を実現する。例えば、通信部１６は、ネットワークＮを介して、他のコンピュータ１ｂ，１ｃや管理サーバ７との間で相互に通信を行う。

なお、コンピュータ１には、不図示であるがドライブを必要に応じて適宜設けられる。ドライブには、例えば、磁気ディスク、光ディスク、光磁気ディスク等から構成されるリムーバブルメディアが適宜装着されてもよい。ドライブによってリムーバブルメディアから読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記録部１５にインストールされる。

管理サーバ７のハードウェアの構成について説明をする。管理サーバ７は、図２に示すように、例示的に、ＣＰＵ７１と、メモリ７２と、入力部７３と、出力部７４と、記録部７５と、通信部７６と、バス７７と、を備えている。これら各部は、上述のコンピュータ１が備える、符号のみが異なる同名の各部と同等の機能を有している。

図３は、本発明の実施形態に係るコンピュータ１の機能的構成の一例を示すブロック図である。コンピュータ１は、例示的に、１又は複数のユーザＵに対して仮想空間を提供するための処理を実行する情報処理部１１１と、当該処理を実行するために必要な各種情報及び当該処理の結果に関する情報を記録するデータベース（ＤＢ）１１２と、を備えて構成される。なお、情報処理部１１１は、例えば、図２に示すメモリ１２や記録部１５に格納されているプログラムをＣＰＵ１１が実行したりすることにより実現することができる。データベース１１２は、例えば、図２に示す記録部１５に対応する。

情報処理部１１１は、機能的に、ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部１１３と、仮想空間にキャラクタを配置するキャラクタ配置部１１４と、ユーザの表現に関する表現情報を取得する取得部１１５と、取得した表現情報に基づいて、仮想空間に配置されたキャラクタであって、当該表現情報に対応付けられたユーザに関連付けられたキャラクタに当該表現情報に基づく表現を反映する反映部１１６と、を備える。上記各機能の詳細については、後述する。

情報処理部１１１は、視界画像生成部１６を更に備える。視界画像生成部１６は、仮想空間データに基づいて、仮想空間を定義する。

図４は、本発明の実施形態に係る仮想空間の一例を示す概念的に示した図である。図４に示すように、視界画像生成部１６が定義する仮想空間５０は、例えば、中心点ＣＰを基準とする半球を含む。仮想空間５０においては、中心点ＣＰを原点とするＸＹＺ座標系が定義される。例えば、図１に示すＨＭＤ３の起動時において、仮想カメラ６０（例えば、ＨＭＤが備えるカメラに相当する）が、仮想空間５０の中心点ＣＰに配置される。この仮想カメラ６０が撮像することによって取得される画像情報に基づいて画像をＨＭＤ３のディスプレイに表示する。仮想カメラ６０は、図１に示すように、現実空間においてユーザＵａの頭部に装着されたＨＭＤ３の動き（位置及び傾きの変化）に応じて移動可能である。つまり、現実空間におけるＨＭＤ３の動きに対応するように、仮想空間５０における仮想カメラ６０が動く。

ここで、仮想カメラ６０の位置は、仮想空間５０におけるユーザの視点に対応する。視界画像生成部１６は、仮想カメラ６０に基づく基準視線ＳＧに基づいて、仮想空間５０における視界領域８０を規定する。例えば、視界領域８０は、仮想空間５０のうち、ＨＭＤ３を装着したユーザＵａが視認する領域に対応する。

このように、視界画像生成部１６は、例えば、仮想カメラ６０を仮想空間５０において中心点ＣＰに配置し、仮想カメラ６０の視線（基準視線ＳＧ）をユーザが向いている方向に設定する。よって、視界画像生成部１６は、視界画像９を生成するための視界画像データを生成する。その後、視界画像生成部１６は、ＨＭＤ３の動きが変化すると、その変化に応じた新たな視界画像を生成するための視界画像データを生成する。

図３に戻り、ＤＢ１１２は、例示的に、空間情報ＳＩと、キャラクタ情報ＣＩと、表現情報ＥＩと、オブジェクト情報ＯＩと、特定画像情報ＧＩと、を記録する。ＤＢ１１２においては、ユーザに関する情報に基づいて、ユーザごとに上記各種情報を関連づけて記録してもよい。

空間情報ＳＩは、図４に示す仮想空間５０を定義するための１つ以上の仮想空間データテンプレートを含む。

キャラクタ情報ＣＩは、仮想空間に配置されるキャラクタに関する情報である。キャラクタ情報ＣＩは、キャラクタに関連付けられたユーザを撮像することにより取得した画像情報、又は、キャラクタに関連付けられたユーザに基づくアバターの少なくとも一方を含む。アバターは、１又は複数の種類のアバター（例えば、動物を模した画像や、デフォルメされた人の画像）であってもよい。また、キャラクタ情報ＣＩは、キャラクタを仮想空間に配置するための情報（例えば、位置情報等）を含む。

オブジェクト情報ＯＩは、仮想空間に配置されるオブジェクトに関する情報である。オブジェクト情報ＯＩは、室内又は室外の風景を示す情報である。オブジェクト情報ＯＩは、例えば、会議室等の室内風景を含む。また、オブジェクト情報ＯＩは、例えば森、山その他を含む風景、街並み、動物等を含む。また、オブジェクト情報ＯＩは、仮想空間に配置するための情報（例えば、位置情報等）を含む。

特定画像情報は、例えば、椅子やテーブル等の什器に付されたマーカを示す画像情報を含む。マーカは、マトリックス型２次元コードであるＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード（登録商標）コードを含む。しかしながら、マーカは、ＱＲコードに限定されず、１次元コードや任意のマーカを用いてもよい。なお、任意のマーカは、特定形状のマーカ、例えば、星型形状のような多角形状のマーカを含んでもよい。また、人物の顔の形状または大きさの少なくとも一方をマーカとして利用してもよい。

また、特定画像は、什器自体を撮像することにより取得される画像を含んでもよい。

＜仮想空間提供処理＞
図５～図７を参照して本発明の実施形態に係る仮想空間提供処理の一例を説明する。図５は、本発明の実施形態に係る仮想空間提供処理の一例を示すフローチャートである。

（ステップＳ１）
図３に示すコンピュータ１の関連付け部１１３は、１又は複数のユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける。図１の例を参照すると、関連付け部１１３は、図３に示すキャラクタ情報ＣＩに基づいて、例えば、ユーザＵｂに対してキャラクタＣｂを、ユーザＵｃに対してキャラクタＣｃを関連付ける。

（ステップＳ３）
図３に示すコンピュータ１のキャラクタ配置部１１４は、仮想空間にキャラクタを配置する。

図６は、本発明の実施形態に係る現実空間における会議室の一例を示す図である。図６に示すように、各椅子Ｃ１，Ｃ３には、マーカＭｂ，Ｍｃが付されている。例えば、ＨＭＤ３が備えるカメラ（不図示）が、現実空間の所定の範囲に含まれるマーカＭｂ，Ｍｃ（特定対象物）を撮像することによって画像情報を取得する。ＨＭＤ３は、画像情報を図１に示すコンピュータ１に送信する。そして、キャラクタ配置部１１４は、取得した画像情報に基づいて、現実空間における特定対象物の配置位置に対応する仮想空間の位置に、特定対象物に関連付けられたキャラクタを配置する。キャラクタ配置部１１４は、マーカに対応する特定画像情報を取得すると、例えば、図３に示すＤＢ１１２に格納されたキャラクタ情報ＣＩ（例えば、予め、マーカごとにキャラクタ情報が関連付けられた情報テーブル等）を参照することにより、現実空間に配置された各椅子Ｃ１，Ｃ３の位置に対応する仮想空間の位置にキャラクタを配置する。

また、ＨＭＤ３が備えるカメラが、現実空間の所定の範囲に含まれる椅子Ｃ１，Ｃ３（特定対象物）を撮像することによって画像情報を取得する。ＨＭＤ３は、画像情報を図１に示すコンピュータ１に送信する。そして、キャラクタ配置部１１４は、取得した画像情報に基づいて、現実空間における特定対象物の配置位置に対応する仮想空間の位置に、特定対象物に関連付けられたキャラクタを配置する。キャラクタ配置部１１４は、椅子Ｃ１，Ｃ３に対応する特定画像情報を取得すると、例えば、図３に示すＤＢ１１２に格納されたキャラクタ情報ＣＩ（例えば、予め、椅子Ｃ１は社員Ａに対応するキャラクタ情報が関連付けられ、椅子Ｃ３には、社員Ｂに対応するキャラクタ情報が関連づけられた情報テーブル等）を参照することにより、現実空間に配置された椅子Ｃ１の位置に対応する仮想空間の位置に社員Ａキャラクタを配置し、椅子Ｃ３の位置に対応する仮想空間の位置に社員Ｂキャラクタを配置する。

上記構成によれば、取得した特定画像情報に基づいて、現実空間における特定対象物の配置位置に対応する仮想空間の位置に、特定対象物に関連付けられたキャラクタを配置する。このように、予め記録された情報テーブルを参照することで、キャラクタを、仮想空間上における所定の位置に、正確に、且つ、容易に配置できる。

さらに、キャラクタ配置部１１４は、ＤＢ１１２に格納されている、キャラクタごとに、当該キャラクタの仮想空間における配置位置に関する配置位置情報を参照することにより、キャラクタを仮想空間における配置位置に配置してもよい。

この構成によれば、予め記録された、仮想空間におけるキャラクタの配置位置情報を参照すればよいので、キャラクタを、仮想空間上における所定の位置により正確に、且つ、容易に配置できる。

（ステップＳ５）
図３に示すコンピュータ１ａの取得部１１５は、図１に示すユーザＵｂ，Ｕｃの表現に関する表現情報を取得する。まず、図１に示すカメラ５ｂは、ユーザＵｂを含む所定の範囲を撮像することにより、ユーザＵｂの表現情報を含む３Ｄ画像情報を生成する。また、カメラ５ｃは、ユーザＵｃを含む所定の範囲を撮像することにより、ユーザＵｃの表現情報を含む３Ｄ画像情報を生成する。なお、表現情報と３Ｄ画像情報とは別個の情報であってもよい。
カメラ５ｂ，５ｃは、撮像することにより取得される３Ｄ画像情報をコンピュータ１ｂ，１ｃに送信する。また、カメラ５ｂ，５ｃは、ユーザＵｂ，Ｕｃの音声を取得するマイクの機能を更に備える。よって、カメラ５ｂ，５ｃのそれぞれは、取得した音声を音声情報としてコンピュータ１ｂ，１ｃに送信する。そして、コンピュータ１ａの取得部１１５は、ネットワークＮを介して、コンピュータ１ｂ，１ｃからユーザＵｂ，Ｕｃの表現情報と３Ｄ画像情報と音声情報とを取得し得る。取得部１１５は、上記各種情報を、定期的に、又は、任意のタイミングで取得してもよい。例えば、カメラ５ｂ，５ｃは、ユーザＵｂ，Ｕｃの表現に変化が起きた場合に、情報を取得し、コンピュータ１ｂ，１ｃに送信してもよい。

（ステップＳ７）
図３に示すコンピュータ１の反映部１１６は、表現情報に基づいて、仮想空間に配置されたキャラクタであって、表現情報に対応付けられたユーザに関連付けられたキャラクタに表現情報に基づく表現を反映する。

図７は、本発明の実施形態に係るヘッドマウントディスプレイで表示される視界画像の一例を示す図である。図７に示すように、仮想空間５０は、会議室オブジェクトОを含み、キャラクタ配置部１１４は、会議室オブジェクトОを、ユーザＵｂに関連付けられたキャラクタＣｂとユーザＵｃに関連付けられたキャラクタＣｃとの間で共有するように当該キャラクタを仮想空間５０に配置する。反映部１１６は、取得した表現情報を踏まえて、ユーザＵｂ，Ｕｃに対応づけられたキャラクタＣｂ，Ｃｃに表現情報に基づく表現を反映する。視界画像生成部１１７は、ユーザＵｂ，Ｕｃの表現が反映されたキャラクタＣｂ，Ｃｃを含む視界画像９ａを生成する。なお、コンピュータ１ａは、表現情報が音声情報を含む場合は、当該音声情報を踏まえて、ＨＭＤ３から、ユーザＵｂ，Ｕｃに対応する音声を出力するための音声出力情報を生成してもよい。

また、ＨＭＤ３に備えられたマイクは、ユーザＵａの音声を取得し、音声情報としてコンピュータ１ｂに送信し、カメラ５ｂに備えられたスピーカによりユーザＵａの音声が出力されてもよい。これにより、ユーザＵｂは、ユーザＵａの音声を聞くことができる。さらに、ＨＭＤ３に備えられたマイクは、ユーザＵａの音声を取得し、音声情報としてコンピュータ１ｃに送信し、カメラ５ｃに備えられたスピーカによりユーザＵａの音声が出力されてもよい。これにより、ユーザＵｃは、ユーザＵａの音声を聞くことができる。

このように、ユーザＵａは、ＨＭＤ３のディスプレイに表示される、ユーザＵｂ，Ｕｃのそれぞれの表現の変化に応じてリアルタイムに生成又は更新される視界画像９ｂを視認しながら、ユーザＵａ，Ｕｂ，Ｕｃの３者が参加する仮想会議を実施することができる。よって、当該仮想空間５０は三者で共有される共有仮想空間と言える。なお、図７の例では、仮想空間５０においては、ユーザＵａに対応するキャラクタは配置されていないが、ユーザＵａに対応するキャラクタを仮想空間５０に配置してもよい。

以上説明した実施形態によれば、取得したユーザの表現情報に基づいて、仮想空間に配置されたキャラクタであって、当該表現情報に対応付けられたユーザに関連付けられたキャラクタに当該表現情報に基づく表現を反映する。よって、ユーザに関連付けられたキャラクタを適切に所定の位置に配置させ、且つ、ユーザによる表現を当該ユーザに関連付けられたキャラクタに正確に反映することが可能である。

（他の実施形態）
上記各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良（例えば、各実施形態を組み合わせること、各実施形態の一部の構成を省略すること）され得るとともに、本発明にはその等価物も含まれる。

上述の実施形態でコンピュータ１ａ，１ｂ，１ｃが実行している各処理の少なくとも一部を、代わりに管理サーバ７に実装されている仮想空間提供アプリケーションが実行するようにしてもよい。この構成によれば、コンピュータ１ａ，１ｂ，１ｃのそれぞれの機能を管理サーバ７が統合的に管理、実行できる。

また、一のコンピュータ１又は一の管理サーバ７は、複数のＨＭＤ３に共通して用いられてもよい。つまり、図１の例では、ユーザＵａのみＨＭＤ３を装着しているが、ユーザＵｂ，ＵｃにもＨＭＤを装着させる。この場合、複数のユーザＵａ，Ｕｂ，Ｕｃに同一の仮想空間を提供することができるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、上記に限られず、ユーザＵａ，Ｕｂ，ＵｃのそれぞれにＨＭＤを装着させつつも、ユーザＵａ，Ｕｂ，Ｕｃのそれぞれに対応した別個の仮想空間を定義してもよい。例えば、ユーザＵａに対応付けられた仮想空間には、少なくともユーザＵｂ，Ｕｃに対応づけられたキャラクタが配置され、ユーザＵｂに対応付けられた仮想空間には、少なくともユーザＵａ，Ｕｃに対応づけられたキャラクタが配置され、ユーザＵｃに対応付けられた仮想空間には、少なくともユーザＵａ，Ｕｂに対応づけられたキャラクタが配置されてもよい。

１ａ，１ｂ，１ｃ…コンピュータ、３…ＨＭＤ、５ｂ，５ｃ…カメラ、７…管理サーバ、１１（７１）…ＣＰＵ、１２（７２）…メモリ、１３（７３）…入力部、１４（７４）…出力部、１５（７５）…記録部、１６（７６）…通信部、１７（７７）…バス、１００…仮想空間提供システム、１１１…情報処理部、１１２…データベース（ＤＢ）、１１３…関連付け部、１１４…キャラクタ配置部、１１５…取得部、１１６…反映部、１１７…視界画像生成部

Claims (6)

1. １又は複数のユーザに対して仮想空間を提供する仮想空間提供システムであって、
   前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、
   仮想空間に前記キャラクタを配置するキャラクタ配置部と、
   前記ユーザの動作を取得する取得部と、
   取得した前記動作に基づいて、前記仮想空間に配置された前記キャラクタであって、当該動作に対応付けられたユーザに関連付けられたキャラクタに当該動作を反映する反映部と、を備え、
   前記キャラクタ配置部は、カメラによって、現実空間の所定の範囲に含まれる特定対象物を撮像することにより取得された画像情報に基づいて、前記現実空間における前記特定対象物の配置位置に対応する前記仮想空間の位置に、前記特定対象物に関連付けられた前記キャラクタを配置する、
   仮想空間提供システム。
2. 前記キャラクタごとに、当該キャラクタの前記仮想空間における配置位置に関する配置位置情報を記録する記録部を更に備え、
   前記キャラクタ配置部は、前記配置位置情報に基づいて、前記キャラクタを前記仮想空間における前記配置位置に配置する、
   請求項１に記載の仮想空間提供システム。
3. 前記キャラクタは、前記キャラクタに関連付けられたユーザを撮像することにより取得した画像情報、又は、前記キャラクタに関連付けられたユーザを模したアバターの少なくとも一方を含む、
   請求項１又は２に記載の仮想空間提供システム。
4. 前記仮想空間は、会議室オブジェクトを含み、
   前記キャラクタ配置部は、前記会議室オブジェクトを前記キャラクタ間で共有するように当該キャラクタを前記仮想空間に配置する、
   請求項１から３のいずれか一項に記載の仮想空間提供システム。
5. １又は複数のユーザに対して仮想空間を提供するコンピュータが実行する仮想空間提供であって、
   前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付けるステップと、
   仮想空間に前記キャラクタを配置するステップと、
   前記ユーザの動作を取得するステップと、
   取得した前記動作に基づいて、前記仮想空間に配置された前記キャラクタであって、当該動作に対応付けられたユーザに関連付けられたキャラクタに当該動作を反映するステップと、を含み、
   前記キャラクタを配置するステップは、カメラによって、現実空間の所定の範囲に含まれる特定対象物を撮像することにより取得された画像情報に基づいて、前記現実空間における前記特定対象物の配置位置に対応する前記仮想空間の位置に、前記特定対象物に関連付けられた前記キャラクタを配置する、
   仮想空間提供方法。
6. １又は複数のユーザに対して仮想空間を提供するコンピュータを、
   前記ユーザのうち少なくとも一のユーザに対してキャラクタを関連付ける関連付け部と、
   仮想空間に前記キャラクタを配置するキャラクタ配置部と、
   前記ユーザの動作を取得する取得部と、
   取得した前記動作に基づいて、前記仮想空間に配置された前記キャラクタであって、当該動作に対応付けられたユーザに関連付けられたキャラクタに当該動作を反映する反映部と、
   として機能させ、
   前記キャラクタ配置部は、カメラによって、現実空間の所定の範囲に含まれる特定対象物を撮像することにより取得された画像情報に基づいて、前記現実空間における前記特定対象物の配置位置に対応する前記仮想空間の位置に、前記特定対象物に関連付けられた前記キャラクタを配置する、プログラム。

Images