以下、この技術的思想の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施形態は、適宜選択的に組み合わされてもよい。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、HMDシステム100の構成の概略を表す。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD(Head-Mounted Device)セット105A,105B,105C,105Dと、ネットワーク19とサーバ150とを含む。HMDセット105A,105B,105C,105Dの各々は、ネットワーク19を介してサーバ150と通信可能に構成される。以下、HMDセット105A,105B,105C,105Dを総称して、HMDセット105とも言う。なお、HMDシステム100を構成するHMDセット105の数は、4つに限られず、3つ以下でも、5つ以上でもよい。
HMDセット105は、HMD110と、HMDセンサ120と、コンピュータ200とを備える。HMD110は、モニタ112と、カメラ116と、スピーカ118と、マイク119と、注視センサ140とを含む。他の局面において、HMD110は、センサ114をさらに備える。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータ(例えば、他のHMDセット105のコンピュータ)と通信可能である。
HMD110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。HMD110は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
他の局面において、モニタ112は、透過型の表示装置として実現され得る。この場合、HMD110は、図1に示されるようにユーザの目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ112は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、モニタ112は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ112は、HMD110に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
カメラ116は、対象物の深度情報を取得可能に構成される。一例として、カメラ116は、TOF(Time Of Flight)方式に従い、対象物の深度情報を取得する。他の例として、カメラ116は、パターン照射方式に従い、対象物の深度情報を取得する。ある実施形態において、カメラ116は、対象物を2つ以上の異なる方向から撮影できるステレオカメラであり得る。また、カメラ116は、人間が不可視な赤外線カメラであり得る。カメラ116は、HMD110に装着され、ユーザの身体の一部を撮影する。以下、一例として、カメラ116は、ユーザの手を撮影する。カメラ116は取得した対象物(手)の深度情報をコンピュータ200に出力する。
スピーカ118は、音声信号を音声に変換してユーザ190に出力する。マイク119は、ユーザ190の発話を電気信号に変換してコンピュータ200に出力する。なお、他の局面において、HMD110は、スピーカ118に替えてイヤホンを備えるように構成されてもよい。
HMDセンサ120は、HMD110の位置および姿勢(傾き)を検出する。この場合、HMD110は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、各光源が発する光を検出して、HMD110の位置および姿勢を検出するためのポジショントラッキング機能を有する。
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
さらに他の局面において、コンピュータ200は、HMDセンサ120の出力に替えてセンサ114の出力に基づいてHMD110の傾きを検出するように構成されてもよい。センサ114は、例えば、角速度センサ、加速度センサ、ジャイロセンサ、地磁気センサにより、またはこれらのセンサの組み合わせにより実現される。コンピュータ200は、センサ114の出力に基づいて、HMD110の傾きを検出する。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。コンピュータ200は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
[ハードウェア構成]
図2を参照して、本実施形態に係るコンピュータ200について説明する。図2は、ある局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されているプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されているデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施形態において、入出力インターフェイス13は、HMD110、およびHMDセンサ120との間で信号を通信する。ある局面において、HMD110に含まれるセンサ114、カメラ116、スピーカ118、およびマイク119は、HMD110のインターフェイスを介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、センサ114は、3軸角速度センサと、3軸加速度センサとの組み合わせにより構成される。コンピュータ200は、これらのセンサの出力に基づいて、HMD110の基準方向(例えば、重力(鉛直)方向)に対する角度を算出する。これにより、コンピュータ200は、グローバル座標系におけるHMD110の傾きを取得できる。
他の局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。HMD110の位置とは、HMDセンサ120の位置に対する相対的な位置である。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。コンピュータ200は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施形態に従うHMD110に設定されるuvw視野座標系を概念的に表す模式図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD110の傾き角度を表す。
コンピュータ200は、HMDセンサ120の出力に基づいて検出したHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定する。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施形態に従う仮想空間2を表現する一態様を概念的に表す模式図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。ある局面において、プロセッサ10は、仮想カメラ1が撮影する画像をHMD110のモニタ112に表示する。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現され得る。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
コンピュータ200のプロセッサ10は、仮想カメラ1の配置位置と、仮想カメラ1の傾き方向、換言すれば、仮想カメラ1の撮影方向を示す基準視線5とに基づいて、仮想空間2における視認領域23を規定する。視認領域23は、仮想空間2のうち、HMD110を装着したユーザが視認する領域に対応する。上記のように、仮想カメラ1のuvw視野座標系はHMD110のuvw視野座標系に連動している。そのため、基準視線5は、センサ114またはHMD120の出力に基づいて定まるHMD110の傾きによって定まる。
注視センサ140によって検出されるユーザ190の視線は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線を、仮想カメラ1のuvw視野座標系におけるユーザの視線とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線の決定について説明する。図5は、ある実施形態に従うHMD110を装着するユーザ190の頭部を上から表した模式図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線N0は、視認領域23に対してユーザ190が実際に視線を向けている方向に相当する。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視認領域23について説明する。図6は、仮想空間2において視認領域23をX方向から見たYZ断面を表す。図7は、仮想空間2において視認領域23をY方向から見たXZ断面を表す。
図6に示されるように、YZ断面における視認領域23は、領域24を含む。領域24は、仮想カメラ1の配置位置と基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視認領域23は、領域25を含む。領域25
は、仮想カメラ1の配置位置と基準視線5と仮想空間2のXZ断面とによって定義される
。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を
、領域25として規定する。極角αおよびβは、仮想カメラ1の配置位置と仮想カメラ1
の向きとに応じて定まる。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間における視界を提供する。視界画像26は、仮想空間画像22のうち視認領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視認領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視認領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
このように、仮想カメラ1の向き(傾き)は仮想空間2におけるユーザの視線(基準視線5)に相当し、仮想カメラ1が配置される位置は、仮想空間2におけるユーザの視点に相当する。したがって、仮想カメラ1を移動(配置位置を変える動作、向きを変える動作を含む)させることにより、モニタ112に表示される画像が更新され、ユーザ190の視界が移動される。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動させ得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視認領域23)を特定する。
ある実施形態に従うと、仮想カメラ1は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、2つの仮想カメラに設定される。本実施形態においては、仮想カメラ1が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD110のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[HMDの制御装置]
図8を参照して、HMD110の制御装置について説明する。ある実施形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図8は、ある実施形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図8に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224と、動き検出モジュール225と、トラッキングモジュール226とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、操作オブジェクト制御モジュール233と、アバター制御モジュール234とを含む。
ある実施形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。
仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置する。また、仮想カメラ制御モジュール221は、仮想空間2における仮想カメラ1の配置位置と、仮想カメラ1の向き(傾き)を制御する。視界領域決定モジュール222は、HMD110を装着したユーザ190の頭の向きと、仮想カメラ1の配置位置に応じて、視認領域23を規定する。視界画像生成モジュール223は、決定された視認領域23に基づいて、モニタ112に表示される視界画像26を生成する。
基準視線特定モジュール224は、センサ114またはHMDセンサ120の出力に基づいて、HMD110の傾き(ユーザ190の頭が向いている方向)を特定する。他の局面において、基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定し得る。また、動き検出モジュール225は、HMDセンサ120の出力に基づいて、HMD110の基準状態(例えば、仮想空間2を定義したときの状態(初期状態))に対する変位量を検出し得る。
トラッキングモジュール226は、ユーザ190の身体の一部の位置を検出(トラッキング)する。本実施形態において、トラッキングモジュール226は、カメラ116から入力される深度情報に基づいて、HMD110に設定されるuvw視野座標系におけるユーザ190の手の位置を検出する。トラッキングモジュール226の動作は、図11〜図13において後述される。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
操作オブジェクト制御モジュール233は、仮想空間2においてユーザの操作を受け付けるための操作オブジェクトを仮想空間2に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間2に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、HMD110を装着したユーザの手に相当する手オブジェクト等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
アバター制御モジュール234は、ネットワークを介して接続される他のコンピュータ200のユーザのアバターオブジェクトを仮想空間2に配置するためのデータを生成する。ある局面において、アバター制御モジュール234は、ユーザ190のアバターオブジェクトを仮想空間2に配置するためのデータを生成する。ある局面において、アバター制御モジュール234は、ユーザ190を含む画像に基づいて、ユーザ190を模したアバターオブジェクトを生成する。他の局面において、アバター制御モジュール234は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ190による選択を受け付けたアバターオブジェクトを仮想空間2に配置するためのデータを生成する。
アバター制御モジュール234は、HMDセンサ120(またはセンサ114)の出力に基づいて、HMD110の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール234は、HMDセンサ120の出力に基づいてHMD110の位置が動いたことを検知して、アバターオブジェクトを移動するためのデータを生成する。また、アバター制御モジュール234は、トラッキングモジュール226の出力に基づいて、現実空間のユーザの手の動きを、アバターオブジェクトの手に反映する。また、アバター制御モジュール234は、他のコンピュータ200から入力されるデータに基づいて、他のコンピュータのユーザに対応するアバターオブジェクトの動きを制御する。
間隔算出モジュール235は、仮想空間2に配置されるオブジェクト同士の間隔(ピクセル)を算出する。仮想空間制御モジュール230は、所定のオブジェクト同士の間隔が、予め定められたしきい値以下になったことに応じて、予め定められた処理を行なう。
間隔算出モジュール235は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。また、間隔算出モジュール235は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。また、間隔算出モジュール235は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出する。仮想空間制御モジュール230は、これらが検出がされたときに、予め定められた処理を行なう。例えば、操作オブジェクト制御モジュール233は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間2に配置するための情報(たとえば、位置情報)を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
オブジェクト情報242は、動き検知データ244と、トラッキングデータ245と、動作ライブラリ246とをさらに含む。動き検知データ244は、HMDセンサ120の出力、換言すれば、HMD110の位置および傾きを示すデータである。トラッキングデータ245は、カメラ116およびトラッキングモジュール226により取得された、ユーザ190の手の位置を示すデータである。位置情報247は、仮想空間2に配置される各オブジェクトの位置を示すデータである。あるオブジェクトは、仮想空間2を移動する。そのため、位置情報247は、随時更新される。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。ユーザ情報243は、設定情報248と、友達リスト249とを含む。これらの詳細は、図20および図21において後述される。
メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230の一部は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
[コンピュータ200の制御構造]
図9を参照して、コンピュータ200における視界画像の更新方法について説明する。図9は、HMDシステム100における処理を表すフローチャートである。
ステップS910において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間2を定義する。
ステップS920において、プロセッサ10は、仮想カメラ1を仮想空間2に配置する。このとき、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心21に配置し得る。
ステップS930にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像26を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD110に送信される。
ステップS932にて、HMD110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像26を表示する。HMD110を装着したユーザ190は、視界画像26を視認すると仮想空間2を認識し得る。
ステップS934にて、HMDセンサ120は、ユーザ190の頭の動き(HMD110の位置および傾き)を検知する。HMDセンサ120は、検知結果を動き検知データとして、コンピュータ200に出力する。
ステップS940にて、プロセッサ10は、HMDセンサ120から入力された動き検知データに基づいて、HMD110の位置および傾きを検知する。プロセッサ10はさらに、仮想カメラ制御モジュール221として、検知した位置および傾きに連動するように仮想空間2における仮想カメラ1の位置および傾き(すなわち、仮想カメラ1の基準視線5)を変更する。これにより、仮想カメラ1が撮影する視界画像26が更新される。
ステップS950において、プロセッサ10は、視界画像生成モジュール223として、傾きを変更された仮想カメラ1が撮影する視界画像26を表示するための視界画像データを生成し、生成した視界画像データをHMD110に出力する。
ステップS952において、HMD110のモニタ112は、受信した視界画像データに基づいて、更新後の視界画像を表示する。これにより、仮想空間2におけるユーザの視界が更新される。
[アバターオブジェクト]
図10Aおよび図10Bを参照して、アバターオブジェクトについて説明する。以下、HMDセット105Aのユーザをユーザ190A、HMDセット105Bのユーザをユーザ190B、HMDセット105Cのユーザをユーザ190C、HMDセット105Dのユーザをユーザ190Dと表す。また、HMDセット105Aに関する各構成要素の参照符号にAが付され、HMDセット105Bに関する各構成要素の参照符号にBが付され、HMDセット105Cに関する各構成要素の参照符号にCが付され、HMDセット105Dに関する各構成要素の参照符号にDが付される。例えば、HMD110Aは、HMDセット105Aに含まれる。
図10Aは、ネットワーク19において、複数のHMD110のそれぞれが、複数のユーザ190のそれぞれに仮想空間を提供する状況を模式的に表す。図10Aを参照して、コンピュータ200A〜200Dのそれぞれは、HMD110A〜110Dのそれぞれを介して、ユーザ190A〜190Dのそれぞれに、仮想空間2A〜2Dのそれぞれを提供する。図10Aに示される例において、コンピュータ200A(ユーザ190A)とコンピュータ200B(ユーザ190B)とは同じ仮想空間を共有している。そのため、仮想空間2Aに展開されているコンテンツと、仮想空間2Bに展開されているコンテンツとは同じである。仮想空間2Aおよび仮想空間2Bには、ユーザ190Aのアバターオブジェクト1000Aと、ユーザ190Bのアバターオブジェクト1000Bとが存在する。なお、仮想空間2Aにおけるアバターオブジェクト1000Aおよび仮想空間2Bにおけるアバターオブジェクト1000BがそれぞれHMDを装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMDを装着していない。
ある局面において、仮想カメラ制御モジュール221Aは、ユーザ190Aの視界画像26Aを撮影する仮想カメラ1Aを、アバターオブジェクト1000Aの顔(目)の位置に配置し得る。
図10Bは、ユーザ190Aの視界画像1010を表す。視界画像1010は、HMD110Aのモニタ112Aに表示される画像である。この視界画像1010は、図10Aの状態において仮想カメラ1Aにより生成された画像である。また、視界画像1010には、ユーザ190Bに対応するアバターオブジェクト1000Bが表示されている。なお、特に図示はしていないが、ユーザ190Bの視界画像にも同様に、ユーザ190Aのアバターオブジェクト1000Aが表示されている。
図10Bの状態において、ユーザ190Aは仮想空間を介してユーザ190Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク119Aにより取得されたユーザ190Aの音声データは、サーバ150を介してユーザ190BのHMD110Bに送信され、HMD110Bに設けられたスピーカ118Bから出力される。また、ユーザ190Bの音声データは、サーバ150を介してユーザ190AのHMD110Aに送信され、HMD110Aに設けられたスピーカ118Aから出力される。
図16を用いて後述するように、ユーザ190Bの動き(HMD110Bの動きおよびユーザ190Bの手の動き)は、アバター制御モジュール234Aによりアバターオブジェクト1000Bに反映される。これにより、ユーザ190Aは、ユーザ190Bの動きを、アバターオブジェクト1000Bを通じて認識できる。
[手のトラッキング]
以下、図11〜図13を参照して、手の動きをトラッキングする処理について説明する。図11Aおよび図11Bは、ユーザ190Bの手をトラッキングする処理について説明するための図である。図11Aは、現実空間におけるユーザ190Bを表す。図11Bは、は、ユーザ190Aの視界画像1120に含まれるアバターオブずジェクト1000Bを表す。
図11Aを参照して、ユーザ190Bは、現実空間においてHMD110Bを装着している。HMD110Bには、カメラ116Bが搭載されている。カメラ116Bは、HMD110Bの前方の空間1100に含まれる物体の深度情報を取得する。図11Aに示される例において、カメラ116Bは、空間1100に含まれるユーザ190Bの手1110の深度情報を取得する。
トラッキングモジュール226Bは、この深度情報に基づき、ユーザ190Bの手1110の位置情報を取得する。カメラ116BはHMD110Bに搭載されるため、手1110の位置情報はHMD110Bに設定されるuvw視野座標系における位置を示し得る。コンピュータ200Bは、この位置情報を、トラッキングデータとしてサーバ150を介してコンピュータ200Aに送信する。
図11Bに示されるように、コンピュータ200Aのプロセッサ10Aは、仮想空間2Aに配置されるアバターオブジェクト1000Bの手1020を、受信したトラッキングデータから導出される位置に追随させる。一例として、プロセッサ10Aは、受信したトラッキングデータが示す位置(HMD110Bに設定されるuvw視野座標系の位置)を、アバターオブジェクト1000Bの頭部の位置に基づいてXYZ座標系に変換する。プロセッサ10Aは、アバターオブジェクト1000Bの手1020を、変換後の位置に移動させる。このようにして、ユーザ190Aが視認するアバターオブジェクト1000Bに、ユーザ190Bの手の動きが反映される。
図12は、トラッキングモジュール226の動作を説明するための図である。トラッキングモジュール226は、カメラ116から入力される手の深度情報に基づいて、ユーザ190の手の骨の動きをトラッキングする。図12に示される例において、トラッキングモジュール226は、ユーザ190の手の関節a、b、c・・・、xの各位置をそれぞれ検知する。
トラッキングモジュール226は、関節a〜xの位置関係に基づいて、ユーザ190の手の形状(指の動き)を認識可能に構成される。トラッキングモジュール226は、例えば、ユーザ190の手が指を指していること、手が開いていること、手が閉じていること、手が何かをつまむ動作をしていること、手がひねられていること、手が握手の形状をしていることなどを認識できる。トラッキングモジュール226はさらに、関節a〜dと、その他の関節との位置関係により、認識している手が左手であるか右手であるかを判断できる。このようなカメラ116およびトラッキングモジュール226は、例えば、LeapMotion社によって提供されるLeapMotion(登録商標)によって実現され得る。
図13は、トラッキングデータ245のデータ構造の一例を表す。トラッキングモジュール226は、関節a〜xそれぞれについての、HMD110に設定されるuvw視野座標系における位置情報であるトラッキングデータ245を取得する。コンピュータ200は、取得したトラッキングデータ245をメモリ11に保存する。コンピュータ200はさらに、取得したトラッキングデータ245を、仮想空間2を共有する他のコンピュータ200にサーバ150を介して送信する。例えば、コンピュータ200Aがコンピュータ200Bからトラッキングデータ245を受信した場合、コンピュータ200Aはアバターオブジェクト1000Bの手の形状をトラッキングデータ245に従い動かすことができる。
図14は、他のトラッキングデータ245のデータ構造の一例を表す。ある局面において、コンピュータ200は、関節a〜xのうち、関節jを、ユーザ190の手の位置として認識し得る。この場合、コンピュータ200は、関節jの位置を示す情報をトラッキングデータ245として取得する。当該構成によれば、コンピュータ200は、ユーザ190の手の形状を把握するための処理負担を軽減し得る。
[サーバ150の構造]
図15は、サーバ150のハードウェア構成およびモジュール構成を説明するための図である。ある実施形態において、サーバ150は、主たる構成要素として通信インターフェイス1510と、プロセッサ1520と、ストレージ1530とを備える。
通信インターフェイス1510は、コンピュータ200など外部の通信機器と信号を送受信するための変復調処理などを行なう無線通信用の通信モジュールとして機能する。通信インターフェイス1510は、チューナ、高周波回路等により実現される。
プロセッサ1520は、サーバ150の動作を制御する。プロセッサ1520は、ストレージ1530に格納されている各種の制御プログラムを実行することにより、送受信部1522、サーバ処理部1524、およびマッチング部1526として機能する。
送受信部1522は、各コンピュータ200との間で各種情報を送受信する。例えば、送受信部1522は、仮想空間2にオブジェクトを配置する要求、オブジェクトを仮想空間2から削除する要求、オブジェクトを移動する要求、ユーザの音声、または仮想空間2を定義するための情報などを各コンピュータ200に送信する。
サーバ処理部1524は、複数のユーザが同じ仮想空間2を共有するために必要な処理を行なう。例えば、サーバ処理部1524は、コンピュータ200から受信した情報に基づいて、後述する位置情報1536を更新する。
マッチング部1526は、複数のユーザを関連付けるための一連の処理を行なう。マッチング部1526は、例えば、複数のユーザが同じ仮想空間2を共有するための入力操作を行った場合に、仮想空間2に属するユーザ同士を関連付ける処理などを行なう。また、マッチング部1526は、後述する友達リスト1542を更新する。
ストレージ1530は、仮想空間指定情報1532と、オブジェクト指定情報1534と、位置情報1536と、ユーザ情報1538とを保持する。
仮想空間指定情報1532は、コンピュータ200の仮想空間定義モジュール231が仮想空間2を定義するために用いられる情報である。ある局面において、仮想空間指定情報1532は、仮想空間を識別するための識別情報(以下、仮想空間IDとも称する)である。他の局面において、仮想空間指定情報1532は、仮想空間2の大きさを指定する情報や、仮想空間2を構成する各メッシュに展開されるコンテンツである。
オブジェクト指定情報1534は、コンピュータ200の仮想オブジェクト生成モジュール232が仮想空間2に配置(生成)するオブジェクトを指定するための情報である。
位置情報1536は、仮想空間2における各オブジェクトの位置を示す情報である。位置情報1536は、コンピュータ200から入力される情報に基づいて随時更新される。これにより、位置情報1536は、コンピュータ200がメモリモジュール240に格納する位置情報247と同じ状態を維持する。
ユーザ情報1538は、コンピュータ200のユーザ190についての情報である。ユーザ情報1538は、例えば、複数のユーザ190を互いに識別する識別情報(例えば、ユーザID)を含む。また、ユーザ情報1538は、設定情報1540と、友達リスト1542とを含む。これらの詳細は、図26および図28において後述される。
[ユーザの動作をアバターオブジェクトに反映するための制御]
図16を参照して、仮想空間におけるアバターオブジェクトの動作の制御方法について説明する。図16は、現実空間におけるユーザの動作をアバターオブジェクトに反映するための、コンピュータ200とサーバ150との信号のやりとりを表わすフローチャートである。図16に示される処理は、コンピュータ200のプロセッサ10がメモリ11またはストレージ12に格納されている制御プログラムを実行し、サーバ150のプロセッサ1520がストレージ1530に格納されている制御プログラムを実行することにより実現され得る。
ステップS1602において、サーバ150のプロセッサ1520は、送受信部1522として、コンピュータ200Aおよび200Bから受信した仮想空間を生成するための要求に基づいて、仮想空間指定情報1532をコンピュータ200Aおよび200Bに送信する。このとき、各コンピュータ200は、仮想空間指定情報1532と併せてユーザ190の識別情報(ユーザID)をサーバ150に送信し得る。プロセッサ1520はさらに、マッチング部1526として、受信したユーザIDに基づき、ユーザ190Aおよび190Bが同じ仮想空間を共有するための処理を行なう。
ステップS1604において、コンピュータ200Aのプロセッサ10Aは、仮想空間定義モジュール231Aとして、受信した仮想空間指定情報1532に基づいて、仮想空間2Aを定義する。ステップS1606において、コンピュータ200Bのプロセッサ10Bは、プロセッサ10Aと同様に仮想空間2Bを定義する。
ステップS1608において、プロセッサ1520は、仮想空間2Aおよび2Bに配置されるオブジェクトを指定するためのオブジェクト指定情報1534をコンピュータ200Aおよび200Bに送信する。
ステップS1610において、プロセッサ10Aは、仮想オブジェクト生成モジュール232Aとして、受信したオブジェクト指定情報1534に基づいて、仮想空間2Aにオブジェクトを配置する。ステップS1612において、プロセッサ10Bは、プロセッサ10Aと同様に仮想空間2Bにオブジェクトを配置する。
ステップS1614において、プロセッサ10Aは、アバター制御モジュール234Aとして、ユーザ190A自身のアバターオブジェクト1000A(図16では「自アバターオブジェクト」と表記)を仮想空間2Aに配置する。プロセッサ10Aはさらに、アバターオブジェクト1000Aの情報(例えば、モデリングのためのデータ、位置情報など)をサーバ150に送信する。
ステップS1616において、プロセッサ1520は、受信したアバターオブジェクト1000Aの情報に基づき、アバターオブジェクト1000の位置を示す位置情報1536をストレージ1530に保存(更新)する。プロセッサ1520はさらに、アバターオブジェクト1000Aの情報を、コンピュータ200Aと仮想空間を共有するコンピュータ200Bに送信する。
ステップS1618において、プロセッサ10Bは、アバター制御モジュール234Bとして、受信したアバターオブジェクト1000Aの情報に基づいて、仮想空間2Bにアバターオブジェクト1000Aを配置する。
ステップS1620〜S1624において、ステップS1614〜S1618と同様に、仮想空間2Aおよび2Bにアバターオブジェクト1000B(図16では「他アバターオブジェクト」と表記)が生成され、ストレージ1530にアバターオブジェクト1000Bの情報が保存される。
ステップS1626において、プロセッサ10Aは、カメラ116Aにより、ユーザ190Aの手を撮影して、深度情報を取得する。プロセッサ10Aはさらに、トラッキングモジュール226Aとして、取得した深度情報に基づいて、ユーザ190Aの手の位置を示すトラッキングデータを検出する。
ステップS1628において、プロセッサ10Aは、アバター制御モジュール234Aとして、検出したトラッキングデータを仮想空間2Aに配置されるアバターオブジェクト1000Aに反映する。これにより、アバターオブジェクト1000Aの手が、トラッキングデータが示す位置に移動する。
ステップS1630において、プロセッサ10Aは、HMDセンサ120Aの出力に基づいて、HMD110Aの位置および傾きを検知する。プロセッサ10Aはさらに、HMD110Aの位置および傾きに連動するように、仮想空間2Aに配置されるアバターオブジェクト1000Aの位置および傾きを変更する。
ステップS1632において、プロセッサ10Aは、ステップS1628およびS1630によって変更されたアバターオブジェクト1000Aの手および顔の位置を示す情報に基づき、位置情報247Aを更新する。プロセッサ10Aはさらに、位置情報247Aのうち更新されたデータ(例えば、更新後のアバターオブジェクト1000Aの手および顔の位置を示す情報)をサーバ150に送信する。
ステップS1634〜S1640において、プロセッサ10Bは、ステップS1626〜S1632においてプロセッサ10Aが行なう処理と同様の処理を行なう。
ステップS1642において、プロセッサ1520は、コンピュータ200Aおよび200Bから受信した情報に基づいて、位置情報1536を更新する。プロセッサ1520はさらに、コンピュータ200Aから受信した情報をコンピュータ200Bに送信し、コンピュータ200Bから受信した情報をコンピュータ200Aに送信する。
ステップS1644において、プロセッサ10Aは、サーバ150を介してコンピュータ200Bから受信した情報に基づいて、位置情報247Aにおけるアバターオブジェクト1000B(の手、顔)の位置を示す情報を更新する。プロセッサ10Aはさらに、更新後の情報に基づいて、仮想空間2Aにおけるアバターオブジェクト1000Bを動かす。ステップS1646において、プロセッサ10Bは、ステップS1644においてプロセッサ10Aが行なう処理と同様の処理を行なう。ステップS1642〜S1646の処理によって、位置情報1536と、位置情報247Aと、位置情報247Bとは、互いに同じ状態を維持する。
ステップS1648において、プロセッサ10Aは、アバターオブジェクト1000Aの顔(目)の位置に配置される仮想カメラ1Aが撮影する画像を、モニタ112Aに表示する。これにより、ユーザ190Aが視認する視界画像が更新される。その後、プロセッサ10Aは、処理をステップS1626に戻す。
ステップS1650において、プロセッサ10Bは、プロセッサ10Aと同様に、仮想カメラ1Bが撮影する画像をモニタ112Bに表示する。これにより、ユーザ190Bが視認する視界画像が更新される。その後、プロセッサ10Bは、処理をステップS1634に戻す。
ある実施形態において、繰り返し実行されるステップS1626〜S1656の処理は、1/60秒または1/30秒の間隔で実行され得る。
上記の一連の処理により、ユーザ190は、仮想空間2において、相手のアバターオブジェクトを通じて、現実空間における他のユーザの動きを認識できる。そのため、ユーザ190は、アバターオブジェクトに対しより一層人間味を感じる。その結果、アバターオブジェクトを通じた仮想空間上でのコミュニケーションが促進され得る。
なお、他の局面において、上記の繰り返し実行される処理は、ユーザ190の音声を相手のコンピュータ200に送信する処理などの仮想空間2におけるユーザ同士のコミュニケーションを促進する処理を含み得る。
[視覚イベント]
次に、図17A〜図18Bを用いて、仮想空間におけるユーザのコミュニケーションを促進するための視覚イベントについて説明する。
図17Aは、ある局面に従う仮想空間2Aを表す。図17Aにおいて、仮想空間2Aは、アバターオブジェクト1000Aとアバターオブジェクト1000Bとを含む。コンピュータ200Aのプロセッサ10Aは、間隔算出モジュール235Aとして、アバターオブジェクト1000Aの顔と、アバターオブジェクト1000Bの顔との間隔D1を算出する。
図17Bは、図17Aの状態においてユーザ190Aが視認する視界画像1700を表す。視界画像1700は、モニタ112Aに表示される。図17Aにおいて間隔D1は広い。そのため、視界画像1700において、アバターオブジェクト1000Bはユーザ190Aの視点から離れている。
図18Aは、図17Aにおいて、アバターオブジェクト1000Bがアバターオブジェクト1000Aに近づいたときの仮想空間2Aを表す。図18Aにおいて、間隔D1が予め定められたしきい値間隔(例えば、50pixel)以下になっている。これに応じて、プロセッサ10Aは、仮想オブジェクト生成モジュール232Aとして、仮想空間2Aに、イベントオブジェクト1810を配置する。ある局面において、プロセッサ10Aは、アバターオブジェクト1000Aとアバターオブジェクト1000Bとの間にイベントオブジェクト1810を配置する。他の局面において、プロセッサ10Aは、アバターオブジェクト1000Bの周囲にイベントオブジェクト1810を配置する。
図18Bは、図18Aの状態においてユーザ190Aが視認する視界画像1800を表す。視界画像1800は、アバターオブジェクト1000Bと、イベントオブジェクト1810を含む。これにより、ユーザ190Aは、イベントオブジェクト1810を視認する。プロセッサ10Aは、このようにユーザ190Aの視界内にイベントオブジェクト1810を配置することによって、仮想空間2Aにおいて視覚的なイベント(以下、「視覚イベント」とも称する)を実行する。他の局面において、プロセッサ10Aは、イベントオブジェクト1810の配置とともに、予め定められた音声をスピーカ118Aに出力するように構成されてもよい。
なお、図18Aおよび18Bの例において、イベントオブジェクト1810はハートの形状をしているが、イベントオブジェクトの形状はこれに限られない。例えば、イベントオブジェクトは、星形、三角形、その他の形状でありうる。また、図18Aおよび18Bの例において、1つのイベントオブジェクト1810が仮想空間2Aに配置されているが、配置されるイベントオブジェクトの数および種類は1つに限られない。
また、上記の例において、プロセッサ10Aは、アバターオブジェクト1000Aの顔とアバターオブジェクト1000Bの顔との間隔D1に基づいて視覚イベントを実行するか否かを判断しているが、他の間隔に基づいてこの判断を行なってもよい。例えば、プロセッサ10Aは、アバターオブジェクト1000Aの手と、アバターオブジェクト1000Bの手との間隔に基づいて視覚イベントを実行するか否かを判断してもよい。
また、上記の例において、プロセッサ10Aは、間隔D1がしきい値以下になったことに応じて視覚イベントを実行するように構成されている。ある局面において、このしきい値は、0に設定される。すなわち、プロセッサ10Aは、視覚イベントのトリガとなるオブジェクト同士が接触したことに応じて、視覚イベントを実行するように構成され得る。
[間隔の算出方法]
次に、オブジェクト間の間隔を算出する処理について説明する。プロセッサ10Aは、位置情報247A(247)が保持する、各オブジェクトの位置情報に基づいて、オブジェクト間の間隔を算出する。
図19は、位置情報247A(247)のデータ構造の一例を表す。図19を参照して、位置情報247Aは、仮想空間2に配置されている複数のオブジェクトの各々の位置情報(XYZ座標位置)を保持する。プロセッサ10Aは、これら各位置情報をユーザ190Aの操作などに応じて随時更新する。
図19の例において、プロセッサ10Aは、位置情報247Aにアクセスしてアバターオブジェクト1000Aの顔の位置(X1,Y1,Z1)と、アバターオブジェクト1000Bの顔の位置(X3,Y3,Z3)とを取得し、これらの間隔を算出する。
[視覚イベントを実行可能にするための設定]
上記では、プロセッサ10Aは、間隔D1がしきい値以下になったことに応じて視覚イベントを実行するように構成されている。しかしながら、ユーザによっては、視覚イベントの実行を望まない。そこで、以下に、視覚イベントを実行可能にするための設定について説明する。
(ユーザごとの設定)
図20は、視覚イベントを実行可能にするか否かを設定するための画面2000を表す。プロセッサ10Aは、ある局面において、画面2000をモニタ112Aに表示する。一例として、ユーザ190Aは、メニュー画面から画面2000を開くための指示をプロセッサ10Aに与える。
画面2000は、YESボタン2010と、NOボタン2020と注視点2030と、視覚イベントを有効(実行可能)にするか否かを問い合わせるメッセージとを含む。注視点2030は、注視センサ140Aによって検出されたユーザ190Aの視線から特定される注視点である。プロセッサ10Aは、注視点2030が予め定められた時間(例えば、2秒間)いずれかのボタンに重ねられたことに応じて、そのボタンがユーザ190Aによって選択されたと判断する。
プロセッサ10Aは、ユーザ190Aの選択に応じて、設定情報248を保存する。YESボタン2010が選択された場合、プロセッサ10Aは、視覚イベントが実行可能に設定されたことを示す情報を設定情報248に保存する。一方、NOボタン2020が選択された場合、プロセッサ10Aは、視覚イベントが実行不能に設定されたことを示す情報を設定情報248に保存する。
プロセッサ10Aは、間隔D1がしきい値以下になったことに応じて、設定情報248を参照し、視覚イベントが実行可能に設定されているか否かを判断する。プロセッサ10Aは、視覚イベントが実行可能に設定されていると判断した場合に視覚イベントを実行し、そうでない場合に視覚イベントを実行しないように構成される。
上記によれば、HMDシステム100は、視覚イベントを実行したいユーザにのみ、視覚イベントを提供できる。
(友達リストによる設定)
ユーザによっては、知らない人が仮想空間上で近づいてきたことに応じて視覚イベントが実行されることを望まない。そこで、ある局面において、プロセッサ10Aは、友達リスト249Aに基づいて、視覚イベントを実行するか否かを判断する。
図21は、友達リスト249A(249)のデータ構造の一例を表す。図21を参照して、友達リスト249Aは、ユーザIDと、性別とを互いに関連付けて保持する。これらのユーザIDは、図26で後述される友達リスト1542に、ユーザ190Aの友達として登録されているユーザの識別情報である。
以下、友達登録の処理例について説明する。ある局面において、コンピュータ200Aは、サーバ150を介してコンピュータ200Bに友達リクエストを送信する。コンピュータ200Bは、この友達リクエストに対する可否をユーザ190Bから受け付ける。コンピュータ200Bは、受け付けた結果をサーバ150に送信する。サーバ150は、コンピュータ200Bから友達リクエストを承認する旨の情報を受信した場合、ユーザ190Aおよび190BのユーザIDを互いに関連付けて友達リスト1542に登録する。また、サーバ150は、友達リクエストが承認されたことを示す情報をコンピュータ200Aに送信する。一方、サーバ150は、コンピュータ200Bから友達リクエストを却下する旨の情報を受信した場合、友達リクエストが却下されたことを示す情報をコンピュータ200Aに送信する。
ある局面(例えば、図16のステップS1602)において、サーバ150は、コンピュータ200Aに、仮想空間指定情報1532とともに、ユーザ190AのユーザIDに関連付けられたユーザID(友達ID)を送信する。このとき、サーバ150は、ユーザ情報1538を参照して、これら友達IDの各々について性別を示す情報を関連付けて送信するように構成されてもよい。プロセッサ10Aは、サーバ150から受信した情報に基づいて、友達リスト249Aを更新する。このように、友達リスト249Aの一部と、友達リスト1542の一部とは、同じ状態を維持する。
コンピュータ200Aは、友達リスト249Aに登録されている他のユーザ(すなわち、友達リスト1542においてユーザ190AのユーザIDに関連付けられて登録されるユーザIDに対応するユーザ)に対して、特別な処理を実行できる。例えば、コンピュータ200Aは、他のユーザ(が使用するコンピュータ200)に対してメッセージを送る処理、電子的なプレゼントを送る処理などを実行し得る。
ある局面において、プロセッサ10Aは、仮想空間2Aにおいて、友達リスト249Aに登録されているユーザIDに対応するアバターオブジェクトがアバターオブジェクト1000Aに近づいてきたときのみ、視覚イベントを実行するように構成される。
他の局面において、プロセッサ10Aは、さらに性別を考慮してもよい。例えば、プロセッサ10Aは、アバターオブジェクト1000Aに近づいてきたアバターオブジェクトに対応するユーザIDの性別が、ユーザ190Aの性別と同じ、または異なる場合にのみ、視覚イベントを実行するように構成される。
なお、上記の例において、プロセッサ10Aは、自身のメモリモジュール240Aに格納されている友達リスト249Aを参照して視覚イベントを実行するか否かを判断するように構成されている。他の局面において、プロセッサ10Aは、アバターオブジェクト1000Aに近づいてきたアバターオブジェクトに対応する他のユーザが、ユーザ190Aの友達であるか否かをサーバ150に問い合わせても良い。サーバ150は、この問い合わせに対し、ユーザ190AのユーザIDと、他のユーザのユーザIDとが友達リスト1542に互いに関連付けて格納されているか否かを示す情報をコンピュータ200Aに送信する。プロセッサ10Aは、これらのユーザIDが互いに関連付けて格納されていることを示す情報を受信した場合に、視覚イベントが実行可能に設定されていると判断する。
上記によれば、HMDシステム100は、ユーザ190が面識のある他のユーザとコミュニケーションを行なう場合にのみ、ユーザ190に視覚イベントを提供できる。
(仮想空間ごとの設定)
ある局面において、プロセッサ10Aは、展開している仮想空間2Aが視覚イベントを実行可能に設定されているか否かを判断するように構成される。
図22は、空間情報241(241A)のデータ構造の一例を表す。空間情報241Aは、仮想空間IDと、テンプレートデータと、視覚イベント設定とを互いに関連付けて保持する。仮想空間IDは、仮想空間2(2A)を構成するためのテンプレートデータを識別するための情報である。テンプレートデータは、仮想空間2Aの形状および大きさを示す情報、仮想空間2Aを構成する各メッシュに展開されるコンテンツデータなどを含み得る。視覚イベント設定は、対応する仮想空間においてプロセッサ10Aが視覚イベントを実行可能か否かを示す情報である。
コンピュータ200Aは、空間情報241Aに保持される各情報をサーバ150からダウンロードする。換言すれば、サーバ150は、各コンピュータ200に対して、視覚イベントを実行可能か否かを示す情報(視覚イベント設定)を送信するように構成される。
ある局面において、プロセッサ10Aは、サーバ150から、仮想空間IDを示す仮想空間指定情報1532を受信し、当該仮想空間IDに対応するテンプレートデータに基づいて仮想空間2Aを展開する。プロセッサ10Aは、仮想空間情報241Aに保持される視覚イベント設定を参照して、展開している仮想空間2Aが視覚イベントを実行可能に設定されているか否かを判断する。
上記によれば、サーバ150の管理者は、仮想空間ごとにユーザに視覚イベントを提供するか否かを設定できる。また、ユーザは、視覚イベントを視認したい場合に視覚イベントが実行可能に設定された仮想空間に没入し、そうでない場合に視覚イベントが実行不能に設定された仮想空間に没入できる。
[視覚イベントを実行する処理の流れ]
図23は、上記の視覚イベントに関する一連の処理を表すフローチャートである。図23に示される処理は、コンピュータ200Aのプロセッサ10Aがメモリ11Aまたはストレージ12Aに格納されている制御プログラムを実行することにより実現され得る。
ステップS2310において、プロセッサ10Aは、仮想空間定義モジュール231Aとして、サーバ150から受信した仮想空間指定情報1532に基づいて、仮想空間2Aを定義する。
ステップS2320において、プロセッサ10Aは、仮想オブジェクト生成モジュール232Aとして、ユーザ190Aに対応するアバターオブジェクト1000Aと、ユーザ190Bに対応するアバターオブジェクト1000Bとを仮想空間2Aに配置する。
ステップS2330において、プロセッサ10Aは、位置情報247Aを更新する。より具体的には、プロセッサ10Aは、HMDセンサ120Aの出力結果に基づいてアバターオブジェクト1000Aの顔の位置を更新し、カメラ116Aの出力結果に基づいてアバターオブジェクト1000Aの手の位置を更新する。また、プロセッサ10Aは、サーバ150を介してコンピュータ200Bから受信した情報に基づいて、アバターオブジェクト1000Bの顔および手の位置を更新する。
ステップS2340において、プロセッサ10Aは、間隔算出モジュール235Aとして、位置情報247Aを参照してアバターオブジェクト1000Aの顔と、アバターオブジェクト1000Bの顔との間隔D1を算出する。
ステップS2350において、プロセッサ10Aは、算出した間隔が予め定められたしきい値以下になったか否かを判断する。プロセッサ10Aは、算出した間隔が予め定められたしきい値以下になったと判断した場合(ステップS2350においてYES)、処理をステップS2360に進める。一方、プロセッサ10Aは、算出した間隔が予め定められたしきい値以下になっていないと判断した場合(ステップS2350においてNO)、処理をステップS2380に進める。
ステップS2360において、プロセッサ10Aは、視覚イベントを実行可能に設定されているか否かを判断する。ある局面において、プロセッサ10Aは、設定情報248Aを参照して、ユーザ190Aが視覚イベントを実行可能に設定しているか否かを判断する。他の局面において、プロセッサ10Aは、アバターオブジェクト1000Bに対応するユーザ190Bがユーザ190Aの友達であるか否かを判断する。一例として、プロセッサ10Aは、サーバ150から、ユーザ190AのユーザIDと、アバターオブジェクト1000Bに対応するユーザIDとが互いに関連付けて友達リスト1542に格納されていることを示す情報を受信した場合に、視覚イベントを実行可能に設定されていると判断する。さらに他の局面において、プロセッサ10Aは、空間情報241を参照して、展開している仮想空間2Aが視覚イベントを実行可能に設定されているか否かを判断する。さらに他の局面において、プロセッサ10Aは、上記の条件を組み合わせて、視覚イベントを実行可能に設定されているか否かを判断する。
プロセッサ10Aは、視覚イベントを実行可能に設定されていると判断した場合(ステップS2360においてYES)、処理をステップS2370に進める。一方、プロセッサ10Aは、視覚イベントを実行可能に設定されていないと判断した場合(ステップS2360においてNO)、処理をステップS2380に進める。
ステップS2370において、プロセッサ10Aは、仮想空間2Aにイベントオブジェクトを配置することによって視覚イベントを実行する。ステップS2380において、プロセッサ10Aは、視界画像26を更新して、更新後の視界画像をモニタ112Aに表示する。
上記によれば、HMDシステム100は、視覚イベントの実行によりユーザ190同士のコミュニケーションを促進し得る。さらに、コンピュータ200は、オブジェクト同士の間隔がしきい値以下になったときに、視覚イベントが実行可能に設定されているか判断する。これにより、HMDシステム100は、ユーザ190の意図しない視覚イベントの実行を抑制することができる。その結果、HMDシステム100は、他のユーザからユーザ190に対する仮想空間上でのハラスメントを抑制しうる。
図23の例では、コンピュータ200は、算出した間隔D1がしきい値以下になったことに応じて(ステップS2350においてYES)、視覚イベントを実行するように構成されている。しかし、ユーザ190は仮想空間において視覚イベントのことを意識せずに他のユーザに近づくこともあり得る。この場合、間隔D1がしきい値以下になって、かつ、視覚イベントが実行可能に設定されているとき、ユーザの意図しない視覚イベントが実行されることになる。そこで、図24を用いて、このようなユーザの意図しない視覚イベントの実行を抑制するための処理について説明する。
図24は、他の局面に従う視覚イベントに関する処理を表すフローチャートである。なお、図24において、上述の処理と同じ処理には同じ参照符号を付している。したがって、その処理についての説明は繰り返さない。
ステップ2410において、プロセッサ10Aは、算出した間隔D1が予め定められたしきい値以下である状態が所定時間(例えば、3秒間)維持されたか否かを判断する。プロセッサ10Aは、間隔D1がしきい値以下である状態が所定時間維持されたと判断した場合(ステップS2410においてYES)、処理をステップS2370に進める。一方、プロセッサ10Aは、間隔D1がしきい値以下である状態が所定時間維持されていないと判断した場合(ステップS2410においてNO)、処理をステップS2380に進める。
上記によれば、コンピュータ200Aは、間隔D1がしきい値以下になったことに応じてではなく、間隔D1がしきい値以下である状態が所定時間維持されたことに応じて、視覚イベントを実行する。これにより、コンピュータ200Aは、ユーザ190Aの意図しない視覚イベントの実行を抑制し得る。
さらに他の局面において、プロセッサ10Aは、視覚イベントが実行されるまでの残り時間をユーザ190Aに視覚的に示すように構成されてもよい。以下、図25を用いてその一例を説明する。
図25は、さらに他の局面に従うユーザ190Aの視界画像2500を表す。視界画像2500の例において、間隔D1は、しきい値以下となっている。プロセッサ10Aは、間隔D1がしきい値以下になったことに応じて、メーターオブジェクト2510をアバターオブジェクト1000Bの近くに配置する。メーターオブジェクト2510は、間隔D1がしきい値以下である状態が維持されている時間に応じて時計回りに伸びるように構成される。また、メーターオブジェクト2510は、間隔D1がしきい値以下である状態が維持されている時間が上記所定時間に到達したことに応じて、完全な円を形成するように構成される。当該構成によれば、ユーザ190Aは、視覚イベントが実行されるまでに要する時間を直感的に理解し得る。なお、メーターオブジェクトは、円形状に限られず、例えば、棒形状であってもよい。
また、上記の例において、視覚イベントの当事者であるユーザ190Aが仮想空間2Aにおいて視覚イベントを視認しているが、ユーザ190Aと仮想空間を共有し、視覚イベントに直接関係ない第3者が、視覚イベントを視認してもよい。
[友達登録]
上記の例では、HMDシステム100は、ユーザ190のアバターオブジェクトの所定部位と、他のユーザのアバターオブジェクトの所定部位との間隔(距離)に基づいて、視覚イベントを実行するように構成されている。他の局面において、HMDシステム100は、当該間隔に基づいて、友達登録を行なうように構成されてもよい。
図26は、友達リスト1542のデータ構造の一例を表す。友達リスト1542は、ユーザIDと、友達IDとを互いに関連付けて保持する。友達IDは、友達として登録されるユーザのユーザIDである。
上述したように、ユーザ190は、友達になりたいと思う他のユーザに対して友達リクエストを送信することによって、他のユーザを友達リスト1542に登録し得る。しかしながら、ユーザによっては、あまり面識のない他のユーザに対して友達リクエストを送ることに抵抗を感じる。そこで、以下に、他の方法により友達登録を行なう処理を説明する。
図27は、ある実施形態に従う友達登録の処理を表すフローチャートである。図27に示される処理は、サーバ150のプロセッサ1520がストレージ1530に格納されている制御プログラムを実行することにより実現され得る。
ステップS2710において、プロセッサ1520は、コンピュータ200Aおよび200Bからの要求に応じて仮想空間指定情報1532をコンピュータ200Aおよび200Bに送信する。プロセッサ1520はさらに、送信した仮想空間指定情報1532に基づいて、仮想空間2を定義する。
ステップS2720において、プロセッサ1520は、ユーザ190Aに対応するアバターオブジェクト1000Aと、ユーザ190Bに対応するアバターオブジェクト1000Bとを仮想空間2に配置する。
ステップS2730において、プロセッサ1520は、コンピュータ200Aおよび200Bから受信した情報(図16のステップS1642で受信した情報)に基づいて、位置情報1536を更新する。
ステップS2740において、プロセッサ1520は、位置情報1536を参照して、仮想空間2における友達登録用オブジェクト同士の間隔(以下、「オブジェクト間隔」とも称する)を算出する。一例として、友達登録用オブジェクトは、アバターオブジェクト1000Aの顔と、アバターオブジェクト1000Bの顔とを含む。
ステップS2750において、プロセッサ1520は、算出したオブジェクト間隔が予め定められたしきい値以下になったか否かを判断する。プロセッサ1520は、オブジェクト間隔がしきい値以下になったと判断した場合(ステップS2750においてYES)、処理をステップS2760に進める。一方、プロセッサ1520は、オブジェクト間隔がしきい値以下になっていないと判断した場合(ステップS2750においてNO)、処理をステップS2730に戻す。
ステップS2760において、プロセッサ1520は、ユーザ190AのユーザIDと、ユーザ190BのユーザIDとを互いに関連付けて友達リスト1542に登録する。これにより、ユーザ190Aとユーザ190Bとが互いに友達であることがサーバ150に登録される。なお、他の局面において、サーバ150は、図24の処理と同様に、オブジェクト間隔がしきい値以下になった状態が所定時間維持されたことに応じて、友達登録を行なうように構成されてもよい。さらに他の局面において、サーバ150は、ステップS2760において、いきなり友達登録を行なうのではなく、コンピュータ200Aに対してユーザ190Bからの友達リクエストを送信し、コンピュータ200Bに対してユーザ190Aからの友達リクエストを送信するように構成されてもよい。
上記によれば、HMDシステム100は、仮想空間上で近くにいるユーザ同士を友達として登録する。これにより、HMDシステム100は、仮想空間上でのユーザ同士のコミュニケーションを促進し得る。
なお、上記の例において、サーバ150は、ステップS2710およびS2720を実行するように構成されているが、他の局面において、これらの処理を実行しないように構成されてもよい。具体的には、サーバ150は、各コンピュータ200に仮想空間指定情報1532を送信し、各コンピュータ200が、これらの処理を実行する。当該構成によっても、サーバ150は、ステップS2730〜ステップS2760の処理を実行し得る。
[友達登録を実行可能にするための設定]
視覚イベントと同様、ユーザによっては、オブジェクト間隔に基づく友達登録の実行を望まない。そこで、以下に、オブジェクト間隔に基づく友達登録を実行可能にするための設定について説明する。
(ユーザごとの設定)
図28は、設定情報1540のデータ構造の一例を表す。設定情報1540は、ユーザIDと、友達登録情報とを互いに関連付けて保持する。友達登録情報は、オブジェクト間隔に基づく友達登録を有効にするか無効にするかを示す設定値である。
ある局面において、コンピュータ200は、ユーザ190に対してオブジェクト間隔に基づく友達登録を有効(実行可能)にするか否かを問い合わせる。一例として、コンピュータ200は、図20に示される画面2000のうち、「視覚イベントを有効にしますか?」のメッセージを「友達登録を有効にしますか?」に替えた画面をモニタ112に表示する。ユーザ190は、当該画面において注視点を制御することにより、オブジェクト間隔に基づく友達登録を有効にするか否かを設定できる。コンピュータ200は、ユーザ190からこの設定を受け付けると、ユーザ190のユーザIDと、ユーザ190の設定結果とを関連付けてサーバ150に送信する。サーバ150は、コンピュータ200から受信した情報に基づいて、設定情報1540を更新する。
ある局面において、サーバ150のプロセッサ1520は、オブジェクト間隔が予め定められたしきい値以下になったことに応じて、設定情報1540に格納されているユーザ190Aおよび190BのユーザIDに関連付けられた友達登録情報を読み出す。プロセッサ1520は、これらの友達登録情報において、ともにオブジェクト間隔に基づく友達登録を有効に設定されていると判断した場合に、これらのユーザ190AのユーザIDと190BのユーザIDとを互いに関連付けて友達リスト1542に登録する。上記によれば、HMDシステム100は、ユーザ190が希望した場合にのみ、オブジェクト間隔に基づく友達登録を実行できる。
なお、他の局面において、プロセッサ1520は、上述した図22の処理と同様に、展開している仮想空間2がオブジェクト間隔に基づく友達登録を実行可能に設定されているか否かを判断するように構成されてもよい。この場合、仮想空間指定情報1532は、仮想空間IDと、オブジェクト間隔に基づく友達登録を実行可能か否かを示す設定値とを互いに関連付けて保持しする。
[仮想空間ごとに異なる友達登録用オブジェクトが設定される]
上記の例では、アバターオブジェクトの顔が友達登録用オブジェクトとして用いられていた。他の局面において、サーバ150のプロセッサ1520は、展開されている仮想空間ごとに友達登録用オブジェクトを変更可能に構成されてもよい。
図29は、仮想空間指定情報1532のデータ構造の一例を表す。図29を参照して、仮想空間指定情報1532は、仮想空間IDと、テンプレートデータと、オブジェクト情報とを互いに関連付けて保持する。オブジェクト情報は、友達登録用オブジェクトとして設定されるオブジェクトを示す。
図29の例において、仮想空間ID「002」の仮想空間では、アバターオブジェクトの手(手オブジェクト)が友達登録用オブジェクトとして登録されている。仮想空間ID「003」の仮想空間では、グラスオブジェクトが友達登録用オブジェクトとして登録されている。仮想空間ID「004」の仮想空間では、名刺オブジェクトが友達登録用オブジェクトとして登録されている。
図30は、仮想空間ID「002」の仮想空間3000が展開されている場合の友達登録について説明するための図である。仮想空間3000は、アバターオブジェクト1000Aと1000Bとを含む。ある局面において、プロセッサ1520は、アバターオブジェクト1000Aの手3010と、アバターオブジェクト1000Bの手3020との間隔であるオブジェクト間隔を算出する。プロセッサ1520は、算出されたオブジェクト間隔が予め定められたしきい値以下になったか否かを判断する。プロセッサ1520は、オブジェクト間隔が予め定められたしきい値以下になったことに応じて、友達登録を行なうための処理を実行する。一例として、予め定められたしきい値は0を含む。これにより、プロセッサ1520は、例えば、手3010と手3020とが握手をした場合に、友達登録を行なうための処理を実行する。
図30の例において、プロセッサ1520は、友達登録を実行したことに応じて、イベントオブジェクト3030を仮想空間3000に配置する。また、プロセッサ1520は、各コンピュータ200に対して、仮想空間2にイベントオブジェクト3030を配置するための指示を出力する。ユーザ190は、イベントオブジェクト3030を視認することにより、友達登録が実行されたことを認識し得る。
図31は、仮想空間ID「003」の仮想空間3100が展開されている場合の友達登録について説明するための図である。仮想空間3100は、アバターオブジェクト1000Aと1000Bとを含む。ある局面において、アバターオブジェクト1000Aは、グラスオブジェクト3110を所有し、アバターオブジェクト1000Bは、グラスオブジェクト3120を所有している。プロセッサ1520は、グラスオブジェクト3110と、グラスオブジェクト3120との間隔をオブジェクト間隔として算出する。プロセッサ1520は、オブジェクト間隔が予め定められたしきい値以下になったことに応じて、友達登録を行なうための処理を実行する。一例として、予め定められたしきい値は0を含む。これにより、プロセッサ1520は、例えば、アバターオブジェクト1000Aと1000Bとが乾杯した場合に、友達登録を行なうための処理を実行する。このような仮想空間3100は、宴会やパーティーを行なうための仮想空間として、ユーザ190に提供され得る。
図32は、仮想空間ID「004」の仮想空間3200が展開されている場合の友達登録について説明するための図である。仮想空間3200は、アバターオブジェクト1000Aと1000Bとを含む。ある局面において、アバターオブジェクト1000Aは、名刺オブジェクト3210を所有し、アバターオブジェクト1000Bは、名刺オブジェクト3220を所有している。プロセッサ1520は、名刺オブジェクト3210と、名刺オブジェクト3220との間隔をオブジェクト間隔として算出する。プロセッサ1520は、オブジェクト間隔が予め定められたしきい値以下になったことに応じて、友達登録を行なうための処理を実行する。これにより、プロセッサ1520は、例えば、アバターオブジェクト1000Aと1000Bとが名刺交換をした場合に、友達登録を行なうための処理を実行する。なお、他の局面おいて、仮想空間3200において、アバターオブジェクト1000Aの手と、アバターオブジェクト1000Bが持っている名刺オブジェクト3220との間隔(オブジェクト間隔)に応じて、友達登録を行なうための処理を実行してもよい。このような仮想空間3200は、仕事をするための仮想空間として、ユーザ190に提供され得る。
上記のように、HMDシステム100は、展開される仮想空間に適した友達登録用オブジェクトを設定できる。これにより、HMDシステム100は、友達登録をより円滑にし得る仮想空間をユーザに提供できる。その結果、HMDシステム100は、仮想空間におけるユーザ同士のコミュニケーションをより促進し得る。
[友達登録を実行する処理の流れ]
図33は、他の局面に従う友達登録の処理を表すフローチャートである。図33に示される処理は、サーバ150のプロセッサ1520がストレージ1530に格納されている制御プログラムを実行することにより実現される。なお、図33において、上述の処理と同じ処理には同じ参照符号を付している。したがって、その処理についての説明は繰り返さない。
ステップS3305において、プロセッサ1520は、仮想空間にアバターオブジェクト1000Aおよび1000Bを含む各種オブジェクトを配置する。
ステップS3310において、プロセッサ1520は、オブジェクト間隔に基づく友達登録を実行可能に設定されているか否かを判断する。ある局面において、プロセッサ1520は、設定情報1540を参照して、ユーザ190Aおよび190Bがともにオブジェクト間隔に基づく友達登録を有効している場合に、友達登録を実行可能に設定されていると判断する。他の局面において、プロセッサ1520は、仮想空間指定情報1532を参照して、展開している仮想空間がオブジェクト間隔に基づく友達登録を実行可能に設定されているか否かを判断する。
プロセッサ1520は、オブジェクト間隔に基づく友達登録が実行可能に設定されていると判断した場合(ステップS3310においてYES)、処理をステップS3320に進める。一方、プロセッサ1520は、オブジェクト間隔に基づく友達登録が実行可能に設定されていないと判断した場合(ステップS3310においてNO)、一連の処理を終了する。
ステップS3320において、プロセッサ1520は、仮想空間指定情報1532を参照して、展開している仮想空間の仮想空間IDに基づいて、友達登録用オブジェクトを特定する。プロセッサ1520は、ステップS2710において、コンピュータ200Aおよび200Bからの要求に応じた仮想空間を展開する。したがって、ステップS3320の処理は、ユーザ190が指定した仮想空間に適した友達登録用オブジェクトを特定する処理、とも言える。
上記によれば、サーバ150は、オブジェクト間隔に基づく友達登録を実行可能か否かを判断することにより、ユーザ190の意図しない友達登録または友達リクエストの申請を抑制し得る。さらに、サーバ150は、仮想空間ごとに友達登録用オブジェクトの種類を変更可能に構成される。これにより、サーバ150は、ユーザ190が指定した仮想空間に適した友達登録用オブジェクトを設定できる。
[友達登録の解除]
サーバ150は、さらに、オブジェクト同士の間隔に基づいて友達登録の解除処理を実行するように構成されてもよい。以下、友達登録の解除処理のトリガとなるオブジェクトを「解除用オブジェクト」と言う。解除用オブジェクトは、例えば、あるアバターオブジェクトの手と、他のアバターオブジェクトの顔とに設定され得る。具体例を用いてこの処理を説明する。
ある局面において、アバターオブジェクト1000Aの手と、アバターオブジェクト1000Bの顔との間隔が、予め定められた間隔を下回る。これに応じて、サーバ150は、友達リスト1542にアクセスして、ユーザ190AのユーザIDに関連付けられた友達IDの中から、ユーザ190BのユーザIDを削除する。これにより、例えば、アバターオブジェクト1000Aがアバターオブジェクト1000Bの顔を殴った場合に、サーバ150は、友達登録の解除を行なうための処理を実行する。
他の局面において、サーバ150は、解除用オブジェクトの速度をさらに考慮してもよい。例えば、サーバ150は、解除用オブジェクト同士の間隔が予め定められた間隔を下回ったときの、アバターオブジェクト1000Aの手の速度、またはこれらのオブジェクトの相対速度を算出する。サーバ150は、算出した速度が予め定められた速度を上回ったと判断した場合にのみ、友達登録の解除を行なうための処理を実行してもよい。これにより、サーバ150は、アバターオブジェクト1000Aがアバターオブジェクト1000Bの顔を撫でた場合など、ユーザ190Aが友達登録の解除を意図していない場合に、当該処理が実行されることを抑制し得る。
[構成]
以上に開示された技術的特徴は、以下のように要約され得る。
(構成1) ある実施形態に従うと、仮想空間2Aにおける複数のユーザのコミュニケーションを促進するためにコンピュータ200Aで実行される方法が提供される。この方法は、仮想空間2Aを定義するステップ(S2310)と、複数のユーザのうちユーザ190Aに対応するアバターオブジェクト1000Aを仮想空間に配置するステップ(S2320)と、複数のユーザのうちユーザ190Bに対応するアバターオブジェクト1000Bを仮想空間2Aに配置するステップ(S2320)と、アバターオブジェクト1000Aの第1部位(例えば、顔)と、アバターオブジェクト1000Bの第2部位(例えば、顔)との間隔を算出するステップ(S2340)と、仮想空間2Aにおいて視覚イベントを実行可能にするための予め定められた条件が満たされているか否かを判断するステップ(S2360)と、予め定められた条件が満たされていると判断した場合に、算出された間隔が予め定められた間隔以下になったことに応じて、仮想空間2Aにおいて視覚イベントを実行するステップ(S2370)とを備える。
(構成2) (構成1)に加えて、コンピュータ200Aのメモリ11またはストレージ12に格納されている、コンピュータ200Aのユーザ190Aによって設定される視覚イベントを実行可能か否かを示す設定情報248を読み出すステップをさらに備える。コンピュータ200Aは、視覚イベントが実行可能であることを設定情報248が示す場合に、予め定められた条件が満たされていると判断することを含む。
(構成3) (構成1)または(構成2)に加えて、サーバ150と通信するステップをさらに備える。コンピュータ200Aは、サーバ150から、ユーザ190AのユーザIDとユーザ190BのユーザIDとが互いに関連付けられてサーバ150の友達リスト1542に格納されていることを示す情報を受信した場合に、予め定められた条件が満たされていると判断することを含む。
(構成4) (構成1)〜(構成3)のいずれかに加えて、コンピュータ200Aは、仮想空間2Aが視覚イベントを実行可能に設定されている場合に、予め定められた条件が満たされていると判断することを含む。コンピュータ200Aは、この判断を、空間情報241Aを参照して行なってもよいし、サーバ150に問い合わせても良い。
(構成5) (構成1)〜(構成4)のいずれかに加えて、コンピュータ200Aは、算出された間隔が予め定められた間隔以下である状態が予め定められた時間にわたり維持されたことに応じて、視覚イベントを実行することを含む。
(構成6) (構成5)に加えて、算出された間隔が予め定められた間隔以下である状態が維持された時間に応じて表示態様が変化するメーターオブジェクト2510を仮想空間2Aに配置するステップをさらに含む。
(構成7) 他の局面に従うと、仮想空間2における複数のユーザのコミュニケーションを促進するための方法が提供される。この方法は、仮想空間2を定義するステップ(S2710)と、複数のユーザのうちユーザ190Aに対応するアバターオブジェクト1000Aを仮想空間2に配置するステップ(S2720)と、複数のユーザのうちユーザ190Bに対応するアバターオブジェクト1000Bを仮想空間2に配置するステップ(S2720)と、アバターオブジェクト1000Aの第1部位(例えば、顔または手)とアバターオブジェクト1000Bの第2部位(例えば、顔または手)との間隔、または、アバターオブジェクト1000Aが持っている第1オブジェクト(例えば、グラスオブジェクトまたは名刺オブジェクト)と、アバターオブジェクト1000Bが持っている第2オブジェクト(例えば、グラスオブジェクトまたは名刺オブジェクト)との間隔を示すオブジェクト間隔を算出するステップ(S2740)と、オブジェクト間隔が予め定められた間隔以下になったことに応じて、ユーザ190AのユーザIDとユーザ190BのユーザIDとを互いに関連付けて友達リスト1542に登録するステップ(S2760)とを備える。ある局面において、上記のステップの処理はいずれもサーバ150によって実行される。他の局面において、上記のステップS2710およびS2720の処理はコンピュータ200で実行され、その他の処理はサーバ150で実行される。
(構成8) (構成7)に加えて、登録するステップ(オブジェクト間隔に基づく友達登録)を実行可能にするための予め定められた条件が満たされているか否かを判断するステップ(S3310)をさらに備える。サーバ150は、予め定められた条件が満たされていると判断し、かつ、オブジェクト間隔が予め定められた間隔以下になったことに応じて、ユーザ190Aの識別情報とユーザ190Bの識別情報とを互いに関連付けて友達リスト1542に登録することを含む。
(構成9) (構成8)に加えて、ストレージ1530に格納されている、ユーザ190Aまたはユーザ190Bによって設定される上記登録するステップを実行可能か否かを示す設定情報1540の友達登録情報を読み出すステップをさらに備える。サーバ150は、登録するステップを実行可能であることを設定値が示す場合に、予め定められた条件が満たされていると判断することを含む。
(構成10) (構成8)または(構成9)に加えて、サーバ150は、仮想空間指定情報1532を参照して、展開している仮想空間2が登録するステップを実行可能に設定されている場合に、予め定められた条件が満たされていると判断することを含む。
(構成11) (構成7)〜(構成10)のいずれかに加えて、展開している仮想空間2を識別する仮想空間IDに基づいて、上記第1および第2部位、または上記第1および第2オブジェクトを特定するステップ(S3320)をさらに備える。
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。