JP6946084B2 - 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム Download PDF

Info

Publication number
JP6946084B2
JP6946084B2 JP2017136319A JP2017136319A JP6946084B2 JP 6946084 B2 JP6946084 B2 JP 6946084B2 JP 2017136319 A JP2017136319 A JP 2017136319A JP 2017136319 A JP2017136319 A JP 2017136319A JP 6946084 B2 JP6946084 B2 JP 6946084B2
Authority
JP
Japan
Prior art keywords
virtual space
user
field
computer
movable object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017136319A
Other languages
English (en)
Other versions
JP2019017483A (ja
Inventor
健志 加田
健志 加田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2017136319A priority Critical patent/JP6946084B2/ja
Publication of JP2019017483A publication Critical patent/JP2019017483A/ja
Application granted granted Critical
Publication of JP6946084B2 publication Critical patent/JP6946084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。
特許文献1は、二人のユーザが仮想ボールを前後に投げ、各ユーザが仮想世界への他方のユーザの影響を観察できるシステムを開示している。
特表2014−513367号公報
仮想ボールのような可動オブジェクトが登場する仮想空間では、ユーザ操作に応じて動く該可動オブジェクトの演出が当該仮想空間のエンタテイメント性に影響し得る。
そこで、本開示は、仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
本開示が示す一態様によれば、表示部を備えるヘッドマウントデバイスを介して第1ユーザに仮想空間を提供するために、該第1ユーザに対応する第1コンピュータによって実行される情報処理方法が提供される。この情報処理方法は、第1ユーザに対応する第1キャラクタオブジェクトに関連付けられた可動オブジェクトを含む仮想空間を規定する仮想空間データを生成するステップと、第1キャラクタオブジェクトからの可動オブジェクトの移動を検出した場合に、該移動を示す動作データを生成するステップと、仮想空間データと動作データとに基づいて第1視界画像を生成し、表示部に該第1視界画像を表示させるステップと、1以上の第2ユーザに対応する1以上の第2コンピュータに動作データを送信することで、該1以上の第2コンピュータのそれぞれに、第1視界画像と同期する第2視界画像を動作データに基づき表示させるステップとを含む。
本開示によれば、仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することができる。
ある実施の形態に従うHMDシステム100の構成の概略を表す図である。 一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。 ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。 仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。 仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。 ある実施の形態に従うコントローラ160の概略構成を表す図である。 ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。 ある実施の形態に従うHMDシステム100Aが実行する処理を表すシーケンス図である。 ある実施の形態に従う仮想空間2の一例を模式的に表す図である。 ある実施の形態に従うHMD装置110により提供される視界画像の一例を表す図である。 ある実施の形態に従うHMD装置110により提供される視界画像の一例を表す図である。 ある実施の形態に従うメッシュ型ネットワークの一例を示す図である。 ある実施の形態に従う可動オブジェクト315の同期を表すシーケンス図である。 ある実施の形態に従う可動オブジェクト315の同期を表すシーケンス図である。 ある実施の形態に従うマスタ側での可動オブジェクト315の制御を表すフローチャートである。 マスタとスレーブとの間での可動オブジェクト315の位置の差異の例を表す図である。
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
図1を参照して、HMD(Head Mount Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD装置110(ユーザ端末)と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD装置110は、ディスプレイ112と、カメラ116と、マイク118と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。別の局面において、HMD装置110は、HMDセンサ120の代わりに、センサ114を含み得る。
HMD装置110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD装置110は、右目用の画像および左目用の画像をディスプレイ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
ディスプレイ112は、例えば、非透過型の表示装置として実現される。ある局面において、ディスプレイ112は、ユーザの両目の前方に位置するようにHMD装置110の本体に配置されている。したがって、ユーザは、ディスプレイ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、ディスプレイ112は、所謂スマートフォンその他の情報表示端末が備える液晶ディスプレイまたは有機EL(Electro-Luminescence)ディスプレイとして実現され得る。ディスプレイ112は、HMD装置110の本体と一体に構成されてもよいし、別体として構成されてもよい。
ある局面において、ディスプレイ112は、右目用の画像を表示するためのサブディスプレイと、左目用の画像を表示するためのサブディスプレイとを含み得る。別の局面において、ディスプレイ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、ディスプレイ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
カメラ116は、HMD装置110を装着するユーザの顔画像を取得する。カメラ116によって取得された顔画像は、画像解析処理によってユーザの表情を検知するために使用され得る。カメラ116は、例えば、瞳の動き、まぶたの開閉、および眉毛の動き等を検知するために、HMD装置110本体に内蔵された赤外線カメラであってもよい。あるいは、カメラ116は、ユーザの口、頬、および顎等の動きを検知するために、図1に示されるようにHMD装置110の外側に配置された外付けカメラであってもよい。また、カメラ116は、上述した赤外線カメラおよび外付けカメラの両方によって構成されてもよい。
マイク118は、ユーザが発した音声を取得する。マイク118によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。当該音声は、仮想空間2に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク19およびサーバ150等を介して、他のユーザが使用するHMDシステムに送られ、当該HMDシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話(チャット)が実現される。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD装置110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD装置110の位置および傾きを検出する。
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD装置110の画像情報を用いて、画像解析処理を実行することにより、HMD装置110の位置および傾きを検出することができる。
別の局面において、HMD装置110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD装置110は、センサ114を用いて、HMD装置110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD装置110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD装置110の3軸周りの角速度を経時的に検出する。HMD装置110は、各角速度に基づいて、HMD装置110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD装置110の傾きを算出する。また、HMD装置110は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD装置110に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMD装置に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。サーバ150は、一または複数のコンピュータ装置により構成され得る。サーバ150は、後述するコンピュータ200のハードウェア構成と同様のハードウェア構成(プロセッサ、メモリ、ストレージ等)を備え得る。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。メモリ11に保存されるデータは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発性メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ200との通信を実現するためのプログラム等を含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。
ある実施の形態において、入出力インターフェース13は、HMD装置110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。例えば、入出力インターフェース13は、Bluetooth(登録商標)等の無線通信インターフェースを含み得る。
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェース13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェース14は、例えば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間を提供するための信号をHMD装置110に送る。HMD装置110は、その信号に基づいてディスプレイ112に映像を表示する。
サーバ150は、ネットワーク19を介してHMDシステム100の各々の制御装置と接続される。図2に示される例では、サーバ150は、HMDシステム100A,100B,100C,100Dを含む複数のHMDシステム100を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各HMDシステムを使用するユーザに提供される。各HMDシステム100はいずれも同様の構成を備える。例えば、ユーザ190AのHMDシステム100AはHMD装置110Aおよびコンピュータ200Aを有する。ユーザ190BのHMDシステム100BはHMD装置110Bおよびコンピュータ200Bを有する。ユーザ190CのHMDシステム100CはHMD装置110Cおよびコンピュータ200Cを有する。ユーザ190DのHMDシステム100DはHMD装置110Dおよびコンピュータ200Dを有する。ただし、各HMDシステム100は、互いに異なる機種であってもよいし、互いに異なる性能(処理性能、およびユーザ動作の検知に関する検知性能等)を有してもよい。
なお、図2に示される例では、コンピュータ200がHMD装置110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD装置110に内蔵されてもよい。一例として、ディスプレイ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。図2では四つのHMDシステム100A〜100Dを示すが、HMDシステム100の台数は、複数であればいくつでもよい。
また、コンピュータ200は、複数のHMD装置110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のHMDシステム100は、入出力インターフェース13により、コンピュータ200に直接接続されてもよい。また、本実施形態におけるサーバ150の各機能(例えば後述する同期処理等)は、コンピュータ200に実装されてもよい。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD装置110の各光源から発せられた赤外線をそれぞれ検出すると、HMD装置110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD装置110を装着したユーザ190の動きに応じた、現実空間内におけるHMD装置110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD装置110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD装置110の各傾きは、グローバル座標系におけるHMD装置110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD装置110の傾きに基づき、uvw視野座標系をHMD装置110に設定する。HMD装置110に設定されるuvw視野座標系は、HMD装置110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
図3に示されるように、HMD装置110は、HMD装置110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD装置110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD装置110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD装置110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD装置110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD装置110に設定された後、HMDセンサ120は、HMD装置110の動きに基づいて、設定されたuvw視野座標系におけるHMD装置110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD装置110の傾きとして、uvw視野座標系におけるHMD装置110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD装置110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD装置110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD装置110の傾き角度を表す。
HMDセンサ120は、検出されたHMD装置110の傾き角度に基づいて、HMD装置110が動いた後のHMD装置110におけるuvw視野座標系を、HMD装置110に設定する。HMD装置110と、HMD装置110のuvw視野座標系との関係は、HMD装置110の位置および傾きに関わらず、常に一定である。HMD装置110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD装置110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD装置110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD装置110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。仮想空間2内の各位置は、XYZ座標系における座標値によって一意に特定される。
HMD装置110の起動時、すなわちHMD装置110の初期状態において、仮想カメラ1は、例えば仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD装置110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD装置110の位置および傾きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD装置110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD装置110のuvw視野座標系に連動するように規定されている。したがって、HMD装置110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD装置110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD装置110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD装置110のuvw視野座標系は、ユーザ190がディスプレイ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD装置110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をディスプレイ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。視界領域23内において仮想カメラ1と仮想空間画像22との間に後述する仮想オブジェクトが配置されている場合、視界画像には当該仮想オブジェクトが含まれる。すなわち、視界画像において、仮想空間画像22よりも手前側にある仮想オブジェクトが仮想空間画像22に重畳して表示される。ユーザ190が、頭に装着したHMD装置110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、ディスプレイ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD装置110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD装置110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および傾きに基づいて、HMD装置110のディスプレイ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。すなわち、仮想カメラ1によって、仮想空間2におけるユーザ190の視野(視界)が定義される。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD装置110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8の状態(A)に示されるように、ある局面において、コントローラ160は、右コントローラ160Rと左コントローラ(図示しない)とを含み得る。右コントローラ160Rは、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ160Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ160Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ160Rについて説明する。
右コントローラ160Rは、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ160Rと左コントローラとの各位置および姿勢(傾き、向き)等を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動させるための操作を含む。
ある局面において、右コントローラ160Rおよび左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ160Rおよび左コントローラは、例えば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ160Rおよび左コントローラは、電池を必要としない。
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ190の右手810に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ190が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
[HMD装置の制御装置]
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト制御モジュール232と、同期モジュール233とを含む。
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
ある局面において、表示制御モジュール220は、HMD装置110のディスプレイ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD装置110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、ディスプレイ112に表示される視界画像を生成する。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト制御モジュール232は、後述するオブジェクト情報242に基づいて、仮想空間2に配置される仮想的なオブジェクトである仮想オブジェクトを生成する。また、仮想オブジェクト制御モジュール232は、仮想空間2における仮想オブジェクトの動作(移動および状態変化等)も制御する。
仮想オブジェクトは、仮想空間2に配置されるオブジェクト全般である。以下の説明において、誤解が生じない場合には、仮想オブジェクトのことを単に「オブジェクト」と表記する。仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。また、仮想オブジェクトは、仮想空間2におけるユーザ190の分身としてのアバターおよびユーザ190により操作されるゲームのキャラクタ(プレイヤキャラクタ)等のキャラクタオブジェクトを含み得る。一つのキャラクタオブジェクトは一人のユーザ190に対応し、言い換えると、一つのキャラクタオブジェクトは一人のユーザ190に関連付けられる。
さらに、仮想オブジェクトは、ユーザ190がキャラクタオブジェクトを介して操作可能な可動オブジェクトも含み得る。仮想空間2において、可動オブジェクトは特定のキャラクタオブジェクト(ユーザ)に関連付けられて該キャラクタオブジェクトと共に動いたり、どのキャラクタオブジェクト(ユーザ)とも関連付けられずに動いたりすることができる。一例として、可動オブジェクトがボールであるとして、キャラクタオブジェクトがそのボールを掴むと、そのボールはキャラクタオブジェクトと関連付けられ、キャラクタオブジェクトが動くとボールも一緒に動く。そのキャラクタオブジェクトがボールを放すと、その関連付けは解除され、ボールはどのキャラクタオブジェクトからも独立して動く(例えば、落ちる、飛ぶなど)。別の例として、可動オブジェクトがボールであり、キャラクタオブジェクトがバットを持っているとする。そのキャラクタオブジェクトがバットでボールを打った場面では、ボールがバットに接している間において該ボールがキャラクタオブジェクトと関連付けられる。そのボールがバットから離れると、その関連付けは解除され、ボールはどのキャラクタオブジェクトからも独立して動く(例えば、落ちる、飛ぶなど)。したがって、キャラクタオブジェクトと可動オブジェクトとの関連付けは、キャラクタオブジェクトと可動オブジェクトとが直接に衝突し合った場合に限定されない。キャラクタオブジェクトが持つ道具(例えばバット)と可動オブジェクトとが衝突し合うような間接的な衝突が発生した場合にも、キャラクタオブジェクトと可動オブジェクトとが互いに関連付けられる。
仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。本開示では、仮想空間制御モジュール230は、キャラクタオブジェクトと可動オブジェクトとの間における直接のまたは間接的な衝突を検出すると、該可動オブジェクトを該キャラクタオブジェクトに関連付ける。その後、可動オブジェクトがキャラクタオブジェクトから離れると、仮想空間制御モジュール230はその関連付けを解除する。
同期モジュール233は、可動オブジェクトを含む仮想空間2および視界画像の同期を取るために、可動オブジェクトの移動を示す動作データを送信または受信する。可動オブジェクトの移動は仮想オブジェクトの動作の一例であるので、動作データは仮想オブジェクト制御モジュール232により生成される。同期を取るとは、複数のHMDシステム100の間で、仮想空間2内(個々の視界画像内)の各仮想オブジェクトの状態(例えば、位置および動作)を合わせる処理をいう。なお、仮想空間2内のすべての仮想オブジェクトの同期を取ることは必須ではなく、一部の仮想オブジェクトが同期されなくてもよい。例えば、ある一人のユーザ190にのみ必要で他のユーザ190には必要ない仮想オブジェクトについて同期が実行されなくてもよい。また、仮想空間2の開始から終了までの時間のすべてにおいて仮想オブジェクトの同期を取ることも必須ではなく、ある時間帯において仮想オブジェクトの同期が実行されなくてもよい。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。空間情報241には、例えば、仮想空間2を提供するために規定された1つ以上のテンプレートが含まれている。オブジェクト情報242には、例えば、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。オブジェクト情報242には、各オブジェクトを描画するための描画情報も含まれている。また、オブジェクト情報242は、各オブジェクトに関連付けられた属性を示す属性情報も含み得る。オブジェクトの属性情報としては、例えば当該オブジェクトの種類(例えばアバター等)を示す情報、およびオブジェクトが可動物(可動オブジェクト)であるか固定物(固定オブジェクト)であるかを示す情報等が挙げられる。ユーザ情報243には、例えば、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。
メモリモジュール240に格納されているデータおよびプログラムは、HMD装置110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、メモリモジュール240に一旦格納される。そのソフトウェアは、プロセッサ10によってメモリモジュール240から読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
図9に示されるコンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
[制御構造]
図10を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、ユーザ190Aによって使用されるHMDシステム100Aがユーザ190Aに仮想空間2を提供するために実行する処理を表すシーケンス図である。他のHMDシステム100B,100C,100Dにおいても、同様の処理が実行される。
ステップS1において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間2の背景を構成する仮想空間画像データ(仮想空間画像22)を特定し、仮想空間2を定義する。プロセッサ10は、その仮想空間2を規定する仮想空間データを生成する。
ステップS2において、プロセッサ10は、仮想カメラ制御モジュール221として、仮想カメラ1を初期化する。例えば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS3において、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。プロセッサ10は、少なくとも仮想空間データに基づいて視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD装置110に送られる。
ステップS4において、HMD装置110のディスプレイ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD装置110Aを装着したユーザ190Aは、視界画像を視認すると仮想空間2を認識し得る。
ステップS5において、HMDセンサ120は、HMD装置110から発信される複数の赤外線光に基づいて、HMD装置110の位置および傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
ステップS6において、プロセッサ10は、視界領域決定モジュール222として、HMD装置110Aの位置と傾きとに基づいて、HMD装置110Aを装着したユーザ190Aの視界方向(すなわち、仮想カメラ1の位置および傾き)を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを配置する。
ステップS7において、コントローラ160は、現実空間におけるユーザ190Aの操作を検出する。例えば、ある局面において、コントローラ160は、ユーザ190Aによってボタンが押下されたことを検出する。別の局面において、コントローラ160は、ユーザ190Aの両手の動作(たとえば、両手を振る等)を検出する。検出内容を示す信号は、コンピュータ200に送られる。
ステップS8において、プロセッサ10は同期モジュール233として、仮想オブジェクトの動作データを送信または受信する。複数のコンピュータ200のうちの一つが仮想オブジェクトの動作を能動的に管理し、動作データを他のコンピュータ200に送信する。残りのコンピュータ200はその動作データを受信して仮想オブジェクトの動作を受動的に制御する。本開示では、可動オブジェクトの動作データを送信する側を「マスタ」ともいい、その動作データを受信する側を「スレーブ」ともいう。
ステップS9において、プロセッサ10は、仮想オブジェクト制御モジュール232として各仮想オブジェクトの動作を制御する。ある局面では、プロセッサ10はキャラクタオブジェクトおよび可動オブジェクトの少なくとも一方の動作を制御する。
ステップS10において、プロセッサ10は、視界画像生成モジュール223として、ステップS9の処理結果と仮想空間データとに基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをHMD装置110に出力する。
ステップS11において、HMD装置110のディスプレイ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
ステップS5〜S11の処理は、定期的に繰り返し実行される。
[HMDシステム間の同期]
図11は、ある実施の形態に従う仮想空間2の一例を模式的に表す図である。この例では、仮想空間2は、HMD装置110Aを装着するユーザ190Aに関連付けられたキャラクタオブジェクト311と、HMD装置110Bを装着するユーザ190Bに関連付けられたキャラクタオブジェクト312と、HMD装置110Cを装着するユーザ190Cに関連付けられたキャラクタオブジェクト313と、HMD装置110Dを装着するユーザ190Dに関連付けられたキャラクタオブジェクト314とを含む。したがって、この仮想空間2は4人のユーザ190A〜190Dに共通である。各ユーザ190A〜190Dはこの共通の仮想空間2の中で、他のユーザと共通の仮想世界を体験したり、チャットなどのコミュニケーションを行ったりすることができる。この例では、キャラクタオブジェクト311〜314は野球をしており、キャラクタオブジェクト311は投手、キャラクタオブジェクト312は打者、キャラクタオブジェクト313,314は内野手である。
さらに、仮想空間2はボールを可動オブジェクト315として含む。図11は投手がボールを掴んでいる状況を表し、これは、可動オブジェクト315がキャラクタオブジェクト311に関連付けられていることを意味する。仮想空間2で可動オブジェクト315と関連付けられるキャラクタオブジェクトは変わり得る。例えば、打者のバットがボールに当たった瞬間には、可動オブジェクト315はキャラクタオブジェクト312と関連付けられ、いずれかの内野手がボールを捕った場合には、可動オブジェクト315はキャラクタオブジェクト313または314と関連付けられる。投げられたり打たれたりしたボールが飛んだり転がったりしている間は、可動オブジェクト315はどのキャラクタオブジェクトにも関連付けられない。
キャラクタオブジェクト311〜314の視野はHMDシステム100A〜100Dにおける仮想カメラ1の視野とそれぞれ対応する。したがって、各ユーザ190A〜190Dには1人称視点における視界画像が提供される。
図12は、ある実施の形態に従うHMD装置110により提供される視界画像の一例を表す図である。図12での状態(A)は、ユーザ190Aに対応するキャラクタオブジェクト311の1人称視点における視界画像300Aである。この視界画像300Aはキャラクタオブジェクト311の投球動作を表し、キャラクタオブジェクト311の右手から可動オブジェクト(ボール)315が離れようとしている場面を表す。この状態(A)では、キャラクタオブジェクト311と可動オブジェクト315との関連付けは未だ維持されているが、その関連付けはもうすぐ解除されようとしている。状態(B)は、ユーザ190Bに対応するキャラクタオブジェクト312の1人称視点における視界画像300Bである。状態(C)は、ユーザ190Cに対応するキャラクタオブジェクト313の1人称視点における視界画像300Cである。状態(D)は、ユーザ190Dに対応するキャラクタオブジェクト314の1人称視点における視界画像300Dである。これら四つの視界画像300A,300B,300C,300Dは互いに同期が取れている。したがって、各ユーザ190は、キャラクタオブジェクト311が可動オブジェクト315を投げようとしている場面を同時期に共有する。
図13も、ある実施の形態に従うHMD装置110により提供される視界画像の一例を表す図である。図13での状態(A)は、ユーザ190Aに対応するキャラクタオブジェクト311の1人称視点における視界画像300Aである。この視界画像300Aは図12の状態(A)の直ぐ後の状況を表し、具体的には、キャラクタオブジェクト311が投げた可動オブジェクト315がキャラクタオブジェクト312に向かって進んでいる場面を表す。図13の状態(A)では、キャラクタオブジェクト311と可動オブジェクト315との関連付けは既に解除されており、可動オブジェクト315はどのキャラクタオブジェクトとも関連付けられていない。図13での状態(B)は、ユーザ190Bに対応するキャラクタオブジェクト312の1人称視点における視界画像300Bである。図13での状態(C)は、ユーザ190Cに対応するキャラクタオブジェクト313の1人称視点における視界画像300Cである。図13での状態(D)は、ユーザ190Dに対応するキャラクタオブジェクト314の1人称視点における視界画像300Dである。図13に示す四つの視界画像300A,300B,300C,300Dも互いに同期が取れている。したがって、各ユーザ190は、可動オブジェクト315がキャラクタオブジェクト312に向かって飛んでいる場面も同時期に共有する。
本開示では、仮想空間2を共有する複数のユーザ190に対応する複数のHMDシステム100(より具体的には、複数のコンピュータ200)が、サーバ150を介することなく互いに直接にデータ通信し合うことで仮想オブジェクトの同期を取る。このデータ通信を実現するためのネットワークトポロジは限定されないが、例えばメッシュ型のネットワークであってもよい。図14は、ある実施の形態に従うメッシュ型ネットワークの一例を示す図である。この例では、各HMDシステム100の各コンピュータ200が、他のHMDシステム100のコンピュータ200のすべてと直接に接続されている。例えば、HMDシステム100Aのコンピュータ200Aは、他のHMDシステム100B,100C,100Dのコンピュータ200B,200C,200Dのそれぞれと接続されている。なお、コンピュータ200間の接続方法は限定されず、無線ネットワークまたは有線ネットワークでもよい。
ある仮想オブジェクトについて複数のHMDシステム100間で同期を取るために、一つのコンピュータ200がマスタとして機能し、該仮想オブジェクトの動作データを他のコンピュータ200に送信する。該他のコンピュータ200はスレーブとして機能し、マスタから受信した動作データを処理することで該仮想オブジェクトの状態を生成する。
本開示では、あるユーザ190に対応するキャラクタオブジェクトの同期は、そのユーザ190に対応するコンピュータ200がマスタとして機能することで実現する。図12および図13での例では、キャラクタオブジェクト311の動作は、コンピュータ200Aが動作データを他のコンピュータ200B,200C,200Dに送信することで同期される。すなわち、キャラクタオブジェクト311の同期は、コンピュータ200Aがマスタとして機能し、コンピュータ200B,200C,200Dがスレーブとして機能することで実現される。同様に、キャラクタオブジェクト312,313,314の同期は、コンピュータ200B,200C,200Dがそれぞれマスタとして機能することで実現する。
可動オブジェクトは、ユーザ190がキャラクタオブジェクトを介して操作可能であるが、ユーザ190に対応するオブジェクトではない。また、この可動オブジェクトは、特定のキャラクタオブジェクトに関連付けられる場合もあれば、いずれのキャラクタオブジェクトにも関連付けられない場合もある。すなわち、可動オブジェクトは、持ち主が不定であるオブジェクトである。本開示では、可動オブジェクトが特定のキャラクタオブジェクトに関連付けられると、該キャラクタオブジェクトに対応するコンピュータ200がマスタとして機能し、該可動オブジェクトの動作データを他のコンピュータ200に送信する。その後、可動オブジェクトと該キャラクタオブジェクトとの関連付けが解除された場合にも(すなわち、可動オブジェクトがキャラクタオブジェクトから離れた場合にも)、所定の期間において、可動オブジェクトと最後に関連付いていた該キャラクタオブジェクトに対応するコンピュータ200がマスタとして機能し続ける。
図12および図13の例における可動オブジェクト315の同期について説明する。図12ではキャラクタオブジェクト311が可動オブジェクト315を投げようとしているが、この時点ではまだ可動オブジェクト315がキャラクタオブジェクト311と関連付けられている。したがって、キャラクタオブジェクト311に対応するコンピュータ200Aが可動オブジェクト315の動作データを他のコンピュータ200B,200C,200Dに送信する。もちろん、コンピュータ200Aは図12に示す視界画像300Aを出力する。コンピュータ200B,200C,200Dはその動作データを受信して処理することで、図12に示す視界画像300B,300C,300Dをそれぞれ出力する。
可動オブジェクト315がキャラクタオブジェクト311から離れると、キャラクタオブジェクト311と可動オブジェクト315との関連付けが解除されて、視界画像300Aは図13の状態(A)に遷移する。関連付けが解除された後も、キャラクタオブジェクト311に対応するコンピュータ200Aが可動オブジェクト315の動作データを他のコンピュータ200B,200C,200Dに送信し続ける。コンピュータ200B,200C,200Dはその動作データを受信して処理することで、図13に示す、視界画像300Aと同期が取れた視界画像300B,300C,300Dを出力する。
このように、本開示では、可動オブジェクトの同期は、サーバ150を介することなく、個々のユーザ190のHMDシステム100(コンピュータ200)の間で実行される。
図15および図16を参照しながら、複数のHMDシステム100間における可動オブジェクト315の同期をさらに詳しく説明する。図15および図16は、ある実施の形態に従う可動オブジェクト315の同期を表すシーケンス図であり、より具体的には、図12および図13に示す視界画像300A〜300Dに対応する処理を表す。
ステップS21において、各HMDシステム100のプロセッサ10は、仮想空間定義モジュール231および視界画像生成モジュール223として機能し、共通の仮想空間2を示す視界画像を出力する。この処理は図10でのステップS1,S3,S4に対応し得る。各プロセッサ10は、空間情報241、オブジェクト情報242、およびユーザ情報243のうち少なくとも一種類の情報をメモリモジュール240から読み出す。続いて、各プロセッサ10は読み出した情報に基づいて、仮想空間2を定義する仮想空間データを生成することにより、仮想空間2を規定する。あるいは、各プロセッサ10は、コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)から予めダウンロードされたプログラムおよびデータ(仮想空間画像データ、オブジェクトの描画および初期配置等に関する情報)にも基づいて仮想空間データを生成してもよい。続いて、各プロセッサ10は、その仮想空間データに基づいて、初期の視界画像を表示するための視界画像データを生成し、この視界画像データを対応するHMD装置110に出力(送信)する。各HMD装置110はその視界画像データを処理して視界画像を表示する。
ステップS21において、HMDシステム100Aのプロセッサ10Aは、少なくともキャラクタオブジェクト311を含む視界画像300Aを出力する。HMDシステム100Bのプロセッサ10Bは、少なくともキャラクタオブジェクト312を含む視界画像300Bを出力する。HMDシステム100Cのプロセッサ10Cは、少なくともキャラクタオブジェクト313を含む視界画像300Cを出力する。HMDシステム100Dのプロセッサ10Dは、少なくともキャラクタオブジェクト314を含む視界画像300Dを出力する。仮想空間2には可動オブジェクト315も存在するものとする。
ステップS22において、プロセッサ10Aは仮想空間制御モジュール230として機能し、キャラクタオブジェクト311と可動オブジェクト315との衝突を検出してこれらのオブジェクト同士を関連付ける。例えば、プロセッサ10Aは、仮想空間2内でキャラクタオブジェクト311が可動オブジェクト315を掴んだときにこの関連付けを実行する。
ステップS23において、プロセッサ10Aは、キャラクタオブジェクト311に関連付けられた可動オブジェクト315の動作を示す動作データをHMDシステム100B,100C,100Dに送信する。まず、プロセッサ10Aは仮想オブジェクト制御モジュール232として機能し、可動オブジェクト315の動作を示す動作データを生成する。次いで、プロセッサ10Aは同期モジュール233として機能し、その動作データをコンピュータ200B,200C,200Dに送信する。プロセッサ10B,10C,10Dはそれぞれ同期モジュール233として機能し、その動作データを受信する。これらの処理は図10でのステップS8に対応し得る。
ステップS24において、各プロセッサ10は仮想オブジェクト制御モジュール232および視界画像生成モジュール223として機能し、可動オブジェクト315の動作を示す視界画像を出力する。この処理は図10でのステップS9〜S11に対応し得る。
マスタとして機能するプロセッサ10Aは、生成した動作データに基づいて可動オブジェクト315の新たな動作を制御する。続いて、プロセッサ10Aは該新たな動きを表示するための視界画像データを生成し、その視界画像データをHMD装置110Aに出力(送信)する。HMD装置110Aはその視界画像データを処理して視界画像300Aを更新する。
スレーブとして機能するプロセッサ10Bは、受信した動作データに基づいて可動オブジェクト315の新たな動作を制御する。続いて、プロセッサ10Bは該新たな動きを表示するための視界画像データを生成し、その視界画像データをHMD装置110Bに出力(送信)する。HMD装置110Bはその視界画像データを処理して視界画像300Bを更新する。プロセッサ10C,10Dもスレーブとしてプロセッサ10Bと同様の処理を実行し、視界画像300C,300Dをそれぞれ更新する。
ステップS23,S24の処理は繰り返し実行され得る。
ステップS24が実行されると、複数のHMDシステム100間で同期が取れたかたちで、共通の仮想空間2が各HMDシステム100に表示される。例えば、図12に示す視界画像300A〜300D(キャラクタオブジェクト311から可動オブジェクト315が離れようとしている場面)がHMD装置110A〜110Dにそれぞれ表示される。
ステップS25において、プロセッサ10Aは仮想空間制御モジュール230として機能し、可動オブジェクト315がキャラクタオブジェクト311から移動したことを検出する。そして、プロセッサ10Aはキャラクタオブジェクト311と可動オブジェクト315との関連付けを解除する。例えば、プロセッサ10Aは、仮想空間2内でキャラクタオブジェクト311の手から可動オブジェクト315が離れた時に関連付けを解除する。
ステップS26において、プロセッサ10Aは、キャラクタオブジェクト311から移動した可動オブジェクト315の動作を示す動作データをHMDシステム100B,100C,100Dに送信する。プロセッサ10Aは可動オブジェクト315の動作を示す動作データを生成し、その動作データをコンピュータ200B,200C,200Dに送信する。プロセッサ10B,10C,10Dはそれぞれその動作データを受信する。これらの処理は図10でのステップS8に対応し得る。
ステップS27はステップS24と同様であり、したがって、図10でのステップS9〜S11に対応し得る。ステップS27の処理が実行されると、複数のHMDシステム100間で同期が取れたかたちで、共通の仮想空間2における可動オブジェクト315の更新後の動作が各HMDシステム100に表示される。例えば、図13に示す視界画像300A〜300D(キャラクタオブジェクト311から離れた可動オブジェクト315がキャラクタオブジェクト312に向かって進んでいる場面)がHMD装置110A〜110Dにそれぞれ表示される。
ステップS26,S27の処理は、所定の条件を満たす間、所定の時間間隔で繰り返し実行され得る。ある局面では、プロセッサ10Aは、可動オブジェクト315の移動を検出した時点から、他のユーザ(他のコンピュータ200)に対応するキャラクタオブジェクトに可動オブジェクト315が関連付けられる前の任意の時点までの間において、ステップS26,S27を繰り返してもよい。
図16を参照しながらその後の処理を説明する。キャラクタオブジェクト311から離れた可動オブジェクト315が別のキャラクタオブジェクトに関連付けられると、該別のオブジェクトに対応するHMDシステム100がマスタとして機能し、可動オブジェクト315の動作を能動的に管理する。図16の例ではHMDシステム100B(コンピュータ200Bおよびプロセッサ10B)がマスタとして機能する。
ステップS28において、プロセッサ10Bは仮想空間制御モジュール230として機能し、キャラクタオブジェクト312と可動オブジェクト315との衝突を検出してこれらのオブジェクト同士を関連付ける。例えば、プロセッサ10Bは、仮想空間2内でキャラクタオブジェクト312が可動オブジェクト315をバットで打った瞬間にこの関連付けを実行する。
ステップS29において、プロセッサ10Bは、キャラクタオブジェクト312に関連付けられた可動オブジェクト315の動作を示す動作データをHMDシステム100A,100C,100Dに送信する。まず、プロセッサ10Bは仮想オブジェクト制御モジュール232として機能し、可動オブジェクト315の動作を示す動作データを生成する。次いで、プロセッサ10Bは同期モジュール233として機能し、その動作データをコンピュータ200A,200C,200Dに送信する。プロセッサ10A,10C,10Dはそれぞれ同期モジュール233として機能し、その動作データを受信する。これらの処理は図10でのステップS8に対応し得る。
ステップS30において、各プロセッサ10は仮想オブジェクト制御モジュール232および視界画像生成モジュール223として機能し、可動オブジェクト315の動作を示す視界画像を出力する。この処理は図10でのステップS9〜S11に対応し得る。
マスタとして機能するプロセッサ10Bは、生成した動作データに基づいて可動オブジェクト315の新たな動作を制御する。続いて、プロセッサ10Bは該新たな動きを表示するための視界画像データを生成し、その視界画像データをHMD装置110Bに出力(送信)する。HMD装置110Bはその視界画像データを処理して視界画像300Bを更新する。
スレーブとして機能するプロセッサ10Aは、受信した動作データに基づいて可動オブジェクト315の新たな動作を制御する。続いて、プロセッサ10Aは該新たな動きを表示するための視界画像データを生成し、その視界画像データをHMD装置110Aに出力(送信)する。HMD装置110Aはその視界画像データを処理して視界画像300Aを更新する。プロセッサ10C,10Dもスレーブとしてプロセッサ10Bと同様の処理を実行し、視界画像300C,300Dをそれぞれ更新する。
ステップS30により、複数のHMDシステム100間で同期が維持される。例えば、キャラクタオブジェクト312が可動オブジェクト315をバットで打った瞬間がHMD装置110A〜110Dにそれぞれ表示される。
ステップS29,S30の処理は繰り返し実行され得る。
ステップS31において、プロセッサ10Bは仮想空間制御モジュール230として機能し、可動オブジェクト315がキャラクタオブジェクト312から移動したことを検出する。そして、プロセッサ10Bはキャラクタオブジェクト312と可動オブジェクト315との関連付けを解除する。例えば、プロセッサ10Bは、仮想空間2内でキャラクタオブジェクト312のバットから可動オブジェクト315が離れた時に関連付けを解除する。
ステップS32において、プロセッサ10Bは、キャラクタオブジェクト312から移動した可動オブジェクト315の動作を示す動作データをHMDシステム100A,100C,100Dに送信する。プロセッサ10Bは可動オブジェクト315の動作を示す動作データを生成し、その動作データをコンピュータ200A,200C,200Dに送信する。プロセッサ10A,10C,10Dはそれぞれその動作データを受信する。これらの処理は図10でのステップS8に対応し得る。
ステップS33はステップS30と同様であり、したがって、図10でのステップS9〜S11に対応し得る。この処理により、複数のHMDシステム100間で同期が維持される。例えば、バットから離れた可動オブジェクト315が飛んでいく場面がHMD装置110A〜110Dにそれぞれ表示される。
ステップS32,S33の処理は、所定の条件を満たす間、所定の時間間隔で繰り返し実行され得る。ある局面では、プロセッサ10Bは、可動オブジェクト315の移動を検出した時点から、他のユーザ(他のコンピュータ200)に対応するキャラクタオブジェクトに可動オブジェクト315が関連付けられる前の任意の時点までの間において、ステップS32,S33を繰り返してもよい。
ステップS34において、プロセッサ10BはステップS31と同様の処理を実行して、キャラクタオブジェクト311からの可動オブジェクト315の移動を検出する。ステップS35において、プロセッサ10Bは動作データを送信することなくステップS33と同様の処理を実行することで、可動オブジェクト315の更新後の動作をHMD装置110Bに表示させる。このように、所定の条件が満たされなくなると、マスタのコンピュータ200のみが可動オブジェクト315を更新する可能性がある。
図17を参照しながら、マスタとして機能するコンピュータ200による処理を説明する。図17は、ある実施の形態に従うマスタ側での可動オブジェクト315の制御を表すフローチャートである。
ステップS41において、マスタの役割を果たすプロセッサ10(以下では単に「プロセッサ10」という)は仮想空間制御モジュール230として機能し、キャラクタオブジェクトからの可動オブジェクト315の移動を検出する。この処理は、例えば図15でのステップS25に対応し得る。
ステップS42において、プロセッサ10は仮想オブジェクト制御モジュール232として機能し、可動オブジェクト315の移動を示す動作データを生成する。
ステップS43において、プロセッサ10は同期モジュール233として機能し、動作データを送信するか否かを判定する。プロセッサ10は複数のコンピュータ200間で可動オブジェクト315の同期を取る必要があると判定した場合には動作データを送信すると判定する(ステップS43においてYES)。この場合には、プロセッサ10はステップS44において、他のコンピュータ200にその動作データを送信する。この処理は、例えば図15でのステップS26に対応し得る。一方、可動オブジェクト315の同期を取る必要がないと判定した場合には(ステップS43においてNO)、プロセッサ10はステップS44の処理を省略する。
ステップS45において、プロセッサ10は仮想オブジェクト制御モジュール232として機能し、動作データに基づいて可動オブジェクトの動作を更新する。この処理は、例えば図15でのステップS27に対応し得る。
ステップS46において、プロセッサ10は視界画像生成モジュール223として機能し、可動オブジェクト315についての新たな動きを表示するための視界画像データを生成し、その視界画像データをHMD装置110に出力(送信)する。HMD装置110はその視界画像データを処理して視界画像を更新する。この処理は、例えば図15でのステップS27に対応し得る。
ステップS47においてプロセッサ10が可動オブジェクト315の処理を終了すると判定するまで、プロセッサ10はステップS41〜S46を繰り返す。
このように、マスタのコンピュータ200(プロセッサ10)は、他のコンピュータ200への動作データを送信することなく、自機内で可動オブジェクト315の動作をさらに更新する可能性がある。
同期の必要性を判定する具体的な手法は限定されず、マスタのプロセッサ10は任意の手法を用いてステップS43を実行してもよい。例えば、プロセッサ10は、他のユーザ(他のコンピュータ200)に対応する他のキャラクタオブジェクトに可動オブジェクト315が関連付けられた場合に、動作データを送信しないと判定してもよい。プロセッサ10は、自機で演算した可動オブジェクト315の位置と、他のコンピュータ200から受信した他のキャラクタオブジェクトの位置とに基づいて、これら二つのオブジェクトの衝突の有無を判定する。そして、プロセッサ10は、それら二つのオブジェクトが衝突したと判定した場合に、該二つのオブジェクトが関連付けられたと判定し、動作データの送信を中止する。
マスタのプロセッサ10は、他のユーザ(他のコンピュータ200)に対応する他のキャラクタオブジェクトに可動オブジェクト315が関連付けられる前に、動作データを送信しないと判定してもよい。例えば、プロセッサ10は、可動オブジェクト315の移動ベクトルに基づいて、該可動オブジェクト315の動作データの送信の終了タイミングを決定してもよい。プロセッサ10は、移動ベクトルの大きさ(移動距離または速度)が所定の閾値以下になった場合に動作データの送信を終了してもよい。なお、閾値は0でもよいし、0より大きい任意の値でもよい。あるいは、プロセッサ10は、移動ベクトルの向きが所定の方向に固定された場合に動作データの送信を終了してもよい。
一例として、仮想空間2の少なくとも一部がボクセルで表現された視界画像が用いられた場合における、動作データの送信の要否の判定を説明する。プロセッサ10は、複数のボクセルで表される単位区画を基準として用い、可動オブジェクト315が現在の単位区画から他の単位区画に移るか否かに基づいて、動作データの送信の要否を判定してもよい。ここで、ボクセルとは、3次元デジタル画像を構成する最小描画単位であり、一般には立方体で表現される。単位区画は複数のボクセルを並べることで生成される3次元空間である。したがって、可動オブジェクト315が現在の単位区画から他の単位区画に移るか否かの判定は、可動オブジェクト315の移動距離が、ボクセルの個数で表される閾値以下であるかを判定することと同じであるといえる。
プロセッサ10は、可動オブジェクト315の現在の移動ベクトルを動作データから得る。また、プロセッサ10は可動オブジェクト315が現在位置している単位区画を特定し、さらに、該単位区画内での可動オブジェクト315の位置を特定する。続いて、プロセッサ10はこれらの移動ベクトルおよび位置に基づいて、可動オブジェクト315が現在の単位区画から他の単位区画に移るか否かを判定する。可動オブジェクト315が他の単位区画に移ると判定した場合には、プロセッサ10は動作データを他のコンピュータ200に送信する。一方、可動オブジェクトが他の単位区画に移らない(すなわち、さらに動いたとしても最終的には現在の単位区画内で止まる)と判定した場合には、プロセッサ10は動作データの送信を実行しない。
スレーブのプロセッサ10は、マスタのコンピュータ200から動作データが送られてくる間に限って、可動オブジェクト315の動作を更新する。マスタのHMDシステム100が提供する視界画像において、可動オブジェクト315が止まる単位区画内で該可動オブジェクト315が若干動いたとしても、この1単位区画内の動きはスレーブのHMDシステム100に反映されない。そのため、マスタとスレーブとの間で、視界画像内での可動オブジェクト315の位置に、無視して問題ない若干の差異が生じる可能性がある。
図18は、マスタとスレーブとの間での可動オブジェクト315の位置の差異の例を表す図である。この図の例は、図16でのステップS33〜S35に対応し、キャラクタオブジェクト312から移動した可動オブジェクト315が仮想空間2内のある地点で止まろうとしている場面を示す。当該地点およびその周囲が三つの単位区画401〜403で表され、単位区画401に入った可動オブジェクト315が単位区画402に移って最終的に単位区画403内で止まるものとする。可動オブジェクト315が単位区画401から単位区画402に移るときは、マスタのプロセッサ10Bは可動オブジェクト315の動作データを他のコンピュータ200A,200C,200Cに送信する。可動オブジェクト315が単位区画402から単位区画403に移るときにも動作データがマスタからスレーブに送信される。
可動オブジェクト315が単位区画403に入った場合に、プロセッサ10Bは単位区画403内での可動オブジェクト315の更なる動きを求め、その動きを視界画像300B上に表示する。しかし、プロセッサ10Bは可動オブジェクト315が単位区画403から出ないと判定するので、その動きに対応する動作データを他のコンピュータ200A,200C,200Dに送信しない。したがって、視界画像300A,300C,300Dでは可動オブジェクト315の動作が表示されない。この結果、図18に示すように、マスタとスレーブとで可動オブジェクト315の最終的な位置に差異が生じ得る。しかし、この差異は単位区画の一辺の長さ未満であり非常に小さいので、各ユーザ190への仮想空間2の提供に影響を及ぼさない。このような差異を無視することで、動作データの送信が早く終了する。そのため、コンピュータ200間の通信量が低減され、動作データの伝送に起因する各コンピュータ200の処理負荷も低減される。
別の例として、プロセッサ10は、可動オブジェクト315の移動方向がXYZ座標系の特定の1軸と平行になった場合に、動作データの送信を省略してもよい。例えば、プロセッサ10は、可動オブジェクト315が一地点で鉛直方向(Y方向)に平行に所定の範囲内(例えばキャラクタオブジェクトのY方向の寸法以内)でバウンドするようになった場合に、動作データの送信を省略してもよい。
マスタのプロセッサ10は、動作データを送信しないと判定した場合に、自機内における可動オブジェクト315の動作の更新も終了してもよい。この場合には、マスタのコンピュータ200の処理負荷がさらに低減される。
単位区画を構成する最小描画単位はボクセルに限定されず、例えばポリゴンでもよい。
[変形例]
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
コンピュータ200間の通信ネットワークが混雑している場合には、通信の遅延などにより、スレーブのコンピュータ200が、一つの可動オブジェクト315について複数のコンピュータから動作データを受信する可能性がある。この場合には、スレーブのコンピュータ200(プロセッサ10)は、可動オブジェクト315を示す前回の動作データを送ってきたタイミングが最も遅いコンピュータ200から受信した動作データを用いて、視界画像を生成してもよい。プロセッサ10は、前回の動作データの送信タイミングを、動作データに含まれる送信時刻により判定してもよいし、前回の動作データの受信タイミングを送信タイミングとみなして判定してもよい。この場合には、送られてきた動作データのうち一つのみがスレーブ側で処理されるので、スレーブのコンピュータ200の処理負荷が低減される。また、可動オブジェクト315の動きに違和感が生じないように視界画像を生成できる蓋然性が高まる。
上記実施形態においては、HMD装置110によってユーザ190が没入する仮想空間(VR空間)を例示して説明したが、HMD装置110として、透過型のHMD装置を採用してもよい。この場合、透過型のHMD装置を介してユーザ190が視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augumented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザ190に提供してもよい。この場合、ユーザ190の手がキャラクタオブジェクトの全体または一部として処理されてもよい。具体的には、プロセッサ10は、現実空間におけるユーザ190の手の位置の座標情報を特定するとともに、仮想空間2内における対象オブジェクト(例えば可動オブジェクト)の位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサ10は、現実空間におけるユーザ190の手と仮想空間2における対象オブジェクトとの位置関係を把握し、ユーザ190の手と対象オブジェクトとの間で上述した衝突制御等に対応する処理を実行可能となる。その結果、ユーザ190の手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。
本明細書に開示された主題は、例えば、以下のような項目として示される。
(項目1)
表示部(ディスプレイ112)を備えるヘッドマウントデバイス(HMD装置110)を介して第1ユーザ(例えばユーザ190A)に仮想空間(仮想空間2)を提供するために、該第1ユーザに対応する第1コンピュータ(例えばコンピュータ200A)によって実行される情報処理方法であって、
前記第1ユーザに対応する第1キャラクタオブジェクト(例えばキャラクタオブジェクト311)に関連付けられた可動オブジェクト(可動オブジェクト315)を含む前記仮想空間を規定する仮想空間データを生成するステップ(例えば、図10のステップS1または図15のステップS21)と、
前記第1キャラクタオブジェクトからの前記可動オブジェクトの移動を検出した場合に、該移動を示す動作データを生成するステップ(例えば、図15のステップS26)と、
前記仮想空間データと前記動作データとに基づいて第1視界画像(例えば視界画像300A)を生成し、前記表示部に該第1視界画像を表示させるステップ(例えば、図15のステップS27)と、
1以上の第2ユーザ(例えばユーザ190B,190C,190D)に対応する1以上の第2コンピュータ(例えばコンピュータ200B,200C,200D)に前記動作データを送信することで、該1以上の第2コンピュータのそれぞれに、前記第1視界画像と同期する第2視界画像(例えば視界画像300B,300C,300D)を前記動作データに基づき表示させるステップ(例えば、図15のステップS27)と
を含む情報処理方法。
本項目の情報処理方法によれば、第1コンピュータに対応する第1キャラクタオブジェクトから可動オブジェクトが移動すると、その移動を示す動作データが他のコンピュータ(第2コンピュータ)に送られる。したがって、第2コンピュータは第1コンピュータによる第1視界画像と同期する第2視界画像を表示させることができる。複数のコンピュータ間で視界画像の同期が取られるので、仮想空間におけるユーザの仮想体験のエンタテイメント性を向上させることができる。
仮想空間の中には、場面によってユーザ操作とは関係なく動いたりユーザ操作に基づいて動いたりする可動オブジェクトが存在し得る。可動オブジェクトとユーザが操作するキャラクタオブジェクトとの関連付けはいつどのように変化するか予測できない。従来は、そのような可動オブジェクトの同期を取るために、サーバが可動オブジェクトの動きを追跡して各ユーザ端末にその動きを伝送していた。例えば、上記特許文献1に記載のシステムでは、サーバが仮想ボールの移動および位置を追跡し、仮想ボールの到着の正確な位置およびタイミングをユーザデバイスに通信する。
しかし、クライアント−サーバ型のシステムでは同期処理にどうしても時間が掛かってしまうので、可動オブジェクトの動作の更新に要する時間も増大してしまう。処理速度が低下すると、視界画像の更新頻度(フレームレート)が低下してユーザがVR酔いしてしまう可能性がある。本項目の情報処理方法によれば、個々のユーザのHMDシステム(コンピュータ)の間で可動オブジェクトの動作データが直接に伝送されるので、サーバを介する場合よりも高速に該動作データが各HMDシステムで処理される。その結果、仮想空間が円滑に表示され続け、VR酔いを防止することが可能になる。
サーバを用いることなくコンピュータで可動オブジェクトの動作データを送受信する場合には、どのコンピュータがマスタとして動作データを他のコンピュータに送信するかを決める必要がある。1台のコンピュータが常にマスタとして機能することも考えられるが、この場合にはマスタのコンピュータの処理負荷が増大してしまい、マスタ内での処理遅延や通信遅延などの不都合が生じて、結局、視界画像の更新頻度およびVR酔いを引き起こしかねない。本項目の情報処理方法によれば、最後に可動オブジェクトと関連付いていたキャラクタオブジェクトに対応するコンピュータがマスタとして機能するので、動作データの送信処理が複数のコンピュータに分散される。その結果、複数のコンピュータ間で処理負荷が均されてシステム全体としての処理負荷が下がるので、視界画像の更新頻度が高いレベルで維持され、VR酔いを防止することが可能になる。
(項目2)
前記移動を検出した時点から、前記第2ユーザ(例えばユーザ190B)に対応する第2キャラクタオブジェクト(例えばキャラクタオブジェクト312)に前記可動オブジェクトが関連付けられる前の時点までの間において、前記動作データを生成するステップと、前記第1視界画像を表示させるステップと、前記動作データを送信するステップとを繰り返す、
項目1の情報処理方法。
本項目の情報処理方法によれば、可動オブジェクトが他のキャラクタオブジェクト(第2キャラクタオブジェクト)に関連付けられるまでは、最後に該可動オブジェクトと関連付いていたキャラクタオブジェクトに対応するコンピュータが動作データを繰り返し送信する。したがって、仮想空間において可動オブジェクトの同期を取り続けることができる。
(項目3)
前記可動オブジェクトの移動ベクトルに基づいて前記動作データの送信の終了タイミングを決定するステップ(図17のステップS43)
を含む項目1または2の情報処理方法。
本項目の情報処理方法によれば、可動オブジェクトの動作に合わせて動作データの送信期間が決まるので、可動オブジェクトの同期に必要な通信の期間および回数が最低限に抑えられる。したがって、各コンピュータの処理負荷を抑えつつ、同期の取れた視界画像を高い更新頻度で表示させることができる。
(項目4)
前記可動オブジェクトの移動距離が所定の閾値以下になった場合に前記動作データの送信を終了するステップ(図17のステップS43)
を含む項目3の情報処理方法。
本項目の情報処理方法によれば、可動オブジェクトが今後あまり動かないと推定される場合に動作データの送信が打ち切られるので、可動オブジェクトの同期に必要な通信の期間および回数が最低限に抑えられる。したがって、各コンピュータの処理負荷を抑えつつ、同期の取れた視界画像を高い更新頻度で表示させることができる。
(項目5)
前記所定の閾値が前記第1視界画像の最小描画単位の個数で表される、
項目4の情報処理方法。
本項目の情報処理方法によれば、可動オブジェクトの移動距離と、動作データの送信の要否を判断するための閾値とが視界画像の最小描画単位の個数で表されるので、視界画像の粒度との関係で可動オブジェクトの移動を制御することができる。そのため、視界画像にとって適切な同期を取ることができる。
(項目6)
項目1〜5のいずれか一項の情報処理方法をコンピュータに実行させるプログラム。
(項目7)
少なくともメモリ(メモリモジュール240)と、前記メモリに結合されたプロセッサ(プロセッサ10)とを備え、前記プロセッサの制御により項目1〜5のいずれか一項の情報処理方法を実行する、装置。
(項目8)
表示部を備えるヘッドマウントデバイスを介して第1ユーザ(例えばユーザ190A)に仮想空間を提供するために、該第1ユーザに対応する第1コンピュータ(例えばコンピュータ200A)によって実行される情報処理方法であって、
可動オブジェクトを含む前記仮想空間を規定する仮想空間データを生成するステップ(例えば、図10のステップS1または図15のステップS21)と、
第2ユーザ(例えばユーザ190B)に対応するキャラクタオブジェクト(キャラクタオブジェクト312)からの前記可動オブジェクトの移動を示す動作データを、該第2ユーザに対応する第2コンピュータ(例えばコンピュータ200B)から受信するステップ(例えば、図16のS32)と、
前記仮想空間データと前記動作データとに基づいて、前記第2コンピュータにより表示される第2視界画像(例えば視界画像300B)と同期する第1視界画像(例えば視界画像300A)を生成し、前記表示部に該第1視界画像を表示させるステップ(例えば、図16のS33)と
を含む情報処理方法。
本項目の情報処理方法によれば、他のコンピュータ(第2コンピュータ)に対応するキャラクタオブジェクトから可動オブジェクトが移動すると、その移動を示す動作データがそのコンピュータから送られてくる。したがって、この動作データを受信したコンピュータ(第1コンピュータ)は、第2コンピュータによる第2視界画像と同期する第1視界画像を表示させることができる。複数のコンピュータ間で視界画像の同期が取られるので、仮想空間におけるユーザの仮想体験のエンタテイメント性を向上させることができる。
本項目の情報処理方法によれば、個々のユーザのHMDシステム(コンピュータ)の間で可動オブジェクトの動作データが直接に伝送されるので、サーバを介する場合よりも高速に該動作データが各HMDシステムで処理される。また、最後に可動オブジェクトと関連付いていたキャラクタオブジェクトに対応するコンピュータがマスタとして機能するので、動作データの送信処理が複数のコンピュータに分散される。その結果、複数のコンピュータ間で処理負荷が均されてシステム全体としての処理負荷が下がる。これらが仮想空間の円滑な表示に貢献するので、VR酔いを防止することが可能になる。
(項目9)
複数の前記第2コンピュータから前記動作データを受信した場合に、前回の動作データを送ってきたタイミングが最も遅い前記第2コンピュータから受信した動作データを用いて、前記第1視界画像を生成するステップ
を含む項目8の情報処理方法。
本項目の情報処理方法によれば、送られてきた動作データのうち一つのみが処理されるので、コンピュータの処理負荷が低減される。また、可動オブジェクトの動きに違和感が生じないように視界画像を生成できる蓋然性が高まる。
1…仮想カメラ、2…仮想空間、5…基準視線、10…プロセッサ、11…メモリ、12…ストレージ、13…入出力インターフェース、14…通信インターフェース、15…バス、19…ネットワーク、21…中心、22…仮想空間画像、23…視界領域、24,25…領域、30…グリップ、31…フレーム、32…天面、33,34,36,37…ボタン、35…赤外線LED、38…アナログスティック、100,100A,100B,100C,100D…HMDシステム、110,110A,110B,110C,110D…HMD装置、112…ディスプレイ、114…センサ、116…カメラ、118…マイク、120…HMDセンサ、130…モーションセンサ、140…注視センサ、150…サーバ、160…コントローラ、160R…右コントローラ、190,190A…ユーザ、200…コンピュータ、220…表示制御モジュール、221…仮想カメラ制御モジュール、222…視界領域決定モジュール、223…視界画像生成モジュール、224…基準視線特定モジュール、230…仮想空間制御モジュール、231…仮想空間定義モジュール、232…仮想オブジェクト制御モジュール、233…同期モジュール、240…メモリモジュール、241…空間情報、242…オブジェクト情報、243…ユーザ情報、250…通信制御モジュール、300A,300B,300C,300D…視界画像、311〜314…キャラクタオブジェクト、315…可動オブジェクト、401〜403…単位区画。

Claims (8)

  1. 表示部を備えるヘッドマウントデバイスを介して第1ユーザに仮想空間を提供するために、該第1ユーザに対応する第1コンピュータによって実行される情報処理方法であって、
    前記第1ユーザに対応する第1キャラクタオブジェクトに関連付けられた可動オブジェクトを含む前記仮想空間を規定する仮想空間データを生成するステップと、
    前記第1キャラクタオブジェクトからの前記可動オブジェクトの移動を検出した場合に、該移動を示す動作データを生成するステップと、
    前記仮想空間データと前記動作データとに基づいて第1視界画像を生成し、前記表示部に該第1視界画像を表示させるステップと、
    1以上の第2ユーザに対応する1以上の第2コンピュータに前記動作データを送信することで、該1以上の第2コンピュータのそれぞれに、前記第1視界画像と同期する第2視界画像を前記動作データに基づき表示させるステップと
    を含む情報処理方法。
  2. 前記可動オブジェクトの移動ベクトルに基づいて前記動作データの送信の終了タイミングを決定するステップ
    を含む請求項1に記載の情報処理方法。
  3. 前記可動オブジェクトの移動距離が所定の閾値以下になった場合に前記動作データの送信を終了するステップ
    を含む請求項に記載の情報処理方法。
  4. 前記所定の閾値が前記第1視界画像の最小描画単位の個数で表される、
    請求項に記載の情報処理方法。
  5. 請求項1〜のいずれか一項に記載の情報処理方法をコンピュータに実行させるプログラム。
  6. 少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により請求項1〜のいずれか一項に記載の情報処理方法を実行する、装置。
  7. 表示部を備えるヘッドマウントデバイスを介して第1ユーザに仮想空間を提供するために、該第1ユーザに対応する第1コンピュータによって実行される情報処理方法であって、
    可動オブジェクトを含む前記仮想空間を規定する仮想空間データを生成するステップと、
    第2ユーザに対応するキャラクタオブジェクトからの前記可動オブジェクトの移動を示す動作データを、該第2ユーザに対応する第2コンピュータから受信するステップと、
    前記仮想空間データと前記動作データとに基づいて、前記第2コンピュータにより表示される第2視界画像と同期する第1視界画像を生成し、前記表示部に該第1視界画像を表示させるステップと
    を含む情報処理方法。
  8. 複数の前記第2コンピュータから前記動作データを受信した場合に、前回の動作データを送ってきたタイミングが最も遅い前記第2コンピュータから受信した動作データを用いて、前記第1視界画像を生成するステップ
    を含む請求項に記載の情報処理方法。
JP2017136319A 2017-07-12 2017-07-12 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム Active JP6946084B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017136319A JP6946084B2 (ja) 2017-07-12 2017-07-12 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017136319A JP6946084B2 (ja) 2017-07-12 2017-07-12 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Publications (2)

Publication Number Publication Date
JP2019017483A JP2019017483A (ja) 2019-02-07
JP6946084B2 true JP6946084B2 (ja) 2021-10-06

Family

ID=65352397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136319A Active JP6946084B2 (ja) 2017-07-12 2017-07-12 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Country Status (1)

Country Link
JP (1) JP6946084B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129942A (ja) * 2004-11-02 2006-05-25 Namco Ltd プログラム、情報記憶媒体及びゲーム装置
JP6243586B2 (ja) * 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP6721295B2 (ja) * 2015-04-24 2020-07-15 株式会社コロプラ ゲーム体験共有システム、方法、プログラム及び記録媒体
JP6050884B1 (ja) * 2015-12-24 2016-12-21 株式会社コロプラ 対戦型ゲームの制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2019017483A (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
US10936149B2 (en) Information processing method and apparatus for executing the information processing method
JP6263252B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6201028B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20180329487A1 (en) Information processing method, computer and program
JP6248219B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018147465A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2019086848A (ja) プログラム、情報処理装置、および方法
JP7030669B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6263292B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6419268B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6368404B1 (ja) 情報処理方法、プログラム及びコンピュータ
JP2019087262A (ja) プログラム、情報処理装置、および方法
JP2019168962A (ja) プログラム、情報処理装置、及び情報処理方法
JP2019020832A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018092592A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2022020686A (ja) 情報処理方法、プログラム、およびコンピュータ
JP6856572B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6392953B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6330072B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6839046B2 (ja) 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム
JP6946084B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019048045A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019016358A (ja) 情報処理方法、プログラム及びコンピュータ

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210915

R150 Certificate of patent or registration of utility model

Ref document number: 6946084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150