以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ140と、スピーカ115と、マイク119とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。他の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
サーバ150は、プロセッサ151と、メモリ152と、通信インターフェイス153とを含む。サーバ150は、周知の構成を有するコンピュータによって実現される。プロセッサ151は、命令を実行する。メモリ152は、RAM(Random Access Memory)その他の揮発性メモリである。通信インターフェイス153は、コンピュータ200、ユーザ端末201A,201N等と通信する。ストレージ154は、サーバ150がコンピュータ200その他の外部の装置から受信したデータまたはプロセッサ151によって生成されたデータを保持する。ストレージ154は、例えば、ハードディスク、SSD(Solid State Disc)その他の不揮発性の記憶装置によって実現され得る。
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間2をユーザ190に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、たとえば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視認すると、仮想空間2に没入することができる。ある実施の形態において、仮想空間2は、たとえば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能なメニューの画像を含む。複数のコンピュータ200が各ユーザの動作に基づく信号を受け渡しすることで、複数のユーザが一の仮想空間2で仮想体験できる構成であれば、各ユーザに対応するアバターオブジェクトが、仮想空間2に提示される。
なお、オブジェクトとは、仮想空間2に存在する仮想の物体である。ある局面において、オブジェクトは、ユーザに対応するアバターオブジェクト、アバターオブジェクトが身に着ける仮想アクセサリおよび仮想衣服、ユーザに関する情報が示されたパネルを模した仮想パネル、手紙を模した仮想手紙、およびポストを模した仮想ポストなどを含む。さらに、アバターオブジェクトは、仮想空間2においてユーザ190を象徴するキャラクタであり、たとえば人型、動物型、ロボット型などを含む。オブジェクトの形は様々である。ユーザ190は、予め決められたオブジェクトの中から好みのオブジェクトを仮想空間2に提示するようにしてもよいし、自分が作成したオブジェクトを仮想空間2に提示するようにしてもよい。
ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。他の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、たとえば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
スピーカ115は、コンピュータ200から受信した音声データに対応する音声(発話)を外部に出力する。マイク119は、ユーザ190の発話に対応する音声データをコンピュータ200に出力する。ユーザ190は、マイク119を用いて他のユーザに向けて発話する一方で、スピーカ115を用いて他のユーザの音声(発話)を聞くことができる。
より具体的には、ユーザ190がマイク119に向かって発話すると、当該ユーザ190の発話に対応する音声データがコンピュータ200に入力される。コンピュータ200は、その音声データを、ネットワーク19を介してサーバ150に出力する。サーバ150は、コンピュータ200から受信した音声データを、ネットワーク19を介して他のコンピュータ200に出力する。他のコンピュータ200は、サーバ150から受信した音声データを、他のユーザが装着するHMD110のスピーカ115に出力する。これにより、他のユーザは、HMD110のスピーカ115を介してユーザ190の音声を聞くことができる。同様に、他のユーザからの発話は、ユーザ190が装着するHMD110のスピーカ115から出力される。
コンピュータ200は、他のユーザのコンピュータ200から受信した音声データに応じて、当該他のユーザに対応する他アバターオブジェクトを動かすような画像をモニタ112に表示する。たとえば、ある局面において、コンピュータ200は、他アバターオブジェクトの口を動かすような画像をモニタ112に表示することで、あたかも仮想空間2内でアバターオブジェクト同士が会話しているかのように仮想空間2を表現する。このように、複数のコンピュータ200間で音声データの送受信が行なわれることで、一の仮想空間2内で複数のユーザ間での会話(チャット)が実現される。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は、たとえば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
他の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。たとえば、センサ114が、角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサなどである場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間2を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。たとえば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
サーバ150は、コンピュータ200にプログラムを送信し得る。他の局面において、サーバ150は、他のユーザによって使用されるHMD110に仮想現実を提供するための他のコンピュータ200と通信し得る。たとえば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間2において複数のユーザが共通のゲームを楽しむことを可能にする。また、上述したように、複数のコンピュータ200が各ユーザの動作に基づく信号を送受信することで、一の仮想空間2内で複数のユーザが会話を楽しむことができる。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。他の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。他の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。他の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザ190の手に取り付けられて、ユーザ190の手の動きを検出する。たとえば、モーションセンサ130は、手の回転速度、回転数などを検出する。モーションセンサ130によって得られたユーザ190の手の動きの検出結果を表すデータ(以下、検出データともいう)は、コンピュータ200に送られる。モーションセンサ130は、たとえば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。他の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。たとえば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、たとえば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
他の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに他の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、たとえば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、たとえば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間2を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間2を規定するためのデータおよびオブジェクトなどを含む。
なお、他の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェース13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。たとえば、入出力インターフェース13は、モーションセンサ130から出力された信号の入力を受ける。他の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光などをコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(たとえば、サーバ150、他のユーザのコンピュータ200など)と通信する。ある局面において、通信インターフェース14は、たとえば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間2を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間2で実行可能なゲームソフトウェアなどを含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間2を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、他の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(たとえば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間2を提供することもできるので、各ユーザは同一の仮想空間2で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間2において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザ190の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(たとえば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間2についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画など)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザ190によって視認可能な仮想空間画像22が展開される仮想空間2をユーザ190に提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、たとえば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザ190が仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザ190の視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザ190の視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ190の視線方向の決定について説明する。図5は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。他の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、たとえば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間2を提供する。視界画像は、仮想空間画像22のうちの視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザ190が向いた方向の視界領域23に重畳する画像に更新される。ユーザ190は、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザ190に与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8の分図(A)に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラ(図示しない)とを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。他の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。たとえば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。他の局面において、右コントローラ800と左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
図8の分図(B)は、右コントローラ800を把持するユーザ190の右手に対応して仮想空間2に配置されるハンドオブジェクト810の一例を示す。たとえば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。たとえば、入力操作が、右コントローラ800のボタン34に対して行なわれると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタン34に対して行なわれていない場合には、分図(B)に示すように、ハンドオブジェクト810の人差し指を伸ばした状態とすることもできる。たとえば、ハンドオブジェクト810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
[HMDの制御装置]
図9を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、音声制御モジュール225と、メモリモジュール240と、通信制御モジュール250と、再生制御モジュール260と、撮影制御モジュール270とを備える。
表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。
仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、手オブジェクト制御モジュール233とを含む。
ある実施の形態において、表示制御モジュール220、仮想空間制御モジュール230、および音声制御モジュール225は、プロセッサ10によって実現される。他の実施の形態において、複数のプロセッサ10が表示制御モジュール220、仮想空間制御モジュール230、および音声制御モジュール225として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向きなどを制御する。視界領域決定モジュール222は、HMD110を装着したユーザ190の頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像のデータ(視界画像データともいう)を生成する。さらに、視界画像生成モジュール223は、仮想空間制御モジュール230から受信したデータに基づいて、視界画像データを生成する。視界画像生成モジュール223によって生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトのデータを生成する。オブジェクトは、たとえば、他アバターオブジェクト、仮想パネル、仮想手紙、および仮想ポストなどを含み得る。仮想オブジェクト生成モジュール232によって生成されたデータは、視界画像生成モジュール223に出力される。
手オブジェクト制御モジュール233は、手オブジェクトを仮想空間2に配置する。手オブジェクトは、たとえば、コントローラ160を保持したユーザ190の右手あるいは左手に対応する。ある局面において、手オブジェクト制御モジュール233は、右手あるいは左手に対応する手オブジェクトを仮想空間2に配置するためのデータを生成する。また、手オブジェクト制御モジュール233は、ユーザ190によるコントローラ160の操作に応じて、手オブジェクトを動かすためのデータを生成する。手オブジェクト制御モジュール233によって生成されたデータは、視界画像生成モジュール223に出力される。
他の局面において、ユーザ190の体の一部の動き(たとえば、左手、右手、左足、右足、頭などの動き)がコントローラ160に関連付けられている場合、仮想空間制御モジュール230は、ユーザ190の体の一部に対応する部分オブジェクトを仮想空間2に配置するためのデータを生成する。仮想空間制御モジュール230は、ユーザ190が体の一部を用いてコントローラ160を操作すると、部分オブジェクトを動かすためのデータを生成する。これらのデータは、視界画像生成モジュール223に出力される。
音声制御モジュール225は、HMD110から、ユーザ190のマイク119を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、音声制御モジュール225によって特定されたコンピュータ200に送信される。音声制御モジュール225は、ネットワーク19を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ115から出力する。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、コンテンツデータ244と、履歴データ245とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。さらに、オブジェクト情報242は、コントローラ160を操作するユーザ190の手に相当する手オブジェクトを仮想空間2に配置するためのデータと、各ユーザのアバターオブジェクトを仮想空間2に配置するためのデータと、仮想パネルなどのその他のオブジェクトを仮想空間2に配置するためのデータとを含む。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラムなどを保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザ190によって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(たとえば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
コンテンツデータ244は、仮想空間2にコンテンツを展開するためのデータである。このデータは、コンテンツの提供事業者によって作成される。別の局面において、コンテンツデータ244は、コンテンツを提供するコミュニティに予め登録している一般ユーザによって提供されるものであってもよい。この場合、一般ユーザは、自らが投稿したコンテンツの視聴に基づき、予め定められた基準に基づき、ポイントその他の報酬を受けられてもよい。
履歴データ245は、仮想空間2において再生、撮影その他の動作が行なわれた履歴を含む。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
再生制御モジュール260は、コンテンツデータ244を用いた仮想空間2における再生を制御する。撮影制御モジュール270は、仮想空間2におけるユーザ190による撮影を制御する。
ある局面において、撮影制御モジュール270は、仮想空間2において撮影が行なわれることを検知し、その検知に応答して、画像の再生を停止する。ある局面において、撮影制御モジュール270は、仮想空間2において撮影が行なわれることを検知し、その検知に応答して、画像の再生を制御するためのユーザインターフェイスオブジェクトを仮想空間2に提示する。
ある局面において、撮影制御モジュール270は、カメラオブジェクトが仮想空間2に提示されたことに基づいて、撮影が行なわれることを検知する。ある局面において、再生制御モジュール260は、仮想空間2のうち、カメラオブジェクトにより撮影される方向において再生されている画像の再生を停止する。別の局面において、再生制御モジュール260は、カメラオブジェクトの撮影範囲に含まれる画像の再生を停止し得る。
ある局面において、撮影制御モジュール270は、ユーザ190による自撮りが可能な態様でカメラオブジェクトを提示する。例えば、撮影制御モジュール270は、インカメラがユーザ190の方を向くように、カメラオブジェクトを提示する。
ある局面において、撮影制御モジュール270は、ユーザ190に対応するアバターオブジェクトと、当該アバターオブジェクトの背景にある画像とを、カメラオブジェクトのプレビュー画面に提示する。再生制御モジュール260は、プレビュー画面に表示される画像の再生を停止する。
ある局面において、撮影制御モジュール270は、ユーザ190の動作を検出する。例えば、撮影制御モジュール270は、検出された動作が撮影を示唆する動作として予め定められた動作であることに基づいて、撮影が行なわれることを検知する。
ある局面において、撮影制御モジュール270は、プレビュー画面を有するカメラオブジェクトを仮想空間2に提示し、ユーザ190に対応するアバターオブジェクトを仮想空間2に提示する。撮影制御モジュール270は、アバターオブジェクトの視線がプレビュー画面を向いていることに基づいて、撮影が行なわれることを検知する。
ある局面において、撮影制御モジュール270は、カメラオブジェクトを仮想空間2に提示する。仮想オブジェクト生成モジュール232は、ユーザの四肢のいずれかに対応する四肢オブジェクトを仮想空間2に提示するためのデータを生成する。視界画像生成モジュール223は、そのデータに基づいて四肢オブジェクトを仮想空間2に提示する。四肢オブジェクトは、例えば、右手オブジェクト、左手オブジェクト、右足オブジェクト、左足オブジェクトである。プロセッサ10は、ユーザ190の動きに基づいて、四肢オブジェクトを移動する。撮影制御モジュール270は、四肢オブジェクトがカメラオブジェクトの近傍にあることに基づいて、撮影が行なわれることを検知する。
ある局面において、再生制御モジュール260は、予め定められた時間遡ることにより再生済みの画像を提示する。ある局面において、再生制御モジュール260は、仮想空間2において再生が停止された場所を記録する。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、たとえば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。他の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
コンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリなどの固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラムなどを含み得る。
以下、仮想空間2における楽器演奏の処理がコンピュータ200によって実現される場合について説明する。この場合の形態は、HMD110がコンピュータ200に接続される形態、および、HMD110がプロセッサを内蔵している形態のいずれであってもよい。
(1) ある局面において、プロセッサ10は、仮想空間2を定義し、仮想空間2に楽器オブジェクトを配置し、楽器を演奏するために使用される一つ以上の演奏オブジェクトを仮想空間2に配置する。さらに、プロセッサ10は、仮想空間2に対応する視界画像をHMD110に提示し、仮想空間2において楽曲を再生し、楽曲の進行に応じて楽器オブジェクトに対する動作を指示するガイドオブジェクトを、順次、楽器オブジェクトの近傍に提示する。プロセッサ10は、HMD110のユーザの四肢のいずれかの動きを検知し、その動きに応じて、演奏オブジェクトを楽器オブジェクトに対して動かし、演奏オブジェクトが楽器オブジェクトによって予め定められた範囲に入ったことに基づいて、楽曲に応じた音を出力する。
(2) ある局面において、プロセッサ10は、楽器オブジェクトを演奏すべきタイミングで、ガイドオブジェクトを演奏オブジェクトに到達させ、ガイドオブジェクトが演奏オブジェクトに到達したことに応答して、楽器オブジェクトをタイミングよく演奏できたか否かを判断する。
(3) ある局面において、プロセッサ10は、ドラムに対応するドラムオブジェクトを配置し、ドラムを演奏するためのスティックに対応するスティックオブジェクトを配置する。演奏オブジェクトが予め定められた範囲に入ることは、スティックオブジェクトがドラムオブジェクトの外から当該ドラムオブジェクトの打面に入ることを含む。
(4) ある局面において、音を出力するステップは、スティックオブジェクトの移動速度に応じた音量を出力するステップを含む。
(5) ある局面において、ドラムオブジェクトは、ドラムを構成する複数の要素オブジェクトを含む。ガイドオブジェクトを提示するステップは、各要素オブジェクトの演奏タイミングに応じたガイドオブジェクトをそれぞれ提示するステップを含む。
(6) ある局面において、プロセッサ10は、ギターに対応するギターオブジェクトを配置し、ギターを演奏するためのコードが適用される位置に向けてガイドオブジェクトを遷移させ、ガイドオブジェクトが当該位置に到達するタイミングで、演奏オブジェクトのうちの一つの演奏オブジェクトが位置に配置され、他の演奏オブジェクトがギターオブジェクトの弦を弾く動作が行なわれることに基づいて、音を出力する。
(7) ある局面において、プロセッサ10は、複数のコードの各々に対応するガイドオブジェクトを連続して並べる。
(8) ある局面において、プロセッサ10は、鍵盤楽器に対応する鍵盤楽器オブジェクトを配置し、手を表わす手オブジェクトを配置し、演奏対象となる鍵盤に対応する鍵盤オブジェクトの近傍にガイドオブジェクトを配置し、手オブジェクトが鍵盤オブジェクトに接したことに基づいて音を出力する。
(9) ある局面において、プロセッサ10は、現実空間においてユーザの手が平面に置かれていることに基づいて、仮想空間2に鍵盤楽器オブジェクトを配置する。
(10) ある局面において、プロセッサ10は、手オブジェクトが鍵盤オブジェクトに接したことに基づいて、他の鍵盤オブジェクトとは異なった態様で当該鍵盤オブジェクトを提示する。
(11) ある局面において、プロセッサ10は、複数の楽器のいずれかの選択を受け付けるインターフェイスを仮想空間2に提示する。
(12) ある局面において、プロセッサ10は、仮想空間2を共有する他のHMD110のユーザによって使用される他の楽器オブジェクトを仮想空間2に提示する。
(13) ある局面に従うと、楽器の選択を支援するためにコンピュータで実行される方法が提供される。この方法は、HMD110によって提供される仮想空間2を定義するステップと、仮想空間2に楽器オブジェクトを配置するステップと、楽器を演奏するために使用される一つ以上の演奏オブジェクトを仮想空間2に配置するステップと、仮想空間2に対応する視界画像をHMD110に提示するステップと、仮想空間2において楽曲を再生するステップと、楽曲の進行に応じて楽器オブジェクトに対する動作を指示するガイドオブジェクトを、順次、楽器オブジェクトの近傍に提示するステップと、HMD110のユーザの四肢のいずれかの動きを検知するステップと、動きに応じて、演奏オブジェクトを楽器オブジェクトに対して動かすステップと、演奏オブジェクトが楽器オブジェクトによって予め定められた範囲に入ったことに基づいて、楽曲に応じた音を出力するステップとを含む。
(14) ある局面において、上記方法は、複数の楽器のいずれかの選択を受け付けるインターフェイスを仮想空間2に提示するステップをさらに含む。
(15) ある局面において、ガイドオブジェクトを楽器オブジェクトの近傍に提示するステップは、楽器オブジェクトを演奏すべきタイミングで、ガイドオブジェクトが演奏オブジェクトに到来することを含む。当該方法は、ガイドオブジェクトが演奏オブジェクトに到来したことに応答して、楽器オブジェクトをタイミングよく演奏できたか否かを判断するステップをさらに含む。
(16) ある局面において、当該方法は、楽器オブジェクトをタイミングよく演奏できたか否かの判定結果に応じて、課金のためのインターフェイスオブジェクトを仮想空間2に提示するステップをさらに含む。
(17) ある局面において、当該方法は、選択された楽器の購入の要求を受け付けるインターフェイスオブジェクトを仮想空間2に提示するステップをさらに含む。
[HMDシステムの制御構造]
図10を参照して、HMDシステム100の制御構造について説明する。図10は、ある実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。
図10に示されるように、ステップS1010にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間2を定義する。
ステップS1020にて、プロセッサ10は、仮想カメラ1を初期化する。たとえば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS1034にて、HMDセンサ120は、HMD110から発信される複数の赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
ステップS1040にて、プロセッサ10は、HMD110の動き検知データに含まれる位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する。
ステップS1050にて、プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを提示する。このとき提示されるオブジェクトは、他アバターオブジェクトを含む。
ステップS1060にて、コントローラ160は、モーションセンサ130から出力される信号に基づいて、ユーザ190の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。なお、他の局面において、ユーザ190によるコントローラ160の操作は、ユーザ190の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1065にて、プロセッサ10は、コントローラ160から取得した検出データに基づいて、ユーザ190によるコントローラ160の操作を検出する。
ステップS1070にて、プロセッサ10は、手オブジェクトを仮想空間2に提示するための視界画像データを生成する。
ステップS1080にて、プロセッサ10は、ユーザ190によるコントローラ160の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。
ステップS1092にて、HMD110は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ112に表示する。
[技術思想]
図11を参照して、本開示に係る技術思想について説明する。図11は、ユーザ190が仮想空間で楽器を演奏するために行われる手順を表わすフローチャートである。技術思想は、仮想空間において音楽を演奏するタイミングがユーザに通知されるというものである。当該タイミングは、例えば、ドラムを叩くタイミング、キーボードのキーを押すタイミング等を含む。タイミングの通知方法としては、例えば、演奏箇所(すなわち、ドラム面、キー等)に向けて何らかのインジケータが表示される方法がある。当該技術思想は、個人で使用するHMDは勿論、複数人のグループが集まる商業施設、例えばカラオケ店等や楽器店においても適用可能である。カラオケ店で実施される場合、ユーザはカラオケ音源の演奏に参加でき、他の顧客(歌っている人、聞いている人、他の楽器を演奏している人等)との一体感を高めることもできる。
より詳しくは、カラオケ店にHMDシステム100が設置される。顧客は、気軽に楽器演奏を体験できる。顧客が左右の手にコントローラを装着し、左手でトラックを選択し、右手でタイミングを入力する。別の局面において、演奏の動画が配信されてもよい。楽器を他のユーザと共有することもできる。
[ギターの演奏]
仮想空間でギターを演奏する場合において、ユーザ190の指をトラッキングしないときは、HMDシステム100は、ギターの演奏にかかるコードを判別できないので、ユーザ190の手に装着されたコントローラー160の位置を区別することで、指のトラッキングおよびコードの指定を検出する。例えば、ギターの弦のところに、当たり判定領域が関連付けられた複数のオブジェクトが設置される。コントローラー160が接触している弦に応じて演奏時に出力される音が変わる。
[ドラムの演奏]
別の局面において、仮想空間2でドラムを演奏することが考えられる。この場合、現実空間でのドラム演奏では有り得ない操作が仮想空間では起こりえる。当該操作は、例えば、スティックオブジェクトが下のドラム面を叩くこと、あるいは、ドラムの横から叩くこと、等である。そこで、有り得ない操作が行われた場合に音が出力されることを防止するために、例えば、正方形型の当たり判定領域が規定され、1フレーム前のスティックの場所と現在のスティックの場所とを比較し、縦軸の座標値(z座標値)が増加、もしくは縦軸の座標値の移動距離よりも横軸の座標値の移動距離(水平方向の移動)が長い場合、当たり判定と判断されないように構成される。それ以外の場合には、当たり判定と判断され、移動距離が取得される。当たり判定であると判断された場合のみ、HMD110は音を再生する。この場合、音量は、移動距離に応じて調整される。
[ピアノの演奏]
仮想空間2でピアノを演奏する場合、現実空間にある平らな台(例えば、ガラステーブル、膝の上に置かれた板等)の上が検出されるようにHMDシステム100が設置され、仮想空間上に鍵盤が設置される。ユーザは、例えば、手袋型のコントローラー160やLeapMotionその他の手の動きをトラッキングできる機器を装着し、現実空間における机その他の平面上に手を開いて数秒間静止する。HMD110のモニタ112は、静止していた位置に応じて、仮想空間2にピアノの鍵盤を表示する。ユーザ190が仮想空間2のピアノの演奏に合わせて音を再生する。
仮想空間2で楽器を試奏した後、ユーザに購入を促してもよい。例えば、HMD110を装着したユーザが仮想空間内で実在する楽器に相当する楽器オブジェクトを選択し、仮想空間2において演奏し、その楽器を気に入ったら購入できるように構成されてもよい。より詳しくは、ユーザ190は、演奏開始前に、楽器のモデル、スティックまたはピック等を実在するモデルから選択し得る。仮想空間2での音色やサステイン等は、選択した楽器に依存する。ユーザは仮想空間2で演奏し、その楽器、スティックまたはピック等を気に入ったら購入できるように構成されてもよい。
なお、ここに開示される技術思想が適用される楽器は、上記のドラムセット、ギター、ピアノに限られず、例えば、シンバル、電子ピアノ、鍵盤打楽器、ヘッド等に対しても適用できる。
ステップS1110にて、ユーザ190は、カラオケ店を訪れ、カラオケルームに入室する。なお、仮想現実が体験される場所はカラオケルームに限られない。当該場所は、例えば、楽器店やアミューズメント施設その他の商業施設に設けられた区画であってもよいし、ユーザの自宅、学校その他商業施設以外の場所であってもよい。少なくとも、HMD110を用いた仮想現実を体験できる場所であればよい。
ステップS1115にて、ユーザ190は、HMD110とコントローラ160とを装着する。
ステップS1120にて、ユーザ190は、楽器演奏アプリを実行する。例えば、ユーザ190はHMD110のモニタに表示されるメニュー画面から楽器演奏アプリを選択し得る。なお、楽器演奏アプリの選択はHMD110を装着する前に行われてもよい。
ステップS1125にて、HMD110は、サーバ150から楽器演奏を開始するデータを受信する。
ステップS1130にて、HMD110は、モニタに楽器演奏アプリの動画を表示する。
ステップS1135にて、サーバ150は、コントローラ160からの信号または視線検出信号に基づいて、ユーザ190に選択された楽器を検知する。
ステップS1140にて、HMD110は、サーバ150から受信するデータに基づいて、選択された楽器に対応する楽器オブジェクトを仮想空間に表示する。
ステップS1145にて、ユーザ190による音楽再生の指示に基づいて、サーバ150は楽器によって演奏される音楽の再生を開始する。
ステップS1150にて、HMD110のモニタは、サーバ150からの信号に基づいて、楽器オブジェクトのうち、ユーザ190による演奏の対象となる部分を他の部分の態様と異なる態様で表示する。
ステップS1155にて、HMD110のモニタは、音楽の進行に合わせて、演奏のタイミングを表わすインジケータを楽器オブジェクトの近傍に表示する。
ステップS1160にて、サーバ150は、ユーザ190の両手に取り付けられた各コントローラ160から送られる信号に基づいてユーザ190の手の動きを検知する。
ステップS1165にて、HMD110は、サーバ150からの信号に基づいて、インジケータと手の動きとが対応していることに基づいて音が出ていることを表わす音符オブジェクトを楽器オブジェクトの近傍に表示する。
[制御構造]
図12を参照して、サーバ150の制御構造について説明する。図12は、サーバ150が実行する処理の一部を表わすフローチャートである。
S1210にて、プロセッサ151は、ユーザ190の指示に基づいて、楽器演奏アプリを実行する。ユーザ190が予め会員として登録されている場合には、楽器演奏アプリを実行する前に、ログインが求められてもよい。この場合、ユーザ190の楽器演奏の履歴は当該ユーザの識別情報に関連付けらて記録されてもよい。ユーザ190が登録されていない場合には、一般ユーザとして以下の処理が実行される。この場合、ユーザ190による楽器演奏の履歴は、一般ユーザの履歴として保存される。
S1215にて、プロセッサ151は、楽器の選択を受け付ける画面をHMD110に表示させる。
S1220にて、プロセッサ151は、選択された楽器の識別番号をHMD110から受信する。ユーザ190が登録されている場合には、プロセッサ151は、ユーザ190の識別番号と楽器の識別番号とを関連付けてストレージ154に格納する。
S1225にて、プロセッサ151は、選択された楽器をHMD110に表示させる。
S1230にて、プロセッサ151は、楽曲の選択を受け付ける画面をHMD110に表示させる。
S1235にて、プロセッサ151は、選択された楽曲の識別番号をHMD110から受信する。
S1240にて、プロセッサ151は、選択された楽曲の再生を指示する信号をHMD110から受信する。
S1245にて、プロセッサ151は、楽曲の再生に合わせて、楽器オブジェクトおよびガイドオブジェクトを表示するデータをHMD110に送信する。
S1250にて、プロセッサ151は、ユーザ190の動作に応じて動く演奏オブジェクトの動きを示す信号をコントローラ160から受信する。
S1255にて、プロセッサ151は、楽器オブジェクトの所定の範囲内に演奏オブジェクトが入ったことに基づいて、楽曲に応じた音をHMD110に出力する。
なお、上記の処理はサーバ150以外に例えばコンピュータ200によっても実行され得る。したがって、HMD110がコンピュータ200の演算機能を有している場合には、HMD110は、所定のデータをダウンロードした後に、スタンドアローンの状態で上記の処理を実行してもよい。
図13を参照して、仮想現実としてユーザ190に提示される画像について説明する。図13は、仮想空間において楽器を選択するために112に表示される画像の一態様を表わす図である。
モニタ112は、ドラムオブジェクト1310と、ギターオブジェクト1320と、ピアノオブジェクト1330と、サックスオブジェクト1340とを表示する。ドラムオブジェクト1310と、ギターオブジェクト1320と、ピアノオブジェクト1330と、サックスオブジェクト1340とは、ユーザ190により選択可能である。例えば、ユーザ190がコントローラ160を操作していずれかのオブジェクトを選択すると、選択されたオブジェクトで示される楽器を仮想空間2で演奏可能となる。なお、モニタ112に表示される画像は図12に示されるものに限られず、その他の楽器オブジェクトがさらに表示されてもよい。例えば、ユーザ190は、コントローラ160を操作することにより、画面を切り換えて別の画像をモニタ112に提示させることもできる。
図14を参照して、仮想現実としてユーザ190に提示される画像についてさらに説明する。図14は、仮想空間においてドラムを演奏するために表示される画像の一態様を表わす図である。
モニタ112は、ドラムオブジェクト1310と、オブジェクト1410,1420,1430とを表示する。ドラムオブジェクト1310は、ユーザ190によって選択された楽器である。
オブジェクト1410は、現在の画像のモードを、当該楽器の位置を微調整するためのモードに切り替える命令を受け付ける。ユーザ190は、コントローラ160あるいは視線を向けることによりオブジェクト1410を選択する操作を行なうと、ドラムオブジェクト1310を構成する各要素がアクティブな状態となる。ユーザ190は、位置を調整したい要素をコントローラ160で選択して、コントローラ160を操作することにより、選択された要素の位置を移動できる。
オブジェクト1420は、仮想空間に提示される楽器を変更するための操作を受け付ける。例えば、ユーザ190がコントローラ160あるいは視線を向けることにより、モニタ112は、図13に示される画像を提示する。ユーザ190は、楽器を再度選択できる。
オブジェクト1430は、仮想空間において音楽を再生する指示を受け付ける。ユーザ190は、コントローラ160あるいは視線を向けることによりオブジェクト1430を選択する操作を行なうと、モニタ112に表示される画像は、予め定められた音楽が再生される場面に切り換わる。なお、仮想空間において再生される音楽は予め定められた音楽に限られず、ユーザ190がモニタ112において選択可能であってもよい。あるいは、ユーザ190が当該サービスを受けるためのアカウントを保有している場合には、ユーザ190は当該アカウントに好みの音楽を予め登録し、登録された音楽が仮想空間で選択されてもよい。
図14に示される画像は、楽器を演奏する場所を俯瞰した状態を表わしている。ユーザ190がオブジェクト1430を押下すると、モニタ112は、ユーザ190が楽器の前に座った状態の画像に切り替わる。
そこで、図15を参照して、仮想空間においてユーザ190が楽器を演奏する局面について説明する。図15は、所謂一人称視点としてHMDを装着したユーザ190に視認される画面を表わす図である。
状態Aに示されるように、モニタ112は、ユーザ190による音楽再生の指示に基づいて、楽器オブジェクト1510,1511,1512,1513,1514,1515を表示する。さらに、モニタ112は、仮想空間において、各楽器オブジェクトに至る線オブジェクト1520,1521,1522,1523,1524,1525を表示する。音楽が再生されると、モニタ112は、ガイドオブジェクト1530,1531,1532を表示する。ガイドオブジェクト1530,1531,1532は、音楽の再生の進行に合わせて、線オブジェクト1522,1523,1524に沿って楽器オブジェクト1513,1514,1515に向かって移動する。ガイドオブジェクト1530,1531,1532は、それぞれ、仮想空間2において各楽器オブジェクトに対してユーザ190が働きかけるタイミングを表わす。演奏対象としてドラムが選択された場合、不慣れなユーザ190は、音楽に合わせてどのドラムオブジェクトをたたくべきか分からない。そこで、各ガイドオブジェクトは、関連付けられているドラムオブジェクトに順次移動し、ガイドオブジェクトがドラムオブジェクトに到達したタイミングを、ユーザ190が当該ドラムオブジェクトをたたくべきタイミングとして通知する。
具体的には、状態Bに示されるように、モニタ112は、スティックオブジェクト1540,1541をさらに表示する。スティックオブジェクト1540,1541は、ユーザ190の手に装着されたコントローラ160の動きに応じて移動する。ある局面において、ガイドオブジェクト1530がドラムオブジェクト1513に到達してドラムオブジェクト1513の打面に表示される。そのタイミングで、ユーザ190が手を動かしてスティックオブジェクト1540をドラムオブジェクト1513に打ち付けると、モニタ112は、音符オブジェクト1550を表示する。音符オブジェクト1550は、ドラムオブジェクト1513から音が出ていることを表わす。このとき、HMD110は、スピーカ115から音を出力するので、ユーザ190は、音楽に合わせてドラムを演奏できていることを実感できる。
なお、ユーザ190に演奏を促すタイミングを示す態様は、ガイドオブジェクト1530のような態様に限られない。例えば、ユーザ190がスティックオブジェクト1540,1541でたたくべきドラム面に向かって線オブジェクトが徐々に伸びていき、線オブジェクトがドラム面に到達した時に当該ドラム面の所定の領域(例えば当たり判定領域として規定された領域)の色が変わる態様であってもよい。
モニタ112は、音楽の進行に合わせてガイドオブジェクト1531,1532がドラムオブジェクト1515,1511に向けて移動する態様で、ガイドオブジェクト1531,1532を順次表示する。ガイドオブジェクト1531,1532がドラムオブジェクト1514,1511の打面に到達したタイミングで、ユーザ190がドラムオブジェクト1514,1511を順次スティックオブジェクト1540または1541でたたく動作を行なうと、音符オブジェクト1550と同様の音符オブジェクトが表示され、押下されるタイミングで音がスピーカ115から出力される。
ガイドオブジェクトは、再生される音楽を構成するドラムの操作タイミングに合わせて、いずれかの線オブジェクトに適宜表示される。ユーザ190は、ガイドオブジェクトがドラムオブジェクトの打面に到達したタイミングでスティックオブジェクト1540,1541を操作することにより、仮想空間2における演奏を続けることができる。その後、音楽の再生が終了すると、モニタ112は図14に示される画像を表示する。ユーザ190が、オブジェクト1420を操作すると、楽器を変更することができる。
[ギター]
図16を参照して、ユーザ190が仮想空間において他の楽器を演奏する局面について説明する。図16は、ギターオブジェクト1600が選択された状態を表わす図である。ユーザ190がオブジェクト1420を操作すると、図13に示される画像がモニタ112に表示される。ユーザ190がギターオブジェクト1320を選択すると、図16に示されるように、モニタ112は、所謂一人称視点から見た画像として、ギターオブジェクト1600が選択された画像を表示する。ユーザ190がオブジェクト1430を選択すると、ギターオブジェクト1600に予め関連付けられている音楽データがHMDにロードされ、モニタ112は、ギターオブジェクト1600を表示する。
図17〜図19を参照して、ギターオブジェクト1600を用いた演奏について説明する。図17〜図19は、ギターオブジェクト1600を演奏する場面を表わす。
図17に示されるように、音楽の再生が開始される前に、モニタ112は、ギターオブジェクト1600に加えて、線オブジェクト1710,1711,1712,1713,1714,1715,1716を表示する。線オブジェクト1710,1711,1712,1713,1714,1715,1716は、ガイドオブジェクトが進む経路を表わす。線オブジェクト1710,1711,1712,1713,1714,1715,1716の始点は予め設定されており、線オブジェクト1710,1711,1712,1713,1714,1715,1716の間隔は、始点とギターオブジェクト1600との間隔に応じて変更され得る。
例えば、ユーザ190が上級者の場合には、当該始点は、ギターオブジェクト1600の近傍に設置される。他方、ユーザ190が初心者の場合には、始点はギターオブジェクト1600から離れた場所に設置されてもよい。このようにすると、音楽の再生速度に応じてガイドオブジェクトが楽器オブジェクトに到達する時間を調整できるので、ユーザのレベルに応じた演奏環境を提供することができる。
より具体的には、図18に示されるように、モニタ112は、音楽の進行に応じて、ガイドオブジェクト1810,1820,1830を順次表示する。ユーザ190は、ガイドオブジェクト1810,1820,1830がギターオブジェクト1700のネックに向かってたどる線オブジェクトが到達するフィンガーボードに向けて、コントローラ160が装着された左手を左右に動かし、フィンガーボードの位置を特定する。このとき、線オブジェクト1713は、他の線オブジェクト1710,1711,1712,1714,1715と異なる態様で表示されてもよい。このようにすると、HMD110を装着したユーザ190は、どのフィンガーボードを押下すればよいか容易に理解することができる。
図19を参照して、ガイドオブジェクト1810がフィンガーボード1840に到達するタイミングに合わせて、ユーザ190がコントローラ160が装着された右手を動かすと、HMD110のスピーカは、フィンガーボード1840で特定される音を出力する。さらに、モニタ112は、音符オブジェクト1900を表示する。その後も、ユーザ190が、ガイドオブジェクト1820,1830が順次フィンガーボード1840に到達するタイミングに合わせて右手を振る動作を行なうと、その振動がコンピュータ200に入力される。その入力に基づいて予め規定された音がスピーカから出力される。このとき、音が正しく出ていることを表わす音符オブジェクトが表示され得る。なお、出力される音の正確さに応じて音符オブジェクトの姿勢が変わってもよい。また、音量に応じて音符オブジェクトの大きさが変更されてもよい。このようにすると、演奏の正確さがHMD110のユーザあるいは演奏されている仮想空間2を共有する他のユーザにも理解され得る。
ギターを演奏する場合、左手の位置は、例えば、ユーザ190の正面に配置される120その他のセンサによって検出される。また、ギターの演奏においてフィンガーボードが押されたことと同様のことを仮想空間において検出するために、例えば、コントローラ160を装着した左手の親指とその他の指とを閉じて開く動作によるコントローラ160の振動、あるいは、左手をグーにする動作およびパーにする動作によるコントローラ160の振動が、フィンガーボード1840の押下として検出され得る。右手の動作は、右手に装着されるコントローラ160に内蔵された振動センサが右手の振動を検知することにより、検出され得る。
[ピアノ]
図20を参照して、ユーザ190が仮想空間において他の楽器を演奏する局面について説明する。図20(A)は、ユーザ190が較正のために左手2010および右手2011を平面上においた状態を表わす図である。ギターオブジェクト1600が選択された状態を表わす図である。平面は、例えば、テーブル、机、ユーザ190の両膝の上に置かれた板等であるが、これらに限られない。
ピアノを演奏する場合、指の上下の動きを検出する必要がある。そこで、ある局面において、動きセンサの正面に着座したユーザ190の両手が置かれる平面が予め検出され、基準面として規定される。その後、音楽の再生が開始すると、ユーザ190が平面上で指を上下することにより、その上下の運動が鍵盤のキーを押下する動作として検出される。
図20(B)は、ユーザ190が装着したHMD110のモニタ112が表示する画像の一例を表わす図である。モニタ112は、鍵盤2000と、左手オブジェクト2020と、右手オブジェクト2021とを表示する。ユーザ190が音楽の再生を指示すると(オブジェクト1430)、前述のドラム(図15)あるいはギター(図17)の演奏と同様に、線オブジェクト(図示しない)が各キーに向かって表示され、ガイドオブジェクト(図示しない)が押下されるべきキーに到達したタイミングでユーザ190が当該キーに対応する指を押す動作を行なうと、キーの押下として検出される。
[データ構造]
図21を参照して、サーバ150のデータ構造について説明する。図21は、ストレージ154におけるデータの格納の一態様を概念的に表す図である。ストレージ154は、テーブル2110,2120を含む。テーブル2110は、ユーザ2111と、時間2112と、楽器2113と、楽曲2114と、位置2115とを含む。
ユーザ2111は、HMD110を用いた楽器演奏を体験したユーザを特定する。ユーザ「NA」はサーバ150に登録されていないユーザを表わし、例えば、お試しで楽器演奏を体験したユーザを表わす。ユーザ100,101,210等は、サーバ150に登録されているユーザを表わす。サーバ150に登録されているとは、例えば、HMD110を用いた楽器演奏を体験できる会員として予め登録されていることを表わす。
時間2112は、当該ユーザがHMD110を用いた楽器演奏を体験した日時を表わす。時間2112は、例えば、HMD110を用いた楽器演奏のためのアプリが最初に起動された日時、あるいは、会員として予め登録されていたユーザがそのアカウントにログインした日時である。
楽器2113は、当該ユーザが選択した楽器を識別する。同一のユーザが異なる楽器を選択した場合、その選択の都度、新たなレコードがデータベースに作成され得る。
楽曲2114は、当該ユーザが演奏した音楽を識別する。当該音楽は、楽器演奏のためのアプリによって予め指定されている音楽、予め準備された演奏候補から選択された音楽のいずれであってもよい。
位置2115は、演奏タイミングとのずれが生じた楽曲の位置を表わす。当該位置は、例えば、楽曲データの先頭(0分0秒)から経過した時間として示される。位置2115は、音楽の進行に応じてユーザ190が演奏する間に検出される。位置2115が検出された回数に応じて、当該ユーザ190の演奏のレベルが推定され得る。
テーブル2120は、登録ユーザ2121と、楽器2122と、習熟度2123と、プロモーション2124とを含む。登録ユーザ2121は、HMD110を用いた楽器演奏を行なうメンバーとして予めサーバ150に登録されている。ユーザの登録は、例えば、楽器演奏を希望する人が集まりやすい施設(楽器ショップ、カラオケハウス、ゲームセンターその他のアミューズメント施設、テーマパーク)において実現され得る。
楽器2122は、登録ユーザ2121によって演奏対象として登録されている楽器を識別する。一人のユーザが複数の楽器を登録してもよい。
習熟度2123は、登録ユーザ2121による当該楽器の演奏レベルを表わす。習熟度2123は、例えば、位置2115として検出された演奏タイミングのずれの頻度に基づく区分として示される。
プロモーション2124は、当該ユーザに対して適切と考えられる販売促進活動の種類を表わす。例えば、上級者(ユーザ番号210)の場合、楽器(ギター)の購入を推奨するための広告が当該ユーザに提供される。例えば、広告は、当該ユーザが装着しているHMD110において、楽器演奏の終了後に表示される。あるいは、広告は、当該ユーザのアカウントに登録されているメールアドレスに割引クーポンその他のプロモーションコードと共に送付されてもよい。
[表示態様]
図22を参照して、モニタ112における画面の表示態様について説明する。図22は、ユーザ190が仮想空間において楽器を演奏した後にモニタ112に表示される画面の一例を表わす図である。
画面Aに示されるように、モニタ112は、音楽の再生が終了すると、「また使ってね!」といったメッセージを表示する。その後、画面Bに示されるように、モニタ112は、当該ユーザ190による演奏の結果から推定される習熟度2123に基づき、「なかなかイイネ! こちらのドラムも試してね! スティックもあるよ!」といったメッセージを表示する。さらに、モニタ112は、適宜、購入を受け付けるアイコンも表示する。
あるいは、別の局面において、ユーザ190の習熟度2123が上級と判定されると、画面Cに示されるように、モニタ112は、「セミプロ級ですね! あなたにお薦めのギターはコチラ! ピックもあるよ!」といった購入を促すメッセージが表示され得る。
[ドラム演奏の検出]
図23を参照して、仮想空間2で演奏されるドラムに関し、スティック動作の検出について説明する。図23は、仮想空間2におけるスティックオブジェクト1540と打面2300との位置関係を水平方向から表す図である。
現実空間において、コントローラ160が装着された手が振り下ろされると、状態Aに示されるように、仮想空間において、対応するスティックオブジェクト1540は、打面2300に向かって移動する。スティックオブジェクト1540の先頭が打面2300に到達すると、そのタイミングで打音がスピーカから発せられる。
ところで、仮想空間では、スティックオブジェクトは、ドラムオブジェクトの打面2300を突き抜けることができる。そのため、スティックオブジェクトが打面2300に接触した時を演奏が行なわれた時とすると、振り下ろした手を引き上げる際の動作もスティック動作として検出される場合がある。例えば、状態Bに示されるように、仮想空間において打面2300を突き抜けたスティックオブジェクト1540の先端が、手の引き上げ動作に応じて上昇する場合がある。この場合、打面2300の裏面にスティックオブジェクト1540の先端が接触することは、本来の演奏ではあり得ないので、スティック動作として検出されないことが望ましい。そこで、ある実施の形態において、ユーザ190の手に装着された加速度センサが検出する方向が下方向に向かう場合のみが、正規な演奏として判定され得る。
図24を参照して、ドラムオブジェクトを演奏する場合における制御構造について説明する。図24は、演奏対象としてドラムが選択された場合に音を出力するために実行される処理の一部を表わすフローチャートである。
ステップS2410にて、プロセッサ151は、ドラムオブジェクトの打面2300に当たり判定領域を関連付ける。当たり判定領域は、打面2300の領域のうち、スティックオブジェクト1540による接触が検知可能な領域である。
ステップS2420にて、プロセッサ151は、スティックオブジェクト1540とドラムオブジェクトとの接触を検知する。
ステップS2430にて、プロセッサ151は、スティックオブジェクト1540がドラムオブジェクトに正しく当たっているか否かを判断する。プロセッサ151は、スティックオブジェクト1540がドラムオブジェクトに正しく当たっていると判断すると(ステップS2430にてYES)、制御をステップS2440に切り替える。そうでない場合には(ステップS2430にてNO)、プロセッサ151は、制御をステップS2420に戻す。
ステップS2440にて、プロセッサ151は、スティックオブジェクト1540の移動距離および移動速度に応じた音を出力する。例えば、プロセッサ151は、音の大きさとして、スティックオブジェクト1540が打面2300の接触領域に接触した時の速度と、各速度について予め定められた音量レベルとに基づいて決定する。
図25を参照して、他の局面における制御構造について説明する。図25は、演奏対象としてピアノが選択された場合に実行される処理の一部を表わすフローチャートである。この処理は、HMD110を装着したユーザ190がピアノを選択した場合に、プロセッサによって実行される。以下では、サーバ150のプロセッサ151が当該処理を実行する場合について説明する。
ステップS2510にて、プロセッサ151は、コンピュータ200からの信号に基づいて、楽器としてピアノが選択されたことを検知する。
ステップS2520にて、プロセッサ151は、コントローラ160が装着された両手を平面上で一定時間静止することを促すメッセージをモニタ112に表示する。
ステップS2530にて、プロセッサ151は、コントローラ160からの信号に基づいて、ユーザ190の両手が一定時間静止していることを検知する。その後、その時点の位置が平面として認識される。
ステップS2540にて、プロセッサ151は、仮想空間2において予め定められた場所に鍵盤オブジェクトを提示する。
ステップS2550にて、プロセッサ151は、鍵盤オブジェクトの近傍の初期の場所に両手オブジェクトを配置する。
ステップS2560にて、プロセッサ151は、選択された楽曲の再生指示を検知する。
ステップS2570にて、プロセッサ151は、楽曲の再生に応じてガイドオブジェクトを表示する。
ステップS2580にて、プロセッサ151は、楽曲の再生の終了を検知したか否かを判断する。プロセッサ151は再生の終了を検知したと判断すると(ステップS2580にてYES)、処理を終了する。そうでない場合には(ステップS2580にてNO)、制御をステップS2570に切り替える。
なお、仮想空間における楽器の演奏は一人で行なうものに限られない。そこで、図26を参照して、複数のユーザがHMD110をそれぞれ装着して演奏を行なう場合について説明する。図26は、複数のユーザがそれぞれHMD110を装着している状態を表わす図である。
HMDシステム100は、ネットワーク19を介して、他のHMDシステム100N,100Xと通信することができる。HMDシステム100Nは、ユーザ190Nによって使用され得る。HMD100Xは、ユーザ190Xによって使用され得る。HMDシステム100N,100Xの構成は、HMDシステム100の構成と同様である。HMDシステム100の構成要素と同様の構成要素には、符号N,Xが付されている。したがって、HMDシステム100N,100Xの構成の説明は繰り返さない。
図26に示される構成によれば、複数のユーザが同時に同じ音楽に合わせて楽器を演奏することができるため、例えば、バンドやオーケストラの練習が容易に実現され得る。
以上のようにして、本実施の形態によれば、HMD110を装着したユーザ190は仮想空間2において楽器を演奏することができる。これにより、実際に楽器を所有しないユーザ190も、楽器の演奏を楽しむことができる。例えば、楽器の購入を迷っているユーザ190は、仮想空間で演奏することで、楽器を購入するかどうかを判断することもできる。
別の局面において、ユーザの近くにある楽器店をお勧めし、楽器本体を指定するとともに来店予約できるような処理をしてもよい。このようにすると、お店に顧客を紹介したことになり、紹介料や販売代理手数料といった名目での課金になり得る。課金を促すタイミングとしては、例えば、買いたくなるタイミングで課金ポップを出してもよい。当該タイミングは、例えば、ユーザ190が演奏に熱中してそうな時である。この時を、例えば、演奏時間やハンドコントローラの動きの程度や表情トラッキング等によって検知してもよい。
開示された技術的特徴は、例えば、以下のように要約され得る。
(構成1) ある実施の形態に従うと、HMD110によって提供される仮想空間2において楽器の演奏を支援するプログラムをプロセッサに実行させるプログラムが提供される。プログラムはプロセッサ(プロセッサ10またはプロセッサ151)に、仮想空間2を定義するステップと、仮想空間2に楽器オブジェクトを配置するステップと、楽器を演奏するために使用される一つ以上の演奏オブジェクトを仮想空間2に配置するステップと、仮想空間2に対応する視界画像をHMD110に提示するステップと、仮想空間2において楽曲を再生するステップと、楽曲の進行に応じて楽器オブジェクトに対する動作を指示するガイドオブジェクト(1530,1531,1532,1810,1820,1830)を、順次、楽器オブジェクトの近傍に提示するステップと、HMD110のユーザの四肢のいずれかの動きを検知するステップと、動きに応じて、演奏オブジェクトを楽器オブジェクトに対して動かすステップと、演奏オブジェクトが楽器オブジェクトによって予め定められた範囲に入ったことに基づいて、楽曲に応じた音を出力するステップとを実行させる。
(構成2) ある実施の形態に従うと、ガイドオブジェクトを楽器オブジェクトの近傍に提示するステップは、楽器オブジェクトを演奏すべきタイミングで、ガイドオブジェクトが演奏オブジェクトに到来することを含む。プログラムはプロセッサに、ガイドオブジェクトが演奏オブジェクトに到来したことに応答して、楽器オブジェクトをタイミングよく演奏できたか否かを判断するステップをさらに実行させる。
(構成3) ある実施の形態に従うと、楽器オブジェクトを配置するステップは、ドラムに対応するドラムオブジェクトを配置するステップを含む。演奏オブジェクトを配置するステップは、ドラムを演奏するためのスティックに対応するスティックオブジェクトを配置するステップを含む。演奏オブジェクトが予め定められた範囲に入ることは、スティックオブジェクトがドラムオブジェクトの外から当該ドラムオブジェクトの打面に入ることを含む。
(構成4) ある実施の形態に従うと、音を出力するステップは、スティックオブジェクトの移動速度に応じた音量を出力するステップを含む。
(構成5) ある実施の形態に従うと、ドラムオブジェクトは、ドラムを構成する複数の要素オブジェクトを含む。ガイドオブジェクトを提示するステップは、各要素オブジェクトの演奏タイミングに応じたガイドオブジェクトをそれぞれ提示するステップを含む。
(構成6) ある実施の形態に従うと、楽器オブジェクトを配置するステップは、ギターに対応するギターオブジェクトを配置するステップを含む。ガイドオブジェクトを配置するステップは、ギターを演奏するためのコードが適用される位置に向けてガイドオブジェクトを遷移させるステップを含む。音を出力するステップは、ガイドオブジェクトが位置に到達するタイミングで、演奏オブジェクトのうちの一つの演奏オブジェクトが位置に配置されて、他の演奏オブジェクトがギターオブジェクトの弦を弾く動作が行なわれることに基づいて、音を出力するステップを含む。
(構成7) ある実施の形態に従うと、ガイドオブジェクトを遷移させるステップは、複数のコードの各々に対応するガイドオブジェクトを連続して並べるステップを含む。
(構成8) ある実施の形態に従うと、楽器オブジェクトを配置するステップは、鍵盤楽器に対応する鍵盤楽器オブジェクトを配置するステップを含む。演奏オブジェクトを配置するステップは、手を表わす手オブジェクトを配置するステップを含む。ガイドオブジェクトを配置するステップは、演奏対象となる鍵盤に対応する鍵盤オブジェクトの近傍にガイドオブジェクトを配置するステップを含む。音を出力するステップは、手オブジェクトが鍵盤オブジェクトに接したことに基づいて音を出力するステップを含む。
(構成9) ある実施の形態に従うと、鍵盤楽器オブジェクトを配置するステップは、現実空間においてユーザの手が平面に置かれていることに基づいて、仮想空間2に鍵盤楽器オブジェクトを配置するステップを含む。
(構成10) ある実施の形態に従うと、プログラムはプロセッサに、手オブジェクトが鍵盤オブジェクトに接したことに基づいて、他の鍵盤オブジェクトとは異なった態様で当該鍵盤オブジェクトを提示するステップをさらに実行させる。
(構成11) ある実施の形態に従うと、プログラムはプロセッサに、複数の楽器のいずれかの選択を受け付けるインターフェイスを仮想空間2に提示するステップをさらに実行させる。
(構成12) ある実施の形態に従うと、プログラムは、プロセッサに、仮想空間2を共有する他のHMD110のユーザによって使用される他の楽器オブジェクトを仮想空間2に提示するステップをさらに実行させる。
(構成13) 他の実施の形態に従うと、楽器の選択を支援するためにコンピュータで実行される方法が提供される。この方法は、HMD110によって提供される仮想空間2を定義するステップと、仮想空間2に楽器オブジェクトを配置するステップと、楽器を演奏するために使用される一つ以上の演奏オブジェクトを仮想空間2に配置するステップと、仮想空間2に対応する視界画像をHMD110に提示するステップと、仮想空間2において楽曲を再生するステップと、楽曲の進行に応じて楽器オブジェクトに対する動作を指示するガイドオブジェクトを、順次、楽器オブジェクトの近傍に提示するステップと、HMD110のユーザの四肢のいずれかの動きを検知するステップと、動きに応じて、演奏オブジェクトを楽器オブジェクトに対して動かすステップと、演奏オブジェクトが楽器オブジェクトによって予め定められた範囲に入ったことに基づいて、楽曲に応じた音を出力するステップとを含む。
(構成14) ある実施の形態に従うと、上記方法は、複数の楽器のいずれかの選択を受け付けるインターフェイスを仮想空間2に提示するステップをさらに含む。
(構成15) ある実施の形態に従うと、ガイドオブジェクトを楽器オブジェクトの近傍に提示するステップは、楽器オブジェクトを演奏すべきタイミングで、ガイドオブジェクトが演奏オブジェクトに到来することを含む。当該方法は、ガイドオブジェクトが演奏オブジェクトに到来したことに応答して、楽器オブジェクトをタイミングよく演奏できたか否かを判断するステップをさらに含む。
(構成16) ある実施の形態に従うと、当該方法は、楽器オブジェクトをタイミングよく演奏できたか否かの判定結果に応じて、課金のためのインターフェイスオブジェクトを仮想空間2に提示するステップをさらに含む。
(構成17) ある実施の形態に従うと、当該方法は、選択された楽器の購入の要求を受け付けるインターフェイスオブジェクトを仮想空間2に提示するステップをさらに含む。
(構成18) 他の実施の形態に従うと、上記のいずれかに記載の方法をコンピュータに実行させるプログラムが提供される。
(構成19) 他の実施の形態に従うと、上記のプログラムを格納したメモリと、プログラムを実行するためのプロセッサとを備える情報処理装置が提供される。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。全ての変更は、開示された技術的特徴を適宜組み合わせることを含む。