以下、この技術的思想の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施形態は、適宜選択的に組み合わされてもよい。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、HMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD(Head-Mounted Device)セット105A、105B、105C、105Dと、ネットワーク19とサーバ150とを含む。HMDセット105A、105B、105C、105Dの各々は、ネットワーク19を介してサーバ150と通信可能に構成される。以下、HMDセット105A、105B、105C、105Dを総称して、HMDセット105とも言う。なお、HMDシステム100を構成するHMDセット105の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット105は、HMD110と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、角速度センサ114と、第1カメラ115と、第2カメラ117と、スピーカ118と、マイク119と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータ(例えば、他のHMDセット105のコンピュータ)と通信可能である。
HMD110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。HMD100は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
他の局面において、モニタ112は、透過型の表示装置として実現され得る。この場合、HMD110は、図1に示されるようにユーザの目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ112は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、モニタ112は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ112は、HMD110に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
コンピュータ200は、角速度センサ114を用いて、HMD110の傾きを検出する。角速度センサ114は、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。コンピュータ200は、検出された各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。なお、HMDセット105は、HMD110の傾きを検出するためのセンサを備えていればよく、角速度センサ114に替えて、または加えて地磁気センサ、加速度センサを備えるように構成されてもよい。
第1カメラ115は、ユーザ190の顔の下部および身体の上部を撮影する。例えば、顔の下部は、頬、口および鼻を含む。また、身体の上部は、肩、胸元、および首を含む。第2カメラ117は、ユーザの目および眉などを撮影する。ユーザ190側のHMD110の筐体をHMD110の内側、ユーザ190とは逆側のHMD110の筐体をHMD110の外側と定義する。ある局面において、第1カメラ115は、HMD110の外側に配置され、第2カメラ117は、HMD110の内側に配置される。第1カメラ115および第2カメラ117が生成した画像は、コンピュータ200に入力される。
第1カメラ115および第2カメラ117は、対象物の深度情報(カメラから対象物までの距離)を取得可能に構成される。一例として、これらのカメラは、TOF(Time Of Flight)方式に従い、対象物の深度情報を取得する。他の例として、これらのカメラは、パターン照射方式に従い、対象物の深度情報を取得する。ある実施形態において、第1カメラ115および第2カメラ117は、対象物を2つ以上の異なる方向から撮影できるステレオカメラである。また、これらのカメラは、赤外線カメラであってもよい。これらのカメラは、取得した対象物(例えば、肩)の深度情報をコンピュータ200に出力する。
スピーカ118は、音声信号を音声に変換してユーザ190に出力する。マイク119は、ユーザ190の発話を電気信号に変換してコンピュータ200に出力する。なお、他の局面において、HMD110は、スピーカ118に替えてイヤホンを含み得る。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線を検知することができる。
サーバ150は、通信インターフェイス151と、プロセッサ152と、メモリ153とを有する。サーバ150は、通信インターフェイス151を介してコンピュータ200と通信する。メモリ153は、不揮発性であって、コンピュータ200に送信するためのプログラムを格納する。
コントローラ160は、有線または無線によりコンピュータ200に接続されている。コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、ユーザ190から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられる。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
[ハードウェア構成]
図2を参照して、本実施形態に係るコンピュータ200について説明する。図2は、ある局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施形態において、入出力インターフェイス13は、HMD110、およびモーションセンサ130との間で信号を通信する。ある局面において、HMD110に含まれる角速度センサ114、第1カメラ115、第2カメラ117、スピーカ118、およびマイク119は、HMD110のインターフェイスを介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
ある実施形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェイス13は、コントローラ160およびモーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
グローバル座標系は現実空間の座標系と平行である。したがって、角速度センサ114の出力から算出されたHMD110の3軸周りの各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。コンピュータ200のプロセッサ10は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。
図3に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、プロセッサ10は、角速度センサ114の出力に基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、プロセッサ10は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD110の傾き角度を表す。
プロセッサ10は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。ある局面において、プロセッサ10は、仮想カメラ1が撮影する画像をHMD110のモニタ112に表示する。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現され得る。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
コンピュータ200のプロセッサ10は、仮想カメラ1の位置と基準視線5とに基づいて、仮想空間2における視認領域23を規定する。視認領域23は、仮想空間2のうち、HMD110を装着したユーザが視認する領域に対応する。
注視センサ140によって検出されるユーザ190の視線は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線を、仮想カメラ1のuvw視野座標系におけるユーザの視線とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線の決定について説明する。図5は、ある実施形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線N0は、視認領域23に対してユーザ190が実際に視線を向けている方向に相当する。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視認領域23について説明する。図6は、仮想空間2において視認領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視認領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視認領域23は、領域24を含む。領域24は、仮想カメラ1の位置と基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視認領域23は、領域25を含む。領域25は、仮想カメラ1の位置と基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。極角αおよびβは、仮想カメラ1の位置と傾きとに応じて定まる。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間における視界を提供する。視界画像26は、仮想空間画像22のうち視認領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視認領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視認領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
このように、仮想カメラ1の向き(傾き)は仮想空間2におけるユーザの視線(基準視線5)に相当し、仮想カメラ1が配置される位置は、仮想空間2におけるユーザ190の視点に相当する。したがって、仮想カメラ1を移動(位置を変える動作、向きを変える動作を含む)させることにより、モニタ112に表示される画像が更新され、ユーザ190の視界が移動される。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視認領域23)を特定する。
ある実施形態に従うと、仮想カメラ1は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、2つの仮想カメラに設定される。本実施形態においては、仮想カメラ1が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD110のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[HMDの制御装置]
図8を参照して、HMD110の制御装置について説明する。ある実施形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図8は、ある実施形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図8に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224と、距離測定モジュール225と、動き検出モジュール226とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、操作オブジェクト制御モジュール233と、アバター制御モジュール234とを含む。
ある実施形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。
仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置する。また、仮想カメラ制御モジュール221は、仮想空間2における仮想カメラ1の位置と、仮想カメラ1の向き(傾き)を制御する。視界領域決定モジュール222は、HMD110を装着したユーザの頭の向きと、仮想カメラ1の位置に応じて、視認領域23を規定する。視界画像生成モジュール223は、決定された視認領域23に基づいて、モニタ112に表示される視界画像26を生成する。
基準視線特定モジュール224は、角速度センサ114の出力に基づいて、HMD110の傾きを特定する。基準視線特定モジュール224はさらに、注視センサ140の出力に基づいて、ユーザ190の視線方向を特定する。
距離測定モジュール225は、第1カメラ115から出力される深度情報に基づいて、HMD110(に搭載される第1カメラ115)と、ユーザ190の頭部を除く身体の一部との距離を測定する。一例として距離測定モジュール225は、第1カメラ115とユーザ190の肩(例えば肩鎖関節、肩峰)との間の距離を測定する。なお、他の局面において、距離測定モジュール225は、第1カメラ115とユーザ190の胸(例えば、胸鎖関節)との距離を測定してもよい。
動き検出モジュール226は、第1カメラ115および第2カメラ117によって生成されるユーザ190の顔の画像から、ユーザ190の顔を構成する各器官(例えば、頬、口、鼻、目、眉)の形状(ユーザ190の表情)を検出する。より具体的には、動き検出モジュール226は、後述する顔情報244に格納される各器官のテンプレート画像を用いたパターンマッチングにより、生成された画像から各器官を検出する。その後、動き検出モジュール226は、各器官の形状を構成する特徴点(例えば、口の口角)の位置情報を検出する。この位置情報は、第1カメラ115の位置を基準(原点)としたuvw視野座標系における座標値である。このような動き検出モジュール226は、Holotech Studios社によって提供されるFaceRigによって実現され得る。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
操作オブジェクト制御モジュール233は、仮想空間2においてユーザの操作を受け付けるための操作オブジェクトを仮想空間2に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間2に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、手オブジェクトである。操作オブジェクト制御モジュール233は、モーションセンサ130の出力に基づいてユーザ190の手の動きを検出し、手の動きを手オブジェクトに反映する。この手オブジェクトは、後述するアバターオブジェクトの手であってもよい。
アバター制御モジュール234は、ネットワークを介して接続される他のコンピュータ200のユーザのアバターオブジェクトを仮想空間2に配置するためのデータを生成する。また、アバター制御モジュール234は、他のコンピュータ200から受信する情報に基づいてアバターオブジェクトの動作を制御する。
ある局面において、アバター制御モジュール234は、ユーザ190のアバターオブジェクトを仮想空間2に配置するためのデータを生成する。ある局面において、アバター制御モジュール234は、ユーザ190を含む画像に基づいて、ユーザ190を模したアバターオブジェクトを生成する。他の局面において、アバター制御モジュール234は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ190による選択を受け付けたアバターオブジェクトを仮想空間2に配置するためのデータを生成する。
アバター制御モジュール234は、現実空間におけるユーザ190の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール234は、距離測定モジュール225によって測定される距離(以下「測定距離」とも称する)に基づいて、アバターオブジェクトの頭部と胴部とを連動させずに当該頭部を回転させる。この処理の詳細は後述される。
ある局面において、アバター制御モジュール234は、ユーザ190の表情をアバターオブジェクトに反映する。例えば、アバター制御モジュール234は、アバターオブジェクトを構成するポリゴンの頂点から、動き検出モジュール226が検出するユーザ190の顔を構成する各器官の特徴点に対応する頂点を設定する。アバター制御モジュール234は、この頂点を、検出された特徴点の位置に基づいて動かす。これにより、ユーザ190の表情がアバターオブジェクトに反映される。
仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール233は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、顔情報244とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2に展開される複数の仮想空間画像22と、仮想空間2にオブジェクトを配置するためのデータとを含む。仮想空間画像22は、静止画像および動画像を含み得る。また、仮想空間画像22は、非現実空間の画像と現実空間の画像(例えば、コンピュータグラフィックス)とを含み得る。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。
ユーザ情報243はさらに、基準距離DB245と、測定距離DB246とを含む。基準距離DB245は、複数のユーザの各々を識別する識別情報(以下、「ユーザID」とも称する)と、基準距離とを互いに関連付けて保持する。ユーザIDは、例えばコンピュータ200に設定されるIP(Internet Protocol)アドレス、またはMAC(Media Access Control)アドレスである。基準距離は、ユーザ190の頭部と胴部とが同じ方向を向いている(ユーザ190が正面を向いている)ときの測定距離である。測定距離DB246は、所定期間(例えば1秒間)における測定距離をユーザIDに関連付けて保持する。測定距離DB246は、メモリ11においてリングバッファとして機能する所定領域に格納される。
顔情報244は、顔を構成する各器官のテンプレート画像を保持する。これらの画像は、動き検出モジュール226におけるパターンマッチングに用いられる。
メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
[コンピュータ200の制御構造]
図9を参照して、本実施形態に係るコンピュータ200の制御構造について説明する。図9は、HMDシステム100が実行する処理を表わすフローチャートである。
ステップS910において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間2を定義する。
ステップS920において、プロセッサ10は、仮想カメラ1を仮想空間2に配置する。このとき、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心21に配置し得る。
ステップS930において、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像26(仮想空間画像22の一部)を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD110に送信される。
ステップS932において、HMD110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像26を表示する。これにより、HMD110を装着したユーザ190は、仮想空間2を認識する。
ステップS934において、角速度センサ114は、HMD110の3軸周りの角速度(動き情報)を検出する。角速度センサ114は、検出した動き情報をコンピュータ200に出力する。
ステップS940において、プロセッサ10は、角速度センサ114から入力された動き情報に基づいて、HMD110の傾きを特定する。プロセッサ10は、特定した傾きに連動するように、仮想カメラ1の傾きを変更する。これにより、仮想カメラ1の傾き(仮想カメラ1の基準視線5)は、ユーザ190の頭の動きに連動して更新される。視界領域決定モジュール222は、変更後の仮想カメラ1の傾きに応じて視認領域23を規定する。
ステップS950において、プロセッサ10は、視界画像生成モジュール223として、仮想カメラ1が撮影する視界画像26を表示するための視界画像データを生成し、生成した視界画像データをHMD110に出力する。
ステップS952において、HMD110のモニタ112は、受信した視界画像データに対応する画像を表示する。これにより、仮想空間2におけるユーザの視界が更新される。
[アバターオブジェクト]
次に、図10を参照してアバターオブジェクトを介したユーザ間のコミュニケーションについて説明する。図10は、各ユーザのアバターオブジェクトを説明する図である。以下、HMDセット105Aのユーザをユーザ190A、HMDセット105Bのユーザをユーザ190B、HMDセット105Cのユーザをユーザ190C、HMDセット105Dのユーザをユーザ190Dと表す。また、HMDセット105Aに関する各構成要素の参照符号にAが付され、HMDセット105Bに関する各構成要素の参照符号にBが付され、HMDセット105Cに関する各構成要素の参照符号にCが付され、HMDセット105Dに関する各構成要素の参照符号にDが付される。例えば、HMD110Aは、HMDセット105Aに含まれる。
図10(A)は、ネットワーク19において、複数のHMDのそれぞれが、複数のユーザのそれぞれに仮想空間を提供する状況を模式的に示す図である。図10(A)を参照して、コンピュータ200A〜200Dは、HMD110A〜110Dを介して、ユーザ190A〜190Dに、仮想空間2A〜2Dをそれぞれ提供する。図10(A)に示される例において、仮想空間2Aに展開されるコンテンツと仮想空間2Bに展開されるコンテンツとは同じである。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有している。
仮想空間2Aおよび仮想空間2Bには、ユーザ190Aのアバターオブジェクト1000Aと、ユーザ190Bのアバターオブジェクト1000Bとが存在する。なお、仮想空間2Aにおけるアバターオブジェクト1000Aおよび仮想空間2Bにおけるアバターオブジェクト1000BがそれぞれHMDを装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMDを装着していない。
ある局面において、仮想カメラ制御モジュール221Aは、ユーザ190Aの視界画像26Aを撮影する仮想カメラ1Aを、アバターオブジェクト1000Aの目の位置に配置する。
図10(B)は、ユーザ190Aの視界画像1050を示す図である。視界画像1050は、HMD110Aのモニタ112Aに表示される画像である。この視界画像1050は、仮想カメラ1Aにより生成された画像である。また、視界画像1050には、ユーザ190Bのアバターオブジェクト1000Bが表示されている。なお、特に図示はしていないが、ユーザ190Bの視界画像にも同様に、ユーザ190Aのアバターオブジェクト1000Aが表示されている。
図10(B)の状態において、ユーザ190Aは仮想空間を介してユーザ190Bとコミュニケーションを図ることができる。より具体的には、マイク119Aにより取得されたユーザ190Aの音声は、サーバ150を介してユーザ190BのHMD110Bに送信され、HMD110Bに設けられたスピーカ118Bから出力される。また、ユーザ190Bの音声は、サーバ150を介してユーザ190AのHMD110Aに送信され、HMD110Aに設けられたスピーカ118Aから出力される。
このとき、ユーザ190Aは、仮想空間2Aに配置されるアバターオブジェクト1000Bを通じて、ユーザ190Bの動きを認識できる。例えば、アバター制御モジュール234Aは、動き検出モジュール226Bにより検出されたユーザ190Bの表情を表す情報を受信し、受信した情報をアバターオブジェクト1000Bに反映する。これにより、ユーザ190Aは、アバターオブジェクト1000Bを通じてユーザ190Bの表情を確認できる。
また、コンピュータ200Aは、コンピュータ200BからHMD110Bとユーザ190Bの頭部を除く身体の一部との位置関係を示す情報(以下、「関係情報」とも称する)を受信する。アバター制御モジュール234Aは、受信した関係情報に基づいてアバターオブジェクト1000Bの頭部1010Bおよび胴部1020Bの動きを制御する。図11を用いてこの処理について説明する。
[アバターオブジェクトの動作を制御する処理]
図11は、アバターオブジェクト1000Bの頭部および胴部の回転処理について説明するための図である。状態(A)において、ユーザ190Bの頭部191Bおよび胴部192Bは右方向に向いている。状態(B)において、ユーザ190Bの頭部191Bは紙面に垂直な方向に向いており、胴部192Bは右方向を向いている。状態(C)において、ユーザ190Bの頭部191Bおよび胴部192Bは紙面に垂直な方向に向いている。画像(D)は、状態(A)における第1カメラ115Bが生成(撮影)する画像である。画像(E)は、状態(B)における第1カメラ115Bが生成する画像である。画像(F)は、状態(C)における第1カメラ115Bが生成する画像である。
ある局面において、ユーザ190Bは、状態(A)から状態(B)に遷移、つまり、頭部191Bと胴部192Bとを連動させずに頭部191Bを右に回転する(首をひねる)。この場合、HMD110Bに設けられた角速度センサ114Bは、ヨー軸(v軸)まわりの動き(角速度)を検出する。
他の局面において、ユーザ190Bは状態(A)から状態(C)に遷移、すなわち、頭部191Bと胴部192Bとを連動させて頭部191Bを右に回転させる(体全体を右に回転させる)。この場合も、角速度センサ114Bは、ヨー軸まわりの動きを検出する。
上記のように、角速度センサ114Bは、頭部191Bの動きしか検知しておらず、胴部192Bの動きを検知していない。そのため、従来のコンピュータは、角速度センサ114Bの出力結果を受信した場合に、ユーザ190Bが状態(A)から状態(B)に遷移したのか、状態(A)から状態(C)に遷移したのかを判断できなかった。そのため、従来のコンピュータは、ユーザ190Bの正確な動作をアバターオブジェクト1000Bに反映できない。その結果、従来のコンピュータを使用するユーザは、アバターオブジェクト1000Bの動きに対して違和感を覚え、ユーザ190Bとの円滑なコミュニケーションを図ることが出来ない場合があった。そこで、実施形態に従うアバター制御モジュール234Aは、コンピュータ200Bから受信する関係情報に基づいてこの判断を行なう。
関係情報は、HMD110Bとユーザ190Bの頭部191Bを除く身体の一部との位置関係を示す。一例として、身体の一部は右肩1100Bとする。状態(A)から状態(C)に遷移した場合、HMD110Bと右肩1100Bとの位置関係は変化しない。一方、状態(A)から状態(B)に遷移した場合、HMD110Bと右肩1100Bとの位置関係は変化する。例えば、HMD110Bと右肩1100Bとの距離は、状態(A)よりも状態(B)の方が短くなる。また、画像(D)および(E)における、右肩1100Bの位置が異なる。
他の局面において、身体の一部は、頭部191Bを除くユーザ190Bの上半身である。この場合、画像(D)および画像(F)におけるユーザ190Bの上半身が占める面積(ドット部分)は同じである。一方、画像(D)および画像(E)におけるユーザ190Bの上半身が占める面積(ドット部分)は異なる。
実施形態に従うアバター制御モジュール234Aは、上記の特性を利用して、関係情報に基づいてアバターオブジェクト1000Bの頭部1010Bと胴部1020Bとを連動させずに、頭部1010Bを回転させる。
ところで、現実空間において人が頭部と胴部とを連動させずに頭部を回転した場合、人は自分の肩を視認する。そこで、コンピュータ200Aは、HMD110Aとユーザ190Aの頭部を除く身体の一部との位置関係を示す関係情報を取得し、アバターオブジェクト1000Bと同様に、アバターオブジェクト1000Aの頭部および胴部の動きを制御する。これにより、ユーザ190Aは、現実空間で頭部と胴部とを連動させずに頭部を回転させた場合、仮想空間2Aにおいてアバターオブジェクト1000Aの肩を視認する。これにより、現実空間におけるユーザ190Aの自身の見え方と、仮想空間2Aにおけるユーザ190Aの自身(アバターオブジェクト1000A)の見え方とが同じになる。その結果、ユーザ190Aは、仮想空間2Aに対してより没入し得る。
図12は、関係情報を用いてアバターオブジェクトの頭部および胴部の動きを処理するフローチャートを表す。図12に示される処理は、コンピュータ200Aおよび200Bが通信している状態において、コンピュータ200Aのプロセッサ10Aが実行するものとする。
ステップS1210において、プロセッサ10Aは、仮想空間2Aを定義する。ステップS1220において、プロセッサ10Aは、ユーザ190Aに対応するアバターオブジェクト1000A(図12では「自アバターオブジェクト」)、およびユーザ190Bに対応するアバターオブジェクト1000B(図12では「他アバターオブジェクト」)を仮想空間2Aに配置する。このとき、プロセッサ10Bもまた、ステップS1210およびS1220と同様の処理を行なっている。
ステップS1230において、プロセッサ10Aは、仮想カメラ1Aが撮影する視界画像26Aをモニタ112Aに出力する。これにより、ユーザ190Aは、仮想空間2Aを視認する。
ステップS1240において、プロセッサ10Aは、コンピュータ200Bから関係情報を受信する。この関係情報は、ユーザ190B(図12では「他ユーザ」)の頭部を除く身体の一部と、HMD110B(図12では「他HMD」)との位置関係を示す。
ステップS1250において、プロセッサ10Aは、アバター制御モジュール234Aとして、受信した関係情報に基づいて、アバターオブジェクト1000Bの頭部と胴部とを連動させずに頭部を回転させる。
ステップS1260において、プロセッサ10Aは、ユーザ190A(図12では「自ユーザ」)の頭部を除く身体の一部と、HMD110A(図12では「自HMD」)との位置関係を示す関係情報を取得する。
ステップS1270において、プロセッサ10Aは、取得した関係情報に基づいて、アバターオブジェクト1000Aの頭部と胴部とを連動させずに頭部を回転させる。
ステップS1280において、プロセッサ10Aは、仮想カメラ1Aが撮影する視界画像26Aをモニタ112Aに出力する。これにより、ユーザ190Aが視認する視界画像26Aが更新される。その後、プロセッサ10Aは再びステップS1240の処理を実行する。
上記によれば、ユーザ190Aは、仮想空間2Aにおいてアバターオブジェクト1000Bを介してユーザ190Bの正確な動きを認識できる。その結果、ユーザ190Aは、ユーザ190Bと円滑なコミュニケーションを図ることができる。
[関係情報−距離]
次に、図12におけるステップS1240〜S1270までの処理を具体的に説明する。なお、ステップS1260〜S1270の処理は、ステップS1240〜S1250の処理と実質的に同じである。そのため、以下ではステップS1240〜S1250の処理を具体的に説明するが、これらの処理はステップS1260〜S1270の処理にも適用できる。まず、関係情報が、ユーザ190の頭部を除く身体の一部と、HMD110との間の距離を示す場合について説明する。
(差分距離に基づく処理)
ある実施形態に従うコンピュータ200Bのプロセッサ10Bは、距離測定モジュール225Bとして、HMD110Bとユーザ190Bの頭部を除く身体の一部との距離を測定する。
図11に示される例において、距離測定モジュール225Bは第1カメラ115Bから出力される深度情報に基づいて第1カメラ115Bと右肩1100Bと間の距離(測定距離)DISを検出する。右肩1100Bは、一例として右肩の肩鎖関節に対応する。
状態(A)において、ユーザ190Bは正面を向いている(頭部191Bおよび胴部192Bが同じ方向を向いている)。距離測定モジュール225Bは、この状態における測定距離DISを基準距離として検出する。ある局面において、プロセッサ10Bは、ユーザ190Bに対して首をひねらないように指示を出し、そのときに基準距離を検出する。
状態(A)から状態(B)に遷移すると、測定距離DISは基準距離よりも短くなる。一方、状態(A)から状態(C)に遷移しても、測定距離DISは基準距離と同じである。このように、基準距離から測定距離を差し引いた差分距離は、ヨー軸を基準とした胴部192Bに対する頭部191Bの回転角度と相関する。より具体的には、差分距離が正値である場合、頭部191Bは胴部192Bに対して右方向に回転している。一方、差分距離が負値である場合、頭部191Bは胴部192Bに対して左方向に回転している。また、差分距離の絶対値が大きいほど、回転角度は大きい。また、差分距離が0である場合、頭部191Bは胴部192Bに対して回転していない。
ある実施形態に従うアバター制御モジュール234Aは、上記の相関関係を利用して、アバターオブジェクト1000Bの頭部1010Bおよび胴部1020Bの動作を制御する。具体的には、コンピュータ200Aは、コンピュータ200Bから基準距離および測定距離DISを受信する。アバター制御モジュール234Aは、胴部1020Bに対する頭部1010Bの回転角度が差分距離に対応する回転角度になるように、頭部1010Bと胴部1020Bとを連動させずに頭部1010Bを回転させる。当該構成によれば、アバター制御モジュール234Aは、ユーザ190Bの動きを正確にアバターオブジェクト1000Bに反映できる。
ある局面において、コンピュータ200Aは、差分距離と回転角度との関係式をストレージ12に予め記憶している。アバター制御モジュール234Aは、この関係式に従い頭部1010Bを胴部1020Bに対して回転させる。
他の局面において、プロセッサ10Bは、基準距離を検出する際に、ユーザ190Bが首をひねった状態の測定距離を併せて取得する。プロセッサ10Bは、差分距離と首のひねり具合(胴部192Bに対する頭部191Bの回転角度)とに基づいて、上記の関係式を算出する。プロセッサ10Bは算出した関係式をコンピュータ200Aに送信する。コンピュータ200Aは、受信した関係式に従い、アバターオブジェクト1000Bの頭部1010Bを胴部1020Bに対して回転させる。当該構成によれば、アバター制御モジュール234Aは、ユーザ190Bの動きをより正確にアバターオブジェクト1000Bに反映できる。
図13は、差分距離を用いる場合の図12におけるステップS1240〜S1250の処理を表すフローチャートである。図13に示される処理は、コンピュータ200Aのプロセッサ10Aによって実行される。
ステップS1310において、プロセッサ10Aは、コンピュータ200Bから基準距離を表す情報(基準距離情報)およびユーザ190BのユーザIDを受信し、これらを関連付けて基準距離DB245Aに保存する。
ステップS1320において、プロセッサ10Aは、コンピュータ200Bから測定距離を表す情報(距離情報)およびユーザIDを受信し、これらを関連付けて測定距離DB246Aに保存する。
ステップS1330において、プロセッサ10Aは、基準距離から測定距離を差し引いた差分距離を算出する。
ステップS1340において、プロセッサ10Aはアバター制御モジュール234Aとして、算出した差分距離に基づいてアバターオブジェクト1000Bの胴部1020Bと連動させずに頭部1010Bを回転させる(図14参照)。その後、プロセッサ10AはステップS1320の処理を再び実行する。
上記によれば、ある実施形態に従うプロセッサ10Aは、HMD110Bとユーザ190Bの身体の一部との距離を表す関係情報に基づいて、アバターオブジェクト1000Bの頭部1010Bおよび胴部1020Bの動きを制御できる。
(頭部と胴部とを連動させて動かす処理)
他の局面において、図13の例においてプロセッサ10Aは、ステップS1320〜S1340の処理に加え、以下の処理を繰り返し実行する。コンピュータ200Aは、角速度センサ114Bが出力するヨー軸まわりの角速度をコンピュータ200Bから受信する。プロセッサ10Aはアバター制御モジュール234Aとして、受信したヨー軸まわりの角速度に基づいてHMD110Bのヨー軸まわりの回転角度を算出する。
アバター制御モジュール234Aはさらに、算出した回転角度から、ステップS1340で回転させた角度を差し引いた回転角度(以下、「連動角度」ともいう)を算出する。アバター制御モジュール234Aは、アバターオブジェクト1000Bの頭部1010Bと胴部1020Bとを連動させて、連動角度だけ回転させる(図15参照)。
上記によれば、アバター制御モジュール234Aは、ユーザ190Bの動きをより正確にアバターオブジェクト1000Bに反映できる。
(補正処理)
図11において、ユーザ190Bは頭部をヨー軸まわりにのみ回転させているが、他の局面において、ピッチ軸またはロール軸まわりに回転させることもある。この場合、測定距離DISが変わってしまう。例えば、ピッチ軸を基準としてユーザ190Bの頭部が上方向を向いた場合、測定距離DISが長くなる。
そこで、ある実施形態に従う距離測定モジュール225Bは、測定距離DISを補正する。より具体的には、プロセッサ10Bは、角速度センサ114Bが検出するピッチ軸およびロール軸まわりの角速度に基づいて、ピッチ角(θu)およびロール角(θw)を算出する。距離測定モジュール225Bは、算出されたピッチ角およびロール角に従う三角関数を用いて、ピッチ角およびロール角が0°である場合の測定距離DISを算出する。コンピュータ200Bは、この補正後の測定距離DISをコンピュータ200Aに送信する。コンピュータ200Aは、補正後の測定距離DISに従ってアバターオブジェクト1000Bの頭部1010Bおよび胴部1020Bの動きを制御する。
上記によれば、HMDシステム100は、よりユーザの動きを正確にアバターオブジェクトに反映できる。
(測定距離の時間に対する変化に基づく処理)
上記の例では、プロセッサ10Aは差分距離に基づいてアバターオブジェクト1000Bの動きを制御するように構成されているが、他の局面において、測定距離DISの時間に対する変化に基づいてアバターオブジェクト1000Bの動きを制御してもよい。測定距離DISの時間に対する変化量は、ヨー軸を基準とするユーザ190Bの胴部192Bに対する頭部191Bの角速度とも言える。
図16は、測定距離DISの時間に対する変化量を用いる場合の図12におけるステップS1240〜S1250の処理を表すフローチャートである。図16に示される処理は、コンピュータ200Aのプロセッサ10Aによって実行される。
ステップS1610において、プロセッサ10Aは、コンピュータ200Bから測定距離を表す情報(距離情報)を受信し、これを測定距離DB246Aに保存する。ある局面において、コンピュータ200Bは、上記説明した補正後の測定距離をコンピュータ200Aに送信する。
ステップS1620において、プロセッサ10Aは、コンピュータ200Bから角速度センサ114Bの出力(動き情報)を受信する。
ステップS1630において、プロセッサ10Aは、受信した動き情報に基づいてHMD110Bがヨー軸まわりに回転しているか否かを判断する。例えば、プロセッサ10Aは、ヨー軸周りの角速度が予め定められたしきい値を超える場合に、HMD110Bがヨー軸まわりに回転していると判断する。
プロセッサ10Aは、HMD110Bがヨー軸まわりに回転していると判断した場合(ステップS1630でYES)、処理をステップS1640に進める。そうでない場合(ステップS1630でNO)、プロセッサ10AはステップS1610の処理を再び実行する。
ステップS1640において、プロセッサ10Aは測定距離DB246Aに格納される複数の測定距離を参照して、測定距離の時間に対する変化があるか否かを判断する。例えば、プロセッサ10Aは、測定距離の時間に対する変化量が予め定められた量を超える場合に、測定距離の時間に対する変化があると判断する。
プロセッサ10Aは、測定距離の時間に対する変化があると判断した場合(ステップS1640でYES)、処理をステップS1650に進める。そうでない場合(ステップS1640でNO)、プロセッサ10Aは処理をステップS1660に進める。
ステップS1650において、プロセッサ10Aはアバター制御モジュール234Aとして、受信した動き情報(ヨー軸まわりの角速度)に基づいて、アバターオブジェクト1000Bの頭部1010Bと胴部1020Bとを連動させずに頭部1010Bを回転させる(図14を参照)。
ステップS1660において、プロセッサ10Aはアバター制御モジュール234Aとして、受信した動き情報(ヨー軸まわりの角速度)に基づいて、アバターオブジェクト1000Bの頭部1010Bと胴部1020Bとを連動させて頭部1010Bを回転させる(図15を参照)。
上記によれば、ある実施形態に従うアバター制御モジュール234Aは、測定距離の時間に対する変化に基づいてアバターオブジェクト1000Bの頭部1010Bおよび胴部1020Bの動きを制御できる。
[関係情報−角度]
上記の例では、関係情報は距離を示す。他の局面において、関係情報は、角度を示す。一例として、関係情報は、ヨー軸を基準とするHMD110(に設けられた第1カメラ115)とユーザ190の身体の一部とが成す角度(以下、「角度θtw」とも称する)を示す。
図17は、ユーザ190Bを上から見た図である。図17に示されるように、ユーザ190Bが正面を向いている場合、ユーザ190Bの身体の軸(ヨー軸)を基準とする第1カメラ115Bと右肩1100Bとが成す角度θtwは、90°になる。ユーザ190Bの頭部191Bと胴部192Bとが連動せずに頭部191Bが右に回転した場合、角度θtwは小さくなり、測定距離DISも短くなる。一方、ユーザ190Bの頭部191Bと胴部192Bとが連動せずに頭部191Bが左に回転した場合、角度θtwは大きくなり、測定距離DISも長くなる。このように、測定距離DISと角度θtwとは相関する。
ある実施形態に従うコンピュータ200Bは、上記の相関関係を利用して測定距離DISから角度θtwを算出する。コンピュータ200Bは、角度θtwを示す関係情報をコンピュータ200Aに送信する。
コンピュータ200Aは、受信した角度θtwに基づいて、アバターオブジェクト1000Bの頭部1010Bと胴部1020との動きを制御するように構成されてもよい。
[関係情報−画像]
さらに他の局面において、関係情報は、ユーザ190の身体の一部を含む画像であってもよい。以下、画像を用いてアバターオブジェクト1000の頭部および胴部の動きを制御する処理について説明する。
図11を再び参照して、画像(D)および(F)における右肩1100B(身体の一部)の位置は左側である。一方、画像(E)における右肩1100Bの位置は略中央である。
また、画像(E)におけるユーザ190Bの頭部191Bを除く上半身(身体の一部)の面積(ドット部分)は、画像(D)および(F)における上半身の面積よりも小さい。
このように、ヨー軸を基準とするユーザ190Bの胴部192Bに対する頭部191Bの回転角度と、画像におけるユーザ190Bの身体の一部の写り方(例えば、位置、面積)とは相関する。そこで、ある実施形態に従うアバター制御モジュール234Aは、第1カメラ115Bが生成する画像に基づいて、アバターオブジェクト1000Bの頭部1010Bおよび胴部1020Bの動きを制御する。
ある局面において、コンピュータ200Aは、ユーザ190Bが正面を向いている状態の基準画像をコンピュータ200Bから受信する。プロセッサ10Aは、基準画像における身体の一部の位置(基準位置)を特定する。プロセッサ10Aは、コンピュータ200Bから受信する画像における身体の一部の位置と基準位置との距離の水平成分(図11の画像(D)〜(F)における長辺方向における成分)(ピクセル数)を算出する。プロセッサ10Aはアバター制御モジュール234Aとして、算出した水平成分が大きいほど、頭部1010Bと胴部1020Bとを連動させずに頭部1010Bを回転する量を大きくする。
他の局面において、プロセッサ10Aは、基準画像における身体の一部が占める面積を算出する。一例として、プロセッサ10Aは、基準画像と身体の一部のテンプレート画像とのパターンマッチングにより、基準画像における身体の一部が占める部分を特定する。プロセッサ10Aはその部分の面積(基準面積)(ピクセル数)を算出する。同様に、プロセッサ10Aは、コンピュータ200Bから受信する画像における身体の一部が占める面積を算出し、基準面積との差分をさらに算出する。プロセッサ10Aはアバター制御モジュール234Aとして、算出した差分が大きいほど、頭部1010Bと胴部1020Bとを連動させずに頭部1010Bを回転する量を大きくする。
図18は、画像を用いる場合の図12におけるステップS1240〜S1250の処理を表すフローチャートである。図18に示される処理は、コンピュータ200Aのプロセッサ10Aによって実行される。
ステップS1810において、プロセッサ10Aは、ユーザ190Bが使用するHMD110Bに設けられた第1カメラ115Bが生成する画像を受信する。
ステップS1820において、プロセッサ10Aは、受信した画像からユーザ190Bの身体の一部(例えば、右肩、上半身)を特定する。
ステップS1830において、プロセッサ10Aはアバター制御モジュール234Aとして、受信した画像におけるユーザ190Bの身体の一部の写り方(例えば、位置、面積)に基づいて、アバターオブジェクト1000Bの頭部1010Bと胴部1020Bとを連動させずに頭部1010Bを回転させる。
上記によれば、アバター制御モジュール234Aは、ユーザ190Bの動きを正確にアバターオブジェクト1000Bに反映できる。
[構成]
以上に開示された技術的特徴は、以下のように要約され得る。
(構成1) 仮想空間2Aを介して通信するためにコンピュータ200Aで実行される方法が提供される。この方法は、仮想空間2Aを定義するステップ(S1210)と、仮想空間2Aを介して通信するユーザ190Bに対応するアバターオブジェクト1000Bを仮想空間2Aに配置するステップ(S1220)と、ユーザ190Bが使用しているHMD110Bと、ユーザ190Bの頭部を除く身体の一部との位置関係を示す情報を受信するステップ(S1240)と、位置関係を示す情報に基づいて、アバターオブジェクト1000Bの頭部1010Bと胴部1020Bとを連動させずに当該頭部1010Bを回転させるステップ(S1250)とを備える。
上記によれば、コンピュータ200Aは、ユーザ190Bの動きを正確にアバターオブジェクト1000Bに反映できる。その結果、ユーザ190Aは、アバターオブジェクト1000Bを介してユーザ190Bと円滑なコミュニケーションを図ることができる。
(構成2) (構成1)において、身体の一部は、ユーザ190Bの肩を含む。より具体的には、身体の一部は、肩鎖関節または肩峰を含む。他の局面において、身体の一部は、ユーザ190Bの胸(例えば、胸鎖関節)であってもよい。さらに他の局面において、身体の一部は複数点(例えば、右肩と左肩)であってもよい。
(構成3) (構成1)および(構成2)のいずれかにおいて、位置関係を示す情報は、HMD110Bと身体の一部との距離を示す距離情報を含む。
(構成4) (構成3)において、距離情報は、ユーザ190Bの顔および身体の一部を撮影するためにHMD110Bに設けられた第1カメラ115と、身体の一部との距離を示す。
上記によれば、HMDセット105Bは、上記距離を測定するための新たなデバイスを用いることなく、ユーザ190Bの表情を検出するための第1カメラ115Bを用いて、上記距離を測定できる。これにより、HMDシステム100は、各HMDセット105の小型化および低コスト化を実現できる。
(構成5) (構成3)および(構成4)のいずれかに従う方法は、HMD110Bの動きを表す動き情報(角速度センサ114Bの出力)を受信するステップ(S1620)をさらに備える。頭部を回転させるステップは、距離情報と動き情報とに基づいて頭部を回転させること(S1650)を含む。
(構成6) (構成3)〜(構成5)のいずれかに従う方法は、ユーザ190Bの頭部と胴部とが同じ方向を向いている状態におけるHMD110Bと身体の一部との距離である基準距離を示す情報を受信するステップ(S1310)をさらに備える。頭部と胴部とを連動させずに頭部を回転させるステップは、距離情報が示す距離と基準距離との差分に基づいて、アバターオブジェクト1000Bの頭部と胴部とを連動させずに当該頭部を回転させること(S1340)を含む。
(構成7) (構成3)〜(構成6)のいずれかに従う方法は、HMD110Bの動きを表す動き情報を受信するステップと、HMD110Bがユーザ190Bの身体の軸を基準として回転していることを動き情報が表し(S1630でYES)、かつ、距離情報が示す距離の時間に対する変化がない場合(S1640でNO)に、アバターオブジェクト1000Bの頭部と胴部とを連動させて当該頭部を回転させるステップ(S1660)とをさらに備える。
(構成8) (構成1)および(構成2)のいずれかにおいて、位置関係を示す情報は、身体の軸を基準とするHMD110Bと身体の一部とが成す角度θtwを含む。
(構成9) (構成1)および(構成2)のいずれかにおいて、位置関係を示す情報は、HMD110Bに設けられたカメラにより生成された、身体の一部を含む画像である。上記の方法は、画像から身体の一部を特定するステップ(S1820)をさらに備える。頭部を回転させるステップは、画像における身体の一部の写り方に基づいて、アバターオブジェクト1000Bの頭部と胴部とを連動させずに当該頭部を回転させること(S1830)を含む。
(構成10) 他の局面において、HMD110Aに仮想空間2Aを提供するためにコンピュータ200Aで実行される方法が提供される。この方法は、仮想空間を定義するステップ(S1210)と、HMD110Aのユーザ190Aに対応するアバターオブジェクト1000Aを仮想空間2Aに配置するステップ(S1220)と、HMD110Aと、ユーザ190Aの頭部を除く身体の一部との位置関係を示す情報を取得するステップ(S1260)と、位置関係を示す情報に基づいて、アバターオブジェクトの頭部と胴部とを連動させずに当該頭部を回転させるステップ(S1270)とを備える。
上記によれば、現実空間におけるユーザ190Aの自身の見え方と、仮想空間2Aにおけるユーザ190Aの自身(アバターオブジェクト1000A)の見え方とが同じになる。その結果、ユーザ190Aは、仮想空間2Aに対してより没入し得る。
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。