以下、この技術的思想の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施形態は、適宜選択的に組み合わされてもよい。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、HMDシステム100の構成の概略を示す。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD(Head-Mounted Device)セット105A,105B,105C,105Dと、ネットワーク19とサーバ150とを含む。HMDセット105A,105B,105C,105Dの各々は、ネットワーク19を介してサーバ150と通信可能に構成される。以下、HMDセット105A,105B,105C,105Dを総称して、HMDセット105とも言う。なお、HMDシステム100を構成するHMDセット105の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット105は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、スピーカ118と、マイク119と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含む。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータ(例えば、他のHMDセット105のコンピュータ)と通信可能である。別の局面において、HMD110は、HMDセンサ120の代わりに、またはHMD120に加えてセンサ114を含み得る。
HMD110は、ユーザ190の頭部に装着され、仮想空間をユーザ190に提供する。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。HMD110は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施形態において、仮想空間は、例えば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能なメニューの画像を含む。ある実施形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
他の局面において、モニタ112は、透過型の表示装置として実現され得る。この場合、HMD110は、図1に示されるようにユーザ190の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ112は、その透過率を調整することにより、一時的に非透過型の表示装置として機能し得る。また、モニタ112は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ112は、HMD110に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
ある局面において、HMD110は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。ある局面において、HMDセンサ120は、HMD110が発する複数の赤外線を読み取り、現実空間内におけるHMD110の位置および傾きを検出する。
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
別の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりにセンサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサである場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、HMD110の3軸周りの角度の各々の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
スピーカ118は、音声信号を音声に変換してユーザ190に出力する。マイク119は、ユーザ190の発話を音声信号に変換してコンピュータ200に出力する。なお、他の局面において、HMD110は、スピーカ118に替えてイヤホンを含み得る。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用される他のHMDセット105を構成するコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
コントローラ160は、有線または無線によりコンピュータ200に接続されている。コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。また、コントローラ160は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。コントローラ160は、ユーザ190から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。ある局面において、モーションセンサ130は、コントローラ160に設けられている。ある実施形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
[ハードウェア構成]
図2を参照して、本実施形態に係るコンピュータ200について説明する。図2は、ある局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施形態において、入出力インターフェイス13は、HMD110、HMDセンサ120およびモーションセンサ130との間で信号を通信する。ある局面において、HMD110に含まれるスピーカ118,およびマイク119は、HMD110の入出力インターフェイス13を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
ある実施形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェイス13は、コントローラ160およびモーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各光源の位置(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定し得る。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定し得る。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施形態に従うHMD110に設定されるuvw視野座標系を概念的に表す。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザ190の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施形態に従う仮想空間2を表現する一態様を概念的に表す。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。
コンピュータ200は、パノラマ画像22を用いて仮想空間2を構成する。より具体的には、仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、パノラマ画像22を構成する各部分画像を、対応する各メッシュにそれぞれ展開する。これにより、ユーザ190は、仮想空間2に展開されるパノラマ画像22を視認できる。仮想空間2を構成するパノラマ画像は、静止画像のみならず、動画像を含み得る。また、パノラマ画像は、360度全方位にわたり画像が展開される全天球画像を含み得る。
ある局面において、仮想空間2に展開されるパノラマ画像22は、パノラマカメラ(例えば、全天球カメラ)が現実空間を撮影した画像であり得る。他の局面において、パノラマ画像22は、複数のカメラが現実空間を撮影した画像を合成することにより生成された画像であり得る。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置され得る。ある局面において、プロセッサ10は、仮想カメラ1が撮影する画像をHMD110のモニタ112に表示する。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現され得る。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において移動することもできる。
コンピュータ200のプロセッサ10は、仮想カメラ1の配置位置と、基準視線5とに基づいて、仮想空間2における視認領域23を規定する。視認領域23は、仮想空間2に展開されるパノラマ画像22のうち、HMD110を装着したユーザが視認する領域に対応する。ある局面において、基準視線5は、現実空間におけるHMD110の傾き方向(w方向)に一致する。
注視センサ140によって検出されるユーザ190の視線は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線を、仮想カメラ1のuvw視野座標系におけるユーザの視線とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線の決定について説明する。図5は、ある実施形態に従うHMD110を装着するユーザ190の頭部を上から表した模式図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2が成す角度は、ロール方向wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線N0は、視認領域23に対してユーザ190が実際に視線を向けている方向に相当する。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視認領域23について説明する。図6は、仮想空間2において視認領域23をX方向から見たYZ断面を表す。図7は、仮想空間2において視認領域23をY方向から見たXZ断面を表す。
図6に示されるように、YZ断面における視認領域23は、領域24を含む。領域24は、仮想カメラ1の配置位置と基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視認領域23は、領域25を含む。領域25は、仮想カメラ1の配置位置と基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。極角αおよびβは、仮想カメラ1の配置位置と仮想カメラ1の向きとに応じて定まる。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間における視界を提供する。視界画像26は、パノラマ画像22のうち視認領域23に対応する部分の画像である。換言すれば、視界画像26は、パノラマ画像22の一部であり得る。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視認領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、パノラマ画像22のうち、仮想空間2においてユーザ190が向いた方向の視認領域23に重畳する画像(すなわち、パノラマ画像22の一部)に更新される。ユーザ190は、仮想空間2における所望の方向を視認することができる。
このように、仮想カメラ1の向き(傾き)は仮想空間2における基準視線5に相当し、仮想カメラ1が配置される位置は、仮想空間2におけるユーザ190の視点に相当する。したがって、仮想カメラ1を移動(配置位置を変える動作、向きを変える動作を含む)させることにより、モニタ112に表示される画像が更新され、ユーザ190の視界が移動される。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開されるパノラマ画像22の一部を視認する。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視認領域23)を特定する。
ある実施形態に従うと、仮想カメラ1は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、2つの仮想カメラに設定される。本実施形態においては、仮想カメラ1が2つの仮想カメラを含み、2つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。図8に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガ式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
[HMDの制御装置]
図9を参照して、HMD110の制御装置について説明する。ある実施形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、操作オブジェクト制御モジュール233と、アバター制御モジュール234と、自動カメラ制御モジュール235を含む。
ある実施形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。
仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置する。また、仮想カメラ制御モジュール221は、仮想空間2における仮想カメラ1の配置位置と、仮想カメラ1の傾き(向き)を制御する。視界領域決定モジュール222は、仮想カメラ1の傾きと、仮想カメラ1の配置位置に応じて、視認領域23を規定する。視界画像生成モジュール223は、決定された視認領域23に基づいて、モニタ112に表示される視界画像26を生成する。
基準視線特定モジュール224は、HMDセンサ120の出力に基づいてHMD110の傾き方向(w方向)を検知する。仮想カメラ制御モジュール221は、基準視線特定モジュール224によって検知されるHMD110の傾き方向に基づいて、仮想カメラ1の傾きを制御する。他の局面において、基準視線特定モジュール224は、HMD110の傾きおよび注視センサ140からの信号に基づいて、ユーザ190の視線を特定し得る。
自動カメラ制御モジュール235は、後述する自動カメラ1400を仮想空間2に配置する。自動カメラ1400は、仮想空間2を撮影可能に構成される。より具体的には、自動カメラ1400は、仮想空間2を構成するパノラマ画像22の一部およびアバターオブジェクトその他のオブジェクトを撮影する。ある局面において、自動カメラ1400は、ユーザ190の操作に依らず、撮影条件を満たした時に自動的に撮影を実行するように構成される。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を定義する。より具体的には、仮想空間定義モジュール231は、仮想空間2の大きさや形等を定義して、仮想空間2を生成する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
操作オブジェクト制御モジュール233は、仮想空間2においてユーザ190の操作を受け付けるための操作オブジェクトを仮想空間2に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間2に配置されるオブジェクトを操作する。ある局面において、操作オブジェクト制御モジュール233は、モーションセンサ130の出力に基づいて操作オブジェクトを制御する。ある局面において、操作オブジェクトは、例えば、HMD110を装着したユーザ190の手に相当する手オブジェクト等を含み得る。一例として、コンピュータ200は、手オブジェクトと他のオブジェクトとが接触したことに応じて他のオブジェクトに対する操作を受け付ける。
アバター制御モジュール234は、ネットワークを介して接続される他のコンピュータ200のユーザのアバターオブジェクトを仮想空間2に配置するためのデータを生成する。また、ある局面において、アバター制御モジュール234は、ユーザ190のアバターオブジェクトを仮想空間2に配置するためのデータを生成する。ある局面において、アバター制御モジュール234は、ユーザ190の画像に基づいて、ユーザ190を模したアバターオブジェクトを生成する。他の局面において、アバター制御モジュール234は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ190による選択を受け付けたアバターオブジェクトを仮想空間2に配置するためのデータを生成する。
アバター制御モジュール234は、HMDセンサ120が検出するHMD110の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール234は、HMD110が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。また、ある局面において、アバター制御モジュール234は、モーションセンサ130の出力に基づいてコントローラ160の動きをアバターオブジェクトに反映する。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、撮影画像DB244とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2において展開されるパノラマ画像22、仮想空間2に配置されるオブジェクト、およびオブジェクトを仮想空間2に配置するための情報(たとえば、位置情報)を保持している。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。ユーザ情報243は、ユーザ190を識別するためのユーザID(例えば、コンピュータ200に設定されるIP(Internet Protocol)アドレス、MAC(Media Access Control)アドレス)などを含み得る。
撮影画像DB244は、自動カメラ制御モジュール235によって生成された画像(撮影画像)を管理する。
メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザ190によって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
[コンピュータ200の制御構造]
図10を参照して、本実施形態に係るコンピュータ200の制御構造について説明する。図10は、HMDシステム100が実行する処理を表わすフローチャートである。
ステップS1005において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間2を定義する。
ステップS1010において、プロセッサ10は、パノラマ画像22を用いて仮想空間2を構成する。
ステップS1020において、プロセッサ10は、仮想カメラ1を仮想空間2に配置する。このとき、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心21に配置し得る。
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像26(パノラマ画像22の一部)を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD110に送信される。
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像26を表示する。これにより、HMD110を装着したユーザ190は、仮想空間2を認識する。
ステップS1034にて、HMDセンサ120は、HMD110が出力する複数の赤外線光に基づいて、HMD110の位置および傾き(ユーザ190の動き)を検知する。検知結果は、動き検知データとして、コンピュータ200に送信される。
ステップS1040にて、プロセッサ10は、HMDセンサ120から入力された動き検知データに基づいて、仮想カメラ1の位置および傾きを変更する。これにより、仮想カメラ1の位置および傾き(仮想カメラ1の基準視線5)は、ユーザ190の頭の動きに連動して更新される。視界領域決定モジュール222は、変更後の仮想カメラ1の位置および傾きに応じて視認領域23を規定する。
ステップS1050において、プロセッサ10は、視界画像生成モジュール223として、傾きを変更された仮想カメラ1が撮影する視界画像26を表示するための視界画像データを生成し、生成した視界画像データをHMD110に出力する。
ステップS1052において、HMD110のモニタ112は、受信した視界画像データに基づいて、更新後の視界画像を表示する。これにより、仮想空間2におけるユーザ190の視界が更新される。
ステップS1056において、コントローラ160は、現実空間におけるユーザ190の操作を検出する。例えば、ある局面において、コントローラ160は、ユーザ190によってアナログスティック38が前方に倒されたことを検出する。コントローラ160は、検出内容を示す検出信号をコンピュータ200に送信する。
ステップS1060において、プロセッサ10は、仮想カメラ制御モジュール221として、検出信号に従い、仮想カメラ1を移動させる。これにより、仮想カメラ1が撮影する視界画像26(すなわち、パノラマ画像22の一部)が更新される。
ステップS1070において、プロセッサ10は、視界画像生成モジュール223として、移動後の仮想カメラ1が撮影する視界画像26を表示するための視界画像データを生成し、生成した視界画像データをHMD110に出力する。
ステップS1072において、HMD110のモニタ112は、受信した視界画像データに基づいて、更新後の視界画像を表示する。これにより、仮想空間2におけるユーザの視界が更新される。
[アバターオブジェクト]
図11Aおよび図11Bを参照して、本実施形態に従うアバターオブジェクトについて説明する。以下、HMDセット105Aのユーザをユーザ190A、HMDセット105Bのユーザをユーザ190B、HMDセット105Cのユーザをユーザ190C、HMDセット105Dのユーザをユーザ190Dと定義する。また、HMDセット105Aに関する各構成要素の参照符号に記号Aが付され、HMDセット105Bに関する各構成要素の参照符号に記号Bが付され、HMDセット105Cに関する各構成要素の参照符号に記号Cが付され、HMDセット105Dに関する各構成要素の参照符号に記号Dが付される。例えば、HMD110Aは、HMDセット105Aに含まれる。
図11Aは、ネットワークにおいて、複数のHMD110のそれぞれが、複数のユーザのそれぞれに仮想空間を提供する状況を表す模式図である。図11Aを参照して、コンピュータ200A〜200Dのそれぞれは、HMD110A〜110Dのそれぞれを介して、ユーザ190A〜190Dのそれぞれに、仮想空間2A〜2Dのそれぞれを提供する。図11Aに示される例において、仮想空間2Aに含まれる内容(例えば、パノラマ画像22A)と仮想空間2Bに含まれる内容(例えば、パノラマ画像22B)とは同じである。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間2Aおよび仮想空間2Bには、ユーザ190Aのアバターオブジェクト1100Aと、ユーザ190Bのアバターオブジェクト1100Bとが存在する。なお、仮想空間2Aにおけるアバターオブジェクト1100Aおよび仮想空間2Bにおけるアバターオブジェクト1100BがそれぞれHMDを装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMDを装着していない。
ある局面において、仮想カメラ制御モジュール221Aは、ユーザ190Aの視界画像26Aを撮影する仮想カメラ1Aを、アバターオブジェクト1100Aの目の位置に配置し得る。
図11Bは、図11Aにおいてユーザ190Aが視認する視界画像1110を表す。視界画像1110は、HMD110Aのモニタ112Aに表示される画像である。この視界画像1110は、仮想カメラ1Aが撮影する画像である。図11Aにおいて、仮想空間2Aには、現実空間における市街風景のパノラマ画像22が展開されているものとする。また、視界画像1110には、ユーザ190Bのアバターオブジェクト1100Bが表示されている。なお、特に図示はしていないが、ユーザ190Bの視界画像にも同様に、市街風景とユーザ190Aのアバターオブジェクト1100Aとが表示されている。
図11Bの状態において、ユーザ190Aはユーザ190Bと対話によるコミュニケーションを図ることができる。より具体的には、マイク119Aにより取得されたユーザ190Aの音声は、サーバ150を介してユーザ190BのHMD110Bに送信され、HMD110Bに設けられたスピーカ118Bから出力される。また、ユーザ190Bの音声は、サーバ150を介してユーザ190AのHMD110Aに送信され、HMD110Aに設けられたスピーカ118Aから出力される。
上記の通り、ユーザ190Bの動作(HMD110Bの動き、コントローラ160Bの動作)は、アバター制御モジュール234によりアバターオブジェクト1100Bに反映される。これにより、ユーザ190Aは、ユーザ190Bの動作を、アバターオブジェクト1100Bを通じて認識できる。
このように、ユーザ190Aおよびユーザ190Bは、仮想空間上で同じパノラマ画像22を共有しながらコミュニケーションを図ることができる。このパノラマ画像22は、例えば、映画、ライブ映像、観光名所の画像および、ユーザが過去に撮影した画像などを含み得る。
[サーバ150の制御構造]
図12は、サーバ150のハードウェア構成およびモジュール構成の一例を示す。ある実施形態において、サーバ150は、主たる構成要素として通信インターフェイス1210と、プロセッサ1220と、ストレージ1230とを備える。
通信インターフェイス1210は、コンピュータ200など外部の通信機器と信号を送受信するための変復調処理などを行なう無線通信用の通信モジュールとして機能する。通信インターフェイス1210は、チューナ、高周波回路等により実現される。
プロセッサ1220は、サーバ150の動作を制御する。プロセッサ1220は、ストレージ1230に格納される各種の制御プログラムを実行することにより、送受信部1222、サーバ処理部1224、およびマッチング部1226として機能する。
送受信部1222は、各コンピュータ200と各種情報を送受信する。例えば、送受信部1222は、各コンピュータ200が仮想空間2を定義するための情報、仮想空間2に展開されるパノラマ画像22、ユーザの音声などを各コンピュータ200に送信する。
サーバ処理部1224は、複数のユーザが同じ仮想空間2を共有するための処理を行なう。例えば、サーバ処理部1224は、コンピュータ200から受信した情報に基づいて、後述するアバターオブジェクト情報1234を更新する。
マッチング部1226は、複数のユーザを関連付けるための一連の処理を行なう。マッチング部1226は、例えば、複数のユーザが仮想空間を共有するための入力操作を行った場合に、これらのユーザのユーザIDを互いに関連付ける処理などを行なう。
ストレージ1230は、仮想空間指定情報1232と、アバターオブジェクト情報1234と、ユーザ情報1236と、パノラマ画像DB(データベース)1238と、撮影画像DB1239とを保持する。
仮想空間指定情報1232は、コンピュータ200の仮想空間定義モジュール231が仮想空間2を定義するために用いられる情報である。例えば、仮想空間指定情報1232は、仮想空間2の大きさおよび形状を指定する情報を含む。他の局面において、仮想空間指定情報1232は、コンピュータ200が空間情報241として保持する1つ以上のテンプレートの識別情報を含み得る。
アバターオブジェクト情報1234は、位置情報12341と視線情報12342とを含む。位置情報12341は、仮想空間2における各アバターオブジェクトの位置(座標)を表す。視線情報12342は、仮想空間2における各アバターオブジェクトの傾きを表す。アバターオブジェクトの傾きは、仮想カメラ1の傾き(基準視線5)である。以下、アバターオブジェクトの傾きを「アバターオブジェクトの視線方向」とも称する。アバターオブジェクト情報1234は、コンピュータ200から入力される情報に基づいて随時更新され得る。
ユーザ情報1236は、コンピュータ200のユーザ190についての情報である。ユーザ情報1236は、例えば、複数のユーザ190を互いに識別するユーザIDを含む。
パノラマ画像DB1238は、コンピュータ200が仮想空間2に展開するためのパノラマ画像22を複数保持する。撮影画像DB1239は、各コンピュータ200の撮影画像DB244に保持される情報を含む。
[仮想空間を介した通信処理]
図13は、コンピュータ200Aのユーザ190Aとコンピュータ200Bのユーザ190Bとが仮想空間を介して通信する処理を表すフローチャートである。
ステップS1302において、コンピュータ200Aのプロセッサ10Aは、サーバ150に対して、仮想空間2Aに展開するパノラマ画像22を指定する。ステップS1304において、コンピュータ200Bのプロセッサ10Bは、サーバ150に対して、仮想空間2Bに展開するパノラマ画像22を指定する。ステップS1302およびS1304において、コンピュータ200Aおよび200Bは、互いに仮想空間2を共有するための指示を併せてサーバ150に出力し得る。
ステップS1306において、サーバ150のプロセッサ1220は、送受信部1222として、指定されたパノラマ画像22と、当該パノラマ画像22に応じた仮想空間指定情報1232をコンピュータ200Aおよび200Bに送信する。プロセッサ1220はさらに、マッチング部1226として、ユーザ190Aおよび190Bが同じ仮想空間を共有するものとして、彼らのユーザIDを互いに関連付け得る。
ステップS1308において、プロセッサ10Aは、仮想空間定義モジュール231Aとして、受信した仮想空間指定情報1232に基づいて、仮想空間2Aを定義する。ステップS1310において、プロセッサ10Aは、受信したパノラマ画像22を仮想空間2Aに展開する。
ステップS1312において、プロセッサ10Bは、仮想空間定義モジュール231Bとして、受信した仮想空間指定情報1232に基づいて、仮想空間2Bを定義する。ステップS1314において、プロセッサ10Bは、受信したパノラマ画像22を仮想空間2Bに展開する。
ステップS1316において、プロセッサ10Aは、アバター制御モジュール234Aとして、ユーザ190A自身のアバターオブジェクト1100A(図13では「自アバターオブジェクト」と表記)を仮想空間2Aに配置する。プロセッサ10Aはさらに、アバターオブジェクト1100Aの情報(例えば、モデリングのためのデータ、位置情報など)をサーバ150に送信する。
ステップS1318において、プロセッサ1220は、受信したアバターオブジェクト1100Aの情報をストレージ1230(アバターオブジェクト情報1234)に保存する。プロセッサ1220はさらに、アバターオブジェクト1100Aの情報を、コンピュータ200Aと通信を行なうコンピュータ200Bに送信する。
ステップS1320において、プロセッサ10Bは、アバター制御モジュール234Bとして、受信したアバターオブジェクト1100Aの情報に基づいて、仮想空間2Bにアバターオブジェクト1100Aを配置する。
ステップS1322〜S1326において、ステップS1316〜S1320と同様に、仮想空間2Aおよび2Bにアバターオブジェクト1100B(図13では「他アバターオブジェクト」と表記)が生成され、ストレージ1230にアバターオブジェクト1100Bの情報が保存される。
ステップS1330において、プロセッサ10Aは、視界画像生成モジュール223として、仮想カメラ1Aが撮影する視界画像(パノラマ画像22の一部)26Aを、HMD110Aのモニタ112Aに表示する。これにより、ユーザ190Aは、仮想空間2Aを視認する。このとき、仮想カメラ制御モジュール221Aは、仮想カメラ1Aを、アバターオブジェクト1100Aの目の位置に配置し得る。
ステップS1334において、プロセッサ10Bも、プロセッサ10Aと同様に仮想カメラ1Bが撮影する視界画像26Bをモニタ112Bに表示する。
ステップS1336において、プロセッサ10Aは、ユーザ190Aの動きを検知する。一例として、プロセッサ10Aは、HMDセンサ120の出力に基づいてHMD110Aの位置および傾きを検知する。
ステップS1338において、プロセッサ10Aは、アバター制御モジュール234Aとして、ユーザ190Aの動きを表す検知結果をアバターオブジェクト1100Aに反映する。具体的には、プロセッサ10Aは、検知したHMD110Aの位置に基づいてアバターオブジェクト1100Aの位置を更新し、検知した110Aの傾きに基づいて、アバターオブジェクト1100Aの傾き(視線方向)を更新する。プロセッサ10Aはさらに、検知結果をサーバ150に送信する。
ステップS1340およびS1342において、プロセッサ10Bは、プロセッサ10Aと同様に、ユーザ190Bの動きを表す検知結果をアバターオブジェクト1100Bに反映する。ステップS1342において、プロセッサ10Bはさらに、検知結果をサーバ150に送信する。
ステップS1344において、プロセッサ1220は、サーバ処理部1224として、アバターオブジェクト情報1234を更新する。より具体的には、プロセッサ1220は、コンピュータ200Aから受信した検知結果に基づいてアバターオブジェクト1100Aに対応する位置情報12341および視線情報12342を更新する。プロセッサ1220はさらに、コンピュータ200Bから受信した検知結果に基づいてアバターオブジェクト1100Bに対応する位置情報12341および視線情報12342を更新する。
ステップS1344において、プロセッサ1220はさらに、送受信部1222として、アバターオブジェクト1100Aに対応する位置情報12341および視線情報12342をコンピュータ200Bに送信する。また、プロセッサ1220は、アバターオブジェクト1100Bに対応する位置情報12341および視線情報12342をコンピュータ200Aに送信する。
ステップS1346において、プロセッサ10Aは、アバター制御モジュール234Aとして、受信した情報をアバターオブジェクト1100Bに反映する。ステップS1348において、プロセッサ10Bは、アバター制御モジュール234Bとして、受信した情報をアバターオブジェクト1100Aに反映する。
ステップS1350において、プロセッサ10Aは、仮想カメラ1Aが撮影する視界画像を、モニタ112Aに表示する。これにより、ユーザ190Aが視認する視界画像が更新される。その後、プロセッサ10Aは、処理をステップS1336に戻す。
ステップS1352において、プロセッサ10Bは、プロセッサ10Aと同様に、仮想カメラ1Bが撮影する視界画像をモニタ112Bに表示する。これにより、ユーザ190Bが視認する視界画像が更新される。その後、プロセッサ10Bは、処理をステップS1340に戻す。
ある実施形態において、繰り返し実行されるステップS1336〜S1352の処理は、1/60秒または1/30秒の間隔で実行され得る。
また、他の局面において、上記の繰り返し実行される処理は、ユーザ190Aおよび190Bの音声信号を送受信する処理などの仮想空間2におけるユーザ同士のコミュニケーションを促進する処理を含み得る。
上記の例において、ステップS1316およびステップS1322において、コンピュータ200は、当該コンピュータ200のユーザ自身のアバターオブジェクト1100を仮想空間2に配置するように構成されていた。他の局面において、これらの処理は省略され得る。仮想空間2において相手のアバターオブジェクトさえ配置されていれば、相手とのコミュニケーションを図ることができるためである。
[自動撮影]
図14は、仮想空間2Aにおける撮影処理について説明するための図である。図15は、図14の自動カメラ1400が撮影した画像1500を表す。図14を参照して、仮想空間2Aには、ユーザ190Aに対応するアバターオブジェクト1100Aと、ユーザ190Bに対応するアバターオブジェクト1100Bと、自動カメラ1400とが配置されている。
自動カメラ制御モジュール235Aは、自動カメラ1400を仮想空間2Aに配置する。自動カメラ1400は、仮想空間2Aを撮影可能に構成される。自動カメラ1400によって撮影された画像は、ストレージ12Aに保存される。
自動カメラ制御モジュール235Aは、マイク119Aが取得するユーザ190Aの発話に対応する音声信号をトリガとして、自動カメラ1400による撮影を実行する。ある局面において、自動カメラ制御モジュール235Aは、予め定められた第1レベル(例えば、70dB)以上の音声信号を取得した場合に、自動カメラ1400による撮影を実行する。
ある局面において、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aの位置情報(仮想空間2Aにおける座標)に基づいて、アバターオブジェクト1100Aの少なくとも一部を撮影するように自動カメラ1400を配置する。
一例として、自動カメラ制御モジュール235Aは、自動カメラ1400の撮影方向がアバターオブジェクト1100Aの位置を貫くように自動カメラ1400を配置する。当該構成によれば、自動カメラ1400の画角の中心にアバターオブジェクト1100Aが写る。
他の局面において、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aの位置情報および視線方向に基づいて、アバターオブジェクト1100Aの顔を撮影するように自動カメラ1400を配置する。アバターオブジェクト1100Aの視線方向は、仮想カメラ制御モジュール221Aが設定する仮想カメラ1Aの傾きに対応する。
図14に示される例を用いて上記処理を説明する。アバターオブジェクト1100Aは仮想空間2Aの(X,Y,Z)=(0,0,50)に配置されている。また、アバターオブジェクト1100Aの視線方向1410は−Z方向に設定されている。自動カメラ制御モジュール235Aは、この配置位置と、アバターオブジェクト1100Aのモデリング情報とから、アバターオブジェクト1100Aの顔が(X,Y,Z)=(0,50,50)に位置することを特定する。自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aの顔の位置から視線方向1410に所定距離(例えば、80pixel)離れた位置(0,50,−30)に自動カメラ1400を配置する。自動カメラ制御モジュール235Aはさらに、自動カメラ1400の向き(撮影方向)を視線方向1410とは反対方向(Z方向)に設定する。当該構成によれば、自動カメラ1400は、図15に示される画像1500のように、アバターオブジェクト1100Aの顔を撮影できる。
プロセッサ10Aは、自動カメラ1400によって生成された画像1500を撮影画像DB244Aに保存する。その際、プロセッサ10Aは、画像と所定情報とを関連付けて保存する。所定情報は、撮影時に仮想空間2Aに展開されているパノラマ画像22を識別するパノラマ画像ID、自動カメラ1400の撮影方向と仮想空間2Aの天球とが交わる撮影画像位置、および撮影時のユーザ190Aの視点位置を含み得る。ある局面において、視点位置は、基準視線5A(仮想カメラ1Aの向き)と仮想空間2Aの天球とが交わる位置であり得る。他の局面において、視点位置は、注視センサ140Aによって検出されるユーザ190Aの視線と仮想空間2Aの天球が交わる位置であり得る。
また、パノラマ画像22が動画像である場合、所定情報は、パノラマ画像22における撮影がなされたタイミングを表す再生情報を含み得る。ある局面において、プロセッサ10Aは、撮影画像DB244に保存する情報をユーザ190AのユーザIDとともにサーバ150に送信する。サーバ150は、受信した情報を撮影画像DB1239に保存する。
ある局面において、自動カメラ制御モジュール235Aは、ユーザ190Aが視認できない透明な自動カメラ1400を配置する。仮に、ユーザ190Aが自動カメラ1400を視認できた場合、自動カメラ1400によってアバターオブジェクト1100Bが隠れるなどして、ユーザ190Bとのコミュニケーションに集中できない場合があるためである。
[自動撮影の制御構造]
図16は、コンピュータ200Aにおける自動撮影処理を表すフローチャートである。
ステップS1610において、プロセッサ10Aは、サーバ150から受信した仮想空間指定情報1232に基づいて、仮想空間2Aを定義する。
ステップS1615において、プロセッサ10Aは、アバター制御モジュール234Aとして、仮想空間2Aにユーザ190Aに対応するアバターオブジェクト1100Aを配置する。プロセッサ10Aはさらに、コンピュータ200Bから受信した情報に基づいて、ユーザ190Bに対応するアバターオブジェクト1100Bを配置する。
ステップS1620において、プロセッサ10Aは、自動カメラ制御モジュール235Aとして、自動カメラ1400を仮想空間2Aに配置する。
ステップS1625において、プロセッサ10Aは、アバター制御モジュール234Aとして、アバターオブジェクト1100Aおよび1100Bの位置情報を更新する。ステップS1630において、プロセッサ10Aは、アバター制御モジュール234Aとして、アバターオブジェクト1100Aおよび1100Bの視線方向(傾き)を更新する。これらの処理は図13のステップS1338およびステップS1346の処理に対応する。
ステップS1635において、プロセッサ10Aは、アバターオブジェクト1100Aの位置情報および視線方向に基づいて、自動カメラ1400を配置する。より具体的には、プロセッサ10Aは、自動カメラ1400の画角内にアバターオブジェクト1100Aの少なくとも一部(例えば顔)が含まれるように自動カメラ1400を移動させる。
ステップS1640において、プロセッサ10Aは、マイク119Aから音声信号の入力を受け付ける。プロセッサ10Aはさらに、コンピュータ200Bからマイク119Bによって取得された音声信号の入力を受け付ける。
ステップS1645において、プロセッサ10Aは、ユーザ190Aの発話に対応する音声信号が予め定められた第1レベル(例えば、70dB)以上であるか否かを判断する。プロセッサ10Aは、音声信号が第1レベル以上であると判断した場合(ステップS1645でYES)、処理をステップS1650に進める。そうでない場合(ステップS1645でNO)、プロセッサ10は処理をステップS1625に戻す。
ステップS1650において、プロセッサ10Aは、ユーザ190Aの発話に対応する音声信号から文字列を抽出する。一例として、プロセッサ10Aは、音声信号の先頭から所定時間単位(たとえば、10msec単位)で区切られる波形データと、ストレージ12Aに格納される音響モデル(不図示)とを照合して、文字列を抽出する。音響モデルは、母音や子音などの音素ごとの特徴量を表す。一例として、プロセッサ10Aは、隠れマルコフモデルに基づき、音声信号と音響モデルとを照合する。
ステップS1655において、プロセッサ10Aは、抽出した文字列に予め定められた文字列が含まれているか否かを判断する。一例として、予め定められた文字列は、「すごい」、「おぉ」、「えぇ〜」などの複数の感嘆詞を含む。
プロセッサ10Aは、抽出した文字列に予め定められた文字列が含まれていると判断した場合(ステップS1655でYES)、処理をステップS1660に進め、自動カメラ1400による撮影を実行する。プロセッサ10Aは、撮影により生成された画像をストレージ12Aに保存する。そうでない場合(ステップS1655でNO)、プロセッサ10Aは、処理をステップS1625に戻す。
上記によれば、コンピュータ200Aは、ユーザ190Aによる撮影操作(例えば、コントローラ160Aによる操作)をトリガとするのではなく、ユーザ190Aの音声をトリガとして自動的に仮想空間2Aを撮影する。そのため、コンピュータ200Aは、撮影タイミング(例えば、ユーザ190Aが驚きの声を発した時)に適切に撮影を行ない得る。
また、コンピュータ200Aは、ユーザ190Aが撮影操作に伴う面倒を感じることを抑制し得る。加えて、コンピュータ200Aは、音声をトリガとするため、ユーザ190Aのポージング(すなわち、アバターオブジェクト1100Aのポージング)の自由度を高め得る。以上より、ある実施形態に従うHMDシステム100は、ユーザの仮想空間における体験をより豊かにし得る。
上記の例では、コンピュータ200Aは、音声信号から文字列を抽出して、当該文字列が予め定められた文字列を含む場合に、自動カメラ1400による撮影を実行するように構成されている。他の局面において、コンピュータ200Aは、入力された音声信号からユーザ190Aの感情を推定し、推定された感情に基づいて撮影を実行するように構成されてもよい。例えば、コンピュータ200Aは、音声信号から文字列を抽出して、当該文字列から感情を推定する。このような処理は、例えば、メタデータ社が提供する「感情解析API」により実現され得る。他の局面において、コンピュータ200Aは、音声信号の波形から感情を推定する。このような処理は、例えば、AGI社が提供する「ST Emotion SDK」により実現され得る。一例として、コンピュータ200Aは、音声信号に基づくユーザ190Aの感情が肯定的な感情(例えば、喜び、嬉しい)に分類される場合に、自動カメラ1400による撮影を実行するように構成されてもよい。
ある局面において、HMDセット105Aは、ユーザ190Aの顔を撮影するためのカメラ(例えば赤外線カメラ)をさらに有する。プロセッサ10Aは、当該カメラの出力に基づいてユーザ190Aの表情をアバターオブジェクトに反映し得る。このような制御は、公知のフェイストラッキング技術により実現され得る。係る場合、上記の実施形態に従うコンピュータ200Aは、ユーザ190Aの感情が高ぶった瞬間のユーザ190Aの表情を反映したアバターオブジェクト1100Aを撮影し得る。
[自動カメラ1400の移動制御]
図17は、他の局面における自動カメラ1400の移動制御を説明するための図である。自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aの位置を基準に予め定められたパターンで自動カメラ1400を移動させ得る。
例えば、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aの位置(顔の位置)を中心とする円軌道1710で自動カメラ1400を移動させ得る。このとき、自動カメラ制御モジュール235Aは、自動カメラ1400の画角内にアバターオブジェクト1100Aの少なくとも一部(例えば顔)が含まれるように、自動カメラ1400の移動を制御し得る。より具体的には、自動カメラ制御モジュール235Aは、自動カメラ1400の撮影方向がアバターオブジェクト1100の位置を貫くように自動カメラ1400の移動を制御し得る。
上記によれば、自動カメラ1400は、アバターオブジェクト1100Aを様々な角度から撮影できる。
他の例として、自動カメラ制御モジュール235Aは、視線方向1410上のある点を中心として、視線方向1410と直交する面上に形成される円軌道1720で自動カメラ1400を移動させ得る。このとき、自動カメラ制御モジュール235Aは、自動カメラ1400の画角内にアバターオブジェクト1100Aの少なくとも一部(例えば顔)が含まれるように、自動カメラ1400の移動を制御し得る。
上記によれば、自動カメラ1400は、アバターオブジェクト1100Aの顔を様々な角度から撮影できる。
[コミュニケーションを促進する処理]
上記の例において、プロセッサ10Aは、仮想空間2Aに配置される他のアバターオブジェクト1100Bおよびユーザ190Bの発話を考慮せずに自動カメラ1400による撮影を実行するように構成されている。以下では、他のアバターオブジェクト1100Bまたはユーザ190Bの発話を考慮した、ユーザ間のコミュニケーションを促進するための処理について説明する。
(アバターオブジェクト同士が向かい合っている場合)
図18は、アバターオブジェクト1100Bを考慮した自動カメラ制御モジュール235Aによる撮影処理を説明するための図である。図19は、図18の自動カメラ1400により生成された画像1900を表す。
図18を参照して、仮想空間2Aに、アバターオブジェクト1100Aとアバターオブジェクト1100Bとが間隔Dだけ離れた状態で配置されている。自動カメラ制御モジュール235Aは、少なくともユーザ190Aに対応する音声信号をトリガとして自動カメラ1400による撮影を実行する。ある局面において、自動カメラ制御モジュール235Aは、ユーザ190Aに対応する音声信号が第1レベル以上である場合に自動カメラ1400による撮影を実行する。
他の局面において、自動カメラ制御モジュール235Aは、ユーザ190Aに対応する音声信号およびユーザ190Bに対応する音声信号をトリガとして撮影を実行する。一例として自動カメラ制御モジュール235Aは、両者各々に対応する音声信号が予め定められた第2レベル以上である場合に、撮影を実行する。なお、第2レベルは、上記の第1レベルよりも低く設定され得る。その理由は、第1レベルは対応するユーザの感嘆を検出するための設定であり、第2レベルは対応する両者のコミュニケーション(会話)を検出するための設定であるためである。
なお、さらに他の局面において、自動カメラ制御モジュール235Aは、両者(ユーザ190Aおよび190B)各々に対応する音声信号が第1レベル以上である場合に撮影を実行するように構成されてもよい。係る場合、両者が同じタイミングで興味を示した場合に撮影が実行される。そのため、両者は、当該撮影の被写体に興味を示す可能性が高く、当該撮影により生成された画像によりコミュニケーションを活性化し得る。
他の局面において、自動カメラ制御モジュール235Aは、間隔Dが所定間隔(例えば、100pixel)未満である場合に自動カメラ1400による撮影を実行する。具体的には、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aの位置と、アバターオブジェクト1100Bの位置とに基づいて、これらの間隔Dを算出する。なお、他の局面において、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aの所定部位(例えば顔)の位置と、アバターオブジェクト1100Bの所定部位の位置とに基づいて間隔Dを算出してもよい。これにより、ユーザ190Aおよび190Bがコミュニケーションしている可能性がより高まる。
さらに他の局面において、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aおよび1100Bが互いに向かい合っている場合に自動カメラ1400による撮影を実行し得る。
自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aの視線方向1410と、アバターオブジェクト1100Bの視線方向1810とを特定する(図13のステップS1338およびS1346)。一例として、自動カメラ制御モジュール235Aは、これらの視線方向がXZ平面上において成す角度が略180度(例えば、170〜190度)である場合に、アバターオブジェクト1100Aおよび1100Bが互いに向かい合っていると判断する。
自動カメラ制御モジュール235Aは、上記の条件を満たしたと判断した場合、自動カメラ1400の撮影方向を、視線方向1410および1810が互いに向かい方向に直交する方向に設定する。ある局面において、自動カメラ制御モジュール235Aは、自動カメラ1400の撮影方向を視線方向1410に直交する方向に設定する。
このとき、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aおよび1100Bの位置情報に基づいて、これらアバターオブジェクトの各々の少なくとも一部が自動カメラ1400の画角に収まるように自動カメラ1400を配置する。一例として、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aおよび1100Bの顔が自動カメラ1400の画角に含まれるように自動カメラ1400を配置する。
上記によれば、コンピュータ200Aは、図19に示されるように、アバターオブジェクト1100Aおよび1100Bを含む画像1900を生成できる。ユーザ190Aは、画像1900を話題にして、仮想空間2A上でのユーザ190Bとのコミュニケーションを促進し得る。他の局面において、コンピュータ200Aは、画像1900をコンピュータ200Bに送信する。ユーザ190Aおよび190Bは、仮想空間上でこの画像1500を一緒に閲覧しながらコミュニケーションを図る。その結果、ユーザ間のコミュニケーションがさらに促進され得る。
(複数のユーザが同じ対象物を見ている場合−その1)
図20は、複数のユーザが同じ対象物を見ている場合の自動カメラ制御モジュール235Aの処理を説明するための図(その1)である。図21は、図20の自動カメラ1400により生成された画像2100を表す。
仮想空間2Aおよび2Bには、同じパノラマ画像22が展開されている。そのため、ユーザ190Aおよび190Bは、同じ対象物(パノラマ画像22の一部)を見ながらコミュニケーションし得る。係る場合、図20に示されるように、アバターオブジェクト1100Aの視線方向1410と、アバターオブジェクト1100Bの視線方向1810とが略同じ箇所(パノラマ画像22の一部)に向けられる。
ある局面において、自動カメラ制御モジュール235Aは、視線方向1410が仮想空間2Aの天球を貫く位置と、視線方向1810が仮想空間2Aの天球を貫く位置との間隔が、予め定められた間隔未満である場合に、ユーザ190Aおよび190Bが同じ対象物を見ていると判断する。自動カメラ制御モジュール235Aは、これらの間隔が予め定められた間隔未満である場合に、自動カメラ1400により撮影を行なう。以下、視線方向1410が仮想空間2Aの天球を貫く位置を「視点1410」とも称する。また、視線方向1810が仮想空間2Aの天球を貫く位置を「視点1810」とも称する。なお、自動カメラ制御モジュール235Aは、アバターオブジェクト同士の間隔Dが所定間隔未満である条件さらに満たした場合に、撮影を実行するように構成されてもよい。また、自動カメラ制御モジュール235Aは、少なくともユーザ190Aに対応する音声信号に関する条件をさらに満たした場合に、撮影を実行するように構成されてもよい。
自動カメラ制御モジュール235Aは、上記条件を満たしたことに応じて、アバターオブジェクト1100Aおよび1100Bの位置と、視線方向1410および1810とに基づいて自動カメラ1400を配置する。
一例として、自動カメラ制御モジュール235Aは、視点1410および1810の中間点2010(座標値)と、アバターオブジェクト1100Aおよび1100Bの位置の中間点2020(座標値)とを算出する。自動カメラ制御モジュール235Aは、中間点2010と中間点2020とを結ぶ線分上に自動カメラ1400を配置する。このとき、自動カメラ制御モジュール235Aは、自動カメラ1400の画角内にアバターオブジェクト1100Aおよび1100Bの各々の少なくとも一部が含まれるように自動カメラ1400を配置する。一例として、自動カメラ1400は、中間点2020が画角の中心となるように配置される。
上記によれば、コンピュータ200Aは、図21に示されるように、アバターオブジェクト1100Aおよび1100Bが正面を向いた画像2100を生成できる。
この場合、プロセッサ10Aは、画像2100を撮影画像DB244Aに保存する際に、被写体であるアバターオブジェクト1100Bのユーザ190BのユーザIDを併せて保存し得る。
なお、他の局面において、自動カメラ制御モジュール235Aは、ユーザ190Aおよび190Bが見ている対象物を撮影するように自動カメラ1400を配置しても良い。一例として、自動カメラ制御モジュール235Aは、中間点2010が画角の中心となるように自動カメラ1400を配置する。当該構成によれば、コンピュータ200Aは、ユーザ190Aおよび190Bが興味のある対象物を撮影できる。その結果、ユーザ190Aは、生成された画像を話題として、ユーザ190Bとのコミュニケーションをより促進し得る。
しかしながら、上記の制御では、自動カメラ1400の画角にアバターオブジェクト1100Aおよび1100Bの後ろ姿は含まれ得るが、これらの顔は含まれない。そこで、以下にこのような課題を解決可能な処理について説明する。
(複数のユーザが同じ対象物を見ている場合−その2)
図22は、複数のユーザが同じ対象物を見ている場合の自動カメラ制御モジュール235Aの処理を説明するための図(その2)である。図23は、図22の自動カメラ1400により生成された画像2300を表す。
自動カメラ制御モジュール235Aは、視点1410および1810の間隔が予め定められた間隔未満であると判断した場合に、画角に中間点2010並びにアバターオブジェクト1100Aおよび1100Bが含まれるように、自動カメラ1400を配置する。一例として、自動カメラ制御モジュール235Aは、中間点2010と中間点2020とを結ぶ直線上に自動カメラ1400を配置する。
仮に上記の状態で自動カメラ1400がアバターオブジェクト1100Aおよび1100Bを撮影すると、生成された画像に含まれるこれらのアバターオブジェクトは、後を向いてしまう。そこで、自動カメラ制御モジュール235Aは、自動カメラ1400により撮影される画像に含まれるアバターオブジェクト1100Aおよび1100Bの各々の視線方向(頭の向き)を、自動カメラ1400の位置に向ける。具体的には、自動カメラ制御モジュール235Aは、アバターオブジェクト1100Aおよび1100Bの各々のモデリングデータに基づいて、カメラ目線のアバターオブジェクトの画像を生成する。
上記によれば、コンピュータ200Aは、図23に示されるように、正面を向いたアバターオブジェクト1100Aおよび1100B、並びに、ユーザ190Aおよび190Bが興味のある対象物(図23の例では東京タワー(登録商標)2310)を含む画像2300を生成できる。その結果、ユーザ190Aは、生成された画像を話題として、ユーザ190Bとのコミュニケーションをより促進し得る。
ある局面において、公知のフェイストラッキング技術によりユーザ190A,190Bの表情がアバターオブジェクト1100A,1100Bにそれぞれ反映され得る。係る場合、自動カメラ制御モジュール235Aは、カメラ目線のアバターオブジェクトの画像を生成する際に、撮影タイミングにおけるユーザ190A,190Bの表情をアバターオブジェクト1100A,1100Bに反映した画像を生成し得る。
[自動撮影の制御構造]
図24は、ユーザ間のコミュニケーションを促進するためにコンピュータ200Aによって実行される自動撮影処理を表すフローチャートである。なお、図24に示される処理のうち前述の処理と同じ処理については同じ符号を付している。そのため、その処理についての説明は繰り返さない。
ステップS2410において、プロセッサ10Aは、アバターオブジェクト1100Aおよび1100Bの位置情報に基づいて、自動カメラ1400を配置する。より具体的には、プロセッサ10Aは、自動カメラ1400の画角内にアバターオブジェクト1100Aおよび1100Bの各々の少なくとも一部(例えば顔)が含まれるように自動カメラ1400を移動させる。
ステップS2420において、プロセッサ10Aは、アバターオブジェクト1100Aおよび1100Bの間隔Dが予め定められた間隔未満であるか否かを判断する。プロセッサ10Aは、間隔Dが予め定められた間隔未満であると判断した場合(ステップS2420でYES)、処理をステップS1645に進める。そうでない場合(ステップS2420でNO)、プロセッサ10Aは処理をステップS1625に戻す。
上記によれば、コンピュータ200Aは、ユーザ190Bとのコミュニケーションを促進するための画像を、ユーザ190Aに提供できる。
図24に示される処理において、コンピュータ200Aは、ユーザ190Aに対応する音声信号にのみ基づいて撮影を実行するように構成されている(図24のステップS1645)。しかしながら、ユーザ190Aがユーザ190Bに一方的に話しかけている場合もあり得る。そこで、他の局面において、コンピュータ200Aは、両者の音声が交互に入力された時に、両者がコミュニケーションをしていると判断し、撮影を実行するように構成される。
図25は、他の局面に従うユーザ間のコミュニケーションを促進するための自動撮影処理を表すフローチャートである。なお、図25に示される処理のうち前述の処理と同じ処理については同じ符号を付している。そのため、その処理についての説明は繰り返さない。
ステップS2420において、プロセッサ10Aは、アバターオブジェクト1100Aおよび1100Bの間隔Dが予め定められた間隔未満であると判断した場合、処理をステップS2510に進める。
ステップS2510において、プロセッサ10Aは、ユーザ190Aおよび190Bの一方に対応する予め定められた第2レベル以上の音声信号の入力を受け付けてから、所定時間内に他方に対応する第2レベル以上の音声信号の入力を受け付けたか否かを判断する。この所定時間は、例えば2秒間に設定される。
プロセッサ10Aは、第2レベル以上の一方の音声信号の入力を受け付けてから所定時間内に第2レベル以上の他方の音声信号の入力を受け付けたと判断した場合(ステップS2510でYES)、処理をステップS1660に進め撮影を行なう。そうでない場合(ステップS2510でNO)、プロセッサ10Aは処理をステップS1625に戻す。
上記によれば、コンピュータ200Aは、ユーザ190Aと190Bとが会話している可能性が高い時に撮影を実行できる。
[撮影画像の管理]
図26は、ある実施形態に従う撮影画像DB1239のデータ構造の一例を表す。図26に示される例において、撮影画像DB1239は、撮影画像と、ユーザIDと、パノラマ画像IDと、撮影画像位置と、視点位置と、撮影タイミングとを互いに関連付けて保持する。これらのデータは各コンピュータ200から受信した情報である。
ユーザIDは、撮影画像を生成したコンピュータ200のユーザ190を識別する。パノラマ画像IDは、撮影時に仮想空間2に展開されているパノラマ画像22を識別する。撮影画像位置は、自動カメラの撮影方向と仮想空間2の天球とが交わる位置を表す。換言すれば、撮影画像位置は、撮影画像に含まれるパノラマ画像22の中央位置を表す。視点位置は、仮想カメラ1の撮影方向と仮想空間2の天球とが交わる位置を表す。撮影タイミングは、仮想空間2に展開されているパノラマ画像22が動画像である場合に、パノラマ画像22における撮影が行なわれたタイミングを特定する。
撮影画像DB1239は、撮影画像が複数のアバターオブジェクトを含む場合に、これらのアバターオブジェクトの各々に対応するユーザIDを併せて保持し得る。
各コンピュータ200は、ユーザ190の発話に基づいて撮影画像を生成する。この処理は、各コンピュータ200がユーザ190の発話に基づいてユーザ190の感情が動いたと推定されるタイミングで、撮影画像を生成する処理とも言える。そのため、サーバ150の管理者は、撮影画像DB1239に基づいて、ユーザ190の関心の対象を把握できる。
ある局面において、サーバ150のプロセッサ1220は、パノラマ画像22のうち視点位置の周辺画像に含まれる物体(コンテンツ)を公知の機械学習法により特定し、特定結果を撮影画像DB1239に保存し得る。一例として、プロセッサ1220は、Selective Search法を用いて周辺画像に含まれる物体を囲むバウンディングボックスを特定する。プロセッサ1220は、バウンディングボックスにより切り取られた画像からCNN(Convolutional Neural Network)により導出される特徴量を算出する。プロセッサ1220は、算出した特徴量と、複数のSVM(Support Vector Machine)に従う識別器とを用いて、バウンディングボックスに含まれる物体を特定する。
上記によれば、サーバ150の管理者は、ユーザ190の関心の対象(物体)を容易に理解し得る。また、サーバ150のプロセッサ1220は、特定した物体に基づいて、ユーザ190が関心を示すであろう広告を配信する処理、およびユーザ190が関心を示すであろうパノラマ画像22を推奨する処理を行なうように構成されてもよい。
[構成]
以上に開示された技術的特徴は、以下のように要約され得る。
(構成1) ある実施形態に従うと、HMD110によって仮想空間2を提供するためにコンピュータ200で実行される方法が提供される。この方法は、仮想空間2を定義するステップ(S1610)と、HMD110のユーザ190の発話に対応する第1音声信号を受け付けるステップ(S1640)と、第1音声信号をトリガとして仮想空間2による撮影を実行するステップ(S1660)とを備える。
(構成2) (構成1)に従う方法は、ユーザ190に対応するアバターオブジェクト900Aを仮想空間2に配置するステップ(S1615)をさらに備える。撮影を実行することは、アバターオブジェクト900Aの位置情報に基づいて、アバターオブジェクト900Aの少なくとも一部を撮影すること(S1635)を含む。
(構成3) (構成2)において、撮影を実行することは、アバターオブジェクト900Aの視線方向とアバターオブジェクト900Aの位置情報とに基づいて、アバターオブジェクト900Aの少なくとも一部を撮影すること(S1635)を含む。
(構成4) (構成2)または(構成3)において、撮影を実行するステップは、アバターオブジェクト900Aの位置を基準に予め定められたパターンで移動する自動カメラを仮想空間2に配置すること(図17)と、自動カメラにより撮影を実行することとを含む。
(構成5) (構成1)〜(構成4)のいずれかにおいて、撮影を実行するステップは、第1音声信号が予め定められた第1レベル以上である場合(S1645でYES)に撮影を実行することを含む。
(構成6) (構成1)〜(構成5)のいずれかにおいて、撮影を実行するステップは、第1音声信号から文字列を抽出すること(S1650)と、抽出された文字列が予め定められた文字列を含む場合(S1655でYES)に撮影を実行することとを含む。
(構成7) (構成1)〜(構成6)のいずれかに従う方法は、ユーザ190Aに対応するアバターオブジェクト900Aを仮想空間2に配置するステップ(S1615)と、コンピュータ200Aと通信可能な他のコンピュータ200Bのユーザ190Bに対応するアバターオブジェクト900Bを仮想空間2に配置するステップ(S1615)とをさらに備える。撮影を実行することは、第1およびアバターオブジェクト900Bの位置情報に基づいて、アバターオブジェクト900Aおよび900Bの各々の少なくとも一部を撮影すること(S2410)を含む。
(構成8) (構成7)に従う方法は、アバターオブジェクト900Aとアバターオブジェクト900Bとの間隔Dを算出するステップ(S2420)をさらに備える。撮影を実行することは、算出された間隔Dが予め定められた間隔未満である場合(S2420でYES)に撮影を実行することを含む。
(構成9) (構成8)において、撮影を実行することは、アバターオブジェクト900Aおよび900Bが互いに向かい合う場合(図18)に、当該向かい合う方向に直交する方向から撮影を実行することを含む。
(構成10) (構成1)〜(構成9)のいずれかに従う方法は、コンピュータ200Aと通信可能な他のコンピュータ200Bのユーザ190Bの発話に対応する第2音声信号を受け付けるステップ(S1640)をさらに備える。撮影を実行することは、第1および第2音声信号をトリガ(S2510)として撮影することを含む。
(構成11) (構成10)において、撮影を実行することは、第2レベル以上の第1および第2音声信号のうち一方の音声信号を受け付けてから、第2レベル以上の他方の音声信号を受け付けるまでの時間が予め定められた時間未満である場合(S2510でYES)に撮影を実行することを含む。
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。