以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ140と、スピーカ115と、第1カメラ116と、第2カメラ117と、マイク119とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。他の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
サーバ150は、プロセッサ151と、メモリ152と、通信インターフェイス153とを含む。サーバ150は、周知の構成を有するコンピュータによって実現される。プロセッサ151は、命令を実行する。メモリ152は、RAM(Random Access Memory)その他の揮発性メモリである。通信インターフェイス153は、コンピュータ200、ユーザ端末201A,201N等と通信する。ストレージ154は、サーバ150がコンピュータ200その他の外部の装置から受信したデータまたはプロセッサ151によって生成されたデータを保持する。ストレージ154は、例えば、ハードディスク、SSD(Solid State Disc)その他の不揮発性の記憶装置によって実現され得る。
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間2をユーザ190に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、たとえば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視認すると、仮想空間2に没入することができる。ある実施の形態において、仮想空間2は、たとえば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能なメニューの画像を含む。複数のコンピュータ200が各ユーザの動作に基づく信号を受け渡しすることで、複数のユーザが一の仮想空間2で仮想体験できる構成であれば、各ユーザに対応するアバターオブジェクトが、仮想空間2に提示される。
なお、オブジェクトとは、仮想空間2に存在する仮想の物体である。ある局面において、オブジェクトは、ユーザに対応するアバターオブジェクト、アバターオブジェクトが身に着ける仮想アクセサリおよび仮想衣類、ユーザに関する情報が示されたパネルを模した仮想パネル、手紙を模した仮想手紙、およびポストを模した仮想ポストなどを含む。さらに、アバターオブジェクトは、仮想空間2においてユーザ190を象徴するキャラクタであり、たとえば人型、動物型、ロボット型などを含む。オブジェクトの形は様々である。ユーザ190は、予め決められたオブジェクトの中から好みのオブジェクトを仮想空間2に提示するようにしてもよいし、自分が作成したオブジェクトを仮想空間2に提示するようにしてもよい。
ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。他の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、たとえば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
スピーカ115は、コンピュータ200から受信した音声データに対応する音声(発話)を外部に出力する。マイク119は、ユーザ190の発話に対応する音声データをコンピュータ200に出力する。ユーザ190は、マイク119を用いて他のユーザに向けて発話する一方で、スピーカ115を用いて他のユーザの音声(発話)を聞くことができる。
より具体的には、ユーザ190がマイク119に向かって発話すると、当該ユーザ190の発話に対応する音声データがコンピュータ200に入力される。コンピュータ200は、その音声データを、ネットワーク19を介してサーバ150に出力する。サーバ150は、コンピュータ200から受信した音声データを、ネットワーク19を介して他のコンピュータ200に出力する。他のコンピュータ200は、サーバ150から受信した音声データを、他のユーザが装着するHMD110のスピーカ115に出力する。これにより、他のユーザは、HMD110のスピーカ115を介してユーザ190の音声を聞くことができる。同様に、他のユーザからの発話は、ユーザ190が装着するHMD110のスピーカ115から出力される。
第1カメラ116は、ユーザ190の顔の下部を撮影するようにHMD110の筐体に設けられている。より具体的には、第1カメラ116は、ユーザ190の鼻、頬、および口などを撮影する。第2カメラ117は、ユーザ190の目および眉などを撮影するようにHMD110の筐体に設けられている。本実施の形態において、HMD110のユーザ190側の筐体をHMD110の内側、HMD110のユーザ190とは逆側の筐体をHMD110の外側と定義する。ある局面において、第1カメラ116は、HMD110の外側に配置され、第2カメラ117は、HMD110の内側に配置され得る。第1カメラ116および第2カメラ117が生成した画像は、コンピュータ200に入力される。
コンピュータ200は、他のユーザのコンピュータ200から受信した音声データに応じて、当該他のユーザに対応する他アバターオブジェクトを動かすような画像をモニタ112に表示する。たとえば、ある局面において、コンピュータ200は、他アバターオブジェクトの口を動かすような画像をモニタ112に表示することで、あたかも仮想空間2内でアバターオブジェクト同士が会話しているかのように仮想空間2を表現する。このように、複数のコンピュータ200間で音声データの送受信が行なわれることで、一の仮想空間2内で複数のユーザ間での会話(チャット)が実現される。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は、たとえば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
他の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。たとえば、センサ114が、角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサなどである場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間2を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。たとえば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
サーバ150は、コンピュータ200にプログラムを送信し得る。他の局面において、サーバ150は、他のユーザによって使用されるHMD110に仮想現実を提供するための他のコンピュータ200と通信し得る。たとえば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間2において複数のユーザが共通のゲームを楽しむことを可能にする。また、上述したように、複数のコンピュータ200が各ユーザの動作に基づく信号を送受信することで、一の仮想空間2内で複数のユーザが会話を楽しむことができる。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。他の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。他の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。他の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザ190の手に取り付けられて、ユーザ190の手の動きを検出する。たとえば、モーションセンサ130は、手の回転速度、回転数などを検出する。モーションセンサ130によって得られたユーザ190の手の動きの検出結果を表すデータ(以下、検出データともいう)は、コンピュータ200に送られる。モーションセンサ130は、たとえば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。他の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。たとえば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、たとえば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
他の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに他の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、たとえば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、たとえば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間2を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間2を規定するためのデータおよびオブジェクトなどを含む。
なお、他の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェース13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。たとえば、入出力インターフェース13は、モーションセンサ130から出力された信号の入力を受ける。他の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光などをコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(たとえば、サーバ150、他のユーザのコンピュータ200など)と通信する。ある局面において、通信インターフェース14は、たとえば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間2を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間2で実行可能なゲームソフトウェアなどを含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間2を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、他の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(たとえば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間2を提供することもできるので、各ユーザは同一の仮想空間2で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間2において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザ190の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(たとえば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間2についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画など)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザ190によって視認可能な仮想空間画像22が展開される仮想空間2をユーザ190に提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、たとえば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザ190が仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザ190の視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザ190の視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ190の視線方向の決定について説明する。図5は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。他の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、たとえば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間2を提供する。視界画像は、仮想空間画像22のうちの視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザ190が向いた方向の視界領域23に重畳する画像に更新される。ユーザ190は、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザ190に与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8の分図(A)に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラ(図示しない)とを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。他の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。たとえば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。他の局面において、右コントローラ800と左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
図8の分図(B)は、右コントローラ800を把持するユーザ190の右手に対応して仮想空間2に配置されるハンドオブジェクト810の一例を示す。たとえば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。たとえば、入力操作が、右コントローラ800のボタン34に対して行なわれると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタン34に対して行なわれていない場合には、分図(B)に示すように、ハンドオブジェクト810の人差し指を伸ばした状態とすることもできる。たとえば、ハンドオブジェクト810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
[HMDの制御装置]
図9を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250と、フェイストラッキングモジュール260と、動作検出モジュール271と、感情判断モジュール272とを備える。
表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224と、傾き特定モジュール225と、視点特定モジュール226とを含む。
仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、手オブジェクト制御モジュール233とを含む。
ある実施の形態において、表示制御モジュール220、仮想空間制御モジュール230、フェイストラッキングモジュール260、動作検出モジュール271、および、感情判断モジュール272は、プロセッサ10によって実現される。他の実施の形態において、複数のプロセッサ10が表示制御モジュール220、仮想空間制御モジュール230、フェイストラッキングモジュール260、動作検出モジュール271、および、感情判断モジュール272として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向きなどを制御する。視界領域決定モジュール222は、HMD110を装着したユーザ190の頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像のデータ(視界画像データともいう)を生成する。さらに、視界画像生成モジュール223は、仮想空間制御モジュール230から受信したデータに基づいて、視界画像データを生成する。視界画像生成モジュール223によって生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
傾き特定モジュール225は、HMDセンサ120の出力に基づいて、HMD110の傾きを特定する。他の局面において、傾き特定モジュール225は、モーションセンサとして機能するセンサ114の出力に基づいて、HMD110の傾きを特定する。
視点特定モジュール226は、注視センサ140からの信号に基づいて、仮想空間2におけるユーザ190の視線を検出する。視点特定モジュール226は、検出したユーザ190の視線と仮想空間2の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、視点特定モジュール226は、仮想カメラ1の位置および傾きに基づいて、uvw座標系で規定されるユーザ190の視線をXYZ座標系に変換して視点位置を検出する。
フェイストラッキングモジュール260は、HMD110を装着したユーザ190の顔の動きまたは表情を検出する。より具体的には、フェイストラッキングモジュール260は、顔器官検出モジュール261と、トラッキングモジュール262とを含む。顔器官検出モジュール261は、第1カメラ116および第2カメラ117からそれぞれ出力される画像データによって生成されるユーザ190の顔の画像から、ユーザ190の顔を構成する器官(例えば、口,目,眉)を検出する。トラッキングモジュール262は、顔器官検出モジュール261によって検出された各器官ごとの特徴点(の位置)を、例えば間欠的に(離散的に)検出する。トラッキングモジュール262は、ユーザ190の表情を検出することになる。顔器官検出モジュール261およびトラッキングモジュール262の制御内容は後述する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトのデータを生成する。オブジェクトは、たとえば、他アバターオブジェクト、仮想パネル、仮想手紙、および仮想ポストなどを含み得る。仮想オブジェクト生成モジュール232によって生成されたデータは、視界画像生成モジュール223に出力される。
手オブジェクト制御モジュール233は、手オブジェクトを仮想空間2に配置する。手オブジェクトは、たとえば、コントローラ160を保持したユーザ190の右手あるいは左手に対応する。ある局面において、手オブジェクト制御モジュール233は、右手あるいは左手に対応する手オブジェクトを仮想空間2に配置するためのデータを生成する。また、手オブジェクト制御モジュール233は、ユーザ190によるコントローラ160の操作に応じて、手オブジェクトを動かすためのデータを生成する。手オブジェクト制御モジュール233によって生成されたデータは、視界画像生成モジュール223に出力される。
他の局面において、ユーザ190の体の一部の動き(たとえば、左手、右手、左足、右足、頭などの動き)がコントローラ160に関連付けられている場合、仮想空間制御モジュール230は、ユーザ190の体の一部に対応する部分オブジェクトを仮想空間2に配置するためのデータを生成する。仮想空間制御モジュール230は、ユーザ190が体の一部を用いてコントローラ160を操作すると、部分オブジェクトを動かすためのデータを生成する。これらのデータは、視界画像生成モジュール223に出力される。
プロセッサ10は、ネットワーク19を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ115から出力する。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。当該データは、仮想空間2においてファッションショーが行われる会場を表わすデータと、当該ファッションショーに登場するモデルを示すデータと、当該モデルに着用される衣類を表わすデータとを含む。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、顔情報244とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。さらに、オブジェクト情報242は、コントローラ160を操作するユーザ190の手に相当する手オブジェクトを仮想空間2に配置するためのデータと、各ユーザのアバターオブジェクトを仮想空間2に配置するためのデータと、仮想パネルなどのその他のオブジェクトを仮想空間2に配置するためのデータとを含む。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラムなどを保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザ190によって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(たとえば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
顔情報244は、顔器官検出モジュール261がユーザ190の顔器官を検出するために予め記憶されたテンプレートを含む。ある実施形態において、顔情報244は、口テンプレート245と、目テンプレート246と、眉テンプレート247とを含む。各テンプレートは、顔を構成する器官に対応する画像であり得る。例えば、口テンプレート245は、口の画像であり得る。なお、各テンプレートは複数の画像を含んでもよい。顔情報244は、基準データ248をさらに含む。基準データ248は、ユーザ190が無表情である状態において、トラッキングモジュール262によって検出されるデータである。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
[HMDシステムの制御構造]
図10を参照して、HMDシステム100の制御構造について説明する。図10は、ある実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。
図10に示されるように、ステップS1010にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間2を定義する。
ステップS1020にて、プロセッサ10は、仮想カメラ1を初期化する。たとえば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS1034にて、HMDセンサ120は、HMD110から発信される複数の赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
ステップS1040にて、プロセッサ10は、HMD110の動き検知データに含まれる位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する。
ステップS1050にて、プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを提示する。このとき提示されるオブジェクトは、他アバターオブジェクトを含む。
ステップS1060にて、コントローラ160は、モーションセンサ130から出力される信号に基づいて、ユーザ190の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。なお、他の局面において、ユーザ190によるコントローラ160の操作は、ユーザ190の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1065にて、プロセッサ10は、コントローラ160から取得した検出データに基づいて、ユーザ190によるコントローラ160の操作を検出する。
ステップS1070にて、プロセッサ10は、手オブジェクトを仮想空間2に提示するための視界画像データを生成する。
ステップS1080にて、プロセッサ10は、ユーザ190によるコントローラ160の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。
ステップS1092にて、HMD110は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ112に表示する。
[フェイストラッキング]
以下、図11〜図13を参照して、ユーザの表情(顔の動き)を検出するための具体例について説明する。図11〜図13では、一例として、ユーザ190の口の動きを検出する具体例について説明する。なお、図11〜図13で説明される検出方法は、ユーザ190の口の動きに限られず、ユーザ190の顔を構成する他の器官(例えば、目、眉、鼻、頬)の動きの検出にも適用され得る。
図11は、ユーザの顔画像50から口を検出する制御について説明する図である。第1カメラ116により生成された顔画像50は、ユーザ190の鼻と口とを含む。
顔器官検出モジュール261は、顔情報244に格納される口テンプレート245を利用したパターンマッチングにより、顔画像50から口領域51を特定する。ある局面において、顔器官検出モジュール261は、顔画像50において、矩形上の比較領域を設定し、この比較領域の大きさ、位置および角度をそれぞれ変えながら、比較領域の画像と、口テンプレート245の画像との類似度を算出する。顔器官検出モジュール261は、予め定められたしきい値よりも大きい類似度が算出された比較領域を、口領域51として特定する。
顔器官検出モジュール261は、さらに、算出した類似度がしきい値よりも大きい比較領域の位置と、他の顔器官(例えば、目、鼻)の位置との相対関係に基づいて、当該比較領域が口領域に相当するか否かを判断する。
トラッキングモジュール262は、顔器官検出モジュール261が検出した口領域51から、より詳細な口の形状を検出する。
図12は、トラッキングモジュール262が口の形状を検出する処理を説明する図(その1)である。図12を参照して、トラッキングモジュール262は、口領域51に含まれる口の形状(唇の輪郭)を検出するための複数の輪郭検出線52を設定する。複数の輪郭検出線52は、顔の高さ方向に直交する方向に、予め定められた間隔で設定される。
トラッキングモジュール262は、複数の輪郭検出線52の各々に沿った口領域51の輝度値の変化を検出し、輝度値の変化が急激な位置を輪郭点として特定し得る。より具体的には、トラッキングモジュール262は、隣接画素との輝度差(すなわち、輝度値変化)が予め定められた閾値以上である画素を、輪郭点として特定する。画素の輝度値は、例えば、画素のRBG値を予め規定された重み付けで積算することにより得られる。
トラッキングモジュール262は、口領域51に対応する画像から2種類の輪郭点を特定する。トラッキングモジュール262は、口(唇)の外側の輪郭に対応する輪郭点53と、口(唇)の内側の輪郭に対応する輪郭点54とを特定する。ある局面において、トラッキングモジュール262は、1つの輪郭検出線52上に3つ以上の輪郭点が検出された場合には、両端の輪郭点を外側の輪郭点53として特定し得る。この場合、トラッキングモジュール262は、外側の輪郭点53以外の輪郭点を、内側の輪郭点54として特定し得る。また、トラッキングモジュール262は、1つの輪郭検出線52上に2つ以下の輪郭点が検出された場合には、検出された輪郭点を外側の輪郭点53として特定し得る。
図13は、トラッキングモジュール262が口の形状を検出する処理を説明するための図(その2)である。図13では、外側の輪郭点53は白丸、内側の輪郭点54はハッチングされた丸としてそれぞれ示されている。
トラッキングモジュール262は、内側の複数の輪郭点54間を補完することにより、口形状55を特定する。この場合、輪郭点54は、口の特徴点といえる。ある局面において、トラッキングモジュール262は、スプライン補完などの非線形の補完方法を用いて、口形状55を特定する。なお、他の局面において、トラッキングモジュール262は、外側の複数の輪郭点53間を補完することにより口形状55を特定してもよい。さらに他の局面において、トラッキングモジュール262は、想定される口形状(人の上唇と下唇とによって形成され得る所定の形状)から、大きく逸脱する輪郭点を除外し、残った輪郭点によって口形状55を特定してもよい。このようにして、トラッキングモジュール262は、ユーザの口の動作(形状)を特定する。なお、口形状55の検出方法は上記に限られず、トラッキングモジュール262は、他の手法により口形状55を検出してもよい。また、トラッキングモジュール262は、同様にして、ユーザの目および眉の動作を検出し得る。なお、トラッキングモジュール262は、頬、鼻などの器官の形状を検出可能に構成されてもよい。
図14を参照して、フェイストラッキングデータの構造について説明する。図14は、フェイストラッキングのためにストレージ12に格納されたデータの一例を表す図である。フェイストラッキングデータは、各器官の形状を構成する複数の特徴点のuvw視野座標系における位置座標を表す。例えば、図14に示されるポイントm1,m2,・・・は、口形状55を構成する内側の輪郭点54に対応する。ある局面において、フェイストラッキングデータは、第1カメラ116の位置を基準(原点)としたuvw視野座標系における座標値である。他の局面において、フェイストラッキングデータは、各器官ごとに予め定められた特徴点を基準(原点)とした座標系における座標値である。一例として、ポイントm1,m2,・・・は、内側の輪郭点54のうち口角に対応するいずれか一方の特徴点を原点とした座標系における座標値である。
コンピュータ200は、生成されたフェイストラッキングデータをサーバ150に送信する。サーバ150は、コンピュータ200と通信する他のコンピュータ200にこのデータを転送する。他のコンピュータ200は、受信したフェイストラッキングデータを、当該フェイストラッキングデータをもたらしたコンピュータ200のユーザ190に対応するアバターオブジェクトに反映する。ユーザ190と通信する他のユーザは、表情が反映されたアバターオブジェクトを視認することができる。
図15および図16を参照して、ユーザ190の感情の変化について説明する。図15は、ユーザ190が無表情時に取得される顔の特徴点を表す。図16は、ユーザ190が驚いたときに取得される顔の特徴点を表す。図15および図16に示される特徴点Pは、トラッキングモジュール262によって取得されるユーザ190の顔の特徴点を表す。
ある局面において、プロセッサ10は、第1カメラ116および第2カメラ117によってユーザ190の顔を撮影する。プロセッサ10は、取得した画像に基づいてフェイストラッキングデータを生成する。このとき生成されたフェイストラッキングは基準データ248として機能する。プロセッサ10は、生成した基準データ248をメモリモジュール240に保存する。
図15に示される特徴点Pは、基準データ248に対応する。一方、図16に示される特徴点Pは、ユーザ190が仮想空間2に没入している間に随時取得されるフェイストラッキングデータに対応する。
図16に示される例において、ユーザ190は驚いているため、図15と比較して目の特徴点Pが顔の高さ方向に広がり、眉の特徴点Pが上方向に移動している。このように、基準データに対するフェイストラッキングデータの変動量は、仮想空間2に展開されるコンテンツに対するユーザ190の関心の度合いを表す。
そこで、プロセッサ10は、基準データに対するフェイストラッキングデータの変動量が予め定められた変動量を上回った場合に、ユーザ190の関心度を予め定められた程度(高、中、低)に分類し得る。
ある局面において、プロセッサ10は、各々の特徴点ごとに基準データに対するフェイストラッキングデータの変動量を算出し、その総和に基づいて上記の判断を行なう。他の局面において、プロセッサ10は、感情による変化の度合いが大きい予め定められた特徴点(例えば、口角に対応する特徴点)についてのみ変動量を算出し、その総和に基づいて上記判断を行なう。
上記によれば、プロセッサ10は、ユーザ190がコンテンツ(例えば、アバターのファッション等)に関心を示したときに自動撮影により画像を生成できる。
[技術思想]
まず、本開示に係る技術思想について説明する。本実施の形態によれば、ファッションショーが仮想現実空間(例えば仮想空間2)で再現される。HMD110を装着したユーザ190は、仮想空間2においてモデルが着用している衣類を予め定められた時間見ると、その衣類の詳細情報を見ることができる。現実空間における既存のファッションショーでは、例えばスマートフォンで購入される衣類が人気のある衣類と評価され得る。これに対して、本実施の形態によれば、ファッションショーが仮想空間2で展開されるので、仮想空間2を共有し同じファッションショーを見ているユーザの視線が集まる衣類は、詳細の情報までは見られない場合であっても、人気のある衣類として判定され得る。例えば、各ユーザからの視線が一定時間継続して詳細な情報まで視認された衣類、ユーザによって購入された衣類、HMD110を装着したユーザの表情を把握するための上記技術を利用した表情から衣類に対する好感度が高い衣類等が、人気のある衣類として判別され得る。
また、仮想現実によれば、各ユーザそれぞれに特化したリコメンドが可能となるため、モデルへの視線が一定時間止まったが購入に至らなかった衣類を、別のコーディネートでモデルに着せることにより、別のタイミングで、同じモデルを改めてファッションショーに登場させることができ、改めてユーザに対するリコメンドを行なうこともできる。
また、ある程度各ユーザの個人の好みの情報が蓄積されると、その人に適したファッションショーをつくることもできる。あるいは、ファッションショーに登場するモデルを、自分自身の3Dモデルとすることもできる。この場合、ユーザ190は、関心度の高い衣類を仮想空間2で試着した状態となり、ユーザ190は、そのような状態にある3Dモデルを視認することにより、購入した場合の見え方を予め確認することができる。
[関心度の導出]
図17を参照して、サーバ150がユーザ190による衣類に対する関心度を導出する方法について説明する。図17は、サーバが実行する処理の一部を表わすフローチャートである。
ステップS1710にて、サーバ150のプロセッサ151は、仮想空間2を定義する。
ステップS1720にて、プロセッサ151は、モデルが衣類を着用したファッションショー画像を生成する。
ステップS1730にて、プロセッサ151は、仮想空間2にファッションショー画像を投影する。投影された画像が、HMD110のモニタ112によって表示されると、ユーザ190は、ファッションショーを見ることができる。ユーザ190がHMD110のモニタ112を見ている間、その視線は注視センサ140によって検知され得る。
ステップS1740にて、プロセッサ151は、センサから出力された信号に基づいて、HMD110のユーザの視線が衣類に向けられていることを検知する。
ステップS1750にて、プロセッサ151は、センサから送られた信号に基づいて、衣類に対する視線が一定時間以上継続しているか否かを判断する。プロセッサ151は、視線が一定時間以上継続していると判断すると(ステップS1750にてYES)、制御をステップS1770に切り替える。そうでない場合には(ステップS1750にてNO)、プロセッサ151は、制御をステップ1760に切り替える。
ステップS1760にて、プロセッサ151は、衣類の詳細情報を提示する。ユーザ190の視線が一定時間以上継続しているということは、ユーザ190がその衣類に関心を持っていると推定され得る。そこで、その衣類の詳細情報がユーザ190に提示される。なお、詳細情報が提示されるトリガは、視線が継続している時間に限られない。例えば、ユーザ190の操作に基づいて、あるいは、他のユーザがその衣類を推薦していることに基づいて、詳細情報が提示されてもよい。
ステップS1770にて、プロセッサ151は、モデルが着用する衣類を変更するか否かを判断する。例えば、プロセッサは、当該衣類が購入されたか否かに基づいて、当該衣類を変更するか否かを判断する。この場合、多くの視線が集まったものの購入されなかった衣類は、変更され得る。
ステップS1780にて、プロセッサ151は、視線(動作情報)に基づいて関心度を導出する。一例として、関心度は、視線が継続した時間に応じて分類される。より具体的には、例えば、当該時間が1秒未満の場合、そのユーザの関心度は低いと認定される。当該時間が1秒以上5秒未満の場合、関心度は中程度と認定される。当該時間が5秒以上の場合、関心度は高いと認定される。なお、視線が継続したい時間は上記の例に限られず、他の時間間隔が使用されてもよい。
ステップS1790にて、プロセッサ151は、関心度を出力する。
図18〜図20を参照して、仮想空間2に展開されるファッションショーの光景について説明する。図18は、HMD110のモニタ112に表示される画像の一例を表わす図である。HMD110のモニタ112に表示される画像の一例を表わす図である。この画像は、サーバ150から送られるデータに基づいて表示される。
モニタ112は、複数のモデルの各々を表わすモデルオブジェクト1810と、聴衆を表わす聴衆オブジェクト1820と、ステージ1830と、モデルオブジェクト1840とを表示する。モデルオブジェクト1810は、実在するモデルのオブジェクトおよび仮想のモデルのオブジェクトのいずれであってもよい。モデルオブジェクト1810は、ステージ1830の後方に控えており、予め定められた衣類を着ており、予め定められた順序でステージ1830を歩いて聴衆オブジェクト1820,1820の間を進む。モデルオブジェクト1840は、衣類オブジェクト1841を着用している。モデルオブジェクト1840は、ステージ1830の先端まで来ると、再びステージ1830の後方に戻り、次のモデルオブジェクトと交代する。
図19は、モニタ112が仮想空間2において詳細情報1900を示した状態を表わす図である。モデルオブジェクト1840がステージ1830の中央にいる間に、ユーザ190の視線がモデルオブジェクト1840に向けられている時間が予め定められた時間よりも長くなると、モニタ112は、ポップアップオブジェクトとして、詳細情報1900を提示する。
詳細情報1900は、モデルオブジェクト1840が着ている衣類の詳細な説明と、他のユーザによるお薦め度とを含む。さらに、詳細情報1900は、HMD110を装着しているユーザ190による命令の入力を受け付けるメニューオブジェクト(「購入する」、「戻る」、「もっと見る」)を含む。ユーザ190は、視線をいずれかのメニューオブジェクトに一定時間向けることにより、あるいは、コントローラ160で操作することにより、いずれかの指示をコンピュータ200に与えることができる。コンピュータ200が「購入する」の指示を受け付けると、モデルオブジェクト1840が着ている衣類を注文するための情報の入力画面が提示される。別の局面において、当該衣類に関連付けられている小物(例えば、カバン、靴、帽子、スカート、コート等)あるいはモデルオブジェクト1840に関連付けられている他の衣類または小物が推奨されてもよい。
図20は、モデルオブジェクト1840が着ている衣類の購入を受け付ける画面を表わす図である。ユーザ190が図19に示される画面において、メニューオブジェクト「購入する」を選択すると、モニタ112は、図20の画面を表示する。より詳しくは、モニタ112は、オブジェクト2000をさらに表示する。オブジェクト2000は、ファッションショーのアカウントにアクセスするためのユーザIDおよびパスワードの入力を受け付ける。ユーザ1Dは、モデルオブジェクト1840が着ている衣類の購入を希望するユーザ190を識別する。パスワードは、当該ユーザIDを保護する。ユーザ190が、予め規定されたユーザIDおよびパスワードを入力して確定を押下すると、オブジェクト2000は、衣類を購入するために必要な情報の入力画面を表わすオブジェクトに切り替わる。
[構成の概要]
(1) ある局面において、プロセッサ151は、仮想空間2を定義し、一つ以上の衣類オブジェクト1841を装着したモデルオブジェクト1840を仮想空間2に配置する。HMD110は、モデルオブジェクト1840をHMD110に表示する。プロセッサ151は、HMD110のユーザ190による一つ以上の衣類オブジェクト1841に対する動作を検出し、当該動作に基づいて、HMD110に表示される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1840に対するユーザ190の関心度を判別する。
(2) 別の局面において、プロセッサ151は、HMD110のユーザ190の視線を検出し、HMD110のユーザ190の視線がオブジェクト(例えば、モデルオブジェクト1840全体、あるいは、衣類オブジェクト1841)に注がれていることに基づいて、ユーザ190の関心度を判別する。関心度は、視線が向けられたオブジェクトに対する関心の度合いを表わす。関心度は、例えば、ファッションショーを視聴しているユーザが当該オブジェクトを予め定められた一定時間以上注視したか否かという情報として、当該オブジェクトを注視した時間の長さとして、あるいは、当該オブジェクトを見た回数として、定義される。例えば、ユーザの視線が一定時間向けられたオブジェクトは、当該ユーザによる関心があると推定され、予め規定された値が関心度としてカウントされ得る。他方、ユーザが視線を向けたものの直ぐに視線を逸らしたオブジェクトは、当該ユーザによる関心度が低いと推定され、関心度はゼロとされる。別の局面において、例えば、オブジェクトに対する視線が注がれた回数が多いオブジェクトは、ユーザの関心度が高いと推定される。
(3) 別の局面において、プロセッサ151は、HMD110のユーザ190の頭部以外の身体の動作を検出する。HMD110は、サーバ150からの信号に基づいて、HMD110のユーザ190の頭部以外の身体(例えば、手、足等)に対応する身体オブジェクト(手オブジェクト、足オブジェクト等)であって身体の動作の検出結果に連動して仮想空間2において動作する身体オブジェクトを表示する。プロセッサ151は、身体オブジェクトによる一つ以上の衣類オブジェクト1841を指定する操作を検出し、身体オブジェクトによる一つ以上の衣類オブジェクト1841を指定する操作の検出結果に基づいて、ユーザ190の関心度を判別する。
(4) 別の局面において、プロセッサ151は、HMD110のユーザ190の表情を検出し、HMD110のユーザ190の表情の検出結果に基づいて、HMD110に表示される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1840に対するユーザ190の関心度を判別する。例えば、ユーザ190が衣類オブジェクト1841あるいはモデルオブジェクト1840に驚いて目を大きくした場合、あるいは、口を大きく開けた場合、プロセッサ151は、ユーザ190の関心度が高いと推定し、予め定められた値を関心度とする。あるいは、プロセッサ151は、当該ユーザ190に対する関心度を「高」と分類する。このような場合、プロセッサ151は、さらに、ユーザ190が音声を発したかどうかを、関心度の程度を判定するために考慮し得る。この場合に推定される関心度の精度は、表情の変化のみに基づいて推定される関心度より高くなるので、より詳細な解析が可能となる。さらに、プロセッサ151は、ユーザ190の発話内容を解析し、ポジティブ表現や感嘆詞など特定の語が発話内容に含まれていれば、衣類オブジェクト1841またはモデルオブジェクト1840に対する関心があると判定し得る。特定の語も考慮されるので、関心度の精度がさらに高くなり得る。
(5) 別の局面において、プロセッサ151は、HMD110のユーザ190によって発せられる音声を検出し、音声が発せられていることに基づいて、HMD110に表示される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1840に対するユーザ190の関心度を判別する。例えば、プロセッサ151は、音声がユーザ190によって発せられたか否かでユーザ190の関心度の程度を判別し得る。あるいは、プロセッサ151は、ユーザ190により発話された音声の内容を解析し、ポジティブな語(例えば、「きれい」、「かわいい」、「素敵」等)、あるいは、感嘆表現(「おお!」)のようにファッションに対する好感を表わす用語として予め規定された特定の語が含まれていれば、ユーザ190は音声が発せられたタイミングで表示されていた衣類オブジェクト1841あるいはモデルオブジェクト1840に対する関心が高いと判定し、衣類オブジェクト1841あるいはモデルオブジェクト1840に対する関心度を「高」に分類する。別の例として、プロセッサ151は、音声内容を解析し、解析結果から得られる抑揚に基づき感情を判定し得る。この場合、当該感情がポジティブな感情であることが判定されると、そのタイミングでHMD110に表示されている衣類オブジェクト1841あるいはモデルオブジェクト1840にユーザ190は関心を持っていると判定する。さらに別の例として、プロセッサ151は、ユーザ190の発話に基づく音声の内容を解析し、音声の内容が衣類オブジェクト1841あるいはモデルオブジェクト1840を指定していると判定すると(例えば、「あの帽子、かわいい!」等)、衣類オブジェクト1841あるいはモデルオブジェクト1840に対するユーザ190の関心度が高いと判定する。
(6) 別の局面において、プロセッサ151は、一つ以上の衣類オブジェクト1841に対する動作が予め定められた時間継続していることに基づいて、一つ以上の衣類オブジェクト1841に関する情報(例えば、当該衣類の素材、当該衣類にマッチするカバンその他の小物、他ユーザの評価等)を仮想空間2に提示する。
(7) 別の局面において、プロセッサ151は、ユーザ190の視線が注がれているオブジェクトの購入を受け付けるインターフェイスオブジェクト(例えば、オブジェクト2000)をHMD110に提示する。
(8) 別の局面において、プロセッサ151は、ユーザ190の視線が注がれた後に購入されなかったオブジェクトを、当該オブジェクトが提示されていた態様とは別の態様で再度提示する。例えば、あるモデルオブジェクトに着用されたが購入されなかった衣類オブジェクト1841は、別のモデルオブジェクトに着用されて仮想空間2のファッションショーに再度提示され得る。衣類の印象は着用するモデルによっても変わり得るので、このようにすると、衣類オブジェクト1841の関心度を高めることができる。
(9) 別の局面において、プロセッサ151は、複数の衣類オブジェクト1841の各々を装着したモデルオブジェクト1840を仮想空間2に配置し、各衣類オブジェクト1841に対するユーザ190の関心度をそれぞれストレージ154に蓄積する。
(10) 別の局面において、プロセッサ151は、複数のモデルオブジェクト1840を順次仮想空間2に配置し、各モデルオブジェクトに対するユーザ190の関心度をそれぞれストレージ154に蓄積する。
(11) 別の局面において、プロセッサ151は、他ユーザによる関心度に基づいて、HMD110に表示されている衣類オブジェクト1841の表示態様を変更する。たとえば、衣類オブジェクト1841を着用するモデルが変更される。あるいは、衣類オブジェクト1841が登場するシーンでは、他の衣類オブジェクトが登場するシーンで使用される照明パターン(色、輝度、点滅の有無など)と異なる照明パターンが使用され得る。このようにすると、衣類オブジェクトの見え方が変わるので、ユーザに対する関心度を高めることができる。
(12) 別の局面において、プロセッサ151は、ユーザ190の関心度の判別結果に基づいて、複数の衣類のうちユーザ190に提示する衣服の情報を決定し、決定された衣服の情報を含むインターフェイスオブジェクトを仮想空間2に提示する。仮想カメラ1による映像のデータがHMD110に送られると、モニタ112は、当該決定された衣類の情報(素材その他の属性情報、おすすめのカバンその他当該衣類に関連する小物の情報、他ユーザのコメント等)を表示するので、ユーザ190は、それらの情報を確認でき、適宜他の小物を購入することもできる。
(13) 別の局面において、プロセッサ151は、衣類を装着したモデルが登場する内容を含む複数のパノラマ動画をコンピュータのメモリ(例えば、ストレージ154)に記憶させ、仮想空間2を定義し、メモリからパノラマ動画を読み出して、仮想空間2においてパノラマ動画を展開することにより、HMD110にパノラマ動画を表示する。さらに、プロセッサ151は、HMD110のユーザ190の動作を検出し、動作の検出結果に基づいて、HMD110に表示されるパノラマ動画に含まれる衣類またはモデルに対するユーザ190の関心度を判別し、ユーザ190の関心度の判別結果に基づいて、衣類の購入を受け付けるインターフェイスオブジェクト(例えば、オブジェクト2000)を仮想空間2に提示する。
(14) 別の局面において、プロセッサ151は、ユーザ190の関心度の判別結果に基づいて、HMD110に表示されるパノラマ動画の進行を制御する。
[データ構造]
図21および図22を参照して、サーバ150のデータ構造について説明する。図21および図22は、サーバ150のストレージ154におけるデータの格納の一態様を表わす図である。
図21を参照して、ストレージ154は、テーブル2110,2120,2130を含む。テーブル2110は、衣類ID2111と、画像データ2112と、衣類詳細データ2113と、関連小物リンク2114と、ブランド2115とを含む。テーブル2120は、モデルID2121と、画像データ2122と、モデル詳細データ2123と、関連リンク2124とを含む。テーブル2130は、モデルID2131と、衣類ID2132と、注文履歴2133とを含む。
テーブル2110において、衣類ID2111は、VRファッションショーにおいてモデルオブジェクト1810,1840が着用する衣類を識別する。画像データ2112は、当該衣類を表示するためのデータである。衣類詳細データ2113は、当該衣類の詳細な情報であり、例えば、当該衣類の素材、お薦め度等を含む。関連小物リンク2114は、当該衣類に関連付けられる小物の画像を表示するためのリンクである。小物は、例えば、コート、スカート、靴、ハンドバック、ブローチ、ネックレス、化粧品等を含む。ブランド2115は、当該衣類のブランドを表わす。
テーブル2120において、モデルID2121は、ファッションショーに登場するモデルを識別する。より具体的には、モデルID2121は、モデルオブジェクト1810,1840に対応する。画像データ2122は、当該モデルを仮想空間2で表示するためのデータである。モデル詳細データ2123は、当該モデルの詳細を説明するデータである。当該データは、例えば、当該モデルの氏名、身長その他の属性データを含み得る。関連リンク2124は、当該モデルに関連付けられている情報にアクセスするためのリンクである。関連リンク2124は、例えば、当該モデルが過去のファッションショーで着用していた衣類へのリンクを含む。
テーブル2130において、モデルID2131は、モデルを識別する。衣類ID2132は、当該モデルが着用した衣類を識別する。注文履歴2133は、衣類ID2132で識別される衣類に対してユーザによる注文の有無を表わす。
図22を参照して、ストレージ154は、テーブル2210,2220,2230をさらに含む。
テーブル2210は、履歴ID2211と、ユーザID2212と、ターゲットID2213と、動作2214とを含む。履歴ID2211は、テーブル2210を構成する各レコードを識別する。ユーザID2212は、仮想空間2にて展開されたファッションショーを視聴したユーザを識別する。ターゲットIDは、当該ユーザの視線が向けられた対象を識別する。例えば、ターゲットIDとして、衣類IDや各小物のIDが使用される。動作2214は、当該ユーザが行なった動作を表わす。動作2214は、例えば、HMD110を装着したユーザの注視時間、当該ユーザのコントローラ160による操作、ユーザの表情または音声等を含むがその他の動作が含まれてもよい
テーブル2220は、取引ID2221と、ユーザID2222と、動作2223と、日時2224とを含む。取引ID2221は、ユーザとの間に実際に発生した商取引を識別する。商取引は、例えば、注文、予約等を含む。ユーザID2222は、当該取引を行なったユーザを識別する。動作2223は、当該ユーザによって行われた動作を識別する。当該動作は、注文、予約等の行為を含む。日時2224は、動作2223が行なわれた日時を表わす。
テーブル2230は、モデルID2231と、衣類ID2232と、関心度2233と、人数2234とを含む。モデルID2231は、モデルオブジェクト1810からステージの前方に出てきた一人のモデルを識別する。衣類ID2232は、その時にモデルが着用していた衣類を識別する。関心度2233は、モデルID2231によって特定されるモデルと、衣類ID2232によって特定される衣類との組み合わせに対する関心度のレベルを表わす。関心度2233は、一例として、3段階(高、中、低)で示されているが、さらに詳細に分けられてもよい。あるいは、関心度2233の大きさは、例えば、0〜100のように数値化されてもよい。数値化としては、例えば、最も長い時間注視されていた時間を100とし、その時間に対する他ユーザによる注視の時間が百分率で示され得る。
[制御構造]
図23を参照して、仮想空間2におけるファッションショーの開催および衣類の注文について説明する。図23は、ユーザ190、HMD110に接続されたコンピュータ200、およびサーバ150が実行する処理の一部を表わすフローチャートである。なお、サーバ150が有するデータ(例えば、ファッションショーを仮想空間に展開するためのアプリケーションプログラム、コンテンツデータ等)および機能(演算機能、通信機能等)をHMD110が備える場合には、当該処理は、HMD110のプロセッサによって実行されてもよい。
ステップS2310にて、ユーザ190は、HMD110を装着する。
ステップS2315にて、プロセッサ10は、ユーザ190の指示に基づいて、VRファッションショーアプリを起動する。
ステップS2320にて、プロセッサ151は、コンピュータ200から送られた信号に基づいて、ユーザ190によるVRファッションショーへのログインを受け付ける。VRファッションショーの映像は、ライブ映像および録画のいずれであってもよい。例えば、VRファッションショーが録画データを用いたオンデマンド形式で開催される場合には、サーバ150は、初期コーディネートバージョンに基づくVRファッションショーを展開するためのデータを、HMD110に送信する。
ステップS2325にて、プロセッサ151は、コンピュータ200から送られる信号に基づいて、モデルが着ている衣類に対する視線を検出する。例えば、ユーザ190が仮想空間2に表示されるモデルオブジェクト1840を注視した場合、注視センサからの信号がコンピュータ200を介してサーバ150に送られる。サーバ150は、注視センサからの信号を受信すると、計測を開始し、その信号を受信しなくなるまで、計測を続ける。なお、モデルが着ている衣類に対するユーザの関心度の検出手法は、注視に限られない。例えば、ユーザ190がコントローラを手に装着している場合には、ユーザの手が当該モデルを指示したとき、サーバ150は、当該コントローラからの信号に基づいて、ユーザ190が当該モデルの衣類に関心を抱いていると判断してもよい。あるいは、ユーザ190がモデルに対して歓声を上げたことに基づいて、サーバ150は、ユーザ190が当該モデルの衣類に関心を抱いていると判断してもよい。さらに別の局面において、HMD190がユーザ190の顔を撮影可能なカメラを備えている場合には、ユーザの表情の変化に基づいて、サーバ150は、ユーザ190が当該モデルの衣類に関心を抱いていると判断してもよい。
ステップS2330にて、プロセッサ151は、予め定められた一定時間、ユーザ190の視線が衣類に向けられていることを検知する。
ステップS2335にて、プロセッサ151は、仮想空間2におけるモデルオブジェクト1840の近傍に、詳細情報を提示する。仮想カメラ1は、詳細情報が提示された視界画像を取得し、サーバ150は、視界画像のデータをコンピュータ200に送信する。モニタ112がそのデータに基づいて画像を表示すると、ユーザ190は、モデルオブジェクト1840の近傍に詳細情報が展開されたことを視認する。
ステップS2340にて、プロセッサ151は、視線が向けられている時間に応じた関心度を取得する。ある局面において、一人のユーザ190がファッションショーを楽しんでいる場合には、プロセッサ151は、ユーザ190の視線が向けられている時間と、予め定められた基準時間との比率を関心度として算出する。
ステップS2350にて、プロセッサ151は、ストレージ154に関心度を保存する。
ステップS2355にて、プロセッサ151は、ユーザ190から衣類の注文があったか否かを判断する。プロセッサ151は、ユーザ190から衣類の注文があったと判断すると(ステップS2355にてYES)、制御をステップS2360に切り替える。そうでない場合には(ステップS2355にてNO)、プロセッサ151は、制御をステップS2370に切り替える。
ステップS2360にて、プロセッサ151は、ユーザ190の操作に基づいてコンピュータ200から送られた情報を用いて、注文処理および課金処理を実行する。コンピュータ200から送られる情報は、ユーザ190の識別番号、注文された商品の識別番号(モデルオブジェクト1840が着ていた衣類の識別番号)、クレジットカード番号等を含む。注文処理は、ユーザ190によって選択された衣類の識別番号および発注を表わすコードを当該衣類の供給者に送信することを含む。課金処理は、ユーザ190に衣類の代金を請求すること、衣類の仕入れ代金を供給者に支払うことを含む。
ステップS2370にて、プロセッサ151は、注文に至らなかった旨を履歴DBに記録する。例えば、プロセッサ151は、テーブル2130において、当該衣類についての注文履歴2133の値を0とする。
ステップS2375にて、プロセッサ151は、仮想空間2において次のモデルが別の衣類を着用した画像を生成する。仮想カメラ1がその画像を撮影すると、データがサーバ150からコンピュータ200に送信され、HMD110は、当該データに基づいて、モニタ112にその画像を表示する。
ステップS2380にて、プロセッサ151は、次のモデルによるVRファッションショーを続行するか否かを判断する。プロセッサ151は、次のモデルによるVRファッションショーを続行すると判断すると(ステップS2380にてYES)、制御をステップS2325に戻す。そうでない場合には(ステップS2380にてNO)、プロセッサ151は、処理を終了する。
図24を参照して、別のコーディネイトによるファッションショーが行われる局面について説明する。図24は、当該局面において行なわれる処理の一部を表わすフローチャートである。なお、前述の処理と同一の処理には同一のステップ番号を付してある。したがって、同一の処理の説明は繰り返さない。
ステップS2410にて、プロセッサ151は、履歴DBから注文されなかった衣類のデータを読み出してモデルに着用させる。より具体的には、例えば、プロセッサ151は、テーブル2130の注文履歴2133を参照して、その値が0であるレコードを抽出する。当該レコードは、モデルID2131と、衣類ID2132とを含む。プロセッサ151は、抽出されたレコードで特定されるモデルID2131とは異なるモデルIDを、例えば、降順であるいは昇順で特定し、特定したモデルIDにより識別されるモデルに衣類ID2132で特定される衣類を着用させた画像を生成する。サーバ150は、当該画像を表示するためのデータをコンピュータ200に送信する。モニタ112は、そのデータに基づいて、当該画像を表示する。これにより、他のモデルでは注文されなかった衣類は、別のモデルによって再度仮想空間2に提示されるので、当該別のモデルとのコーディネイトが実現される。
ステップS2470にて、プロセッサ151は、次のモデルがその衣類を着用した画像を生成する。
(構成1) ある実施の形態に従うと、HMD110を介して情報を提供するためにコンピュータによって実行される方法が提供される。この方法は、プロセッサ10,151等によって実現され得る。この方法は、仮想空間2を定義するステップと、一つ以上の衣類オブジェクト1841を装着したモデルオブジェクト1840を仮想空間2に配置するステップと、モデルオブジェクト1840をHMD110に表示するステップと、HMD110のユーザ190による一つ以上の衣類オブジェクト1841に対する動作を検出するステップと、動作に基づいて、HMD110に表示される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1840に対するユーザ190の関心度を判別するステップとを含む。
(構成2) ある実施の形態に従うと、上記構成に加えて、動作を検出するステップは、HMD110のユーザ190の視線を検出するステップを含む。ユーザ190の関心度を判別するステップは、HMD110のユーザ190の視線がオブジェクト(例えば、モデルオブジェクト1840、衣類オブジェクト1841等)に注がれていることに基づいて、ユーザ190の関心度を判別することを含む。
(構成3) ある実施の形態に従うと、上記方法は、上記構成に加えて、HMD110のユーザ190の頭部以外の身体(例えば、手、足等)の動作を検出するステップをさらに含む。表示するステップは、HMD110のユーザ190の頭部以外の身体に対応する身体オブジェクトであって身体の動作の検出結果に連動して仮想空間2において動作する身体オブジェクトをHMD110に表示することを含む。動作を検出するステップは、身体オブジェクトによる一つ以上の衣類オブジェクト1841を指定する操作(例えば、仮想空間2において衣類オブジェクト1841を指さしたり、つかんだりする動作)を検出するステップを含む。ユーザ190の関心度を判別するステップは、身体オブジェクトによる一つ以上の衣類オブジェクト1841を指定する操作の検出結果に基づいて、ユーザ190の関心度を判別することを含む。
(構成4) ある実施の形態に従うと、上記構成に加えて、動作を検出するステップは、HMD110のユーザ190の表情を検出するステップを含む。ユーザ190の関心度を判別するステップは、HMD110のユーザ190の表情の検出結果に基づいて、HMD110に表示される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1840に対するユーザ190の関心度を判別することを含む。
(構成5) ある実施の形態に従うと、上記構成に加えて、動作を検出するステップは、HMD110のユーザ190によって発せられる音声(例えば、驚きの声、歓声等)を検出するステップを含む。ユーザ190の関心度を判別するステップは、音声が発せられていることに基づいて、HMD110に表示される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1840に対するユーザ190の関心度を判別することを含む。その発声が予め規定された発声である場合、あるいは、音量が予め規定された音量よりも大きい場合、関心度が高いと判定され得る。
(構成6) ある実施の形態に従うと、上記方法は、上記構成に加えて、一つ以上の衣類オブジェクト1841に対する動作が予め定められた時間継続していることに基づいて、一つ以上の衣類オブジェクト1841に関する情報(例えば、詳細情報1900)を仮想空間2に提示するステップをさらに含む。
(構成7) ある実施の形態に従うと、上記方法は、上記構成に加えて、ユーザ190の視線が注がれているオブジェクトの購入を受け付けるインターフェイスオブジェクト(例えば、オブジェクト2000)を提示するステップをさらに含む。
(構成8) ある実施の形態に従うと、上記方法は、上記構成に加えて、ユーザ190の視線が注がれた後に購入されなかったオブジェクトを、当該オブジェクトが提示されていた態様とは別の態様で再度提示するステップをさらに含む。
(構成9) ある実施の形態に従うと、上記構成に加えて、モデルオブジェクト1840を仮想空間2に配置するステップは、複数の衣類オブジェクト1841の各々を装着したモデルオブジェクト1840を仮想空間2に配置するステップを含む。上記方法は、各衣類オブジェクト1841に対するユーザ190の関心度をそれぞれ蓄積するステップをさらに含む。
(構成10) ある実施の形態に従うと、上記構成に加えて、モデルオブジェクト1840を仮想空間2に配置するステップは、複数のモデルオブジェクト1840を順次仮想空間2に配置するステップを含む。上記方法は、各モデルに対するユーザ190の関心度をそれぞれ記憶装置(例えば、メモリ11,152、ストレージ12,154等)に蓄積するステップをさらに含む。
(構成11) ある実施の形態に従うと、上記方法は、上記構成に加えて、他ユーザによる関心度に基づいて、HMD110に表示されている衣類オブジェクト1841の表示態様を変更するステップをさらに含む。
(構成12) ある実施の形態に従うと、上記方法は、上記構成に加えて、ユーザ190の関心度の判別結果に基づいて、複数の衣類のうちユーザ190に提示する衣服の情報を決定するステップと、決定された衣服の情報を含むインターフェイスオブジェクトを仮想空間2に提示するステップとをさらに含む。
(構成13) ある実施の形態に従うと、HMD110を介して情報を提供するためにコンピュータによって実行される方法が提供される。この方法は、衣類を装着したモデルが登場する内容を含む複数のパノラマ動画をコンピュータのメモリに記憶させるステップと、仮想空間2を定義するステップと、メモリからパノラマ動画を読み出して、仮想空間2においてパノラマ動画を展開することにより、HMD110にパノラマ動画を表示するステップと、HMD110のユーザ190の動作を検出するステップと、動作の検出結果に基づいて、HMD110に表示されるパノラマ動画に含まれる衣類またはモデルに対するユーザ190の関心度を判別するステップと、ユーザ190の関心度の判別結果に基づいて、衣類の購入を受け付けるインターフェイスオブジェクトを仮想空間2に提示するステップとを含む。
(構成14) ある実施の形態に従うと、上記方法は、上記構成に加えて、ユーザ190の関心度の判別結果に基づいて、HMD110に表示されるパノラマ動画の進行を制御するステップを含む。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。