JP7160669B2 - プログラム、情報処理装置、および方法 - Google Patents

プログラム、情報処理装置、および方法 Download PDF

Info

Publication number
JP7160669B2
JP7160669B2 JP2018245953A JP2018245953A JP7160669B2 JP 7160669 B2 JP7160669 B2 JP 7160669B2 JP 2018245953 A JP2018245953 A JP 2018245953A JP 2018245953 A JP2018245953 A JP 2018245953A JP 7160669 B2 JP7160669 B2 JP 7160669B2
Authority
JP
Japan
Prior art keywords
user
processor
virtual space
avatar
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018245953A
Other languages
English (en)
Other versions
JP2020107123A (ja
Inventor
健登 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2018245953A priority Critical patent/JP7160669B2/ja
Publication of JP2020107123A publication Critical patent/JP2020107123A/ja
Priority to JP2022165036A priority patent/JP2023015061A/ja
Application granted granted Critical
Publication of JP7160669B2 publication Critical patent/JP7160669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、プログラム、情報処理装置、および方法に関する。
特許文献１に、仮想空間においてユーザにコンテンツを視聴させる技術の一例が開示されている。
特開２０１７－１７６７２８号
従来の技術には、アバターオブジェクトをより好適に制御できる余地がある。
本開示の一態様は、アバターオブジェクトをより好適に制御することを目的とする。
本発明の一態様によれば、プロセッサおよびメモリを備えたコンピュータによって実行されるプログラムが提供される。プログラムは、プロセッサに、第１ユーザに関連付けられるアバターを含む仮想空間を定義するステップと、第１ユーザの動きを検出するステップと、アバターの過去の第１動作を人工知能に基づいて機械学習した学習結果に基づいて、アバターが行い得る新たな動作に関する情報を特定するステップと、検出された第１ユーザの動きと、特定された動作に関する動作情報とに基づいて、アバターに適用可能な制御内容を特定するステップと、特定された制御内容に基づいて、アバターを制御するステップとを実行させる。
本開示の一態様によれば、アバターオブジェクトをより好適に制御できる。
ある実施の形態に従うＨＭＤシステムの構成の概略を表す図である。 ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。 ある実施の形態に従うＨＭＤを装着するユーザの頭部を上から表した図である。 仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。 仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。 ある実施の形態に従うコントローラの概略構成を表す図である。 ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。 ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。 ある実施の形態に従うＨＭＤセットにおいて実行される処理の一部を表すシーケンスチャートである。 ネットワークにおいて、各ＨＭＤがユーザに仮想空間を提供する状況を表す模式図である。 図１２（Ａ）におけるユーザ５Ａの視界画像を示す図である。 ある実施の形態に従うＨＭＤシステムにおいて実行する処理を示すシーケンス図である。 ある実施の形態に従うコンピュータのモジュールの詳細構成を表わすブロック図である。 本実施の形態に従う配信システムの構成の概略を表す図である。 ある実施の形態に従うユーザ端末のハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うユーザ端末のモジュールの詳細構成を表わすブロック図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 寸法データの取得方法を説明するための図である。 ある実施の形態に従う位置情報のデータ構造の一例を示す図である。 ある実施の形態に従う寸法データのデータ構造の一例を示す図である。 ある実施の形態に従う寸法データを取得するための処理を表すフローチャートである。 ある実施の形態に従う回転方向のデータ構造の一例を示す図である。 ある実施の形態に従う配信システムにおいて実行される処理の一部を表すシーケンスチャートである。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施形態に従うユーザの姿勢の一例を表す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従うアバターオブジェクトが取り得る複数の表情を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従うユーザ端末の表示面を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に係る学習済みモデルを示す図である。 ある実施の形態に従う配信システムにおいて実行される処理の一部を表すシーケンスチャートである。 ある実施形態に従うユーザの姿勢の一例を表す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に係るユーザ端末の表示面を示す図である。 ある実施の形態に係るユーザ端末の表示面を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従うユーザおよびアバターオブジェクトを表す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従うユーザおよびアバターオブジェクトを表す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従うユーザおよびアバターオブジェクトを表す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従うユーザおよびアバターオブジェクトを表す図である。 ある実施の形態に従うユーザおよびアバターオブジェクトを表す図である。 ある実施の形態に従う学習済みモデルを示す図である。 ある実施の形態に従うユーザおよびアバターオブジェクトを表す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従うＨＭＤセットにおいて実行される処理の一部を表すシーケンスチャートである。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従うＨＭＤセットにおいて実行される処理の一部を表すシーケンスチャートである。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態におけるユーザ端末の表示面を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。 ある実施の形態に従う仮想空間およびユーザ端末の表示面を示す図である。
〔実施形態１〕
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。
ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。
ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。
別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。
別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。
別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。
注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外線を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。
第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。
マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。
コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。
モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。
サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。
外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、及びコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。
［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。
メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。
ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。
ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。
ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。
図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。
ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。
ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。
ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。
ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。
ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。
仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。
コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。
注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。
［ユーザの視線］
図５を参照して、ユーザ５の視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１２０を装着するユーザ５の頭部を上から表した図である。
ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。
別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。
図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭部に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。
このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。
ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。
ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。
ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
［コントローラ］
図８を参照して、コントローラ３００の一例について説明する。図８は、ある実施の形態に従うコントローラ３００の概略構成を表す図である。
図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。
右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。
フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。
図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。
ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。
通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。
ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。
［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。
図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。
コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。
コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。
コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。
コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。
コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。
コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭部の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。
メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。
通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。
ある局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ－ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。
［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
図１１に示されるように、ステップＳ１１１０において、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。
ステップＳ１１２０において、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。
ステップＳ１１３０において、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
ステップＳ１１３２において、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。
ステップＳ１１３４において、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。
ステップＳ１１４０において、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。
ステップＳ１１５０において、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。
ステップＳ１１６０において、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップＳ１１７０において、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。
ステップＳ１１８０において、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
ステップＳ１１９０において、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ～２００Ｄは、ＨＭＤ１２０Ａ～１２０Ｄを介して、ユーザ５Ａ～５Ｄに、仮想空間１１Ａ～１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。
ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。
図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。
図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。
ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。
図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。
ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。
ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。
ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ～５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。
続いて、サーバ６００から各ＨＭＤセット１１０Ａ～１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ～１１０Ｃは、ステップＳ１３３０Ａ～Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。
ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。
ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。
［コンピュータ２００のモジュールの詳細構成］
図１４を参照して、コンピュータ２００のモジュール構成の詳細について説明する。図１４は、ある実施の形態に従うコンピュータ２００のモジュールの詳細構成を表わすブロック図である。図１４に示されるように、コントロールモジュール５１０は、仮想オブジェクト生成モジュール１４２１、仮想カメラ制御モジュール１４２２、操作オブジェクト制御モジュール１４２３、アバターオブジェクト制御モジュール１４２４、動き検出モジュール１４２５、衝突検出モジュール１４２６、仮想オブジェクト制御モジュール１４２７、および学習モジュール１４２８を備えている。メモリモジュール５３０は、学習済みモデル１４２９を格納している。
仮想オブジェクト生成モジュール１４２１は、各種の仮想オブジェクトを仮想空間１１に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、仮想オブジェクトは、アバターオブジェクト、操作オブジェクト、およびステージオブジェクト、ＵＩ（User Interface）オブジェクトを含み得る。
仮想カメラ制御モジュール１４２２は、仮想空間１１における仮想カメラ１４の挙動を制御する。仮想カメラ制御モジュール１４２２は、例えば、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）とを制御する。
操作オブジェクト制御モジュール１４２３は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを制御する。ユーザ５は、操作オブジェクトを操作することによって、例えば、仮想空間１１に配置される仮想オブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザ５の手に相当する手オブジェクト（仮想手）等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
アバターオブジェクト制御モジュール１４２４は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、アバターオブジェクト制御モジュール１４２４は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバターオブジェクト制御モジュール１４２４は、コントローラ３００の動きをアバターオブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。アバターオブジェクト制御モジュール１４２４は、動き検出モジュール１４２５が検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。つまり、アバターオブジェクト制御モジュール１４２４は、ユーザ５の顔の動作をアバターオブジェクトに反映する。
動き検出モジュール１４２５は、ユーザ５の動きを検出する。動き検出モジュール１４２５は、例えば、コントローラ３００の出力に応じて、ユーザ５の手の動きを検出する。動き検出モジュール１４２５は、例えば、ユーザ５の身体に装着されるモーションセンサの出力に応じて、ユーザ５の身体の動きを検出する。動き検出モジュール１４２５は、ユーザ５の顔器官の動作を検出することもできる。
衝突検出モジュール１４２６は、仮想空間１１に配置される仮想オブジェクトのそれぞれが、他の仮想オブジェクトと衝突した場合に、当該衝突を検出する。衝突検出モジュール１４２６は、例えば、ある仮想オブジェクトと、別の仮想オブジェクトとが触れたタイミングを検出することができる。衝突検出モジュール１４２６は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態から離れたタイミングを検出することができる。衝突検出モジュール１４２６は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態であることを検出することもできる。衝突検出モジュール１４２６は、例えば、操作オブジェクトと、他の仮想オブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出する。衝突検出モジュール１４２６は、これらの検出結果に基づいて、予め定められた処理を実行する。
仮想オブジェクト制御モジュール１４２７は、仮想空間１１において、アバターオブジェクトを除く仮想オブジェクトの挙動を制御する。一例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトを変形させる。別の例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトの配置位置を変更する。別の例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトを移動させる。
学習モジュール１４２８は、アバターオブジェクト６が仮想空間２６１１において行った過去の動作（第１動作）を機械学習することによって、当該動作が機械学習された学習済みモデル１４２９を生成する。
［配信システムの構成］
図１５は、本実施の形態に従う配信システム１５００の構成の概略を表す図である。配信システム１５００は、サーバ６００と、ＨＭＤセット１１０Ｂと、ユーザ端末８００Ａ，８００Ｃ，８００Ｄと、ネットワーク２とを含む。ＨＭＤセット１１０Ｂと、ユーザ端末８００Ａ，８００Ｃ，８００Ｄの各々とは、ネットワーク２を介してサーバ６００と通信可能に構成される。以下、ユーザ端末８００Ａ，８００Ｃ，８００Ｄを総称して、ユーザ端末８００とも言う。配信システム１５００を構成するユーザ端末８００の数は、３つに限られず、２つ以下でも、４つ以上でもよい。
ユーザ端末８００は、ユーザ５が持ち運び可能な携帯型の端末装置である。ユーザ端末８００は、例えば、スマートフォン、タブレット端末、またはノートパソコンなどとして実現される。以下、ユーザ端末８００Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ユーザ端末８００Ｃのユーザをユーザ５Ｃ、ユーザ端末８００Ｄのユーザをユーザ５Ｄと表す。ユーザ端末８００Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ユーザ端末８００Ｃに関する各構成要素の参照符号にＣが付され、ユーザ端末８００Ｄに関する各構成要素の参照符号にＤが付される。
配信システム１５００は、ユーザ５Ｂに関連付けられるアバターオブジェクト６Ｂが仮想空間において実演する番組を、ＨＭＤセット１１０Ｂから各ユーザ端末８００にストリーミング配信するためのシステムである。ユーザ５Ｂは、ＨＭＤセット１１０Ｂにおいてアバターオブジェクト６Ｂを制御することによって、アバターオブジェクト６Ｂの番組を進行させる。ユーザ５Ａは、配信されるアバターオブジェクト６Ｂの番組を、ユーザ端末８００Ａを通じて視聴する。ユーザ５Ｃは、配信されるアバターオブジェクト６Ｂの番組を、ユーザ端末８００Ｃを通じて視聴する。ユーザ５Ｄは、配信されるアバターオブジェクト６Ｂの番組を、ユーザ端末８００Ｄを通じて視聴する。
［ユーザ端末のハードウェア構成］
図１６は、ある実施の形態に従うユーザ端末８００のハードウェア構成の一例を表すブロック図である。ユーザ端末８００は、主たる構成要素として、プロセッサ７１０と、メモリ７２０と、ストレージ７３０と、入出力インターフェイス７４０と、通信インターフェイス７５０と、タッチスクリーン７７０と、スピーカ７８０とを備える。各構成要素は、それぞれ、バス７６０に接続されている。
プロセッサ７１０は、ユーザ端末８００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ７２０またはストレージ７３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ７１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
メモリ７２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ７３０からロードされる。データは、ユーザ端末８００に入力されたデータと、プロセッサ７１０によって生成されたデータとを含む。ある局面において、メモリ７２０は、ＲＡＭその他の揮発メモリとして実現される。
ストレージ７３０は、プログラムおよびデータを永続的に保持する。ストレージ７３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ７３０に格納されるプログラムは、ユーザ端末８００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、サーバ６００との通信を実現するためのプログラムを含んでもよい。ストレージ７３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。別の局面において、ストレージ７３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。
入出力インターフェイス７４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス７４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス７４０は上述のものに限られない。
通信インターフェイス７５０は、ネットワーク２に接続されて、ネットワーク２に接続されているサーバ６００と通信する。ある局面において、通信インターフェイス７５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス７５０は上述のものに限られない。
タッチスクリーン７７０は、図示しない入力部および表示部を組み合わせた電子部品である。入力部は、例えばタッチセンシティブなデバイスであり、例えばタッチパッドによって構成される。表示部１５２は、例えば液晶ディスプレイ、または有機ＥＬ（Electro-Luminescence）ディスプレイ等によって構成される。入力部は、入力面に対しユーザの操作（主にタッチ操作、スライド操作、スワイプ操作、およびタップ操作等の物理的接触操作）が入力された位置を検知して、位置を示す情報を入力信号として送信する機能を備える。入力部は、図示しないタッチセンシング部を備えていればよい。タッチセンシング部は、静電容量方式または抵抗膜方式等のどのような方式を採用したものであってもよい。
スピーカ７８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ユーザ端末８００は、スピーカ７８０に替えてイヤホンを含み得る。
ある局面において、プロセッサ７１０は、ストレージ７３０にアクセスし、ストレージ７３０に格納されている１つ以上のプログラムをメモリ７２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、ユーザ端末８００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。
図示していないが、ユーザ端末８００は、ユーザ端末８００の保持姿勢を特定するための１以上のセンサを備えていてもよい。このセンサは、例えば、加速度センサ、または、角速度センサ等であってもよい。ユーザ端末８００がセンサを備えている場合、プロセッサ７１０は、センサの出力からユーザ端末８００の保持姿勢を特定して、保持姿勢に応じた処理を行うことも可能になる。例えば、プロセッサ７１０は、ユーザ端末８００が縦向きに保持されているときには、縦長の画像をタッチスクリーン７７０に表示させる縦画面表示としてもよい。一方、ユーザ端末８００が横向きに保持されているときには、横長の画像をタッチスクリーンに表示させる横画面表示としてもよい。このように、プロセッサ７１０は、ユーザ端末８００の保持姿勢に応じて縦画面表示と横画面表示とを切り替え可能であってもよい。
［ユーザ端末のモジュール構成］
図１７は、ある実施の形態に従うユーザ端末８００のモジュールの詳細構成を表わすブロック図である。図１７に示されるように、ユーザ端末８００Ａは、コントロールモジュール８１０と、レンダリングモジュール８２０と、メモリモジュール８３０と、通信制御モジュール８４０とを備える。ある局面において、コントロールモジュール８１０とレンダリングモジュール８２０とは、プロセッサ７１０によって実現される。別の局面において、複数のプロセッサ７１０がコントロールモジュール８１０とレンダリングモジュール８２０として作動してもよい。メモリモジュール８３０は、メモリ７２０またはストレージ７３０によって実現される。通信制御モジュール８４０は、通信インターフェイス７５０によって実現される。
コントロールモジュール８１０、レンダリングモジュール８２０、メモリモジュール５３０、および通信制御モジュール８４０の基本的な機能は、コンピュータ２００が備えるコントロールモジュール５１０、レンダリングモジュール５２０、メモリモジュール５３０、および通信制御モジュール５４０と同一である。したがって、これらの詳細な説明は繰り返さない。
図１７に示すように、コントロールモジュール８１０は、仮想オブジェクト生成モジュール１７２１、仮想視点制御モジュール１７２２、アバターオブジェクト制御モジュール１７２３、および学習モジュール１７２４を備えている。メモリモジュール８３０は、学習済みモデル１７２５を格納している。
仮想オブジェクト生成モジュール１７２１は、コンピュータ２００が備える仮想オブジェクト生成モジュール１４２１と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。仮想視点制御モジュール１７２２は、仮想空間１１における仮想視点の挙動を制御する。仮想視点は、仮想カメラ１４と同等の機能を有する。仮想視点制御モジュール１７２２は、例えば、仮想空間１１における仮想視点の配置位置と、仮想視点の向き（傾き）とを制御する。アバターオブジェクト制御モジュール１７２３は、コンピュータ２００が備えるアバターオブジェクト制御モジュール１４２４と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。
学習モジュール１７２４は、コンピュータ２００が備える学習モジュール１４２８と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。学習済みモデル１７２５は、コンピュータ２００のメモリモジュール５３０に格納される学習済みモデル１４２９と同一のものであるため、その詳細な説明は繰り返さない。
［演者（配信者）の仮想空間］
図１８は、ある実施の形態に従う仮想空間１１Ｂおよび視界画像１８１７Ｂを示す図である。図１８（Ａ）では、ユーザ５Ｂに仮想体験を提供するための仮想空間１１Ｂに、アバターオブジェクト６Ｂ、仮想カメラ１４Ｂ、およびパネルオブジェクト１８３２が少なくとも配置される。ユーザ５Ｂ（第１ユーザ）は、頭部にＨＭＤ１２０Ｂを装着している。ユーザ５Ｂは、ユーザ５Ｂの身体の右側の一部を構成する右手（第１部位）で右コントローラ３００ＲＢを把持し、ユーザ５Ｂの身体の左側の一部を構成する左手（第２部位）で左コントローラ３００ＬＢを把持している。
ＨＭＤ１２０Ｂは、モーションセンサとして機能するセンサ１９０を備える。右コントローラ３００ＲＢおよび左コントローラ３００ＬＢは、モーションセンサ４２０を備える。ユーザ５Ｂは、さらに、モーションセンサ１８４１～１８４３を装着している。モーションセンサ１８４１は、ベルト１８４４によってユーザ５Ｂの腰部に装着されている。モーションセンサ１８４２は、ユーザ５Ｂの右足の甲に装着されている。モーションセンサ１８４３は、ユーザ５Ｂのユーザ５Ｂの左足の甲に装着されている。モーションセンサ１８４１～１８４３は、有線または無線によってコンピュータ２００Ｂに接続されている。
ある局面において、ユーザ５Ｂに装着されるモーションセンサは、ベースステーション（図示しない）から照射される信号（例えば赤外線レーザ）の到達時間と角度とを検出する。コンピュータ２００Ｂのプロセッサ２１０Ｂ（以下、単にプロセッサ２１０Ｂ）は、モーションセンサの検出結果に基づいて、ベースステーションに対するモーションセンサの位置を検出する。プロセッサ２１０Ｂは、さらに、ベースステーションに対するモーションセンサの位置を、所定点（例えば頭部に装着されたセンサ１９０の位置）を基準として規格化してもよい。
アバターオブジェクト６Ｂは、仮想右手１８３１ＲＢおよび仮想左手１８３１ＬＢを含む。仮想右手１８３１ＲＢは操作オブジェクトの一種であり、ユーザ５Ｂの右手の動きに応じて仮想空間１１Ｂにおいて動くことができる。仮想左手１８３１ＬＢは操作オブジェクトの一種であり、ユーザ５Ｂの左手の動きに応じて仮想空間１１Ｂにおいて動くことができる。
図１８（Ａ）に示す仮想空間１１Ｂは、コンピュータ２００Ｂにおいて番組コンテンツが再生されることによって、構築される。ユーザ５Ｂは、アバターオブジェクト６Ｂにパフォーマンスを実行させるために、自身の身体を動かす。コンピュータ２００Ｂは、ユーザ５Ｂに装着される各種のモーションセンサの出力に基づいて、ユーザ５Ｂの動きを検出する。仮想空間１１Ｂにおいて、アバターオブジェクト６Ｂは、特定されたユーザ５Ｂの動きに応じて、現実空間におけるユーザ５Ｂの動きが反映されたパフォーマンスを実行する。仮想空間１１Ｂにおいてアバターオブジェクト６Ｂがユーザ５Ｂに動きに応じたパフォーマンスを実行すると、仮想空間１１Ｂに同期する仮想空間１１Ａ、１１Ｃ、および１１Ｄにおいても、アバターオブジェクト６Ｂが同じパフォーマンスを実行する。このように、ユーザ５Ｂは、アバターオブジェクト６Ｂによる番組を、ユーザ５Ａ、５Ｃ、および５Ｄにそれぞれ配信する配信者としての役割を有する。
パネルオブジェクト１８３２は、アバターオブジェクト６Ｂの番組の視聴者であるユーザ５Ａなどが、番組の配信中に入力したコメントが表示される仮想オブジェクトである。パネルオブジェクト１８３２は、透過設定された半透明のオブジェクトであってもよい。
図１８（Ａ）において、仮想カメラ１４Ｂは、アバターオブジェクト６Ｂの頭部に配置される。仮想カメラ１４Ｂは、仮想カメラ１４Ｂの位置および向きに応じた視界領域１５Ｂを規定する。仮想カメラ１４Ｂは、視界領域１５Ｂに対応する視界画像１８１７Ｂを生成して、図１８（Ｂ）に示すようにＨＭＤ１２０Ｂに表示させる。ユーザ５Ｂは、視界画像１８１７Ｂを視認することによって、アバターオブジェクト６Ｂの視点で仮想空間の一部を視認する。これにより、ユーザ５Ｂは、あたかもユーザ５Ｂ自身がアバターオブジェクト６Ｂであるかのような仮想体験を、得ることができる。視界画像１８１７Ｂには、パネルオブジェクト１８３２が含まれる。したがって、ユーザ５Ｂは、アバターオブジェクト６Ｂによる番組に対するユーザ５Ａなどからのコメントを、番組の配信中にリアルタイムに視認することができる。
［視聴者の仮想空間］
図１９は、ある実施の形態に従う仮想空間１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図１９（Ａ）では、ユーザ５Ａ（第２ユーザ）に仮想体験を提供するための仮想空間１１Ａに、アバターオブジェクト６Ｂが少なくとも配置される。仮想空間１１Ａは、図１８に示す仮想空間１１Ｂに同期している。ユーザ５Ａは、頭部にＨＭＤ１２０Ａを装着せず、左手にユーザ端末８００Ａを把持している。図１９の例では、ユーザ５Ａは、アバターオブジェクト６Ｂが実演する番組（配信動画）を、ユーザ端末８００Ａの画面を視認しながら視聴する。
図１９（Ａ）に示す仮想空間１１Ａは、ユーザ端末８００Ａにおいて番組コンテンツが再生されることによって、構築される。仮想空間１１Ａにおいて、アバターオブジェクト６Ｂは、ユーザ５Ｂの動きに基づいて、ライブの演者としてパフォーマンスを実行する。ユーザ５Ｂは、ユーザ端末８００Ａの画面を通じて、ライブの視聴者としてアバターオブジェクト６Ｂのパフォーマンスを視聴する。このとき、ユーザ５Ｃは、ユーザ端末８００Ｃの画面を通じて、ライブの視聴者としてアバターオブジェクト６Ｂのパフォーマンスを視聴する。また、ユーザ５Ｄは、ユーザ端末８００Ｄの画面を通じて、ライブの視聴者としてアバターオブジェクト６Ｂのパフォーマンスを視聴する。このように、アバターオブジェクト６Ｂの番組は、複数の異なるユーザ５に対して同時にストリーミング配信される。
図１９（Ａ）において、仮想空間１１Ａの中心１２Ａに仮想視点１９５１が設定される。仮想視点１９５１は、仮想カメラ１４Ａと同等の機能を有する。仮想視点１９５１は、仮想視点１９５１の位置および向きに応じた視界領域１５Ａを規定する。プロセッサ７１０Ａは、視界領域１５Ａに対応する視界画像１９１７Ａを生成して、図１９（Ｂ）に示すように、タッチスクリーン７７０Ａに表示する。視界画像１９１７Ａには、パフォーマンスを実行するアバターオブジェクト６Ｂが少なくとも含まれる。ユーザ５Ａは、視界画像１９１７Ａを視認することによって、アバターオブジェクト６Ｂと、アバターオブジェクト６Ｂが登場する仮想空間１１Ａの一部とを、視認する。これにより、ユーザ５Ａは、あたかもアバターオブジェクト６Ｂが実際の配信者であるかのような仮想体験を、得ることができる。
［寸法データの取得］
図２０は、寸法データの取得方法を説明するための図である。寸法データは、ユーザ５Ｂの身体の寸法を表すデータである。図２０（Ａ）は、ユーザ５Ｂが、正面を向き、両手を水平に広げ、起立している状態を表す。以下、図２０（Ａ）に示される状態を第１姿勢とも言う。図２０（Ｂ）は、ユーザ５Ｂが、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。以下、図２０（Ｂ）に示される状態を第２姿勢とも言う。
ある局面において、プロセッサ２１０Ｂは、ユーザ５Ｂに対し第１姿勢および第２姿勢をとるように促す。一例として、プロセッサ２１０Ｂは、第１姿勢および第２姿勢のキャラクタをモニタ１３０Ｂに表示し、同様の姿勢をとる旨のメッセージを表示する。他の例として、プロセッサ２１０Ｂは、第１姿勢および第２姿勢をとる旨の音声をスピーカ１８０Ｂから出力してもよい。
プロセッサ２１０Ｂは、ユーザ５Ｂに装着されたモーションセンサから、ユーザ５Ｂの頭部、腰部、両手、および両足の位置を検出する。以下、各モーションセンサによって検出されるユーザ５Ｂの部位の位置を「位置情報」とも言う。プロセッサ２１０Ｂは、２つの姿勢（第１姿勢と第２姿勢）のそれぞれにおいて、ユーザ５Ｂに装着されたモーションセンサの出力に基づいてユーザ５Ｂの頭部、腰部、両手、両足の位置情報を取得する。これら位置情報は、図２１に示されるように実座標系（ｘ、ｙ、ｚ）における位置として取得され得る。
プロセッサ２１０Ｂは、２つの姿勢に対応する位置情報からユーザ５Ｂの寸法データを算出する。ある実施形態において、プロセッサ２１０Ｂは、図２２に示されるように、ユーザ５Ｂの身長、肩幅、腕の長さ、足の長さ、頭部から肩までの高さを寸法データとして算出する。プロセッサ２１０Ｂは、第２姿勢における両手の間隔を肩幅として算出し得る。プロセッサ２１０Ｂは、第１姿勢における両手の間隔から肩幅を差し引いた値の半分を腕の長さとして算出し得る。プロセッサ２１０Ｂは、足の高さから頭部の高さまでの距離を身長として算出し得る。プロセッサ２１０Ｂは、足の高さから腰部の高さまでの距離を足の長さとして算出し得る。プロセッサ２１０Ｂは、第１姿勢における手の高さから頭部までの高さを、頭部から肩までの高さとして算出し得る。
図２３は、寸法データを取得するための処理を表すフローチャートである。ステップＳ２３１０において、プロセッサ２１０Ｂは、仮想空間１１Ｂに仮想カメラ１４Ｂを配置する。プロセッサ２１０Ｂはさらに、仮想カメラ１４Ｂの撮影範囲に対応する視界画像１７Ｂをモニタ１３０Ｂに出力する。
ステップＳ２３２０において、プロセッサ２１０Ｂは、ユーザ５Ｂに第１姿勢になるように指示する。例えば、プロセッサ２１０Ｂは、当該指示が記されたオブジェクトを仮想空間１１Ｂに配置することでステップＳ２３２０の処理を実現する。ステップＳ２３３０において、プロセッサ２１０Ｂは、第１姿勢に対応する位置情報を取得する。
ステップＳ２３４０において、プロセッサ２１０Ｂは、ユーザ５Ｂに第２姿勢になるように指示する。ステップＳ２３５０において、プロセッサ２１０Ｂは、第２姿勢に対応する位置情報を取得する。
ステップＳ２３６０において、プロセッサ２１０Ｂは、第１姿勢に対応する位置情報と第２姿勢に対応する位置情報とから、ユーザ５Ｂの寸法データを算出する。プロセッサ２１０Ｂは、寸法データをストレージ２３０Ｂに格納する。
以上のように、ユーザ５Ｂは、２つの姿勢をとるだけで、自身の寸法をコンピュータ２００Ｂに容易に入力できる。なお、他の局面において、ユーザ５Ｂは、自身の寸法をキーボード等の入力デバイスを用いてコンピュータ２００Ｂに入力してもよい。
［関節の回転方向］
ある実施形態において、プロセッサ２１０Ｂは、ユーザ５Ｂに装着された６つのモーションセンサの出力（位置情報）と、寸法データとに基づいて、ユーザ５Ｂの関節の回転方向を推定する。一例として、プロセッサ２１０Ｂは、頭部の位置情報と、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。プロセッサ２１０Ｂは、肩の位置と手の位置情報とから、肘の位置を推定する。この推定は、逆運動学（Inverse Kinematics）を利用した公知のアプリケーションにより実行され得る。
ある実施形態において、プロセッサ２１０Ｂは、６つのモーションセンサから、ユーザ５Ｂの首（頭部）、腰、両手首、および両足首の関節の傾き（回転方向）を取得する。加えて、プロセッサ２１０Ｂは、逆運動学に基づいて、両肩、両肘、両股（足のつけ根）、両膝の関節の回転方向を推定する。図２２に示されるように、プロセッサ２１０Ｂは、各関節の回転方向をｕｖｗ視野座標系で取得または推定する。
なお、回転方向が位置情報と寸法データとに基づいて算出される場合、プロセッサ２１０Ｂは、ユーザ５Ｂが正面を向いていないとき（つまり、頭部と腰部とが異なる方向を向いているとき）の肩の位置等を正確に推定できない。そこで、他の実施形態において、コンピュータ２００Ｂは、モーションセンサによって検出されるユーザ５Ｂの部位の傾きをさらに考慮して関節の回転方向を推定してもよい。例えば、コンピュータ２００Ｂは、頭部の位置情報と、頭部の傾きと、腰部の傾きと、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。当該構成によれば、コンピュータ２００Ｂは、関節の回転方向の精度を向上し得る。
［番組配信フロー］
図２５は、ある実施の形態に従う配信システム１５００において実行される処理の一部を表すシーケンスチャートである。図２６は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像２６１７Ｂを示す図である。図２７は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。本実施形態では、少なくともＨＭＤセット１１０Ｂ、ユーザ端末８００Ａ、およびサーバ６００が、アバターオブジェクト６Ｂの番組を進行させるための一連の処理を実行する。ＨＭＤセット１１０Ｂの処理の一部または全部は、サーバ６００またはユーザ端末８００Ａによって実行されてもよい。以下では、仮想空間２６１１Ｂにおいて進行するアバターオブジェクト６Ｂの番組を、ＨＭＤセット１１０Ｂからユーザ端末８００Ａに配信するための一連の処理を説明する。ユーザ端末８００Ｃおよび８００Ｄに対しても、同様の一連の処理に基づいてアバターオブジェクト６Ｂの番組が配信される。
ステップＳ２５０１において、プロセッサ２１０Ｂは、図２６（Ａ）に示すような仮想空間２６１１Ｂを定義する。当該処理は、図１１のステップＳ１１１０の処理に相当する。具体的には、プロセッサ２１０Ｂは、仮想空間データを特定することによって、仮想空間データによって表される仮想空間２６１１Ｂを定義する。仮想空間２６１１Ｂは、アバターオブジェクト６Ｂが番組を実演する仮想空間である。言い換えれば、仮想空間２６１１Ｂは、アバターオブジェクト６Ｂによるパフォーマンスが行われる仮想空間である。
ステップＳ２５０２において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、ユーザ５Ｂ（第１ユーザ）に関連付けられるアバターオブジェクト６Ｂ（第１アバター）を生成し、仮想空間２６１１Ｂに配置する。ステップＳ２５０３において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、仮想カメラ１４Ｂを生成し、仮想空間２６１１Ｂに配置する。図２６（Ａ）では、仮想カメラ１４Ｂは、アバターオブジェクト６Ｂの頭部に配置される。ステップＳ２５０４において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、パネルオブジェクト１８３２を生成し、仮想空間２６１１Ｂに配置する。パネルオブジェクト１８３２は、番組の視聴者であるユーザ５Ａなどが入力したコメントが表示される仮想オブジェクトである。図２６（Ａ）では、パネルオブジェクト１８３２は、アバターオブジェクト６Ｂの正面における、アバターオブジェクト６Ｂから一定距離置いた位置に配置される。この時点では、番組に対するコメントがユーザ５Ａなどによって入力されていないので、パネルオブジェクト１８３２にはコメントが表示されていない。
ステップＳ２５０５において、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂのアバター情報を生成し、サーバ６００を介してユーザ端末８００Ａに送信する。ステップＳ２５０６において、プロセッサ２１０Ｂは、仮想カメラ制御モジュール１４２２として、ＨＭＤ１２０Ｂの動きに応じて仮想空間２６１１Ｂにおける仮想カメラ１４Ｂの位置および傾きを決定する。より詳細には、プロセッサ２１０Ｂは、ユーザ５Ｂの頭部の姿勢と、仮想空間２６１１Ｂにおける仮想カメラ１４Ｂの位置とに応じて、仮想空間２６１１Ｂにおける仮想カメラ１４Ｂ（仮想視点）からの視界である視界領域１５Ｂを制御する。当該処理は、図１１のステップＳ１１４０の処理の一部に相当する。仮想カメラ１４Ｂがアバターオブジェクト６Ｂと同一の位置に配置されるので、仮想カメラ１４Ｂの位置は、アバターオブジェクト６Ｂの位置と同義である。さらに、仮想カメラ１４Ｂからの視界は、アバターオブジェクト６Ｂからの視界と同義である。
ステップＳ２５０７において、プロセッサ２１０Ｂは、視界画像２６１７Ｂをモニタ１３０Ｂに表示する。具体的には、プロセッサ２１０Ｂは、ＨＭＤ１２０Ｂの動き（すなわち仮想カメラ１４Ｂの位置および傾き）と、仮想空間２６１１Ｂを定義する仮想空間データと、に基づいて、視界領域１５Ｂに対応する視界画像２６１７Ｂを定義する。視界画像２６１７を定義することは、視界画像２６１７Ｂを生成することと同義である。プロセッサ２１０Ｂは、さらに、ＨＭＤ１２０Ｂのモニタ１３０Ｂに視界画像２６１７Ｂを出力することによって、視界画像２６１７ＢをＨＭＤ１２０Ｂに表示させる。当該処理は、図１１のステップＳ１１８０およびＳ１１９０の処理に相当する。
プロセッサ２１０Ｂは、例えば、図２６（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像２６１７Ｂを、図２６（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像２６１７Ｂは、コメントが表示されないパネルオブジェクト１８３２を含む。ユーザ５Ｂは、視界画像２６１７Ｂを視認することによって、アバターオブジェクト６Ｂの視点で、仮想空間２６１１Ｂの一部を視認する。これにより、ユーザ５Ｂは、あたかもユーザ５Ｂ自身がアバターオブジェクト６Ｂであるかのような仮想体験を、得ることができる。ユーザ５Ｂは、パネルオブジェクト１８３２を視認することによって、現時点ではアバターオブジェクト６Ｂの番組に対するコメントが得られていないことを認識する。
ステップＳ２５２１において、プロセッサ７１０Ａは、ユーザ５Ａに仮想体験を提供するための仮想空間２６１１Ａを定義する。この処理は、ステップＳ２５０１における仮想空間２６１１Ｂを定義するための処理と基本的に同一であるため、詳細な説明を繰り返さない。図２６（Ａ）では、仮想空間２６１１Ａは、アバターオブジェクト６Ｂを含む。仮想空間２６１１Ａは、仮想空間２６１１Ｂに部分的に同期される仮想空間である。ステップＳ２５２２において、プロセッサ７１０Ａは、仮想空間２６１１Ｂに仮想視点１９５１を設定する。図２７（Ａ）では、仮想視点１９５１は、仮想空間２６１１Ａの中心に設定される。ステップＳ２５２３において、プロセッサ７１０Ａは、コンピュータ２００Ｂから送信されたアバターオブジェクト６Ｂのアバター情報を受信する。ステップＳ２５２４において、プロセッサ７１０Ａは、仮想オブジェクト生成モジュール１７２１として、受信したアバター情報に基づいて、アバターオブジェクト６Ｂを生成し、仮想空間２６１１Ａにおける仮想視点１９５１の視界領域１５Ａ内に配置する。プロセッサ７１０Ａは、パネルオブジェクト１８３２に関する情報をコンピュータ２００Ｂから受信せず、パネルオブジェクト１８３２を仮想空間２６１１Ａに配置しない。このように、パネルオブジェクト１８３２は、ユーザ５Ｂは視認できるが、ユーザ５Ａは視認できない仮想オブジェクトである。
ステップＳ２５２５において、プロセッサ７１０Ａは、仮想視点制御モジュール１７２２として、タッチスクリーン７７０Ａに対するユーザ５Ａの操作に基づいて、仮想空間２６１１Ａにおける仮想視点１９５１の位置および傾きを決定する。プロセッサ７１０Ａは、例えば、タッチスクリーン７７０Ａに対するユーザ５Ａのフリック操作の方向と、仮想空間２６１１Ａにおける仮想視点１９５１の位置とに応じて、仮想空間２６１１Ａにおける仮想視点１９５１からの視界である視界領域１５Ａを制御する。
ステップＳ２５２６において、プロセッサ７１０Ａは、視界領域１５Ａに対応する視界画像２７１７Ａを生成し、タッチスクリーン７７０Ａに表示する。具体的には、プロセッサ７１０Ａは、仮想視点１９５１の位置および傾きと、仮想空間２６１１Ａを定義する仮想空間データと、に基づいて、視界領域１５Ａに対応する視界画像２７１７Ａを定義する。視界画像２７１７Ａを定義することは、視界画像２７１７Ａを生成することと同義である。プロセッサ７１０Ａは、さらに、ユーザ端末８００Ａのタッチスクリーン７７０Ａに視界画像２７１７Ａを出力することによって、視界画像２７１７Ａをタッチスクリーン７７０Ａに表示する。
プロセッサ７１０Ａは、例えば、図２７（Ａ）に示す仮想空間２６１１Ａに対応する視界画像２７１７Ａを、図２７（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。これにより、プロセッサ７１０Ａは、アバターオブジェクト６Ｂを含む視界画像２７１７Ａをユーザ５Ａに提供する。ユーザ５Ａは、視界画像２７１７Ａを視認することによって、アバターオブジェクト６Ｂの番組を視聴する。ステップＳ２５２７において、プロセッサ７１０Ａは、コメント欄１９５２を、タッチスクリーン７７０Ａにおける視界画像２７１７Ａの下部に表示する。この時点では、ユーザ５Ａは、コメントをまだ入力していない。そのため、コメント欄１９５２にはユーザ５Ａのコメントが表示されていない。
図２８は、ある実施形態に従うユーザ５Ｂの姿勢の一例を表す図である。図２９は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像２９１７Ｂを示す図である。ユーザ５Ｂは、番組の開始後、例えば図２８に示す姿勢を取るように自身の身体を動かす。図２８に示す姿勢は、第１パフォーマンスに対応する姿勢である。ステップＳ２５０８において、プロセッサ２１０Ｂは、図２８に示す姿勢を取るためのユーザ５Ｂの動きを検出する。詳細には、プロセッサ２１０Ｂは、ユーザ５Ｂに装着された各モーションセンサから、ユーザ５Ｂの頭部、腰部、両手、および両足の位置を検出する。プロセッサ２１０Ｂは、ユーザ５Ｂの現在の位置情報と、予め取得されたユーザ５Ｂの寸法データとに基づいて、ユーザ５Ｂの関節の回転方向を算出する。このように、現在の位置情報を検出することおよび回転方向を算出することは、ユーザ５Ｂの動きを検出することと同義である。
ステップＳ２５０９において、プロセッサ２１０Ｂは、検出したユーザ５Ｂの動きに基づいて、図２９（Ａ）に示すようにアバターオブジェクト６Ｂを制御する。詳細には、プロセッサ２１０Ｂは、ユーザ５Ｂの現在の位置情報および回転方向に基づいて、仮想空間２６１１Ｂに配置されるアバターオブジェクト６Ｂを動かす。プロセッサ２１０Ｂは、例えば、右肩の回転方向に基づいて、アバターオブジェクト６Ｂの右上腕部を動かす。プロセッサ２１０Ｂはさらに、現在の位置情報（例えば現在の腰部の位置情報）に基づいて、アバターオブジェクト６Ｂの仮想空間２６１１Ｂにおける位置を動かす。これにより、プロセッサ２１０Ｂは、現実空間のユーザ５Ｂの動きを、仮想空間２６１１Ｂに配置されるアバターオブジェクト６Ｂに反映させる。言い換えれば、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂに、ユーザ５Ｂの動きに応じた第１パフォーマンスを実行させる。
ユーザ５Ｂの動きをアバターオブジェクト６Ｂに反映させるための処理は、上述した位置情報および回転方向に応じた処理に限定されない。プロセッサ２１０Ｂは、例えば、回転方向を算出することなく、ユーザ５Ｂの動きに応じてアバターオブジェクト６Ｂを動かすこともできる。プロセッサ２１０Ｂは、例えば、ユーザ５Ｂの身体を構成する各部位の位置に対応するように、ユーザ５Ｂの各部位に対応するアバターオブジェクト６Ｂの各部位オブジェクトの位置を制御するようにしてもよい。
ステップＳ２５１０において、プロセッサ２１０Ｂは、第１パフォーマンスを実行した際のアバターオブジェクト６Ｂの動きを表す動き情報をリアルタイムに生成し、この動き情報を含むアバターオブジェクト６Ｂのアバター情報を、サーバ６００を介してユーザ端末８００Ａにリアルタイムに送信する。ステップＳ２５１１において、プロセッサ２１０Ｂは、モニタ１３０Ｂに表示される視界画像２６１７Ｂを更新する。プロセッサ２１０Ｂは、例えば、図２９（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像２９１７Ｂを生成し、図２９（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像３０１７Ｂを視認することによって、第１パフォーマンスの実施直後に、番組に対するコメントがまだ得られていないことを認識する。
図３０は、ある実施の形態に仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。ステップＳ２５２８において、プロセッサ７１０Ａは、コンピュータ２００Ｂから送信されたアバターオブジェクト６Ｂのアバター情報をリアルタイムに受信する。ステップＳ２５２９において、プロセッサ７１０Ａは、受信したアバター情報に含まれるアバターオブジェクト６Ｂの動き情報に基づいて、図３０（Ａ）に示すように仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂの第１カテゴリに属する動作をリアルタイムに制御する。詳細には、プロセッサ７１０Ａは、アバター情報に含まれるアバターオブジェクト６Ｂの動き情報に基づいて、仮想空間２６１１Ｂにおいてアバターオブジェクト６Ｂに第１カテゴリに属する第１パフォーマンスを実行させる。このように、第１カテゴリに属する動作は、アバターオブジェクト６Ｂの身体の一部を構成する部位を動かす動作である。仮想空間２６１１Ｂにおけるアバターオブジェクト６Ｂの挙動が、仮想空間２６１１Ａにおけるアバターオブジェクト６Ｂに反映される。言い換えれば、アバターオブジェクト６Ｂの挙動が、仮想空間２６１１Ａおよび２６１１Ｂにおいて同期される。このようにして、仮想空間２６１１Ｂにおけるアバターオブジェクト６Ｂの番組が、仮想空間２６１１Ａに配信される。
ステップＳ２５３０において、プロセッサ７１０Ａは、タッチスクリーン７７０Ａに表示される視界画像１７Ａを更新する。プロセッサ７１０Ａは、例えば、図３０（Ａ）に示す仮想空間２６１１Ａに対応する視界画像３０１７Ａを生成し、図３０（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。ユーザ５Ａは、視界画像３０１７Ａを視認することによって、アバターオブジェクト６Ｂの第１パフォーマンスを楽しむことができる。
図示しないが、プロセッサ２１０Ｂは、ユーザ５Ｂが発した音声を、マイク１７０Ｂを用いて録音する。プロセッサ２１０Ｂは、ユーザ５Ｂの音声を表す音声データを生成し、サーバ６００に送信する。サーバ６００は、受信したユーザ５Ｂの音声データを、同期処理によってユーザ端末８００Ａに送信する。ユーザ端末８００Ａは、受信したユーザ５Ｂの音声データが表す音声を、スピーカ７８０Ａに出力する。これらの一連の処理の結果、ユーザ５Ａは、ライブ中にユーザ５Ｂが発した音声を、リアルタイムに聴取することができる。
（実施形態１の詳細）
図３１は、ある実施の形態に係るアバターオブジェクト６Ｂが取り得る表情３１６１～３１６３を示す図である。図３１（Ａ）は破顔表情３１６１を示し、図３１（Ｂ）は怒気表情３１６２を示し、図３１（Ｃ）は困惑表情３１６３を示す。アバターオブジェクト６Ｂ（第１アバター）は、ユーザ５Ｂ（第１ユーザ）による所望の操作に基づいて、破顔表情３１６１、怒気表情３１６２、および困惑表情３１６３のうちいずれかを、アバターオブジェクト６Ｂの顔に作ることができる。破顔表情３１６１は、アバターオブジェクト６Ｂが笑ったときに示す顔の表情であり、怒気表情３１６２は、アバターオブジェクト６Ｂが怒ったときに示す顔の表情であり、困惑表情３１６３は、アバターオブジェクト６Ｂが困ったときに示す顔の表情である。
これらの表情は、コントローラ３００ＲＢに備えられるいずれかのボタンに対する操作に予め設定されている。例えば、ボタン３４０の押下操作に破顔表情３１６１が設定され、ボタン３５０の押下操作に怒気表情３１６２が設定され、ボタン３７０の押下操作に困惑表情３１６３が設定される。メモリモジュール５３０Ｂは、破顔表情３１６１、怒気表情３１６２、および困惑表情３１６３をそれぞれ表す個別の動作情報を格納している。以下、アバターオブジェクト６Ｂの動作情報は、アバターオブジェクト６Ｂの動き情報と同義であるとする。動作情報は、アバターオブジェクト６の骨格部分の動作を規定した情報であればよい。プロセッサ２１０Ｂは、ユーザ５Ｂが押下したボタンに対応する動作情報をメモリモジュール５３０Ｂから取得し、当該情報が表す表情をアバターオブジェクト６Ｂに作らせる。
図３２は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像３２１７Ｂを示す図である。以下では、まず、アバターオブジェクト６Ｂの番組の視聴者に好評の表情を機械学習するための一連の手順を説明する。図３２（Ａ）では、アバターオブジェクト６Ｂおよびパネルオブジェクト１８３２が仮想空間２６１１Ｂに配置されている。ユーザ５Ｂは、アバターオブジェクト６Ｂに破顔表情３１６１を作らせるために、コントローラ３００ＲＢのボタン３４０を押下する。プロセッサ２１０Ｂは、ボタン３４０に対するユーザ５Ｂの押下操作を、ユーザ５Ｂの動きととして検出する。プロセッサ２１０Ｂは、ボタン３４０に対する押下操作に対応する破顔表情３１６１を、図３２（Ａ）に示すようにアバターオブジェクト６Ｂに作らせる。プロセッサ２１０Ｂは、破顔表情３１６１を表す動作情報を、サーバ６００を介してユーザ端末８００Ａに送信する。
プロセッサ２１０Ｂは、図３２（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像３２１７Ｂを生成し、例えば図３２（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像３２１７Ｂには、何も表示されないパネルオブジェクト１８３２が含まれる。ユーザ５Ｂは、視界画像３２１７Ｂを通じて、アバターオブジェクト６Ｂの破顔表情３１６１に対する視聴者のコメントがまだ得られていないことを認識する。
図３３は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図３３（Ａ）に示す仮想空間２６１１Ａには、アバターオブジェクト６Ｂが配置されている。プロセッサ７１０Ａは、破顔表情３１６１を表す動作情報をＨＭＤセット１１０Ｂから受信し、当該情報に基づいて、図３３（Ｂ）に示すように仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂに破顔表情３１６１を作らせる。
プロセッサ７１０Ａは、図３３（Ａ）に示す仮想空間２６１１Ａに対応する視界画像３３１７Ａを生成し、例えば図３３（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。視界画像３３１７Ａには、破顔表情３１６１を作っているアバターオブジェクト６Ｂが含まれている。ユーザ５Ａ（第２ユーザ）は、視界画像３３１７Ａを通じて、アバターオブジェクト６Ｂが破顔表情３１６１を作ったことを認識する。
図３４は、ある実施の形態に従うユーザ端末８００Ａの表示面を示す図である。ユーザ５Ａは、アバターオブジェクト６Ｂの破顔表情３１６１を好ましいものと感じ、そのような評価をユーザ５Ｂに与えるための操作をユーザ端末８００Ａに入力する。詳細には、ユーザ５Ａは、アバターオブジェクト６Ｂの破顔表情３１６１に対するコメントを、ユーザ端末８００Ａに入力する。プロセッサ７１０Ａは、例えば、タッチスクリーン７７０Ａに対するユーザ５Ｂの操作に基づいて、文字列を入力するためのソフトウェアキーボードをタッチスクリーン７７０Ａに表示する。ユーザ５Ａは、ソフトウェアキーボードに対するタップ操作によって、コメントをユーザ端末８００Ａに入力する。プロセッサ７１０Ａは、ユーザ５Ａによるコメントの入力を検出する。これにより、プロセッサ７１０Ａは、ユーザ５Ａが入力したコメント３４５３を特定する。
プロセッサ７１０Ａは、特定したコメント３４５３を、図３４に示すようにコメント欄１９５２に表示する。ユーザ５Ａは、コメント欄１９５２に表示されたコメント３４５３を視認することによって、コメント３４５３が正常に入力されたことを認識する。プロセッサ７１０Ａは、コメント３４５３をサーバ６００を介してコンピュータ２００Ｂに送信する。
図３５は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像３５１７Ｂを示す図である。プロセッサ２１０Ｂは、ユーザ端末８００Ａから送信されたコメント３４５３を受信し、図３５（Ａ）に示すように、コメント３４５３に関するテキスト３５５３をパネルオブジェクト１８３２の表示面に表示する。当該テキストは、ユーザ５Ａのコメント３４５３と、ユーザ５Ａの名称とを含む。プロセッサ２１０Ｂは、図３５（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像３５１７Ｂを生成し、例えば図３５（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像３５１７Ｂを通じて、破顔表情３１６１に対してユーザ５Ａからコメントが入力されたことを認識する。
図３６は、ある実施の形態に係る学習済みモデル１４２９を示す図である。プロセッサ２１０Ｂは、ユーザ５Ｂの操作に基づいてアバターオブジェクト６Ｂが作った破顔表情３１６１に対してユーザ５Ａが入力したコメント３４５３を、破顔表情３１６１に対する評価として特定する。プロセッサ２１０Ｂは、破顔表情３１６１に対して、特定したユーザ５Ａの評価を関連付ける。さらに、評価が関連付けられた破顔表情３１６１を機械学習することによって、表情の学習結果に相当する学習済みモデル１４２９を生成する。プロセッサ２１０Ｂは、例えば、図３６に示すように、アバターオブジェクト６Ｂが取り得る表情を表す動作情報と、当該表情に対する評価の総計とが関連付けられて格納される学習済みモデル１４２９を生成する。図３６では、破顔表情３１６１に評価の総計「１００」が関連付けられ、怒気表情３１６２に評価の総計「５」が関連付けられ、困惑表情３１６３に評価総計「１２」が関連付けられる。この例では、破顔表情３１６１、困惑表情３１６３、および怒気表情３１６２の順で、視聴者から得られた評価の総計が高い。
図３７は、ある実施の形態に従う配信システム１５００において実行される処理の一部を表すシーケンスチャートである。以下では、表情の機械学習結果に基づいてアバターオブジェクト６Ｂが好適な表情を自動的に作る際の一連の処理の流れを説明する。
図３８は、ある実施形態に従うユーザの姿勢の一例を表す図である。ユーザ５Ｂは、番組の配信中に、例えば図３８に示す姿勢を取るように自身の身体を動かす。図３８に示す姿勢は、ユーザ５Ｂの第２パフォーマンスに対応する姿勢である。ステップＳ３７０１において、プロセッサ２１０Ｂは、図３８に示す姿勢を取るためのユーザ５Ｂの動きを検出する。ステップＳ３７０２において、プロセッサ２１０Ｂは、学習済みモデル１４２９に基づいて、アバターオブジェクト６Ｂが行い得る新たな動作に関する情報を特定する。ここでは、当該新たな動作は、アバターオブジェクト６Ｂが表情を作る動作のことである。プロセッサ２１０Ｂは、学習済みモデル１４２９に格納される表情に関する複数の動作情報のうち、より多くの評価が関連付けられた表情を表す動作情報を、より優先的に特定する。ここでは、破顔表情３１６１、怒気表情３１６２、および困惑表情３１６３のうち、最も大きい評価の総計「１００」が関連付けられる破顔表情３１６１を表す動作情報を、学習済みモデル１４２９から特定する。
ステップＳ３７０３において、プロセッサ２１０Ｂは、ユーザ５Ｂの動きと、学習済みモデル１４２９から取得した動作情報とに基づいて、アバターオブジェクト６Ｂに適用可能な制御内容を特定する。ここでは、ユーザ５Ｂの動きに対応する第２パフォーマンスを実行しながら、取得した動作情報が表す破顔表情３１６１を作るという制御内容を特定する。特に図示しないが、プロセッサ２１０Ｂは、仮想空間２６１１Ｂにおいて、特定した制御内容に基づいてアバターオブジェクト６Ｂを制御してもよい。ステップＳ３７０４において、プロセッサ２１０Ｂは、特定した制御内容をサーバ６００を介してユーザ端末８００Ａに送信する。
図３９は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。ステップＳ３７０５において、プロセッサ７１０Ａは、コンピュータ２００Ｂから送信された制御内容を受信する。ステップＳ３７０６において、プロセッサ７１０Ａは、受信した制御内容に基づいて、図３９（Ａ）に示すようにアバターオブジェクト６Ｂを制御する。詳細には、アバターオブジェクト６Ｂに、第２パフォーマンスを実行させながら破顔表情３１６１を作らせる。このように、アバターオブジェクト６Ｂは、ユーザ５Ｂが表情を指定する操作を行わなくても、視聴者からの評価が高い破顔表情３１６１を自動的に作ることができる。
プロセッサ７１０Ａは、図３９（Ａ）に示す仮想空間２６１１Ａに対応する視界画像３９１７Ａを生成し、例えば図３９（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。視界画像３９１７Ａには、破顔表情３１６１を作りながら第２パフォーマンスを実行しているアバターオブジェクト６Ｂが表示されている。ユーザ５Ａは、視界画像３９１７Ａを通じて、アバターオブジェクト６Ｂの第２パフォーマンスを楽しむ。ユーザ５Ａは、特に、ユーザ５Ａが過去に評価した破顔表情３１６１をアバターオブジェクト６Ｂが作っているため、アバターオブジェクト６Ｂの番組に対してより一層好ましい印象を持つことになる。
（主要な作用効果）
本実施形態では、ユーザ５Ｂの動きと、アバターオブジェクト６Ｂの過去の動作を機械学習した学習結果に基づいて特定されたアバターオブジェクト６Ｂの新たな動作に関する動作情報との双方に基づいて、アバターオブジェクト６Ｂの制御内容を特定するため、仮想空間２６１１においてアバターオブジェクト６Ｂをより好適に制御することができる。
また、アバターオブジェクト６Ｂの過去の動作に対する視聴者の評価に基づいて、アバターオブジェクト６Ｂが取るべき好ましい動作を機械学習するため、視聴者の好みに合致した動作をアバターオブジェクト６Ｂに実行させることができる。
（変形例）
図４０は、ある実施の形態に係るユーザ端末８００Ａの表示面を示す図である。図４０（Ａ）では、プロセッサ７１０Ａは、タッチスクリーン７７０Ａに視界画像３３１７Ａを表示すると共に、タッチスクリーン７７０Ａにおける視界画像３３１７Ａの下部にＵＩ表示欄４０５４を表示している。ＵＩ表示欄４０５４は、番組視聴に関する各種のＵＩ部品を表示するための領域である。図４０（Ａ）では、プロセッサ７１０Ａは、ＵＩ表示欄４０５４にボタン４０５５を表示している。ボタン４０５５には「Ｇｏｏｄ」というテキストがラベルされている。ボタン４０５５は、番組に対する視聴者の好意的な評価が対応している。ボタン４０５５は、アバターオブジェクト６Ｂの番組に対するユーザ５Ａからの評価の入力を受け付ける機能を有する。
図４０（Ｂ）では、ユーザ５Ｂは、アバターオブジェクト６Ｂが作った破顔表情３１６１を好意的なものと感じ、破顔表情３１６１に応答してボタン４０５５を押下することによって、破顔表情３１６１に対する評価をタッチスクリーン７７０Ａに入力する。プロセッサ７１０Ａは、ボタン４０５５に対するユーザ５Ｂの操作を検出し、当該操作を表す操作情報を生成してコンピュータ２００Ｂに送信する。プロセッサ２１０Ｂは、ユーザ端末８００Ａから受信した操作情報に基づいて、アバターオブジェクト６Ｂが破顔表情３１６１を作ったことに応答して、ユーザ５Ｂがボタン４０５５を押下操作したことを特定する。これにより、プロセッサ２１０Ｂは、破顔表情３１６１に対するユーザ５Ａの評価を特定する。
本例でも、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂが過去に行った動作に対するユーザ５Ａの評価を適切に特定することができる。これにより、番組の視聴者から好まれるアバターオブジェクト６Ｂの動作を効果的に機械学習することができる。
図４１は、ある実施の形態に係るユーザ端末８００Ａの表示面を示す図である。図４１（Ａ）では、プロセッサ７１０Ａは、タッチスクリーン７７０Ａに視界画像３３１７Ａを表示すると共に、タッチスクリーン７７０Ａにおける視界画像３３１７Ａの下部にＵＩ表示欄４０５４を表示している。図４１（Ａ）では、プロセッサ７１０Ａは、ＵＩ表示欄４０５４に、アイコン状態のダイヤオブジェクト４１５６を表示している。ダイヤオブジェクト４１５６は、ユーザ５Ａが有償で入手可能な仮想オブジェクトの一種である。ダイヤオブジェクト４１５６は、ダイヤオブジェクト４１５６をユーザ５Ｂに付与するための操作を受け付け可能な態様でＵＩ表示欄４０５４に表示される。
図４１（Ｂ）では、ユーザ５Ａは、アバターオブジェクト６Ｂが作った破顔表情３１６１を好意的なものと感じ、ユーザ５Ｂによる番組配信を応援すべく、有償のダイヤオブジェクト４１５６をユーザ５Ｂに付与するための操作をタッチスクリーン７７０Ａに入力する。詳細には、ユーザ５Ａは、ダイヤオブジェクト４１５６をＵＩ表示欄４０５４から視界画像３３１７Ａまで移動させるためのスワイプ操作を、ダイヤオブジェクト４１５６に対して入力する。プロセッサ７１０Ａは、ユーザ５Ｂのスワイプ操作を検出し、図４１（Ｂ）に示すようにダイヤオブジェクト４１５６を視界画像３３１７Ａの位置まで移動させる。プロセッサ７１０Ａは、ダイヤオブジェクト４１５６の移動に応答して、ダイヤオブジェクト４１５６を表すオブジェクト情報を生成し、コンピュータ２００Ｂに送信する。
図４２は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像４２１７Ｂを示す図である。プロセッサ２１０Ｂは、ユーザ端末８００Ａから送信されたオブジェクト情報を受信し、当該情報に基づいて、ユーザ５Ａからユーザ５Ｂにダイヤオブジェクト４１５６が付与されたことを特定する。プロセッサ２１０Ｂは、この特定に応答して、ユーザ５Ｂにダイヤオブジェクト４１５６が付与されたことを表すメッセージ４１３４を、図４２（Ａ）に示すようにパネルオブジェクト１８３２の表示面に表示する。プロセッサ２１０Ｂは、さらに、ダイヤオブジェクト４１５６を、図４２（Ｂ）に示すように視界領域１５Ｂ内に配置する。
プロセッサ２１０Ｂは、図４２（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像４２１７Ｂを生成し、例えば図４２（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像４２１７Ｂは、メッセージ４１３４が表示されるパネルオブジェクト１８３２と、ユーザ５Ｂに付与されたダイヤオブジェクト４１５６とを含む。ユーザ５Ｂは、視界画像４２１７Ｂを通じて、ユーザ５Ａからダイヤオブジェクト４１５６を貰ったことを認識する。ダイヤオブジェクト４１５６がユーザ５Ｂに付与されたことによって、ユーザ５Ａがダイヤオブジェクト４１５６の購入に要した費用の一部が、番組の配信者に支払われる。これにより、番組の売り上げが増加する。
プロセッサ２１０Ｂは、ユーザ５Ａからユーザ５Ｂに付与されたダイヤオブジェクト４１５６を、破顔表情３１６１に対するユーザ５Ａの評価として特定する。このように、アバターオブジェクト６Ｂが特定の表情を作ったことに応答して、視聴者からユーザ５Ｂにダイヤオブジェクト４１５６などの贈答用のオブジェクトがユーザ５Ｂに付与されるたびに、当該表情に関連付けられる評価がより高くなる。本例でも、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂが過去に行った動作に対するユーザ５Ａの評価を適切に特定することができる。これにより、番組の視聴者から好まれる動作を効果的に機械学習することができる。
プロセッサ２１０Ｂは、機械学習された破顔表情３１６１をユーザ５Ａ等に販売することができる。ユーザ５Ａは、自らを配信者として、アバターオブジェクト６Ａによる番組をユーザ５Ｂ等に配信することができる。その際、プロセッサ２１０Ａは、アバターオブジェクト６Ａの番組配信中にユーザ５Ａの動きを検出した場合、当該動きと、ユーザ５Ｂから購入した機械学習済みの破顔表情３１６１とに基づいて、アバターオブジェクト６Ａに適用可能な制御内容を特定する。これにより、ユーザ５Ａがアバターオブジェクト６Ａの表情を制御する操作を行わなくても、アバターオブジェクト６Ａに破顔表情３１６１を自動的に作らせることができる。
プロセッサ２１０Ｂは、ユーザ５Ｂの動きに基づくアバターオブジェクト６Ｂの任意の動作を機械学習し、当該動作を表す動作情報を販売することができる。例えば、ダンス、スポーツ等の定型的な動作（スイングや投球フォーム）、楽器を弾く動きなどの売買が配信システム１５００において可能になる。
〔実施形態２〕
図４３は、ある実施の形態に従うユーザ５Ｂおよびアバターオブジェクト６Ｂを表す図である。図４３（Ａ）では、ユーザ５Ｂは、両手をぶら下げた状態で、自然な呼吸動作を行っている。この場合のユーザ５Ｂの動きが小さいため、検出したユーザ５Ｂの動きに単にそのまま基づくのでは、アバターオブジェクト６Ｂを正常に動作させることができない可能性がある。そこでプロセッサ２１０Ｂは、検出したユーザ５Ｂの動きに対応するアバターオブジェクト６Ｂの動作に関する動作情報（第１情報）をまず生成し、そして当該動作情報を所定の補正パラメータを用いて補正することによって、アバターオブジェクト６Ｂの補正された補正動作（第１動作）を表す補正動作情報（第２情報）を生成する。ここでの補正動作は、図４３（Ａ）に示すように、アバターオブジェクト６Ｂが、その両肩および両腕を大きく上下させる動作である。
図４４は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図４４（Ａ）に示す仮想空間２６１１Ａでは、視界領域１５Ａ内にアバターオブジェクト６Ｂが配置されている。プロセッサ７１０Ａは、ＨＭＤセット１１０Ｂにおいて生成された補正動作情報を、コンピュータ２００Ｂから受信する。プロセッサ２１０Ｂは、受信した補正動作情報に基づいて、図４４（Ａ）に示すように、仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂに補正動作を実行させる。ここでの補正動作は、図４３（Ｂ）に示す補正動作と同一である。
プロセッサ７１０Ａは、図４４（Ａ）に示す仮想空間２６１１Ａに対応する視界画像４４１７Ａを生成し、例えば図４４（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。プロセッサ２１０Ｂは、視界画像４４１７と共に、番組に対する好意的な評価をユーザ５Ｂに与えるためのボタン４０５５をタッチスクリーン７７０Ａに表示する。視界画像４４１７Ａには、アバターオブジェクト６Ｂが両肩および両腕を上下させる様子が表示されている。ユーザ５Ａは、このような動作を不自然と感じるため、視界画像４４１７Ａを視認した際にボタン４０５５を押下しない。
図４５は、ある実施の形態に従うユーザ５Ｂおよびアバターオブジェクト６Ｂを表す図である。図４５（Ａ）では、ユーザ５Ｂは、アバターオブジェクト６Ｂが図４３（Ａ）に示す補正動作を行った後、引き続き両手をぶら下げた状態で自然な呼吸動作を行っている。プロセッサ２１０Ｂは、アバターオブジェクト６Ｂが行った補正動作に対する評価が閾値以上であるか否かを特定する。ここでは、ユーザ５Ａがボタン４０５５を押下しないことに対応して、図４４に示す補正動作に対する評価が、所定の閾値を下回っていると特定する。プロセッサ２１０Ｂは、補正動作に対する評価が閾値を下回る場合、補正パラメータを調整する。調整の手法は特に限定されない。ここでは、ユーザ５Ｂの動きを強調する程度を、調整前に比べて小さくするように、補正パラメータを調整するものとする。
プロセッサ２１０Ｂは、図４５（Ａ）に示すユーザ５Ｂの動きに対応するアバターオブジェクト６Ｂの動作に関する動作情報を生成し、そして当該動作情報を、調整後の補正パラメータを用いて補正することによって、アバターオブジェクト６Ｂの補正動作情報を生成する。この補正動作情報が表す補正動作は、図４５（Ｂ）に示すように、アバターオブジェクト６Ｂが、その両肩および両腕を僅かに上下させる動作であり、図４５（Ａ）に示すユーザ５Ｂの動きに良く合致した自然なものである。
図４６は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図４６（Ａ）に示す仮想空間２６１１Ａでは、視界領域１５Ａ内にアバターオブジェクト６Ｂが配置されている。プロセッサ７１０Ａは、図４５（Ｂ）に示すアバターオブジェクト６Ｂの補正動作を表す補正動作情報を、コンピュータ２００Ｂから受信する。プロセッサ２１０Ｂは、受信した補正動作情報に基づいて、図４６（Ａ）に示すように、仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂに補正動作を実行させる。ここでの第１動作は、図４５（Ｂ）に示す動作と同一である。
プロセッサ７１０Ａは、図４６（Ａ）に示す仮想空間２６１１Ａに対応する視界画像４６１７Ａを生成し、例えば図４６（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。プロセッサ２１０Ｂは、視界画像４６１７と共にボタン４０５５をタッチスクリーン７７０Ａに表示する。視界画像４６１７Ａには、アバターオブジェクト６Ｂが両肩および両腕を僅かに上下させる様子が表示されている。ユーザ５Ａは、このような動作を自然なものと感じるため、視界画像４６１７Ａを視認した際にボタン４０５５を押下することによって、図４６（Ｂ）に示すアバターオブジェクト６Ｂの動作に対する好意的な評価をユーザ５Ｂに与える。
プロセッサ２１０Ｂは、ユーザ端末８００Ａにおいてアバターオブジェクト６Ｂの第１動作に与えられた評価を特定する。プロセッサ２１０Ｂは、評価が関連付けられる補正動作を表す補正動作情報を生成するために用いられた補正パラメータを機械学習することによって、当該補正パラメータが格納された学習済みモデル１４２９を生成する。
図４７は、ある実施の形態に従うユーザ５Ｂおよびアバターオブジェクト６Ｂを表す図である。図４７（Ａ）では、ユーザ５Ｂは、補正パラメータが機械学習された後に、両手の先を体の前で近づけた状態で、自然な呼吸動作を行っている。プロセッサ２１０Ｂは、図４７（Ａ）に示すユーザ５Ｂの動きに対応するアバターオブジェクト６Ｂの動作情報を生成し、さらに、当該動作情報を補正するための学習済み補正パラメータを、学習済みモデル１４２９から特定する。プロセッサ２１０Ｂは、特定した補正パラメータを用いて動作情報を補正することによって、アバターオブジェクト６Ｂに図４７（Ｂ）に示す補正動作を行わせるための補正動作情報を生成する。この補正動作は、図４７（Ｂ）に示すように、アバターオブジェクト６Ｂが、その両手を体の前で近づけた状態で、両肩および両腕を僅かに上下させる動作であり、図４７（Ａ）に示すユーザ５Ｂの動きに良く合致した自然な動作である。
図４８は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図４８（Ａ）に示す仮想空間２６１１Ａでは、視界領域１５Ａ内にアバターオブジェクト６Ｂが配置されている。プロセッサ７１０Ａは、図４７（Ｂ）に示すアバターオブジェクト６Ｂの補正動作を表す補正動作情報を、コンピュータ２００Ｂから受信する。プロセッサ２１０Ｂは、受信した補正動作情報に基づいて、図４８（Ａ）に示すように、仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂに補正動作を実行させる。ここでの第１動作は、図４７（Ｂ）に示す動作と同一である。
プロセッサ７１０Ａは、図４８（Ａ）に示す仮想空間２６１１Ａに対応する視界画像４８１７Ａを生成し、例えば図４８（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。視界画像４８１７Ａには、アバターオブジェクト６Ｂが両肩および両腕を僅かに上下させる様子が表示されている。ユーザ５Ａは、このような動作を自然なものと感じる。
（主要な作用効果）
本実施形態では、アバターオブジェクト６Ｂの補正動作に対する評価が閾値に満たない場合には補正パラメータが調整されるので、このような調整を繰り返すことによって、補正動作に対する評価が閾値を超えるような補正パラメータをいずれは得ることができる。これにより、ユーザ５Ａの様々な動きに対して補正パラメータを適用することによって、アバターオブジェクト６Ｂの動作を自然なものとしてユーザ５Ａに視認させることができるようになる。その結果、仮想空間２６１１においてアバターオブジェクト６Ｂに自然な振る舞いをさせることができ、これにより番組に対する視聴者（ユーザ５Ａ）の満足度をより高めることができる。
（変形例）
プロセッサ２１０Ｂは、ユーザ５Ｂの動きを一定時間検出しない場合、規定の動作をアバターオブジェクト６Ｂに実行させることができる。この場合の動作として、機械学習したアバターオブジェクト６Ｂの過去の動作が挙げられる。
〔実施形態３〕
図４９は、ある実施の形態に従うユーザ５Ｂおよびアバターオブジェクト６Ｂを表す図である。図４９（Ａ）では、ユーザ５Ｂは、コントローラ３００ＲＢを把持した右手をユーザ５Ｂの頭部のすぐ側まで近づける。プロセッサ２１０Ｂは、図４９（Ａ）に示すユーザ５Ｂの右手の動きに基づいて、図４９（Ｂ）に示すように、アバターオブジェクト６Ｂの仮想右手１８３１ＲＢを仮想空間２６１１Ｂにおいて動作させる。図４９（Ｂ）は、仮想右手１８３１ＲＢはアバターオブジェクト６Ｂの顔の側で止まらずに、アバターオブジェクト６Ｂの顔の内部にまでめり込んでいる。
プロセッサ２１０Ｂは、図４９（Ｂ）に示すように動作された仮想右手１８３１ＲＢが、アバターオブジェクト６Ｂにめり込んだか否かを判定する。具体的には、アバターオブジェクト６Ｂと仮想右手１８３１ＲＢとの位置関係に基づいて、両者が少なくとも部分的に重畳することを検出した場合、仮想右手１８３１ＲＢがアバターオブジェクト６Ｂにめり込んだと判定する。ここでは、仮想右手１８３１ＲＢがめり込んだと判定される。プロセッサ２１０Ｂは、アバターオブジェクト６Ｂにめり込んだ仮想右手１８３１ＲＢの動作を表す動作情報は、機械学習しない。
図５０は、ある実施の形態に従うユーザ５Ｂおよびアバターオブジェクト６Ｂを表す図である。図５０（Ａ）では、ユーザ５Ｂは、コントローラ３００ＲＢを把持した右手をユーザ５Ｂの頭部から少し放れた位置まで近づける。プロセッサ２１０Ｂは、図５０（Ａ）に示すユーザ５Ｂの右手の動きに基づいて、図５０（Ｂ）に示すように、アバターオブジェクト６Ｂの仮想右手１８３１ＲＢを仮想空間２６１１Ｂにおいて動作させる。図５０（Ｂ）では、仮想右手１８３１ＲＢはアバターオブジェクト６Ｂの顔から少し離れた位置で止まり、アバターオブジェクト６Ｂの顔の内部にめり込んでいない。
図５１は、ある実施の形態に従う学習済みモデル１４２９を示す図である。プロセッサ２１０Ｂは、図５０（Ｂ）に示すように動作された仮想右手１８３１ＲＢが、アバターオブジェクト６Ｂにめり込んだか否かを判定する。ここでは、仮想右手１８３１ＲＢがめり込んでいないと判定する。この判定結果に基づき、プロセッサ２１０Ｂは、図５０（Ｂ）に示す仮想右手１８３１ＲＢの動作を表す動作情報を学習することによって、図５１に示すように、当該動作情報が格納された学習済みモデル１４２９を生成する。図５１では、めり込み「なし」が関連付けられた動作情報「α」が、学習済みモデル１４２９に格納されている。
図５２は、ある実施の形態に従うユーザ５Ｂおよびアバターオブジェクト６Ｂを表す図である。動作情報の学習後、ユーザ５Ｂは、図５２（Ａ）に示すように、コントローラ３００ＲＢを把持した右手をユーザ５Ｂの頭部のすぐ側まで近づける。これは図４９（Ａ）に示すユーザ５Ｂの動作と同じである。プロセッサ２１０Ｂは、図５２（Ａ）に示すユーザ５Ｂの右手の動きを検出した場合、学習済みモデル１４２９にアクセスして、仮想右手１８３１ＲＢの動きに関する複数の動作情報の中から、機械学習された動作情報αを特定する。プロセッサ２１０Ｂは、検出したユーザ５Ｂの右手の動きと、学習済みモデル１４２９から特定した動作情報αとに基づいて、仮想右手１８３１ＲＢがアバターオブジェクト６Ｂにめり込まずに済む制御内容を特定する。ここでは、動作情報αが表すアバターオブジェクト６Ｂの動作、すなわち仮想右手１８３１ＲＢをアバターオブジェクト６Ｂの頭部のすぐ側まで近づける動作を、ユーザ５Ｂの動きに対応するアバターオブジェクト６Ｂの制御内容として特定する。プロセッサ２１０Ｂは、特定した制御内容に基づいて、図５２（Ｂ）に示すように仮想右手１８３１ＲＢを制御する。この結果、動作情報αの学習前には図４９（Ｂ）に示すように仮想右手１８３１ＲＢをアバターオブジェクト６Ｂにめり込ませていた動きを、動作情報αの学習後にユーザ５Ｂが行った場合、図５２の（Ｂ）に示すように仮想右手１８３１ＲＢはアバターオブジェクト６Ｂにめり込まずに済む。
〔実施形態４〕
本実施形態では、ユーザ５Ｂは、自身が発話した音声（第１音声）の代わりに、当該音声を変換した変換音声（第２音声）をアバターオブジェクト６Ｂに発話させるための設定を、ＨＭＤセット１１０Ｂに対して行う。当該設定を開始する際、ユーザ５Ｂは、ＨＭＤセット１１０Ｂのマイク１７０Ａに向かって、所定の音声を発する。プロセッサ２１０Ｂは、ユーザ５Ｂの動きを検出する際、ユーザ５Ｂが発した音声をマイク１７０Ａを通じて検出する。プロセッサ２１０Ｂは、検出されたユーザ５Ｂの音声を、音声変換のための変換パラメータ（第１パラメータ）を用いて変換音声に変換する。変換パラメータは、そのデフォルト値がメモリモジュール５３０Ｂに予め記憶されている。
プロセッサ２１０Ｂは、第２音声が、基準音声と同一の音質を有するか否かを判定する。基準音声とは、ユーザ５Ｂが自身の音声の代わりにアバターオブジェクト６Ｂに発話させたい音質を有する音声のことである。ユーザ５Ｂは、設定開始前に、基準音声を表す音声データを入手してＨＭＤセット１１０Ｂに保存しており、当該音声データを再生することによって基準音声を聴取することができる。プロセッサ２１０Ｂは、第２音声を表す音声データと、基準音声を表す音声データとに基づいて、第２音声と基準音声との音質の同一性を判定する。判定の手法は特に限定されない。
プロセッサ２１０Ｂは、両者が同一の音質を有すると判定された場合、音声変換に用いた変換パラメータを機械学習することによって、音声変換に関する学習結果を生成する。詳細には、プロセッサ２１０Ｂは、学習結果として、機械学習された変換パラメータが格納された学習済みモデル１４２９を生成する。プロセッサ２１０Ｂは、同一の音質を有しないと判定された場合、音声変換に用いた変換パラメータを学習しない。その代わりに、変換パラメータを補正することによって、新たな変換パラメータを取得する。プロセッサ２１０Ｂは、新たな変換パラメータを用いて、ユーザ５Ｂの音声の変換処理、および変換音声と基準音声との音質の同一性判定処理を実行する。その際、音質が否同一と判定されるたびに変換パラメータの補正の度合いを変更しながら、音声変換および同一性質判定の処理を繰り返し実行する。プロセッサ２１０Ｂは、機械学習された変換パラメータを格納した学習済みモデル１４２９を生成した場合、音声変換の設定処理を終了する。プロセッサ２１０Ｂは、設定が終了したことをユーザ５Ｂに通知してもよい。
プロセッサ２１０Ｂは、変換パラメータが機械学習された後、学習済みモデル１４２９に格納される変換パラメータを、アバターオブジェクト６Ｂが行い得る新たな動作に関する情報として特定する。プロセッサ２１０Ｂは、ユーザ５Ｂが番組の進行中に何らかの音声を発話するたびに、当該音声を検出し、次に変換パラメータを用いて当該音声を変換することによって発話用の変換音声を生成し、当該変換音声を仮想空間２６１１Ｂにおいてアバターオブジェクト６Ｂに発話させる。その際、プロセッサ２１０Ｂは、変換音声をスピーカ１８０Ｂから出力させる。
プロセッサ２１０Ｂは、特定した変換パラメータを、サーバ６００を介してユーザ端末８００Ａに送信する。また、プロセッサ２１０Ｂは、検出したユーザ５Ｂの音声を表す音声データを生成して、サーバ６００を介してユーザ端末８００Ａに送信する。プロセッサ７１０Ａは、受信した音声データが表すユーザ５Ｂの音声をアバターオブジェクト６Ｂに発話させず、受信した変換パラメータを用いてユーザ５Ｂの音声を変換することによって変換音声を生成し、当該変換音声を仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂに発話させる。
（主要な作用効果）
本実施形態では、ユーザ５Ｂの音声を基準音声と同一音質の音声に変換するための変換パラメータを学習し、当該パラメータを用いて、番組配信中にユーザ５Ｂが発話した音声を自動的に基準音声と同一音質の音声に変換してアバターオブジェクト６Ｂに発話させる。これにより、ユーザ５Ｂは、自身が好む所望の音質を有する音声をアバターオブジェクト６Ｂに発話させることができるので、アバターオブジェクト６Ｂによる番組の興趣性をより向上させることができる。さらに、配信システム１５００は、自身の声にあまり自信のないユーザ５に対して、アバターオブジェクト６を用いた番組配信を行わせる動機を与えることができる。
（変形例）
プロセッサ２１０Ｂは、機械学習した変換パラメータを用いてユーザ５Ｂの音声を変換した変換音声を、ユーザ５Ｂ以外の任意のユーザ５に販売することができる。例えばユーザ５Ａが当該変換音声を購入した場合、当該変換音声は、ユーザ５Ａにとっての基準音声として機能する。ユーザ５Ａは、基準音声を聴取することによって、例えばＨＭＤセット１１０Ａを用いて上述した変換パラメータの設定を行うことができる。これにより、ユーザ５Ａは、ユーザ５Ａに関連付けられるアバターオブジェクト６Ａを用いた番組を配信する際に、アバターオブジェクト６Ｂが発話する音声と同じ音質の音声を、ユーザ５Ａの音声の代わりにオブジェクトに発話させることができる。
プロセッサ２１０Ｂは、ユーザ５Ｂが番組配信中に歌を歌う際に、ユーザ５Ｂの歌声を検出し、当該歌声の音程を自動的に補正することができる。プロセッサ２１０Ｂは、さらに、音程補正後のユーザ５Ｂの歌声を、アバターオブジェクト６Ｂに発話させることによって、アバターオブジェクト６Ｂに適切な音程の歌を歌わせることができる。このような音程補正は、ユーザ端末８００Ａにおいてプロセッサ７１０Ａが実行することもできる。
プロセッサ２１０Ｂは、ユーザ５Ｂが発話した音声を、仮想空間２６１１Ｂにおいてアバターオブジェクト６Ｂが歌っているように響かせることができる。このような処理は、ユーザ端末８００Ａにおいてプロセッサ７１０Ａが実行することもできる。
プロセッサ２１０Ｂは、ユーザ５Ｂの音声に応じた表情を、アバターオブジェクト６Ｂに作らせることができる。プロセッサ２１０Ｂは、例えば、検出したユーザ５Ｂの音声に関する各種のパラメータ（波形、周波数、声の高さ、声の太さ）などを検出し、当該パラメータに対応する表情を特定する。プロセッサ２１０Ｂは、例えば、ユーザ５Ｂの音声の波形が第１パターンの波形であった場合、当該波形に対応する破顔表情３１６１をメモリモジュール５３０Ｂから特定し、アバターオブジェクト６Ｂの顔に反映させる。これにより、ユーザ５Ｂが発話した音声に合致する適切な表情をアバターオブジェクト６Ｂに自動的に作らせることができるので、ユーザ５Ｂは、自身が発話した音声に合致する適切な表情をアバターオブジェクト６Ｂに作らせるための操作をする必要がない。
〔実施形態５〕
図５３は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図５３（Ａ）では、仮想空間２６１１Ａに配置されるアバターオブジェクト６Ｂが、困惑表情３１６３を作っている。プロセッサ７１０Ａは、アバターオブジェクト６Ｂが困惑表情３１６３が作っていることを、仮想空間２６１１Ａにおいて発生した事象として特定する。プロセッサ７１０Ａは、特定した事象に応じた情報を、仮想空間２６１１Ａに出力する。図５３（Ａ）では、プロセッサ７１０Ａは、困惑表情３１６３に応じた「ガーン」という音声５３７１を、アバターオブジェクト６Ｂが発生する音声として仮想空間２６１１Ａにおいて再生する。
プロセッサ７１０Ａは、図５３（Ａ）に示す仮想空間２６１１Ａに対応する視界画像５３１７Ａを生成し、例えば図５３（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。プロセッサ２１０Ｂは、さらに、音声５３７１をスピーカ７８０Ａから出力させる。ユーザ５Ａは、視界画像５３１７Ａを視認しながら、スピーカ７８０Ａから流れる音声５３７１を聴取する。このように、ユーザ５Ｂは、アバターオブジェクト６Ｂの困惑表情３１６３に適切に合致した音声５３７１を耳にする。
図５４は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図５４（Ａ）では、アバターオブジェクト６Ｂは、図５３（Ａ）と同様に、ユーザ５Ｂの操作に基づいて、困惑表情３１６３を作っている。プロセッサ７１０Ａは、アバターオブジェクト６Ｂが困惑表情３１６３を作っているという事象を特定し、当該事象に応じた情報として、「ガーン」というテキスト５４７２を仮想空間２６１１Ａにおける視界領域１５Ａ内に出力する。
プロセッサ７１０Ａは、図５４（Ａ）に示す仮想空間２６１１Ａに対応する視界画像５４１７Ａを生成し、例えば図５４（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。図５４の（Ａ）において視界領域１５Ａにアバターオブジェクト６Ｂおよびテキスト５４７２が含まれることから、図５４に示す視界画像５４１７Ａには、アバターオブジェクト６Ｂと、アバターオブジェクト６Ｂに重畳するテキスト５４７２とが含まれている。ユーザ５Ａは、視界画像５４１７Ａを通じて、アバターオブジェクト６Ｂが困惑表情３１６３を作った際に、困惑表情３１６３に適切に合致する「ガーン」というテキスト５４７２が番組内のテロップとして表示されていることを認識する。
図５５は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図５４（Ａ）では、アバターオブジェクト６Ｂは、図５３（Ａ）と同様に、ユーザ５Ｂの操作に基づいて、困惑表情３１６３を作っている。プロセッサ７１０Ａは、アバターオブジェクト６Ｂが困惑表情３１６３を作っているという事象を特定し、当該事象に応じた情報として特殊効果５５７３を仮想空間２６１１Ａに反映する。特殊効果５５７３は、仮想空間２６１１Ａの少なくとも一部を暗転させる効果である。図５５（Ａ）では、特殊効果５５７３が仮想空間２６１１Ａに出力された結果、視界領域１５Ａの全体が暗転されている。
プロセッサ７１０Ａは、図５５（Ａ）に示す仮想空間２６１１Ａに対応する視界画像５５１７Ａを生成し、例えば図５５（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。視界領域１５Ａ内に特殊効果５５７３が反映されているため、全体に特殊効果５５７３が反映された視界画像５５１７Ａが表示される。ユーザ５Ｂは、視界画像５６１７Ａを通じて、アバターオブジェクト６Ｂが困惑表情３１６３を作った際に、困惑表情３１６３に適切に合致する暗転という特殊効果５５７３が仮想空間２６１１Ａに反映されていることを認識する。
（主要な作用効果）
本実施形態の各例によれば、仮想空間２６１１Ａにおいて発生した事象に応じた適切な各種の情報が仮想空間２６１１Ａに自動的に出力されるので、仮想空間２６１１Ａにおけるアバターオブジェクト６Ｂの番組をより盛り上げることができる。
〔実施形態６〕
図５６は、ある実施の形態に従うＨＭＤセット１１０Ｂにおいて実行される処理の一部を表すシーケンスチャートである。図５７は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像１７Ｂを示す図である。図５７の例では、プロセッサ２１０Ｂは、ユーザ５Ｂに関連付けられるアバターオブジェクト６Ｂと、ユーザ５Ｂから独立して制御されるアバターオブジェクト５７０６とを含む仮想空間２６１１Ｂを定義している。アバターオブジェクト５７０６は、アバターオブジェクト６Ｂと同様に人体を模した外観を有した仮想オブジェクトであり、仮想左手５２３１Ｌおよび仮想右手５２３１Ｒを有している。仮想空間２６１１Ｂにおいて、アバターオブジェクト５７０６は、その背面をアバターオブジェクト６Ｂの正面に向ける形で視界領域１５Ｂ内に配置されている。
図５７（Ａ）では、アバターオブジェクト５７０６は、所定の姿勢を取っている。プロセッサ２１０Ｂは、図５７（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像５３１７Ａを生成し、例えば図５３（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像５３１７Ｂを視認することによって、仮想空間２６１１Ｂ内に配置されるアバターオブジェクト５７０６を視認する。
図５８は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像５８１７Ｂを示す図である。Ｓ５６０１において、プロセッサ２１０Ｂは、視界領域１５Ｂ内にアバターオブジェクト５７０６が配置されるときに、図５８（Ａ）に示すようにアバターオブジェクト５７０６に見本動作（第１動作）を実行させる。ここでは、見本動作は、仮想左手５２３１Ｌをアバターオブジェクト５７０６の顔の正面近くまでに移動させる動作である。メモリモジュール５３０Ｂには、アバターオブジェクト５７０６による見本動作を表す動作情報が予め格納されており、プロセッサ２１０Ｂは、当該動作情報に基づいてアバターオブジェクト５７０６に見本動作を自動的に実行させる。このように、アバターオブジェクト５７０６は、ユーザ５Ｂを含む各ユーザの動きに連動せずに自動的に制御されるオブジェクトである。
プロセッサ２１０Ｂは、図５８（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像５３１７Ｂを生成し、例えば図５８（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像５８１７Ｂを視認することによって、ユーザ５Ｂが従うべき見本となる見本動作をアバターオブジェクト５７０６が実行したことを認識する。ユーザ５Ｂは、アバターオブジェクト５７０６による見本動作を視認しながら、当該動作を模倣して自らの左手を動かす。詳細には、ユーザ５Ｂは、アバターオブジェクト５７０６と同様に、自身の左手を自身の顔の正面近くにまで移動させる。
図５９は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像５９１７Ｂを示す図である。ステップＳ５６０２において、プロセッサ２１０Ｂは、アバターオブジェクト５７０６による見本動作の実行中に、見本動作に倣ったユーザ５Ｂの動きを検出する。ステップＳ５６０３において、プロセッサ２１０Ｂは、検出されたユーザ５Ｂの動きに基づいて、視界領域１５内にアバターオブジェクト５７０６が配置されるときに、アバターオブジェクト６Ｂに見本動作と同じ動作を実行させる。ここで検出されたユーザ５Ｂの動きは、見本動作に対応する動きであるため、プロセッサ２１０Ｂは、検出されたユーザ５Ｂの動きに基づいて、アバターオブジェクト６Ｂに見本動作と同一の動作を実行させることができる。
プロセッサ２１０Ｂは、図５９（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像５９１７Ｂを生成し、例えば図５９（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像５９１７Ｂを視認することによって、アバターオブジェクト６Ｂの仮想左手１８３１ＬＢが、アバターオブジェクト５７０６の仮想左手５２３１Ｌと同様に動いた結果、アバターオブジェクト６Ｂの（体感的にはユーザ５Ｂの）顔の近くにまで移動したことを認識する。
図６０は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。プロセッサ８１０Ａは、アバターオブジェクト６Ｂを含む仮想空間２６１１Ａを定義している。プロセッサ２１０Ｂは、アバターオブジェクト５７０６に関する情報をユーザ端末８１０に送信せず、プロセッサ８１０Ａは、仮想空間２６１１Ａにアバターオブジェクト５７０６を配置しない。したがって、ユーザ端末８１０の表示面にアバターオブジェクト５７０６が表示されることはない。このように、アバターオブジェクト５７０６は、仮想空間２６１１Ｂにおいてユーザ５Ｂは視認できるが、仮想空間２６１１Ａにおいてユーザ５Ａは視認できないオブジェクトである。
プロセッサ２１０Ｂは、アバターオブジェクト６Ｂが実行した第１動作を表す動作情報を生成して、サーバ６００を介してユーザ端末８００Ａに送信する。プロセッサ７１０Ａは、送信された動作情報を受信し、当該動作情報に基づいて、図６０（Ａ）に示すように、仮想空間２６１１Ａに配置されるアバターオブジェクト６Ｂに第１動作を実行させる。詳細には、プロセッサ８１０Ａは、仮想空間２６１１Ａにおいて、アバターオブジェクト６Ｂの仮想左手１８３１ＬＢをアバターオブジェクト６Ｂの顔の正面近くまで移動させる。これにより、仮想空間２６１１Ａにおけるアバターオブジェクト６Ｂの動作が、仮想空間２６１１Ｂにおけるアバターオブジェクト６Ｂの動作に同期される。
プロセッサ７１０Ａは、図６０（Ａ）に示す仮想空間２６１１Ａに対応する視界画像６０１７Ａを生成し、例えば図６０（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。ユーザ５Ａは、視界画像６０１７Ａを通じて、アバターオブジェクト６Ｂの仮想左手１８３１ＬＢがアバターオブジェクト６Ｂの顔の近くまで移動したことを認識する。
（主要な作用効果）
本実施形態では、ユーザ５Ｂは、見本となるアバターオブジェクト５７０６の動きをリアルタイムで参考にしながら、アバターオブジェクト６Ｂに所望の動作をさせるための所望の動きを行うことができる。これにより、ユーザ５Ｂは、アバターオブジェクト６Ｂの動作がユーザ５Ｂの動きに合致していないのではないかと不安に思わずに済む。さらには、より安心して番組を進行することができるので、番組をよりスムーズに進めることができる。
〔実施形態７〕
図６１は、ある実施の形態に従うＨＭＤセット１１０Ｂにおいて実行される処理の一部を表すシーケンスチャートである。図６２は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像５７１７Ｂを示す図である。図６２の例では、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂおよびパネルオブジェクト１８３２を含む仮想空間２６１１Ｂを定義している。パネルオブジェクト１８３２は、アバターオブジェクト６Ｂの正面から一定距離を置いて、その表示面をアバターオブジェクト６Ｂの正面に向けるようにして、視界領域１５Ｂ内に配置されている。図６１に示す態様で仮想空間２６１１Ｂが定義される際、パネルオブジェクト１８３２には何も表示されない。
プロセッサ２１０Ｂは、図６２（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像５７１７Ｂを生成し、例えば図６２（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像６３１７Ｂは、視界画像６３１７Ｂ内の上部領域に配置されるパネルオブジェクト１８３２を含む。ユーザ５Ｂは、視界画像５７１７Ｂを通じて、表示面に何も表示されないパネルオブジェクト１８３２を視認する。
図６３は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図６３の例では、プロセッサ７１０Ａは、アバターオブジェクト６Ｂを含むがパネルオブジェクト１８３２は含まない仮想空間２６１１Ａを定義している。仮想空間２６１１Ａ内のアバターオブジェクト６Ｂの挙動は、仮想空間２６１１Ｂ内のアバターオブジェクト６Ｂの挙動に同期される。プロセッサ２１０Ｂはパネルオブジェクト１８３２に関する情報をユーザ端末８００Ａに送信せず、プロセッサ７１０Ａは仮想空間２６１１Ａにパネルオブジェクト１８３２を配置しない。プロセッサ７１０Ａは、仮想視点１９５１が仮想空間２６１１Ａ内のいずれの方向を向いていたとしても、ユーザ端末８００の表示面にパネルオブジェクト１８３２を表示することがない。
プロセッサ７１０Ａは、図６３（Ａ）に示す仮想空間２６１１Ａに対応する視界画像６３１７Ａを生成し、例えば図６３（Ｂ）に示すようにタッチスクリーン７７０Ａの表示面に表示する。アバターオブジェクト６Ｂは、視界画像６３１７Ａにおいて、ユーザ端末８００Ａの表示面の右端部の方を向くにように表示されている。プロセッサ７１０Ａは、視界画像６３１７Ａを表示する際、タッチスクリーン７７０Ａにおける視界画像６３１７Ａの下部にＵＩ表示欄４０５４をさらに表示する。プロセッサ７１０Ａは、さらに、アイコン状態の敵オブジェクト６３５７をＵＩ表示欄４０５４に表示する。敵オブジェクト６３５７は、仮想空間２６１１に配置され得る一種の仮想オブジェクトである。敵オブジェクト６３５７は、ＵＩ表示欄４０５４に表示される際、ユーザ５Ａによる敵オブジェクト６３５７の選択操作を受け付け可能なＵＩ部品として機能する。敵オブジェクト６３５７には、ユーザ５Ａがアバターオブジェクト６Ｂにリクエストする行動（第１行動）が関連付けられている。図６３では、敵オブジェクト６３５７に関連付けられる行動は、「アバターオブジェクト６Ｂが敵オブジェクト６３５７と戦闘する」という戦闘行動である。
図６４は、ある実施の形態におけるユーザ端末８００Ａの表示面を示す図である。ユーザ５Ａは、図６４に示すように、敵オブジェクト６３５７をアバターオブジェクト６Ｂに付与するための操作をタッチスクリーン７７０Ａに対して行う。当該操作は、図６４では、敵オブジェクト６３５７をユーザ５Ｂがタッチした状態でＵＩ表示欄４０５４から視界画像６３１７Ａまで移動させるスワイプ操作である。プロセッサ２１０Ｂは、当該スワイプ操作を検出すると、図６４に示すように、タッチスクリーン７７０Ａの表示面において、敵オブジェクト６３５７をＵＩ表示欄４０５４から視界画像６３１７Ａまで移動させる。
図６５は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。プロセッサ７１０Ａは、敵オブジェクト６３５７が視界画像６４１７Ａ上に移動したことに応答して、図６５に示すように、敵オブジェクト６３５７を仮想空間２６１１Ａに配置する。図６５では、敵オブジェクト６３５７は、仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂと正対するように、視界領域１５Ａ内に配置される。プロセッサ７１０Ａは、図６５（Ａ）に示す仮想空間２６１１Ａに対応する視界画像６５１７Ａを生成し、例えば図６５（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。ユーザ５Ａは、視界画像６５１７Ａを視認することによって、ユーザ５Ａのスワイプ操作の結果、敵オブジェクト６３５７がアバターオブジェクト６Ｂに正対するように仮想空間２６１１Ａに配置されたことを認識する。
図６６は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像６６１７Ｂを示す図である。プロセッサ７１０Ａは、敵オブジェクト６３５７が仮想空間２６１１Ａに配置されたことに応答して、敵オブジェクト６３５７に関する情報を生成し、サーバ６００に送信する。当該情報は、敵オブジェクト６３５７の位置および向き、ならびに敵オブジェクト６３５７に関連付けられる戦闘行動を表す各情報を少なくとも含む。サーバ６００は、ユーザ端末８００Ａから受信した情報を、コンピュータ２００Ｂに送信する。プロセッサ２１０Ｂは、サーバ６００から送信された情報を受信する。
ステップＳ６１０１において、プロセッサ２００Ｂは、サーバ６００から受信した敵オブジェクト６３５７に関する情報に基づいて、図６６に示すように敵オブジェクト６３５７を仮想空間２６１１Ｂに配置する。図６６では、敵オブジェクト６３５７は、視界領域１５Ｂ内に配置され、アバターオブジェクト６Ｂと正対している。プロセッサ２１０Ｂは、敵オブジェクト６３５７を仮想空間２６１１Ｂに配置する際、敵オブジェクト６３５７に関連付けられる戦闘行動を仮想空間２６１１Ｂ内に表示する。図６６（Ａ）では、視界領域１５Ｂ内に配置されるパネルオブジェクト１８３２の表示面に、戦闘行動をユーザ５Ｂに説明する態様のテキストとして戦闘行動が表示される。
プロセッサ２１０Ｂは、図６６（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像６６１７Ｂを生成し、例えば図６６（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像６６１７Ｂは、敵オブジェクト６３５７およびパネルオブジェクト１８３２を含む。視界画像６６１７Ｂにおいて、パネルオブジェクト１８３２に、ユーザ５Ａがアバターオブジェクト６Ｂにリクエストした戦闘行動を説明するテキスト６６５８が表示される。ユーザ５Ｂは、視界画像６６１７Ｂを通じて、アバターオブジェクト６Ｂの正面に敵オブジェクト６３５７が出現したことと、ユーザ５Ａからアバターオブジェクト６Ｂに対して敵オブジェクト６３５７と戦闘して欲しいことがリクエストされたことと認識する。
図６７は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像６７１７Ｂを示す図である。ステップＳ６５０２において、プロセッサ２１０Ｂは、敵オブジェクト６３５７が配置されたことに応答して、図６７に示すように、武器オブジェクト６７５９をアバターオブジェクト６Ｂに関連付けて仮想空間２６１１Ｂに配置する。武器オブジェクト６７５９は、アバターオブジェクト６Ｂが敵オブジェクト６３５７を攻撃するために使用可能な仮想オブジェクトの一種である。武器オブジェクト６７５９は、仮想右手１８３１ＲＢに把持される形でアバターオブジェクト６Ｂに関連付けられる。
図６８は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像６８１７Ｂを示す図である。アバターオブジェクト６Ｂが仮想右手１８３１ＲＢに武器オブジェクト６７５９を把持した後、ユーザ５Ｂは、ユーザ５Ａからのリクエストに応じて、アバターオブジェクト６Ｂを敵オブジェクト６３５７と戦闘させるための操作を、ＨＭＤセット１１０Ｂに入力する。ここでは、ユーザ５Ｂは、武器オブジェクト６７５９で敵オブジェクト６３５７を斬りつけるように、ユーザ５Ｂの右手を動かす。ステップＳ６５０３において、プロセッサ２１０Ｂは、ユーザ５Ｂによる右手の動きを検出する。ステップＳ６５０４において、プロセッサ２１０Ｂは、当該検出したユーザ５Ｂの動きに基づいて、図６８（Ａ）に示すように、敵オブジェクト６３５７に対する戦闘行動をアバターオブジェクト６Ｂに実行させる。図６８では、プロセッサ２１０Ｂは、武器オブジェクト６７５９で敵オブジェクト６３５７を攻撃するという戦闘行動を、アバターオブジェクト６Ｂに実行させる。
プロセッサ２１０Ｂは、図６８（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像６８１７Ｂを生成し、例えば図６８（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像６８１７Ｂには、武器オブジェクト６７５９で敵オブジェクト６３５７に斬りつける様子が表示されている。ユーザ５Ｂは、視界画像６８１７Ｂを通じて、ユーザ５Ａのリクエストに応えるようにアバターオブジェクト６Ｂを制御できたことを認識する。
図６９は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。プロセッサ２１０Ｂは、図６７に示すようにアバターオブジェクト６Ｂに武器オブジェクト６７５９を把持させたことに応答して、武器オブジェクト６７５９に関する情報を生成し、サーバ６００に送信する。サーバ６００は、武器オブジェクト６７５９に関する情報をユーザ端末８００Ａに転送する。プロセッサ７１０Ａは、当該情報をサーバ６００から受信し、当該情報に基づいて、図６９（Ａ）に示すように、仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂの仮想右手１８３１ＲＢに武器オブジェクト６７５９を把持させる。プロセッサ７１０Ａは、図６９（Ａ）に示す仮想空間２６１１Ａに対応する視界画像６９１７Ａを生成し、例えば図６９（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。ユーザ５Ａは、視界画像６９１７Ａを通じて、アバターオブジェクト６Ｂが敵オブジェクト６３５７と戦闘するために武器オブジェクト６７５９を把持したと理解する。
図７０は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。プロセッサ２１０Ｂは、図６８に示すアバターオブジェクト６Ｂの動作を表す動作情報を生成し、サーバ６００を介してユーザ端末８００Ａに送信する。プロセッサ２１０Ｂは、アバターオブジェクト６Ｂの動作情報を受信し、当該情報に基づいて、図７０（Ａ）に示すように仮想空間２６１１Ａにおいて、敵オブジェクト６３５７に対する戦闘動作をアバターオブジェクト６Ｂに実行させる。図７０では、仮想空間２６１１Ａ内のアバターオブジェクト６Ｂは、図６８に示す仮想空間２６１１Ｂ内のアバターオブジェクト６Ｂの動作に連動して、敵オブジェクト６３５７を攻撃するための戦闘動作を武器オブジェクト６７５９を用いて実行する。
プロセッサ７１０Ａは、図７０（Ａ）に示す仮想空間２６１１Ａに対応する視界画像７０１７Ａを生成し、例えば図７０（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。ユーザ５Ａは、視界画像７０１７Ａを通じて、アバターオブジェクト６Ｂはユーザ５Ａのリクエストに応えて敵オブジェクト６３５７と戦闘してくれたのだと理解する。
（主要な作用効果）
本実施形態では、ユーザ５Ａからリクエストされた動作をアバターオブジェクト６Ｂに実行させることができるので、仮想空間２６１１におけるユーザ５Ａの興趣性を向上させることができる。
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
各実施形態およびその各種変形例については、他の実施形態または他の変形例と矛盾しない限り、他の実施形態または他の変形例に適用可能である。
各実施形態における「機械学習」は、例えば深層学習であればよい。例えば、プロセッサ２１０Ｂは、視聴者からの評価が関連付けられた破顔表情３１６１を深層学習することによって、破顔表情３１６１が深層学習された学習済みモデル１４２９を生成することができる。
ＨＭＤセット１１０は、ＨＭＤ１２０、コンピュータ２００、ＨＭＤセンサ４１０、およびモーションセンサ４２０が一体化された構成であってもよい。
〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。
（項目１） プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ（２１０Ｂ）およびメモリ（２２０Ｂ）を備えたコンピュータ（２００Ｂ）によって実行される。プログラムは、プロセッサに、第１ユーザ（ユーザ５Ｂ）に関連付けられるアバター（アバターオブジェクト６Ｂ）を含む仮想空間（２６１１Ｂ）を定義するステップ（Ｓ２５０１）と、第１ユーザの動きを検出するステップ（Ｓ３７０１）と、アバターの過去の第１動作を人工知能に基づいて機械学習した学習結果（学習済みモデル１４２９）に基づいて、アバターが行い得る新たな動作に関する情報を特定するステップ（Ｓ３７０２）と、検出された第１ユーザの動きと、特定された動作に関する動作情報とに基づいて、アバターに適用可能な制御内容を特定するステップ（Ｓ３７０４）と、特定された制御内容に基づいて、アバターを制御するステップとを実行させる。
（項目２） （項目１）において、プログラムは、プロセッサに、第１動作に対する評価を特定するステップと、特定された評価が関連付けられる第１動作を機械学習することによって、学習結果を生成するステップとを実行させ、情報を特定するステップでは、複数の動作情報のうち、より多くの評価が関連付けられた動作に関する動作情報を、より優先的に特定する。
（項目３） （項目２）において、評価を特定するステップでは、仮想空間に表示されるボタン（４０５５）に対して、第１動作に応答して第２ユーザが行った操作に基づいて、評価を特定する、
（項目４） （項目２）において、評価を特定するステップでは、動作に応答して第２ユーザが入力したコメント（３５３３）を、評価として特定する。
（項目５） （項目２）において、評価を特定するステップでは、アバターが行った動作に応答して第２ユーザから第１ユーザに付与されたオブジェクト（４１５６）を、動作に対する評価として特定する。
（項目６） （項目２）～（項目５）のいずれかにおいて、第１動作は、アバターが顔の表情を作る動作であり、学習結果を生成するステップでは、評価が付与された表情（破顔表情３１６１）を機械学習し、情報を特定するステップでは、複数の表情の中から、機械学習された表情を特定し、制御内容を特定するステップでは、検出された第１ユーザの動きと、特定された表情とに基づいて、アバターが新たに作る表情を示す制御内容を特定する。
（項目７） （項目２）～（項目５）のいずれかにおいて、プログラムは、プロセッサに、検出された第１ユーザの動きに対応するアバターの動作に関する第１情報を、第１パラメータを用いて補正することによって、第１情報に関する第２情報を生成するステップと、生成された第２情報に基づいて、アバターに第１動作を行わせるステップと、特定された評価が閾値を下回る場合、第１パラメータを調整するステップとを実行させる。
（項目８） （項目１）において、アバターは、操作オブジェクトを有し、プログラムは、プロセッサに、検出された第１ユーザの動きに基づいて、仮想空間において操作オブジェクト（仮想右手１８３１ＲＢ）を動作させるテップと、動作された操作オブジェクトがアバターにめり込んだか否かを判定するステップと、めり込まなかったと判定された場合の操作オブジェクトの動作に関する動作情報を機械学習することによって、学習結果を生成するステップとを実行させ、情報を特定するステップでは、操作オブジェクトの動きに関する複数の動作情報の中から、機械学習された動作情報を特定し、制御内容を特定するステップでは、検出された第１ユーザの動きと、特定された動作情報とに基づいて、操作オブジェクトがアバターにめり込まずに済む制御内容を特定する。
（項目９） （項目１）のいずれかにおいて、第１ユーザの動きを検出するステップでは、第１ユーザが発した第１音声を検出し、プログラムは、プロセッサに、検出された第１音声を、音声変換のための第１パラメータを用いて第２音声に変換するステップと、第２音声が、基準音声と同一の音質を有するか否かを判定するステップと、同一の音質を有すると判定された場合、第１パラメータを機械学習することによって、学習結果を生成するステップとを実行させ、情報を特定するステップでは、機械学習された第１パラメータを、情報として特定し、制御するステップでは、検出された第１ユーザの音声を、特定された第１パラメータを用いて変換することによって、第３音声を生成し、当該第３音声をアバターに発話させる。
（項目１０） （項目２）～（項目９）のいずれかにおいて、学習結果を生成するステップでは、第１動作を深層学習する。
（項目１１） を実行させる（項目１）～（項目１０）のいずれかにおいて、プログラムは、プロセッサに、仮想空間において発生した事象を特定するステップと、特定された事象に応じた情報を仮想空間に出力するステップと。
（項目１２） （項目１１）において、通知するステップでは、特定された事象に応じた音声を仮想空間において再生する。
（項目１３） （項目１１）において、通知するステップでは、特定された事象に応じたテキストを仮想空間に表示する。
（項目１４） （項目１１）において、通知するステップでは、特定された事象に応じた特殊効果を仮想空間に反映する。
（項目１５） （項目１）～（項目１４）のいずれかにおいて、プログラムは、プロセッサに、特定された制御内容を販売するステップを実行させる。
（項目１６） 情報処理装置を説明した。本開示のある局面によると、情報処理装置（コンピュータ２００Ｂ）は、情報処理装置によって実行されるプログラムを記憶する記憶部（ストレージ２３０Ｂ）と、プログラムを実行することにより、情報処理装置の動作を制御する制御部（プロセッサ２１０Ｂ）と、を備えている。制御部は、第１ユーザ（ユーザ５Ｂ）に関連付けられるアバター（アバターオブジェクト６Ｂ）を含む仮想空間（２６１１Ｂ）を定義し、第１ユーザの動きを検出し、アバターの過去の第１動作を人工知能に基づいて機械学習した学習結果（学習済みモデル１４２９）に基づいて、アバターが行い得る新たな動作に関する情報を特定し、検出された第１ユーザの動きと、特定された動作に関する動作情報とに基づいて、アバターに適用可能な制御内容を特定し、特定された制御内容に基づいて、アバターを制御する。
（項目１７） プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、プロセッサ（２１０Ｂ）およびメモリ（２２０Ｂ）を備えたコンピュータ（２００Ｂ）によって実行される。方法は、プロセッサが、第１ユーザ（ユーザ５Ｂ）に関連付けられるアバター（アバターオブジェクト６Ｂ）を含む仮想空間（２６１１Ｂ）を定義するステップ（Ｓ２５０１）と、第１ユーザの動きを検出するステップ（Ｓ３７０１）と、アバターの過去の第１動作を人工知能に基づいて機械学習した学習結果（学習済みモデル１４２９）に基づいて、アバターが行い得る新たな動作に関する情報を特定するステップ（Ｓ３７０２）と、検出された第１ユーザの動きと、特定された動作に関する動作情報とに基づいて、アバターに適用可能な制御内容を特定するステップ（Ｓ３７０４）と、特定された制御内容に基づいて、アバターを制御するステップとを含む。
（項目１８） プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ（２１０Ｂ）およびメモリ（２２０Ｂ）を備えたコンピュータ（ユーザ端末２００Ｂ）によって実行される。プログラムは、プロセッサに、第１ユーザ（ユーザ５Ｂ）に関連付けられる第１アバター（アバターオブジェクト６Ｂ）と、第２アバター（アバターオブジェクト５７０６）とを含む仮想空間（仮想空間２６１１Ｂ）を定義するステップと、第１アバターの視界（視界領域１５Ｂ）内に第２アバターが配置されるときに、第２アバターに第１動作を実行させるステップと、第２アバターによる第１動作の実行中に、第１ユーザの動きを検出するステップと、検出された第１ユーザの動きに基づいて、視界内に第２アバターが配置されるときに、第１アバターに第１動作を実行させるステップとを実行させる。
（項目１９） プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ（２１０Ｂ）およびメモリ（２２０Ｂ）を備えたコンピュータ（ユーザ端末２００Ｂ）によって実行される。プログラムは、プロセッサに、第１ユーザ（ユーザ５Ｂ）に関連付けられるアバター（アバターオブジェクト６Ｂ）を含む仮想空間（仮想空間２６１１Ｂ）を定義するステップと、第２ユーザ（ユーザ５Ａ）が第１アバターにリクエストする行動が関連付けられるオブジェクト（敵オブジェクト６３５７）を、第２ユーザによる操作に基づいて仮想空間に配置するステップと、第１ユーザの動きを検出するステップと、検出されたユーザの動きに基づいて、オブジェクトに対する行動をアバターに実行させるステップとを実行させる。
上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augmented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。
２ ネットワーク、５，５Ａ，５Ｂ，５Ｃ、５Ｄ ユーザ、６，６Ａ，６Ｂ，６Ｃ，６Ｄ アバターオブジェクト、１１，１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ 仮想空間、１２ 中心、１３ パノラマ画像、１４，１４Ａ，１４Ｂ 仮想カメラ、１５，１５Ａ，１５Ｂ，１５Ｃ 視界領域、１６ 基準視線、１７，１７Ａ，１７Ｂ 視界画像、１８，１９ 領域、１００ ＨＭＤシステム、１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ ＨＭＤセット、１２０，１２０Ａ，１２０Ｂ，１２０Ｃ、ＨＭＤ、１３０，１３０Ａ，１３０Ｂ，１３０Ｃ モニタ、１４０ 注視センサ、１５０ 第１カメラ、１６０ 第２カメラ、１７０，１７０Ａ，１７０Ｂ マイク、１８０，１８０Ａ，１８０Ｂ スピーカ、１９０ センサ、２００，２００Ａ，２００Ｂ コンピュータ、２１０，２１０Ａ、２１０Ｂ，２１０Ｃ，２１０Ｄ，６１０，７１０，７１０Ａ プロセッサ、２２０，６２０，７２０ メモリ、２３０，２３０Ａ，２３０Ｂ，６３０，７３０ ストレージ、２４０，６４０，７４０ 入出力インターフェイス、２５０，６５０，７５０ 通信インターフェイス、２６０，６６０，７６０ バス、３００，３００Ｂ コントローラ、３００Ｒ 右コントローラ、３００Ｌ 左コントローラ、３１０ グリップ、３２０ フレーム、３３０ 天面、３４０，３４０，３５０，３７０，３８０ ボタン、３６０ 赤外線ＬＥＤ、３９０ アナログスティック、４１０ ＨＭＤセンサ、４２０，４２０Ａ モーションセンサ、４３０，４３０Ａ ディスプレイ、５１０ コントロールモジュール、５２０ レンダリングモジュール、５３０ メモリモジュール、５４０ 通信制御モジュール、６００ サーバ、７００ 外部機器、７７０，７７０Ａ タッチスクリーン、７８０Ａ スピーカ、１４２１ 仮想オブジェクト生成モジュール、１４２２ 仮想カメラ制御モジュール、１４２３ 操作オブジェクト制御モジュール、１４２４ アバターオブジェクト制御モジュール、１４２５ 動き検出モジュール、１４２６ 衝突検出モジュール、１４２７ 仮想オブジェクト制御モジュール、１４２８ 学習モジュール、１４２９ 学習済みモデル、１８３１ＬＢ 仮想左手、１８３１ＲＢ 仮想右手、１８３２ パネルオブジェクト、１８４１，１８４２，１８４３ モーションセンサ、１８４４ ベルト、１９５１ 仮想視点、１９５２ コメント欄、２６１１Ａ，２６１１Ｂ 仮想空間
１８１７Ｂ、１９１７Ａ、２６１７、２６１７Ｂ、２７１７Ａ、２９１７Ｂ、３０１７Ａ、３０１７Ｂ、３２１７Ｂ、３３１７Ａ、３５１７Ｂ、３９１７Ａ、４１１７Ａ、４２１７Ｂ、４４１７、４４１７Ａ、４６１７、４６１７Ａ、４８１７Ａ、５３１７Ａ、５３１７Ｂ、５４１７Ａ、５５１７Ａ、５６１７Ａ、５７１７Ｂ、５８１７Ｂ、５９１７Ｂ、６０１７Ａ、６３１７Ａ、６３１７Ｂ、６４１７Ａ、６５１７Ａ、６６１７Ｂ、６７１７Ｂ、６８１７Ｂ、６９１７Ａ、７０１７Ａ 視界画像
３１６１ 破顔表情、３１６２ 怒気表情、３１６３ 困惑表情、３４５３、３５３３ コメント、４０５４ ＵＩ表示欄、４１３４ メッセージ、４１５６ ダイヤオブジェクト、５３７１ 音声、５４７２、６６５８ テキスト、５５７３ 特殊効果、６３５７ 敵オブジェクト、６７５９ 武器オブジェクト

Claims (17)

  1. プロセッサおよびメモリを備えたコンピュータによって実行されるプログラムであって、
    前記プログラムは、前記プロセッサに、
    第１ユーザに関連付けられるアバターを含む仮想空間を定義するステップと、
    前記第１ユーザの動きを検出するステップと、
    前記アバターの過去の第１動作を人工知能に基づいて機械学習した学習結果に基づいて、前記アバターが行い得る新たな動作に関する情報を特定するステップと、
    検出された前記第１ユーザの動きと、特定された前記動作に関する動作情報とに基づいて、前記アバターに適用可能な制御内容を特定するステップと、
    特定された前記制御内容に基づいて、前記アバターを制御するステップとを実行させる、プログラム。
  2. 前記プログラムは、前記プロセッサに、
    前記第１動作に対する評価を特定するステップと、
    特定された前記評価が関連付けられる前記第１動作を機械学習することによって、前記学習結果を生成するステップとを実行させ、
    前記情報を特定するステップでは、複数の動作情報のうち、より多くの前記評価が関連付けられた前記動作に関する動作情報を、より優先的に特定する、請求項１に記載のプログラム。
  3. 前記評価を特定するステップでは、前記仮想空間に表示されるボタンに対して、前記第１動作に応答して第２ユーザが行った操作に基づいて、前記評価を特定する、請求項２に記載のプログラム。
  4. 前記評価を特定するステップでは、前記第１動作に応答して第２ユーザが入力したコメントを、前記評価として特定する、請求項２に記載のプログラム。
  5. 前記評価を特定するステップでは、前記第１動作に応答して第２ユーザから前記第１ユーザに付与されたオブジェクトを、前記動作に対する前記評価として特定する、請求項２に記載のプログラム。
  6. 前記第１動作は、前記アバターが顔の表情を作る動作であり、
    前記学習結果を生成するステップでは、前記評価が付与された前記表情を機械学習し、
    前記情報を特定するステップでは、複数の表情の中から、機械学習された前記表情を特定し、
    前記制御内容を特定するステップでは、検出された前記第１ユーザの動きと、特定された前記表情とに基づいて、前記アバターが新たに作る表情を示す前記制御内容を特定する、請求項２～５のいずれか１項に記載のプログラム。
  7. 前記プログラムは、前記プロセッサに、
    検出された前記第１ユーザの動きに対応するアバターの動作に関する第１情報を、第１パラメータを用いて補正することによって、前記第１情報に関する第２情報を生成するステップと、
    生成された前記第２情報に基づいて、前記アバターに前記第１動作を行わせるステップと、
    特定された前記評価が閾値を下回る場合、前記第１パラメータを調整するステップとを実行させる、請求項２～５のいずれか１項に記載のプログラム。
  8. 前記アバターは、操作オブジェクトを有し、
    前記プログラムは、前記プロセッサに、
    検出された前記第１ユーザの動きに基づいて、前記仮想空間において前記操作オブジェクトを動作させるテップと、
    動作された前記操作オブジェクトが前記アバターにめり込んだか否かを判定するステップと、
    めり込まなかったと判定された場合の前記操作オブジェクトの動作に関する動作情報を機械学習することによって、前記学習結果を生成するステップとを実行させ、
    前記情報を特定するステップでは、操作オブジェクトの動きに関する複数の動作情報の中から、機械学習された前記動作情報を特定し、
    前記制御内容を特定するステップでは、検出された前記第１ユーザの動きと、特定された前記動作情報とに基づいて、前記操作オブジェクトが前記アバターにめり込まずに済む前記制御内容を特定する、請求項１に記載のプログラム。
  9. 前記第１ユーザの動きを検出するステップでは、前記第１ユーザが発した第１音声を検出し、
    前記プログラムは、前記プロセッサに、
    検出された前記第１音声を、音声変換のための第１パラメータを用いて第２音声に変換するステップと、
    前記第２音声が、基準音声と同一の音質を有するか否かを判定するステップと、
    前記同一の音質を有すると判定された場合、前記第１パラメータを機械学習することによって、前記学習結果を生成するステップとを実行させ、
    前記情報を特定するステップでは、機械学習された前記第１パラメータを、前記情報として特定し、
    前記制御するステップでは、検出された前記第１ユーザの音声を、特定された前記第１パラメータを用いて変換することによって、第３音声を生成し、当該第３音声を前記アバターに発話させる、請求項１のいずれか１項に記載のプログラム。
  10. 前記学習結果を生成するステップでは、前記第１動作を深層学習する、請求項２～９のいずれか１項に記載のプログラム。
  11. 前記プログラムは、前記プロセッサに、
    前記仮想空間において発生した事象を特定するステップと、
    特定された前記事象に応じた情報を前記仮想空間に出力するステップと、を実行させる請求項１～１０のいずれか１項に記載のプログラム。
  12. 前記出力するステップでは、特定された前記事象に応じた音声を前記仮想空間において再生する、請求項１１に記載のプログラム。
  13. 前記出力するステップでは、特定された前記事象に応じたテキストを前記仮想空間に表示する、請求項１１に記載のプログラム。
  14. 前記出力するステップでは、特定された前記事象に応じた特殊効果を前記仮想空間に反映する、請求項１１に記載のプログラム。
  15. 前記プログラムは、前記プロセッサに、
    機械学習された前記動作を販売するステップを実行させる、請求項１～１４のいずれか１項に記載のプログラム。
  16. 情報処理装置であって、
    前記情報処理装置は、
    前記情報処理装置によって実行されるプログラムを記憶する記憶部と、
    前記プログラムを実行することにより、前記情報処理装置の動作を制御する制御部と、を備え、
    前記制御部は、
    第１ユーザに関連付けられるアバターを含む仮想空間を定義し、
    前記第１ユーザの動きを検出し、
    前記アバターの過去の第１動作を人工知能に基づいて機械学習した学習結果に基づいて、前記アバターが行い得る新たな動作に関する情報を特定し、
    検出された前記第１ユーザの動きと、特定された前記動作に関する動作情報とに基づいて、前記アバターに適用可能な制御内容を特定し、
    特定された前記制御内容に基づいて、前記アバターを制御する、情報処理装置。
  17. プロセッサおよびメモリを備えたコンピュータがプログラムを実行する方法であって、
    前記方法は、前記プロセッサが、
    第１ユーザに関連付けられるアバターを含む仮想空間を定義するステップと、
    前記第１ユーザの動きを検出するステップと、
    前記アバターの過去の第１動作を人工知能に基づいて機械学習した学習結果に基づいて、前記アバターが行い得る新たな動作に関する情報を特定するステップと、
    検出された前記第１ユーザの動きと、特定された前記動作に関する動作情報とに基づいて、前記アバターに適用可能な制御内容を特定するステップと、
    特定された前記制御内容に基づいて、前記アバターを制御するステップとを含む、方法。
JP2018245953A 2018-12-27 2018-12-27 プログラム、情報処理装置、および方法 Active JP7160669B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018245953A JP7160669B2 (ja) 2018-12-27 2018-12-27 プログラム、情報処理装置、および方法
JP2022165036A JP2023015061A (ja) 2018-12-27 2022-10-13 プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018245953A JP7160669B2 (ja) 2018-12-27 2018-12-27 プログラム、情報処理装置、および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022165036A Division JP2023015061A (ja) 2018-12-27 2022-10-13 プログラム

Publications (2)

Publication Number Publication Date
JP2020107123A JP2020107123A (ja) 2020-07-09
JP7160669B2 true JP7160669B2 (ja) 2022-10-25

Family

ID=71449159

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018245953A Active JP7160669B2 (ja) 2018-12-27 2018-12-27 プログラム、情報処理装置、および方法
JP2022165036A Pending JP2023015061A (ja) 2018-12-27 2022-10-13 プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022165036A Pending JP2023015061A (ja) 2018-12-27 2022-10-13 プログラム

Country Status (1)

Country Link
JP (2) JP7160669B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117561490A (zh) * 2021-06-29 2024-02-13 索尼集团公司 信息处理装置、信息处理方法和程序
WO2023079987A1 (ja) * 2021-11-04 2023-05-11 ソニーグループ株式会社 配信装置、配信方法、およびプログラム
KR20230158283A (ko) * 2022-05-11 2023-11-20 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP7422910B1 (ja) 2023-02-20 2024-01-26 Kddi株式会社 情報処理装置、情報処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017516140A (ja) 2014-04-29 2017-06-15 マイクロソフト テクノロジー ライセンシング，エルエルシー 顔の表情のトラッキング
JP2018086085A (ja) 2016-11-28 2018-06-07 株式会社スクウェア・エニックス ゲーム装置、ゲーム装置の制御方法
JP2018124666A (ja) 2017-01-30 2018-08-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017516140A (ja) 2014-04-29 2017-06-15 マイクロソフト テクノロジー ライセンシング，エルエルシー 顔の表情のトラッキング
JP2018086085A (ja) 2016-11-28 2018-06-07 株式会社スクウェア・エニックス ゲーム装置、ゲーム装置の制御方法
JP2018124666A (ja) 2017-01-30 2018-08-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Also Published As

Publication number Publication date
JP2023015061A (ja) 2023-01-31
JP2020107123A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6263252B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20180373413A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
JP7160669B2 (ja) プログラム、情報処理装置、および方法
CN109643161A (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
US20180196506A1 (en) Information processing method and apparatus, information processing system, and program for executing the information processing method on computer
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6201028B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6470859B1 (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US20180374275A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
JP7181148B2 (ja) システム、プログラム、方法、および情報処理装置
US20180247454A1 (en) Unknown
JP7394158B2 (ja) ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2019128721A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
JP2019032844A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6225242B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2019030638A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6718933B2 (ja) プログラム、情報処理装置、および方法
JP6820299B2 (ja) プログラム、情報処理装置、および方法
JP2018092592A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6839046B2 (ja) 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム
JP7111848B2 (ja) プログラム、情報処理装置、および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221013

R150 Certificate of patent or registration of utility model

Ref document number: 7160669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150