JP6718933B2 - Program, information processing apparatus, and method - Google Patents
Program, information processing apparatus, and method Download PDFInfo
- Publication number
- JP6718933B2 JP6718933B2 JP2018170047A JP2018170047A JP6718933B2 JP 6718933 B2 JP6718933 B2 JP 6718933B2 JP 2018170047 A JP2018170047 A JP 2018170047A JP 2018170047 A JP2018170047 A JP 2018170047A JP 6718933 B2 JP6718933 B2 JP 6718933B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- avatar
- processor
- category
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、プログラム、情報処理装置、および方法に関する。 The present invention relates to a program, an information processing device, and a method.
特許文献１に、仮想空間においてユーザにコンテンツを視聴させる技術の一例が開示されている。
従来の技術には、アバターオブジェクトを制御するためのユーザの負担を低減できる余地がある。 The conventional technology has room for reducing the burden on the user for controlling the avatar object.
本開示の一態様は、アバターオブジェクトを制御するためのユーザの負担を低減することを目的とする。 One aspect of the present disclosure aims to reduce the burden on a user for controlling an avatar object.
本発明の一態様によれば、プロセッサおよびメモリを備えたコンピュータによって実行されるプログラムが提供される。プログラムは、プロセッサに、第１ユーザに関連付けられる第１アバターを含む仮想空間を定義するステップと、第１ユーザの動きに基づいて、第１アバターの第１カテゴリに属する動作を制御するステップと、人工知能に基づいて、第１アバターの第２カテゴリに属する動作を制御するステップとを実行させる。 According to one aspect of the present invention, there is provided a program executed by a computer including a processor and a memory. The program defines, in the processor, a virtual space including a first avatar associated with the first user, and controlling, based on the movement of the first user, an operation belonging to the first category of the first avatar. Controlling the movement of the first avatar in the second category based on the artificial intelligence.
本開示の一態様によれば、アバターオブジェクトを制御するためのユーザの負担を低減できる。 According to one aspect of the present disclosure, it is possible to reduce the burden on the user for controlling the avatar object.
〔実施形態１〕
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
[Embodiment 1]
Hereinafter, embodiments of this technical idea will be described in detail with reference to the drawings. In the following description, the same parts are designated by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated. In one or more embodiments shown in the present disclosure, elements included in each embodiment can be combined with each other, and the resultant product is also a part of the embodiment shown in the present disclosure.
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[Configuration of HMD system]
The configuration of an HMD (Head-Mounted Device)
ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。
The
ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。
In one aspect, the
ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The
モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。
The
別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, the
ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, monitor 130 may include a sub-monitor for displaying an image for the right eye and a sub-monitor for displaying an image for the left eye. In another aspect, the
ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。
In one aspect, the
別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。
In another aspect, the
別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。
In another aspect, the
注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外線を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。
The
第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。
The
マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。
The
コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
The
ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。
In one aspect, the
モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
The
ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。
The
サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。
The
外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、及びコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。
The
［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
[Computer hardware configuration]
The
プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。
The
メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。
The
ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。
The input/
ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In certain aspects, the input/
通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。
The
ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。
In one aspect, the
図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
In the example shown in FIG. 2, the
コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
The
ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
In one embodiment, in the
ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。
In one aspect,
ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。
Each inclination of the
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
[Uvw view coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually showing a uvw visual field coordinate system set in
図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。
As shown in FIG. 3, the
ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。
In a certain aspect, when the
ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。
After the uvw visual field coordinate system is set in the
ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。
The
ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。
In one aspect, the
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually showing one aspect of expressing
ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
In a certain aspect, in the
ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。
When the
仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。
The uvw visual field coordinate system is defined for the
コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。
The
注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。
The line of sight of the
［ユーザの視線］
図５を参照して、ユーザ５の視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１２０を装着するユーザ５の頭部を上から表した図である。
[User's line of sight]
The determination of the line of sight of the
ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
In an aspect, the
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。
When the
別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。
In another aspect, the
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In still another aspect, the
［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
[Field of view]
The
図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。
As shown in FIG. 6, the
図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。
As shown in FIG. 7, the
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭部に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。
In one aspect, the
このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。
Thus, the inclination of the
ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。
While wearing the
ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。
In an aspect, the
ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
In one aspect,
［コントローラ］
図８を参照して、コントローラ３００の一例について説明する。図８は、ある実施の形態に従うコントローラ３００の概略構成を表す図である。
[controller]
An example of the
図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。
As shown in FIG. 8, in one aspect, the
右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
The
グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。
The
フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
The
天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。
In one aspect, the
図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in states (A) and (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the right hand of the
［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
[Server hardware configuration]
The
プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。
The
ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
The
別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。
The input/
通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。
The
ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。
In one aspect, the
［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。
[HMD controller]
The control device of the
図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。
As shown in FIG. 10, the
コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。
The
コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The
コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。
The
コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。
The
コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。
The
コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。
The
コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
The
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
When each of the objects arranged in the
ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭部の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In one aspect,
コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。
When the
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
The
空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
The spatial information holds one or more templates defined to provide the
オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
The object information includes a plurality of
ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。
The user information holds a user ID that identifies the
メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。
The data and programs stored in the
通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。
The
ある局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In one aspect, the
コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。
The processing in the
［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
[Control structure of HMD system]
The control structure of the HMD set 110 will be described with reference to FIG. 11. FIG. 11 is a sequence chart showing a part of the processing executed in HMD set 110 according to an embodiment.
図１１に示されるように、ステップＳ１１１０において、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。
As shown in FIG. 11, in step S1110, the
ステップＳ１１２０において、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。
In step S1120, the
ステップＳ１１３０において、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In step S1130, the
ステップＳ１１３２において、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。
In step S1132, the
ステップＳ１１３４において、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。
In step S1134, the
ステップＳ１１４０において、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。
In step S1140, the
ステップＳ１１５０において、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。
In step S1150, the
ステップＳ１１６０において、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
In step S1160, the
ステップＳ１１７０において、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。
In step S1170, the
ステップＳ１１８０において、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In step S1180, the
ステップＳ１１９０において、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
In step S1190,
［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
[Avatar object]
An avatar object according to the present embodiment will be described with reference to FIGS. 12(A) and 12(B). Hereinafter, it is a figure explaining the avatar object of each
図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ〜２００Ｄは、ＨＭＤ１２０Ａ〜１２０Ｄを介して、ユーザ５Ａ〜５Ｄに、仮想空間１１Ａ〜１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。
FIG. 12A is a schematic diagram showing a situation in which each
ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。
In an aspect, the processor 210A may arrange the virtual camera 14A that captures the view image 17A of the
図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。
FIG. 12B is a diagram showing a visual field image 17A of the
図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。
In the state of FIG. 12B, the
ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。
The action of the
図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。
FIG. 13 is a sequence chart showing a part of the processing executed in
ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。
In step S1310A, the processor 210A in the HMD set 110A acquires avatar information for determining the action of the
ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。
In step S1310B, the processor 210B in the HMD set 110B acquires avatar information for determining the action of the
ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ〜５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320,
続いて、サーバ６００から各ＨＭＤセット１１０Ａ〜１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ〜１１０Ｃは、ステップＳ１３３０Ａ〜Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。
Then, each HMD set 110A-110C performs the process of step S1330A-S1330C based on the avatar information transmitted from the
ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。
In step S1330A, the processor 210A in the HMD set 110A updates the information of the avatar objects 6B and 6C of the
ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。
In step S1330B, the processor 210B in the HMD set 110B updates the information of the avatar objects 6A and 6C of the
［コンピュータ２００のモジュールの詳細構成］
図１４を参照して、コンピュータ２００のモジュール構成の詳細について説明する。図１４は、ある実施の形態に従うコンピュータ２００のモジュールの詳細構成を表わすブロック図である。図１４に示されるように、コントロールモジュール５１０は、仮想オブジェクト生成モジュール１４２１、仮想カメラ制御モジュール１４２２、操作オブジェクト制御モジュール１４２３、アバターオブジェクト制御モジュール１４２４、動き検出モジュール１４２５、衝突検出モジュール１４２６、仮想オブジェクト制御モジュール１４２７、および返答内容特定モジュール１４２８を備えている。メモリモジュール５３０は、学習済みモデル１４２９を格納している。
[Detailed Configuration of Modules of Computer 200]
The module configuration of the
仮想オブジェクト生成モジュール１４２１は、各種の仮想オブジェクトを仮想空間１１に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、仮想オブジェクトは、アバターオブジェクト、操作オブジェクト、およびステージオブジェクト、ＵＩ（User Interface）オブジェクトを含み得る。
The virtual
仮想カメラ制御モジュール１４２２は、仮想空間１１における仮想カメラ１４の挙動を制御する。仮想カメラ制御モジュール１４２２は、例えば、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）とを制御する。
The virtual
操作オブジェクト制御モジュール１４２３は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを制御する。ユーザ５は、操作オブジェクトを操作することによって、例えば、仮想空間１１に配置される仮想オブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザ５の手に相当する手オブジェクト（仮想手）等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
The operation
アバターオブジェクト制御モジュール１４２４は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、アバターオブジェクト制御モジュール１４２４は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバターオブジェクト制御モジュール１４２４は、コントローラ３００の動きをアバターオブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。アバターオブジェクト制御モジュール１４２４は、動き検出モジュール１４２５が検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。つまり、アバターオブジェクト制御モジュール１４２４は、ユーザ５の顔の動作をアバターオブジェクトに反映する。
The avatar
動き検出モジュール１４２５は、ユーザ５の動きを検出する。動き検出モジュール１４２５は、例えば、コントローラ３００の出力に応じて、ユーザ５の手の動きを検出する。動き検出モジュール１４２５は、例えば、ユーザ５の身体に装着されるモーションセンサの出力に応じて、ユーザ５の身体の動きを検出する。動き検出モジュール１４２５は、ユーザ５の顔器官の動作を検出することもできる。
The
衝突検出モジュール１４２６は、仮想空間１１に配置される仮想オブジェクトのそれぞれが、他の仮想オブジェクトと衝突した場合に、当該衝突を検出する。衝突検出モジュール１４２６は、例えば、ある仮想オブジェクトと、別の仮想オブジェクトとが触れたタイミングを検出することができる。衝突検出モジュール１４２６は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態から離れたタイミングを検出することができる。衝突検出モジュール１４２６は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態であることを検出することもできる。衝突検出モジュール１４２６は、例えば、操作オブジェクトと、他の仮想オブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出する。衝突検出モジュール１４２６は、これらの検出結果に基づいて、予め定められた処理を実行する。
The
仮想オブジェクト制御モジュール１４２７は、仮想空間１１において、アバターオブジェクトを除く仮想オブジェクトの挙動を制御する。一例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトを変形させる。別の例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトの配置位置を変更する。別の例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトを移動させる。
The virtual
返答内容特定モジュール１４２８は、視聴者（ユーザ５Ａ）によって入力されたコメントに対する返答内容を、人工知能に基づいて特定する。返答内容特定モジュール１４２８は、より詳細には、コメントに対する配信者（ユーザ５Ｂ）の返答内容が人工知能によって機械学習された学習済みモデル１４２９に基づいて、返答内容を特定する。
The response
［配信システムの構成］
図１５は、本実施の形態に従う配信システム１５００の構成の概略を表す図である。配信システム１５００は、サーバ６００と、ＨＭＤセット１１０Ｂと、ユーザ端末８００Ａ，８００Ｃ，８００Ｄと、ネットワーク２とを含む。ＨＭＤセット１１０Ｂと、ユーザ端末８００Ａ，８００Ｃ，８００Ｄの各々とは、ネットワーク２を介してサーバ６００と通信可能に構成される。以下、ユーザ端末８００Ａ，８００Ｃ，８００Ｄを総称して、ユーザ端末８００とも言う。配信システム１５００を構成するユーザ端末８００の数は、３つに限られず、２つ以下でも、４つ以上でもよい。
[Distribution system configuration]
FIG. 15 is a diagram showing an outline of a configuration of
ユーザ端末８００は、ユーザ５が持ち運び可能な携帯型の端末装置である。ユーザ端末８００は、例えば、スマートフォン、タブレット端末、またはノートパソコンなどとして実現される。以下、ユーザ端末８００Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ユーザ端末８００Ｃのユーザをユーザ５Ｃ、ユーザ端末８００Ｄのユーザをユーザ５Ｄと表す。ユーザ端末８００Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ユーザ端末８００Ｃに関する各構成要素の参照符号にＣが付され、ユーザ端末８００Ｄに関する各構成要素の参照符号にＤが付される。
The
配信システム１５００は、ユーザ５Ｂに関連付けられるアバターオブジェクト６Ｂが仮想空間において実演する番組を、ＨＭＤセット１１０Ｂから各ユーザ端末８００にストリーミング配信するためのシステムである。ユーザ５Ｂは、ＨＭＤセット１１０Ｂにおいてアバターオブジェクト６Ｂを制御することによって、アバターオブジェクト６Ｂの番組を進行させる。ユーザ５Ａは、配信されるアバターオブジェクト６Ｂの番組を、ユーザ端末８００Ａを通じて視聴する。ユーザ５Ｃは、配信されるアバターオブジェクト６Ｂの番組を、ユーザ端末８００Ｃを通じて視聴する。ユーザ５Ｄは、配信されるアバターオブジェクト６Ｂの番組を、ユーザ端末８００Ｄを通じて視聴する。
The
［ユーザ端末のハードウェア構成］
図１６は、ある実施の形態に従うユーザ端末８００のハードウェア構成の一例を表すブロック図である。ユーザ端末８００は、主たる構成要素として、プロセッサ７１０と、メモリ７２０と、ストレージ７３０と、入出力インターフェイス７４０と、通信インターフェイス７５０と、タッチスクリーン７７０と、スピーカ７８０とを備える。各構成要素は、それぞれ、バス７６０に接続されている。
[Hardware configuration of user terminal]
FIG. 16 is a block diagram showing an example of a hardware configuration of
プロセッサ７１０は、ユーザ端末８００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ７２０またはストレージ７３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ７１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
The
メモリ７２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ７３０からロードされる。データは、ユーザ端末８００に入力されたデータと、プロセッサ７１０によって生成されたデータとを含む。ある局面において、メモリ７２０は、ＲＡＭその他の揮発メモリとして実現される。
The
ストレージ７３０は、プログラムおよびデータを永続的に保持する。ストレージ７３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ７３０に格納されるプログラムは、ユーザ端末８００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、サーバ６００との通信を実現するためのプログラムを含んでもよい。ストレージ７３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。別の局面において、ストレージ７３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。
The
入出力インターフェイス７４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス７４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス７４０は上述のものに限られない。
The input/
通信インターフェイス７５０は、ネットワーク２に接続されて、ネットワーク２に接続されているサーバ６００と通信する。ある局面において、通信インターフェイス７５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス７５０は上述のものに限られない。
The
タッチスクリーン７７０は、図示しない入力部および表示部を組み合わせた電子部品である。入力部は、例えばタッチセンシティブなデバイスであり、例えばタッチパッドによって構成される。表示部１５２は、例えば液晶ディスプレイ、または有機ＥＬ（Electro-Luminescence）ディスプレイ等によって構成される。入力部は、入力面に対しユーザの操作（主にタッチ操作、スライド操作、スワイプ操作、およびタップ操作等の物理的接触操作）が入力された位置を検知して、位置を示す情報を入力信号として送信する機能を備える。入力部は、図示しないタッチセンシング部を備えていればよい。タッチセンシング部は、静電容量方式または抵抗膜方式等のどのような方式を採用したものであってもよい。
The
スピーカ７８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ユーザ端末８００は、スピーカ７８０に替えてイヤホンを含み得る。
The
ある局面において、プロセッサ７１０は、ストレージ７３０にアクセスし、ストレージ７３０に格納されている１つ以上のプログラムをメモリ７２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、ユーザ端末８００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。
In an aspect, the
図示していないが、ユーザ端末８００は、ユーザ端末８００の保持姿勢を特定するための１以上のセンサを備えていてもよい。このセンサは、例えば、加速度センサ、または、角速度センサ等であってもよい。ユーザ端末８００がセンサを備えている場合、プロセッサ７１０は、センサの出力からユーザ端末８００の保持姿勢を特定して、保持姿勢に応じた処理を行うことも可能になる。例えば、プロセッサ７１０は、ユーザ端末８００が縦向きに保持されているときには、縦長の画像をタッチスクリーン７７０に表示させる縦画面表示としてもよい。一方、ユーザ端末８００が横向きに保持されているときには、横長の画像をタッチスクリーンに表示させる横画面表示としてもよい。このように、プロセッサ７１０は、ユーザ端末８００の保持姿勢に応じて縦画面表示と横画面表示とを切り替え可能であってもよい。
Although not shown, the
［ユーザ端末のモジュール構成］
図１７は、ある実施の形態に従うユーザ端末８００のモジュールの詳細構成を表わすブロック図である。図１７に示されるように、ユーザ端末８００Ａは、コントロールモジュール８１０と、レンダリングモジュール８２０と、メモリモジュール８３０と、通信制御モジュール８４０とを備える。ある局面において、コントロールモジュール８１０とレンダリングモジュール８２０とは、プロセッサ７１０によって実現される。別の局面において、複数のプロセッサ７１０がコントロールモジュール８１０とレンダリングモジュール８２０として作動してもよい。メモリモジュール８３０は、メモリ７２０またはストレージ７３０によって実現される。通信制御モジュール８４０は、通信インターフェイス７５０によって実現される。
[Module configuration of user terminal]
FIG. 17 is a block diagram showing a detailed configuration of modules of
コントロールモジュール８１０、レンダリングモジュール８２０、メモリモジュール５３０、および通信制御モジュール８４０の基本的な機能は、コンピュータ２００が備えるコントロールモジュール５１０、レンダリングモジュール５２０、メモリモジュール５３０、および通信制御モジュール５４０と同一である。したがって、これらの詳細な説明は繰り返さない。
The basic functions of the
図１７に示すように、コントロールモジュール８１０は、仮想オブジェクト生成モジュール１７２１、仮想視点制御モジュール１７２２、アバターオブジェクト制御モジュール１７２３、および返答内容特定モジュール１７２４を備えている。メモリモジュール８３０は、学習済みモデル１７２５を格納している。
As shown in FIG. 17, the
仮想オブジェクト生成モジュール１７２１は、コンピュータ２００が備える仮想オブジェクト生成モジュール１４２１と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。仮想視点制御モジュール１７２２は、仮想空間１１における仮想視点の挙動を制御する。仮想視点は、仮想カメラ１４と同等の機能を有する。仮想視点制御モジュール１７２２は、例えば、仮想空間１１における仮想視点の配置位置と、仮想視点の向き（傾き）とを制御する。アバターオブジェクト制御モジュール１７２３は、コンピュータ２００が備えるアバターオブジェクト制御モジュール１４２４と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。
Virtual
返答内容特定モジュール１７２４は、コンピュータ２００が備える返答内容特定モジュール１４２８と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。学習済みモデル１７２５は、コンピュータ２００のメモリモジュール５３０に格納される学習済みモデル１４２９と同一のものであるため、その詳細な説明は繰り返さない。
Since reply
［演者（配信者）の仮想空間］
図１８は、ある実施の形態に従う仮想空間１１Ｂおよび視界画像１８１７Ｂを示す図である。図１８（Ａ）では、ユーザ５Ｂに仮想体験を提供するための仮想空間１１Ｂに、アバターオブジェクト６Ｂ、仮想カメラ１４Ｂ、およびパネルオブジェクト１８３２が少なくとも配置される。ユーザ５Ｂ（第１ユーザ）は、頭部にＨＭＤ１２０Ｂを装着している。ユーザ５Ｂは、ユーザ５Ｂの身体の右側の一部を構成する右手（第１部位）で右コントローラ３００ＲＢを把持し、ユーザ５Ｂの身体の左側の一部を構成する左手（第２部位）で左コントローラ３００ＬＢを把持している。
[Virtual space of performer (distributor)]
FIG. 18 is a diagram showing a
ＨＭＤ１２０Ｂは、モーションセンサとして機能するセンサ１９０を備える。右コントローラ３００ＲＢおよび左コントローラ３００ＬＢは、モーションセンサ４２０を備える。ユーザ５Ｂは、さらに、モーションセンサ１８４１〜１８４３を装着している。モーションセンサ１８４１は、ベルト１８４４によってユーザ５Ｂの腰部に装着されている。モーションセンサ１８４２は、ユーザ５Ｂの右足の甲に装着されている。モーションセンサ１８４３は、ユーザ５Ｂのユーザ５Ｂの左足の甲に装着されている。モーションセンサ１８４１〜１８４３は、有線または無線によってコンピュータ２００Ｂに接続されている。
The
ある局面において、ユーザ５Ｂに装着されるモーションセンサは、ベースステーション（図示しない）から照射される信号（例えば赤外線レーザ）の到達時間と角度とを検出する。コンピュータ２００Ｂのプロセッサ２１０Ｂ（以下、単にプロセッサ２１０Ｂ）は、モーションセンサの検出結果に基づいて、ベースステーションに対するモーションセンサの位置を検出する。プロセッサ２１０Ｂは、さらに、ベースステーションに対するモーションセンサの位置を、所定点（例えば頭部に装着されたセンサ１９０の位置）を基準として規格化してもよい。
In one aspect, the motion sensor attached to the
アバターオブジェクト６Ｂは、仮想右手１８３１ＲＢおよび仮想左手１８３１ＬＢを含む。仮想右手１８３１ＲＢは操作オブジェクトの一種であり、ユーザ５Ｂの右手の動きに応じて仮想空間１１Ｂにおいて動くことができる。仮想左手１８３１ＬＢは操作オブジェクトの一種であり、ユーザ５Ｂの左手の動きに応じて仮想空間１１Ｂにおいて動くことができる。
The avatar object 6B includes a virtual right hand 1831RB and a virtual left hand 1831LB. The virtual right hand 1831RB is a kind of operation object, and can move in the
図１８（Ａ）に示す仮想空間１１Ｂは、コンピュータ２００Ｂにおいて番組コンテンツが再生されることによって、構築される。ユーザ５Ｂは、アバターオブジェクト６Ｂにパフォーマンスを実行させるために、自身の身体を動かす。コンピュータ２００Ｂは、ユーザ５Ｂに装着される各種のモーションセンサの出力に基づいて、ユーザ５Ｂの動きを検出する。仮想空間１１Ｂにおいて、アバターオブジェクト６Ｂは、特定されたユーザ５Ｂの動きに応じて、現実空間におけるユーザ５Ｂの動きが反映されたパフォーマンスを実行する。仮想空間１１Ｂにおいてアバターオブジェクト６Ｂがユーザ５Ｂに動きに応じたパフォーマンスを実行すると、仮想空間１１Ｂに同期する仮想空間１１Ａ、１１Ｃ、および１１Ｄにおいても、アバターオブジェクト６Ｂが同じパフォーマンスを実行する。このように、ユーザ５Ｂは、アバターオブジェクト６Ｂによる番組を、ユーザ５Ａ、５Ｃ、および５Ｄにそれぞれ配信する配信者としての役割を有する。
The
パネルオブジェクト１８３２は、アバターオブジェクト６Ｂの番組の視聴者であるユーザ５Ａなどが、番組の配信中に入力したコメントが表示される仮想オブジェクトである。パネルオブジェクト１８３２は、透過設定された半透明のオブジェクトであってもよい。
The
図１８（Ａ）において、仮想カメラ１４Ｂは、アバターオブジェクト６Ｂの頭部に配置される。仮想カメラ１４Ｂは、仮想カメラ１４Ｂの位置および向きに応じた視界領域１５Ｂを規定する。仮想カメラ１４Ｂは、視界領域１５Ｂに対応する視界画像１８１７Ｂを生成して、図１８（Ｂ）に示すようにＨＭＤ１２０Ｂに表示させる。ユーザ５Ｂは、視界画像１８１７Ｂを視認することによって、アバターオブジェクト６Ｂの視点で仮想空間の一部を視認する。これにより、ユーザ５Ｂは、あたかもユーザ５Ｂ自身がアバターオブジェクト６Ｂであるかのような仮想体験を、得ることができる。視界画像１８１７Ｂには、パネルオブジェクト１８３２が含まれる。したがって、ユーザ５Ｂは、アバターオブジェクト６Ｂによる番組に対するユーザ５Ａなどからのコメントを、番組の配信中にリアルタイムに視認することができる。
In FIG. 18A, the
［視聴者の仮想空間］
図１９は、ある実施の形態に従う仮想空間１１Ａおよびユーザ端末８００Ａの表示面を示す図である。図１９（Ａ）では、ユーザ５Ａ（第２ユーザ）に仮想体験を提供するための仮想空間１１Ａに、アバターオブジェクト６Ｂが少なくとも配置される。仮想空間１１Ａは、図１８に示す仮想空間１１Ｂに同期している。ユーザ５Ａは、頭部にＨＭＤ１２０Ａを装着せず、左手にユーザ端末８００Ａを把持している。図１９の例では、ユーザ５Ａは、アバターオブジェクト６Ｂが実演する番組（配信動画）を、ユーザ端末８００Ａの画面を視認しながら視聴する。
[Viewer's virtual space]
FIG. 19 is a diagram showing display surfaces of
図１９（Ａ）に示す仮想空間１１Ａは、ユーザ端末８００Ａにおいて番組コンテンツが再生されることによって、構築される。仮想空間１１Ａにおいて、アバターオブジェクト６Ｂは、ユーザ５Ｂの動きに基づいて、ライブの演者としてパフォーマンスを実行する。ユーザ５Ｂは、ユーザ端末８００Ａの画面を通じて、ライブの視聴者としてアバターオブジェクト６Ｂのパフォーマンスを視聴する。このとき、ユーザ５Ｃは、ユーザ端末８００Ｃの画面を通じて、ライブの視聴者としてアバターオブジェクト６Ｂのパフォーマンスを視聴する。また、ユーザ５Ｄは、ユーザ端末８００Ｄの画面を通じて、ライブの視聴者としてアバターオブジェクト６Ｂのパフォーマンスを視聴する。このように、アバターオブジェクト６Ｂの番組は、複数の異なるユーザ５に対して同時にストリーミング配信される。
The
図１９（Ａ）において、仮想空間１１Ａの中心１２Ａに仮想視点１９５１が設定される。仮想視点１９５１は、仮想カメラ１４Ａと同等の機能を有する。仮想視点１９５１は、仮想視点１９５１の位置および向きに応じた視界領域１５Ａを規定する。プロセッサ７１０Ａは、視界領域１５Ａに対応する視界画像１９１７Ａを生成して、図１９（Ｂ）に示すように、タッチスクリーン７７０Ａに表示する。視界画像１９１７Ａには、パフォーマンスを実行するアバターオブジェクト６Ｂが少なくとも含まれる。ユーザ５Ａは、視界画像１９１７Ａを視認することによって、アバターオブジェクト６Ｂと、アバターオブジェクト６Ｂが登場する仮想空間１１Ａの一部とを、視認する。これにより、ユーザ５Ａは、あたかもアバターオブジェクト６Ｂが実際の配信者であるかのような仮想体験を、得ることができる。
In FIG. 19A, a
［寸法データの取得］
図２０は、寸法データの取得方法を説明するための図である。寸法データは、ユーザ５Ｂの身体の寸法を表すデータである。図２０（Ａ）は、ユーザ５Ｂが、正面を向き、両手を水平に広げ、起立している状態を表す。以下、図２０（Ａ）に示される状態を第１姿勢とも言う。図２０（Ｂ）は、ユーザ５Ｂが、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。以下、図２０（Ｂ）に示される状態を第２姿勢とも言う。
[Get dimension data]
FIG. 20 is a diagram for explaining a method of acquiring dimension data. The size data is data representing the size of the body of the
ある局面において、プロセッサ２１０Ｂは、ユーザ５Ｂに対し第１姿勢および第２姿勢をとるように促す。一例として、プロセッサ２１０Ｂは、第１姿勢および第２姿勢のキャラクタをモニタ１３０Ｂに表示し、同様の姿勢をとる旨のメッセージを表示する。他の例として、プロセッサ２１０Ｂは、第１姿勢および第２姿勢をとる旨の音声をスピーカ１８０Ｂから出力してもよい。
In an aspect, the processor 210B prompts the
プロセッサ２１０Ｂは、ユーザ５Ｂに装着されたモーションセンサから、ユーザ５Ｂの頭部、腰部、両手、および両足の位置を検出する。以下、各モーションセンサによって検出されるユーザ５Ｂの部位の位置を「位置情報」とも言う。プロセッサ２１０Ｂは、２つの姿勢（第１姿勢と第２姿勢）のそれぞれにおいて、ユーザ５Ｂに装着されたモーションセンサの出力に基づいてユーザ５Ｂの頭部、腰部、両手、両足の位置情報を取得する。これら位置情報は、図２１に示されるように実座標系（ｘ、ｙ、ｚ）における位置として取得され得る。
The processor 210B detects the positions of the head, waist, both hands, and both feet of the
プロセッサ２１０Ｂは、２つの姿勢に対応する位置情報からユーザ５Ｂの寸法データを算出する。ある実施形態において、プロセッサ２１０Ｂは、図２２に示されるように、ユーザ５Ｂの身長、肩幅、腕の長さ、足の長さ、頭部から肩までの高さを寸法データとして算出する。プロセッサ２１０Ｂは、第２姿勢における両手の間隔を肩幅として算出し得る。プロセッサ２１０Ｂは、第１姿勢における両手の間隔から肩幅を差し引いた値の半分を腕の長さとして算出し得る。プロセッサ２１０Ｂは、足の高さから頭部の高さまでの距離を身長として算出し得る。プロセッサ２１０Ｂは、足の高さから腰部の高さまでの距離を足の長さとして算出し得る。プロセッサ２１０Ｂは、第１姿勢における手の高さから頭部までの高さを、頭部から肩までの高さとして算出し得る。
The processor 210B calculates the dimension data of the
図２３は、寸法データを取得するための処理を表すフローチャートである。ステップＳ２３１０において、プロセッサ２１０Ｂは、仮想空間１１Ｂに仮想カメラ１４Ｂを配置する。プロセッサ２１０Ｂはさらに、仮想カメラ１４Ｂの撮影範囲に対応する視界画像１７Ｂをモニタ１３０Ｂに出力する。
FIG. 23 is a flowchart showing a process for acquiring dimension data. In step S2310, the processor 210B arranges the
ステップＳ２３２０において、プロセッサ２１０Ｂは、ユーザ５Ｂに第１姿勢になるように指示する。例えば、プロセッサ２１０Ｂは、当該指示が記されたオブジェクトを仮想空間１１Ｂに配置することでステップＳ２３２０の処理を実現する。ステップＳ２３３０において、プロセッサ２１０Ｂは、第１姿勢に対応する位置情報を取得する。
In step S2320, the processor 210B instructs the
ステップＳ２３４０において、プロセッサ２１０Ｂは、ユーザ５Ｂに第２姿勢になるように指示する。ステップＳ２３５０において、プロセッサ２１０Ｂは、第２姿勢に対応する位置情報を取得する。
In step S2340, the processor 210B instructs the
ステップＳ２３６０において、プロセッサ２１０Ｂは、第１姿勢に対応する位置情報と第２姿勢に対応する位置情報とから、ユーザ５Ｂの寸法データを算出する。プロセッサ２１０Ｂは、寸法データをストレージ２３０Ｂに格納する。
In step S2360, the processor 210B calculates the dimension data of the
以上のように、ユーザ５Ｂは、２つの姿勢をとるだけで、自身の寸法をコンピュータ２００Ｂに容易に入力できる。なお、他の局面において、ユーザ５Ｂは、自身の寸法をキーボード等の入力デバイスを用いてコンピュータ２００Ｂに入力してもよい。
As described above, the
［関節の回転方向］
ある実施形態において、プロセッサ２１０Ｂは、ユーザ５Ｂに装着された６つのモーションセンサの出力（位置情報）と、寸法データとに基づいて、ユーザ５Ｂの関節の回転方向を推定する。一例として、プロセッサ２１０Ｂは、頭部の位置情報と、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。プロセッサ２１０Ｂは、肩の位置と手の位置情報とから、肘の位置を推定する。この推定は、逆運動学（Inverse Kinematics）を利用した公知のアプリケーションにより実行され得る。
[Rotation direction of joint]
In an embodiment, the processor 210B estimates the rotation direction of the joint of the
ある実施形態において、プロセッサ２１０Ｂは、６つのモーションセンサから、ユーザ５Ｂの首（頭部）、腰、両手首、および両足首の関節の傾き（回転方向）を取得する。加えて、プロセッサ２１０Ｂは、逆運動学に基づいて、両肩、両肘、両股（足のつけ根）、両膝の関節の回転方向を推定する。図２２に示されるように、プロセッサ２１０Ｂは、各関節の回転方向をｕｖｗ視野座標系で取得または推定する。
In an embodiment, the processor 210B obtains the tilts (rotational directions) of the joints of the neck (head), hips, wrists, and ankles of the
なお、回転方向が位置情報と寸法データとに基づいて算出される場合、プロセッサ２１０Ｂは、ユーザ５Ｂが正面を向いていないとき（つまり、頭部と腰部とが異なる方向を向いているとき）の肩の位置等を正確に推定できない。そこで、他の実施形態において、コンピュータ２００Ｂは、モーションセンサによって検出されるユーザ５Ｂの部位の傾きをさらに考慮して関節の回転方向を推定してもよい。例えば、コンピュータ２００Ｂは、頭部の位置情報と、頭部の傾きと、腰部の傾きと、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。当該構成によれば、コンピュータ２００Ｂは、関節の回転方向の精度を向上し得る。
When the rotation direction is calculated based on the position information and the dimension data, the processor 210B determines that the
［番組配信フロー］
図２５は、ある実施の形態に従う配信システム１５００において実行される処理の一部を表すシーケンスチャートである。図２６は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像２６１７Ｂを示す図である。図２７は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。本実施形態では、少なくともＨＭＤセット１１０Ｂ、ユーザ端末８００Ａ、およびサーバ６００が、アバターオブジェクト６Ｂの番組を進行させるための一連の処理を実行する。ＨＭＤセット１１０Ｂの処理の一部または全部は、サーバ６００またはユーザ端末８００Ａによって実行されてもよい。以下では、仮想空間２６１１Ｂにおいて進行するアバターオブジェクト６Ｂの番組を、ＨＭＤセット１１０Ｂからユーザ端末８００Ａに配信するための一連の処理を説明する。ユーザ端末８００Ｃおよび８００Ｄに対しても、同様の一連の処理に基づいてアバターオブジェクト６Ｂの番組が配信される。
[Program distribution flow]
FIG. 25 is a sequence chart showing a part of processing executed in
ステップＳ２５０１において、プロセッサ２１０Ｂは、図２６（Ａ）に示すような仮想空間２６１１Ｂを定義する。当該処理は、図１１のステップＳ１１１０の処理に相当する。具体的には、プロセッサ２１０Ｂは、仮想空間データを特定することによって、仮想空間データによって表される仮想空間２６１１Ｂを定義する。仮想空間２６１１Ｂは、アバターオブジェクト６Ｂが番組を実演する仮想空間である。言い換えれば、仮想空間２６１１Ｂは、アバターオブジェクト６Ｂによるパフォーマンスが行われる仮想空間である。
In step S2501, the processor 210B defines a
ステップＳ２５０２において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、ユーザ５Ｂ（第１ユーザ）に関連付けられるアバターオブジェクト６Ｂ（第１アバター）を生成し、仮想空間２６１１Ｂに配置する。ステップＳ２５０３において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、仮想カメラ１４Ｂを生成し、仮想空間２６１１Ｂに配置する。図２６（Ａ）では、仮想カメラ１４Ｂは、アバターオブジェクト６Ｂの頭部に配置される。ステップＳ２５０４において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、パネルオブジェクト１８３２を生成し、仮想空間２６１１Ｂに配置する。パネルオブジェクト１８３２は、番組の視聴者であるユーザ５Ａなどが入力したコメントが表示される仮想オブジェクトである。図２６（Ａ）では、パネルオブジェクト１８３２は、アバターオブジェクト６Ｂの正面における、アバターオブジェクト６Ｂから一定距離置いた位置に配置される。この時点では、番組に対するコメントがユーザ５Ａなどによって入力されていないので、パネルオブジェクト１８３２にはコメントが表示されていない。
In step S2502, the processor 210B, as the virtual
ステップＳ２５０５において、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂのアバター情報を生成し、サーバ６００を介してユーザ端末８００Ａに送信する。ステップＳ２５０６において、プロセッサ２１０Ｂは、仮想カメラ制御モジュール１４２２として、ＨＭＤ１２０Ｂの動きに応じて仮想空間２６１１Ｂにおける仮想カメラ１４Ｂの位置および傾きを決定する。より詳細には、プロセッサ２１０Ｂは、ユーザ５Ｂの頭部の姿勢と、仮想空間２６１１Ｂにおける仮想カメラ１４Ｂの位置とに応じて、仮想空間２６１１Ｂにおける仮想カメラ１４Ｂ（仮想視点）からの視界である視界領域１５Ｂを制御する。当該処理は、図１１のステップＳ１１４０の処理の一部に相当する。仮想カメラ１４Ｂがアバターオブジェクト６Ｂと同一の位置に配置されるので、仮想カメラ１４Ｂの位置は、アバターオブジェクト６Ｂの位置と同義である。さらに、仮想カメラ１４Ｂからの視界は、アバターオブジェクト６Ｂからの視界と同義である。
In step S2505, the processor 210B generates avatar information of the
ステップＳ２５０７において、プロセッサ２１０Ｂは、視界画像２６１７Ｂをモニタ１３０Ｂに表示する。具体的には、プロセッサ２１０Ｂは、ＨＭＤ１２０Ｂの動き（すなわち仮想カメラ１４Ｂの位置および傾き）と、仮想空間２６１１Ｂを定義する仮想空間データと、に基づいて、視界領域１５Ｂに対応する視界画像２６１７Ｂを定義する。視界画像２６１７を定義することは、視界画像２６１７Ｂを生成することと同義である。プロセッサ２１０Ｂは、さらに、ＨＭＤ１２０Ｂのモニタ１３０Ｂに視界画像２６１７Ｂを出力することによって、視界画像２６１７ＢをＨＭＤ１２０Ｂに表示させる。当該処理は、図１１のステップＳ１１８０およびＳ１１９０の処理に相当する。
In step S2507, the processor 210B displays the
プロセッサ２１０Ｂは、例えば、図２６（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像２６１７Ｂを、図２６（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像２６１７Ｂは、コメントが表示されないパネルオブジェクト１８３２を含む。ユーザ５Ｂは、視界画像２６１７Ｂを視認することによって、アバターオブジェクト６Ｂの視点で、仮想空間２６１１Ｂの一部を視認する。これにより、ユーザ５Ｂは、あたかもユーザ５Ｂ自身がアバターオブジェクト６Ｂであるかのような仮想体験を、得ることができる。ユーザ５Ｂは、パネルオブジェクト１８３２を視認することによって、現時点ではアバターオブジェクト６Ｂの番組に対するコメントが得られていないことを認識する。
The processor 210B displays, for example, the
ステップＳ２５２１において、プロセッサ７１０Ａは、ユーザ５Ａに仮想体験を提供するための仮想空間２６１１Ａを定義する。この処理は、ステップＳ２５０１における仮想空間２６１１Ｂを定義するための処理と基本的に同一であるため、詳細な説明を繰り返さない。図２６（Ａ）では、仮想空間２６１１Ａは、アバターオブジェクト６Ｂを含む。仮想空間２６１１Ａは、仮想空間２６１１Ｂに部分的に同期される仮想空間である。ステップＳ２５２２において、プロセッサ７１０Ａは、仮想空間２６１１Ｂに仮想視点１９５１を設定する。図２７（Ａ）では、仮想視点１９５１は、仮想空間２６１１Ａの中心に設定される。ステップＳ２５２３において、プロセッサ７１０Ａは、コンピュータ２００Ｂから送信されたアバターオブジェクト６Ｂのアバター情報を受信する。ステップＳ２５２４において、プロセッサ７１０Ａは、仮想オブジェクト生成モジュール１７２１として、受信したアバター情報に基づいて、アバターオブジェクト６Ｂを生成し、仮想空間２６１１Ａにおける仮想視点１９５１の視界領域１５Ａ内に配置する。プロセッサ７１０Ａは、パネルオブジェクト１８３２に関する情報をコンピュータ２００Ｂから受信せず、パネルオブジェクト１８３２を仮想空間２６１１Ａに配置しない。このように、パネルオブジェクト１８３２は、ユーザ５Ｂは視認できるが、ユーザ５Ａは視認できない仮想オブジェクトである。
In step S2521, the processor 710A defines a
ステップＳ２５２５において、プロセッサ７１０Ａは、仮想視点制御モジュール１７２２として、タッチスクリーン７７０Ａに対するユーザ５Ａの操作に基づいて、仮想空間２６１１Ａにおける仮想視点１９５１の位置および傾きを決定する。プロセッサ７１０Ａは、例えば、タッチスクリーン７７０Ａに対するユーザ５Ａのフリック操作の方向と、仮想空間２６１１Ａにおける仮想視点１９５１の位置とに応じて、仮想空間２６１１Ａにおける仮想視点１９５１からの視界である視界領域１５Ａを制御する。
In step S2525, processor 710A, as virtual
ステップＳ２５２６において、プロセッサ７１０Ａは、視界領域１５Ａに対応する視界画像２７１７Ａを生成し、タッチスクリーン７７０Ａに表示する。具体的には、プロセッサ７１０Ａは、仮想視点１９５１の位置および傾きと、仮想空間２６１１Ａを定義する仮想空間データと、に基づいて、視界領域１５Ａに対応する視界画像２７１７Ａを定義する。視界画像２７１７Ａを定義することは、視界画像２７１７Ａを生成することと同義である。プロセッサ７１０Ａは、さらに、ユーザ端末８００Ａのタッチスクリーン７７０Ａに視界画像２７１７Ａを出力することによって、視界画像２７１７Ａをタッチスクリーン７７０Ａに表示する。
In step S2526, processor 710A generates a
プロセッサ７１０Ａは、例えば、図２７（Ａ）に示す仮想空間２６１１Ａに対応する視界画像２７１７Ａを、図２７（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。これにより、プロセッサ７１０Ａは、アバターオブジェクト６Ｂを含む視界画像２７１７Ａをユーザ５Ａに提供する。ユーザ５Ａは、視界画像２７１７Ａを視認することによって、アバターオブジェクト６Ｂの番組を視聴する。ステップＳ２５２７において、プロセッサ７１０Ａは、コメント欄１９５２を、タッチスクリーン７７０Ａにおける視界画像２７１７Ａの下部に表示する。この時点では、ユーザ５Ａは、コメントをまだ入力していない。そのため、コメント欄１９５２にはユーザ５Ａのコメントが表示されていない。
The processor 710A displays, for example, a
図２８は、ある実施形態に従うユーザ５Ｂの姿勢の一例を表す図である。図２９は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像２９１７Ｂを示す図である。ユーザ５Ｂは、番組の開始後、例えば図２８に示す姿勢を取るように自身の身体を動かす。図２８に示す姿勢は、第１パフォーマンスに対応する姿勢である。ステップＳ２５０８において、プロセッサ２１０Ｂは、図２８に示す姿勢を取るためのユーザ５Ｂの動きを検出する。詳細には、プロセッサ２１０Ｂは、ユーザ５Ｂに装着された各モーションセンサから、ユーザ５Ｂの頭部、腰部、両手、および両足の位置を検出する。プロセッサ２１０Ｂは、ユーザ５Ｂの現在の位置情報と、予め取得されたユーザ５Ｂの寸法データとに基づいて、ユーザ５Ｂの関節の回転方向を算出する。このように、現在の位置情報を検出することおよび回転方向を算出することは、ユーザ５Ｂの動きを検出することと同義である。
FIG. 28 is a diagram showing an example of the posture of
ステップＳ２５０９において、プロセッサ２１０Ｂは、検出したユーザ５Ｂの動きに基づいて、図２９（Ａ）に示すようにアバターオブジェクト６Ｂを制御する。詳細には、プロセッサ２１０Ｂは、ユーザ５Ｂの現在の位置情報および回転方向に基づいて、仮想空間２６１１Ｂに配置されるアバターオブジェクト６Ｂを動かす。プロセッサ２１０Ｂは、例えば、右肩の回転方向に基づいて、アバターオブジェクト６Ｂの右上腕部を動かす。プロセッサ２１０Ｂはさらに、現在の位置情報（例えば現在の腰部の位置情報）に基づいて、アバターオブジェクト６Ｂの仮想空間２６１１Ｂにおける位置を動かす。これにより、プロセッサ２１０Ｂは、現実空間のユーザ５Ｂの動きを、仮想空間２６１１Ｂに配置されるアバターオブジェクト６Ｂに反映させる。言い換えれば、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂに、ユーザ５Ｂの動きに応じた第１パフォーマンスを実行させる。
In step S2509, the processor 210B controls the
ユーザ５Ｂの動きをアバターオブジェクト６Ｂに反映させるための処理は、上述した位置情報および回転方向に応じた処理に限定されない。プロセッサ２１０Ｂは、例えば、回転方向を算出することなく、ユーザ５Ｂの動きに応じてアバターオブジェクト６Ｂを動かすこともできる。プロセッサ２１０Ｂは、例えば、ユーザ５Ｂの身体を構成する各部位の位置に対応するように、ユーザ５Ｂの各部位に対応するアバターオブジェクト６Ｂの各部位オブジェクトの位置を制御するようにしてもよい。
The processing for reflecting the movement of the
ステップＳ２５１０において、プロセッサ２１０Ｂは、第１パフォーマンスを実行した際のアバターオブジェクト６Ｂの動きを表す動き情報をリアルタイムに生成し、この動き情報を含むアバターオブジェクト６Ｂのアバター情報を、サーバ６００を介してユーザ端末８００Ａにリアルタイムに送信する。ステップＳ２５１１において、プロセッサ２１０Ｂは、モニタ１３０Ｂに表示される視界画像２６１７Ｂを更新する。プロセッサ２１０Ｂは、例えば、図２９（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像２９１７Ｂを生成し、図２９（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像３０１７Ｂを視認することによって、第１パフォーマンスの実施直後に、番組に対するコメントがまだ得られていないことを認識する。
In step S2510, the processor 210B generates in real time motion information indicating the motion of the
図３０は、ある実施の形態に仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。ステップＳ２５２８において、プロセッサ７１０Ａは、コンピュータ２００Ｂから送信されたアバターオブジェクト６Ｂのアバター情報をリアルタイムに受信する。ステップＳ２５２９において、プロセッサ７１０Ａは、受信したアバター情報に含まれるアバターオブジェクト６Ｂの動き情報に基づいて、図３０（Ａ）に示すように仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂの第１カテゴリに属する動作をリアルタイムに制御する。詳細には、プロセッサ７１０Ａは、アバター情報に含まれるアバターオブジェクト６Ｂの動き情報に基づいて、仮想空間２６１１Ｂにおいてアバターオブジェクト６Ｂに第１カテゴリに属する第１パフォーマンスを実行させる。このように、第１カテゴリに属する動作は、アバターオブジェクト６Ｂの身体の一部を構成する部位を動かす動作である。仮想空間２６１１Ｂにおけるアバターオブジェクト６Ｂの挙動が、仮想空間２６１１Ａにおけるアバターオブジェクト６Ｂに反映される。言い換えれば、アバターオブジェクト６Ｂの挙動が、仮想空間２６１１Ａおよび２６１１Ｂにおいて同期される。このようにして、仮想空間２６１１Ｂにおけるアバターオブジェクト６Ｂの番組が、仮想空間２６１１Ａに配信される。
FIG. 30 is a diagram showing the display surfaces of the
ステップＳ２５３０において、プロセッサ７１０Ａは、タッチスクリーン７７０Ａに表示される視界画像１７Ａを更新する。プロセッサ７１０Ａは、例えば、図３０（Ａ）に示す仮想空間２６１１Ａに対応する視界画像３０１７Ａを生成し、図３０（Ｂ）に示すようにタッチスクリーン７７０Ａに表示する。ユーザ５Ａは、視界画像３０１７Ａを視認することによって、アバターオブジェクト６Ｂの第１パフォーマンスを楽しむことができる。
In step S2530, processor 710A updates view image 17A displayed on
図示しないが、プロセッサ２１０Ｂは、ユーザ５Ｂが発した音声を、マイク１７０Ｂを用いて録音する。プロセッサ２１０Ｂは、ユーザ５Ｂの音声を表す音声データを生成し、サーバ６００に送信する。サーバ６００は、受信したユーザ５Ｂの音声データを、同期処理によってユーザ端末８００Ａに送信する。ユーザ端末８００Ａは、受信したユーザ５Ｂの音声データが表す音声を、スピーカ７８０Ａに出力する。これらの一連の処理の結果、ユーザ５Ａは、ライブ中にユーザ５Ｂが発した音声を、リアルタイムに聴取することができる。
Although not shown, the processor 210B records the voice uttered by the
図３１は、ある実施の形態に従う配信システム１５００において実行される処理の一部を表すシーケンスチャートである。図３２は、ある実施の形態におけるユーザ端末８００Ａの表示面を示す図である。ユーザ５Ａは、アバターオブジェクト６Ｂの第１パフォーマンスが実行された後、アバターオブジェクト６Ｂの番組に対するコメントを、ユーザ端末８００Ａに入力する。プロセッサ７１０Ａは、例えば、タッチスクリーン７７０Ａに対するユーザ５Ｂの操作に基づいて、文字列を入力するためのソフトウェアキーボードをタッチスクリーン７７０Ａに表示する。ユーザ５Ａは、ソフトウェアキーボードに対するタップ操作によって、コメントをユーザ端末８００Ａに入力する。ステップＳ３１０１において、プロセッサ７１０Ａは、ユーザ５Ａによるコメントの入力を検出する。これにより、プロセッサ７１０Ａは、ユーザ５Ａが入力したコメント３２５３を特定する。ステップＳ３１０２において、プロセッサ７１０Ａは、入力されたコメント３２５３を、図３２に示すようにコメント欄１９５２に表示する。ユーザ５Ａは、コメント欄１９５２に表示されたコメント３２５３を視認することによって、コメント３２５３が正常に入力されたことを認識する。ステップＳ３１０３において、プロセッサ７１０Ａは、コメント３２５３をコンピュータ２００Ｂに送信する。
FIG. 31 is a sequence chart showing a part of processing executed in
図３３は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像３３１７Ｂを示す図である。ステップＳ３１１１において、プロセッサ２１０Ｂは、ユーザ端末８００Ａから送信されたコメント３２５３を受信する。ステップＳ３１１２において、プロセッサ２１０Ｂは、受信したコメント３２５３をパネルオブジェクト１８３２に表示する。ステップＳ３１１３において、プロセッサ２１０Ｂは、モニタ１３０Ｂに表示される視界画像１７Ｂを更新する。プロセッサ２１０Ｂは、例えば、図３３（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像３３１７Ｂを生成し、図３３（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像３３１７Ｂには、コメント３２５３が表示されたパネルオブジェクト１８３２が含まれる。ユーザ５Ｂは、視界画像３３１７Ｂを視認することによって、第１パフォーマンスの実施後に、番組に対するコメント３２５３がユーザ５Ａによって入力されたことを認識する。
FIG. 33 is a diagram showing a
図３４は、ある実施の形態に従う仮想空間２６１１Ｂおよび視界画像３４１７Ｂを示す図である。ステップＳ３１１４において、プロセッサ２１０Ｂは、人工知能に基づいて、複数の返答内容の中から、ユーザ５Ａのコメント３２５３に対する返答内容３４５４を特定する。返答内容３４５４は、ユーザ５Ｂがコンピュータ２００Ｂに事前に録音した音声である。詳細には、プロセッサ２１０Ｂは、学習済みモデル１４２９を用いて、コメント３２５３に対する返答内容３４５４を特定する。プロセッサ２１０Ｂは、例えば、ユーザ５Ｂが録音した返答内容を、コメントに関連付けて学習した学習済みモデル１４２９を事前に生成し、メモリモジュール５３０に格納しておく。学習済みモデル１４２９は、コメントに対するアバターオブジェクト６Ｂの返答内容が人工知能によって事前に学習された学習済みモデルである。したがって、プロセッサ２１０Ｂは、学習済みモデル１４２９を用いることによって、コメント３２５３に対する適切な返答内容３４５４を正確に特定することができる。
FIG. 34 is a diagram showing a
ステップＳ３１１５において、プロセッサ２１０Ｂは、特定された返答内容３４５４を、図３４（Ａ）に示すようにアバターオブジェクト６Ｂに発話させる。詳細には、プロセッサ２１０Ｂは、返答内容３４５４をスピーカ１８０Ｂから出力することによって、アバターオブジェクト６Ｂに返答内容３４５４を発話させる。ユーザ５Ｂは、スピーカ１８０Ｂから出力された返答内容３４５４を聴取することによって、アバターオブジェクト６Ｂが、ユーザ５Ａのコメント３２５３に対する返答内容３４５４を人工知能に基づいて自動的にユーザ５Ａに返答したことを、認識する。
In step S3115, the processor 210B causes the
ステップＳ３１１６において、プロセッサ２１０Ｂは、特定された返答内容３４５４をユーザ端末８００Ａに送信する。この後、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂが返答内容３４５４を発話したことに基づいて、返答内容３４５４に対応するコメント３２５３の表示をパネルオブジェクト１８３２から消去させる。プロセッサ２１０Ｂは、例えば、例えば、図３４（Ａ）に示す仮想空間２６１１Ｂに対応する視界画像３４１７Ａを、図３４（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像３４１７Ｂを視認することによって、パネルオブジェクト１８３２からコメント３２５３の表示が消去されたことを認識する。これにより、ユーザ５Ｂは、コメント３２５３に対する返答内容３４５４の発話が人工知能に基づいて完了したことを、確認することができる。
In step S3116, the processor 210B transmits the identified
図３５は、ある実施の形態に従う仮想空間２６１１Ａおよびユーザ端末８００Ａの表示面を示す図である。ステップＳ３１０４において、プロセッサ７１０Ａは、コンピュータ２００Ｂから送信された返答内容３４５４を受信する。ステップＳ３１０５において、プロセッサ７１０Ａは、受信した返答内容３４５４を、仮想空間２６１１Ａにおいて、図３５（Ａ）に示すようにアバターオブジェクト６Ｂに発話させる。上述したように、返答内容３４５４は、人工知能に基づいて特定された音声データである。したがって、仮想空間２６１１Ａにおいて返答内容３４５４をアバターオブジェクト６Ｂに発話させることは、仮想空間２６１１Ａにおいて人工知能に基づいてアバターオブジェクト６Ｂの第２カテゴリに属する動作を制御することと同義である。この場合、第２カテゴリに属する動作は、コメントに対する返答内容３４５４を発話する動作である。
FIG. 35 shows a display surface of
プロセッサ７１０Ａは、図３５（Ｂ）に示すように、返答内容３４５４をスピーカ７８０Ｂから出力することによって、アバターオブジェクト６Ｂに返答内容３４５４を発話させる。返答内容３４５４は、ユーザ５Ｂが事前にコンピュータ２００Ｂに録音した、ユーザ５Ｂ自身の音声である。したがって、返答内容３４５４の声質は、アバターオブジェクト６Ｂの番組中にユーザ５Ｂが自発的に話した場合の音声の声質と同一である。これにより、ユーザ５Ｂは、アバターオブジェクト６Ｂが発話した返答内容３４５４に対して違和感を覚えることがない。さらには、返答内容３４５４は、人工知能に基づいて特定された返答内容であるため、コメント３２５３に対する適切な内容のものである。これにより、ユーザ５Ａは、ユーザ５Ａが入力したコメント３２５３に対して、ユーザ５Ｂが自ら適切に返答してくれたものと認識する。言い換えれば、ユーザ５Ａは、返答内容３４５４が人工知能に基づいて自動的に発話されたことを知ることはない。
As shown in FIG. 35B, the processor 710A outputs the
［本実施形態の主要な利点］
以上のように、プロセッサ７１０Ａは、仮想空間２６１１Ａにおいて、ユーザ５Ｂの動きに基づいてアバターオブジェクト６Ｂを制御したり、人工知能に基づいてアバターオブジェクト６Ｂを制御したりする。このように、ユーザ５Ｂは、アバターオブジェクト６Ｂの制御を部分的に人工知能に任せることができる。これにより、アバターオブジェクト６Ｂを制御するためのユーザ５Ｂの負担を低減することができる。
[Main advantages of this embodiment]
As described above, the processor 710A controls the
（変形例）
プロセッサ２１０Ｂではなく、プロセッサ７１０Ａが、コメント３２５３に対する返答内容３４５４を、人工知能に基づいて特定することもできる。具体的には、プロセッサ７１０Ａは、コメント３２５３の入力を検出した場合、コメント３２５３に対する返答内容３４５４を人工知能に基づいて特定する。詳細には、プロセッサ７１０Ａは、返答内容特定モジュール１７２４として、学習済みモデル１７２５を用いて返答内容３４５４を特定する。この態様では、プロセッサ７１０Ａは、ユーザ５Ａのコメント３２５３を必ずしもコンピュータ２００Ｂに送信する必要はない。
(Modification)
Instead of the processor 210B, the processor 710A may specify the
プロセッサ２１０Ｂは、コメントに対する返答内容を、人工知能に基づいて必ずしも特定できるとは限らない。例えば、学習済みモデル１４２９に予め学習されていないコメントについては、コメントに対する返答内容を学習済みモデル１４２９を用いて特定できない場合がある。プロセッサ２１０Ｂは、コメントに対する返答内容が人工知能に基づいて特定されなかった場合、ユーザ５Ｂに返答内容を入力させることを指示する。プロセッサ２１０Ｂは、例えば、パネルオブジェクト１８３２におけるコメントの表示位置に、自動返答不可であることを示すマークを表示すると共に、返答内容の入力をユーザ５Ｂに指示するメッセージを表示する。ユーザ５Ｂは、マークおよびメッセージを視認することによって、コメントに対して人工知能が自動返答できないことを認識し、コメントに対する返答内容（第２返答内容）を自らコンピュータ２００Ｂに入力する。詳細には、ユーザ５Ｂは、コメントに対するユーザ５Ｂの返答内容を口頭で発する。プロセッサ２１０Ｂは、１７０Ｂを用いてユーザ５Ｂの返答内容を録音し、ユーザ端末８００Ａに送信する。
The processor 210B cannot always specify the reply content to the comment based on the artificial intelligence. For example, in the case of a comment that has not been learned in advance by the learned
プロセッサ７１０Ａは、コンピュータ２００Ｂから送信されたユーザ５Ｂの返答内容を受信する。言い換えれば、プロセッサ７１０Ａは、ユーザ５Ｂによって入力された返答内容を、コンピュータ２００Ｂから取得する。プロセッサ７１０Ａは、受信した返答内容を、仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂに発話させる。ここでは、第１カテゴリに属する動作は、アバターオブジェクト６Ｂがコメントに対する返答内容を発話する動作である。本例では、人工知能に基づいてコメントに自動返答できない場合でも、コメントに対する返答内容が適切に発話される。したがって、アバターオブジェクト６Ｂの番組に対する各ユーザの満足度を高めることができる。
The processor 710A receives the reply content of the
プロセッサ７１０Ａは、人工知能に基づいて、第２カテゴリに属する複数の動作の中から、ユーザ端末８００Ａに対するユーザ５Ａの操作に対応する動作を特定すると共に、特定された動作をアバターオブジェクト６Ｂに行わせることもできる。上述したコメントの入力は、ユーザ５Ａの操作の一例であり、上述した返答内容３４５４を発話することは、ユーザ５Ａの操作に対応する動作の一例である。プロセッサ７１０Ａは、他にも、例えばタッチスクリーン７７０Ａにおけるアバターオブジェクト６Ｂの表示位置に対するユーザ５Ａのタップ操作を検出し、検出したタップ操作に対応するアバターオブジェクト６Ｂの動作を、学習済みモデル１７２５を用いて特定することもできる。この例では、学習済みモデル１７２５は、ユーザ５Ｂの動作に基づいてアバターオブジェクト６Ｂにより行われた第２カテゴリに属する動作を、操作に対応付けて学習した学習モデルである。
The processor 710A specifies an operation corresponding to the operation of the
第１カテゴリに属する動作と、第２カテゴリに属する動作とは、同一の動作でも異なる動作でもよい。例えば、両方ともアバターオブジェクト６Ｂの身体を構成する部位を動かす動作であってもよい。あるいは、両方ともアバターオブジェクト６Ｂがコメントに対する返答内容を発話する動作であってもよい。第１カテゴリに属する動作が、アバターオブジェクト６Ｂが発話する動作であり、第２カテゴリに属する動作が、アバターオブジェクト６Ｂの身体を構成する部位を動かす動作であってもよい。
The operation belonging to the first category and the operation belonging to the second category may be the same or different. For example, both may be an operation of moving a part of the
ＨＭＤセット１１０Ａは、ユーザ端末８００Ａと同一の機能を有してもよい。配信システム１５００は、ユーザ５Ｂに関連付けられるアバターオブジェクト６Ｂが仮想空間において実演する番組を、ＨＭＤセット１１０ＢからＨＭＤセット１１０Ａに配信してもよい。ユーザ５Ａは、ＨＭＤセット１１０Ａを用いて当該番組を視聴してもよい。
The HMD set 110A may have the same function as the
〔実施形態２〕
実施形態２では、プロセッサ７１０Ａは、ユーザ５Ｂのリアルタイムの動きに基づくことなく、アバターオブジェクト６Ｂを完全に自動制御する。ユーザ５Ｂは、アバターオブジェクト６Ｂの番組が配信される前に、ＨＭＤ１２０、コントローラ３００、およびモーションセンサ１８４１〜１８４３を装着した状態で、アバターオブジェクト６Ｂを制御するための様々な動きを行う。プロセッサ２１０Ｂは、ユーザ５Ｂの様々な動きを検出し、検出された動きに基づいて、アバターオブジェクト６Ｂを様々な態様で動作させる。プロセッサ２１０Ｂは、検出したユーザ５Ｂの動きごとに、対応するアバターオブジェクト６Ｂの動作を表す動き情報を生成する。プロセッサ２１０Ｂは、生成した各動き情報を、サーバ６００に送信する。
[Embodiment 2]
In the second embodiment, the processor 710A controls the
プロセッサ７１０Ａは、任意のタイミングで、アバターオブジェクト６Ｂの複数の動き情報をサーバ６００からダウンロードし、メモリモジュール８３０Ａに格納する。プロセッサ７１０Ａは、仮想空間２６１１Ａにアバターオブジェクト６Ｂを配置した後、メモリモジュール８３０Ａに記憶されたアバターオブジェクト６Ｂの動き情報に基づいて、アバターオブジェクト６Ｂの第１カテゴリに属する動作を制御する。詳細には、プロセッサ７１０Ａは、メモリモジュール８３０に記憶される複数の動き情報のうちいずれかを特定すると共に、特定した動き情報に基づいてアバターオブジェクト６Ｂを動作させる。プロセッサ２１０Ｂは、動き情報を例えばランダムに特定したり、所定の規則に従って特定したりする。メモリモジュール８３０に記憶された動き情報は、ユーザ５Ｂの実際の動きに基づいて生成された情報である。したがって、メモリモジュール８３０に記憶された動き情報に基づいてアバターオブジェクト６Ｂの第１カテゴリに属する動作を制御することは、ユーザ５Ｂの動きに基づいてアバターオブジェクト６Ｂの第１カテゴリに属する動作を制御することの一例に相当する。
The processor 710A downloads the plurality of pieces of motion information of the
プロセッサ７１０Ａは、例えば、メモリモジュール８３０Ａに記憶された動き情報が、第１パフォーマンスを表す情報である場合、仮想空間２６１１Ａにおいてアバターオブジェクト６Ｂに第１パフォーマンスを実行させる。第１パフォーマンスはユーザ５Ｂの実際の動きに対応するパフォーマンスであるため、ユーザ５Ａは、アバターオブジェクト６Ｂによって行われる第１パフォーマンスに違和感を覚えることがない。言い換えれば、ユーザ５Ａは、ユーザ５Ｂのリアルタイムの動きに基づいてアバターオブジェクト６Ｂが第１パフォーマンスを実行したかのように認識する。
For example, when the motion information stored in the memory module 830A is information representing the first performance, the processor 710A causes the
プロセッサ７１０Ａは、さらに、コメント３２５３に対する返答内容３４５４を、人工知能に基づいて特定する。具体的には、プロセッサ７１０Ａは、ユーザ５Ａによるコメント３２５３の入力を検出した場合、コメント３２５３に対する返答内容３４５４を人工知能に基づいて特定する。詳細には、プロセッサ７１０Ａは、返答内容特定モジュール１７２４として、学習済みモデル１７２５を用いて返答内容３４５４を特定する。プロセッサ７１０Ａは、特定した返答内容３４５４をアバターオブジェクト６Ｂに発話させる。このように、本実施形態では、プロセッサ７１０Ａは、返答内容３４５４をコンピュータ２００Ｂから受信することなく、人工知能に基づいて返答内容３４５４を自ら特定する。
Processor 710A further identifies
本実施形態では、ユーザ５Ｂが何もしなくても、仮想空間２６１１Ａにおけるアバターオブジェクト６Ｂの番組が自動的に進行する。したがって、番組の進行中にアバターオブジェクト６Ｂを制御するためのユーザ５Ｂの負担を完全に無くすことができる。例えばユーザ５Ｂの就寝中など、ユーザ５Ｂがアバターオブジェクト６Ｂを制御することができない状況であっても、ユーザ５Ａは、アバターオブジェクト６Ｂの番組を視聴することができる。
In the present embodiment, the program of the
プロセッサ７１０Ａは、ユーザの動きに基づいてアバターオブジェクト６Ｂを制御することなく、人工知能のみに基づいてアバターオブジェクト６Ｂを自動的に制御することもできる。この場合、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂの第１カテゴリに属する動作と、第２カテゴリに属する動作との双方を、人工知能に基づいて制御する。
The processor 710A can also automatically control the
実施形態１およびその各種変形例については、実施形態２と矛盾しない限り、実施形態２にも適用可能である。 The first embodiment and various modifications thereof can be applied to the second embodiment as long as they are consistent with the second embodiment.
〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。
[Appendix]
The contents according to one aspect of the present invention are listed below.
（項目１） プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ（７１０Ａ）およびメモリ（７２０Ａ）を備えたコンピュータ（ユーザ端末８００Ａ）によって実行される。プログラムは、プロセッサに、第１ユーザ（ユーザ５Ｂ）に関連付けられる第１アバター（アバターオブジェクト６Ｂ）を含む仮想空間（仮想空間２６１１Ａ）を定義するステップ（Ｓ２５２１）と、第１ユーザの動きに基づいて、第１アバターの第１カテゴリに属する動作を制御するステップ（Ｓ２５２９）と、人工知能に基づいて、第１アバターの第２カテゴリに属する動作を制御するステップ（Ｓ３１０５）とを実行させる。
(Item 1) I explained the program. According to an aspect of the present disclosure, a program is executed by a computer (
（項目２） （項目１）において、プログラムは、プロセッサに、第１アバターを含む視界画像（視界画像３０１７Ａ）を第２ユーザ（ユーザ５Ａ）に提供するステップ（Ｓ２５２６）と、第２ユーザによる操作を検出するステップ（Ｓ３１０１）と、を実行させ、第２カテゴリに属する動作を制御するステップにおいて、人工知能に基づいて、第２カテゴリに属する複数の動作の中から操作に対応する動作を特定し、特定された動作を第１アバターに行わせる。
(Item 2) In (Item 1), the program provides the processor with a view image (
（項目３） （項目２）において、第２カテゴリに属する動作を制御するステップにおいて、人工知能によって学習された学習済みモデル（１４２９）を用いて、第２カテゴリに属する複数の動作の中から操作に対応する動作を特定し、特定された動作を第１アバターに行わせ、学習済みモデルは、第１ユーザの動きに基づいて第１アバターにより行われた第２カテゴリに属する動作を、操作に関連付けて学習したモデルである。 (Item 3) In (Item 2), in the step of controlling the action belonging to the second category, the learned model (1429) learned by artificial intelligence is used to operate from among the plurality of actions belonging to the second category. The first avatar is caused to perform the specified action, and the learned model sets the action belonging to the second category performed by the first avatar based on the movement of the first user as the operation. It is a model learned by associating.
（項目４） （項目２）または（項目３）において、第２ユーザの操作は、コメント（３５２３）の入力であり、第２カテゴリに属する動作は、コメントに対する返答内容を発話する動作であり、第２カテゴリに属する動作を制御するステップにおいて、人工知能に基づいて、複数の返答内容の中からコメントに対応する第１返答内容（３４５４）を特定し、特定された第１返答内容を第１アバターに発話させる。 (Item 4) In (Item 2) or (Item 3), the operation of the second user is inputting a comment (3523), and the operation belonging to the second category is an operation of uttering a reply content to the comment, In the step of controlling the operation belonging to the second category, the first reply content (3454) corresponding to the comment is specified from the plurality of reply contents based on the artificial intelligence, and the specified first reply content is set as the first reply content. Have the avatar speak.
（項目５） （項目１）〜（項目４）のいずれかにおいて、第１カテゴリに属する動作は、第１アバター の身体を構成する部位を動かす動作であり、プログラムは、プロセッサに、第１ユーザのリアルタイムの動きに応じた第１アバターの動作を表す動き情報を、リアルタイムに取得するステップ（Ｓ２５２８）を実行させ、第１カテゴリに属する動作を制御するステップにおいて、リアルタイムに取得された動き情報に基づいて、第１カテゴリに属する動作を制御する。 (Item 5) In any one of (Item 1) to (Item 4), the operation belonging to the first category is an operation of moving a part forming the body of the first avatar, and the program is executed by the processor by the first user. The step (S2528) of acquiring the motion information representing the motion of the first avatar according to the real-time motion of is executed in real time, and the motion information acquired in real time is added in the step of controlling the motion belonging to the first category. Based on this, the operation belonging to the first category is controlled.
（項目６） （項目４）において、第１カテゴリに属する動作は、コメントに対する返答内容を発話する動作であり、プログラムは、プロセッサに、第１返答内容が人工知能に基づいて特定されなかった場合、コメントに対する第１ユーザによって入力された第２返答内容をリアルタイムに取得するステップをさらに実行させ、第１カテゴリに属する動作を制御するステップにおいて、リアルタイムに取得された第２返答内容を、第１アバターに発話させる。 (Item 6) In (Item 4), the operation belonging to the first category is an operation of uttering the reply content to the comment, and the program is such that the processor does not specify the first reply content based on the artificial intelligence. In the step of controlling the operation belonging to the first category by further executing the step of acquiring the second response content input by the first user in response to the comment in real time, the second response content acquired in real time is Have the avatar speak.
（項目７） （項目６）において、プログラムは、プロセッサに、第１返答内容が人工知能に基づいて特定されなかった場合、第１ユーザに第２返答内容を入力させることを指示するステップをさらに実行させる。 (Item 7) In (Item 6), the program further includes the step of instructing the processor to cause the first user to input the second response content when the first response content is not specified based on the artificial intelligence. Let it run.
（項目８） （項目１）〜（項目４）のいずれかにおいて、第１ユーザの動きに応じた第１アバターの動作を表す動き情報が、メモリに予め記憶されており、第１アバターの第１カテゴリに属する動作を制御するステップにおいて、メモリに記憶された動き情報に基づいて、第１カテゴリに属する動作を制御する。 (Item 8) In any one of (Item 1) to (Item 4), motion information representing the motion of the first avatar according to the motion of the first user is stored in advance in the memory, and the motion information of the first avatar is stored. In the step of controlling the motion belonging to the one category, the motion belonging to the first category is controlled based on the motion information stored in the memory.
（項目９） 情報処理装置を説明した。本開示のある局面によると、情報処理装置（ユーザ端末８００Ａ）は、情報処理装置によって実行されるプログラムを記憶する記憶部（ストレージ７３０Ａ）と、プログラムを実行することにより、情報処理装置の動作を制御する制御部（プロセッサ７１０Ａ）と、を備えている。制御部は、第１ユーザ（ユーザ５Ｂ）に関連付けられる第１アバター（アバターオブジェクト６Ｂ）を含む仮想空間（仮想空間２６１１Ａ）を定義し、第１ユーザの動きに基づいて、第１アバターの第１カテゴリに属する動作を制御し、人工知能に基づいて、第１アバターの第２カテゴリに属する動作を制御する。
(Item 9) The information processing device has been described. According to an aspect of the present disclosure, an information processing device (
（項目１０） プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、プロセッサ（７１０Ｂ）およびメモリ（７２０Ａ）を備えたコンピュータ（ユーザ端末８００Ａ）によって実行される。方法は、プロセッサが、第１ユーザ（ユーザ５Ｂ）に関連付けられる第１アバター（アバターオブジェクト６Ｂ）を含む仮想空間（仮想空間２６１１Ａ）を定義するステップ（Ｓ２５２１）と、第１ユーザの動きに基づいて、第１アバターの第１カテゴリに属する動作を制御するステップ（Ｓ２５２９）と、人工知能に基づいて、第１アバターの第２カテゴリに属する動作を制御するステップ（Ｓ３１０５）とを含む。
(Item 10) The method of executing the program has been described. According to an aspect of the present disclosure, a program is executed by a computer (
上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augmented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。 In the above-described embodiment, the virtual space (VR space) in which the user is immersed by the HMD has been described as an example, but a transparent HMD may be adopted as the HMD. In this case, by outputting a view image in which a part of the image forming the virtual space is combined with the real space visually recognized by the user through the transmissive HMD, the augmented reality (AR) space or the mixed reality (AR) is output. The user may be provided with a virtual experience in MR (Mixed Reality) space. In this case, instead of the operation object, the action on the target object in the virtual space may be generated based on the movement of the user's hand. Specifically, the processor may specify the coordinate information of the position of the user's hand in the physical space, and define the position of the target object in the virtual space in relation to the coordinate information in the physical space. As a result, the processor can grasp the positional relationship between the user's hand in the real space and the target object in the virtual space, and can execute the process corresponding to the above-described collision control or the like between the user's hand and the target object. .. As a result, it becomes possible to act on the target object based on the movement of the user's hand.
２ ネットワーク、５，５Ａ，５Ｂ，５Ｃ、５Ｄ ユーザ、６，６Ａ，６Ｂ，６Ｃ，６Ｄ アバターオブジェクト、１１，１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ 仮想空間、１２ 中心、１３ パノラマ画像、１４，１４Ａ，１４Ｂ 仮想カメラ、１５，１５Ａ，１５Ｂ，１５Ｃ 視界領域、１６ 基準視線、１７，１７Ａ，１７Ｂ 視界画像、１８，１９ 領域、１００ ＨＭＤシステム、１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ ＨＭＤセット、１２０，１２０Ａ，１２０Ｂ，１２０Ｃ、ＨＭＤ、１３０，１３０Ａ，１３０Ｂ，１３０Ｃ モニタ、１４０ 注視センサ、１５０ 第１カメラ、１６０ 第２カメラ、１７０，１７０Ａ，１７０Ｂ マイク、１８０，１８０Ａ，１８０Ｂ スピーカ、１９０ センサ、２００，２００Ａ，２００Ｂ コンピュータ、２１０，２１０Ａ、２１０Ｂ，２１０Ｃ，２１０Ｄ，６１０，７１０，７１０Ａ プロセッサ、２２０，６２０，７２０ メモリ、２３０，２３０Ａ，２３０Ｂ，６３０，７３０ ストレージ、２４０，６４０，７４０ 入出力インターフェイス、２５０，６５０，７５０ 通信インターフェイス、２６０，６６０，７６０ バス、３００，３００Ｂ コントローラ、３００Ｒ 右コントローラ、３００Ｌ 左コントローラ、３１０ グリップ、３２０ フレーム、３３０ 天面、３４０，３４０，３５０，３７０，３８０ ボタン、３６０ 赤外線ＬＥＤ、３９０ アナログスティック、４１０ ＨＭＤセンサ、４２０，４２０Ａ モーションセンサ、４３０，４３０Ａ ディスプレイ、５１０ コントロールモジュール、５２０ レンダリングモジュール、５３０ メモリモジュール、５４０ 通信制御モジュール、６００ サーバ、７００ 外部機器、７７０，７７０Ａ タッチスクリーン、７８０Ａ スピーカ、１４２１ 仮想オブジェクト生成モジュール、１４２２ 仮想カメラ制御モジュール、１４２３ 操作オブジェクト制御モジュール、１４２４ アバターオブジェクト制御モジュール、１４２５ 動き検出モジュール、１４２６ 衝突検出モジュール、１４２７ 仮想オブジェクト制御モジュール、１４２８ 返答内容特定モジュール、１４２９ 学習済みモデル、１８１７Ｂ，１９１７Ａ，２６１７，２６１７Ｂ，２７１７Ａ，２９１７Ｂ，３０１７Ａ，３０１７Ｂ，３３１７Ｂ，３４１７Ａ，３４１７Ｂ 視界画像、１８３１ＬＢ 仮想左手、１８３１ＲＢ 仮想右手、１８３２ パネルオブジェクト、１８４１，１８４２，１８４３ モーションセンサ、１８４４ ベルト、１９５１ 仮想視点、１９５２ コメント欄、２６１１Ａ，２６１１Ｂ 仮想空間、３２５３ コメント、３４５４ 返信 2 network, 5, 5A, 5B, 5C, 5D user, 6, 6A, 6B, 6C, 6D avatar object, 11, 11A, 11B, 11C, 11D virtual space, 12 center, 13 panoramic image, 14, 14A, 14B Virtual camera, 15, 15A, 15B, 15C View area, 16 Reference line of sight, 17, 17A, 17B View image, 18, 19 area, 100 HMD system, 110, 110A, 110B, 110C, 110D HMD set, 120, 120A, 120B, 120C, HMD, 130, 130A, 130B, 130C monitor, 140 gaze sensor, 150 first camera, 160 second camera, 170, 170A, 170B microphone, 180, 180A, 180B speaker, 190 sensor, 200, 200A, 200B computer, 210, 210A, 210B, 210C, 210D, 610, 710, 710A processor, 220, 620, 720 memory, 230, 230A, 230B, 630, 730 storage, 240, 640, 740 input/output interface, 250, 650 , 750 communication interface, 260, 660, 760 bus, 300, 300B controller, 300R right controller, 300L left controller, 310 grip, 320 frame, 330 top surface, 340, 340, 350, 370, 380 button, 360 infrared LED, 390 analog stick, 410 HMD sensor, 420, 420A motion sensor, 430, 430A display, 510 control module, 520 rendering module, 530 memory module, 540 communication control module, 600 server, 700 external device, 770, 770A touch screen, 780A Speaker, 1421 virtual object generation module, 1422 virtual camera control module, 1423 operation object control module, 1424 avatar object control module, 1425 motion detection module, 1426 collision detection module, 1427 virtual object control module, 1428 reply content identification module, 1429 learning Used models, 1817B, 1917A, 2617, 26 17B, 2717A, 2917B, 3017A, 3017B, 3317B, 3417A, 3417B View image, 1831LB virtual left hand, 1831RB virtual right hand, 1832 panel object, 1841, 1842, 1843 motion sensor, 1844 belt, 1951 virtual viewpoint, 1952 comment field, 2611A , 2611B Virtual space, 3253 Comment, 3454 Reply
Claims (11)
前記プログラムは、前記プロセッサに、
第１ユーザに関連付けられる第１アバターを含む仮想空間を定義するステップと、
前記第１ユーザの動きに基づいて、前記第１アバターの第１カテゴリに属する動作を制御する第１制御ステップと、
人工知能に基づいて、前記第１アバターの第２カテゴリに属する動作を制御する第２制御ステップと、
前記第１アバターを含む視界画像を第２ユーザに提供するステップと、
前記第２ユーザによる操作を検出するステップとを実行させ、
前記第２制御ステップにおいて、前記人工知能によって学習された学習済みモデルを用いて、前記第２カテゴリに属する複数の動作の中から前記操作に対応する動作を特定し、特定された前記動作を前記第１アバターに行わせ、
前記学習済みモデルは、前記第１ユーザの動きに基づいて前記第１アバターにより行われた前記第２カテゴリに属する動作を、操作に関連付けて学習したモデルである、プログラム。 A program executed by a computer having a processor and a memory,
The program causes the processor to
Defining a virtual space that includes a first avatar associated with a first user;
A first control step of controlling an operation belonging to the first category of the first avatar based on the movement of the first user;
A second control step of controlling an action belonging to the second category of the first avatar based on artificial intelligence ;
Providing a view image including the first avatar to a second user,
Detecting the operation by the second user ,
In the second control step, using the learned model learned by the artificial intelligence, a motion corresponding to the operation is specified from a plurality of motions belonging to the second category, and the specified motion is described as above. Let the first avatar do it,
The learned model, an operation belonging to the second category which is performed by the first avatar based on the motion of the first user, Ru Oh model learned in association with the operation, the program.
前記プログラムは、前記プロセッサに、
第１ユーザに関連付けられる第１アバターを含む仮想空間を定義するステップと、
前記第１ユーザの動きに基づいて、前記第１アバターの第１カテゴリに属する動作を制御する第１制御ステップと、
人工知能に基づいて、前記第１アバターの第２カテゴリに属する動作を制御する第２制御ステップと、
前記第１アバターを含む視界画像を第２ユーザに提供するステップと、
前記第２ユーザによるコメントの入力を検出するステップとを実行させ、
前記第２カテゴリに属する動作は、前記コメントに対する返答内容を発話する動作であり、
前記第２制御ステップにおいて、前記人工知能に基づいて、複数の返答内容の中から前記コメントに対応する第１返答内容を特定し、特定された前記第１返答内容を前記第１アバターに発話させる、プログラム。 A program executed by a computer having a processor and a memory,
The program causes the processor to
Defining a virtual space that includes a first avatar associated with a first user;
A first control step of controlling an operation belonging to the first category of the first avatar based on the movement of the first user;
A second control step of controlling an action belonging to the second category of the first avatar based on artificial intelligence ;
Providing a view image including the first avatar to a second user,
Detecting the input of a comment by the second user ,
The operation belonging to the second category is an operation of uttering a reply content to the comment,
In the second control step, based on the artificial intelligence, a first reply content corresponding to the comment is specified from a plurality of reply contents, and the specified first reply content is uttered by the first avatar. Program.
前記第２カテゴリに属する動作は、前記コメントに対する返答内容を発話する動作であり、
前記第２制御ステップにおいて、前記人工知能に基づいて、複数の返答内容の中から前記コメントに対応する第１返答内容を特定し、特定された前記第１返答内容を前記第１アバターに発話させる、請求項１に記載のプログラム。 The operation of the second user is inputting a comment,
The operation belonging to the second category is an operation of uttering a reply content to the comment,
In the second control step, based on the artificial intelligence, a first response content corresponding to the comment is identified from a plurality of response content, and the identified first response content is uttered by the first avatar. The program according to claim 1 .
前記プログラムは、前記プロセッサに、
前記第１ユーザのリアルタイムの動きに応じた前記第１アバターの動作を表す動き情報を、リアルタイムに取得するステップを実行させ、
前記第１制御ステップにおいて、リアルタイムに取得された前記動き情報に基づいて、前記第１カテゴリに属する動作を制御する、請求項１〜３のいずれか１項に記載のプログラム。 The operation belonging to the first category is an operation of moving a part forming the body of the first avatar,
The program causes the processor to
Performing a step of acquiring, in real time, motion information representing the motion of the first avatar according to the real-time motion of the first user,
Wherein the first control step, based on the motion information obtained in real time, the controlling the operation belonging to the first category, the program according to any one of claims 1-3.
前記プログラムは、前記プロセッサに、
前記第１返答内容が前記人工知能に基づいて特定されなかった場合、前記コメントに対する前記第１ユーザによって入力された第２返答内容をリアルタイムに取得するステップをさらに実行させ、
前記第１制御ステップにおいて、リアルタイムに取得された前記第２返答内容を、前記第１アバターに発話させる、請求項２又は３に記載のプログラム。 The operation belonging to the first category is an operation of uttering a reply content to the comment,
The program causes the processor to
When the first reply content is not specified based on the artificial intelligence, the step of acquiring the second reply content input by the first user in response to the comment in real time is further executed.
The program according to claim 2 or 3 , wherein in the first control step, the first avatar is caused to speak the second response content obtained in real time.
前記第１返答内容が前記人工知能に基づいて特定されなかった場合、前記第２返答内容を入力することを前記第１ユーザに指示するステップをさらに実行させる、請求項５に記載のプログラム。 The program causes the processor to
The program according to claim 5 , further comprising a step of instructing the first user to input the second response content if the first response content is not specified based on the artificial intelligence.
前記第１制御ステップにおいて、前記メモリに記憶された前記動き情報に基づいて、前記第１カテゴリに属する動作を制御する、請求項１〜３のいずれか１項に記載のプログラム。 Motion information representing the motion of the first avatar according to the motion of the first user is stored in advance in the memory,
Wherein the first control step, on the basis of the said motion information memory stored in the control operation of the belonging to the first category, the program according to any one of claims 1-3.
前記情報処理装置は、
前記情報処理装置によって実行されるプログラムを記憶する記憶部と、
前記プログラムを実行することにより、前記情報処理装置の動作を制御する制御部と、を備え、
前記制御部は、
第１ユーザに関連付けられる第１アバターを含む仮想空間を定義し、
前記第１ユーザの動きに基づいて、前記第１アバターの第１カテゴリに属する動作を制御し、
人工知能に基づいて、前記第１アバターの第２カテゴリに属する動作を制御し、
前記第１アバターを含む視界画像を第２ユーザに提供し、
前記第２ユーザによる操作を検出し、
前記第２カテゴリに属する動作を制御する際に、前記人工知能によって学習された学習済みモデルを用いて、前記第２カテゴリに属する複数の動作の中から前記操作に対応する動作を特定し、特定された前記動作を前記第１アバターに行わせ、
前記学習済みモデルは、前記第１ユーザの動きに基づいて前記第１アバターにより行われた前記第２カテゴリに属する動作を、操作に関連付けて学習したモデルである、情報処理装置。 An information processing device,
The information processing device,
A storage unit that stores a program executed by the information processing device;
A control unit that controls the operation of the information processing device by executing the program;
The control unit is
Defining a virtual space containing a first avatar associated with a first user,
Controlling the movement of the first avatar belonging to the first category based on the movement of the first user;
Controlling the movement of the first avatar belonging to the second category based on artificial intelligence ;
Providing a view image including the first avatar to a second user,
Detecting an operation by the second user,
When controlling the operation belonging to the second category, the learned model learned by the artificial intelligence is used to identify the operation corresponding to the operation from the plurality of operations belonging to the second category, and specify the operation. Causing the first avatar to perform the above-described action,
The learned model, an operation belonging to the second category which is performed by the first avatar based on the motion of the first user, Ru Oh model learned in association with the operation, the information processing apparatus.
前記方法は、前記プロセッサが、
第１ユーザに関連付けられる第１アバターを含む仮想空間を定義するステップと、
前記第１ユーザの動きに基づいて、前記第１アバターの第１カテゴリに属する動作を制御する第１制御ステップと、
人工知能に基づいて、前記第１アバターの第２カテゴリに属する動作を制御する第２制御ステップと、
前記第１アバターを含む視界画像を第２ユーザに提供するステップと、
前記第２ユーザによる操作を検出するステップとを含み、
前記第２制御ステップにおいて、前記人工知能によって学習された学習済みモデルを用いて、前記第２カテゴリに属する複数の動作の中から前記操作に対応する動作を特定し、特定された前記動作を前記第１アバターに行わせ、
前記学習済みモデルは、前記第１ユーザの動きに基づいて前記第１アバターにより行われた前記第２カテゴリに属する動作を、操作に関連付けて学習したモデルである、方法。 A method of causing a computer having a processor and memory to execute a program,
In the method, the processor
Defining a virtual space that includes a first avatar associated with a first user;
A first control step of controlling an operation belonging to the first category of the first avatar based on the movement of the first user;
A second control step of controlling an action belonging to the second category of the first avatar based on artificial intelligence ;
Providing a view image including the first avatar to a second user,
Detecting the operation by the second user,
In the second control step, using the learned model learned by the artificial intelligence, a motion corresponding to the operation is specified from a plurality of motions belonging to the second category, and the specified motion is described as above. Let the first avatar do it,
The learned model, an operation belonging to the second category which is performed by the first avatar based on the motion of the first user, Ru Oh model learned in association with the operation method.
前記情報処理装置は、 The information processing device,
前記情報処理装置によって実行されるプログラムを記憶する記憶部と、 A storage unit that stores a program executed by the information processing device;
前記プログラムを実行することにより、前記情報処理装置の動作を制御する制御部と、を備え、 A control unit that controls the operation of the information processing device by executing the program;
前記制御部は、 The control unit is
第１ユーザに関連付けられる第１アバターを含む仮想空間を定義し、 Defining a virtual space containing a first avatar associated with a first user,
前記第１ユーザの動きに基づいて、前記第１アバターの第１カテゴリに属する動作を制御し、 Controlling the movement of the first avatar belonging to the first category based on the movement of the first user;
人工知能に基づいて、前記第１アバターの第２カテゴリに属する動作を制御し、 Controlling the movement of the first avatar belonging to the second category based on artificial intelligence;
前記第１アバターを含む視界画像を第２ユーザに提供し、 Providing a view image including the first avatar to a second user,
前記第２ユーザによるコメントの入力を検出し、 Detecting the input of a comment by the second user,
前記第２カテゴリに属する動作は、前記コメントに対する返答内容を発話する動作であり、 The operation belonging to the second category is an operation of uttering a reply content to the comment,
前記第２カテゴリに属する動作を制御する際に、前記人工知能に基づいて、複数の返答内容の中から前記コメントに対応する第１返答内容を特定し、特定された前記第１返答内容を前記第１アバターに発話させる、情報処理装置。 When controlling the operation belonging to the second category, the first response content corresponding to the comment is specified from a plurality of response content based on the artificial intelligence, and the specified first response content is set to the An information processing device that causes the first avatar to speak.
前記方法は、前記プロセッサが、 In the method, the processor
第１ユーザに関連付けられる第１アバターを含む仮想空間を定義するステップと、 Defining a virtual space that includes a first avatar associated with a first user;
前記第１ユーザの動きに基づいて、前記第１アバターの第１カテゴリに属する動作を制御する第１制御ステップと、 A first control step of controlling an operation belonging to the first category of the first avatar based on the movement of the first user;
人工知能に基づいて、前記第１アバターの第２カテゴリに属する動作を制御する第２制御ステップと、 A second control step of controlling an operation belonging to the second category of the first avatar based on artificial intelligence;
前記第１アバターを含む視界画像を第２ユーザに提供するステップと、 Providing a view image including the first avatar to a second user,
前記第２ユーザによるコメントの入力を検出するステップとを含み、 Detecting the input of a comment by the second user,
前記第２カテゴリに属する動作は、前記コメントに対する返答内容を発話する動作であり、 The operation belonging to the second category is an operation of uttering a reply content to the comment,
前記第２制御ステップにおいて、前記人工知能に基づいて、複数の返答内容の中から前記コメントに対応する第１返答内容を特定し、特定された前記第１返答内容を前記第１アバターに発話させる、方法。 In the second control step, based on the artificial intelligence, a first response content corresponding to the comment is identified from a plurality of response content, and the identified first response content is uttered by the first avatar. ,Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018170047A JP6718933B2 (en) | 2018-09-11 | 2018-09-11 | Program, information processing apparatus, and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018170047A JP6718933B2 (en) | 2018-09-11 | 2018-09-11 | Program, information processing apparatus, and method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020103114A Division JP2020184344A (en) | 2020-06-15 | 2020-06-15 | Program, information processing device, and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020042593A JP2020042593A (en) | 2020-03-19 |
| JP6718933B2 true JP6718933B2 (en) | 2020-07-08 |
Family
ID=69798304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018170047A Active JP6718933B2 (en) | 2018-09-11 | 2018-09-11 | Program, information processing apparatus, and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6718933B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111935491B (en) | 2020-06-28 | 2023-04-07 | 百度在线网络技术（北京）有限公司 | Live broadcast special effect processing method and device and server |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9480919B2 (en) * | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
| US9159151B2 (en) * | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
| US10213688B2 (en) * | 2015-08-26 | 2019-02-26 | Warner Bros. Entertainment, Inc. | Social and procedural effects for computer-generated environments |
| JP6212667B1 (en) * | 2016-12-26 | 2017-10-11 | 株式会社コロプラ | Method executed by computer to communicate via virtual space, program causing computer to execute the method, and information processing apparatus |
| JP6275891B1 (en) * | 2017-01-27 | 2018-02-07 | 株式会社コロプラ | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program |
| JP6266814B1 (en) * | 2017-01-27 | 2018-01-24 | 株式会社コロプラ | Information processing method and program for causing computer to execute information processing method |
-
2018
- 2018-09-11 JP JP2018170047A patent/JP6718933B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020042593A (en) | 2020-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6244593B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP6263252B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP6514397B1 (en) | SYSTEM, PROGRAM, METHOD, AND INFORMATION PROCESSING APPARATUS | |
| JP6392911B2 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
| CN109643161A (en) | Dynamic enters and leaves the reality environment browsed by different HMD users | |
| JP6290467B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
| JP7488867B2 (en) | Programs and Systems | |
| JP6201028B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP7181148B2 (en) | System, program, method, and information processing device | |
| US20180374275A1 (en) | Information processing method and apparatus, and program for executing the information processing method on computer | |
| JP7394158B2 (en) | Program and method executed on a computer and information processing apparatus for providing a virtual space via a head-mounted device | |
| JP2019128721A (en) | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar | |
| JP2018125003A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
| JP2018124981A (en) | Information processing method, information processing device and program causing computer to execute information processing method | |
| JP2019032844A (en) | Information processing method, device, and program for causing computer to execute the method | |
| JP6225242B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
| JP6820299B2 (en) | Programs, information processing equipment, and methods | |
| JP6718933B2 (en) | Program, information processing apparatus, and method | |
| JP6839046B2 (en) | Information processing methods, devices, information processing systems, and programs that allow computers to execute the information processing methods. | |
| JP2019030638A (en) | Information processing method, device, and program for causing computer to execute information processing method | |
| JP2018092635A (en) | Information processing method, device, and program for implementing that information processing method on computer | |
| JP2018190196A (en) | Information processing method, information processing device, program causing computer to execute information processing method | |
| JP2018092592A (en) | Information processing method, apparatus, and program for implementing that information processing method on computer | |
| JP7111848B2 (en) | Program, Information Processing Apparatus, and Method | |
| JP2020184344A (en) | Program, information processing device, and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6718933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |