本開示に係るシステムは、複数のユーザにゲームを提供するためのシステムである。以下、該システムについて図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。
<システム1の動作概要>
図1は、本実施形態に係るシステム1の概要を示す図である。システム1は、複数のユーザ端末100(コンピュータ)と、サーバ200と、ゲームプレイ端末300(外部装置、第2外部装置)と、配信端末400(外部、第1外部装置)とを含む。なお、図1では、複数のユーザ端末100の一例として、ユーザ端末100A~100C、換言すれば、3台のユーザ端末100を記載しているが、ユーザ端末100の台数は図示の例に限定されない。また、本実施形態では、ユーザ端末100A~Cを区別する必要が無い場合、「ユーザ端末100」と記載する。ユーザ端末100、ゲームプレイ端末300、および配信端末400は、サーバ200とネットワーク2を介して接続する。ネットワーク2は、インターネットおよび図示しない無線基地局によって構築される各種移動通信システム等で構成される。この移動通信システムとしては、例えば、所謂3G、4G移動通信システム、LTE(Long Term Evolution)、および所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク(例えばWi-Fi(登録商標))等が挙げられる。
(ゲームの概要)
本実施形態では、システム1によって提供されるゲーム(以下、本ゲーム)の一例として、ゲームプレイ端末300のユーザが主としてプレイするゲームを説明する。以下、ゲームプレイ端末300のユーザを、「プレイヤ」と称する。プレイヤ(演者)は、一例として、本ゲームに登場するキャラクタを操作することにより、ゲームを進行させる。また、本ゲームにおいて、ユーザ端末100のユーザは、プレイヤによるゲームの進行を支援する役割を担う。本ゲームの詳細については後述する。なお、システム1によって提供されるゲームは、複数のユーザが参加するゲームであればよく、この例に限定されない。
(ゲームプレイ端末300)
ゲームプレイ端末300は、プレイヤによる入力操作に応じてゲームを進行させる。また、ゲームプレイ端末300は、プレイヤのゲームプレイにより生成された情報(以下、ゲーム進行情報)を、順次、サーバ200にリアルタイムで配信する。
(サーバ200)
サーバ200は、ゲームプレイ端末300からリアルタイムに受信したゲーム進行情報(第2データ)を、ユーザ端末100に送信する。また、サーバ200は、ユーザ端末100、ゲームプレイ端末300、および配信端末400の間の各種情報の送受信を仲介する。
(配信端末400)
配信端末400は、配信端末400のユーザによる入力操作に応じて、動作指図データ(第1データ)を生成し、サーバ200を介してユーザ端末100へ動作指図データを配信する。動作指図データとは、ユーザ端末100において動画を再生するためのデータであり、具体的には、動画に登場するキャラクタを動作させるためのデータである。
本実施形態では、一例として、配信端末400のユーザは、本ゲームのプレイヤである。また、一例として、ユーザ端末100にて動作指図データに基づいて再生される動画は、プレイヤがゲームで操作したキャラクタが動作する動画である。「動作」とは、キャラクタの身体の少なくとも一部を動かすことであり、発話も含む。このため、本実施形態に係る動作指図データは、例えば、キャラクタに発話させるための音声データと、キャラクタの身体を動かすためのモーションデータとを含む。
動作指図データは、一例として、本ゲームの終了後にユーザ端末100へ送信される。動作指図データ、および、該動作指図データに基づいて再生される動画の詳細については後述する。
(ユーザ端末100)
ユーザ端末100は、ゲーム進行情報をリアルタイムに受信し、該情報を用いてゲーム画面を生成して表示する。換言すれば、ユーザ端末100は、リアルタイムレンダリングにより、プレイヤがプレイしているゲームのゲーム画面を再生する。これにより、ユーザ端末100のユーザは、プレイヤがゲームをプレイしながら視認しているゲーム画面と同一のゲーム画面を、プレイヤとほぼ同じタイミングで視認することができる。
また、ユーザ端末100は、ユーザによる入力操作に応じて、プレイヤによるゲームの進行を支援するための情報を生成し、該情報を、サーバ200を介してゲームプレイ端末300へ送信する。該情報の詳細については後述する。
また、ユーザ端末100は、配信端末400から動作指図データを受信し、該動作指図データを用いて動画(映像)を生成して再生する。換言すれば、ユーザ端末100は、動作指図データをレンダリングして再生する。
<システム1のハードウェア構成>
図2は、ユーザ端末100のハードウェア構成を示す図である。図3は、サーバ200のハードウェア構成を示す図である。図4は、ゲームプレイ端末300のハードウェア構成を示す図である。図5は、配信端末400のハードウェア構成を示す図である。
(ユーザ端末100)
本実施形態では、一例として、ユーザ端末100がスマートフォンとして実現される例を説明するが、ユーザ端末100はスマートフォンに限定されない。例えば、ユーザ端末100はフィーチャーフォン、タブレット型コンピュータ、ラップトップ型コンピュータ(いわゆる、ノートパソコン)、または、デスクトップ型コンピュータなどとして実現されてもよい。また、ユーザ端末100は、ゲームプレイに適したゲーム装置であってもよい。
ユーザ端末100は図2に示すように、プロセッサ10と、メモリ11と、ストレージ12と、通信インターフェース(IF)13と、入出力IF14と、タッチスクリーン15(表示部)と、カメラ17と、測距センサ18とを備える。ユーザ端末100が備えるこれらの構成は、通信バスによって互いに電気的に接続される。なお、ユーザ端末100は、タッチスクリーン15に代えて、または、加えて、ユーザ端末100本体とは別に構成されたディスプレイ(表示部)を接続可能な入出力IF14を備えていてもよい。
また、図2に示すように、ユーザ端末100は、1つ以上のコントローラ1020と通信可能に構成されることとしてもよい。コントローラ1020は、例えば、Bluetooth(登録商標)等の通信規格に従って、ユーザ端末100と通信を確立する。コントローラ1020は、1つ以上のボタン等を有していてもよく、該ボタン等に対するユーザの入力操作に基づく出力値をユーザ端末100へ送信する。また、コントローラ1020は、加速度センサ、および、角速度センサ等の各種センサを有していてもよく、該各種センサの出力値をユーザ端末100へ送信する。
なお、ユーザ端末100がカメラ17および測距センサ18を備えることに代えて、または、加えて、コントローラ1020がカメラ17および測距センサ18を有していてもよい。
ユーザ端末100は、例えばゲーム開始時に、コントローラ1020を使用するユーザに、該ユーザの名前またはログインID等のユーザ識別情報を、該コントローラ1020を介して入力させることが望ましい。これにより、ユーザ端末100は、コントローラ1020とユーザとを紐付けることが可能となり、受信した出力値の送信元(コントローラ1020)に基づいて、該出力値がどのユーザのものであるかを特定することができる。
ユーザ端末100が複数のコントローラ1020と通信する場合、各コントローラ1020を各ユーザが把持することで、ネットワーク2を介してサーバ200などの他の装置と通信せずに、該1台のユーザ端末100でマルチプレイを実現することができる。また、各ユーザ端末100が無線LAN(Local Area Network)規格等の無線規格により互いに通信接続する(サーバ200を介さずに通信接続する)ことで、複数台のユーザ端末100によりローカルでマルチプレイを実現することもできる。1台のユーザ端末100によりローカルで上述のマルチプレイを実現する場合、ユーザ端末100は、さらに、サーバ200が備える後述する種々の機能の少なくとも一部を備えていてもよい。また、複数のユーザ端末100によりローカルで上述のマルチプレイを実現する場合、複数のユーザ端末100は、サーバ200が備える後述する種々の機能を分散して備えていてもよい。
なお、ローカルで上述のマルチプレイを実現する場合であっても、ユーザ端末100はサーバ200と通信を行ってもよい。例えば、あるゲームにおける成績または勝敗等のプレイ結果を示す情報と、ユーザ識別情報とを対応付けてサーバ200に送信してもよい。
また、コントローラ1020は、ユーザ端末100に着脱可能な構成であるとしてもよい。この場合、ユーザ端末100の筐体における少なくともいずれかの面に、コントローラ1020との結合部が設けられていてもよい。該結合部を介して有線によりユーザ端末100とコントローラ1020とが結合している場合は、ユーザ端末100とコントローラ1020とは、有線を介して信号を送受信する。
図2に示すように、ユーザ端末100は、外部のメモリカード等の記憶媒体1030の装着を、入出力IF14を介して受け付けてもよい。これにより、ユーザ端末100は、記憶媒体1030に記録されるプログラム及びデータを読み込むことができる。記憶媒体1030に記録されるプログラムは、例えばゲームプログラムである。
ユーザ端末100は、サーバ200等の外部の装置と通信することにより取得したゲームプログラムをユーザ端末100のメモリ11に記憶してもよいし、記憶媒体1030から読み込むことにより取得したゲームプログラムをメモリ11に記憶してもよい。
以上で説明したとおり、ユーザ端末100は、該ユーザ端末100に対して情報を入力する機構の一例として、通信IF13、入出力IF14、タッチスクリーン15、カメラ17、および、測距センサ18を備える。入力する機構としての上述の各部は、ユーザの入力操作を受け付けるように構成された操作部と捉えることができる。
例えば、操作部が、カメラ17および測距センサ18の少なくともいずれか一方で構成される場合、該操作部が、ユーザ端末100の近傍の物体1010を検出し、当該物体の検出結果から入力操作を特定する。一例として、物体1010としてのユーザの手、予め定められた形状のマーカーなどが検出され、検出結果として得られた物体1010の色、形状、動き、または、種類などに基づいて入力操作が特定される。より具体的には、ユーザ端末100は、カメラ17の撮影画像からユーザの手が検出された場合、該撮影画像に基づき検出されるジェスチャ(ユーザの手の一連の動き)を、ユーザの入力操作として特定し、受け付ける。なお、撮影画像は静止画であっても動画であってもよい。
あるいは、操作部がタッチスクリーン15で構成される場合、ユーザ端末100は、タッチスクリーン15の入力部151に対して実施されたユーザの操作をユーザの入力操作として特定し、受け付ける。あるいは、操作部が通信IF13で構成される場合、ユーザ端末100は、コントローラ1020から送信される信号(例えば、出力値)をユーザの入力操作として特定し、受け付ける。あるいは、操作部が入出力IF14で構成される場合、該入出力IF14と接続されるコントローラ1020とは異なる入力装置(図示せず)から出力される信号をユーザの入力操作として特定し、受け付ける。
(サーバ200)
サーバ200は、一例として、ワークステーションまたはパーソナルコンピュータなどの汎用コンピュータであってよい。サーバ200は、プロセッサ20と、メモリ21と、ストレージ22と、通信IF23と、入出力IF24とを備える。サーバ200が備えるこれらの構成は、通信バスによって互いに電気的に接続される。
(ゲームプレイ端末300)
ゲームプレイ端末300は、一例として、パーソナルコンピュータなどの汎用コンピュータであってよい。ゲームプレイ端末300は、プロセッサ30と、メモリ31と、ストレージ32と、通信IF33と、入出力IF34とを備える。ゲームプレイ端末300が備えるこれらの構成は、通信バスによって互いに電気的に接続される。
図4に示すように、本実施形態に係るゲームプレイ端末300は、一例として、HMD(Head Mounted Display)セット1000に含まれる。つまり、HMDセット1000が、システム1に含まれていると表現することができ、また、プレイヤは、HMDセット1000を用いてゲームをプレイすると表現することもできる。なお、プレイヤがゲームをプレイするための装置は、HMDセット1000に限定されない。一例として、該装置は、プレイヤにゲームを仮想体験させることが可能な装置であればよい。また、該装置は、スマートフォン、フィーチャーフォン、タブレット型コンピュータ、ラップトップ型コンピュータ(いわゆる、ノートパソコン)、または、デスクトップ型コンピュータなどとして実現されてもよい。また、該装置は、ゲームプレイに適したゲーム装置であってもよい。
HMDセット1000は、ゲームプレイ端末300の他、HMD500、HMDセンサ510、モーションセンサ520、ディスプレイ530、コントローラ540を備える。HMD500は、モニタ51と、注視センサ52と、第1カメラ53と、第2カメラ54と、マイク55と、スピーカ56とを含む。コントローラ540は、モーションセンサ520を含み得る。
HMD500は、プレイヤの頭部に装着され、動作中に仮想空間をプレイヤに提供し得る。より具体的には、HMD500は、右目用の画像および左目用の画像をモニタ51にそれぞれ表示する。プレイヤの各目がそれぞれの画像を視認すると、プレイヤは、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD500は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ51は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ51は、プレイヤの両目の前方に位置するようにHMD500の本体に配置されている。したがって、プレイヤは、モニタ51に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、プレイヤが操作可能なオブジェクト、プレイヤが選択可能なメニューの画像を含む。ある局面において、モニタ51は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
別の局面において、モニタ51は、透過型の表示装置として実現され得る。この場合、HMD500は、図1に示されるようにプレイヤの目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ51は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ51は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ51は、HMD500に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ51は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ51は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ51は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
ある局面において、HMD500は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ510は、HMD500の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ510は、HMD500が発する複数の赤外線を読み取り、現実空間内におけるHMD500の位置および傾きを検出する。
別の局面において、HMDセンサ510は、カメラにより実現されてもよい。この場合、HMDセンサ510は、カメラから出力されるHMD500の画像情報を用いて、画像解析処理を実行することにより、HMD500の位置および傾きを検出することができる。
別の局面において、HMD500は、位置検出器として、HMDセンサ510の代わりに、あるいはHMDセンサ510に加えてセンサ(不図示)を備えてもよい。HMD500は、該センサを用いて、HMD500自身の位置および傾きを検出し得る。例えば、該センサが角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD500は、HMDセンサ510の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、HMD500に備えられたセンサが角速度センサである場合、角速度センサは、現実空間におけるHMD500の3軸周りの角速度を経時的に検出する。HMD500は、各角速度に基づいて、HMD500の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD500の傾きを算出する。
注視センサ52は、プレイヤの右目および左目の視線が向けられる方向を検出する。つまり、注視センサ52は、プレイヤの視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ52は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ52は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ52は、例えば、プレイヤの右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ52は、検出した各回転角に基づいて、プレイヤの視線を検知することができる。
第1カメラ53は、プレイヤの顔の下部を撮影する。より具体的には、第1カメラ53は、プレイヤの鼻および口などを撮影する。第2カメラ54は、プレイヤの目および眉などを撮影する。HMD500のプレイヤ側の筐体をHMD500の内側、HMD500のプレイヤとは逆側の筐体をHMD500の外側と定義する。ある局面において、第1カメラ53は、HMD500の外側に配置され、第2カメラ54は、HMD500の内側に配置され得る。第1カメラ53および第2カメラ54が生成した画像は、ゲームプレイ端末300に入力される。別の局面において、第1カメラ53と第2カメラ54とを1台のカメラとして実現し、この1台のカメラでプレイヤの顔を撮影するようにしてもよい。
マイク55は、プレイヤの発話を音声信号(電気信号)に変換してゲームプレイ端末300に出力する。スピーカ56は、音声信号を音声に変換してプレイヤに出力する。別の局面において、HMD500は、スピーカ56に替えてイヤホンを含み得る。
コントローラ540は、有線または無線によりゲームプレイ端末300に接続されている。コントローラ540は、プレイヤからゲームプレイ端末300への命令の入力を受け付ける。ある局面において、コントローラ540は、プレイヤによって把持可能に構成される。別の局面において、コントローラ540は、プレイヤの身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ540は、ゲームプレイ端末300から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ540は、プレイヤから、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
ある局面において、コントローラ540は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ510は、ポジショントラッキング機能を有する。この場合、HMDセンサ510は、コントローラ540が発する複数の赤外線を読み取り、現実空間内におけるコントローラ540の位置および傾きを検出する。別の局面において、HMDセンサ510は、カメラにより実現されてもよい。この場合、HMDセンサ510は、カメラから出力されるコントローラ540の画像情報を用いて、画像解析処理を実行することにより、コントローラ540の位置および傾きを検出することができる。
モーションセンサ520は、ある局面において、プレイヤの手に取り付けられて、プレイヤの手の動きを検出する。例えば、モーションセンサ520は、手の回転速度、回転数等を検出する。検出された信号は、ゲームプレイ端末300に送られる。モーションセンサ520は、例えば、コントローラ540に設けられている。ある局面において、モーションセンサ520は、例えば、プレイヤに把持可能に構成されたコントローラ540に設けられている。別の局面において、現実空間における安全のため、コントローラ540は、手袋型のようにプレイヤの手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、プレイヤに装着されないセンサがプレイヤの手の動きを検出してもよい。例えば、プレイヤを撮影するカメラの信号が、プレイヤの動作を表わす信号として、ゲームプレイ端末300に入力されてもよい。モーションセンサ520とゲームプレイ端末300とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetoothその他の公知の通信手法が用いられる。
ディスプレイ530は、モニタ51に表示されている画像と同様の画像を表示する。これにより、HMD500を装着しているプレイヤ以外のユーザにもプレイヤと同様の画像を視聴させることができる。ディスプレイ530に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ530としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
ゲームプレイ端末300は、HMD500の各部、コントローラ540、およびモーションセンサ520から取得した各種情報に基づいて、プレイヤの操作対象となるキャラクタを動作させ、ゲームを進行させる。ここでの「動作」には、身体の各部を動かすこと、姿勢を変えること、顔の表情を変えること、移動、発話、仮想空間に配置されたオブジェクトに触れたり、動かしたりすること、キャラクタが把持する武器、道具などを使用することなどが含まれる。すなわち、本ゲームでは、プレイヤが身体の各部を動かすことにより、キャラクタもプレイヤと同様に身体の各部を動かす。また、本ゲームでは、プレイヤが発話した内容をキャラクタが発話する。換言すれば、本ゲームにおいて、キャラクタは、プレイヤの分身としてふるまうアバターオブジェクトである。一例として、キャラクタの動作の少なくとも一部が、プレイヤによるコントローラ540に対する入力により実行されてもよい。
本実施形態では、モーションセンサ520は、一例として、プレイヤの両手、プレイヤの両足、プレイヤの腰部、および、プレイヤの頭部に取り付けられる。プレイヤの両手に取り付けられるモーションセンサ520は、上述したとおり、コントローラ540に設けられていてもよい。また、プレイヤの頭部に取り付けられるモーションセンサ520は、HMD500に設けられていてもよい。モーションセンサ520は、さらに、ユーザの両肘や両膝に取り付けられてもよい。プレイヤに取り付けるモーションセンサ520の数を増やすことにより、プレイヤの動きをより正確にキャラクタに反映させることができる。
また、プレイヤは、モーションセンサ520を身体の各部に取り付けることに代えて、1以上のモーションセンサ520が取り付けられたスーツを着用してもよい。つまり、モーションキャプチャの方法は、モーションセンサ520を用いる例に限定されない。
(配信端末400)
配信端末400は、スマートフォン、PDA(Personal Digital Assistant)、またはタブレット型コンピュータ等の携帯端末であってよい。また、配信端末400は、デスクトップパソコン等の、いわゆる据え置き型の端末であってもよい。
配信端末400は、図5に示すように、プロセッサ40と、メモリ41と、ストレージ42と、通信IF43と、入出力IF44と、タッチスクリーン45とを備える。なお、配信端末400は、タッチスクリーン45に代えて、または、加えて、配信端末400本体とは別に構成されたディスプレイ(表示部)を接続可能な入出力IF44を備えていてもよい。
コントローラ1021は、1つ以上のボタン、レバー、スティック、ホイール等の物理的な入力機構を有していてもよい。コントローラ1021は、配信端末400の操作者(本実施形態ではプレイヤ)が、該入力機構に対して入力した入力操作に基づく出力値を配信端末400へ送信する。また、コントローラ1021は、加速度センサ、および、角速度センサ等の各種センサを有していてもよく、該各種センサの出力値を配信端末400へ送信してもよい。上述の出力値は、通信IF43を介して配信端末400に受け付けられる。
配信端末400は、カメラと、測距センサ(ともに不図示)とを備えていてもよい。配信端末400が備えることに代えて、または、加えて、コントローラ1021がカメラと、測距センサとを有してしてもよい。
以上で説明したとおり、配信端末400は、該配信端末400に対して情報を入力する機構の一例として、通信IF43、入出力IF44、タッチスクリーン45を備える。入力する機構としての上述の各部は、ユーザの入力操作を受け付けるように構成された操作部と捉えることができる。
操作部がタッチスクリーン45で構成されている場合、配信端末400は、タッチスクリーン45の入力部451に対して実施されたユーザの操作をユーザの入力操作として特定し、受け付ける。あるいは、操作部が通信IF43で構成される場合、配信端末400は、コントローラ1021から送信される信号(例えば、出力値)をユーザの入力操作として特定し、受け付ける。あるいは、操作部が入出力IF44で構成される場合、配信端末400は、該入出力IF44と接続される入力装置(図示せず)から出力される信号をユーザの入力操作として特定し、受け付ける。
<各装置のハードウェア構成要素>
プロセッサ10、20、30、40はそれぞれ、ユーザ端末100、サーバ200、ゲームプレイ端末300、配信端末400の全体の動作を制御する。プロセッサ10、20、30、40は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、およびGPU(Graphics Processing Unit)を含む。プロセッサ10、20、30、40は、それぞれ、後述するストレージ12、22、32、42からプログラムを読み出す。そして、プロセッサ10、20、30、40は、それぞれ、読み出したプログラムを、後述するメモリ11、21、31、41に展開する。プロセッサ10、20、30は、展開したプログラムを実行する。
メモリ11、21、31、41は主記憶装置である。メモリ11、21、31、41は、ROM(Read Only Memory)およびRAM(Random Access Memory)等の記憶装置で構成される。メモリ11は、プロセッサ10が後述するストレージ12から読み出したプログラムおよび各種データを一時的に記憶することにより、プロセッサ10に作業領域を提供する。メモリ11は、プロセッサ10がプログラムに従って動作している間に生成した各種データも一時的に記憶する。メモリ21は、プロセッサ20が後述するストレージ22から読み出した各種プログラムおよびデータを一時的に記憶することにより、プロセッサ20に作業領域を提供する。メモリ21は、プロセッサ20がプログラムに従って動作している間に生成した各種データも一時的に記憶する。メモリ31は、プロセッサ30が後述するストレージ32から読み出した各種プログラムおよびデータを一時的に記憶することにより、プロセッサ30に作業領域を提供する。メモリ31は、プロセッサ30がプログラムに従って動作している間に生成した各種データも一時的に記憶する。メモリ41は、プロセッサ40が後述するストレージ42から読み出したプログラムおよび各種データを一時的に記憶することにより、プロセッサ40に作業領域を提供する。メモリ41は、プロセッサ40がプログラムに従って動作している間に生成した各種データも一時的に記憶する。
本実施形態において、プロセッサ10および30が実行するプログラムは、本ゲームのゲームプログラムであってもよい。本実施形態において、プロセッサ40が実行するプログラムは、動作指図データの配信を実現するための配信プログラムであってもよい。また、プロセッサ10は、さらに、動画の再生を実現するための視聴プログラムを実行してもよい。
本実施形態において、プロセッサ20が実行するプログラムは、上述のゲームプログラム、配信プログラム、視聴プログラムの少なくとも何れかであってもよい。プロセッサ20は、ユーザ端末100、ゲームプレイ端末300、および配信端末400の少なくとも何れかからの要求等に応じて、ゲームプログラム、配信プログラム、視聴プログラムの少なくとも何れかを実行する。なお、配信プログラムと視聴プログラムは、並行して実行されてもよい。
すなわち、ゲームプログラムは、ゲームをユーザ端末100、サーバ200、およびゲームプレイ端末300の協働により実現するプログラムであってもよい。配信プログラムは、動作指図データの配信を、サーバ200と配信端末400との協働により実現するプログラムであってもよい。視聴プログラムは、動画の再生を、ユーザ端末100とサーバ200との協働により実現するプログラムであってもよい。
ストレージ12、22、32、42は補助記憶装置である。ストレージ12、22、32、42は、フラッシュメモリまたはHDD(Hard Disk Drive)等の記憶装置で構成される。ストレージ12、32には、例えば、ゲームに関する各種データが格納される。ストレージ42には、動作指図データの配信に関する各種データが格納される。また、ストレージ12には、動画の再生に関する各種データが格納される。ストレージ22には、ゲーム、動作指図データの配信、および動画の再生それぞれに関する各種データのうち、少なくとも一部が格納されてもよい。
通信IF13、23、33、43は、それぞれ、ユーザ端末100、サーバ200、ゲームプレイ端末300、配信端末400における各種データの送受信を制御する。通信IF13、23、33、43は例えば、無線LAN(Local Area Network)を介する通信、有線LAN、無線LAN、または携帯電話回線網を介したインターネット通信、ならびに近距離無線通信等を用いた通信を制御する。
入出力IF14、24、34、44は、それぞれ、ユーザ端末100、サーバ200、ゲームプレイ端末300、配信端末400がデータの入力を受け付けるため、また、データを出力するためのインターフェースである。入出力IF14、24、34、44は、USB(Universal Serial Bus)等を介してデータの入出力を行ってもよい。入出力IF14、24、34、44は、物理ボタン、カメラ、マイク、スピーカ、マウス、キーボード、ディスプレイ、スティック、レバーなどを含み得る。また、入出力IF14、24、34、44は、周辺機器との間でデータを送受信するための接続部を含み得る。
タッチスクリーン15は、入力部151と表示部152(ディスプレイ)とを組み合わせた電子部品である。タッチスクリーン45は、入力部451と表示部452とを組み合わせた電子部品である。入力部151および451は、一例として、タッチセンシティブなデバイスであり、例えばタッチパッドによって構成される。表示部152および452は、例えば液晶ディスプレイ、または有機EL(Electro-Luminescence)ディスプレイ等によって構成される。
入力部151および451は、入力面に対しユーザの操作(主にタッチ操作、スライド操作、スワイプ操作、およびタップ操作等の物理的接触操作)が入力された位置を検知して、位置を示す情報を入力信号として送信する機能を備える。入力部151および451は、図示しないタッチセンシング部を備えていればよい。タッチセンシング部は、静電容量方式または抵抗膜方式等のどのような方式を採用したものであってもよい。
図示していないが、ユーザ端末100および配信端末400は、それぞれ、ユーザ端末100および配信端末400の保持姿勢を特定するための1以上のセンサを備えていてもよい。このセンサは、例えば、加速度センサ、または、角速度センサ等であってもよい。
ユーザ端末100および配信端末400がセンサを備えている場合、プロセッサ10および40は、それぞれ、センサの出力からユーザ端末100および配信端末400の保持姿勢を特定して、保持姿勢に応じた処理を行うことも可能になる。例えば、プロセッサ10および40は、それぞれ、ユーザ端末100および配信端末400が縦向きに保持されているときには、縦長の画像を表示部152および452に表示させる縦画面表示としてもよい。一方、ユーザ端末100および配信端末400が横向きに保持されているときには、横長の画像を表示部に表示させる横画面表示としてもよい。このように、プロセッサ10および40は、それぞれ、ユーザ端末100および配信端末400の保持姿勢に応じて縦画面表示と横画面表示とを切り替え可能であってもよい。
<システム1の機能的構成>
図6は、システム1に含まれるユーザ端末100、サーバ200、およびHMDセット1000の機能的構成を示すブロック図である。図7は、図6に示す配信端末400の機能的構成を示すブロック図である。
ユーザ端末100は、ユーザの入力操作を受け付ける入力装置としての機能と、ゲームの画像や音声を出力する出力装置としての機能を有する。ユーザ端末100は、プロセッサ10、メモリ11、ストレージ12、通信IF13、入出力IF14、およびタッチスクリーン15等の協働によって、制御部110および記憶部120として機能する。
サーバ200は、ユーザ端末100、HMDセット1000、および配信端末400の間の各種情報の送受信を仲介する機能を有する。サーバ200は、プロセッサ20、メモリ21、ストレージ22、通信IF23、および入出力IF24等の協働によって、制御部210および記憶部220として機能する。
HMDセット1000(ゲームプレイ端末300)は、プレイヤの入力操作を受け付ける入力装置としての機能と、ゲームの画像や音声を出力する出力装置としての機能と、ゲーム進行情報を、サーバ200を介してユーザ端末100へリアルタイムに送信する機能を有する。HMDセット1000は、ゲームプレイ端末300のプロセッサ30、メモリ31、ストレージ32、通信IF33、入出力IF34、並びに、HMD500、HMDセンサ510、モーションセンサ520、およびコントローラ540等の協働によって、制御部310および記憶部320として機能する。
配信端末400は、動作指図データを生成して、該動作指図データを、サーバ200を介してユーザ端末100へ送信する機能を有する。配信端末400は、プロセッサ40、メモリ41、ストレージ42、通信IF43、入出力IF44、およびタッチスクリーン45等の協働によって、制御部410および記憶部420として機能する。
(各装置の記憶部が格納するデータ)
記憶部120は、ゲームプログラム131(プログラム)、ゲーム情報132、および、ユーザ情報133を格納する。記憶部220は、ゲームプログラム231、ゲーム情報232、ユーザ情報233、および、ユーザリスト234を格納する。記憶部320は、ゲームプログラム331、ゲーム情報332、および、ユーザ情報333を格納する。記憶部420は、ユーザリスト421、モーションリスト422、配信プログラム423(プログラム、第2プログラム)を格納する。
ゲームプログラム131、231、331は、それぞれ、ユーザ端末100、サーバ200、HMDセット1000が実行するゲームプログラムである。ゲームプログラム131、231、331に基づいて各装置が協働して動作することにより、本ゲームが実現される。なお、ゲームプログラム131および331は、記憶部220に格納され、ユーザ端末100およびHMDセット1000にそれぞれダウンロードされる構成でもよい。なお、本実施形態では、ユーザ端末100は、ゲームプログラム131に基づいて、配信端末400から受信したデータをレンダリングし、動画を再生するものとする。換言すれば、ゲームプログラム131は、配信端末400から配信された動画指図データを用いて、動画を再生するためのプログラムでもある。該動画を再生するためのプログラムは、ゲームプログラム131と異なってもよい。この場合、記憶部120は、ゲームプログラム131とは別に、該動画を再生するためのプログラムを格納する。
ゲーム情報132、232、332は、それぞれ、ユーザ端末100、サーバ200、HMDセット1000がゲームプログラムを実行する際に参照するデータである。ユーザ情報133、233、333は、ユーザ端末100のユーザのアカウントに関するデータである。ゲーム情報232は、各ユーザ端末100のゲーム情報132、および、HMDセット1000のゲーム情報332である。ユーザ情報233は、各ユーザ端末100のユーザ情報133、および、ユーザ情報333に含まれる、プレイヤのユーザ情報である。ユーザ情報333は、各ユーザ端末100のユーザ情報133、および、プレイヤのユーザ情報である。
ユーザリスト234およびユーザリスト421は、ゲームに参加したユーザのリストである。ユーザリスト234およびユーザリスト421は、プレイヤによる直近のゲームプレイにおいて参加したユーザのリストの他、該ゲームプレイ以前の各ゲームプレイにおいて参加したユーザのリストを含んでいてもよい。モーションリスト422は、予め作成されている複数のモーションデータのリストである。モーションリスト422は、例えば、各モーションを識別する情報(例えば、モーション名)のそれぞれに、モーションデータが対応付けられたリストである。配信プログラム423は、ユーザ端末100にて動画を再生するための動作指図データの、ユーザ端末100への配信を実現するためのプログラムである。
(サーバ200の機能的構成)
制御部210は、記憶部220に格納されたゲームプログラム231を実行することにより、サーバ200を統括的に制御する。例えば制御部210は、ユーザ端末100、HMDセット1000、および配信端末400の間の各種情報の送受信を仲介する。
制御部210は、ゲームプログラム231の記述に応じて、通信仲介部211、ログ生成部212、リスト生成部213として機能する。制御部210は、ゲームプレイおよび動作指図データの配信に係る各種情報の送受信の仲介、並びに、ゲームの進行の支援のために、図示しないその他の機能ブロックとしても機能することができる。
通信仲介部211は、ユーザ端末100、HMDセット1000、および配信端末400の間の各種情報の送受信を仲介する。例えば、通信仲介部211は、HMDセット1000から受信したゲーム進行情報をユーザ端末100へ送信する。ゲーム進行情報は、プレイヤによって操作されるキャラクタの動き、該キャラクタのパラメータ、該キャラクタが所持しているアイテムや武器、敵キャラクタなどの情報などを示すデータが含まれる。サーバ200は、ゲーム進行情報を、ゲームに参加している全てのユーザのユーザ端末100へ送信する。換言すれば、サーバ200は、共通のゲーム進行情報をゲームに参加している全てのユーザのユーザ端末100へ送信する。これにより、ゲームに参加している全てのユーザのユーザ端末100それぞれにおいて、HMDセット1000と同様にゲームが進行する。
また、例えば、通信仲介部211は、ユーザ端末100のいずれかから受信した、プレイヤによるゲームの進行を支援するための情報を、その他のユーザ端末100、および、HMDセット1000へ送信する。該情報は、一例として、プレイヤがゲームを有利に進行するためのアイテムであって、プレイヤ(キャラクタ)に提供されるアイテムを示すアイテム情報であってもよい。アイテム情報は、アイテムを提供したユーザを示す情報(ユーザ名、ユーザIDなど)を含む。また、通信仲介部211は、配信端末400からユーザ端末100への動作指図データの配信を仲介してもよい。
ログ生成部212は、HMDセット1000から受信するゲーム進行情報に基づいて、ゲーム進行のログを生成する。リスト生成部213は、ゲームプレイの終了後にユーザリスト234を生成する。詳細については後述するが、ユーザリスト234における各ユーザには、そのユーザが行ったプレイヤへの支援の内容を示すタグが関連付けられている。リスト生成部213は、ログ生成部212が生成したゲーム進行のログに基づいて、タグを生成し、該当するユーザに関連付ける。なお、リスト生成部213は、ゲームの運営者などがパーソナルコンピュータなどの端末装置を用いて入力した、各ユーザが行ったプレイヤへの支援の内容を、タグとして、該当するユーザに関連付けてもよい。これにより、各ユーザが行った支援の内容がより詳細なものとなる。なお、ユーザ端末100は、ユーザがゲームに参加する際、ユーザの操作に基づいて、ユーザを示す情報をサーバ200へ送信する。例えば、ユーザ端末100は、ユーザが入力したユーザIDをサーバ200へ送信する。つまり、サーバ200は、ゲームに参加している全てのユーザについて、各ユーザを示す情報を保持している。リスト生成部213は、該情報を用いて、ユーザリスト234を生成すればよい。
(HMDセット1000の機能的構成)
制御部310は、記憶部320に格納されたゲームプログラム331を実行することにより、HMDセット1000を統括的に制御する。例えば、制御部310は、ゲームプログラム331、および、プレイヤの操作に従って、ゲームを進行させる。また、制御部310は、ゲームを進行させている間、必要に応じて、サーバ200と通信して、情報の送受信を行う。制御部310は、情報の送受信を、サーバ200を介さずにユーザ端末100と直接行ってもよい。
制御部310は、ゲームプログラム331の記述に応じて、操作受付部311、表示制御部312、UI制御部313、アニメーション生成部314、ゲーム進行部315、仮想空間制御部316、および反応処理部317として機能する。制御部310は、実行されるゲームの性質に応じて、該ゲームに登場するキャラクタの制御などのために、図示しないその他の機能ブロックとしても機能することができる。
操作受付部311は、プレイヤの入力操作を検知し、受け付ける。操作受付部311は、HMD500、モーションセンサ520、コントローラ540などから入力された信号を受け付け、いかなる入力操作がなされたかを判別し、その結果を制御部310の各要素に出力する。
UI制御部313は、モニタ51、ディスプレイ530などに表示させるユーザインターフェース(以下、UI)画像を制御する。UI画像は、プレイヤが、ゲームの進行上必要な入力をHMDセット1000に対して行うためのツール、または、ゲームの進行中に出力される情報をHMDセット1000から得るためのツールである。UI画像は、これには限定されないが、例えば、アイコン、ボタン、リスト、メニュー画面などである。
アニメーション生成部314は、各種オブジェクトの制御態様に基づいて、各種オブジェクトのモーションを示すアニメーションを生成する。例えば、アニメーション生成部314は、オブジェクト(例えば、プレイヤのアバターオブジェクト)がまるでそこにいるかのように動いたり、口を動かしたり、表情を変えたりする様子を表現したアニメーション等を生成してもよい。
ゲーム進行部315は、ゲームプログラム331、プレイヤによる入力操作、および、該入力操作に応じたアバターオブジェクトの動作などに基づいて、ゲームを進行する。例えば、ゲーム進行部315は、アバターオブジェクトが所定の動作を行った場合に、所定のゲーム処理を行う。また、例えば、ゲーム進行部315は、ユーザ端末100におけるユーザの操作を表す情報を受信し、当該ユーザの操作に基づいてゲーム処理を行ってもよい。また、ゲーム進行部315は、ゲームの進行に従ってゲーム進行情報を生成し、サーバ200へ送信する。該ゲーム進行情報は、サーバ200を介してユーザ端末100へ送信される。これにより、HMDセット1000におけるゲームの進行が、ユーザ端末100において共有される。換言すれば、HMDセット1000におけるゲームの進行と、ユーザ端末100におけるゲームの進行とが同期する。
仮想空間制御部316は、ゲームの進行に応じて、プレイヤに提供される仮想空間に関する各種の制御を行う。一例として、仮想空間制御部316は、各種オブジェクトを生成し、仮想空間に配置する。また、仮想空間制御部316は、仮想カメラを仮想空間に配置する。また、仮想空間制御部316は、ゲームの進行に応じて、仮想空間に配置した各種オブジェクトを動作させる。また、仮想空間制御部316は、ゲームの進行に応じて、仮想空間に配置した仮想カメラの位置、傾きを制御する。
表示制御部312は、モニタ51、ディスプレイ530に対して、上述の各要素によって実行された処理結果が反映されたゲーム画面を出力する。表示制御部312は、仮想空間に配置された仮想カメラからの視界に基づく画像を、ゲーム画面として、モニタ51、ディスプレイ530に表示してもよい。また、表示制御部312は、アニメーション生成部314によって生成されたアニメーションを該ゲーム画面に含めてもよい。また、表示制御部312は、UI制御部313によって制御される上述のUI画像を、該ゲーム画面に重畳して描画してもよい。
反応処理部317は、ユーザ端末100のユーザによる、プレイヤのゲームプレイに対する反応についてフィードバックを受け付けて、これを、プレイヤに対して出力する。本実施形態では、例えば、ユーザ端末100は、ユーザの入力操作に基づいて、アバターオブジェクトに宛てたコメント(メッセージ)を作成することができる。反応処理部317は、該コメントのコメントデータを受け付けて、これを出力する。反応処理部317は、ユーザのコメントに対応するテキストデータを、モニタ51、ディスプレイ530に表示してもよいし、ユーザのコメントに対応する音声データを、図示しないスピーカから出力してもよい。前者の場合、反応処理部317は、上記テキストデータに対応する画像(すなわち、コメントの内容を含む画像)を、ゲーム画面に重畳して描画してもよい。
(ユーザ端末100の機能的構成)
制御部110は、記憶部120に格納されたゲームプログラム131を実行することにより、ユーザ端末100を統括的に制御する。例えば、制御部110は、ゲームプログラム131、および、ユーザの操作に従って、ゲームを進行させる。また、制御部110は、ゲームを進行させている間、必要に応じて、サーバ200と通信して、情報の送受信を行う。制御部110は、情報の送受信を、サーバ200を介さずにHMDセット1000と直接行ってもよい。
制御部110は、ゲームプログラム131の記述に応じて、操作受付部111、表示制御部112、UI制御部113、アニメーション生成部114、ゲーム進行部115、仮想空間制御部116、および動画再生部117として機能する。制御部110は、実行されるゲームの性質に応じて、ゲームの進行のために、図示しないその他の機能ブロックとしても機能することができる。
操作受付部111は、入力部151に対するユーザの入力操作を検知し受け付ける。操作受付部111は、タッチスクリーン15およびその他の入出力IF14を介したコンソールに対してユーザが及ぼした作用から、いかなる入力操作がなされたかを判別し、その結果を制御部110の各要素に出力する。
例えば、操作受付部111は、入力部151に対する入力操作を受け付け、該入力操作の入力位置の座標を検出し、該入力操作の種類を特定する。操作受付部111は、入力操作の種類として、例えばタッチ操作、スライド操作、スワイプ操作、およびタップ操作等を特定する。また、操作受付部111は、連続して検知されていた入力が途切れると、タッチスクリーン15から接触入力が解除されたことを検知する。
UI制御部113は、ユーザの入力操作、および、受信したゲーム進行情報の少なくとも何れかに応じて、UIを構築するために表示部152に表示させるUI画像を制御する。UI画像は、ユーザが、ゲームの進行上必要な入力をユーザ端末100に対して行うためのツール、または、ゲームの進行中に出力される情報をユーザ端末100から得るためのツールである。UI画像は、これには限定されないが、例えば、アイコン、ボタン、リスト、メニュー画面などである。
アニメーション生成部114は、各種オブジェクトの制御態様に基づいて、各種オブジェクトのモーションを示すアニメーションを生成する。
ゲーム進行部115は、ゲームプログラム131、受信したゲーム進行情報、および、ユーザによる入力操作などに基づいて、ゲームを進行する。ゲーム進行部115は、ユーザによる入力操作により、所定のゲーム処理を行った場合、該ゲーム処理に関する情報を、サーバ200を介してHMDセット1000へ送信する。これにより、該所定のゲーム処理が、HMDセット1000において共有される。換言すれば、HMDセット1000におけるゲームの進行と、ユーザ端末100におけるゲームの進行とが同期する。所定のゲーム処理とは、例えば、アバターオブジェクトにアイテムを提供する処理であり、この例の場合、ゲーム処理に関する情報は、上述したアイテム情報である。
仮想空間制御部116は、ゲームの進行に応じて、ユーザに提供される仮想空間に関する各種の制御を行う。一例として、仮想空間制御部116は、各種オブジェクトを生成し、仮想空間に配置する。また、仮想空間制御部116は、仮想カメラを仮想空間に配置する。また、仮想空間制御部116は、ゲームの進行、具体的には、受信したゲーム進行情報に応じて、仮想空間に配置した各種オブジェクトを動作させる。また、仮想空間制御部316は、ゲームの進行、具体的には、受信したゲーム進行情報に応じて、仮想空間に配置した仮想カメラの位置、傾きを制御する。
表示制御部112は、表示部152に対して、上述の各要素によって実行された処理結果が反映されたゲーム画面を出力する。表示制御部112は、ユーザに提供される仮想空間に配置された仮想カメラからの視界に基づく画像を、ゲーム画面として、表示部152に表示してもよい。また、表示制御部112は、アニメーション生成部114によって生成されたアニメーションを該ゲーム画面に含めてもよい。また、表示制御部112は、UI制御部113によって制御される上述のUI画像を、該ゲーム画面に重畳して描画してもよい。いずれにしても、表示部152に表示されるゲーム画面は、他のユーザ端末100、および、HMDセット1000にて表示されるゲーム画面と同様のゲーム画面である。
動画再生部117は、配信端末400から受信した動作指図データを解析(レンダリング)し、動画を再生する。
(配信端末400の機能的構成)
制御部410は、記憶部420に格納されたプログラム(不図示)を実行することにより、配信端末400を統括的に制御する。例えば、制御部410は、該プログラム、および、配信端末400のユーザ(本実施形態ではプレイヤ)の操作に従って、動作指図データを生成し、ユーザ端末100に配信する。また、制御部410は、必要に応じて、サーバ200と通信して、情報の送受信を行う。制御部410は、情報の送受信を、サーバ200を介さずにユーザ端末100と直接行ってもよい。
制御部410は、プログラムの記述に応じて、通信制御部411、表示制御部412、操作受付部413、音声受付部414、モーション特定部415、および動作指図データ生成部416として機能する。制御部410は、動作指図データの生成および配信のために、図示しないその他の機能ブロックとしても機能することができる。
通信制御部411は、サーバ200、または、サーバ200を介したユーザ端末100との情報の送受信を制御する。通信制御部411は、一例として、サーバ200からユーザリスト421を受信する。また、通信制御部411は、一例として、動作指図データをユーザ端末100へ送信する。
表示制御部412は、表示部452に対して、各要素によって実行された処理結果が反映された各種画面を出力する。表示制御部412は、一例として、受信したユーザリスト234を含む画面を表示する。また、表示制御部412は、一例として、配信する動作指図データに含まれる、アバターオブジェクトを動作させるためのモーションデータを、プレイヤに選択させるためのモーションリスト422を含む画面を表示する。
操作受付部413は、入力部151に対するプレイヤの入力操作を検知し受け付ける。操作受付部111は、タッチスクリーン45およびその他の入出力IF44を介したコンソールに対してプレイヤが及ぼした作用から、いかなる入力操作がなされたかを判別し、その結果を制御部410の各要素に出力する。
例えば、操作受付部413は、入力部451に対する入力操作を受け付け、該入力操作の入力位置の座標を検出し、該入力操作の種類を特定する。操作受付部413は、入力操作の種類として、例えばタッチ操作、スライド操作、スワイプ操作、およびタップ操作等を特定する。また、操作受付部413は、連続して検知されていた入力が途切れると、タッチスクリーン45から接触入力が解除されたことを検知する。
音声受付部414は、配信端末400の周囲で発生した音声を受け付け、該音声の音声データを生成する。音声受付部414は、一例として、プレイヤが発話した音声を受け付け、該音声の音声データを生成する。
モーション特定部415は、プレイヤの入力操作に応じて、モーションリスト422から、プレイヤが選択したモーションデータを特定する。
動作指図データ生成部416は、動作指図データを生成する。一例として、動作指図データ生成部416は、生成された音声データと、特定されたモーションデータとを含む動作指図データを生成する。
なお、図6に示すHMDセット1000、サーバ200、およびユーザ端末100の機能、並びに、図7に示す配信端末400の機能は一例にすぎない。HMDセット1000、サーバ200、ユーザ端末100、および配信端末400の各装置は、他の装置が備える機能の少なくとも一部を備えていてもよい。さらに、HMDセット1000、サーバ200、ユーザ端末100、および配信端末400以外のさらに別の装置をシステム1の構成要素とし、該別の装置にシステム1における処理の一部を実行させてもよい。すなわち、本実施形態においてゲームプログラムを実行するコンピュータは、HMDセット1000、サーバ200、ユーザ端末100、および配信端末400、並びに、それ以外の別の装置の何れであってもよいし、これらの複数の装置の組み合わせにより実現されてもよい。
<仮想空間の制御処理>
図8は、プレイヤに提供される仮想空間、および、ユーザ端末100のユーザに提供される仮想空間の制御処理の流れの一例を示すフローチャートである。図9は、ある実施の形態に従う、プレイヤに提供される仮想空間600A、および、プレイヤが視認する視界画像を示す図である。図10は、ある実施の形態に従う、ユーザ端末100のユーザに提供される仮想空間600B、および、ユーザが視認する視界画像を示す図である。なお以降、仮想空間600Aおよび600Bを区別する必要が無い場合、「仮想空間600」と記載する。
ステップS1において、プロセッサ30は、仮想空間制御部316として、図9に示す仮想空間600Aを規定する。プロセッサ30は、仮想空間データ(不図示)を用いて、仮想空間600Aを規定する。仮想空間データは、ゲームプレイ端末300に記憶されていてもよいし、プロセッサ30が、ゲームプログラム331に基づいて生成してもよいし、プロセッサ30が、サーバ200などの外部の装置から取得してもよい。
仮想空間600は、一例として、中心として定義された点の360度方向の全体を覆う全天球状の構造を有する。図9および図10では、説明を複雑にしないために、仮想空間600のうちの上半分の天球が例示されている。
ステップS2において、プロセッサ30は、仮想空間制御部316として、仮想空間600Aに、アバターオブジェクト610(キャラクタ)を配置する。アバターオブジェクト610は、プレイヤに関連付けられたアバターオブジェクトであり、プレイヤの入力操作に従って動作する。
ステップS3において、プロセッサ30は、仮想空間制御部316として、仮想空間600Aに、その他のオブジェクトを配置する。図9の例では、プロセッサ30は、オブジェクト631~634を配置する。その他のオブジェクトは、例えば、ゲームプログラム331に従って動作するキャラクタオブジェクト(いわゆるノンプレイヤキャラクタ、NPC)、仮想手などの操作オブジェクト、ゲームの進行に従って配置される動物、植物、人工物、自然物などを模したオブジェクトなどを含み得る。
ステップS4において、プロセッサ30は、仮想空間制御部316として、仮想空間600Aに仮想カメラ620Aを配置する。プロセッサ30は、一例として、仮想カメラ620Aを、アバターオブジェクト610の頭部の位置に配置する。
ステップS5において、プロセッサ30は、視界画像650をモニタ51およびディスプレイ530に表示する。プロセッサ30は、仮想カメラ620Aの初期の位置と傾きとに応じて、仮想空間600Aにおける仮想カメラ620Aからの視界である視界領域640Aを定義する。そして、プロセッサ30は、視界領域640Aに対応する視界画像650を定義する。プロセッサ30は、視界画像650をモニタ51およびディスプレイ530に出力することによって、視界画像650をHMD500およびディスプレイ530に表示させる。
図9の例において、図9(A)に示すように、オブジェクト634の一部が視界領域640Aに含まれているため、視界画像650は、図9(B)に示すようにオブジェクト634の一部を含む。
ステップS6において、プロセッサ30は、初期配置情報を、サーバ200を介してユーザ端末100へ送信する。初期配置情報とは、仮想空間600Aにおける各種オブジェクトの初期の配置位置を示す情報である。図9の例において、初期配置情報は、アバターオブジェクト610、および、オブジェクト631~634の初期の配置位置の情報を含む。初期配置情報は、ゲーム進行情報の1つであると表現することもできる。
ステップS7において、プロセッサ30は、仮想空間制御部316として、HMD500の動きに応じて仮想カメラ620Aを制御する。具体的には、プロセッサ30は、HMD500の動き、すなわち、プレイヤの頭部の姿勢に応じて、仮想カメラ620Aの向きおよび傾きを制御する。後述のように、プロセッサ30は、プレイヤが頭部を動かす(頭部の姿勢を変更する)と、この動きに合わせて、アバターオブジェクト610の頭部を動かす。プロセッサ30は、例えば、アバターオブジェクト610の視線の方向と、仮想カメラ620Aの視線の方向とが一致するように、仮想カメラ620Aの向きおよび傾きを制御する。ステップS8において、プロセッサ30は、仮想カメラ620Aの向きおよび傾きが変更されたことに応じて、視界画像650を更新する。
ステップS9において、プロセッサ30は、仮想空間制御部316として、プレイヤの動きに応じて、アバターオブジェクト610を動かす。一例として、プロセッサ30は、プレイヤが現実空間で移動したことに応じて、仮想空間600Aでアバターオブジェクト610を移動させる。また、プロセッサ30は、プレイヤが現実空間で頭部を動かしたことに応じて、仮想空間600Aでアバターオブジェクト610の頭部を動かす。
ステップS10において、プロセッサ30は、仮想空間制御部316として、仮想カメラ620Aを、アバターオブジェクト610に追随するように移動させる。つまり、仮想カメラ620Aは、アバターオブジェクト610が移動しても、常にアバターオブジェクト610の頭部の位置にある。
プロセッサ30は、仮想カメラ620Aの移動に応じて、視界画像650を更新する。つまり、プロセッサ30は、プレイヤの頭部の姿勢と、仮想空間600Aにおける仮想カメラ620Aの位置とに応じて、視界領域640Aを更新する。その結果、視界画像650が更新される。
ステップS11において、プロセッサ30は、アバターオブジェクト610の動作指図データを、サーバ200を介してユーザ端末100へ送信する。ここでの動作指図データは、仮想体験中(例えば、ゲームプレイ中)において、プレイヤの動作を取り込んだモーションデータ、プレイヤが発話した音声の音声データ、コントローラ540に対する入力操作の内容を示す操作データの少なくとも何れかを含む。プレイヤがゲームをプレイしている場合、動作指図データは、例えば、ゲーム進行情報としてユーザ端末100へ送信される。
ステップS7~S11の処理は、プレイヤがゲームをプレイしている間、継続して繰り返し実行される。
ステップS21において、ユーザ3のユーザ端末100のプロセッサ10は、仮想空間制御部116として、図10に示す仮想空間600Bを規定する。プロセッサ10は、仮想空間データ(不図示)を用いて、仮想空間600Bを規定する。仮想空間データは、ユーザ端末100に記憶されていてもよいし、プロセッサ10が、ゲームプログラム131に基づいて生成してもよいし、プロセッサ10が、サーバ200などの外部の装置から取得してもよい。
ステップS22において、プロセッサ10は、初期配置情報を受信する。ステップS23において、プロセッサ10は、仮想空間制御部116として、初期配置情報に応じて各種オブジェクトを仮想空間600Bに配置する。図10の例の場合、各種オブジェクトは、アバターオブジェクト610、および、オブジェクト631~634である。
ステップS24において、プロセッサ10は、仮想空間制御部116として、仮想空間600Bに仮想カメラ620Bを配置する。プロセッサ10は、一例として、仮想カメラ620Bを、図10(A)に示す位置に配置する。
ステップS25において、プロセッサ10は、視界画像660を表示部152に表示する。プロセッサ10は、仮想カメラ620Bの初期の位置と傾きとに応じて、仮想空間600Bにおける仮想カメラ620Bからの視界である視界領域640Bを定義する。そして、プロセッサ10は、視界領域640Bに対応する視界画像660を定義する。プロセッサ10は、視界画像660を表示部152に出力することによって、視界画像660を表示部152に表示させる。
図10の例において、図10(A)に示すように、アバターオブジェクト610およびオブジェクト631が視界領域640Bに含まれているため、視界画像660は、図10(B)に示すようにアバターオブジェクト610およびオブジェクト631を含む。
ステップS26において、プロセッサ10は、動作指図データを受信する。ステップS27において、プロセッサ10は、仮想空間制御部116として、動作指図データに応じて、仮想空間600Bでアバターオブジェクト610を動かす。換言すれば、プロセッサ10は、リアルタイムレンダリングにより、アバターオブジェクト610が動作している映像を再生する。
ステップS28において、プロセッサ10は、仮想空間制御部116として、操作受付部111として受け付けたユーザの操作に応じて仮想カメラ620Bを制御する。ステップS29において、プロセッサ10は、仮想カメラ620Bの仮想空間600Bにおける位置、仮想カメラ620Bの向きおよび傾きが変更されたことに応じて、視界画像660を更新する。なお、ステップS28において、プロセッサ10は、アバターオブジェクト610の動き、例えば、アバターオブジェクト610の移動や、向きの変更に応じて仮想カメラ620Bを自動的に制御してもよい。例えば、プロセッサ10は、常にアバターオブジェクト610を正面から撮影するように自動的に仮想カメラ620Bを移動させたり、向きおよび傾きを変更したりしてもよい。また、一例として、プロセッサ10は、アバターオブジェクト610の動きに応じて、常にアバターオブジェクト610を後方から撮影するように自動的に仮想カメラ620Bを移動させたり、向きおよび傾きを変更したりしてもよい。
このように、仮想空間600Aにおいて、アバターオブジェクト610は、プレイヤの動きに応じて動作する。この動作を示す動作指図データは、ユーザ端末100に送信される。仮想空間600Bにおいて、アバターオブジェクト610は、受信した動作指図データに応じて動作する。これにより、仮想空間600Aと仮想空間600Bとにおいて、アバターオブジェクト610は同様の動作を行う。換言すれば、ユーザ3は、ユーザ端末100を用いて、プレイヤの動作に応じたアバターオブジェクト610の動作を視認することができる。
<ゲーム概要>
図11は、ユーザ端末100において表示される視界画像の他の例を示す図である。具体的には、プレイヤがプレイしている、システム1が実行するゲーム(本ゲーム)のゲーム画面の一例を示す図である。
本ゲームは、一例として、銃、ナイフなどの武器を操作するアバターオブジェクト610と、NPCである複数の敵オブジェクト671とを仮想空間600に登場させ、アバターオブジェクト610に敵オブジェクト671との対戦を行わせるゲームである。アバターオブジェクト610の体力、使用可能なマガジンの数、銃の残弾数、敵オブジェクト671の残数等の各種ゲームパラメータは、ゲームの進行に応じて更新される。
本ゲームには、複数のステージが用意されており、プレイヤは、各ステージに関連付けられている所定の達成条件を成立させることにより、当該ステージをクリアすることができる。所定の達成条件としては、例えば、出現する敵オブジェクト671をすべて倒すことや、出現する敵オブジェクト671のうちボスオブジェクトを倒すこと、所定のアイテムを獲得すること、所定位置に到達することなどにより成立する条件を含むものであってもよい。該達成条件は、ゲームプログラム131内で定義されている。なお、本ゲームでは、ゲームの内容に即し、達成条件が成立された場合にプレイヤはステージをクリア、換言すれば、アバターオブジェクト610の敵オブジェクト671への勝利(アバターオブジェクト610と敵オブジェクト671との間の勝敗)が決定される。これに対し、例えば、システム1で実行されるゲームがレースゲーム等である場合、ゴールに到達するという条件が成立した場合に、アバターオブジェクト610の順位が決定される。
本ゲームでは、HMDセット1000及び複数のユーザ端末100の間で仮想空間を共有するために、ゲーム進行情報が、所定時間毎に複数のユーザ端末100にライブ配信される。この結果、ゲームを視聴中のユーザ端末100のタッチスクリーン15には、ユーザ端末100に対応する仮想カメラ620Bによって規定される視界領域の視界画像が表示される。また、視界画像の右上段および左上段には、アバターオブジェクト610の体力、使用可能なマガジンの数、銃の残弾数、敵オブジェクト671の残数等を表すパラメータ画像が重畳的に表示される。この視界画像は、ゲーム画面と表現することもできる。
ゲーム進行情報は、上述したとおり、プレイヤの動作を取り込んだモーションデータ、プレイヤが発話した音声の音声データ、コントローラ540に対する入力操作の内容を示す操作データを含む。これらのデータはすなわち、アバターオブジェクト610の位置、姿勢、向きなどを特定するための情報、敵オブジェクト671の位置、姿勢、向きなどを特定する情報、その他オブジェクト(例えば、障害物オブジェクト672、673)の位置などを特定する情報である。プロセッサ10は、ゲーム進行情報を解析(レンダリング)することにより、各オブジェクトの位置、姿勢、向きなどを特定する。
ゲーム情報132は、アバターオブジェクト610、敵オブジェクト671、障害物オブジェクト672、673等の各種オブジェクトのデータを含む。プロセッサ10は、該データと、ゲーム進行情報の解析結果とを用いて、各オブジェクトの位置、姿勢、向きなどを更新する。これにより、ゲームが進行し、仮想空間600Bにおける各オブジェクトは、仮想空間600Aにおける各オブジェクトと同様に動く。具体的には、仮想空間600Bにおいて、アバターオブジェクト610を含む各オブジェクトは、ユーザ端末100に対するユーザからの操作の有無に関わらず、ゲーム進行情報に基づいて動作する。
ユーザ端末100のタッチスクリーン15においては、一例として、UI画像701および702が、視界画像に重畳して表示される。UI画像701は、アバターオブジェクト610を支援するためのアイテム投入操作をユーザ3から受け付けるUI画像711を、タッチスクリーン15に表示するための操作を受け付けるUI画像である。UI画像702は、アバターオブジェクト610(換言すれば、プレイヤ4)に対するコメントを入力し、送信するための操作をユーザ3から受け付けるUI画像(後述)を、タッチスクリーン15に表示するための操作を受け付けるUI画像である。UI画像701および702が受け付ける操作は、例えば、UI画像701および702をタップする操作であってもよい。
UI画像701がタップされると、UI画像711が、視界画像に重畳して表示される。UI画像711は、例えば、マガジンのアイコンが描かれたUI画像711A、救急箱のアイコンが描かれたUI画像711B、三角コーンのアイコンが描かれたUI画像711C、バリケードのアイコンが描かれたUI画像711Dを含む。アイテム投入操作は、例えば、いずれかのUI画像をタップする操作に相当する。
一例として、UI画像711Aがタップされると、アバターオブジェクト610が使用する銃の残弾数が増加する。UI画像711Bがタップされると、アバターオブジェクト610の体力が回復する。UI画像711Cおよび711Dがタップされると、敵オブジェクト671の移動を妨害する障害物オブジェクト672、673が仮想空間に配置される。障害物オブジェクト672、673は、一方が他方に比べて、敵オブジェクト671の移動をより妨害するものであってもよい。
プロセッサ10は、アイテム投入操作が行われたことを示すアイテム投入情報を、サーバ200へ送信する。アイテム投入情報には、アイテム投入操作により指定されたアイテムの種別を特定するための情報が少なくとも含まれる。アイテム投入情報には、アイテムが配置される位置を示す情報など、アイテムに関するその他の情報が含まれていてもよい。アイテム投入情報は、サーバ200を介して、他のユーザ端末100、および、HMDセット1000へ送信される。
図12は、ユーザ端末100において表示される視界画像の他の例を示す図である。具体的には、本ゲームのゲーム画面の一例を示す図であり、ゲームプレイ中のプレイヤとユーザ端末100とのコミュニケーションについて説明するための図である。
図12(A)の例において、ユーザ端末100は、アバターオブジェクト610に発話691を実行させている。具体的には、ユーザ端末100は、ゲーム進行情報に含まれる音声データに従って、アバターオブジェクト610に発話691を実行させている。発話691の内容は、プレイヤ4が発話した「弾が無いよー!」というものである。すなわち、発話691の内容は、マガジンが0、銃に装填した銃弾が1となったことにより、敵オブジェクト671を攻撃する手段を失いそうであることを各ユーザに伝えるものである。
なお、図12(A)では、アバターオブジェクト610の発話を視覚的に示すため吹き出しを用いているが、実際は、ユーザ端末100のスピーカから音声が出力される。なお、音声出力とともに、図12(A)に示す吹き出し(すなわち、音声の内容のテキストを含む吹き出し)が視界画像中に表示されてもよい。これは、後述する発話692でも同様である。
UI画像702に対するタップ操作を受け付けると、ユーザ端末100は、図12(B)に示すように、UI画像705および706(メッセージUI)を視界画像に重畳して表示する。UI画像705は、アバターオブジェクト610(換言すれば、プレイヤ)に対するコメントを表示するUI画像である。UI画像706は、入力されたコメントを送信するためコメント送信操作をユーザ3から受け付けるUI画像である。
ユーザ端末100は、一例として、UI画像705へのタップ操作を受け付けると、キーボードを模したUI画像(不図示、以下、単に「キーボード」と記載)をタッチスクリーン15に表示させる。ユーザ端末100は、キーボードに対するユーザの入力操作に応じたテキストを、UI画像705に表示させる。図12(B)の例では、「マガジン送るね」というテキストがUI画像705に表示されている。
ユーザ端末100は、テキスト入力後に、一例として、UI画像706へのタップ操作を受け付けると、入力した内容(テキストの内容)を示す情報と、ユーザを示す情報とを含むコメント情報をサーバ200へ送信する。コメント情報は、サーバ200を介して、他のユーザ端末100、および、HMDセット1000へ送信される。
UI画像703Aは、コメントを送信したユーザのユーザ名を示すUI画像であり、UI画像704Aは、該ユーザが送信したコメントの内容を示すUI画像である。図12(B)の例では、ユーザ名が「BBBBB」であるユーザが、自身のユーザ端末100を用い、「危ない!」という内容のコメント情報を送信したことにより、UI画像703AおよびUI画像704Aが表示されている。UI画像703AおよびUI画像704Aは、本ゲームに参加しているすべてのユーザ端末100のタッチスクリーン15、および、HMD500のモニタ51に表示される。なお、UI画像703Aおよび704Aは、1つのUI画像であってもよい。すなわち、1つのUI画像にユーザ名とコメントの内容とが含まれていてもよい。
図12(C)の例では、図12に示すユーザ端末100のユーザである、「AAAAA」というユーザ名のユーザが、上述したとおりコメントを入力し、送信したことにより、タッチスクリーン15にUI画像703Bおよび704Bが表示されている。UI画像703Bにはユーザ名「AAAAA」が含まれており、UI画像704Bには、図12(B)の例において入力された「マガジン送るね!」とのコメントが含まれている。
また、図12(C)の例は、ユーザ「AAAAA」がさらに、UI画像701へのタップ操作を入力し、UI画像711をタッチスクリーン15に表示させ、UI画像711Aへのタップ操作を入力した後の視界画像611である。つまり、ユーザ「AAAAA」のユーザ端末100から、他のユーザ端末100およびHMDセット1000に、マガジンを示すアイテム投入情報が送信された結果、ユーザ端末100およびHMDセット1000は、演出オブジェクト674(後述)を仮想空間600に配置している。一例として、ユーザ端末100およびHMDセット1000は、アイテム投入情報にて示された経過時間が経過した後に、演出オブジェクト674に関する演出を実行し、アイテムオブジェクトの効果を発動させる処理を実行する。
図12(D)の例では、アイテムオブジェクトの効果を発動させる処理の実行により、マガジンの数が0から1に増加している。この結果、プレイヤは、ユーザ「AAAAA」に対して、「ありがとう!」と発話し、該発話の音声データが、各ユーザ端末100に送信される。これにより、各ユーザ端末100は、アバターオブジェクト610の発話692として、「ありがとう!」という音声を出力する。
以上のように、本ゲームにおいては、プレイヤの発話に基づくアバターオブジェクト610の発話音声の出力と、各ユーザによるコメントの入力とにより、ユーザとアバターオブジェクト610とのコミュニケーションが実現される。
(ゲームプレイ端末300におけるゲーム進行処理)
図13は、ゲームプレイ端末300で実行されるゲーム進行処理の流れの一例を示すフローチャートである。
ステップS31において、プロセッサ30は、ゲーム進行部315として、ゲームプログラム331とプレイヤの動きとに基づいてゲームを進行させる。ステップS32において、プロセッサ30は、ゲーム進行情報を生成し、ユーザ端末100へ配信する。具体的には、プロセッサ30は、生成したゲーム進行情報を、サーバ200を介して、各ユーザ端末100へ送信する。
ステップS33において、プロセッサ30は、アイテム投入情報を受信すると(S33でYES)、ステップS34において、アイテム投入情報に基づいて、アイテムオブジェクトを仮想空間600Aに配置する。一例として、プロセッサ30は、アイテムオブジェクトの配置の前に、演出オブジェクト674を仮想空間600Aに配置する(図11(C)参照)。演出オブジェクト674は、例えば、プレゼント箱を模したオブジェクトであってもよい。プロセッサ30は、一例として、アイテム投入情報にて示された経過時間が経過した後に、演出オブジェクト674に関する演出を実行してもよい。該演出は、例えば、プレゼント箱の蓋が開くアニメーションであってもよい。プロセッサ30は、該アニメーションの実行の後、アイテムオブジェクトの効果を発動させる処理を実行する。例えば、図11(D)の例では、障害物オブジェクト673を配置する。
プロセッサ30は、アニメーションの実行の後、タップ操作されたUI画像に対応するアイテムオブジェクトを仮想空間600Aに配置してもよい。例えば、UI画像711Aに対してタップ操作が行われた場合、プロセッサ30は、アニメーションの実行の後、マガジンを示すマガジンオブジェクトを仮想空間600Aに配置する。また、UI画像711Bに対してタップ操作が行われた場合、プロセッサ30は、アニメーションの実行の後、救急箱を示す救急箱オブジェクトを仮想空間600Aに配置する。プロセッサ30は、例えば、マガジンオブジェクトまたは救急箱オブジェクトの位置に、アバターオブジェクト610が移動した場合に、マガジンオブジェクトまたは救急箱オブジェクトの効果を発動させる処理を実行してもよい。
プロセッサ30は、ゲームが終了するまで、ステップS31~S34の処理を継続し、繰り返す。ゲームが終了した場合、例えば、プレイヤがゲームを終了するための所定の入力操作を入力した場合(ステップS35でYES)、図13に示す処理は終了する。
(ユーザ端末100におけるゲーム進行処理)
図14は、ユーザ端末100で実行されるゲーム進行処理の流れの一例を示すフローチャートである。
ステップS41において、プロセッサ10は、ゲーム進行情報を受信する。ステップS42において、プロセッサ10は、ゲーム進行部115として、ゲーム進行情報に基づいてゲームを進行させる。
ステップS43において、プロセッサ10が、ユーザ3によるアイテム投入操作を受け付けると(ステップS43にてYES)、ステップS44において、プロセッサ10は、仮想通貨を消費し、演出オブジェクト674を仮想空間600Bに配置する。ここで、仮想通貨は、ゲームへの参加の前、あるいは、ゲームへの参加中に、ユーザ3がプロセッサ10に対し所定の操作を行うことにより購入(本ゲームに対して課金)されるものであってもよいし、所定の条件を満たした場合にユーザ3に付与されるものであってもよい。所定の条件とは、本ゲームにおけるクエストのクリア等、本ゲームへの参加が必要なものであってもよいし、アンケートに答える等、本ゲームへの参加が不要なものであってもよい。仮想通貨の金額(仮想通貨の所有量)は、一例として、ゲーム情報132としてユーザ端末100に記憶される。
ステップS45において、プロセッサ10は、アイテム投入情報をサーバ200へ送信する。アイテム投入情報は、サーバ200を介してゲームプレイ端末300へ送信される。
プロセッサ10は、演出オブジェクト674の配置後、所定時間が経過すると、アイテムオブジェクトを仮想空間600Aに配置する。図11の例では、障害物オブジェクト673を配置する。つまり、ユーザ3が、UI画像711Cへのタップ操作を入力することにより、所定量の仮想通貨が消費され、障害物オブジェクト673が配置される。
プロセッサ10は、ゲームが終了するまで、ステップS41~S45の処理を継続し、繰り返す。ゲームが終了した場合、例えば、プレイヤがゲームを終了するための所定の入力操作を行った場合や、ユーザ3が、ゲームから途中退席するための所定の入力操作を行った場合(ステップS46でYES)、図14に示す処理は終了する。
(サーバ200におけるゲーム進行処理)
図15は、サーバ200で実行されるゲーム進行処理の流れの一例を示すフローチャートである。
ステップS51において、プロセッサ20は、ゲーム進行情報をゲームプレイ端末300から受信する。ステップS52において、プロセッサ20は、ログ生成部212として、ゲーム進行のログ(以下、プレイログ)を更新する。なお、プレイログは、一例として、ゲームプレイ端末300から初期配置情報を受信したとき、プロセッサ20が生成する。
ステップS53において、プロセッサ20は、受信したゲーム進行情報を、各ユーザ端末100へ送信する。
ステップS54において、アイテム投入情報をいずれかのユーザ端末100から受信した場合(ステップS54にてYES)、ステップS55において、プロセッサ20は、ログ生成部212としてプレイログを更新する。ステップS56において、プロセッサ20は、受信したアイテム投入情報をゲームプレイ端末300へ送信する。
プロセッサ20は、ゲームが終了するまで、ステップS51~S56の処理を継続し、繰り返す。ゲームが終了した場合、例えば、ゲームプレイ端末300から、ゲームが終了したことを示す情報を受信した場合(ステップS57でYES)、ステップS58において、プロセッサ20は、リスト生成部213として、プレイログからゲームに参加したユーザのリスト(ユーザリスト234)を生成する。プロセッサ20は、生成したユーザリスト234を、サーバ200に記憶する。
図16は、ユーザリスト234の一具体例を示す図である。「ユーザ」のカラムには、ゲームに参加した各ユーザを示す情報(例えば、ユーザ名)が格納されている。「タグ」のカラムには、各ユーザがプレイヤに対して行った支援に基づいて生成された情報(タグ)が格納されている。図16の例において、「タグ」のカラムに格納されたタグのうち、鍵括弧を有さないものは、プロセッサ20が自動生成した情報であり、鍵括弧を有するものは、ゲームの運営者が手動で入力した情報である。
図16の例において、ユーザ「AAAAA」には、マガジン、10F、ボス、「マガジンのプレゼントによりボスに勝利」という情報が対応付けられている。これは、例えば、10Fというステージでのボス戦において、ユーザ「AAAAA」がマガジンを投入し、その投入されたマガジンの銃弾でアバターオブジェクト610がボスに勝利したことを示している。
また、ユーザ「BBBBB」には、救急箱、3F、ザコ、「ゲームオーバー寸前で回復」という情報が対応付けられている、これは、例えば、3Fというステージのザコ敵との戦闘において、ユーザ「BBBBB」が救急箱を投入し、その結果、アバターオブジェクト610の体力が0になる(ゲームオーバーになる)寸前で体力が回復したことを示している。
また、ユーザ「CCCCC」には、バリケード、5F、ザコ、「バリケードでゾンビを二人足止め」という情報が対応付けられている。これは、例えば、5Fというステージのザコ敵との戦闘において、ユーザ「CCCCC」がバリケード(図11における障害物オブジェクト672)を投入し、その結果、二人のザコ敵の足止めに成功したことを示している。
図16の例では、各ユーザ3のユーザ名に対し、行った支援が1つ対応付けられているが、支援を複数回行なったユーザ3のユーザ名には、複数回の支援それぞれのタグが対応付けられる。ユーザリスト234において、該それぞれのタグは区別されていることが好ましい。これにより、ゲーム終了後に、配信端末400を用いてユーザリスト421を参照するプレイヤが、各支援の内容を正確に把握できる。
<動作指図データの配信>
(配信端末400における配信処理)
図17は、配信端末400で実行される配信処理の流れの一例を示すフローチャートである。図18は、配信端末400に表示される画面の一具体例を示す図である。図19は、配信端末に表示される画面の他の具体例を示す図である。
ステップS61において、プロセッサ40は、操作受付部413として、ゲームに参加したユーザのリスト(ユーザリスト234)を表示するための第1操作を受け付ける。図18(A)に示すダウンロード画面721は、ユーザリスト234をサーバ200からダウンロードし、表示部452に表示させるための画面である。ダウンロード画面721は、一例として、図17に示す配信処理を実行するアプリケーションの起動操作を、配信端末400に入力した直後に表示される画面である。
ダウンロード画面721は、一例として、UI画像722および723を含む。UI画像722は、ユーザリスト234をダウンロードするための操作、すなわち、上記第1操作を受け付ける。第1操作は、例えば、UI画像722をタップする操作であってもよい。UI画像723は、アプリケーションを終了するための操作を受け付ける。該操作は、例えば、UI画像723をタップする操作であってもよい。
UI画像722に対するタップ操作を受け付けると、ステップS62において、プロセッサ40は、通信制御部411として、ユーザリスト234をサーバ200から取得(受信)する。ステップS63において、プロセッサ40は、表示制御部412として、ユーザリスト234を表示部452に表示させる。具体的には、プロセッサ40は、ユーザリスト234に基づいて生成されたユーザリスト画面を、表示部452に表示させる。ユーザリスト画面は、一例として、図18(B)に示すユーザリスト画面731であってもよい。ユーザリスト画面731は、ユーザリスト234における各レコードに対応するレコード画像からなる。図18(B)の例では、レコード画像として、レコード画像732A~732Cを記載しているが、レコード画像の数は3つに限定されない。図18(B)の例において、ユーザリスト234におけるレコードの数が3より多い(すなわち、ゲームに参加したユーザの人数が3人より多い)場合、プレイヤは、例えば画面をスクロールする操作(例えば、ドラッグ操作やフリック操作)をタッチスクリーン45に入力することにより、他のレコード画像を表示部452に表示させることができる。
一例として、レコード画像732A~732Cは、それぞれ、ユーザ名733A~733C、タグ情報734A~734C、および、アイコン735A~735Cを含む。以降、レコード画像732A~732C、ユーザ名733A~733C、タグ情報734A~734C、および、アイコン735A~735Cについて、区別する必要が無い場合、それぞれ、「レコード画像732」、「ユーザ名733」、「タグ情報734」、「アイコン735」と記載する。
ユーザ名733は、ユーザリスト234において、「ユーザ」のカラムに格納されている、ゲームに参加した各ユーザを示す情報である。タグ情報734は、ユーザリスト234において、ゲームに参加した各ユーザを示す情報のそれぞれに対応付けられているタグを示す情報である。例えば、レコード画像732Aは、ユーザ名733Aとして、「AAAAA」を含む。このため、レコード画像732Aは、タグ情報734Aとして、ユーザリスト234において「AAAAA」に対応付けられている、『マガジン、10F、ボス、「マガジンのプレゼントによりボスに勝利」』を含む。アイコン735は、例えば、ユーザが事前に設定した画像である。
なお、プロセッサ40は、受信したユーザリストを配信端末400に記憶してもよい(図7のユーザリスト421)。ダウンロード画面721は、ユーザリスト421を表示部452に表示するためのUI画像(不図示)を含んでいてもよい。この例において、該UI画像がタップされた場合、プロセッサ40は、ユーザリスト234のダウンロードを行わず、ユーザリスト421を読み出し、該ユーザリスト421からユーザリスト画面を生成し、表示部452に表示させる。
ステップS64において、プロセッサ40は、操作受付部413として、ユーザリスト画面731に含まれるユーザの何れかを選択するための第2操作を受け付ける。第2操作は、一例として、ユーザリスト画面731におけるレコード画像732の何れかをタップする操作であってもよい。図18(B)の例では、プレイヤは、レコード画像732Aへのタップ操作を入力している。すなわち、プレイヤは、動作指図データを配信するユーザとしてユーザ「AAAAA」を選択している。
レコード画像732に対するタップ操作を受け付けると、ステップS65において、プロセッサ40は、表示制御部412として、モーションリスト422を表示部452に表示させる。具体的には、プロセッサ40は、モーションリスト422に基づいて生成されたモーションリスト画面を、表示部452に表示させる。モーションリスト画面は、一例として、図19に示すモーションリスト画面741であってもよい。モーションリスト画面741は、モーションリスト422における各レコードに対応するレコード画像からなる。図19の例では、レコード画像として、レコード画像742A~742Cを記載しているが、レコード画像の数は3つに限定されない。図19の例において、モーションリスト422におけるレコードの数が4より多い場合、プレイヤは、例えば画面をスクロールする操作(例えば、ドラッグ操作やフリック操作)をタッチスクリーン45に入力することにより、他のレコード画像を表示部452に表示させることができる。
一例として、レコード画像742A~742Cは、それぞれ、モーション名743A~743C、モーション画像744A~744C、および、UI画像745A~745Cを含む。以降、レコード画像742A~742C、モーション名743A~743C、モーション画像744A~744C、および、UI画像745A~745Cについて、区別する必要が無い場合、それぞれ、「レコード画像7432」、「モーション名743」、「モーション画像744」、「UI画像745」と記載する。
モーション名743は、モーションリスト422に格納されているモーションを識別する情報である。モーション画像744は、モーションリスト422において、各モーション名に対応付けられているモーションデータから生成される画像である。プロセッサ40は、一例として、各モーションデータにおける最初の姿勢をとるアバターオブジェクト610の画像を、モーション画像744とてレコード画像742に含める。モーション画像744は、プレイヤによる所定の操作(例えば、モーション画像744に対するタップ操作)を受け付けるUI画像であってもよい。プロセッサ40は、該所定の操作を受け付けた場合、モーションデータに基づいてアバターオブジェクト610が動作するモーション動画を再生してもよい。プロセッサ40は、モーション動画が終了すると、自動的にモーションリスト画面741を再表示してもよい。
なお、レコード画像742は、モーション画像744に代えて、例えば、「モーション再生」とのテキストを含むUI画像を含んでもよい。
ステップS66において、プロセッサ40は、操作受付部413として、モーションを選択する第3操作を受け付ける。第3操作は、一例として、UI画像745へのタップ操作であってもよい。つまり、UI画像745は、各レコード画像742に対応するモーションデータを選択する操作を受け付ける。第3操作を受け付けたことにより、プロセッサ40は、モーション特定部415として、プレイヤが選択したモーションデータを特定する。
ステップS67において、プロセッサ40は、表示制御部412および音声受付部414として、アバターオブジェクト610が、選択されたモーションデータに基づき動作するモーション動画を再生しながら、プレイヤの音声入力を受け付ける。
図20は、プレイヤ4による音声入力の一具体例を示す図である。図20に示すように、プレイヤ4は、モーション動画810Aを再生しながら、発話音声820Aを入力している。この発話音声820Aは、ユーザ名が「AAAAA」であるユーザ3(以下、ユーザ3A)宛の発話音声である。つまり、図20の例において、プレイヤ4は、ステップS64にて、ユーザ3A(第1ユーザ)を選択し、該ユーザ3A宛の動作指図データを作成している。なお、ユーザ3Aが使用するユーザ端末100は、ユーザ端末100Aであるとする。
発話音声820Aは、ユーザ3A宛の発話音声であるため、該ユーザ3Aがアバターオブジェクト610(換言すれば、プレイヤ4)に対して行った支援の内容に基づく発話音声となっている。具体的には、ユーザ3Aは、10Fというステージでのボス戦において、マガジンを投入し、その投入されたマガジンの銃弾でアバターオブジェクト610がボスに勝利している。このため、発話音声820Aは、「ボス戦でマガジンをプレゼントしてくれてありがとう!タイミングも完璧だったね!AAAAAさんのおかげでクリアできたよ!」という内容である。このように、発話音声は、ユーザ3がゲームにおいて行った支援の内容と、ユーザ3への感謝とを含むものであることが好ましい。
ある局面において、プレイヤ4は、音声入力を開始する前、すなわち、第3操作を配信端末400へ入力する前に、ユーザ3宛の発話内容を作成する。別の局面において、ユーザ3宛の発話内容は、プロセッサ40が自動生成してもよい。また、プロセッサ40は、第2操作によって選択されたユーザ3に対応付けられたタグを、モーション動画810Aに重畳して表示させてもよい。
プロセッサ40は、受け付けた音声を音声データに変換する。ステップS68において、プロセッサ40は、動作指図データ生成部416として、該音声データと、選択されたモーションのモーションデータとを含む動作指図データを生成する。
ステップS69において、プロセッサ40は、通信制御部411として、生成した動作指図データを選択されたユーザ3(図20の例ではユーザ3A)のユーザ端末100(第1コンピュータ)に配信する。図21は、配信端末400に表示される画面のさらなる別の具体例を示す図である。プロセッサ40は、ステップS68の実行後、表示制御部412として、配信画面を表示部452に表示させる。配信画面は、一例として、図21(A)に示す配信画面751であってもよい。配信画面751は、UI画像752、および、モーション画像753Aを含む。また、配信画面751は、図21(A)に示すように、動作指図データの配信先のユーザを示す情報を含むものであってもよい。
UI画像752は、動作指図データを選択されたユーザ3へ配信するための操作を受け付ける。該操作は、例えば、UI画像752へのタップ操作であってもよい。モーション画像753Aは、生成した動作指図データに基づく動画、すなわち、ユーザ3A用に生成した動作指図データに基づく動画を再生するための操作を受け付けるUI画像である。該操作は、例えば、モーション画像753Aへのタップ操作であってもよい。なお、生成した動画を再生するための操作を受け付けるUI画像は、モーション画像753Aに限定されない。例えば、「動画再生」とのテキストを含むUI画像であってもよい。プロセッサ40は、動画が終了すると、自動的に配信画面751を再表示してもよい。
配信画面751は、音声入力の受け付けに戻るための操作を受け付けるUI画像をさらに含むことが好ましい。該操作は、例えば、該UI画像へのタップ操作であってもよい。配信画面751が該UI画像を含むことにより、プレイヤ4は、例えば、発話する内容を間違えた場合など、音声入力に失敗した場合に、再度音声入力を行うことができる。なお、該UI画像は、モーションデータの選択に戻るための操作を受け付けるUI画像であってもよい。
UI画像752に対するタップ操作を受け付けると、プロセッサ40は、ユーザ3Aを示す情報とともに、動作指図データをサーバ200へ送信する。サーバ200は、ユーザ3Aを示す情報に基づいて、動作指図データの送信先のユーザ端末100を特定し、該動作指図データを特定したユーザ端末100(すなわち、ユーザ端末100A)へ送信する。
プロセッサ40は、動作指図データの送信が終了した場合、一例として、図21(B)に示す配信完了画面761を表示部452に表示させてもよい。配信完了画面761は、一例として、UI画像762および763を含む。また、配信完了画面761は、図21(B)に示すように、動作指図データの送信が完了したことを示すテキストを含むものであってもよい。
UI画像762は、別のユーザ3宛の動作指図データの作成を開始するための操作を受け付ける。該操作は、例えば、UI画像762をタップする操作であってもよい。プロセッサ40は、該タップ操作を受け付けると、ユーザリスト画面を、表示部452に再度表示させる。すなわち、該タップ操作を受け付けた場合、配信処理は、ステップS63に戻る。このとき、プロセッサ40は、配信端末400に記憶したユーザリスト421に基づいて、ユーザリスト画面を生成し、表示部452に表示させてもよい。UI画像763は、アプリケーションを終了するための操作を受け付ける。該操作は、例えば、UI画像763をタップする操作であってもよい。該操作を受け付けると、配信処理は終了する。
図20、図21を参照して説明した例では、図21(C)に示すように、配信端末400は、ユーザ3A(ユーザ名が「AAAAA」のユーザ3)宛の動画の動作指図データを、ユーザ端末100Aのみに送信する。
図22は、プレイヤ4による音声入力の他の具体例を示す図である。図22に示すように、プレイヤ4は、モーション動画810Bを再生しながら、発話音声820Bを入力している。この発話音声820Bは、ユーザ名が「BBBBB」であるユーザ3(以下、ユーザ3B)宛の発話音声である。つまり、図22の例において、プレイヤ4は、ステップS64にて、ユーザ3Bに対応するレコード画像732Bへのタップ操作を入力し、ユーザ3B宛の動作指図データを作成している。なお、ユーザ3Bが使用するユーザ端末100は、ユーザ端末100Bであるとする。
発話音声820Bは、ユーザ3B宛の発話音声であるため、該ユーザ3Bがアバターオブジェクト610(換言すれば、プレイヤ4)に対して行った支援の内容に基づく発話音声となっている。具体的には、ユーザ3Bは、3Fというステージのザコ敵との戦闘において、ユーザ「BBBBB」が救急箱を投入し、その結果、アバターオブジェクト610の体力が0になる(ゲームオーバーになる)寸前で体力が回復している。このため、発話音声820Bは、「BBBBBさんがプレゼントしてくれた救急箱のおかげで、3Fでゲームオーバーにならずにすんだよ。本当にありがとう!」という内容である。
図23は、配信端末400に表示される画面のさらなる別の具体例を示す図である。図23(A)に示す配信画面751は、UI画像752、および、モーション画像753Bを含む。モーション画像753Bは、タップ操作を受け付けると、ユーザ3B用に生成した動作指図データに基づく動画を再生する。
UI画像752に対するタップ操作を受け付けると、プロセッサ40は、ユーザ3Bを示す情報とともに、動作指図データをサーバ200へ送信する。サーバ200は、ユーザ3Bを示す情報に基づいて、動作指図データの送信先のユーザ端末100を特定し、該動作指図データを特定したユーザ端末100(すなわち、ユーザ端末100B)へ送信する。
図22、図23を参照して説明した例では、図23(C)に示すように、配信端末400は、ユーザ3B(ユーザ名が「BBBBB」のユーザ3)宛の動画の動作指図データを、ユーザ端末100Bのみに送信する。
以上のように、動作指図データに含まれる音声データに基づく音声の内容は、ユーザ3が直近のゲームへの参加において、プレイヤ4に対して行った支援の内容に基づくものとなる。該支援の内容はユーザ3ごとに異なるため、音声の内容は、ユーザ3ごとに異なる内容となる。つまり、ゲームの終了後、ゲームに参加したユーザ3の少なくとも一部のユーザ端末100には、それぞれ異なる内容の音声を含む動作指図データが送信される。
また、図22の例におけるアバターオブジェクト610のモーションは、図20の例におけるモーションと異なる。つまり、プレイヤ4は、ユーザ3B宛の動作指図データ生成において、ユーザ3A宛の動作指図データ生成時と異なるモーションデータを選択している。具体的には、プレイヤ4は、ステップS66において、レコード画像742Bに対応するモーションデータを選択する、UI画像745Bへのタップ操作を入力している。このように、プレイヤ4は、動作指図データに含まれるモーションデータを、ユーザ3毎に異ならせることができる。
そして、ユーザ3毎に異なる内容の音声データと、ユーザ3毎に選択されたモーションデータとを含む、ユーザ3毎の動作指図データは、各ユーザ3のユーザ端末100のみに送信される。換言すれば、ユーザ端末100毎にユニーク(一意)の動作指図データが、選択されたユーザ3のユーザ端末100の各々に送信される。
図24は、ゲームプレイ端末300からユーザ端末100へのゲーム進行情報の送信の概要を示す図である。ユーザ端末100における動画再生のための動作指図データが、ユーザ端末100毎にユニークである一方、図24に示すように、ゲーム実行中に、ゲームに参加している全てのユーザ3のユーザ端末100に送信されるゲーム進行情報は、各ユーザ端末100の間で共通である。すなわち、ゲーム進行情報に含まれる動作指図データもまた、各ユーザ端末100の間で共通である。このように、動画再生のための動作指図データと、ゲームを進行させるための動作指図データとは、ユーザ端末100間での同異、および、送信先といった観点で異なるデータであると言える。
(ユーザ端末100における動画再生処理)
図25は、ユーザ端末100で実行される動画再生処理の流れの一例を示すフローチャートである。
ステップS71において、プロセッサ10は、動画再生部117として、動作指図データを受信する。ステップS72において、プロセッサ10は、動画再生部117として、動作指図データの受信をユーザ3へ通知する。プロセッサ10は、一例として、通知画像の表示部152への表示、スピーカ(不図示)からの通知音声の再生、LED(light-emitting diode)などで構成される点灯部(不図示)の点灯または点滅の少なくともいずれかにより、動作指図データの受信をユーザ3へ通知する。
ステップS73において、プロセッサ10は、操作受付部111として、動画を再生するための第1再生操作を受け付ける。第1再生操作は、一例として、通知画像をタップする操作であってもよい。ステップS74において、プロセッサ10は、動画再生部117として、動作指図データをレンダリングし、動画を再生する。プロセッサ10は、一例として、本ゲームをプレイするためのアプリケーションを起動し、動画を再生してもよいし、該アプリケーションとは別の、動画再生用のアプリケーションを起動し、動画を再生してもよい。以降、該動画を、「ありがとう動画」と記載する。
図26は、ありがとう動画の再生の一具体例を示す図である。具体的には、ユーザ3Aのユーザ端末100における、ありがとう動画の再生の一例を示す図である。該ユーザ端末100において再生されたありがとう動画910Aにおいて、アバターオブジェクト610は、或るモーションを実行しながら、音声920Aを発話している。換言すれば、プロセッサ10は、或るモーションを実行するアバターオブジェクト610を含むありがとう動画910Aを再生しながら、音声920Aをスピーカ(不図示)から出力させている。
ありがとう動画910Aにおけるモーションは、ユーザ3A宛の動作指図データの生成において、プレイヤ4が選択したモーションデータに基づくものであり、音声920Aは、該動作指図データの生成において、プレイヤ4が入力した発話音声820Aから生成された音声データに基づくものである。つまり、音声920Aは、ユーザ3Aがゲームにおいて行った支援の内容と、該支援に対する感謝とを含む音声である。このように、ユーザ3Aは、第1再生操作の入力により、自身がゲームにおいて行った支援の内容と、該支援に対する感謝とを、アバターオブジェクト610が発話するありがとう動画を視聴することができる。
ユーザ端末100は、一例として、ありがとう動画910Aの再生が終了した後、少なくとも1つのUI画像をタッチスクリーン15に表示させてもよい。該UI画像は、例えば、ありがとう動画910Aをもう一度再生するための操作を受け付けるUI画像であってもよいし、別の画面に遷移するための操作を受け付けるUI画像であってもよいし、アプリケーションを終了するための操作を受け付けるUI画像であってもよい。
また、ユーザ端末100は、一例として、ありがとう動画910Aの再生中に、少なくとも1つのUI画像をタッチスクリーン15に表示させてもよい。該UI画像は、例えば、再生中のありがとう動画910Aを一時的に停止させたり、終了させたり、再生する場面を変更させたりする操作をそれぞれ受け付ける、複数のUI画像であってもよい。
なお、ありがとう動画910Aの再生中、および、ありがとう動画910Aの再生が狩猟した後に表示されるこれらのUI画像には、アバターオブジェクト610に対する返答を行うためのUI画像は含まれない。すなわち、本実施形態に係るありがとう動画910Aにおいては、アバターオブジェクト610に対する返答を行うための手段が備えられていない。
図27は、ありがとう動画の再生の他の具体例を示す図である。具体的には、ユーザ3Bのユーザ端末100における、ありがとう動画の再生の例を示す図である。該ユーザ端末100において再生されたありがとう動画910Bにおいて、アバターオブジェクト610は、或るモーションを実行しながら、音声920Bを発話している。換言すれば、プロセッサ10は、或るモーションを実行するアバターオブジェクト610を含むありがとう動画910Bを再生しながら、音声920Bをスピーカ(不図示)から出力させている。
ありがとう動画910Bにおけるモーションは、ユーザ3B宛の動作指図データの生成において、プレイヤ4が選択したモーションデータに基づくものであり、音声920Bは、該動作指図データの生成において、プレイヤ4が入力した発話音声820Bから生成された音声データに基づくものである。このため、図27の例において、アバターオブジェクト610が行っているモーションは、図26の例のモーションとは異なる。また、音声920Bは、ユーザ3Bがゲームにおいて行った支援の内容と、該支援に対する感謝とを含む音声である。このため、図27の例において、音声920Bの内容は、図26の例に
おける音声920Aの内容とは異なる。
このように、ゲームの終了後に、ゲームに参加したユーザ3の少なくとも一部のユーザ端末100が受信するありがとう動画は、ユーザ3毎にアバターオブジェクト610の発話内容が異なる動画である。
なお、プロセッサ10は、次回のゲームへの参加を促す内容を含むUI画像930を、動画910に重畳させて表示させてもよい。UI画像930は、動作指図データとともに配信されてもよいし、ゲーム情報132として、ユーザ端末100が記憶していてもよい。
上記実施形態では、アニメーション生成部314によりアバターオブジェクト610の口を動かしたり、表情を変えたりする様子を表現したアニメーション等を生成する例について説明したが、以下では、アバターオブジェクト610の口元の動きや、目元・頬などにより特定される表情を制御する具体的な手法を例示する。まず、ユーザ端末100側において、アバターオブジェクト610の口元・目元・頬などを含む顔を制御する例について説明する。
ユーザ端末100側においては、図8において示したように、仮想空間600Aと同様に仮想空間600Bを規定し、モーションデータおよび音声データを含む動作指図データに基づいてプレイヤ(演者)の身体の動きと同期するように仮想空間600B内におけるアバターオブジェクト610をリアルタイムに生成して動作させ、仮想カメラ620Bからの視界画像660を表示部152に表示するとともに音声を出力するための処理が行われる。このような処理と並行して、ユーザ端末100側のプロセッサ10は、図28に示す顔制御処理を実行する。これにより、仮想空間600B内におけるアバターオブジェクト610の口元・目元・頬などを含む顔が制御される。
図28に示す顔制御処理では、音声データから特定される音の母音に応じてアバターオブジェクト610の口元を制御し、時間経過に応じて仮想空間600B内におけるアバターオブジェクト610の表情をランダムに切り替えて制御する。なお、顔制御処理は、図8のステップS27の処理として実行されるものであってもよく、また、図8のステップS27の処理とは別個に所定期間(例えば、0.2秒等)毎に実行されるものであってもよい。
ステップS81においては、動作指図データに含まれる音声データを受信したか否かを判定する。ステップS81において音声データを受信していると判定されたときには、ステップS82において音声データに基づいて、発話している音の母音を特定する。例えば、発話している音の母音が、「あ」「い」「う」「え」「お」のうちのいずれの母音に属するかを特定する。
ステップS83においては、特定した母音に応じて口(開口)の形である口形を特定する。口形としては、「あ」「い」「う」「え」「お」の母音毎に予め定められている。例えば、「あ」の母音に対応して人間が「あ」と発話する際の一般的な口形が定められており、「う」の母音に対応して人間が「う」と発話する際の一般的な口形が定められている。メモリ11には、「あ」「い」「う」「え」「お」の母音各々の口形に対応するテクスチャ画像のデータが予め記憶されている。テクスチャ画像としては、例えば、「あ」の母音に対して、人間が「あ」と発話する際の口の形を模した画像が定められている。
ステップS84においては、仮想空間600Bに配置されて動作するアバターオブジェクト610の口形を、ステップS83において特定した口形に変更する。具体的には、アバターオブジェクト610の口元のテクスチャ画像として、特定した口形に対応するテクスチャ画像を貼り付ける。これにより、アバターオブジェクト610の口形を、プレイヤが発話した音に対応する口形に変更できる。アバターオブジェクト610を含む画面が表示されるとともに発話内容が出力されている状態において、ユーザは、一般的に、まず発話内容からどのような話題であるのかを特定することに注力するため、第1に発話されている音声に集中し、その次にプレイヤの動きに応じたアバターオブジェクト610の身体全体の動きや当該発話に直結する口元の動きに注目することとなる。本実施形態においては、上記のとおり、アバターオブジェクト610の口形を、実際に人が発話する際の一般的な口形にすることができるため、ユーザに違和感を抱かせてしまうことを低減できる。
ステップS81において音声データを受信していると判定されなかったときやステップS84が行われた後においては、ステップS85において表情切替タイマの値が「0」であるか否かが判定される。表情切替タイマは、予め定められている切替時間の経過を判定して、アバターオブジェクト610の表情を切り替えるタイミングを特定するためのタイマである。表情切替タイマの値は、時間の経過に応じて減算される。表情切替タイマの値が「0」ではなく切替時間が未だ経過していないときには、ステップS81へ移行し、表情切替タイマの値が「0」であり切替時間が経過しているときには、ステップS86に移行する。
ステップS86においては、予め定められている複数種類の表情のうちからいずれかをランダムに特定する。複数種類の表情は、例えば、目の開き具合いや、眉毛の動き・形、頬の膨らみ・色合い・笑窪の有無・しわなどの少なくともいずれかが異なるように定められている。複数種類の表情は、ユーザに対して喜んでいる印象を抱かせる第1種別の表情と、ユーザに対して怒っている印象を抱かせる第2種別の表情と、ユーザに対して哀しんでいる印象を抱かせる第3種別の表情と、ユーザに対して楽しんでいる印象を抱かせる第4種別の表情と、ユーザに対して喜怒哀楽のいずれの印象も抱かせることなく平常である印象を抱かせる第5種別の表情とに大別される。また、第1種別~第5種別の表情は、各々の種別毎に、さらに複数種類の表情が定められている。メモリ11には、複数種類の表情各々に対応するテクスチャ画像のデータが予め記憶されている。複数種類の表情各々に対応するテクスチャ画像は、目・瞼・眉・頬などの動きを有する動画像のものや、目・瞼・眉・頬などが所定の状態で静止している静止画像であるものを含む。ステップS86においては、複数種類の表情のうちから乱数抽選などによりいずれかの表情を特定する。
ステップS87においては、仮想空間600Bに配置されて動作するアバターオブジェクト610の表情を、ステップS86において特定した表情に変更する。具体的には、アバターオブジェクト610の目元や頬のテクスチャ画像として、特定した表情に対応するテクスチャ画像を貼り付ける。
ステップS88においては、表情切替タイマに切替時間として2秒に相当する値を設定する。表情切替タイマの値は、時間の経過に応じて減算される。その結果、ステップS88において表情切替タイマの値が設定されてから2秒経過したときに、ステップS85において表情切替タイマの値が「0」であると判定されて、再びステップS87において表情が変更される。
次に、顔制御処理により口元および表情がランダムに切り替えられるアバターオブジェクト610の表示例を示す。図29は、プレイヤの動きに応じてアバターオブジェクト610が動作するとともに、当該アバターオブジェクト610の口元が発話する際の一般的な口形に切替えられるとともに、当該アバターオブジェクト610の表情が一例として表情a→表情w→表情rに切り替えられたときの表示部152における表示例を示している。
図29においては、アバターオブジェクト610の動きとして、ある方向を指さしている様子(特に図29(C)~(F)等)や、身振り手振りを変化させている様子(特に図29(A)(B)(G)~(I)等)、足をクロスさせている様子(図29(B)(C)等)、身体や顔の向きを変化させている様子(特に図29(C)~(F)(I)等)、前屈みになったりジャンプしている様子(図29(C)(H)等)が示されるとともに、口元が発話に応じて変化している様子が示されている。
また、図29(A)~(C)には表情aのアバターオブジェクト610が示され、図29(D)~(F)には表情wのアバターオブジェクト610が示され、図29(G)~(I)には表情rのアバターオブジェクト610が示されている。図29においては、さらに、1つの表情(表情a、表情w、表情r)毎に、左から右にかけて、当該表情が開始されたとき、1秒経過したとき、および終了するとき(切り替え直前)の3つの表情の遷移が示されている。
表情aは、第1種別に属する表情の例である。表情aは、両目を丸々と開けている状態(図29(A))から、目を細めた状態(図29(B))に遷移した後、両目を更に細めて閉じた状態となるように定められている。
表情wは、第5種別に属する表情の例である。表情wは、図29(D)~図29(F)に示されるように、目を普通の大きさで開けている状態でほぼ変化なく維持されるように定められている。
表情rは、第4種別に属する表情の例である。表情rは、両目を見開いた状態(図29(G))から、ウインクしている状態(図29(H))に遷移した後、両目を丸々と開けている状態となるように定められている。アバターオブジェクト610の表情は、表情rとなった以降においても2秒毎にランダムに切り替えられる。このため、例えば表情を切り替えるためのスイッチを操作する人員や特別な装置などを配置する必要がなく、コストを増大させてしまうことを防止できる。
一方で、表情がランダムに切り替えられるため、例えば、楽しい話が出力されているときであっても哀しい表情に変更されるなど、発話している内容とアバターオブジェクト610の表情とが一致しない場合が生じ得る。
しかし、表情を切り替える切替時間は、ある間隔(3秒)よりも短い時間(2秒)に定められている。ここで、ある間隔としての3秒という時間は、例えば、ある画面を視聴者(人間)が視認し始めてから、当該画面内の情報をすべて認識してしまうまでに要する平均的な時間であり、当該画面に視聴者が飽きてしまう時間であると一般的にいわれている。本発明は、このような原理に着眼しつつ、当該原理を逆手に捉えたものである。すなわち、3秒未満の間隔で表情を切り替えることにより、アバターオブジェクト610の表情が変化していること自体についてはユーザに認識させつつも、現在の表情が具体的にどのような表情であるのか(哀しい表情であるのか、あるいは喜んでいる表情であるのか等)をユーザが完全に把握するまでに再び表情が切り替えられる。図29において例示したように、2秒間隔で次々と表情が切り替えられるとともに1つの表情中においても都度変化するため、現在の表情が具体的にどのような表情であるのかをユーザが完全に把握し難くなる。これにより、アバターオブジェクト610の表情が発話している内容と一致しない表情に変化したときであっても、当該表情が具体的にどのような表情であるのかをユーザが認識するまでであって一致しないことによる違和感をユーザに抱かせてしまうまでに、再び表情を切り替えることができる。このため、コストを極力増大させずかつユーザへの違和感を低減できる。
また、表情をランダムに切り替える場合であっても、所定の割合で、アバターオブジェクト610の表情を発話している内容と一致する表情(あるいは違和感を抱かせない表情)に切り替えられることになる。本実施形態では、上記したように第1種別~第5種別のいずれかに属する表情が設けられている。このため、1/5の確率でアバターオブジェクト610の表情を発話している内容と一致する表情(あるいは違和感を抱かせない表情)に切り替えられることになる。一方で、ユーザは、第1に発話する音声に集中し、当該発話から話の内容をある程度把握している状態(頭の中である程度構築されている状態)となる。この状態において、ユーザが把握している内容と一致する表情に切り替えられたときには、通常(ある間隔である3秒)よりも短い時間で当該表情を理解できる可能性が高まる。例えば、図29の例において発話内容から楽しい話であることをユーザが把握していると仮定した場合において、図29(A)~図29(C)に示すような第1種別に属する表情や、図29(G)~図29(I)に示すような第4種別に属する表情に切り替えられたときには、通常よりも短い時間で喜びや楽しさを表現している表情であることを理解できる可能性が高まる。その結果、発話している内容とアバターオブジェクト610の表情とが一致しているといった印象を高い割合でユーザに持たせることができ、一致している印象をユーザに植え付けることができる。その結果、発話している内容とアバターオブジェクト610の表情とが一致していないときであってもそのことにユーザを気付かせ難くすることができ、違和感をさらに低減できる。
さらに、画面把握に要する時間に個人差が生じることは考えられ、切替時間として定められている2秒の間において、変化後の表情が具体的にどのような表情であるのかを完全に把握できるユーザが存在することも考えられる。しかし、アバターオブジェクト610を含む画面が表示されるとともに発話内容が出力されている状態においては、上記のとおり、ユーザは、まず発話内容に集中し、その次にアバターオブジェクト610の身体全体の動きや口元の動きに注目する結果、アバターオブジェクト610の表情の特定作業についてはそれ以降からとなる。特に、図29(C)(D)等に示すようにアバターオブジェクト610によりある方向を指さす動きがされている場合や、図29(A)(G)(I)等に示すようにアバターオブジェクト610の身振り手振りが変化している場合、図29(H)等に示すようにアバターオブジェクト610がジャンプする等、体勢自体に大きな動きがあった場合などにおいて、ユーザは、当該アバターオブジェクト610の動き等に注目する傾向が強く、さらに口元の動きにも注目することとなるため、アバターオブジェクト610の表情の特定作業を開始するタイミングは相当遅れることとなる。このため、2秒間のうち、アバターオブジェクト610の表情の特定作業に費やすことができる時間は、2秒に満たない。このため、変化した後の現在の表情が具体的にどのような表情であるのかを完全に把握できてしまう可能性を低減できる。その結果、現在の表情が具体的にどのような表情であるのかを早く把握できるユーザに対しても、特定作業開始タイミングを遅延させることにより、違和感を抱かせてしまう可能性を低減できる。
また、アバターオブジェクト610の顔の向きや位置等は、プレイヤの頭の向きや位置(頭のモーション)等に応じて変動する。さらに、ユーザ端末100の表示部152に表示されるアバターオブジェクト610は、ユーザの操作に応じて変化する仮想カメラ620Bの向き等から見た画像となる。図29(C)に例示されるように、アバターオブジェクト610の顔が下向きとなっているときや、図29(C)~(F)等において例示されるように、アバターオブジェクト610の顔が横を向いているときなどにおいては、アバターオブジェクト610の顔を正面から視認することができない。このため、アバターオブジェクト610の顔の位置や向き等の変化が生じない場合と比較して、アバターオブジェクト610の表情をユーザが完全に把握するために要する時間は、前述したある間隔である3秒よりも長くなることが予想される。この観点からも、ユーザに違和感を抱かせてしまう可能性を低減できる。
また、ステップS88で示したように表情の切替時間(切替間隔)は、2秒に定められている。2秒あれば、アバターオブジェクト610の表情が変化したこと自体をユーザが認識可能となる可能性が高まる。これにより、ユーザに対して、アバターオブジェクト610の表情が繰り返し切り替えられていることを気付かせることができ、自然な雰囲気を抱かせることができる。
また、アバターオブジェクト610の口元や表情については、ユーザ端末100側において制御される。このため、動作指図データを配信するゲームプレイ端末300側における処理負担を増大させてしまうことを防止できる。また、表情についてはユーザ端末100側においてランダムに切り替えられるため、同じ動作指図データを受信しつつも、複数のユーザ端末100間においてアバターオブジェクト610の表情を異ならせることができ、好趣を向上させることができる。
上記実施形態においては、次に切り替える表情(アバターオブジェクト610に取らせる表情)を、乱数抽選によりランダムに決定するというルールに従って特定する例について説明した。しかし、次に切り替える表情は、アバターオブジェクト610として登場するキャラクタの属性に応じたルールに従って特定するようにしてもよい。以下に、その一例を説明する。
図28等においては、アバターオブジェクト610としてワンピースを着用し髪の毛が長い女性のキャラクタが登場するコンテンツがライブ配信されている例について説明したが、ライブ配信されるコンテンツには、アバターオブジェクト610として表示されるキャラクタが異なる複数種類のコンテンツが設けられている。アバターオブジェクト610として表示されるキャラクタには、キャラクタの種類に応じた衣服やアクセサリー等の装飾オブジェクトが関連付けられている。
また、アバターオブジェクト610として表示されるキャラクタには、キャラクタの種類に応じて属性が関連付けられている。属性としては、第1属性~第5属性が設けられている。属性は、例えばキャラクタ(演者)の性格や気性、特技、話し方、醸し出される雰囲気、好きな話の内容などに応じて第1属性~第5属性のいずれかに属するように、キャラクタの種類毎に予め定められている。例えば、面白いキャラクタや、笑い上戸のキャラクタなどは、喜んでいるイメージが比較的強い第1属性が関連付けられている。また、怒りっぽいキャラクタや気が短いキャラクタなどは、怒っているイメージが比較的強い第2属性が関連付けられている。また、何事に対しても消極的なキャラクタや、悲観的なキャラクタなどは、哀しんでいるイメージが比較的強い第3属性が関連付けられている。また、何事に対しても積極的なキャラクタや、楽観的なキャラクタなどは、楽しんでいるイメージが比較的強い第4属性が関連付けられている。また、能面なキャラクタや、ポーカーフェイスなキャラクタなどは、平常を装っているイメージが比較的強い第5属性が関連付けられている。以下では、アバターオブジェクト610として登場するキャラクタの属性に応じた振分率(ルール)で、次に切り替える表情を決定する例について説明する。
図30は、次に切り替える表情を決定する際に参照する表情特定用テーブルを説明するための図である。表情特定用テーブルは、キャラクタの属性毎に、第1種別~第5種別のうちのいずれの種別の表情に切り替えるかを決定するための振分率(選択割合)が定められている。
例えば、第1属性が関連付けられているキャラクタである場合には、40%の割合で第1種別に決定され、残り60%のうち15%ずつの割合で第2種別~第5種別のいずれかに決定されるように振分率が定められている。これにより、第1属性が関連付けられており、喜んでいるイメージが比較的強いキャラクタである場合には、喜びに対応する第1種別が、その他の種別よりも高い割合で決定される。
また、第2種別が関連付けられているキャラクタである場合には、40%の割合で第2種別に決定され、残り60%のうち15%ずつの割合で第1種別、第3種別~第5種別のいずれかに決定されるように振分率が定められている。これにより、第2属性が関連付けられており、怒っているイメージが比較的強いキャラクタである場合には、怒りに対応する第2種別が、その他の種別よりも高い割合で決定される。
同様に、第3種別が関連付けられているキャラクタである場合には、哀しいに対応する第3種別がその他の種別よりも高い割合で決定されるように振分率が定められている。また、第4種別が関連付けられているキャラクタである場合には、楽しいに対応する第4種別がその他の種別よりも高い割合で決定されるように振分率が定められている。また、第5種別が関連付けられているキャラクタである場合には、平常に対応する第5種別がその他の種別よりも高い割合で決定されるように振分率が定められている。これにより、アバターオブジェクト610として登場するキャラクタの属性に対応する種別の表情(第1の表情)の方が、他の種別の表情(第2の表情)よりも高い割合で変更される。このように、キャラクタの属性に対応する種別の表情であって他の種別の表情よりも高い割合で変更される表情は、キャラクタの属性に対応する第1の表情ともいう。なお、図30における第1の表情の選択割合(40%)は、第1の表情とは異なる種別各々の選択割合(15%)よりも高いが、第1の表情とは異なる種別の選択割合の合計(60%)よりも低い例を示しているが、これに限らず、第1の表情の選択割合は、第1の表情とは異なる種別の選択割合の合計よりも高いものであってもよい。
図31は、図30に示す表情特定用テーブルを参照して、アバターオブジェクト610として登場するキャラクタの属性に応じた振分率で次に切り替える表情を特定する顔制御処理の例について説明する。図31に示す顔制御処理のうち点線で囲っていない処理については、図28に示す顔制御処理と共通するためその説明を省略する。一方、図31に示す顔制御処理のうち点線で囲っている処理については、図28に示す顔制御処理と異なるため、以下に説明する。
ステップS81において音声データを受信していると判定されなかったときやステップS84が行われた後においては、ステップS89において表情切替タイマの値が「0」であるか否かが判定される。図31に示す顔制御処理における表情切替タイマは、後述するように、変更される表情の種別に応じて異なる値が設定される。表情切替タイマの値が「0」ではなく切替時間が未だ経過していないときには、ステップS81へ移行し、表情切替タイマの値が「0」であり切替時間が経過しているときには、ステップS90に移行する。
ステップS90においては、図30に示す表情特定用テーブルを参照して、複数種類の表情のうちから乱数抽選などによりいずれかの表情を特定する。より具体的に、ステップS90では、表情特定用テーブルを参照して、アバターオブジェクト610として登場しているキャラクタの属性に応じた振分率(選択割合)に従って表情の種別を決定し、当該特定された種別に属する表情のいずれかを特定する。これにより、アバターオブジェクト610として登場しているキャラクタの属性に対応する種別の表情(第1の表情)が、他の種別の表情(第2の表情)よりも高い割合で特定される。
ステップS91においては、仮想空間600Bに配置されて動作するアバターオブジェクト610の表情を、ステップS90において特定した表情に変更する。具体的には、アバターオブジェクト610の目元や頬のテクスチャ画像として、特定した表情に対応するテクスチャ画像を貼り付ける。
ステップS92においては、ステップS87で変更された表情が、キャラクタの属性に対応する第1の表情であるか否かが判定される。ステップS92において第1の表情であると判定されたときには、ステップS93において表情切替タイマに切替時間として2.5秒に相当する値を設定する。表情切替タイマの値は、時間の経過に応じて減算される。その結果、第1の表情に変更されてステップS93において表情切替タイマの値が設定されたときには当該第1の表情が2.5秒維持され、2.5秒経過後においてはステップS89において表情切替タイマの値が「0」であると判定されて、再びステップS90において表情が変更される。
これに対して、ステップS92において第1の表情であると判定されなかったときには、ステップS94において表情切替タイマに切替時間として2.5秒よりも短い時間として1.8秒に相当する値を設定する。その結果、第1の表情以外の第2の表情に変更されてステップS94において表情切替タイマの値が設定されたときには当該第2の表情が1.8秒維持され、1.8秒経過後においてはステップS89において表情切替タイマの値が「0」であると判定されて、再びステップS90において表情が変更される。
図30および図31における例においては、複数種類の表情のうちから図30に示すキャラクタの属性に対応する振分率に従って特定されるため、当該キャラクタの属性に対応する第1の表情に変更される割合が高い。このため、図28および図29を用いて説明した効果に加えて、ステップS90に示すように乱数抽選によりランダムに特定する場合であっても、アバターオブジェクト610の表情を発話している内容や雰囲気等と一致する表情(あるいは違和感を抱かせない表情)に切り替えられる割合を高めることができる。
また、図31のステップS92~ステップS94において例示するように、キャラクタの属性に対応する第1の表情に変更されてから次の表情に切り替えられるまでの時間(例えば、2.5秒)は、当該第1の表情とは異なりキャラクタの属性に対応していない第2の表情に変更されてから次の表情に切り替えられるまでの時間(例えば、1.8秒)よりも長い。つまり、発話している内容や雰囲気等と一致している可能性が高い第1の表情については第2の表情よりも、長く表示される。このため、発話している内容や雰囲気等とアバターオブジェクト610の表情とが一致しているといった印象をユーザに抱かせる割合を高めることができ、一致している印象をより高い頻度でユーザに植え付けることができる。
次に、演者(キャラクタ)からの発話音量に応じて第1の表情に変更される例について説明する。キャラクタ(演者)は、自己の属性に合致する話題あるいは雰囲気で発話しているとき(例えば、笑い上戸のキャラクタが笑っているとき、怒りっぽいキャラクタが怒っているとき等)に、発話する際の声量が大きくなる傾向にある。この点に着眼し、以下では、キャラクタからの発話音量が閾値を超えたときに、当該キャラクタの属性に対応する第1の表情に変更される例についても説明する。
図32は、演者(キャラクタ)からの発話音量に応じて第1の表情に変更するための処理を含む顔制御処理の例について説明する。図32に示す顔制御処理のうち点線で囲っていない処理については、図31に示す顔制御処理と共通するためその説明を省略する。一方、図32に示す顔制御処理のうち点線で囲っている処理については、図31に示す顔制御処理と異なるため、以下に説明する。
ステップS81において音声データを受信していると判定されなかったときやステップS84が行われた後においては、ステップS100において演者(キャラクタ)からの発話音量が閾値を超えているか否かが判定される。発話音量は、例えば、音声データに基づいて特定される。ステップS100において発話音量が閾値を超えていると判定されたときには、ステップS103において音量連動フラグがセット済であるか否かが判定される。音量連動フラグとは、発話音量が閾値を超えたことを契機として後述するように第1の表情に変更されるときにセットされるフラグである。
ステップS103において音量連動フラグがセット済であると判定されなかったときには、ステップS104において音量連動フラグをセットし、ステップS105においてキャラクタの属性に対応する第1の表情が特定される。より具体的に、ステップS105では、キャラクタの属性に対応する種別を特定し、当該特定された種別に属する第1の表情のいずれかを特定する。ステップS105を経由するステップS87では、仮想空間600Bに配置されて動作するアバターオブジェクト610の表情を、ステップS105において特定した第1の表情に変更されることになる。これにより、発話音量が閾値を超えていると判定されたときには、表情切替タイマの値にかかわらず、アバターオブジェクト610として登場しているキャラクタの属性に対応する種別の表情(第1の表情)に変更される。
ステップS104において音量連動フラグがセットされた後においては、ステップS100において発話音量が閾値を超えていると判定されたときであっても、ステップS103において音量連動フラグがセット済であると判定されてステップS81に移行される。ステップS100において発話音量が閾値を超えていると判定されなかったときには、ステップS101において音量連動フラグがセット済であるか否かが判定される。発話音量が閾値を超えていると判定されていないときには、音量連動フラグがセットされていないため、ステップS101において音量連動フラグがセット済であると判定されず、ステップS89に移行して時間の経過に応じて表情を変更させるための処理が行われる。
一方、ステップS100において発話音量が閾値を超えていると判定されなかったときであっても、発話音量が閾値を超えて音量連動フラグがセットされているときには、ステップS102において音量連動フラグをリセットして表情切替タイマの値にかかわらず、ステップS90に移行させて、複数種類の表情のうちから変更する表情が特定されて、ステップS91において変更される。これにより、発話音量が閾値を超えていると判定されてキャラクタの属性に対応する種別の第1の表情に変更された後においては、その後における発話音量が閾値を超えている期間に亘って、第1の表情が維持される。なお、発話音量が閾値を超えている期間(すなわち、音量連動フラグがセット済の期間)においては、ステップS105で特定した第1の表情が維持されるが、これに限らず、例えば、2.5秒経過する毎にキャラクタの属性に対応する種別の第1の表情のうちで切り替えられる(変更される)ようにしてもよい。
一方、発話音量が閾値を超えていると判定されてキャラクタの属性に対応する種別の第1の表情に変更された後において発話音量が閾値を超えていると判定されなくなったとき(トーンダウンしたとき等)には、音量連動フラグをリセットするとともに、ステップS90において第1の表情以外の表情を含む複数種類の表情のうちからいずれかを特定して変更される。
図32における例においては、ステップS100およびステップS105に示すように、演者の発話音量が閾値を超えることにより、当該キャラクタの属性に対応する発話内容や雰囲気等になっている可能性が高いと擬制し、当該キャラクタの属性に対応する第1の表情に変更される。これにより、発話している内容や雰囲気等とアバターオブジェクト610の表情とが一致しているといった印象をユーザに持たせる割合を高めることができ、一致している印象をより高い頻度でユーザに植え付けることができる。
また、図32における顔制御処理では、ステップS100において発話音量が閾値を超えていると判定される間(音量連動フラグがセットされている間)においては、時間経過にかかわらず、キャラクタの属性に対応する第1の表情となる。これにより、発話音量が閾値を超えているにもかかわらず、第1の表情とは異なる第2の表情などに変更されてしまい、好趣を低下させてしまうことを防止できる。
図32における顔制御処理では、図30および図31で示したキャラクタの属性に応じたルールに従って表情が変更される例に加えて、演者(キャラクタ)からの発話音量に応じて第1の表情に変更される例を示したが、これに限らず、例えば、図30および図31で示したキャラクタの属性に応じたルールに従って表情が変更される例に替えて、演者(キャラクタ)からの発話音量に応じて第1の表情に変更されるようにしてもよい。具体的には、図28のステップS81~ステップS85の間において、図32で示したステップS100およびステップS101を挿入し、ステップS101においてYESと判定されたときにはステップS102を経由して図28のステップS86に移行するようにし、また、ステップS100においてYESと判定されたときにはステップS103~ステップS105に相当する処理を行い、ステップS105における処理が行われた後においては図28のステップS87に移行するようにしてもよい。
<変形例>
以上説明した実施形態の変形例などを以下に列挙する。
(1) 上記実施形態においては、アバターオブジェクト610の顔制御処理(図28、図31、図32)をユーザ端末100側において実行する例について説明した。しかし、アバターオブジェクト610の顔制御処理は、ゲームプレイ端末300や配信端末400側において実行するようにしてもよい。この場合、図30に示す表情特定用テーブルは、ユーザ端末100側のメモリ11等ではなく、ゲームプレイ端末300や配信端末400側のメモリにおいて記憶される。
ゲームプレイ端末300側においては、図8において示したように、仮想空間600Aを規定し、プレイヤ(演者)の身体の動きと同期するように仮想空間600A内におけるアバターオブジェクト610をリアルタイムに生成して動作させるとともに、モーションデータおよび音声データを含む動作指図データを出力するための処理が行われる。モーションデータおよび音声データを含む動作指図データを出力するための処理は、ユーザ端末100側において仮想空間600Aと同様の仮想空間を規定させて仮想カメラ620Bからの視界画像660を表示部152に表示させるための処理ともいえる。これらの処理と並行して、ゲームプレイ端末300側のプロセッサ30は、以下のような処理を実行するようにしてもよい。
ゲームプレイ端末300側のプロセッサ30は、図28等のステップS81~S84に対応する処理として、プレイヤにより発話されたときには当該発話された音の母音に応じて口形を特定し、当該口形の種類を特定するための口形データを出力する処理を実行する。また、ゲームプレイ端末300側のプロセッサ30は、図28のステップS85~S88や図31のステップS89~S94に対応する処理として、表示切替タイマが「0」になる毎に、複数種類の表情からいずれかをランダムに特定して、当該表情の種類を特定するための表情データを出力するとともに、表情切替タイマの値を設定し、時間経過に応じて表情切替タイマの値を減算させる処理を実行する。また、ゲームプレイ端末300側のプロセッサ30は、図32のステップS100~S105に対応する処理として、例えばマイク55に入力された演者からの発話音量を検出し、当該発話音量が閾値を超えている場合には、ステップS103~ステップS105に相当する処理を実行し、当該発話音量が閾値を超えている場合には、ステップS101以降に相当する処理を実行する。一方、ユーザ端末100側においては、仮想空間600Bに配置されているアバターオブジェクト610の口形を、口形データから特定される口形に変更するとともに、アバターオブジェクト610の表情を、表情データから特定される表情に変更するようにしてもよい。
また、他の手法として、ゲームプレイ端末300は、口形の種類や表情の種類を特定可能にするための口形データや表情データをユーザ端末100に送信するものに限らず、例えば、特定した口形や表情のテクスチャ画像データをユーザ端末100に送信し、ユーザ端末100側は当該テクスチャ画像データを用いてアバターオブジェクト610の口形および表情を変更するようにしてもよい。
また、さらに他の手法として、ゲームプレイ端末300側においては、仮想空間600A内に各ユーザ端末100の仮想カメラ620Bを配置させ、当該仮想カメラ620Bからの視界画像を特定可能な動画データをユーザ端末100に送信し、ユーザ端末100側は当該動画データを用いて仮想カメラ620Bからの視界画像を表示部152に表示するようにしてもよい。つまり、上記実施形態においては、プレイヤ(演者)が演じるアバターオブジェクト610を含む仮想空間内の画像は、外部から配信されるデータであってモーションデータおよび音声データを含む動作指図データを受信し、ユーザ端末100側において該動作指図データを用いて動画(映像)を生成(レンダリング)して再生する例(リアルタイムレンダリング方式)について説明したが、これに限らず、ゲームプレイ端末300からアバターオブジェクト610(口形、表情)を含む仮想空間内の動画を表示するための動画データを配信し、ユーザ端末100側において該動画データを用いてアバターオブジェクト610を含む動画(映像)を再生するもの(動画配信方式)であってもよい。この場合、口形や表情のテクスチャ画像データは、ゲームプレイ端末300のメモリ31に予め記憶させておき、ゲームプレイ端末300によりプレイヤの動作に応じて仮想空間600A内のアバターオブジェクト610を生成する際に、特定された口形や表情のテクスチャ画像データを用いて、当該アバターオブジェクト610の口形や表情を変更するようにしてもよい。これにより、ユーザ端末100に送信される動画データにおけるアバターオブジェクト610は、口形が発話に応じた口形に変更され、かつ時間の経過に応じて表情がランダムに変更されるものとなる。その結果、ユーザ端末100は、動画データに基づき動画を表示部152に表示することにより、アバターオブジェクト610の口形および表情を変更することができる。
また、発話している音に応じた口形を特定する処理と、時間経過に応じて表情を切り替える処理とのいずれをも、ユーザ端末100側あるいはゲームプレイ端末300側のいずれか一方において実行する例について説明した。しかし、発話している音に応じた口形を特定する処理と、時間経過や発話音量等に応じて表情を切り替える処理とは、各々異なる端末において別々に実行されるようにしてもよい。例えば、発話している音に応じた口形を特定する処理については、ゲームプレイ端末300側において実行し、時間経過や発話音量等に応じて表情を切り替える処理については、ユーザ端末100側において実行するようにしてもよい。具体的に、ゲームプレイ端末300側においては、表情の種類を特定するための処理を行わず、口形を特定して当該口形の種類を特定するための口形データを出力する処理を実行し、ユーザ端末100側においては、仮想空間600Bに配置されているアバターオブジェクト610の口形を口形データから特定される口形に変更する一方、アバターオブジェクト610の表情については時間経過や発話音量等に応じて表情を切り替える処理(図28のステップS85~S88、図31のステップS89~S94、図32のステップS100~S94等)を実行して、ユーザ端末100側において表情の種類を特定して時間の経過に応じて切り替えるようにしてもよい。またこれとは逆に、発話している音に応じた口形を特定する処理については、ユーザ端末100側において実行し、時間経過や発話音量等に応じて表情を切り替える処理については、ゲームプレイ端末300側において実行するようにしてもよい。
(2) 上記実施形態の図28においては、表情の切替時間として2秒が定められている例について説明した。また、図31および図32においては、第1の表情の切替時間として2.5秒が定められており、第2の表情の切替時間として1.8秒が定められている例について説明した。しかし、表情の切替時間は、上記のように視聴者(人間)が画面内の情報をすべて認識してしまうまでに要する平均的な時間であり、当該画面に視聴者が飽きてしまうとされる時間である3秒よりも短い時間が定められており、また第1の表情の切替時間の方が第2の表情の切替時間よりも長くなるように定められているものであれば、前述した値に限らず、2秒や2.5秒、1.8秒のそれぞれの時間より長い時間や、それぞれの時間より短い時間が定められているものであってもよい。
また、上記実施形態においては、表情の切替時間として一定時間が定められており、一定の間隔で表情が切り替えられる例について説明した。しかし、表情は、一定の間隔で切り替えられるものに限るものではない。表情を切り替える間隔は、例えば、現在実行中のゲームパートの種類に応じて異なるようにしてもよい。この場合、第1の表情の切替時間および第2の表情の切替時間についても同様に、第1の表情の切替時間>第2の表情の切替時間となるように、現在実行中のゲームパートの種類に応じて異なるようにしてもよい。具体的に、ユーザがアバターオブジェクト610とインタラクション可能な第1のゲームパートを実行しているときには、ユーザがアバターオブジェクト610を視認している可能性が高いため、例えば、2秒間隔で表情を切り替えるようにする。これに対して、ユーザがアバターオブジェクト610と所定のゲーム(対戦ゲーム)を行う第2のゲームパートを実行しているときには、第1のゲームパート中よりもユーザがアバターオブジェクト610を視認している可能性が低く、かつゲーム進行のための処理負担が増大するため、2秒間隔よりも長い例えば2.5秒間隔で表情を切り替えるようにしてもよい。
また、表情を切り替える間隔は、アバターオブジェクト610の動作頻度に応じて異なるようにしてもよい。この場合、第1の表情の切替時間および第2の表情の切替時間についても同様に、第1の表情の切替時間>第2の表情の切替時間となるように、アバターオブジェクト610の動作頻度に応じて異なるようにしてもよい。例えば、直近の所定時間(例えば10秒間)内においてアバターオブジェクト610の頭が動いている時間の占める割合が所定割合未満であるときには、動きが少なくユーザがアバターオブジェクト610を視認しやすい状態であるため、例えば、2秒間隔で表情を切り替えるようにする。これに対して、直近の所定時間(例えば10秒間)においてアバターオブジェクト610の頭が動いている時間の占める割合が所定割合以上であるときには、動きが比較的多くユーザがアバターオブジェクト610を視認し難い状態であるため、2秒間隔よりも長い例えば2.5秒間隔で表情を切り替えるようにしてもよい。
また、表情は、不規則な間隔で切り替えられるものであってもよい。例えば、表情を変更した際に、次に表情を切り替えるまでの切替時間を例えば1秒~2.5秒までのうちからランダムに決定して設定するようにしてもよい。この場合、現在実行中のゲームパートの種類に応じて異なる振分率に従って切替時間を設定してもよく、また、アバターオブジェクト610の動作頻度に応じて異なる振分率に従って切替時間を設定してもよい。
(3) 上記実施形態においては、次に切り替える表情(アバターオブジェクト610に取らせる表情)を、乱数抽選によりランダムに決定する例について説明した。しかし、次に切り替える表情は、所定のルールに従って特定されるものであれば、例えば、現在実行中のゲームパートの種類をも加味して、現在実行中のゲームパートに応じて第1種別~第5種別のいずれに属する表情とするかを決定する割合を異ならせるようにしてもよい。具体的に、ユーザがアバターオブジェクト610とインタラクション可能な第1のゲームパートを実行しているときには、プレイヤが喜んだり楽しんだりしているか平常である可能性が高いため、例えば、第1種別・第4種別・第5種別以外の種別に属する表情よりも高い割合で第1種別・第4種別・第5種別のいずれかに属する表情を特定する。これに対して、ユーザがアバターオブジェクト610と所定のゲーム(対戦ゲーム)を行う第2のゲームパートを実行しているときには、第1のゲームパート中よりもプレイヤが喜んだり怒ったりしている可能性が高いため、例えば、第1種別・第2種別以外の種別に属する表情よりも高い割合で第1種別・第2種別のいずれかに属する表情を特定する。
また、ユーザからプレイヤに対してアイテムが投入されたときには、プレイヤが喜んでいる可能性が高いため、例えば、第1種別以外の種別に属する表情よりも高い割合で第1種別に属する表情を特定する。なお、特定される割合が高くなる種別は、投入されたアイテムの種類に応じて異ならせるようにしてもよく、例えば、プレイヤにとって不利となるアイテムが投入されたときには、プレイヤが怒ったり哀しんだりしている可能性が高いため、例えば、第2種別・第3種別以外の種別に属する表情よりも高い割合で第2種別・第3種別に属する表情を特定するようにしてもよい。
また、次に切り替える表情は、例えば、アバターオブジェクト610の動作頻度に応じて第1種別~第5種別のいずれに属する表情とするかを決定する割合を異ならせるようにしてもよい。具体的に、直近の所定時間(例えば10秒間)内においてアバターオブジェクト610の頭が動いている時間の占める割合が所定割合未満であるときには、動きが少ない分、豊かな表情となっている可能性が高いため、例えば、第5種別に属する表情よりも高い割合で第1種別~第4種別のいずれかに属する表情を特定する。これに対して、直近の所定時間内においてアバターオブジェクト610の頭が動いている時間の占める割合が所定割合以上であるときには、動きに気を取られて平常となっている可能性が高いため、例えば、第1種別~第4種別のいずれかに属する表情よりも高い割合で第5種別に属する表情を特定する。
また、次に切り替える表情は、例えば、表情の遷移が予め定められており当該表情の遷移を特定するためのパターンに従って特定されるものであってもよい。具体的には、複数種類の表情が第1の順で遷移するように定められている第1パターンと、複数種類の表情が第1の順とは異なる第2の順で遷移するように定められている第2パターンとを含む複数種類のパターンが設けられており、あるパターンに従って次に切り替える表情を特定し、当該パターンによる遷移が終了した以降においては、別のパターンに従って次に切り替える表情を特定するようにしてもよい。
また、次に切り替える表情は、複数種類の表情のうち少なくとも現在の表情とは異なる表情から特定されるようにしてもよく、また、複数種類の表情のうち少なくとも現在の表情が属する種別とは異なる種別に属する表情から特定されるようにしてもよい。これにより、少なくとも3秒以上に亘って同じ種別に属する表情になることがなく、より一層表情が把握され難くなる。
(4) 上記実施形態においては、発話している音の母音に基づいて実際に人が発話する際の一般的な口形を、アバターオブジェクト610の口形として特定する例について説明した。しかし、アバターオブジェクト610の口形を特定する手法としては、母音に基づいて特定するものに限らず、例えば、発話される音声の音量に応じて口形(口を開けている大きさ)を特定するものであってもよく、またプレイヤ(演者)の口元を撮影した映像を解析して口形を特定するものであってもよい。
(5) 上記実施形態においては、表情を構成する要素として、目・瞼・眉・頬などを例示し、これらの組合せが異なる複数種類の表情のうちからいずれかを特定する例について説明した。しかし、表情は、表情を構成する要素毎にいずれの種類にするかを特定し、特定された各要素を組み合わせることにより特定されるものであってもよい。例えば、目・瞼・眉・頬各々について複数種類設けられており、目については複数種類の目の種類から特定し、瞼、眉、および頬についても同様に各々の要素に対応して設けられている複数種類のうちから特定し、特定された目・瞼・眉・頬を組み合わせることにより一つの表情を特定するようにしてもよい。これにより、表情のバリエーションをより多くすることができる。
(6) 上記実施形態におけるアバターオブジェクト610の衣装等の表示態様は、アバターオブジェクト610の種類に応じて一律に定められている。しかし、アバターオブジェクト610の衣装等の表示態様は、例えば、ゲームの進行度合い(例えば、ゲームで勝利する毎、あるいはアイテムを投入する毎等)に応じてユーザ毎に異なり得るようにしてもよい。例えば、ゲームプレイ端末300側から送信されるゲーム進行情報が同じであっても、アバターオブジェクト610の衣装を、ゲームの進行度合いに応じた衣装とするようにしてもよい。この場合、アバターオブジェクト610の衣装データは、各ユーザ端末100側において予め複数種類記憶されているようにしてもよい。なお、アバターオブジェクト610の表示態様を異ならせる対象は、衣装に限らず、髪型、肌の色、化粧の程度等であってもよい。これにより、ゲーム進行情報を出力するゲームプレイ端末300側の処理負担を増大させることなく、アバターオブジェクト610のバリエーションを増やすことができるため、ユーザを惹きつけることが可能となる。
これに替えてあるいは加えて、アバターオブジェクト610の表示態様は、ゲーム中においてユーザによる課金に応じて、他のユーザのユーザ端末において表示される表示態様と異ならせることができるようにしてもよい。また、アバターオブジェクト610の表示態様は、ゲームの結果に応じて更新されるユーザのランキングに応じて異なるようにしてもよい。
(7) 上記実施形態の図32に示す例においては、演者の発話音量が閾値を超えた期間に亘って、第1の表情が維持される例について説明した。しかし、演者の発話音量が閾値を超えて第1の表情となったときには、予め定められている時間(第1の時間、例えば、2.5秒、あるいは3秒、あるいは閾値を超えたときにのみ3秒を超える時間(例えば4秒等))が経過するまで第1の表情を維持し、予め定められている時間が経過した後においては演者の発話音量にかかわらずステップ90に移行させて第1の表情以外の表情を含む複数種類の表情のうちからいずれかの表情を特定して変更するようにしてもよい。これにより、演者の発話音量が閾値を超えて第1の表情となったときには、その後の発話音量にかかわらず予め定められている時間に亘って当該第1の表情をユーザに認識させることができる。
また、図32に示す例においては、演者の発話音量が閾値を超えたときにセットされる音量連動フラグが、当該閾値と同じ値を超えていないと判定されたときにリセットされる例について説明した。しかし、音量連動フラグをリセットする契機となる発話音量は、閾値と同じ値に限らず、閾値よりも発話音量が低い予め定められている値(第1の値)を超えていないと判定されたときにリセットされるようにしてもよい。これにより、演者の発話音量が閾値を超えて一旦第1の表情となった後においては、当該第1の表情が比較的長く維持される可能性を高めることにより、当該第1の表情をユーザに認識させることができる。
<付記>
以上の各実施形態で説明した事項を、以下に付記する。
(付記1):
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、および入力部を備える端末装置において実行されるプログラムであって、前記プロセッサに、演者の動きに応じて動作するキャラクタが配置されている仮想空間を表示するとともに演者の発話に応じて音声を出力するためのデータを受信するステップ(例えば、図8のステップS22、S26)と、前記データに基づく仮想空間内の画像を所定の表示部に表示可能とするステップ(例えば、図8のステップS25、S28、S29、図28~図32)と、前記データに基づく音声を出力可能とするステップ(例えば、図8のステップS25、S28、S29等)とを実行させ、前記表示可能とするステップにより表示される前記キャラクタの口元は、音声に応じた口元に変更され(例えば、図28のステップS84)、前記表示可能とするステップにより表示される前記キャラクタの表情は、時間の経過に伴って、キャラクタの属性に応じた所定のルールに従った表情に変更される(例えば、図31のステップS90)。
(付記2):
(付記1)において、前記所定のルールとは、予め定められている複数種類の表情毎に定められている選択割合で当該複数種類の表情のうちからいずれかを選択することであり(例えば、図31のステップS90)、前記複数種類の表情は、キャラクタの属性に対応する第1の表情と、キャラクタの属性に対応していない第2の表情とを含み、前記複数種類の表情のうち前記第1の表情の選択割合は、前記第2の表情の選択割合よりも高い(例えば、図30)。
(付記3):
(付記1)または(付記2)において、前記キャラクタの表情は、複数種類の表情のうちのいずれかに変更され、前記複数種類の表情は、キャラクタの属性に対応する第1の表情と、キャラクタの属性に対応していない第2の表情とを含み、変更された表情が前記キャラクタの表情として前記表示可能とするステップにより表示される時間は、前記第2の表情であるときよりも前記第1の表情であるときの方が長い(例えば、図31のステップS92~S94)。
(付記4):
(付記1)~(付記3)のいずれかにおいて、前記キャラクタの表情は、複数種類の表情のうちのいずれかに変更され、前記複数種類の表情は、キャラクタの属性に対応する第1の表情と、キャラクタの属性に対応していない第2の表情とを含み、前記表示可能とするステップにより表示される前記キャラクタの表情は、演者の発話音量が閾値を超えることにより前記第1の表情に変更される(例えば、図32のステップS100~S105)。
(付記5):
(付記4)において、演者の発話音量が閾値を超えることにより前記第1の表情に変更されてから前記演者の発話音量が第1の値を超えている期間においては、前記表示可能とするステップにより表示される前記キャラクタの表情が前記第1の表情となる(例えば、図32のステップS100においてNOと判定されるまで第1の表情となる)。
(付記6):
(付記4)において、演者の発話音量が閾値を超えることにより前記第1の表情に変更されてから第1時間が経過するまで、前記表示可能とするステップにより表示される前記キャラクタの表情が前記第1の表情となる(例えば、変形例(7)参照)。
(付記7):
(付記1)~(付記6)のいずれかにおいて、前記データは、外部から配信されるデータであって、前記演者の入力したモーションに対応するモーションデータおよび前記演者の発話に対応する発話データを含み(動作指図データ)、前記表示可能とするステップは、前記データのうちのモーションデータに基づいて前記仮想空間内において前記キャラクタをリアルタイムに動作させ(図8のステップS27)、前記出力可能とするステップは、前記データのうちの発話データに基づいて、前記演者の発話に応じた音声を出力する(図8のステップS29、リアルタイムレンダリング方式)。
(付記8):
(付記7)において、前記データは、前記所定のルールで変更された表情を特定するための第1のデータ(表情データ)を含み、前記表示可能とするステップは、前記データのうちの前記第1のデータに基づいて前記キャラクタの表情を設定する(例えば、変形例(1)参照)。
(付記9):
(付記1)~(付記6)のいずれかにおいて、前記データは、外部から配信されるデータであって、前記所定のルールで表情が変更されたキャラクタが前記仮想空間内において動作する映像を含む動画データであり、前記表示可能とするステップは、前記動画データに基づいて前記仮想空間内で前記キャラクタが動作する映像を表示する(動画配信方式、変形例(1)参照)。
(付記10):
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、および入力部を備える端末装置が実行する方法であって、演者の動きに応じて動作するキャラクタが配置されている仮想空間を表示するとともに演者の発話に応じて音声を出力するためのデータを受信するステップ(例えば、図8のステップS22、S26)と、前記データに基づく仮想空間内の画像を所定の表示部に表示可能とするステップ(例えば、図8のステップS25、S28、S29、図28~図32)と、前記データに基づく音声を出力可能とするステップ(例えば、図8のステップS25、S28、S29等)とを備え、前記表示可能とするステップにより表示される前記キャラクタの口元は、音声に応じた口元に変更され(例えば、図28のステップS84)、前記表示可能とするステップにより表示される前記キャラクタの表情は、時間の経過に伴って、キャラクタの属性に応じた所定のルールに従った表情に変更される(例えば、図31のステップS90)。
(付記11):
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、および入力部を備える端末装置であって、演者の動きに応じて動作するキャラクタが配置されている仮想空間を表示するとともに演者の発話に応じて音声を出力するためのデータを受信するステップ(例えば、図8のステップS22、S26)と、前記データに基づく仮想空間内の画像を所定の表示部に表示可能とするステップ(例えば、図8のステップS25、S28、S29、図28~図32)と、前記データに基づく音声を出力可能とするステップ(例えば、図8のステップS25、S28、S29等)とを備え、前記表示可能とするステップにより表示される前記キャラクタの口元は、音声に応じた口元に変更され(例えば、図28のステップS84)、前記表示可能とするステップにより表示される前記キャラクタの表情は、時間の経過に伴って、キャラクタの属性に応じた所定のルールに従った表情に変更される(例えば、図31のステップS90)。
〔ソフトウェアによる実現例〕
ユーザ端末100、サーバ200、ゲームプレイ端末300(HMDセット1000)、および配信端末400の制御ブロック(特に制御部110、210、310、410)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、ユーザ端末100、サーバ200、ゲームプレイ端末300(HMDセット1000)、および配信端末400は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。