本発明の実施形態に係る情報処理システムの一例を説明する。
本発明の実施形態に係る情報処理システムは、ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムであって、一又は複数のコンピュータプロセッサを備える。
図1は、本発明の実施形態に係る情報処理システムの一例であって、VRゲームシステムの構成を示したものである。図1に示されるように、本発明のVRゲームシステム100Aは、サーバ装置200と、当該サーバ装置200とネットワーク600を介して接続される複数のプレイヤ端末300とを含む。
VRゲームシステム100Aにおいて、複数のプレイヤ端末300では互いに他のプレイヤのキャラクタオブジェクトが表示され得るものとする。
また、自分のキャラクタオブジェクトの表示の仕方は、一人称視点であってもよいし、三人称視点であってもよい。かかる視点の切り替えは、ユーザの操作により行われることができる。
同様に、図2は、本発明の実施形態に係る情報処理システムの一例であって、動画配信システムの構成を示したものである。図2に示されるように、本発明の動画配信システム100Bは、サーバ装置200と、当該サーバ装置200とネットワーク600を介して接続される配信ユーザ端末400および視聴ユーザ端末500とを含む。
動画配信システム100Bにおいて、配信ユーザ端末400は複数としてもよい。この場合、複数の配信ユーザが共演して一の動画を生成するものであってもよい。
ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画とは、1または複数のプレイヤで行うVRゲームの画面に表示される動画や、配信ユーザ端末の画面に表示される動画および1以上の視聴ユーザの端末の画面に表示される配信用動画などが含まれる。
そして、上記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、受付機能と、処理機能とを実現させる。
受付機能は、ユーザの行動に基づく行動データの入力を受け付ける。
上記ユーザの行動には、ユーザが身体や顔の表情を動かすこと、および/または、ユーザが言葉や音を発することを含まれるものとする。
上記行動データは、例えば、ユーザが装着または担持するセンサ(コントローラ等)から出力されるデータ、および/または、ユーザの行動を撮影した画像の解析結果に基づく情報とすることができる。
処理機能は、上記行動データに従う行動を行うキャラクタオブジェクトを含む動画の動画データを生成する。
行動データに従う行動を行うキャラクタオブジェクトとは、上記ユーザの行動を反映させたキャラクタオブジェクトを言うものとする。
また、このキャラクタオブジェクトを含む動画には、当該キャラクタオブジェクトの他に、背景画像や他のオブジェクトが含んでもよい。
そして、処理機能は、受付機能がユーザの特定の行動に基づく第一の行動データを受け付けた場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することを特徴とする。
第一の行動データは、ユーザの特定の行動に基づくものである。ユーザの特定の行動とは、予め定められた行動とし、上述したユーザの行動(予め定められた行動以外の行動)とは区別されるものである。
予め定められた行動の例としては、「手を3回振り下ろす」、または、「『魔法発動』と言う」などの行動が挙げられる。かかる行動は、初期設定として所定の記憶装置に記憶されていてもよいし、ユーザにより自由に定められる/選択されるものであってもよい。かかる行動は、具体的にはユーザが装着または担持するコントローラの所定のセンサの値を用いて定めることができる。予め定められた行動の別の例としては、杖で魔法陣等の紋様を描く(行動)、呪文を唱える(音声)、剣を振る(行動)、または、設定操作などとしてもよい。なお、杖や剣はユーザが実際に握っているものでもいいし、VR画面上の架空のものでもよい。
なお、呪文を唱える(音声)の場合、何節の文章で構成されている呪文であっても、冒頭の数文字(一例として3~5文字程度)で判定できるように予め呪文を設定しておくことができる。かかる情報を音声参照情報と呼ぶが、詳細については後述する。
第二の行動データは、第一の行動データに従う動作に替えて、予め用意されるものであって、キャラクタオブジェクトが行う表現に関するものである。
かかる第二の行動データに従う表現は、他のユーザ向けに表示されているものであって、第三者視点の場合の入力プレイヤ(ユーザ)の画面には、別表現で表示されてもよい。
キャラクタオブジェクトが行う表現の例としては、「特殊なスキルを発動させる」、または、「魔法を発動させる」などの表現が挙げられる。かかる表現は、キャラクタオブジェクトのアニメーションに加え、聴覚的または視覚的なエフェクトを含んでもよい。
例えば、ユーザが第一の行動として不慣れな動作で魔法陣を描いた場合であっても、キャラクタオブジェクトに、第二の行動データに従う表現として、キレのある動作で魔法陣を描き、強力な魔法を発動させる表現を行わせることができる。
以上の構成によれば、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。
具体的には、上記構成により、演者となるユーザの行動が不格好であったとしても、キャラクタオブジェクトには、当該行動に替えて、予め用意された格好の良い行動を行わせることができるため、生成される動画のクオリティを維持または向上させることができる。
また、上記構成により、演者となるユーザの行動が不格好であったとしても、キャラクタオブジェクトには、当該行動に替えて、予め用意された格好の良い行動を行わせることができるため、ユーザのVR空間への没入感を向上させることができる。
なお、上記の特定の行動の入力判定に関し、例えば、第一の行動データとなる特定の行動の動作終了後、予め定められた時間の経過をもって、かかる判定処理を完了とし、第二の行動データに従う表現を発動させることができる。また、終了時間前に別の第一の行動データとなる特定の行動を行うと、改めて終了判定が行われることができる。
すなわち、本発明の情報処理システムにおいて、処理機能は、入力判定手段を有することができる。具体的には、入力判定手段は、特定の行動データの動作入力が予め定められた時間を超えた否かを判定する。この判定により、特定の行動データの動作終了後、予め定められた時間を超えた場合に、当該行動が終了したと決定される。例えば、第一の行動データとなる特定の行動の動作終了後、予め定められた時間の経過をもって、かかる判定処理を完了とし、第二の行動データに従う表現を発動させることができる。
また、入力判定手段は、特定の行動の動作終了後、予め定められた時間を超える前に別の特定の行動を行った場合に、改めて当該別の特定の行動の入力判定処理を行うことができる。
また、生成される動画のクオリティを高めることで、ユーザの行動意欲を向上させ、かつ、この動画を目にする他のユーザや視聴ユーザの視聴意欲をも向上させることができる。
本発明の実施形態における処理機能は、ユーザに対し、状態表示を表示することができる。
状態表示とは、キャラクタオブジェクトに第二の行動データに従う表現を行わせた動画データが生成されていることを示すものである。
図3は、キャラクタオブジェクトに第一の行動データに従う行動を行わせている場合の画面の例であり、図4は、キャラクタオブジェクトに第二の行動データに従う表現を行わせている場合の画面の例である。図3および図4において、画面にはユーザの行動が反映されるキャラクタC1と、他のユーザの行動が反映されるキャラクタC2とが表示されている。なお、図4において、キャラクタC2の位置および大きさは図3から変更されている。また、図4においてキャラクタC1は武器であるリボンを持って踊りながら必殺技を発動させる表現を行っている。図4には、状態表示の一例として画面の右上に再生マーク等の所定のマークM1が表示される。この状態表示の態様はこれに限られるものではない。
かかる構成によれば、ユーザはキャラクタオブジェクトが自身の行動に基づく行動データに従う行動を行っているのか、第二の行動データに従う表現を行っているのかを明確に認識することができる。
本発明の実施形態における処理機能は、第三の行動データを受け付けた場合、受付機能が当該第三の行動データを受け付けた後に受け付けた第一の行動データに従う動作に替えて、キャラクタオブジェクトに第二の行動データに従う表現を行わせた動画データを生成することができる。
第三の行動データは、ユーザの規定の行動に基づくものである。
規定の行動とは、例えば、「右手を3回振る」などの行動とすることができる。かかる行動は、具体的にはユーザが装着または担持するコントローラの所定のセンサの値を用いて規定されることができる。あるいは、コントローラが備えるボタンを用いて、「Aボタンを1回押す」、「Xボタンを長押しする」などの入力を規定の行動とすることもできる。
第三の行動データは、ユーザが特定の行動を行う前の合図となる。そのため、第一の行動データよりも簡易な行動を規定しておくのが好ましい。簡易な行動とは、具体的には、特定の行動よりも短い時間または少ない動きで完了できる行動をいうものとする。
また、第三の行動データと特定の行動の組み合わせにより第二の行動データが選択されるものとしてもよい。例えば、上記のようにコントローラ入力を利用した既定の行動に関して、一のボタン押しながら「ファイア」と音声入力を行うことで武器である銃による攻撃が発動し、他のボタンを押しながら「ファイア」と音声入力を行うことで魔法による攻撃が発動するものとしてもよい。
かかる構成によれば、ユーザの行動が特定の行動であると認識されるためのユーザの行動の精度に関する条件を、上記第三の行動データがない場合と比較して緩くすることができる。
本発明の実施形態における処理機能は、ユーザに対し、第一の行動データの入力ガイドを表示することができる。
入力ガイドとは、第一の行動データの見本となるものである。
具体的には、図5に示されるように、画面の所定の位置に入力ガイドG1が表示される。この所定の位置および入力外の大きさはゲームの進行に応じて適宜設定することができる。
かかる構成によれば、ユーザの行動が特定の行動であると認識されるためのユーザの行動の精度に関する条件を、上記入力ガイドがない場合と比較して緩くすることができる。
本発明の実施形態における処理機能は、受付機能がユーザの規定の行動に基づく第三の行動データを受け付けた場合、ユーザに対し、第一の行動データの入力ガイドを表示することができる。
そして、入力ガイドの表示後に受付機能が第一の行動データを受け付けた場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することができる。
例えば、第三の行動データとしてユーザにより呪文詠唱がなされた場合、入力ガイドとして魔法陣を描くためのガイドを表示させ、ユーザによる魔法陣を描く行動を第一の行動データとすることができる。このときの呪文詠唱に係る判定は、上述したように、冒頭の数文字で判定できるように予め呪文を設定しておくことができる。
かかる構成によれば、ユーザの行動が特定の行動であると認識されるためのユーザの行動の精度に関する条件を、上記第三の行動データおよび入力ガイドがない場合と比較して緩くすることができる。
本発明の実施形態における処理機能は、受付機能が受け付け始めた行動データが第一の条件を満たした場合、当該行動データを第一の行動データとして、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することができる。
そして、処理機能は、受付機能が受け付けた行動データが第一の条件を満たさない場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に従う行動を行わせた動画データを生成することができる。
なお、第一の条件を満たすと判定されるまでの期間(第一の行動データの入力待機中の期間)も、上記第一の条件を満たさない場合に含まれ、キャラクタオブジェクトには第一の行動データに従う動作に従う行動を行わせるものとしてもよい。
あるいは、第一の条件を満たすと判定されるまでの期間は、キャラクタオブジェクトには別の第四の行動データに従う表現を行わせるものとしてもよい。第四の行動データは、例えば力をためているモーション、呪文を唱えているモーションなどを表すものとするのが好ましく、上記受付機能が当該第三の行動データを受け付けた後に適用されることができる。
かかる第四の行動データに従う表現は、他のユーザ向けに表示されているものであって、第三者視点の場合の入力プレイヤ(ユーザ)の画面には、別表現で表示されてもよい。
かかる構成によれば、動画内のキャラクタオブジェクトの行動を止めることなく、クオリティの高い動画を生成することができる。
続いて、上記第一の条件について詳説する。
本発明の実施形態における処理機能は、行動データと模範行動データとを比較して達成率を判定し、当該達成率が所定の値を超えた場合に行動データが第一の条件を満たしたと判断することができる。
模範行動データは、初期設定として所定の記憶装置に記憶されていてもよいし、ユーザにより定められる/選択されるものであってもよい。
達成率とは、「どこまでできたか」を表す数値とすることができる。例えば、図6に示すように、模範行動データとしてハート型の図形を描くデータがある場合、ハート型の図形の全てを描いた場合には100%、半分を描いた場合には50%というように、達成率が判定される。
また、例えば、行動データが音声データである場合の達成率については、後述する参照周波数スペクトル51またはテキストデータをもとに判断することができる。詳細については後述する。
そして、達成率が所定の値を超えた場合とは、一例として50%を超えた場合とすることができるが、これに限られるものではない。例えば、かかる達成率の所定の値を変えることで、ユーザに応じてゲームの難易度を変化させてもよい。
また、上記第一の条件の満足の判断には、制限時間を設けてもよい。かかる制限時間を変えることで、ユーザに応じてゲームの難易度を変化させることができる。
また、処理機能は、受付機能が受け付けた第一の行動データが第二の条件を満たした場合と、受付機能が受け付けた第一の行動データが第二の条件を満たさない場合とで、第二の行動データに従う表現による効果を異ならせることができる。
第二の行動データに従う表現による効果とは、例えば、第二の行動データに従う表現が回復魔法の発動である場合は、体力の回復がその効果となる。
効果を異ならせるとは、例えば効果の強さを違うものとするものであってもよいし、効果自体を違うものにするものであってもよい。
続いて、上記第二の条件について詳説する。
本発明の実施形態における処理機能は、行動データと模範行動データとを比較して正確率を判定し、当該正確率が所定の値を超えた場合、第一の行動データが第二の条件を満たしたと判断することができる。
正確率とは、「どのようにできたか」を表す数値とすることができる。例えば、図7に示すように、模範行動データとしてハート型の図形を描くデータがある場合、ハート型の図形がすべて一致する場合には100%、ずれている部分がある場合にはその割合に応じた数値というように、正確率が判定される。
そして、正確率が所定の値を超えた場合とは、一例として50%を超えた場合とすることができるが、これに限られるものではない。例えば、かかる正確率の所定の値を変えることで、ユーザに応じてゲームの難易度を変化させてもよい。
また、上記第二の条件の満足の判断には、制限時間を設けてもよい。かかる制限時間を変えることで、ユーザに応じてゲームの難易度を変化させることができる。
そして、処理機能は、ユーザに対し、達成率および/または正確率を示す状態表示を表示することができる。
図8は、画面の所定の位置に達成率および/または正確率を示す状態表示M2が表示される画面の例である。このように、図8には、状態表示の一例として画面の左下に「達成率50%」等の文字が表示されるが、この状態表示の態様はこれに限られるものではない。例えば、ユーザが描いているハートの軌跡の輝きを達成率または正確率に応じて変化させ、これを状態表示としてもよい。
なお、これらの達成率や正確率を満足する条件は、スキルによって変化するものであってもよい。具体的には、ガイド(正確率の判定)が緩くなったり、要求される達成率/正確率が上下したりする。一例として、キャラオブジェクトが所有するキャラスキル(例:剣術I、水魔法I等のキャラの持つ属性による補助効果)、武具スキル(例:火属性を持つ武器による火魔法の補助効果)、ジョブスキル(例:剣士の場合、剣術スキルの達成率/正確率向上、魔法スキルの達成率/正確率低下)などと設定することができる。
続いて、本発明が適用されたゲーム処理システムについて、図面を参照しながら説明を行う。図9に示すように、本発明が適用されたゲーム処理システムは、ヘッドマウントディスプレイ(以下、HMD)10と、ゲーム処理装置20と、操作装置30とを備えている。HMD10とゲーム処理装置20とは、有線または無線による通信を行う。また、操作装置30とHMD10およびゲーム処理装置20との間も有線または無線による通信を行う。
HMD10は、図14に示すようにプレイヤPの頭部に装着され、操作装置30は、プレイヤPに操作される。ゲーム処理装置20は、HMD10の位置および向きに応じた視点でゲームの仮想空間画像をHMD10に表示させ、HMD10および操作装置30にて検出された情報に基づき、仮想空間で行われるゲームの進行を管理する。1つのHMD10は、1つの操作装置30と対応付けられている。したがって、互いに対応付けられたHMD10と操作装置30とは、同一のプレイヤに利用される。なお、ゲーム処理システムは、HMD10と操作装置30との組が複数であってもよく、複数の場合は、複数人で同時にゲームを行うことができる。
[HMD]
HMD10は、HMD制御部11、センサ12、ディスプレイ13、および、スピーカ14、マイク15を備える。HMD10は、ゲーム処理装置20に各種の情報を出力するとともに、ゲーム処理装置20から各種の情報が入力される。
センサ12は、現実空間におけるHMD10の位置と向きとを検出する。センサ12は、例えば、ジャイロセンサ、加速度センサ、地磁気センサなどの少なくとも一つを備える。例えば、センサ12は、視線センサをさらに備えて、プレイヤの視線が向けられる方向(視線方向)を、直接的に検出してもよい。
HMD制御部11は、センサ12の検出した結果を用いて、プレイヤPの頭部の向き(視点と視線方向)を算出する。HMD制御部11は、プレイヤPの頭部の向きに加え、頭部の位置を算出してもよい。HMD制御部11は、頭部の向きを算出するとき、各軸周りの角度として算出する。HMD制御部11は、頭部の位置を算出するとき、3軸方向の位置を算出する。例えば、図10に示すように、3軸は、水平方向に沿ったX軸、鉛直方向に沿ったY軸、および、奥行方向に沿ったZ軸である。軸周りの角度は、X軸を中心とした回転方向を示すピッチθp、Y軸を中心とした回転方向を示すヨーθy、および、Z軸を中心とした回転方向を示すロールθrである。
HMD制御部11は、入出力インタフェースを含み、プレイヤPの頭部の向きをゲーム処理装置20に送信する。HMD制御部11のプレイヤPの頭部の位置を算出した場合には、頭部の位置をゲーム処理装置20に送信する。ゲーム処理装置20は、プレイヤPの頭部の位置と向きなどから、仮想空間VにおけるプレイヤPの位置と向き(カメラの視点とカメラの視線方向)とを算出する。
ディスプレイ13は、表示装置の一例である。ディスプレイ13は、視差画像を出力して、奥行き感のある立体的な画像をプレイヤPに視認させる。ゲーム処理装置20は、仮想空間VにおけるプレイヤPの位置と向きとに基づいて、視差画像を出力するための画像データを抽出する。ゲーム処理装置20は、抽出した画像データをHMD10に送信する。HMD制御部11は、ゲーム処理装置20から受信した信号を用いて、仮想空間Vの画像をディスプレイ13に表示させる。
スピーカ14は、視差画像の背景で流す効果音、音声、および、楽曲などのゲーム音を出力する。ゲーム処理装置20は、ゲームの進行状況を把握し、ゲームの進行状況に適した音を出力するための音データを生成する。ゲーム処理装置20は、生成した音データをHMD10に送信する。HMD制御部11は、ゲーム処理装置20から受信した音声信号をスピーカ14に出力する。
マイク15は、プレイヤPの音声を電気信号に変換し、音声信号を生成する。マイク15では、プレイヤPがゲームの操作指示である音声入力情報を音声で入力することができる。ゲーム処理装置20では、音声入力情報に基づいて操作情報を生成し、ゲーム処理において、操作情報に基づいた操作を受け付ける。例えば、ゲーム進行に必要な攻撃方法(パンチ、キック、ミサイル発射など)や防御方法(隠れる、逃げる、下がる、バリアなど)や呪文などの音声が入力される。
[操作装置]
操作装置30は、当該操作装置30と対応付けられたHMD10と有線または無線により通信可能に構成され、プレイヤPが操作装置30を手に持つこと、あるいは、プレイヤPが操作装置30を手や腕に装着することによってプレイヤPに携帯される。操作装置30は、例えば、ゲーム専用のコントローラであり、また、スマートフォンなどのスマートデバイスである。また、操作装置30は、ペンまたはスティック型コントローラであり、ペンまたはスティック型コントローラの軌跡を検出することで、HMD10によって表示される三次元の仮想空間において描画をすることができる。このような操作装置30は、情報処理部31と、トラッキング情報検出部32と、操作部33とを備えている。
情報処理部31は、プロセッサ、メモリ、通信用インタフェース等を含む。情報処理部31は、センサ12の検出結果に応じた信号、および、操作部33に対する操作に応じた信号をHMD10に出力する。HMD10は、操作装置30から入力された信号に応じた信号を、ゲーム処理装置20に出力する。
トラッキング情報検出部32は、操作装置30の位置および向きの算出のための情報を検出する機器を含む。操作装置30の位置は、プレイヤPの手の位置に相当する。トラッキング情報検出部32には、例えば、ジャイロセンサ、加速度センサ、および、地磁気センサのうち少なくとも1つのセンサが含まれる。トラッキング情報検出部32の検出結果から算出される操作装置30の位置は、操作装置30の初期位置に対する相対的な位置であってもよいし、操作装置30と対応付けられたHMD10の位置に対する相対的な位置であってもよいし、現実空間における絶対的な位置であってもよい。
操作部33は、例えば、プレイヤPが押して操作するボタン型や上下左右に動かすレバー型であり、プレイヤPが目視せずとも操作可能に構成されている。また、操作部33は、タッチパネルであってもよい。なお、操作装置30は、HMD10を介さず直接にゲーム処理装置20と通信を行い、トラッキング情報検出部32の検出結果に応じた信号、および、操作部33に対する操作に応じた信号をゲーム処理装置20に出力してもよい。この場合、HMD10と操作装置30との対応付けは、ゲーム処理装置20において、HMD10と操作装置30との各々の識別情報の対応付けが記憶されること等によって管理されればよい。
なお、例えば、トラッキング情報検出部32は、主としてHMD10の位置の算出に用いられる情報を検出するための位置検出用機器を含む。具体的には、位置検出用機器は、HMD10の向きの算出のための情報を検出可能とする。位置検出用機器は、HMD10の向きに加えて位置の算出にも利用されてもよい。
また、トラッキング情報検出部32に加えて、トラッキング補助装置36を備えていてもよい。例えば、位置検出用機器とトラッキング補助装置36との一方は、赤外光もしくは可視光を射出するレーザー装置やLED等の発光装置であり、位置検出用機器とトラッキング補助装置36との他方は、上記発光装置に対応した光を受光するカメラ等の受光装置である。そして、所定の配置を有する複数の発光装置のうち、何れの発光装置からの光を受光装置が受光したか、所定の配置を有する複数の受光装置のうち、何れの受光装置が発光装置からの光を受光したか、発光装置からの光の射出方向、発光装置から射出された光が受光装置への到達までに要した時間等の情報が検出され、これらの情報に基づき、HMD10の位置や向きが算出される。トラッキング補助装置36が受光装置である場合や、トラッキング補助装置36が発光装置であって、その発光をゲーム処理装置20が制御する場合には、トラッキング補助装置36はゲーム処理装置20と直接に、もしくは、HMD10を介して、通信可能に構成されていればよい。
なお、HMD10の外部に設置されたトラッキング補助装置36を用いずに、HMD10が備えるトラッキング情報検出部32の検出結果のみを利用して、HMD10の位置および向きが算出可能なように、トラッキング情報検出部32が構成されていてもよい。トラッキング情報検出部32の検出結果から算出されるHMD10の位置は、HMD10の初期位置に対する相対的な位置であってもよいし、現実空間、すなわち、プレイヤPがゲームをプレイする際に位置する所定の大きさの三次元空間における絶対的な位置であってもよい。
[ゲーム処理装置]
ゲーム処理装置20は、中央演算処理装置、メモリ、および、特定用途向けの集積回路などの各種のハードウェア要素から構成される。ゲーム処理装置20は、制御装置の一例である制御部21と記憶部22とを備える。なお、ゲーム処理装置20とHMD10とは、1台のゲーム処理装置20に1台のHMD10が接続される関係であってもよいし、1台のゲーム処理装置20に複数台のHMD10が接続される関係であってもよい。
制御部21は、ハードウェア要素にゲーム処理プログラムを実行させて、進行管理部21A、場面判定部21B、音声認識部21C、第1判定部21D、第1アクション制御部21E、描画部21F、第2判定部21G、および、第2アクション制御部21Hとして機能する。記憶部22は、ゲームの進行に用いられる各種の情報を格納する。記憶部22に格納される情報は、画像情報22A、オブジェクト情報22B、および、ゲーム音情報22Cを含む。また、記憶部22は、ゲーム処理プログラムがネットワークや光ディスクやハードディスクやUSBメモリなどの外部記録媒体からインストールされる。
画像情報22Aは、仮想空間情報の一例であり、図15に示すような仮想空間Vの画像を表示するための情報である。仮想空間Vの画像は、仮想空間Vの背景となる画像、および、仮想空間Vに存在するオブジェクトの画像を含む。仮想空間Vに存在するオブジェクトは、仮想空間Vのみに存在するオブジェクトを含む。
オブジェクトは、ディスプレイ13に表示させる画像の単位要素である。オブジェクトは、例えば、プレイヤキャラクタ、敵キャラクタ、味方キャラクタ、および、中立キャラクタなどのゲームキャラクタを含む。オブジェクトは、例えば、武器、防具、魔法、乗り物、および、建物、携帯電話、スマートフォン、掲示板などのゲームアイテムといったゲーム媒体の一つである。例えば、ゲーム媒体は、ゲーム内で利用されるものであってもよいし、ゲーム以外で利用されるものであってもよい。ゲーム媒体は、ゲームに応じて変更可能なデータである。すなわち、ゲーム媒体は、ゲームに使用される電子データであり、ユーザによってゲーム内で取得、所有、使用、管理、交換、合成、強化、売却、廃棄、または、贈与等され得るデータである。例えば、ゲーム媒体は、カード、仮想通貨、チケット、キャラクタ、アバタなどを表す画像データや動画データを含んでいる。また、ゲーム媒体は、カード、仮想通貨、チケット、キャラクタ、アバタなどに化体するレベル情報、ステータス情報、および、パラメータ情報(体力値や攻撃力や魔力など)、能力情報(スキル、アビリティ、呪文、ジョブなど)などの任意の媒体データを含んでいる。また、オブジェクトは、例えば、テキスト、アイコン、および、マップなどのインデックスを含む。
オブジェクト情報22Bは、オブジェクトの識別子、オブジェクトの種類、および、仮想空間Vにおけるオブジェクトの位置を含む。オブジェクトの位置は、仮想空間Vにおけるオブジェクトの位置である。オブジェクトの位置などは、ゲームの進行に伴い、制御部21によって更新される。
ゲーム音情報22Cは、仮想空間情報の一例であり、HMD10にゲーム音を出力させるための情報である。進行管理部21Aは、プレイヤPに認識させるゲーム音を出力させるための情報を、ゲーム音情報22Cの中から抽出し、抽出された情報を、HMD10に送信する。
進行管理部21Aは、ゲームの進行を管理する。場面判定部21Bは、進行管理部21Aによってゲームが進行して行く中で、現在の場面が操作情報としての入力情報が入力可能な入力場面かどうかを判断する。例えば、場面判定部21Bは、入力情報として押ボタンによる入力が可能な場面かどうかを判定する。また、場面判定部21Bは、操作情報として音声入力情報が可能な場面かどうかを判定する。さらに、場面判定部21Bは、プレイヤPの操作装置30を持った手の動作(ジェスチャ)の軌跡を操作情報として入力可能な場面かどうかを判定する。
〔音声入力〕
音声認識部21Cは、マイク15を通じて入力された音声入力情報を認識する。音声認識部21Cは、認識した音声入力情報に基づいて、音声入力期間の周波数スペクトルを生成する。周波数スペクトルは、音声入力期間における横軸を時間軸とし縦軸を強度とした音声スペクトルをフーリエ変換することにより算出することができる。音声認識部21Cは、例えば、音声入力期間における横軸を周波数とし、縦軸を強度とした周波数スペクトルを生成する。また、音声認識部21Cは、音声認識結果およびテキスト変換辞書に基づいて、音声信号に対応するテキストデータを生成する。
第1判定部21Dは、音声入力された音声入力情報を音声参照情報と比較し、音声入力情報と音声参照情報との一致度を算出する。音声参照情報は、第1判定部21Dがメモリなどの記憶部に保持している判定に際しての基準スペクトルである。音声参照情報は、上述した模範行動データの一例である。
図11に示すように、例えば、音声入力情報として、「アブラカダブラ」の呪文を入力する入力場面がある場合、第1判定部21Dは、「アブラカダブラ」の呪文の参照周波数スペクトル51を音声参照情報として予め保持している。第1判定部21Dは、音声入力情報として音声入力された「アブラカダブラ」の呪文の周波数スペクトル52と音声参照情報の参照周波数スペクトル51とを比較し、一致度を算出する。音声入力情報の周波数スペクトル52と音声参照情報の参照周波数スペクトル51とは、スペクトルの重なりが多いほど一致度が高くなり、重なりが少なくなるほど一致度が低くなる。なお、ここで言う「一致度」は上述した「正確率」と同じ意味とする。
なお、音声入力情報としては、横軸を時間軸とし縦軸を強度とした音声スペクトルでもよい。この場合、この音声スペクトルに対応する参照情報としての音声スペクトルを第1判定部21Dが保持している。
また、図12に示すように、第1判定部21Dは、音声入力情報を音声認識し、テキストデータに変換し、音声入力情報から変換されたテキストデータの「アブラカダブラ」と音声参照情報としてのテキストデータの「アブラカダブラ」とを比較し、一致度を算出する。例えば、音声入力情報としてのテキストデータと音声参照情報としてのテキストデータとがともに「アブラカダブラ」であれば、一致度は100%であるし、一文字違いで音声入力情報が「アブラコダブラ」であれば、一致度は、86%である。
テキストデータでの一致度の算出は、音声参照情報の文字の順番に応じて重みづけをしてもよい。例えば、語頭文字が違う場合は、同じ一文字違いでも、一致度を下げるようにする。語頭における音の違いは、称呼上、呪文全体として異なるように聞こえる傾向にあるが、中間又は語尾に位置する文字の音は違っていても全体として称呼上同じように聞こえることも多いからである。例えば、同じ一文字違いであっても、「オブラカダブラ」は語頭文字が違うため、中間文字の異なる「アブラコダブラ」より一致度が低くなる。
なお、音声入力情報をテキストデータに変換する場合において、音声入力情報の中に無音区間が含まれているときには、無音区間に対応する位置にブランク(スペース)を加えるようにしてもよい。また、日本語ではなく英語である場合には、文法辞書なども参照し、単語と単語の間にブランク(スペース)を加えるようにしてもよい。そして、テキストデータでの一致度は、ブランク(スペース)を含めて算出するようにしてもよい。
そして、一致度が所定値以上である場合、キャラクタオブジェクトに、マイク15を通じて入力された音声入力情報に従う動作(発話)に替えて、予め用意された第二の行動データに従う表現を行わせる。
例えば、音声参照情報「アブダカダブラ」には、第二の行動データに従う表現として、「右手に持った杖で魔法陣を描く」動作、および、「魔法エネルギーが敵に向かって放たれる」視覚および聴覚的演出等が対応付けて記憶されており、これらの表現を行うキャラクタオブジェクトを含む動画が生成されることができる。
また、本発明の他の実施形態として、上記の構成に加えて、第1アクション制御部21Eは、音声入力情報と音声参照情報との一致度に応じて、アクション効果を制御してもよい。例えば、第1アクション制御部21Eは、第1アクション制御方法として、一致度が高いほど、アクションの効果を高くし、一致度が低いほど、アクション効果を低くする制御を行う。また、第1アクション制御部21Eは、一致度についての閾値を保持しており、一致度が閾値を超えたときにアクションの効果を通常より高くする。一致度が高い場合は、正確な又は効果的な攻撃を連想させることができるからである。なお、ここで言う「一致度」は上述した「正確率」と同じ意味とする。
また、これとは逆に、第1アクション制御部21Eは、第2アクション制御方法として、一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くする制御を行ってもよい。また、第1アクション制御部21Eは、一致度についての閾値を保持しており、一致度が閾値を超えたときにアクションの効果を通常より低くする。一致度は、プレイヤPの熟練度にも高い相関があり、一致度が高い場合は、熟練度も高い傾向にある。このため、敢えて一致度が高いほど、アクションの効果を低くしゲームを難しくし、一致度が低いほど、アクション効果を高くする。これにより、ゲームの娯楽性を高めることができる。
さらに、ユーザのキャラクタレベルが閾値となるレベルを超えたとき、第1アクション制御方法から第2アクション制御方法に切り替えるようにしてもよい。これにより、継続してゲームをプレイするユーザに対して、ゲームを始めたばかりの初心者のときは、第1アクション制御方法として、ゲームを容易とし、閾値となる所定レベルを超えたとき第2アクション制御方法とすることで、ゲームを難しくし、熟練者となっても同じようにゲームを楽しむことができるようにすることができる。
また、一致度には、アクション効果を発現させる閾値を設けるようにしてもよい。この場合、第1アクション制御部21Eは、一致度が閾値を超えたときに限って、アクション効果を発現させる。そして、第1アクション制御部21Eは、当該閾値を超えたときに、一致度に応じてアクション効果を変化させることになる。そして、一致度が当該閾値未満であるときには、その呪文や攻撃は失敗と判断される(アクション効果が発現しない。)。
次に、音声で操作情報を入力する場合について図13を参照して説明する。場面判定部21Bは、ステップS1において、現在の場面が音声入力情報が入力可能な入力場面かどうかを判断する。例えば、シューティングゲームや格闘ゲームである場合、例えば攻撃や防御の種々の操作情報が入力される対戦場面であるかを判定する。また、ロールプレイングゲームの場合、例えば呪文を入力する場面かどうかを判定する。音声入力が可能な入力場面の場合、場面判定部21Bは、例えば、仮想空間中に音声入力可能な表示を行う。
プレイヤPがマイク15に向かって音声で操作情報となる音声を入力すると、ステップS2において、音声認識部21Cは、音声を電気音響変換して、音声入力情報を生成する。そして、音声認識部21Cは、音声入力期間の周波数スペクトルを生成する。
ステップS3において、第1判定部21Dは、音声入力情報としての周波数スペクトル52を音声参照情報の参照周波数スペクトル51と比較し、ステップS4において、音声入力情報の周波数スペクトル52と音声参照情報の参照周波数スペクトル51との一致度を算出する。また、第1判定部21Dは、音声入力情報としての音声情報を音声認識し、テキストデータに変換し、テキストデータでの一致度を算出する。
そして、ステップS5において、上記一致度が条件を満たした場合、キャラクタオブジェクトに、予め用意された第二の行動データに従う表現を行わせた動画データを生成する。
また、第1アクション制御部21Eは、音声情報と音声参照情報との一致度に応じて、アクション効果を制御してもよい(図示せず)。例えば、第1アクション制御部21Eは、一致度が高いほど、アクションの効果を高くし、一致度が低いほど、アクション効果を低くする制御を行う。また、一致度が閾値を超えたときにアクションの効果を通常より高くする。さらに、これとは逆に、第1アクション制御部21Eは、一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くする制御を行う。また、一致度が閾値を超えたときにアクションの効果を通常より低くする。
また、達成率についても一致度と同様に参照周波数スペクトル51またはテキストデータをもとに判断することができる。
〔動作軌跡入力〕
描画部21Fは、図14に示すように、ペンまたはスティック型コントローラなどの操作装置30を用いてプレイヤPが絵などを描く、文字を書くなどの特定のジェスチャの動作をしたとき、その空間における操作装置30の軌跡を検出する。図14では、渦巻き状にペンまたはスティック型コントローラなどの操作装置30を移動させている。
なお、操作装置30の軌跡はセンサまたはカメラにより検出されることができる。
また、後述する描画参照オブジェクトを表示せずに絵や文字を描く場合には、ガイドをなぞる場合と違って入力される平面(実際には動くので3Dとなる場合もある)が示されないので、調整処理を行うのが好ましい。
かかる調整処理は、一例として、操作装置30の軌跡である3D座標を適切な2D面上にマッピングし、その後既知の認識技術を用いて、プレイヤPが描いた絵や文字を特定することができる。
そして、図15に示すように、描画部21Fは、その軌跡に対応した軌跡オブジェクト61をHMD10によって表示される三次元の仮想空間V内に描画する。
また、図16に示すように、描画部21Fは、軌跡オブジェクト61を描画する際に手本となる描画参照情報としての描画参照オブジェクト63を三次元の仮想空間V内に表示する。描画参照情報は、メモリなどの記憶部に保持されている。描画参照情報は、上述した模範行動データの一例である。
ここでの軌跡オブジェクト61や描画参照オブジェクト63は、三次元の仮想空間V内に浮いているように表示される。この場合、描画参照オブジェクト63をなぞるように操作装置30を動かす。これにより、三次元の仮想空間V内には、描画参照オブジェクト63をなぞるように軌跡オブジェクト61が順次表示される。
なお、描画参照オブジェクト63としては、渦巻き状ではなく、魔法を使うために用いられることのある、紋様や文字で構成された魔法陣のような図柄オブジェクト(例えば、五芒星、六芒星などの星型多角形)であってもよい。魔法陣などは、三次元の仮想空間VにおけるプレイヤPが立っている床面や空中に描くことができる。また、ケーキなどの立体的なオブジェクトであってもよい。また、描画参照オブジェクト63としては、塗り絵の枠のようなものとし、枠に対してはみ出さないよう描画参照オブジェクト63として色を塗るようにしてもよい。
第2判定部21Gは、軌跡オブジェクト61を描画参照オブジェクト63と比較し、軌跡オブジェクト61と描画参照オブジェクト63との一致度を算出する。描画参照オブジェクト63は、ストーリなどに応じて予め設定された描画入力情報を入力される際の正解(手本)となるものであり、抽象的な図、写実的な図、呪文、攻撃名、防御名など示す文字などでもよい。また、プレイヤPがジェスチャを行ったときの操作装置30の軌跡でもよい。例えば、描画参照オブジェクト63は、プレイヤPが刀を上から下に振る場合、操作装置30の軌跡が上下に直線または円弧線形状を有することになるし、プレイヤPが野球のバットを振る場合、ほぼ水平な円形形状を有することになる。
例えば、第2判定部21Gは、軌跡オブジェクト61と描画参照オブジェクト63との重なりが大きいほど一致度が高くなり、重なりが少なくなるほど一致度が低くなる。一例として、軌跡オブジェクト61と描画参照オブジェクト63との重なりは、画素単位で一致/不一致を検出し、一致する画素の割合を一致度として算出する。または、画像を分割した画素ブロック単位で一致/不一致を検出し、一致する画素の割合を一致度として算出する。
そして、一致度が所定値以上である場合に、キャラクタオブジェクトに、操作装置30を通じて入力された奇跡に従う動作に替えて、予め用意された第二の行動データに従う表現を行わせる。
また、本発明の他の実施形態として、上記の構成に加えて、第2アクション制御部21Hは、軌跡オブジェクト61と描画参照オブジェクト63との一致度に応じて、アクション効果を制御してもよい。第2アクション制御部21Hは、軌跡オブジェクト61と描画参照オブジェクト63とを比較した結果、その一致度を算出する。そして、第2アクション制御部21Hは、一致度に応じて、アクション効果を制御する。例えば、第2アクション制御部21Hは、第1アクション制御方法として、一致度が高いほど、アクションの効果を高くし、一致度が低いほど、アクション効果を低くする制御を行う。また、第2アクション制御部21Hは、一致度についての閾値を保持しており、一致度が閾値を超えたときにアクションの効果を高くする。一致度が高い場合は、正確な又は効果的な攻撃を連想させることができるからである。
また、これとは逆に、第2アクション制御部21Hは、第2アクション制御方法として、一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くする制御を行ってもよい。一致度は、プレイヤPの熟練度にも高い相関があるため、敢えて一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くすることでゲームの娯楽性を高めることができるからである。
さらに、ユーザのキャラクタレベルが閾値となるレベルを超えたとき、第1アクション制御方法から第2アクション制御方法に切り替えるようにしてもよい。これにより、継続してゲームをプレイするユーザに対して、ゲームを始めたばかりの初心者のときは、第1アクション制御方法として、ゲームを容易とし、閾値となる所定レベルを超えたとき第2アクション制御方法とすることで、ゲームを難しくし、熟練者となっても同じようにゲームを楽しむことができるようにすることができる。
次に、ペンまたはスティック型コントローラなどの操作装置30で入力情報を入力する場合について図17を参照して説明する。場面判定部21Bは、ステップS11において、現在の場面が描画入力情報を入力可能な入力場面かどうかを判断する。ここでは、場面判定部21Bは、ペンまたはスティック型コントローラなどの操作装置30で描画入力情報の入力可能な場面かどうかを判定する。例えば、シューティングゲームや格闘ゲームである場合、例えば攻撃や防御の動作軌跡(操作装置30の移動軌跡)が操作情報として入力される対戦場面であるかを判定する。また、ロールプレイングゲームの場合、例えば呪文を唱える際の動作軌跡(操作装置30の移動軌跡)が描画入力情報として入力される場面かどうかを判定する。動作軌跡が入力可能な入力場面の場合、場面判定部21Bは、仮想空間中に動作軌跡が入力可能な表示を行う。
ステップS12において、操作装置30のトラッキング情報検出部32は、操作装置30の位置および向きを認識し算出する。描画部21Fは、操作装置30の時間軸上の位置を動作軌跡として仮想空間Vに描画する。ステップS13において、第2判定部21Gは、描画参照オブジェクト63を読み出す。ここで、仮想空間Vには、描画参照オブジェクト63を表示するようにし、プレイヤPが軌跡オブジェクト61を描画するときになぞることができるようにしてもよいし、仮想空間Vにおける何れかの領域に手本として表示するようにしてもよいし、表示しないようにしてもよい。ステップS14において、第2判定部21Gは、軌跡オブジェクト61と描画参照オブジェクト63とを比較し、ステップS15において、軌跡オブジェクト61と描画参照オブジェクト63との一致度を算出する。
そして、ステップS16において、上記一致度が条件を満たした場合に、キャラクタオブジェクトに、予め用意された第二の行動データに従う表現を行わせた動画データを生成する。
また、第2アクション制御部21Hは、軌跡オブジェクト61と描画参照オブジェクト63との一致度に応じて、アクション効果を制御してもよい(図示せず)。例えば、第2アクション制御部21Hは、一致度が高いほど、アクションの効果を高くし、一致度が低いほど、アクション効果を低くする制御を行う。また、一致度が閾値を超えたときにアクションの効果を通常より高くする。さらに、これとは逆に、第2アクション制御部21Hは、一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くする制御を行う。また、一致度が閾値を超えたときにアクションの効果を通常より低くする。
さらに、描画部21Fは、ゲーム媒体としてのキャラクタオブジェクト71が持ったゲーム媒体としての武器オブジェクト72に対してペンまたはスティック型コントローラなどの操作装置30で軌跡オブジェクトとしての追加オブジェクト73を描画することができる。図18は、武器(刀)オブジェクト72に対して追加オブジェクト73が描画される前を示し、図19は、武器(刀)オブジェクト72に対して追加オブジェクト73が描画された後を示している。例えば、スティック型コントローラなどの操作装置30で武器オブジェクト72を選択し、選択後、武器オブジェクト72に対してスティック型コントローラなどの操作装置30を筆やペンなどに見立てて描画動作を行う。これにより、武器オブジェクト72に対して追加オブジェクト73が刀から炎が出ているように描画される。ここでの追加オブジェクト73は、武器の効果を示す効果オブジェクトである。これにより、武器オブジェクト72に対して追加オブジェクト73が関連付けられ、武器オブジェクト72は、追加オブジェクト73が追加された状態で表示されることになる。これにより、プレイヤPの好みに応じて武器オブジェクト72をアレンジすることができる。さらに、武器オブジェクト72は、追加オブジェクト73が追加されることで、攻撃力などが高められてもよい。このようなモードは、図17の処理とは別の場面で行うことができ、場面判定部21Bがその場面を判定することになる。
なお、ここでの追加オブジェクト73は、軌跡オブジェクト61として機能するものであってもよい。すなわち、操作装置30で刀から炎が出ているように描画する操作をすることで、描画部21Fは、追加オブジェクト73を描画する。この場合、理想(手本)の炎の形が描画参照オブジェクト63であって、第2判定部21Gは、追加オブジェクト73でもある軌跡オブジェクト61と描画参照オブジェクト63とを比較し、一致度を算出する。そして、第2アクション制御部21Hによってアクション効果が制御される。これと共に、軌跡オブジェクト61は、追加オブジェクト73として武器オブジェクト72に関連付けられて表示される。
[ハードウェア構成]
図20を参照して、本実施形態のゲーム処理装置20のハードウェア構成について説明する。
図20は、ゲーム処理装置20の例を示す図である。ゲーム処理装置20はデスクトップパソコン、ノートパソコン、携帯情報端末(PDA)、サーバ、家庭用または業務用のゲーム専用機、他の種類のコンピュータ等である。なお、図20に示す構成と各構成の接続関係は一例である。
ゲーム処理装置20は、プロセッサ201およびメモリ202を有する。また、ゲーム処理装置20は、ノースブリッジ203、サウスブリッジ204および記憶装置205を有する。プロセッサ201、メモリ202、各ブリッジ203,204は各種バス206を用いて相互に接続されている。プロセッサ201は、ゲームの進行を司るとともに、ノースブリッジ203に接続されるHMD10等に画像を出力する。なお、ゲーム処理装置20は、複数のプロセッサを有していてもよく、複数のメモリを有していてもよい。
メモリ202は、ノースブリッジ203に接続され、ゲーム処理に関する情報をプロセッサ201に出力する。例えば、メモリ202は、揮発性記憶装置、または、不揮発性記憶装置である。また、メモリ202は、磁気または光ディスク等の記憶媒体である。
記憶装置205は、サウスブリッジ204に接続され、ゲーム処理に関する情報をプロセッサ201に出力する。例えば、記憶装置205は、ハードディスク装置、光ディスク装置、フラッシュメモリ、または、その他の記憶装置である。
ノースブリッジ203は、HMD10に接続される。サウスブリッジ204は、拡張ポート207に接続されている。拡張ポート207は、各種の通信ポート(例えば、USB、ブルートゥース(登録商標)、イーサネット(登録商標)、ワイヤレスイーサネット)を含んでいてもよく、キーボード、マウス、ネットワーク装置等の入出力装置に接続されてもよい。
上記構成において、プロセッサ201、メモリ202、および、ノースブリッジ203が制御部21に対応し、メモリ202および記憶装置205が、記憶部22に対応することになる。
以上説明したように、本実施形態によれば、以下の効果が得られる。
(1)操作情報としての音声入力情報を音声でマイク15を通じて入力できるので、プレイヤPがVRゲームをしているときに没入感を損ないにくくすることができる。また、音声認識された音声入力情報と音声参照情報との一致度に応じてアクション効果を変更するので、ゲームの娯楽性を高めることができる。
(2)一致度が高くなるほどアクション効果を高くすることができる。また、一致度が閾値を超えたときにアクション効果を高くすることができる。これにより、ゲームの娯楽性を高めることができる。
(3)一致度が高くなるとアクション効果を低くすることができる。また、一致度が閾値を超えたときにアクション効果を低くすることができる。これにより、熟練度にも高いプレイヤPに対してはゲームを難しくすることができる。
(4)軌跡オブジェクト61と描画参照オブジェクト63との一致度に応じてアクション効果を変更するので、プレイヤPがVRゲームをしているときに没入感を損ないにくくすることができる。また、ゲームの娯楽性を高めることができる。
(5)描画参照オブジェクト63を表示することで、軌跡オブジェクト61の描画参照オブジェクト63に対する一致度を高め易くすることができる。
(6)軌跡オブジェクトとしての追加オブジェクト73を武器オブジェクト72に関連付けて表示することで、プレイヤPの好みに応じて武器オブジェクト72などのゲーム媒体をアレンジすることができる。
上記各実施形態は、以下のように変更して実施することが可能である。
音声入力の場合の一致度と軌跡オブジェクトとの一致度の両方を参照して、アクション効果を高くしたり、低くしたりしてもよい。例えば呪文を唱えながら魔法陣を描くといった場合である。このような場合、例えば音声入力の場合の一致度と軌跡オブジェクトとの一致度の平均値を算出する。そして、アクション効果は、一致度の平均値に応じてアクション効果を変更することができる。具体的には、一致度の平均値が高くなるほどアクション効果を高くすることができる。また、一致度の平均値が閾値を超えたときにアクション効果を高くすることができる。これとは逆に、一致度の平均値が高くなるとアクション効果を低くすることができる。また、一致度の平均値が閾値を超えたときにアクション効果を低くすることができる。
音声入力の場合の一致度および軌跡オブジェクトとの一致度の両方が閾値を超えたときに、ミッションクリアなどのアクション効果を発生させるようにしてもよい。また、音声入力の場合の一致度によって、ミッションクリアのような判定を行って、軌跡入力の一致度によって取得ポイントを変えるようにしてもよい(一致度が高いほど取得ポイントが高い又は低いなど)。また、軌跡入力の場合の一致度によって、ミッションクリアのような判定を行って、音声入力の一致度によって取得ポイントを変えるようにしてもよい(一致度が高いほど取得ポイントが高い又は低いなど)。
追加オブジェクト73を関連付けるオブジェクトは武器オブジェクト72に限定されるものではない。例えば、キャラクタオブジェクト71に対して同伴する同伴オブジェクトを追加オブジェクト73として関連付けるようにしてもよい。同伴オブジェクトは、メインのキャラクタオブジェクト71に対して接しても、離れていてもよいが、常に同伴するキャラクタであり、場面によっては、メインのキャラクタオブジェクト71と共に攻撃をしたり防御したり身代わりになるキャラクタである。
追加オブジェクト73としては、武器オブジェクト72の効果を示すオブジェクトではなく、キャラクタオブジェクト71や武器オブジェクト72などのアイテムオブジェクトの模様などの柄であってもよい。
ゲーム中に入力する軌跡オブジェクト61は、図14~図16のように渦巻き状の図形に限定されるものではない。一例として、軌跡オブジェクト61は、コマンドを示す文字(例えば、「キック、パンチ、ガード」などの文字(カタカナ、漢字、英字、数字、記号など))であってもよい。また、ケーキ、魚、船、飛行機などの絵や図であってもよい。
軌跡オブジェクト61を描画する際に、手本となる描画参照オブジェクト63は、軌跡オブジェクト61を描画するときに表示しても表示しなくてもよい。例えば、描画参照オブジェクト63を表示するときは、描画が容易となることから、初級や中級モードの設定の1つとしてもよく、また、描画参照オブジェクト63を表示しないときは、上級モードの設定の1つとしてもよい。描画参照オブジェクト63を表示しないときは、プレイヤPが記憶を頼りに軌跡オブジェクト61を描画することになる。例えば、描画参照オブジェクト63がひまわりなど周知の題材であるとき、プレイヤPは、ひまわりの軌跡オブジェクト61を描画することになる。また、三次元の仮想空間V内に描画参照オブジェクト63を表示し、軌跡オブジェクト61を描画参照オブジェクト63をなぞるように入力するときには、入門モードの設定の1つとすることもできる。
また、描画参照オブジェクト63の表示有無や表示の仕方は、場面に応じて変わってもよい。例えば、ゲームの序盤や中盤までは、プレイヤPも操作に不慣れであることから、描画参照オブジェクト63を表示するようにし、終盤では描画参照オブジェクト63を表示しないようにしてもよい。
一致度が高くなるとアクション効果を高くする処理は、初級や中級モードとし、アクション効果を低くする処理は、上級モードとするようにしてもよい。
アクション効果を変更する際に設ける閾値は、1つでも、複数でもよい。閾値の数が増えるほど、より多く段階的にアクション効果を変更することができる。アクション効果は、閾値を設けなければ一致度に応じて漸次変更されることになる。
ゲームの種類や音声入力情報や軌跡オブジェクトを描画する場面は上述の例に限定されるものではない。
〔音声入力の場合〕
恋愛シミュレーションゲームの場合、特定のセリフを音声入力情報として入力し、音声参照情報としての周波数スペクトルとの一致度が高いほど、相手方のプレイヤPに対する好感度が上がるようにしてもよい。
カラオケゲームで有名人や著名人のものまねをする場合において、特定の有名人や著名人の周波数スペクトルを音声参照情報とし、プレイヤPの音声入力情報の周波数スペクトルとの一致度を算出し、一致度が高いほどものまねが似ていると判定し、高得点が得られるようにしてもよい。
〔軌跡オブジェクトの場合〕
例えば、オーケストラの指揮をするゲームの場合、操作装置30としての指揮棒の軌跡を示す軌跡オブジェクト61の、正しい指揮棒の軌跡を示す描画参照オブジェクト63との一致度を算出するようにてもよい。この場合、一致度が高いほど、完成度の高い楽曲や交響曲などが再生されることになり、一致度が低いほど、完成度の低い楽曲や交響曲が再生されることになる。
釣りゲームの場合、操作装置30としての釣竿の竿先の軌跡を示す軌跡オブジェクト61の、正しい竿先の軌跡を示す描画参照オブジェクト63との一致度を算出するようにてもよい。この場合、一致度が高いほど、釣り上げることの難しい魚を釣り上げる確率が高まり、一致度が低いほど、道糸やハリスが切れる確率が高まる。
HMD10としては、例えば帽子型で非透過のヘッドマウントディスプレイがある。また、眼鏡の上部または前部に投影装置が装着されており、透明板部分に投影される眼鏡型であってもよいし、眼鏡型のアダプタにスマートフォンなどのスマートデバイスを装着する者であってもよい。また、眼鏡の上部または前部に投影装置が装着されており、透明板部分に投影される帽子型であってもよい。また、ディスプレイも、外の様子が見えない非透過であってもよいし、ディスプレイ装置はハーフミラーでできており、外の様子が見える光学透過であってもよい。また、投影方式もハーフミラーなどを利用することにより虚像を形成する虚像投影方式であってもよいし、目の水晶体を利用して網膜に直接結像させる網膜投影方式であってもよい。
HMD10で視認される立体映像は、左右異なる角度から撮影した映像をそれぞれ赤と青の光で重ねて再生し、左右に赤と青のカラーフィルタの付いた眼鏡で見るアナグリフ方式であってもよい。また、左右の映像に直交する直線偏光をかけて重ねて投影し、これを偏光フィルタの付いた眼鏡により分離する偏光眼鏡方式であってもよい。さらに、左右異なる角度から撮影した映像を交互に再生し、左右の視界が交互に遮蔽される液晶シャッタを備えた眼鏡で見る液晶シャッタ眼鏡方式であってもよい。
なお、上記の実施形態では本発明をVRゲームシステムに適用した場合について主に説明を行ったが、動画配信システムに適用することも可能である。この場合、配信ユーザ(アクター)の動作は、スタジオの装置を用いたモーションキャプチャ、および/または、スマートフォンの機能を用いたフェイシャルキャプチャ等の技術を用いて取得されることができる。この時、差し替えられる動画の例としては、前述した第2の行動データに従う表現の他に、キャラクタオブジェクトの表情を特殊な表情にする、または、キャラクタオブジェクトが着替える動きなどの動画が挙げられる。また、動画内で複数のキャラクタオブジェクトが共演している場合には、上記模範行動データも複数人分用意され、条件を満たすユーザの数に応じて差し替えられる動画を異ならせる等してもよい。
また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のCPUによって当該プログラムを読み出して実行させることによって実現可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラムとして、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。
〔付記〕
以下に、本願の原出願の出願当初の特許請求の範囲の記載を付記する。
[1]
ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
前記ユーザの行動に基づく行動データの入力を受け付ける受付機能と、
前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理機能と
を実現させ、
前記処理機能は、前記受付機能が前記ユーザの特定の行動に基づく第一の行動データを受け付けた場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成する情報処理システム。
[2]
前記処理機能は、前記ユーザに対し、前記キャラクタオブジェクトに前記第二の行動データに従う表現を行わせた動画データが生成されていることを示す状態表示を表示することを特徴とする請求項1に記載の情報処理システム。
[3]
前記処理機能は、前記受付機能が前記ユーザの規定の行動に基づく第三の行動データを受け付けた場合、前記受付機能が当該第三の行動データを受け付けた後に受け付けた前記第一の行動データに従う動作に替えて、前記キャラクタオブジェクトに前記第二の行動データに従う表現を行わせた動画データを生成することを特徴とする請求項1または2に記載の情報処理システム。
[4]
前記処理機能は、前記ユーザに対し、前記第一の行動データの入力ガイドを表示することを特徴とする請求項1から3のいずれか一項に記載の情報処理システム。
[5]
前記処理機能は、前記受付機能が前記ユーザの規定の行動に基づく第三の行動データを受け付けた場合、前記ユーザに対し、前記第一の行動データの入力ガイドを表示し、当該入力ガイドの表示後に前記受付機能が前記第一の行動データを受け付けた場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することを特徴とする請求項1または2に記載の情報処理システム。
[6]
前記処理機能は、
前記受付機能が受け付け始めた行動データが第一の条件を満たした場合、当該行動データを前記第一の行動データとして、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成し、
前記受付機能が受け付けた行動データが前記第一の条件を満たさない場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に従う行動を行わせた動画データを生成することを特徴とする請求項1から5のいずれか一項に記載の情報処理システム。
[7]
前記処理機能は、
前記行動データと模範行動データとを比較して達成率を判定し、当該達成率が所定の値を超えた場合に前記行動データが前記第一の条件を満たしたと判断することを特徴とする請求項6に記載の情報処理システム。
[8]
前記処理機能は、
前記受付機能が受け付けた第一の行動データが第二の条件を満たした場合と、前記受付機能が受け付けた第一の行動データが第二の条件を満たさない場合とで、前記第二の行動データに従う表現による効果を異ならせることを特徴とする請求項1から7のいずれか一項に記載の情報処理システム。
[9]
前記処理機能は、
前記行動データと模範行動データとを比較して所定の時間内における正確率を判定し、当該正確率が所定の値を超えた場合に前記第一の行動データが前記第二の条件を満たしたと判断することを特徴とする請求項8に記載の情報処理システム。
[10]
前記処理機能は、前記ユーザに対し、前記正確率を示す状態表示を表示することを特徴とする請求項9に記載の情報処理システム。
[11]
ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムにおける情報処理方法であって、一又は複数のコンピュータプロセッサに、
前記ユーザの行動に基づく行動データの入力を受け付ける受付ステップと、
前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理ステップと
を実行させ、
前記処理ステップでは、前記受付ステップにおいて前記ユーザの特定の行動に基づく第一の行動データを受け付けた場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成する情報処理方法。
[12]
ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、
前記ユーザの行動に基づく行動データの入力を受け付ける受付機能と、
前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理機能と
を実現させ、
前記処理機能は、前記受付機能が前記ユーザの特定の行動に基づく第一の行動データを受け付けた場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成するコンピュータプログラム。