JP6839730B2 - 情報処理システム、情報処理方法およびコンピュータプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法およびコンピュータプログラムに関する。

ヴァーチャルリアリティゲーム（以下、「ＶＲゲーム」という。）では、ユーザは頭部に表示装置としてのヘッドマウントディスプレイ（以下、ＨＭＤという。）を装着し、ゲームに没入することができる。一般に、ＶＲゲームにおけるゲームの操作はユーザが手に持った操作装置で行われ（特許文献１参照）、操作装置により入力されたユーザの行動に基づいて、ＨＭＤに表示すべき動画内のキャラクタオブジェクト（プレイヤキャラクタ）のアニメーションが生成される。

また、ユーザの行動に基づいて生成されるキャラクタオブジェクト（アバタ）のアニメーションを生成し、当該アニメーションが含まれる動画を配信する動画配信システムも知られている。

非特許文献１には、アクターの動きを表すモーションキャプチャデータに基づいてヴァーチャルアイドルのアニメーションを生成し、当該アニメーションを含む動画をライブ配信する動画配信システムが開示されている。

従来のＶＲゲームの動画やヴァーチャルアイドルの動画の生成において、ユーザの操作データやユーザの動きなどの行動データはそのまま忠実に動画内のキャラクタオブジェクトの行動に反映させていた。

しかしながら、上記行動データのすべてをキャラクタオブジェクトの行動に反映させてしまうと、ユーザの不格好な行動までもが反映されてしまい、生成される動画のクオリティが下がってしまうという問題がある。

また、上記行動データのすべてをキャラクタオブジェクトの行動に反映させてしまうと、ユーザのＶＲ空間への没入感を損なわせてしまうという問題もある。

これら問題は、ユーザの行動意欲を低下させてしまうとともに、この動画を目にする他のユーザや視聴ユーザの視聴意欲をも低下させてしまうという問題がある。

特開２０１７−２１７１９６号公報

長谷川 雄介，ヴァーチャルアイドル新時代の幕開け ＰＲＯＪＥＣＴ ＭａｒｉＡ，ＣＧ ＷＯＲＬＤ，日本，株式会社ボーンデジタル，２０１７年１１月１０日，第２３１巻，ｐｐ．７４−７９

本発明の目的の一つは、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本発明のより具体的な目的の一つは、生成される動画のクオリティを高めることにある。また、本発明のより具体的な目的の一つは、ユーザのＶＲ空間への没入感を向上させることにある。また、本発明のより具体的な目的の一つは、ユーザの行動意欲を向上させ、かつ、この動画を目にする他のユーザや視聴ユーザの視聴意欲をも向上させることにある。

本明細書の開示の上記以外の目的は、本明細書全体を参照することにより明らかになる。本明細書に開示される発明は、上記の課題に代えて又は上記の課題に加えて、本明細書の発明を実施するための形態の記載から把握される課題を解決するものであってもよい。

本発明の情報処理システムは、ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、ユーザの行動に基づく行動データの入力を受け付ける受付機能と、行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理機能とを実現させ、処理機能は、受付機能がユーザの特定の行動に基づく第一の行動データを受け付けた場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することを特徴とする。

処理機能は、ユーザに対し、キャラクタオブジェクトに第二の行動データに従う表現を行わせた動画データが生成されていることを示す状態表示を表示することができる。

処理機能は、受付機能がユーザの規定の行動に基づく第三の行動データを受け付けた場合、受付機能が当該第三の行動データを受け付けた後に受け付けた第一の行動データに従う動作に替えて、キャラクタオブジェクトに第二の行動データに従う表現を行わせた動画データを生成することができる。

処理機能は、ユーザに対し、第一の行動データの入力ガイドを表示することができる。

処理機能は、受付機能がユーザの規定の行動に基づく第三の行動データを受け付けた場合、ユーザに対し、第一の行動データの入力ガイドを表示し、当該入力ガイドの表示後に受付機能が第一の行動データを受け付けた場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することができる。

処理機能は、受付機能が受け付け始めた行動データが第一の条件を満たした場合、当該行動データを第一の行動データとして、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成し、受付機能が受け付けた行動データが第一の条件を満たさない場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に従う行動を行わせた動画データを生成することができる。

処理機能は、行動データと模範行動データとを比較して達成率を判定し、当該達成率が所定の値を超えた場合、行動データが第一の条件を満たしたと判断することができる。

処理機能は、受付機能が受け付けた第一の行動データが第二の条件を満たした場合と、受付機能が受け付けた第一の行動データが第二の条件を満たさない場合とで、第二の行動データに従う表現による効果を異ならせることができる。

処理機能は、行動データと模範行動データとを比較して所定の時間内における正確率を判定し、当該正確率が所定の値を超えた場合、第一の行動データが第二の条件を満たしたと判断することができる。

処理機能は、ユーザに対し、正確率を示す状態表示を表示することができる。

本発明の情報処理方法は、ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムにおける情報処理方法であって、一又は複数のコンピュータプロセッサに、ユーザの行動に基づく行動データの入力を受け付ける受付ステップと、行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理ステップと
を実行させ、処理ステップでは、受付ステップにおいてユーザの特定の行動に基づく第一の行動データを受け付けた場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することを特徴とする。

本発明のコンピュータプログラムは、ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、ユーザの行動に基づく行動データの入力を受け付ける受付機能と、行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理機能とを実現させ、処理機能は、受付機能がユーザの特定の行動に基づく第一の行動データを受け付けた場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することを特徴とする。

本発明によれば、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、本発明の情報処理システム、情報処理方法およびコンピュータプログラムによれば、生成される動画のクオリティを高めることができる。また、本発明によれば、ユーザのＶＲ空間への没入感を向上させることができる。さらには、本発明の情報処理システム、情報処理方法およびコンピュータプログラムによれば、ユーザの行動意欲を向上させ、かつ、この動画を目にする他のユーザや視聴ユーザの視聴意欲をも向上させることができる。

本発明の実施形態に係る情報処理システムの一例を示すシステム構成図である。 本発明の実施形態に係る情報処理システムの一例を示すシステム構成図である。 本発明の実施形態に係る表示画面の一例を示す概念図である。 本発明の実施形態に係る表示画面の一例を示す概念図である。 本発明の実施形態に係る表示画面の一例を示す概念図である。 本発明の実施形態に係る達成率の概念を示す概念図である。 本発明の実施形態に係る正確率の概念を示す概念図である。 本発明の実施形態に係る表示画面の一例を示す概念図である。 ゲーム処理システムのブロック図である。 プレイヤの頭部の位置と向きの特定に用いられる座標系を示す図である。 周波数スペクトルを示す図である。 テキストデータを示す図である。 音声入力情報が入力された場合の処理を示すフローチャートである。 ペンまたはスティック型の操作装置で三次元の仮想空間において描画をする様子を示す斜視図である。 軌跡オブジェクトが描画される仮想空間を示す図である。 軌跡オブジェクトを示す図である。 入力情報として軌跡オブジェクトが入力された場合の処理を示すフローチャートである。 武器（刀）オブジェクトに対して追加オブジェクトが描画される前の状態を示す図である。 武器（刀）オブジェクトに対して追加オブジェクトが描画された状態を示す図である。 ゲーム処理装置のハードウェア構成を示す図である。

本発明の実施形態に係る情報処理システムの一例を説明する。

本発明の実施形態に係る情報処理システムは、ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムであって、一又は複数のコンピュータプロセッサを備える。

図１は、本発明の実施形態に係る情報処理システムの一例であって、ＶＲゲームシステムの構成を示したものである。図１に示されるように、本発明のＶＲゲームシステム１００Ａは、サーバ装置２００と、当該サーバ装置２００とネットワーク６００を介して接続される複数のプレイヤ端末３００とを含む。

ＶＲゲームシステム１００Ａにおいて、複数のプレイヤ端末３００では互いに他のプレイヤのキャラクタオブジェクトが表示され得るものとする。

また、自分のキャラクタオブジェクトの表示の仕方は、一人称視点であってもよいし、三人称視点であってもよい。かかる視点の切り替えは、ユーザの操作により行われることができる。

同様に、図２は、本発明の実施形態に係る情報処理システムの一例であって、動画配信システムの構成を示したものである。図２に示されるように、本発明の動画配信システム１００Ｂは、サーバ装置２００と、当該サーバ装置２００とネットワーク６００を介して接続される配信ユーザ端末４００および視聴ユーザ端末５００とを含む。

動画配信システム１００Ｂにおいて、配信ユーザ端末４００は複数としてもよい。この場合、複数の配信ユーザが共演して一の動画を生成するものであってもよい。

ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画とは、１または複数のプレイヤで行うＶＲゲームの画面に表示される動画や、配信ユーザ端末の画面に表示される動画および１以上の視聴ユーザの端末の画面に表示される配信用動画などが含まれる。

そして、上記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、受付機能と、処理機能とを実現させる。

受付機能は、ユーザの行動に基づく行動データの入力を受け付ける。

上記ユーザの行動には、ユーザが身体や顔の表情を動かすこと、および／または、ユーザが言葉や音を発することを含まれるものとする。

上記行動データは、例えば、ユーザが装着または担持するセンサ（コントローラ等）から出力されるデータ、および／または、ユーザの行動を撮影した画像の解析結果に基づく情報とすることができる。

処理機能は、上記行動データに従う行動を行うキャラクタオブジェクトを含む動画の動画データを生成する。

行動データに従う行動を行うキャラクタオブジェクトとは、上記ユーザの行動を反映させたキャラクタオブジェクトを言うものとする。

また、このキャラクタオブジェクトを含む動画には、当該キャラクタオブジェクトの他に、背景画像や他のオブジェクトが含んでもよい。

そして、処理機能は、受付機能がユーザの特定の行動に基づく第一の行動データを受け付けた場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することを特徴とする。

第一の行動データは、ユーザの特定の行動に基づくものである。ユーザの特定の行動とは、予め定められた行動とし、上述したユーザの行動（予め定められた行動以外の行動）とは区別されるものである。

予め定められた行動の例としては、「手を３回振り下ろす」、または、「『魔法発動』と言う」などの行動が挙げられる。かかる行動は、初期設定として所定の記憶装置に記憶されていてもよいし、ユーザにより自由に定められる／選択されるものであってもよい。かかる行動は、具体的にはユーザが装着または担持するコントローラの所定のセンサの値を用いて定めることができる。予め定められた行動の別の例としては、杖で魔法陣等の紋様を描く（行動）、呪文を唱える（音声）、剣を振る（行動）、または、設定操作などとしてもよい。なお、杖や剣はユーザが実際に握っているものでもいいし、ＶＲ画面上の架空のものでもよい。

なお、呪文を唱える（音声）の場合、何節の文章で構成されている呪文であっても、冒頭の数文字（一例として３〜５文字程度）で判定できるように予め呪文を設定しておくことができる。かかる情報を音声参照情報と呼ぶが、詳細については後述する。

第二の行動データは、第一の行動データに従う動作に替えて、予め用意されるものであって、キャラクタオブジェクトが行う表現に関するものである。

かかる第二の行動データに従う表現は、他のユーザ向けに表示されているものであって、第三者視点の場合の入力プレイヤ（ユーザ）の画面には、別表現で表示されてもよい。

キャラクタオブジェクトが行う表現の例としては、「特殊なスキルを発動させる」、または、「魔法を発動させる」などの表現が挙げられる。かかる表現は、キャラクタオブジェクトのアニメーションに加え、聴覚的または視覚的なエフェクトを含んでもよい。

例えば、ユーザが第一の行動として不慣れな動作で魔法陣を描いた場合であっても、キャラクタオブジェクトに、第二の行動データに従う表現として、キレのある動作で魔法陣を描き、強力な魔法を発動させる表現を行わせることができる。

以上の構成によれば、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。

具体的には、上記構成により、演者となるユーザの行動が不格好であったとしても、キャラクタオブジェクトには、当該行動に替えて、予め用意された格好の良い行動を行わせることができるため、生成される動画のクオリティを維持または向上させることができる。

また、上記構成により、演者となるユーザの行動が不格好であったとしても、キャラクタオブジェクトには、当該行動に替えて、予め用意された格好の良い行動を行わせることができるため、ユーザのＶＲ空間への没入感を向上させることができる。

なお、上記の特定の行動の入力判定に関し、例えば、第一の行動データとなる特定の行動の動作終了後、予め定められた時間の経過をもって、かかる判定処理を完了とし、第二の行動データに従う表現を発動させることができる。また、終了時間前に別の第一の行動データとなる特定の行動を行うと、改めて終了判定が行われることができる。

すなわち、本発明の情報処理システムにおいて、処理機能は、入力判定手段を有することができる。具体的には、入力判定手段は、特定の行動データの動作入力が予め定められた時間を超えた否かを判定する。この判定により、特定の行動データの動作終了後、予め定められた時間を超えた場合に、当該行動が終了したと決定される。例えば、第一の行動データとなる特定の行動の動作終了後、予め定められた時間の経過をもって、かかる判定処理を完了とし、第二の行動データに従う表現を発動させることができる。

また、入力判定手段は、特定の行動の動作終了後、予め定められた時間を超える前に別の特定の行動を行った場合に、改めて当該別の特定の行動の入力判定処理を行うことができる。

また、生成される動画のクオリティを高めることで、ユーザの行動意欲を向上させ、かつ、この動画を目にする他のユーザや視聴ユーザの視聴意欲をも向上させることができる。

本発明の実施形態における処理機能は、ユーザに対し、状態表示を表示することができる。

状態表示とは、キャラクタオブジェクトに第二の行動データに従う表現を行わせた動画データが生成されていることを示すものである。

図３は、キャラクタオブジェクトに第一の行動データに従う行動を行わせている場合の画面の例であり、図４は、キャラクタオブジェクトに第二の行動データに従う表現を行わせている場合の画面の例である。図３および図４において、画面にはユーザの行動が反映されるキャラクタＣ１と、他のユーザの行動が反映されるキャラクタＣ２とが表示されている。なお、図４において、キャラクタＣ２の位置および大きさは図３から変更されている。また、図４においてキャラクタＣ１は武器であるリボンを持って踊りながら必殺技を発動させる表現を行っている。図４には、状態表示の一例として画面の右上に再生マーク等の所定のマークＭ１が表示される。この状態表示の態様はこれに限られるものではない。

かかる構成によれば、ユーザはキャラクタオブジェクトが自身の行動に基づく行動データに従う行動を行っているのか、第二の行動データに従う表現を行っているのかを明確に認識することができる。

本発明の実施形態における処理機能は、第三の行動データを受け付けた場合、受付機能が当該第三の行動データを受け付けた後に受け付けた第一の行動データに従う動作に替えて、キャラクタオブジェクトに第二の行動データに従う表現を行わせた動画データを生成することができる。

第三の行動データは、ユーザの規定の行動に基づくものである。

規定の行動とは、例えば、「右手を３回振る」などの行動とすることができる。かかる行動は、具体的にはユーザが装着または担持するコントローラの所定のセンサの値を用いて規定されることができる。あるいは、コントローラが備えるボタンを用いて、「Ａボタンを１回押す」、「Ｘボタンを長押しする」などの入力を規定の行動とすることもできる。

第三の行動データは、ユーザが特定の行動を行う前の合図となる。そのため、第一の行動データよりも簡易な行動を規定しておくのが好ましい。簡易な行動とは、具体的には、特定の行動よりも短い時間または少ない動きで完了できる行動をいうものとする。

また、第三の行動データと特定の行動の組み合わせにより第二の行動データが選択されるものとしてもよい。例えば、上記のようにコントローラ入力を利用した既定の行動に関して、一のボタン押しながら「ファイア」と音声入力を行うことで武器である銃による攻撃が発動し、他のボタンを押しながら「ファイア」と音声入力を行うことで魔法による攻撃が発動するものとしてもよい。

かかる構成によれば、ユーザの行動が特定の行動であると認識されるためのユーザの行動の精度に関する条件を、上記第三の行動データがない場合と比較して緩くすることができる。

本発明の実施形態における処理機能は、ユーザに対し、第一の行動データの入力ガイドを表示することができる。

入力ガイドとは、第一の行動データの見本となるものである。

具体的には、図５に示されるように、画面の所定の位置に入力ガイドＧ１が表示される。この所定の位置および入力外の大きさはゲームの進行に応じて適宜設定することができる。

かかる構成によれば、ユーザの行動が特定の行動であると認識されるためのユーザの行動の精度に関する条件を、上記入力ガイドがない場合と比較して緩くすることができる。

本発明の実施形態における処理機能は、受付機能がユーザの規定の行動に基づく第三の行動データを受け付けた場合、ユーザに対し、第一の行動データの入力ガイドを表示することができる。

そして、入力ガイドの表示後に受付機能が第一の行動データを受け付けた場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することができる。

例えば、第三の行動データとしてユーザにより呪文詠唱がなされた場合、入力ガイドとして魔法陣を描くためのガイドを表示させ、ユーザによる魔法陣を描く行動を第一の行動データとすることができる。このときの呪文詠唱に係る判定は、上述したように、冒頭の数文字で判定できるように予め呪文を設定しておくことができる。

かかる構成によれば、ユーザの行動が特定の行動であると認識されるためのユーザの行動の精度に関する条件を、上記第三の行動データおよび入力ガイドがない場合と比較して緩くすることができる。

本発明の実施形態における処理機能は、受付機能が受け付け始めた行動データが第一の条件を満たした場合、当該行動データを第一の行動データとして、キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することができる。

そして、処理機能は、受付機能が受け付けた行動データが第一の条件を満たさない場合、キャラクタオブジェクトに、当該第一の行動データに従う動作に従う行動を行わせた動画データを生成することができる。

なお、第一の条件を満たすと判定されるまでの期間（第一の行動データの入力待機中の期間）も、上記第一の条件を満たさない場合に含まれ、キャラクタオブジェクトには第一の行動データに従う動作に従う行動を行わせるものとしてもよい。

あるいは、第一の条件を満たすと判定されるまでの期間は、キャラクタオブジェクトには別の第四の行動データに従う表現を行わせるものとしてもよい。第四の行動データは、例えば力をためているモーション、呪文を唱えているモーションなどを表すものとするのが好ましく、上記受付機能が当該第三の行動データを受け付けた後に適用されることができる。

かかる第四の行動データに従う表現は、他のユーザ向けに表示されているものであって、第三者視点の場合の入力プレイヤ（ユーザ）の画面には、別表現で表示されてもよい。

かかる構成によれば、動画内のキャラクタオブジェクトの行動を止めることなく、クオリティの高い動画を生成することができる。

続いて、上記第一の条件について詳説する。
本発明の実施形態における処理機能は、行動データと模範行動データとを比較して達成率を判定し、当該達成率が所定の値を超えた場合に行動データが第一の条件を満たしたと判断することができる。

模範行動データは、初期設定として所定の記憶装置に記憶されていてもよいし、ユーザにより定められる／選択されるものであってもよい。

達成率とは、「どこまでできたか」を表す数値とすることができる。例えば、図６に示すように、模範行動データとしてハート型の図形を描くデータがある場合、ハート型の図形の全てを描いた場合には１００％、半分を描いた場合には５０％というように、達成率が判定される。

また、例えば、行動データが音声データである場合の達成率については、後述する参照周波数スペクトル５１またはテキストデータをもとに判断することができる。詳細については後述する。

そして、達成率が所定の値を超えた場合とは、一例として５０％を超えた場合とすることができるが、これに限られるものではない。例えば、かかる達成率の所定の値を変えることで、ユーザに応じてゲームの難易度を変化させてもよい。

また、上記第一の条件の満足の判断には、制限時間を設けてもよい。かかる制限時間を変えることで、ユーザに応じてゲームの難易度を変化させることができる。

また、処理機能は、受付機能が受け付けた第一の行動データが第二の条件を満たした場合と、受付機能が受け付けた第一の行動データが第二の条件を満たさない場合とで、第二の行動データに従う表現による効果を異ならせることができる。

第二の行動データに従う表現による効果とは、例えば、第二の行動データに従う表現が回復魔法の発動である場合は、体力の回復がその効果となる。

効果を異ならせるとは、例えば効果の強さを違うものとするものであってもよいし、効果自体を違うものにするものであってもよい。

続いて、上記第二の条件について詳説する。
本発明の実施形態における処理機能は、行動データと模範行動データとを比較して正確率を判定し、当該正確率が所定の値を超えた場合、第一の行動データが第二の条件を満たしたと判断することができる。

正確率とは、「どのようにできたか」を表す数値とすることができる。例えば、図７に示すように、模範行動データとしてハート型の図形を描くデータがある場合、ハート型の図形がすべて一致する場合には１００％、ずれている部分がある場合にはその割合に応じた数値というように、正確率が判定される。

そして、正確率が所定の値を超えた場合とは、一例として５０％を超えた場合とすることができるが、これに限られるものではない。例えば、かかる正確率の所定の値を変えることで、ユーザに応じてゲームの難易度を変化させてもよい。

また、上記第二の条件の満足の判断には、制限時間を設けてもよい。かかる制限時間を変えることで、ユーザに応じてゲームの難易度を変化させることができる。

そして、処理機能は、ユーザに対し、達成率および／または正確率を示す状態表示を表示することができる。

図８は、画面の所定の位置に達成率および／または正確率を示す状態表示Ｍ２が表示される画面の例である。このように、図８には、状態表示の一例として画面の左下に「達成率５０％」等の文字が表示されるが、この状態表示の態様はこれに限られるものではない。例えば、ユーザが描いているハートの軌跡の輝きを達成率または正確率に応じて変化させ、これを状態表示としてもよい。

なお、これらの達成率や正確率を満足する条件は、スキルによって変化するものであってもよい。具体的には、ガイド（正確率の判定）が緩くなったり、要求される達成率／正確率が上下したりする。一例として、キャラオブジェクトが所有するキャラスキル（例：剣術Ｉ、水魔法Ｉ等のキャラの持つ属性による補助効果）、武具スキル（例：火属性を持つ武器による火魔法の補助効果）、ジョブスキル（例：剣士の場合、剣術スキルの達成率／正確率向上、魔法スキルの達成率／正確率低下）などと設定することができる。

続いて、本発明が適用されたゲーム処理システムについて、図面を参照しながら説明を行う。図９に示すように、本発明が適用されたゲーム処理システムは、ヘッドマウントディスプレイ（以下、ＨＭＤ）１０と、ゲーム処理装置２０と、操作装置３０とを備えている。ＨＭＤ１０とゲーム処理装置２０とは、有線または無線による通信を行う。また、操作装置３０とＨＭＤ１０およびゲーム処理装置２０との間も有線または無線による通信を行う。

ＨＭＤ１０は、図１４に示すようにプレイヤＰの頭部に装着され、操作装置３０は、プレイヤＰに操作される。ゲーム処理装置２０は、ＨＭＤ１０の位置および向きに応じた視点でゲームの仮想空間画像をＨＭＤ１０に表示させ、ＨＭＤ１０および操作装置３０にて検出された情報に基づき、仮想空間で行われるゲームの進行を管理する。１つのＨＭＤ１０は、１つの操作装置３０と対応付けられている。したがって、互いに対応付けられたＨＭＤ１０と操作装置３０とは、同一のプレイヤに利用される。なお、ゲーム処理システムは、ＨＭＤ１０と操作装置３０との組が複数であってもよく、複数の場合は、複数人で同時にゲームを行うことができる。

［ＨＭＤ］
ＨＭＤ１０は、ＨＭＤ制御部１１、センサ１２、ディスプレイ１３、および、スピーカ１４、マイク１５を備える。ＨＭＤ１０は、ゲーム処理装置２０に各種の情報を出力するとともに、ゲーム処理装置２０から各種の情報が入力される。

センサ１２は、現実空間におけるＨＭＤ１０の位置と向きとを検出する。センサ１２は、例えば、ジャイロセンサ、加速度センサ、地磁気センサなどの少なくとも一つを備える。例えば、センサ１２は、視線センサをさらに備えて、プレイヤの視線が向けられる方向（視線方向）を、直接的に検出してもよい。

ＨＭＤ制御部１１は、センサ１２の検出した結果を用いて、プレイヤＰの頭部の向き（視点と視線方向）を算出する。ＨＭＤ制御部１１は、プレイヤＰの頭部の向きに加え、頭部の位置を算出してもよい。ＨＭＤ制御部１１は、頭部の向きを算出するとき、各軸周りの角度として算出する。ＨＭＤ制御部１１は、頭部の位置を算出するとき、３軸方向の位置を算出する。例えば、図１０に示すように、３軸は、水平方向に沿ったＸ軸、鉛直方向に沿ったＹ軸、および、奥行方向に沿ったＺ軸である。軸周りの角度は、Ｘ軸を中心とした回転方向を示すピッチθｐ、Ｙ軸を中心とした回転方向を示すヨーθｙ、および、Ｚ軸を中心とした回転方向を示すロールθｒである。

ＨＭＤ制御部１１は、入出力インタフェースを含み、プレイヤＰの頭部の向きをゲーム処理装置２０に送信する。ＨＭＤ制御部１１のプレイヤＰの頭部の位置を算出した場合には、頭部の位置をゲーム処理装置２０に送信する。ゲーム処理装置２０は、プレイヤＰの頭部の位置と向きなどから、仮想空間ＶにおけるプレイヤＰの位置と向き（カメラの視点とカメラの視線方向）とを算出する。

ディスプレイ１３は、表示装置の一例である。ディスプレイ１３は、視差画像を出力して、奥行き感のある立体的な画像をプレイヤＰに視認させる。ゲーム処理装置２０は、仮想空間ＶにおけるプレイヤＰの位置と向きとに基づいて、視差画像を出力するための画像データを抽出する。ゲーム処理装置２０は、抽出した画像データをＨＭＤ１０に送信する。ＨＭＤ制御部１１は、ゲーム処理装置２０から受信した信号を用いて、仮想空間Ｖの画像をディスプレイ１３に表示させる。

スピーカ１４は、視差画像の背景で流す効果音、音声、および、楽曲などのゲーム音を出力する。ゲーム処理装置２０は、ゲームの進行状況を把握し、ゲームの進行状況に適した音を出力するための音データを生成する。ゲーム処理装置２０は、生成した音データをＨＭＤ１０に送信する。ＨＭＤ制御部１１は、ゲーム処理装置２０から受信した音声信号をスピーカ１４に出力する。

マイク１５は、プレイヤＰの音声を電気信号に変換し、音声信号を生成する。マイク１５では、プレイヤＰがゲームの操作指示である音声入力情報を音声で入力することができる。ゲーム処理装置２０では、音声入力情報に基づいて操作情報を生成し、ゲーム処理において、操作情報に基づいた操作を受け付ける。例えば、ゲーム進行に必要な攻撃方法（パンチ、キック、ミサイル発射など）や防御方法（隠れる、逃げる、下がる、バリアなど）や呪文などの音声が入力される。

［操作装置］
操作装置３０は、当該操作装置３０と対応付けられたＨＭＤ１０と有線または無線により通信可能に構成され、プレイヤＰが操作装置３０を手に持つこと、あるいは、プレイヤＰが操作装置３０を手や腕に装着することによってプレイヤＰに携帯される。操作装置３０は、例えば、ゲーム専用のコントローラであり、また、スマートフォンなどのスマートデバイスである。また、操作装置３０は、ペンまたはスティック型コントローラであり、ペンまたはスティック型コントローラの軌跡を検出することで、ＨＭＤ１０によって表示される三次元の仮想空間において描画をすることができる。このような操作装置３０は、情報処理部３１と、トラッキング情報検出部３２と、操作部３３とを備えている。

情報処理部３１は、プロセッサ、メモリ、通信用インタフェース等を含む。情報処理部３１は、センサ１２の検出結果に応じた信号、および、操作部３３に対する操作に応じた信号をＨＭＤ１０に出力する。ＨＭＤ１０は、操作装置３０から入力された信号に応じた信号を、ゲーム処理装置２０に出力する。

トラッキング情報検出部３２は、操作装置３０の位置および向きの算出のための情報を検出する機器を含む。操作装置３０の位置は、プレイヤＰの手の位置に相当する。トラッキング情報検出部３２には、例えば、ジャイロセンサ、加速度センサ、および、地磁気センサのうち少なくとも１つのセンサが含まれる。トラッキング情報検出部３２の検出結果から算出される操作装置３０の位置は、操作装置３０の初期位置に対する相対的な位置であってもよいし、操作装置３０と対応付けられたＨＭＤ１０の位置に対する相対的な位置であってもよいし、現実空間における絶対的な位置であってもよい。

操作部３３は、例えば、プレイヤＰが押して操作するボタン型や上下左右に動かすレバー型であり、プレイヤＰが目視せずとも操作可能に構成されている。また、操作部３３は、タッチパネルであってもよい。なお、操作装置３０は、ＨＭＤ１０を介さず直接にゲーム処理装置２０と通信を行い、トラッキング情報検出部３２の検出結果に応じた信号、および、操作部３３に対する操作に応じた信号をゲーム処理装置２０に出力してもよい。この場合、ＨＭＤ１０と操作装置３０との対応付けは、ゲーム処理装置２０において、ＨＭＤ１０と操作装置３０との各々の識別情報の対応付けが記憶されること等によって管理されればよい。

なお、例えば、トラッキング情報検出部３２は、主としてＨＭＤ１０の位置の算出に用いられる情報を検出するための位置検出用機器を含む。具体的には、位置検出用機器は、ＨＭＤ１０の向きの算出のための情報を検出可能とする。位置検出用機器は、ＨＭＤ１０の向きに加えて位置の算出にも利用されてもよい。

また、トラッキング情報検出部３２に加えて、トラッキング補助装置３６を備えていてもよい。例えば、位置検出用機器とトラッキング補助装置３６との一方は、赤外光もしくは可視光を射出するレーザー装置やＬＥＤ等の発光装置であり、位置検出用機器とトラッキング補助装置３６との他方は、上記発光装置に対応した光を受光するカメラ等の受光装置である。そして、所定の配置を有する複数の発光装置のうち、何れの発光装置からの光を受光装置が受光したか、所定の配置を有する複数の受光装置のうち、何れの受光装置が発光装置からの光を受光したか、発光装置からの光の射出方向、発光装置から射出された光が受光装置への到達までに要した時間等の情報が検出され、これらの情報に基づき、ＨＭＤ１０の位置や向きが算出される。トラッキング補助装置３６が受光装置である場合や、トラッキング補助装置３６が発光装置であって、その発光をゲーム処理装置２０が制御する場合には、トラッキング補助装置３６はゲーム処理装置２０と直接に、もしくは、ＨＭＤ１０を介して、通信可能に構成されていればよい。

なお、ＨＭＤ１０の外部に設置されたトラッキング補助装置３６を用いずに、ＨＭＤ１０が備えるトラッキング情報検出部３２の検出結果のみを利用して、ＨＭＤ１０の位置および向きが算出可能なように、トラッキング情報検出部３２が構成されていてもよい。トラッキング情報検出部３２の検出結果から算出されるＨＭＤ１０の位置は、ＨＭＤ１０の初期位置に対する相対的な位置であってもよいし、現実空間、すなわち、プレイヤＰがゲームをプレイする際に位置する所定の大きさの三次元空間における絶対的な位置であってもよい。

［ゲーム処理装置］
ゲーム処理装置２０は、中央演算処理装置、メモリ、および、特定用途向けの集積回路などの各種のハードウェア要素から構成される。ゲーム処理装置２０は、制御装置の一例である制御部２１と記憶部２２とを備える。なお、ゲーム処理装置２０とＨＭＤ１０とは、１台のゲーム処理装置２０に１台のＨＭＤ１０が接続される関係であってもよいし、１台のゲーム処理装置２０に複数台のＨＭＤ１０が接続される関係であってもよい。

制御部２１は、ハードウェア要素にゲーム処理プログラムを実行させて、進行管理部２１Ａ、場面判定部２１Ｂ、音声認識部２１Ｃ、第1判定部２１Ｄ、第１アクション制御部２１Ｅ、描画部２１Ｆ、第２判定部２１Ｇ、および、第２アクション制御部２１Ｈとして機能する。記憶部２２は、ゲームの進行に用いられる各種の情報を格納する。記憶部２２に格納される情報は、画像情報２２Ａ、オブジェクト情報２２Ｂ、および、ゲーム音情報２２Ｃを含む。また、記憶部２２は、ゲーム処理プログラムがネットワークや光ディスクやハードディスクやＵＳＢメモリなどの外部記録媒体からインストールされる。

画像情報２２Ａは、仮想空間情報の一例であり、図１５に示すような仮想空間Ｖの画像を表示するための情報である。仮想空間Ｖの画像は、仮想空間Ｖの背景となる画像、および、仮想空間Ｖに存在するオブジェクトの画像を含む。仮想空間Ｖに存在するオブジェクトは、仮想空間Ｖのみに存在するオブジェクトを含む。

オブジェクトは、ディスプレイ１３に表示させる画像の単位要素である。オブジェクトは、例えば、プレイヤキャラクタ、敵キャラクタ、味方キャラクタ、および、中立キャラクタなどのゲームキャラクタを含む。オブジェクトは、例えば、武器、防具、魔法、乗り物、および、建物、携帯電話、スマートフォン、掲示板などのゲームアイテムといったゲーム媒体の一つである。例えば、ゲーム媒体は、ゲーム内で利用されるものであってもよいし、ゲーム以外で利用されるものであってもよい。ゲーム媒体は、ゲームに応じて変更可能なデータである。すなわち、ゲーム媒体は、ゲームに使用される電子データであり、ユーザによってゲーム内で取得、所有、使用、管理、交換、合成、強化、売却、廃棄、または、贈与等され得るデータである。例えば、ゲーム媒体は、カード、仮想通貨、チケット、キャラクタ、アバタなどを表す画像データや動画データを含んでいる。また、ゲーム媒体は、カード、仮想通貨、チケット、キャラクタ、アバタなどに化体するレベル情報、ステータス情報、および、パラメータ情報（体力値や攻撃力や魔力など）、能力情報（スキル、アビリティ、呪文、ジョブなど）などの任意の媒体データを含んでいる。また、オブジェクトは、例えば、テキスト、アイコン、および、マップなどのインデックスを含む。

オブジェクト情報２２Ｂは、オブジェクトの識別子、オブジェクトの種類、および、仮想空間Ｖにおけるオブジェクトの位置を含む。オブジェクトの位置は、仮想空間Ｖにおけるオブジェクトの位置である。オブジェクトの位置などは、ゲームの進行に伴い、制御部２１によって更新される。

ゲーム音情報２２Ｃは、仮想空間情報の一例であり、ＨＭＤ１０にゲーム音を出力させるための情報である。進行管理部２１Ａは、プレイヤＰに認識させるゲーム音を出力させるための情報を、ゲーム音情報２２Ｃの中から抽出し、抽出された情報を、ＨＭＤ１０に送信する。

進行管理部２１Ａは、ゲームの進行を管理する。場面判定部２１Ｂは、進行管理部２１Ａによってゲームが進行して行く中で、現在の場面が操作情報としての入力情報が入力可能な入力場面かどうかを判断する。例えば、場面判定部２１Ｂは、入力情報として押ボタンによる入力が可能な場面かどうかを判定する。また、場面判定部２１Ｂは、操作情報として音声入力情報が可能な場面かどうかを判定する。さらに、場面判定部２１Ｂは、プレイヤＰの操作装置３０を持った手の動作（ジェスチャ）の軌跡を操作情報として入力可能な場面かどうかを判定する。

〔音声入力〕
音声認識部２１Ｃは、マイク１５を通じて入力された音声入力情報を認識する。音声認識部２１Ｃは、認識した音声入力情報に基づいて、音声入力期間の周波数スペクトルを生成する。周波数スペクトルは、音声入力期間における横軸を時間軸とし縦軸を強度とした音声スペクトルをフーリエ変換することにより算出することができる。音声認識部２１Ｃは、例えば、音声入力期間における横軸を周波数とし、縦軸を強度とした周波数スペクトルを生成する。また、音声認識部２１Ｃは、音声認識結果およびテキスト変換辞書に基づいて、音声信号に対応するテキストデータを生成する。

第１判定部２１Ｄは、音声入力された音声入力情報を音声参照情報と比較し、音声入力情報と音声参照情報との一致度を算出する。音声参照情報は、第１判定部２１Ｄがメモリなどの記憶部に保持している判定に際しての基準スペクトルである。音声参照情報は、上述した模範行動データの一例である。

図１１に示すように、例えば、音声入力情報として、「アブラカダブラ」の呪文を入力する入力場面がある場合、第１判定部２１Ｄは、「アブラカダブラ」の呪文の参照周波数スペクトル５１を音声参照情報として予め保持している。第１判定部２１Ｄは、音声入力情報として音声入力された「アブラカダブラ」の呪文の周波数スペクトル５２と音声参照情報の参照周波数スペクトル５１とを比較し、一致度を算出する。音声入力情報の周波数スペクトル５２と音声参照情報の参照周波数スペクトル５１とは、スペクトルの重なりが多いほど一致度が高くなり、重なりが少なくなるほど一致度が低くなる。なお、ここで言う「一致度」は上述した「正確率」と同じ意味とする。

なお、音声入力情報としては、横軸を時間軸とし縦軸を強度とした音声スペクトルでもよい。この場合、この音声スペクトルに対応する参照情報としての音声スペクトルを第１判定部２１Ｄが保持している。

また、図１２に示すように、第１判定部２１Ｄは、音声入力情報を音声認識し、テキストデータに変換し、音声入力情報から変換されたテキストデータの「アブラカダブラ」と音声参照情報としてのテキストデータの「アブラカダブラ」とを比較し、一致度を算出する。例えば、音声入力情報としてのテキストデータと音声参照情報としてのテキストデータとがともに「アブラカダブラ」であれば、一致度は１００％であるし、一文字違いで音声入力情報が「アブラコダブラ」であれば、一致度は、８６％である。

テキストデータでの一致度の算出は、音声参照情報の文字の順番に応じて重みづけをしてもよい。例えば、語頭文字が違う場合は、同じ一文字違いでも、一致度を下げるようにする。語頭における音の違いは、称呼上、呪文全体として異なるように聞こえる傾向にあるが、中間又は語尾に位置する文字の音は違っていても全体として称呼上同じように聞こえることも多いからである。例えば、同じ一文字違いであっても、「オブラカダブラ」は語頭文字が違うため、中間文字の異なる「アブラコダブラ」より一致度が低くなる。

なお、音声入力情報をテキストデータに変換する場合において、音声入力情報の中に無音区間が含まれているときには、無音区間に対応する位置にブランク（スペース）を加えるようにしてもよい。また、日本語ではなく英語である場合には、文法辞書なども参照し、単語と単語の間にブランク（スペース）を加えるようにしてもよい。そして、テキストデータでの一致度は、ブランク（スペース）を含めて算出するようにしてもよい。

そして、一致度が所定値以上である場合、キャラクタオブジェクトに、マイク１５を通じて入力された音声入力情報に従う動作（発話）に替えて、予め用意された第二の行動データに従う表現を行わせる。

例えば、音声参照情報「アブダカダブラ」には、第二の行動データに従う表現として、「右手に持った杖で魔法陣を描く」動作、および、「魔法エネルギーが敵に向かって放たれる」視覚および聴覚的演出等が対応付けて記憶されており、これらの表現を行うキャラクタオブジェクトを含む動画が生成されることができる。

また、本発明の他の実施形態として、上記の構成に加えて、第１アクション制御部２１Ｅは、音声入力情報と音声参照情報との一致度に応じて、アクション効果を制御してもよい。例えば、第１アクション制御部２１Ｅは、第１アクション制御方法として、一致度が高いほど、アクションの効果を高くし、一致度が低いほど、アクション効果を低くする制御を行う。また、第１アクション制御部２１Ｅは、一致度についての閾値を保持しており、一致度が閾値を超えたときにアクションの効果を通常より高くする。一致度が高い場合は、正確な又は効果的な攻撃を連想させることができるからである。なお、ここで言う「一致度」は上述した「正確率」と同じ意味とする。

また、これとは逆に、第１アクション制御部２１Ｅは、第２アクション制御方法として、一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くする制御を行ってもよい。また、第１アクション制御部２１Ｅは、一致度についての閾値を保持しており、一致度が閾値を超えたときにアクションの効果を通常より低くする。一致度は、プレイヤＰの熟練度にも高い相関があり、一致度が高い場合は、熟練度も高い傾向にある。このため、敢えて一致度が高いほど、アクションの効果を低くしゲームを難しくし、一致度が低いほど、アクション効果を高くする。これにより、ゲームの娯楽性を高めることができる。

さらに、ユーザのキャラクタレベルが閾値となるレベルを超えたとき、第１アクション制御方法から第２アクション制御方法に切り替えるようにしてもよい。これにより、継続してゲームをプレイするユーザに対して、ゲームを始めたばかりの初心者のときは、第１アクション制御方法として、ゲームを容易とし、閾値となる所定レベルを超えたとき第２アクション制御方法とすることで、ゲームを難しくし、熟練者となっても同じようにゲームを楽しむことができるようにすることができる。

また、一致度には、アクション効果を発現させる閾値を設けるようにしてもよい。この場合、第１アクション制御部２１Ｅは、一致度が閾値を超えたときに限って、アクション効果を発現させる。そして、第１アクション制御部２１Ｅは、当該閾値を超えたときに、一致度に応じてアクション効果を変化させることになる。そして、一致度が当該閾値未満であるときには、その呪文や攻撃は失敗と判断される（アクション効果が発現しない。）。

次に、音声で操作情報を入力する場合について図１３を参照して説明する。場面判定部２１Ｂは、ステップＳ１において、現在の場面が音声入力情報が入力可能な入力場面かどうかを判断する。例えば、シューティングゲームや格闘ゲームである場合、例えば攻撃や防御の種々の操作情報が入力される対戦場面であるかを判定する。また、ロールプレイングゲームの場合、例えば呪文を入力する場面かどうかを判定する。音声入力が可能な入力場面の場合、場面判定部２１Ｂは、例えば、仮想空間中に音声入力可能な表示を行う。

プレイヤＰがマイク１５に向かって音声で操作情報となる音声を入力すると、ステップＳ２において、音声認識部２１Ｃは、音声を電気音響変換して、音声入力情報を生成する。そして、音声認識部２１Ｃは、音声入力期間の周波数スペクトルを生成する。

ステップＳ３において、第１判定部２１Ｄは、音声入力情報としての周波数スペクトル５２を音声参照情報の参照周波数スペクトル５１と比較し、ステップＳ４において、音声入力情報の周波数スペクトル５２と音声参照情報の参照周波数スペクトル５１との一致度を算出する。また、第１判定部２１Ｄは、音声入力情報としての音声情報を音声認識し、テキストデータに変換し、テキストデータでの一致度を算出する。

そして、ステップＳ５において、上記一致度が条件を満たした場合、キャラクタオブジェクトに、予め用意された第二の行動データに従う表現を行わせた動画データを生成する。

また、第１アクション制御部２１Ｅは、音声情報と音声参照情報との一致度に応じて、アクション効果を制御してもよい（図示せず）。例えば、第１アクション制御部２１Ｅは、一致度が高いほど、アクションの効果を高くし、一致度が低いほど、アクション効果を低くする制御を行う。また、一致度が閾値を超えたときにアクションの効果を通常より高くする。さらに、これとは逆に、第１アクション制御部２１Ｅは、一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くする制御を行う。また、一致度が閾値を超えたときにアクションの効果を通常より低くする。

また、達成率についても一致度と同様に参照周波数スペクトル５１またはテキストデータをもとに判断することができる。

〔動作軌跡入力〕
描画部２１Ｆは、図１４に示すように、ペンまたはスティック型コントローラなどの操作装置３０を用いてプレイヤＰが絵などを描く、文字を書くなどの特定のジェスチャの動作をしたとき、その空間における操作装置３０の軌跡を検出する。図１４では、渦巻き状にペンまたはスティック型コントローラなどの操作装置３０を移動させている。

なお、操作装置３０の軌跡はセンサまたはカメラにより検出されることができる。

また、後述する描画参照オブジェクトを表示せずに絵や文字を描く場合には、ガイドをなぞる場合と違って入力される平面（実際には動くので３Ｄとなる場合もある）が示されないので、調整処理を行うのが好ましい。

かかる調整処理は、一例として、操作装置３０の軌跡である３Ｄ座標を適切な２Ｄ面上にマッピングし、その後既知の認識技術を用いて、プレイヤＰが描いた絵や文字を特定することができる。

そして、図１５に示すように、描画部２１Ｆは、その軌跡に対応した軌跡オブジェクト６１をＨＭＤ１０によって表示される三次元の仮想空間Ｖ内に描画する。

また、図１６に示すように、描画部２１Ｆは、軌跡オブジェクト６１を描画する際に手本となる描画参照情報としての描画参照オブジェクト６３を三次元の仮想空間Ｖ内に表示する。描画参照情報は、メモリなどの記憶部に保持されている。描画参照情報は、上述した模範行動データの一例である。

ここでの軌跡オブジェクト６１や描画参照オブジェクト６３は、三次元の仮想空間Ｖ内に浮いているように表示される。この場合、描画参照オブジェクト６３をなぞるように操作装置３０を動かす。これにより、三次元の仮想空間Ｖ内には、描画参照オブジェクト６３をなぞるように軌跡オブジェクト６１が順次表示される。

なお、描画参照オブジェクト６３としては、渦巻き状ではなく、魔法を使うために用いられることのある、紋様や文字で構成された魔法陣のような図柄オブジェクト（例えば、五芒星、六芒星などの星型多角形）であってもよい。魔法陣などは、三次元の仮想空間ＶにおけるプレイヤＰが立っている床面や空中に描くことができる。また、ケーキなどの立体的なオブジェクトであってもよい。また、描画参照オブジェクト６３としては、塗り絵の枠のようなものとし、枠に対してはみ出さないよう描画参照オブジェクト６３として色を塗るようにしてもよい。

第２判定部２１Ｇは、軌跡オブジェクト６１を描画参照オブジェクト６３と比較し、軌跡オブジェクト６１と描画参照オブジェクト６３との一致度を算出する。描画参照オブジェクト６３は、ストーリなどに応じて予め設定された描画入力情報を入力される際の正解（手本）となるものであり、抽象的な図、写実的な図、呪文、攻撃名、防御名など示す文字などでもよい。また、プレイヤＰがジェスチャを行ったときの操作装置３０の軌跡でもよい。例えば、描画参照オブジェクト６３は、プレイヤＰが刀を上から下に振る場合、操作装置３０の軌跡が上下に直線または円弧線形状を有することになるし、プレイヤＰが野球のバットを振る場合、ほぼ水平な円形形状を有することになる。

例えば、第２判定部２１Ｇは、軌跡オブジェクト６１と描画参照オブジェクト６３との重なりが大きいほど一致度が高くなり、重なりが少なくなるほど一致度が低くなる。一例として、軌跡オブジェクト６１と描画参照オブジェクト６３との重なりは、画素単位で一致／不一致を検出し、一致する画素の割合を一致度として算出する。または、画像を分割した画素ブロック単位で一致／不一致を検出し、一致する画素の割合を一致度として算出する。

そして、一致度が所定値以上である場合に、キャラクタオブジェクトに、操作装置３０を通じて入力された奇跡に従う動作に替えて、予め用意された第二の行動データに従う表現を行わせる。

また、本発明の他の実施形態として、上記の構成に加えて、第２アクション制御部２１Ｈは、軌跡オブジェクト６１と描画参照オブジェクト６３との一致度に応じて、アクション効果を制御してもよい。第２アクション制御部２１Ｈは、軌跡オブジェクト６１と描画参照オブジェクト６３とを比較した結果、その一致度を算出する。そして、第２アクション制御部２１Ｈは、一致度に応じて、アクション効果を制御する。例えば、第２アクション制御部２１Ｈは、第１アクション制御方法として、一致度が高いほど、アクションの効果を高くし、一致度が低いほど、アクション効果を低くする制御を行う。また、第２アクション制御部２１Ｈは、一致度についての閾値を保持しており、一致度が閾値を超えたときにアクションの効果を高くする。一致度が高い場合は、正確な又は効果的な攻撃を連想させることができるからである。

また、これとは逆に、第２アクション制御部２１Ｈは、第２アクション制御方法として、一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くする制御を行ってもよい。一致度は、プレイヤＰの熟練度にも高い相関があるため、敢えて一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くすることでゲームの娯楽性を高めることができるからである。

さらに、ユーザのキャラクタレベルが閾値となるレベルを超えたとき、第１アクション制御方法から第２アクション制御方法に切り替えるようにしてもよい。これにより、継続してゲームをプレイするユーザに対して、ゲームを始めたばかりの初心者のときは、第１アクション制御方法として、ゲームを容易とし、閾値となる所定レベルを超えたとき第２アクション制御方法とすることで、ゲームを難しくし、熟練者となっても同じようにゲームを楽しむことができるようにすることができる。

次に、ペンまたはスティック型コントローラなどの操作装置３０で入力情報を入力する場合について図１７を参照して説明する。場面判定部２１Ｂは、ステップＳ１１において、現在の場面が描画入力情報を入力可能な入力場面かどうかを判断する。ここでは、場面判定部２１Ｂは、ペンまたはスティック型コントローラなどの操作装置３０で描画入力情報の入力可能な場面かどうかを判定する。例えば、シューティングゲームや格闘ゲームである場合、例えば攻撃や防御の動作軌跡（操作装置３０の移動軌跡）が操作情報として入力される対戦場面であるかを判定する。また、ロールプレイングゲームの場合、例えば呪文を唱える際の動作軌跡（操作装置３０の移動軌跡）が描画入力情報として入力される場面かどうかを判定する。動作軌跡が入力可能な入力場面の場合、場面判定部２１Ｂは、仮想空間中に動作軌跡が入力可能な表示を行う。

ステップＳ１２において、操作装置３０のトラッキング情報検出部３２は、操作装置３０の位置および向きを認識し算出する。描画部２１Ｆは、操作装置３０の時間軸上の位置を動作軌跡として仮想空間Ｖに描画する。ステップＳ１３において、第２判定部２１Ｇは、描画参照オブジェクト６３を読み出す。ここで、仮想空間Ｖには、描画参照オブジェクト６３を表示するようにし、プレイヤＰが軌跡オブジェクト６１を描画するときになぞることができるようにしてもよいし、仮想空間Ｖにおける何れかの領域に手本として表示するようにしてもよいし、表示しないようにしてもよい。ステップＳ１４において、第２判定部２１Ｇは、軌跡オブジェクト６１と描画参照オブジェクト６３とを比較し、ステップＳ１５において、軌跡オブジェクト６１と描画参照オブジェクト６３との一致度を算出する。

そして、ステップＳ１６において、上記一致度が条件を満たした場合に、キャラクタオブジェクトに、予め用意された第二の行動データに従う表現を行わせた動画データを生成する。

また、第２アクション制御部２１Ｈは、軌跡オブジェクト６１と描画参照オブジェクト６３との一致度に応じて、アクション効果を制御してもよい（図示せず）。例えば、第２アクション制御部２１Ｈは、一致度が高いほど、アクションの効果を高くし、一致度が低いほど、アクション効果を低くする制御を行う。また、一致度が閾値を超えたときにアクションの効果を通常より高くする。さらに、これとは逆に、第２アクション制御部２１Ｈは、一致度が高いほど、アクションの効果を低くし、一致度が低いほど、アクション効果を高くする制御を行う。また、一致度が閾値を超えたときにアクションの効果を通常より低くする。

さらに、描画部２１Ｆは、ゲーム媒体としてのキャラクタオブジェクト７１が持ったゲーム媒体としての武器オブジェクト７２に対してペンまたはスティック型コントローラなどの操作装置３０で軌跡オブジェクトとしての追加オブジェクト７３を描画することができる。図１８は、武器（刀）オブジェクト７２に対して追加オブジェクト７３が描画される前を示し、図１９は、武器（刀）オブジェクト７２に対して追加オブジェクト７３が描画された後を示している。例えば、スティック型コントローラなどの操作装置３０で武器オブジェクト７２を選択し、選択後、武器オブジェクト７２に対してスティック型コントローラなどの操作装置３０を筆やペンなどに見立てて描画動作を行う。これにより、武器オブジェクト７２に対して追加オブジェクト７３が刀から炎が出ているように描画される。ここでの追加オブジェクト７３は、武器の効果を示す効果オブジェクトである。これにより、武器オブジェクト７２に対して追加オブジェクト７３が関連付けられ、武器オブジェクト７２は、追加オブジェクト７３が追加された状態で表示されることになる。これにより、プレイヤＰの好みに応じて武器オブジェクト７２をアレンジすることができる。さらに、武器オブジェクト７２は、追加オブジェクト７３が追加されることで、攻撃力などが高められてもよい。このようなモードは、図１７の処理とは別の場面で行うことができ、場面判定部２１Ｂがその場面を判定することになる。

なお、ここでの追加オブジェクト７３は、軌跡オブジェクト６１として機能するものであってもよい。すなわち、操作装置３０で刀から炎が出ているように描画する操作をすることで、描画部２１Ｆは、追加オブジェクト７３を描画する。この場合、理想（手本）の炎の形が描画参照オブジェクト６３であって、第２判定部２１Ｇは、追加オブジェクト７３でもある軌跡オブジェクト６１と描画参照オブジェクト６３とを比較し、一致度を算出する。そして、第２アクション制御部２１Ｈによってアクション効果が制御される。これと共に、軌跡オブジェクト６１は、追加オブジェクト７３として武器オブジェクト７２に関連付けられて表示される。

［ハードウェア構成］
図２０を参照して、本実施形態のゲーム処理装置２０のハードウェア構成について説明する。

図２０は、ゲーム処理装置２０の例を示す図である。ゲーム処理装置２０はデスクトップパソコン、ノートパソコン、携帯情報端末（ＰＤＡ）、サーバ、家庭用または業務用のゲーム専用機、他の種類のコンピュータ等である。なお、図２０に示す構成と各構成の接続関係は一例である。

ゲーム処理装置２０は、プロセッサ２０１およびメモリ２０２を有する。また、ゲーム処理装置２０は、ノースブリッジ２０３、サウスブリッジ２０４および記憶装置２０５を有する。プロセッサ２０１、メモリ２０２、各ブリッジ２０３，２０４は各種バス２０６を用いて相互に接続されている。プロセッサ２０１は、ゲームの進行を司るとともに、ノースブリッジ２０３に接続されるＨＭＤ１０等に画像を出力する。なお、ゲーム処理装置２０は、複数のプロセッサを有していてもよく、複数のメモリを有していてもよい。

メモリ２０２は、ノースブリッジ２０３に接続され、ゲーム処理に関する情報をプロセッサ２０１に出力する。例えば、メモリ２０２は、揮発性記憶装置、または、不揮発性記憶装置である。また、メモリ２０２は、磁気または光ディスク等の記憶媒体である。

記憶装置２０５は、サウスブリッジ２０４に接続され、ゲーム処理に関する情報をプロセッサ２０１に出力する。例えば、記憶装置２０５は、ハードディスク装置、光ディスク装置、フラッシュメモリ、または、その他の記憶装置である。

ノースブリッジ２０３は、ＨＭＤ１０に接続される。サウスブリッジ２０４は、拡張ポート２０７に接続されている。拡張ポート２０７は、各種の通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、ワイヤレスイーサネット）を含んでいてもよく、キーボード、マウス、ネットワーク装置等の入出力装置に接続されてもよい。

上記構成において、プロセッサ２０１、メモリ２０２、および、ノースブリッジ２０３が制御部２１に対応し、メモリ２０２および記憶装置２０５が、記憶部２２に対応することになる。

以上説明したように、本実施形態によれば、以下の効果が得られる。
（１）操作情報としての音声入力情報を音声でマイク１５を通じて入力できるので、プレイヤＰがＶＲゲームをしているときに没入感を損ないにくくすることができる。また、音声認識された音声入力情報と音声参照情報との一致度に応じてアクション効果を変更するので、ゲームの娯楽性を高めることができる。

（２）一致度が高くなるほどアクション効果を高くすることができる。また、一致度が閾値を超えたときにアクション効果を高くすることができる。これにより、ゲームの娯楽性を高めることができる。

（３）一致度が高くなるとアクション効果を低くすることができる。また、一致度が閾値を超えたときにアクション効果を低くすることができる。これにより、熟練度にも高いプレイヤＰに対してはゲームを難しくすることができる。

（４）軌跡オブジェクト６１と描画参照オブジェクト６３との一致度に応じてアクション効果を変更するので、プレイヤＰがＶＲゲームをしているときに没入感を損ないにくくすることができる。また、ゲームの娯楽性を高めることができる。

（５）描画参照オブジェクト６３を表示することで、軌跡オブジェクト６１の描画参照オブジェクト６３に対する一致度を高め易くすることができる。

（６）軌跡オブジェクトとしての追加オブジェクト７３を武器オブジェクト７２に関連付けて表示することで、プレイヤＰの好みに応じて武器オブジェクト７２などのゲーム媒体をアレンジすることができる。

上記各実施形態は、以下のように変更して実施することが可能である。
音声入力の場合の一致度と軌跡オブジェクトとの一致度の両方を参照して、アクション効果を高くしたり、低くしたりしてもよい。例えば呪文を唱えながら魔法陣を描くといった場合である。このような場合、例えば音声入力の場合の一致度と軌跡オブジェクトとの一致度の平均値を算出する。そして、アクション効果は、一致度の平均値に応じてアクション効果を変更することができる。具体的には、一致度の平均値が高くなるほどアクション効果を高くすることができる。また、一致度の平均値が閾値を超えたときにアクション効果を高くすることができる。これとは逆に、一致度の平均値が高くなるとアクション効果を低くすることができる。また、一致度の平均値が閾値を超えたときにアクション効果を低くすることができる。

音声入力の場合の一致度および軌跡オブジェクトとの一致度の両方が閾値を超えたときに、ミッションクリアなどのアクション効果を発生させるようにしてもよい。また、音声入力の場合の一致度によって、ミッションクリアのような判定を行って、軌跡入力の一致度によって取得ポイントを変えるようにしてもよい（一致度が高いほど取得ポイントが高い又は低いなど）。また、軌跡入力の場合の一致度によって、ミッションクリアのような判定を行って、音声入力の一致度によって取得ポイントを変えるようにしてもよい（一致度が高いほど取得ポイントが高い又は低いなど）。

追加オブジェクト７３を関連付けるオブジェクトは武器オブジェクト７２に限定されるものではない。例えば、キャラクタオブジェクト７１に対して同伴する同伴オブジェクトを追加オブジェクト７３として関連付けるようにしてもよい。同伴オブジェクトは、メインのキャラクタオブジェクト７１に対して接しても、離れていてもよいが、常に同伴するキャラクタであり、場面によっては、メインのキャラクタオブジェクト７１と共に攻撃をしたり防御したり身代わりになるキャラクタである。

追加オブジェクト７３としては、武器オブジェクト７２の効果を示すオブジェクトではなく、キャラクタオブジェクト７１や武器オブジェクト７２などのアイテムオブジェクトの模様などの柄であってもよい。

ゲーム中に入力する軌跡オブジェクト６１は、図１４〜図１６のように渦巻き状の図形に限定されるものではない。一例として、軌跡オブジェクト６１は、コマンドを示す文字（例えば、「キック、パンチ、ガード」などの文字（カタカナ、漢字、英字、数字、記号など））であってもよい。また、ケーキ、魚、船、飛行機などの絵や図であってもよい。

軌跡オブジェクト６１を描画する際に、手本となる描画参照オブジェクト６３は、軌跡オブジェクト６１を描画するときに表示しても表示しなくてもよい。例えば、描画参照オブジェクト６３を表示するときは、描画が容易となることから、初級や中級モードの設定の１つとしてもよく、また、描画参照オブジェクト６３を表示しないときは、上級モードの設定の１つとしてもよい。描画参照オブジェクト６３を表示しないときは、プレイヤＰが記憶を頼りに軌跡オブジェクト６１を描画することになる。例えば、描画参照オブジェクト６３がひまわりなど周知の題材であるとき、プレイヤＰは、ひまわりの軌跡オブジェクト６１を描画することになる。また、三次元の仮想空間Ｖ内に描画参照オブジェクト６３を表示し、軌跡オブジェクト６１を描画参照オブジェクト６３をなぞるように入力するときには、入門モードの設定の１つとすることもできる。

また、描画参照オブジェクト６３の表示有無や表示の仕方は、場面に応じて変わってもよい。例えば、ゲームの序盤や中盤までは、プレイヤＰも操作に不慣れであることから、描画参照オブジェクト６３を表示するようにし、終盤では描画参照オブジェクト６３を表示しないようにしてもよい。

一致度が高くなるとアクション効果を高くする処理は、初級や中級モードとし、アクション効果を低くする処理は、上級モードとするようにしてもよい。
アクション効果を変更する際に設ける閾値は、１つでも、複数でもよい。閾値の数が増えるほど、より多く段階的にアクション効果を変更することができる。アクション効果は、閾値を設けなければ一致度に応じて漸次変更されることになる。

ゲームの種類や音声入力情報や軌跡オブジェクトを描画する場面は上述の例に限定されるものではない。
〔音声入力の場合〕
恋愛シミュレーションゲームの場合、特定のセリフを音声入力情報として入力し、音声参照情報としての周波数スペクトルとの一致度が高いほど、相手方のプレイヤＰに対する好感度が上がるようにしてもよい。

カラオケゲームで有名人や著名人のものまねをする場合において、特定の有名人や著名人の周波数スペクトルを音声参照情報とし、プレイヤＰの音声入力情報の周波数スペクトルとの一致度を算出し、一致度が高いほどものまねが似ていると判定し、高得点が得られるようにしてもよい。

〔軌跡オブジェクトの場合〕
例えば、オーケストラの指揮をするゲームの場合、操作装置３０としての指揮棒の軌跡を示す軌跡オブジェクト６１の、正しい指揮棒の軌跡を示す描画参照オブジェクト６３との一致度を算出するようにてもよい。この場合、一致度が高いほど、完成度の高い楽曲や交響曲などが再生されることになり、一致度が低いほど、完成度の低い楽曲や交響曲が再生されることになる。

釣りゲームの場合、操作装置３０としての釣竿の竿先の軌跡を示す軌跡オブジェクト６１の、正しい竿先の軌跡を示す描画参照オブジェクト６３との一致度を算出するようにてもよい。この場合、一致度が高いほど、釣り上げることの難しい魚を釣り上げる確率が高まり、一致度が低いほど、道糸やハリスが切れる確率が高まる。

ＨＭＤ１０としては、例えば帽子型で非透過のヘッドマウントディスプレイがある。また、眼鏡の上部または前部に投影装置が装着されており、透明板部分に投影される眼鏡型であってもよいし、眼鏡型のアダプタにスマートフォンなどのスマートデバイスを装着する者であってもよい。また、眼鏡の上部または前部に投影装置が装着されており、透明板部分に投影される帽子型であってもよい。また、ディスプレイも、外の様子が見えない非透過であってもよいし、ディスプレイ装置はハーフミラーでできており、外の様子が見える光学透過であってもよい。また、投影方式もハーフミラーなどを利用することにより虚像を形成する虚像投影方式であってもよいし、目の水晶体を利用して網膜に直接結像させる網膜投影方式であってもよい。

ＨＭＤ１０で視認される立体映像は、左右異なる角度から撮影した映像をそれぞれ赤と青の光で重ねて再生し、左右に赤と青のカラーフィルタの付いた眼鏡で見るアナグリフ方式であってもよい。また、左右の映像に直交する直線偏光をかけて重ねて投影し、これを偏光フィルタの付いた眼鏡により分離する偏光眼鏡方式であってもよい。さらに、左右異なる角度から撮影した映像を交互に再生し、左右の視界が交互に遮蔽される液晶シャッタを備えた眼鏡で見る液晶シャッタ眼鏡方式であってもよい。

なお、上記の実施形態では本発明をＶＲゲームシステムに適用した場合について主に説明を行ったが、動画配信システムに適用することも可能である。この場合、配信ユーザ（アクター）の動作は、スタジオの装置を用いたモーションキャプチャ、および／または、スマートフォンの機能を用いたフェイシャルキャプチャ等の技術を用いて取得されることができる。この時、差し替えられる動画の例としては、前述した第２の行動データに従う表現の他に、キャラクタオブジェクトの表情を特殊な表情にする、または、キャラクタオブジェクトが着替える動きなどの動画が挙げられる。また、動画内で複数のキャラクタオブジェクトが共演している場合には、上記模範行動データも複数人分用意され、条件を満たすユーザの数に応じて差し替えられる動画を異ならせる等してもよい。

また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のＣＰＵによって当該プログラムを読み出して実行させることによって実現可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラムとして、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。

１０…ＨＭＤ、１１…ＨＭＤ制御部、１２…センサ、１３…ディスプレイ、１４…スピーカ、１５…マイク、２０…ゲーム処理装置、２１…制御部、２１Ａ…進行管理部、２１Ｂ…場面判定部、２１Ｃ…音声認識部、２１Ｄ…第１判定部、２１Ｅ…第１アクション制御部、２１Ｆ…描画部、２１Ｇ…第２判定部、２１Ｈ…第２アクション制御部、２２…記憶部、２２Ａ…画像情報、２２Ｂ…オブジェクト情報、２２Ｃ…ゲーム音情報、３０…操作装置、３１…情報処理部、３２…トラッキング情報検出部、３３…操作部、３６…トラッキング補助装置、５１…参照周波数スペクトル、５２…周波数スペクトル、６１…軌跡オブジェクト、６３…描画参照オブジェクト、７１…キャラクタオブジェクト、７２…武器オブジェクト、７３…追加オブジェクト、２０１…プロセッサ、２０２…メモリ、２０３…ノースブリッジ、２０３…ブリッジ、２０４…サウスブリッジ、２０４…ブリッジ、２０５…記憶装置、２０６…バス、２０７…拡張ポート

Claims (16)

1. ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、
   前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
   前記ユーザの行動に基づく行動データの入力を受け付ける受付機能と、
   前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理機能と
   を実現させ、
   前記処理機能は、前記受付機能が前記ユーザの特定の行動に基づく第一の行動データを受け付けた場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成し、
   前記処理機能は、前記ユーザに対し、前記キャラクタオブジェクトに前記第二の行動データに従う表現を行わせた動画データが生成されていることを示すマークを、前記第二の行動データに従う表現とともに表示する情報処理システム。
2. ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、
   前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
   前記ユーザの行動に基づく行動データの入力を受け付ける受付機能と、
   前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理機能と
   を実現させ、
   前記処理機能は、
   前記受付機能が前記ユーザの規定の行動に基づく第三の行動データを受け付けたか否かを判定し、
   前記判定の結果、前記第三の行動データを受け付けたと判定された場合に、当該第三の行動データを受け付けた後に前記受付機能が受け付けた前記ユーザの特定の行動に基づく第一の行動データに従う動作に替えて、前記キャラクタオブジェクトに予め用意された第二の行動データに従う表現を行わせた動画データを生成し、
   前記判定の結果、前記第三の行動データを受け付けていないと判定された場合に、前記受付機能が受け付けた前記第一の行動データに従う動作に従う行動を、前記キャラクタオブジェクトに行わせた動画データを生成する情報処理システム。
3. 前記処理機能は、前記ユーザに対し、前記キャラクタオブジェクトに前記第二の行動データに従う表現を行わせた動画データが生成されていることを示すマークを表示することを特徴とする請求項２に記載の情報処理システム。
4. 前記処理機能は、前記受付機能が前記ユーザの規定の行動に基づく第三の行動データを受け付けた場合、前記受付機能が当該第三の行動データを受け付けた後に受け付けた前記第一の行動データに従う動作に替えて、前記キャラクタオブジェクトに前記第二の行動データに従う表現を行わせた動画データを生成することを特徴とする請求項１に記載の情報処理システム。
5. 前記処理機能は、前記マークを前記キャラクタとは離間した位置に表示した動画データを生成することを特徴とする請求項１に記載の情報処理システム。
6. 前記処理機能は、前記ユーザに対し、前記第一の行動データの入力ガイドを表示することを特徴とする請求項１から５のいずれか一項に記載の情報処理システム。
7. 前記処理機能は、前記受付機能が前記ユーザの規定の行動に基づく第三の行動データを受け付けた場合、前記ユーザに対し、前記第一の行動データの入力ガイドを表示し、当該入力ガイドの表示後に前記受付機能が前記第一の行動データを受け付けた場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成することを特徴とする請求項１から６のいずれか一項に記載の情報処理システム。
8. 前記処理機能は、
   前記受付機能が受け付け始めた行動データが第一の条件を満たした場合、当該行動データを前記第一の行動データとして、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成し、
   前記受付機能が受け付けた行動データが前記第一の条件を満たさない場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に従う行動を行わせた動画データを生成することを特徴とする請求項１から７のいずれか一項に記載の情報処理システム。
9. 前記処理機能は、
   前記行動データと模範行動データとを比較して達成率を判定し、当該達成率が所定の値を超えた場合に前記行動データが前記第一の条件を満たしたと判断することを特徴とする請求項８に記載の情報処理システム。
10. 前記処理機能は、
    前記受付機能が受け付けた第一の行動データが第二の条件を満たした場合と、前記受付機能が受け付けた第一の行動データが第二の条件を満たさない場合とで、前記第二の行動データに従う表現による効果を異ならせることを特徴とする請求項１から９のいずれか一項に記載の情報処理システム。
11. 前記処理機能は、
    前記行動データと模範行動データとを比較して所定の時間内における正確率を判定し、当該正確率が所定の値を超えた場合に前記第一の行動データが前記第二の条件を満たしたと判断することを特徴とする請求項１０に記載の情報処理システム。
12. 前記処理機能は、前記ユーザに対し、前記正確率を示す状態情報を表示することを特徴とする請求項１１に記載の情報処理システム。
13. ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムにおける情報処理方法であって、一又は複数のコンピュータプロセッサに、
    前記ユーザの行動に基づく行動データの入力を受け付ける受付ステップと、
    前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理ステップと
    を実行させ、
    前記処理ステップでは、前記受付ステップにおいて前記ユーザの特定の行動に基づく第一の行動データを受け付けた場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成し、
    前記処理ステップでは、前記ユーザに対し、前記キャラクタオブジェクトに前記第二の行動データに従う表現を行わせた動画データが生成されていることを示すマークを、前記第二の行動データに従う表現とともに表示する情報処理方法。
14. ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、
    前記ユーザの行動に基づく行動データの入力を受け付ける受付機能と、
    前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理機能と
    を実現させ、
    前記処理機能は、前記受付機能が前記ユーザの特定の行動に基づく第一の行動データを受け付けた場合、前記キャラクタオブジェクトに、当該第一の行動データに従う動作に替えて、予め用意された第二の行動データに従う表現を行わせた動画データを生成し、
    前記処理機能は、前記ユーザに対し、前記キャラクタオブジェクトに前記第二の行動データに従う表現を行わせた動画データが生成されていることを示すマークを、前記第二の行動データに従う表現とともに表示するコンピュータプログラム。
15. ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成する情報処理システムにおける情報処理方法であって、一又は複数のコンピュータプロセッサに、
    前記ユーザの行動に基づく行動データの入力を受け付ける受付ステップと、
    前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理ステップと
    を実行させ、
    前記処理ステップでは、
    前記受付ステップにおいて前記ユーザの規定の行動に基づく第三の行動データを受け付けたか否かを判定し、
    前記判定の結果、前記第三の行動データを受け付けたと判定された場合に、当該第三の行動データを受け付けた後に前記受付ステップにおいて受け付けた前記ユーザの特定の行動に基づく第一の行動データに従う動作に替えて、前記キャラクタオブジェクトに予め用意された第二の行動データに従う表現を行わせた動画データを生成し、
    前記判定の結果、前記第三の行動データを受け付けていないと判定された場合に、前記受付ステップにおいて受け付けた前記第一の行動データに従う動作に従う行動を、前記キャラクタオブジェクトに行わせた動画データを生成する情報処理方法。
16. ユーザの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を生成するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、
    前記ユーザの行動に基づく行動データの入力を受け付ける受付機能と、
    前記行動データに従う行動を行うキャラクタオブジェクトを含む動画データを生成する処理機能と
    を実現させ、
    前記処理機能は、
    前記受付機能が前記ユーザの規定の行動に基づく第三の行動データを受け付けたか否かを判定し、
    前記判定の結果、前記第三の行動データを受け付けたと判定された場合に、当該第三の行動データを受け付けた後に前記受付機能が受け付けた前記ユーザの特定の行動に基づく第一の行動データに従う動作に替えて、前記キャラクタオブジェクトに予め用意された第二の行動データに従う表現を行わせた動画データを生成し、
    前記判定の結果、前記第三の行動データを受け付けていないと判定された場合に、前記受付機能が受け付けた前記第一の行動データに従う動作に従う行動を、前記キャラクタオブジェクトに行わせた動画データを生成コンピュータプログラム。

Images