JP7330518B2 - ゲームシステム、ゲームシステムの制御方法及びゲームプログラム - Google Patents

Description

本発明は、入力された音声を認識するゲームシステム、ゲームシステムの制御方法及びゲームプログラムに関する。

近年のコンピューター技術の進歩に伴い、コンピューターグラフィックス技術を用いたビデオゲーム機が広く利用されるようになってきた。近年多種多様なゲームソフトが開発されているため、この種の家庭用のビデオゲーム装置は娯楽として非常に人気が高い。この種のビデオゲーム機ではコントローラのボタンを操作することにより、キャラクターを動かしたり、ゲーム画面を切り替えたりしている。このようなゲームにおいて、人間にとって最も自然なコミュニケーション手段である発声を認識し、この認識結果に基づきゲームを制御しようとするシステムも開発されている（例えば、先行文献１）。

一方、言語の学習にもコンピューターによるビデオゲームを応用したシステムも開発されている。このような語学のためのシステムとしては、例えば、言語の発音についての評価を自動的に行う、いわゆる発音の自動評定方法が開発されている。この発音の自動評定とは、非母語話者の音素及び単語の発音、又は文の発音が、母語話者の発音と比べてどの程度異なっているかを自動的に推定し、評価する仕組みである（例えば特許文献２）。

国際公開ＷＯ９８／０２２２３ 特開２００６－８４９６６号公報

しかしながら、単純にビデオゲームに発音の自動評定の仕組みを組み合わせても単調になりがちで、学習を継続することが困難となる傾向があるとともに、ゲーム内におけるコマンド操作としての発音となってしまうため、実生活中の自然な雰囲気やタイミングで発声させる訓練が不十分となる可能性があった。

この発明は、係る課題を解決するためになされたものであり、言語学習における発声評価をゲームに取り入れて娯楽性を高めつつ、実生活中での自然な雰囲気やタイミングで発声させる訓練を充実できるゲームシステム、ゲームシステムの制御方法及びゲームプログラムを提供することを目的とする。

上記課題を解決するために、上記課題を解決するために、本発明は、遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームシステムであって、音声信号を入力する音声入力部と、入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、音声の認識結果に基づきゲームに関する制御信号を生成する音声認識部と、物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるシナリオ制御部と、操作入力による入力信号及び音声認識部により生成された制御信号に基づいて、シナリオを進行させるゲーム制御部とシナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて遊技者による発音の正確性を評価するゲームモードをイベント処理の一つとして実行するゲームモード実行部と、シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードをイベント処理の一つとして実行するストーリーモード実行部と、を備え、ゲームモード実行部は、出題された音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって評価を行い、ゲームモードにおけるトレーニングで出題されたフレーズを含む音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって評価を行い、ストーリーモード実行部は、ゲームモード実行部によって評価された音声信号が遊技者によって入力されることに応じて、ゲームモード実行部によって評価されたフレーズを含む音声信号が、ストーリーモードにおいて遊技者によって入力されることに応じて、キャラクターの動作に関するリアクションイベント処理を実行させる機能を有することを特徴とする。

また、本発明は、遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームシステムであって、音声信号を入力する音声入力部と、入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、該音声の認識結果に基づきゲームに関する制御信号を生成する音声認識部と、物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるシナリオ制御部と、前記操作入力による入力信号及び前記音声認識部により生成された前記制御信号に基づいて、前記シナリオを進行させるゲーム制御部と、前記シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて前記遊技者による発音の正確性を評価するゲームモードを前記イベント処理の一つとして実行するゲームモード実行部と、前記シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを前記イベント処理の一つとして実行するストーリーモード実行部と、前記ストーリーモード実行部で進行される物語に関して再生されるストーリーモード用動画から取得されたアフレコ用動画の動画再生に同期させて入力された音声を取得して、アフレコデータを生成するアフレコデータ生成部とを備え、前記ゲームモード実行部は、アフレコ用動画に同期させて入力された音声を含むアフレコデータを用いて出題された音声認識対象問題に対する前記アフレコ用動画、若しくはこれに同期させて入力された音声、又は前記アフレコデータを用いて出題された音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって前記評価を行う機能を有することを特徴とする。

本発明は、遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームシステムの制御方法であって、
（１）音声入力部が音声信号の入力を受け付け、音声認識部が、入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、音声の認識結果に基づきゲームに関する制御信号を生成する音声認識ステップと、
（２）操作入力による入力信号及び音声認識部により生成された制御信号に基づいて、シナリオ制御部が、物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるゲーム制御ステップと、
（３）シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて遊技者による発音の正確性を評価するゲームモードを、ゲームモード実行部がイベント処理の一つとして実行するゲームモード実行ステップと、
（４）シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを、ストーリーモード実行部がイベント処理の一つとして実行するストーリーモード実行ステップと
を含み、
（５）ゲームモード実行ステップでは、ゲームモードにおけるトレーニングで出題されたフレーズを含む音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって評価を行い、
（６）ストーリーモードでは、前記ゲームモード実行部によって評価されたフレーズを含む音声信号が、ストーリーモードにおいて遊技者によって入力されることに応じて、前記キャラクターの動作に関するリアクションイベント処理が実行される
ことを特徴とする。

また、本発明は、遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームシステムの制御方法であって、
（１） 音声入力部が音声信号の入力を受け付け、音声認識部が、入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、該音声の認識結果に基づきゲームに関する制御信号を生成する音声認識ステップと、
（２） 操作入力による入力信号及び音声認識部により生成された制御信号に基づいて、シナリオ制御部が、物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるゲーム制御ステップと
（３） シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて遊技者による発音の正確性を評価するゲームモードを、ゲームモード実行部がイベント処理の一つとして実行するゲームモード実行ステップと、
（４） シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを、ストーリーモード実行部がイベント処理の一つとして実行するストーリーモード実行ステップと、
（５） アフレコデータ生成部が、ストーリーモード実行部で進行される物語に関して再生されるストーリーモード用動画から取得されたアフレコ用動画の動画再生に同期させて入力された音声を取得して、アフレコデータを生成するアフレコデータ生成ステップと
（６） ゲームモード実行ステップでは、アフレコ用動画に同期させて入力された音声を含むアフレコデータを用いて出題された音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって評価を行う
ことを特徴とする。

上記発明では、ストーリーモードでは２種以上の言語が使用されるとともに、ゲームモードでは２種以上の言語に関する音声認識対象問題に対する正確性が評価されることが好ましい。また、上記発明では、ストーリーモードにおいて遊技者による音声信号の入力に応じて発生されるイベント処理では、ゲームモードで取得されたポイント又はレベルアップに従ってキャラクターが動作されることが好ましい。さらに、上記発明では、ストーリーモードでは２種以上の言語が使用されるとともに、ゲームモードでは２種以上の言語に関する音声認識対象問題が出題されることが好ましい。

上記発明は、ストーリモードにおいて遊技者による音声信号の入力に応じて発生されるイベント処理では、ゲームモードで取得されたポイント又はレベルアップに従ってキャラクターを動作させることが好ましい。

なお、上述した本発明に係るシステムや方法は、所定の言語で記述された本発明のプログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルＰＣその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを構築して、本発明に係る方法を実施することができる。

また、本発明のプログラムは、例えば、通信回線を通じて配布することが可能であり、また、コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。この記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述したシステム及び方法を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。

以上述べたように、これらの発明によれば、言語学習における発声評価をゲームに取り入れて娯楽性を高めつつ、実生活中での自然な雰囲気やタイミングで発声させる訓練を充実させることができる。

実施形態に係るゲームシステムの全体構成を示す機能ブロック図である。 実施の形態に係るゲームサーバーの内部構成を示すブロック図である。 実施形態に係るユーザー端末の内部構成を示すブロック図である。 実施形態に係るゲームシステムの動作を示すシーケンス図である。 実施形態に係るゲームシステムにおける劇場空間の画面構成を示す説明図である。 実施形態に係るゲームシステムにおけるゲームモードの画面構成を示す説明図である。 実施形態に係るゲームシステムにおけるストーリーモードの画面構成を示す説明図である。 実施形態に係るアフレコモード時の動作を示すフロー図である。 実施形態に係るゲームシステムにおけるアフレコモードの画面構成を示す説明図である。

以下に添付図面を参照して、本発明に係るゲームシステム及びゲームプログラムの実施形態を詳細に説明する。なお、本発明は、上記した各実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。

（ゲームシステムの全体構成）
図１は、本実施形態に係るゲームシステムの全体構成を示す概念図である。本実施形態に係るゲームシステムは、図１に示すように、遊技者である複数の遊技者Ｕ（Ｕａ，Ｕｂ）が使用するスマートフォン１（１ａ，１ｂ）と、インターネット２上に設置されたゲームサーバー３とから概略構成される。なお、本実施形態では、スマートフォン１を携帯端末装置の一例として説明する。

ゲームサーバー３は、本実施形態では、ゲーム進行処理を行うサーバーであり、単一のサーバー装置、又は複数のサーバー装置群により実現することができ、複数の機能モジュールをＣＰＵ上に仮想的に構築し、それぞれの機能モジュールが協動して処理を実行する。また、このゲームサーバー３は、通信機能によりインターネット２を通じて、データ送受信を行うことができるとともに、Ｗｅｂサーバー機能によりブラウザソフトを通じてＷｅｂページの提示などを行うことができる。

スマートフォン１は、無線通信を利用した携帯可能な情報処理端末装置であり、無線基地局２２等の中継点と携帯電話機が無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。この携帯電話機の通信方式としては、例えば、３Ｇ（3rd. Generation）方式、ＬＴＥ（Long Term Evolution）方式、４Ｇ方式、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ－ＣＤＭＡの他、ＰＨＳ（Personal Handyphone System）方式等が挙げられる。また、このスマートフォン１は、通信機能の他、デジタルカメラ機能、アプリケーションソフトの実行機能、ＧＰＳ（Global Positioning System）などによる位置情報取得機能等、種々の機能が搭載され、タブレットＰＣ等のモバイルコンピューターも含まれる。

位置情報取得機能は、自機の位置を示す位置情報を取得し、記録する機能であり、この位置情報取得機能としては、例えば、ＧＰＳのように、衛星からの信号によって自機の位置を検出する方法や、図１に示すように、携帯電話の無線基地局２２や、Ｗｉｆｉ通信のアクセスポイントからの電波強度などによって位置を検出する方法が含まれる。

そして、このスマートフォン１は、情報を表示する表示部としての液晶ディスプレイを備えるとともに、ユーザーが入力操作を行うための操作ボタン等の操作デバイスを備え、この操作デバイスとしては、液晶ディスプレイに重畳されて配置され、液晶ディスプレイ上の座標位置を指定するタッチ操作などによる操作信号を取得する入力部としてのタッチパネルが含まれる。具体的にこのタッチパネルは、ユーザーの指先やペンなどを用いたタッチ操作による圧力や静電検知その他によって操作信号を入力する入力デバイスであり、グラフィックを表示する液晶ディスプレイと、この液晶ディスプレイに表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサとが重畳されて構成されている。

（各装置の内部構造）
次いで、上述したゲームシステムを構成する各装置の内部構造について説明する。図２は、本実施形態に係るゲームサーバー３の内部構成を示すブロック図であり、図３は、本実施形態に係るスマートフォン１の内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

（１）ゲームサーバー
先ず、ゲームサーバー３の内部構成について説明する。ゲームサーバー３は、インターネット２上に配置されたサーバー装置であり、インターネット２を通じて、各スマートフォン１とデータの送受信を行えるようになっている。

ゲームサーバー３は、インターネット２を通じてデータ通信を行う通信インターフェース３１と、利用者や利用者端末の権限を認証する認証部３３と、各利用者端末からのアクセスを管理するアクセス管理部３２と、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理を実行するゲーム進行処理部３６と、各ユーザーの発声学習の管理を行う発声学習管理部３７と、各ユーザーに対してゲームデータを配信するゲームデータ配信部３４と、種々のデータベース群３５（３５ａ～３５ｃ）を備えている。

データベース群３５としては、ゲーム中に実行される学習ゲームや、ストーリームービーで実行される音声認識で用いられる音声辞書ファイルを記憶する音声辞書データベース３５ａと、利用者に関する情報を蓄積するユーザーデータベース３５ｂと、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理に関する情報としてシナリオデータ、その他のデータを蓄積するゲーム用データベース３５ｃとが含まれる。これらの各データベースとしては、単一のデータベースとしてもよく、複数のデータベースに分割し、相互にリレーションを設定することで各データ同士を紐付けたリレーショナルデータベースとすることができる。

音声辞書データベース３５ａは、ゲーム中に実行される学習ゲームや、ストーリームービーで実行される音声認識で用いられる音声辞書ファイルを記憶する記憶装置であり、学習対象である外国語（ここでは英語）の他、母国語（ここでは日本語）の辞書が記憶される。なお、本実施形態では、英語と日本語の双方向での英訳・和訳も音声認識対象問題として出題するため、音声辞書ファイルを外国語・母国語の２種類としたが、出題の形式などに応じていずれかの音声辞書ファイルを省略してもよく、さらには、多言語に対応させて３種以上の音声辞書ファイルを実装するようにしてもよい。

ユーザーデータベース３５ｂに蓄積される情報としては、利用者又は利用者が使用している携帯端末装置を特定する識別子（ユーザーＩＤ、端末ＩＤ）と、パスワード等とを紐付けた認証情報を含み、ユーザーＩＤに紐付けられた利用者の個人情報や、端末装置の機種なども含まれる。また、ユーザーデータベース３５ｂには、利用者毎或いは利用者端末毎の認証履歴（アクセス履歴）や、ゲーム用データベース３５ｃとのリレーションによりユーザー毎のゲーム進行に関する学習レベル、ゲーム中におけるステイタス、得点、利用履歴等）、ゲーム中に関する決済情報等も蓄積される。

ゲーム用データベース３５ｃに蓄積される情報としては、ゲーム進行のためのシナリオ、キャラクターやオブジェクトの特性、イベント処理に関する情報、グラフィック情報などがゲーム用データとして含まれる。

認証部３３は、通信インターフェース３１を通じて、各スマートフォン１と通信セッションを確立させ、その確立された通信セッション毎に認証処理を行うモジュールである。この認証処理としては、アクセス者である利用者のスマートフォン１から認証情報を取得し、ユーザーデータベース３５ｂを参照して、利用者等を特定し、それらの権限を認証する。この認証部３３による認証結果（ユーザーＩＤ、認証時刻、セッションＩＤ等）は、ゲーム進行処理部３６に送出されるとともに、アクセス管理部３２を通じてユーザーデータベース３５ｂに認証履歴として蓄積される。

ゲーム進行処理部３６は、シナリオデータに従ってゲームモード及びストーリーモードを展開させるべく種々のイベント処理を発生させてゲームを進行させるモジュールであり、一定のルール・ロジック・アルゴリズムを含むゲームプログラムを実行し、キャラクターやオブジェクトの位置関係（接近・接触等）に応じて、対決バトルやミニゲーム、ムービーの再生等のイベント処理を発生させる。なお、ゲームサーバー３側のゲーム進行処理部３６は、本実施形態では、スマートフォン１側のゲーム進行処理部１４１と協働するようになっており、ゲーム進行処理の一部をゲームサーバー３側で行い、グラフィック処理やイベント処理の一部をスマートフォン１側のゲーム進行処理部１４１で実行するようにしている。例えば、ゲームサーバー３側で、シナリオの進行、ユーザーの学習達成レベルの他、ユーザーのキャラクターの位置や、オブジェクトの位置などに基づいて、発生し得るイベント処理を予測し、その発生条件をゲームサーバー３側で発生させ、その条件をスマートフォン１側に送信し、実際のイベント処理の発生やそのためのグラフィック処理は、ゲームサーバー３から受信した発生条件に基づいてスマートフォン１側で実行するようにしている。

発声学習管理部３７は、ゲーム進行処理部３６によるゲーム進行に従って、ユーザーに発声用問題を出題し、その発声の正確性に応じてユーザーに対する評価を更新するモジュールである。この発声用問題は、ゲームサーバー３側で生成する場合と、スマートフォン１側で生成する場合と、ゲームサーバー３とスマートフォン１の両者が協働して生成する場合とがあり、発声学習管理部３７は、ゲームサーバー３側で生成、或いは蓄積された音声学習用の辞書ファイルと、スマートフォン１側で生成、蓄積された辞書ファイルとを管理し、両者の辞書ファイルを比較し、必要に応じて辞書ファイルの全部又は一部をスマートフォン１側に配信して、両者の同期を図る。

ゲームデータ配信部３４は、ユーザーの学習レベルに基づき、発声学習管理部３７による制御に従って、発声学習管理部３７が生成した発生用問題及び音声認識用の辞書ファイルを同期させるべく、これらのファイルを、通信インターフェース３１を通じて，各ユーザーに配信するモジュールである。

（２）スマートフォン１
次いで、スマートフォン１の内部構成について説明する。図３に示すように、スマートフォン１は、通信インターフェース１１と、入力インターフェース１２と、出力インターフェース１３と、アプリケーション実行部１４と、メモリ１５とを備えている。

通信インターフェース１１は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル、アダプタ手段等により接触（有線）通信をする機能を備えている。入力インターフェース１２は、マウス、キーボード、操作ボタンやタッチパネル１２ａなどユーザー操作を入力するデバイスである。また、出力インターフェース１３は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特に、この出力インターフェース１３には、液晶ディスプレイなどの表示部１３ａが含まれ、この表示部は、入力インターフェースであるタッチパネル１２ａに重畳されている。

メモリ１５は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やファームウェア、各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ１５内には、ユーザーを識別するユーザーＩＤの他、ゲームサーバー３からダウンロードしたゲームアプリケーションデータを蓄積するとともに、アプリケーション実行部１４で処理されたゲームデータ等が蓄積される。特に、本実施形態では、メモリ１５には、ゲームサーバー３から取得した、シナリオデータや、ストーリーモードで用いられるムービーデータ、音声学習用問題、認識用の辞書ファイル等が格納されている。

アプリケーション実行部１４は、一般のＯＳやゲームアプリケーション、ブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はＣＰＵ等により実現される。このアプリケーション実行部１４では、本発明に係るゲームプログラムが実行されることで、ゲーム進行処理部１４１、シナリオ制御部１４２、イベント制御部１４３、音声認識処理部１４４、表示制御部１４５、表示データ生成部１４６、及びアフレコデータ制御部１４７が仮想的に構築される。

ゲーム進行処理部１４１は、シナリオ制御部１４２による制御に従って、音声認識処理部１４４により生成された制御信号に基づいて遊技者Ｕによる発音の正確性を評価するゲームモードをイベント処理の一つとして実行するゲームモード実行部である。本実施形態においてゲーム進行処理部１４１は、ゲームサーバー３で実行されているゲームプログラムと同様のルール・ロジック・アルゴリズムにより、ストーリーモードとゲームモードを順次展開させて、種々のイベント処理を発生させてゲームを進行させる機能を有しており、シナリオ制御部１４２を通じて、ゲームサーバー３側のゲーム進行処理部３６と同期しつつ、シナリオ進行、ユーザーの学習レベル、キャラクターやオブジェクトの位置関係（接近・接触等）に応じて、バトルゲームやムービーの再生等のイベント処理を発生させる。

ゲーム進行処理部１４１は、本実施形態では、ゲームサーバー３側のゲーム進行処理部１４１と協働するようになっており、ゲーム進行処理の一部をゲームサーバー３側で行い、グラフィック処理やイベント処理の一部をスマートフォン１ａ側のゲーム進行処理部１４１で実行するようにしている。例えば、イベント発生の条件などをゲームサーバー３側で発生させ、その条件をスマートフォン１側に送信し、実際のイベント処理の発生やそのためのグラフィック処理は、スマートフォン１側で実行する。

ゲーム進行処理部１４１は、シナリオ制御部１４２と、イベント制御部１４３とを備えている。このイベント制御部１４３は、ゲームモード実行部１４３ａと、ストーリーモード実行部１４３ｂと、アフレコモード実行部１４３ｃとを備えている。

ストーリーモード実行部１４３ｂは、シナリオ制御部１４２による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードをイベント処理の一つとして実行するモジュールであり、ゲームモード実行部１４３ａは、出題された発音問題（音声認識対象問題）に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって評価を行うモジュールである。ストーリーモード実行部１４３ｂでは、遊技者Ｕによる音声信号の入力に応じて発生されるイベント処理に応じたキャラクターの反応動作であり、この反応動作のイベント処理に応じた表示データは、反応動作処理部１４６ａで生成される。

また、アフレコモード実行部１４３ｃは、ストーリーモード実行部１４３ｂで進行される物語に関して再生されるストーリーモード用動画からアフレコ用動画を取得し、この取得されたアフレコ用動画の動画再生に同期させて音声を入力させてアフレコデータを生成するアフレコモードを実行するモジュールである。具体的にアフレコデータ生成部１４４ｂは、アフレコモード実行部１４３ｃによってアフレコモードが実行された際に、入力音声データＤ３が録音されるとともに、その音声波形が解析され、必要に応じてボイスチェンジャー機能などによって加工処理がなされたり、リップシンク処理によって入力音声データＤ３の音声波形に合致させて、動画中のキャラクターの動作を調整したりする。また、アフレコデータ生成部１４４ｂは、このように音声加工及びリップシンク処理が施された入力音声データＤ３をアフレコ用データＤ２と合成してアフレコ済動画Ｄ５を生成する。

シナリオ制御部１４２は、操作入力による入力信号及び音声認識処理部１４４により生成された制御信号に基づいて、シナリオを進行させるモジュールであり、本実施形態では、ゲームモード及びストーリーモードの展開を記述したシナリオデータに従って、スマートフォン１側でのゲーム進行処理と、ゲームサーバー３側でのゲーム進行処理とを同期させる機能を有している。具体的には、ゲームサーバー３側で、シナリオデータにおけるゲーム進行程度や、他のユーザーのキャラクターの位置、オブジェクトの位置などに基づいて、発生し得るイベント処理を予測し、その発生条件をゲームサーバー３側で発生させ、その条件をスマートフォン１ａ側に送信する。ゲーム進行処理部１４１は、このサーバー側から送信された発生条件をシナリオ制御部１４２で受信し、実際のイベント処理の発生やそのためのグラフィック処理を、ゲームサーバー３から受信した発生条件に基づいてスマートフォン１側のゲーム進行処理部１４１で実行する。

このスマートフォン１側のゲーム進行処理部１４１で実行されたイベント処理の結果（ストーリーの進行、バトルやミニゲームの勝敗や得点等）は、シナリオ制御部１４２を通じてゲームサーバー３側のゲーム進行処理部１４１に通知され、その後のゲーム進行処理に反映される。

音声認識処理部１４４は、入力インターフェース１２を通じて入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊技者Ｕの音声を認識し、音声の認識結果に基づきゲームに関する制御信号を生成するモジュールであり、本実施形態では評価部１４４ａ及びアフレコデータ生成部１４４ｂを備えている。評価部１４４ａは、シナリオ制御部１４２による制御に従って、音声認識処理部１４４により生成された制御信号に基づき、遊技者Ｕによる発音の正確性を評価するモジュールである。この評価部による評価結果は、ゲーム進行処理部１４１に送出される。また、アフレコデータ生成部１４４ｂは、ストーリーモード実行部１４３ｂで進行される物語に関して再生されるアフレコ用動画の動画再生に同期させて入力された音声を取得して、アフレコデータを生成するモジュールである。

表示データ生成部１４６は、表示部１３ａに表示させるための表示データを生成するモジュールである。表示データは、グラフィックデータの他、画像データや、文字データ、動画データ、音声その他のデータを組み合わせて生成されるデータである。この表示データ生成部１４６は、反応動作処理部１４６ａを備えており、この反応動作処理部１４６ａは、ゲーム進行処理部１４１によるゲーム進行に従って、ユーザーのキャラクターの動作を示す動画を生成するモジュールである。本実施形態における表示制御部１４５は、表示モード切替部１４５ａを備えている。この表示モード切替部１４５ａは、表示モードに応じたグラフィックを表示させる。

アフレコデータ制御部１４７は、アフレコモードで用いられる各種データを管理・制御するモジュールである。具体的にアフレコデータ制御部１４７は、アフレコ済動画Ｄ５を管理・制御し、アフレコモードにあってはアフレコ済動画Ｄ５をアフレコモードの実行結果として再生する他、例えば、物語の回想シーンなど、ストーリー動画再生処理においてもアフレコ済動画Ｄ５を再生させたり、アフレコ済動画Ｄ５をゲームモードにおける出題用動画Ｄ４１や出題用の音声に変換して、ゲームモードにおける出題処理で再生する。

（ゲーム用画像処理システムの動作）
以上説明したシステムを動作させることによって、本発明の不動産移転取引方法を実施することができる。図４は、システムの動作を示すシーケンス図である。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換及び追加が可能である。

図４に示すように、先ず、スマートフォン１上でゲームアプリケーションを起動して、学習ゲームを開始する（Ｓ２０１）。このとき、アプリケーション上ではシナリオデータが参照され、ユーザーの現在の学習レベル及びゲームの進行度合いが読み出され、前回の終了時点からの続きから開始する。ゲームが開始されると、ゲームの進行に伴ってシナリオデータが参照され、イベントの発生条件が監視され（Ｓ２０２）、イベントの発生条件が満たされるまで繰り返される（Ｓ２０３における「Ｎ」）。

イベント発生条件が満たされると（Ｓ２０３における「Ｙ」）、シナリオデータを参照して、発生させるべきイベント処理がゲームモードかストーリーモードか、或いはアフレコモードであるかを選択する（Ｓ２０４）。これらのモードは、シナリオデータに基づいて判断され、ストーリーモードである場合に、マップ上で敵やモンスター等のオブジェクトに接触してバトルが開始されたり、シナリオデータ上における所定のストーリー分岐点に到達したときなどに適宜選択される。

ゲームモードが選択された場合（Ｓ２０４における「ゲームモード」）には、図６（ａ）及び（ｂ）に示すような、バトルシーン画面に切り替わり、このバトルシーン画面において、敵キャラクターＯｂ１を倒すために、グラフィックユーザーインターフェースＧ１上に表示されたアイテムＩ１やアイテムＩ２を用いて、攻撃を実行する。この攻撃は、同図（ｂ）に示すように、ユーザー操作によって攻撃に用いるアイテムを選択し、その選択に応じて、そのときのユーザーのレベル（体力、魔法力、語学力等）に応じた種別や強度で実行できるようになっている。このとき、シナリオ制御部１４２による制御に従って、音声認識処理部１４４により生成された制御信号に基づいて遊技者による発音の正確性が評価され、その評価の程度に応じた攻撃力が実行される。詳述すると、ゲームモード実行部１４３ａは、同図（ｃ）に示すように、発生すべき単語やフレーズを出題するウィンドウＧ３を表示し、この出題された発音問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じた種別・強度の攻撃を行い、その攻撃によって敵に与えたダメージによってポイント又はレベルアップによって評価を行う。

一方、ステップＳ２０４において、ストーリーモードが選択された場合（Ｓ２０４における「ストーリーモード」）には、ストーリーモード実行部１４３ｂによってストーリーモードが実行され（Ｓ２０５）、遊技者による音声信号の入力に応じて発生されるイベント処理に応じて、キャラクターを動作させる（Ｓ２０６）。詳述すると、本実施形態におけるストーリーモードでは、いわゆる「劇中劇」の形式をとっており、図５（ａ）及び（ｂ）に示すような、劇場Ｓｔ１がゲームストーリーの仮想的な空間となっており、その劇場Ｓｔ１内の舞台Ｓｔ２上で仮想上のキャラクターＣａ１～３が演劇を行う形でストーリーが展開するようになっている。なお、この劇場Ｓｔ１を映し出す映像としては、いわゆるVR（仮想現実：Virtual Reality）やAR（拡張現実：Augmented Reality）技術を用いて３次元的に表示することもできる。

ゲームの遊技者は劇場Ｓｔ１内の客席Ｓｔ１０に着座している観客の一人としてゲームに参加することができ、遊技者はスマートフォン１のマイクなどを通じて、表示部１３ａに表示された舞台Ｓｔ２上のキャラクターＣａ１～３などに声をかけることができるようになっている。

例えば、図７（ａ）及び（ｂ）に示すように、舞台Ｓｔ２上に少女のキャラクターＣａ１が物語を展開させるべく演技をしているとともに、遊技者は、客席Ｓｔ１０に着座している観客の一人としてゲームに参加しているという設定となっている。このような設定の下、ゲームの物語に関係なく遊技者がスマートフォン１のマイクを通じて、舞台Ｓｔ２上のキャラクターＣａ１に声をかけると、その音声に応じたリアクションをとるようにイベントが発生される。

例えば、遊技者がマイクに向かって声援やヤジ、注意などのいわゆる「声掛け」を行ったときに、その音声に応じたイレギュラーな動作をキャラクターに取らせる。このイレギュラーな動作としては、例えば、キャラクターが、キャラクターを映し出している仮想的なカメラの方向に向く「カメラ目線」や、仮想空間中におけるステージから、遊技者に対応するキャラクターが着座している客席の方向（キャラクターから見た音声発生方向）に向くなどの他、ステージ上のキャラクターに危険が迫っているときなどに、キャラクターの名前を呼んだり、「後ろ！後ろ！」と注意をしたりなどが挙げられる。

なお、この遊技者による声掛けのタイミングとしては、例えば、画面上にマイクを図形で表したマークを表示させたり、図７（ａ）に示すような、声掛けの一例となるような「Watch Out!」といった文字列を客席（遊技者に対応するキャラクターが着座している側）から、その発声とともに表示させてもよい。なお、このタイミング作りの他の方法としては、他の観客のキャラクターによる声掛けの音声を自動的に発声させて遊技者がマネして声掛けをしやすくしたりしてもよい。また、この声掛けのタイミング作りに同期させてマイクをオン・オフさせるようにしてもよく、また、他のキャラクターがしゃべっている間は、この声掛けのタイミング作りのイベント処理を発生させないようにしてもよい。

このとき、進行されているゲーム中の劇中劇では、例えば、英語と日本語というように２種以上の言語が使用されており、上述したゲームモードではこの２種以上の言語に関する音声認識対象である英語及び日本語の発音問題が出題されている。例えば、日本語のフレーズが文字列で表示されて、その文字列に対応する英語を発音させたり、逆に英語の文字列が表示されて、その英語に対応する日本語を発音させたり等、双方向の翻訳問題などが出されるようになっている。

そして、このゲームモードで出題された発音問題を含む単語若しくはフレーズが、ストーリーモードの劇中劇でもキャラクターＣａ１～３等による会話中で用いられるようシナリオが構成されている。遊技者は、舞台Ｓｔ２上のキャラクターに声をかける際には、この上記既に出題され評価の対象となった発音問題に係る音声を発声してもよく、また、出題されていない単語やフレーズを発声することができる。評価部１４４ａは、この遊技者がかけた単語やフレーズが、出題されたものであるか、或いは上記２種以上の言語のうち、遊技者にとって外国語であるか母国語であるかに応じて、そのかけ声に関する評価を行い、キャラクターＣａ１はその評価結果に応じて、リアクションの種類を変更する機能を備えている。

さらに、このストーリーモードにおいて、遊技者の音声信号の入力による、舞台Ｓｔ２上のキャラクターＣａ１～３へのかけ声に応じて発生されるイベント処理では、ストーリーの展開、ステージ、マップ上の位置、ゲームモードで取得されたポイント又はレベルアップに従ってキャラクターＣａ１～３等のリアクションが異なるように動作される。また、このストーリーモードにおける声掛けによる、ゲーム上の効果は、キャラクターのリアクションの他、ポイントやアイテム、レベルアップなどのゲーム進行に関わる価値情報であってよく、この価値情報の内容（例えば獲得ポイント等）は、ストーリーモードとリンクして進行されるゲームモードのレベル、ステージ、得点と同期されてもよい。また、ゲームモードでトレーニングされたフレーズを、ストーリーモードでの声掛けに用いた場合にも、ポイントやアイテム等の価値情報やゲーム上の効果、キャラクターのリアクションのバリエーション等を変化させてもよい。

他方、ステップＳ２０４において、アフレコモードが選択された場合（Ｓ２０４における「アフレコモード」）には、アフレコモード実行部１４３ｃによってアフレコモードが実行され（Ｓ２１２）、アフレコ用動画の動画再生に同期させて入力された音声を取得して評価し（Ｓ２１３）、アフレコデータを生成し蓄積する（Ｓ２１４）。

このアフレコモードについて詳述すると、先ず、アフレコデータ生成部１４４ｂが、ストーリーモード用動画Ｄ１をメモリ１５等から読み出して（Ｓ３０１）、アフレコ用データＤ２を取得する（Ｓ３０２）。このアフレコ用動画?２の取得は、ストーリーモード用動画Ｄ１中の所定シーンを切り出すのでもよく、予めアフレコ用データＤ２の所定シーンに対応する動画であってもよい。このアフレコ用データＤ２としては、本実施形態では、背景やキャラクター動作を表す動画データの他、リップシンク用の口唇部分のグラフィックデータ、効果音又は背景音、お手本音声等の音声データ、発声ガイド若しくは字幕用のテキストデータなどを、それぞれのデータを異なるレイヤーやファイルに分解させたプロジェクトファイル形式としている。このアフレコ用データＤ２は、音声認識処理部１４４のアフレコデータ生成部１４４ｂに送出されるとともに、ゲームモード実行部１４３ａによって実行されるゲームにおいても利用可能なようにメモリ１５に蓄積される。

このアフレコデータ生成部１４４ｂで生成されたアフレコ用データＤ２は、アフレコモード実行部１４３ｃによってアフレコモードが実行された際に再生され（Ｓ３０３）、表示部１３ａ等に表示される（Ｓ３０４）。このアフレコ用データＤ２は、例えば図９に示すように、背景やキャラクターＣａ４の動作を表す動画データに、発声ガイド用のテキストデータＴｘｔ１若しくは字幕用のテキストデータＴｘｔ２をそれぞれ異なるレイヤー上に描画し、各レイヤーを重畳して表示させる。また、このアフレコ用データＤ２には、同期録音を開始したり、停止したりする操作用のＧＵＩ（Graphical User Interface）Ｏｂ２１や、録音中を示すグラフィックＯｂ２２を表示するためのデータも含まれている。

そして、このアフレコ用データＤ２の再生処理に同期させて遊技者Ｕに音声を入力させ、入力された音声を録音する（Ｓ４０２）。このステップＳ４０１で入力された音声は、シナリオ制御部１４２による制御に従って音声認識処理部１４４により生成された制御信号に基づいて、評価部１４４ａにより発音の正確性が評価される。この正確性の評価は、アフレコ用データＤ２に含まれるお手本音声の波形との合致度を示す数値などに基づいて行われ、十分な正確性が確保されているとき（所定の閾値を上回る等）には同期録音を終了し、正確性が不十分であるとき（所定の閾値を下回るなど）には、再録音を促すなどの処理が実行される。

この同期録音された入力音声データＤ３は、アフレコデータ生成部１４４ｂによって、その音声波形が解析され（Ｓ４０３）、必要に応じてボイスチェンジャー機能などによって加工処理がなされる（Ｓ４０４）。この加工された入力音声データＤ３は、リップシンク処理Ｓ４０５に受け渡されるとともに、出題用音声Ｄ４２としてメモリ１５に蓄積される。ステップＳ４０５のリップシンク処理では、アフレコ用データＤ２に合わせて入力された音声データＤ３をさらにアフレコ用データＤ２との同期精度を高めるため、入力音声データＤ３の音声波形に合致させて、動画中のキャラクターの動作を調整する。このように音声加工及びリップシンク処理が施された入力音声データＤ３は、アフレコ用データＤ２と合成されてアフレコ済動画Ｄ５を構成する。

このアフレコ済動画Ｄ５は、アフレコデータ制御部１４７によって管理・制御され、アフレコモードにあってはアフレコ済動画再生処理（Ｓ４０７）において再生される他、例えば、物語の回想シーンなど、ストーリー動画再生処理（Ｓ４０６）においても利用される。また、アフレコ済動画Ｄ５は、ゲームモードにおける出題用動画Ｄ４１に変換され、ゲームモードにおける出題処理（Ｓ４０８）においても利用される。

そして、ゲームモード実行中の音声評価（Ｓ２０８）及びストーリーモード実行中におけるイベント処理（Ｓ２０６）に応じて、学習レベルが更新され（Ｓ２０９）、シナリオが進行される（Ｓ２１０）。上述した各処理Ｓ２０２～２１０は、ゲームが終了（Ｓ２１１における「Ｙ」）するまで繰り返される（Ｓ２１１における「Ｎ」）。

（作用・効果）
以上説明したように、本実施形態によれば、遊技者による外国語の発声を評価する仕組みを、スマートフォン１等の端末装置で実行可能なゲームアプリケーションに取り入れることにより、娯楽性を高めつつ語学の学習を容易に行うことができるとともに、舞台中Ｓｔ２上のキャラクターに声をかける等の設定を採用することにより、実生活中での自然な雰囲気やタイミングで発声させる訓練を充実させることができる。

Ｇ１…グラフィックユーザーインターフェース
Ｇ３…ウィンドウ
Ｉ１，Ｉ２…アイテム
Ｕ（Ｕａ，Ｕｂ）…遊技者
１（１ａ，１ｂ）…スマートフォン
２…インターネット
３…ゲームサーバー
１１…通信インターフェース
１２…入力インターフェース
１２ａ…タッチパネル
１３…出力インターフェース
１３ａ…ディスプレイ
１４…アプリケーション実行部
１５…メモリ
２２…無線基地局
３１…通信インターフェース
３２…アクセス管理部
３３…認証部
３４…ゲームデータ配信部
３５…データベース群
３５ａ…音声辞書データベース
３５ｂ…ユーザーデータベース
３５ｃ…ゲーム用データベース
３６…ゲーム進行処理部
３７…発声学習管理部
１４１…ゲーム進行処理部
１４２…シナリオ制御部
１４３…イベント制御部
１４３ａ…ゲームモード実行部
１４３ｂ…ストーリーモード実行部
１４３ｃ…アフレコモード実行部
１４４…音声認識処理部
１４４ａ…評価部
１４４ｂ…アフレコデータ生成部
１４５…表示制御部
１４５ａ…表示モード切替部
１４６…表示データ生成部
１４６ａ…反応動作処理部
１４７…アフレコデータ制御部

Claims (12)

1. 遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームシステムであって、
   音声信号を入力する音声入力部と、
   入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、該音声の認識結果に基づきゲームに関する制御信号を生成する音声認識部と、
   物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるシナリオ制御部と、
   前記操作入力による入力信号及び前記音声認識部により生成された前記制御信号に基づいて、前記シナリオを進行させるゲーム制御部と、
   前記シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて前記遊技者による発音の正確性を評価するゲームモードを前記イベント処理の一つとして実行するゲームモード実行部と、
   前記シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを前記イベント処理の一つとして実行するストーリーモード実行部と、
   を備え、
   前記ゲームモード実行部は、ゲームモードにおけるトレーニングで出題されたフレーズを含む音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって前記評価を行い、
   前記ストーリーモード実行部は、前記ゲームモード実行部によって評価された前記フレーズを含む音声信号が、前記ストーリーモードにおいて遊技者によって入力されることに応じて、前記キャラクターの動作に関するリアクションイベント処理を実行させる機能を有する
   ことを特徴とするゲームシステム。
2. 遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームシステムであって、
   音声信号を入力する音声入力部と、
   入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、該音声の認識結果に基づきゲームに関する制御信号を生成する音声認識部と、
   物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるシナリオ制御部と、
   前記操作入力による入力信号及び前記音声認識部により生成された前記制御信号に基づいて、前記シナリオを進行させるゲーム制御部と
   前記シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて前記遊技者による発音の正確性を評価するゲームモードを前記イベント処理の一つとして実行するゲームモード実行部と、
   前記シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを前記イベント処理の一つとして実行するストーリーモード実行部と、
   前記ストーリーモード実行部で進行される物語に関して再生されるストーリーモード用動画から取得されたアフレコ用動画の動画再生に同期させて入力された音声を取得して、アフレコデータを生成するアフレコデータ生成部と
   を備え、
   前記ゲームモード実行部は、前記アフレコ用動画に同期させて入力された音声を含む前記アフレコデータを用いて出題された音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって前記評価を行う機能を有する
   ことを特徴とするゲームシステム。
3. 前記ストーリーモードでは２種以上の言語が使用されるとともに、前記ゲームモードでは前記２種以上の言語に関する音声認識対象問題に対する正確性が評価されることを特徴とする請求項１又は２に記載のゲームシステム。
4. 前記ストーリーモードにおいて前記遊技者による音声信号の入力に応じて発生されるイベント処理では、前記ゲームモードで取得された前記ポイント又はレベルアップに従って前記キャラクターが動作されることを特徴とする請求項１又は２に記載のゲームシステム。
5. 遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームシステムの制御方法であって、
   音声入力部が音声信号の入力を受け付け、音声認識部が、入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、該音声の認識結果に基づきゲームに関する制御信号を生成する音声認識ステップと、
   前記操作入力による入力信号及び前記音声認識部により生成された前記制御信号に基づいて、シナリオ制御部が、物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるゲーム制御ステップと、
   前記シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて前記遊技者による発音の正確性を評価するゲームモードを、ゲームモード実行部が前記イベント処理の一つとして実行するゲームモード実行ステップと、
   前記シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを、ストーリーモード実行部が前記イベント処理の一つとして実行するストーリーモード実行ステップと、
   を含み、
   前記ゲームモード実行ステップでは、前記ゲームモードにおけるトレーニングで出題されたフレーズを含む音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって前記評価を行い、
   前記ストーリーモードでは、前記ゲームモード実行部によって評価された前記フレーズを含む音声信号が、前記ストーリーモードにおいて遊技者によって入力されることに応じて、前記キャラクターの動作に関するリアクションイベント処理が実行される
   ことを特徴とするゲームシステムの制御方法。
6. 遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームシステムの制御方法であって、
   音声入力部が音声信号の入力を受け付け、音声認識部が、入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、該音声の認識結果に基づきゲームに関する制御信号を生成する音声認識ステップと、
   前記操作入力による入力信号及び前記音声認識部により生成された前記制御信号に基づいて、シナリオ制御部が、物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるゲーム制御ステップと
   前記シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて前記遊技者による発音の正確性を評価するゲームモードを、ゲームモード実行部が前記イベント処理の一つとして実行するゲームモード実行ステップと、
   前記シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを、ストーリーモード実行部が前記イベント処理の一つとして実行するストーリーモード実行ステップと、
   アフレコデータ生成部が、前記ストーリーモード実行部で進行される物語に関して再生されるストーリーモード用動画から取得されたアフレコ用動画の動画再生に同期させて入力された音声を取得して、アフレコデータを生成するアフレコデータ生成ステップと
   を含み、
   前記ゲームモード実行ステップでは、前記アフレコ用動画に同期させて入力された音声を含む前記アフレコデータを用いて出題された音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって前記評価を行う
   ことを特徴とするゲームシステムの制御方法。
7. 前記ストーリーモードでは２種以上の言語が使用されるとともに、前記ゲームモードでは前記２種以上の言語に関する音声認識対象問題に対する正確性が評価されることを特徴とする請求項５又は６に記載のゲームシステムの制御方法。
8. 前記ストーリーモードにおいて前記遊技者による音声信号の入力に応じて発生されるイベント処理では、前記ゲームモードで取得された前記ポイント又はレベルアップに従って前記キャラクターが動作されることを特徴とする請求項５又は６に記載のゲームシステムの制御方法。
9. 遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームプログラムであって、コンピューターを、
   音声信号を入力する音声入力部と、
   入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、該音声の認識結果に基づきゲームに関する制御信号を生成する音声認識部と、
   物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるシナリオ制御部と、
   前記操作入力による入力信号及び前記音声認識部により生成された前記制御信号に基づいて、前記シナリオを進行させるゲーム制御部と
   前記シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて前記遊技者による発音の正確性を評価するゲームモードを前記イベント処理の一つとして実行するゲームモード実行部と、
   前記シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを前記イベント処理の一つとして実行するストーリーモード実行部
   として機能させ、
   前記ゲームモード実行部は、前記ゲームモードにおけるトレーニングで出題されたフレーズを含む音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって前記評価を行い、
   前記ストーリーモード実行部は、前記ゲームモード実行部によって評価された前記フレーズを含む音声信号が、前記ストーリーモードにおいて遊技者によって入力されることに応じて、前記キャラクターの動作に関するリアクションイベント処理を実行させる機能を有する
   ことを特徴とするゲームプログラム。
10. 遊技者による操作入力及び音声入力に応じてゲームを進行させるゲームプログラムであって、コンピューターを、
    音声信号を入力する音声入力部と、
    入力された音声信号と予め定められた音声認識用辞書データとを比較することにより遊戯者の音声を認識し、該音声の認識結果に基づきゲームに関する制御信号を生成する音声認識部と、
    物語を進行させるイベント処理を記述したシナリオに従って、ゲームを順次進行させるシナリオ制御部と、
    前記操作入力による入力信号及び前記音声認識部により生成された前記制御信号に基づいて、前記シナリオを進行させるゲーム制御部と
    前記シナリオ制御部による制御に従って、音声認識部により生成された制御信号に基づいて前記遊技者による発音の正確性を評価するゲームモードを前記イベント処理の一つとして実行するゲームモード実行部と、
    前記シナリオ制御部による制御に従って、キャラクターの行動に関する物語を進行させるストーリーモードを前記イベント処理の一つとして実行するストーリーモード実行部と、
    前記ストーリーモード実行部で進行される物語に関して再生されるストーリーモード用動画から取得されたアフレコ用動画の動画再生に同期させて入力された音声を取得して、アフレコデータを生成するアフレコデータ生成部
    として機能させ、
    前記ゲームモード実行部は、前記アフレコ用動画に同期させて入力された音声を含む前記アフレコデータを用いて出題された音声認識対象問題に対する遊技者による発音の正確性を検出し、検出された正確性に応じたポイント又はレベルアップによって前記評価を行う機能を有する
    ことを特徴とするゲームプログラム。
11. 前記ストーリーモードでは２種以上の言語が使用されるとともに、前記ゲームモードでは前記２種以上の言語に関する音声認識対象問題に対する正確性が評価されることを特徴とする請求項９又は１０に記載のゲームプログラム。
12. 前記ストーリーモードにおいて前記遊技者による音声信号の入力に応じて発生されるイベント処理では、前記ゲームモードで取得された前記ポイント又はレベルアップに従って前記キャラクターが動作されることを特徴とする請求項９又は１０に記載のゲームプログラム。