JP3914636B2 - 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 - Google Patents

Description

【０００１】
【発明が属する技術分野】
この発明は、コンピュータアニメーションのゲーム映像を見ながらコントローラのスイッチ類を操作してゲームを操るビデオゲーム機に関し、とくに、音声入力式ヒューマンインタフェースを採り入れたビデオゲーム機に関する。また、音声入力式ヒューマンインタフェースに対応したゲームプログラムの記録媒体にも関する。
【０００２】
【従来の技術】
一般的な家庭用のビデオゲーム機にはコントローラが付属している。遊戯者はコントローラのスイッチ類のボタンやポテンショメータのレバーを操作することでゲームを進行させる。ゲームプログラムのコンセプトの多様化に伴って、加速度センサや衝撃センサなどを内蔵したコントローラのような新しいハードウェアが考案されるとともに、ゲームを操る新しいヒューマンインタフェースのソフトウェアがつぎつぎと開発されている。これらの新技術の目標とするところは、要するに、ビデオゲームの操作に豊かな現実感や意外性を採り入れて、ゲームの楽しさ面白さを増すことにある。
【０００３】
ビデオゲーム機におけるヒューマンインタフェースの新技術の１つに音声入力式ヒューマンインタフェースがある。これは、ゲーム映像に登場しているキャラクタに遊戯者がマイクロホンを通じて言葉をかけると、ゲーム機がその語りかけを理解してゲームの進行に反映させるというものである。ゲーム映像上のキャラクタが遊戯者の語りかけに反応し、ゲーム映像が変化したりゲーム音響の効果音が出る。そのような反応を遊戯者が認識することで、遊戯者とゲームキャラクタとの間で対話が成立することになる。
【０００４】
【発明が解決しようとする課題】
ビデオゲーム機における音声入力式ヒューマンインタフェースの既存技術では、遊戯者の語りかけが音声認識されると、その言語的意味がゲーム映像上の対話相手キャラクタのつぎの振る舞いに反映する。現実世界の遊戯者とゲーム世界の仮想コミュニティのキャラクタとがゲーム機のハードウェアおよびソフトウェアを介在してコミュニケーションするという状況において、現実世界の人間のコミュニケーションに似せたさまざまな表象を想起させたり、あるいはゲーム世界ならではの空想的な面白さを表現するには、遊戯者とゲームキャラクタとの間のコミュニケーションや、それぞれが発するメッセージの内容を映像と音で表現するだけでは無機的で面白さに欠ける。すなわち、コミュニケーションや、それぞれの発するメッセージの内容のみならず、コミュニケーションが成立していくプロセスを表現していくことが、とくに音声入力によるゲームを面白くするためには必要である。
【０００５】
たとえば、なんらかの原因で遊戯者の語りかけが認識されないと、語りかけはゲームに反映しない。語りかけが認識されない原因としては、▲１▼音声がマイクロホンにうまく入力されていない、▲２▼マイクロホンの出力信号が音声認識回路にうまく伝わっていない、▲３▼音声認識回路が入力音声を理解できない、▲４▼理解した音声がゲームの進行に反映し得る言語的意味とは異なるなど、いろいろなレベルがある。また有効な語りかけが正しく認識されても、ゲーム進行の場面設定がそうなっていないので、語りかけに対してゲーム映像の対話相手キャラクタが反応しないこともある。
【０００６】
こうした様々な原因により遊戯者の語りかけが対話相手キャラクタに有効に認識されないことがあり得るが、その場合、認識されていないことや、その原因を遊戯者がすぐに感得できなければ、対話相手キャラクタのつぎの反応を待つことになる。それでも結局は反応がないわけであるから、遊戯者・キャラクタ間の疑似的なコミュニケーションがスムーズにはなされず、ゲーム進行の妨げとなり、遊戯者は「面白くない」ことになる。
【０００７】
この発明は前述のような観点でなされたものであり、その目的は、遊戯者とゲームキャラクタとの間の音声入力によるコミュニケーションが成立するまでのプロセスや不成立となるまでのプロセスを面白く楽しく映像表現し、かつ遊戯者のスムーズなゲーム操作感を実現できるようにしたビデオゲーム技術を提供することにある。
【０００８】
【課題を解決するための手段】
この発明に係るビデオゲーム機は、分説すると、つぎの事項（１）〜（10）により特定されるものである。
（１）記憶手段と、コントローラと、マイクロホンと、音声認識手段と、映像音響出力手段と、メインコンピュータを備えたビデオゲーム機であること
（２）記憶手段は、ゲームプログラムを格納すること
（３）コントローラは、利用者の操作入力を受け付けること
（４）マイクロホンは、利用者の音声入力を受け付けること
（５）音声認識手段は、マイクロホンからの信号を処理して音声認識を可能とすること
（６）映像音響出力手段は、メインコンピュータの制御に従って映像信号と音響信号を映像音響機器に出力すること
（７）メインコンピュータは、ゲームプログラムを実行することで主処理手段および音声処理手段として機能すること
（８）主処理手段は、ゲームプログラムに従ってゲームアルゴリズムの進行処理を行い、コントローラによる操作入力を反映して変化するゲーム進行状況データを生成してメモリに記憶するとともに、ゲーム進行状況データの変化が反映するゲーム映像とゲーム音響を生成して映像音響出力手段より出力させること
（９）ゲーム進行状況データは、ゲーム映像上の対話相手キャラクタがゲームフィールドでどの位置に存在しているのかを表すキャラクタ位置データと、対話相手キャラクタがゲーム進行上どのような状況にあるのかを表すキャラクタ現況データとを含むこと
（10）音声処理手段は、音声認識手段により所定の音声入力が検出された際、音声認識手段が認識した言語的意味データをメモリに一時記憶し、ゲーム映像上の所定位置にて音声媒介図案を発生させ、当該音声媒介図案をキャラクタ位置データに応じた方向に移動させるとともに、当該音声媒介図案をキャラクタ現況データに基づいた態様で変化させながら対話相手キャラクタに接近させるアニメーションを生成してゲーム映像に付加し、当該音声媒介図案がゲーム映像上の対話相手キャラクタに所定条件まで接近した際、メモリに記憶した言語的意味データをゲーム進行状況データとして主処理手段に引き渡すこと
【０００９】
以上の基本的な要件に加えて、つぎの各要件を適宜に組み合わせて実施することができる。
（ａ）前記コントローラから特定の操作入力がある場合においてのみ、前記音声認識手段がマイクロホンからの入力を取り込んで処理する動作を有効とする。
（ｂ）前記メインコンピュータが前記ゲームプログラムを実行することにより、ゲーム進行状況に関わる特定の期間においてのみ、前記音声認識手段がマイクロホンからの入力を取り込んで処理する動作を有効とする。
（ｃ）音声伝達状況描画プロセスは、ゲーム映像上にて音声媒介図案を対話相手キャラクタに向けて移動させる処理過程において、前記ゲーム進行状況データを調べ、その中の特定のデータ要素がある特定の状態を表している場合に、音声媒介図案の移動に障害を加えるアニメーションを生成してゲーム映像に付加するプロセスを含む。
（ｄ）音声伝達状況描画プロセスは、起動時に、マイクロホンから入力された音声の特徴に関するデータを音声認識手段から取得し、その特徴データに応じて音声媒介図案の形態を可変設定するプロセスを含む。
（ｅ）音声伝達状況描画プロセスは、音声媒介図案の移動・変化に対応した効果音データを生成して出力するプロセスを含む。
（ｆ）音声伝達状況描画プロセスは、前記キャラクタ現況データがある特定の状態を表している場合に、対話相手キャラクタに接近した音声媒介図案が対話相手キャラクタに吸収されるアニメーションを生成してゲーム映像に付加するプロセスを含む。
（ｇ）音声伝達状況描画プロセスは、前記キャラクタ現況データがある特定の状態を表している場合に、対話相手キャラクタに接近した音声媒介図案が対話相手キャラクタに弾き返されるアニメーションを生成してゲーム映像に付加するプロセスを含む。
（ｈ）音声伝達状況描画プロセスは、起動時に、マイクロホンから入力された音声の特徴に関するデータを音声認識手段から取得するとともに、ゲーム映像上において音声媒介図案が対話相手キャラクタに接近した段階で、一時記憶してある音声の特徴データをゲームアルゴリズムの進行処理プロセスに引き渡すプロセスを含む。
（ｉ）前記音声認識手段が前記メインコンピュータを内蔵した本体装置とは別体の音声認識ユニットとして装置構成されており、この音声認識ユニットが前記本体装置に接続されるとともに、この音声認識ユニットに前記マイクロホンが接続される。
（ｊ）前記メインコンピュータは前記ゲームプログラムに規定されたイニシャル処理として、当該ゲームプログラムと同じ媒体に記録されている音声辞書データを前記音声認識ユニットに転送する。
（ｋ）音声伝達状況描画プロセスは、ゲーム映像上において音声媒介図案が対話相手キャラクタに接近する前に、ゲームアルゴリズムの進行処理プロセスに対して音声の待ち受けモードを準備するように指示するプロセスを含む。
【００１１】
【発明の実施の形態】
＝＝＝ハードウェアの概要＝＝＝
この発明の一実施例によるビデオゲーム機の外観を図１に示し、そのブロック構成を図２に示している。典型的な例としては任天堂株式会社の製品名「ＮＩＮＴＥＮＤＯ６４（登録商標）」の本体装置１とコントローラ２を使用し、これにマイクロホン３が付属した音声認識ユニット４を付加する。
よく知られているように、本体装置１のカセット挿入口１１にゲームカセット５（プログラム記録媒体）を差し込むと、挿入口内のカセットコネクタ１２を介してカセット内のメモリが本体装置１のメインコンピュータ１３に結合される。メインコンピュータ１３はＯＳの統括下でゲームカセット５に記録されているゲームプログラムや関連データを読み込んで処理する。本体装置１の映像音声出力端子１５に接続されたテレビ受信機などの映像音響システム６がゲーム映像とゲーム音響の出力機器となる。本体装置１にはコントローラ２を接続する４個のコネクタ１４がある。そのうちの１つのコネクタ１４にコントローラ２を接続し、べつのコネクタ１４に音声認識ユニット４を接続する。
【００１２】
音声認識ユニット４は前処理回路４１とＤＳＰ（デジタル・シグナル・プロセッサ）４２とインタフェース回路４３からなる。前処理回路４１は、マイクロホン３からの音声信号をアナログ増幅する可変利得増幅回路と、その出力をデジタル変換するＡ／Ｄ変換回路とを含んでいる。ＤＳＰ４２は、デジタル変換された音声入力を取り込んで認識処理するためのマイコンである。インタフェース回路４３は、メインコンピュータ１３におけるコネクタ１４のシリアルポートのインタフェース規格に従って、メインコンピュータ１３と音声認識ユニット４のＤＳＰ４２との間の通信を実現する。
【００１３】
＝＝＝ソフトウェアの概要＝＝＝
この発明の音声入力式ヒューマンインタフェースを採用したゲームプログラムがゲームカセット５に記録されてユーザに提供される。そのゲームプログラムには、そのプログラムに関連した各種データが付帯しているのはもちろん、前述の音声伝達状況描画プロセスを受け持つプログラムも含まれており、さらにゲーム開始に先立って前記音声認識ユニット４に転送することになる音声辞書データも含まれている。
【００１４】
ゲームプログラムの機能は、ゲーム管理プロセス、ゲームアルゴリズムの進行処理プロセス、ゲーム映像音響の出力処理プロセス、コントローラ２の入力処理プロセス、音声認識ユニット４との通信処理プロセス、この発明の中核をなす音声伝達状況描画プロセスなどに分けて把握できる。
【００１５】
ゲーム管理プロセスはイニシャル処理やゲーム全体の進行の調整などを受け持つ。コントローラ２の入力処理プロセスおよび音声認識ユニット４との通信処理プロセスにより取得した入力データがゲームアルゴリズムの進行処理プロセスに反映し、遊戯者からの働きかけによって変化するゲーム進行状況データが生成される。ゲーム映像音響の出力処理プロセスは、ゲーム進行状況データが反映して変化するコンピュータアニメーションのゲーム映像を生成して出力するとともに、そのゲーム映像に対応するゲーム音響をシンセサイザーにより生成して出力する。
【００１６】
また以下に詳しく説明するように、音声認識ユニット４から所定の条件を満たす音声入力が検出された旨が伝えられたときに、音声伝達状況描画プロセスが起動され、コンピュータアニメーションにより音声媒介図案を生成してゲーム映像上に付加的に表示する。
【００１７】
＝＝＝音声認識プロセス＝＝＝
この発明を適用したゲームプログラム（ゲームカセット５に記録されている）が前述したハードウェア上で実行されるとき、まずイニシャル処理として、ゲームプログラムに付帯している音声辞書データが本体装置１から音声認識ユニット４に転送され、ＤＳＰ４２のメモリに記憶される。音声辞書データには、このゲームにおいて有効な言語的意味として理解すべきいくつかの単語データが設定されている。たとえば「こんにちは」「かわいいね」「遊ぼうよ」といった単語を認識するためのデータである。
【００１８】
音声認識ユニット４におけるデータ処理の概略手順を図３のフローチャートに示している。ＤＳＰ４２は、デジタル変換されたマイクロホン信号を監視し、規定レベル以上の音声信号が入力されてきたならば、ステップ３０１から３０２に進み、メインコンピュータ１３から通知されている音声入力受付フラグが有効になっているか否かをチェックする。このフラグが無効であれば認識処理は行わず、フラグが有効である場合にステップ３０３に進む。
【００１９】
メインコンピュータ１３はつぎのように音声入力受付フラグを制御する。第１の例では、コントローラ２の特定のスイッチがオンになっているときにフラグを有効とし、オフのときには無効とする。第２の例では、ゲームプログラムに規定されているゲーム進行シーケンス中に音声入力受付フラグをオンにするのかオフにするのかを記述しておく。いずれを採用してもよい。
【００２０】
入力音声が音声辞書データに登録されている単語に該当するか否かを調べるのにはある程度の時間がかかる。ＤＳＰ４２は、ステップ３０３で入力音声に応答して認識処理を開始した旨をメインコンピュータ１３に通知し、ステップ３０４で認識処理を実行する。なおステップ３０３での通知には、処理対象となった入力音声の音量レベルおよび持続時間のデータも含める。
【００２１】
またＤＳＰ４２は、ステップ３０４の認識処理の結果、入力音声が辞書データ中の単語のどれかに該当すると判断した場合は、その単語を特定するＩＤを認識結果としてメインコンピュータ１３に通知する（ステップ３０５→３０６）。またＤＳＰ４２は、辞書データ中のいずれともマッチングがとれなかった場合は、認識不能であった旨（エラーステータス）をメインコンピュータ１３に通知する（ステップ３０５→３０７）。
【００２２】
＝＝＝音声伝達状況描画プロセス＝＝＝
（Ａ）音声媒介オブジェクトの生成
図３の音声認識プロセスにおけるステップ３０３で、音声認識ユニット４からメインコンピュータ１３に音声認識処理を開始した旨が通知されると、メインコンピュータ１３において音声伝達状況描画プロセスが起動される。まず、図４のフローチャートに示す音声媒介図案の生成処理が開始される。
【００２３】
メインコンピュータ１３は、音声認識処理を開始した旨（認識中）の通知をＤＳＰ４２から受け取るとステップ４０１から４０２に進み、映像音響システム６におけるゲーム映像の画面の所定位置に、そこから音声媒介図案が生じてくることを予感させるようなアニメーションを生成して表示する（たとえばマイクロホンのアイコンを小刻みに震わせる）。つぎのステップ４０３では、音声認識ユニット４での処理が図３のステップ３０６または３０７まで進んだか否か、つまり認識処理が終了したか否かをチェックする。認識終了の通知があるまではステップ４０１に戻り、前記のアニメーション表示を続ける。
【００２４】
音声認識ユニット４から認識終了が通知されたならば、ステップ４０４に進んで音声媒介オブジェクトを生成する。音声媒介オブジェクトとは、以下に詳述する音声媒介図案についてのカプセル化したデータ集合のことを指す（オブジェクト指向プログラミングの基礎的な概念である）。音声媒介オブジェクトには、音声認識ユニット４から取得した入力音声の音量レベルと持続時間、認識した単語のＩＤ（認識不能であった場合はそのことを表すコード）をセットする。また音量レベルと持続時間のデータに基づいて「寿命」および「速度」なるデータをそれぞれ所定の計算式で求め、その寿命データおよび速度データも音声媒介オブジェクトにセットする。
【００２５】
（Ｂ）音声媒介図案の表示開始
入力された音声について辞書データに登録された単語として認識できた場合にはステップ４０５から４０６に進み、認識不能であった場合にはステップ４０５から４０７に進み、それぞれ音声媒介オブジェクトに基づいて音声媒介図案の画像データを生成する。以下に説明する実施例では、音声媒介図案は透明なシャボン玉である。そして、単語認識できた場合にはシャボン玉を無色透明の図柄で表現し、認識不能であった場合はシャボン玉を赤色の半透明の図柄で表現する。またステップ４０８では、音声媒介オブジェクトの音量レベルのデータに基づいてシャボン玉の大きさを可変設定する（音量が大きいほどシャボン玉を大きく表現する。
【００２６】
そしてステップ４０９に進み、生成したシャボン玉（音声媒介図案）の画像データをゲーム映像が表示されている画面の所定位置に付加的に表示する。その表示画面の一例を図９の▲１▼に示している。ゲーム映像はごく簡略化して図示している。この例の対話相手キャラクタは「ピカチュウ（登録商標）」という名前の人気アニメーションの主人公的なキャラクタである。実際のゲーム画面では対話相手キャラクタが遊び回る広い野原がゲームフィールドであり、現実感のある３次元アニメーションによるゲーム映像を表示している。そのような３次元表示されたゲームフィールドの一番手前の所定位置に音声媒介図案としてのシャボン玉を表示し、フィールドの奥に対話相手キャラクタ「ピカチュウ」がいる。なおステップ４０９では、シャボン玉を表示するタイミングに合わせて音声媒介の発生音をシンセサイザーで生成し、映像音響システム６から音響出力する。
【００２７】
つづくステップ４１０では、対話相手キャラクタ（ピカチュウ）のオブジェクトにあるリアクション準備フラグをセットする。ピカチュウ・オブジェクトに基づいてピカチュウのアニメーションを制御しているピカチュウモーション制御プロセスは、前記リアクション準備フラグがセットされたのを受けて、現在実行中の単位モーションを終了した時点でつぎの単位モーションに移行せずに音声待ち受けモードをつくりだす。その待ち受け状態で、後述するように、音声媒介オブジェクトからピカチュウ・オブジェクトに音声情報が伝達される。したがってピカチュウモーション制御プロセスは、音声情報が伝達された時点で、語りかけに反応するようなリアクションをつくりだすための単位モーションを実行できる。
【００２８】
（Ｃ）音声媒介図案の移動
前記のようにゲーム映像上に発生させた音声媒介図案（シャボン玉）を対話相手キャラクタ（ピカチュウ）に向けて移動させる。ゲームフィールドでの対話相手キャラクタの現在位置は、ゲームプログラムの実行によって逐次更新されているゲーム進行状況データから取得する。キャラクタ位置が分かれば、音声媒介図案の発生位置からキャラクタ位置までの距離も分かる。また、キャラクタ位置までのフィールド状況もゲーム進行状況データから取得できる。
【００２９】
音声媒介図案の移動処理の概要を図５のフローチャートに示している。まずステップ５０１で対話相手キャラクタまでの距離が規定値を超えていないかをチェックし、対話相手キャラクタが規定以上に遠くにいる場合には音声媒介図案（シャボン玉）を消滅させる処理（図８）に移行する。
そうでなければステップ５０２に進み、音声媒介図案（シャボン玉）を対話相手キャラクタ（ピカチュウ）の存在方向に移動させるアニメーション処理を実行する。この様子を図９の▲２▼に示している。３次元のアニメーション処理でゲーム映像を生成しているので、ゲームフィールドの奥にいるピカチュウに向けてシャボン玉を移動させると、画面上のシャボン玉は徐々に小さくなる。この移動処理の速度を決めているのは、前述の音声媒介オブジェクトに記述してある速度データである。速度データは入力音声の音量レベルと持続時間のデータに基づいて計算されているので、画面上のシャボン玉の移動の様子に入力音声の音量と持続時間が反映する。
【００３０】
つぎのステップ５０３では、ゲームフィールドの状況を調べ、シャボン玉の移動方向にその円滑な移動の障害となるものがあるかどうかを判断し、それに応じて音声媒介オブジェクトに記述してある寿命データの値を減らす。障害物があれば大きく寿命データの値を減らし（ステップ５０５）、ないのであれば減らす量を少なくする（ステップ５０４）。そして、減らした寿命データの値がゼロ以下になったかどうかをチェックし（ステップ５０６）、ゼロ以下になったなら図８のシャボン玉消滅処理に移行する。シャボン玉の消滅する画面の例を図１０の▲１▼に示している。
【００３１】
また、移動しつつある音声媒介図案（シャボン玉）の近くに障害物があるかどうかをチェックし（ステップ５０７）、あれば音声媒介オブジェクトに記述してある速度データの値を大幅に減らすことで、シャボン玉が障害物に衝突して消えるアニメーション表現をつくりだす（ステップ５０８）。この様子の表示例を図１０の▲３▼と▲４▼に示している。
【００３２】
また図９の▲３▼に示すように、音声媒介図案（シャボン玉）が対話相手キャラクタ（ピカチュウ）に規定の距離まで接近したならば、ステップ５０９から５１０以降に進み、対話相手キャラクタ（ピカチュウ）がゲーム進行上どのような立場にあるのかを表すキャラクタ現況データを前記ゲーム進行状況データから取得し、アニメーション表現における音声媒介図案（シャボン玉）の変化や移動のしかたを決定する。
【００３３】
この実施例においては、この処理に関するキャラクタ現況データとして「無視フラグ」と「多忙フラグ」がある。「無視フラグ」がセットされている場合、ステップ５１０から図７のシャボン玉弾かれ処理に進み、最終的には図８のシャボン玉消滅処理へと進む。その結果、図９の▲４▼に例示するように、シャボン玉がピカチュウの頭に当って遠くに弾き飛ばされるアニメーション表現をつくりだす。
【００３４】
また「無視フラグ」がセットされていなくて「多忙フラグ」がセットされている場合には、ステップ５１０→５１１→５１２と進み、図１０の▲２▼に例示するように、ピカチュウの頭上でシャボン玉が旋回するアニメーション表現をつくりだする。このシャボン玉は、前記の寿命データに基づく処理で消滅するか、そのまえに「多忙フラグ」がリセットされるかで消息が変る。なお、前述のピカチュウモーション制御プロセスは、前記リアクション準備フラグがセットされたときにアクション中であれば、その単位アクションが終了するまで「多忙フラグ」をセットしておく。したがって、アクション中のピカチュウの頭上でシャボン玉が旋回することになる。
【００３５】
「無視フラグ」も「多忙フラグ」もセットされていない場合は、ステップ５１１から図６のシャボン玉吸込まれ処理に進む。図６のフローチャートに解説しているように、この場合は図１１の▲１▼に示すようにシャボン玉がピカチュウの頭に吸込まれて消えるアニメーション表現をつくりだす。また、そのアニメーション表現に合せた効果音を生成して音響出力する。さらに、音声媒介オブジェクトに記述されている認識単語ＩＤを対話相手キャラクタのオブジェクトにコピーする。この認識単語ＩＤのコピー処理により、ゲームアルゴリズムの進行処理上で、遊戯者が発声した言語的意味（認識単語）が対話相手キャラクタに伝達されたことになる。このことがつぎのゲーム場面に反映し、遊戯者の語りかけにゲーム映像上の対話相手キャラクタが反応した挙動（リアクション）を示し、合成音声で言葉を発したりするゲームを自由に創作できる。たとえば、遊戯者がピカチュウに「かわいいね」と語りかけると、ゲーム映像上では、そのメッセージがシャボン玉に運ばれてピカチュウに吸込まれ、図１１の▲２▼に示すようのピカチュウが手を振ってリアクションする。
【００３６】
＝＝＝その他の実施形態＝＝＝
（ア）音声媒介図案は基本的には対話相手キャラクタの方向に進ませるが、ゲームフィールド上にたとえば「強風」のような状況を設定し、その強風下で音声媒介図案が移動する状況が生じたならば、音声媒介図案の進行方向を変えるアニメーション表現をつくりだす。
（イ）音声認識した単語を文字で表示し、その文字列画像を音声媒介図案としてのシャボン玉の中に包み込んで対話相手キャラクタに運ぶアニメーション表現をつくる。この場合、ゲームフィールドにおける障害の作用でシャボン玉に包まれた文字列画像が破壊されたり、べつ意味の文字列に化けたりするアニメーション表現をつくり、その変化した言語的意味を対話相手キャラクタに伝える。
（ウ）音声認識において音質も分類し、たとえば男の声と女の声とに分類して、それに合わせて音声媒介図案の形態や色あるいはテクスチャを変える。
（エ）音声認識手段で入力音声の表情（語りかけの感情的な要素）を分析・分類し、その結果を感情データとして音声媒介オブジェクトに書き込んでおき、音声媒介図案が対話相手キャラクタに接近した段階で、キャラクタ・オブジェクトに感情データをコピーすることで、その感情データをゲームアルゴリズムの進行処理に反映させる。
（オ）一般的なパーソナル・コンピュータを前記メインコンピュータとして本発明を適用したビデオゲーム機を構成できる。その場合、パーソナル・コンピュータのキーボードやマウスを前記コントローラとして機能させることができる。
（カ）音声認識手段は前記メインコンピュータのプログラム処理でも実現できる。その場合は、実施例のようなゲーム機の本体装置と別体の音声認識ユニットはなくなる。
（キ）ゲームプログラムの記録媒体は実施例のようなＲＯＭカートリッジに限定されない。ＣＤ−ＲＯＭなどのディスク媒体やカード型記録媒体などを利用できる。また、コンピュータネットワークや電話回線などの通信媒体を介してゲームプログラムを供給するシステムも構築できる。
（ク）音声認識手段に対してマイクロホン信号を有効・無効にする操作スイッチをマイクロホン自体あるいは前記音声認識ユニットに設ける。
（ケ）「ゲーム映像の主人公的な要素でありかつ音声を受け取るべき相手である対話相手キャラクタ」とは、あるゲーム場面での対話相手となるキャラクタを意味しており、ゲームストーリーの主人公を必ずしも意味していない。もちろん、対話相手キャラクタは１つに限らず、複数の対話相手キャラクタが存在することはあり、それらキャラクタと個別に対話が可能である。
【００３７】
【発明の効果】
（ａ）遊戯者がマイクロホンに向かって発した語りかけがゲーム映像上の対話相手キャラクタに伝わっていくプロセスが分かりやすく楽しく映像表現できる。まず、語りかけに応答してゲーム映像上に音声媒介図案が描画されることで、音声入力がそれを処理する回路系に伝わっていることが分かる。いくらマイクロホンに向かって発声しても、音声媒介図案が画面に表れなければ、マイクロホンや音声信号処理系統に異常があるらしいと容易に推察できる。そのため利用者の使い勝手がよい。
【００３８】
（ｂ）対話相手キャラクタがゲーム映像上に表れていなくても、発生した音声媒介図案が移動していく方向を見れば、表示視野から外れているゲームフィールド上の対話相手キャラクタの存在位置を遊戯者が推察でき、スムーズで面白いゲーム操作を支援することになる。
【００３９】
（ｃ）画面に表れた音声媒介図案が対話相手キャラクタに到達しない様子を見れば、声が小さかったとか、理解されない言葉であったとか、ゲームフィールドに伝言を阻害する要因があるなど、その原因を遊戯者が推察できので、つぎのコントローラ操作や語りかけなどの行動に反映させることができ、スムーズで面白いゲーム操作を支援することになる。
【００４０】
（ｄ）画面に表れた音声媒介図案が対話相手キャラクタまで到達したのに弾き返されるような映像を見ることで、遊戯者は自分の発したメッセージと現在進行中のゲーム状況の関係を容易に理解できるので、つぎのコントローラ操作や語りかけなどの行動に反映させることができ、スムーズで面白いゲーム操作を支援することになる。
【００４１】
（ｅ）自然で生物的なキャラクタを３次元アニメーションで表現するために、モーション（前述の単位モーションのこと）と呼ばれる一連のデータを多数使用する。これらのモーションデータは、それぞれ定められた再生時間を持っており、その再生途中で他のモーションへと自然に切り替えることは現在の技術では難しく、計算時間もかかる。つまり、ある単位モーションをいちど始めてから他の単位モーションに切り替えるためには、最初の単位モーションの再生が終了するまで待たねばならず、時間がかかる。たとえば「走る」モーションを再生している途中で「横たわって眠る」モーションに即座に切り替えることは難しい。
【００４２】
このような理由から、対話相手キャラクタが音声を受け取っても、そのときあるモーションの再生中であれば、それに対するリアクションのモーションに即座に切り替えられない場合が頻出する。音声の受け取りタイミングとリアクションの開始との時間的なずれはきわめて不自然であり、スムーズで面白いコミュニケーション感を生み出すことはできない。
【００４３】
この発明では、音声認識が終了してから音声媒介図案が対話相手キャラクタに到達するまでの時間を利用して、対話相手キャラクタが即座にリアクションを返せるようにプログラム内部的に準備を整えることができ、自然なコミュニケーションを高めることに成功した。
【００４４】
（ｆ）対話相手とな得る複数のキャラクタがゲーム画面に同時に存在している場合に、遊戯者の語りかけがどのキャラクタに伝達されるのかを視覚的に分かりやすく見せることができ、つぎのコントローラ操作や語りかけなどの行動に反映させることができ、スムーズで面白いゲーム操作を支援することになる。
【図面の簡単な説明】
【図１】この発明の一実施例によるビデオゲーム機の外観図である。
【図２】同上実施例装置の電気的構成の概略を示すブロック図である。
【図３】同上実施例装置における音声認識プロセスの処理手順の概略フローチャートである。
【図４】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその１である。
【図５】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその２である。
【図６】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその３である。
【図７】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその４である。
【図８】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその５である。
【図９】同上実施例装置における音声伝達状況描画プロセスによる表示画面例その１である。
【図１０】同上実施例装置における音声伝達状況描画プロセスによる表示画面例その２である。
【図１１】同上実施例装置における音声伝達状況描画プロセスによる表示画面例その３である。
【符号の説明】
１ 本体装置
２ コントローラ
３ マイクロホン
４ 音声認識ユニット
５ ゲームカセット
６ 映像音響システム

Claims (12)

1. 記憶手段と、コントローラと、マイクロホンと、音声認識手段と、映像音響出力手段と、メインコンピュータを備えたビデオゲーム機であって、
   記憶手段は、ゲームプログラムを格納し、
   コントローラは、利用者の操作入力を受け付け、
   マイクロホンは、利用者の音声入力を受け付け、
   音声認識手段は、マイクロホンからの信号を処理して音声認識を可能とし、
   映像音響出力手段は、メインコンピュータの制御に従って映像信号と音響信号を映像音響機器に出力し、
   メインコンピュータは、ゲームプログラムを実行することで主処理手段および音声処理手段として機能し、
   主処理手段は、ゲームプログラムに従ってゲームアルゴリズムの進行処理を行い、コントローラによる操作入力を反映して変化するゲーム進行状況データを生成してメモリに記憶するとともに、ゲーム進行状況データの変化が反映するゲーム映像とゲーム音響を生成して映像音響出力手段より出力させ、
   ゲーム進行状況データは、ゲーム映像上の対話相手キャラクタがゲームフィールドでどの位置に存在しているのかを表すキャラクタ位置データと、対話相手キャラクタがゲーム進行上どのような状況にあるのかを表すキャラクタ現況データとを含み、
   音声処理手段は、音声認識手段により所定の音声入力が検出された際、音声認識手段が認識した言語的意味データをメモリに一時記憶し、ゲーム映像上の所定位置にて音声媒介図案を発生させ、当該音声媒介図案をキャラクタ位置データに応じた方向に移動させるとともに、当該音声媒介図案をキャラクタ現況データに基づいた態様で変化させながら対話相手キャラクタに接近させるアニメーションを生成してゲーム映像に付加し、当該音声媒介図案がゲーム映像上の対話相手キャラクタに所定条件まで接近した際、メモリに記憶した言語的意味データをゲーム進行状況データとして主処理手段に引き渡す
   ビデオゲーム機。
2. 主処理手段は、ゲームプログラムに基づき、コントローラから特定の操作入力がある場合においてのみ、音声認識手段による音声認識処理を有効とする
   請求項１に記載のビデオゲーム機。
3. 主処理手段は、特定のゲーム進行状況期間においてのみ、音声認識手段による音声認識処理を有効とする
   請求項１に記載のビデオゲーム機。
4. 音声処理手段は、ゲーム映像上にて音声媒介図案を対話相手キャラクタに向けて移動させる処理過程においてゲーム進行状況データを調べ、その中の特定のデータ要素がある特定の状態を表している場合に、音声媒介図案の移動に障害を加えるアニメーションを生成してゲーム映像に付加する
   請求項１に記載のビデオゲーム機。
5. 音声処理手段は、音声認識手段から入力音声の特徴データを取得してメモリに一時記憶し、当該特徴データに基づいて音声媒介図案の形態を設定する
   請求項１に記載のビデオゲーム機。
6. 音声処理手段は、ゲームプログラムに基づき、音声媒介図案の移動・変化に対応した効果音データを生成して出力する
   請求項１に記載のビデオゲーム機。
7. 音声処理手段は、キャラクタ現況データがある特定の状態を表している場合に、対話相手キャラクタに接近した音声媒介図案が対話相手キャラクタに吸収されるアニメーションを生成してゲーム映像に付加する
   請求項１に記載のビデオゲーム機。
8. 音声処理手段は、キャラクタ現況データがある特定の状態を表している場合に、対話相手キャラクタに接近した音声媒介図案が対話相手キャラクタに弾き返されるアニメーションを生成してゲーム映像に付加する
   請求項１に記載のビデオゲーム機。
9. 音声処理手段は、音声認識手段から入力音声の特徴データを取得してメモリに一時記憶し、当該特徴データをゲーム進行状況データとして主処理手段に引き渡す
   請求項１に記載のビデオゲーム機。
10. 音声認識手段は、メインコンピュータを内蔵した本体装置とは別体の音声認識ユニットとして装置構成され、
    音声認識ユニットは、本体装置に接続可能であり、
    マイクロホンは、音声認識ユニットに接続可能である
    請求項１に記載のビデオゲーム機。
11. メインコンピュータは、ゲームプログラムに基づき、イニシャル処理の際、当該ゲームプログラムと同じ媒体に記録されている音声辞書データを音声認識ユニットに転送する
    請求項１０に記載のビデオゲーム機。
12. コントローラと、マイクロホンと、音声認識手段と、映像音響出力手段と、メインコンピュータを備えたビデオゲーム機用のゲームプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体であって、
    コントローラは、利用者の操作入力を受け付け、
    マイクロホンは、利用者の音声入力を受け付け、
    音声認識手段は、マイクロホンからの信号を処理して音声認識を可能とし、
    映像音響出力手段は、メインコンピュータの制御に従って映像信号と音響信号を映像音響機器に出力し、
    ゲームプログラムは、メインコンピュータを主処理手段および音声処理手段として機能させ、
    主処理手段は、ゲームアルゴリズムの進行処理を行い、コントローラによる操作入力を反映して変化するゲーム進行状況データを生成してメモリに記憶するとともに、ゲーム進行状況データの変化が反映するゲーム映像とゲーム音響を生成して映像音響出力手段より出力させ、
    ゲーム進行状況データは、ゲーム映像上の対話相手キャラクタがゲームフィールドでどの位置に存在しているのかを表すキャラクタ位置データと、対話相手キャラクタがゲーム進行上どのような状況にあるのかを表すキャラクタ現況データとを含み、
    音声処理手段は、音声認識手段により所定の音声入力が検出された際、音声認識手段が認識した言語的意味データをメモリに一時記憶し、ゲーム映像上の所定位置にて音声媒介図案を発生させ、当該音声媒介図案をキャラクタ位置データに応じた方向に移動させるとともに、当該音声媒介図案をキャラクタ現況データに基づいた態様で変化させながら対話相手キャラクタに接近させるアニメーションを生成してゲーム映像に付加し、当該音声媒介図案がゲーム映像上の対話相手キャラクタに所定条件まで接近した際、メモリに記憶した言語的意味データをゲーム進行状況データとして主処理手段に引き渡す
    プログラム記録媒体。

Images