JP3914636B2 - 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 - Google Patents
音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 Download PDFInfo
- Publication number
- JP3914636B2 JP3914636B2 JP16562898A JP16562898A JP3914636B2 JP 3914636 B2 JP3914636 B2 JP 3914636B2 JP 16562898 A JP16562898 A JP 16562898A JP 16562898 A JP16562898 A JP 16562898A JP 3914636 B2 JP3914636 B2 JP 3914636B2
- Authority
- JP
- Japan
- Prior art keywords
- game
- voice
- data
- video
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【発明が属する技術分野】
この発明は、コンピュータアニメーションのゲーム映像を見ながらコントローラのスイッチ類を操作してゲームを操るビデオゲーム機に関し、とくに、音声入力式ヒューマンインタフェースを採り入れたビデオゲーム機に関する。また、音声入力式ヒューマンインタフェースに対応したゲームプログラムの記録媒体にも関する。
【0002】
【従来の技術】
一般的な家庭用のビデオゲーム機にはコントローラが付属している。遊戯者はコントローラのスイッチ類のボタンやポテンショメータのレバーを操作することでゲームを進行させる。ゲームプログラムのコンセプトの多様化に伴って、加速度センサや衝撃センサなどを内蔵したコントローラのような新しいハードウェアが考案されるとともに、ゲームを操る新しいヒューマンインタフェースのソフトウェアがつぎつぎと開発されている。これらの新技術の目標とするところは、要するに、ビデオゲームの操作に豊かな現実感や意外性を採り入れて、ゲームの楽しさ面白さを増すことにある。
【0003】
ビデオゲーム機におけるヒューマンインタフェースの新技術の1つに音声入力式ヒューマンインタフェースがある。これは、ゲーム映像に登場しているキャラクタに遊戯者がマイクロホンを通じて言葉をかけると、ゲーム機がその語りかけを理解してゲームの進行に反映させるというものである。ゲーム映像上のキャラクタが遊戯者の語りかけに反応し、ゲーム映像が変化したりゲーム音響の効果音が出る。そのような反応を遊戯者が認識することで、遊戯者とゲームキャラクタとの間で対話が成立することになる。
【0004】
【発明が解決しようとする課題】
ビデオゲーム機における音声入力式ヒューマンインタフェースの既存技術では、遊戯者の語りかけが音声認識されると、その言語的意味がゲーム映像上の対話相手キャラクタのつぎの振る舞いに反映する。現実世界の遊戯者とゲーム世界の仮想コミュニティのキャラクタとがゲーム機のハードウェアおよびソフトウェアを介在してコミュニケーションするという状況において、現実世界の人間のコミュニケーションに似せたさまざまな表象を想起させたり、あるいはゲーム世界ならではの空想的な面白さを表現するには、遊戯者とゲームキャラクタとの間のコミュニケーションや、それぞれが発するメッセージの内容を映像と音で表現するだけでは無機的で面白さに欠ける。すなわち、コミュニケーションや、それぞれの発するメッセージの内容のみならず、コミュニケーションが成立していくプロセスを表現していくことが、とくに音声入力によるゲームを面白くするためには必要である。
【0005】
たとえば、なんらかの原因で遊戯者の語りかけが認識されないと、語りかけはゲームに反映しない。語りかけが認識されない原因としては、▲1▼音声がマイクロホンにうまく入力されていない、▲2▼マイクロホンの出力信号が音声認識回路にうまく伝わっていない、▲3▼音声認識回路が入力音声を理解できない、▲4▼理解した音声がゲームの進行に反映し得る言語的意味とは異なるなど、いろいろなレベルがある。また有効な語りかけが正しく認識されても、ゲーム進行の場面設定がそうなっていないので、語りかけに対してゲーム映像の対話相手キャラクタが反応しないこともある。
【0006】
こうした様々な原因により遊戯者の語りかけが対話相手キャラクタに有効に認識されないことがあり得るが、その場合、認識されていないことや、その原因を遊戯者がすぐに感得できなければ、対話相手キャラクタのつぎの反応を待つことになる。それでも結局は反応がないわけであるから、遊戯者・キャラクタ間の疑似的なコミュニケーションがスムーズにはなされず、ゲーム進行の妨げとなり、遊戯者は「面白くない」ことになる。
【0007】
この発明は前述のような観点でなされたものであり、その目的は、遊戯者とゲームキャラクタとの間の音声入力によるコミュニケーションが成立するまでのプロセスや不成立となるまでのプロセスを面白く楽しく映像表現し、かつ遊戯者のスムーズなゲーム操作感を実現できるようにしたビデオゲーム技術を提供することにある。
【0008】
【課題を解決するための手段】
この発明に係るビデオゲーム機は、分説すると、つぎの事項(1)〜(10)により特定されるものである。
(1)記憶手段と、コントローラと、マイクロホンと、音声認識手段と、映像音響出力手段と、メインコンピュータを備えたビデオゲーム機であること
(2)記憶手段は、ゲームプログラムを格納すること
(3)コントローラは、利用者の操作入力を受け付けること
(4)マイクロホンは、利用者の音声入力を受け付けること
(5)音声認識手段は、マイクロホンからの信号を処理して音声認識を可能とすること
(6)映像音響出力手段は、メインコンピュータの制御に従って映像信号と音響信号を映像音響機器に出力すること
(7)メインコンピュータは、ゲームプログラムを実行することで主処理手段および音声処理手段として機能すること
(8)主処理手段は、ゲームプログラムに従ってゲームアルゴリズムの進行処理を行い、コントローラによる操作入力を反映して変化するゲーム進行状況データを生成してメモリに記憶するとともに、ゲーム進行状況データの変化が反映するゲーム映像とゲーム音響を生成して映像音響出力手段より出力させること
(9)ゲーム進行状況データは、ゲーム映像上の対話相手キャラクタがゲームフィールドでどの位置に存在しているのかを表すキャラクタ位置データと、対話相手キャラクタがゲーム進行上どのような状況にあるのかを表すキャラクタ現況データとを含むこと
(10)音声処理手段は、音声認識手段により所定の音声入力が検出された際、音声認識手段が認識した言語的意味データをメモリに一時記憶し、ゲーム映像上の所定位置にて音声媒介図案を発生させ、当該音声媒介図案をキャラクタ位置データに応じた方向に移動させるとともに、当該音声媒介図案をキャラクタ現況データに基づいた態様で変化させながら対話相手キャラクタに接近させるアニメーションを生成してゲーム映像に付加し、当該音声媒介図案がゲーム映像上の対話相手キャラクタに所定条件まで接近した際、メモリに記憶した言語的意味データをゲーム進行状況データとして主処理手段に引き渡すこと
【0009】
以上の基本的な要件に加えて、つぎの各要件を適宜に組み合わせて実施することができる。
(a)前記コントローラから特定の操作入力がある場合においてのみ、前記音声認識手段がマイクロホンからの入力を取り込んで処理する動作を有効とする。
(b)前記メインコンピュータが前記ゲームプログラムを実行することにより、ゲーム進行状況に関わる特定の期間においてのみ、前記音声認識手段がマイクロホンからの入力を取り込んで処理する動作を有効とする。
(c)音声伝達状況描画プロセスは、ゲーム映像上にて音声媒介図案を対話相手キャラクタに向けて移動させる処理過程において、前記ゲーム進行状況データを調べ、その中の特定のデータ要素がある特定の状態を表している場合に、音声媒介図案の移動に障害を加えるアニメーションを生成してゲーム映像に付加するプロセスを含む。
(d)音声伝達状況描画プロセスは、起動時に、マイクロホンから入力された音声の特徴に関するデータを音声認識手段から取得し、その特徴データに応じて音声媒介図案の形態を可変設定するプロセスを含む。
(e)音声伝達状況描画プロセスは、音声媒介図案の移動・変化に対応した効果音データを生成して出力するプロセスを含む。
(f)音声伝達状況描画プロセスは、前記キャラクタ現況データがある特定の状態を表している場合に、対話相手キャラクタに接近した音声媒介図案が対話相手キャラクタに吸収されるアニメーションを生成してゲーム映像に付加するプロセスを含む。
(g)音声伝達状況描画プロセスは、前記キャラクタ現況データがある特定の状態を表している場合に、対話相手キャラクタに接近した音声媒介図案が対話相手キャラクタに弾き返されるアニメーションを生成してゲーム映像に付加するプロセスを含む。
(h)音声伝達状況描画プロセスは、起動時に、マイクロホンから入力された音声の特徴に関するデータを音声認識手段から取得するとともに、ゲーム映像上において音声媒介図案が対話相手キャラクタに接近した段階で、一時記憶してある音声の特徴データをゲームアルゴリズムの進行処理プロセスに引き渡すプロセスを含む。
(i)前記音声認識手段が前記メインコンピュータを内蔵した本体装置とは別体の音声認識ユニットとして装置構成されており、この音声認識ユニットが前記本体装置に接続されるとともに、この音声認識ユニットに前記マイクロホンが接続される。
(j)前記メインコンピュータは前記ゲームプログラムに規定されたイニシャル処理として、当該ゲームプログラムと同じ媒体に記録されている音声辞書データを前記音声認識ユニットに転送する。
(k)音声伝達状況描画プロセスは、ゲーム映像上において音声媒介図案が対話相手キャラクタに接近する前に、ゲームアルゴリズムの進行処理プロセスに対して音声の待ち受けモードを準備するように指示するプロセスを含む。
【0011】
【発明の実施の形態】
===ハードウェアの概要===
この発明の一実施例によるビデオゲーム機の外観を図1に示し、そのブロック構成を図2に示している。典型的な例としては任天堂株式会社の製品名「NINTENDO64(登録商標)」の本体装置1とコントローラ2を使用し、これにマイクロホン3が付属した音声認識ユニット4を付加する。
よく知られているように、本体装置1のカセット挿入口11にゲームカセット5(プログラム記録媒体)を差し込むと、挿入口内のカセットコネクタ12を介してカセット内のメモリが本体装置1のメインコンピュータ13に結合される。メインコンピュータ13はOSの統括下でゲームカセット5に記録されているゲームプログラムや関連データを読み込んで処理する。本体装置1の映像音声出力端子15に接続されたテレビ受信機などの映像音響システム6がゲーム映像とゲーム音響の出力機器となる。本体装置1にはコントローラ2を接続する4個のコネクタ14がある。そのうちの1つのコネクタ14にコントローラ2を接続し、べつのコネクタ14に音声認識ユニット4を接続する。
【0012】
音声認識ユニット4は前処理回路41とDSP(デジタル・シグナル・プロセッサ)42とインタフェース回路43からなる。前処理回路41は、マイクロホン3からの音声信号をアナログ増幅する可変利得増幅回路と、その出力をデジタル変換するA/D変換回路とを含んでいる。DSP42は、デジタル変換された音声入力を取り込んで認識処理するためのマイコンである。インタフェース回路43は、メインコンピュータ13におけるコネクタ14のシリアルポートのインタフェース規格に従って、メインコンピュータ13と音声認識ユニット4のDSP42との間の通信を実現する。
【0013】
===ソフトウェアの概要===
この発明の音声入力式ヒューマンインタフェースを採用したゲームプログラムがゲームカセット5に記録されてユーザに提供される。そのゲームプログラムには、そのプログラムに関連した各種データが付帯しているのはもちろん、前述の音声伝達状況描画プロセスを受け持つプログラムも含まれており、さらにゲーム開始に先立って前記音声認識ユニット4に転送することになる音声辞書データも含まれている。
【0014】
ゲームプログラムの機能は、ゲーム管理プロセス、ゲームアルゴリズムの進行処理プロセス、ゲーム映像音響の出力処理プロセス、コントローラ2の入力処理プロセス、音声認識ユニット4との通信処理プロセス、この発明の中核をなす音声伝達状況描画プロセスなどに分けて把握できる。
【0015】
ゲーム管理プロセスはイニシャル処理やゲーム全体の進行の調整などを受け持つ。コントローラ2の入力処理プロセスおよび音声認識ユニット4との通信処理プロセスにより取得した入力データがゲームアルゴリズムの進行処理プロセスに反映し、遊戯者からの働きかけによって変化するゲーム進行状況データが生成される。ゲーム映像音響の出力処理プロセスは、ゲーム進行状況データが反映して変化するコンピュータアニメーションのゲーム映像を生成して出力するとともに、そのゲーム映像に対応するゲーム音響をシンセサイザーにより生成して出力する。
【0016】
また以下に詳しく説明するように、音声認識ユニット4から所定の条件を満たす音声入力が検出された旨が伝えられたときに、音声伝達状況描画プロセスが起動され、コンピュータアニメーションにより音声媒介図案を生成してゲーム映像上に付加的に表示する。
【0017】
===音声認識プロセス===
この発明を適用したゲームプログラム(ゲームカセット5に記録されている)が前述したハードウェア上で実行されるとき、まずイニシャル処理として、ゲームプログラムに付帯している音声辞書データが本体装置1から音声認識ユニット4に転送され、DSP42のメモリに記憶される。音声辞書データには、このゲームにおいて有効な言語的意味として理解すべきいくつかの単語データが設定されている。たとえば「こんにちは」「かわいいね」「遊ぼうよ」といった単語を認識するためのデータである。
【0018】
音声認識ユニット4におけるデータ処理の概略手順を図3のフローチャートに示している。DSP42は、デジタル変換されたマイクロホン信号を監視し、規定レベル以上の音声信号が入力されてきたならば、ステップ301から302に進み、メインコンピュータ13から通知されている音声入力受付フラグが有効になっているか否かをチェックする。このフラグが無効であれば認識処理は行わず、フラグが有効である場合にステップ303に進む。
【0019】
メインコンピュータ13はつぎのように音声入力受付フラグを制御する。第1の例では、コントローラ2の特定のスイッチがオンになっているときにフラグを有効とし、オフのときには無効とする。第2の例では、ゲームプログラムに規定されているゲーム進行シーケンス中に音声入力受付フラグをオンにするのかオフにするのかを記述しておく。いずれを採用してもよい。
【0020】
入力音声が音声辞書データに登録されている単語に該当するか否かを調べるのにはある程度の時間がかかる。DSP42は、ステップ303で入力音声に応答して認識処理を開始した旨をメインコンピュータ13に通知し、ステップ304で認識処理を実行する。なおステップ303での通知には、処理対象となった入力音声の音量レベルおよび持続時間のデータも含める。
【0021】
またDSP42は、ステップ304の認識処理の結果、入力音声が辞書データ中の単語のどれかに該当すると判断した場合は、その単語を特定するIDを認識結果としてメインコンピュータ13に通知する(ステップ305→306)。またDSP42は、辞書データ中のいずれともマッチングがとれなかった場合は、認識不能であった旨(エラーステータス)をメインコンピュータ13に通知する(ステップ305→307)。
【0022】
===音声伝達状況描画プロセス===
(A)音声媒介オブジェクトの生成
図3の音声認識プロセスにおけるステップ303で、音声認識ユニット4からメインコンピュータ13に音声認識処理を開始した旨が通知されると、メインコンピュータ13において音声伝達状況描画プロセスが起動される。まず、図4のフローチャートに示す音声媒介図案の生成処理が開始される。
【0023】
メインコンピュータ13は、音声認識処理を開始した旨(認識中)の通知をDSP42から受け取るとステップ401から402に進み、映像音響システム6におけるゲーム映像の画面の所定位置に、そこから音声媒介図案が生じてくることを予感させるようなアニメーションを生成して表示する(たとえばマイクロホンのアイコンを小刻みに震わせる)。つぎのステップ403では、音声認識ユニット4での処理が図3のステップ306または307まで進んだか否か、つまり認識処理が終了したか否かをチェックする。認識終了の通知があるまではステップ401に戻り、前記のアニメーション表示を続ける。
【0024】
音声認識ユニット4から認識終了が通知されたならば、ステップ404に進んで音声媒介オブジェクトを生成する。音声媒介オブジェクトとは、以下に詳述する音声媒介図案についてのカプセル化したデータ集合のことを指す(オブジェクト指向プログラミングの基礎的な概念である)。音声媒介オブジェクトには、音声認識ユニット4から取得した入力音声の音量レベルと持続時間、認識した単語のID(認識不能であった場合はそのことを表すコード)をセットする。また音量レベルと持続時間のデータに基づいて「寿命」および「速度」なるデータをそれぞれ所定の計算式で求め、その寿命データおよび速度データも音声媒介オブジェクトにセットする。
【0025】
(B)音声媒介図案の表示開始
入力された音声について辞書データに登録された単語として認識できた場合にはステップ405から406に進み、認識不能であった場合にはステップ405から407に進み、それぞれ音声媒介オブジェクトに基づいて音声媒介図案の画像データを生成する。以下に説明する実施例では、音声媒介図案は透明なシャボン玉である。そして、単語認識できた場合にはシャボン玉を無色透明の図柄で表現し、認識不能であった場合はシャボン玉を赤色の半透明の図柄で表現する。またステップ408では、音声媒介オブジェクトの音量レベルのデータに基づいてシャボン玉の大きさを可変設定する(音量が大きいほどシャボン玉を大きく表現する。
【0026】
そしてステップ409に進み、生成したシャボン玉(音声媒介図案)の画像データをゲーム映像が表示されている画面の所定位置に付加的に表示する。その表示画面の一例を図9の▲1▼に示している。ゲーム映像はごく簡略化して図示している。この例の対話相手キャラクタは「ピカチュウ(登録商標)」という名前の人気アニメーションの主人公的なキャラクタである。実際のゲーム画面では対話相手キャラクタが遊び回る広い野原がゲームフィールドであり、現実感のある3次元アニメーションによるゲーム映像を表示している。そのような3次元表示されたゲームフィールドの一番手前の所定位置に音声媒介図案としてのシャボン玉を表示し、フィールドの奥に対話相手キャラクタ「ピカチュウ」がいる。なおステップ409では、シャボン玉を表示するタイミングに合わせて音声媒介の発生音をシンセサイザーで生成し、映像音響システム6から音響出力する。
【0027】
つづくステップ410では、対話相手キャラクタ(ピカチュウ)のオブジェクトにあるリアクション準備フラグをセットする。ピカチュウ・オブジェクトに基づいてピカチュウのアニメーションを制御しているピカチュウモーション制御プロセスは、前記リアクション準備フラグがセットされたのを受けて、現在実行中の単位モーションを終了した時点でつぎの単位モーションに移行せずに音声待ち受けモードをつくりだす。その待ち受け状態で、後述するように、音声媒介オブジェクトからピカチュウ・オブジェクトに音声情報が伝達される。したがってピカチュウモーション制御プロセスは、音声情報が伝達された時点で、語りかけに反応するようなリアクションをつくりだすための単位モーションを実行できる。
【0028】
(C)音声媒介図案の移動
前記のようにゲーム映像上に発生させた音声媒介図案(シャボン玉)を対話相手キャラクタ(ピカチュウ)に向けて移動させる。ゲームフィールドでの対話相手キャラクタの現在位置は、ゲームプログラムの実行によって逐次更新されているゲーム進行状況データから取得する。キャラクタ位置が分かれば、音声媒介図案の発生位置からキャラクタ位置までの距離も分かる。また、キャラクタ位置までのフィールド状況もゲーム進行状況データから取得できる。
【0029】
音声媒介図案の移動処理の概要を図5のフローチャートに示している。まずステップ501で対話相手キャラクタまでの距離が規定値を超えていないかをチェックし、対話相手キャラクタが規定以上に遠くにいる場合には音声媒介図案(シャボン玉)を消滅させる処理(図8)に移行する。
そうでなければステップ502に進み、音声媒介図案(シャボン玉)を対話相手キャラクタ(ピカチュウ)の存在方向に移動させるアニメーション処理を実行する。この様子を図9の▲2▼に示している。3次元のアニメーション処理でゲーム映像を生成しているので、ゲームフィールドの奥にいるピカチュウに向けてシャボン玉を移動させると、画面上のシャボン玉は徐々に小さくなる。この移動処理の速度を決めているのは、前述の音声媒介オブジェクトに記述してある速度データである。速度データは入力音声の音量レベルと持続時間のデータに基づいて計算されているので、画面上のシャボン玉の移動の様子に入力音声の音量と持続時間が反映する。
【0030】
つぎのステップ503では、ゲームフィールドの状況を調べ、シャボン玉の移動方向にその円滑な移動の障害となるものがあるかどうかを判断し、それに応じて音声媒介オブジェクトに記述してある寿命データの値を減らす。障害物があれば大きく寿命データの値を減らし(ステップ505)、ないのであれば減らす量を少なくする(ステップ504)。そして、減らした寿命データの値がゼロ以下になったかどうかをチェックし(ステップ506)、ゼロ以下になったなら図8のシャボン玉消滅処理に移行する。シャボン玉の消滅する画面の例を図10の▲1▼に示している。
【0031】
また、移動しつつある音声媒介図案(シャボン玉)の近くに障害物があるかどうかをチェックし(ステップ507)、あれば音声媒介オブジェクトに記述してある速度データの値を大幅に減らすことで、シャボン玉が障害物に衝突して消えるアニメーション表現をつくりだす(ステップ508)。この様子の表示例を図10の▲3▼と▲4▼に示している。
【0032】
また図9の▲3▼に示すように、音声媒介図案(シャボン玉)が対話相手キャラクタ(ピカチュウ)に規定の距離まで接近したならば、ステップ509から510以降に進み、対話相手キャラクタ(ピカチュウ)がゲーム進行上どのような立場にあるのかを表すキャラクタ現況データを前記ゲーム進行状況データから取得し、アニメーション表現における音声媒介図案(シャボン玉)の変化や移動のしかたを決定する。
【0033】
この実施例においては、この処理に関するキャラクタ現況データとして「無視フラグ」と「多忙フラグ」がある。「無視フラグ」がセットされている場合、ステップ510から図7のシャボン玉弾かれ処理に進み、最終的には図8のシャボン玉消滅処理へと進む。その結果、図9の▲4▼に例示するように、シャボン玉がピカチュウの頭に当って遠くに弾き飛ばされるアニメーション表現をつくりだす。
【0034】
また「無視フラグ」がセットされていなくて「多忙フラグ」がセットされている場合には、ステップ510→511→512と進み、図10の▲2▼に例示するように、ピカチュウの頭上でシャボン玉が旋回するアニメーション表現をつくりだする。このシャボン玉は、前記の寿命データに基づく処理で消滅するか、そのまえに「多忙フラグ」がリセットされるかで消息が変る。なお、前述のピカチュウモーション制御プロセスは、前記リアクション準備フラグがセットされたときにアクション中であれば、その単位アクションが終了するまで「多忙フラグ」をセットしておく。したがって、アクション中のピカチュウの頭上でシャボン玉が旋回することになる。
【0035】
「無視フラグ」も「多忙フラグ」もセットされていない場合は、ステップ511から図6のシャボン玉吸込まれ処理に進む。図6のフローチャートに解説しているように、この場合は図11の▲1▼に示すようにシャボン玉がピカチュウの頭に吸込まれて消えるアニメーション表現をつくりだす。また、そのアニメーション表現に合せた効果音を生成して音響出力する。さらに、音声媒介オブジェクトに記述されている認識単語IDを対話相手キャラクタのオブジェクトにコピーする。この認識単語IDのコピー処理により、ゲームアルゴリズムの進行処理上で、遊戯者が発声した言語的意味(認識単語)が対話相手キャラクタに伝達されたことになる。このことがつぎのゲーム場面に反映し、遊戯者の語りかけにゲーム映像上の対話相手キャラクタが反応した挙動(リアクション)を示し、合成音声で言葉を発したりするゲームを自由に創作できる。たとえば、遊戯者がピカチュウに「かわいいね」と語りかけると、ゲーム映像上では、そのメッセージがシャボン玉に運ばれてピカチュウに吸込まれ、図11の▲2▼に示すようのピカチュウが手を振ってリアクションする。
【0036】
===その他の実施形態===
(ア)音声媒介図案は基本的には対話相手キャラクタの方向に進ませるが、ゲームフィールド上にたとえば「強風」のような状況を設定し、その強風下で音声媒介図案が移動する状況が生じたならば、音声媒介図案の進行方向を変えるアニメーション表現をつくりだす。
(イ)音声認識した単語を文字で表示し、その文字列画像を音声媒介図案としてのシャボン玉の中に包み込んで対話相手キャラクタに運ぶアニメーション表現をつくる。この場合、ゲームフィールドにおける障害の作用でシャボン玉に包まれた文字列画像が破壊されたり、べつ意味の文字列に化けたりするアニメーション表現をつくり、その変化した言語的意味を対話相手キャラクタに伝える。
(ウ)音声認識において音質も分類し、たとえば男の声と女の声とに分類して、それに合わせて音声媒介図案の形態や色あるいはテクスチャを変える。
(エ)音声認識手段で入力音声の表情(語りかけの感情的な要素)を分析・分類し、その結果を感情データとして音声媒介オブジェクトに書き込んでおき、音声媒介図案が対話相手キャラクタに接近した段階で、キャラクタ・オブジェクトに感情データをコピーすることで、その感情データをゲームアルゴリズムの進行処理に反映させる。
(オ)一般的なパーソナル・コンピュータを前記メインコンピュータとして本発明を適用したビデオゲーム機を構成できる。その場合、パーソナル・コンピュータのキーボードやマウスを前記コントローラとして機能させることができる。
(カ)音声認識手段は前記メインコンピュータのプログラム処理でも実現できる。その場合は、実施例のようなゲーム機の本体装置と別体の音声認識ユニットはなくなる。
(キ)ゲームプログラムの記録媒体は実施例のようなROMカートリッジに限定されない。CD−ROMなどのディスク媒体やカード型記録媒体などを利用できる。また、コンピュータネットワークや電話回線などの通信媒体を介してゲームプログラムを供給するシステムも構築できる。
(ク)音声認識手段に対してマイクロホン信号を有効・無効にする操作スイッチをマイクロホン自体あるいは前記音声認識ユニットに設ける。
(ケ)「ゲーム映像の主人公的な要素でありかつ音声を受け取るべき相手である対話相手キャラクタ」とは、あるゲーム場面での対話相手となるキャラクタを意味しており、ゲームストーリーの主人公を必ずしも意味していない。もちろん、対話相手キャラクタは1つに限らず、複数の対話相手キャラクタが存在することはあり、それらキャラクタと個別に対話が可能である。
【0037】
【発明の効果】
(a)遊戯者がマイクロホンに向かって発した語りかけがゲーム映像上の対話相手キャラクタに伝わっていくプロセスが分かりやすく楽しく映像表現できる。まず、語りかけに応答してゲーム映像上に音声媒介図案が描画されることで、音声入力がそれを処理する回路系に伝わっていることが分かる。いくらマイクロホンに向かって発声しても、音声媒介図案が画面に表れなければ、マイクロホンや音声信号処理系統に異常があるらしいと容易に推察できる。そのため利用者の使い勝手がよい。
【0038】
(b)対話相手キャラクタがゲーム映像上に表れていなくても、発生した音声媒介図案が移動していく方向を見れば、表示視野から外れているゲームフィールド上の対話相手キャラクタの存在位置を遊戯者が推察でき、スムーズで面白いゲーム操作を支援することになる。
【0039】
(c)画面に表れた音声媒介図案が対話相手キャラクタに到達しない様子を見れば、声が小さかったとか、理解されない言葉であったとか、ゲームフィールドに伝言を阻害する要因があるなど、その原因を遊戯者が推察できので、つぎのコントローラ操作や語りかけなどの行動に反映させることができ、スムーズで面白いゲーム操作を支援することになる。
【0040】
(d)画面に表れた音声媒介図案が対話相手キャラクタまで到達したのに弾き返されるような映像を見ることで、遊戯者は自分の発したメッセージと現在進行中のゲーム状況の関係を容易に理解できるので、つぎのコントローラ操作や語りかけなどの行動に反映させることができ、スムーズで面白いゲーム操作を支援することになる。
【0041】
(e)自然で生物的なキャラクタを3次元アニメーションで表現するために、モーション(前述の単位モーションのこと)と呼ばれる一連のデータを多数使用する。これらのモーションデータは、それぞれ定められた再生時間を持っており、その再生途中で他のモーションへと自然に切り替えることは現在の技術では難しく、計算時間もかかる。つまり、ある単位モーションをいちど始めてから他の単位モーションに切り替えるためには、最初の単位モーションの再生が終了するまで待たねばならず、時間がかかる。たとえば「走る」モーションを再生している途中で「横たわって眠る」モーションに即座に切り替えることは難しい。
【0042】
このような理由から、対話相手キャラクタが音声を受け取っても、そのときあるモーションの再生中であれば、それに対するリアクションのモーションに即座に切り替えられない場合が頻出する。音声の受け取りタイミングとリアクションの開始との時間的なずれはきわめて不自然であり、スムーズで面白いコミュニケーション感を生み出すことはできない。
【0043】
この発明では、音声認識が終了してから音声媒介図案が対話相手キャラクタに到達するまでの時間を利用して、対話相手キャラクタが即座にリアクションを返せるようにプログラム内部的に準備を整えることができ、自然なコミュニケーションを高めることに成功した。
【0044】
(f)対話相手とな得る複数のキャラクタがゲーム画面に同時に存在している場合に、遊戯者の語りかけがどのキャラクタに伝達されるのかを視覚的に分かりやすく見せることができ、つぎのコントローラ操作や語りかけなどの行動に反映させることができ、スムーズで面白いゲーム操作を支援することになる。
【図面の簡単な説明】
【図1】この発明の一実施例によるビデオゲーム機の外観図である。
【図2】同上実施例装置の電気的構成の概略を示すブロック図である。
【図3】同上実施例装置における音声認識プロセスの処理手順の概略フローチャートである。
【図4】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその1である。
【図5】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその2である。
【図6】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその3である。
【図7】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその4である。
【図8】同上実施例装置における音声伝達状況描画プロセスの概略フローチャートその5である。
【図9】同上実施例装置における音声伝達状況描画プロセスによる表示画面例その1である。
【図10】同上実施例装置における音声伝達状況描画プロセスによる表示画面例その2である。
【図11】同上実施例装置における音声伝達状況描画プロセスによる表示画面例その3である。
【符号の説明】
1 本体装置
2 コントローラ
3 マイクロホン
4 音声認識ユニット
5 ゲームカセット
6 映像音響システム
Claims (12)
- 記憶手段と、コントローラと、マイクロホンと、音声認識手段と、映像音響出力手段と、メインコンピュータを備えたビデオゲーム機であって、
記憶手段は、ゲームプログラムを格納し、
コントローラは、利用者の操作入力を受け付け、
マイクロホンは、利用者の音声入力を受け付け、
音声認識手段は、マイクロホンからの信号を処理して音声認識を可能とし、
映像音響出力手段は、メインコンピュータの制御に従って映像信号と音響信号を映像音響機器に出力し、
メインコンピュータは、ゲームプログラムを実行することで主処理手段および音声処理手段として機能し、
主処理手段は、ゲームプログラムに従ってゲームアルゴリズムの進行処理を行い、コントローラによる操作入力を反映して変化するゲーム進行状況データを生成してメモリに記憶するとともに、ゲーム進行状況データの変化が反映するゲーム映像とゲーム音響を生成して映像音響出力手段より出力させ、
ゲーム進行状況データは、ゲーム映像上の対話相手キャラクタがゲームフィールドでどの位置に存在しているのかを表すキャラクタ位置データと、対話相手キャラクタがゲーム進行上どのような状況にあるのかを表すキャラクタ現況データとを含み、
音声処理手段は、音声認識手段により所定の音声入力が検出された際、音声認識手段が認識した言語的意味データをメモリに一時記憶し、ゲーム映像上の所定位置にて音声媒介図案を発生させ、当該音声媒介図案をキャラクタ位置データに応じた方向に移動させるとともに、当該音声媒介図案をキャラクタ現況データに基づいた態様で変化させながら対話相手キャラクタに接近させるアニメーションを生成してゲーム映像に付加し、当該音声媒介図案がゲーム映像上の対話相手キャラクタに所定条件まで接近した際、メモリに記憶した言語的意味データをゲーム進行状況データとして主処理手段に引き渡す
ビデオゲーム機。 - 主処理手段は、ゲームプログラムに基づき、コントローラから特定の操作入力がある場合においてのみ、音声認識手段による音声認識処理を有効とする
請求項1に記載のビデオゲーム機。 - 主処理手段は、特定のゲーム進行状況期間においてのみ、音声認識手段による音声認識処理を有効とする
請求項1に記載のビデオゲーム機。 - 音声処理手段は、ゲーム映像上にて音声媒介図案を対話相手キャラクタに向けて移動させる処理過程においてゲーム進行状況データを調べ、その中の特定のデータ要素がある特定の状態を表している場合に、音声媒介図案の移動に障害を加えるアニメーションを生成してゲーム映像に付加する
請求項1に記載のビデオゲーム機。 - 音声処理手段は、音声認識手段から入力音声の特徴データを取得してメモリに一時記憶し、当該特徴データに基づいて音声媒介図案の形態を設定する
請求項1に記載のビデオゲーム機。 - 音声処理手段は、ゲームプログラムに基づき、音声媒介図案の移動・変化に対応した効果音データを生成して出力する
請求項1に記載のビデオゲーム機。 - 音声処理手段は、キャラクタ現況データがある特定の状態を表している場合に、対話相手キャラクタに接近した音声媒介図案が対話相手キャラクタに吸収されるアニメーションを生成してゲーム映像に付加する
請求項1に記載のビデオゲーム機。 - 音声処理手段は、キャラクタ現況データがある特定の状態を表している場合に、対話相手キャラクタに接近した音声媒介図案が対話相手キャラクタに弾き返されるアニメーションを生成してゲーム映像に付加する
請求項1に記載のビデオゲーム機。 - 音声処理手段は、音声認識手段から入力音声の特徴データを取得してメモリに一時記憶し、当該特徴データをゲーム進行状況データとして主処理手段に引き渡す
請求項1に記載のビデオゲーム機。 - 音声認識手段は、メインコンピュータを内蔵した本体装置とは別体の音声認識ユニットとして装置構成され、
音声認識ユニットは、本体装置に接続可能であり、
マイクロホンは、音声認識ユニットに接続可能である
請求項1に記載のビデオゲーム機。 - メインコンピュータは、ゲームプログラムに基づき、イニシャル処理の際、当該ゲームプログラムと同じ媒体に記録されている音声辞書データを音声認識ユニットに転送する
請求項10に記載のビデオゲーム機。 - コントローラと、マイクロホンと、音声認識手段と、映像音響出力手段と、メインコンピュータを備えたビデオゲーム機用のゲームプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体であって、
コントローラは、利用者の操作入力を受け付け、
マイクロホンは、利用者の音声入力を受け付け、
音声認識手段は、マイクロホンからの信号を処理して音声認識を可能とし、
映像音響出力手段は、メインコンピュータの制御に従って映像信号と音響信号を映像音響機器に出力し、
ゲームプログラムは、メインコンピュータを主処理手段および音声処理手段として機能させ、
主処理手段は、ゲームアルゴリズムの進行処理を行い、コントローラによる操作入力を反映して変化するゲーム進行状況データを生成してメモリに記憶するとともに、ゲーム進行状況データの変化が反映するゲーム映像とゲーム音響を生成して映像音響出力手段より出力させ、
ゲーム進行状況データは、ゲーム映像上の対話相手キャラクタがゲームフィールドでどの位置に存在しているのかを表すキャラクタ位置データと、対話相手キャラクタがゲーム進行上どのような状況にあるのかを表すキャラクタ現況データとを含み、
音声処理手段は、音声認識手段により所定の音声入力が検出された際、音声認識手段が認識した言語的意味データをメモリに一時記憶し、ゲーム映像上の所定位置にて音声媒介図案を発生させ、当該音声媒介図案をキャラクタ位置データに応じた方向に移動させるとともに、当該音声媒介図案をキャラクタ現況データに基づいた態様で変化させながら対話相手キャラクタに接近させるアニメーションを生成してゲーム映像に付加し、当該音声媒介図案がゲーム映像上の対話相手キャラクタに所定条件まで接近した際、メモリに記憶した言語的意味データをゲーム進行状況データとして主処理手段に引き渡す
プログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16562898A JP3914636B2 (ja) | 1998-06-12 | 1998-06-12 | 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16562898A JP3914636B2 (ja) | 1998-06-12 | 1998-06-12 | 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000000377A JP2000000377A (ja) | 2000-01-07 |
JP3914636B2 true JP3914636B2 (ja) | 2007-05-16 |
Family
ID=15815984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16562898A Expired - Lifetime JP3914636B2 (ja) | 1998-06-12 | 1998-06-12 | 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3914636B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4342557A1 (en) * | 2022-09-23 | 2024-03-27 | Shenzhen Dingchenglitian Technology Co., Ltd. | Artificial intelligent voice interactive handle and voice recognition method thereof |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001314649A (ja) * | 2000-05-11 | 2001-11-13 | Seta Corp | 音声遊技方法、装置および記録媒体 |
JP2004237022A (ja) | 2002-12-11 | 2004-08-26 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP4525712B2 (ja) * | 2002-12-11 | 2010-08-18 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP4722652B2 (ja) * | 2005-09-29 | 2011-07-13 | 株式会社コナミデジタルエンタテインメント | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
WO2016088410A1 (ja) * | 2014-12-02 | 2016-06-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6491682B2 (ja) * | 2017-02-01 | 2019-03-27 | 株式会社カプコン | ゲームプログラムおよびゲームシステム |
JP7339899B2 (ja) * | 2020-02-17 | 2023-09-06 | 本田技研工業株式会社 | 情報処理装置、車両、プログラム、及び情報処理方法 |
JP2023012965A (ja) * | 2021-07-14 | 2023-01-26 | 株式会社コーエーテクモゲームス | 音声ユーザインターフェースプログラム、記録媒体、音声ユーザインターフェース処理方法 |
-
1998
- 1998-06-12 JP JP16562898A patent/JP3914636B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4342557A1 (en) * | 2022-09-23 | 2024-03-27 | Shenzhen Dingchenglitian Technology Co., Ltd. | Artificial intelligent voice interactive handle and voice recognition method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2000000377A (ja) | 2000-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3818428B2 (ja) | 文字通信装置 | |
US8601379B2 (en) | Methods for interactive communications with real time effects and avatar environment interaction | |
JP2010530286A (ja) | ビデオ・ゲームにおける応答カットシーン | |
US6394872B1 (en) | Embodied voice responsive toy | |
JP3306397B2 (ja) | エンタテインメント装置、画像生成方法および記憶媒体 | |
KR100878964B1 (ko) | 게임장치, 게임장치 제어방법 및 프로그램을 기록한 컴퓨터 판독가능한 정보기록매체 | |
JP3495011B2 (ja) | 情報処理方法及びプログラム実行装置、コンピュータに実行させるための情報処理プログラム及びコンピュータに実行させるための情報処理プログラムを記録した記録媒体 | |
JP3914636B2 (ja) | 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 | |
US6960137B2 (en) | Sound control method and device for expressing game presence | |
KR20000028927A (ko) | 휴대용 장난감, 휴대용 정보 단말기, 오락 시스템 및 기록매체 | |
KR20080080649A (ko) | 화상생성장치, 캐릭터외관변경방법 및 프로그램을 기록한 정보기록매체 | |
JP3965111B2 (ja) | 画像生成システム、プログラム及び情報記憶媒体 | |
JP3920904B1 (ja) | 通信ゲームシステム、通信ゲーム制御方法、ならびに、プログラム | |
EP3964271A1 (en) | User input method and apparatus | |
JP2012050791A (ja) | キャラクター表示装置、キャラクター表示方法、ならびに、プログラム | |
JP3814661B2 (ja) | ゲームプログラム及びゲーム装置 | |
JP2002210233A (ja) | エンタテインメント装置、記録媒体及びプログラム | |
EP1125611A2 (en) | Method and apparatus for communicating with a game character | |
JP2000107457A (ja) | ゲーム装置及び情報記憶媒体 | |
JP4071130B2 (ja) | 制御装置、キャラクタ制御方法、ならびに、プログラム | |
JP2002113261A (ja) | ゲームシステム、記憶媒体、エンタテインメント装置 | |
JP2001096078A (ja) | ゲームシステム、記憶媒体および発声玩具 | |
JP2023012965A (ja) | 音声ユーザインターフェースプログラム、記録媒体、音声ユーザインターフェース処理方法 | |
JP2004255214A (ja) | エンタテインメント装置、記録媒体及びプログラム | |
JP2020014533A (ja) | ゲームプログラムならびにゲーム装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20190209 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |