JPH11319314A - 自動伴奏とアニメーションによる歌声付き音楽ゲーム装置の制御方法 - Google Patents

Abstract

(57)【要約】 【課題】一般的なゲーム装置を用いて擬似的な楽器演奏
をよりリアルに体験できるように、自動伴奏とアニメー
ションを用いた歌声付き音楽ゲームを提供する。 【解決手段】デジタル・オーディオ・データの再生と同
期して、予めハ長調で基調されたＭＩＤＩデータによる
再生を開始し、曲の開始からの経過時間を取得する経過
時間取得部（１２）と、入力情報を受信した時間とその
時の経過時間から算出される所定の時間との時間差を算
出する時間差算出部（６）と、曲の進行とともに１曲分
の和音情報を１小節単位で順次画面に表示していき、入
力情報を受信したタイミングで、その時画面に表示され
ている和音情報に従ってＭＩＤＩデータの音階部分をリ
アルタイムに変更し移調する和音情報変換部（９）と、
時間差よって複数のアニメーション・パターンのうちの
１つを選択し、画面上のキャラクタを躍らせるアニメー
ション部（７）とを備えることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、一般的なゲーム
装置を用いて擬似的な楽器演奏をよりリアルに体験でき
るように、デジタル・オーディオ・データの再生に、自
動伴奏とアニメーションを組み合わせた歌声付き音楽ゲ
ーム装置の制御方法に関するものである。

【０００２】

【従来の技術】従来、演奏気分を味わうための音楽ゲー
ムは以下のようなものが存在している。 （イ）ゲーム機本体に接続されたマウス等のデバイスの
座標変位により音程変化を算出するマウス・メロディ演
奏

【０００３】（ロ）ゲーム機本体に接続されたギター・
ピック等のデバイスの振動変位により音量変化を算出す
るカッティング・ストローク演奏

【０００４】（ハ）ＭＩＤＩ機能の付いた電子楽器から
出力されるＭＩＤＩ情報を受信し、ＭＩＤＩデータの音
程と音量情報の変化から対応する画像の変化を楽しむも
の

【０００５】また、自動伴奏機能の付いた電子楽器は存
在するが、歌声と同時に再生するものや、伴奏の変化と
同時に本格的な画像の変化を楽しむことを目的にする電
子楽器は存在していない。また、歌声を再生しながら自
動伴奏の変化と同時に画像変化を楽しむゲームは存在し
ていない。

【０００６】

【発明が解決しようとする課題】これには次のような欠
点があった。 （イ）マウス等のデバイスの座標変位によって音程変化
を制御するのは困難であり、実際の楽器演奏のような変
化に富んだメロディを演奏することは不可能である。ま
た、メロディだけでは楽器としての演奏気分を味わうに
は表現力に欠ける。

【０００７】（ロ）音量変化には対応するが音程変化に
は対応しないので、ストローク演奏はできるがメロディ
を演奏することはできない。また、和音変更の制御はプ
レイヤではなくコンピュータ制御部が自動的に行うた
め、実際の演奏のような和音を変更するという実感がな
い。

【０００８】（ハ）入力されたＭＩＤＩデータの音階部
分または音量部分から直接算出された情報を変化量とし
て、特定の画像を移動させたり変形させたりして、音楽
と画像の同期を楽しむものであるが、最終的な音の出力
は演奏結果がそのまま出力されているにすぎず、演奏者
の演奏力によって大きな差が出るため、万人が手軽に楽
しめるものではない。また、画像変化は幾何学模様等を
変形する程度の抽象的なもので、楽しみ方が明瞭ではな
く面白味に欠ける。 本発明は、これらの欠点を解決するために発明されたも
のである。

【０００９】

【課題を解決するための手段】入力装置（２）を操作し
てＣＤ−ＲＯＭ等の記憶メディア（１）から読み込んだ
ソフトウェアを実行することのできるコンピュータ・シ
ステムの制御部（４）において、デジタル・オーディオ
・データを再生するオーディオ再生部（１１）と、予め
用意されているハ長調で基調されたＭＩＤＩデータを使
って波形データを再生するＭＩＤＩ再生部（１０）とを
備え、前記オーディオ再生部（１１）及び前記ＭＩＤＩ
再生部（１０）による再生を同期して開始する。これと
同時に経過時間取得部（１２）で、曲の開始からの経過
時間の取得を開始し、また表示部（８）では、変更可能
な予め用意されている１曲分の和音情報を、曲の進行と
ともに１小節単位で順次表示していく。そして、前記入
力装置（２）による入力情報を入力受信部（５）が受信
すると、受信した時間と前記経過時間取得部（１２）か
ら算出される所定の時間との時間差が時間差算出部
（６）で算出される。このときの前記入力受信部（５）
が受信したタイミングで、その時画面に表示されている
前記和音情報に従って発音直前のＭＩＤＩデータの音階
部分を、和音情報変換部（９）がリアルタイムに変更し
て移調し、さらにアニメーション部（７）では、前記時
間差の大きさによって予め用意されている複数のアニメ
ーション・パターンのうちのふさわしいもの１つが選択
され、このデータを使って画面上のキャラクタが躍りだ
す。本発明は以上の構成からなる音楽ゲーム装置の制御
方法である。

【００１０】

【発明の実施の形態】デジタル・オーディオ・データの
再生と同期して、予めハ長調で基調されたＭＩＤＩデー
タによる再生を開始し、曲の開始からの経過時間を取得
する経過時間取得部（１２）と、入力情報を受信した時
間とその時の経過時間から算出される所定の時間との、
時間差を算出する時間差算出部（６）と、曲の進行とと
もに１曲分の和音情報を１小節単位で順次画面に表示し
ていき、入力情報を受信したタイミングで、その時画面
に表示されている和音情報に従ってＭＩＤＩデータの音
階部分をリアルタイムに変更し移調する和音情報変換部
（９）と、時間差よって複数のアニメーション・パター
ンのうちのふさわしいもの１つを選択し、画面上のキャ
ラクタを躍らせるアニメーション部（７）とを備えるこ
とを特徴とした音楽ゲーム装置の制御方法であって、歌
声付きのデジタル・オーディオ・データの再生中に、実
際の演奏と同じタイミングで入力装置（２）の左右のボ
タンを押すことによって、自動伴奏とアニメーションの
各部が作動し、実際に演奏に加わっている様な気分を味
わえる音楽ゲームを提供する。

【００１１】

【実施例】以下、本発明の実施例について説明する。概
略流れ図を図５に示す。 （イ）まず、本発明の実施例を記憶したＣＤ−ＲＯＭ等
の記憶メディア（１）をゲーム機本体に挿入し、電源を
入れる。前記記憶メディア（１）はメモリ（３）にロー
ド可能なプログラム及びデータを記憶する媒体で、ゲー
ム進行中に別に記憶されているデジタル・オーディオ・
データをコンピュータ制御部が順次読みながら再生する
形態をとることが可能なメディアである。

【００１２】（ロ）プログラムが自動的に読み込まれた
後、次に入力装置（２）のスタート・ボタン（４８）を
押してゲームをスタートする。

【００１３】（ハ）次に演奏する曲目を決めると、その
曲に対応したＭＩＤＩデータ，その再生時に使用する波
形データ，１曲分の和音情報，アニメーション・パター
ンが前記記憶メディア（１）からメモリ（３）へ転送さ
れる。この時のＭＩＤＩデータは、リード・ギター，セ
カンド・ギター，ファースト・キーボード，セカンド・
キーボード等の複数のパートをチャンネル分けした曲の
１曲分で，ＣMaj（ハ長調）を基調としている自動伴奏
用のデータである。そして、自分が演奏するパートをギ
ターかキーボードのうちから１つを選択して曲をスター
トさせる。

【００１４】（ニ）曲がスタートすると、前記記憶メデ
ィア（１）上のデジタル・オーディオ・データを再生す
るオーディオ再生部（１１）とＭＩＤＩ再生部（１０）
が同期して再生を開始する。この時、曲の開始からの経
過時間を取得する経過時間取得部（１２），１曲分の和
音情報を１小節単位で順次表示していく表示部（８），
及び入力装置（２）からのボタン入力の受信を受けつけ
る入力受信部（５）も同時に動作を開始する。尚、
（ハ）で選択しなかったパートのＭＩＤＩデータは再生
しない。またこの時ＭＩＤＩ再生部（１０）では、表示
部（８）で表示されている和音情報に従い、和音情報変
換部（９）でＭＩＤＩデータの移調をしてから再びＭＩ
ＤＩデータを受け取り、実際の再生がなされる。

【００１５】（ホ）その後、曲の終了チェックを開始
し、曲が終了したら再び（ハ）に戻る。曲が再生中であ
れば、経過時間取得部（１２）で得られる時間から、次
に通過するある小節の１拍目に相当する所定の時間を算
出し、入力受信部（５）からの受信の受付を開始する。

【００１６】（ヘ）入力受信部（５）で受信しない場合
は（ホ）を繰り返すが、曲の進行に対するＭＩＤＩデー
タの移調は行われず、次に使用すべき和音情報も先送り
される。またこの時、表示部（８）での和音情報の表示
も変更されない。さらにこの期間が一定期間より長い
と、見た目の下手なアニメーション・パターンが自動的
に選択されたり、強制的に曲が停止して（ハ）に戻され
たりする。受信した場合は、経過時間取得部（１２）で
得られるそのタイミングでの時間と、前記所定の時間と
の時間差を算出し、所定の範囲内であれば有効，範囲外
の場合は無効であるとする判断を時間差算出部（６）で
行う。

【００１７】（ト）この時有効であれば、ＭＩＤＩデー
タの音階部分をリアルタイムに変更し移調する和音情報
変換部（９）でタイミング良く変換されるため、心地よ
いサウンドが再生される。同時に、画面上のキャラクタ
のダンス・パターンを意味するアニメーション・パター
ンは、見た目の上手なものが選択される。また、入力受
信部（５）で受信した入力信号の種類により、予め用意
されている和音情報のコード・タイプを意図的に変更す
ることで、明るいイメージや暗いイメージに変えること
ができる。さらに和音情報が変更された場合や、前記時
間差が非常に小さい場合は、選択されているアニメーシ
ョン・パターンのデータの一部あるいは、アニメーショ
ン・パターンの選択そのものが変更されるようにする。

【００１８】（チ）またこの時無効であれば、前記和音
情報変換部（９）での変換タイミングがずれるため演奏
ミスを表現することができる。ずれが大きい場合は、さ
らに不安定なコードに変更して音の変化を表現でき、同
時に画像上のキャラクタのアニメーション・パターンは
見た目の下手なものが選択されるので、反応を楽しむこ
とができる。さらに和音情報が変更された場合や、前記
時間差が非常に大きい場合は、選択されているアニメー
ション・パターンのデータの一部あるいは、アニメーシ
ョン・パターンの選択そのものが変更されるようにす
る。

【００１９】（リ）ある小節の２拍目以降も（ヘ）と同
様に入力に対する有効・無効を判別し、無効であればメ
ロディ・パートの発音そのものを一時的に消音させたり
することができる。

【００２０】本発明は以上のような構成で、入力手段の
左右のボタンを音楽に合わせて押すことにより、最終的
な音の出力は実際の演奏のように和音とメロディの切り
換えを表現できる。またキャラクタのダンス・パターン
が変わるので、実際のバンド演奏に加わって演奏してい
る気分を味わえる。以下、コンピュータ制御部（４）内
の各部の詳細を示す。

【００２１】入力受信部（５）では、曲の開始と同時に
入力装置からのボタン入力の受信の受け付けを開始す
る。十字ボタンは以下の通り対応している。 →：右ボタン図４の４４， ↓：下ボタン図４の４５， ↑：上ボタン図４の４６， ←：左ボタン図４の４７

【００２２】時間差算出部（６）では、ある小節の１拍
目に相当する所定の時間を経過時間取得部（１２）から
の情報によって算出し、入力受信部（５）で受信した時
間との時間差が所定の範囲内であれば有効，範囲外の場
合は無効とする判断を行う。この時無効であれば、ＭＩ
ＤＩデータの音階部分をリアルタイムに変更し移調する
和音情報変換部（９）において変換タイミングのずれが
生ずる為、結果的に出力される音として演奏ミスを表現
できたり、また同時に画像上のキャラクタのアニメーシ
ョン・パターンを変化させることにより、見た目の反応
を楽しむことができる。２拍目以降も有効／無効の判別
を行い、メロディ・パートのオン／オフを制御する。

【００２３】アニメーション部（７）では、モーション
・キャプチャー等を利用して得られたアニメーションの
為のデータが複数組み用意されていて、前記時間差算出
部（６）で得られた有効・無効情報によって該当するア
ニメーション・パターンが選択され、その時の表示状態
が画像処理部（１３）へ転送される。キャラクタのアニ
メーションは、画素の変位をリアルタイムに直接計算し
て行うのではなく、予め本物の演奏者やダンサーの動き
をサンプリングしたデータ数列を使用するので、人間的
なリアルな動きを表現できる。一般的な３次元アニメー
ション・データのデータ構造は、各キャラクタ・オブジ
ェクトの大きさを表すスケール値，ＸＹＺの各軸に対す
る回転角，そして原点からの移動距離を表すＸＹＺ成分
の座標値で構成され、これを各フレームごとにフレーム
数分持つことでモーションを表現している。和音情報変
換部（９）で変換された和音情報あるいは、時間差算出
部（６）での時間差の大きさによっては、選択されてい
るアニメーション・パターンのデータの一部あるいは、
アニメーション・パターンの選択そのものが変更される
ので、さらに変化に富んだ表現ができる。

【００２４】表示部（８）では、曲の進行とともに１曲
分の和音情報を１小節単位で順次図３の３６の位置に表
示していく。現在演奏中のＭＩＤＩはここに表示されて
いる和音情報に従って演奏されている。曲再生中は小節
の１拍目で図３の２１の枠内が点滅し、２拍目以降は図
３の２３の枠内が１拍ごとに点滅してリズムを表現す
る。図３の２２は次の小節の１拍目で押すべきボタン
で、図３の２１は現在演奏中の小節の１拍目で押すボタ
ン，図３の２０は１小節前の１拍目で押したボタンで、
これらはコード・チェンジをするときに押すべきボタン
を表示している。また、図３の２４は現在演奏中の小節
の２拍目以降に押すべきボタンで、リード・ギター，フ
ァースト・キーボード等のメロディ・パートの音量のオ
ン／オフを制御するボタンを表示している。和音情報変
換部（９）で予め用意されている和音情報が更新された
場合は、更新後の和音が表示部で処理される。

【００２５】和音情報変換部（９）では、和音情報をル
ートとタイプに分け、ルートはＣが０でＣ＃が１・・・
Ｂが１１というように定義する。また、タイプはメジャ
ーが０でマイナーが１・・・マイナー６が１１というよ
うに定義する。タイプの定義は図２の変換テーブルの縦
方向のオフセット値を意味している。現在の和音情報が
Ａマイナーとすると、まずルート情報はＡ（＝９），タ
イプはマイナー（＝１）と設定される。これから発音す
るＭＩＤＩデ−タの音階情報が６４（ミ）だとすると、
まずこれを１２で割った余りを算出してドからシまでの
値に丸める。図２の変換テーブルの横方向のオフセット
値を意味する様にドは０でド＃は１・・・シは１１と定
義すると、結果は４でミとなり、この値とコードタイプ
の１を使って図２の変換テーブルから値を得る。図２の
変換テーブルの一番左上のすみの値を基準として数えて
右に４つ目（ミ），下に１つ目（マイナー）のデータ，
すなわち−１が選ばれる。そして、この−１と元の音階
情報の６４を足すと６３となるが、これはつまりミがミ
ｂに半音下がったことを意味している。コードのタイプ
への対応は、以上の様に図２の変換テーブルを使用して
メジャー・コードの構成音を目的のコードの構成音に変
更することで対応する。次にコードのルートへの対応
は、コード情報がＡ（＝９）なので前記６３に９を足し
て移調すると最終的に７２に変換されドが再生される。
以上の様に発音直前のＭＩＤＩデータはコードのタイプ
とルートへの２種類の変換が行われ、再びＭＩＤＩ再生
部に戻される。

【００２６】ＭＩＤＩ再生部（１０）では、ハ長調で基
調されたＭＩＤＩデータを順次取り込み、音階部分のみ
を和音情報変換部（９）に転送して現在のコードに移調
した後、再び取り込みＭＩＤＩを再生する。基調とすべ
き調は、図２の変換テーブルの値とコード・ルートへの
対応時に加算する値が相対的にそれぞれ矛盾無く対応し
ていれば、何調でも可能であるが、一般的にＭＩＤＩデ
ータを作成する際にはハ長調が最も考えやすく、また作
りやすいためにこれを基調とする。

【００２７】オーディオ再生部（１１）では、記憶メデ
ィア上のデジタル・オーディオ・データを再生する。

【００２８】経過時間取得部（１２）では、曲の開始か
らの経過時間を取得する。

【００２９】

【発明の効果】歌声を含んだデジタル・オーディオ・デ
ータの再生に、ＭＩＤＩを用いてプレイヤ自身が演奏者
として加わり、和音変化とメロディ変化を実際の演奏時
と同じタイミングで左右のボタンを押すことで実現し、
簡単なボタン操作で最終出力としての音を実際の演奏に
最も近づけることができる。また、演奏の上手い下手に
よって、表示されている３Ｄポリゴン等のキャラクタの
ダンス・パターンを変化させて、ヴィジュアル的にも実
際のバンド演奏に加わって演奏している気分を味わえ
る。

【図面の簡単な説明】

【図１】請求項１に関する本発明の実施例の概略ブロッ
ク図

【図２】本発明によるゲームの進行中に表示される画面
の一例

【図３】本発明の和音情報変換部（９）の変換テーブル
図

【図４】本発明の入力装置（２）の平面図

【図５】本発明の実施例の概略流れ図

【符号の説明】

１ 記憶メディア ２ 入力装置 ３ メモリ ４ コンピュータ制御部 ５ 入力受信部 ６ 時間差算出部 ７ アニメーション部 ８ 表示部 ９ 和音情報変換部 １０ ＭＩＤＩ再生部 １１ オーディオ再生部 １２ 経過時間取得部 １３ 画像処理部 １４ 音声処理部 １５ ＴＶモニタ １６ スピーカ ２０ １小節前の１拍目で押したボタン ２１ 現在演奏中の小節の１拍目で押すボタン ２２ 次の小節の１拍目で押すべきボタン ２３ ２拍目以降に押すボタン ２４ ２拍目以降に押す最初のボタン ２５ ２０と同じ（別パート） ２６ ２１と同じ（別パート） ２７ ２２と同じ（別パート） ２８ ２３と同じ（別パート） ２９ 現在のコード情報でのキーボードの押えかた
表示 ３０ キーボード奏者のキャラクタ ３１ ギター奏者のキャラクタ ３２ 現在のコード情報でのギターの押えかた表示 ３３ キャラクタ ３４ キャラクタ ３５ キャラクタ ３６ 現在のコード情報表示 ３７ 現在のゲーム・スコア ４０ ○ボタン（メロディのオン／オフ用） ４１ ×ボタン（メロディのオン／オフ用） ４２ △ボタン（メロディのオン／オフ用） ４３ □ボタン（メロディのオン／オフ用） ４４ 右ボタン（コード・チェンジ用） ４５ 下ボタン（コード・チェンジ用） ４６ 上ボタン（コード・チェンジ用） ４７ 左ボタン（コード・チェンジ用） ４８ スタート・ボタン

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力装置（２）を操作して記憶メディア
   （１）から読み込んだソフトウェアを実行することので
   きるコンピュータ・システムの制御部（４）において、
   前記記憶メディア（１）上のデジタル・オーディオ・デ
   ータの再生を制御するオーディオ再生部（１１）と、前
   記記憶メディア（１）からメモリ（３）へ波形データを
   転送した後、予め用意されているハ長調で基調されたＭ
   ＩＤＩデータを使って前記波形データを再生するＭＩＤ
   Ｉ再生部（１０）と、前記デジタル・オーディオ・デー
   タ及び前記ＭＩＤＩデータを同期して再生を開始し、曲
   の開始からの経過時間を取得する経過時間取得部（１
   ２）と、前記入力装置（２）による入力情報を受信する
   入力受信部（５）と、受信した時間と前記経過時間取得
   部（１２）から算出される所定の時間との時間差を算出
   する時間差算出部（６）と、変更可能な予め用意されて
   いる１曲分の和音情報を、曲の進行とともに１小節単位
   で順次表示していく表示部（８）と、前記入力受信部
   （５）で受信したタイミングでその時画面に表示されて
   いる前記和音情報に従って、発音直前の前記ＭＩＤＩデ
   ータの音階部分をリアルタイムに変更し移調する和音情
   報変換部（９）と、前記時間差の大きさによって予め用
   意されている複数のアニメーション・パターンのうちの
   ふさわしいもの１つを選択し、画面上のキャラクタを躍
   らせるアニメーション部（７）とを備えることを特徴と
   する、自動伴奏とアニメーションによる歌声付き音楽ゲ
   ーム装置の制御方法。
2. 【請求項２】 前記時間差が所定の範囲より大きい場
   合、予め用意されている前記和音情報の一部を不安定な
   情報に変更する請求項１に記載の制御方法。
3. 【請求項３】 前記入力受信部（５）で受信した入力情
   報の種類により、予め用意されている前記和音情報の一
   部を変更する請求項１に記載の制御方法。
4. 【請求項４】 前記時間差の大きさによって、前記アニ
   メーション部（７）で選択されたアニメーション・パタ
   ーンのデータの一部を変更する請求項１に記載の制御方
   法。
5. 【請求項５】 前記和音情報変換部（９）で変換された
   和音情報によって、前記アニメーション部（７）で選択
   するアニメーション・パターンを変更する請求項１に記
   載の制御方法。
6. 【請求項６】 前記和音情報変換部（９）で変換された
   和音情報によって、前記アニメーション部（７）で選択
   されたアニメーション・パターンのデータの一部を変更
   する請求項１に記載の制御方法。
7. 【請求項７】 前記時間差が所定の範囲より大きい場
   合、前記和音情報変換部（９）で移調後の前記ＭＩＤＩ
   データによる発音を、一時的に消音させる請求項１に記
   載の制御方法。