JP3398646B2 - 新しい入力装置を伴う仮想楽器 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マイクロプロセッ
サ支援型楽器用のアクチュエータに関する。

【０００２】

【従来の技術】マイクロプロセッサがさらに市場に進入
するにつれて、正式に音楽的訓練を受けていない人が訓
練を受けたミュージシャンのように実際に音楽をプロデ
ュースできるようにする製品がより多く出現している。
現在姿を現わしつつあるいくつかの楽器及び装置は、デ
ジタル形態で楽譜を記憶し、楽器の演奏時点でユーザー
が生成する入力信号に応えてそれを再生する。音楽は楽
器内に記憶されることから、ユーザーは、そのメロディ
に求められる音符を記述する能力をもつ必要がなく、単
に演奏中の特定の楽曲又は音楽のリズムを再現する能力
をもつだけでよい。これらの楽器及び装置によって、音
楽は万人にとってはるかに近付き易いものになりつつあ
る。

【０００３】利用可能な楽器としては、演奏者がメロデ
ィの単一のトーンをたどっていくことができるようにす
るような数多くの機械式及び電気式・玩具製品が存在す
る。その最も単純な形が、押したときにメロディを一音
符だけ進ませ機械式ドラム上にコード化されたメロディ
内の次のトーンを鳴らすような１つ又は２〜３個の鍵盤
を有する小さなピアノ型玩具である。この能力の電気バ
ージョンは、演奏者がキーボード上で演奏し記録した一
連の音符が、単一音符メロディのリズムで逐次的に「シ
ングルキープレイ」ボタン（オン／オフスイッチ）を押
すことにより「演奏」再生され得るようにする「シング
ルキー」演奏と呼ばれるモードをもついくつかの電子キ
ーボードに見ることができる。キーが押される毎に、メ
ロディ内の次の音符が演奏される。

【０００４】これと類似の要領で挙動する「シーケンシ
ャルドラム」と呼ばれる楽器があった。このドラムを叩
くと、圧電ピックアップがオン／オフ事象を作り出し、
これをコンピュータが記録し、その後メロディ音符シー
ケンス内の次のトーンを鳴らすトリガーとして使用し
た。

【０００５】同様に、或る楽曲の単一の楽器又はより一
般的に言うと１つのボーカルのパートをロックバンド又
はオーケストラといったような録音中のアンサンブルの
オーディオミックスから削除するようなさまざまなタイ
プの音楽について行なわれる録音も存在する。ビニール
(vinyl)レコード、磁気テープ及びCD上で入手できるこ
のような録音は Music Minus Oneとして知られる商品及
び日本を起源とする非常に人気のあるカラオケの基礎と
なったものである。

【０００６】以前の特許（すなわち米国特許第 5,393,9
26号）で、我々は、バーチャルギターと呼ぶ新しい楽器
について記述した。このバーチャルギターは、MIDIギタ
ー、オーディオシンセサイザ、バーチャルギター用の楽
譜を記憶するメモリー、MIDIギターからの入力信号を受
信し、メモリー内に記憶された楽譜の音符にアクセスす
るのにこれらの入力信号を使用するデジタルプロセッサ
を含んでいる。メロディ音符はデータファイル内に記憶
されていることから、バーチャルギターの演奏者は楽曲
の音符を記述する方法を知らなくてもよい。演奏者は、
活動化信号(activation signal)を生成するべく単にMID
Iギターの弦をかき鳴らすだけで必要なサウンドを生成
つまりより精確に言うとアクセスすることができる。さ
らに、このシステムは、ユーザーが弦をかき鳴らすのを
やめた時でも楽譜内でユーザーが居ると想定された場所
を追跡し続ける。かくして、ユーザーが弦を再びかき鳴
らし始めたとき、システムは、あたかもユーザーが介入
する音符まで演奏してきたかのように、楽曲の中のその
時点に適切な音符を生成する。

【０００７】

【課題を解決するための手段】本発明は、それが新しい
入力装置を使用するように適合されているという点で、
前述の仮想楽器の改良にあたる。

【０００８】一般に、１つの形態においては、本発明
は、１つの楽器を演奏するべくそれと接触させられるよ
うになっているタイプの手持ち式付属備品を含む仮想楽
器である。手持ち式付属備品は、それを保持する人物が
それにもう１つの物体を打撃させたのに応答して１つの
活動化信号を生成するスイッチを内含している。この楽
器は同様に、オーディオシンセサイザ；楽譜のための音
符データ構造シーケンスを記憶するメモリー；タイマ
ー；及び手持ち式付属備品から活動化信号を受信しそこ
から制御信号を生成するデジタルプロセッサをも内含し
ている。記憶された音符シーケンス内の音符データ構造
の各々は、楽譜内の単数又は複数の音符を表わし、この
シーケンス内のその他の音符との関係における１つの識
別された時間的場所を有する。デジタルプロセッサは活
動化信号が生成される時刻を測定するためにタイマーを
使用するようにプログラミングされている。このプロセ
ッサは同様に、音符データ構造シーケンス内の音符デー
タ構造の１つを選択するのにこの測定された時刻を使用
するようにプログラミングされており、さらに、選択さ
れた音符データ構造により表わされた音符をシンセサイ
ザに生成させる制御信号を生成するようにプログラミン
グされている。

【０００９】好ましい実施形態には、以下の特長が含ま
れる。手持ち式付属備品は、スイッチが中に取りつけら
れる密閉されたキャビティを構成するハウジングを含む
ギターピックである。スイッチは、衝撃感応式スイッチ
である。特に、スイッチには、第１の接点、可とう性金
属片そしてこの金属片の自由端上にある第２の接点が含
まれる。第２の接点は、休止状態にあるとき第１の接点
に接触している。スイッチはさらに第２の可とう性金属
片が含まれており、その自由端に前記第１の接点があ
る。このギターピックは同様に、ハウジングから離れる
ように延びる一体式フィンを内含する。

【００１０】同様、好ましい実施形態においては、音符
データ構造シーケンスは、フレームシーケンスの形に区
分され、このフレームは各々、音符データ構造シーケン
スの対応する音符データ構造グループを内含している。
各フレームはさらに、楽譜内のその時間場所を識別する
時間スタンプを内含している。デジタルプロセッサは、
測定された時刻に対応するフレームシーケンス内の１つ
のフレームを識別するようにプログラミングされ、又こ
れは識別されたフレームのための音符データ構造グルー
プの１つのメンバを選択するようにもプログラミングさ
れている。選択されたメンバは、選択された音符データ
構造である。

【００１１】本発明の１つの利点は、仮想音楽システム
のケイパビリティをアクセスする入力装置が、以前の特
許（例えばU.S．5 393 926号）に記述されたより精巧な
入力装置に比べてはるかに単純で、製作コストが低く、
使用が容易で、かつはるかに汎用性の高いものであると
いうことにある。

【００１２】その他の利点及び特長は、好ましい実施形
態についての以下の記述及びクレームから明らかになる
だろう。

【００１３】

【発明の実施の形態】本発明は、本書に参考として内含
されている、1993年６月７日に提出された仮想音楽シス
テムという題の米国特許第 5,393,926号で記述された発
明に対する改良である。先の発明では、メモリー内に記
憶された楽曲の音符をアクセスするべくソフトウェアが
使用する活動化信号を生成するMIDIギターが利用されて
いた。ここで記述する改良は、ソフトウェアによって使
用される活動化信号を生成するための、はるかに単純で
より汎用性の高い入力装置の使用である。MIDIギターを
用いる代りに、アクチュエータとして、はめ込み式活動
化装置を伴うギターピックが使用される。ピック及び活
動化信号の生成のためのその使用方法について記述する
前に、MIDIギターを用いる仮想音楽システムの詳細をま
ず提示する。このような背景に基づいて、次に、修正さ
れた入力装置（すなわちギターピック）及びピックをア
クチュエータとして使用できるようにする修正について
記述する。

【００１４】仮想音楽システム

【００１５】図１を参照すると、仮想音楽システムに
は、その基本的構成要素として、パーソナルコンピュー
タ（PC）２；記述する実施形態においてはMIDIギター４
である仮想楽器；そしてCD−ROM プレーヤー６含まれて
いる。PC２の制御下で、CD−ROM プレーヤー６は、ユー
ザーがギター４上で同様に演奏したいと考えている音楽
として選択した楽曲のインターリーブされたデジタルオ
ーディオ及びビデオ記録を再生する。PC２の中に記憶さ
れているのは、MIDIギター４によって演奏されるべき楽
譜を含む楽曲データファイル（図１には示さず）であ
る。当然のことながら、これは、CD−ROM プレーヤー６
上で演奏されているのと同じ楽曲のギタートラックであ
る。

【００１６】MIDIギター４は、より一般的には一組の弦
９と呼ばれる多要素アクチュエータ及びトレモロバー11
を含む市販の楽器である。Musical Instrument Digital
Interface（楽器用デジタルインターフェイス)(MIDI)
は、音楽データの実時間交換のための演算コードの周知
の規格のことである。これは、RS−232 のスーパーセッ
トであるシリアルプロトコルである。多要素アクチュエ
ータの１つの要素（すなわち１本の弦）が叩かれると、
ギター４は、その事象を記述する１組のデジタル演算コ
ードを生成する。同様にして、トレモロバー11が用いら
れる場合、ギター４はその事象を記述する演算コードを
生成する。ユーザーがギター４を演奏するにつれて、そ
れはこのような「事象」（すなわち弦の活動化及びトレ
モロ事象）のシリアルデータストリームを生成し、これ
らのデータはPC２に送られ、PC２はこれらを用いてPC２
内の記憶された楽曲の関連部分をアクセスしかくしてそ
れを再生する。PC２はギター音楽をCD−ROM プレーヤー
からのオーディオトラックとミキシングし、一組のステ
レオスピーカ８を通して結果として得られる音楽を演奏
すると同時にPC２に接続されるビデオモニター10上に付
随するビデオ画像を表示する。

【００１７】80486プロセッサ、16メガバイトの RAM及
び１ギガバイトのハードディスク記憶装置９を内含する
PC２は、MicrosoftTM社のウィンドウズ３．１オペレー
ティングシステムを使用する。これには、複数のプラグ
インボードが備わっている。組込み型プログラマブルMI
DIシンセサイザ22（例えばプロテウス合成チップ）を有
するオーディオ処理用プラグインボード12（図２にも示
されている）と、デジタル式にプログラミング可能なア
ナログ２チャンネルミキサー24が存在する。同様に、CD
−ROM プレーヤー６から来るビデオ信号からフルスクリ
ーンフルモーションビデオを作り出すためマイクロソフ
ト社の Video For WindowsTM製品の下で実行するビデオ
圧縮解除／加速器ボード14も存在する。又、MIDIケーブ
ル18を通してMIDIギター４が接続されているMIDIインタ
ーフェイスカード16がある。PC２は同様に、クロックレ
ジスタを１ミリセカンド毎に更新する。プログラミング
可能なタイマーチップ20も含んでいる。

【００１８】オーディオ処理用プラグインボード12上
で、プロテウス合成チップ22は、MIDIギター４が演奏さ
れた時点で生成するシリアルデータストリームに応答し
て特定のピッチ及び音色のトーンを合成する。合成チッ
プは、ウィンドウズ３．１の下で実行するアプリケーシ
ョンプログラムからプログラミング可能であるデジタル
指令インターフェイスを含んでいる。デジタル指令イン
ターフェイスは、どの音符をどの速度（即ちボリュー
ム）で演奏すべきか指示するMIDIフォーマット化された
データを受信する。これは、それが受信したデータを解
釈し、適切なボリュームをもつ適切な音符をシンセサイ
ザに生成させる。アナログミキサー24は、CD−ROM プレ
ーヤー６からのオーディオ入力をプロテウスチップが生
成した波形とミキシングして、スピーカー８に送られる
混合ステレオ出力信号を作り出す。ビデオ圧縮解除／加
速器ボード14は、同期化されたオーディオトラックと共
にCD−ROM ディスク上に記憶されたビデオイメージのア
クセス及び表示を取り扱う。MIDIインターフェイスカー
ド16は、MIDIギター４からの信号を処理する。

【００１９】MIDIギターは、演奏された時点で、どの弦
がどれほどの力で打ち鳴らされたかを識別するシリアル
データストリームを生成する。このシリアルデータスト
リームは、データの塊を登録し 80486に対する割込みを
作成するMIDIインターフェイスカード16まで、ケーブル
18上を移動する。80486の割込みサービスの一部として
呼出されるMIDIインターフェイスカードの装置ドライバ
は、MIDIインターフェイスカードのレジスタを読取り、
MIDIデータをアプリケーションプログラムアクセス可能
バッファ内に入れる。

【００２０】MIDIギター４は、以下のタイプのデータを
生成する。一定時間動作無しであった後弦が打ち鳴らさ
れた時点で、MIDIギター４内のプロセッサは、以下の演
算コードを含むMIDIフォーマットのデータのパケットを
生成する：

【００２１】 MIDI_STATUS＝On MIDI_NOTE＝＜note number ＞ MIDI_VELOCITY＝＜amplitude ＞

【００２２】＜note_number ＞は、どの弦が活動化され
るかを識別し、＜amplitude ＞は、弦が打ち鳴らされた
力の尺度である。はじかれた弦の振動が一定の最低限度
まで減衰した時点で、MIDIギター４は、もう１つのMIDI
データパケットを送る：

【００２３】 MIDI_STATUS＝Off MIDI_NOTE＝＜note number＞ MIDI_VELOCITY＝0

【００２４】これは、＜note number ＞によって識別さ
れた弦のために生成されつつあるトーンをオフ切換えす
べきであることを表わしている。

【００２５】振動が一定の最低限まで減衰してしまう前
に弦が打ち鳴らされた場合、MIDIギター４は、２つのパ
ケットを生成する。すなわち第１のパケットはその弦の
ための先行する音符をオフに切換え、第２のパケットは
弦のための新しい音符をオンに切換える。

【００２６】プレーヤー６上で演奏されるCD−ROM ディ
スクは、ギター演奏者が演奏したいと思う音楽のインタ
ーリーブされ同期化されたビデオ及びオーディオファイ
ルを内含する。例えばビデオトラックは、音楽を演奏し
ているバンドを示すことができ、そのときオーディオト
ラックは、ギタートラックが省略された状態でそのバン
ドのためのオーディオミックスを内含することになる。
ウィンドウズ（登録商標）３：１の下で実行する Video
For Windows（登録商標）製品は、ユーザーがＣプログ
ラムからこれらのビデオ−オーディオファイルの実行を
開始及び制御できるようにするAPI（アプリケーション
プログラムインターフェイス）を有する。

【００２７】制御プログラムの主ループのための擬似コ
ードが図５に示されている。主プログラムは、まず第１
にシステム初期化を実行し(ステップ100)、次にMIDIイ
ンターフェイスカードのための新しい割込みサービスル
ーチンを導入するregister_midi_callback（）ルーチン
を呼出す(ステップ102)ことによって、実行を開始す
る。導入された割込みサービスは、バーチャルギターを
実際に「作りだす」。プログラムは次にwhile_loopを入
力し(ステップ104)、そこでまずユーザーに対し、演奏
される楽曲を識別するよう求める(ステップ106)。プロ
グラムはこれを get_song_id_from_user（）ルーチンを
呼出すことによって行なう。ユーザーが、ビデオモニタ
ー10上に表示されている１組の選択肢の中から選択を行
なうべく例えばキーボード26（図１参照）を使用して自
らの選択を行なった後、ユーザーの選択は、主ループが
呼出す次の３つのルーチンの引数として使用されること
になるsong_id変数内に記憶される。楽曲を開始する前
に、プログラムは、選択された楽曲データファイルの中
味を保持するべくデータ構造をセットアップするset_up
_data_structure（）ルーチンを呼出す(ステップ108)。
楽曲データを保持することになる３つのデータ構造はsf
rames〔〕、lnote_array〔〕及びhnotes_array〔〕であ
る。

【００２８】このオペレーション段階中、プログラムは
また、ミリセカンド毎に増分されるクロック変数を維持
するPC上のタイマー資源もセットアップし、ミリセカン
ドクロック変数を０にリセットする。以下の記述でさら
に明らかになるように、クロック変数は、楽曲の中のユ
ーザーの一般的場所を決定し、かくしてユーザーが自ら
の楽器を通して活動化できるようになるのはどの音符で
あるかを識別する。プログラムは、current_frame_idx
変数及びcurrent_lead_note_idx変数も両方共ゼロにセ
ットする。導入された割込みルーチンによって用いられ
るcurrent_frame_idx変数は、現在演奏されている楽曲
のフレームを識別する。current_lead_note_idx変数
は、ユーザーからの次の活動化信号に応答して演奏され
るlead_note array内の特定の音符を識別する。

【００２９】次に、プログラムはもう１つのルーチンす
なわち、ハードディスクからの選択された楽曲につい
て、バーチャルギターデータの記憶されたファイルイメ
ージを検索し、そのデータを３つの以前に言及したアレ
イ内にロードするinitialize_data_structures（）を呼
出す(ステップ110)。データ構造が初期化された後、プ
ログラムは、選択された楽曲をPC２に演奏させるplay_s
ong（）ルーチンを呼出す(ステップ112)。

【００３０】ここで図６を参照すると、play_song（）
は呼出された時点でまず第１にユーザーに対し視覚的に
それが楽曲を開始しようとしているということを命令す
る(オプション)(ステップ130)。次にそれはもう１つの
ルーチン、すなわち、ユーザーが楽曲を開始させる指令
を与えるまで休止を強制するwait_for_user_start_sign
al（）を呼出す(ステップ132)。ユーザーが開始指令を
与えると直ちに、play_songルーチンは、記憶された伴
奏部すなわちCD−ROM プレーヤー６上の同期化されたオ
ーディオ及びビデオトラックの同時再生を開始する(ス
テップ134)。記述された実施形態においては、これは、
CD−ROM 上に記憶されるインターリーブされたオーディ
オ／ビデオ（.avi）ファイルである。当然のことなが
ら、これは、例えば、CD−ROM 周辺機器上のレッドブッ
クオーディオトラック又は.WAVデジタル化オーディオフ
ァイルを含む数多くの異なる形態で入手可能である。

【００３１】ルーチンは「同期的」（すなわち再生が完
了するまで復帰しない）であることから、プログラム
は、これらの再生を開始するべくウィンドウズオペレー
ティングシステムの復帰を待つ。ひとたび再生が開始し
たならば、MIDIギター上でMIDI事象が発生する毎に（す
なわち、弦が打ち鳴らされる毎に）、導入されたMIDI割
込みサービスルーチンはその事象を処理する。一般に、
割込みサービスルーチンは、実際のMIDIギター事象がど
んなバーチャルギター動作をマッピングするかを計算す
る。

【００３２】初期化の間にセットアップされるデータ構
造をより詳細に検討する前に、まず第１に楽曲データフ
ァイル及びそれがいかに構成されているかを記述するこ
とが有用である。楽曲データファイルは、演奏されるべ
き順序でギタートラックの音符を全て含んでいる。仮定
として楽譜の短かいセグメントを示す図３により例示さ
れているように、楽曲データはフレームシーケンス 200
の形に区分されており、この各々のフレームは、標準的
に、その楽曲の複数そして頻繁には数多くの音符又は和
音を含んでいる。各フレームは、開始時刻と終了時刻を
有し、これらがフレームを演奏される音楽の中で位置設
定している。いずれかの与えられたフレームの開始時刻
は、先行するフレームの終了時刻に１ミリセカンドを加
えたものに等しい。図３では、第１のフレームは、時刻
０から時刻6210（すなわち０〜6.21秒）まで広がり、次
のフレームは6211から 13230まで（すなわち 6.211〜1
3.23 秒）広がっている。楽曲データファイルの残りの
部分は、類似の要領で構成されている。

【００３３】本発明に従うと、ギター演奏者は、「現行
の」フレーム内にある音符のみ「演奏」つまり生成する
ことができる。現行のフレームとは、その開始時刻と終
了時刻が現行時刻つまり楽曲が始まってから経過した時
間をひとまとめにするようなフレームである。現行フレ
ームの中では、ギター演奏者は、フレーム内に現われる
順序でのみ、存在する音符をいくつでも演奏することが
できる。現行フレームに付随する時間内にこれらの音符
が演奏つまり生成されるペースは、完全にユーザーによ
って決定される。さらに、ユーザーは、弦の活動化の回
数を制御することによって、生成された和音の音符の数
及び実際に生成されたフレーム内の音符の数も両方共制
御する。かくして、例えば、演奏者は、その数の弦を活
動化することすなわちギターをかき鳴らすことによっ
て、１つのフレーム内の１つの弦の任意の望ましい数の
音符を演奏することができる。一定の与えられたフレー
ムに付随する期間中、演奏者がギターを演奏しない場
合、そのフレーム内の音楽のいずれも生成されない。ユ
ーザーが次に弦を打ち鳴らすつまり活動化させたとき、
それより後のフレームつまり新しい現行フレームの音符
が生成されることになる。

【００３４】生成されるサウンドのピッチは、楽曲デー
タを含むデータ構造内に記憶されている情報によっての
み決定されるということに留意されたい。ギター演奏者
は、弦を活動化させることしか必要でない。弦が振動す
る振動数は、仮想音楽システムによって生成されるサウ
ンドに対し影響を全く及ぼさない。すなわち、演奏者
は、適切なサウンドを作り出すために、演奏中に弦をフ
レットに向けて押し下げる必要がない。

【００３５】楽曲イメージ内のどこにフレーム境界を置
くかについての決定は、望まれるサウンド効果及びユー
ザーに与えられた融通性に左右される幾分主観的な決定
であるということに留意すべきである。これらの決定を
下す方法は間違いなく数多く存在する。例えば、和音変
更を、フレーム境界をどこに置くかの指針として用いる
ことができる。選択の多くが、データベースを構築する
編曲者の裁量にゆだねられなくてはならない。しかしな
がら経験則としては、フレームは、仮想楽器で演奏した
場合に音楽が伴奏部と著しくずれ得るほどに長くてはな
らず、又１つのフレーム内で音楽を修正又はためす真の
融通性を演奏者が全くもたないほどに短かくてもならな
い。

【００３６】記述している実施形態においては、楽曲デ
ータを含むテキストベースのファイルを作り上げるため
にASCI編集プログラムが用いられた。当然のことなが
ら、楽曲データファイルの生成は、その他の数多くの方
法で行なうことができる。例えば、演奏中のMIDI楽器か
ら離れて楽曲情報をまず捕獲することによって楽曲割込
みファイルを生成し、その後そのデータセットにフレー
ムデリミタ（delimiters）を付加することもできる。

【００３７】この概要を念頭に置いて、ここで、図４に
示されている前述したデータ構造の記述に立ち戻ること
にする。楽曲全体に対するフレームシーケンスを表わす
sframe〔〕アレイ 200は、１つが図８に示されているsy
nch_frameデータ構造のアレイである。各々のsynch_fra
meデータ構造は、そのフレームのための開始時刻を識別
するframe_start_time変数、フレームの送信時間を識別
するframe_end_time変数及び、lnote_array〔〕データ
構造 220及びhnotes_array〔〕データ構造 240の両方に
指標を提供する lnote_idx変数を含んでいる。

【００３８】lnote_array〔〕220は、その１つが図９に
示されている lead_noteデータ構造のアレイである。ln
ote_array〔〕220は、演奏順での楽曲全体のための単一
音符（「主旋律音符」と呼ばれる）のシーケンスを表わ
す。各々のlead_noteデータ構造は、単独の主旋律音符
を表わし、２つのエントリすなわち対応する主旋律音符
のピッチを識別するlead_note変数及び楽曲の中でその
音符が演奏されると想定される時刻を精確に位置設定す
る時間変数を含んでいる。単一の音符を或る与えられた
時刻に演奏しなくてはならない場合、その音符が主旋律
音符となる。或る与えられた時刻に１つの和音を演奏し
なければならない場合、主旋律音符はその和音の音符の
１つであり、hnote_array〔〕データ構造 240は和音の
その他の音符を識別する。和音のどの音符が主旋律音符
であるかを選択するために、いかなる規約でも使用する
ことができる。記述した実施形態においては、主旋律音
符は最高のピッチをもつ和音音符である。

【００３９】hnote_array〔〕データ構造 240は、その
１つが図10に示されているharmony_noteデータ構造のア
レイである。lnote_idx変数は、このアレイ内への指標
である。各々harmony_noteデータ構造は、サイズ10のhn
otes〔〕アレイとhnote_cnt変数を内含する。hnote
s〔〕アレイは、対応する主旋律音符と共に演奏される
べきその他の音符、すなわち和音中のその他の音符を特
定する。主旋律音符が１つの和音の一部を成していない
場合、hnotes〔〕アレイは空である（すなわちそのエン
トリは全てNULLにセットされる）。hnote_cnt変数は、
付随するhnotes〔〕アレイ内の非ゼロエントリの数を識
別する。かくして、例えば、単一の音符（すなわち和音
の一部でないもの）を演奏しなくてはならない場合、そ
の主旋律音符のためのharmony_noteデータ構造内のhnot
e_cnt変数はゼロにセットされることになり、付随するh
notes〔〕アレイのエントリは全てNULLにセットされる
ことになる。

【００４０】演奏者がバーチャルギターの弦をひくにつ
れて、次の節で詳述するCallbackルーチンが各事象につ
いて呼出される。和声フレーム、和音指標及び下属和音
指標を計算した後、このコールバックルーチンはPC２内
のプロテウス合成チップに、一定の与えられたフレー
ム、和音、下属和音指標に対応するピッチのトーンを作
り出すよう命令する。このトーンのボリュームは、MIDI
ギターからの音符データと共に受信されたMIDI速度パラ
メータに基づくことになる。

【００４１】仮想楽器のマッピング

【００４２】図７Ａ及び７Ｂは、MIDI割込みコールバッ
クルーチンすなわち Virtual_guitar_callback（）のた
めの擬似コードを示す。呼出しを受けた時点で、このル
ーチンは、現行時間を得るためタイマー資源を用いるge
t_current_time（）ルーチンを呼出す(ステップ200)。
これはまた、MIDIギターによって生成された事象を識別
するため、もう１つのルーチンすなわちget_guitar_str
ing_event(& string_id，& string_velocity)も呼出す
(ステップ202)。こうして、以下の情報が復帰させられ
る：（１）事象のタイプ（すなわち ON，OFF又は TREMO
LO制御）；（２）どの弦上で事象が発生したか（すなわ
ち string_id）；及び（３）ON事象の場合、どの速度で
弦が打ち鳴らされたか（すなわちstring_velocity）。

【００４３】割込みルーチンは、生成された事象に適切
なコードを実行するスイッチ命令を含んでいる(ステッ
プ204)。一般に、割込み処理ルーチンは、プロテウス合
成チップのトーン生成に対しMIDIギター事象をマッピン
グする。一般に、論理は以下のように要約できる：

【００４４】ON弦事象が発生した場合、プログラムは現
行時刻が現行フレームと整合するか否かを検査する(21
0)。これは、ビデオ／オーディオファイルの再生の開始
以降どれほどのミリセカンドクロックの時間が経過した
かを見極めるためタイマー資源を検査することによって
行なわれる。上述の通り、各フレームは、開始時刻及び
終了時刻を有するものとして定義づけされる。再生の開
始以降の経過時間が、特定のフレームについてこれら２
つの時刻の間にある場合、このフレームは、一定の与え
られた時刻について適正なフレームである（すなわちこ
れは現行フレームである）。経過時間が選択されたフレ
ームの時間外にきた場合、これは現行フレームではな
く、いずれかの後のフレームが現行フレームである。

【００４５】現行時刻が現行フレームと整合しない場
合、ルーチンは、フレーム変数すなわち current_frame
_idxを、現行時刻をとりまとめる開始時刻と終了時刻を
もつフレームの番号にセットすることによって、適正な
フレームまで移行する(ステップ212)。current_frame_i
dx変数は、sframe_array内への指標として与えられる。
新しいフレームのいかなる音符もまだ生成されていない
ことから、処理中の事象は新しいフレーム内の最初の主
旋律音符にマッピングする。かくして、ルーチンは、そ
の新しいフレームの最初の主旋律音符を得、対応するサ
ウンドを生成するようシンセサイザチップに命令する
(ステップ214)。この機能を果たすルーチンは、図７Ａ
にあるstart_tone_gen（）であり、その引数には、MIDI
フォーマットのデータからの string_velocity及び str
ing_idならびにlnotes_arrayからの音符の認証（identi
ty）が含まれる。スイッチステートメントを出る前に、
プログラムは、現行主旋律音符を識別するべく current
_lead_note_idxをセットし(ステップ215)、hnotes_play
ed変数をゼロに初期化する(ステップ216)。hnotes_play
ed変数は、１つの和音の１部であるものとして資格付与
するのに充分なほどに最後の事象に時間的に近い時点で
発生する次の事象に応えて、和音のどの音符を生成すべ
きかを決定する。

【００４６】current_frame_idx変数によって識別され
たフレームが現行フレームでない場合(ステップ218)、
割込みルーチンはlast_time変数内に記憶されたような
最後のON事象の時刻と現行時刻の間の計算された差異
が、SIMULTAN_THRESHOLD変数によって特定されるような
予め選択されたしきい値よりも大きいか否かを検査する
（ステップ 220及び222)。記述されている実施形態にお
いては、予め選択された時間は、和音内の事象（すなわ
ちほぼ同時の事象）と異なる和音の一部である事象を区
別するのに充分な長さ（例えば約20ミリセカンド）をも
つものとなるようにセットされる。

【００４７】計算された時間差が予め選択されたしきい
値よりも短かい場合、弦ON事象は、使用された最後の主
旋律音符を含む「かき鳴らし」又は「同時」グループ分
けの一部として処理される。この場合 lnote_idx指標を
用いて割込みルーチンは、harmony_notesアレイ内の適
切なブロックを見い出し、又、hnotes_played変数の値
を用いてそのブロックのh_notesアレイ内に関連するエ
ントリを発見する。これは次に以下の情報をシンセサイ
ザに渡す(ステップ224)。

【００４８】 string_velocity string_id hnotes_array〔current_lead_note_idx〕．hnotes〔hno
tes_played++〕

【００４９】この情報により、シンセサイザはその和声
音符のための適切なサウンドを生成することになる。次
のON事象が最後のON事象の予め選択された時間内に発生
すると仮定してこのON事象がhnote〔〕アレイ内の次の
音符をアクセスするような形で、hnotes_played変数も
増分されるということに留意されたい。

【００５０】計算された時間差が予め選択されたしきい
値よりも長い場合には、弦事象は、先行ON事象を含んだ
和音の一部分として処理されない。むしろ、それは、le
ad_note_array内の次の主旋律音符にマッピングされ
る。割込みルーチンは、lead_noteアレイ内の次の主旋
律音符に current_lead_note_idx指標をセットし、その
トーンの生成を開始する(ステップ226)。これは又、そ
の主旋律音符に付随する和声音符が存在する場合にそれ
をアクセスするための準備として hnotes_played変数を
０にリセットする(ステップ228)。

【００５１】MIDIギター事象がOFF STRING EVENTである
場合、割込みルーチンは、その弦についてのサウンド生
成をオフ切換えするunsound_note（）ルーチンを呼出す
(ステップ230)。これは、OFF事象を報告するMIDI事象パ
ケットからstring_idを獲得し、これをunsound_not
e（）ルーチンに渡す。unsound_noteルーチンは次に、
識別された弦の上でこの OFF事象に先行していたはずの
ON事象についてどのトーンが生成されつつあるかをルッ
クアップし、その弦についてのトーン生成をオフに切換
える。

【００５２】MIDIギター事象が TREMOLO事象である場
合、MIDIギターからのトレモロ情報は、適切なトレモロ
を生成するシンセサイザチップへと直接渡される(ステ
ップ232)。

【００５３】入力装置

【００５４】ここで記述される発明においては、MIDIギ
ターに代って、内部衝撃感応式スイッチを伴うギターピ
ックが用いられる。図11Ａ及びＢに示されているピック
300は、中に衝撃感応式スイッチ 304が取付けられてい
る中空の内部 303の備わったプラスチック製ハウジング
302を含んでいる。密封されたハウジングの外周上に
は、ピック要素として作用する一体化されたプラスチッ
クフィン 306が存在する。ハウジング 302の片端には、
ハウジングから離れるように延びる緩衝部分 307があ
る。

【００５５】衝撃感応式スイッチ 304は、ユーザーがピ
ックを１つの物体と接触させたときに起こるような減速
を検知する任意の装置である。記述された実施形態にお
いては、スイッチ 304には、各々それぞれ対応する可と
う性アーム 314及び 316の端部にある２つの接点 310及
び 312が含まれている。アームは、ばね鋼といったよう
な金属で作られ、休止状態にあるときに接点を閉鎖位置
で偏向させるように配置されている。同様に接点 310及
び 312から反対の側でアーム 314及び 316に対しその自
由端で取りつけられているのは、おもり 315及び 317で
ある。おもり 315及び 317の慣性により、バネアーム 3
14及び 316は、ピックが加速又は減速のいずれかを受け
た時点で（つまりピックを他の物体に対し打ちつけるこ
とによりひき起こされる衝撃）、屈曲する。

【００５６】アーム 314及び 316に接続されているの
は、ハウジングの端部で緩衝部分を通過しかつ例えば、
MIDIギターが接続されていたコンピュータに接続するワ
イヤ 318及び 320である。

【００５７】ピックがギターの弦を横断してかさらに言
うと何らかの物体を横断して一振りされると、ピックの
内側の衝撃感応式スイッチのアーム 314及び 316は、そ
の静的休止位置から離れるように屈曲し、分離した開回
路を作り出し、かくして接点の間の抵抗を著しく増大さ
せることになる。バネアームが接点をその休止位置まで
復帰させた時点で、接点は、それが最終的にその休止位
置に戻るまで互いに対して反復的にはね返し合うことに
なる。MIDIインターフェイス回路は、図12に示されてい
るように、接点が短絡した場合のゼロと接点が開放した
場合のいずれかの正の電圧の間で、スイッチの出力ライ
ンを横断する電圧信号が振動するのを観測する。

【００５８】MIDIインターフェイスボードは、１つの事
象としてスイッチの最初の開放（すなわちゼロから何れ
かの正の電圧までの遷移）を検出し、前述の割込みルー
チンを呼出す割込みを生成する。ソフトウェアは、最初
の割込みの後予め定められた時間にさらなる割込みの生
成を防ぐ又は無効化する入力信号に対するデバウンシン
グ機能を実行するべく、MIDIギター用のものから修正さ
れる。記述された実施形態においては、予め定められた
時間は約 150msecである。この時間中、MIDIインターフ
ェイスボードは、スイッチ接点で発生する振動のためス
イッチにより生成されるその後のあらゆる事象を無視す
る。

【００５９】ギターピックによって生成される唯一の入
力信号は、スイッチの開閉によって生成される単一の信
号であることから、この実施形態では、MIDIインターフ
ェイスボードは、全ての弦が活動化された時点でMIDIギ
ターから通常受信されるようなMIDI信号を生成するよう
に修正される。すなわち、各々のstring_idについて、M
IDIインターフェイスは１つのON事象を生成し、string_
velocityを或る予め定められた値にセットする。システ
ムにはユーザーが同じ力でギターの６本の弦全てをかき
鳴らしたようにみえる。

【００６０】短かい遅延時間の経過後(すなわち150mse
c)、ソフトウェアはユーザーによる次の活動化事象をい
つでも検出できる状態となる。より長い遅延時間の後、
MIDIインターフェイスは、活動化された各々の弦につい
て OFF事象を生成する。

【００６１】その他全ての方法において、システムは、
MIDIギターを使用した前述の実施形態と全く同じように
作動する。換言すると、修正されたギターピックによ
り、ユーザーは、MIDIギターを使用さらには所有する必
要なく前述の仮想楽器のケイパビリティにアクセスでき
るようになる。単なるテニスラケットでも、ギターピッ
クをかき鳴らさせることのできる対象物体として作用す
ることになる。実際には、スイッチ内のアームの偏向が
充分に軽いものである場合には、単に完全に架空のギタ
ー「すなわち「エアー」ギター」を演奏する動作を行な
うことによって、事象の生成を引き起こすことが可能で
ある。すなわち、架空のギターを演奏するふりをするこ
とによってひき起こされるピックの加速及び／又は減速
は、接点を開かせるのに充分なものとなる。

【００６２】上述の衝撃感応式スイッチにおいては、接
点は通常閉じていた。通常開放している接点をもつ衝撃
感応式スイッチが使用されてもよい。さらにその他のタ
イプの衝撃感応式スイッチ（例えば加速度計）が使用さ
れてもよい。さらに、完全に異なるタイプのスイッチも
使用できたということも理解すべきである。例えば、ユ
ーザーがギターピックで１つの物体に接触した場合につ
ねにそれを検出する単純な接点スイッチを使用すること
が可能である。

【００６３】その上、このコンセプトは、ギターピック
のような手持ち式付属備品を使用する及び／又は使用す
るように修正できるその他の楽器にまで容易に拡張でき
る。例えば、それが別の物体を打撃させられた時点でつ
ねにドラム事象を生成する衝撃感応式スイッチをドラム
スティックに付加することによって、このスティックを
修正することができる。又はピアノの場合には、ユーザ
ーは、指の中に単数又は複数のスイッチが取りつけられ
ている手袋をはめることができる。ユーザーが適切な指
の動きを行なうことによってピアノを弾くふりをする毎
に、スイッチはピアノ又はキー事象を生成することにな
り、これは、前述のようにソフトウェアを通して記憶さ
れた音楽の音符にアクセスすることになる。

【００６４】このように本発明の実施例について記述し
てきたが、当業者にとっては、さまざまな変更、修正、
及び改良を容易に加えることができるということは明白
であろう。このような明白な変更、修正及び改良は、以
上で明示的に記述していないが、それでもなお暗に意味
するものと考えられ、本発明の精神及び範囲内に入るも
のである。従って、以上の論述は例示的なものにすぎ
ず、制限的意味をもたない；本発明は以下のクレーム及
びそれと等価のものによってのみ制限され定義づけされ
る。

【図面の簡単な説明】

【図１】 仮想音楽システムのブロックダイヤグラムで
ある。

【図２】 図１に示されたオーディオ処理用プラグイン
ボードのブロックダイヤグラムである。

【図３】 フレームの形への仮説的楽譜の区分を例示し
ている。

【図４】 sframes〔〕、lnote_array〔〕、及びhnotes
_array〔〕データ構造及びそれらの相互関係を示す。

【図５】 主プログラムループの擬似コード表示を示
す。

【図６】 主プログラムループによって呼出されるplay
_song（）ルーチンの擬似コード表示を示す。

【図７】 Ａ及びＢは、システムの初期化中に設定され
るvirtual_guitar_callback（）割込みルーチンの擬似
コード表示を示す。

【図８】 sync_frameデータ構造を示す。

【図９】 lead_noteデータ構造を示す。

【図１０】 harmony_noteデータ構造を示す。

【図１１】 Ａ及びＢは、衝撃感応式スイッチを含むギ
ターピックの２つの図である。

【図１２】 ギターピックの特徴的出力信号を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ミラー，バーノン エー. アメリカ合衆国，ニューハンプシャー 03057，マウント バーノン，ブルック ロード 169 (56)参考文献 特許2983292（ＪＰ，Ｂ２) 特公 昭53−45128（ＪＰ，Ｂ２)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 楽器を演奏するために演奏者が保持する
   手持ち式付属品であって、別の物体に打ち当てることに
   より活性化信号を発生するスイッチを含む手持ち式付属
   品と、 曲の進行を表す時間データに関連付けられた曲の音符デ
   ータを記憶する記憶手段と、 を含み、前記 活性化信号が発生した時刻に応じて、前記記憶手段
   に記憶される曲の音符データを参照して、楽音の生成制
   御を行う制御手段を有することを特徴とする仮想楽器。
2. 【請求項２】 前記手持ち式付属品は、密閉された中空
   式のハウジングを含むギターピックの形状を有し、前記
   スイッチとして衝撃感応式スイッチが該ハウジング内に
   設けられていることを特徴とする請求項１に記載の仮想
   楽器。
3. 【請求項３】 前記衝撃感応式スイッチは、第１の可と
   う性金属片の自由端上にある第１の接点を含み、 前記第１の接点は休止状態にあるとき第２の可とう性金
   属片の自由端上にある第２の接点に接触していることを
   特徴とする請求項２に記載の仮想楽器。
4. 【請求項４】 前記ギターピックは、さらに前記ハウジ
   ングから延びる一体化されたフィンを含むことを特徴と
   する請求項２に記載の仮想楽器。