JP3719124B2 - 演奏指示装置及び方法並びに記憶媒体 - Google Patents

演奏指示装置及び方法並びに記憶媒体 Download PDF

Info

Publication number
JP3719124B2
JP3719124B2 JP2000307623A JP2000307623A JP3719124B2 JP 3719124 B2 JP3719124 B2 JP 3719124B2 JP 2000307623 A JP2000307623 A JP 2000307623A JP 2000307623 A JP2000307623 A JP 2000307623A JP 3719124 B2 JP3719124 B2 JP 3719124B2
Authority
JP
Japan
Prior art keywords
performance
data
musical
image
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000307623A
Other languages
English (en)
Other versions
JP2002116686A (ja
Inventor
強 宮木
聡 関根
高広 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2000307623A priority Critical patent/JP3719124B2/ja
Priority to GB0123542A priority patent/GB2371673B/en
Priority to US09/970,357 priority patent/US6555737B2/en
Publication of JP2002116686A publication Critical patent/JP2002116686A/ja
Application granted granted Critical
Publication of JP3719124B2 publication Critical patent/JP3719124B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/02Boards or like means for providing an indication of notes
    • G09B15/023Electrically operated

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、演奏者が行うべき演奏操作を音楽に従って自動的に指示する演奏指示装置および方法並びに記憶媒体に関し、特に演奏者に対してわかりやすい演奏指示を行うことにより演奏練習を効果的に行わせることを可能とした演奏指示装置及び方法並びに記憶媒体である。
【0002】
【従来の技術】
楽器の演奏方法を習得する場合、単に楽譜等が記された教本を見て実際に楽器を演奏操作しながら段階的に習得していくことは特に初心者にとって非常に難しいことである。そこで、近年においては、パーソナルコンピュータの普及に伴い、コンピュータと電子楽器とを接続して楽器の演奏方法を習得することが可能な教習システムが出現している。こうした教習システムにおいて用いられる従来から知られた演奏指示装置では、例えば、所定のディスプレイ上に演奏曲に関する楽譜(例えば、音符と音楽記号を使った一般的な譜面等)を表示し、該表示した楽譜上における現在の演奏進行位置を演奏曲の再生にあわせて順次指示する。また、所定のディスプレイ上にユーザが演奏方法を習得したい楽器の一部画像を表示し、該表示した楽器上における現在の演奏操作対象となる操作子の位置を演奏曲の再生にあわせて順次指示する。ユーザはこうしたディスプレイ上の指示に従いながら当該電子楽器を操作して演奏を行うことで、該楽器の演奏方法を習得することができる。すなわち、従来の演奏指示装置では予め記憶された演奏曲の進行に従い、該演奏曲において演奏操作対象となる現在の楽譜上の位置や現在演奏操作すべき楽器の操作子等を所定のディスプレイ上に画像表示することによって、ユーザによる当該楽器の演奏操作の支援・補助を視覚的に行うことができるようになっている。
【0003】
【発明が解決しようとする課題】
ところで、従来の演奏指示装置では楽器の一部画像を表示して演奏操作すべき操作子の位置をユーザが視覚的に一見して把握することができるようにしているが、該表示は単に演奏操作すべき操作子の楽器上の位置のみを表示するだけのものであった。そうすると、特にドラムのような身体全体(例えば、両手両足)を使って演奏操作を行う楽器の演奏方法を習得したい場合、単に演奏操作すべき操作子(例えば、ドラムの場合にはクラッシュ・シンバル,ハイハット・シンバル,バス・ドラム,スネア・ドラム、タムタム等)の楽器上の位置のみをディスプレイに表示するだけであると、ユーザは実際に当該操作子をどのようにして演奏操作すればよいか等の演奏方法(例えば、演奏対象とされた操作子を演奏者が左手で演奏すべきか、右手で演奏すべきか等の演奏態様)まではわからないので、例えば演奏対象の操作子を左手で操作して演奏すべきなのに右手で操作して演奏するといったようなユーザが行うべき正しい演奏方法と実際にユーザが行った演奏方法とが異なることが生じ、そうした場合には正しい演奏タイミングとユーザの演奏操作による演奏タイミングとの間に微妙なずれが生じるなどの支障が起こる、という問題点があった。
【0004】
本発明は上述の点に鑑みてなされたもので、演奏曲の再生にあわせて、演奏操作対象の操作子を操作するために用いる体の部位を指示すると共に、該操作子を操作する際の模範的な演奏動作を画像表示することによって、ユーザが各操作子をどのように操作して演奏を行えばよいかを視覚的に容易に理解できるようにした演奏指示装置及び方法並びに記憶媒体を提供しようとするものである。
【0005】
【課題を解決するための手段】
本発明に係る演奏指示装置は、楽曲を表す演奏データと、該楽曲の楽譜を表す楽譜データであって、演奏操作すべき楽器の種類を表すデータ及び該楽器の演奏で使うべき身体部位を表す身体部位データを含むものと、該楽曲を所定の楽器を用いて演奏している演奏動作を表す動作データであって、奏者画像のどの部分がどの身体部位に相当するかを表す情報を含むものとを供給する供給手段と、演奏データを再生する再生手段と、再生した演奏データに従う前記動作データに基づき、演奏練習する楽器を表示する楽器画像とその楽器を演奏する演奏者を表示した奏者画像とを含む演奏画像を表示し、再生した演奏データに従う前記楽譜データに基づき楽譜画像を表示し、かつ該楽譜データに含まれる前記演奏操作すべき楽器の種類を表すデータ及び該楽器の演奏で使うべき身体部位を表す身体部位データに基づき該楽器の演奏で使うべき身体部位を表す画像を表示する表示手段と、前記演奏画像上において、前記奏者画像のどの部分がどの身体部位に相当するかを表す情報に基づき、演奏データの再生進行にあわせて、演奏で使うべき身体部位の前記奏者画像における表示態様を該身体部位毎に設定された異なる表示態様に変更することにより該演奏で使うべき身体部位を指示し、かつ、該演奏で使うべき身体部位によって演奏されるべき楽器の前記楽器画像における表示態様を、該演奏で使うべき身体部位に対して設定された表示態様に共通する表示態様に変更することにより演奏操作すべき楽器を指示する指示手段と、演奏データの再生進行と、演奏画像における演奏操作すべき楽器の指示の表示進行と、楽譜画像における楽譜の表示進行とを同期して行うために、演奏データ及び楽譜データ及び動作データの各データに含まれる夫々の処理タイミング情報を共通の処理クロックに従うタイミング情報に換算し、該処理クロックに従い各々のデータを読み出し制御する制御手段とを具える。
【0006】
本発明によると、演奏の進行にあわせて、該演奏時に演奏操作すべき楽器と該楽器を演奏する身体部位とを、該身体部位毎に異なる表示態様で表示することから、ユーザは該表示に従って楽器を操作することによって楽器の演奏方法を習得することができる。表示手段には、再生した演奏データに基づく楽曲を所定の楽器を用いて演奏している演奏動作を表す演奏画像を表示する。該演奏画像は、演奏練習する楽器を表示する楽器画像とその楽器を演奏する演奏者を表示した奏者画像とを含み、演奏データに従う楽曲を演奏する場合に用いるべき楽器は、該楽器を演奏するために用いる身体の部分(すなわち、身体部位)毎に設定された表示態様で表示される。すなわち、楽曲の進行に従って、演奏画像上の楽器を演奏で使用する身体部位毎に設定された表示態様で表示することによって、ユーザはどの楽器をどのような方法で(つまり、どこの身体部位を用いて)演奏すればよいかを視覚的に理解することができる。このように、単に楽器と身体部位とを所定の表示態様で表示するだけでなく、再生した演奏データに基づく楽曲を所定の楽器を用いて演奏している演奏動作を表示する。すなわち、演奏曲の再生にあわせて、演奏操作対象の操作子を操作するために用いる体の部位を指示すると共に、該操作子を操作する際の模範的な演奏動作を画像表示することによって、ユーザは各操作子をどのように操作して演奏を行えばよいかを視覚的に容易に理解できるようになる。
【0007】
また、本発明に係る演奏指示装置によれば、演奏データ、楽譜データ、動作データの各データに含まれる夫々の処理タイミング情報がそれぞれ異なるデータ形式であっても、共通の処理クロックに従う簡便な(共通化された)読み出し制御によって、演奏曲の再生、演奏操作対象の操作子を操作するために用いる体の部位の指示、該操作子を操作する際の模範的な演奏動作の表示を全て同期した状態で容易に表示制御することができるようになる。
【0008】
本発明は、装置の発明として構成し、実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはDSP等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。
【0009】
【発明の実施の形態】
以下、この発明の実施の形態を添付図面に従って詳細に説明する。
【0010】
図1は、この発明に係る演奏指示装置の全体構成の一実施例を示したハード構成ブロック図である。ここに示された演奏指示装置のハードウエア構成例はコンピュータを用いて構成されており、そこにおいて、演奏指示はコンピュータがこの発明に係る演奏指示処理を実現する所定のプログラム(ソフトウエア)を実行することにより実施される。勿論、この演奏指示処理はコンピュータソフトウエアの形態に限らず、DSP(ディジタル・シグナル・プロセッサ)によって処理されるマイクロプログラムの形態でも実施可能であり、また、この種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用ハードウエア装置の形態で実施してもよい。また、本発明に係る演奏指示装置はパーソナルコンピュータに限らず、電子楽器やカラオケ装置又は電子ゲーム装置、あるいはその他のマルチメディア機器等、任意の製品応用形態をとっているものであってもよい。
【0011】
本実施例に示す演奏指示装置PCは、マイクロプロセッサユニット(CPU)1、リードオンリメモリ(ROM)2、ランダムアクセスメモリ(RAM)3からなるマイクロコンピュータによって制御されるようになっている。CPU1は、この演奏指示装置PC全体の動作を制御するものである。このCPU1に対して、データ及びアドレスバス1Dを介してリードオンリメモリ(ROM)2、ランダムアクセスメモリ(RAM)3、MIDIインタフェース(I/F)4、検出回路5、表示回路6、音源回路7、通信インタフェース(I/F)8、外部記憶装置9がそれぞれ接続されている。更に、CPU1には、タイマ割込み処理(つまり、インタラプト処理)における割込み時間や各種時間を計時するタイマ1Aが接続されている。すなわち、タイマ1Aは時間間隔を計数したり、ユーザが楽器の演奏練習を行うために用いる楽曲(以下、単に練習曲と呼ぶ)を自動演奏する際の演奏テンポを設定したりするためのテンポクロックパルスを発生する。このテンポクロックパルスの周波数は、操作子5Aの中の例えばテンポ設定スイッチ等によって調整される。このようなタイマ1AからのテンポクロックパルスはCPU1に対して処理タイミング命令として与えられたり、あるいはCPU1に対してインタラプト命令として与えられる。CPU1は、これらの命令に従って各種処理を実行する。各種処理には、例えば練習曲を自動的に演奏する自動演奏や各種設定処理などを行う「メイン処理」や、演奏練習の際の演奏指示画面を表示する処理などを行う「割込処理」等がある。これらのCPU1で実行する「メイン処理」や「割込処理」等のプログラムは、通信ネットワーク8Aから通信インタフェース8を介してハードディスクなどの外部記憶装置9に記憶される。そして、実行時に外部記憶装置9からRAM3にロードされる。あるいは、ROM2に予めプログラムが記憶されていてもよい。
【0012】
ROM2は、CPU1により実行あるいは参照される各種プログラムや各種データ等を格納するものである。RAM3は、練習曲を自動演奏する際に用いられる自動演奏情報(例えば、練習曲を自動演奏するための演奏データなど)や画面表示の際に用いる各種表示情報(例えば、演奏データの内容に従う楽譜を表示するための楽譜データ、練習曲を所定の演奏者が演奏している様子(模範演奏動作)を表示するための動作データなど)、CPU1が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを記憶するメモリ等として使用される。RAM3の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。
【0013】
MIDIインタフェース(I/F)4は、電子楽器4A等からMIDI規格の楽音情報(MIDIデータ)を当該演奏指示装置PCへ入力したり、あるいは当該演奏指示装置PCからMIDI規格の楽音情報(MIDIデータ)を電子楽器4A等へ出力するためのインタフェースである。電子楽器4Aはユーザによる操作に応じてMIDIデータを発生する機器であればよく、鍵盤型、ギター型、管楽器型、打楽器型、ミブリ型等どのようなタイプの操作子を具えた(若しくは、操作形態からなる)機器であってもよい。この実施例では、当該演奏指示装置PCにMIDIインタフェース4を介してユーザが演奏練習したい電子楽器4Aを接続することにより、ユーザは該電子楽器4Aを用いて演奏練習を行うことができる。
なお、MIDIインタフェース(I/F)4は専用のMIDIインタフェースを用いるものに限らず、RS232−C、USB(ユニバーサル・シリアル・バス)、IEEE1394(アイトリプルイー1394)等の汎用のインタフェースを用いて該MIDIインタフェース(I/F)4を構成するようにしてもよい。この場合、MIDIイベントデータ以外のデータをも同時に送受信するようにしてもよい。MIDIインタフェース4として上記したような汎用のインタフェースを用いる場合には、電子楽器4AはMIDIイベントデータ以外のデータも送受信できるようにしてよい。勿論、楽音情報に関するデータフォーマットはMIDI形式のデータに限らず、他の形式であってもよく、その場合はMIDIインタフェース4と電子楽器4Aはそれにあった構成とする。
【0014】
操作子5Aは演奏練習を行う際に表示装置6A上に表示する各種表示内容を指定する操作子や、練習曲を自動演奏する際における各種演奏条件を入力する操作子など、各種の操作子を含んで構成される。例えば、演奏練習を行う際に使用する練習曲を選択する練習曲選択スイッチ、演奏練習の開始を指示する練習開始スイッチなどが含まれる。勿論、この他にも音高、音色、効果等を選択・設定・制御するために用いる数値データ入力用のテンキーや文字データ入力用のキーボード、あるいはマウスなどの各種操作子を含んでいてよい。検出回路5は、操作子5Aの各操作子の操作状態を検出し、その操作状態に応じたスイッチ情報をデータ及びアドレスバス1Dを介してCPU1に出力する。表示回路6は選択された練習曲の楽譜を表す楽譜画像や該練習曲を模範演奏者が演奏している様子(つまり、模範演奏動作)をコンピュータ・グラフィックス(CG)等で表す動作画像等の各種情報を、例えば液晶表示パネル(LCD)やCRT等から構成されるディスプレイなどの表示装置6Aに表示するのは勿論のこと、自動演奏に関する音高、音色、効果等の設定状態等の各種情報あるいはCPU1の制御状態などを表示装置6Aに表示する。
【0015】
音源回路7は、複数のチャンネルで楽音信号の同時発生が可能であり、データ及びアドレスバス1Dを経由して与えられた練習曲に関する演奏データ等の情報を入力し、この情報に基づいて楽音信号を発生する。音源回路7から発生された楽音信号は、サウンドシステム7Aを介して発音される。この音源回路7とサウンドシステム7Aの構成には、従来のいかなる構成を用いてもよい。
【0016】
通信インタフェース(I/F)8は、例えばLANやインターネット、電話回線等の有線あるいは無線の通信ネットワーク8Aに接続されており、該通信ネットワーク8Aを介して、サーバコンピュータ(図示せず)等と接続され、当該サーバコンピュータから制御プログラムや各種データを演奏指示装置PC本体側に取り込むためのインタフェースである。すなわち、ROM2や外部記憶装置9(ハードディスク)等に制御プログラムや各種データが記憶されていない場合に、サーバコンピュータから制御プログラムや各種データをダウンロードするために用いられる。クライアントとなる演奏指示装置PCは、通信インターフェース8及び通信ネットワーク8Aを介してサーバコンピュータへと制御プログラムや各種データのダウンロードを要求するコマンドを送信する。サーバコンピュータは、このコマンドを受け、要求された制御プログラムやデータを、通信ネットワーク8Aを介して本演奏指示装置PCへと配信し、本演奏指示装置PCが通信インタフェース8を介して、これら制御プログラムや各種データを受信して外部記憶装置9(ハードディスク)等に蓄積することにより、ダウンロードが完了する。
【0017】
外部記憶装置9は、演奏対象となる練習曲に関する演奏データ、演奏データの内容に従う楽譜を表示装置6Aに表示するための楽譜データ、演奏データの内容に従う模範演奏動作を表示装置6Aに表示するための動作データ、あるいはCPU1が実行する各種プログラムの制御に関するデータ等を記憶するものである。前記ROM2に制御プログラムが記憶されていない場合、この外部記憶装置9(例えばハードディスク)に制御プログラムを記憶させておき、それを前記RAM3に読み込むことにより、ROM2に制御プログラムを記憶している場合と同様の動作をCPU1にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、外部記憶装置9はハードディスク(HD)に限られず、フロッピィーディスク(FD)、コンパクトディスク(CD−ROM・CD−RAM)、光磁気ディスク(MO)、あるいはDVD(Digital Versatile Diskの略)等の着脱自在な様々な形態の外部記録媒体を利用する記憶装置であってもよい。あるいは、半導体メモリなどであってもよい。
【0018】
図1に示した演奏指示装置PCでは、ユーザの選択に従って外部記憶装置9等から演奏データを読み出し、その内容を表示装置6Aに表示する。また、読み出した演奏データに対応付けられた楽譜データや動作データを外部記憶装置9等から読み出し、それらの内容に従って表示装置6A上に楽譜画像や動作画像を表示する(詳しくは、後述する)。このように、当該演奏指示装置PCではROM2やRAM3あるいは外部記憶装置9に演奏データとそれに対応する楽譜データ及び動作データを多数記憶しておき、ユーザによって選択された演奏データと共に該演奏データに対応する楽譜データ及び動作データを適宜読み出して、それらの内容を表示装置6Aに楽譜画像あるいは動作画像として表示することで、ユーザが当該楽譜画像あるいは動作画像を見ながら演奏練習を行うことができるようになっている。
【0019】
そこで、本発明に係る演奏指示装置PCで用いる演奏データ、楽譜データ、動作データの各々について、そのデータ構成を簡単に説明する。まず、演奏データのデータ構成について図2を用いて説明する。図2は、演奏データの構成の一実施例を示す概念図である。
演奏データは、演奏練習の対象として選択された楽曲(すなわち、練習曲)の模範演奏を再生するためのデータであり、従来から知られているSMF(Standard Midi Fileの略)等の所定のファイル形式で記録された複数パート構成のデータである。図2から理解できるように、演奏データは大きく分けて演奏設定情報と演奏情報とから構成される。演奏設定情報は自動演奏の際に用いる各種の再生態様を設定するための情報であり、例えば該演奏データを再生する際のテンポを規定するテンポデータ、音色を規定する音色データ、音量を規定する音量データなどが含まれる。演奏情報は自動演奏される楽曲の再生内容を表わす情報であり、各パート(例えば、メロディパート、伴奏パート、リズムパート)毎の、演奏タイミングデータと演奏イベントデータの組みを演奏進行順に記憶する。
なお、この実施例では、メロディパートは曲のメロディを、伴奏パートは曲のリズム以外のベースやコード演奏などの伴奏を、リズムパートはリズム伴奏をそれぞれ記憶するパートであるものとする。
【0020】
各パート毎の演奏タイミングデータは発音や消音などの楽曲を再生するための演奏イベントデータを処理すべき時間(すなわち、タイミング)を表わすデータであり、MIDIクロックに準じたクロック数で表すことのできるデータである。該演奏タイミングデータは、演奏イベントの発生タイミングを曲の先頭や各小節の先頭からの絶対時間(つまり、絶対的なクロック数)、あるいは1つ前の演奏イベントからの相対時間(つまり、相対的なクロック数)で示したデータである。この演奏データのフォーマットは、演奏イベントの発生時刻を曲や小節内における絶対時間で表した『イベント+絶対時間』形式のもの、演奏イベントの発生時刻を1つ前のイベントからの時間で表した『イベント+相対時間』形式のものに限らず、他にも音符の音高と符長あるいは休符と休符長で演奏データを表した『音高(休符)+符長』形式のもの、演奏の最小分解能毎にメモリの領域を確保し、演奏イベントの発生する時刻に対応するメモリ領域にイベントを記憶した『ベタ方式』形式のものなど、どのような形式のものでもよい。また、複数チャンネル分の演奏データが存在する場合は、複数のチャンネルのデータが混在した形式であってもよい。さらに、演奏データの処理方法は、設定されたテンポに応じて処理周期を変更する方法、処理周期は一定で自動演奏中のタイミングデータの値を設定されたテンポに応じて変更する方法、処理周期は一定で1回の処理において演奏データ中のタイミングデータの計数の仕方をテンポに応じて変更する方法等、どのようなものであってもよい。また、メモリ上において、時系列の演奏データが連続する領域に記憶されていてもよいし、飛び飛びの領域に散在して記憶されている演奏データを、連続するデータとして別途管理するようにしてもよい。すなわち、時系列的に連続する演奏データとして管理することができればよく、メモリ上で連続して記憶されているか否かは問題ではない。
各パート毎の演奏イベントデータは、発音や消音などの楽曲を再生するための演奏イベントの内容を表わすデータである。演奏イベントの内容にはキーオン、キーオフ、テンポ変更、音色変更などがあり、これらの演奏イベントを基にして自動演奏が行われる。
【0021】
次に、当該演奏指示装置PCで用いる楽譜データのデータ構成について図3を用いて説明する。図3は、楽譜データの構成の一実施例を説明するための概念図である。楽譜データは演奏データの内容に従う楽譜を表示装置6A上に表示するためのデータであり、演奏データに対応付けて記憶されている。この実施例では、リズムパートに相当する情報のみを楽譜データとして記憶しているものを示す。すなわち、リズムパート(例えば、ドラムパート)を演奏練習の対象パート(以下、練習パートと呼ぶ)として、ユーザが該リズムパートに用いる楽器(例えば、ドラム)を演奏練習する場合について説明する。
図3から理解できるように、楽譜データは楽譜設定情報と楽譜情報とにより構成される。楽譜設定情報は、図6に示すような楽譜を表示するための基本情報(例えば、表示する楽譜の拍子や調などの情報)が記憶されている。楽譜情報は自動演奏される楽曲の各音符を表示するための情報であり、楽譜タイミングデータと楽譜イベントデータとの組みを演奏進行順(すなわち、表示装置6A上に表示する楽譜の表示順)に記憶している。楽譜タイミングデータは、表示装置6A上における楽譜イベントの表示位置を表わすデータである。該楽譜タイミングデータは、上述した演奏タイミングデータと同様のMIDIクロックに準じたクロック数で表わされるデータである。楽譜イベントデータは表示する楽譜イベントの内容を表わすデータであり、音符データや演奏部位データなどから構成される。音符データは、該曲を構成する音符の種類(例えば、2分休符、4分音符、8分3連符など)、楽器の種類(例えば、ドラムの場合にはハイハット・シンバル、スネア・ドラム、バス・ドラム、タムタムなどのドラムセットを構成する各楽器毎の種類)、奏法の種類(例えば、ドラムの場合には、スネアロール、オープンハイハット、クローズドハイハット、リムショット、シンバルチョークなどの奏法)などを記述したデータである。この音符データの内容を参照して、表示装置6A上に個々の音符、楽器種類、奏法種類を表示する。演奏部位データは所定の楽器を演奏する際に用いる身体の部分(以下、これを演奏部位と呼ぶ)を表わすデータであり、各音符イベントに対して付与されているデータである。例えば、ドラムを演奏する場合、演奏者は右手・左手・右足・左足若しくは頭等を使って演奏を行うことができることから、演奏部位データには各音符イベントに対応するように右手・左手・右足・左足若しくは頭等といった内容が記述される。このように、演奏すべき音符と該音符を演奏する際に用いるべき演奏部位とを対応して記憶することによって、演奏指示の際にユーザに対して音符毎に演奏指示を行うことができるようになる。
【0022】
次に、当該演奏指示装置PCで用いる動作データについて図4を用いて簡単に説明する。図4は、動作データの構成の一実施例を説明するための概念図である。
動作データは、演奏データに沿う楽曲の練習パートを演奏している所定の演奏者の動作を、図5に示すような動作画像として表示装置6A上に表示するためのデータである。この実施例では、コンピュータグラフィックス(CG)等を利用して演奏者の動作を楽曲の進行(すなわち、演奏データの再生)に対応させて表示する。つまり、動作データも楽譜データと同様に演奏データに対応付けて記憶される。
図4から理解できるように、動作データは動作設定情報と動作情報とから構成されるデータである。動作設定情報は、動作画像を表示するための各種の設定情報が記憶されている。具体的には、動作画像の初期状態を表わす初期画像(例えば、練習パートの演奏に用いられる楽器を表す楽器画像や該楽器を用いて演奏している所定の演奏者の動作を表す奏者画像の初期表示状態)、奏者画像のどの部分がどの演奏部位に相当するかを表す情報、などが含まれている。動作情報は奏者画像における演奏者の動きを表すための情報であり、所定時間間隔毎(例えば、1/60秒毎)に奏者画像として表示すべき動作の状態を表わす情報(すなわち、動作イベントデータ)を、時間進行順(つまり、演奏進行順)に記憶している。すなわち、この動作イベントデータを所定時間間隔で順次読み出すことにより、演奏者が楽器を演奏している動画が表示装置6A上に奏者画像として表示されることになる。動作イベントデータは、表示する動作画像の状態を指示するためのデータである。すなわち、初期画像から演奏部位の表示位置の変更内容(すなわち、演奏部位を動作する際の変更値)を示すフレームデータ等が該データに該当し、奏者画像として表示した初期表示状態から、右肘がどれだけ曲がっているとか、左足がどれだけ曲がっているとか、首が前後左右にどれだけ動いているとか、などのデータが記憶されている。また、奏者画像だけでなく楽器画像についても同様に動作情報が記憶される。
【0023】
本発明に係る演奏指示装置PCでは演奏データ,楽譜データ,動作データを基にして、練習曲の楽譜や練習パートの楽器を演奏する際に用いる演奏部位を示す楽譜画面と共に、練習パートの楽器を演奏している動作画面(つまり、練習パートの楽器の画像(楽器画像)と該楽器を演奏している演奏者の画像(奏者画像)とを示す画面)を表示装置6A上に表示することで、ユーザに対する演奏指示を行うようになっている。そこで、動作画面と楽譜画面に表示する表示内容ついて、それぞれ図5と図6を用いて具体的に説明する。
図5は、表示装置6A上に表示する動作画面の一実施例を示す概念図である。該動作画面は、動作データに基づき動作画像を表示するものである。すなわち、動作データ中から所定時間間隔で読み出される動作イベントデータに基づいて、楽器画像GHと奏者画像SHとを表示する。楽器画像GHは、練習パートの楽器を適宜の位置に配置した状態で表示する。この実施例ではリズムパートを練習パートとし、リズム楽器としてドラムを使用する場合に表示する楽器画像GHを例示した。すなわち、楽器画像GHにおいて、「CRASH」はクラッシュ・シンバルを、「BD」はバス・ドラムを、「HH」はハイハット・シンバルを、「SD」はスネア・ドラムを表わす。一方、奏者画像SHは楽器画像GHに表示された楽器を演奏する演奏者の動作を表示する。すなわち、練習曲の進行に従い楽器を演奏する動作を行っているように、奏者画像SHに演奏者が表示される。この際に、模範演奏(すなわち、練習曲)の進行に従って、次に演奏すべき楽器と演奏で使う演奏部位の表示態様が通常表示状態の表示態様とは異なる態様に変更されて表示される。表示態様を変更する際には、演奏部位毎に設定されている表示態様(例えば、色)に変更される。この実施例では、演奏者に対して右手でハイハット・シンバルHHを、左手でスネア・ドラムSDを演奏するように指示した際の表示態様を示す。すなわち、次に演奏すべき楽器がハイハット・シンバルHHとスネア・ドラムSDであり、演奏で使う部位が右手と左手である場合には、右手に対して予め設定されている表示態様で右手と共にハイハット・シンバルHHを表示する(例えば赤色で表示する。ただし、図5に示す例では該表示態様として縦線を表示)。また、左手に対して予め設定されている表示態様で左手と共にスネア・ドラムSDを表示する(例えば青色で表示する。ただし、図5に示す例では該表示態様として横線を表示)。そして、当該演奏時に用いる楽器以外の他の楽器(この例ではクラッシュ・シンバルCRASHとバス・ドラムBD)及び当該演奏時に用いる楽器を演奏するために用いる演奏部位以外の他の演奏部位(この例では頭、右足、左足)の表示態様は、変更されないで通常表示状態が続けられる。このように、練習曲の進行に応じて演奏に必要とされる楽器と該楽器を演奏するために使用する演奏部位とをあわせて表示することによって、ユーザに対する演奏指示を行う。
なお、この実施例では動作画面として楽器画像GHと奏者画像SHとを頭上から表示した例を示したがこれに限らず、前記各画像は楽器及び演奏者をあらゆる方向のあらゆる角度で捉えたものを表示するようにしてよい。また、図示のような平面的な2次元表示に限らず、立体的な3次元表示であってもよいことは言うまでもない。なお、図示の都合上、図5においては動作画面の楽器画像及び奏者画像を簡略化して表示したがこれに限らない。これらの画像に表示する楽器や演奏者は、本物の楽器や実在する模範演奏者本人(例えば、有名なドラマーなど)を表示してもよいし、デフォルメした楽器や子供に人気のあるキャラクターを表示してもよい。
【0024】
図6は、表示装置6A上に表示する楽譜画面の一実施例を示す概念図である。楽譜画面は表示装置6A上に動作画面と並べて表示され、楽譜画像と演奏部位画像とを表示する。楽譜画像は、楽譜データに基づき楽譜を表示するものである。すなわち、楽譜データ中からMIDIクロックに基づいて読み出された楽譜イベントデータに基づいて、表示装置6A上に楽譜が表示される。楽譜画像に表示する楽譜は、所定長毎に表示を切り換えられる。例えば、2小節毎の楽譜を、模範演奏の進行に従って、順次、切り換えながら表示する。すなわち、楽譜画像では一度に2小節分の楽譜のみが表示され、該表示した2小節分の演奏が進行すると表示されている楽譜が消去され、かわりに次の2小節分の楽譜が表示される。このように、楽譜画像では模範演奏の進行に従う楽譜を練習曲の最初から最後まで所定長毎に表示する。この楽譜画面では、上記楽譜画像と共に演奏部位画像を表示する。この演奏部位画像では、楽譜データ中の楽譜イベントデータの演奏部位データを音符イベントに対応させ、練習パートの楽器を演奏する際に用いる演奏部位を表示する。つまり、表示した楽譜上の各音符に対応するようにして演奏部位を表示する。演奏部位の表示は、練習パートの楽器についてのみ行う。この実施例では所定の打楽器であって、手で演奏する楽器(例えば、ドラムの場合にはクラッシュ・シンバルやハイハット・シンバル,スネア・ドラムなど)の演奏指示を行う場合の例を示している。足で演奏する楽器(例えば、ドラムの場合にはバス・ドラム)については、特に演奏指示を行う必要はないことから、足に関する演奏部位の表示は一般的に省略する。こうすると、必要な演奏部位のみを表示することから演奏部位の表示が見やすくなり、ユーザにとって演奏部位の指示がわかりやすい表示となる。勿論、足を用いて行う演奏に関し、足に関する演奏部位を表示するようにしてもよい。練習曲の演奏が始まると、該練習曲の進行に従う演奏指示位置が所定の態様で表示される。この実施例では、長方形状に図示した演奏指示部Pによって現在の演奏指示位置を表示する。すなわち、演奏指示部Pは楽譜画像及び演奏部位画像上を演奏の進行に従って連続的に移動することによって、ユーザに対して演奏する音符と該音符を演奏するのに必要な演奏部位とを指示する。
【0025】
なお、楽譜画面の表示形態は上述した形態に限らず、他の表示形態であってもよい。例えば、演奏部位画像は図7に示すような表示形態であってもよい。図7は、楽譜画面における演奏部位画像の他の実施例を示す概念図である。
図7に示すように、楽譜画面に演奏部位を表示する場合、楽器毎に演奏部位を表示する形態にしてもよい。例えば、所定の打楽器であって、手で演奏する楽器(例えば、ドラムの場合にはクラッシュ・シンバルやハイハット・シンバル,スネア・ドラムなど)の演奏指示を行う場合、クラッシュ・シンバルやハイハット・シンバル,スネア・ドラムといった楽器毎に演奏部位を表示する。図7の例では、演奏の進行と共に、右手によるクラッシュ・シンバルの演奏、右手によるハイハット・シンバルの演奏、右手によるハイハット・シンバルの演奏、右手によるハイハット・シンバルの演奏と左手によるスネア・ドラムの演奏を指示する。このように楽器毎に演奏部位を表示することにより、ユーザは現在の演奏位置よりも少し先に進んだ演奏位置の演奏方法(すなわち、どうやって演奏するか)を知ることが簡単にできるようになる。楽器毎の演奏部位の表示は、楽譜データの各音符データに含まれている楽器の種類を表すデータと、その音符データに対応する演奏部位データを参照して行われる。
【0026】
図1に示した演奏指示装置PCでは、例えばROM2やRAM3あるいは外部記憶装置9等からユーザの選択に従って演奏データを読み出して該演奏データに基づき模範演奏を演奏するだけでなく、該演奏データに対応付けられた楽譜データ及び動作データを読み出し、これらのデータに従って表示装置6A上に演奏指示を表示する。すなわち、当該演奏指示装置PCではROM2やRAM3あるいは外部記憶装置9に演奏データ,楽譜データ,動作データが多数記憶されており、各々のデータを適宜読み出してその内容を表示装置6Aに表示することで、ユーザに対する演奏指示を行うようになっている。こうした演奏指示は、演奏指示装置PCのCPU1が演奏指示処理を実現する所定のプログラム(ソフトウエア)を実行することにより実施される。そこで、CPU1で実行する演奏指示処理について図8及び図9を用いて説明する。図8は上述した演奏指示装置PCのCPU1で実行される「メイン処理」の一実施例を示したフローチャートであり、図9は上述した演奏指示装置PCのCPU1で実行される「割込処理」の一実施例を示したフローチャートである。以下、図8及び図9のフローチャートに従って、当該処理における処理動作を説明する。
【0027】
まず、図8に示す「メイン処理」についてその動作を説明する。
ステップS1では、演奏練習する演奏データの選択操作の有無を検出する。ステップS2では、演奏データの選択があるか否かの判定を行う。すなわち、これらの処理では、演奏練習する際に模範演奏とする曲を選択するために、直接曲名を入力する、あるいは予め表示装置6Aに表示された曲名を選択するなどの操作を、ユーザが操作子5A(例えば、練習曲選択スイッチなど)を用いて行ったか否かを検出する。演奏データの選択が行われている場合には(ステップS2のYES)、選択された演奏データと、それに対応する楽譜データ及び動作データの読み出し開始を設定する(ステップS3)。演奏データの選択が行われていない場合には(ステップS2のNO)、上記ステップS3の処理を行わずにステップS4の処理へ行く。すなわち、演奏データとそれに対応する楽譜データ及び動作データの読み出し開始の設定は行われない。ステップS4では、練習開始の指示操作の有無を検出する。例えば、ユーザが操作子5A(例えば、練習開始スイッチなど)を用いて練習開始を指示したか否かを検出する。ステップS5では、上記ステップS4の検出の結果、練習開始の指示がなされているか否かを判定する。練習開始の指示がなされている場合には(ステップS5のYES)、表示装置6Aに動作画面や楽譜画面の初期表示状態である初期画面を表示し、後述する「割込処理」を起動して、読み出し開始設定された演奏データ,動作データ,楽譜データの読み出しを開始する(ステップS6)。すなわち、該処理によって前記各データが読み出され、その内容に従って表示装置6Aに表示する動作画面や楽譜画面などの表示内容を順次更新していくことによって、演奏指示は行われる。他方、練習開始の指示が行われていない場合には(ステップS5のNO)、ステップS6の処理を行わず、ステップS7へ行く。すなわち、この場合には「割込処理」を起動することがないので、演奏指示は行われない。ステップS7では、「その他の処理」を行う。この実施例で行う「その他の処理」の一例として、例えば、ユーザが電子楽器4A等を用いて行った演奏操作に従う楽音の発音や消音を行う処理(つまり、通常の演奏処理)や、練習曲の演奏テンポやパート毎の演奏音量などを設定する処理(つまり、通常の楽音設定処理)、あるいは動作画面及び楽譜画面における演奏部位の表示態様を設定する処理などが有る。表示態様の設定処理では、ユーザが演奏部位毎に表示態様を適宜に変更することができる。例えば、演奏部位毎に表示する色をユーザの好みにあわせて変更する。すなわち、右手に対して予め設定されている赤色表示を黄色表示に、左手に対して予め設定されている青色表示を緑色表示に、ユーザがそれぞれ変更することができる。この変更結果(つまり設定内容)は所定の記録領域に記録され、練習時の表示態様の更新処理で利用される。ステップS8では該メイン処理を終了するか否かの判定を行い、該処理を終了すると判定した場合には(ステップS8のYES)処理を終了する。一方、該処理を終了しないと判定した場合には(ステップS8のNO)、ステップS1の処理へ戻って上記ステップS1〜S8の各処理を繰り返し実行する。
【0028】
次に、上述したステップS6で起動する「割込処理」について図9を用いて説明する。この割込処理は、演奏指示装置PCの処理クロックのタイミング毎に起動される処理である。すなわち、タイマ1Aから発生するクロック周期毎に、上述した「メイン処理」に対して割り込み的に起動される処理である。該処理クロックは、演奏データや楽譜データなどのタイミングデータに記憶されるMIDIクロックタイミングではない(ここでは説明をわかりやすくするために、動作イベントデータの処理時間間隔である1/60秒をクロック周期とする)。該割込処理を起動すると、演奏指示装置PC上で演奏指示処理を含むソフトウェアプログラムが起動されている時に、演奏練習の開始が指示されてから演奏練習が終了するまでの間動作して、演奏データに基づく楽曲の再生、楽譜データに基づく楽譜画像の表示、動作データに基づく動作画像の表示等を行う。
【0029】
ステップS11では、今回の処理クロックに対応する動作イベントデータに基づき動作画像を更新する。すなわち、読み出し開始設定された動作データ(図8のステップS3参照)から今回「割込処理」を起動した処理クロックに対応するタイミングにある動作イベントデータを読み出し、該動作イベントデータを基にして、表示装置6Aに現在表示している動作画像を更新表示する。これにより、所定の演奏者が練習パートの楽器を用いて練習曲の進行に応じた演奏を行っている様子が、動作画面中の動作画像として表示装置6Aに映し出される。ステップS12では、今回「割込処理」を起動した処理クロックから対応するMIDIクロックを算出する。すなわち、演奏データあるいは楽譜データに記述された演奏タイミングデータあるいは楽譜タイミングデータはMIDIクロックに準ずるクロック数で記述されており、MIDIクロックを用いなければこれらのデータを確定することができない。このように、該処理クロックをそのまま用いてはこれらのデータを読み出すことができない。そこで、該処理クロックから対応するMIDIクロックを算出し、算出したMIDIクロックに基づいて演奏タイミングデータあるいは楽譜タイミングデータを確定することによって、演奏イベントデータ(後述のステップS13参照)あるいは楽譜イベントデータ(後述のステップS15参照)を検出する。
【0030】
ステップS13では、算出されたMIDIクロック(ステップS12参照)に対応する演奏イベントデータを演奏データから検出し、検出した場合には該演奏イベントを処理する。すなわち、読み出し開始設定された演奏データ(図8のステップS3参照)から今回「割込処理」を起動した処理クロックに基づいて算出されたMIDIクロックに対応するタイミングにある各パートの演奏イベントデータを読み出し、読み出された演奏イベントデータに基づいて自動演奏が行われる。この自動演奏の際に、練習パートに設定されているパートの演奏イベントデータについては発音させないようにしたり、あるいは練習パート以外のパートの再生音量よりも練習パートに設置されているパートを小さい音量で再生するなどの設定ができるように構成しておくと、ユーザは自身の操作によって演奏される音を明確に聴き取れるようになることから、演奏操作の間違いがわかりやすいなどの演奏効果が上がり好ましい。ステップS14では、算出されたMIDIクロック(ステップS12参照)に基づいて、楽譜の表示内容を更新する。すなわち、今回「割込処理」を起動した処理クロックに基づいて算出されたMIDIクロックが所定のクロック数である場合には、表示装置6Aに現在表示している楽譜画像を消去して次の楽譜画像を表示する。例えば、楽譜画像に2小節分の楽譜を表示する場合には、楽譜は2小節毎に表示画像として表示装置6Aに表示されることから、2小節分の演奏の進行が終了した時点で次の2小節を表示する。こうして、模範演奏の進行に従う楽譜を練習曲の最初から最後まで所定長毎に表示する。また、このステップS14において、演奏指示部Pの移動(つまり、表示位置の更新)も行われる。ステップS15では、算出されたMIDIクロックに対応する楽譜イベントを検出する。ステップS16では、楽譜イベントがあるか否かを判定する。楽譜イベントがある場合には(ステップS16のYES)、検出された楽譜イベントデータ内の音符データと演奏部位データに基づいて、動作画像の表示態様を更新する(ステップS17)。このステップS17では、図5に示したような動作画像の表示態様の更新が行われる。例えば、音符データにおける楽器種類にハイハット・シンバルHH、該音符データに対応する演奏部位データに右手が記録されている場合には、図5に示すように右手に対して予め設定されている表示態様で右手と共にハイハット・シンバルHHを表示する。また、音符データにおける楽器種類にスネア・ドラムSD、該音符データに対応する演奏部位データに左手が記録されている場合には、図5に示すように左手に対して予め設定されている表示態様で左手と共にスネア・ドラムSDを表示する。このように、読み出し開始設定された楽譜データ(図8のステップS3参照)から今回「割込処理」を起動した処理クロックに基づいて算出されたMIDIクロックに対応するタイミングにある楽譜イベントデータを読み出し、読み出された楽譜イベントデータ内の音符データと演奏部位データとに基づいて、音符データの楽器種類に相当する楽器の表示態様を演奏部位データに対応する表示態様に変更する。この際に表示する表示態様は、予め設定されている演奏部位毎の表示態様、あるいはユーザにより設定された演奏部位毎の表示態様に従ったものに更新される(演奏部位毎の表示態様の設定内容は所定の記録領域に記録されており、それを参照する)。これにより、練習曲の楽譜や練習パートの楽器を演奏する際に用いる演奏部位を示す楽譜画面と共に、練習パートの楽器を演奏している動作画面(つまり、練習パートの楽器の画像(楽器画像)と該楽器を演奏している演奏者の画像(奏者画像)とを示す画面)を表示装置6A上に表示する。
【0031】
なお、上述の楽譜画面に対しても動作画面で用いたものと同様の表示態様を実施するようにしてもよい。例えば、楽譜画面において、表示する音符や演奏部位を演奏部位毎に設定された所定の表示態様(例えば、色分け等)で表示するようにしてもよい。すなわち、上述した動作画面における演奏部位の表示と同様の表示態様を用いて楽譜画像の音符や演奏部位画像の演奏部位を表示する。こうすると、ユーザは楽譜画面においても演奏部位を簡単に確認しながら演奏することができるようになる。
なお、動作画面や楽譜画面における演奏部位の表示は、ユーザが選択した演奏部位のみを表示するようにしてよい。こうすると、ユーザが指示を必要とする演奏部位のみを表示するようになることから、ユーザは演奏部位毎に効率的な演奏練習を行うことができるようになり好ましい。また、動作画面や楽譜画面における演奏部位の表示タイミングは、演奏データの再生タイミングよりも早めのタイミングで行ってよいことは言うまでもない。
なお、上述の楽譜表示は1つの例を示したものであり、演奏の進行に伴う演奏イベントが表示によって理解できるものであればどのような表示であってもよい。例えば、ピアノロール譜のようなイベント表示を表示装置6A上に表示するようにしてもよい。ドラムの場合について具体的な例を説明すると、ハイハット・シンバル、スネア・ドラム、バス・ドラム、タムタムなどのドラムセットを構成する各楽器の打点を表示した打点ロール譜を所定の範囲分(例えば、2小節分)表示装置6A上に表示し、該打点ロール譜を用いてユーザに対して現在演奏すべき楽器の指示を行う。すなわち、該打点ロール譜を練習曲の進行と共にスクロール表示し、該打点ロール譜に示される打点が表示装置6A上の所定位置に位置した楽器を現在演奏対象の楽器として指示する。あるいは、打点位置を示すスクロールバーを練習曲の進行と共に移動するように表示し、該スクロールバーと重なって表示された打点の楽器を現在演奏対象の楽器として指示するように構成してもよい。さらには、練習曲の進行と共に打点の表示態様を順次変更し、表示態様が変更された楽器を現在演奏対象の楽器として指示するように構成してもよい。勿論、こうした場合においても、打点の表示態様を演奏部位毎に設定された表示態様に変更して表示するようにすれば(例えば、現在演奏対象とする楽器の打点のみを色づけ表示する、あるいは全ての打点を予め色づけ表示しておくなど)、ユーザに対して演奏対象の楽器を指示する際に演奏態様を指示することができるようになり好ましい。
なお、上述した「割込処理」において、動作イベントデータに基づいて動作画像を更新する処理を行う際に(図9のステップS11参照)、「割込処理」を起動した処理クロック(つまり割込クロック)が動作イベントデータの読み出しタイミングにそろっていない場合には、ステップS11を行う前に動作タイミング(1/60秒)を算出する処理を行い、その算出結果に応じて読み出される動作イベントデータを基にして、表示装置6Aに現在表示している動作画像を更新表示する。例えば、割込クロックが1/120秒毎に発生する場合には、動作タイミング(1/60秒)を算出する処理を行うことによって2回の割込クロックの発生毎に動作イベントデータが読み出されることになる。
【0032】
【発明の効果】
本発明によれば、演奏操作対象とされた操作子を演奏者が体のどの部位を用いて演奏すればよいかを演奏者の演奏動作を表した動作画像と共に表示することにしたことから、演奏者はどのように該操作子を演奏すればよいかを視覚的に容易に理解できるようになる、という効果が得られる。
【図面の簡単な説明】
【図1】 この発明に係る演奏指示装置の全体構成の一実施例を示したハード構成ブロック図である。
【図2】 演奏データの構成の一実施例を説明するための概念図である。
【図3】 楽譜データの構成の一実施例を説明するための概念図である。
【図4】 動作データの構成の一実施例を説明するための概念図である。
【図5】 表示装置上に表示する動作画面の一実施例を示す概念図である。
【図6】 表示装置上に表示する楽譜画面の一実施例を示す概念図である。
【図7】 楽譜画面における演奏部位画像の他の実施例を示す概念図である。
【図8】 演奏指示装置におけるCPUで実行される「メイン処理」の一実施例を示したフローチャートである。
【図9】 演奏指示装置におけるCPUで実行される「割込処理」の一実施例を示したフローチャートである。
【符号の説明】
1…CPU、1A…タイマ、2…ROM、3…RAM、4…MIDIインタフェース、4A…電子楽器、5…検出回路、5A…操作子、6…表示回路、6A…表示装置、7…音源回路、7A…サウンドシステム、8…通信インタフェース、8A…通信ネットワーク、9…外部記憶装置、1D…データ及びアドレスバス、GH…楽器画像、SH…奏者画像、P…演奏指示部

Claims (4)

  1. 楽曲を表す演奏データと、該楽曲の楽譜を表す楽譜データであって、演奏操作すべき楽器の種類を表すデータ及び該楽器の演奏で使うべき身体部位を表す身体部位データを含むものと、該楽曲を所定の楽器を用いて演奏している演奏動作を表す動作データであって、奏者画像のどの部分がどの身体部位に相当するかを表す情報を含むものとを供給する供給手段と、
    演奏データを再生する再生手段と、
    再生した演奏データに従う前記動作データに基づき、演奏練習する楽器を表示する楽器画像とその楽器を演奏する演奏者を表示した奏者画像とを含む演奏画像を表示し、再生した演奏データに従う前記楽譜データに基づき楽譜画像を表示し、かつ該楽譜データに含まれる前記演奏操作すべき楽器の種類を表すデータ及び該楽器の演奏で使うべき身体部位を表す身体部位データに基づき該楽器の演奏で使うべき身体部位を表す画像を表示する表示手段と、
    前記演奏画像上において、前記奏者画像のどの部分がどの身体部位に相当するかを表す情報に基づき、演奏データの再生進行にあわせて、演奏で使うべき身体部位の前記奏者画像における表示態様を該身体部位毎に設定された異なる表示態様に変更することにより該演奏で使うべき身体部位を指示し、かつ、該演奏で使うべき身体部位によって演奏されるべき楽器の前記楽器画像における表示態様を、該演奏で使うべき身体部位に対して設定された表示態様に共通する表示態様に変更することにより演奏操作すべき楽器を指示する指示手段と、
    演奏データの再生進行と、演奏画像における演奏操作すべき楽器の指示の表示進行と、楽譜画像における楽譜の表示進行とを同期して行うために、演奏データ及び楽譜データ及び動作データの各データに含まれる夫々の処理タイミング情報を共通の処理クロックに従うタイミング情報に換算し、該処理クロックに従い各々のデータを読み出し制御する制御手段と
    を具えた演奏指示装置。
  2. 前記表示手段は打楽器演奏に関する演奏画像を表示すると共に打楽器演奏用の楽譜を表示し、該楽譜上においても演奏データに従う演奏イベント毎に前記身体部位を表示することを特徴とする請求項に記載の演奏指示装置。
  3. 楽曲を表す演奏データと、該楽曲の楽譜を表す楽譜データであって、演奏操作すべき楽器の種類を表すデータ及び該楽器の演奏で使うべき身体部位を表す身体部位データを含むものと、該楽曲を所定の楽器を用いて演奏している演奏動作を表す動作データであって、奏者画像のどの部分がどの身体部位に相当するかを表す情報を含むものとを供給するステップと、
    演奏データを再生するステップと、
    再生した演奏データに従う前記動作データに基づき、演奏練習する楽器を表示する楽器画像とその楽器を演奏する演奏者を表示した奏者画像とを含む演奏画像を表示し、再生した演奏データに従う前記楽譜データに基づき楽譜画像を表示し、かつ該楽譜データに含まれる前記演奏操作すべき楽器の種類を表すデータ及び該楽器の演奏で使うべき身体部位を表す身体部位データに基づき該楽器の演奏で使うべき身体部位を表す画像を表示するステップと、
    前記演奏画像上において、前記奏者画像のどの部分がどの身体部位に相当するかを表す情報に基づき、演奏データの再生進行にあわせて、演奏で使うべき身体部位の前記奏者画像における表示態様を該身体部位毎に設定された異なる表示態様に変更することにより該演奏で使うべき身体部位を指示し、かつ、該演奏で使うべき身体部位によって演奏されるべき楽器の前記楽器画像における表示態様を、該演奏で使うべき身体部位に対して設定された表示態様に共通する表示態様に変更することにより演奏操作すべき楽器を指示するステップと、
    演奏データの再生進行と、演奏画像における演奏操作すべき楽器の指示の表示進行と、楽譜画像における楽譜の表示進行とを同期して行うために、演奏データ及び楽譜データ及び動作データの各データに含まれる夫々の処理タイミング情報を共通の処理クロックに従うタイミング情報に換算し、該処理クロックに従い各々のデータを読み出し制御するステップと
    を具えた演奏指示方法。
  4. 楽曲を表す演奏データと、該楽曲の楽譜を表す楽譜データであって、演奏操作すべき楽器の種類を表すデータ及び該楽器の演奏で使うべき身体部位を表す身体部位データを含むものと、該楽曲を所定の楽器を用いて演奏している演奏動作を表す動作データであって、奏者画像のどの部分がどの身体部位に相当するかを表す情報を含むものとを供給するステップと、
    演奏データを再生するステップと、
    再生した演奏データに従う前記動作データに基づき、演奏練習する楽器を表示する楽器画像とその楽器を演奏する演奏者を表示した奏者画像とを含む演奏画像を表示し、再生した演奏データに従う前記楽譜データに基づき楽譜画像を表示し、かつ該楽譜データに含まれる前記演奏操作すべき楽器の種類を表すデータ及び該楽器の演奏で使うべき身体部位を表す身体部位データに基づき該楽器の演奏で使うべき身体部位を表す画像を表示するステップと、
    前記演奏画像上において、前記奏者画像のどの部分がどの身体部位に相当するかを表す情報に基づき、演奏データの再生進行にあわせて、演奏で使うべき身体部位の前記奏者画像における表示態様を該身体部位毎に設定された異なる表示態様に変更することにより該演奏で使うべき身体部位を指示し、かつ、該演奏で使うべき身体部位によって演奏されるべき楽器の前記楽器画像における表示態様を、該演奏で使うべき身体部位に対して設定された表示態様に共通する表示態様に変更することにより演奏操作すべき楽器を指示するステップと、
    演奏データの再生進行と、演奏画像における演奏操作すべき楽器の指示の表示進行と、楽譜画像における楽譜の表示進行とを同期して行うために、演奏データ及び楽譜データ及び動作データの各データに含まれる夫々の処理タイミング情報を共通の処理クロックに従うタイミング情報に換算し、該処理クロックに従い各々のデータを読み出し制御するステップとを、
    コンピュータに実行させるためのプログラムを記憶したコンピュータ読取り可能な記憶媒体。
JP2000307623A 2000-10-06 2000-10-06 演奏指示装置及び方法並びに記憶媒体 Expired - Fee Related JP3719124B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000307623A JP3719124B2 (ja) 2000-10-06 2000-10-06 演奏指示装置及び方法並びに記憶媒体
GB0123542A GB2371673B (en) 2000-10-06 2001-10-01 Performance instruction apparatus and method
US09/970,357 US6555737B2 (en) 2000-10-06 2001-10-03 Performance instruction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000307623A JP3719124B2 (ja) 2000-10-06 2000-10-06 演奏指示装置及び方法並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2002116686A JP2002116686A (ja) 2002-04-19
JP3719124B2 true JP3719124B2 (ja) 2005-11-24

Family

ID=18788103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000307623A Expired - Fee Related JP3719124B2 (ja) 2000-10-06 2000-10-06 演奏指示装置及び方法並びに記憶媒体

Country Status (3)

Country Link
US (1) US6555737B2 (ja)
JP (1) JP3719124B2 (ja)
GB (1) GB2371673B (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174510B2 (en) 2001-10-20 2007-02-06 Hal Christopher Salter Interactive game providing instruction in musical notation and in learning an instrument
JP3849540B2 (ja) * 2002-02-19 2006-11-22 ヤマハ株式会社 画像制御装置
WO2004015651A1 (ja) * 2002-08-08 2004-02-19 Akihiko Ikawa トレーニングシステム
TW580689B (en) * 2002-11-08 2004-03-21 Yu-Cheng Liu Computer interaction system of an electronic percussion music instrument
JP4448378B2 (ja) * 2003-07-30 2010-04-07 ヤマハ株式会社 電子管楽器
JP2005049439A (ja) * 2003-07-30 2005-02-24 Yamaha Corp 電子楽器
US7806759B2 (en) * 2004-05-14 2010-10-05 Konami Digital Entertainment, Inc. In-game interface with performance feedback
JP4501590B2 (ja) * 2004-08-24 2010-07-14 ヤマハ株式会社 音楽情報表示装置および音楽情報表示方法を実現するためのプログラム
JP4666591B2 (ja) * 2005-03-15 2011-04-06 株式会社河合楽器製作所 リズム練習システムおよびリズム練習システム用プログラム
JP2007117372A (ja) * 2005-10-27 2007-05-17 Daito Giken:Kk 遊技台
US20070163428A1 (en) * 2006-01-13 2007-07-19 Salter Hal C System and method for network communication of music data
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
US7521619B2 (en) * 2006-04-19 2009-04-21 Allegro Multimedia, Inc. System and method of instructing musical notation for a stringed instrument
US7777117B2 (en) * 2007-04-19 2010-08-17 Hal Christopher Salter System and method of instructing musical notation for a stringed instrument
US7671269B1 (en) 2007-05-14 2010-03-02 Leapfrog Enterprises Methods and systems for graphical actuation of a velocity and directionally sensitive sound generation application
EP2206540A1 (en) 2007-06-14 2010-07-14 Harmonix Music Systems, Inc. System and method for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
WO2009052032A1 (en) * 2007-10-19 2009-04-23 Sony Computer Entertainment America Inc. Scheme for providing audio effects for a musical instrument and for controlling images with same
WO2009105259A1 (en) 2008-02-20 2009-08-27 Oem Incorporated System for learning and mixing music
US8317614B2 (en) * 2008-04-15 2012-11-27 Activision Publishing, Inc. System and method for playing a music video game with a drum system game controller
US8858330B2 (en) * 2008-07-14 2014-10-14 Activision Publishing, Inc. Music video game with virtual drums
US7696421B1 (en) * 2008-12-30 2010-04-13 Pangenuity, LLC Soprano steel pan set and associated methods
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8251818B1 (en) 2009-08-29 2012-08-28 Reflex L.L.C. Reflex training and improvement system
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US8119898B2 (en) * 2010-03-10 2012-02-21 Sounds Like Fun, Llc Method of instructing an audience to create spontaneous music
US8568234B2 (en) 2010-03-16 2013-10-29 Harmonix Music Systems, Inc. Simulating musical instruments
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US20110306397A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8847053B2 (en) * 2010-10-15 2014-09-30 Jammit, Inc. Dynamic point referencing of an audiovisual performance for an accurate and precise selection and controlled cycling of portions of the performance
JP5440961B2 (ja) * 2011-09-29 2014-03-12 カシオ計算機株式会社 演奏教習装置、演奏教習方法およびプログラム
US9857934B2 (en) 2013-06-16 2018-01-02 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations
JP6271362B2 (ja) * 2014-07-22 2018-01-31 株式会社第一興商 音楽療法支援システム及び音楽療法支援装置
US11132983B2 (en) 2014-08-20 2021-09-28 Steven Heckenlively Music yielder with conformance to requisites
EP4218975A3 (en) 2015-05-19 2023-08-30 Harmonix Music Systems, Inc. Improvised guitar simulation
US9773486B2 (en) 2015-09-28 2017-09-26 Harmonix Music Systems, Inc. Vocal improvisation
US9799314B2 (en) 2015-09-28 2017-10-24 Harmonix Music Systems, Inc. Dynamic improvisational fill feature
US10460709B2 (en) 2017-06-26 2019-10-29 The Intellectual Property Network, Inc. Enhanced system, method, and devices for utilizing inaudible tones with music
US11030983B2 (en) 2017-06-26 2021-06-08 Adio, Llc Enhanced system, method, and devices for communicating inaudible tones associated with audio files
EP3874384A4 (en) * 2018-10-29 2022-08-10 Artrendex, Inc. SYSTEM AND METHOD GENERATING A SYNCHRONIZED REACTIVE VIDEO STREAM FROM AN AUDITORY INPUT
KR102163836B1 (ko) * 2020-08-27 2020-10-12 김동천 자가교습 기능이 구비된 드럼용 개인교습 시스템 및 컴퓨터로 읽을 수 있는 저장매체
CN116343726B (zh) * 2023-05-29 2023-08-08 成都小唱科技有限公司 一种点唱机音频切换方法、装置、计算机设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585583A (en) * 1993-10-14 1996-12-17 Maestromedia, Inc. Interactive musical instrument instruction system
US5690496A (en) * 1994-06-06 1997-11-25 Red Ant, Inc. Multimedia product for use in a computer for music instruction and use
US5739457A (en) * 1996-09-26 1998-04-14 Devecka; John R. Method and apparatus for simulating a jam session and instructing a user in how to play the drums
JP3454100B2 (ja) 1997-08-21 2003-10-06 ヤマハ株式会社 演奏パラメータ表示装置
AU2340599A (en) * 1998-01-28 1999-08-16 Renarco Inc. System for instructing the playing of a musical instrument
JP2000237455A (ja) * 1999-02-16 2000-09-05 Konami Co Ltd 音楽演出ゲーム装置、音楽演出ゲーム方法および可読記録媒体
US6162981A (en) * 1999-12-09 2000-12-19 Visual Strings, Llc Finger placement sensor for stringed instruments

Also Published As

Publication number Publication date
JP2002116686A (ja) 2002-04-19
GB0123542D0 (en) 2001-11-21
GB2371673A (en) 2002-07-31
US20020040633A1 (en) 2002-04-11
US6555737B2 (en) 2003-04-29
GB2371673B (en) 2005-05-18

Similar Documents

Publication Publication Date Title
JP3719124B2 (ja) 演奏指示装置及び方法並びに記憶媒体
JP4111004B2 (ja) 演奏練習装置および演奏練習プログラム
JP3724376B2 (ja) 楽譜表示制御装置及び方法並びに記憶媒体
JP2001154665A (ja) 曲データ表示制御装置及び方法
JPH1165558A (ja) パラメータ表示装置および楽音合成装置
JP3728942B2 (ja) 楽音および画像生成装置
JP4265551B2 (ja) 演奏補助装置及び演奏補助プログラム
JP2002091290A (ja) 演奏表示装置および演奏表示方法
JP4085810B2 (ja) 音楽ゲーム装置、電子音楽装置、及びプログラム
JP3915807B2 (ja) 奏法自動判定装置及びプログラム
JPH11296168A (ja) 演奏情報評価装置、演奏情報評価方法及び記録媒体
JP3541686B2 (ja) 演奏練習装置と記録媒体
JP3815249B2 (ja) 楽譜表示装置及び楽譜表示プログラム
JP3835163B2 (ja) 電子ドラム装置
JP2006126710A (ja) 奏法決定装置及びプログラム
JP3551014B2 (ja) 演奏練習装置、演奏練習方法及び記録媒体
JP4670686B2 (ja) コード表示装置及びプログラム
JPH096346A (ja) 自動演奏の制御データ入力方法
JP4853054B2 (ja) 演奏データ編集装置及びプログラム
JP3709821B2 (ja) 楽曲情報編集装置及び楽曲情報編集プログラム
JP3719156B2 (ja) 自動作曲装置及び自動作曲プログラム
JP3649117B2 (ja) 楽音再生装置及び方法並びに記憶媒体
JP3812519B2 (ja) 楽譜表示データを記憶した記憶媒体、その楽譜表示データを用いた楽譜表示装置及びプログラム
JP3642028B2 (ja) 演奏データ処理装置及び方法並びに記憶媒体
JP4548365B2 (ja) 楽譜表示装置及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050623

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050829

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110916

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130916

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees