JP3843735B2

JP3843735B2 - 演奏ガイド方法、演奏ガイド装置および記録媒体

Info

Publication number: JP3843735B2
Application number: JP2000370995A
Authority: JP
Inventors: 康雄長浜; 和郎春山
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2000-12-06
Filing date: 2000-12-06
Publication date: 2006-11-08
Anticipated expiration: 2020-12-06
Also published as: JP2002175071A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子楽器等、演奏者が演奏情報を入力する装置に用いられる演奏ガイド方法、演奏ガイド装置および記録媒体に関し、特に鍵盤楽器の演奏の学習に用いて好適な演奏ガイド方法、演奏ガイド装置および記録媒体に関する。
【０００２】
【従来の技術】
ピアノ等の演奏の練習を行う際、演奏の進行に応じて、次に押下する鍵や当該鍵を押下する指を指示できれば、効果的な練習が可能になる。そこで、従来より、押鍵指示機能および演奏ガイド機能を備えた各種の演奏指示装置が知られている。例えば、特開平９−３０５１７１号公報においては、鍵盤画像とピアノロール譜をディスプレイに表示し、演奏の進行に応じてピアノロール譜をスクロールするとともに、鍵盤画像のうち押下すべき鍵を色分け表示する技術が開示されている。また、特開平７−３６４４６号公報においては、例えばプロのピアニスト等の模範演奏を撮影し、その画像データを再生時のテンポに応じて再生する技術が開示されている。
【０００３】
【発明が解決しようとする課題】
ところで、プロのピアニスト等の模範演奏をそのまま再生することは、操作すべき鍵および運指をユーザが正確に認識できている場合には、確かに好適であると思われる。ユーザは模範演奏を参照することによって微妙なニュアンスのつけ方をさらに学ぶことができるからである。
しかし、ユーザが操作すべき鍵や運指を正確に認識できていない場合には、実写画像に基づいてこれを学ぶことは困難である。すなわち、鍵盤は平面的な操作子であるから、鍵盤を実写した画像ではどの鍵が押下されているのか、またどの指で押下されているのか解りにくいという問題があった。
この発明は上述した事情に鑑みてなされたものであり、微妙な演奏ニュアンスを伝えながらも操作すべき内容を明確に呈示できる演奏ガイド方法、演奏ガイド装置および記録媒体を提供することを目的としている。
【０００４】
【課題を解決するための手段】
上記課題を解決するため本発明にあっては、下記構成を具備することを特徴とする。なお、括弧内は例示である。
請求項１記載の演奏ガイド方法にあっては、演奏情報をメモリから読み出す過程（ステップＳＰ３）と、該演奏情報に基づいて、演奏操作子の操作状況を示す演奏操作子画像を生成する過程と、上級者モードまたは初心者モードの動作モードの指定を受ける過程と、前記上級者モードの指定を受けたことを条件として、前記演奏情報に基づいて、演奏者が前記演奏操作子の操作を行う状態を撮影して成る画像を操作画像として再生する過程と、前記初心者モードの指定を受けたことを条件として、前記演奏情報に基づいて、演奏者が前記演奏操作子の操作を行う状態を描写して成る画像を操作画像として生成する過程と、前記操作画像が優先して表示されるように、前記演奏操作子画像と前記操作画像とを合成して表示する表示過程（図４）とを有することを特徴とする。
さらに、請求項２記載の構成にあっては、請求項１記載の演奏ガイド方法において、前記演奏操作子画像は、鍵盤を上方から見た状態を描写して成る描写画像であり、前記上級者モードの操作画像の撮影時における鍵盤に対応する大きさを有し、押下されるべき鍵を他の鍵とは異なる態様で描画して成る画像であることを特徴とする。
また、請求項３記載の演奏ガイド方法にあっては、演奏情報をメモリから読み出す過程と、上級者モードまたは初心者モードの動作モードの指定を受ける過程と、前記上級者モードの指定を受けたことを条件として、該演奏情報に基づいて、演奏操作子および演奏者が前記演奏操作子の操作を行う状態を撮影して成る撮影画像を表示する第１の表示過程と、前記初心者モードの指定を受けたことを条件として、演奏操作子の操作状況を示す演奏操作子画像を生成する過程と、前記初心者モードの指定を受けたことを条件として、前記演奏情報に基づいて、演奏者が前記演奏操作子の操作を行う状態を描写して成る画像を操作画像として生成する過程と、前記初心者モードの指定を受けたことを条件として、前記操作画像が優先して表示されるように、前記演奏操作子画像と前記操作画像とを合成して表示する第２の表示過程とを有することを特徴とする。
また、請求項４記載の演奏ガイド装置にあっては、請求項１ないし３の何れかに記載の方法を実行することを特徴とする。
また、請求項５記載の記録媒体にあっては、請求項１ないし３の何れかに記載の方法を処理装置に実行させるプログラムを記憶したことを特徴とする。
【０００５】
【発明の実施の形態】
１．実施形態の構成
１．１．ハードウエア構成
次に、本発明の一実施形態の電子鍵盤楽器のハードウエア構成を図１を参照し説明する。
同図に示すように、本実施形態の電子鍵盤楽器は、音高情報を入力するための鍵盤１と、各種情報を入力するための複数のスイッチを備えたパネルスイッチ２と、鍵盤１の各鍵の押鍵状態を検出する押鍵検出回路３と、パネルスイッチ２の各スイッチの押下状態を検出するスイッチ検出回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ５が実行する制御プログラムやテーブルデータ等を記憶するＲＯＭ６と、自動演奏データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ７と、タイマ割り込み処理における割り込み時間や各種時間を計時するタイマ８と、各種情報等を表示する、たとえば大型ＬＣＤ若しくはＣＲＴおよびＬＥＤ等を備えた表示装置９と、記憶媒体であるフロッピディスク（ＦＤ）をドライブするフロッピディスクドライブ（ＦＤＤ）１０と、前記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶する外部記憶装置であるハードディスクドライブ（ＨＤＤ）１１と、前記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶するコンパクトディスク−リード・オンリ・メモリ（ＣＤ−ＲＯＭ）をドライブするＣＤ−ＲＯＭドライブ１２と、外部からのＭＩＤＩ（Musical Instrument Digital Interface）信号を入力したり、ＭＩＤＩ信号として外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１３と、通信ネットワーク１０１を介して、たとえばサーバコンピュータ１０２とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１４と、鍵盤１から入力された演奏データや自動演奏データ等を楽音信号に変換する音源回路１５と、該音源回路１５からの楽音信号に各種効果を付与するための効果回路１６と、該効果回路１６からの楽音信号を音響に変換する、たとえばスピーカ等のサウンドシステム１７とにより構成されている。
【０００６】
上記構成要素３〜１６は、バス１８を介して相互に接続され、ＣＰＵ５にはタイマ８が接続され、ＭＩＤＩインターフェース１３には他のＭＩＤＩ機器１００が接続され、通信インターフェース１４には通信ネットワーク１０１が接続され、音源回路１５には効果回路１６が接続され、効果回路１６にはサウンドシステム１７が接続されている。
【０００７】
ＨＤＤ１１には、前述のようにＣＰＵ５が実行する制御プログラムが記憶され、ＲＯＭ６に制御プログラムが記憶されていない場合には、このＨＤＤ１１内のハードディスクに制御プログラムを記憶させておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に制御プログラムを記憶している場合と同様の動作をＣＰＵ５にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
【０００８】
ＣＤ−ＲＯＭドライブ１２のＣＤ−ＲＯＭから読み出された制御プログラムや各種データは、ＨＤＤ１１内のハードディスクにストアされる。これにより、制御プログラムの新規インストールやバージョンアップ等が容易に行える。なお、このＣＤ−ＲＯＭドライブ１２以外にも、外部記憶装置として、光磁気ディスク（ＭＯ）装置等、様々な形態のメディアを利用するための装置を設けるようにしてもよい。
【０００９】
通信Ｉ／Ｆ１４は、上述のように、ＬＡＮ（ローカルエリアネットワーク）やインターネット、電話回線等の通信ネットワーク１０１に接続されており、該通信ネットワーク１０１を介して、サーバコンピュータ１０２と接続される。ハードディスク装置１１内に上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１４は、サーバコンピュータ１０２からプログラムやパラメータをダウンロードするために用いられる。クライアントとなるコンピュータ（本実施形態の電子楽器）は、通信Ｉ／Ｆ１４及び通信ネットワーク１０１を介してサーバコンピュータ１０２へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバコンピュータ１０２は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク１０１を介してコンピュータへと配信し、コンピュータが通信Ｉ／Ｆ１０１を介して、これらプログラムやパラメータを受信してハードディスク装置１１に蓄積することにより、ダウンロードが完了する。
なお、この他、外部コンピュータ等との間で直接データのやりとりを行うためのインターフェースを備えてもよい。
【００１０】
１．２．データフォーマット
次に、本実施形態において使用される自動演奏データのデータフォーマットを図２に示す。
同図に示すように、自動演奏データは、ヘッダデータ２１、デュレーションデータ２２、ノートイベントデータ２３、小節線データ２４、テンポデータ２５およびファイルエンドデータ２６により、主として構成されている。ヘッダデータ２１とは、自動演奏データの先頭に記憶されるデータをいい、本実施形態では、ヘッダデータ２１として、曲名や初期テンポ等のデータが記憶されている。デュレーションデータ２２とは、イベントデータ（本実施形態では、ノートイベントデータ２３、小節線データ２４およびテンポデータ２５）間の間隔を示す時間データをいう。このデュレーションデータ２２は、４分音符の１／６４を単位として記録される。また、ノートイベントデータ２３とは、ノートオンイベントデータおよびノートオフイベントデータの２種類のデータをいう。
【００１１】
ノートオンイベントデータは、ノートオン、ＭＩＤＩチャンネル、ノートナンバおよびベロシティの各データにより構成され、ノートオフイベントデータは、ノートオフ、ＭＩＤＩチャンネルおよびノートナンバの各データにより構成されている。ＭＩＤＩチャンネルは、たとえば１６チャンネルで構成され、チャンネル１および２には、それぞれ右手および左手データが割り当てられ、その他のチャンネルには伴奏用のイベントデータが割り当てられている。ここで、チャンネル１および２とは、演奏ガイドを行うためのノートイベントデータが割り当てられるＭＩＤＩチャンネルをいい、右手データとは、演奏者が右手で弾くべきノートイベントデータをいい、左手データとは、演奏者が左手で弾くべきノートイベントデータをいう。
【００１２】
このように、各ノートイベントデータ毎にＭＩＤＩチャンネルを記憶したことにより、ノートイベントデータ２３を各イベントの種類に拘わらず出力順に１列に並べて記憶させることができる。そして、実際にこれらを読み出して処理する段階で、当該ＭＩＤＩチャンネルに基づいてイベントの種類を判別し、その判別結果に応じて当該ノートイベントの処理を行うことができる。なお、本実施形態では、ノートオフイベントデータは、ベロシティを含まない構成にしているが、ベロシティを含むような構成にしてもよいことはいうまでもない。
【００１３】
次に、小節線データ２４とは、小節線を表示するためのデータをいい、テンポデータ２５とは、テンポを変更するためのデータをいう。さらに、ファイルエンドデータ２６とは、ファイル、すなわち自動演奏データの終わりを示すデータをいう。実際には、自動演奏データには、上述のデータ以外のデータも含まれているが、本発明を説明する上で必須のものではないため、その説明を省略する。なお、本実施形態では、イベントデータを、その割り当てられたＭＩＤＩチャンネルに拘わらず、出力順に１列に並べて記憶するようにしたが、これに限らず、ＭＩＤＩチャンネルに対応したトラックを設け、このトラック毎にイベントデータを割り当てるようにしてもよい。このようにすれば、上述のように、ノートイベントデータ毎にＭＩＤＩチャンネルを記憶する必要はないが、メモリ容量は増大する。
【００１４】
また、本実施形態では、自動演奏データのデータフォーマットを上述のように「イベントデータ＋デュレーションデータ」という構成にしたが、これに限る必要はなく、たとえば「イベントデータ＋相対時間データ」、「イベントデータ＋絶対時間データ」、「音高データ＋符長データ」等どのようなフォーマットでもよい。
【００１５】
１．３．表示装置９における表示例
次に、表示装置９における表示の一例を図３に示す。図において３２は楽譜表示部であり、自動演奏データに基づいて合成された楽譜画像が表示される。楽譜表示部３２中の３２ａは演奏ポインタであり、現在演奏すべき位置を表示する。３３はピアノロール譜表示部であり、押鍵から離鍵までの鍵の操作範囲が縦バーで表示され、この縦バーに係る音名（Ａ，Ｂ，Ｃ等）が縦バーの下方に表示される。以下、「縦バー」を「スクロールバー」という。３５は鍵操作表示部であり、鍵盤画像３６と、これを演奏する模範演奏の手画像３７，３８が表示される。
【００１６】
ピアノロール譜表示部３３は、白鍵の個数に、かつ白鍵の幅と等間隔に分割され、操作すべき鍵が白鍵の場合には、前記スクロールバーが、この複数個の分割領域中、当該鍵に対応する領域上の、操作すべき鍵および操作すべきタイミングに応じた位置に表示される。一方、操作すべき鍵が黒鍵の場合には、スクロールバーは、実際の鍵盤１と同様に白鍵と白鍵とを跨いだ位置、すなわち当該各白鍵にそれぞれ対応する分割領域を跨いだ位置であって、操作すべき鍵および操作すべきタイミングに応じた位置に表示される。また、ピアノロール譜表示部３３には、小節の区切りを示す実線である小節線３３ａおよび拍の区切りを示す破線である拍線３３ｂが横方向に描画されている。
【００１７】
スクロールエリア３２ａは、縮小表示鍵盤３１の白鍵の個数にかつ等間隔に分割され、操作すべき鍵が白鍵の場合には、前記スクロールバーが、この複数個の分割領域中、当該鍵に対応する領域上の、操作すべき鍵および操作すべきタイミングに応じた位置に表示される。一方、操作すべき鍵が黒鍵の場合には、スクロールバーは、実際の鍵盤１と同様に白鍵と白鍵とを跨いだ位置、すなわち当該各白鍵にそれぞれ対応する分割領域を跨いだ位置であって、操作すべき鍵および操作すべきタイミングに応じた位置に表示される。
【００１８】
演奏者が押鍵すべきタイミングは、スクロールバーの下限がピアノロール譜表示部３３の下限に到達したときであり、このとき、鍵操作表示部３５においては、当該押鍵すべき鍵の色が、そのスクロールバーの色と同一の色（例えば水色）に着色され表示される。これに応じて演奏者が鍵盤１を押鍵したときに、その押鍵が正しければ、縮小表示鍵盤３１の当該鍵の色は、たとえば青色に変更される一方、その押鍵が間違っていれば、縮小表示鍵盤３１の当該鍵の色は、例えば赤色に変更される。そして、離鍵時においては、その鍵の色が例えば黄色に変更される。
【００１９】
ここで、鍵操作表示部３５の画像合成方法を図４を参照し説明しておく。同図(a)は鍵盤画像３６であり、同図(b)は手画像３７，３８である。これらの画像は別々に作成される。鍵盤画像３６はコンピュータグラフィックにより作図される。また、同図(b)の手画像３７，３８は、動作モードに応じたものが選択される。すなわち、本実施形態の動作モードとしては、初心者モードと上級者モードとがあり、初心者モードにおいてはコンピュータグラフィックにより手画像３７，３８が合成される。
【００２０】
一方、上級者モードにおいては、ピアニスト等の演奏状態を撮影した実写画像が用いられる。手画像３７，３８の撮影は、鍵盤全体が自然な形で映るように鍵盤の略真上にカメラを設置して行うとよい。また、演奏者の手は手首まで映るようにしておくと、後に視認しやすくなる。
【００２１】
演奏状態を撮影する際には、演奏者の手のみならず、鍵盤や演奏者の衣服等も撮影されるが、これは画像処理によって除去することができる。最も簡易な方法としては、鍵、ピアノの筐体、衣服等を青色に着色しておき、撮影後に青色を透過色に変換すればよい。かかる手法はブルーバック撮影と称されている。
【００２２】
この上級者モード用の実写画像は、ハードディスクドライブ１１に格納されるが、ファイルフォーマットとしてはＡＶＩフォーマットを利用すると好適である。後に鍵操作表示部３５を生成する際には、同図(c)に示すように、鍵盤画像３６と手画像３７，３８とをスーパーインポーズするとよい。その際、手画像３７，３８の方を上のレイヤーに位置させる必要がある。すなわち、鍵盤画像３６と手画像３７，３８が重なる部分については、手画像３７，３８が優先的に表示されることになる。
【００２３】
ここで、鍵盤画像３６として実写画像を用いずコンピュータグラフィックを用いた理由は、押下すべき鍵の色を変える等の画像処理を容易に行うことができ、ユーザに対してより明確な演奏ガイドを行うことができるからである。さらに、初心者モードにおいては手画像３７，３８としてコンピュータグラフィックを用いたため、ユーザが行うべき演奏操作を強調して表示することができる。
【００２４】
次に、初心者モード用の手画像３７，３８の生成方法について説明しておく。先に述べた実写画像を撮影する際、演奏者の指の関節に磁気式、赤外線式等のセンサが装着され、実写画像の撮影とともに、これらセンサの検出値も記録される。記録されたデータはスケルトンモデルに当てはめられ、コンピュータグラフィックのアニメーションによって初心者モード用の手画像３７，３８が生成される。なお、かかる手法は、モーションキャプチャと呼ばれている。
【００２５】
図５は、初心者モードにおける鍵操作表示部３５の表示例を示す。この図において操作すべき鍵は上述したように着色して表示され、さらにこれらの鍵を押下する指も着色表示されている（図上ではハッチングされている）。なお、操作すべき指を強調表示する手法はこれに限定されるものではなく、例えば操作すべき指を長く、あるいは太く表示する等、他の指とは異なる態様で表示すればよい。
【００２６】
２．実施形態の動作
２．１．初期設定
次に、本実施形態の動作を説明する。まず、電子鍵盤楽器の電源が投入されると、図６に示すメインルーチン（図６）が起動される。図において処理がステップＳＰ１０１に進むと、所定の初期設定が行われる。すなわち、レジスタ、フラグ、その他種々のパラメータに対して初期値が入力される。そして、ステップＳＰ１０１においては、所定の初期画面（図示せず）が表示される。初期画面においては、記憶されている自動演奏データの楽曲名が表示装置９に表示され、ユーザはこの中から練習を行う楽曲名を選択すること等が可能になる。
【００２７】
２．２．パネル処理（ＳＰ１０２）
次に、処理がステップＳＰ１０２に進むと、図７に示すパネル処理ルーチンが呼び出される。図において処理がステップＳＰ１に進むと、スイッチ検出回路４を介してパネルスイッチ２のイベントが検出され、検出されたイベントに応じた各種の処理が実行される。例えば、ユーザが選曲操作を行ったのであれば、複数の楽曲の中からユーザの指定する楽曲が選択され、その自動演奏データがハードディスクドライブ１１からＲＡＭ７に読み込まれる。
【００２８】
また、ユーザが動作モード選択操作を行ったのであれば、動作モードとして上級者モードまたは初心者モードの何れかが選択される。また、パネルスイッチ２の操作により、演奏ガイドとともに自動演奏を行うか否かが設定される。その際、自動演奏を行うべきＭＩＤＩチャンネルも指定される。これにより、ユーザは、所望の練習態様にとって最適なＭＩＤＩチャンネルを自動演奏させることができる。例えば、ユーザが演奏すべきＭＩＤＩチャンネル１，２のみを自動演奏させることもでき、ＭＩＤＩチャンネル１，２のうち一方のみ（すなわち片手の演奏のみ）を自動演奏させることもでき、ＭＩＤＩチャンネル１，２以外のＭＩＤＩチャンネルを自動演奏させることも可能である。
【００２９】
また、パネルスイッチ２の操作により、図３における楽譜表示部３２を表示するか否かも選択される。さらに、演奏ガイドのテンポも選択される。演奏ガイドに係る自動演奏データは、記録時にはテンポ「１００」で記録されている。従って、演奏ガイドのテンポがこれよりも増減した場合は、各種画像の更新周期が増減されることになる。次に、処理がステップＳＰ２に進むと、パネルスイッチ２において「演奏ガイドスタート指示」が行われたか否かが判定される。ここで「ＮＯ」と判定されると、処理はメインルーチンに戻る。
【００３０】
一方、ステップＳＰ２において「ＹＥＳ」と判定されると、処理はステップＳＰ３に進み、演奏ガイドの初期画像が表示装置９に表示される。まず、初期画像を表示するために、４小節分の自動演奏データがＲＡＭ７から読み出され、楽曲開始部分における２小節分のピアノロール譜がピアノロール譜表示部３３に表示される。また、楽譜画像の表示を行う旨が選択されていた場合には、楽譜表示部３２に当該楽曲の４小節分の楽譜が表示され、演奏ポインタ３２ａが演奏開始位置に表示される。以上のステップが終了すると、処理はメインルーチンに戻る。
【００３１】
２．３．演奏ガイド処理（ＳＰ１０３）
次に、メインルーチンにおいて処理がステップＳＰ１０３に進むと、図８に示す演奏ガイド処理ルーチンが呼び出される。
図において処理がステップＳＰ１１に進むと、既に演奏ガイドがスタートされているか否かが判定される。すなわち過去にステップＳＰ１において演奏ガイドスタート指示が行われたか否かが判定される。ここで「ＮＯ」と判定されると、本ルーチンにおいては実質的な処理は行われず、処理はメインルーチン（図６）に戻る。一方、ここで「ＹＥＳ」と判定されると、処理はステップＳＰ１２に進み、画像更新タイミングに達したか否かが判定される。
【００３２】
ここで、「画像更新タイミング」について説明しておく。上述したように演奏ガイドに係る自動演奏データは、記録時にはテンポ「１００」で記録されている。そして、このテンポ「１００」に対して、表示装置９の更新周期は「１／３０秒」になるように設定される。従って、演奏ガイドのテンポも「１００」であれば、表示装置９の表示画像は「１／３０秒」毎に更新する必要があり、画像更新タイミングは「１／３０秒」毎に発生することになる。ステップＳＰ１２においては、現在時刻がこの画像更新タイミングに達したか否かが判定されるのである。
【００３３】
但し、上述したように、演奏ガイドのテンポはユーザが任意に設定できるため、設定されたテンポＮに応じて、更新周期Ｔは、Ｔ＝１００／（Ｎ・３０）になるように設定される。例えば、演奏ガイドのテンポが「１２０」であれば、更新周期は「１／３６秒」に設定される。現在時刻が画像更新タイミングに達していなかった場合はステップＳＰ１２において「ＮＯ」と判定され、実質的な処理は行われず、処理はメインルーチン（図６）に戻る。一方、画像更新タイミングに達していれば「ＹＥＳ」と判定され、処理はステップＳＰ１３に進む。
【００３４】
ステップＳＰ１３においては、動作モードが上級者モードであるか否かが判定される。ここで「ＹＥＳ」と判定されると、処理はステップＳＰ１４に進む。ここでは、ハードディスクドライブ１１から鍵盤画像３６と、実写による手画像３７，３８とが読み出される。そして、これらの画像は図４において説明したようにスーパーインポーズされ、表示装置９の鍵操作表示部３５に表示される。その際、上述したように、ユーザが正しい鍵を押下したか否かに応じて、押下すべき鍵が着色される。
【００３５】
一方、ステップＳＰ１３において「ＮＯ」と判定されると、処理はステップＳＰ１５に進む。なお、この際に設定されている動作モードは初心者モードである。ステップＳＰ１５においては、ステップＳＰ１４と同様に、ハードディスクドライブ１１から鍵盤画像３６と、手画像３７，３８とが読み出され、両者がスーパーインポーズされて表示される。但し、この場合に読み出される手画像３７，３８は実写によるものではなく、コンピュータグラフィックによって合成された画像である。また、ステップＳＰ１４と同様に鍵盤画像３６においては押下すべき鍵が着色されるが、これに加えて手画像３７，３８においても押鍵操作を行うべき指が着色される（図５参照）。以上のステップが終了すると、処理はメインルーチンに戻る。
【００３６】
２．４．ピアノロール画像作成処理（ＳＰ１０４）
次に、メインルーチンにおいて処理がステップＳＰ１０４に進むと、図９に示すピアノロール画像作成処理ルーチンが呼び出される。
図において処理がステップＳＰ２１に進むと、先にピアノロール譜表示部３３が表示または更新された後に所定時間が経過したか否かが判定される。この所定時間は、例えば４分音符の１／６４の長さに設定される。この所定時間が経過していなければ「ＮＯ」と判定され、実質的な処理が行われることなく処理はメインルーチンに戻る。
【００３７】
一方、ステップＳＰ２１において「ＹＥＳ」と判定されると、処理はステップＳＰ２２に進み、上記所定時間相当の長さ（すなわち、拍線３３ｂの間隔の１／６４）だけ、下方向に向かってピアノロール譜がスクロールされる。その際、先読みされた自動演奏データのうち演奏前２小節以内に達したイベントに基づいて、ピアノロール譜の内容が更新される。すなわち、かかる範囲内に達したノートオンイベントに対して、新たなスクロールバーが表示される。また、既に演奏タイミングが終了したスクロールバーは消去される。
【００３８】
次に、処理がステップＳＰ２３に進むと、先読みデータが不足しているか否かが判定される。すなわち、上述したように、ピアノロール譜表示部３３を表示するためには最短２小節分の先読みデータが必要であり、楽譜表示部３２を表示するためには最大４小節の先読みデータが必要である。そこで、ステップＳＰ２３においては、所定のバッファ領域に読み込まれている先読みデータが４小節未満になったか否かが判定されるのである。
【００３９】
ここで「ＹＥＳ」と判定されると、処理はステップＳＰ２４に進む。ここでは、既にバッファ領域に読み込まれている自動演奏データの次の２小節の部分が上記バッファ領域に読み込まれる。なお、先読みデータが不足していなければステップＳＰ２３において「ＮＯ」と判定され、ステップＳＰ２４はスキップされる。以上のステップが終了すると、処理はメインルーチンに戻る。
【００４０】
２．５．自動演奏処理（ＳＰ１０５）
次に、メインルーチンにおいて処理がステップＳＰ１０５に進むと、図１０に示す自動演奏処理ルーチンが呼び出される。
図において処理がステップＳＰ３１に進むと、再生タイマの値が「０」以下であるか否かが判定される。ここで、再生タイマとは、次のイベントを発生させるまでに要する時間を４分音符の１／６４の値を単位として表した数値であり、４分音符の１／６４毎のクロック信号によって「１」づつデクリメントされる。なお、再生タイマの値は初期設定時に「０」に設定されており、その後は後述するステップＳＰ３８において設定される。
【００４１】
ステップＳＰ３１において「ＮＯ」と判定されると、実質的な処理が行われることなく処理はメインルーチンに戻る。一方、「ＹＥＳ」と判定されると、処理はステップＳＰ３２に進み、先読みされている自動演奏データのうち１ブロックの自動演奏データが読み出される。次に、処理がステップＳＰ３３に進むと、読み出されたデータがイベントデータ（ノートオフまたはノートオフ）であるか否かが判定される。以後の処理は、読み出された自動演奏データの種類に応じて異なるため、場合を分けて説明する。
【００４２】
２．５．１．イベントデータに対する処理
読み出された自動演奏データがイベントデータであった場合はステップＳＰ３３において「ＹＥＳ」と判定され、処理はステップＳＰ３４に進む。ここでは、さらに、当該自動演奏データがノートオンイベントであるか否かが判定される。ここで「ＹＥＳ」と判定されると、処理はステップＳＰ３６に進む。ここでは、音源回路１５において新たな発音チャンネルが確保され、当該発音チャンネルに音高、ベロシティ等の発音パラメータが設定され、発音が開始される。一方、ステップＳＰ３３において「ＮＯ」と判定されると、当該イベントデータはノートオフイベントである。かかる場合は処理はステップＳＰ３５に進み、対応する発音チャンネルに対して消音処理が行われる。
【００４３】
２．５．２．デュレーションデータ，その他データに対する処理
読み出された自動演奏データがデュレーションデータであった場合は、ステップＳＰ３３において「ＮＯ」と判定され、処理はステップＳＰ３７に進む。ここでは、該自動演奏データがデュレーションデータであるか否かが判定される。ここで「ＹＥＳ」と判定されると、処理はステップＳＰ３８に進み、再生タイマに該デュレーションデータが加算される。これにより、以後、新たなデュレーションデータが４分音符の１／６４毎のタイミングで「１」づつデクリメントされる。そして、デュレーションデータが「０」になった後に再びステップＳＰ３２以降が実行され、次に自動演奏データが読み出される。なお、読み出されたブロックがデュレーションデータ以外のデータであった場合、処理はステップＳＰ３９に進み、その他のイベント処理が実行される。
以上のステップが終了すると、処理はメインルーチンに戻る。
【００４４】
２．６．その他の処理（ＳＰ１０６）
次に、メインルーチンにおいて処理がステップＳＰ１０６に進むと、その他各種の処理が行われる。そして、処理はステップＳＰ１０２に戻り、上述したのと同様の動作が繰り返される。例えば、演奏途中でユーザがパネルスイッチ２を操作して再生テンポの変更指示を行うと、その都度ステップＳＰ１を介して再生テンポが変更される。
【００４５】
３．実施形態の効果
本実施形態によれば、以下のような効果が得られる。
まず、鍵盤は平面的な操作子であるから、鍵盤を実写した画像ではどの鍵が押下されているのか、またどの指で押下されているのか解りにくかったが、本実施形態においてはコンピュータグラフィックのアニメーションによって鍵盤が描画されるから、押鍵すべき鍵を色分け表示したり、押鍵された際の凹み状態を強調して表示することができる。これにより、押鍵すべき鍵あるいは押鍵された鍵をユーザは容易に認識することができる。
【００４６】
また、本実施形態によれば、動作モードの切替によって手画像３７，３８として実写画像を用いるのかコンピュータグラフィックを用いるのかを選択できるため、ユーザのレベルに応じて最適な演奏ガイドを表示することができる。すなわち、上級者モードにおいて採用される実写による手画像３７，３８は手指がしなやかに動くため、特に上級者にとって参考になりやすい。
【００４７】
一方、初心者モードにおいて採用される、コンピュータグラフィックのアニメーションによる手画像３７，３８は、演奏に係る指を色分け表示したり、あるいは太く表示する等、他の指とは異なる態様をで表示することが容易である。このため、視認性が高くなり、特に初心者に対して理解しやすい演奏ガイドを行うことができる。
さらに、アニメーションによる手画像３７，３８を採用すると、画像データ量を少なくすることができる。さらに、表示・非表示の切替も容易であるため、例えば片手のみを表示して片手のみのレッスンを行うことも可能である。
【００４８】
また、本実施形態においては、楽譜表示部３２の表示・非表示の切替も可能である。初心者においては、楽譜表示部３２を見ながらピアノロール譜表示部３３および鍵操作表示部３５を見ることは困難であるため、楽譜表示部３２の表示を省略することにより、ピアノロール譜表示部３３および鍵操作表示部３５を一層見やすく表示することが可能になる。また、本実施形態において、ピアノロール譜表示部３３の終端部が鍵操作表示部３５の上端に対向させて表示されるから、初心者においても両者を対応付けて演奏内容を認識することが一層容易になる。
【００４９】
４．変形例
本発明は上述した実施形態に限定されるものではなく、例えば以下のように種々の変形が可能である。
（１）上記実施形態は電子鍵盤楽器において本発明を実現した例を示したが、各構成要素を各種コンピュータ上で動作するソフトウエアによって構成してもよい。その場合、このソフトウエアをＣＤ−ＲＯＭ、フロッピーディスク等の記録媒体に格納して頒布し、あるいは伝送路を通じて頒布することもできる。パーソナルコンピュータ上で上記実施形態と同様の動作を行うためには、パーソナルコンピュータのディスプレイに表示装置９と同様の内容を表示させるとよい。また、ユーザの鍵操作に応じてスクロールバーの色を変更するような操作を行うためには、ユーザの鍵操作をパーソナルコンピュータ側で検出する必要がある。かかる場合には、パーソナルコンピュータにＭＩＤＩ鍵盤等を接続し、ここから供給される演奏情報に基づいて鍵操作を検出するとよい。
【００５０】
（２）また、上記実施形態は電子鍵盤楽器の演奏ガイドを行うものであったが、本発明は鍵盤楽器に限定されるものではなく、擦弦楽器、管楽器等、あらゆる種類の楽器の演奏ガイドに適用されることは言うまでもない。
【００５１】
（３）上記実施形態においては、上級者モードにおいても初心者モードにおいても、鍵盤画像３６はコンピュータグラフィック等によって生成されたものが用いられてた。しかし、上級者モードにおいては、鍵盤画像３６は実写されたものを用いてもよい。すなわち、かかる場合、上級者モードにおいては鍵操作表示部３５は鍵盤画像３６と手画像３７，３８にとを合成して生成されるものではなく、当初から一系統の画像データとして撮影されたものが用いられる。一方、初心者モードにおいては、上記実施形態と同様に、別々に生成された鍵盤画像３６と手画像３７，３８にとを合成して鍵操作表示部３５が形成される。
【００５２】
（４）また、鍵操作表示部３５に表示する画像として、予め鍵盤画像３６と手画像３７，３８とをスーパーインポーズしたものを記憶してもよい。かかる場合には、上級者モード用および初心者モード用の２系統の画像データがハードディスクドライブ１１に予め記憶されることになる。
【００５３】
（５）また、上記実施形態においてピアノロール譜表示部３３は自動演奏データに基づいてリアルタイムに作成されたが、ピアノロール譜表示部３３も自動演奏データに対応付けて予めＡＶＩフォーマット等の画像データとして作成しておき、ハードディスクドライブ１１に記憶させてもよい。
【００５４】
（６）上記実施形態においては、初心者モード用の手画像３７，３８は、予めコンピュータグラフィックのアニメーションとして作成されていた。しかし、特開平１０−９１０６１号公報にあるように、複数の手の画像データを用意しておき、楽曲の演奏情報に基づいて予め作成した「手の前後位置」、「手の種類」、「指情報」に基づいて、各音に対応する演奏手指を描画するようにしてもよい。この場合にも、演奏手の描画像は、演奏情報に基づいて、所定のテンポ（例えばテンポ１００）で、鍵盤画像３６に応じた大きさで描画される。
【００５５】
本変形例においても、演奏手の描画像における指を実写の指よりも太く描いたり、押離鍵時にはその指の色または表示態様を変化させ、視認性が高くなるようにするとよい。例えば、押鍵時にはその指の色を水色に設定し、離鍵時には黄色に設定するとよい。また、各指に爪を描き、この爪によって指の動きを表現してもよい。例えば、押鍵時には次第に爪が短くなり爪が隠れるとともにより暗い色になり、離鍵時には爪が次第に長くなるとともに明るい色になるようにするとよい。
【００５６】
（７）さらに、上記実施形態においては、パネルスイッチ２を介して設定されたテンポで演奏ガイドが行われたが、ユーザの操作がガイド内容と一致するまで処理を待機させ、一致したことを条件として次の操作のガイドを行うようにしてもよい。かかる技術は、特開平１０−９１０６１号公報に詳述されている。
【００５７】
【発明の効果】
以上説明したように本発明によれば、動作モードに応じて上級者モードまたは初心者モードにそれぞれ最適な画像を表示するから、ユーザは操作画像によって操作内容の微妙なニュアンスを学びとることができるとともに、演奏操作子の状態を明確に把握することが可能である。すなわち、上級者モードにおいては、演奏者が演奏操作子の操作を行う状態を撮影して成る画像を再生するから、その手指のしなやかな動きは、特に上級者にとって操作内容の微妙なニュアンスを学ぶ際に参考になりやすい。一方、初心者モードにおいては、演奏者が演奏操作子の操作を行う状態を描写して成る画像を生成するから、例えば、押鍵すべき鍵を色分け表示したり、押鍵された際の凹み状態を強調して表示したり、演奏に係る指を色分け表示したり、あるいは太く表示する等、他の指とは異なる態様をで表示することが容易である。このように、初心者モードにおいては容易に視認性を高めることができ、特に初心者に対して理解しやすい演奏ガイドを行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の電子鍵盤楽器のブロック図である。
【図２】上記実施形態のデータ構造を示す図である。
【図３】上記実施形態の表示装置９の表示例を示す図である。
【図４】鍵操作表示部３５を合成する原理を説明する図である。
【図５】初心者モードにおける鍵操作表示部３５の表示例を示す図である。
【図６】上記実施形態のメインルーチンのフローチャートである。
【図７】上記実施形態のパネル処理ルーチンのフローチャートである。
【図８】上記実施形態の演奏ガイド処理ルーチンのフローチャートである。
【図９】上記実施形態のピアノロール画像作成処理ルーチンのフローチャートである。
【図１０】上記実施形態の自動演奏処理ルーチンのフローチャートである。
【符号の説明】
１……鍵盤、２……パネルスイッチ、３……押鍵検出回路、４……スイッチ検出回路、５……ＣＰＵ、６……ＲＯＭ、７……ＲＡＭ、８……タイマ、９……表示装置、１０……フロッピディスクドライブ、１１……ハードディスクドライブ、１１……ＨＤＤ、１２……ＣＤ−ＲＯＭドライブ、１３……ＭＩＤＩインターフェース、１４……通信インターフェース、１５……音源回路、１６……効果回路、１７……サウンドシステム、１８……バス、２１……ヘッダデータ、２２……デュレーションデータ、２３……ノートイベントデータ、２４……小節線データ、２５……テンポデータ、２６……ファイルエンドデータ、３２……楽譜表示部、３２ａ……演奏ポインタ、３３……ピアノロール譜表示部、３３ａ……小節線、３３ｂ……拍線、３５……鍵操作表示部、３６……鍵盤画像、３７，３８……手画像、１００……ＭＩＤＩ機器、１０１……通信ネットワーク、１０２……サーバコンピュータ。

Claims

演奏情報をメモリから読み出す過程と、
該演奏情報に基づいて、演奏操作子の操作状況を示す演奏操作子画像を生成する過程と、
上級者モードまたは初心者モードの動作モードの指定を受ける過程と、
前記上級者モードの指定を受けたことを条件として、前記演奏情報に基づいて、演奏者が前記演奏操作子の操作を行う状態を撮影して成る画像を操作画像として再生する過程と、
前記初心者モードの指定を受けたことを条件として、前記演奏情報に基づいて、演奏者が前記演奏操作子の操作を行う状態を描写して成る画像を操作画像として生成する過程と、
前記操作画像が優先して表示されるように、前記演奏操作子画像と前記操作画像とを合成して表示する表示過程と
を有することを特徴とする演奏ガイド方法。
前記演奏操作子画像は、鍵盤を上方から見た状態を描写して成る描写画像であり、前記上級者モードの操作画像の撮影時における鍵盤に対応する大きさを有し、押下されるべき鍵を他の鍵とは異なる態様で描画して成る画像である
ことを特徴とする請求項１記載の演奏ガイド方法。
演奏情報をメモリから読み出す過程と、
上級者モードまたは初心者モードの動作モードの指定を受ける過程と、
前記上級者モードの指定を受けたことを条件として、該演奏情報に基づいて、演奏操作子および演奏者が前記演奏操作子の操作を行う状態を撮影して成る撮影画像を表示する第１の表示過程と、
前記初心者モードの指定を受けたことを条件として、演奏操作子の操作状況を示す演奏操作子画像を生成する過程と、
前記初心者モードの指定を受けたことを条件として、前記演奏情報に基づいて、演奏者が前記演奏操作子の操作を行う状態を描写して成る画像を操作画像として生成する過程と、
前記初心者モードの指定を受けたことを条件として、前記操作画像が優先して表示されるように、前記演奏操作子画像と前記操作画像とを合成して表示する第２の表示過程と
を有することを特徴とする演奏ガイド方法。
請求項１ないし３の何れかに記載の方法を実行することを特徴とする演奏ガイド装置。
請求項１ないし３の何れかに記載の方法を処理装置に実行させるプログラムを記憶したことを特徴とする記録媒体。