JP3233103B2 - 運指データ作成装置及び運指表示装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、楽器演奏時の運
指を表示してその演奏教習を支援する運指データ作成装
置及び運指表示装置に係り、特に運指表示に関するデー
タの取扱いに改良を加えた運指データ作成装置及び運指
表示装置に関する。

【０００２】

【従来の技術】ピアノなどのように手指によって演奏さ
れる楽器については、その演奏教習時に実際の手指の運
指状態を目視で確認させることは重要な教習方法の一つ
である。この運指の教習方法としては、実際に先生の演
奏を見てその運指方法を習得する方法、ビデオカメラな
どによって録画された先生の運指に関する映像、又はそ
れをアニメーション化した映像などを見てその運指方法
を習得する方法などがある。

【０００３】

【発明が解決しようとする課題】従来の運指習得方法の
場合、実際に先生の演奏を見て運指方法を習得する方が
最も分かり易く習得度も高いのが現状である。しかしな
がら、実際に先生に教わるということは時間的や場所的
な困難性を伴う。故に実際はビデオなどの映像を見なが
ら自宅で習得するという場合が多い。これだと繰り返し
練習する場合に、ビデオの巻き戻し再生といった処理を
繰り返さなければならないこと、また、再生スピードを
調整してスローモションで再生する場合に映像が乱れる
などの画質劣化が起こるという問題がある。また、繰り
返し再生することによってメディア（ビデオテープ等）
の劣化が顕著になるという問題がある。

【０００４】この発明は、楽器演奏時の運指を表示して
その演奏教習を支援する場合の運指に関するデータ量を
増大させることなく、データの記録、再生、転送を効率
的に行うことのできる運指データ作成装置を提供するこ
とを目的とする。

【０００５】この発明は、楽器演奏時の運指を表示して
その演奏教習を支援する場合に、演奏者のレベルに応じ
た任意のスピードで運指に関する映像を画質劣化させる
ことなく表示できる運指表示装置を提供することを目的
とする。

【０００６】

【課題を解決するための手段】 請求項１に記載の本発
明に係る運指データ作成装置は、演奏者が楽器を演奏す
る際の手指の動きを検出する複数のモーションキャプチ
ャー手段と、前記複数のモーションキャプチャー手段の
うち、任意のモーションキャプチャー手段を選択するモ
ーションキャプチャー選択手段と、前記モーションキャ
プチャー選択手段で選択されたモーションキャプチャー
手段によって検出した前記演奏者の手指の動きから、運
指データを生成する運指データ生成手段と、前記楽器の
演奏に対応した楽音演奏データを生成する楽音演奏デー
タ生成手段と、前記運指データの運指表示タイミングと
前記楽音演奏データの発音タイミングとを関連付けてそ
れらを同一のファイル又は別々のファイルとして記録媒
体に記録する記録手段とを備えたことを特徴とする。

【０００７】 請求項２に記載の本発明に係る運指デー
タ作成装置は、前記記録媒体から前記運指データ及び前
記楽音演奏データを読み出すデータ読み出し手段と、前
記データ読み出し手段によって読み出された前記運指デ
ータ及び前記楽音演奏データに基づいて手指の運指状態
を表示する表示手段とを備えたものである。記録手段か
ら読み出された前記運指データは手指の表示に必要な最
低数の代表点の動きを記録しており、楽音演奏データは
この運指データのタイミングに関するデータを記録して
いるので、表示手段は前記運指データ及び楽音演奏デー
タに基づいて実際の手指の運指状態を表示することがで
きる。

【０００８】 請求項４に記載された本発明に係る運指
表示装置は、運指データと楽音演奏データとを記録して
いる記録媒体と、前記記録媒体から少なくとも前記運指
データを読み出すデータ読み出し手段と、前記データ読
み出し手段によって読み出された前記運指データに基づ
いて手指の各指に動物、記号、文字などの固有の図柄を
当てはめて、運指状態を表示する表示手段とを備えたも
のである。運指データは手指の表示に必要な最低数の代
表点の動きだけを記録したものなので、手指の各指に動
物、記号、文字などの固有の図柄を当てはめることによ
って、各指の運指状態を容易に把握することができるよ
うになる。例えば、親指に馬の図柄ら人指し指が犬の図
柄などのようにすることによって、その運指状態を幼児
や子どもなどに分かり易く説明することができる。

【０００９】 請求項３に記載された本発明に係る運指
データ作成装置は、前記記録媒体から前記運指データ及
び前記楽音演奏データを読み出すデータ読み出し手段
と、前記データ読み出し手段によって読み出された前記
楽音演奏データに基づいた楽音を発生する発音処理を行
う楽音演奏データ処理手段と、前記データ読み出し手段
によって読み出された前記運指データに基づいた手指の
運指状態の表示を前記楽音演奏データ処理手段の対応す
る楽音演奏データの処理に先行して行う表示手段とを備
えたものである。楽音演奏データの発音処理に先行し
て、運指データに基づいた運指状態の表示を行うことに
よって、演奏支援を行うものである。すなわち、運指を
楽音演奏処理よりも先に表示して、演奏者に演奏時の運
指を知らせ、演奏支援を行う。

【００１０】 請求項２に記載された本発明に係る運指
データ作成装置の一実施態様として、前記データ読み出
し手段によって読み出された前記楽音演奏データに基づ
いた楽音を発生する発音処理及び音階や押鍵位置などを
表示する演奏支援に関する表示処理の少なくとも一方の
処理を行う楽音演奏データ処理手段を備えるようにして
よい。これにより、運指表示の他に、読み出された楽音
演奏データに基づいて発音処理や演奏支援に関する表示
処理を行うことができる。

【００１１】 上記装置の一実施態様として、前記表示
手段は、手指の運指状態を表示する際に時間的又は空間
的に異なる前記運指データ間のデータを補間処理によっ
て生成し、前記手指の運指状態が滑らかに表示されるよ
うにしたものであってよい。運指データは手指の表示に
必要な最低数の代表点の動きだけを記録したものであ
り、或る所定のテンポで押鍵された場合におけるデータ
なので、そのテンポで再生する場合には滑らかに表示さ
れるが、テンポが早くなった場合には運指データが不足
し、運指データと運指データとの間の時間的又は空間的
な手指の運指状態を表示することができなくなる。そこ
で、そのような場合には運指データ間のデータを補間処
理によって作成し、手指の運指状態が滑らかに表示され
るようにしたものである。

【００１２】 上記装置の一実施態様として、前記運指
データを、演奏者の手の位置と各指の位置との相対的位
置関係を示すデータで構成するようにしてよい。運指デ
ータは手指の表示に必要な最低数の代表点の動きだけを
記録したものであるが、この発明はそれを具体的に示し
たものである。すなわち、運指データを手の位置と各指
の位置との相対的な位置関係で示すようにした。

【００１３】 上記装置の一実施態様として、前記運指
データに基づいて手指の運指状態をポリゴンなどの図形
要素で描画表示するようにしてよい。運指データが手の
位置と各指の位置との相対的な位置関係を示すものなの
で、手指の状態をポリゴンなどの図形要素を用いて描画
することによってより簡単に手指の運指状態を表示する
ことができる。

【００１４】

【発明の実施の形態】以下、添付図面を参照してこの発
明の実施の形態を詳細に説明する。図１はこの発明に係
る運指表示装置を内蔵した電子楽器の実施の形態を示す
ハード構成ブロック図である。この実施の形態では１つ
のＣＰＵ２１によって運指表示に関する処理等を行う電
子楽器を例に説明する。ＣＰＵ２１はこの電子楽器全体
の動作を制御するものである。このＣＰＵ２１に対し
て、データ及びアドレスバス２Ｐを介してプログラムメ
モリ（ＲＯＭ）２２、ワーキングメモリ（ＲＡＭ）２
３、マウス検出回路２４、スイッチ検出回路２５、表示
回路２６、外部記憶装置２７、音源回路２８、効果回路
２９、楽音信号インターフェイス２Ａ、運指データイン
ターフェイス２Ｂ、通信インターフェイス２Ｃ及びタイ
マ２Ｄが接続されている。

【００１５】ＣＰＵ２１はプログラムメモリ２２及びワ
ーキングメモリ２３内の各種プログラムや各種データ、
及び外部記憶装置２７や楽音信号インターフェイス２Ａ
から取り込まれた楽音制御情報（ＭＩＤＩデータ）や運
指データインターフェイス２Ｂから取り込まれた運指情
報に基づいて動作する。この実施の形態では、外部記憶
装置２７として、ハードディスクドライブ（ＨＤＤ）、
フロッピーディスクドライブ（ＦＤＤ）、ＣＤ−ＲＯＭ
ドライブ、光磁気ディスク（ＭＯ）ドライブ、ＺＩＰド
ライブ、ＰＤドライブ、ＤＶＤなどを用いてもよい。ま
た、楽音信号インターフェイス２Ａを介して他の楽音入
力装置（例えば、ＭＩＤＩ機器）２ＪなどからＭＩＤＩ
データなどを取り込んでもよいし、通信インターフェイ
ス２Ｃを介してネット上からＭＩＤＩデータなどを取り
込んでもよい。ＣＰＵ２１は、ＭＩＤＩデータを音源回
路２８に供給し、発音処理を行う。なお、内蔵の音源回
路２８の他にＭＩＤＩケーブルを介して外部に接続され
た音源回路を用いて発音処理を行うようにしてもよい。

【００１６】プログラムメモリ２２はＣＰＵ２１のシス
テム関連のプログラムや各種のパラメータ及びデータな
どを記憶しているものであり、リードオンリメモリ（Ｒ
ＯＭ）で構成されている。ワーキングメモリ２３はＣＰ
Ｕ２１がプログラムを実行する際に発生する各種のデー
タを一時的に記憶するものであり、ランダムアクセスメ
モリの所定のアドレス領域がそれぞれ割り当てられ、レ
ジスタやフラグ等として利用される。またプログラムメ
モリ２２に動作プログラム、各種データなどを記憶させ
る代わりに、ＣＤ−ＲＯＭドライブ等の外部記憶装置２
７に自動演奏データや伴奏データや楽音波形データなど
の各種データ及び任意の動作プログラム、運指データ、
運指データに関する図柄や記号に関するデータなどを記
憶していてもよい。外部記憶装置２７に記憶されている
動作プログラムや各種データは、ワーキングメモリ２３
等に転送記憶させることができる。これにより、動作プ
ログラムの新規のインストールやバージョンアップを容
易に行うことができる。

【００１７】なお、通信インターフェイス２Ｃをデータ
及びアドレスバス２Ｐに接続し、この通信インターフェ
イス２Ｃを介してＬＡＮ（ローカルエリアネットワー
ク）やインターネット、電話回線などの種々の通信ネッ
トワーク２Ｌ上に接続可能とし、他のサーバコンピュー
タ２Ｍとの間でデータのやりとりを行うようにしてもよ
い。これにより、サーバコンピュータ２Ｍから動作プロ
グラムや各種データをダウンロードすることもできる。
この場合、クライアントとなる電子楽器から、通信イン
ターフェイス２Ｃ及び通信ネットワーク２Ｌを介してサ
ーバコンピュータ２Ｍに動作プログラムや各種データの
ダウンロードを要求するコマンドを送信する。サーバコ
ンピュータ２Ｍは、このコマンドに応じて、所定の動作
プログラムやデータを、通信ネットワーク２Ｌを介して
他の電子楽器に送信する。電子楽器では、通信インター
フェイス２Ｃを介してこれらの動作プログラムやデータ
を受信して、外部記憶装置の一部であるハードディスク
ドライブ等にこれらのプログラムやデータを蓄積する。
これによって、動作プログラム及び各種データのダウン
ロードが完了する。

【００１８】なお、本発明は、本発明に対応する動作プ
ログラムや各種データをインストールした市販のパーソ
ナルコンピュータ等によって、実施させるようにしても
よい。その場合には、本発明に対応する動作プログラム
や各種データを、ＣＤ−ＲＯＭやフロッピーディスク等
の、パーソナルコンピュータが読み込むことができる記
憶媒体に記憶させた状態で、ユーザーに提供してもよ
い。また、そのパーソナルコンピュータ等が、ＬＡＮ、
インターネット、電話回線等の通信ネットワークに接続
されている場合には、通信ネットワークを介して、動作
プログラムや各種データ等を他のパーソナルコンピュー
タ等に提供してもよい。

【００１９】マウス２Ｅはパソコン等に用いられるポイ
ンティングデバイスである。マウス２Ｅからの入力信号
はマウス検出回路２４によって位置情報に変換され、デ
ータ及びアドレスバス２Ｐに供給される。スイッチ検出
回路２５はパネルスイッチ２Ｆ上の各スイッチ群に対応
して設けられており、これらの各スイッチ群の操作状況
に応じたスイッチオン／オフイベントを出力する。パネ
ルスイッチ２Ｆ上のスイッチ群としては、例えば運指情
報や楽音信号の記録モードや再生モードを変更するモー
ド変更スイッチ、運指データの運指映像を再生するのか
又はＭＩＤＩデータの演奏を行うのか、その再生時のテ
ンポ又は音色を変更するのかなどの各種の再生条件を変
更する再生条件変更スイッチ、モーションキャプチャー
の方式を変更するキャプチャー方式変更スイッチ、楽音
入力手段をＭＩＤＩデータで入力するか、マイクロフォ
ンからアナログ信号として入力するかを変更する楽音入
力手段変更スイッチなどの録音条件の変更スイッチ、そ
の他種々の条件の変更を指示する変更スイッチなどが設
けられている。この他にも発生すべき楽音の音色、音
量、音高、効果等を選択、設定、制御するための各種の
操作子を有している。これ以外のスイッチも多数存在す
るがここでは省略する。なお、これらのハード的なスイ
ッチの他には、ディスプレに各種のスイッチを表示し、
それをマウス２Ｅでソフト的に選択できるようにしても
よい。表示回路２６はディスプレイ２Ｇの表示内容を制
御するものであり、疑似的な鍵盤や運指の様子を二次元
的又は三次元的に表示する。ディスプレイ２Ｇは液晶表
示パネル（ＬＣＤ）等から構成され、表示回路２６によ
ってその表示動作を制御される。

【００２０】音源回路２８は、複数チャンネルで楽音信
号の同時発生が可能であり、アドレスバス２Ｐを経由し
て与えられた楽音データ（ＭＩＤＩ規格に準拠したデー
タ：ＭＩＤＩデータ）を入力し、この情報に基づき楽音
信号を発生する。音源回路２８において複数チャンネル
で楽音信号を同時に発音させる構成としては、１つの回
路を時分割で使用することによって複数の発音チャンネ
ルを形成するようなものや、１つの発音チャンネルが１
つの回路で構成されるような形式のものであってもよ
い。また、音源回路２８における楽音信号発生方式はい
かなるものを用いてもよい。

【００２１】効果回路２９は音源回路２８からの楽音デ
ータに種々の効果を付与し、効果の付与された楽音デー
タをサウンドシステム２Ｈに出力する。効果回路２９に
よって効果の付与された楽音データは、アンプ及びスピ
ーカからなるサウンドシステム２Ｈを介して発音され
る。タイマ２Ｄは時間間隔を計数したり、自動演奏のテ
ンポを設定したりするためのテンポクロックパルスを発
生するものである。このテンポクロックパルスの周波数
はスイッチ群の中のテンポスイッチ（図示していない）
によって調整される。タイマ２Ｎからのテンポクロック
パルスはＣＰＵ２１に対してインタラプト命令として与
えられ、ＣＰＵ２１はインタラプト処理により自動演奏
時における各種の処理を実行する。

【００２２】楽音入力装置２Ｊは発音すべき楽音の音
高、音長、ベロシティなどのデータを入力するものであ
り、鍵盤楽器の鍵盤又はマイクロフォン等である。楽音
入力装置２Ｊが鍵盤の場合、各鍵には対応したキースイ
ッチが設けられ、また必要に応じて押圧力検出装置等の
タッチ検出手段が設けられる。なお、以下の説明では鍵
盤楽器の場合の運指方法を例に説明する。従って、楽音
入力装置２Ｊは鍵盤の離鍵状態から押鍵状態への変化を
検出してキーオンイベントを出力し、押鍵状態から離鍵
状態への変化を検出してキーオフイベントを出力すると
共にそれぞれのキーオンイベント及びキーオフイベント
に関する鍵の音高を示すノートナンバを出力する。楽音
入力装置２Ｊはこの他にも鍵押し下げ時の押鍵操作速度
や押圧力等を判別してベロシティデータやアフタタッチ
データを出力する。楽音入力装置２Ｊは、鍵盤以外の演
奏操作子でもよいことはいうまでもない。楽音データイ
ンターフェイス２Ａは楽音入力装置２Ｊからの各イベン
ト信号又はマイクロフォンからの音信号を所定の方式に
よってＭＩＤＩデータに変換して、データ及びアドレス
バス２Ｐ上に出力する。なお、マイクロフォンから入力
された音声又は楽器音をＭＩＤＩデータに変換する技術
は公知の技術を適用する。

【００２３】運指入力装置２Ｋは、３Ｄコンピュータグ
ラフィックスによる映像制作に使用されるモーションキ
ャプチャーと呼ばれる技術によって、演奏時の複雑な人
間の手指の空間的絶対位置情報すなわち手指に対応した
リフレクタの位置情報を取り込むものである。モーショ
ンキャプチャーシステムとしては、光学式のものを用い
たり、磁気式のものを用いたり、手指の先端に設けられ
た圧力センサに応じてどの指がどの鍵を押鍵しているの
か検出する押鍵センサを用いて手指の動作に関するデー
タを取り込む。すなわち、光学式のモーションキャプチ
ャーシステムは人間の手指の各間接部分にリフレクタ
（反射物）を取り付け、このリフレクタの映像を複数の
カメラシステムで撮像し、それに基づいて手指の動きを
取り込む。磁気式のモーションキャプチャーシステムは
このリフレクタの代わりに磁気センサを用いて手指の動
きを取り込む。また、手指の先端に圧力センサを設けた
ものは、これらのモーションキャプチャーシステムの補
助的役割として用いられる。すなわち、モーションキャ
プチャーによる手指の動きだけでは、実際の押鍵タイミ
ングを認識しにくい場合などに、この手指に設けられた
圧力センサの信号の変化からその押鍵タイミングを認識
し、どの指がどの鍵を押鍵したか離鍵したかも検出す
る。以下、光学式のものをモーションキャプチャー１と
呼び、磁気式のものをモーションキャプチャー２と呼
ぶ。なお、このモーションキャプチャー技術については
公知の技術を適用するので、ここではその説明を省略す
る。運指入力装置２Ｋによって取り込まれたリフレクタ
又は磁気センサの位置情報は運指データインターフェイ
ス２Ｂによって運指データとしてデータ及びアドレスバ
ス２Ｐ上に出力され、ＣＰＵ２１によって処理される。
ＣＰＵ２１はアニメーションシステムを利用して、取り
込まれた運指データに基づいて、人間の手指の映像を作
成する。作成された手指の映像は表示回路２６によって
ディスプレイ２Ｇ上に表示される。

【００２４】次に、ＣＰＵ２１によって実行される運指
表示装置の処理の一実施の形態を図２から図７までのフ
ローチャートに基づいて説明する。図２はこの運指表示
装置のメインフローの一例を示す図である。まず、最初
のステップで初期設定処理が行われる。この初期設定処
理では、各パラメータの設定や各レジスタの初期化など
が行われる。次のステップのパネル設定処理では、図３
に示されるようにパネル上のモード変更スイッチ、再生
条件変更スイッチ、録音条件変更スイッチ、その他の条
件変更スイッチが操作されたかどうかに応じた処理を行
う。モード変更スイッチが操作された場合にはモード変
更イベントありと判定されるので、現行のモードにて処
理を実施中であるか否かを判定し、現行モードと同じモ
ード変更イベントの場合には次の再生条件変更イベント
の有無を判定するステップに進み、現行のモードと異な
るモード変更イベントの場合には、モードを現行モード
とは異なる録音モード又は再生モードに変更し、次の再
生条件変更イベントの有無を判定するステップに進む。

【００２５】再生条件変更スイッチが操作された場合に
は、再生条件変更イベントありと判定されるので、その
イベントが再生するデータの変更を指示するものなのか
どうか、再生時のテンポ変更を指示するイベントなの
か、音色変更を指示するイベントなのかどうか、又はそ
の他の条件の変更を指示するイベントなのかどうかの判
定を行い、その判定結果に応じた処理を行う。再生デー
タの変更を指示するイベントの場合にはその指示に従っ
た運指データ又はＭＩＤＩデータを読み出すようにす
る。テンポ変更イベントの場合にはその指示に従ったテ
ンポに変更する。音色変更イベントの場合にはその指示
に従った音色に変更する。なお、その他の条件の変更を
指示するイベントの場合にはそのイベントに応じて再生
条件の変更処理を行う。

【００２６】録音条件変更スイッチが操作された場合に
は、録音条件変更イベント有りと判定されるので、その
イベントがモーションキャプチャー方式の変更を指示す
るイベントなのかどうか、楽音入力手段の変更を指示す
るイベントなのかどうかの判定を行い、その判定結果に
応じた処理を行う。モーションキャプチャー方式の変更
を指示するイベントの場合にはその指示に従ってモーシ
ョンキャプチャー方式を変更する。楽音入力手段の変更
を指示するイベントの場合には、その指示に従いＭＩＤ
Ｉデータ入力又はマイクロフォン入力に変更する。な
お、その他の条件の変更を指示するイベントの場合には
そのイベントに応じて録音条件の変更処理を行う。

【００２７】パネル設定処理が終了した場合には、図２
に戻って、現在、記録モードが選択されているのか、再
生モードが選択されているのかを判定し、それぞれのモ
ードに応じた処理を行う。記録モードが選択されている
場合には、図４に示すような記録モード処理が行われ
る。図４の記録モード処理は、録音開始イベント又は録
音停止イベントの有無に応じた処理を行う。録音開始イ
ベントありの場合には、運指データピックアップ記録処
理と楽音データピックアップ記録処理を行う。運指デー
タピックアップ記録処理は、運指データインターフェイ
ス２Ｂを経由してデータ及びアドレスバス２Ｐ上に入力
される運指入力装置２Ｋからの運指データをピックアッ
プし、それを所定の記憶領域に記録するものである。楽
音データピックアップ記録処理は、楽音データインター
フェイス２Ａを経由してデータ及びアドレスバス２Ｐ上
に入力される楽音入力装置２Ｊからの楽音データをピッ
クアップし、それを所定の記憶領域に記録するものであ
る。このとき、ピックアップされた運指データと楽音デ
ータはそれぞれ運指表示するタイミングと発音するタイ
ミングとが関連付けられて記録される。これによって、
運指データと楽音データを同期させて処理することや、
いずれか一方を先行させて処理することができる。

【００２８】運指データピックアップ処理の詳細は、図
５に示すような処理であり、モーションキャプチャーの
モードがモーションキャプチャー１なのかモーションキ
ャプチャー２なのかを判定し、それぞれのモードに応じ
た処理を行う。モーションキャプチャー１の場合には、
カメラシステムを駆動し、手指の映像を取り込み、リフ
レクタの動きを解析し、それを運指データとして記録す
る。運指データは、演奏者の手の位置と各指の位置との
関係を相対的に示したものであり、その表示に必要な最
低数の代表点の動きを記録して構成される。従って、手
指の図形要素を視覚化するのは、再生側のアプリケーシ
ョンすなわち図１のＣＰＵ２１の処理によって行われ
る。従って、運指データ自体のデータ量は手指の画像を
撮像する場合に比べて比較的少ない情報量で構成され、
記録、伝送に適したデータ構成である。モーションキャ
プチャー２の場合には、磁気センサの信号を取り込み、
磁気センサ信号に基づいて手指の動きを解析し、それを
運指データとして記録する。楽音データピックアップ記
録処理の詳細は、図６に示すような処理であり、楽音入
力手段２Ｊの入力モードがＭＩＤＩモードなのか、リア
ル楽音モード（マイクロフォンを使った入力モード）な
のかを判定し、それぞれのモードに応じた処理を行う。
ＭＩＤＩモードの場合には、入力されたＭＩＤＩデータ
を順次記録するという処理を行う。リアル楽音モードの
場合は、マイクロフォンからのアナログの入力音声信号
又は楽音信号を取り込み、その入力音声信号又は楽音信
号の波形に基づいてピッチを測定し、音高（ノート）を
決定し、決定された音高（ノート）をＭＩＤＩデータフ
ォーマットで記録する。一方、図４の判定が録音停止イ
ベントありと判定された場合には、運指データのピック
アップを停止すると共に、楽音データのピックアップを
停止し、記憶領域への記録処理を共に終了する。

【００２９】一方、図２の判定で再生モードが選択され
ていると判定された場合には、図７に示すような再生モ
ード処理が行われる。再生モード処理は、再生開始イベ
ント又は再生停止イベントに応じた処理を行う。再生開
始イベントと判定された場合には、予め選択されている
運指データとＭＩＤＩデータを所定の記憶領域から読み
出す。そして、読み出された運指データをそのときの再
生テンポに応じて補間する。すなわち、運指データはあ
る特定のテンポに対応して記録されたデータなので、テ
ンポの値がその特定のテンポの値よりも小さくなったに
は運指データの再生時に画像データが飛び飛びの値を取
るようになるために、手指の動きが離散的となり、映像
が不安定なものとなる。そこで、このステップでは運指
データを補間して、再生テンポに応じた手指の動きが滑
らかになるようにしている。逆にテンポの値が特定のテ
ンポの値よりも大きい場合には、逆に運指データを間引
いて画像処理の負担を少なくする。このようにして補間
処理された運指データ又は間引かれた運指データに基づ
いてポリゴン等で表現した画像データを作成する。な
お、運指データの記録密度を圧縮するために、運指デー
タを間引いて記録しておき、それを演奏テンポに応じて
補間処理するようにしてもよい。練習時にテンポの設定
を変更したい場合など、自由に変更することができ、ま
た、滑らかで見やすい運指状態を表示することができ
る。また、運指データそのものの代表点が少ないので、
演算に要する時間も少なくて済み、ＣＰＵの負担を軽減
することもできる。

【００３０】運指データの各指に図柄や記号などが割り
当てられている場合には、それらの図柄データ又は記号
データを所定のテーブルから読み出す。ＭＩＤＩデータ
に関しては、そのＭＩＤＩデータに基づいて音階を検出
し、予め設定されている再生条件（テンポ、音色等）に
応じて発音処理を行う。すなわち、ＭＩＤＩデータに基
づいた通常の自動演奏処理を行う。この自動演奏処理に
同期させて、ポリゴンの画像データ、すなわち鍵盤とそ
の手指の運指状態、その運指の各指に割り当てられてい
る図柄又は記号、音階などの各種情報をディスプレイ２
Ｇ上に表示する。一方、図７の判定で再生停止イベント
であると判定された場合には、運指データとＭＩＤＩデ
ータの読み出しとその出力処理を停止する。手指の運指
状態は、ボリゴンなどで表現した手指図形要素等を、運
指データに従って鍵盤図形上を動かすことに表示される
ようになる。

【００３１】図２の記録モード又は再生モードに対応し
た処理が終了したら、今度は、楽音データインターフェ
イス２Ａを経由して入力される楽音入力装置２Ｊからの
楽音データがキーオンイベントなのかキーオフイベント
なのかを判定して、それに対応した処理を行う。すなわ
ち、鍵盤操作に応じて発音処理を行う電子楽器の基本的
な発音処理又は消音処理を行う。キーオンイベントの場
合には、対応する鍵の楽音データの出力処理（発音処
理）を行い、キーオフイベントの場合には、対応する鍵
の楽音データの停止処理（消音処理）を行う。

【００３２】図８は、本実施例の運指表示装置の表示画
面の一例を示す図であり、各指に動物の図柄が割り当て
られたものである。左手には左向きの動物の図柄が、右
手には右向きの動物の図柄がそれぞれ割り当てられる。
このように動物の図柄の割り当てられた手指がアニメー
ションシステム上で動作することになる。これによっ
て、どの指が押鍵に関与しているのかが視覚的に容易に
認識可能である。また、鍵盤などの白鍵や黒鍵中にこれ
らの動物の図柄を表示して、押鍵ガイドを行うようにし
てもよい。これにより、押鍵される鍵と手指との関係を
操作者に容易に認識させることができるようになり、運
指の練習に大きな効果を与えることができる。また、図
柄の色を押鍵の順番に従って色替えしてもよい。なお、
図柄は動物以外の人間の父母姉兄赤ちゃんなどの図柄
や、『１，２，３，４，５，・・・』、『Ａ，Ｂ，Ｃ，
Ｄ，Ｅ，・・・』、『あ，い，う，え，お，・・・』な
どの文字記号などを用いてもよい。

【００３３】なお、上述の実施の形態では音源回路、自
動演奏装置及び運指表示装置を内蔵した電子楽器につい
て説明したが、電子楽器と、パーソナルコンピュータを
接続して、パーソナルコンピュータのディスプレイ上に
運指映像を表示してもよい。また、図１のパネルスイッ
チ２Ｆをパーソナルコンピュータのキーボードで代用し
てもよい。鍵盤楽器に限らず、弦楽器タイプ、管楽器タ
イプ、打楽器タイプ等の形態でもよい。音源装置、自動
演奏装置などを内蔵した電子楽器に限らず、それぞれが
別体の装置であり、ＭＩＤＩや各種ネットワーク等の通
信手段を用いて各装置を接続するものであってもよい。

【００３４】上述の実施の形態では、従来技術として確
立しているモーションキャプチャー方式を用いて運指デ
ータを生成する場合について説明したが、ピアノの運指
の場合には押鍵と離鍵の単純な繰り返し動作なので、通
常のモーションキャプチャー技術のように複数台のカメ
ラシステムを駆動して手指の映像を認識しなくても、１
台のカメラを用いて、すなわち、鍵盤の上面側にカメラ
を設け、そこから手指の動き（リフレクタ）の動きを撮
影し、それに基づいて運指データを作成するようにして
もよい。この場合、手指に押鍵センサを設け、押鍵又は
離鍵のタイミングを検出することによって、より正確な
運指データを作成することができる。

【００３５】

【発明の効果】この発明によれば、楽器演奏時の運指を
表示してその演奏教習を支援する場合の運指に関するデ
ータ量を増大させることなく、データの記録、再生、転
送を効率的に行うことのできができるという効果があ
る。

【００３６】この発明によれば、楽器演奏時の運指を表
示してその演奏教習を支援する場合に、演奏者のレベル
に応じた任意のスピードで運指に関する映像を画質劣化
させることなく表示することができるという効果があ
る。

【図面の簡単な説明】

【図１】 この発明に係る運指データ作成装置及び運指
表示装置を内蔵した電子楽器の実施の形態を示すハード
構成ブロック図である。

【図２】 この発明に係る運指表示装置のメインフロー
の一例を示す図である。

【図３】 図２のパネル設定処理の詳細を示す図であ
る。

【図４】 図２の記録モード処理の詳細を示す図であ
る。

【図５】 図４の運指データピックアップ記録処理の詳
細を示す図である。

【図６】 図４の楽音データピックアップ記録処理の詳
細を示す図である。

【図７】 図２の再生モード処理の詳細を示す図であ
る。

【図８】 本実施例の運指表示装置の表示画面の一例を
示す図である。

【符号の説明】

２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…マ
ウス検出回路、２５…スイッチ検出回路、２６…表示回
路、２７…外部記憶装置、２８…音源回路、２９…効果
回路、２Ａ…楽音データインターフェイス、２Ｂ…運指
データインターフェイス、２Ｃ…通信インターフェイ
ス、２Ｃ…鍵盤、２Ｄ…タイマ、２Ｅ…マウス、２Ｆ…
パネルスイッチ、２Ｇ…ディスプレイ、２Ｈ…サウンド
システム、２Ｊ…楽音入力装置、２Ｋ…運指入力装置、
２Ｌ…通信ネットワーク、２Ｍ…サーバコンピュータ、
２Ｐ…アドレス及びデータバス

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10H 1/00 101 - 102 G09B 15/00 G10G 1/02

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 演奏者が楽器を演奏する際の手指の動き
   を検出する複数のモーションキャプチャー手段と、 前記複数のモーションキャプチャー手段のうち、任意の
   モーションキャプチャー手段を選択するモーションキャ
   プチャー選択手段と、 前記モーションキャプチャー選択手段で選択されたモー
   ションキャプチャー手段によって検出した前記演奏者の
   手指の動きから 、運指データを生成する運指データ生成
   手段と、 前記楽器の演奏に対応した楽音演奏データを生成する楽
   音演奏データ生成手段と、 前記運指データの運指表示タイミングと前記楽音演奏デ
   ータの発音タイミングとを関連付けてそれらを同一のフ
   ァイル又は別々のファイルとして記録媒体に記録する記
   録手段とを備えたことを特徴とする運指データ作成装
   置。
2. 【請求項２】 前記記録媒体から前記運指データ及び前
   記楽音演奏データを読み出すデータ読み出し手段と、 前記データ読み出し手段によって読み出された前記運指
   データ及び前記楽音演奏データに基づいて手指の運指状
   態を表示する表示手段とを備えたことを特徴とする請求
   項１に記載の運指データ作成装置。
3. 【請求項３】 前記記録媒体から前記運指データ及び前
   記楽音演奏データを読み出すデータ読み出し手段と、 前記データ読み出し手段によって読み出された前記楽音
   演奏データに基づいた楽音を発生する発音処理を行う楽
   音演奏データ処理手段と、 前記データ読み出し手段によって読み出された前記運指
   データに基づいた手指の運指状態の表示を前記楽音演奏
   データ処理手段の対応する楽音演奏データの処理に先行
   して行う表示手段とを備えたことを特徴とする請求項１
   に記載の運指データ作成装置。
4. 【請求項４】 運指データと楽音演奏データとを記録し
   ている記録媒体と、 前記記録媒体から少なくとも前記運指データを読み出す
   データ読み出し手段と、 前記データ読み出し手段によって読み出された前記運指
   データに基づいて手指の各指に動物、記号、文字などの
   固有の図柄を当てはめて、運指状態を表示する表示手段
   とを備えたことを特徴とする運指表示装置。