JP3890936B2 - 演奏教習装置及び演奏教習処理のプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、演奏教習装置及び演奏教習処理のプログラムに関する。
【０００２】
【従来の技術】
従来の演奏教習装置及び演奏教習処理のプログラムの中には、実際の演奏をビデオカメラで撮影してその撮像画像をビデオテープ等の記録媒体に記録し、デッキによってその立体画像を再生して、運指画像として利用することで演奏教習を行うものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の演奏教習においては、記録された撮像画像に対して画像処理を施すことができないので、運指画像としての効果は乏しかった。
【０００４】
本発明の課題は、演奏を教習するための運指画像に対して画像処理を行うことにより、個々のユーザの要求や演奏状態に応じた運指画像を提供することである。
【０００５】
【課題を解決するための手段】
請求項１に記載の演奏教習装置は、３次元運指画像を生成して所定の表示手段（実施形態においては、図１（２）の表示部１７に相当する）に出力する運指画像生成手段（実施形態においては、図１（２）のＣＰＵ１１、図４のステップＣ８の処理に相当する）と、位置情報を入力可能な操作部（実施形態においては、図１（２）の操作部１６に相当する）と、この操作部の移動に基づいた位置情報の差に基づく移動量情報を検出する移動量検出手段（実施形態においては、図１（２）のＣＰＵ１１、図４のステップＣ１〜Ｃ７の処理に相当する）と、運指情報から構成される曲データを記憶する記憶手段（実施形態においては、図１（２）の曲ＲＯＭ１５に相当する）と、この記憶手段からいずれかの曲データを読み出す読み出し手段（実施形態においては、図１（２）のＣＰＵ１１、図９のステップＨ１〜Ｈ５の処理に相当する）と、予め設定されたモード情報に対応して、前記運指画像生成手段にて生成されるべき３次元運指画像の位置、角度及び拡大率のいずれかひとつを前記移動量検出手段にて検出された移動量に基づいて変更するように前記運指画像生成手段を制御するとともに、前記読み出し手段により読み出しが開始される際に当該曲データを構成する運指情報の中に指くぐり演奏が含まれる場合は、指くぐりに応じた位置、角度及び拡大率に基づいて３次元運指画像を生成するように前記運指画像生成手段を制御する画像制御手段（実施形態においては、図１（２）のＣＰＵ１１、図４のステップＣ８、図１０のステップＪ１〜Ｊ５の処理に相当する）と、を有する構成になっている。
【０００６】
この場合において、設定モードが位置である場合は、運指画像生成手段にて生成されるべき３次元運指画像の位置を移動量検出手段にて検出された移動量に基づいて変更するように運指画像生成手段を制御する構成にしてもよい。
また、設定モードが角度である場合は、運指画像生成手段にて生成されるべき３次元運指画像の角度を移動量検出手段にて検出された移動量に基づいて変更するように運指画像生成手段を制御する構成にしてもよい。
また、設定モードが拡大率である場合は、運指画像生成手段にて生成されるべき３次元運指画像の拡大率を移動量検出手段にて検出された移動量に基づいて変更するように前記運指画像生成手段を制御する構成にしてもよい。
【０００７】
請求項５に記載の演奏教習処理のプログラムは、コンピュータに、
３次元運指画像を生成して所定の表示手段に出力する運指画像生成処理（実施形態では、図４のステップＣ８の処理に相当する）と、
位置情報を入力可能な操作部（実施形態においては、図１（２）の操作部１６に相当する）の移動に基づいた位置情報の差に基づく移動量情報を検出する移動量検出処理（実施形態では、図４のステップＣ１〜Ｃ７の処理に相当する）と、
運指情報から構成される曲データを記憶する記憶手段（実施形態においては、図１（２）の曲ＲＯＭ１５に相当する）からいずれかの曲データを読み出す読み出し処理（実施形態では、図９のステップＨ１〜Ｈ５の処理に相当する）と、
予め設定されたモード情報に対応して、前記運指画像生成処理にて生成されるべき３次元運指画像の位置、角度及び拡大率のいずれかひとつを前記移動量検出処理にて検出された移動量に基づいて変更するように前記運指画像生成処理を制御するとともに、前記読み出し処理により読み出しが開始される際に当該曲データを構成する運指情報の中に指くぐり演奏が含まれる場合は、指くぐりに応じた位置、角度及び拡大率に基づいて３次元運指画像を生成するように前記運指画像生成処理を制御する画像制御処理（実施形態では、図４のステップＣ８、図１０のステップＪ１〜Ｊ５の処理に相当する）と、
を有する。
【０００９】
請求項１又は請求項５に記載の発明によれば、曲の演奏を指示する演奏指示データに応じた運指画像に対して、角度、位置、拡大率を制御する画像処理を行う。
【００１０】
【発明の実施の形態】
以下、本発明による実施形態について、図を参照して説明する。
図１は、本発明による演奏教習装置の実施形態の構成を示し、（１）は演奏教習装置としてのパソコン１に接続された鍵盤装置等の電子楽器２からなるシステム図であり、（２）はパソコン１の内部構成を示すブロック図である。
図１（１）において、パソコン１は、ＯＳ（オペレーションシステム）上でアプリケーション（この実施形態においては、演奏教習処理のプログラム）を起動させて、電子楽器２の演奏操作を検出し、その演奏操作の状態を判定するとともに演奏後の評価を行う。
【００１１】
図１（２）において、ＣＰＵ１１はシステムバス１２を介して、プログラムＲＯＭ１３、ワークＲＡＭ１４、曲ＲＯＭ１５、マウス等からなる操作部１６、表示部１７、及びＩ／Ｏインターフェース１８に接続されている。
プログラムＲＯＭ１３には、ファイル（データ）の管理、メモリの管理、入出力の管理、ユーザインターフェースの提供等を行うＯＳのソフトウェアが格納されている。
ワークＲＡＭ１４は、演奏教習処理やその他の処理に必要なデータを一時的に記憶するＣＰＵ１１のワークエリアであり、各種のレジスタやフラグが設けられている。曲ＲＯＭ１５には、演奏教習に必要な複数の曲データが記憶されている。各曲データは、イベントデータ（ノートオンイベント、ノートオフイベント、及び他のイベント）、タイムデータで構成されている。
なお、ノートオンデータに基づいて、演奏をガイドする運指データを作成するアルゴリズムが実行される。このアルゴリズムは、曲データを演奏する前に予め作成されるか、あるいは曲データの入力の際に実行される。
操作部１６はこの場合マウスで構成され、操作に応じて演奏教習を受ける課題曲の選択や後述する画像処理等を行うことができる。表示部１７には、演奏教習を支援するメッセージや運指画像、及びマウスによって選択されるアイコンスイッチが表示される。Ｉ／Ｏインターフェース１８は、電子楽器２で演奏された演奏データを入力してＣＰＵ１１に受け渡す。
【００１２】
図２〜図１１は、演奏教習処理のためにＣＰＵ１１によって実行される画像処理の動作を示すフローチャートであり、図１２〜図２１は表示部１７に表示される運指画像を示す図である。
図２は図３〜図１１の総括的なフローチャートであり、デフォルトデータ等を設定するイニシャライズ（ステップＡ１）の後、画像処理のモード検出処理を行う（ステップＡ２）。次に、マウス等の操作データ、曲データ、プリセットデータ等を入力する入力処理を行い（ステップＡ３）、そのデータに基づいて、画像処理のモードを角度（ＲＯＴＡＴＩＯＮ）、位置（ＴＲＡＮＳＬＡＴＥ）、又は拡大率（ＳＣＡＬＥ）のいずれかに設定する（ステップＡ４）。そして、設定した内容に従って運指画像に対する画像処理を行い（ステップＡ５）、表示部１７に画像処理された画像データを出力する表示処理を行う（ステップＡ６）。この後、モード変更がされたか否かを判別し（ステップＡ７）、変更されない場合にはステップＡ３の入力処理を行い、モード変更がされたときは、ステップＡ２に移行して変更されたモードを検出する。
ステップＡ４及びＡ５における設定処理及び画像処理は、以下に説明する各モードに応じた態様で実行される。
【００１３】
ステップＡ２で検出された画像処理のモードがユーザ操作モードであり、マウス操作により角度、位置、及び拡大率を設定する場合には、マウスの操作を検出する。マウスの左ボタンがオン（クリック）された場合には、入力処理として図３のフローに移行して、フラグＬＯＮにＴＲＵＥ（マウス移動有効）をセットし、マウスに連動する画面のカーソル位置ＯＮｘ，ＯＮｙすなわち画面の座標（ｘ，ｙ）をセットする（ステップＢ１）。
マウスの移動（ドラッグ）がされたときは、入力処理として図４のフローに移行して、フラグＬＯＮがＴＲＵＥであるか否かを判別する（ステップＣ１）。ＬＯＮがＦＡＬＳＥ（マウス移動無効）である場合にはこのフローを終了するが、ＬＯＮがＴＲＵＥである場合には、マウスの移動に応じたカーソル位置Ｍｘ，Ｍｙをセットする（ステップＣ２）。そして、このフローを終了する。
【００１４】
次に、設定処理における設定モードが角度（ＲＯＴＡＴＩＯＮ）であるか否かを判別する（ステップＣ３）。角度である場合には、ｘ軸方向及びｙ軸方向のマウスの移動量（Ｍｘ−ＯＮｘ）及び（Ｍｙ−ＯＮｙ）に対して、３次元画像に対する表示角度に変換する際の係数ＲＲＡＴＥをそれぞれ乗算して、マウス操作による表示追加角度をそれぞれレジスタＲＡｘ，ＲＡｙにストアする（ステップＣ４）。
ステップＣ３において、設定モードが角度でない場合には、設定モードが位置（ＴＲＡＮＳＬＡＴＥ）であるか否かを判別する（ステップＣ５）。位置である場合には、ｘ軸方向及びｙ軸方向のマウスの移動量（Ｍｘ−ＯＮｘ）及び（Ｍｙ−ＯＮｙ）に対して、３次元画像に対する表示位置に変換する際の係数ＴＲＡＴＥをそれぞれ乗算して、マウス操作による表示追加位置をそれぞれレジスタＴＡｘ，ＴＡｙにストアする（ステップＣ６）。
【００１５】
ステップＣ５において、設定モードが位置でない場合には、設定モードは拡大率（ＳＣＡＬＥ）であるので、ｙ軸方向のマウスの移動量（Ｍｙ−ＯＮｙ）に対して、３次元画像に対する表示拡大率ＳＲＡＴＥをそれぞれ乗算して、レジスタＳＡｘ，ＳＡｙ，ＳＡｚにストアする（ステップＣ７）。
ステップＣ４、Ｃ６、又はＣ７の処理の後は、各レジスタのデータに基づいて、画像処理としての描画処理を行い（ステップＣ８）、このフローを終了する。図５は、図４のステップＣ８における描画処理のフローである。この処理では、３次元画像全体の角度、位置、拡大率を、それぞれ角度（Ｒｘ＋ＲＡｘ，Ｒｙ＋ＲＡｙ，Ｒｚ＋ＲＡｚ）、位置（Ｔｘ＋ＴＡｘ，Ｔｙ＋ＴＡｙ，Ｔｚ＋ＴＡｚ）、拡大率（Ｓｘ＋ＳＡｘ，Ｓｙ＋ＳＡｙ，Ｓｚ＋ＳＡｚ）として、手、鍵盤、スクロール等の３次元表示を行う（ステップＤ１）。
すなわち、ユーザの設定操作に応じて運指画像の角度、位置、拡大率のうち少なくとも１つを制御する。
【００１６】
そして、マウスの左ボタンがオフされたときは、図６のフローに移行して、フラグＬＯＮにＦＡＬＳＥ（マウス移動無効）をセットし（ステップＥ１）、設定処理の設定モードが角度（ＲＯＴＡＴＩＯＮ）であるか否かを判別する（ステップＥ２）。角度である場合には、ｘ軸方向、ｙ軸方向、及びｚ軸方向における３次元画像の現在の角度Ｒｘ，Ｒｙ，ＲｚにそれぞれＲＡｘ，ＲＡｙ，ＲＡｚを加算する（ステップＥ３）。そして、ＲＡｘ，ＲＡｙ，ＲＡｚの値を「０」にリセットする（ステップＥ４）。
ステップＥ２において、設定処理の設定モードが角度でない場合には、画像処理の設定モードが位置（ＴＲＡＮＳＬＡＴＥ）であるか否かを判別する（ステップＥ５）。位置である場合には、ｘ軸方向、ｙ軸方向、及びｚ軸方向における３次元画像の現在の位置Ｔｘ，Ｔｙ，ＴｚにそれぞれＴＡｘ，ＴＡｙ，ＴＡｚを加算する（ステップＥ６）。そして、ＴＡｘ，ＴＡｙ，ＴＡｚの値を「０」にリセットする（ステップＥ７）。
ステップＥ５において、設定モードが位置でない場合には、設定モードは拡大率（ＳＣＡＬＥ）であるので、ｘ軸方向、ｙ軸方向、及びｚ軸方向における３次元画像の現在の拡大率Ｓｘ，Ｓｙ，ＳｚにそれぞれＳＡｘ，ＳＡｙ，ＳＡｚを加算する（ステップＥ８）。そして、ＳＡｘ，ＳＡｙ，ＳＡｚの値を「０」にリセットする（ステップＥ９）。
ステップＥ４、Ｅ７、又はＥ９において、各値をリセットした後は、このフローを終了する。
【００１７】
次にその他の実施形態を説明する。
この実施形態では、曲データは、右手演奏のトラックと左手演奏のトラックとが独立して設定されており、ユーザの設定操作によって、表示する運指画像を両手表示、右手表示、又は左手表示に設定することができる。曲データの選択及びユーザの設定操作がされた場合には、曲データの使用鍵域を自動的に算出する。そして、算出した鍵域において、最低音高鍵を画面の左端に、最高音高鍵を右端に表示するように、角度、位置、及び拡大率を設定して表示を行う。
この場合において、拡大率は、使用鍵域に応じたテーブルを予め用意する。角度は、ｘ軸、ｙ軸、及びｚ軸の角度が「０」であるデフォルト値である。位置は、ｙ軸及びｚ軸がデフォルト値であり、ｘ軸は使用鍵域の真中の鍵が画面の真中になるように設定する。
【００１８】
図７はその具体的な処理フローである。図７において、演奏開始ボタンがオンされたときには、曲の演奏に応じて運指画像を自動的に拡大するこのフローを実行する。右手のみの演奏であるか否かを判別し（ステップＦ１）、右手のみの演奏である場合には、右手トラックの使用鍵域を算出する（ステップＦ２）。右手のみの演奏でない場合には、左手のみの演奏であるか否かを判別し（ステップＦ３）、右手のみの演奏でもなく、左手のみの演奏でもない場合には、両手トラックの使用鍵域を算出する（ステップＦ５）。いずれの場合も、算出した鍵域に応じた、角度、位置、及び拡大率の設定を行う（ステップＦ６）。そして、設定に基づく表示処理を実行する（ステップＦ７）。
すなわち、演奏される音域範囲に応じて画像の拡大率を制御することができる。
【００１９】
次に、さらに他の実施形態を示す。
この実施形態では、予め設定された角度、位置、及び拡大率を呼び出して、画像処理を行うものであり、図８は、このための表示プリセット呼び出し処理のフローである。この処理では、予め複数種類設定されている角度、位置、及び拡大率の中から、ユーザの選択操作によって１つの種類の角度、位置、及び拡大率のデータが呼び出される。すなわち、操作に対応したプリセットデータをプログラムＲＯＭ１３から読み込み、角度（Ｒｘ，Ｒｙ，Ｒｚ）、位置（Ｔｘ，Ｔｙ，Ｔｚ）、及び拡大率（Ｓｘ，Ｓｙ，Ｓｚ）のレジスタにセットする（ステップＧ１）。セットした後、選択されたプリセットに基づく表示処理を実行する（ステップＧ２）。
【００２０】
図９、図１０は、特殊演奏が指示されたときに角度を制御する実施形態を示す。
図９は、特殊演奏としての指くぐり処理のフローである。曲データ（運指データ）を入力して（ステップＨ１）、曲データを構成する運指データの中に指くぐり演奏があるか否かを判別する（ステップＨ２）。指くぐり演奏がある場合には、その曲データのフラグにＴＲＵＥをセットする（ステップＨ３）。そして、次の曲データを指定する（ステップＨ４）。この後、曲データが終了したか否かを判別し（ステップＨ５）、曲データが残っている場合には、ステップＨ１において次の曲データを入力する。曲データが終了した場合には、このフローを終了する。
【００２１】
図１０は、指くぐり演奏の際に固有の画像処理を行うフローである。演奏開始ボタンがオンされたときは、曲データを入力して（ステップＪ１）、入力したデータのフラグがＴＲＵＥ（指くぐり）であるか否かを判別する（ステップＪ２）。フラグがＴＲＵＥである場合には、指くぐりデータに応じて、角度、位置、及び拡大率をセットする（ステップＪ３）。セットした後、又はフラグがＦＡＬＳＥの場合には、表示処理を実行する（ステップＪ４）。そして、曲データが終了したか否かを判別し（ステップＪ５）、曲データがある場合にはステップＪ１において次のデータを入力する。曲データが終了したときは、このフローを終了する。
すなわち、指くぐり演奏や和音演奏のように、演奏指示データが特殊演奏を指示する場合には運指画像の立体画像の角度を制御する。
【００２２】
図１１は、さらに他の実施形態を示す入力処理のフローである。このフローでは、演奏時間に応じた表示データがあるか否かを判別し（ステップＫ１）、表示データがある場合には、該当する表示データを角度（Ｒｘ，Ｒｙ，Ｒｚ）、位置（Ｔｘ，Ｔｙ，Ｔｚ）、及び拡大率（Ｓｘ，Ｓｙ，Ｓｚ）にセットする（ステップＫ２）。
【００２３】
図１２〜図２１は、角度、位置、拡大率を制御した３次元運指画像の例であり、鍵盤画像２１と、右手画像２２及び左手画像２３のうち少なくとも一方の手画像が表示されている。図１２はデフォルトの画像である。すなわち、使用鍵域に応じたテーブルの拡大率、角度は、ｘ軸、ｙ軸、及びｚ軸の角度が「０」、位置は、ｙ軸及びｚ軸がデフォルト値、ｘ軸は使用鍵域の真中で、鍵が画面の真中に表示されている。図１３は、デフォルトの画像に対して角度、位置、及び拡大率を変更した場合の画像である。
図１４及び図１５は、使用鍵域に応じて拡大率を変更した画像である。図１４の使用鍵域は図１５の使用鍵域よりも狭いので、手画像は図１５よりも拡大率が大きい。図１６及び図１７は、拡大率が異なるプリセットパターン１及び２の運指画像である。ユーザは自分にとって理解しやすい画像パターンを選択することができる。図１８は指くぐりの画像である。指くぐりの様子が把握できる角度になっている。図１９は、和音の運指画像を示している。このように、鍵盤側からの角度で和音の運指画像を表示すると、押鍵する指の形が十分に理解できる。図２０及び図２１は、左手演奏の運指画像を拡大率を変えて表示した左手拡大１及び左手拡大２の画像である。
【００２４】
以上のように、上記実施形態によれば、表示部１７の画面において、曲の演奏を指示する演奏指示データに応じた運指画像に対して、角度、位置、拡大率を制御する画像処理を行う。したがって、演奏を教習するたの運指画像に対して画像処理を行うことにより、個々のユーザの要求や演奏状態に応じた適切な運指画像を表示することができる。
【００２５】
また、上記実施形態においては、物の発明としての演奏教習装置について説明したが、上記実施形態におけるフローチャートに示すように、演奏教習処理を実行するプログラムの発明を実現できる。
すなわち、そのプログラムは、曲の演奏を指示する演奏指示データに応じた運指画像を所定の表示手段の画面に表示する第１のステップと、演奏設定モードに応じて表示手段に表示される運指画像の角度、位置、拡大率のうち少なくとも１つを制御する第２のステップとを有する。
【００２６】
【発明の効果】
本発明によれば、演奏を教習するたの運指画像に対して画像処理を行うことにより、個々のユーザの要求や演奏状態に応じた運指画像を表示できる。
【図面の簡単な説明】
【図１】本発明の演奏教習装置の構成を示し、（１）はそのシステム図、（２）は図１（１）のパソコンの内部構成を示すブロック図。
【図２】図１のＣＰＵによって実行される演奏教習処理のフローチャート。
【図３】マウスの左ボタンオンのフローチャート。
【図４】マウスの移動のフローチャート。
【図５】描画処理のフローチャート。
【図６】マウスの左ボタンオフのフローチャート。
【図７】使用鍵域に応じた運指表示のフローチャート。
【図８】プリセット呼び出し処理のフローチャート。
【図９】指くぐり処理のフローチャート。
【図１０】指くぐり演奏の際の固有の画像処理を行うフローチャート。
【図１１】表示処理のフローチャート。
【図１２】デフォルトの運指画像を示す図。
【図１３】デフォルトの運指画像の角度、位置、及び拡大率を変更した運指画像を示す図。
【図１４】使用鍵域が狭い場合の運指画像を示す図。
【図１５】使用鍵域が広い場合の運指画像を示す図。
【図１６】プリセットパターン１の運指画像を示す図。
【図１７】プリセットパターン２の運指画像を示す図。
【図１８】指くぐり演奏の運指画像を示す図。
【図１９】和音演奏の運指画像を示す図。
【図２０】左手拡大１の運指画像を示す図。
【図２１】左手拡大２の運指画像を示す図。
【符号の説明】
１ パソコン
２ 電子楽器
１１ ＣＰＵ
１３ プログラムＲＯＭ
１４ ワークＲＡＭ
１５ 曲ＲＯＭ
１６ 操作部
１７ 表示部
１８ Ｉ／Ｏインターフェース

Claims (5)

1. ３次元運指画像を生成して所定の表示手段に出力する運指画像生成手段と、
   位置情報を入力可能な操作部と、
   この操作部の移動に基づいた位置情報の差に基づく移動量情報を検出する移動量検出手段と、
   運指情報から構成される曲データを記憶する記憶手段と、
   この記憶手段からいずれかの曲データを読み出す読み出し手段と、
   予め設定されたモード情報に対応して、前記運指画像生成手段にて生成されるべき３次元運指画像の位置、角度及び拡大率のいずれかひとつを前記移動量検出手段にて検出された移動量に基づいて変更するように前記運指画像生成手段を制御するとともに、前記読み出し手段により読み出しが開始される際に当該曲データを構成する運指情報の中に指くぐり演奏が含まれる場合は、指くぐりに応じた位置、角度及び拡大率に基づいて３次元運指画像を生成するように前記運指画像生成手段を制御する画像制御手段と、
   を有することを特徴とする運指表示装置。
2. 前記設定モードが位置である場合は、前記運指画像生成手段にて生成されるべき３次元運指画像の位置を前記移動量検出手段にて検出された移動量に基づいて変更するように前記運指画像生成手段を制御する請求項１記載の運指表示装置。
3. 前記設定モードが角度である場合は、前記運指画像生成手段にて生成されるべき３次元運指画像の角度を前記移動量検出手段にて検出された移動量に基づいて変更するように前記運指画像生成手段を制御する請求項１記載の運指表示装置。
4. 前記設定モードが拡大率である場合は、前記運指画像生成手段にて生成されるべき３次元運指画像の拡大率を前記移動量検出手段にて検出された移動量に基づいて変更するように前記運指画像生成手段を制御する請求項１記載の運指表示装置。
5. コンピュータに、
   ３次元運指画像を生成して所定の表示手段に出力する運指画像生成処理と、
   位置情報を入力可能な操作部の移動に基づいた位置情報の差に基づく移動量情報を検出する移動量検出処理と、
   運指情報から構成される曲データを記憶する記憶手段からいずれかの曲データを読み出す読み出し処理と、
   予め設定されたモード情報に対応して、前記運指画像生成処理にて生成されるべき３次元運指画像の位置、角度及び拡大率のいずれかひとつを前記移動量検出処理にて検出された移動量に基づいて変更するように前記運指画像生成処理を制御するとともに、前記読み出し処理により読み出しが開始される際に当該曲データを構成する運指情報の中に指くぐり演奏が含まれる場合は、指くぐりに応じた位置、角度及び拡大率に基づいて３次元運指画像を生成するように前記運指画像生成処理を制御する画像制御処理と、
   を実行させる運指表示プログラム。

Images