JP4136556B2

JP4136556B2 - Performance learning device

Info

Publication number: JP4136556B2
Application number: JP2002264177A
Authority: JP
Inventors: 雅則勝田
Original assignee: Kawai Musical Instrument Manufacturing Co Ltd
Current assignee: Kawai Musical Instrument Manufacturing Co Ltd
Priority date: 2002-09-10
Filing date: 2002-09-10
Publication date: 2008-08-20
Anticipated expiration: 2022-09-10
Also published as: JP2004101908A

Description

【０００１】
【発明の属する技術分野】
本発明は、演奏独習装置に関し、特に、演奏曲中の練習箇所を指定して効率的な練習を行わせることができる演奏独習装置に関する。
【０００２】
【従来の技術】
記憶媒体に記憶された演奏データをパーソナルコンピュータ（以下、「パソコン」という）で再生して画面上に順次譜面を表示して演奏指示をする装置が知られる。例えば、特開平９−３０５１７１号公報には、鍵盤の図形を画面に表示すると共に、表示された鍵盤の各鍵に対応して押鍵から離鍵までの範囲をスクロールバーで表示し、このスクロールバーを自動演奏データの再生に従って鍵盤図形に近付けていくようにスクロールさせる演奏指示装置が開示されている。
【０００３】
この演奏指示装置によれば、前記スクロールバー表示によって、押鍵時間を直感的に認識できるし、現在押鍵している演奏データのあとに続く演奏データを予知できるので、スムーズな演奏が期待できる。
【０００４】
上記演奏指示をする装置において、演奏の途中または演奏終了後に演奏評価を出力することができる装置も提案されている（特開２００１−２４２８６３号公報）。また、演奏指示通りに演奏されなかった場合、例えば正しい音程の鍵が押されなかった場合は、次の演奏指示を与えないし、演奏の評価もしない装置が知られている。
【０００５】
【発明が解決しようとする課題】
しかし、演奏者が正しい演奏を行わなかった場合に演奏指示が停止されると、不具合が生じることがある。演奏者がミスタッチに気が付いた場合は、すぐにやり直すことができるが、先まで演奏したところでミスに気が付いた場合は、元に戻って演奏をやり直すことになる。この場合、演奏指示を停止した後の評価はされないため、演奏者は演奏の評価を知ることもできず、納得いかないまま元に戻って演奏をやり直さなければならない。
【０００６】
このような演奏指示装置では、演奏者が演奏指示にだけ注意を払うようになり、楽しみながら演奏するということは望めない。トリルやトレモロ等は、複数の音を細かく繰り返す奏法であるが、繰り返し回数は本来演奏者の感性に委ねられるものである。しかし、従来の演奏指示装置では、指示通りの回数が繰り返されないと演奏指示が先に進んでくれない。したがって、流れを重視した演奏や、演奏者の感性を表現することも可能な装置が要望される。
【０００７】
本発明は、上記要望に応え、曲の流れや演奏者の感性を損なわないで、演奏の指示および演奏結果の評価をすることができる演奏独習装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決し、目的を達成するための本発明は、演奏データに基づいて作成された楽譜情報を表示して演奏者に演奏指示を行うとともに、演奏指示されたとおりの音高で弾かれたときに、次の演奏指示を行い、演奏指示されたとおりの音高で弾かれなかったときに、演奏指示の進行を停止するように構成された演奏独習装置において、演奏楽音を蓄積するバッファと、演奏指示された楽音と演奏楽音とがどの程度一致するかによって評価を行う演奏評価手段と、前記演奏指示の進行を停止させたときに前記バッファに蓄積された最新の複数の演奏楽音と配列的に一致する演奏データ列を前記演奏データから検索する演奏データ列検出手段とを具備し、演奏指示されたとおりの音高で弾かれた場合には前記演奏評価手段でそのつど評価を行い、演奏指示されたとおりの音高で弾かれなかった場合は、前記演奏データ列検出手段で前記一致する演奏データ列が検出されたときに該演奏データ列の次から演奏指示の進行を再開させるとともに、該演奏データ列について評価を行うように構成された点に特徴がある。
【０００９】
上記特徴によれば、演奏された楽音がバッファに蓄積される。指示通りの音高で弾かれなかった場合は演奏指示が停止され、バッファに蓄積された演奏楽音列と配列的に一致する演奏データ列が検出される。そして、この演奏データ列の次から演奏指示が開始される。すなわち、演奏楽音を蓄積しておき、指示通りの音高で演奏されなかった場合も、その蓄積された演奏楽音と配列的に一致するパターンを演奏データ中で探し出す。こうすることにより、演奏者がミスタッチしたり、好みに応じて任意の曲部分を演奏したときでも、一旦は押鍵指示を停止するものの、すぐに演奏位置を検出して押鍵指示を再開することができる。また、本発明は、演奏指示された楽音と前記バッファに蓄積された演奏楽音とがどの程度一致するかによって評価を行う演奏評価手段を具備しているので、演奏指示通りの音高で演奏されなかった楽音の評価も行うことができる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図２は、本発明の一実施形態に係る演奏独習装置の構成を示すブロック図である。同図において、パソコン１は、パソコン本体１１と、入力装置としてのキーボード１２およびマウス１３と、出力装置としてのディスプレイ１４とを備える。パソコン本体１１は、ハードディスクやＲＯＭ・ＲＡＭ等を備えた周知の構成を有する。ＭＩＤＩ信号を入出力できるインタフェースを備えるのが好ましい。
【００１６】
鍵盤楽器２は鍵盤２１とサウンドシステム２２とを備える。鍵盤楽器２は鍵盤２１の押鍵および離鍵を検出する検出回路２３と、押鍵および離鍵の検出情報に応じて楽音を生成する音源装置２４とを備える。検出回路２３で鍵盤２１の押鍵・離鍵が検出されると、押鍵位置（ノートナンバ）、押鍵長さ、および押鍵速度（ベロシティ）等に基づいて音源装置２４で楽音が生成され、サウンドシステム２２を通じて出力（発音）される。鍵盤楽器２にもＭＩＤＩインタフェースを備えるのがよい。鍵盤楽器２の全体動作は、図示しないマイクロコンピュータで制御される。
【００１７】
パソコン本体１１と鍵盤楽器２は、互いに信号を送受信することができるように、図示しないインタフェース（例えば、ＭＩＤＩインタフェース）を介して接続される。
【００１８】
上記演奏独習装置において、練習曲は外部から供給することもできるし、予めハードディスク等に格納しておくことができる。練習曲はキーナンバ、押鍵・離鍵データ（キーオンタイム、キーオフタイム）、ベロシティ、テンポデータ等の演奏データとして準備される。演奏データには上記データ以外のものも含められる。
【００１９】
演奏指示つまり押鍵指示情報が演奏データに基づいて作成され、ディスプレイ１４上に表示される。図３は、ディスプレイ１４上に表示された押鍵指示の一例を示す図である。同図において、画面の上部および下部に鍵盤図形を表示する。押鍵指示が鍵盤のどの鍵に対応するかを見やすくするために鍵盤図形Ｋを画面の上下に表示したが、これを画面の下部にだけ表示してもよい。鍵盤図形Ｋ，Ｋの間に示され、楽音の長さに応じた長さと鍵盤図形Ｋの白鍵の幅とを持つ複数の略矩形のマークが押鍵指示である。一つの押鍵指示マークが一つの楽音つまり楽譜情報に対応する。画面は上下が時間軸であり、押鍵指示マークは下部の鍵盤図形Ｋに近いほど、早い時期に弾くべき楽音であることを示す。押鍵指示マークは予定のテンポで下方に移動する。押鍵指示マークの下端が下部鍵盤図形Ｋに達したときが押鍵タイミングであり、押鍵されている鍵に対応する押鍵指示マークが画面から消えたときが、その鍵の離鍵タイミングである。
【００２０】
演奏者が指示通りに押鍵したときに、最も早い時期に演奏すべき楽音の押鍵指示マークを下部の鍵盤図形までスクロールさせる。スクロールは離鍵のタイミングで行ってもよい。押鍵指示の表示手法については、本出願人の出願に係る特願２００１−３５２２０６号明細書に詳細に記載されており、本実施形態にも適用できる。なお、複数の押鍵指示をスクロールする表示方法によって押鍵タイミングを知ることが容易であるが、押鍵指示をスクロールするものに限らず、例えば、押鍵毎に押鍵指示画面の切り換えを行っていくのでもよい。なお、画面に予定数、例えば２小節分の譜面情報が収まるようにスクロールもしくは画面の切り替えを行うのがよい。
【００２１】
次に、フローチャートを参照して演奏独習装置の処理を説明する。図４は、メインフローチャートである。ステップＳ１では、ディスプレイ１４に画像を表示するためのＶＲＡＭやタイマのクリア等を含むパソコン１の初期化を行う。ステップＳ２では、練習曲を選択する。例えば、ディスプレイ１４に練習曲のリストを表示し、演奏者はキーボード１２やマウス１３を使って曲を選択する。選択された曲の演奏データはパソコン本体１１のＲＡＭに読み込まれる。曲が選択されたならば、ステップＳ３に進み、レッスンを開始する。レッスン開始は自動開始するのでも良いし、キーボード１２から開始指示を入力するのでもよい。
【００２２】
ステップＳ４では、演奏データに従って生成された押鍵指示をディスプレイ１４上に表示する。ステップＳ５では演奏データに含まれる楽音、つまり伴奏音やメトロノーム音を再生する。再生音は鍵盤楽器２の音源装置２４やサウンドシステム２２を用いて発音することができる。ステップＳ６では、演奏者の演奏結果を鍵盤楽器２１からパソコン１に入力する。押鍵の評価と押鍵指示用のポインタを更新するためである。ステップＳ４〜Ｓ６はタイマ割り込み処理で行われる。演奏結果の入力処理は図５に関して後述する。
【００２３】
ステップＳ７では、予定されたレッスンが終了したか否かを判断する。曲全体をレッスン対象としてもよいが、予め小節等、曲の部分を指定してそれをレッスン対象としてもよい。指定された演奏データについてすべて演奏された場合にステップＳ７は肯定となり、ステップＳ８に進む。レッスンが終了していない場合はステップＳ７からステップＳ４に進む。
【００２４】
ステップＳ８では、前記ステップＳ７で読み込まれた演奏結果の評価が合格基準に達しているかどうかの判定がなされる。ステップＳ９では、成績判定の結果、合格か否かが判別される。合格であればこの処理を終え、合格していなければステップＳ３に進む。
【００２５】
図５は、演奏結果の入力処理を示すフローチャートである。ステップＳ６０では、押鍵されたか否かが判別される。押鍵が検出されたならばステップＳ６１に進み、演奏音記憶エリア（バッファ）がクリアされているかを判断する。演奏音記憶エリアが空であれば、ステップＳ６２に進む。一方、演奏音記憶エリアにすでに一つ以上のデータが蓄積されていれば、ステップＳ６６に進む。
【００２６】
ステップＳ６２では、押鍵指示ポインタで示された押鍵指示用の演奏データの音高と押鍵楽音の音高とが同一かを判断する。同一であれば、ステップＳ６３に進み、押鍵楽音と指示ポインタで示された演奏データとの比較による評価がなされ、ステップＳ６４では、その評価が後述する評価記憶エリアに書き込まれる。演奏の評価は、例えば、演奏データと押鍵楽音との間で押鍵タイミングがどの程度ずれているかによって判定できる。押鍵タイミングは例えば小節線を基準としたカウンタの値で測定される。ステップＳ６５では、押鍵指示ポインタを次に進める。押鍵指示ポインタが更新されることにより、押鍵指示マークはスクロールされる。
【００２７】
押鍵指示ポインタの示す楽音の音高と押鍵楽音の音高とが同一でないときはステップＳ６２からステップＳ６６に進む。ステップＳ６６では、押鍵楽音のデータ、例えば音高および押鍵タイミングが演奏音記憶エリアに記憶される。ステップＳ６７では、演奏音記憶エリアに予定数のデータが蓄積されたか否かが判断される。演奏データの楽音配列（音高の配列）と演奏音記憶エリアに蓄積されたデータの音高の配列とが一致しているか否かのパターンマッチングを高い精度で行うのに好都合なデータ数があるかどうかを判断するためである。演奏音記憶エリアには、例えば、最高五つの演奏音データを蓄積可能とし、五つの演奏音データが蓄積されればステップＳ６７は肯定となる。
【００２８】
演奏音記憶エリアは、後から入力されたデータは順次古いものに上書きするリングバッファのようなものに構成するのがよい。つまり演奏音記憶エリアには指示音と音高が異なる楽音が演奏された以降の押鍵音のうち最新に演奏された五個の音に関するデータが記憶される。
【００２９】
ステップＳ６７が肯定ならば、ステップＳ６８に進む。予定数の演奏オンデータが蓄積されていない場合、ステップＳ６７は否定であり、その場合はステップＳ７（図４）に戻り、次にキーイベントがあったときに再びステップＳ６０からの処理が開始される。
【００３０】
ステップＳ６８では、演奏音記憶エリアの蓄積データと演奏データとのパターンマッチングを行う。パターンマッチングの対象となる演奏データは現在の押鍵指示ポインタ以降のものである。ステップＳ６９ではパターンマッチングが成功したか否かが判断される。パターンマッチングが成功したならば、ステップＳ７０に進んで押鍵指示ポインタを更新する。ここでは、押鍵指示ポインタをパターンマッチング範囲の次の位置まで進める。押鍵指示ポインタの更新によって押鍵指示マークはスクロールされる。
【００３１】
ステップＳ７１では、パターンマッチング範囲以前の押鍵楽音に関する評価を評価記憶エリアに書き込む。この範囲の押鍵楽音はないので、演奏されなかったものとして低い評価が書き込まれる。ステップＳ７２では、演奏音記憶エリアの記憶内容のそれぞれの演奏音について音高および押鍵タイミングについて評価を行う。ステップＳ７３では、演奏音記憶エリアの記憶内容とステップＳ７２での評価を評価記憶エリアに書き込む。ステップＳ７４では、演奏音記憶エリアをクリアにする。演奏音記憶エリアがクリアにされると同時に押鍵指示の画面は更新され、現在のポインタの楽音の押鍵指示を行うようにスクロールされる。伴奏付きの曲の場合は伴奏再生のポインタも、対応する位置まで移動させる。
【００３２】
図６は、評価記憶エリアの構造例を示す図である。同図において、ポインタ番号毎に楽音の音高および押鍵タイミングが演奏データとして記憶されている。同じポインタ番号には実際に押鍵されたタイミングとその評価、つまり演奏データの押鍵タイミングと実際の押鍵タイミングとのずれの大きさによるランク（Ｓ，Ａ，…）が記述される。評価のための演奏データとしては、押鍵タイミングだけでなく、押鍵長さやベロシティを含めてもよいが、説明の簡単のため押鍵タイミングだけの評価記憶エリアとした。
【００３３】
図７は、演奏音記憶エリアの構造例を示す図である。演奏音記憶エリアには実際に押鍵された鍵の音高（ノートナンバ）と押鍵タイミングが記憶される。同図では、データ数が三つだけ蓄積されているが、演奏音記憶エリアとしてはデータが五つまで蓄積できるように設定されている。但し、演奏音記憶エリアのサイズはこれに限らない。パターンマッチングにより、現在の演奏箇所を割り出して演奏に追従できるようにデータ蓄積量は設定すればよい。
【００３４】
図１は押鍵楽音データの処理を示す要部機能ブロック図である。同図において、押鍵検出部３は、検出回路２３から入力される押鍵楽音データを検出し、音高判定部４に入力する。音高判定部４は、演奏データ記憶部５から入力される現ポインタが示す演奏データの音高と押鍵楽音の音高とを比較する。音高判定部４は音高が一致している場合に一致信号を出力し、音高が一致していない場合は不一致信号を出力する。
【００３５】
スイッチ６は一致信号が出力されている間は押鍵評価部７側に切り換えられていて、不一致信号に応答して演奏音記憶部（バッファ）８側に切り換えられる。一旦演奏音記憶部８側に切り換えられると、パターン検出部９のマッチング信号が入力されるまでは、スイッチ６は演奏音記憶部に切り換えられたまま保持される。スイッチ６が切り換えられた側に押鍵楽音のデータが入力される。
【００３６】
評価記憶部１０には、押鍵楽音の評価のために演奏データ記憶部５から読み込んだ演奏データ（音高、押鍵タイミング等）が記憶される。押鍵評価部７では評価記憶部１０の記憶データと押鍵楽音のデータとが比較され、その違いの程度により所定の評価がなされる。評価は評価記憶部１０に格納される。押鍵楽音のデータの評価が終わると押鍵指示部１１に押鍵指示のスクロールが指示される。
【００３７】
一方、演奏音記憶部８には音高が一致していない場合の押鍵楽音のデータが蓄積される。蓄積された押鍵データはパターン検出部９に入力される。パターン検出部９は演奏データ記憶部５のデータのうち、現ポインタ以降の演奏データを検索し、演奏音記憶部８に蓄積された押鍵データと一致する演奏データのパターン（楽音の配列）を検出する。一致するパターンが検出されれば、マッチング信号が出力され、スイッチ１２が押鍵評価部７側に切り換えられ、演奏音記憶部８に蓄積された押鍵楽音のデータは押鍵評価部７で評価され、評価結果は評価記憶部１０に記述される。また、マッチング信号により、演奏音記憶部８はクリアにされ、スイッチ６は押鍵評価部７側に切り換えられる。
【００３８】
本実施形態によれば、押鍵指示通りの演奏がなされなかった場合には、その後の押鍵楽音のデータがバッファに蓄積される。そして、その蓄積データと演奏データとのパターンマッチングを行うことにより、現在の押鍵位置と演奏データとの一致箇所を割り出すことができ、押鍵指示用のデータを読み出すためのポインタを更新することができる。さらに蓄積された分のデータに関して評価を得ることもできる。
【００３９】
次に、本発明の第２実施形態を説明する。図８は第２実施形態のメインフローチャートであり、ステップＳ１０〜Ｓ１６は図４のステップＳ１〜Ｓ７と同様に処理されるので説明は省略する。ステップＳ１６が否定の場合、ステップＳ１７に進み、肯定の場合はステップＳ１８に進む。ステップＳ１７では、レッスンを中断するか否かが判断される。予定の待ち時間内に演奏者からレッスン中断の指示がない場合は、押鍵指示を継続するためステップＳ１３に進む。レッスン中断の指示が有った場合はステップＳ１８に進む。
【００４０】
ステップＳ１８では、バッファに蓄積された演奏の評価および押鍵タイミングを評価記憶部に転記する。評価記憶部は第１実施形態（図６）のものと同様に構成される。但し、バッファから評価記憶部に評価等が転記される点では第１実施形態と異なる。またバッファは、演奏の最初からその結果をすべて格納する点で、ミスタッチ後の演奏結果を格納する第１実施形態のバッファとは異なる。
【００４１】
ステップＳ１９では、前記評価を元に成績判定が行われる。ステップＳ２０では、成績判定の結果、合格か否かが判別される。合格であればこの処理を終え、合格していなければステップＳ１２に進む。
【００４２】
図９は、第２実施形態に係る演奏結果の入力処理を示すフローチャートである。ステップＳ１５０では、押鍵されたか否かが判別される。押鍵が検出されたならばステップＳ１５１に進み、押鍵結果（音高と押鍵タイミング）がバッファに蓄積される。ステップＳ１５２では、押鍵指示ポインタで示された押鍵指示用の演奏データの音高と押鍵楽音の音高とが同一かを判断する。同一であれば、ステップＳ１５３に進み、押鍵指示ポインタを次に進める。押鍵指示ポインタが更新されることにより、押鍵指示マークはスクロールされる。
【００４３】
押鍵指示用の演奏データの音高と押鍵楽音の音高とが同一でない場合はステップＳ１５４に進む。ステップＳ１５４では、バッファ内に未評価楽音数が予定数連続したか否かが判断される。予定数はパターンマッチングが可能な数であり、例えば５個に設定される。未評価楽音数が予定数（例えば５個）連続していればステップＳ１５５に進み、バッファの蓄積データと演奏データとのパターンマッチングを行う。パターンマッチングの対象となる演奏データは現在の押鍵指示ポインタ以降のものではなく、選択された練習曲全てのデータである。こうすることにより、演奏者がミスタッチした場合だけでなく、演奏者が任意の部分に突然戻って弾き始めても、パターンマッチングによりその部分を判別して押鍵指示を行うことができる。
【００４４】
ステップＳ１５６では、パターンマッチングが成功したか否かが判断される。パターンマッチングが成功したならば、ステップＳ１５７に進んで押鍵指示ポインタを更新する。つまり、パターンマッチングが成功した範囲の次の位置まで押鍵指示ポインタを進める。押鍵指示ポインタの更新によって押鍵指示マークはスクロールされる。
【００４５】
ステップＳ１５８では、バッファ内の未評価楽音の評価がなされ、その評価がバッファの評価記入領域に書き込まれる。評価は、指示楽音の押鍵タイミングと入力された押鍵タイミングとを比較し、その一致程度により決定される。
【００４６】
図１０は、演奏音記憶エリア（バッファ）の構造例を示す図である。演奏音記憶エリアには実際に押鍵された鍵の音高と押鍵タイミングがレッスン開始時から記憶される。図７のバッファと異なり、評価記入領域が設けられる。
【００４７】
図１１は第２実施形態に係る押鍵楽音データの処理を示す要部機能ブロック図である。押鍵検出部３１で検出された押鍵楽音データは演奏音記憶部３２に蓄積される。押鍵楽音データのうちノートナンバは音高判定部３３に入力される。押鍵評価部３４は音高判定部３３で音高が一致していると判定された押鍵楽音データの評価を行う。評価は演奏音記憶部３２に記憶される。
【００４８】
音高判定部３３で押鍵楽音データの音高が指示音高と一致しないと判定された場合は、演奏音記憶部３２に蓄積されている最新の複数の押鍵楽音データと演奏データ記憶部３５に記憶されている演奏データとがパターン検出部３６に入力されて、この押鍵楽音データとパターンが一致する演奏データの列が検出される。パターンの一致は、少なくとも音高の配列が一致している場合に成立する。音高に加えて、押鍵タイミングに基づく楽音間の時間データの一致を検出することもできる。パターンマッチングが成立すれば、ポインタ更新部３７は、パターンマッチングした演奏データの次にポインタを移動する。このポインタに従って、演奏データ記憶部３５から押鍵指示表示部３８に演奏データが読み出される。
【００４９】
なお、本実施形態では、演奏楽音と演奏データとのパターンマッチングは、互いの音高の配列が一致している場合にパターンマッチング成立とした。しかし、パターンマッチングの方法はこれに限らず、音高の一致に加えて互いの演奏タイミングの一致を見てもよい。
【００５０】
また、パターンの一致とは、演奏楽音と演奏データとの完全一致のみをいうのではない。多少の押鍵タイミングのずれがあったりミスタッチした楽音があるときでも、複数の演奏楽音の全体としてパターンが似通っていると判断できる程度のずれや欠落である場合も配列的に一致、つまりパターンが一致しているとみなすことができる。
【００５１】
【発明の効果】
以上の説明から明らかなように、請求項１の発明によれば、押鍵指示の進行は指示通りの音高で演奏された場合に先に進んでいくが、音高通りに演奏されない場合でも、バッファに蓄積された演奏楽音をもとにパターンマッチングの手法により演奏データ中の現在位置が判別される。そして、その現在位置の次から演奏が再開されるので、わずかなミスタッチやアドリブなどによって現在位置を見失った場合でも、すぐにその位置を見つけ出し指示を再開できる。
【００５２】
こうして、わずかなミスやアドリブによって練習が中断されることはないので、演奏者は演奏指示通りに常に忠実な演奏を強いられることなく自由に演奏できるまた、わずかなミスをおそれることなく柔軟性をもった練習が可能である。
【００５３】
さらに、請求項１の発明によれば、演奏楽音の音高が指示通りでなかった場合でも、蓄積された演奏楽音のデータについて評価が可能であり、演奏者は客観的な評価を認識することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る演奏独習装置の要部機能を示すブロック図である。
【図２】本発明の一実施形態に係る演奏独習装置のシステム構成図である。
【図３】押鍵指示の表示例を示す図である。
【図４】演奏独習装置の動作を示すフローチャートである。
【図５】押鍵楽音の入力処理を示すフローチャートである。
【図６】評価記憶エリアのデータ構造例を示す図である。
【図７】演奏音記憶エリアのデータ構造例を示す図である。
【図８】第２実施形態のメインフローチャートである。
【図９】第２実施形態に係る演奏結果の入力処理を示すフローチャートである。
【図１０】演奏音記憶エリア（バッファ）の構造例を示す図である。
【図１１】第２実施形態に係る押鍵楽音データの処理を示す要部機能ブロック図である。
【符号の説明】
１…パソコン、２…鍵盤楽器、３，３１…押鍵検出部、４，３３…音高判定部、５，３５…演奏データ記憶部、７，３４…押鍵評価部、８，３２…演奏音記憶部、９，３６…パターン検出部、１０…評価記憶部、１１…押鍵指示部、１２…キーボード、１４…ディスプレイ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a performance self-study apparatus, and more particularly, to a performance self-study apparatus that can specify a practice location in a performance song and perform efficient practice.
[0002]
[Prior art]
2. Description of the Related Art There is known an apparatus for instructing performance by playing performance data stored in a storage medium on a personal computer (hereinafter referred to as “personal computer”) and displaying a musical score sequentially on a screen. For example, in Japanese Patent Laid-Open No. 9-305171, a keyboard figure is displayed on the screen, and a range from key depression to key release corresponding to each key of the displayed keyboard is displayed with a scroll bar. A performance instructing device is disclosed in which a bar is scrolled so as to approach a keyboard figure according to reproduction of automatic performance data.
[0003]
According to this performance instruction device, the scroll bar display makes it possible to intuitively recognize the key pressing time, and the performance data following the currently pressed performance data can be predicted, so a smooth performance can be expected. .
[0004]
As a device for instructing the performance, there has also been proposed a device capable of outputting performance evaluation during performance or after completion of performance (Japanese Patent Laid-Open No. 2001-242863). Also, there is known a device that does not give the next performance instruction and does not evaluate the performance when the performance is not performed according to the performance instruction, for example, when the key of the correct pitch is not pressed.
[0005]
[Problems to be solved by the invention]
However, if the performer does not perform the correct performance and the performance instruction is stopped, a malfunction may occur. If the performer notices a miss-touch, he can start over immediately, but if he notices a mistake after playing up to now, he will go back and start over. In this case, since the evaluation after the performance instruction is stopped is not performed, the performer cannot know the evaluation of the performance, and must return to the original state and perform the performance again without being satisfied.
[0006]
In such a performance instruction device, the performer pays attention only to the performance instruction, and cannot expect to perform while having fun. Tril, tremolo, etc. are renditions that repeat a plurality of sounds finely, but the number of repetitions is inherently left to the sensitivity of the performer. However, in the conventional performance instruction apparatus, the performance instruction does not advance unless the number of times as instructed is repeated. Therefore, there is a demand for a device capable of expressing the performance with emphasis on the flow and the sensibility of the performer.
[0007]
SUMMARY OF THE INVENTION An object of the present invention is to provide a performance self-study apparatus that can perform performance instructions and evaluate performance results without damaging the flow of music and the sensibility of the performer.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, the present invention displays musical score information created based on performance data to instruct the performer to perform the performance and play the note at the pitch as the performance is instructed. The performance musical sound is stored in a performance self-study apparatus configured to stop the progress of the performance instruction when the next performance instruction is given and the performance instruction is not played at the pitch as indicated. A performance evaluation means for evaluating the buffer according to how much the musical sound that has been instructed matches the musical performance, and a plurality of latest musical sounds that are stored in the buffer when the progress of the performance instruction is stopped Performance data string detecting means for retrieving performance data strings that match in sequence from the performance data, and when the performance data is played at the pitch as instructed, the performance evaluation means evaluates each time. If the performance data string detection means detects the matching performance data string, the performance instruction is resumed from the next of the performance data string when the performance data string is not played at the pitch as the performance instruction is given. And is characterized in that the performance data string is evaluated .
[0009]
According to the above feature, played musical sounds are accumulated in the buffer. If it is not played at the pitch as instructed, the performance instruction is stopped, and a performance data sequence that matches the musical tone sequence stored in the buffer is detected. Then, the performance instruction is started after the performance data string. In other words, performance musical sounds are accumulated, and even when the musical performance is not performed at the pitch as instructed, a pattern that matches the accumulated musical musical sounds is searched for in the performance data. In this way, even if the performer mistouches or plays an arbitrary piece of music according to his / her preference, the key pressing instruction is temporarily stopped, but the performance position is immediately detected and the key pressing instruction is resumed. be able to. In addition, the present invention includes performance evaluation means for performing an evaluation based on the degree to which the musical tone that is instructed to perform matches the musical tone that is stored in the buffer. It is also possible to evaluate musical sounds that did not exist.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 2 is a block diagram showing a configuration of a performance self-study apparatus according to an embodiment of the present invention. In FIG. 1, a personal computer 1 includes a personal computer main body 11, a keyboard 12 and a mouse 13 as input devices, and a display 14 as an output device. The personal computer main body 11 has a known configuration including a hard disk, ROM / RAM, and the like. It is preferable to provide an interface capable of inputting / outputting MIDI signals.
[0016]
The keyboard instrument 2 includes a keyboard 21 and a sound system 22. The keyboard instrument 2 includes a detection circuit 23 that detects key depression and key release of the keyboard 21 and a sound source device 24 that generates a musical sound in accordance with key depression and key release detection information. When the detection circuit 23 detects a key press / release of the keyboard 21, a tone is generated by the tone generator 24 based on the key pressing position (note number), key pressing length, key pressing speed (velocity), and the like. The sound is output (sounded) through the sound system 22. The keyboard instrument 2 is also preferably provided with a MIDI interface. The overall operation of the keyboard instrument 2 is controlled by a microcomputer (not shown).
[0017]
The personal computer main body 11 and the keyboard instrument 2 are connected via an interface (not shown) (for example, a MIDI interface) so that signals can be transmitted and received between them.
[0018]
In the performance self-study apparatus, the practice music can be supplied from the outside, or can be stored in advance in a hard disk or the like. The practice music is prepared as performance data such as key number, key press / release data (key on time, key off time), velocity, tempo data and the like. The performance data includes data other than the above data.
[0019]
Performance instruction, that is, key press instruction information is created based on the performance data and displayed on the display 14. FIG. 3 is a diagram illustrating an example of a key pressing instruction displayed on the display 14. In the figure, keyboard figures are displayed at the top and bottom of the screen. In order to make it easy to see which key on the keyboard corresponds to the key pressing instruction, the keyboard figure K is displayed at the top and bottom of the screen, but this may be displayed only at the bottom of the screen. A plurality of substantially rectangular marks shown between the keyboard figures K and K and having a length corresponding to the length of the musical tone and the width of the white key of the keyboard figure K are key pressing instructions. One key pressing instruction mark corresponds to one musical tone, that is, musical score information. In the screen, the vertical axis is the time axis, and the closer to the keyboard figure K in the lower part of the key press instruction mark, the more the musical sound to be played earlier. The key pressing instruction mark moves downward at a scheduled tempo. The key pressing timing is when the lower end of the key pressing instruction mark reaches the lower keyboard figure K, and when the key pressing instruction mark corresponding to the key being pressed disappears from the screen, the key release timing. is there.
[0020]
When the performer presses the key as instructed, the key press indication mark of the musical tone to be played at the earliest time is scrolled to the keyboard figure below. The scroll may be performed at the timing of the key release. The display method of the key pressing instruction is described in detail in Japanese Patent Application No. 2001-352206 related to the application of the present applicant, and can be applied to this embodiment. Note that it is easy to know the key pressing timing by a display method that scrolls a plurality of key pressing instructions. However, the key pressing instruction screen is not limited to scrolling the key pressing instruction, for example, the key pressing instruction screen is switched for each key pressing. You can go. It should be noted that it is preferable to scroll or switch the screen so that the expected number, for example, musical score information for two bars, can be accommodated on the screen.
[0021]
Next, processing of the performance self-study apparatus will be described with reference to a flowchart. FIG. 4 is a main flowchart. In step S1, the personal computer 1 is initialized, including clearing a VRAM for displaying an image on the display 14 and a timer. In step S2, a practice song is selected. For example, a list of practice songs is displayed on the display 14, and the performer selects a song using the keyboard 12 or the mouse 13. The performance data of the selected song is read into the RAM of the personal computer main body 11. If a song is selected, the process proceeds to step S3 to start a lesson. The lesson start may be started automatically or a start instruction may be input from the keyboard 12.
[0022]
In step S4, a key pressing instruction generated according to the performance data is displayed on the display 14. In step S5, a musical sound included in the performance data, that is, an accompaniment sound or a metronome sound is reproduced. The reproduced sound can be generated using the sound source device 24 or the sound system 22 of the keyboard instrument 2. In step S 6, the performance result of the performer is input from the keyboard instrument 21 to the personal computer 1. This is because the evaluation of the key press and the pointer for the key press instruction are updated. Steps S4 to S6 are performed by timer interrupt processing. The performance result input process will be described later with reference to FIG.
[0023]
In step S7, it is determined whether or not the scheduled lesson has ended. The entire song may be the subject of the lesson, but a part of the song, such as a measure, may be designated in advance and it may be the subject of the lesson. If all the specified performance data has been played, step S7 becomes affirmative and the process proceeds to step S8. If the lesson has not ended, the process proceeds from step S7 to step S4.
[0024]
In step S8, it is determined whether or not the evaluation of the performance result read in step S7 has reached a pass criterion. In step S9, it is determined whether or not the result is a pass result. If it passes, this process ends, and if it does not pass, the process proceeds to step S3.
[0025]
FIG. 5 is a flowchart showing a performance result input process. In step S60, it is determined whether or not a key has been pressed. If a key depression is detected, the process proceeds to step S61 to determine whether or not the performance sound storage area (buffer) has been cleared. If the performance sound storage area is empty, the process proceeds to step S62. On the other hand, if one or more data has already been accumulated in the performance sound storage area, the process proceeds to step S66.
[0026]
In step S62, it is determined whether the pitch of the performance data for the key press instruction indicated by the key press instruction pointer is the same as the pitch of the key press musical sound. If they are the same, the process proceeds to step S63, where an evaluation is made by comparing the key-pressing musical sound with the performance data indicated by the instruction pointer. In step S64, the evaluation is written in an evaluation storage area to be described later. The performance evaluation can be determined by, for example, how much the key pressing timing is deviated between the performance data and the key pressing tone. The key pressing timing is measured by a counter value based on the bar line, for example. In step S65, the key pressing instruction pointer is advanced. The key pressing instruction mark is scrolled by updating the key pressing instruction pointer.
[0027]
When the pitch of the musical tone indicated by the key pressing instruction pointer is not the same as the pitch of the key pressing musical tone, the process proceeds from step S62 to step S66. In step S66, the data of the key-pressed music, such as the pitch and the key-press timing, are stored in the performance sound storage area. In step S67, it is determined whether or not a predetermined number of data has been accumulated in the performance sound storage area. There is a number of data that is convenient to perform pattern matching with high accuracy whether or not the musical tone arrangement (pitch arrangement) of the performance data matches the pitch arrangement of the data stored in the performance sound storage area. This is to determine whether or not. For example, a maximum of five performance sound data can be stored in the performance sound storage area, and if five performance sound data are stored, step S67 becomes affirmative.
[0028]
The performance sound storage area is preferably configured as a ring buffer in which data input later is sequentially overwritten on old ones. That is, in the performance sound storage area, data relating to the five most recently played keys among the key-pressed sounds after the musical sounds having different pitches from the instruction sounds are stored.
[0029]
If step S67 is positive, the process proceeds to step S68. If the predetermined number of performance-on data is not accumulated, step S67 is negative. In this case, the process returns to step S7 (FIG. 4 ), and the process from step S60 is started again when the next key event occurs. Is done.
[0030]
In step S68, pattern matching is performed between the stored data in the performance sound storage area and the performance data. The performance data to be subjected to pattern matching is the data after the current key pressing instruction pointer. In step S69, it is determined whether pattern matching is successful. If the pattern matching is successful, the process proceeds to step S70 where the key pressing instruction pointer is updated. Here, the key pressing instruction pointer is advanced to the next position in the pattern matching range. The key press instruction mark is scrolled by updating the key press instruction pointer.
[0031]
In step S71, the evaluation relating to the key-pressing musical sound before the pattern matching range is written in the evaluation storage area. Since there is no key-pressing sound in this range, a low evaluation is written as not being played. In step S72, the pitch and key pressing timing are evaluated for each performance sound stored in the performance sound storage area. In step S73, the contents stored in the performance sound storage area and the evaluation in step S72 are written into the evaluation storage area. In step S74, the performance sound storage area is cleared. At the same time that the performance sound storage area is cleared, the key pressing instruction screen is updated and scrolled to perform key pressing instructions for the musical sound of the current pointer. In the case of music with accompaniment, the accompaniment playback pointer is also moved to the corresponding position.
[0032]
FIG. 6 is a diagram illustrating a structure example of the evaluation storage area. In the figure, the pitch of the musical tone and the key pressing timing are stored as performance data for each pointer number. The same pointer number describes the timing at which the key was actually pressed and its evaluation, that is, the rank (S, A,...) Based on the amount of deviation between the key pressing timing of the performance data and the actual key pressing timing. The performance data for evaluation may include not only the key pressing timing but also the key pressing length and velocity. However, for the sake of simplicity of explanation, the evaluation storage area includes only the key pressing timing.
[0033]
FIG. 7 is a diagram showing a structure example of the performance sound storage area. In the performance sound storage area, the pitch (note number) of the actually pressed key and the key pressing timing are stored. In the figure, only three data are stored, but the performance sound storage area is set so that up to five data can be stored. However, the size of the performance sound storage area is not limited to this. The data storage amount may be set so that the current performance location can be determined and the performance can be followed by pattern matching.
[0034]
FIG. 1 is a main functional block diagram showing processing of key-pressed musical sound data. In the same figure, the key depression detection unit 3 detects the key depression tone data input from the detection circuit 23 and inputs it to the pitch determination unit 4. The pitch determination unit 4 compares the pitch of the performance data indicated by the current pointer input from the performance data storage unit 5 with the pitch of the key depression tone. The pitch determination unit 4 outputs a coincidence signal when the pitches match, and outputs a mismatch signal when the pitches do not match.
[0035]
While the coincidence signal is output, the switch 6 is switched to the key depression evaluation unit 7 side, and is switched to the performance sound storage unit (buffer) 8 side in response to the mismatch signal. Once switched to the performance sound storage unit 8, the switch 6 is kept switched to the performance sound storage unit until the matching signal of the pattern detection unit 9 is input. The data of the key depression tone is input to the side where the switch 6 is switched.
[0036]
The evaluation storage unit 10 stores performance data (pitch, key pressing timing, etc.) read from the performance data storage unit 5 for evaluation of the key-pressing tone. The key depression evaluation unit 7 compares the stored data of the evaluation storage unit 10 with the data of the key depression musical tone, and performs a predetermined evaluation according to the degree of the difference. The evaluation is stored in the evaluation storage unit 10. When the evaluation of the data of the key pressing sound is finished, the key pressing instruction unit 11 is instructed to scroll the key pressing instruction.
[0037]
On the other hand, in the performance sound storage unit 8, the data of the key depression sound when the pitches do not match is stored. The stored key pressing data is input to the pattern detection unit 9. Among the data of the pattern detecting unit 9 performance data storage unit 5 searches the performance data of the current pointer later, the performance data that matches the stored key depression data to the performance sound storage unit 8 pattern (sequence of tone) To detect. If a matching pattern is detected, a matching signal is output, the switch 12 is switched to the key depression evaluation unit 7 side, and the data of the key depression musical tone accumulated in the performance sound storage unit 8 is evaluated by the key depression evaluation unit 7. Then, the evaluation result is described in the evaluation storage unit 10. Also, the performance sound storage unit 8 is cleared by the matching signal, and the switch 6 is switched to the key depression evaluation unit 7 side.
[0038]
According to this embodiment, when the performance according to the key depression instruction is not performed, the data of the subsequent key depression tone is stored in the buffer. Then, by performing pattern matching between the stored data and the performance data, it is possible to determine the position where the current key pressing position matches the performance data, and update the pointer for reading the key pressing instruction data. Can do. In addition, an evaluation can be obtained for the accumulated data.
[0039]
Next, a second embodiment of the present invention will be described. FIG. 8 is a main flowchart of the second embodiment, and steps S10 to S16 are processed in the same manner as steps S1 to S7 in FIG. When step S16 is negative, it progresses to step S17, and when positive, it progresses to step S18. In step S17, it is determined whether or not to interrupt the lesson. If there is no indication of lessons interruption from the performer to the scheduled waiting time, the process proceeds to step S 13 to continue the key-depression indication. If there is an instruction to interrupt the lesson, the process proceeds to step S18.
[0040]
In step S18, the performance evaluation and key press timing stored in the buffer are transferred to the evaluation storage unit. The evaluation storage unit is configured similarly to that of the first embodiment (FIG. 6). However, it differs from the first embodiment in that the evaluation and the like are transferred from the buffer to the evaluation storage unit. Further, the buffer is different from the buffer of the first embodiment in which the performance results after the mistouch are stored, in that all the results are stored from the beginning of the performance.
[0041]
In step S19, grade determination is performed based on the evaluation. In step S20, it is determined whether or not the result is a pass result. If it passes, this process ends, and if it does not pass, the process proceeds to step S12.
[0042]
FIG. 9 is a flowchart showing a performance result input process according to the second embodiment. In step S150, it is determined whether or not a key has been pressed. If a key press is detected, the process proceeds to step S151, and the key press result (pitch and key press timing) is stored in the buffer. In step S152, it is determined whether the pitch of the performance data for the key press instruction indicated by the key press instruction pointer is the same as the pitch of the key press musical sound. If they are the same, the process proceeds to step S153, and the key pressing instruction pointer is advanced next. The key pressing instruction mark is scrolled by updating the key pressing instruction pointer.
[0043]
If the pitch of the performance data for the key pressing instruction is not the same as the pitch of the key pressing musical tone, the process proceeds to step S154. In step S154, it is determined whether or not the predetermined number of unevaluated musical tones has continued in the buffer. The planned number is a number that allows pattern matching, and is set to, for example, five. If the number of unevaluated musical tones is a predetermined number (for example, 5), the process proceeds to step S155, and pattern matching between the stored data in the buffer and the performance data is performed. The performance data to be subjected to pattern matching is not the data after the current key pressing instruction pointer but the data of all selected practice songs. By doing so, not only when the performer mistouches but also when the performer suddenly returns to an arbitrary portion and starts playing, it is possible to discriminate that portion by pattern matching and issue a key depression instruction.
[0044]
In step S156, it is determined whether pattern matching is successful. If the pattern matching is successful, the process proceeds to step S157 to update the key depression instruction pointer. That is, the key pressing instruction pointer is advanced to the next position in the range where the pattern matching is successful. The key press instruction mark is scrolled by updating the key press instruction pointer.
[0045]
In step S158, the unevaluated musical sound in the buffer is evaluated, and the evaluation is written in the evaluation entry area of the buffer. The evaluation is determined by comparing the key pressing timing of the instruction musical sound with the input key pressing timing, and the degree of coincidence.
[0046]
FIG. 10 is a diagram illustrating a structure example of a performance sound storage area (buffer). In the performance sound storage area, the pitch of the actually pressed key and the key pressing timing are stored from the start of the lesson. Unlike the buffer of FIG. 7, an evaluation entry area is provided.
[0047]
FIG. 11 is a principal functional block diagram showing processing of key-pressed musical sound data according to the second embodiment. The key depression tone data detected by the key depression detection unit 31 is stored in the performance sound storage unit 32. The note number of the key-pressed sound data is input to the pitch determination unit 33. The key depression evaluation unit 34 evaluates the key depression musical tone data determined by the pitch determination unit 33 as having the same pitch. The evaluation is stored in the performance sound storage unit 32.
[0048]
When the pitch determination unit 33 determines that the pitch of the key depression tone data does not match the instruction pitch, the latest plurality of key depression tone data stored in the performance tone storage unit 32 and the performance data storage unit The performance data stored in 35 is input to the pattern detection unit 36, and a sequence of performance data whose pattern matches the key-pressed music data is detected. Pattern matching is established when at least the pitch arrangements match. In addition to the pitch, it is also possible to detect the coincidence of time data between musical sounds based on the key pressing timing. If pattern matching is established, the pointer updating unit 37 moves the pointer next to the performance data that has undergone pattern matching. In accordance with this pointer, the performance data is read from the performance data storage unit 35 to the key pressing instruction display unit 38.
[0049]
In the present embodiment, the pattern matching between the performance musical sound and the performance data is established when the arrangement of the pitches is the same. However, the pattern matching method is not limited to this, and in addition to the matching of the pitches, the matching of the performance timings may be seen.
[0050]
Also, the pattern matching does not mean only the complete matching between the performance music sound and the performance data. Even when there is a slight shift in key pressing timing or a mistouched musical tone, even if there are deviations or omissions that can be judged to be similar to the overall pattern of multiple musical performances, the pattern matches It can be considered that they match.
[0051]
【The invention's effect】
As is clear from the above description, according to the first aspect of the present invention, the key pressing instruction proceeds first when played at the pitch as instructed, but even when not played at the pitch. The current position in the performance data is determined by a pattern matching method based on the musical performance sound stored in the buffer. Since the performance is resumed from the position after the current position, even if the current position is lost due to a slight mistouch or ad lib, the position can be immediately found and the instruction can be resumed.
[0052]
In this way, practice is not interrupted by slight mistakes or ad lib, so the performer can perform freely without being forced to always perform faithfully according to the performance instructions, and flexibility without fear of slight mistakes. Practice is possible.
[0053]
Furthermore, according to the first aspect of the present invention, it is possible to evaluate the data of the stored musical performance even when the pitch of the musical performance is not as instructed, and the performer recognizes the objective evaluation. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing main functions of a performance self-study apparatus according to an embodiment of the present invention.
FIG. 2 is a system configuration diagram of a performance self-study apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a display example of a key pressing instruction.
FIG. 4 is a flowchart showing the operation of the performance self-study apparatus.
FIG. 5 is a flowchart showing a key pressing tone input process.
FIG. 6 is a diagram showing an example data structure of an evaluation storage area.
FIG. 7 is a diagram showing an example of the data structure of a performance sound storage area.
FIG. 8 is a main flowchart of the second embodiment.
FIG. 9 is a flowchart showing a performance result input process according to the second embodiment.
FIG. 10 is a diagram illustrating a structure example of a performance sound storage area (buffer).
FIG. 11 is a principal functional block diagram showing processing of key-pressed musical sound data according to the second embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... PC, 2 ... Keyboard instrument, 3,31 ... Key press detection part, 4,33 ... Pitch determination part, 5,35 ... Performance data storage part, 7, 34 ... Key press evaluation part, 8, 32 ... Performance Sound storage unit, 9, 36 ... Pattern detection unit, 10 ... Evaluation storage unit, 11 ... Key press instruction unit, 12 ... Keyboard, 14 ... Display.

Claims

Performances configured to display musical score information created based on performance data and instruct the performer to perform, and to perform the next performance instruction when played at the pitch specified by the performance In self-study equipment,
Means for stopping the progress of the performance instructions when not played at the pitch as the performance instructions are given;
A buffer for storing musical sounds,
A performance evaluation means for performing an evaluation based on the degree to which the musical sound instructed to perform matches the musical performance music;
A performance data string detecting means for retrieving, from the performance data, a performance data string that is arranged in sequence with the latest plurality of performance musical sounds stored in the buffer when the progress of the performance instruction is stopped;
When played at the pitch as instructed to perform, the performance evaluation means evaluates each time,
If the performance data sequence is not played at the pitch as instructed, the performance data sequence detecting means restarts the progression of the performance instruction from the next of the performance data sequence when the matching performance data sequence is detected. A performance self-study apparatus characterized in that the performance data string is evaluated.