JP4238237B2 - 楽譜表示方法および楽譜表示プログラム - Google Patents

Description

この発明は、表示された楽譜上に演奏位置を表示するようにした楽譜表示方法および楽譜表示プログラムに関する。

従来、楽曲データの楽譜画像を表示手段に表示して、楽曲データを再生する際に楽曲の再生タイミングに同期して再生位置を示す再生マーク（カーソル）を移動表示し、現在楽譜上のどの位置を再生しているかを判りやすく提示することが知られている。この場合、再生マークの移動表示は再生タイミングに同期して連続的に制御されるため、その表示制御のためにはリアルタイムで表示座標の演算を行うと共に描画制御を行うことが必要とされる。
特開２００２−２５８８３７ 特開２００４−０８５６４０ 特開２００４−０９４０９２

再生マークを表示させるために都合の良い表示形態は、楽譜の読みやすさを犠牲にして各小節の表示幅を固定し、各音符をその演奏タイミングに合わせて表示配置することである。しかし、各小節の表示幅を固定するようにすると１小節における音符数が多い場合は音符同士が詰めて表示配置され、音符数が少ない場合は音符同士が離れて表示配置されることから、上記した楽譜は一般的に読譜しづらいものとなる。また、読譜しやすいように音符の配置や各小節の幅を調節された楽譜上で演奏マークを表示させようとした場合には、演奏マークの移動速度および移動距離は音符毎、小節毎にバラバラになるため、演奏マークを表示制御するためには常時大量の演算処理を行わなければならないという問題点があった。
また、近年、インターネットの普及により、イメージとされた電子楽譜をオンラインで提供してネットワークを介して音楽教習を行うサービスが提案されている。このようなサービスにおいて、楽曲の再生とともに楽譜画像が表示されるようなコンテンツを、動画としてストリーム配信にて提供することが考えられる。この場合、楽譜は読譜しやすいように音符の配置や小節幅が調節されていることが望ましいが、音符の配置や小節幅が調節されている楽譜において再生マークを表示させるためには、上述したように常時大量の演算処理が必要になる。すると、ネットワーク経由でストリーム配信される動画データを再生する際、データの送受信や他の描画制御が優先されるため、再生マークの移動表示のための演算処理に十分な余裕がなくなり、再生マークの表示位置が全く更新されなかったり、現在の演奏位置ではない位置に再生マークが表示されることになって、不適切な表示がなされるおそれがあるという問題点が生じるようになる。

そこで、本発明は、楽曲データを再生する場合に、対応する表示された楽譜画像上に演奏位置を少ない演算量で表示することのできる楽譜表示方法および楽譜表示プログラムを提供することを目的としている。

上記目的を達成するために、本発明の楽譜表示方法および楽譜表示プログラムは、楽譜画像の小節毎に算出した小節幅を楽曲データのビート数で等分して小節内の各拍に対応した複数の表示位置を算出し、小節毎に算出した演奏時間を楽曲データのビート数で等分して小節の演奏時刻を基準とした複数の表示タイミングを算出し、楽曲データの再生に合わせて、算出した表示位置および表示タイミングにて演奏位置の表示を楽譜画像上に行うようにしたことを最も主要な特徴としている。

本発明によれば、楽譜画像の小節毎に算出した小節幅を楽曲データのビート数で等分して小節内の各拍に対応した複数の表示位置を算出し、小節毎に算出した演奏時間を楽曲データのビート数で等分して小節の演奏時刻を基準とした複数の表示タイミングを算出し、楽曲データの再生に合わせて、算出した表示位置および表示タイミングにて演奏位置の表示を楽譜画像上に行うようにしたことから、演奏位置の表示位置と表示タイミングを拍単位で離散的に制御することができる。その際、厳密に音符が描画されている位置に合わせるのではなく、小節幅をビート数に応じて等分した位置および時間で表示制御するようにしている。このため、演算量および描画処理の処理量を極めて少なくすることができ、表示制御に十分な処理量が確保できないような場合であっても不適切な表示がなされることを防止することができる。この場合、演奏位置は正確な演奏タイミングを表示するものではないが、音楽教習等において再生とともに楽譜表示を行う場合、再生位置はあくまでも読譜の目安であり、概略の拍位置を表示すれば十分実用に耐えるようになる。

本発明の実施例の楽譜表示方法を図１を参照しながら説明する。
図１には、表示部に表示されている楽譜画像１を示している。この楽譜画像１は、楽曲データに対応して予め用意された楽譜画像データを表示部に表示したものであり、楽譜画像データはビットマップ等の画像データとされている。図示する例では楽譜画像１は五線譜の楽譜とされており、図１に示されている楽譜画像１は１ページ分の楽譜であり、この例では２小節で１ページが構成されている。このことから、１曲分の楽曲データに対応する楽譜画像は複数のページから構成されるようになり、楽譜画像の各ページは五線の縦方向の位置と左端の位置が揃うように予め作成されて、各ページとも縦横のサイズが揃うようにされている。楽譜画像１の下には、楽曲データの再生に合わせて順次移動していく演奏位置マーク２が表示される。この演奏位置マーク２は予め算出された飛び飛びの表示位置３上を移動するように表示される。表示位置３は、楽譜画像１における各小節幅をビート数で等分して小節毎の所定の基準位置を基準として算出された複数の表示位置とされる。

図１に示す例で表示位置３の算出方法を説明すると、まず、第１小節幅（Width1）を基準位置ｘ０，ｘ１から求める（Width1＝ｘ１−ｘ０）。基準位置ｘ０，ｘ１，ｘ２は、それぞれ第１小節の先頭の音符の表示位置、第２小節の先頭の音符の表示位置、仮想的な第３小節の先頭の音符４の表示位置に対応している。求めた第１小節幅（Width1）を４等分し、４等分した値をａとした際に、１番目の表示位置３を位置（ｘ０）とし、２番目の表示位置３を位置（ｘ０＋ａ）とし、３番目の表示位置３を位置（ｘ０＋２ａ）とし、４番目の表示位置３を位置（ｘ０＋３ａ）とする。同様にして、第２小節においては１番目の表示位置３を位置（ｘ１）とし、２番目の表示位置３を位置（ｘ１＋ｂ）とし、３番目の表示位置３を位置（ｘ１＋２ｂ）とし、４番目の表示位置３を位置（ｘ１＋３ｂ）とする。ただし、ｂは第２小節幅（Width2＝ｘ２−ｘ１）を４等分した値である。このように算出された表示位置３上を楽曲データの再生に合わせて演奏位置マーク２を飛び飛びに移動するよう描画していく。この場合、演奏位置マーク２を表示位置３に表示するタイミングは、各小節の演奏時間をビート数で等分して各基準位置の再生時刻を基準として算出されたそれぞれのタイミングとされる。

図１に示す楽譜画像１に対応する1ページ分の楽曲データの一例を図２に示す。この楽曲データの例では、第１小節が音符データ１，音符データ２，音符データ３，音符データ４からなり、第２小節が音符データ５，音符データ６，音符データ７，音符データ８から構成されている。音符データは、音符の音声データでも良いしＭＩＤＩデータとされても良い。ＭＩＤＩデータの場合は、ノートオン／ノートオフやコントロールチェンジ、プログラムチェンジのイベントデータとイベントとイベントの時間間隔を表すデュレーションデータから音符データが構成される。時刻ｔ０はスタートボタンを押して最初の音符が演奏開始される時刻であり、時刻ｔ１は第２小節の先頭の音符が演奏される再生時刻であり、時刻ｔ２は仮想的な第３小節の先頭の音符が演奏される再生時刻である。これにより、第１小節の演奏時間は（ｔ１−ｔ０）により算出され、第２小節の演奏時間は（ｔ２−ｔ１）により算出される。そこで、算出された演奏時間をビート数で４等分し、４等分した値をｃとすると、１番目の表示位置３に演奏位置マーク２を表示するタイミングは時刻（ｔ０）となり、２番目の表示位置３に演奏位置マーク２を表示するタイミングは時刻（ｔ０＋ｃ）となり、３番目の表示位置３に演奏位置マーク２を表示するタイミングは（ｔ０＋２ｃ）となり、４番目の表示位置３に表示するタイミングは（ｔ０＋３ｃ）となる。同様にして、第２小節においては１番目の表示位置３に演奏位置マーク２を表示するタイミングは時刻（ｔ１）となり、２番目の表示位置３に演奏位置マーク２を表示するタイミングは時刻（ｔ１＋ｄ）となり、３番目の表示位置３に演奏位置マーク２を表示するタイミングは（ｔ１＋２ｄ）となり、４番目の表示位置３に表示するタイミングは（ｔ１＋３ｄ）となる。ただし、ｄは第２小節の演奏時間（ｔ２−ｔ１）を４等分した値である。このように算出されたタイミングで演奏位置マーク２を表示位置３上を飛び飛びに移動するよう描画していくことにより、楽曲データの再生に合わせて演奏位置マーク２が表示位置３上を移動するよう表示されるようになる。
上記したように、本発明の楽譜表示方法において表示位置３を算出するにあたっては、基準位置情報とビート数から少ない演算量で求めることができると共に、表示位置３に表示するタイミングも各基準位置の再生時刻情報とビート数から少ない演算量で求めることができるようになる。

次に、本発明の楽譜表示方法が実行される電子音楽装置の記録手段に記録されるデータを図３に示す。
１曲分のデータは楽曲情報と、楽曲データと、楽譜画像データと、表示制御データとから構成されている。楽曲情報には、少なくともページ毎に何小節（Ｍ：小節数）であるかの情報と、何拍子であるか（ビート数）の情報が含まれており、楽曲データはＭＩＤＩファイル（ＳＭＦ：Standard MIDI File ）やＭＰ３等の音声ファイルとされる。楽譜画像データは演奏位置マーク２を除く図１に示すような楽譜画像１のビットマップ等のイメージデータとされる。表示制御データは、演奏位置マーク２と楽譜画像のページ切替のための情報とされる。楽譜画像データは予め用意された楽譜の画像データであり、図示するように１曲分の楽譜画像データは１ページ目、２ページ目、・・・、ｎページ目の複数の楽譜画像から構成されており、各ページは例えば図１に示すように２小節で１ページが構成されている。演奏位置マーク２と楽譜画像のページ切替のための情報（表示制御データ）は、表示された楽譜画像における基準位置を表示座標で示す基準位置情報（ｘ）と、楽曲データを再生した際の基準位置に到達する再生時刻情報（ｔ）とが対となった情報列とされる。すなわち、図３に示すように表示制御データは、（ｔ０，ｘ０）、（ｔ１，ｘ１）、（ｔ２，ｘ２）・・・・（ｔｍ，ｘｍ）とされる。表示制御データの数は１ページあたりの小節数をＭとした際に、Ｍ＋１とされる。また、再生時刻情報ｔ０，ｔ１，ｔ２，・・・・，ｔｍは演奏開始からの絶対時間（楽曲データが音声の場合）でも良いし、相対時間（楽曲データがＭＩＤＩの場合には、ＭＩＤＩタイミングクロック数）でも良い。

次に、本発明にかかる楽譜表示プログラムにより実行される表示制御処理のフローチャートを図４に示す。表示制御処理が実行される際には、自動演奏（再生）処理が別途起動されて実行されており、自動演奏（再生）処理では楽曲データを順次読み出して楽音を再生すると共に再生時刻の計時を行っている。
「再生ボタン」の操作に応答して表示制御処理がスタートされ、ステップＳ１０にてｎページ目の楽譜画像が表示される。スタート直後においてはｎは１とされて１ページ目の楽譜画像が表示部に表示される。次いで、ステップＳ１１にて小節幅を表示制御データにおける基準位置情報から取得して、拍毎の演奏位置マーク２のマーク表示位置を計算する。この場合、演奏位置マーク２を表示する拍毎の表示位置は下記の演算式で算出する。
ｍ拍目の表示位置＝(基準位置）＋（小節幅）＊（ｍ−１）／ビート数

次に、ステップＳ１２にて小節の演奏時間である小節間の時間を表示制御データにおける基準位置に到達する再生時刻情報から取得して、拍毎の演奏位置マーク２のマーク表示タイミングを計算する。この場合、拍毎の表示タイミングは下記の演算式で算出する。
ｍ拍目の表示タイミング＝(基準位置の時刻）＋（小節間の時間）＊（ｍ−１）／ビート数
ステップＳ１１およびステップＳ１２にて演奏位置マーク２のマーク表示位置およびマーク表示タイミングが算出されると、ステップＳ１３にて小節の終端に達するまで計算したマーク表示位置およびマーク表示タイミングで演奏位置マークを移動させて表示させていく。すなわち、算出した拍毎の表示タイミング（再生時刻）で演奏位置マーク２の表示位置を切り替えるように描画処理を行い、この処理を小節の終端に達するまで行う。ステップＳ１３の処理が終了すると、ステップＳ１４に進んでそのページに次の小節があるか否かが判定される。ここで、次の小節があると判定された場合は分岐してステップＳ１１へ戻りステップＳ１１ないしステップＳ１３の処理が繰り返し行われて上記した次の小節における演奏位置マーク２の表示制御が行われる。

また、ステップＳ１４にて次の小節がないと判定された場合は、ステップＳ１５に進み次のページがあるか否かが判定される。ここで次のページ、この場合は２ページがあると判定された場合は分岐してステップＳ１０に戻り２ページ目の楽譜画像が表示部に表示されて、ステップＳ１１ないしステップＳ１３の処理が繰り返し行われて２ページ目の最初の小節における上記した演奏位置マーク２の表示制御が行われる。この処理は、最終ページの最終の小節の終端に至るまで繰り返し行われる。そして、最終ページの最終の小節の終端に至るまで処理が行われると、ステップＳ１５にてｎｏと判定されて表示制御処理は終了し、メイン処理にリターンされる。なお、表示制御処理が終了する際には自動演奏（再生）処理による楽曲データの再生も終了することになる。
なお、小節の演奏時間である小節間の時間を、テンポとビート数により求めるようにしても良い。また、楽曲データがＭＩＤＩファイルとされている場合は小節の演奏時間である小節間の時間を、ＭＩＤＩデータにおける１小節分のデュレーションデータを加算することにより求めるようにしても良い。

次に、本発明の楽譜表示方法を適用して本発明にかかる楽譜表示プログラムを備える電子音楽装置５の構成を示すブロック図を図５に示す。本発明にかかる楽譜表示プログラムがパーソナルコンピュータとほぼ同様の構成とされている電子音楽装置５において実行されることにより本発明にかかる楽譜表示方法が実施されることになる。
図５に示す電子音楽装置５において、ＣＰＵ（Central Processing Unit）１０は電子音楽装置５の全体の動作を制御すると共に、楽譜表示プログラム等の動作ソフトウェアを実行している。ＲＯＭ（Read Only Memory）１１には、ＣＰＵ１０が実行する楽譜表示プログラム等の動作ソフトウェアが少なくとも格納されており、ＲＡＭ（Random Access Memory）１２には、ＣＰＵ１０のワークエリアや各種データの記憶エリアが設定されている。このＲＯＭ１１をフラッシュメモリ等の書き換え可能なＲＯＭとすることで、動作ソフトウェアを書き換え可能となり動作ソフトウェアのバージョンアップを容易に行うことができる。また、ＲＯＭ１１に楽曲情報と、楽曲データと、楽譜画像データと、表示制御データからなるデータセットを複数曲分格納しておくことができる。

検出回路１４は、キーボードやポインタデバイス等の操作子１３を走査することによって操作子１３のイベントを検出して、イベントのあった操作子１３に対応するイベント出力を出力している。表示回路１６は液晶等の表示部１５を備え、この表示部１５に再生される楽曲データに対応する楽譜画像を表示して演奏位置マークを演奏の進行に合わせて表示したり、電子音楽装置５における各種設定の画面等を表示部１５に表示している。各種設定の画面では、ＧＵＩ（Graphical User Interface）を利用してユーザが再生する楽曲データを選択したり、その再生の開始や終了を指示する等の画面とされている。音源回路１８は波形メモリを備える波形メモリ音源やＦＭ音源等とされ、ＣＰＵ１０の制御に基づいて楽音生成処理を行うことにより楽音波形データを生成している。音源回路１８において生成された楽音波形データは、サウンドシステム１７に供給されアナログ信号に変換されて放音される。サウンドシステム１７では、音量制御や音質制御を行うことが可能とされている。通信インタフェース（Ｉ／Ｆ）２０は、電子音楽装置５をＬＡＮ（ローカルエリアネットワーク）やインターネット、電話回線等の通信ネットワーク等のネットワーク２０に接続するインタフェースである。ハードディスク装置（ＨＤＤ）２１は内蔵することが可能な大容量記憶装置であり、ＨＤＤ２１には楽曲情報と、楽曲データと、楽譜画像データと、表示制御データからなるデータセットを複数曲分記憶することができる。これらの各部は通信バス２２に接続されている。

このように構成された電子音楽装置５において、操作子１３を操作して再生する楽曲を選択しスタートボタンを操作すると、楽曲データがＲＯＭ１１あるいはＨＤＤ２１から読み出されて音源回路１８に送られ再生が開始されると共に、その楽曲データに対応する楽譜画像データがＲＯＭ１１あるいはＨＤＤ２１から読み出されて、その１ページ目が表示部１５に表示されるようになる。そして、音源回路１８により再生された楽音信号がサウンドシステム１７から放音されると共に、再生の進行に合わせて演奏位置マーク２が図１に示すように楽譜画像１の表示位置３上を移動していくように表示される。１ページ目の楽譜画像１の再生が終了すると、表示部１５には２ページ目の楽譜画像１が表示されるようになり、再生の進行に合わせて演奏位置マーク２が２ページ目の楽譜画像１の表示位置３上を移動していくように表示される。楽曲データの再生が終了するまで、同様に表示部１５に表示されている楽譜画像１の表示位置３上を移動していくように表示されるようになる。

電子音楽装置５では、上述したように楽譜画像の小節毎に算出した小節幅を楽曲データのビート数で等分して基準位置に基づいて複数の表示位置３を算出し、小節毎に算出した演奏時間を楽曲データのビート数で等分して小節の演奏時刻を基準とした複数の表示タイミングを算出し、楽曲データの再生に合わせて、算出した表示位置３および表示タイミングにて演奏位置マーク２の表示を楽譜画像上に行うようにしている。これにより、演奏位置マーク２の表示位置３と表示タイミングを拍単位で離散的に制御することができ、その際に、厳密に音符が描画されている位置に合わせるのではなく、小節幅をビート数に応じて等分した位置および時間で表示制御するようにしている。このため、演算量および描画処理の処理量を極めて少なくすることができ、表示制御に十分な処理量が確保できないような場合であっても不適切な表示がなされることを防止することができる。この場合、演奏位置マーク２は正確な演奏タイミングを表示するものとはならないが、音楽教習等において再生とともに楽譜表示を行う場合、再生位置はあくまでも読譜の目安であり、概略の拍位置を表示すれば十分実用に耐えるようになる。

なお、１曲分に関するデータが一つのデータセットとされている必要はない。例えば、再生コンテンツを構成する要素コンテンツ（楽曲データ、楽譜画像データ、表示制御データ）をマークアップ記述言語（例えば、ＳＧＭＬ（Standard Generalized Mark-up Language）、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（eXtensible Markup Language）等）で、それぞれの要素コンテンツの所在を示すＵＲＬ（Uniform Resource Locator）を規定するようにし、再生時に要素コンテンツを取得して上述したように再生するようにしても良い。
上記説明においては、基準位置を各小節の先頭拍に相当する位置としたが、各小節を区分する小節線の表示位置を基準位置としてもよい。この場合、基準位置ｘ０、ｘ１、ｘ２は、それぞれ第１小節の先頭の小節線位置、第１小節末端（第２小節先頭）の小節線位置、第２小節末端の小節線位置に対応する。小節線の表示位置を基準位置とした場合、例えば、ｍ拍日の表示位置を下記の演算式で算出する。
小節幅＝末端の小節線の位置−先頭の小節線の位置
ｍ拍日の表示位置＝（基準位置：小節線の位置）＋（小節幅）＊（２ｍ−１）／（２＊ビート数）
すなわち、ｍ拍日に対応する演奏マークは、小節線を基準とした小節幅を、ビート数で等分した領域の中心に表示される。小節線の表示位置を基準位置とする場合、上記に限らず、演奏位置マークは小節を拍数で等分した領域内であれば、各領域の先頭や末端等どの位置に表示してもよい。また、小節毎あるいは楽曲毎に所定のオフセット幅を規定し、算出した表示位置を該オフセット幅で微調整するようにしても良い。
また、楽譜画像では五線譜を複数段表示するようにしてもよく、複数段表示する際は縦方向に複数ページの画像ファイルを並列して表示するようにする。また、五線譜を複数段表示する場合、２段目以降は楽譜画像の表示開始位置をオフセットとして演奏位置マーク２を表示するためのｙ座標に加算するようにすればよい。

以上の説明では、本発明にかかる楽譜表示方法および楽譜表示プログラムは電子音楽装置に備えられるものとしたが、これに限るものではなく種々の音楽関連装置に備えさせることにより楽譜表示方法を実施することができる。この場合には、楽譜表示プログラムを記録媒体に記録して種々の音楽関連装置に組み込むようにすればよい。

本発明の実施例の楽譜表示方法を説明するための表示部に表示される楽譜画像を示す図である。 本発明の楽譜表示方法にかかる楽譜画像に対応する1ページ分の楽曲データの一例を示す図である。 本発明の楽譜表示方法が実行される電子音楽装置の記録手段に記録されるデータを示す図である。 本発明の実施例の楽譜表示プログラムを備える電子音楽装置の構成を示すブロック図である。 本発明の楽譜表示方法を適用して本発明にかかる楽譜表示プログラムを備える電子音楽装置の構成を示すブロック図である。

符号の説明

１ 楽譜画像、２ 演奏位置マーク、３ 表示位置、４ 音符、５ 電子音楽装置、１０ ＣＰＵ、１１ ＲＯＭ、１２ ＲＡＭ、１３ 操作子、１４ 検出回路、１５ 表示部、１６ 表示回路、１７ サウンドシステム、１８ 音源回路、１９ 通信インタフェース、２０ ネットワーク、２１ ＨＤＤ、２２ 通信バス

Claims (2)

1. 楽曲データと、楽曲データに対応する楽譜画像データと、楽譜画像の基準位置情報と当該基準位置に到達する再生時刻情報を記録した記録手段を備える電子音楽装置における楽譜表示方法であって、
   前記記録手段に記録されているいずれかの楽曲データを再生するステップと、
   再生される楽曲データに対応する楽譜画像データに基づいて楽譜画像を表示部に表示するステップと、
   前記表示部で表示されている楽譜画像の小節毎に小節幅を前記基準位置情報に基づいて算出し、算出した小節幅を前記楽曲データのビート数で等分して小節内の各拍に対応した複数の表示位置を算出するステップと、
   小節毎に小節の演奏時間を前記再生時刻情報に基づいて算出し、算出した演奏時間を前記楽曲データのビート数で等分して小節の演奏時刻を基準とした複数の表示タイミングを算出するステップと、
   前記表示された楽譜画像上に、前記算出した表示位置および表示タイミングにて前記楽曲データの再生に合わせて演奏位置の表示を行うステップと、
   を具備する楽譜表示方法。
2. 楽曲データと、楽曲データに対応する楽譜画像データと、楽譜画像の基準位置情報と当該基準位置に到達する再生時刻情報を記録した記録手段を備えるコンピュータを、
   前記記録手段に記録されているいずれかの楽曲データを再生する再生手段、
   前記再生手段で再生される楽曲データに対応する楽譜画像データに基づいて楽譜画像を表示部に表示させる表示手段、
   前記表示部に表示されている楽譜画像の小節毎に小節幅を前記基準位置情報に基づいて算出し、算出した小節幅を前記楽曲データのビート数で等分して小節内の各拍に対応した複数の表示位置を算出する表示位置算出手段、
   小節毎に小節の演奏時間を前記再生時刻情報に基づいて算出し、算出した演奏時間を前記楽曲データのビート数で等分して小節の演奏時刻を基準とした複数の表示タイミングを算出する表示タイミング算出手段、
   前記表示された楽譜画像上に、前記算出した表示位置および表示タイミングにて前記楽曲データの再生に合わせて演奏位置の表示を行う演奏位置表示手段、
   として機能させるようにしたことを特徴とする楽譜表示プログラム。
   

Images