以下、図面を参照し、この発明の実施形態について説明する。
<第1実施形態>
図1は、この発明の第1実施形態による楽譜表示装置1の構成を示すブロック図である。楽譜表示装置1は、制御部11、ユーザインターフェース(以下、ユーザI/Fという)12、揮発性記憶部13、不揮発性記憶部14およびこれらの各構成要素間のデータ授受を媒介するバス15を有している。
ユーザI/F12は、例えば、タッチパネルなどである。ユーザI/F12は、各種データの示す内容などを画面に表示する表示機能と、ユーザによるタッチなどの操作を受け付け、その操作内容を表すデータを制御部11に与える入力機能とを有する。なお、操作内容を表すデータとは、タップ操作であればそのタップ位置を示すデータであり、フリック操作であればフリック方向とフリック量を示すデータである。すなわち、ユーザI/F12は、表示手段の役割と入力手段の役割とを兼ねている。
制御部11は、例えば、CPU(Central Processing Unit:中央処理装置)である。制御部11は、不揮発性記憶部14に格納されているプログラムを実行することにより楽譜表示装置1の各部を制御する制御中枢である。
揮発性記憶部13は、例えばRAM(Random Access Memory)である。揮発性記憶部13は、制御部11によりワークエリアとして利用される。不揮発性記憶部14は、例えば、フラッシュメモリやハードディスクドライブであり、各種のプログラムなどの情報を記憶するための記憶装置である。不揮発性記憶部14には、本実施形態に特有なものとして、楽譜表示プログラム141、楽譜データ20および書き込みデータ30が格納されている。
楽譜表示プログラム141は、楽譜表示装置1の主プログラムである。制御部11は、楽譜表示プログラム141を実行することによりタブレット端末などのコンピュータを楽譜表示装置1として機能させる。制御部11は、楽譜表示プログラム141に従って、ビューモードまたは書き込みモードで動作する。ビューモードは、楽譜をユーザI/F12の画面に表示する制御を行う制御モードである。書き込みモードは、楽譜に対するコメントなどの書き込みを示す情報をユーザI/F12を介して取得する制御モードである。ユーザは、ビューモードにおいて画面に表示される楽譜を参照することができ(より具体的には演奏のために楽譜を参照することができ)、書き込みモードにおいてユーザI/F12を介して楽譜にコメントなどを書き込むことができる。楽譜表示プログラム141に従って制御部11が実行する処理については、動作の説明において詳述する。
楽譜データ20は、ユーザI/F12の画面に表示する楽譜の画像データである。楽譜データ20は、当該楽譜データ20の示す画像が所定の領域毎に区分されるようにブロック化されている。本実施形態では、楽譜データ20は、楽譜画像が大譜表毎に区分されるようにブロック化されている。
より詳細に説明する。図2は、楽譜データ20の構成を示す概念図である。図2では、楽譜データ20を画像イメージで示している。図2の例では、複数の大譜表が上下方向に並べられている。図2に示すように、楽譜データ20は、画像領域22毎にブロック化されている。各画像領域22には、それらを区別するための番号k(k=1、2、・・・j−1、j、j+1・・・)が各々付与されている。なお、各画像領域を区別するときは、画像領域22jのように表示する。各画像領域22は、大譜表部24、上余白部26および下余白部28から構成されている。大譜表部24は、当該大譜表の最上線から最下線までの領域である。上余白部26は、当該大譜表の最上線から上の領域であり、当該大譜表の最上線よりも上側に他の大譜表がある場合には、当該大譜表の1段上の大譜表の最下線から当該大譜表の最上線までの領域である。下余白部28は、当該大譜表の最下線から下の領域であり、当該大譜表の最下線よりも下側に他の大譜表がある場合には、当該大譜表の最下線から当該大譜表の一段下の大譜表の最上線までの領域である。当該画像領域22jの一段上に画像領域22j−1がある場合には、当該画像領域22jの上余白部26は、当該画像領域22jの一段上の画像領域22j−1の下余白部28と重なる。当該画像領域22jの一段下に画像領域22j+1がある場合には、当該画像領域22jの下余白部28は、当該画像領域22jの一段下の画像領域22j+1の上余白部26と重なる。なお、楽譜における曲名部分は、その曲名部分を大譜表と同様にして取り扱えば良い。
書き込みデータ30は、楽譜に対して書き込まれたコメントなどの画像データである。書き込みデータ30は、楽譜データ20の画像領域22毎に各々生成され、当該画像領域22に各々関連付けられる。図3は、楽譜データ20と書き込みデータ30との関係を示す概念図である。図3では、楽譜データ20を画像領域22毎に分けて示している。書き込みデータ30jは、画像領域22j内の楽譜データ20jの示す楽譜画像に対して書き込まれたコメントを表す画像データである。同様に、書き込みデータ30j+1は、画像領域22j+1内の楽譜データ20j+1の示す楽譜画像に対して書き込まれたコメントを表す画像データであり、書き込みデータ30j+2は、画像領域22j+2内の楽譜データ20j+2の示す楽譜画像に対して書き込まれたコメントを表す画像データである。そして、書き込みデータ30jは画像領域22jに関連付けられ、書き込みデータ30j+1は画像領域22j+1に関連付けられ、書き込みデータ30j+2は画像領域22j+2に関連付けられている。他の画像領域22内の楽譜データ20の示す楽譜画像に対する書き込みについても同様である。また、各書き込みデータ30の画像イメージにおけるサイズは、関連先の各画像領域22の大きさと同じである。また、各書き込みデータ30の画像イメージにおける書き込まれたコメント以外の部分は透明となっている。
図4は、書き込みデータ30のデータ構造を示す概念図である。図4に示すように、各書き込みデータ30は、楽譜識別子34、画像領域番号36および画像データ38から構成される。楽譜識別子34は、関連先の楽譜データ20を示す情報(例えば、楽譜データ20のファイル名など)である。この楽譜識別子34により当該楽譜データ20と当該書き込みデータ30とが関連付けられる。画像領域番号36は、関連先の各画像領域22の番号を示す情報である。この画像領域番号36により、当該番号の画像領域22と当該書き込みデータ30とが関連付けられる。画像データ38は、書き込まれたコメントを示す情報である。画像データ38は、ビットマップのようなラスタデータのデータ列であっても良いし、ベクターデータ(例えばベジエ曲線を描くための座標系などのデータ)のデータ列であっても良い。また、画像データ38は、図形を示すデータのデータ列であっても良いし、テキストのデータ列であっても良い。また、画像データ38は、ラスタデータとベクターデータとが組み合わされたデータ列(あるいは、ラスタデータとベクターデータとの両方を含むデータ列)であっても良いし、図形を示すデータとテキストデータとが組み合わされたデータ列(あるいは、図形を示すデータとテキストデータとの両方を含むデータ列)であっても良い。
以上が、楽譜表示装置1の構成である。
次に、楽譜表示装置1の動作およびユーザの使用態様を説明する。
楽譜表示装置1の使用に際し、ユーザは、まず、本実施形態による楽譜データの元となる楽譜元データを予め準備する。楽譜元データは、例えば、PDF(Portable Document Format)ファイルなどの楽譜の画像データである。楽譜元データは、ネットワークを介して入手しても良いし、紙媒体からスキャナなどを介して読み込むことにより入手しても良い。また、musicXML(XML(eXtensible Markup Language)形式の楽譜表記のためのファイルフォーマット)ファイルをレンダリングした楽譜画像を楽譜元データとして用いても良いし、楽譜浄書ソフトウェア(楽譜を読譜し易い楽譜に編集するソフトウェア)で作成した楽譜ファイルをレンダリングした楽譜画像を楽譜元データとして用いても良い。
楽譜表示装置1の制御部11は、ユーザからの指示を契機として楽譜表示プログラム141の実行を開始する。例えば、制御部11は、ユーザI/F12の画面上の楽譜表示プログラム141を示すアイコンへのタップを契機として楽譜表示プログラム141の実行を開始する。図5は、このときの制御部11が行う処理内容を示すフローチャートである。まず、制御部11は、ユーザI/F12の画面に表示する楽譜をユーザに選択させる(SA110)。具体的には、制御部11は、不揮発性記憶部14に記憶されている楽譜データ20の一覧を表示可能な楽譜の一覧として画面に表示する。次に、制御部11は、楽譜が選択されたか否かを判断する(SA120)。楽譜の選択がされなかった場合(SA120:No)、制御部11は、新たな楽譜データ20の生成を指示されたか否かを判断する(SA130)。新たな楽譜データ20の生成を指示された場合(SA130:Yes)、制御部11は、楽譜元データをユーザに選択させる(SA140)。楽譜元データが選択されると、制御部11は、選択された楽譜元データに対してその内容の解析を行う(SA150)。この解析により、楽譜元データにおける大譜表、小節、音符、記号などの各要素が認識される。楽譜元データの解析については、例えば、特開平05−035924号公報、特開平06−102869号公報、特開平06−102870号公報、特開平06−102871号公報などの従来技術を利用すれば良い。次に、制御部11は、ステップSA150にて解析した楽譜元データから楽譜データ20を生成して不揮発性記憶部14に書き込む(SA160)。より詳細に説明すると、制御部11は、解析により大譜表等を認識した楽譜元データを、それら認識した大譜表等に基づいて複数の画像領域22の各々に対応するブロックに区分し、画像領域22の各々に対して番号付けする。このようにして、楽譜データ20が生成される。新たな楽譜データ20が生成されると、制御部11は、ステップSA110に戻り、当該新たな楽譜データ20を含めてユーザI/F12の画面に表示する楽譜をユーザに選択させる。なお、新たな楽譜データ20の生成の指示がない場合(SA130:No)、制御部11は、ステップSA120の処理に戻る。
ステップSA120において楽譜が選択された場合(SA120:Yes)、制御部11は、まず、選択された楽譜に対応する楽譜データ20を不揮発性記憶部14から読み出す(SA170)。次に、制御部11は、読み出した楽譜データ20に関連付けられている書き込みデータ30を不揮発性記憶部14から読み出す(SA180)。具体的には、制御部11は、読み出した楽譜データ20に対応する楽譜識別子34を有する書き込みデータ30を読み出す。次に、制御部11は、読み出した楽譜データ20の画像に書き込みデータ30の画像を重ねてユーザI/F12の画面に表示する(SA190)。具体的には、制御部11は、各画像領域22において当該画像領域22内の楽譜データ20の示す画像の前面に当該画像領域22に付与された番号に対応する画像領域番号36を有する書き込みデータ30の示す画像を重ねて表示する。また、画像領域22同士が重なっている部分(上余白部26および下余白部28)では、一方の画像領域22内の楽譜データ20の示す画像の前面に他方の画像領域22内の楽譜データ20の示す画像を重ね、それらの前面に一方の画像領域22に付与された番号に対応する画像領域番号36を有する書き込みデータ30の示す画像を重ね、さらにそれらの前面に他方の画像領域22に付与された番号に対応する画像領域番号36を有する書き込みデータ30の示す画像を重ねて表示する。これにより、選択された楽譜がビューモードで画面に表示される。
図6は、ビューモードにおける楽譜の表示例を示す図である。ビューモードでは、複数の大譜表がユーザI/F12の画面に表示される。図6の例では、2ページ分の大譜表が表示されている。また、ユーザが画面上を左方向へフリックすると次の2ページ分の大譜表が表示され、右方向へフリックすると前の2ページ分の大譜表が表示される。なお、ビューモードにおける表示態様は図6に示す表示例に限られない。
次に、楽譜への書き込みについて説明する。楽譜への書き込みを開始する場合、ユーザは、ユーザI/F12の画面にビューモードで表示されている複数の大譜表の中から書き込みを行いたい大譜表を指定する。例えば、図6の左ページの上から3段目の大譜表に書き込みを行いたい場合、ユーザは、画面における当該左ページの3段目の大譜表が表示されている部分をロングタップ(タッチ長押し)する。このとき、ロングタップする位置は、当該書き込みを行いたい大譜表(3段目の大譜表)が表示されている部分であればどの位置でも良い。なお、書き込み位置を指定する操作方法はロングタップに限られない。例えば、ダブルタップなどの操作によって書き込み位置を指定しても良い。
図7は、ユーザI/F12から楽譜への書き込みの開始の指示を受け取った制御部11が楽譜表示プログラム141に従って行う処理内容を示すフローチャートである。まず、制御部11は、ユーザにより指定された大譜表の属する画像領域22を書き込み対象の画像領域22として認識する(SB110)。具体的に説明する。例えば、ビューモードで画面に楽譜を表示させる際、制御部11は、画面の座標系(例えば、画面の左上隅を原点とする座標系)において各画像領域22の基準座標(例えば、画像領域22の左上隅が占める座標位置)を決定する。この各画像領域22の基準座標の位置と各画像領域22の大きさから、制御部11は、画面上の各位置がどの画像領域22に対応しているかを認識することができる。従って、制御部11は、画面におけるロングタップされた位置に対応する画像領域22を認識することができる。
次に、制御部11は、認識した画像領域22内の楽譜データ20の画像とそれに関連付けられている書き込みデータ30の画像を書き込みに適したサイズに拡大する処理を行う(SB120)。次に、制御部11は、拡大した楽譜データ20の画像と書き込みデータ30の画像をユーザI/F12の画面の中央の最前面に表示する処理を行う(SB130)。このとき、書き込み対象の画像領域22jの隣の画像領域22j−1(または22j+1)における書き込み対象の画像領域22jと重なる部分の書き込みデータ30の画像も同様に拡大して表示する。これにより、書き込み対象の隣の画像領域22j―1(または22j+1)における書き込み対象の画像領域22jと重なる部分にすでに書き込みがある場合、すでにある書き込みと重なる視認性の悪い書き込みが行われることを防止する。また、書き込み対象の隣の画像領域22j―1(または22j+1)における書き込み対象の画像領域22jと重なる部分にすでにある書き込みの表示態様を、書き込み対象の画像領域22jにおける書き込みの表示態様と異なる表示態様にしても良い。例えば、隣の画像領域22j−1(または22j+1)における書き込みを薄い色(例えばグレーなど)で表示し、書き込み対象における書き込みを濃い色(例えば黒など)で表示する、という具合である。他の例として、隣の画像領域22j−1(または22j+1)における書き込みを青色で表示し、書き込み対象における書き込みを黒色で表示するというように色を変えても良いし、隣の画像領域22j−1(または22j+1)における書き込みを点滅表示し、書き込み対象における書き込みを点灯表示するというようにしても良い。書き込みの表示態様を変えることにより、ユーザは、どの画像領域22(すなわち、どの大譜表)に対する書き込みであるかを容易に区別することができる。
図8は、書き込み対象の画像領域22の画像を拡大して表示した状態の例を示す図である。図8に示すように、ユーザが指定した大譜表(図6における左ページの上から3段目の大譜表)の属する画像領域22j内の画像のみが最前面に拡大表示され、その他の画像領域22内の画像は拡大表示されない。また、図8に示す例では、拡大表示された画像領域22jの画像の上部境界近傍には、当該画像領域22jの1段上の画像領域22j−1内の大譜表の最下線から下側にはみ出ている音符等が表示されている。また、拡大表示された画像領域22jの画像の下部境界近傍には、当該画像領域の1段下の画像領域22j+1内の大譜表の最上線から上側にはみ出ている音符等が表示されている。このように、1段上の大譜表の最下線または1段下の大譜表の最上線からはみ出ている音符等を表示することにより、はみ出ている音符等と重なる視認性の悪い書き込みが行われるのを防止することができる。なお、書き込み対象の画像領域22jの画像の拡大表示において、1段上の大譜表の最下線または1段下の大譜表の最上線からはみ出ている音符等を表示しないようにしても良い。
制御部11は、上述の拡大表示処理に後続して、ビューモードから書き込みモードへ制御モードを切り替える処理を行う(SB140)。具体的には、制御部11は、拡大されて画面の中央に表示された画像に対応する画面上の領域内へのタッチ等の操作を、書き込みを示す情報の入力操作として以後受け付ける。このように、本実施形態による楽譜表示装置1の特徴の1つは、楽譜における書き込みの対象となる領域内の画像を書き込みの対象となる領域外の画像に比べ相対的に拡大して表示する処理と、ビューモードから書き込みモードへ切り替える処理とを、入力手段に与えられる1の操作(具体的には書き込み対象の画像領域22を指定するロングタップ)に応じて行う点にある。この1の操作とは、1回の操作という意味である。すなわち、本実施形態の楽譜表示装置1は、当該拡大して表示する処理と、当該書き込みモードへ切り替える処理とを、別個の一連の操作に応じて別個に行うものではなく、共用の1回の操作に応じてまとめて行うものである。
書き込みモードでは、画面上において拡大された当該画像領域22j内にのみ書き込みが可能である。ユーザは、画面における当該画像領域22j内を指でなぞるなどして文字や記号などのコメントを当該画像領域22j内に書き込む。なお、ユーザによる画像領域22j内への書き込み方法は、画像領域22j内を指でなぞる態様に限られない。例えば、画像領域22j内における書き込み位置をタップやマウスなどで指定し、マウスやキーボード(あるいはソフトウェアキーボード)などを操作することにより、指定した書き込み位置に文字や記号などを書き込む(例えばテキストとして書き込む)ようにしても良い。また、書き込みは、書き込み対象の画像領域22jの全体(すなわち画像領域22jの大譜表の全体)に亙って行われても良いし、書き込み対象の画像領域22jの一部分(例えば、画像領域22j内の一部の小節や一部の音符など)について行われても良い。
書き込みモードにおいて、制御部11は、書き込みモードの終了指示を取得したか否かを判断する(SB150)。例えば、制御部11は、画面における書き込み対象である当該画像領域22jの外側部分をタップされたことを検出したときに書き込みモードの終了指示を取得したと判断する。書き込みモードの終了指示を取得しない間(SB150:No)、制御部11は、書き込みを示す情報を取得すると(SA160)、その書き込みを示す情報を揮発性記憶部13に記憶する(SB170)。書き込みモードの終了指示を取得した場合(SB150:Yes)、制御部11は、当該画像領域22j内に書き込まれた内容を揮発性記憶部13から読み出して当該画像領域22jに関連付けられている書き込みデータ30jに加えて不揮発性記憶部14に保存する(SB180)。次に、制御部11は、書き込みモードからビューモードへ制御モードを切り替える処理を行う(SB190)。具体的には、制御部11は、以後、拡大されて画面の中央に表示された画像に対応する画面上の領域内へのタッチ等の操作を、書き込みを示す情報の入力操作として受け付けないようにする。次に、制御部11は、書き込み対象となる領域内の画像の拡大表示を終了する(SB200)。そして、制御部11は、書き込みモードにおいて書き込まれた内容を反映してビューモード表示を行う(SB210)。
このように、本実施形態では、書き込みに注目し、その書き込みの対象となる画像領域22を注目する領域としている。そして、本実施形態による楽譜表示装置1では、ユーザの1の操作により、楽譜における書き込み対象となる画像領域22内の画像が書き込みの対象となる画像領域22外の画像に比べ相対的に拡大して表示されるとともに、ビューモードから書き込みモードに切り替えられる。さらに、ユーザの1の操作により、拡大表示が解除されるとともに、書き込みモードからビューモードに切り替えられる。このため、ユーザは、書き込みを行いたい大譜表を指定する操作、書き込み操作、書き込みを終了する操作、の3ステップで楽譜に書き込みをすることができる。これにより、ユーザは、従来の楽譜表示装置に比べ、少ない操作で楽譜への書き込みを行うことができる。また、ユーザは、拡大表示されている画像領域22内に書き込み操作を行うこととなる。そして、書き込まれた内容は、拡大表示されている画像領域22に関連付けて保存される。これにより、楽譜に書き込まれた内容がリフローなどにより関係のない位置へ移動してしまうことはない。これらより、本実施形態による楽譜表示装置1は、従来の楽譜表示装置に比べ、より利便性の高いものであるといえる。
図24は、本実施形態の楽譜表示装置1の各構成要素の機能を示す図である。楽譜表示装置1のユーザI/F12は、表示機能と入力機能とを有している。より詳細には、ユーザI/F12は、楽譜を表示する機能と、楽譜に対する書き込みを取得する機能と、書き込みの対象となる領域内の画像に対する1の操作を取得する機能とを有している。また、楽譜表示装置1の制御部11は、楽譜データ生成機能と、楽譜を表示させるビューモード機能と、入力手段を介して書き込みを示す情報を取得する書き込みモード機能と、1の操作に応じて書き込み対象となる領域内の画像の拡大表示とビューモードから書き込みモードへのモード切り替えとを行う機能とを有している。楽譜表示装置1では、制御部11が楽譜表示プログラムを実行することにより、制御部11およびユーザI/F12においてこれらの機能を実現している。
<第2実施形態>
第1実施形態による楽譜表示装置1は、楽譜への書き込みの利便性を向上させたものであった。これに対し、第2実施形態による楽譜表示装置1Aは、ビューモードにおける利便性を向上させたものである。本実施形態による楽譜表示装置1Aは、楽譜表示プログラム141におけるビューモード表示の処理部分が第1実施形態による楽譜表示装置1と異なる。また、楽譜表示装置1Aでは、第1実施形態の楽譜表示装置1と同様に、楽譜データ20は複数のブロックに区分されている。
図9は、画面に表示する楽譜が選択された後に楽譜表示装置1Aの制御部11が行う処理(すなわち、図5のSA170〜SA190に対応する処理)の内容を示すフローチャートである。制御部11は、楽譜データ20および書き込みデータ30を読み出す(SC110)。なお、書き込みデータ30は第1実施形態のそれと同様である。次に、制御部11は、楽譜における注目する領域を決定する(SC120)。換言すると、制御部11は、楽譜データ20の区分されたブロックの中のいずれか1のブロックを注目する領域に決定する。本実施形態における注目する領域とは、第1実施形態のように書き込みの対象となる画像領域に限られず、楽譜におけるユーザによって注目される領域のことをいう。本実施形態における注目する領域の具体例として、注目する大譜表が挙げられる。注目する大譜表とは、例えば、ユーザにより指定された大譜表や現在の演奏に対応する音符が含まれる大譜表である。注目する大譜表の特定方法の詳細については、後に明らかにする。なお、演奏が開始されていない場合には、楽譜における最初の(最上段の)大譜表を注目する大譜表とすれば良い。次に、制御部11は、注目する大譜表として決定した大譜表から当該大譜表よりも9段先(下)の大譜表までの計10段の大譜表を表示対象の大譜表として決定する(SC130)。換言すると、制御部11は、注目する領域に決定した1のブロックを含む複数のブロックを表示対象の領域として決定する。なお、本実施形態において、注目する大譜表よりも楽譜の時間軸における未来の大譜表のことを先の大譜表と呼び、注目する大譜表よりも楽譜の時間軸における過去の大譜表のことを後の大譜表と呼ぶこととする。なお、本明細書において、楽譜の時間軸とは、音符の拍方向の軸のことであり、旋律の時間的な流れの方向の軸であり、大譜表における各横線に沿った方向の軸のことを言う。次に、制御部11は、注目する領域内の画像を注目する領域外の画像に比べ拡大し、注目する領域の周辺領域の画像を注目する領域から遠ざかるに従って縮小する処理を行う。具体的には、表示対象の大譜表について、注目する大譜表の画像を注目する領域外の画像に比べ拡大し、注目する大譜表から先の大譜表に進むに従って、画像を徐々に縮小する処理を行う(SC140)。このとき、先の大譜表に進むに従って画像の縮小量を多くする。そして、制御部11は、表示対象の各大譜表を画面に表示する処理を行う(SC150)。このとき、制御部11は、注目する大譜表を画面における最上段に表示し、注目する大譜表の1段先の大譜表を注目する大譜表の画像の1つ下段に表示し、注目する大譜表の2段先の大譜表を1段先の大譜表の画像の1つ下段に表示し、・・・以下同様・・・、注目する大譜表の9段先の大譜表を8段先の大譜表の画像の1つ下段に表示するように表示処理を行う。また、演奏の進行などにより注目する大譜表が変わると、制御部11は、ステップSC120〜SC150までの処理を繰り返す。
図19は、本実施形態による楽譜表示装置1Aのビューモードにおける楽譜の表示例を示す図である。図19のD1〜D7は、各々、大譜表を示す。図19に示すように、表示される大譜表のうち最上段の大譜表が最も拡大されて表示され、下段に進むに従って大譜表は縮小して表示される。さらに、注目する大譜表(最上段の大譜表)から先の大譜表(下段の大譜表)に進むに従って、その画像が画面の奥へ向かうように湾曲して表示される。すなわち、本実施形態では、ロールの回転面に張り付けられた楽譜を見たときのような画像が画面に表示される。
次いで、注目する大譜表の特定方法の詳細を説明する。制御部11を、楽譜におけるユーザの現在の演奏位置を認識する演奏位置認識手段として機能させる場合には、現在の演奏位置に対応する大譜表を注目する大譜表とすれば良い。具体的には、マイクロホンを介して所定レベル以上の音信号の入力があったか否かを制御部11に判定させる。所定レベル以上の音信号の入力があったと判定した場合、制御部11は、当該音信号の中から周期的に繰り返される波形を検出してその波形の周期を計測してピッチを算出する。制御部11は、算出したピッチをピッチ情報として揮発性記憶部13に時系列に記憶する。そして、制御部11は、音信号から算出したピッチ情報と楽譜データにおける各音符の示すピッチ情報とのマッチングを行い、楽譜データにおける音信号から算出したピッチ情報とのマッチング度合いの最も高い部分を現在の演奏位置であると推定する。なお、楽譜データを音の意味を持っている論理楽譜データとして保持しておくことで、楽譜データにおける各音符の示すピッチ情報を得ることができる。この態様では、演奏の進行に伴って現在の演奏位置が属する大譜表が変わると、各大譜表の画像は、画面上においてロールが上下方向に回転するようにしてスクロールされる。例えば、1番目の大譜表が画面の最上段に表示されており2番目の大譜表がその下に表示されている状態において現在の演奏位置が1番目の大譜表から2番目の大譜表に変わると、1番目の大譜表が表示されなくなり、2番目の大譜表が画面の最上段に表示され3番目の大譜表が上から2段目に表示されるようになる。そして、常に、現在の演奏位置に対応する大譜表が画面における最上段に大きく表示され、当該大譜表から所定数先までの大譜表が徐々に縮小して表示される。
制御部11を、楽譜の時間軸に沿って楽譜における現在の音符の位置を自動的に進行させる楽譜自動進行手段として機能させる場合には、現在の音符位置が属する大譜表を注目する大譜表として決定すれば良い。楽譜の自動進行を開始する指示をユーザが行うと、制御部11は、楽譜データにおける最初の音符から最後の音符に向かって楽譜データに含まれるテンポ情報に従って順次現在の音符の位置を進め、現在の音符の位置が属する大譜表を注目する大譜表として決定する。そして、上述と同様に、現在の音符の位置が進行し大譜表が変わるに従って、各大譜表の画像は、画面上において上下方向にスクロールされる。
また、楽譜表示装置1Aは、ユーザの操作により注目する大譜表を変えることができる構成にしても良い。例えば、ユーザが画面上を上下方向にフリックやスワイプすることにより注目する大譜表が変わるという具合である。より詳細に説明する。ユーザの上方向へのフリック操作を検出すると、制御部11は、現在の注目する大譜表を基準としてフリック操作に応じた量だけ先の大譜表を新たな注目する大譜表として決定する。そして、上述と同様に、各大譜表の画像は、画面上において上方向にスクロールされ、注目する大譜表に新たに決定された大譜表が画面における最上段に表示される。同様にして、ユーザの下方向へのフリック操作を検出すると、制御部11は、現在の注目する大譜表を基準としてフリック操作に応じた量だけ後の大譜表を新たな注目する大譜表として決定する。そして、上述と同様に、各大譜表の画像は、画面上において下方向にスクロールされ、注目する大譜表に新たに決定された大譜表が画面における最上段に表示される。この態様では、ユーザの上方向のフリックにより曲の先の方へ大譜表の表示を進めることができ、ユーザの下方向のフリックにより曲の後ろの方へ大譜表の表示を戻すことができる。なお、注目する大譜表を変える操作は、フリックに限られない。
楽譜を見ながら演奏する際、通常、現在の演奏位置に対応する音符等を見るとともに、現在の演奏位置よりも先の音符等を見ながら行う。これは、現在よりも先にあるイベントを事前に把握するためである。例えば、8小節先に難しいフレーズがあるので心の準備をする、といった具合や、16小節先に他のパート(歌など)が入ってくるので心の準備をする、といった具合である。演奏する際には、現在よりも十分先にあるイベントを事前に把握できることが好ましい。一方、現在よりも先に進む程、音符等は、大まかに把握できれば十分である。このため、本実施形態では、注目する大譜表よりも先の大譜表を縮小表示し、十分先の大譜表まで表示できるようにした。
このように、本実施形態による楽譜表示装置1Aは、楽譜における注目する領域内の画像を拡大して表示するとともに、注目する領域の周辺の領域の画像を注目する領域から遠ざかるに従って縮小して表示する。すなわち、注目する領域内の画像を注目する領域外の画像に比べ相対的に拡大して表示する。具体的には、表示対象の複数の大譜表のうち注目する大譜表を最も拡大して表示し、注目する大譜表から先の大譜表に進むに従って縮小して表示する。注目する大譜表よりも先の大譜表は縮小表示されるため、注目する大譜表よりも先の広い範囲の大譜表を表示することができる。このため、ユーザは、注目する大譜表における音符等を明確に視認することができるとともに、注目する大譜表よりも先のイベントを十分先の大譜表まで事前に把握することができる。そして、現在の演奏位置の属する大譜表を注目する大譜表とすることで、ユーザは、楽譜における現在の演奏位置付近の音符等を明確に視認しながら、次に来るフレーズなどを十分先の小節まで事前に把握しながら演奏することができる。これらより、本実施形態による楽譜表示装置1Aは、従来の楽譜表示装置に比べ、より利便性の高いものであるといえる。
なお、注目する大譜表よりも先の大譜表における縮小の程度は、図19に例示したものに限られない。また、その縮小の程度は、ユーザI/F12の画面サイズや表示する楽譜の内容などにより適宜設定しても良い。また、図19では、注目する大譜表からその6段先の大譜表までの計7段の大譜表を表示する例を示したが、表示する大譜表の段数は7段に限られない。また、複数の大譜表により表された楽譜に限られず、図10に示すように、複数の五線譜により表されたパート譜に本実施形態の特徴を適用しても良い。この態様は、パート譜の各五線譜を図19の各大譜表に対応させることにより実現することができる。なお、複数の大譜表により表された楽譜や複数の五線譜により表されたパート譜以外のその他の楽譜に本実施形態の特徴を適用しても良いのは勿論である。
<第3実施形態>
第3実施形態による楽譜表示装置1Bは、第2実施形態と同様にビューモードにおける利便性を向上させたものである。図20は、本実施形態による楽譜表示装置1Bのビューモードにおける楽譜の表示例を示す図である。本実施形態による楽譜表示装置1Bは、注目する大譜表よりも先の大譜表に進むに従って当該先の大譜表を縮小して表示するときの縮小表示態様が第2実施形態による楽譜表示装置1Aと異なる。
図20に示すように、本実施形態の制御部11は、楽譜画像を大譜表毎に短冊状に分割して表示する。また、制御部11は、注目する大譜表を画面の最上段に表示し、注目する大譜表よりも先の大譜表の画像を先の大譜表に進むに従って下段に表示する。また、制御部11は、注目する大譜表の画像を最も拡大表示し、注目する大譜表よりも先の大譜表を先の大譜表に進むに従って段階的に縮小表示する。また、制御部11は、注目する大譜表を画面における最前面に表示し、注目する大譜表よりも先の大譜表に進むに従って当該先の大譜表の画像の一部がそれよりも前面の大譜表の画像の裏に隠れるように表示する。このとき、先の大譜表に進むに従って前面の大譜表の裏に隠れる量を多くする。すなわち、本実施形態では、大譜表毎の各画像を観覧車のゴンドラと見立て、その観覧車の側面を下方から見たときのような画像が画面に表示される。なお、先の大譜表の画像の一部がそれよりも前面の大譜表の画像の裏に隠れないような表示態様としても良い。
縮小表示態様が異なる点を除いて、楽譜表示装置1Bは、第2実施形態による楽譜表示装置1Aと同様であるから、本実施形態においても、第2実施形態と同様の効果が得られる。
また、本実施形態の楽譜表示装置1Bでは、注目する大譜表よりも先の大譜表の画像が湾曲していないため、当該先の大譜表内の音符等が歪んでおらず、第2実施形態に比べ当該先の大譜表内の音符等を把握し易いという効果が得られる。
また、複数の大譜表により表された楽譜に限られず、図11に示すように、複数の五線譜により表されたパート譜に本実施形態の特徴を適用しても良い。この態様は、パート譜の各五線譜を図20の各大譜表に対応させることにより実現することができる。なお、複数の大譜表により表された楽譜や複数の五線譜により表されたパート譜以外のその他の楽譜に本実施形態の特徴を適用しても良いのは勿論である。
<第4実施形態>
図14は、この発明の第4実施形態による楽譜表示装置1Cの構成を示す図である。楽譜表示装置1Cは、不揮発性記憶部14に五線間隔データ40と拡大五線間隔データ50とが格納されている点と楽譜表示プログラム141に代えて楽譜表示プログラム141Cを有する点において第1実施形態による楽譜表示装置1と異なる。本実施形態の楽譜表示装置1Cは、ビューモードにおける五線の間隔と書き込みモードにおける五線の間隔とから、ビューモードにおける画像に対する書き込みモードにおける画像の適切な拡大率を算出するものである。本明細書では、五線の間隔とは、五線譜における隣り合う線の間の距離をいう。
五線間隔データ40は、楽譜データ20における大譜表毎の五線の間隔を示すデータである。五線間隔データ40は、解析された楽譜元データから楽譜データ20とともに生成される。五線間隔データ40は、書き込みデータ30と同様に、画像領域22毎に各々生成され、当該画像領域22に各々関連付けられる。
拡大五線間隔データ50は、書き込みモードの際に画面に拡大表示された大譜表における五線の間隔を示すデータである。拡大五線間隔データ50は、拡大表示された大譜表の表示サイズがユーザにとって書き込みし易いサイズとなるように、予め設定されている。また、拡大五線間隔データ50は、ユーザI/F12などを介してユーザによって設定変更が可能である。
図15は、楽譜表示装置1Cの制御部11が行う楽譜表示プログラム141Cの処理内容を示すフローチャートである。図15と図7とを比べれば明らかなように、楽譜表示プログラム141Cは、ステップSB120に代えてステップSD110〜SD140を有する点において楽譜表示プログラム141と異なる。なお、図15では、図7のステップSB150以降の表記を省略している。
制御部11は、ユーザにより指定された大譜表の属する画像領域22を書き込み対象の画像領域22として認識(SB110)した後、まず、認識した当該画像領域22に関連付けられた五線間隔データ40を不揮発性記憶部14から読み出す(SD110)。次に、制御部11は、拡大五線間隔データ50を不揮発性記憶部14から読み出す(SD120)。次に、制御部11は、読み出した五線間隔データ40と拡大五線間隔データ50とから拡大率を計算する(SD130)。拡大率の計算については、後に詳述する。ステップSD130に後続して、制御部11は、計算により得られた拡大率で、認識した画像領域22内の楽譜データ20の画像とそれに関連付けられている書き込みデータ30の画像を拡大する処理を行う(SD140)。その後、制御部11は、拡大した画像を画面の中央の最前面に表示し(SB130)、ビューモードから書き込みモードへ切り替える(SB140)。
拡大率の計算について詳述する。図16(A)は、大譜表の一部をビューモードにおける通常の表示サイズ(拡大表示前のサイズ)で表示した例を示す図である。図16(A)の例では、五線の間隔、すなわち五線間隔データ40はdaである。図16(B)は、書き込みモードに切り替えて、書き込み対象の大譜表の一部(具体的には図16(A))を拡大表示した例を示す図である。図16(B)の例では、五線の間隔、すなわち拡大五線間隔データ50はduである。図16(A)および図16(B)の例における書き込み対象の大譜表の拡大率raは、式(1)により得ることができる。
ra=du/da ・・・(1)
ところで、大譜表のビューモードにおける通常の表示サイズは、楽譜データ20毎に異なる。楽譜元データの楽譜サイズが楽譜毎に異なるからである。図17(A)は、大譜表の一部をビューモードにおける通常の表示サイズで表示した他の例を示す図である。図17(A)の例では、五線の間隔、すなわち五線間隔データ40は、dbである。図17(A)の大譜表のサイズは、図16(A)の大譜表のサイズよりも小さくなっている。このため、五線間隔データ40についても、dbはdaよりも小さくなっている。
図17(B)は、書き込みモードに切り替えて書き込み対象の大譜表の一部(具体的には図17(A))を拡大表示した他の例を示す図である。図17(B)の大譜表は、図16(B)の大譜表と同じサイズになっている。このため、図17(B)の五線の間隔、すなわち拡大五線間隔データ50は、図16(B)のそれと同様にduである。図17(A)および図17(B)の例における書き込み対象の大譜表の拡大率rbは、式(2)により得ることができる。
rb=du/db ・・・(2)
式(1)および式(2)に例示したように、制御部11は、ステップSD130において、拡大五線間隔データ50を五線間隔データ40で除算することにより書き込み対象の大譜表の拡大率を得る。
以上のように、本実施形態の楽譜表示装置1Cでは、書き込みモードにおける書き込み対象の大譜表の表示サイズがユーザにとって書き込みし易いサイズとなるように拡大五線間隔データ50が予め設定されている。そして、楽譜表示装置1Cでは、拡大五線間隔データ50を五線間隔データ40で除算した拡大率で書き込み対象の大譜表が拡大表示される。このため、五線間隔データ40が小さい(換言すると大譜表の表示サイズが小さい)大譜表は、大きな拡大率で拡大表示され、五線間隔データ40が大きい(換言すると大譜表の表示サイズが大きい)大譜表は、小さな拡大率で拡大表示される。すなわち、楽譜表示装置1Cでは、楽譜データ20の大譜表の表示サイズに関わらず、書き込み対象の大譜表が常に書き込みし易い特定の表示サイズで拡大表示される。より具体的には、スコア譜の楽譜データ20における書き込み対象の大譜表と、スコア譜とは異なる表記サイズのパート譜の楽譜データ20における書き込み対象の大譜表とが書き込みモードにおいて同じ表示サイズで表示される、という具合である。また、書き込みの際に常に特定のサイズに拡大表示されるため、ユーザは、表示サイズを調整することなく容易に書き込みをすることができる。
なお、本実施形態の楽譜表示装置1Cでは、五線の間隔により書き込み対象の大譜表の拡大率を計算していた。しかし、書き込み対象の大譜表の拡大率を計算する態様はこれに限られない。楽譜の表示サイズに関係する情報であれば大譜表の拡大率を計算することができるからである。楽譜の表示サイズに関係する情報として、例えば、音符の符頭や休符などの音楽記号の表示サイズ(フォントサイズ)やビューモード時に画面に表示される大譜表の数などを用いることができる。
<第5実施形態>
第1実施形態による楽譜表示装置1では、ビューモードから書き込みモードに切り替わる際に、書き込みの対象となる領域内の画像が拡大されて、当該拡大された画像のすべてが画面に表示されていた。しかし、画面のサイズが小さい場合、拡大後の画像のすべてが画面に表示されるとすると、書き込みし易いサイズまで当該画像を拡大することができない虞もある。このような事態を回避するには、書き込みの対象となる領域内の画像を書き込みし易いサイズに拡大し、当該拡大した画像の少なくとも一部を画面に表示し、それ以外の部分を画面に表示しないようにすることが考えられる。この発明の第5実施形態による楽譜表示装置1Dは、書き込みの対象となる領域内の画像の一部を画面に拡大表示した際の利便性を向上させたものである。楽譜表示装置1Dは、楽譜表示プログラムの内容の一部を除いて第1実施形態の楽譜表示装置1と同様である。
図18は、本実施形態による楽譜表示装置1Dの制御部11が行う処理の内容を示すフローチャートである。図18は、図7のステップSB130に代えてステップSE110を有し、ステップSB140とSB150の間にステップSE120およびSE130を追加したものである。なお、図18では、図7のステップSB190以降の表記を省略している。楽譜表示装置1Dの制御部11は、楽譜データ20の画像と書き込みデータ30の画像を書き込みし易いサイズに拡大する処理(SB120)を行った後、拡大した画像の少なくとも一部を画面の中央の最前面に表示させる(SE110)。すなわち、制御部11は、書き込み対象の画像領域22内の一部の領域の画像を表示させる。
楽譜表示装置1Dの制御部11は、書き込みモードにおいて、スクロール指示を取得したか否かを判断する(SE120)。例えば、制御部11は、タッチパネルの画面にタッチペンが近づけられ、その状態でペン先が画面の端に移動されたことを検出したときにスクロール指示を取得したと判断する。スクロール指示を取得した場合(SE120:Yes)、制御部11は、書き込み対象として拡大表示されている画像をスクロールする(SE130)。より詳細には、制御部11は、スクロール指示の内容に応じて、書き込み対象の画像領域22内における画面への表示領域を移動する。例えば、制御部11は、ペン先が画面の中央付近から右端に移動されたことを検出すると、書き込み対象の画像領域22内における画面への表示領域を左方向に移動する、という具合である。同様に、制御部11は、ペン先が画面の上端、下端および左端に各々移動されたことを検知した場合、書き込み対象の画像領域22内における画面への表示領域を下方向、上方向および右方向に各々移動する。これにより、ユーザは、フリック操作と同様の操作感覚で拡大表示されている画像をスクロールすることができる。制御部11は、画像のスクロール(SE130)の後、ステップSE120に戻って再度スクロール指示を取得したか否かを判断する。
制御部11は、検出するペン先の移動速度に応じて書き込み対象の画像領域内における画面への表示領域の移動速度(すなわち、拡大表示されている画像のスクロール速度)を変化させても良い。また、制御部11は、移動されたペン先の画面の端との距離に応じて書き込み対象の画像領域内における画面への表示領域の移動速度を変化させても良い。例えば、制御部11は、ユーザがペン先を画面の中央付近から画面の端(例えば右端)付近まで移動させたことを検出する場合、ユーザがペン先を画面の端(右端)に近づけるほど当該表示領域の移動速度を速くし、ユーザがペン先を画面の端(右端)から遠ざけるほど当該表示領域の移動速度を遅くする、という具合である。
制御部11は、書き込みモードにおいて、スクロール指示を取得しない間(SE120:No)、ステップSB150以降の処理を行う。本実施形態の制御部11は、書き込み終了指示を取得しない間(SB150:No)、書き込みを示す情報の取得(SB160)、書き込みを示す情報の記憶(SB170)およびステップSE120に戻ってスクロール指示を取得したか否かの判断を繰り返す。
このように、本実施形態による楽譜表示装置1Dでは、書き込みモードの際に書き込みの対象となる領域内の画像における画面内に表示されなかった部分を、ユーザの操作に応じて表示させることができる。このため、楽譜表示装置1Dでは、画面のサイズに関わらず、書き込み対象の大譜表を書き込みし易いサイズで表示させることができ、かつ、書き込み対象の画像領域22内の全領域についてユーザに書き込みを行わせることができる。従って、ユーザは、書き込みの際には常に書き込みし易いサイズに拡大された大譜表に対して書き込みを行うことができる。
なお、本実施形態による楽譜表示装置1Dでは、書き込み対象の大譜表の内の画面に表示されなかった部分をスクロールにより表示させていた。しかし、当該画面に表示されなかった部分を表示させる態様は、スクロールに限られない。また、スクロール指示を取得したか否かを判断する具体的な態様は、上記に例示したタッチペンの態様に限られない。また、第4実施形態の技術的特徴と本実施形態の技術的特徴を組み合わせても良い。
<他の実施形態>
以上、この発明の第1から第5実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。
(1)上記第1実施形態では、ユーザによる書き込みを大譜表毎に行わせるようにしていた。しかし、ユーザによる書き込みを行わせる単位は、大譜表単位に限られない。例えば、ユーザによる書き込みを小節毎に行わせるようにしても良い。これは、1の大譜表が画面の横方向に連続して表示されるような態様において有益である。この態様では、楽譜データ20は、楽譜画像が小節毎に区分されるようにブロック化される。そして、制御部11は、ユーザの1の操作により、指定された小節の画像を拡大して画面の中央の最前面に表示するとともに書き込みモードへ制御モードを切り替える。小節単位で書き込みを行わせる点を除いて第1実施形態と同様であるから、この態様においても第1実施形態と同様の効果が得られる。また、この態様では、ユーザI/F12の画面サイズが小さくても書き込みを行うのに十分な大きさで書き込み対象の画像を表示することができる。また、他の例として、ユーザによる書き込みをページ毎に行わせるようにしても良いし、音符毎に行わせるようにしても良い。書き込みをページ毎に行わせる場合には、楽譜データ20は、楽譜画像がページ毎に区分されるようにブロック化されれば良いし、書き込みを音符毎に行わせる場合には、楽譜データ20は、楽譜画像が音符毎に区分されるようにブロック化されれば良い。すなわち、楽譜データ20は、大譜表や小節やページや音符などの複数のブロックに区分されていれば良い。
(2)上記第2および第3実施形態では、表示サイズを大譜表毎に変えていた。しかし、表示サイズを小節毎に変えても良い。この態様では、制御部11は、表示対象の複数の小節のうち注目する小節を拡大して表示し、注目する小節よりも先の小節に進むに従って縮小して表示する。1の大譜表を画面の横方向に連続して表示する態様において、制御部11は、画面における向かって左側に注目する小節を拡大して表示し、その右側に先の小節を縮小して表示する、という具合である。この態様においても、第2および3実施形態と同様な効果が得られる。また、ユーザI/F12の画面サイズが小さくても現在の演奏位置付近の音符等をユーザに明確に視認させることができるとともに、注目する小節よりも十分先の小節までユーザに事前に把握させることができる。
また、表示サイズを大譜表毎に変える態様と表示サイズを小節毎に変える態様とを組み合わせても良い。図22および図23は、表示態様をこのように組み合わせた楽譜表示装置のビューモードにおける楽譜の表示例を示す図である。図22は、第2実施形態のように楽譜を湾曲させて表示させた例を示している。図23は、第3実施形態のように楽譜を階段状に表示させた例を示している。図22および図23の例では、制御部11は、注目する大譜表(例えば大譜表D1)を当該注目する大譜表の周辺の大譜表よりも相対的に拡大して表示させ、加えて、注目する大譜表の中の注目する小節(例えば小節S2)を当該注目する大譜表の中の当該注目する小節の周辺の小節よりも相対的に拡大して表示させる。このような態様では、注目する大譜表を明確に視認させることができるだけでなく、注目する小節を特に明確に視認させることができる。なお、図22および図23では、制御部11は、注目する小節S2の周辺の小節である小節S3と小節S4とを同程度の大きさで表示させているが、小節S4を小節S3に比べ相対的に縮小して表示させるというように、注目する小節から先の小節に進むに従って縮小して表示させても勿論良い。
(3)上記第1実施形態では、書き込みを行いたい大譜表をユーザI/F12の画面上でロングタップをして指定していた。しかし、書き込みを行いたい大譜表を指定する方法は、大譜表の画像から指定するものに限られない。例えば、音データから書き込みを行いたい大譜表を指定する態様にしても良い。この態様では、楽譜データを音の意味を持っている論理楽譜データとして保持していれば良い。また、この態様では、第1実施形態における各処理に加え、音データから大譜表を指定する処理をさらに有していれば良い。例えば、音データ列と楽譜データの音符列とのマッチングを行うことにより音データから大譜表を指定する、という具合である。すなわち、この態様における制御部11は、楽譜における書き込み対象となる画像領域22を指定する処理と、書き込み対象となる画像領域22内の画像を書き込みの対象となる領域外の画像に比べ拡大して表示する処理と、ビューモードから書き込みモードへ切り替える処理とを、入力手段に与えられる1の操作に応じて行うようにすれば良い。この態様においても第1実施形態と同様の効果が得られる。
(4)上記第1実施形態では、指定された大譜表が属する画像領域22の画像を拡大して表示するとともに書き込みモードへ切り替えていた。しかし、楽譜表示装置は、指定された大譜表が属する画像領域22の画像を拡大して表示する一方、書き込みモードへの切り替えは行わない態様を有していても良い。例えば、スタイラスによるタッチを検出した場合には拡大表示と書き込みモードへの切り替えを行い、指によるタッチを検出した場合には拡大表示のみを行う、という具合である。これにより、楽譜画像における部分的な拡大表示のみを行うことができる。
(5)上記第1実施形態では、画面を直接にタップ等することにより拡大表示の指示および拡大表示の解除の指示を行っていた。しかし、例えば、タッチパネルの画面にスタイラスを近づけた時に拡大表示され、タッチパネルの画面からスタイラスを遠ざけた時に拡大表示が解除されるようにしても良い。
(6)上記第1実施形態では、隣り合う画像領域22が重なるように各画像領域22を設定していた。ここで、制御部は、隣り合う画像領域同士が互いに重なる部分に対応する入力操作を示す情報を取得した場合、隣り合う画像領域のいずれに対する入力操作を示す情報であるかを判断しても良い。例えば、1の大譜表の下余白と、それよりも1段下の大譜表の上余白とが重なる場合において、制御部は、当該重なる部分における上半分に対応する入力操作を示す情報を当該1の大譜表に対する入力操作を示す情報であると判断し、当該重なる部分における下半分に対応する入力操作を示す情報を当該1段下の大譜表に対する入力操作を示す情報であると判断する、という具合である。なお、隣り合う画像領域同士が互いに重なる部分に対応する入力操作を示す情報の判断態様は、これに限られない。また、隣り合う画像領域22が重ならないように各画像領域22を設定しても良い。この態様では、例えば、上段の大譜表の最下線と下段の大譜表の最上線との中間を隣り合う画像領域の境界とすれば良い。また、その中間よりも上段の大譜表に属する音符や記号などが下段方向に突出している場合、または、その中間よりも下段の大譜表に属する音符や記号などが上段方向に突出している場合、各画像領域の境界は、当該音符や記号などが適正な画像領域に属するように各画像領域の境界を下段方向または上段方向に補正しても良い。また、隣り合う画像領域同士が互いに重ならない部分と、隣り合う画像領域同士が互いに重なり合う部分とを混在させても良い。
(7)上記第2および第3実施形態では、注目する領域内の画像(すなわち、注目する大譜表)を拡大していた。しかし、少なくとも、注目する領域内の画像を注目する領域外の画像に比べ相対的に拡大されていれば良く、注目する領域内の画像を拡大しない態様としても良い。注目する領域の画像が拡大表示されなくとも通常の大きさで表示されれば、ユーザは、注目する領域内の画像を従来の楽譜と同様に認識することができるからである。そして、第2および第3実施形態と同様に、注目する領域の周辺の領域の画像を注目する領域から遠ざかるに従ってその画像を縮小表示すれば、第2および第3実施形態と同様の効果が得られるからである。さらに、この態様では、注目する領域内の画像を拡大しない分だけ、注目する領域の周辺の領域をより多く表示することができる。従って、第2および第3実施形態に比べ、ユーザは、より先の領域の画像を把握することができる。なお、この変形例では、注目する大譜表を通常の大きさで表示させつつ注目する大譜表の周辺の大譜表を注目する大譜表よりも縮小表示させる態様に限られない。例えば、注目する小節を通常の大きさで表示させつつ注目する小節の周辺の小節を注目する小節よりも縮小表示させる態様であっても良い。
(8)上記第2および第3実施形態では、注目する大譜表を画面における最上段に表示していた。しかし、注目する大譜表を画面における最上段に表示する態様に限られない。例えば、注目する大譜表を画面の中央付近に表示するようにしても良い。この態様では、注目する大譜表よりも先の大譜表を画面の中央よりも下方に表示し、注目する大譜表よりも後の大譜表を画面の中央よりも上方に表示する。そして、注目する大譜表を最も拡大して表示し、注目する大譜表よりも先の大譜表に進むに従って縮小して表示するとともに、注目する大譜表よりも後の大譜表に進むに従って縮小表示する。この態様においても第2および第3実施形態と同様の効果が得られる。
(9)上記第1実施形態の技術的特徴と上記第2または第3実施形態の技術的特徴を組み合わせても良い。例えば、ビューモードにおいて第2または第3実施形態のように、注目する大譜表を拡大して表示しつつ注目する大譜表より先の大譜表に進むに従って画像内容を縮小して表示し、加えて、第1実施形態のように、ユーザの1の操作により、指定された大譜表が属する画像領域22の画像を拡大して画面の中央の最前面に表示するとともに書き込みモードへ切り替えるようにしても良い。
図21は、第1実施形態の楽譜表示装置1と第2実施形態の楽譜表示装置1Aとを組み合わせた楽譜表示装置1Eの制御部11が行う処理内容を示すフローチャートである。図21のステップSC110からステップSC150は、図9のそれと同様であり、図21のステップSB110からステップSB140は、図7のそれと同様である。より詳細に説明する。楽譜表示装置1Eの制御部11は、ビューモードにおいては、ステップSC110からステップSC150の処理を行って、図19のように画面に大譜表を表示させる。図19のように表示されている状態において、ユーザは、例えば、注目する大譜表に書き込みを行いたい場合、画面における当該注目する大譜表が表示されている部分をロングタップして書き込みを行いたい大譜表を指定する。楽譜表示装置1Eの制御部11は、ユーザにより指定された注目する大譜表の属する画像領域を書き込み対象の画像領域22として認識する(SB110)。その後、制御部11は、第1実施形態と同様に、当該注目する大譜表の属する画像領域の楽譜データの画像および書き込みデータの画像を拡大して(SB120)、画面の中央の最前面に表示する(SB130)とともに、ビューモードから書き込みモードへ制御モードを切り替える(SB140)。なお、楽譜表示装置1と楽譜表示装置1Aとを組み合わせた楽譜表示装置1Eの制御部11が行う処理内容の説明を行ったが、楽譜表示装置1と第3実施形態の楽譜表示装置1Bとを組み合わせた楽譜表示装置の制御部11が行う処理内容も図21と同様である。なお、複数の大譜表により表された楽譜以外のその他の楽譜に本変形例の特徴を適用しても良いのは勿論である。
(10)上記第2および第3実施形態において、注目する大譜表から先の大譜表に進むに従って大譜表を縮小表示する際、注目する大譜表と当該注目する大譜表の1つ先の大譜表を同じ大きさ(同じ拡大率)で表示し、当該1つ先の大譜表から先の大譜表に進むに従って大譜表を縮小表示しても良い。この態様によれば、ユーザは、第2および第3実施形態に比べ、注目する大譜表と1つ先の大譜表との境界付近の画像をより容易に視認することができるようになる。
(11)上記第1実施形態では、文字や記号などを楽譜に書き込んでいた。しかし、楽譜に書き込むコメントは文字や記号に限られない。例えば、コメントを音として楽譜に書き込むようにしても良い。より具体的には、ユーザは、書き込み対象の大譜表にスピーカアイコンのような目印を配置するように操作する。ユーザは、そのスピーカアイコンにコメント内容を示す音データを関連付ける。そして、制御部11は、ユーザによるスピーカアイコンのクリックなどの操作により、そのスピーカアイコンに関連付けられたコメント内容を音として再生する、という具合である。この態様では、スピーカアイコンに関連付けられた音データ自体やスピーカアイコンに関連付けられた音データが格納されているファイルへのリンク情報などを、書き込みデータ30の画像データ38に含ませるようにすれば良い。また、制御部11は、スピーカアイコンの配置された大譜表が注目する大譜表となった場合やスピーカアイコンの配置された大譜表が現在の演奏位置となった場合など適切なタイミングにおいて、そのスピーカアイコンに関連付けられたコメント内容を音として再生しても良い。また、スピーカアイコンに関連付けられるコメント内容を示す音データは、予め準備された音データの中からユーザが設定したものであっても良いし、ユーザによって新たに生成されたもの(例えばユーザによって録音されたもの)であっても良い。また、文字の書き込みと音の書き込みとを併用しても良い。文字を書き込んだ位置にその文字と同じ内容の音データが関連付けられたスピーカアイコンを配置する、という具合である。
(12)また、楽譜へ書き込んだ文字や記号に色や特殊効果を付せるようにしても良い。例えば、書き込んだ文字を赤文字や青文字にするといった具合や、書き込んだ文字を太文字や斜体にするといった具合である。なお、色や特殊効果を設定した状態で書き込みを行えるようにしても勿論良い。また、書き込み対象の画像領域の全部または一部に背景色を付せるようにしても良い。例えば、書き込み対象の画像領域内におけるユーザの指定した小節の背景をユーザの指定した薄い赤色にするといった具合である。これは、例えば、指定した小節における音符や記号などを除いた部分(つまり背景部分)に対応する書き込みデータの内容を薄い赤色を示すデータ列にすることにより実現することができる。文字や記号に色などを付せるようにしたり背景色を付せるようにしたりすることにより、ユーザは、より分かり易い書き込みを行うことができるようになる。
(13)また、書き込みデータは、書き込み内容が関連付けられるレイヤ情報を有していても良い。さらに、そのレイヤ情報に画面への表示優先度などを示す重みが付されていても良い。例えば、文字の書き込み(テキストデータなど)が、0.5という重みの付されたレイヤ情報に関連付けられ、記号の書き込み(図形データなど)が、0.8という重みの付されたレイヤ情報に関連付けられる、という具合である。例えば、レイヤ情報の重みは、0〜1の範囲であり、1に近づくほど重みが重くなる、という具合である。なお、書き込み内容とレイヤ情報との関連付けや重みの付し方などは、種々の態様が考えられる。そして、例えば、制御部は、所定の条件やユーザの操作などにより各画像領域に閾値を設定し、その閾値を超える重みの付されたレイヤ情報に関連付けられた書き込み内容のみを当該画像領域に表示する、という具合である。また、制御部は、第2および第3実施形態における注目する領域から遠ざかるに従って縮小表示するときの縮小度合いに応じて、各画像領域に異なる大きさの閾値を設定しても良い。例えば、制御部は、当該縮小度合いが大きくなるに従って閾値を大きくする、という具合である。この場合、注目する領域から遠ざかるに従って、より重要な書き込み内容のみが表示されるようになる。従って、この態様によれば、ユーザは、より必要な(重要な)情報を効率よく確認することができる。
(14)上記第1、第4および第5実施形態では、制御部11は、拡大した画像を画面の中央の最前面に表示していた(図7のステップSB130、図15のステップSB130および図18のステップSE110参照)。しかし、拡大した画像を表示する位置は画面の中央に限られない。例えば、制御部11は、書き込み対象を指定するユーザの指先やタッチペンのペン先の位置を中心として拡大した画像を表示しても良い。
(15)第1実施形態による楽譜表示プログラムは、コンピュータを、楽譜を表示手段に表示させるビューモードと、楽譜に対する書き込みを示す情報を入力手段を介して取得する書き込みモードとを有する制御手段であって、楽譜における書き込みの対象となる領域内の画像を書き込みの対象となる領域外の画像に比べ拡大して表示手段に表示させる処理と、ビューモードから書き込みモードへ切り替える処理とを、入力手段に与えられる1の操作に応じて行う制御手段として機能させることを特徴としていた。また、第2および第3実施形態による楽譜表示プログラムは、コンピュータを、楽譜における注目する領域内の画像を注目する領域外の画像に比べ拡大して表示手段に表示させつつ、注目する領域の周辺の領域の画像を注目する領域から遠ざかるに従って縮小して表示手段に表示させる処理を行う制御手段として機能させることを特徴としていた。この楽譜表示プログラムは、コンピュータにインストールされた状態で取引されても良いし、コンピュータ読み取り可能な記憶媒体に記憶された状態で取引されても良いし、ネットワークを介したダウンロードにより取引されても良い。また、楽譜表示プログラムにおける各処理を電子回路により実現しても良い。
(16)上記各実施形態では、2個の五線譜を1組とした大譜表を用いて説明した。しかし、上記各実施形態の技術的特徴は、1個の五線譜からなる楽譜や五線譜とタブ譜とを組み合わせたものからなる楽譜や複数のパートから構成される楽譜など、様々な態様の楽譜に適用することができる。
(17)図7のフローチャートによれば、制御部11は、書き込みの対象となる領域内の画像を他の領域の画像に比べて相対的に拡大して表示する処理(すなわち、拡大表示処理)(SB120およびSB130)に後続して、ビューモードから書き込みモードへ制御モードを切り替える処理(SB140)を行っていた。しかし、制御部11は、当該拡大表示処理と、ビューモードから書き込みモードへ切り替える処理とを、並列に行っても良い。また、制御部11は、指定された大譜表の属する画像領域を認識した(SB110)後、ビューモードから書き込みモードへ切り替える処理を行い、その切り替え処理に後続して、当該拡大表示処理を行っても良い。少なくとも、入力手段に与えられる1の操作に応じて、書き込みの対象となる領域内の画像を他の領域の画像に比べて相対的に拡大して表示する処理と、ビューモードから書き込みモードへ制御モードを切り替える処理とが行われれば良いからである。