JP3558835B2 - 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3558835B2 JP3558835B2 JP20550297A JP20550297A JP3558835B2 JP 3558835 B2 JP3558835 B2 JP 3558835B2 JP 20550297 A JP20550297 A JP 20550297A JP 20550297 A JP20550297 A JP 20550297A JP 3558835 B2 JP3558835 B2 JP 3558835B2
- Authority
- JP
- Japan
- Prior art keywords
- group
- tuplet
- grouping
- same
- notes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、連符を含む楽譜の認識を可能にする楽譜認識方法及び楽譜認識を行うプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
楽譜を機械的に認識させ、演奏可能な楽譜データ形式に変換する際に、和音や連符に的確に対応するような発音タイミングの決定を行う必要があり、その発音タイミングを得るためには、連符対象となる音符を確定する必要がある。同様に、表示可能な楽譜データへの変換を行う際にも、連符対象となる音符の認識が正確になされていないと、間違った表示がなされることになる。
従来、連符対象を決定するために、図１２に示されるように、連符数字（図面上では３の数字）が存在する小節内の音符、休符の認識結果に保持された、符頭中心２０・符尾端点２１等の特徴点を利用し、連符数字の特徴点（連符数字の表示位置）との位置関係が近いものを選択し、選択された音符の同一符尾和音と共に連符対象としていた。
また対象選択時に同一音長の音符・休符を選択し、連符数字の個数分を選択することで、音長の矛盾を回避する方法が採用されていた。
【０００３】
【発明が解決しようとする課題】
実際の楽譜では、図１に示されるように、表記上のフレーズ（拍の区切り）を表す連鈎２２が存在し、更に連鈎内でも同じ桁数で結ばれるものが同様にフレーズを構成している。これに対し、連符はいくつかの音符を結合して、きりの良い拍数に置き換えるものであるから、連符対象がこのフレーズを切断したり、他のフレーズに跨ることはない。
しかし上記の手法では、このような規則性を無視しているので、図１２に示すように、座標値だけで判断がなされるため、フレーズを無視した音符の選択がなされ、誤った対象が選ばれることが多い。
また実際の楽譜で、連符数字の対象と連符数字の位置は、対象の内の一つだけが近く、他の対象はかなり離れて表示されていることがある。上記の手法では、図１３に示すように、最も近い位置にある対象は選ばれても、残りの対象は選ばれる可能性が低い。同図の例では、図面上連符数字３に近い音符は対象として選ばれているが、その両側位置の音符は連符数字から離れているため、連符対象とならないことになる。
更に３連符の場合、図１４に示すように、音長が１：２となる音符・休符が連符対象となっていることが良くある（図面上では４分休符と８分音符が３連符の対象となっている）が、この場合、連符数字と構成音符・休符との位置が離れていることが多い（図面上連符数字３と４分休符及び８分音符との位置が離れている）ため、対象として認識されないことが多々ある。
加えて連符対象は、必ずしも同一音長だけとは限らず、従来の方法はこのような場合に対応していない。
【０００４】
本発明は従来技術の以上のような問題に鑑み創案されたもので、表記上でのフレーズや音長に矛盾しない的確な連符対象を自動的に検出し、それによって演奏及び／又は表示可能な楽譜データ形式に変換する際に正確な発音タイミングを得ることのできる楽譜の認識を可能にする楽譜認識方法及び楽譜認識を行うプログラムを記録したコンピュータ読み取り可能な記録媒体を提供せんとするものである。
【０００５】
【課題を解決するための手段】
そのため本願請求項１に係る発明の構成（請求項８に係るコンピュータ読み取り可能な記録媒体の構成についても同じ）は、グループ分け手段と、ダミーグループ追加手段と、基準グループ判定手段と、グループ結合手段とを備え、楽譜イメージを読み取って、その楽譜記号を認識し、演奏及び／又は表示可能な楽譜データ形式に変換する楽譜認識方法に係るものであって、
グループ分け手段により、楽譜中の五線、小節線、音符、休符、連符記号、その他の記号が混在する認識結果から、連符数字が存在する小節内の演奏時の発音に関係する音符、休符を取り出し、連鈎情報、符尾情報を元に、拍の区切りに関連するグループ分けを行い、
更にダミーグループ追加手段により、連符数字が３の場合は、音長が１：２になる隣り合う一対の音符・休符の中間位置に、これらの音符・休符を構成要素とする仮想的なグループを生成し、これをダミーグループとして前記グループに追加し、
基準グループ判定手段により、連符数字からの符頭中心又は符尾端点への距離によって、更に連符数字が括弧付きの場合は括弧の向きも参照して、前記グループを連符対象検索の基準になり得る基準グループと、基準になり得ない付加グループとに分け、
グループ結合手段により、連符数字に近い基準グループを中心に、結合されるグループ内では構成音符の音長総和がグループ内最短音長に対して連符数字の整数倍になるという連符対象としての下式１の音長条件を満たすように、他のグループとグループ結合を行い、該グループ結合によって、連符対象を認識する
ことを基本的特徴としている。
【０００６】
【式１】
（グループ内の音長総和）＝（グループ内の最短音長）×（連符数字）×（任意の整数）
【０００７】
また前記請求項８の記録媒体の構成は、上記の手順を、グループ分け機能と、ダミーグループ追加機能と、基準グループ判定機能と、グループ結合機能とし、これらの機能を実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体として提供するものである。
より具体的には、楽譜のイメージを読み取って、その音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識プログラムを記憶したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、グループ分け手段と、ダミーグループ追加手段と、基準グループ判定手段と、グループ結合手段とが該コンピュータ上に実現され、
前記グループ分け手段による、楽譜中の五線、小節線、音符、休符、連符記号、その他の記号が混在する認識結果から、連符数字が存在する小節内の演奏時の発音に関係する音符、休符を取り出し、連鈎情報、符尾情報を元に、拍の区切りに関連するグループ分けを行うグループ分け機能と、
更に前記ダミーグループ追加手段による、連符数字が３の場合は、音長が１：２になる隣り合う一対の音符・休符の中間位置に、これらの音符・休符を構成要素とする仮想的なグループを生成し、これをダミーグループとして前記グループに追加するダミーグループ追加機能と、
前記基準グループ判定手段による、連符数字からの符頭中心又は符尾端点への距離によって、更に連符数字が括弧付きの場合は括弧の向きも参照して、前記グループを連符対象検索の基準になり得る基準グループと、基準になり得ない付加グループとに分ける基準グループ判定機能と、
前記グループ結合手段による、連符数字に近い基準グループを中心に、結合されるグループ内では構成音符の音長総和がグループ内最短音長に対して連符数字の整数倍になるという連符対象としての音長条件を満たすように、他のグループとグループ結合を行って、該グループ結合によって、連符対象を認識するグループ結合機能と
を実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０００８】
音符・休符単体として夫々が固有に有している音長とは異なり、いくつかのこれらの音符を結合して、きりの良い拍数に置き換える多様な音長からなる連符対象は、単に連符数字の位置と音符・休符の位置とを基にして判断した場合、正確に認識できるものではない。しかし本構成では、表記上のフレーズ（拍の区切り）を基にして分けられたグループという概念を用いることで、上記のような判定を基にした連符対象の認識の誤りを排することができるようになる。即ちフレーズを基にしたグループを連符対象の検索単位とすることで、対象音符のフレーズ的な矛盾がなくなり、連符数字がより的確なものになる（このグループを連符対象の最小単位とすることで、フレーズを分割するような対象の選択がなくなる）。更に、連符の対象となるものは必ず上記の音長条件を満たすことになるという性質を利用して、上述したグループ結合が行われるため、特に連符数字から離れた連符対象も、基準グループとの繋がりで評価されることになり、多様な連符形状にも対応できるようになる。その結果、位置、構成音の音長、表記上のフレージングに最も適した連符対象を認識することが可能となる。加えて上記グループ分けには、図３に示すような音符単位の連鈎情報を利用する。
尚、３連符の場合は、前後にある音長が１：２となる音符・休符が連符対象となっていることが多いため、上述のように、それらの組み合わせをダミーグループとして追加することで、これらが離れた位置に表示されている場合でも連符対象とすることが可能になる。
【０００９】
上記の楽譜認識方法（記録媒体）において、グループ分け手段により、拍の区切りに関連する前記グループ分けを行う際に、図１に示されるように、同一連鈎のものを同一グループとする。拍の区切りは、同一連鈎で示されるからである。また連鈎でない音符・休符は単独のグループとし、同時発音される同一符尾を持つ和音は同一のグループにする。これらは、当然別々のグループとすることはできないし、更に他のグループへ別々にグループ分けされる性質のものでもない。尚、上述のように、同一符尾和音は同一のグループにするが、符尾を共有しない和音は別グループにし、グループ結合手段によりグループ結合する際に、同一ゲート音（和音）を持つグループを無視するようにするので、複数の声部に跨って対象が選択されることが避けられる。
グループ分け手段により、同一連鈎のもののグループ分けを行う場合、図２に示されるように、同一桁数で結ばれるものをグループ分けする。このグループは、桁数に応じた階層的なものになる。
【００１０】
グループ分け手段による同一連鈎のもののグループ分け時に、認識された個々の音符情報は、連鈎単位で固有のＩＤを保持し、更に同一連鈎内音符には前後音符への結合桁数を保持するものとし、これを利用して連鈎内の同一桁数で結ばれるものをグループとすることになる。図３に示すように、各音符データは、連鈎ＩＤ、連鈎結合桁数（左）、連鈎結合桁数（右）の３つの連鈎情報を保持する。このうち、連鈎ＩＤは、１つ以上の連鈎を共有する音符グループ単位に固有のＩＤとする（同一の連鈎ＩＤ＝「同一連鈎」）。連鈎でない単独の音符・休符に関するデータの連鈎ＩＤは、０として、連鈎である音符と区別している。また結合桁数は、音符符尾の連鈎桁が左右に何本でているかを示している。更に同一符尾和音の場合、夫々の音符データが持つ上記連鈎情報は等しいことになる。
【００１１】
以上のようにグループを連符対象の最小単位とすることにしたので、連符対象の決定は当然グループ単位となる。ここで、グループ内の特徴点は、グループを構成する音符・休符のうち、最も連符数字に近いものを基準に設定するので、グループ内の他の音符・休符の位置に関係なく的確な位置関係が評価できるようになる。例えば図４に示されるように、夫々のグループの特徴点（矢印の指す位置）のみがそのグループと連符数字との距離に反映され、その他の音符・休符と連符数字との距離は意味を持たない。
他方、音長が１：２になる一対の音符・休符からなる前記ダミーグループでは、特徴点を音符位置や休符位置ではなく、構成音符や構成休符の中間位置に置くことで、音符・休符字体が連符数字から離れていても、的確な連符数字との位置関係が得られる。従って図１４のような場合でも、３連符の連符対象を正確に認識できるようになる。
【００１２】
前記グループ結合手段によるグループ結合の前提として、連符数字と各グループの位置関係から、連符数字を基にある範囲内にあるグループを基準グループとし、範囲外のグループを付加グループとする基準グループ判定を基準グループ判定手段により行う。そしてグループ結合手段によるグループの結合は、必ず基準グループを先頭に行うようにして、連符対象に必ず１つは基準グループが含まれるようにする。連符対象となるグループの少なくとも１つ（基準グループ）は、連符数字に近い位置にあるからである。付加グループは、基準グループとの結合によってのみ、連符対象となり得る。これによって連符数字から離れた対象も、連符数字からの位置に関係なく、基準グループとの繋がりで評価されることになる。
基準グループと他のグループのグループ結合をグループ結合手段による行う際に、連鈎内のグループを基準として、他のグループと結合する時は、必ず同一連鈎内の１つ上の階層のグループと結びつけるようにする。これによりフレーズを跨るような選択は行われない。
【００１３】
【発明の実施の形態】
以下本発明の一実施形態を添付図面に基づき説明する。図５は本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を後述するフレキシブルディスクドライブＦＤＤ５等の外部記憶装置（或いはＣＤ−ＲＯＭドライブ等）で読み込ませて稼動する楽譜認識装置の実施例構成を示すブロック図である。この装置は、パソコンなどの電子計算機の構成に、スキャナやＭＩＤＩインターフェース回路を付加したものである。ＣＰＵ１は、ＲＯＭ２或いはＲＡＭ３に格納されるプログラムに基づき、楽譜認識装置全体の制御を行う中央演算処理装置である。また予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ＲＡＭ３はプログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ハードディスク装置ＨＤＤ４及びフレキシブルディスクドライブＦＤＤ５は、プログラム及び画像データ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインターフェース回路７から出力される映像情報を表示し、キーボード８から入力された情報は、キーボードインターフェース回路９を経てＣＰＵ１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に基づき、プリンタインターフェース回路１１から出力される印字情報を印字する。
【００１４】
スキャナ１２は、例えば（印刷された）楽譜を光学的に走査して、２値或いはグレースケールの画像データに変換するものであり、フラットベッド型、ハンディ型、フィーダ型等任意のタイプのスキャナを使用できる。スキャナ１２によって読み取られた画像情報は、スキャナインターフェース回路１３を介して、ＲＡＭ３或いはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェース回路１４は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１５は、本楽譜認識装置内の各回路を接続し、各種データ、プログラム、アドレス等をやり取りさせている。なお、この他にマウスなどのポインティングデバイスやＲＳ２３２Ｃ等のシリアルインターフェース回路等を備えていても良い。
【００１５】
図６はＣＰＵ１のメイン処理を示すフローチャートである。ステップＳ１においては、スキャナ１２によって楽譜のイメージをＲＡＭ３に取り込む。画像は２値の画像データとして取り込む。ステップＳ２においては、このようにして２値化されて取り込まれた楽譜イメージで五線を検出する。ステップＳ３において、夫々の五線で水平線に対するずらし量に基づいた傾き補正を行う。
【００１６】
ステップＳ４において、ラベル抽出を行い、ステップＳ５において、音符、休符等の記号認識を行う。その後ステップＳ６において、本発明の上記記録媒体から読み出されたプログラムに従い、連符対象の認識が行われる。最後にステップＳ７において、楽譜データ形式への変換がなされ、処理を終了する。
【００１７】
そのうち上記ステップＳ６の連符対象の認識は、図７に示すようにして行われる。この図７において、ステップＳ８〜ステップＳ９までがグループ分け手段によるグループ分け工程であり、ステップＳ１０及びステップＳ１１がダミーグループ追加手段によるダミーグループ追加工程であり、ステップＳ１２及びステップＳ１３が基準グループ判定手段による基準グループ判定工程であり、ステップＳ１４〜ステップＳ１８まで及び図８、図９及び図１１に示される工程がグループ結合手段によるグループ結合工程である。このうちステップＳ８において、連符対象として、連鈎を基にしたグループ分けを行う。同一連鈎で結ばれるものを１つのグループとし、連鈎でない音符・休符は単独で１つのグループとする。同時に符尾情報を基にして、同一符尾和音は同じグループに属するようにグループ分けを行う。
【００１８】
ステップＳ９において、上記Ｓ８で得られるグループのうち、同一連鈎で結ばれたグループについて、更に連鈎桁数に応じた階層的なグループ分けを行う。これは、上述した図２に示されるように、対象となる連鈎音符を基に、最下階層から順次上位階層に向けて（図面上階層１から順次階層３に至るまで）同一桁数のものを取り出して、グループ分けを行う。
【００１９】
ステップＳ１０において、連符数字が３か否かが判断され、同数字が３の場合は、ステップＳ１１において、音長が１：２にある隣り合う一対の音符・休符の組を検出し、その中間位置に、これらの音符・休符を構成要素とする仮想的なグループであるダミーグループを生成し、前記グループに追加する。
【００２０】
ステップＳ１２において、各グループを構成する音符・休符のうち、連符数字に最も近い符頭中心位置、又は符尾端点位置を、そのグループの特徴点とする。ダミーグループは２つの音符・休符が作る矩形の中心を特徴点とする（図１４の場合であれば、４分休符と８分音符の中心を特徴点とすることになる）。
【００２１】
ステップＳ１３において、前記グループの特徴点と連符数字との距離が、ある範囲内にあれば、これを基準グループとし、範囲外であれば、付加グループとする。ステップＳ１４において、夫々を連符数字からの距離でソートする。この時基準グループとならないダミーグループは、破棄する。このダミーグループが連符の対象となる場合は、該ダミーグループ単独でしか成立し得ないからである。また連符数字に図１３及び図１４に示されるような括弧が付いていれば、括弧の向きによって基準グループのみ絞り込みを行う。
【００２２】
ステップＳ１５において、グループ単位で連符対象を認識する処理が行われる。この連符対象認識処理の処理結果に対し、ステップＳ１６において、連符対象が見つかったか否かがチェックされる。該連符対象が見つからなければ、ステップＳ１７において連符数字を誤認とする。反対に連符対象が見つかれば、ステップＳ１８において、連符対象を確定する。
【００２３】
上述のグループ単位での連符対象認識処理は、図８に示されるようにして行われる。即ちｉ＝０からソートされた順に、ステップＳ１９において、ｉ番目の基準グループが存在するか否かがチェックされる。それが存在しなければソート順の最終まで終了しているとして、ステップＳ２０において、エラー処理がなされる。ｉ番目の基準グループが存在すれば、ステップＳ２１において、ｉ番目の基準グループを対象として、現グループとする（連符数字に近い順にグループを取り出し、現グループとする）。ステップＳ２２において、下式数２に基づくステップチェックを行う（但しｎ：整数）。
【００２４】
【数２】
（グループ内の音長総和）／（グループ内の最短音長）＝ｎ×（連符数字）
【００２５】
このステップチェックで、グループ内の音長総和が少ない時は（図中ＬＥＳＳ）、グループ結合を行うため、ステップＳ２５以降に処理を進める。但しステップＳ２３で、現グループがダミーグル−プか否かがチェックされ、ダミーグループであれば、現グループを破棄し、ｉをインクリメントして、ステップＳ１９に復帰する。また前記ステップチェックで、グループ内の音長総和がオーバーした時は（図中ＯＶＥＲ）、現グループを破棄し、同様にｉをインクリメントして、ステップＳ１９に復帰する。更に前記ステップチェックがＯＫならば（図中ＦＩＴ）、ステップＳ２４に進み、現グループ内の音符・休符を連符数字の対象音符・休符とし、連符対象検索処理を終了する。
【００２６】
グループ結合を行う前に、ステップＳ２５において、現グループが連鈎か否かがチェックされ、連鈎であればステップＳ２６に進み、連鈎でなければステップＳ２８のグループ結合処理に進む。
【００２７】
前記ステップＳ２６では、同一連鈎内のグループ結合処理がなされる。即ち図９に示されるように、ステップＳ３０において、１つ上の階層のグループＧｒｐ’が存在するか否かがチェックされる。該グループＧｒｐ’が存在すれば、ステップＳ３１において、現グループＧｒｐに１つ上の階層のグループＧｒｐ’を結合する。次にステップＳ３２において、前述と同様なステップチェックが行われ、グループ内の音長総和が少ない時（図中ＬＥＳＳ）は、ステップＳ３０に戻って、更に上の階層とのグループ結合を行い、グループ内の音長総和がオーバーした時（図中ＯＶＥＲ）は、ステップＳ３３において、現グループを破棄し、ステップＳ１９に復帰する。ステップチェックがＯＫならば（図中ＦＩＴ）、ステップＳ３４に進み、現グループ内の音符・休符を連符数字の対象音符・休符とし、連符対象検索処理を終了する。また同一連符内の最上階層までグループ結合をしてもなお、グループ内の音長総和が少ない時は、ステップＳ３５に進み、連鈎でないグループとの結合を行うために、前記ステップＳ２８に進む。尚、図１０の例は、上記の連鈎内のグループ結合の一例を示している。階層１の基準グループに対しステップチェックが行われ、このグループ音長は１／４拍であり、最短音長は１／８拍であるので、グループ音長／最短音長＝２となり、連符数字１２の整数ｎ倍の値より小さいため、一つ上の階層２のグループとの結合を行う。ここでもステップチェックがなされ、グループ音長／最短音長＝４であるため、連符数字１２の整数ｎ倍の値より小さく、そのため更に一つ上の階層３のグループとの結合を行う。ここでは、グループ音長／最短音長＝１２であるため、連符数字１２の整数ｎ倍の値と一致し、以上の連鈎内のグループ結合処理を終了している。
【００２８】
上記ステップＳ２５の連鈎チェックの際、現グループが連鈎でないと判断された場合、及び同一連符内の最上階層までグループ結合をしてもなお、グループ内の音長総和が少ない場合（ステップＳ２７及びＳ３５の結合未完の場合）、ステップＳ２８において、結合するグループを、基準グループ、付加グループから連符数字に近い順に選択し、現グループに結合する。
【００２９】
即ち図１１に示されるように、ステップＳ４０において、現グループの次ｊ（ｊ＝ｉ＋１）に基準グループが存在するか否かがチェックされ、それがなければステップＳ４１に進み、ｋ番目（最初ｋ＝０）に付加グループが存在するか否かがチェックされる。該付加グループがなければ処理が失敗したと判断される。ステップＳ４０で次の基準グループ（Ｇｒｐ’）の存在が確認され、又はステップＳ４１で付加グループ（Ｇｒｐ’）の存在が確認されれば、ステップＳ４２に進み、次に示す結合条件を満たすか否かのチェックがなされる。
【００３０】
結合するグループは、以下の条件を満たさなければならない。
▲１▼ ダミーグループでない（音長が１：２のダミーグループは他のグループと結びついて連符対象になることはないため）。
▲２▼ 大譜表の場合、現グループが高音部譜表なら、結合するグループも高音部譜表に属し、現グループが低音部譜表なら、結合するグループも低音部譜表に属する。
▲３▼ 現グループに連鈎が含まれる場合、結合するグループは連鈎でない。即ち現グループに連鈎が含まれる場合、次に結合するグループに連鈎があってはならない。
▲４▼ 現グループ内の音符・休符と和音となる音符・休符を含まない。即ち符尾を共通にしていない和音があれば、異なる声部の和音であるから、それを含まないようにするという趣旨である。
【００３１】
上記条件を満たしていないと判断された場合は、上記ｊ及びｋのインクリメントがなされて、前記ステップＳ４０に復帰する。反対に該結合条件を満たしていると判断された場合、ステップＳ４３において、現グループＧｒｐに、上述の次の基準グループ乃至付加グループＧｒｐ’を結合する。
【００３２】
グループ結合後の現グループにもステップＳ４４で、ステップチェックが行われる。このステップチェックでグループ内の音長総和が少ない時（図中ＬＥＳＳ）は、更にグループ結合するため、現グループに最後に結合されたグループ（Ｇｒｐ’）が連鈎か否かをチェックするステップＳ４５に進む。前記ステップチェックでグループ内の音長総和がオーバーした時（図中ＯＶＥＲ）は、ステップＳ４８で、現グループから最後に結合したグループを除き、ステップＳ４０に復帰する。前記ステップチェックがＯＫならば（図中ＦＩＴ）、現グループ内の音符・休符を連符数字の対象音符・休符として、以上の連符対象検索処理を終了する。
【００３３】
上記ステップＳ４５において、現グループに最後に結合されたグループ（Ｇｒｐ’）が連鈎であれば、ステップＳ４６において、前記ステップＳ３０以下の同一連鈎内のグループ結合処理を行う。次のステップＳ４７において、以上の処理が成功したか否かがチェックされ、成功すれば、現グループ内の音符・休符を連符数字の対象音符・休符とし、連符対象検索処理を終了する。同処理が失敗すれば、ステップＳ４８で、現グループから最後に結合したグループを除き、ステップＳ４０に復帰する。更に同一連鈎内結合処理で、最上階層までのグループ結合でもなお、現グループの音長総和が少ない結合未完の場合は、ステップＳ４０に復帰する。
【００３４】
（他の実施例）
同一連鈎内の同一桁数で結ばれるそれぞれのグループは、連符を例外として、グループ内の音長は、拍の１／ｎ（ｎは整数）となるので、同様なグループ分けから、連符の存在を予想したり、音符の誤認、連鈎桁数の誤認を予想できる。音符や連鈎桁の認識を優先すると、連符数字を認識しなくても、グループ内の音長の矛盾する場所を連符として認識できる。
また楽譜の入力装置において、連符数字を貼り付ける際には、連符対象を選択する処理が必要になる。この発明のように連符対象を自動的に認識させれば、対象音符の選択処理が不要になる。
【００３５】
【発明の効果】
以上詳述した本発明の構成によれば、表記上でのフレーズや音長に矛盾しない的確な連符対象を自動的に検出し、それによって演奏及び／又は表示可能な楽譜データ形式に変換する際に正確な発音タイミングを得ることのできる楽譜の認識を可能にしている。
【図面の簡単な説明】
【図１】符尾情報・連鈎情報を基にしたグループ分けの状態を示す説明図である。
【図２】同一連鈎内の連鈎桁を利用したグループ分けの推移を示す説明図である。
【図３】音符データが保持する連鈎情報の説明図である。
【図４】グループにおける特徴点の設定の仕方を示す説明図である。
【図５】本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を外部記憶装置で読み込ませて稼動する楽譜認識装置の実施例構成を示すブロック図である。
【図６】ＣＰＵのメイン処理を示すフローチャートである。
【図７】連符対象認識処理を示すフローチャートである。
【図８】グループ単位での連符対象認識処理を示すフローチャートである。
【図９】同一連鈎内のグループ結合処理を示すフローチャートである。
【図１０】連鈎内のグループ結合の状態を示す説明図である。
【図１１】グループ結合処理を示すフローチャートである。
【図１２】座標値だけで連符対象を判断した場合の失敗例を示す説明図である。
【図１３】同じく座標値だけで連符対象を判断した場合の失敗例を示す説明図である。
【図１４】３連符の場合の連符対象判断の失敗例を示す説明図である。
【符号の説明】
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ ハードディスク装置
５ フレキシブルディスクドライブ
６ ＣＲＴ
７ ＣＲＴインターフェース回路
８ キーボード
９ キーボードインターフェース回路
１０ プリンタ
１１ プリンタインターフェース回路
１２ スキャナ
１３ スキャナインターフェース回路
１４ ＭＩＤＩインターフェース回路
１５ バス
２０ 符頭中心
２１ 符尾端点
２２ 連鈎
【発明の属する技術分野】
本発明は、連符を含む楽譜の認識を可能にする楽譜認識方法及び楽譜認識を行うプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
楽譜を機械的に認識させ、演奏可能な楽譜データ形式に変換する際に、和音や連符に的確に対応するような発音タイミングの決定を行う必要があり、その発音タイミングを得るためには、連符対象となる音符を確定する必要がある。同様に、表示可能な楽譜データへの変換を行う際にも、連符対象となる音符の認識が正確になされていないと、間違った表示がなされることになる。
従来、連符対象を決定するために、図１２に示されるように、連符数字（図面上では３の数字）が存在する小節内の音符、休符の認識結果に保持された、符頭中心２０・符尾端点２１等の特徴点を利用し、連符数字の特徴点（連符数字の表示位置）との位置関係が近いものを選択し、選択された音符の同一符尾和音と共に連符対象としていた。
また対象選択時に同一音長の音符・休符を選択し、連符数字の個数分を選択することで、音長の矛盾を回避する方法が採用されていた。
【０００３】
【発明が解決しようとする課題】
実際の楽譜では、図１に示されるように、表記上のフレーズ（拍の区切り）を表す連鈎２２が存在し、更に連鈎内でも同じ桁数で結ばれるものが同様にフレーズを構成している。これに対し、連符はいくつかの音符を結合して、きりの良い拍数に置き換えるものであるから、連符対象がこのフレーズを切断したり、他のフレーズに跨ることはない。
しかし上記の手法では、このような規則性を無視しているので、図１２に示すように、座標値だけで判断がなされるため、フレーズを無視した音符の選択がなされ、誤った対象が選ばれることが多い。
また実際の楽譜で、連符数字の対象と連符数字の位置は、対象の内の一つだけが近く、他の対象はかなり離れて表示されていることがある。上記の手法では、図１３に示すように、最も近い位置にある対象は選ばれても、残りの対象は選ばれる可能性が低い。同図の例では、図面上連符数字３に近い音符は対象として選ばれているが、その両側位置の音符は連符数字から離れているため、連符対象とならないことになる。
更に３連符の場合、図１４に示すように、音長が１：２となる音符・休符が連符対象となっていることが良くある（図面上では４分休符と８分音符が３連符の対象となっている）が、この場合、連符数字と構成音符・休符との位置が離れていることが多い（図面上連符数字３と４分休符及び８分音符との位置が離れている）ため、対象として認識されないことが多々ある。
加えて連符対象は、必ずしも同一音長だけとは限らず、従来の方法はこのような場合に対応していない。
【０００４】
本発明は従来技術の以上のような問題に鑑み創案されたもので、表記上でのフレーズや音長に矛盾しない的確な連符対象を自動的に検出し、それによって演奏及び／又は表示可能な楽譜データ形式に変換する際に正確な発音タイミングを得ることのできる楽譜の認識を可能にする楽譜認識方法及び楽譜認識を行うプログラムを記録したコンピュータ読み取り可能な記録媒体を提供せんとするものである。
【０００５】
【課題を解決するための手段】
そのため本願請求項１に係る発明の構成（請求項８に係るコンピュータ読み取り可能な記録媒体の構成についても同じ）は、グループ分け手段と、ダミーグループ追加手段と、基準グループ判定手段と、グループ結合手段とを備え、楽譜イメージを読み取って、その楽譜記号を認識し、演奏及び／又は表示可能な楽譜データ形式に変換する楽譜認識方法に係るものであって、
グループ分け手段により、楽譜中の五線、小節線、音符、休符、連符記号、その他の記号が混在する認識結果から、連符数字が存在する小節内の演奏時の発音に関係する音符、休符を取り出し、連鈎情報、符尾情報を元に、拍の区切りに関連するグループ分けを行い、
更にダミーグループ追加手段により、連符数字が３の場合は、音長が１：２になる隣り合う一対の音符・休符の中間位置に、これらの音符・休符を構成要素とする仮想的なグループを生成し、これをダミーグループとして前記グループに追加し、
基準グループ判定手段により、連符数字からの符頭中心又は符尾端点への距離によって、更に連符数字が括弧付きの場合は括弧の向きも参照して、前記グループを連符対象検索の基準になり得る基準グループと、基準になり得ない付加グループとに分け、
グループ結合手段により、連符数字に近い基準グループを中心に、結合されるグループ内では構成音符の音長総和がグループ内最短音長に対して連符数字の整数倍になるという連符対象としての下式１の音長条件を満たすように、他のグループとグループ結合を行い、該グループ結合によって、連符対象を認識する
ことを基本的特徴としている。
【０００６】
【式１】
（グループ内の音長総和）＝（グループ内の最短音長）×（連符数字）×（任意の整数）
【０００７】
また前記請求項８の記録媒体の構成は、上記の手順を、グループ分け機能と、ダミーグループ追加機能と、基準グループ判定機能と、グループ結合機能とし、これらの機能を実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体として提供するものである。
より具体的には、楽譜のイメージを読み取って、その音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識プログラムを記憶したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、グループ分け手段と、ダミーグループ追加手段と、基準グループ判定手段と、グループ結合手段とが該コンピュータ上に実現され、
前記グループ分け手段による、楽譜中の五線、小節線、音符、休符、連符記号、その他の記号が混在する認識結果から、連符数字が存在する小節内の演奏時の発音に関係する音符、休符を取り出し、連鈎情報、符尾情報を元に、拍の区切りに関連するグループ分けを行うグループ分け機能と、
更に前記ダミーグループ追加手段による、連符数字が３の場合は、音長が１：２になる隣り合う一対の音符・休符の中間位置に、これらの音符・休符を構成要素とする仮想的なグループを生成し、これをダミーグループとして前記グループに追加するダミーグループ追加機能と、
前記基準グループ判定手段による、連符数字からの符頭中心又は符尾端点への距離によって、更に連符数字が括弧付きの場合は括弧の向きも参照して、前記グループを連符対象検索の基準になり得る基準グループと、基準になり得ない付加グループとに分ける基準グループ判定機能と、
前記グループ結合手段による、連符数字に近い基準グループを中心に、結合されるグループ内では構成音符の音長総和がグループ内最短音長に対して連符数字の整数倍になるという連符対象としての音長条件を満たすように、他のグループとグループ結合を行って、該グループ結合によって、連符対象を認識するグループ結合機能と
を実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０００８】
音符・休符単体として夫々が固有に有している音長とは異なり、いくつかのこれらの音符を結合して、きりの良い拍数に置き換える多様な音長からなる連符対象は、単に連符数字の位置と音符・休符の位置とを基にして判断した場合、正確に認識できるものではない。しかし本構成では、表記上のフレーズ（拍の区切り）を基にして分けられたグループという概念を用いることで、上記のような判定を基にした連符対象の認識の誤りを排することができるようになる。即ちフレーズを基にしたグループを連符対象の検索単位とすることで、対象音符のフレーズ的な矛盾がなくなり、連符数字がより的確なものになる（このグループを連符対象の最小単位とすることで、フレーズを分割するような対象の選択がなくなる）。更に、連符の対象となるものは必ず上記の音長条件を満たすことになるという性質を利用して、上述したグループ結合が行われるため、特に連符数字から離れた連符対象も、基準グループとの繋がりで評価されることになり、多様な連符形状にも対応できるようになる。その結果、位置、構成音の音長、表記上のフレージングに最も適した連符対象を認識することが可能となる。加えて上記グループ分けには、図３に示すような音符単位の連鈎情報を利用する。
尚、３連符の場合は、前後にある音長が１：２となる音符・休符が連符対象となっていることが多いため、上述のように、それらの組み合わせをダミーグループとして追加することで、これらが離れた位置に表示されている場合でも連符対象とすることが可能になる。
【０００９】
上記の楽譜認識方法（記録媒体）において、グループ分け手段により、拍の区切りに関連する前記グループ分けを行う際に、図１に示されるように、同一連鈎のものを同一グループとする。拍の区切りは、同一連鈎で示されるからである。また連鈎でない音符・休符は単独のグループとし、同時発音される同一符尾を持つ和音は同一のグループにする。これらは、当然別々のグループとすることはできないし、更に他のグループへ別々にグループ分けされる性質のものでもない。尚、上述のように、同一符尾和音は同一のグループにするが、符尾を共有しない和音は別グループにし、グループ結合手段によりグループ結合する際に、同一ゲート音（和音）を持つグループを無視するようにするので、複数の声部に跨って対象が選択されることが避けられる。
グループ分け手段により、同一連鈎のもののグループ分けを行う場合、図２に示されるように、同一桁数で結ばれるものをグループ分けする。このグループは、桁数に応じた階層的なものになる。
【００１０】
グループ分け手段による同一連鈎のもののグループ分け時に、認識された個々の音符情報は、連鈎単位で固有のＩＤを保持し、更に同一連鈎内音符には前後音符への結合桁数を保持するものとし、これを利用して連鈎内の同一桁数で結ばれるものをグループとすることになる。図３に示すように、各音符データは、連鈎ＩＤ、連鈎結合桁数（左）、連鈎結合桁数（右）の３つの連鈎情報を保持する。このうち、連鈎ＩＤは、１つ以上の連鈎を共有する音符グループ単位に固有のＩＤとする（同一の連鈎ＩＤ＝「同一連鈎」）。連鈎でない単独の音符・休符に関するデータの連鈎ＩＤは、０として、連鈎である音符と区別している。また結合桁数は、音符符尾の連鈎桁が左右に何本でているかを示している。更に同一符尾和音の場合、夫々の音符データが持つ上記連鈎情報は等しいことになる。
【００１１】
以上のようにグループを連符対象の最小単位とすることにしたので、連符対象の決定は当然グループ単位となる。ここで、グループ内の特徴点は、グループを構成する音符・休符のうち、最も連符数字に近いものを基準に設定するので、グループ内の他の音符・休符の位置に関係なく的確な位置関係が評価できるようになる。例えば図４に示されるように、夫々のグループの特徴点（矢印の指す位置）のみがそのグループと連符数字との距離に反映され、その他の音符・休符と連符数字との距離は意味を持たない。
他方、音長が１：２になる一対の音符・休符からなる前記ダミーグループでは、特徴点を音符位置や休符位置ではなく、構成音符や構成休符の中間位置に置くことで、音符・休符字体が連符数字から離れていても、的確な連符数字との位置関係が得られる。従って図１４のような場合でも、３連符の連符対象を正確に認識できるようになる。
【００１２】
前記グループ結合手段によるグループ結合の前提として、連符数字と各グループの位置関係から、連符数字を基にある範囲内にあるグループを基準グループとし、範囲外のグループを付加グループとする基準グループ判定を基準グループ判定手段により行う。そしてグループ結合手段によるグループの結合は、必ず基準グループを先頭に行うようにして、連符対象に必ず１つは基準グループが含まれるようにする。連符対象となるグループの少なくとも１つ（基準グループ）は、連符数字に近い位置にあるからである。付加グループは、基準グループとの結合によってのみ、連符対象となり得る。これによって連符数字から離れた対象も、連符数字からの位置に関係なく、基準グループとの繋がりで評価されることになる。
基準グループと他のグループのグループ結合をグループ結合手段による行う際に、連鈎内のグループを基準として、他のグループと結合する時は、必ず同一連鈎内の１つ上の階層のグループと結びつけるようにする。これによりフレーズを跨るような選択は行われない。
【００１３】
【発明の実施の形態】
以下本発明の一実施形態を添付図面に基づき説明する。図５は本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を後述するフレキシブルディスクドライブＦＤＤ５等の外部記憶装置（或いはＣＤ−ＲＯＭドライブ等）で読み込ませて稼動する楽譜認識装置の実施例構成を示すブロック図である。この装置は、パソコンなどの電子計算機の構成に、スキャナやＭＩＤＩインターフェース回路を付加したものである。ＣＰＵ１は、ＲＯＭ２或いはＲＡＭ３に格納されるプログラムに基づき、楽譜認識装置全体の制御を行う中央演算処理装置である。また予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ＲＡＭ３はプログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ハードディスク装置ＨＤＤ４及びフレキシブルディスクドライブＦＤＤ５は、プログラム及び画像データ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインターフェース回路７から出力される映像情報を表示し、キーボード８から入力された情報は、キーボードインターフェース回路９を経てＣＰＵ１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に基づき、プリンタインターフェース回路１１から出力される印字情報を印字する。
【００１４】
スキャナ１２は、例えば（印刷された）楽譜を光学的に走査して、２値或いはグレースケールの画像データに変換するものであり、フラットベッド型、ハンディ型、フィーダ型等任意のタイプのスキャナを使用できる。スキャナ１２によって読み取られた画像情報は、スキャナインターフェース回路１３を介して、ＲＡＭ３或いはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェース回路１４は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１５は、本楽譜認識装置内の各回路を接続し、各種データ、プログラム、アドレス等をやり取りさせている。なお、この他にマウスなどのポインティングデバイスやＲＳ２３２Ｃ等のシリアルインターフェース回路等を備えていても良い。
【００１５】
図６はＣＰＵ１のメイン処理を示すフローチャートである。ステップＳ１においては、スキャナ１２によって楽譜のイメージをＲＡＭ３に取り込む。画像は２値の画像データとして取り込む。ステップＳ２においては、このようにして２値化されて取り込まれた楽譜イメージで五線を検出する。ステップＳ３において、夫々の五線で水平線に対するずらし量に基づいた傾き補正を行う。
【００１６】
ステップＳ４において、ラベル抽出を行い、ステップＳ５において、音符、休符等の記号認識を行う。その後ステップＳ６において、本発明の上記記録媒体から読み出されたプログラムに従い、連符対象の認識が行われる。最後にステップＳ７において、楽譜データ形式への変換がなされ、処理を終了する。
【００１７】
そのうち上記ステップＳ６の連符対象の認識は、図７に示すようにして行われる。この図７において、ステップＳ８〜ステップＳ９までがグループ分け手段によるグループ分け工程であり、ステップＳ１０及びステップＳ１１がダミーグループ追加手段によるダミーグループ追加工程であり、ステップＳ１２及びステップＳ１３が基準グループ判定手段による基準グループ判定工程であり、ステップＳ１４〜ステップＳ１８まで及び図８、図９及び図１１に示される工程がグループ結合手段によるグループ結合工程である。このうちステップＳ８において、連符対象として、連鈎を基にしたグループ分けを行う。同一連鈎で結ばれるものを１つのグループとし、連鈎でない音符・休符は単独で１つのグループとする。同時に符尾情報を基にして、同一符尾和音は同じグループに属するようにグループ分けを行う。
【００１８】
ステップＳ９において、上記Ｓ８で得られるグループのうち、同一連鈎で結ばれたグループについて、更に連鈎桁数に応じた階層的なグループ分けを行う。これは、上述した図２に示されるように、対象となる連鈎音符を基に、最下階層から順次上位階層に向けて（図面上階層１から順次階層３に至るまで）同一桁数のものを取り出して、グループ分けを行う。
【００１９】
ステップＳ１０において、連符数字が３か否かが判断され、同数字が３の場合は、ステップＳ１１において、音長が１：２にある隣り合う一対の音符・休符の組を検出し、その中間位置に、これらの音符・休符を構成要素とする仮想的なグループであるダミーグループを生成し、前記グループに追加する。
【００２０】
ステップＳ１２において、各グループを構成する音符・休符のうち、連符数字に最も近い符頭中心位置、又は符尾端点位置を、そのグループの特徴点とする。ダミーグループは２つの音符・休符が作る矩形の中心を特徴点とする（図１４の場合であれば、４分休符と８分音符の中心を特徴点とすることになる）。
【００２１】
ステップＳ１３において、前記グループの特徴点と連符数字との距離が、ある範囲内にあれば、これを基準グループとし、範囲外であれば、付加グループとする。ステップＳ１４において、夫々を連符数字からの距離でソートする。この時基準グループとならないダミーグループは、破棄する。このダミーグループが連符の対象となる場合は、該ダミーグループ単独でしか成立し得ないからである。また連符数字に図１３及び図１４に示されるような括弧が付いていれば、括弧の向きによって基準グループのみ絞り込みを行う。
【００２２】
ステップＳ１５において、グループ単位で連符対象を認識する処理が行われる。この連符対象認識処理の処理結果に対し、ステップＳ１６において、連符対象が見つかったか否かがチェックされる。該連符対象が見つからなければ、ステップＳ１７において連符数字を誤認とする。反対に連符対象が見つかれば、ステップＳ１８において、連符対象を確定する。
【００２３】
上述のグループ単位での連符対象認識処理は、図８に示されるようにして行われる。即ちｉ＝０からソートされた順に、ステップＳ１９において、ｉ番目の基準グループが存在するか否かがチェックされる。それが存在しなければソート順の最終まで終了しているとして、ステップＳ２０において、エラー処理がなされる。ｉ番目の基準グループが存在すれば、ステップＳ２１において、ｉ番目の基準グループを対象として、現グループとする（連符数字に近い順にグループを取り出し、現グループとする）。ステップＳ２２において、下式数２に基づくステップチェックを行う（但しｎ：整数）。
【００２４】
【数２】
（グループ内の音長総和）／（グループ内の最短音長）＝ｎ×（連符数字）
【００２５】
このステップチェックで、グループ内の音長総和が少ない時は（図中ＬＥＳＳ）、グループ結合を行うため、ステップＳ２５以降に処理を進める。但しステップＳ２３で、現グループがダミーグル−プか否かがチェックされ、ダミーグループであれば、現グループを破棄し、ｉをインクリメントして、ステップＳ１９に復帰する。また前記ステップチェックで、グループ内の音長総和がオーバーした時は（図中ＯＶＥＲ）、現グループを破棄し、同様にｉをインクリメントして、ステップＳ１９に復帰する。更に前記ステップチェックがＯＫならば（図中ＦＩＴ）、ステップＳ２４に進み、現グループ内の音符・休符を連符数字の対象音符・休符とし、連符対象検索処理を終了する。
【００２６】
グループ結合を行う前に、ステップＳ２５において、現グループが連鈎か否かがチェックされ、連鈎であればステップＳ２６に進み、連鈎でなければステップＳ２８のグループ結合処理に進む。
【００２７】
前記ステップＳ２６では、同一連鈎内のグループ結合処理がなされる。即ち図９に示されるように、ステップＳ３０において、１つ上の階層のグループＧｒｐ’が存在するか否かがチェックされる。該グループＧｒｐ’が存在すれば、ステップＳ３１において、現グループＧｒｐに１つ上の階層のグループＧｒｐ’を結合する。次にステップＳ３２において、前述と同様なステップチェックが行われ、グループ内の音長総和が少ない時（図中ＬＥＳＳ）は、ステップＳ３０に戻って、更に上の階層とのグループ結合を行い、グループ内の音長総和がオーバーした時（図中ＯＶＥＲ）は、ステップＳ３３において、現グループを破棄し、ステップＳ１９に復帰する。ステップチェックがＯＫならば（図中ＦＩＴ）、ステップＳ３４に進み、現グループ内の音符・休符を連符数字の対象音符・休符とし、連符対象検索処理を終了する。また同一連符内の最上階層までグループ結合をしてもなお、グループ内の音長総和が少ない時は、ステップＳ３５に進み、連鈎でないグループとの結合を行うために、前記ステップＳ２８に進む。尚、図１０の例は、上記の連鈎内のグループ結合の一例を示している。階層１の基準グループに対しステップチェックが行われ、このグループ音長は１／４拍であり、最短音長は１／８拍であるので、グループ音長／最短音長＝２となり、連符数字１２の整数ｎ倍の値より小さいため、一つ上の階層２のグループとの結合を行う。ここでもステップチェックがなされ、グループ音長／最短音長＝４であるため、連符数字１２の整数ｎ倍の値より小さく、そのため更に一つ上の階層３のグループとの結合を行う。ここでは、グループ音長／最短音長＝１２であるため、連符数字１２の整数ｎ倍の値と一致し、以上の連鈎内のグループ結合処理を終了している。
【００２８】
上記ステップＳ２５の連鈎チェックの際、現グループが連鈎でないと判断された場合、及び同一連符内の最上階層までグループ結合をしてもなお、グループ内の音長総和が少ない場合（ステップＳ２７及びＳ３５の結合未完の場合）、ステップＳ２８において、結合するグループを、基準グループ、付加グループから連符数字に近い順に選択し、現グループに結合する。
【００２９】
即ち図１１に示されるように、ステップＳ４０において、現グループの次ｊ（ｊ＝ｉ＋１）に基準グループが存在するか否かがチェックされ、それがなければステップＳ４１に進み、ｋ番目（最初ｋ＝０）に付加グループが存在するか否かがチェックされる。該付加グループがなければ処理が失敗したと判断される。ステップＳ４０で次の基準グループ（Ｇｒｐ’）の存在が確認され、又はステップＳ４１で付加グループ（Ｇｒｐ’）の存在が確認されれば、ステップＳ４２に進み、次に示す結合条件を満たすか否かのチェックがなされる。
【００３０】
結合するグループは、以下の条件を満たさなければならない。
▲１▼ ダミーグループでない（音長が１：２のダミーグループは他のグループと結びついて連符対象になることはないため）。
▲２▼ 大譜表の場合、現グループが高音部譜表なら、結合するグループも高音部譜表に属し、現グループが低音部譜表なら、結合するグループも低音部譜表に属する。
▲３▼ 現グループに連鈎が含まれる場合、結合するグループは連鈎でない。即ち現グループに連鈎が含まれる場合、次に結合するグループに連鈎があってはならない。
▲４▼ 現グループ内の音符・休符と和音となる音符・休符を含まない。即ち符尾を共通にしていない和音があれば、異なる声部の和音であるから、それを含まないようにするという趣旨である。
【００３１】
上記条件を満たしていないと判断された場合は、上記ｊ及びｋのインクリメントがなされて、前記ステップＳ４０に復帰する。反対に該結合条件を満たしていると判断された場合、ステップＳ４３において、現グループＧｒｐに、上述の次の基準グループ乃至付加グループＧｒｐ’を結合する。
【００３２】
グループ結合後の現グループにもステップＳ４４で、ステップチェックが行われる。このステップチェックでグループ内の音長総和が少ない時（図中ＬＥＳＳ）は、更にグループ結合するため、現グループに最後に結合されたグループ（Ｇｒｐ’）が連鈎か否かをチェックするステップＳ４５に進む。前記ステップチェックでグループ内の音長総和がオーバーした時（図中ＯＶＥＲ）は、ステップＳ４８で、現グループから最後に結合したグループを除き、ステップＳ４０に復帰する。前記ステップチェックがＯＫならば（図中ＦＩＴ）、現グループ内の音符・休符を連符数字の対象音符・休符として、以上の連符対象検索処理を終了する。
【００３３】
上記ステップＳ４５において、現グループに最後に結合されたグループ（Ｇｒｐ’）が連鈎であれば、ステップＳ４６において、前記ステップＳ３０以下の同一連鈎内のグループ結合処理を行う。次のステップＳ４７において、以上の処理が成功したか否かがチェックされ、成功すれば、現グループ内の音符・休符を連符数字の対象音符・休符とし、連符対象検索処理を終了する。同処理が失敗すれば、ステップＳ４８で、現グループから最後に結合したグループを除き、ステップＳ４０に復帰する。更に同一連鈎内結合処理で、最上階層までのグループ結合でもなお、現グループの音長総和が少ない結合未完の場合は、ステップＳ４０に復帰する。
【００３４】
（他の実施例）
同一連鈎内の同一桁数で結ばれるそれぞれのグループは、連符を例外として、グループ内の音長は、拍の１／ｎ（ｎは整数）となるので、同様なグループ分けから、連符の存在を予想したり、音符の誤認、連鈎桁数の誤認を予想できる。音符や連鈎桁の認識を優先すると、連符数字を認識しなくても、グループ内の音長の矛盾する場所を連符として認識できる。
また楽譜の入力装置において、連符数字を貼り付ける際には、連符対象を選択する処理が必要になる。この発明のように連符対象を自動的に認識させれば、対象音符の選択処理が不要になる。
【００３５】
【発明の効果】
以上詳述した本発明の構成によれば、表記上でのフレーズや音長に矛盾しない的確な連符対象を自動的に検出し、それによって演奏及び／又は表示可能な楽譜データ形式に変換する際に正確な発音タイミングを得ることのできる楽譜の認識を可能にしている。
【図面の簡単な説明】
【図１】符尾情報・連鈎情報を基にしたグループ分けの状態を示す説明図である。
【図２】同一連鈎内の連鈎桁を利用したグループ分けの推移を示す説明図である。
【図３】音符データが保持する連鈎情報の説明図である。
【図４】グループにおける特徴点の設定の仕方を示す説明図である。
【図５】本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を外部記憶装置で読み込ませて稼動する楽譜認識装置の実施例構成を示すブロック図である。
【図６】ＣＰＵのメイン処理を示すフローチャートである。
【図７】連符対象認識処理を示すフローチャートである。
【図８】グループ単位での連符対象認識処理を示すフローチャートである。
【図９】同一連鈎内のグループ結合処理を示すフローチャートである。
【図１０】連鈎内のグループ結合の状態を示す説明図である。
【図１１】グループ結合処理を示すフローチャートである。
【図１２】座標値だけで連符対象を判断した場合の失敗例を示す説明図である。
【図１３】同じく座標値だけで連符対象を判断した場合の失敗例を示す説明図である。
【図１４】３連符の場合の連符対象判断の失敗例を示す説明図である。
【符号の説明】
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ ハードディスク装置
５ フレキシブルディスクドライブ
６ ＣＲＴ
７ ＣＲＴインターフェース回路
８ キーボード
９ キーボードインターフェース回路
１０ プリンタ
１１ プリンタインターフェース回路
１２ スキャナ
１３ スキャナインターフェース回路
１４ ＭＩＤＩインターフェース回路
１５ バス
２０ 符頭中心
２１ 符尾端点
２２ 連鈎
Claims (14)
- グループ分け手段と、ダミーグループ追加手段と、基準グループ判定手段と、グループ結合手段とを備え、楽譜イメージを読み取って、その楽譜記号を認識し、演奏及び／又は表示可能な楽譜データ形式に変換する楽譜認識方法において、
グループ分け手段により、楽譜中の五線、小節線、音符、休符、連符記号、その他の記号が混在する認識結果から、連符数字が存在する小節内の演奏時の発音に関係する音符、休符を取り出し、連鈎情報、符尾情報を元に、拍の区切りに関連するグループ分けを行い、
更にダミーグループ追加手段により、連符数字が３の場合は、音長が１：２になる隣り合う一対の音符・休符の中間位置に、これらの音符・休符を構成要素とする仮想的なグループを生成し、これをダミーグループとして前記グループに追加し、
基準グループ判定手段により、連符数字からの符頭中心又は符尾端点への距離によって、更に連符数字が括弧付きの場合は括弧の向きも参照して、前記グループを連符対象検索の基準になり得る基準グループと、基準になり得ない付加グループとに分け、
グループ結合手段により、連符数字に近い基準グループを中心に、結合されるグループ内では構成音符の音長総和がグループ内最短音長に対して連符数字の整数倍になるという連符対象としての音長条件を満たすように、他のグループとグループ結合を行い、該グループ結合によって、連符対象を認識する
ことを特徴とする楽譜認識方法。 - 請求項１記載の楽譜認識方法において、拍の区切りに関連する前記グループ分けをグループ分け手段により、行う際に、同一連鈎のものを同一グループとすることを特徴とする請求項１記載の楽譜認識方法。
- 請求項２記載の楽譜認識方法において、グループ分け手段による同一連鈎のもののグループ分け時に、同一桁数で結ばれるものをグループ分けして、桁数に応じた階層的なグループ分けを行うことを特徴とする請求項２記載の楽譜認識方法。
- 請求項３記載の楽譜認識方法において、グループ分け手段による同一連鈎のもののグループ分け時に、認識された個々の音符情報は、連鈎単位で固有のＩＤを保持し、更に同一連鈎内音符には前後音符への結合桁数を保持するものとし、これを利用して連鈎内の同一桁数で結ばれるものをグループとすることを特徴とする請求項３記載の楽譜認識方法。
- 請求項１乃至４記載の楽譜認識方法において、拍の区切りに関連する前記グループ分けをグループ分け手段により行う際に、連鈎でない音符・休符は単独のグループとする請求項１乃至４記載の楽譜認識方法。
- 請求項１乃至５記載の楽譜認識方法において、拍の区切りに関連する前記グループ分けをグループ分け手段により行う際に、同時発音される同一符尾を持つ和音は同一のグループにすることを特徴とする請求項１乃至５記載の楽譜認識方法。
- 請求項１乃至６記載の楽譜認識方法において、グループ結合手段により基準グループと他のグループのグループ結合を行う際に、連鈎内のグループを基準として、他のグループと結合する時は、同一連鈎内の１つ上の階層グループと結合することを特徴とする請求項１乃至６記載の楽譜認識方法。
- 楽譜のイメージを読み取って、その音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識プログラムを記憶したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、グループ分け手段と、ダミーグループ追加手段と、基準グループ判定手段と、グループ結合手段とが該コンピュータ上に実現され、
前記グループ分け手段による、楽譜中の五線、小節線、音符、休符、連符記号、その他の記号が混在する認識結果から、連符数字が存在する小節内の演奏時の発音に関係する音符、休符を取り出し、連鈎情報、符尾情報を元に、拍の区切りに関連するグループ分けを行うグループ分け機能と、
更に前記ダミーグループ追加手段による、連符数字が３の場合は、音長が１：２になる隣り合う一対の音符・休符の中間位置に、これらの音符・休符を構成要素とする仮想的なグループを生成し、これをダミーグループとして前記グループに追加するダミーグループ追加機能と、
前記基準グループ判定手段による、連符数字からの符頭中心又は符尾端点への距離によって、更に連符数字が括弧付きの場合は括弧の向きも参照して、前記グループを連符対象検索の基準になり得る基準グループと、基準になり得ない付加グループとに分ける基準グループ判定機能と、
前記グループ結合手段による、連符数字に近い基準グループを中心に、結合されるグループ内では構成音符の音長総和がグループ内最短音長に対して連符数字の整数倍になるという連符対象としての音長条件を満たすように、他のグループとグループ結合を行って、該グループ結合によって、連符対象を認識するグループ結合機能と
を実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 請求項８記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、拍の区切りに関連する前記グループ分けを、グループ分け手段により行うグループ分け機能で、同一連鈎のものを同一グループとすることを特徴とする請求項８記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項９記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、グループ分け手段により同一連鈎のもののグループ分けを行うグループ分け機能で、同一桁数で結ばれるものをグループ分けして、桁数に応じた階層的なグループ分けを行うことを特徴とする請求項９記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項１０記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、グループ分け手段により同一連鈎のもののグループ分けを行うグループ分け機能で、認識された個々の音符情報は、連鈎単位で固有のＩＤを保持し、更に同一連鈎内音符には前後音符への結合桁数を保持するものとし、これを利用して連鈎内の同一桁数で結ばれるものをグループとすることを特徴とする請求項１０記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項８乃至１１記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、グループ分け手段により拍の区切りに関連する前記グループ分けを行うグループ分け機能で、連鈎でない音符・休符は単独のグループとする請求項８乃至１１記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項８乃至１２記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、グループ分け手段により拍の区切りに関連する前記グループ分けを行うグループ分け機能で、同時発音される同一符尾を持つ和音は同一のグループにすることを特徴とする請求項８乃至１２記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項８乃至１３記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、グループ結合手段により基準グループと他のグループのグループ結合を行う際に、連鈎内のグループを基準として、他のグループと結合する時は、同一連鈎内の１つ上の階層グループと結合することを特徴とする請求項８乃至１３記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20550297A JP3558835B2 (ja) | 1997-07-16 | 1997-07-16 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20550297A JP3558835B2 (ja) | 1997-07-16 | 1997-07-16 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1138965A JPH1138965A (ja) | 1999-02-12 |
| JP3558835B2 true JP3558835B2 (ja) | 2004-08-25 |
Family
ID=16507930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20550297A Expired - Fee Related JP3558835B2 (ja) | 1997-07-16 | 1997-07-16 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3558835B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930544B (zh) * | 2010-09-07 | 2012-11-14 | 东南大学 | 基于行游程邻接表的乐谱快速连通域分析方法 |
| JP5988672B2 (ja) * | 2012-04-24 | 2016-09-07 | 株式会社河合楽器製作所 | 楽譜演奏装置及び楽譜演奏プログラム |
-
1997
- 1997-07-16 JP JP20550297A patent/JP3558835B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1138965A (ja) | 1999-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6137041A (en) | Music score reading method and computer-readable recording medium storing music score reading program | |
| US7525035B2 (en) | Musical performance self-training apparatus | |
| US7518057B2 (en) | Method of automated musical instrument finger finding | |
| US6576828B2 (en) | Automatic composition apparatus and method using rhythm pattern characteristics database and setting composition conditions section by section | |
| US20050172780A1 (en) | Fingering guide displaying apparatus for musical instrument and computer program therefor | |
| JP5154886B2 (ja) | 楽譜認識装置及びコンピュータプログラム | |
| US20140283669A1 (en) | Chord-playing instruction device, chord-playing instruction method, and recording medium | |
| Bainbridge | Extensible optical music recognition | |
| US20040020347A1 (en) | Data recording and retrieval, sheet music, music keyboard tablature and method of teaching music | |
| JP3558835B2 (ja) | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US4472992A (en) | Electronic musical instrument | |
| US7238876B1 (en) | Method of automated musical instrument finger finding | |
| JP4738135B2 (ja) | 楽譜認識装置および楽譜認識プログラム | |
| JP2003242438A (ja) | 楽譜認識装置 | |
| JP3597343B2 (ja) | 楽譜読み取り方法及び楽譜読み取りプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3608674B2 (ja) | 楽譜認識装置 | |
| JP3835456B2 (ja) | 自動作曲装置および記憶媒体 | |
| JP3597354B2 (ja) | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3551737B2 (ja) | 囲碁学習システム | |
| JP5189952B2 (ja) | 楽譜認識装置、及びコンピュータプログラム | |
| JP2682383B2 (ja) | 楽譜認識装置 | |
| CN1920898A (zh) | 一种乐谱信息的简易记谱方法 | |
| JP2006058577A (ja) | 複数の時系列データを処理するためのデータ処理装置およびプログラム | |
| WO2004088630A1 (ja) | 楽譜読み取り方法及び楽譜読み取りプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5786624B2 (ja) | 演奏評価装置、プログラム及び演奏評価方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040519 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080528 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |