JP3597354B2

JP3597354B2 - Music score recognition method and computer readable recording medium recording music score recognition program

Info

Publication number: JP3597354B2
Application number: JP27495297A
Authority: JP
Inventors: 誠至中野
Original assignee: Kawai Musical Instrument Manufacturing Co Ltd
Current assignee: Kawai Musical Instrument Manufacturing Co Ltd
Priority date: 1997-09-24
Filing date: 1997-09-24
Publication date: 2004-12-08
Anticipated expiration: 2017-09-24
Also published as: JPH1195743A

Description

【０００１】
【発明の属する技術分野】
本発明は、楽譜のうち、特にドラム譜の読み取りを可能にする楽譜認識方法及び楽譜認識を行うプログラムを記緑したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
通常楽譜を機械的に認識させる場合は、五線認識、図２６に示されるような段落の認識の後、五線を消去して、種々の方法を使いながら、図２７（ａ）に示される黒玉ｂや同図（ｂ）に示される白玉ｗなどの音符の符頭、同図（ｃ）に示される該符頭に連続する符尾ｔ、更に同図（ｄ）に示される該符尾に連続する旗ｆ、その他を認識している。
【０００３】
【発明が解決しようとする課題】
ドラム譜に表示される符頭のうち、通常の楽譜と同じ黒玉・白玉以外の音符は、（×）、（◇）など、細線で書かれており、この他にも色々なタイプが存在する。そのため、通常楽譜の音符認識に用いられている、太細分離（特開平９−９７０６０号参照、画像データから細い線を構成する部分を分離しそれから細い線を構成される記号を検出し、残りの画像から太い記号を検出して、楽譜上に現れる記号の認識を行う方式）、楕円検出（楕円式を用いて通常の音符の符頭に使用される黒玉や白玉を認識する方式）で検出することができない。
【０００４】
この他、符頭へのタイ結合や、２つ以上の符頭が縦方向で接触した和音など、従来方式では解決できない問題が存在する。また符尾に対して符頭が結合している位置が楽譜によって違っていることや、符尾の途中に符頭があって、符尾を分断するタイプの音符があるなど、通常の楽譜にはない問題がある。
【０００５】
本発明は従来技術の上記問題に鑑み創案されたもので、これらの問題を解決し、通常楽譜とは異なるドラム譜におけるドラム音符の認識を可能にし、演奏及び／又は表示可能なデータ形式に変換することができる構成を提供せんとするものである。
【０００６】
【課題を解決するための手段】
そのため本願請求項１に係る発明の構成は、符頭ラベル分離手段と、走査手段と、符頭記号認識手段と、結合手段とを有して実行され、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、符頭ラベル分離手段により行われる、符尾情報を用いその符尾のビットを消去（以後消去は、画像のビットプレーンを消すことを言い、認識結果保存データ上のデータそのものを消す削除と区別する）することで符頭のラベルを分離する符頭ラベル分離工程と、走査手段により行われる、符尾候補の周辺を走査する走査工程と、符頭記号認識手段により行われる、上記走査により検出された該符尾候補周辺にある分離ラベルを辞書とマッチングして、ドラム符頭記号を認識する符頭記号認識工程と、結合手段により行われる、符尾と符頭の結合処理を行う結合工程とを実行することを特徴としている。
ドラム譜の符頭は、黒玉や白玉以外の音符については、上述のように、(×)、(◇)など、細線で書かれており、この他にも色々なタイプが存在するので、通常楽譜の音符認識に用いられている、太細分離方式、楕円検出方式で検出することができない。そのため、通常の記号認識と同様に、符頭ラベル分離手段により、分離抽出したラベルを符頭記号認識手段により辞書とマッチングすることで認識を行う。しかし符尾があるため、符頭だけを１つのラベルとして分離できない。また連鉤や和音等もあるため、符尾を含めて辞書化しようとすると、パターンが膨大になり不可能である。そのため本構成では、走査手段により行われる符尾候補周辺の走査符尾の情報を利用して、一旦符頭のラベルを符頭ラベル分離手段により分離し、分離したラベルを符頭記号認識手段により辞書とマッチングして、通常の記号認識と同じ方法で認識できるようにしている。その際、符頭から分離された符尾候補周辺を走査手段により走査して、符尾候補周辺にあるラベルをマッチング対象としてドラム符頭の認識を符頭記号認識手段により行い、マッチングの行われた符頭は最終的に符尾との連結が結合手段により行われる。
【０００７】
上記構成は、請求項１１の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記憶したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、符頭ラベル分離手段と、走査手段と、符頭記号認識手段と、結合手段とが該コンピュータ上に実現され、符頭ラベル分離手段による、符尾情報を用いて符頭のラベルを分離するラベル分離機能と、走査手段による、符尾候補の周辺を走査する走査機能と、符頭記号認識手段による、該走査で検出された該符尾候補周辺にある分離ラベルを辞書とマッチングして符頭の認識を行いドラム符頭を認識する認識機能と、結合手段による、認識された符頭と符尾候補とを結合する結合機能とを実行するプログラムである。
【０００８】
上記構成において、符頭記号認識手段で分離ラベルと辞書とのマッチングに失敗した場合、走査手段により符尾候補周辺の走査を続けて、次に検出された符頭ラベルと前記分離ラベルとの結合処理を行った後、符頭記号認識手段により辞書とのマッチングを再度行うようにすれば良い。これは、図１に示すような場合、符尾を消去しても符頭の認識に問題は生じないが、図２に示すような場合、符尾を消去した後、符頭が複数のラベルに分離してしまうからである。このような場合は、最初に行われるマッチングが失敗するので、その後ラベル結合を行って、再度マッチングを行うことで、符頭の認識が可能になる。
【０００９】
上記構成は、請求項１２の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、符頭記号認識手段で分離ラベルと辞書とのマッチングに失敗した場合、走査手段により符尾候補周辺の走査を続けて、次に検出された符頭ラベルと前記分離ラベルとの結合処理を行った後、符頭記号認識手段により辞書とのマッチングを再度行うことになる。
【００１０】
辞書マッチング失敗後に行われる上記ラベル結合及び再度のマッチング処理を行う場合でも、次に検出され結合処理に使用された符頭ラベル自体についても符頭記号認識手段により辞書とマッチングさせ、該マッチング結果の方が優先度が高い場合、その認識結果を優先させるようにすべきである。
【００１１】
上記構成は、請求項１３の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、次に検出され結合処理に使用された符頭ラベル自体についても符頭記号認識手段により辞書とマッチングさせ、該マッチング結果の方が優先度が高い場合、その認識結果を優先させることになる。
【００１２】
また請求項２の楽譜認識方法で、前記符頭認識及びラベル結合を繰り返して行い、その結合中に符頭記号認識手段によりマッチングして認識された夫々の認識結果に優先度をつけさせ、優先度の高い順に該認識結果を決定すると良い。ラベルの結合中、本来認識すべき符頭を全て含む認識矩形にならないうちに、別の符頭と同じ形状となる場合があるので、マッチングを行う場合は、認識結果に優先度をつけると良い。優先度の低い認識結果であった場合、そのＩＤと矩形を保存しておき、次のラベル走査を行う。これより優先度の高いＩＤが見つからなければこちらを優先する。ラベル結合途中にできる認識対象ラベルが意図するのとは別のＩＤに認識されてしまう場合には、これをリジェクトラベルとして辞書に入れ、これに認識された場合には、認識失敗とすることもできる。
【００１３】
上記構成は、請求項１４の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、前記符頭認識及びラベル結合を繰り返して行わせる間に、その符頭認識中にマッチングして認識された夫々の認識結果に優先度を符頭記号認識手段につけさせ、優先度の高い順に該認識結果を決定することになる。
【００１４】
上記の構成では、符頭にタイが接触している場合、ラベル分離ができない。そのため、まず符頭ラベル分離手段により、符頭に接触するタイを消去してラベル分離を行い、符頭記号認識手段により、該タイが接触している符頭を含むドラム音符の認識を行うようにすると良い。
【００１５】
上記構成は、請求項１５の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、符頭ラベル分離手段により、符頭に接触するタイを消去させ、該消去後に符頭ラベル分離手段によるラベル分離機能でラベル分離を行い、前記符頭記号認識手段の認識機能で、該タイが接触している符頭の認識を行う。
【００１６】
図３に示すように、通常のドラムセット以外の楽器を同一五線上に表記している場合に、(×)同士が接触した和音が存在する場合がある。このような場合、辞書とのマッチング前に、夫々の符頭を分離して認識矩形を設定するのは困難である。そのため、請求項６の構成では、符頭同士が上下に接触した結合符頭自体を符頭記号認識手段の辞書に登録しておき、該符頭記号認識手段により、この辞書と該結合符頭とのマッチングを行って、結合符頭の認識を行うこととした。
【００１７】
上記構成は、請求項１６の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、符頭同士が上下に接触した結合符頭自体を符頭記号認識手段の辞書に登録しておき、該符頭記号認識手段の認識機能でこの辞書と該結合符頭とのマッチングを行って、結合符頭の認識を行うようにしたものである。
【００１８】
これまでのように、符尾候補の周辺のラベルを結合しながら辞書とマッチングしていくことで、図４に示すようなトレモロ記号を認識することもできる。特にドラム譜の場合トレモロ記号は比較的多い。トレモロ記号は連鉤と略同じ太さ、間隔も略同じなので、対策を行わないと、連鉤と同様に旗の計数を行なってしまい、３２分音符などの音長の短い音符と誤認してしまう。従って本願構成では、図５に示すような形でトレモロ記号を符頭記号認識手段の辞書に登録しておき、該符頭記号認識手段により、該トレモロ記号の認識を行ってそれを消去した後、トレモロ記号を含んで表示されていた他のドラム音符の認識を行うこととした。
【００１９】
上記構成は、請求項１７の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、トレモロ記号を符頭記号認識手段の辞書に登録しておき、該符頭記号認識手段の認識機能により、該トレモロ記号の認識を行うと共に、該トレモロ記号を消去し、消去後トレモロ記号を含んで表示されていた他のドラム音符の認識を行うことにした。
【００２０】
本願構成では、通常楽譜の認識時に行われていると同様に符頭の認識後、該符頭と符尾の結合処理を行なっているが、ドラム譜の場合、この結合処理にも特別な処理が必用になる。その一つは符頭と符尾の位置関係に起因するものである。即ち黒玉以外の符頭の場合、図２に示すように、符頭の中心に符尾が付く場合があることである。また符尾の両側に符頭が付くことは少ない。
【００２１】
音符の認識は、符頭と符尾候補の結合によってなされるが、該結合は、まず符尾の先頭の符頭を結合した後、中間の符頭の結合を行なう。
通常の符頭（黒玉、白玉）の場合、玉が符尾の左右に付く場合がある。また先頭の玉はＸ方向（横方向）の位置が決まっている（例えば符尾上向きならば先頭の符頭は符尾の左にしか付かない）。よって先頭の玉の結合時、符尾と符頭のＸ方向の位置関係を左右に限定することになる。この時、符頭が符尾のどちらの端に付いているか（符尾上向きか下向きか）は、図６に示すように、符尾候補のＹ方向（縦方向）の中点ＣＣと符頭中心ＣＹのＹ座標の位置関係によって決める。また先頭の玉であるかどうかについては、同図に示すように、符尾候補の端ＳＴと符頭中心ＣＹとの距離、或いは符頭楕円の上下端との関係などにより判定する。
【００２２】
しかしドラム符頭の場合、Ｘ方向に見た場合に、符尾が符頭の中心にある場合があるので、先頭の玉の場合にも、図７（ａ）（ｂ）に示すように、左右の限定を行わない（どちらも結合可とする）。この後、符尾の重複結合を防ぐために、符頭符尾結合後、符頭の符尾の付いた側のフラグをチェックするが、ドラム符頭の場合、図８に示すように、実際の符尾と符頭中心のＸ方向の位置関係に拘わらず、決まった方向をチェックする（符尾上向きなら右側をチェックする）。尚、このチェックフラグは、符頭と符尾候補を結合する際、符尾の重複結合を防ぐために、符頭側の保存データ中データの属性を示すものとして記憶されるものである。その場合の本願の構成として、結合させようとする符尾候補が上向きか下向きかの違いによって該符尾候補との結合位置を特定するフラグを、各符頭に備えており、これらの符頭と符尾候補との結合を行う過程で、前記フラグで特定された符尾の結合位置以外への結合を不可としている。
【００２３】
ドラム譜の場合に、特有な結合処理を行なわなければならないもう一つの理由は、図９(ａ)(ｂ)に示すような符尾を分断する符頭が存在することである。図のような例の場合、符尾の先頭の黒玉は、４分音符ではなく、８分音符として認識されるべきである。符尾を分断する符頭は、同図に示されるように、先頭の玉が黒玉であり、分断する符頭が１つ存在するというパターンが殆どである。そこで本構成では、まず黒玉を対象とせず、図１０に示すように、符尾を分断する符頭を有するドラム音符の認識時に、符尾を分断する符頭とその上下の符尾候補との結合を結合手段により行って、同図(ｂ)のような該符頭を共有する符尾逆向きのドラム音符を認識した後、そのうち図右側の符尾が下向きの音符を削除（消去のように画像のビットプレーンを消すのではなく、認識結果保存データ上のデータそのものを消す処理）し、同図(ｃ)のように上下の符尾を結合したものを符尾候補とし（図右側）、最終的に残りの符頭（黒玉）と結合手段により結合させるようにする。
【００２４】
上記構成は、請求項１８の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、符尾を分断する符頭を有するドラム音符の認識時に、前記結合手段の結合機能によって符尾を分断する符頭とその上下の符尾候補との結合を行って、該符頭を共有する符尾逆向きのドラム音符を認識した後、符尾が下向きの音符を削除して、上下の符尾を結合したものを符尾候補とし、残りの符頭と結合手段により結合させるようにするものである。
【００２５】
ドラム譜の場合に、特有な結合処理を行なわなければならない更に別の理由は、○符頭を認識するために、ハイハットオープンの（ °）が符尾の近くに存在した場合、符頭と誤認する可能性があることである。この対策のため、○符頭については、下向きの符尾を結合したくない場合、左側のフラグをチェックしておけば、このチェック側に符尾が結合されることはない（一般的にフラグのチェックされた側は符尾候補の結合は不可とされる）。
【００２６】
また図１１に示されるハイハットクローズの(＋)の記号や連符数字が符頭と誤認されてしまい、これを符尾先頭の符頭として結合すると、符尾向きが逆の全く異なる音符として認識されてしまうことになる。その対策としてこれらの記号や連符数字をリジェクトラベルとして辞書に登録しても良いが、ドラム譜の符尾向きは通常楽譜と異なり、ある程度限定できることを利用して、本願構成では、符尾上端が五線より上に出ており且つ符尾下端が五線より下に出ていない場合、即ち符尾上端が第５線より上且つ符尾下端が第１線より上の場合に、符尾は上向き［ハイハットオープン（ °）の誤認対策としても有効である］、符尾下端が五線より下に出ており且つ符尾上端が五線より上に出ていない場合、即ち符尾下端が第１線より下且つ符尾上端が第５線より下の場合に、符尾は下向きと判断して、先頭符頭と該符尾候補とを結合手段により結合させることとした。
【００２７】
上記構成は、請求項１９の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、符尾上端が五線より上に出ており且つ符尾下端が五線より下に出ていない場合に、符尾は上向き、符尾下端が五線より下に出ており且つ符尾上端が五線より上に出ていない場合に、符尾は下向きと判断して、先頭符頭と該符尾候補とを結合手段により結合させることとした。
【００２８】
しかし、符尾を分断する符頭の上述した認識処理及びこれらの符尾符頭の結合処理がなされた場合に、上記の符尾向きを判断する構成を実施すると、図１２に示される共有符頭に下向き符尾が連結した構成の認識が不可となる（符尾上端が五線より上に出ており且つ符尾下端が五線より下に出ていない場合は、上向き符尾と判断されるため）。そのため本願構成では、符尾を分断する符頭のための上記処理を行なった後、符尾向きの正規化を行なうことにした。即ち、符尾を分断する符頭を有する音符を含むドラム音符の認識時に、黒玉を対象としない符頭と符尾候補の結合処理を結合手段により行い、符尾を分断する符頭を有するドラム音符については、該符頭を共有する符尾逆向きのドラム音符を認識した上で、符尾が下向きの音符を削除して、上下の符尾を結合したものを符尾候補として残りの先頭符頭と結合手段により結合させると共に、他のドラム音符については、符尾上端が五線より上に出ており且つ符尾下端が五線より下に出ていない場合に、符尾は上向き、符尾下端が五線より下に出ており且つ符尾上端が五線より上に出ていない場合に、符尾は下向きと判断して、該符尾候補と残りの符頭とを結合手段により結合させ、これらの条件に合わないものは、元の符尾候補に戻した後（符尾向きの正規化処理）、該符尾候補と残りの符頭とを結合手段により結合させることとしている。
【００２９】
上記構成は、請求項２０の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、符尾を分断する符頭を有する音符を含むドラム音符の認識時に、黒玉を対象としない符頭と符尾候補の結合処理を結合手段により行い、符尾を分断する符頭を有するドラム音符については、該符頭を共有する符尾逆向きのドラム音符を認識した上で、符尾が下向きの音符を削除して、上下の符尾を結合したものを符尾候補として残りの先頭符頭と結合手段により結合させると共に、他のドラム音符については、符尾上端が五線より上に出ており且つ符尾下端が五線より下に出ていない場合に、符尾は上向き、符尾下端が五線より下に出ており且つ符尾上端が五線より上に出ていない場合に、符尾は下向きと判断して、該符尾候補と残りの符頭とを結合手段により結合させ、これらの条件に合わないものは、元の符尾候補に戻した後、該符尾候補と残りの符頭とを結合手段により結合させることとしている。
【００３０】
【発明の実施の形態】
以下本発明の一実施形態を添付図面に基づき説明する。図１３は本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を後述するフレキシブルディスクドライブＦＤＤ５等の外部記憶装置（或いはＣＤ−ＲＯＭドライブ等）で読み込ませて稼動する楽譜認識装置の実施形態構成を示すブロック図である。この装置は、パソコンなどの電子計算機の構成に、スキャナやＭＩＤＩインターフェース回路を付加したものである。ＣＰＵ１は、ＲＯＭ２或いはＲＡＭ３に格納されるプログラムに基づき、楽譜認識装置全体の制御を行う中央演算処理装置である。また予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ＲＡＭ３はプログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ハードディスク装置ＨＤＤ４及びフレキシブルディスクドライブＦＤＤ５は、プログラム及び画像データ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインターフェース回路７から出力される映像情報を表示し、キーボード８から入力された情報は、キーボードインターフェース回路９を経てＣＰＵ１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に基づき、プリンタインターフェース回路１１から出力される印字情報を印字する。
【００３１】
スキャナ１２は、例えば（印刷された）楽譜を光学的に走査して、２値、グレースケール或いはカラーの画像データに変換するものであり、フラットベッド型、ハンディ型、フィーダ型等任意のタイプのスキャナを使用できる。スキャナ１２によって読み取られた画像情報は、スキャナインターフェース回路１３を介して、ＲＡＭ３或いはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェース回路１４は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１５は、本楽譜認識装置内の各回路を接続し、各種データ、プログラム、アドレス等をやり取りさせている。なお、この他にマウスなどのポインティングデバイスやＲＳ２３２Ｃ等のシリアルインターフェース回路等を備えていても良い。
【００３２】
図１４はＣＰＵ１のメイン処理を示すフローチャートである。ステップＳ１においては、スキャナ１２によって楽譜のイメージをＲＡＭ３に取り込む。画像は２値の画像データとして取り込む。ステップＳ２においては、かすれやドットノイズ等を軽減するために、図形融合等の画質平滑化処理を行う。ステップＳ３においては、解像度と濃度の情報を得ると共に、後段における五線検出の基準データを得るために、後述する画質チェック処理を行う。楽譜の認識処理においては、解像度及び濃度が所定の範囲から外れると認識率が低下してしまうので、ステップＳ３においては、これらの値が、所定の範囲内に入っているか否かがチェックされる。ステップＳ４においては、ステップＳ３におけるチェック結果が画質ＯＫであるか否かが判定され、結果がＯＫでない場合にはステップＳ１に戻って、解像度や濃度を変えて再度取り込みを行う。ステップＳ５においては、後述する五線認識を行う。五線認識処理において、五線走査開始位置検出処理と五線シフト量の検出処理が行われる。ステップＳ６においては、段落認識処理を行う。この処理は、大きく、段落認識処理と、大かっこ認識処理に分かれる。段落認識処理においては、画像全体で五線を検出し、五線同士で左端が略同じ場所にある五線の組を探し、五線の端同士が、黒画素で結ばれているかどうかを検査し、段落を認識する。ステップＳ７においては、段落の認識結果を表示して、段落認識結果が正しいか否かを利用者にチェックさせることにより、ＯＫか否かが判定され、結果がＯＫでない場合にはステップＳ８に移行して、段落認識結果の修正が行われる。尚、五線認識が失敗した場合には、その後の処理が行えないので、解像度や濃度を変更して再度画像を取り込む必要がある。従ってステップＳ７においては、まず五線の認識結果を表示し、正しいか否かを利用者に判定させ、もし正しくない場合には、Ｓ１に戻ってイメージを再度取り込み、また五線が正しく認識されている場合には、段落認識結果を表示し、チェックさせるようにしても良い。
【００３３】
ステップＳ９においては、ユーザにより各段落のドラムパートを選択させる。その後ステップＳ１０において、通常パートは通常楽譜認識を、ドラムパートはドラム譜としての認識を行う。全てのページで記号の認識が終了した後、ステップＳ１１〜１３において、１曲中のドラムパートを２回走査（２回ループ）することで、ドラムパートに関して曲全体でドラム表記法の推定と該表記法に従った楽器の割り当てを行う。本構成では、ドラム表記法推定結果の修正インターフェースを備えていない。これは、認識結果が間違っていれば、認識された楽譜記号を修正することで対応するからである。最後にステップＳ１４において、割り当てられた発音楽器に対して、その音長及び音高を指定した演奏可能な楽譜データ形式に変換する。
【００３４】
以下ステップＳ９〜ステップＳ１４までを詳細に説明する。五線認識、段落認識を行い、段落認識のチェック時に同時に、或いは段落認識結果の修正時に同時に、ステップＳ９において、ドラムパートの設定をユーザに行わせる。これは認識された五線、段落の結果を表示して、ドラム譜である五線をチェックさせることで設定する。ここで段落認識結果を保存するデータのパート情報に、ドラム譜であるかどうかのフラグを設定する。
【００３５】
設定されたフラグ情報に基づいて、認識部で、通常楽譜認識とドラム譜認識の場合分けを行い、ステップＳ１０において、ドラム譜に関して記号認識を行う。通常楽譜認識と、ドラム譜認識の違いは次の通りである。ドラム譜認識では、ドラム譜に存在しない記号の認識をスキップする（但し誤設定、誤認識対策、表記間違いなどの対策のために、認識自体は行い、出力だけを制限する場合もある）。ドラム譜認識では、ドラム譜に固有の記号・固有の文字列の認識を追加し、他方ドラム譜に不要な文字列の認識を削除する。また黒玉・白玉以外のドラム符頭を後述の符頭記号認識手段の辞書に追加する。他方ドラム譜の記号の出現確率・出現形態に対応したしきい値の変更を行う（例えばスラーの出現確率は低いので、認識時にしきい値を厳しくすることにより高速化できる、など）。同様に、通常音符の認識しきい値を変更する（黒玉和音が少ない、白玉の出現率は小さい、等。そのため、黒玉のしきい値を厳しくしたり、場合によっては白玉を認識しないようにする。本構成では白玉は認識しないものとする）。
【００３６】
このうちドラム符頭の認識は以下のように行う。ドラム譜の符頭で、通常の楽譜と同じ黒玉は、通常楽譜同様に、五線の線などを消去して行う太細分離処理及び黒玉部分の認識のための楕円検出処理により行う。しかしドラム譜の場合、黒玉の和音（黒玉の接触がある場合）が少ないので、場合によっては楕円検出処理ではなく、符頭ラベル分離手段によって分離されたラベルを対象として符頭記号認識手段のマッチングによって符頭を検出することも可能である。また本構成では、前述のように、ドラム楽譜における白玉の出現確率は低いので、認識を行わない。他方、これら以外のドラム譜の符頭は（×、◇）等、細線で描かれており、またこの他にも色々なタイプが存在するので、これまでと同様に、太細分離処理及び楕円検出処理で検出することができない。そのため、符頭ラベル分離手段によって符尾を消去した上で符頭ラベル（対象とする記号を認識するために設定された矩形）を分離し、走査手段によって符尾候補（符尾と仮にされるもの）の周辺を走査して、符尾候補周辺にある検出されたラベルを符頭記号認識手段によりその辞書とマッチングすることにより行う。但し符尾消去により符頭が複数のラベルに分断されてしまうことがあるので、符頭記号認識手段で分離ラベルと辞書とのマッチングが失敗した場合、更に、走査手段により符尾候補周辺の走査を続けて、次に検出された符頭ラベルと前記分離ラベルとの結合処理を行った後、符頭記号認識手段により辞書とのマッチングを再度行う。この他、ドラム譜の認識及び結合処理においては、特有なものが存在するので、それらについては後に述べる。
【００３７】
認識対象符頭は図１５のようになる。これ以外にもドラム符頭は存在するが、この程度に対応しておけば一般的なドラム譜は略対応できることになる。また符頭が五線のどの位置にあるか（音高）によって認識対象符頭種類を変化させることも有効である［例えば符頭（Ｒ）は第３間しか存在しない等、本構成ではこのような認識は行っていない］。黒玉（白玉）以外の符頭に関しては、認識された符頭の種類を記号保存データに残す。即ち認識記号保存データ中の保存領域ｄｒｕｍＮｏｔｅに符頭種類を書き込む。
【００３８】
以下、本楽譜認識装置の構成におけるドラム譜の楽譜認識方法の詳細を説明する。その認識の前提として、スキャナ１２で読み取られた楽譜画像を１ドット１バイトで取得しておき、そのうちの１ビットを元画像のプレーン（ｂｉｔＳｒｃ）とする。
【００３９】
（１）通常の音符の検出方法（白玉以外）
白玉を除く通常音符の検出（黒玉の検出）は、
▲１▼ 太細分離処理
元画像のプレーン（ｂｉｔＳｒｃ）を、通常音符用及びドラム音符用に、別の２つのビットプレーン（ｂｉｔＴｉｃ、ｂｉｔＤｒｍ）にコピーする。コピーされた２つのビットプレーンにおいて、五線消去処理を行う。但し元画像のプレーン（ｂｉｔＳｒｃ）における五線消去は行わない。楽譜画像を横方向に走査し、コピーされたビットプレーンのうちの１つ（ｂｉｔＴｉｃ）から短いランを消去する。縦方向も走査し、短いランを消去する。残った部分は、楽譜上の太い構成要素（黒玉符頭、連鉤など）を構成している。
▲２▼ 符尾検出
横方向走査で消去した短いランのビットを使用して、縦方向の細線を検出する。
▲３▼ 符頭検出
上記縦の細線（以下符尾候補という）の周辺を走査しながら、太部分が存在した場合、この太部分の境界線を検出し、あるインターバルで座標を投票し、楕円式を計算する。この楕円式が符頭として妥当な形であれば、楕円保存データ（ｅｐ）に追加する。
▲４▼ 符尾結合・認識
上記符尾候補と楕円が音符として妥当な位置関係にあるかどうかを判別し、妥当であれば、符尾との結合処理を行った上で、音符として、認識結果に追加する。
という手順で、行われる。
【００４０】
認識した黒玉は、次に行われるドラム符頭認識の対象にならないように、コピーされたもう１つのビットプレーン（ｂｉｔＤｒｍ）から消去しておく。また小音符は誤認の危険性が高いので、認識しないか、あるいは消去を行わないなどの処置を行う方が良い。
【００４１】
（２）ドラム音符の認識基本処理
▲１▼ 符頭ラベル分離
ドラム音符用のビットプレーン（ｂｉｔＤｒｍ）の符尾候補の左右のラベルビットを、図１に示すように、ある幅で消去する。そうすると、ドラム符頭のラベルが符尾と分離できる。しかし場合によっては、図２に示すように、符頭のラベルが複数のラベルに分離してしまう場合もある。そのため、後述するようにラベル結合を行いながら、認識を行う。
▲２▼ マッチング
符尾候補の周りを走査しながら、ビットプレーン（ｂｉｔＤｒｍ）のラベルを検出する。検出されたラベル矩形を左右に少し広げ、この矩形中にあるプレーン（ｂｉｔＳｒｃ）を辞書とのマッチングの対象とする。矩形を左右に少し広げるのは、符尾のノイズを減らすための処理である。即ち、検出されたラベルと符尾との距離が近いために、矩形そのままだと、符尾の一部が認識対象に入ったり入らなかったりし、辞書とのマッチングが大きく変わってしまうので、矩形を広げ、符尾を認識対象に入れてしまうようにしている。また、対象ビットプレーンをｂｉｔＤｒｍではなくｂｉｔＳｒｃにするのは、五線消去の状態がマッチングに影響しないようにするためである。
そして該矩形（ラベル）内のｂｉｔＳｒｃを辞書とマッチングする。マッチングの方式はどのようなものでも良い。
マッチングのための辞書は、符頭と符尾、五線の接触状態の組み合わせにより、１つの符頭種類に、複数のＩＤを用意する。マッチング後、ＩＤの統合処理を行う。即ち図１６及び図１７に示すように、符頭が五線と交差した場合及び符尾と交差した場合、更にこれらが組み合わされて、１つの符頭種類に、複数のＩＤが用意される。この時認識対象ラベル（辞書とマッチングするラベル）は、図１８に示すようになる。これらを別ＩＤとして辞書とマッチングし、最終的に符頭（×）という１つのＩＤに統合する。これらのパターンを最初から１つのＩＤとしても良いが、そうすると、１つのＩＤへの登録パターンが膨大になる。従って上記のように、五線との交差・符尾との交差によって分類しておいた方が、ＩＤあたりのパターン数が少なくなり、辞書作成時に整理がし易くなる。
マッチングをとるかどうかを矩形のサイズによって判断する。例えば縦幅が符頭よりも明らかに小さい矩形は、マッチングを取るまでもないので、後述のラベル結合処理に移る。また横幅が広い場合は、符頭にタイが連結した場合が考えられるので、後述のタイ消去処理を行う。この処理が失敗し、矩形が大きいままの場合は、最初からマッチング失敗とし、ラベル結合処理もリセットする。
▲３▼ ラベル結合
符頭辞書とラベルとのマッチングをとり、マッチングしなかった場合（ＩＤ＿ＭＡＴＣＨＩＮＧＮＯＮＥ）、ラベルの走査を続け、次に検出されたラベルと結合させて、再認識（再度辞書とマッチング）する。但し結合に使用した第２のラベル自体で一度マッチングを行い、マッチング結果のＩＤの優先度が最大であれば、こちらを優先する。またラベルの結合の最大サイズ（ｄｘｔ）のリセットと、ラベル結合のリセット（ラベル結合可の状態にする）を行い、新たな結合を開始する縦の距離（ｄｙｔ）も設定する。更に、認識結果のＩＤの優先度が最大であれば、その時点で矩形結合を終了し、新たな矩形結合を行うための、矩形や距離の初期化処理を行う（上記２つのリセット処理を行う）。
マッチングは、ラベルの結合中、本来認識すべき符頭を全て含む認識矩形にならないうちに、別の符頭と同じ形状となる場合があるので、認識結果に優先度を付ける。優先度の低い認識結果であった場合、そのＩＤと矩形を保存しておき、次のラベル走査を行う。これより優先度の高いＩＤが見つからなければこちらを優先する。
ラベル結合途中にできる認識対象ラベルが意図するのとは別のＩＤに認識されてしまう場合には、これをリジェクトラベルとして辞書に入れ、認識結果がこれになった場合には、認識失敗とすることもできる。符頭が結合したものを表す結合符頭やトレモロ記号など、マッチング結果が特殊な場合があるが、これらが認識された場合は、後述するように、それに応じた処理を行う。
辞書とのマッチングが取れた場合符頭データ（ｅｐ）にデータを追加する。
▲４▼ 符尾結合・認識
黒玉と同様に、符尾候補との結合処理を行う。但しドラム符頭の場合には、特殊な処理が必要な場合がある。それについては後述する。そして黒玉（白玉）以外の符頭に関しては、認識された符頭の種類を記号保存データに残す。即ち認識記号保存データ中の保存領域ｄｒｕｍＮｏｔｅに符頭種類を書き込む。
【００４２】
上記ラベル結合処理を含むマッチング処理の詳細を、フローチャートとして図１９乃至図２１に示す。同図の処理は、符尾候補の縦線の周辺を或る幅ｄｗで走査しながらｂｉｔＤｒｍを探し、見つかればこれに塗装関数をかけて、矩形（ｒｅｃｔＣｕｒ：検出されたラベルを囲む矩形）を検出する。矩形の大きさを判断しながら、図２２（ａ）（ｂ）に示すように、まずｒｅｃｔＣｕｒだけでマッチングし、結果によっては、以前の矩形とマージし、マージ矩形（ｒｅｃｔＭｒｇ：ラベル同士を連結した矩形）でもマッチングする。
ステップＳ２１において、デフォルトの値をｒｅｃｔＭｒｇ、ｒｅｃｔＣｕｒの各座標に入れ、矩形の座標の初期化を行うと共に、保存符頭ＩＤの初期化も行う。ステップＳ２２において、符尾の最上点のｙ値をｙＢｅｆに入れる。ステップＳ２３において、ｙを符尾候補の最上から最下までループする。そしてステップＳ２４において、ｒｅｃｔＭｒｇの各座標がデフォルトの値か否かを判断し、デフォルト値であれば、後述するステップＳ２９に飛ぶ。この値がデフォルト値でなければ、ステップＳ２５に進む。その際ドットが何もない距離がある程度あると、次のものの走査のためにリセットしなければならない。そのためステップＳ２５において、捜査中のｙの点の値と符尾最上点の値との差の絶対値が上記ｄｙｔの値を超えたか否かを判断し、超えていなければ同じく後述するステップＳ２９に飛ぶが、もし越えていれば、更にステップＳ２６において、保存符頭ＩＤが初期状態であるか否かを判断する。初期状態であれば、後述するステップＳ２８に進む。反対に初期状態でなければ、ステップＳ２７において、保存符頭ＩＤと矩形を使用して符頭データを作成する。ステップＳ２８において、ｒｅｃｔＭｒｇの各座標にデフォルト値を入れ、保存符頭ＩＤの初期化も行う。Ｓ２５からＳ２８までの一連の処理はｒｅｃｔＭｒｇの座標が初期状態でない場合のみ行う（Ｓ２４参照）。この処理が済んだ後、或いはＳ２５において、その値が越えていないと判断された場合に、ステップＳ２９において、符尾候補の縦線の周辺をある幅ｄｗで走査する。ステップＳ３０において座標（ｘ、ｙ）にビットｂｉｔＤｒｍが存在するか否かが判断され、存在しなければ、後述するステップＳ４８に飛んで、ｘ方向の走査のループを終了する。Ｓ３０において、同ビットが存在すれば、ステップＳ３１においてこれに塗装関数をかけて、第２ラベル（矩形）を検出する（ｒｅｃｔＣｕｒ）。ステップＳ３２において、見つかった第２ラベル矩形がラベル結合の上記最大サイズ（ｄｘｔ）より大きいかが判断され、大きいと判断された場合は、ステップＳ３３において後述するタイ消去処理を行う。ステップＳ３４において、該タイ消去処理が成功したか否かが判断され、失敗した場合はステップＳ４２に飛び、ｒｅｃｔＣｕｒの最下ｙ座標をｙＢｅｆとする。Ｓ３４においてタイ消去処理が成功したと判断された場合、及び、Ｓ３２において、見つかった第２ラベル矩形が上記ｄｘｔより小さいと判断された場合は、ステップＳ３５において、第２ラベルがマッチングに十分な程の大きさか否かが判断され、小さい場合は、後述するステップＳ４８に飛んで、ｘ方向の走査のループを終了する。Ｓ３５において、十分な大きさであると判断されると、以後ステップＳ３６で、まず第２ラベル（ｒｅｃｔＣｕｒ）だけで一度マッチングが行われる。ステップＳ３７において、ＩＤの優先度が最大か否かが判断され、最大であると判断された場合は、ステップＳ４２に飛び、ｒｅｃｔＣｕｒの最下ｙ座標をｙＢｅｆとすると共に、ステップＳ４６において符頭データを作成する。Ｓ３７において優先度が最大でないと判断された場合は、ステップＳ３８において、結合されるラベルｒｅｃｔＭｒｇの座標がデフォルト値と一致するか否かが判断され、一致しない場合はステップＳ３９において、第１のラベルと第２のラベルの結合処理が行われ、一致する場合はステップＳ４０において結合処理が行われず、そのままの形がマージ矩形（ｒｅｃｔＭｒｇ）とされる。ステップＳ４１において、上記ｒｅｃｔＭｒｇの最下ｙ座標を上記ｙＢｅｆとする。次にステップＳ４３において、ｒｅｃｔＭｒｇがマッチングに十分な大きさか否かが判断され、十分でないと判断された場合は、後述するステップＳ４８に飛んで、ｘ方向の走査のループを終了する。Ｓ４３においてその大きさが十分な大きさであると判断されると、ステップＳ４４において、ｒｅｃｔＭｒｇの辞書とのマッチングが行われ、ステップＳ４５において、ＩＤの優先度が最大か否かが判断され、最大であると判断された場合は、ステップＳ４６に飛び、保存符頭ＩＤ及び矩形を用いて符頭データを作成し、その優先度が最大でなければ、ステップＳ４８に飛んで、ｘ方向の走査のループを終了する。上記ステップＳ４６の後に、ステップＳ４７において、ｒｅｃｔＭｒｇ各座標にデフォルト値を入れる処理（ラベル結合終了）を行うと共に、保存符頭ＩＤの初期化を行う。Ｓ４５で、優先度が最大でないと判断された場合、及びＳ４７でラベル結合終了処理がなされた場合は、ステップＳ４８で、ｘ方向の走査のループを終了する。更にステップＳ４９において、ｙ方向の走査のループを終了する。その後ステップＳ５０において、残った保存符頭ＩＤが初期状態か否かが判断され、初期状態であれば、処理を終了する。初期状態でなければ、ステップＳ５１において、符頭データを作成する。
【００４３】
図２３は、図２０のステップＳ３６及びステップＳ４４における矩形マッチング処理のフローを示している。ステップＳ５２において、辞書とのマッチングが行われ、その処理結果をＩＤに入れる。ステップＳ５３において、マッチングが成功したか否かが判断され、失敗（ＩＤ＿ＭＡＴＣＨＩＮＧＮＯＮＥ）と判断された場合は、処理を終了する。Ｓ５３で、マッチングの失敗がなかったと判断されると、ステップＳ５４において、マッチング結果がリジェクトラベルか否かが判断され、リジェクトラベルと判断された場合は、処理を終了する。Ｓ５４で、リジェクトラベルでないと判断されると、ステップＳ５５において、マッチング結果が結合符頭であるか否かが判断され、結合符頭と判断された場合は、ステップＳ５６において、符頭ＩＤ及び矩形の保存が行われる。他方Ｓ５５で、結合符頭でないと判断された場合は、ステップＳ５７で、マッチング結果がトレモロ記号であるか否かが判断され、トレモロ記号と判断された場合は、ステップＳ５８において、トレモロ太部分の消去処理がなされる。他方Ｓ５７で、トレモロ記号でないと判断された場合は、ステップＳ５９で、符頭ＩＤ及び矩形の保存がなされる。Ｓ５６、Ｓ５８及びＳ５９の処理を終了した後は、全体の処理を終了する。
【００４４】
（３）タイ消去処理
前述のようにラベルの横幅が符頭よりも広い場合は、符頭にタイが連結していると考えられ、ラベルを分離できないので、図２０のステップＳ３２以下で行われるタイ消去処理を行うことになる。図２４に示すように、矩形の左右端から逆方向に向かって縦に走査し、見つかったランが１つであり、ラン長が或るしきい値ｄｙｔ２以下であるｘ幅が或るしきい値ｄｘｔ２以上である場合、これは、符頭であると判断できる。その場合ラン長が或る長さｄｖｔ２より長くなる（符頭と接触するタイの部分はランの長さがｄｙｔ２より長くなる）か、第２以降のラン（ランを走査していくうちに縦方向に別に見つかるラン）と接触する位置までをタイとして、その部分までを消去する。
【００４５】
（４）結合符頭処理
ドラム譜に符頭の接触した和音は少なく、また黒玉同士或いは黒玉とそれ以外の符頭の接触は問題ないが、通常のドラムセット以外の楽器を同一五線上に表記している場合は、前記図３に示すように、（×）同士が接触した和音が存在する場合がある。このような場合、辞書とのマッチング前に、夫々の符頭を分離して認識矩形を設定するのは困難である。そのため、符頭同士が上下に接触した結合符頭自体を辞書に登録しておき、この辞書と該結合符頭とがマッチングした場合（図２３ステップＳ５５参照）には、符頭データに連結した符頭の数分だけデータを追加する（同図ステップＳ５６参照）。このようなラベルは縦方向に長い形をしているので、ラベルの縦幅により、辞書の対象ＩＤを変化させて、誤認識の率を下げることもできる。またマッチング自体に、サイズによる特徴量を追加することも有効である。
【００４６】
（５）トレモロ記号処理
これまで説明してきた手順に従い、符尾候補の周辺のラベルを結合しながら辞書とマッチングしていくことで、図４に示すようなトレモロ記号を認識することもできる。特にドラム譜の場合トレモロ記号は比較的多い。トレモロ記号は連鉤と略同じ太さ、間隔も略同じなので、対策を行わないと、連鉤と同様に旗の計数を行なってしまい、３２分音符などの音長の短い音符と誤認してしまう。従って、図５に示すような形でトレモロ記号を辞書に登録しておく。但し、本構成では、記号張り付けインターフェースはトレモロ記号に対応していないので、これとマッチングした場合（図２３ステップＳ５７参照）には、太部分の消去処理を行い（同図ステップＳ５８参照）、連鉤検出時の旗計数失敗の対策とする。
【００４７】
（６）符頭符尾結合処理
本構成では、通常楽譜の認識時に行われていると同様に符頭の認識後、該符頭と符尾の結合処理を行なっているが、ドラム譜の場合、この結合処理にも特別な処理が必用になる。
▲１▼ 符頭と符尾の位置関係
その一つは、黒玉以外の符頭の場合、図２に示すように、符頭の中心に符尾が付く場合があることである。また符尾の両側に符頭が付くことは少ない。このような場合は、上向き符尾又は下向き符尾の先頭の符頭を結合した後、中間の符頭の結合を行なう。その場合の本構成として、黒玉、白玉以外の場合、楕円の中心と符尾のｘ座標の位置関係により、符頭の左右の符尾結合フラグのどちらかをチェックし、符尾の先頭の符頭については、このｘ方向の位置関係によって、結合の不可を判定しているが、ドラム符頭の場合（黒玉以外）、先頭の符頭結合時、符尾の縦方向の中心より上か下かによって、左右のどちらをチェックするかを決める。即ち、中点より下なら、ｘ方向の位置関係に拘わらず、符頭の右側をチェックする。符尾の中間の符頭は、符尾が上向きか下向きかによってチェック方向を決める。このように、符頭結合フラグが用いられているのは、フラグがチェックされた側への符尾候補の結合を不可とすることによって、符尾の重複結合を回避するためである。
▲２▼ 符尾を分断する符頭
ドラム譜の場合に、特有な結合処理を行なわなければならないもう一つの理由は、図９（ａ）（ｂ）に示すような符尾を分断する符頭が存在することである。符尾を分断する符頭は、同図に示されるように、先頭の玉が黒玉であり、分断する符頭が１つ存在するというパターンが殆どである。そこで本構成では、まず黒玉を対象とせず、図１０（ａ）に示すように、符尾を分断する符頭とその上下の符尾候補との結合を行う。そうすると、同図（ｂ）のような該符頭を共有する符尾逆向きのドラム音符が認識できる。この後、符尾連結処理を行う。但し、この場合、連結前の状態の符尾長が短くなるので、符頭と結合する符尾の長さの最短しきい値を小さくしておく必要がある。また符尾連結処理前に、図１０（ｂ）の右側の符尾が下向きの音符を削除し、同図（ｃ）のように上下の符尾を結合したものに符尾候補を変更する（図右側）。それから黒玉も対象とした符頭符尾連結を行うと、上記処理で結合した符尾候補と黒玉が連結される。
▲３▼ ○符頭とハイハットオープン
ドラム譜の場合に、特有な結合処理を行なわなければならない更に別の理由は、○符頭を認識するために、ハイハットオープンの（ °）が符尾の近くに存在した場合、符頭と誤認する可能性があることである。この対策のため、本構成では、○符頭は、予め左右の符尾結合フラグのうち、左側をチェックしておく。こうすることで、○符頭に下向き符尾が付かなくなる。但し、図２５に示されるように、１つのイメージ中でパート毎に認識矩形が設定される（図中波線で示す）が、段落が接近していると、次段落の記号が認識矩形に入ってしまうことがある。このように次段落のハイハットオープンが認識矩形に入り込んでくる危険性や、第１線より下のペダルハイハットにハイハットオープンの（ °）が使われる可能性を考えて、第１線より下の○符頭は左側ではなく、右側のフラグをチェックするようにしても良い。
▲４▼ ハイハットクローズ・連符数字の誤認対策
また図１１に示されるハイハットクローズの（＋）の記号や連符数字が符頭と誤認されてしまい、これを符尾先頭の符頭として結合すると、符尾向きが逆の全く異なる音符として認識されてしまうことになる。その対策としてこれらの記号や連符数字をリジェクトラベルとして辞書に登録しても良いが、ドラム譜の符尾向きは通常楽譜と異なり、ある程度限定できることを利用して、本構成では、符尾上端が第５線より上且つ符尾下端が第１線より上の場合に、符尾は上向き［ハイハットオープン（ °）の誤認対策としても有効である］、符尾下端が第１線より下且つ符尾上端が第５線より下の場合に、符尾は下向きと判断して、先頭符頭と該符尾候補とを結合させることとした。
しかし、符尾を分断する符頭の上述した認識処理及びこれらの符尾符頭の結合処理がなされた場合に、上記の符尾向きを判断する構成を実施すると、図１２に示される共有符頭に下向き符尾が連結した構成の認識が不可となる（符尾上端が第５線より上且つ符尾下端が第１線より上の場合は、上向き符尾と判断されるため）。そのため本構成では符尾を分断する符頭のための上記処理を行なった後、符尾向きの正規化を行なうことにした。即ち、符尾を分断する符頭を有する音符を含むドラム音符の認識時に、これらのドラム音符の先頭符頭と符尾候補の結合処理を行い、符尾を分断する符頭を有するドラム音符については、該符頭を共有する符尾逆向きのドラム音符を認識した上で、符尾が下向きの音符を削除して、上下の符尾を結合したものを符尾候補として残りの先頭符頭と結合させると共に、他のドラム音符については、符尾上端が第５線より上且つ符尾下端が第１線より上の場合に、符尾は上向き、符尾下端が第１線より下且つ符尾上端が第５線より下の場合に、符尾は下向きと判断して、該符尾候補と残りの符頭と結合させ、これらの条件に合わないものは、元の符尾候補に戻した後（符尾向きの正規化処理）、該符尾候補と残りの符頭とを結合させることとしている。
▲５▼ 符尾上の太部分の割合による誤認識の削減
通常楽譜でも、符尾候補上の太部分の割合が高い場合、符尾の誤認であるとして、符頭結合の対象外としていた。ドラム譜の場合には、黒玉の和音が少ないので、このしきい値を下げ、誤認識の確率を下げることができる。特にドラム譜の場合、符頭のラベルを分割しマッチングしているので、実際には音符ではない記号上に検出された縦線の周辺のラベルを分割・結合しながらマッチングするうちに、符頭として誤認してしまう可能性がある。そのため上記処理が有効となる。但し符尾を分割する符頭を処理する際、短い符尾候補が存在するので、注意が必要である。これを解決するためには、一旦図１０（ｂ）の右側の符尾が下向きの音符を削除し、同図（ｃ）のように上下の符尾を結合したものに符尾候補を変更し（図右側）、それから黒玉も対象とした符頭符尾連結を行った後、符尾上の太部分の割合を検出し、しきい値より高い場合、その音符を削除するようにすれば良い。
更に音符の誤認の場合、連鉤まで誤認する可能性は低いこと、連鉤の存在する音符の太部分の割合が比較的高いことを考慮して、連鉤のないもののみに、太部分の割合によるチェックを行ったり、連鉤のないものの太部分の割合チェックのしきい値を、連鉤のあるものより厳しくしたりすることも有効である。
【００４８】
以上の本実施形態構成では、ドラム譜において、通常楽譜同様に、五線の線などを消去して行う太細分離処理及び黒玉部分の認識のための楕円検出処理により、通常の楽譜と同じ黒玉の検出を行う。また該黒玉及び出現確率の低い白玉（認識を行わない）以外のドラム譜の符頭は（×、◇）等、細線で描かれており、この他にも色々なタイプが存在しているが、これらを黒玉検出と同じように太細分離処理及び楕円検出処理で検出することはできないため、符尾を消去した上で符頭ラベルを分離し、符尾候補を走査して符尾候補周辺にある検出されたラベルを辞書とマッチングすることにより行う。但し符尾消去により符頭が複数のラベルに分断されてしまうことがあるので、マッチングが失敗した場合、更に、符尾候補の走査を続けて次に検出された符頭ラベルと前記分離ラベルとの結合処理を行った後、辞書とのマッチングを再度行う。この他、ドラム譜の認識及び結合処理においては、特有なものが存在するので、これまで説明したように、夫々に特有な処理を行っている。
【００４９】
【発明の効果】
以上詳述した本発明の構成によれば、通常楽譜とは異なるドラム譜におけるドラム音符の認識を可能にし、演奏及び／又は表示可能なデータ形式に変換することができるようになる。特にドラム譜の符頭認識に当たっては、符尾を消去した上で符頭ラベルを分離し、符尾候補を走査して符尾候補周辺にある検出されたラベルを辞書とマッチングすることにより行っており、また符尾消去により符頭が複数のラベルに分断されてしまうことがあるので、マッチングが失敗した場合、更に、符尾候補の走査を続けて次に検出された符頭ラベルと前記分離ラベルとの結合処理を行った後、辞書とのマッチングを再度行うことで、ドラム音符の正確な認識が可能となる。
【図面の簡単な説明】
【図１】ドラム音符の符頭ラベル分離処理の状態を示す説明図である。
【図２】符尾消去処理により符頭が複数に分割された状態を示す説明図である。
【図３】符頭が上下に接触した状態の音符を含む楽譜例を示す説明図である。
【図４】トレモロ記号を含む楽譜例を示す説明図である。
【図５】トレモロ記号辞書用画像例を示す説明図である。
【図６】符頭と符尾の結合の場合の位置関係判定方法を示す説明図である。
【図７】ドラム譜の符頭と符尾の結合状態を示す説明図である。
【図８】符頭と符尾の結合の際にフラグのチェック状態を示す説明図である。
【図９】符頭により符尾が分断された例を示す説明図である。
【図１０】符尾を分断する符頭の音符認識処理の例を示す説明図である。
【図１１】ハイハットクローズ及び連符数字の記号をを含む楽譜例を示す説明図である。
【図１２】共有符頭に下向き符尾が連結した構成の例を示す説明図である。
【図１３】本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を外部記憶装置で読み込ませて稼動する楽譜認識装置の実施形態構成を示すブロック図である。
【図１４】ＣＰＵのメイン処理を示すフローチャートである。
【図１５】認識対象符頭を示す説明図である。
【図１６】１つの符頭種類に統合されるべき符頭が五線と交差した場合の例を示す説明図である。
【図１７】同じく１つの符頭種類に統合されるべき符頭が符尾と交差した場合の例を示す説明図である。
【図１８】上記交差の場合に認識対象となるラベルの態様を示す説明図である。
【図１９】ラベル結合処理を含むマッチング処理の詳細を示すフローチャートである。
【図２０】同じくラベル結合処理を含むマッチング処理の詳細を示すフローチャートである。
【図２１】同じくラベル結合処理を含むマッチング処理の詳細を示すフローチャートである。
【図２２】ラベル結合処理を含むマッチング処理の実際の例を示す説明図である。
【図２３】矩形マッチング処理の流れを示すフローチャートである。
【図２４】タイと接触した符頭ラベルにおけるタイ認識処理を示す説明図である。
【図２５】次段落のハイハットオープンが認識矩形に入り込んできた状態を示す説明図である。
【図２６】楽譜上の段落の説明図である。
【図２７】認識対象たる音符の黒玉・白玉の符頭、符尾及び旗を示す説明図である。
【符号の説明】
１ＣＰＵ
２ＲＯＭ
３ＲＡＭ
４ハードディスク装置
５フレキシブルディスクドライブ
６ＣＲＴ
７ＣＲＴインターフェース回路
８キーボード
９キーボードインターフェース回路
１０プリンタ
１１プリンタインターフェース回路
１２スキャナ
１３スキャナインターフェース回路
１４ＭＩＤＩインターフェース回路
１５バス[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for recognizing a score that enables reading of a drum score, among other scores, and a computer-readable recording medium that stores a program for recognizing the score.
[0002]
[Prior art]
In the case of recognizing a normal musical score mechanically, after the staff is recognized and the paragraph as shown in FIG. 26 is recognized, the staff is deleted, and various methods are used to erase the staff as shown in FIG. The notehead of a note such as a black ball b or a white ball w shown in FIG. 4B, a stem t continuing to the notehead shown in FIG. 4C, and the note shown in FIG. It recognizes the flag f and others that follow the tail.
[0003]
[Problems to be solved by the invention]
Of the note heads displayed on the drum score, notes other than black and white balls, which are the same as normal scores, are written in thin lines such as (x) and (◇), and there are various other types. I do. For this reason, thick and fine separation (refer to Japanese Patent Application Laid-Open No. 9-97060), which is normally used for musical note recognition, separates a portion forming a thin line from image data, detects a symbol forming a thin line, and detects a remaining symbol. A method of detecting thick symbols from the image of the above and recognizing symbols appearing on the score), and an ellipse detection (a method of recognizing a black ball or a white ball used for a note head of a normal note using an elliptic formula) Not detectable.
[0004]
In addition, there are other problems that cannot be solved by the conventional method, such as a tie connection to a notehead and a chord in which two or more noteheads touch in the vertical direction. Also, note that the position where noteheads are connected to stems differs depending on the score, or that noteheads are in the middle of stems and there are notes that break the stems. There is no problem.
[0005]
The present invention has been made in view of the above-mentioned problems of the prior art, and solves these problems, enables recognition of drum notes in a drum score different from a normal score, and converts the data into a data format that can be played and / or displayed. It is intended to provide a configuration that can be used.
[0006]
[Means for Solving the Problems]
Therefore, the configuration of the invention according to claim 1 of the present application is executed having notehead label separating means, scanning means, notehead symbol recognizing means, and combining means, reads an image of a musical score, and converts the music symbol. In a musical score recognition method for recognizing and converting to a musical score format that can be played and / or displayed, the suffix bits are erased by using the stem information performed by the notehead label separating means (hereafter, erasing is performed by using a bit plane of an image). And a notehead label separation step of separating notehead labels by deleting the data itself on the recognition result storage data). Around And a notehead symbol recognizing step of recognizing a drum notehead symbol by matching a separation label around the stem candidate detected by the scanning with a dictionary, which is performed by a notehead symbol recognition means. And a combining step of performing a combining process of the stem and the note head, which is performed by the combining means.
The note head of the drum score is written with thin lines such as (x) and (◇) for notes other than black ball and white ball as described above, and there are various other types as well, It cannot be detected by the thick and thin separation method and the ellipse detection method that are usually used for musical note recognition. Therefore, similarly to normal symbol recognition, recognition is performed by matching the separated and extracted label with the dictionary by the notehead symbol recognition means by the notehead label separation means. However, since there is a stem, it is not possible to separate only the note head as one label. In addition, since there are consecutive hooks and chords, it is impossible to create a dictionary including stems because the pattern becomes enormous. For this reason, in this configuration, the suffix candidates performed by the scanning means Around Using the information of the scanning suffix, the label of the notehead is once separated by the notehead label separation means, and the separated label is matched with the dictionary by the notehead symbol recognition means, in the same manner as in normal symbol recognition. Make it recognizable. At that time, the stem candidates separated from the note head Around Is scanned by the scanning means, and the drumheads are recognized by the notehead symbol recognition means by using the labels around the stem candidates as matching targets, and the matched noteheads are finally connected to the stems. It is performed by a coupling means.
[0007]
The above configuration is the same for a computer-readable recording medium storing the musical score recognition program according to claim 11. The configuration is such that an image of a musical score can be read to recognize a musical symbol and perform and / or display. A computer-readable recording medium storing a musical score recognition program for converting into a musical score format, wherein execution of the program causes the notehead label separating means, the scanning means, the notehead symbol recognizing means, and the combining means to include: A label separation function realized on the computer, which separates a notehead label using stem information, by notehead label separation means; Around And a recognition function for recognizing drum heads by recognizing note heads by matching a separation label around the stem candidate detected by the scanning with a dictionary by a note head symbol recognition means. , A program for executing a combining function of combining recognized note heads and stem candidates by the combining means.
[0008]
In the above configuration, if matching between the separation label and the dictionary fails in the notehead symbol recognition means, the suffix candidate is scanned by the scanning means. Around Continue scanning Next detected After performing the combining process between the notehead label and the separation label, matching with the dictionary may be performed again by the notehead symbol recognition means. This is because in the case shown in FIG. 1, there is no problem in recognizing the note head even if the stem is erased, but in the case shown in FIG. This is because they are separated. In such a case, the matching that is performed first fails, so that the notehead can be recognized by performing label combining and performing matching again.
[0009]
The above configuration is the same for a computer-readable recording medium that stores the musical score recognition program of claim 12, and the configuration is such that when the matching between the separation label and the dictionary is failed by the notehead symbol recognition means, the scanning is performed. Stem candidate by means Around Continue scanning Next detected After performing the combining process of the notehead label and the separation label, matching with the dictionary is performed again by the notehead symbol recognition means.
[0010]
Even when performing the label combination and the matching process again after the dictionary matching failure, Next detected The notehead label itself used in the combining process should also be matched with the dictionary by the notehead symbol recognition means, and if the matching result has a higher priority, the recognition result should be given priority.
[0011]
The above configuration is the same for a computer-readable recording medium that stores the score recognition program according to claim 13. Next detected The notehead label itself used in the combining process is also matched with the dictionary by the notehead symbol recognition means, and if the matching result has a higher priority, the recognition result is given priority.
[0012]
In the musical score recognition method according to claim 2, the notehead recognition and label combination are repeatedly performed, and during the combination, each recognition result recognized and matched by the notehead symbol recognition means is given a priority. The recognition results in descending order of degree Decision Good. During label combination, the shape may be the same as another notehead before it becomes a recognition rectangle that includes all the noteheads that should be originally recognized.If matching is performed, priority should be given to the recognition result. . If the recognition result has a low priority, the ID and the rectangle are stored, and the next label scanning is performed. If no higher priority ID is found, this is given priority. If the recognition target label formed during label combination is recognized by a different ID from the intended one, put it in the dictionary as a reject travel, and if it is recognized by this, it may be considered as a recognition failure. it can.
[0013]
The above configuration is the same for a computer-readable recording medium that stores the score recognition program according to claim 14, and the configuration is such that the notehead recognition and label combination are performed repeatedly while the notehead recognition and label combination are performed. A priority is given to each of the recognition results recognized by matching in the notehead symbol recognition means, and the recognition results are sorted in descending order of priority. Decision Will do.
[0014]
In the above configuration, label separation cannot be performed when a tie is in contact with the note head. So first By means of notehead label separation Erase the tie that touches the note head and perform label separation, By means of notehead symbol recognition, It is preferable to recognize a drum note including a note head with which the tie is in contact.
[0015]
The above configuration is the same for a computer-readable recording medium that stores the score recognition program according to claim 15. By means of notehead label separation Erase ties that touch noteheads Let After the erasure By means of notehead label separation Perform label separation with the label separation function, Notehead symbol recognition means The recognition function recognizes the notehead with which the tie is in contact.
[0016]
As shown in FIG. 3, when musical instruments other than a normal drum set are described on the same staff, there may be a chord in which (x) contacts each other. In such a case, it is difficult to set a recognition rectangle by separating each note head before matching with the dictionary. Therefore, in the configuration of claim 6, the combined note head itself in which the note heads are in contact with each other up and down Notehead symbol recognition means Register in the dictionary, By the notehead symbol recognition means, Matching between the dictionary and the combined notehead is performed to recognize the combined notehead.
[0017]
The above configuration is the same for a computer-readable recording medium that stores the musical score recognition program according to claim 16. Notehead symbol recognition means Register in the dictionary, The notehead symbol recognition means The recognition function matches the dictionary and the combined notehead to recognize the combined notehead.
[0018]
As described above, the tremolo symbol as shown in FIG. 4 can be recognized by matching the dictionary with the labels around the stem candidates. Especially in the case of drum music, there are relatively many tremolo symbols. The tremolo symbol is almost the same thickness and spacing as the hook, so if no countermeasures are taken, the flag will be counted in the same way as the hook, and it will be mistaken for a short note such as a 32nd note. I will. Therefore, in the configuration of the present application, the tremolo symbol is changed as shown in FIG. Notehead symbol recognition means Register in the dictionary, By the notehead symbol recognition means, After recognizing the tremolo symbol and deleting it, another drum note displayed including the tremolo symbol is recognized.
[0019]
The above configuration is the same for a computer-readable recording medium that stores the music score recognition program according to claim 17. Notehead symbol recognition means Register in the dictionary, By the recognition function of the notehead recognition means, Recognizes the tremolo symbol and erases the tremolo symbol And After the erasure, other drum notes displayed including the tremolo symbol are recognized.
[0020]
In the configuration of the present application, the process of combining note heads and stems is performed after the recognition of note heads as in the case of normal music score recognition. Is required. One of them is due to the positional relationship between note heads and stems. That is, in the case of a notehead other than a black ball, as shown in FIG. 2, a stem may be attached to the center of the notehead. In addition, note heads are rarely attached to both sides of the stem.
[0021]
Note recognition is performed by combining note heads and stem candidates. In the combining, first, the leading note heads are combined, and then intermediate note heads are combined.
In the case of a normal notehead (black ball, white ball), the ball may be attached to the left and right of the stem. The position of the head ball in the X direction (horizontal direction) is determined (for example, if the head is upward, the head of the head is attached only to the left of the stem). Therefore, when the head ball is combined, the positional relationship between the stem and the head in the X direction is limited to the left and right. At this time, which end of the stem is attached to the stem (upward or downward), as shown in FIG. 6, the middle point CC in the Y direction (longitudinal direction) of the stem candidate and the note head. It is determined by the positional relationship of the Y coordinate of the center CY. Whether the ball is the head ball is determined based on the distance between the end ST of the note stem candidate and the note head center CY or the relationship between the upper and lower ends of the note head ellipse, as shown in FIG.
[0022]
However, in the case of a drum head, the stem may be at the center of the head when viewed in the X direction. Therefore, even in the case of the head ball, as shown in FIGS. Left and right are not limited (both can be combined). Thereafter, in order to prevent overlapping of stems, the flag on the side with the stem is checked after combining the stems. In the case of a drum stem, as shown in FIG. Regardless of the positional relationship between the stem and the center of the note head in the X direction, a fixed direction is checked (if the stem is upward, the right side is checked). It should be noted that this check flag is stored as indicating the attribute of the data in the stored data on the notehead side in order to prevent overlapping of the noteheads when combining the notehead and the stem candidate. In this case, as a configuration of the present application, each notehead is provided with a flag that specifies the position of the notehead candidate to be combined with the candidate, depending on whether the candidate is upward or downward. In the process of combining the stems and the stem candidates, it is not possible to combine stems specified by the flag at positions other than the combining position.
[0023]
Another reason why a special combining process must be performed in the case of a drum score is that there is a note head that separates stems as shown in FIGS. 9A and 9B. In the example shown in the figure, the black ball at the beginning of the stem should be recognized as an eighth note, not a quarter note. As shown in the figure, most of the noteheads that divide stems have a pattern in which the head ball is a black ball and there is one notehead to divide. Therefore, in the present configuration, first, as shown in FIG. 10, when a drum note having a note head that divides a stem is recognized, the note head that divides a stem and the stem candidates above and below it are not targeted for a black ball. Join By means of coupling After recognizing a drum note with a reverse stem that shares the note head as shown in FIG. 2B, the note with the lower stem on the right side of the figure is deleted (the bit plane of the image is deleted as in the case of erasure). Process to delete the data on the recognition result storage data instead of deleting the data) And A combination of upper and lower stems as shown in FIG. 3 (c) is considered as a stem candidate (right side in the figure), and finally the remaining note heads (black ball) By means of coupling Let them join.
[0024]
The above configuration is the same for a computer-readable recording medium that stores the musical score recognition program of claim 18, and the configuration is such that when recognizing a drum note having a note head that divides a stem, Of coupling means By combining the noteheads that divide the stem and the upper and lower stem candidates by the combining function, a drum note that is opposite to the stem that shares the notehead is formed. After recognizing, Delete notes with lower stems, combine upper and lower stems as candidate stems, and add By means of coupling It is to be combined.
[0025]
Yet another reason for performing a special combining process in the case of drum staves is: ○ To recognize noteheads, if the hi-hat open (°) is near the stems, they are mistaken for noteheads. It is possible that To prevent this, if you do not want to combine downward stems with noteheads, check the flag on the left and no stems will be combined on this check side. The checked side is not allowed to combine stem candidates.)
[0026]
Also, the hi-hat closed (+) symbol and tuplet numbers shown in FIG. 11 are mistaken for noteheads, and when these are combined as noteheads at the beginning of stems, they are recognized as completely different notes with opposite stemhead directions. Will be done. As a countermeasure, these symbols and tuplet numbers may be registered in the dictionary as reject travel, but the stem direction of drum staves is different from that of normal music, and it can be limited to some extent. Is above the staff and the lower stem is not below the staff, that is, if the upper stem is above the fifth line and the lower stem is above the first line, the stem is Is upward [it is also effective as a countermeasure against misidentification of hi-hat open (°)]. When the lower end of the stem is below the staff and the upper end of the stem is not above the staff, that is, the lower end of the stem is If the stem is below the first line and the upper end of the stem is below the fifth line, the stem is determined to be downward, and the leading note head and the candidate for stem are determined. By means of coupling It was decided to combine.
[0027]
The above configuration is the same for a computer-readable recording medium storing the score recognition program of claim 19, wherein the upper end of the stem is above the staff and the lower end of the stem is the staff. If not below, the stem is upward, and if the lower stem is below the staff and the upper stem is not above the staff, it is determined that the stem is downward. , The leading note head and the stem candidate By means of coupling It was decided to combine.
[0028]
However, when the above-described recognition process of the note heads for dividing the stems and the combining process of these note heads are performed, if the configuration for determining the stem direction is implemented, the shared symbols shown in FIG. It is impossible to recognize a configuration in which a downward stem is connected to the head. (If the upper end of the stem is above the staff and the lower end of the stem is not below the staff, it is determined to be an upward stem. Because). Therefore, in the configuration of the present application, normalization in the direction of stems is performed after performing the above-described processing for noteheads that divide stems. That is, when recognizing a drum note including a note having a note head that separates a stem, Noteheads not targeting black balls And Stem Candidate By means of coupling For a drum note having a notehead that divides a stem, a note with a stem that is opposite to the stem that shares the notehead is recognized. And the remaining leading notehead as the stem candidate. By means of coupling At the same time, for other drum notes, if the upper stem is above the staff and the lower stem is not below the staff, the stem is upward and the lower stem is If the stem is below and the upper end of the stem is not above the staff, it is determined that the stem is downward, and the candidate stem and the remaining stems are By the coupling means Those that do not meet these conditions are restored to the original stem candidates (stem direction normalization processing), and the stem candidates and the remaining note heads are combined. By means of coupling It is to be combined.
[0029]
The above configuration is the same for a computer-readable recording medium that stores the score recognition program according to claim 20. As a configuration, when recognizing a drum note including a note having a note head that divides a stem, Noteheads not targeting black balls And Stem Candidate By means of coupling For a drum note having a notehead that divides a stem, a note with a stem that is opposite to the stem that shares the notehead is recognized. And the remaining leading notehead as the stem candidate. By means of coupling At the same time, for other drum notes, if the upper stem is above the staff and the lower stem is not below the staff, the stem is upward and the lower stem is If the stem is below and the upper end of the stem is not above the staff, it is determined that the stem is downward, and the candidate stem and the remaining stems are By the coupling means Those that do not meet these conditions are returned to the original stem candidates, and then the candidate and the remaining note heads are combined. By means of coupling It is to be combined.
[0030]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described below with reference to the accompanying drawings. FIG. 13 shows an embodiment of a musical score recognizing apparatus which operates by reading a computer-readable recording medium storing a musical score recognizing program according to the present invention into an external storage device (or a CD-ROM drive or the like) such as a flexible disk drive FDD5 described later. It is a block diagram showing a form composition. This device is obtained by adding a scanner and a MIDI interface circuit to the configuration of an electronic computer such as a personal computer. The CPU 1 is a central processing unit that controls the entire score recognition apparatus based on a program stored in the ROM 2 or the RAM 3. Further, a timer circuit for interrupting the CPU 1 at a predetermined cycle set in advance is incorporated. The RAM 3 is used as an image data buffer, a work area and the like in addition to the program area. The hard disk drive HDD4 and the flexible disk drive FDD5 store programs, image data, performance data, and the like. The CRT 6 displays video information output from the CRT interface circuit 7 under the control of the CPU 1, and information input from the keyboard 8 is taken into the CPU 1 via the keyboard interface circuit 9. The printer 10 prints print information output from the printer interface circuit 11 under the control of the CPU 1.
[0031]
The scanner 12 optically scans (printed) music, for example, and converts it into binary, grayscale or color image data. The scanner 12 may be of any type such as a flatbed type, a handy type, and a feeder type. Scanner can be used. The image information read by the scanner 12 is taken into the RAM 3 or the HDD 4 via the scanner interface circuit 13. The MIDI interface circuit 14 is a circuit for transmitting and receiving MIDI data to and from an external MIDI device such as a sound source module. The bus 15 connects each circuit in the musical score recognition apparatus and exchanges various data, programs, addresses, and the like. In addition, a pointing device such as a mouse or a serial interface circuit such as RS232C may be provided.
[0032]
FIG. 14 is a flowchart showing the main processing of the CPU 1. In step S <b> 1, the image of the musical score is taken into the RAM 3 by the scanner 12. The image is captured as binary image data. In step S2, image quality smoothing processing such as graphic fusion is performed to reduce blurring and dot noise. In step S3, image quality check processing, which will be described later, is performed in order to obtain resolution and density information and to obtain reference data for staff detection in the subsequent stage. In the music score recognition process, if the resolution and the density are out of the predetermined range, the recognition rate is reduced. Therefore, in step S3, it is checked whether or not these values are within the predetermined range. . In step S4, it is determined whether or not the result of the check in step S3 is image quality OK. If the result is not OK, the process returns to step S1 to change the resolution and density and re-acquire. In step S5, staff recognition described later is performed. In the staff recognition process, a staff scan start position detection process and a staff shift amount detection process are performed. In step S6, a paragraph recognition process is performed. This processing is roughly divided into paragraph recognition processing and bracket recognition processing. In the paragraph recognition process, staffs are detected in the entire image, a set of staffs whose left ends are almost at the same place between the staffs is checked, and it is checked whether the ends of the staffs are connected by black pixels. And recognize paragraphs. In step S7, the recognition result of the paragraph is displayed and the user checks whether or not the paragraph recognition result is correct, thereby determining whether or not the result is OK. If the result is not OK, the process proceeds to step S8. Then, the paragraph recognition result is corrected. If the staff recognition fails, the subsequent processing cannot be performed, so that it is necessary to change the resolution and density and reacquire the image. Therefore, in step S7, the recognition result of the staff is displayed first, and the user is judged whether or not the staff is correct. If so, the paragraph recognition result may be displayed and checked.
[0033]
In step S9, the user is caused to select a drum part of each paragraph. Thereafter, in step S10, the normal part recognizes a normal score, and the drum part recognizes a normal score. After the symbol recognition is completed on all pages, in steps S11 to S13, the drum part in one music is scanned twice (two loops) to estimate the drum notation for the entire music with respect to the drum parts, and Assign instruments according to the notation. This configuration does not include a correction interface for the drum notation estimation result. This is because if the recognition result is wrong, the recognized music score is corrected by correcting it. Finally, in step S14, the assigned musical instrument is converted into a playable musical score data format in which the pitch and pitch are specified.
[0034]
Hereinafter, steps S9 to S14 will be described in detail. At step S9, the user is made to set the drum part at the same time as the staff recognition and the paragraph recognition are performed and the paragraph recognition is checked or the paragraph recognition result is corrected. This is set by displaying the results of the recognized staff and paragraph, and having the staff check the drum staff. Here, a flag is set in the part information of the data for storing the paragraph recognition result as to whether or not it is a drum score.
[0035]
Based on the set flag information, the recognizing unit classifies normal music score recognition and drum score recognition, and in step S10, performs symbol recognition on the drum score. The difference between normal score recognition and drum score recognition is as follows. In drum notation recognition, recognition of a symbol that does not exist in the drum notation is skipped (however, in order to take countermeasures such as erroneous settings, erroneous recognition, and typographical errors, recognition itself is performed, and only output may be limited). In drum notation recognition, recognition of a unique symbol and a unique character string in a drum notation is added, while recognition of a character string unnecessary in a drum notation is deleted. Drum note heads other than black and white balls To the dictionary of notehead symbol recognition means described later to add. On the other hand, the threshold value corresponding to the appearance probability and appearance form of the symbol of the drum music is changed (for example, since the appearance probability of the slur is low, the speed can be increased by making the threshold value stricter at the time of recognition, etc.). Similarly, the recognition threshold value of the normal note is changed (the number of black ball chords is small, the appearance rate of white ball is small, etc. Therefore, the threshold value of the black ball is made strict, and in some cases, the white ball is not recognized. In this configuration, white balls are not recognized).
[0036]
The recognition of the drum head is performed as follows. A black ball, which is the same as a normal score, in the note head of a drum score, is subjected to a thick / fine separation process performed by erasing a staff line or the like and an ellipse detection process for recognizing a black ball portion, similarly to the normal score. However, in the case of a drum score, the chord of a black ball (when there is contact with a black ball) is small. It is also possible to detect noteheads by matching. In this configuration, as described above, recognition is not performed because the probability of white balls appearing in a drum score is low. On the other hand, note heads of drum staves other than these are drawn with thin lines such as (x, ◇), and there are various other types. Cannot be detected by the detection process. Therefore, the note head label (rectangle set for recognizing the target symbol) is separated after removing the stem by the note head label separating means, and the note candidate is determined by the scanning means. thing) Around Is scanned, and the detected label around the stem candidate is matched with the dictionary by the notehead symbol recognition means. However, noteheads may be divided into a plurality of labels by stalk elimination. Therefore, if matching between the separated label and the dictionary fails by the notehead symbol recognition means, the suffix candidate is further added by the scanning means. Around Continue scanning Next detected After performing the combining process between the notehead label and the separation label, matching with the dictionary is performed again by the notehead symbol recognition means. In addition to the above, there are unique drum score recognition and combining processes, which will be described later.
[0037]
The note head to be recognized is as shown in FIG. There are other drum note heads, but if this level is supported, general drum scores can be almost supported. It is also effective to change the type of notehead to be recognized depending on where the notehead is on the staff (pitch) [for example, notehead (R) exists only in the third interval, and in this configuration, No such recognition has been made.] For noteheads other than black balls (white balls), the recognized notehead types are left in the symbol storage data. That is, the notehead type is written in the storage area drumNote in the recognition symbol storage data.
[0038]
Hereinafter, the details of the method of recognizing the score of a drum score in the configuration of the present score recognition apparatus will be described. As a prerequisite for the recognition, a score image read by the scanner 12 is acquired in one byte and one byte, and one bit is set as a plane (bitSrc) of the original image.
[0039]
(1) Normal note detection method (other than white ball)
Normal note detection (white ball detection) excluding white ball
(1) Thick and fine separation processing
The plane (bitSrc) of the original image is copied to another two bit planes (bitTic, bitDrm) for normal notes and drum notes. A staff erase process is performed on the two copied bit planes. However, the staff is not erased in the plane (bitSrc) of the original image. The score image is scanned horizontally to eliminate short runs from one of the copied bitplanes (bitTic). Scans in the vertical direction as well, eliminating short runs. The remaining part constitutes a thick component on the score (black ball head, hook, etc.).
(2) Stem detection
The thin lines in the vertical direction are detected by using the short run bits erased in the horizontal scanning.
(3) Notehead detection
If a thick portion exists while scanning around the vertical thin line (hereinafter referred to as a stem candidate), a boundary line of the thick portion is detected, coordinates are voted at a certain interval, and an elliptic expression is calculated. If the elliptic equation is valid as a notehead, it is added to the ellipse storage data (ep).
▲ 4 ▼ Stem combination / recognition
It is determined whether or not the stem candidate and the ellipse are in a proper positional relationship as a note. If so, a combination process with the stem is performed, and then the note is added to the recognition result.
The procedure is performed as follows.
[0040]
The recognized black ball is erased from another copied bit plane (bitDrm) so as not to be subjected to drum note head recognition performed next. Since small notes have a high risk of misrecognition, it is better to take measures such as not recognizing them or not deleting them.
[0041]
(2) Basic processing of drum note recognition
(1) Separate notehead labels
As shown in FIG. 1, the left and right label bits of the stem candidates of the drum note bit plane (bitDrm) are erased with a certain width. Then the label of the drum note head can be separated from the stem. However, in some cases, as shown in FIG. 2, the notehead label may be separated into a plurality of labels. Therefore, recognition is performed while performing label combination as described later.
▲ 2 ▼ Matching
While scanning around the stem candidates, the label of the bit plane (bitDrm) is detected. The detected label rectangle is slightly widened to the left and right, and a plane (bitSrc) in this rectangle is set as a target for matching with the dictionary. The process of slightly expanding the rectangle to the left and right is a process for reducing stem noise. That is, since the distance between the detected label and the stem is short, if the rectangle is left as it is, a part of the stem may or may not enter the recognition target, and the matching with the dictionary will be greatly changed. Is expanded so that the stems are included in the recognition target. The reason why the target bit plane is set to bitSrc instead of bitDrm is to prevent the state of staff erasure from affecting matching.
Then, bitSrc in the rectangle (label) is matched with the dictionary. Any matching method may be used.
A dictionary for matching prepares a plurality of IDs for one notehead type by a combination of a notehead, a stem, and a contact state of a staff. After the matching, the ID is integrated. That is, as shown in FIGS. 16 and 17, when the notehead intersects with the staff and intersects with the stem, these are further combined to prepare a plurality of IDs for one notehead type. At this time, the recognition target label (the label that matches the dictionary) is as shown in FIG. These are matched with the dictionary as separate IDs, and finally integrated into one ID called a notehead (x). These patterns may be used as one ID from the beginning. However, if this is done, the number of registration patterns for one ID becomes enormous. Therefore, as described above, if the classification is made based on the intersection with the staff and the intersection with the suffix, the number of patterns per ID is reduced, and it is easier to organize when creating a dictionary.
It is determined whether or not matching is performed based on the size of the rectangle. For example, a rectangle whose vertical width is clearly smaller than the notehead does not need to be matched, so the process proceeds to the label combining process described later. If the width is wide, a tie may be connected to the note head, and a tie elimination process described later is performed. If this process fails and the rectangle remains large, matching is failed from the beginning, and the label combining process is reset.
▲ 3 ▼ Label binding
Matching is performed between the notehead dictionary and the label, and if no match is found (ID_MATCHINGNONE), scanning of the label is continued, the label is combined with the next detected label, and the label is recognized again (matching with the dictionary again). However, matching is performed once with the second label itself used for the combination, and if the priority of the ID of the matching result is the highest, this is prioritized. In addition, the maximum size (dxt) of label combination and the reset of label combination (to enable label combination) are performed, and the vertical distance (dyt) at which new combination is started is also set. Further, if the priority of the ID of the recognition result is the highest, the rectangle combining is terminated at that time, and a rectangle and a distance are initialized for performing a new rectangle combining (the above two resetting processes are performed. ).
In the matching, prior to the recognition rectangle including all the noteheads that should be originally recognized during the combining of the labels, the matching result may have the same shape as another notehead. If the recognition result has a low priority, the ID and the rectangle are stored, and the next label scanning is performed. If no higher priority ID is found, this is given priority.
If the recognition target label formed during label combining is recognized by an ID different from the intended one, it is entered in the dictionary as a reject travel, and if the recognition result becomes this, recognition fails. You can also. There is a special case of a matching result such as a combined notehead or a tremolo symbol representing a combination of noteheads. When these are recognized, processing corresponding to the recognition is performed as described later.
When matching with the dictionary is obtained, data is added to the note head data (ep).
▲ 4 ▼ Stem combination / recognition
As with the black ball, the combining process with the stem candidate is performed. However, special processing may be required for drum note heads. This will be described later. For the noteheads other than the black ball (white ball), the type of the recognized notehead is left in the symbol storage data. That is, the notehead type is written in the storage area drumNote in the recognition symbol storage data.
[0042]
Details of the matching process including the label combining process are shown as flowcharts in FIGS. The process shown in the figure searches for bitDrm while scanning the periphery of a vertical line of a stem candidate with a certain width dw, and if found, applies a painting function to apply a painting function to form a rectangle (rectCur: a rectangle surrounding the detected label). To detect. While judging the size of the rectangle, as shown in FIGS. 22 (a) and (b), first, matching is performed only with rectCur, and depending on the result, the rectangle is merged with the previous rectangle, and the merge rectangle (rectMrg: labels are linked together) (Rectangular).
In step S21, a default value is put into each of the coordinates of rectMrg and rectCur, and the coordinates of the rectangle are initialized, and the saved notehead ID is also initialized. In step S22, the y value at the highest point of the stem is put in yBef. In step S23, y is looped from the top to the bottom of the stem candidates. Then, in step S24, it is determined whether or not each coordinate of rectMrg is a default value. If it is the default value, the process jumps to step S29 described later. If this value is not the default value, the process proceeds to step S25. If there is some distance where there is no dot at that time, it must be reset for the next scan. Therefore, in step S25, it is determined whether or not the absolute value of the difference between the value of the point y under investigation and the value of the uppermost point of the suffix exceeds the value of dyt. If the stored notehead ID is in the initial state, it is determined in step S26 whether the saved notehead ID is in the initial state. If it is in the initial state, the process proceeds to step S28 described below. Conversely, if it is not the initial state, in step S27, notehead data is created using the saved notehead ID and the rectangle. In step S28, a default value is set to each coordinate of the rectMrg, and the stored note ID is also initialized. A series of processing from S25 to S28 is performed only when the coordinates of rectMrg are not in the initial state (see S24). After this processing, or when it is determined in S25 that the value is not exceeded, in step S29, the periphery of the vertical line of the stem candidate is scanned with a certain width dw. In step S30, it is determined whether or not the bit bitDrm exists at the coordinates (x, y). If not, the process jumps to step S48 to be described later and ends the x-direction scanning loop. In S30, if the same bit exists, a coating function is applied to this bit in Step S31 to detect a second label (rectangle) (rectCur). In step S32, it is determined whether or not the found second label rectangle is larger than the maximum size (dxt) of the label combination. If it is determined that the size is larger, tie erasure processing described later is performed in step S33. In step S34, it is determined whether or not the tie erasure process has succeeded. If the tie erasure process has failed, the process jumps to step S42, and the bottom y coordinate of the rectCur is set to yBef. If it is determined in S34 that the tie elimination process has succeeded, and if it is determined in S32 that the second label rectangle found is smaller than the dxt, in step S35, the second label rectangle is sufficient for matching. Is determined, and if it is smaller, the process jumps to step S48, which will be described later, and ends the x-direction scanning loop. If it is determined in step S35 that the size is sufficient, then in step S36, matching is performed once using only the second label (rectCur). In step S37, it is determined whether or not the priority of the ID is the maximum. If it is determined that the priority is the maximum, the process jumps to step S42, sets the lowest y coordinate of the "rectCur" to yBef, and sets the notehead data in step S46. Create If it is determined in S37 that the priority is not the maximum, it is determined in step S38 whether or not the coordinates of the combined label rectMrg match the default value. If not, the first label is determined in step S39. Is combined with the second label, and if they match, the combining process is not performed in step S40, and the shape as it is is set as a merge rectangle (rectMrg). In step S41, the lowermost y coordinate of the above-mentioned rectMrg is set to the above yBef. Next, in step S43, it is determined whether or not rectMrg is large enough for matching. If it is determined that rectMrg is not sufficient, the process jumps to step S48 to be described later and ends the x-direction scanning loop. If the size is determined to be sufficient in S43, matching with the dictionary of rectMrg is performed in step S44, and it is determined in step S45 whether or not the priority of the ID is the maximum. If it is determined that the priority is not satisfied, the process jumps to step S46 to create notehead data using the saved notehead ID and the rectangle. If the priority is not the highest, the process jumps to step S48 to perform x-direction scanning. End the loop. After the step S46, in a step S47, a process of putting a default value into each coordinate of the rectMrg (label combination end) is performed, and a stored note ID is initialized. If it is determined in S45 that the priority is not the highest, or if label combining end processing has been performed in S47, the loop of the x-direction scanning is ended in step S48. Further, in step S49, the loop of the scanning in the y direction ends. Thereafter, in step S50, it is determined whether the remaining stored note ID is in the initial state, and if it is in the initial state, the process is terminated. If it is not the initial state, note head data is created in step S51.
[0043]
FIG. 23 shows the flow of the rectangle matching process in steps S36 and S44 in FIG. In step S52, matching with the dictionary is performed, and the processing result is entered in the ID. In step S53, it is determined whether or not the matching has succeeded. If it is determined that the matching has failed (ID_MATCHINGNONE), the process ends. If it is determined in S53 that there has been no failure in matching, it is determined in step S54 whether or not the matching result is a reject travel. If it is determined that the reject travel, the process ends. If it is determined in S54 that it is not a reject travel, it is determined in step S55 whether or not the matching result is a combined notehead. If it is determined that the combined notehead is present, in step S56, the notehead ID and the rectangle are determined. Is saved. On the other hand, if it is determined in S55 that it is not a combined note head, it is determined in step S57 whether or not the matching result is a tremolo symbol. If it is determined that the matching result is a tremolo symbol, in step S58, the tremolo thick portion is determined. An erasing process is performed. On the other hand, if it is determined in step S57 that the symbol is not a tremolo symbol, the notehead ID and the rectangle are stored in step S59. After ending the processing of S56, S58 and S59, the entire processing is ended.
[0044]
(3) Thailand erasure processing
If the width of the label is wider than the notehead as described above, it is considered that a tie is connected to the notehead, and the label cannot be separated. Therefore, the tie elimination processing performed in step S32 and subsequent steps in FIG. become. As shown in FIG. 24, scanning is performed vertically from the left and right ends of the rectangle in the reverse direction, one run is found, and the x width where the run length is equal to or less than a certain threshold value dyt2 is a certain threshold. If it is equal to or greater than the value dxt2, it can be determined that this is a notehead. In this case, the run length is longer than a certain length dvt2 (the portion of the tie in contact with the notehead has a run length longer than dyt2), or the second and subsequent runs (vertical while scanning the run) Tie to the position where it comes into contact with the run that is found separately in the direction), and erase that part.
[0045]
(4) Combination notehead processing
There are few chords where noteheads touch the drum notation, and there is no problem with black balls touching each other or between black balls and other noteheads, but when instruments other than ordinary drum sets are written on the same staff As shown in FIG. 3, there are cases where chords in which (x) are in contact with each other exist. In such a case, it is difficult to set a recognition rectangle by separating each note head before matching with the dictionary. Therefore, the combined noteheads whose noteheads are in contact with each other up and down are registered in the dictionary, and when this dictionary matches the combined notehead (see step S55 in FIG. 23), the combined notehead is linked to the notehead data. Data is added by the number of note heads (see step S56 in the figure). Since such a label has a long shape in the vertical direction, the target ID of the dictionary can be changed according to the vertical width of the label, and the rate of erroneous recognition can be reduced. It is also effective to add a feature amount by size to the matching itself.
[0046]
(5) Tremolo symbol processing
According to the procedure described so far, the tremolo symbol as shown in FIG. 4 can be recognized by matching the dictionary with the labels around the stem candidates while combining them. Especially in the case of drum music, there are relatively many tremolo symbols. The tremolo symbol is almost the same thickness and spacing as the hook, so if no countermeasures are taken, the flag will be counted in the same way as the hook, and it will be mistaken for a short note such as a 32nd note. I will. Therefore, the tremolo symbol is registered in the dictionary as shown in FIG. However, in this configuration, the symbol pasting interface does not correspond to the tremolo symbol, so if matching is performed (see step S57 in FIG. 23), the thick portion is deleted (see step S58 in FIG. 23), and Take countermeasures against flag counting failure at hook detection.
[0047]
(6) Note-stem combination processing
In this configuration, after the notehead is recognized, the combining process of the notehead and the stem is performed as in the normal music score recognition process. Is required.
(1) Positional relationship between note heads and stems
One of them is that a notehead other than a black ball may have a stem at the center of the notehead as shown in FIG. In addition, note heads are rarely attached to both sides of the stem. In such a case, the first notehead of the upward stem or the downward stem is combined, and then the middle notehead is combined. In this configuration, in the case other than the black ball and the white ball, one of the left and right stem coupling flags is checked according to the positional relationship between the center of the ellipse and the x coordinate of the stem, and the leading of the stem is checked. Regarding the noteheads, it is determined that the combination is impossible based on the positional relationship in the x direction. However, in the case of a drum notehead (other than a black ball), when the first notehead is combined, it is located above the vertical center of the stem. Decide whether to check left or right depending on whether it is below or below. That is, if it is below the middle point, the right side of the note head is checked regardless of the positional relationship in the x direction. The check head for the middle note stem depends on whether the stem is upward or downward. The reason why the notehead combination flag is used is to prevent the combination of stems by disabling the combination of stem candidates on the side where the flag is checked.
(2) Noteheads that divide stems
Another reason why a unique combining process must be performed in the case of a drum score is that there is a note head that separates stems as shown in FIGS. 9A and 9B. As shown in the figure, most of the noteheads that divide stems have a pattern in which the head ball is a black ball and there is one notehead to divide. Therefore, in the present configuration, first, as shown in FIG. 10A, a notehead for dividing a stem and upper and lower stem candidates are combined without targeting a black ball. As a result, a drum note with a reverse stem that shares the note head as shown in FIG. Thereafter, a stem-coupling process is performed. However, in this case, since the stem length in the state before the connection is shortened, it is necessary to reduce the shortest threshold value of the length of the stem connected to the note head. Further, before the stem connecting process, a note whose right stem is downward in FIG. 10B is deleted, and the stem candidate is changed to a combination of upper and lower stems as shown in FIG. 10C ( (Right side of the figure). Then, when notehead-stem concatenation for black balls is performed, the stem candidates combined in the above process and black balls are connected.
▲ 3 ▼ ○ Note head and hi-hat open
Yet another reason for performing a special combining process in the case of drum staves is: ○ To recognize noteheads, if the hi-hat open (°) is near the stems, they are mistaken for noteheads. It is possible that As a countermeasure against this, in the present configuration, the left side of the 符 note head is checked in advance in the left and right stem combination flags. By doing so, the downward stem is not attached to the note head. However, as shown in FIG. 25, a recognition rectangle is set for each part in one image (indicated by a wavy line in the figure), but if a paragraph is approaching, the symbol of the next paragraph is included in the recognition rectangle. Sometimes. In consideration of the danger that the hi-hat open in the next paragraph may enter the recognition rectangle and the possibility that the hi-hat open (°) may be used for the pedal hi-hat below the first line, the circle below the first line may be used. The note head may check the right flag instead of the left flag.
▲ 4 ▼ Countermeasures against hi-hat close and tuplet numbers
Further, the hi-hat closed (+) symbol and tuplet numbers shown in FIG. 11 are mistaken for noteheads, and when these are combined as noteheads at the beginning of stems, they are recognized as completely different notes with opposite stemhead directions. Will be done. As a countermeasure, these symbols and tuplet numbers may be registered in the dictionary as reject travel, but the stem direction of drum staves is different from that of normal music, and it can be limited to some extent. Is higher than the fifth line and the lower end of the stem is higher than the first line, the upper end of the stem is also effective as a countermeasure for false recognition of hi-hat open (°), and the lower end of the lower end of the stem is below the first line. When the upper end of the stem is below the fifth line, it is determined that the stem is downward, and the first note head is combined with the candidate stem.
However, when the above-described recognition process of the note heads for dividing the stems and the combining process of these note heads are performed, if the configuration for determining the stem direction is implemented, the shared symbols shown in FIG. Recognition of a configuration in which a downward stem is connected to the head becomes impossible (if the upper end of the stem is above the fifth line and the lower end of the stem is above the first line, it is determined to be an upward stem). Therefore, in the present configuration, normalization in the direction of stems is performed after performing the above-described processing for noteheads dividing the stems. That is, at the time of recognizing a drum note including a note having a note head that divides a stem, the leading note head of these drum notes and a stem candidate are combined, and a drum note having a note head that divides a stem is performed. After recognizing a drum note with a stem opposite to the stem that shares the note head, deletes a note with a lower stem, and combines the upper and lower stems as a candidate for the stem to form a remaining first note head. And for other drum notes, if the upper stem is above the fifth line and the lower stem is above the first line, the stem is upward, the lower stem is below the first line and If the upper end of the stem is below the fifth line, the stem is determined to be downward, and the candidate is combined with the remaining noteheads. Those that do not meet these conditions are added to the original candidate. After returning (stem direction normalization process), the stem candidates are combined with the remaining note heads. .
(5) Reduction of false recognition by ratio of thick part on stem
Even in normal scores, when the proportion of thick portions on stem candidates is high, it is regarded as a misidentification of stems and excluded from note head combining. In the case of a drum score, since the number of chords of a black ball is small, the threshold value can be reduced, and the probability of erroneous recognition can be reduced. In particular, in the case of drum staves, notehead labels are divided and matched, so the labels around the vertical lines detected on symbols that are not actually notes are matched while dividing and joining the labels. May be mistaken as Therefore, the above processing becomes effective. However, care must be taken when processing noteheads for dividing stems, since short stem candidates exist. In order to solve this, once the note whose right stem in FIG. 10B is downward is deleted, and the stem candidate is changed to a combination of upper and lower stems as shown in FIG. 10C. (Right side in the figure), and after performing notehead-stem concatenation for black balls, the ratio of the thick part on the stem is detected, and if it is higher than the threshold value, the note may be deleted. .
Furthermore, in the case of misidentification of notes, considering that the possibility of misinterpretation even to a chain hook is low and that the ratio of the thick part of the note where the chain hook exists is relatively high, It is also effective to perform a ratio-based check, or to make the threshold for the ratio check of a thick part without a continuous hook stricter than that with a continuous hook.
[0048]
In the above-described configuration of the present embodiment, the drum score is the same as the normal score by performing the thick / fine separation process performed by erasing the staff lines and the like and the ellipse detection process for recognizing the black ball portion, similarly to the normal score. The black ball is detected. In addition, note heads of drum staves other than the black ball and the white ball whose appearance probability is low (no recognition is performed) are drawn with thin lines such as (x, ◇), and there are various types other than these. However, these cannot be detected by the thick and thin separation processing and the ellipse detection processing as in the case of black ball detection. This is performed by matching the detected label around the candidate with the dictionary. However, noteheads may be split into a plurality of labels due to stem erasure, so if matching fails, scanning of stem candidates is further continued, and the next detected notehead label and the separated label are added. Is performed, the matching with the dictionary is performed again. In addition, since there is a unique process in the recognition and combining process of the drum music, as described above, a unique process is performed for each process.
[0049]
【The invention's effect】
According to the configuration of the present invention described in detail above, it is possible to recognize a drum note in a drum score different from a normal score, and to convert the data into a playable and / or displayable data format. In particular, note recognition of drum staves is performed by deleting note stems, separating note head labels, scanning the stem candidates, and matching the detected labels around the stem candidates with the dictionary. Also, noteheads may be broken into a plurality of labels by stem erasure, so if matching fails, further scanning of stem candidates is continued and the next detected notehead label is separated from the label. After performing the combining process with the label, the matching with the dictionary is performed again, so that the drum notes can be accurately recognized.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a state of a note head label separation process of a drum note.
FIG. 2 is an explanatory diagram showing a state in which a note head is divided into a plurality of parts by a stem erasing process;
FIG. 3 is an explanatory diagram showing an example of a musical score including a note in which a note head touches up and down.
FIG. 4 is an explanatory diagram showing an example of a musical score including a tremolo symbol.
FIG. 5 is an explanatory diagram showing an example of a tremolo symbol dictionary image.
FIG. 6 is an explanatory diagram showing a positional relationship determination method in the case of combining note heads and stems.
FIG. 7 is an explanatory diagram showing a combined state of note heads and stems of a drum staff.
FIG. 8 is an explanatory diagram showing a check state of a flag when a note head and a stem are combined.
FIG. 9 is an explanatory diagram showing an example in which stems are separated by note heads.
FIG. 10 is an explanatory diagram showing an example of a note recognition process for noteheads dividing a stem;
FIG. 11 is an explanatory diagram showing an example of a musical score including a hi-hat close and a tuplet numeral symbol.
FIG. 12 is an explanatory diagram showing an example of a configuration in which a downward stem is connected to a common note head.
FIG. 13 is a block diagram showing the configuration of an embodiment of a music score recognition apparatus that operates by reading a computer-readable recording medium storing a music score recognition program according to the present invention into an external storage device.
FIG. 14 is a flowchart illustrating main processing of a CPU.
FIG. 15 is an explanatory diagram showing a note head to be recognized.
FIG. 16 is an explanatory diagram showing an example in which noteheads to be integrated into one notehead type intersect a staff.
FIG. 17 is an explanatory diagram showing an example in which a notehead to be integrated into one notehead type intersects a stem;
FIG. 18 is an explanatory diagram showing a form of a label to be recognized in the case of the intersection.
FIG. 19 is a flowchart illustrating details of a matching process including a label combining process.
FIG. 20 is a flowchart showing details of a matching process including a label combining process.
FIG. 21 is a flowchart showing details of a matching process including a label combining process.
FIG. 22 is an explanatory diagram illustrating an actual example of a matching process including a label combining process.
FIG. 23 is a flowchart illustrating the flow of a rectangle matching process.
FIG. 24 is an explanatory diagram showing a tie recognition process for a note head label that has come into contact with a tie.
FIG. 25 is an explanatory diagram showing a state where the hi-hat open of the next paragraph has entered the recognition rectangle.
FIG. 26 is an explanatory diagram of a paragraph on a musical score.
FIG. 27 is an explanatory diagram showing note heads, stems, and flags of black and white balls of notes to be recognized.
[Explanation of symbols]
1 CPU
2 ROM
3 RAM
4 Hard disk drive
5 Flexible disk drive
6 CRT
7 CRT interface circuit
8 Keyboard
9 Keyboard interface circuit
10 Printer
11 Printer interface circuit
12 Scanner
13 Scanner interface circuit
14 MIDI interface circuit
15 Bus

Claims

A musical notation format implemented with notehead label separating means, scanning means, notehead symbol recognizing means, and combining means, capable of reading an image of a musical score, recognizing the musical symbol, playing and / or displaying. In the music score recognition method of converting to a notehead label separation step, a notehead label separation step of separating notehead labels using stalk information, and scanning around a notehead candidate performed by the scanning means. A scanning step performed by the notehead symbol recognition means, a notehead symbol recognition step of matching a separation label around the stem candidate detected by the scanning with a dictionary, and recognizing a drum notehead symbol, A music score recognizing method, comprising: performing a combining step of performing a combining process between a stem and a note head, which is performed by a combining unit.

In music recognition method of claim 1, wherein, if it fails to match the separation label and dictionary note head symbol recognition means, continue to scan around stems candidate by scanning means, notehead label and the next detected The music score recognition method according to claim 1, wherein after performing the combining process with the separation label, matching with the dictionary is performed again by the notehead symbol recognition means.

3. The musical score recognition method according to claim 2, wherein the notehead label itself detected next and used for the combining process is also matched with the dictionary by the notehead symbol recognition means, and if the matching result has a higher priority, 3. The score recognition method according to claim 2, wherein the recognition result is prioritized.

3. The musical score recognition method according to claim 2, wherein the notehead recognition and label combination are repeatedly performed, and during the combination, a priority is given to each of the recognition results recognized and matched by the notehead symbol recognition means. 3. The score recognition method according to claim 2, wherein the recognition results are determined in descending order of degree.

5. The score recognition method according to claim 1, wherein the tie contacting the notehead is erased by the notehead label separating means to perform label separation, and the notehead with which the tie is contacted is detected by the notehead symbol recognition means. The music score recognition method according to claim 1, wherein a drum note including the following is recognized.

6. The musical score recognition method according to claim 1, wherein the combined noteheads whose noteheads touch each other up and down are registered in a dictionary of notehead symbol recognition means, and said dictionary and said notehead are recognized by said notehead symbol recognition means. 6. The score recognition method according to claim 1, wherein matching with the combined notehead is performed to recognize the combined notehead.

7. The musical score recognition method according to claim 1, wherein the tremolo symbol is registered in a dictionary of notehead symbol recognition means, and the tremolo symbol is recognized by the notehead symbol recognition means and erased. 7. The musical score recognition method according to claim 1, wherein another drum note displayed including the tremolo symbol is recognized.

8. The musical score recognition method according to claim 1, wherein at the time of recognizing a drum note having a note head that divides a stem, a combination of the note head that divides the stem and candidates for upper and lower stems is performed by a coupling unit. After recognizing a drum note with a stem opposite to the stem that shares the note head, delete the note with the downward stem, combine the upper and lower stems as a stem candidate, and combine them with the remaining note heads. 8. The score recognizing method according to claim 1, wherein the scores are combined by means.

8. The score recognizing method according to claim 1, wherein when the upper end of the stem is above the staff and the lower end of the stem is not below the staff, the stem is directed upward and the lower end of the stem is inserted. If the stem is below the line and the upper end of the stem is not above the staff, the stem is determined to be downward, and the leading note head and the candidate stem are combined by the combining means. The musical score recognition method according to any one of claims 1 to 7, wherein

9. The music score recognition method according to claim 8, wherein at the time of recognizing a drum note including a note having a note head that separates a stem, a combining process of a note head and a stem candidate not targeting a black ball is performed by a combining unit. For a drum note having a notehead that divides a tail, after recognizing a drum note with an opposite stem that shares the notehead, a note with a lower stem is deleted and the upper and lower stems are combined. Are combined with the rest of the first noteheads by combining means as stem candidates, and for other drum notes, the upper stem ends above the staff and the lower stem below the staff. Otherwise, the stem is upward, the stem lower end is below the staff, and the stem upper end is not above the staff. And the rest of the noteheads are joined by joining means and do not meet these conditions After returning to the original stem candidate music recognition method of claim 8, wherein the be coupled by the coupling means and said code tail candidates and the remaining marks head.

A computer-readable recording medium storing a music score recognition program for reading an image of a music score, recognizing the music symbol thereof, and converting the music symbol into a music format that can be played and / or displayed. A separating unit, a scanning unit, a notehead symbol recognizing unit, and a combining unit, which are realized on the computer, and a label separating function for separating the notehead label using the suffix information by the notehead label separating unit; A scanning function for scanning around the stem candidate by the scanning means, and a note label recognition means for matching the separation label around the stem candidate detected by the scanning with the dictionary to recognize the note head. A music score recognition program for executing a recognition function of recognizing a drum notehead and a combining function of combining a recognized notehead and a stem candidate by a combining means are recorded. Computer readable recording medium.

12. A computer-readable recording medium on which the score recognition program according to claim 11 is recorded, wherein when the matching between the separation label and the dictionary is failed by the notehead symbol recognition means, scanning around the stem candidate is continued by the scanning means. 12. The music score recognition program according to claim 11, wherein after performing the combining process of the next detected notehead label and the separation label, matching with the dictionary is performed again by the notehead symbol recognition means. Computer readable recording medium.

13. The computer-readable recording medium storing the musical score recognition program according to claim 12, wherein the notehead label itself detected and used for the combining process is also matched with the dictionary by the notehead symbol recognition means, and the matching result is obtained. 13. The computer-readable recording medium according to claim 12, wherein when the priority is higher, the recognition result is prioritized.

13. A computer-readable recording medium on which the musical score recognition program according to claim 12 is recorded, wherein, while the notehead recognition and label combination are repeatedly performed, the respective recognition results recognized and matched during the notehead recognition. 13. A computer-readable recording medium storing a musical score recognition program according to claim 12, wherein a priority is given to a notehead symbol recognition means, and the recognition result is determined in descending order of priority.

15. A computer readable recording medium storing the musical score recognition program according to claim 11, wherein the tie contacting the notehead is erased by the notehead label separating means, and the label separation function is performed by the notehead label separating means after the erasure. 15. The computer-readable recording medium according to claim 11, wherein label separation is performed by using the note-head symbol recognition means, and the note head that the tie is in contact with is recognized by the recognition function of the note-head symbol recognition means. Possible recording medium.

16. A computer readable recording medium storing the musical score recognition program according to claim 11, wherein the combined note heads whose note heads are in contact with each other up and down are registered in a dictionary of notehead symbol recognition means. 16. A computer readable recording medium for storing a music score recognition program according to claim 11, wherein the recognition function of the symbol recognition means matches the dictionary with the combined notehead to recognize the combined notehead. recoding media.

17. A computer-readable recording medium storing the musical score recognition program according to claim 11, wherein the tremolo symbol is registered in a dictionary of the notehead symbol recognition means, and the tremolo symbol is recognized by the recognition function of the notehead symbol recognition means. 17. The score recognition program according to claim 11, further comprising: recognizing a symbol, deleting the tremolo symbol, and recognizing another drum note displayed including the tremolo symbol after erasure. Computer readable recording medium.

18. A computer-readable recording medium on which a musical score recognition program according to claim 11 is recorded, wherein at the time of recognizing a drum note having a note head for dividing a stem, a note head for dividing a stem by a combining function of said combining means. After recognizing a drum note that is opposite to the stem that shares the notehead by combining the upper and lower stem candidates and deleting the note with the lower stem, and combining the upper and lower stems. 18. A computer-readable recording medium storing a musical score recognition program according to claim 11, wherein a note-stem is used as a note-stem candidate, and the remaining note-heads are combined by combining means.

18. A computer-readable recording medium storing the musical score recognition program according to claim 11, wherein the upper end of the stem is above the staff and the lower end of the stem is not below the staff. If the tail is upward, the lower stem is below the staff and the upper stem is not above the staff, it is determined that the stem is downward, and the leading notehead and the candidate stem are 18. A computer-readable recording medium storing a musical score recognition program according to claim 11, wherein the musical score recognition program is combined by combining means.

19. A computer-readable recording medium storing the score recognition program according to claim 18, wherein at the time of recognizing a drum note including a note having a note head that divides a stem, a note head and a note candidate that do not target a black ball are recognized. The combining process is performed by the combining means, and for a drum note having a note head that divides a stem, a drum note having a stem that is downward is deleted after recognizing a drum note that is opposite to the stem that shares the note head. The combination of the upper and lower stems is combined as a stem candidate with the remaining leading noteheads by combining means, and for other drum notes, the stem upper end is above the staff and the stem is If the lower end does not lie below the staff, the stem is upward; if the lower stalk extends below the staff and the upper stalk does not extend above the staff, the stem changes downward. And the note candidates and the remaining note heads 19. The method according to claim 18, further comprising: combining by means of combining means, restoring those which do not meet these conditions to the original note candidates, and then combining the note candidates with the remaining noteheads by means of combining means. A computer-readable recording medium storing a musical score recognition program.