JPS5957386A - 楽譜の認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 この発明は楽譜の認識方式に関し、生１°に認識対象に
応じて１次元マツチングと、統計的マツチング及び構造
的マツチングの２次元マツチングとを使い分けるように
し、た楽譜の認識力５（：に関する。

−ｔ７７ｃわち、楽譜のルコード力の濃助データを光学
的に＝ａ取り、横軸方向の濃度分布を求めた後に縦軸方
向の濃度分布に変押し、縦軸方向の濃度分布の最大値に
対する所定率をスレッショルドとして定め、このス１．
−ツショルドで枝軸方向の濃度分布をカットすることに
より楽譜の五線の濃度影響を除去すると共に、五線の幅
の所定率によりカットされた横軸方向の濃助分布からピ
ーク位置を検出し、ピーク位置のｍ１積とピークも７置
の左右所定幅の面積との比率から黒丸の音符（四分音符
。

四分音符等）及び小ｆｆｉ’ｉ　酬を識別するようにし
、楽譜記号ｉ、Ｉ）、Ｕ、ρ等）の認識は、対象ｉ（）
号に対して１１′及び１−１′のデータで成る辞書ｆ′
と、′１″及びゝ（）′のデータで成る辞書ｆとを用意
しておき、Ｂ１２１ａ対象領域からマツチングの対象記
号を１１“及び％□Ｊのデータｇで抽出すると共に、ｆ
Ｘｇ＝ｂ又けｆ’Ｘｇ＝ｃを求め、認識対象領域の′１
″領域を１とした場合、Ｓｆｇ＝ｂ／ｌ又はＳｆｇ＝ｃ
／ｌ　　なろ式で類（ｆｕ度を求め、白丸の音符（全斤
符、二分音符）の３斜：Ｐは閉領域の探査をして、ルー
プの数、ループの面’Ｍ　、　／ｌ／　−プの周囲長、
ループの高さ及び長さ、ループの中心位置等のパラメー
タを求めることにより行なうようにしたものである。

この発明では、先ず第１図体）に示すように楽譜１のル
コード分の＋１１データを光学的にスキャナ等で読取り
、同図（Ｂ）に示すように横軸方向Ｘの濃度分布的＋ｉ
ｌ（ヒストグラム）２を求める。この場合、第１図（Ａ
）に示すような音符のある場所Ｎ１、　Ｎ２では、音符
の打栓の濃度データがその軸に沿って累積されることに
Ａ「ろので、同図（Ｈ）に示す如（濃度データのピーク
値Ｐｉ　、　Ｐ２　、　Ｐ３として出力されろことにな
る。

次に、このようにして求めら」ｉた横軸方向Ｘの濃度分
布曲線２を、第１図（Ｃ）　Ｉｃ示すように縦骨方向Ｙ
の濃度分布曲線（ヒストグラム）３に変換する。ｊｆｆ
わち、第１図（Ｂ）の濃）Ｗ分布曲線２の値をそれぞれ
横軸方向に累積し、その累積動作を１１Ｍ次上方（又は
下方）に移動して行（ことにより、同図（Ｃ）　＋Ｃ示
すようにＸ分布に対する緑１１１１方向Ｙの濃度分布曲
線３が得られる。そし、て、その縦４１ｉブｊ向Ｙ＋＋
ｎ＃度分布曲線３の最大値Ｘｍａｘのだと火は８０チを
スレッショルドＸＯとし、このスレッショルドＸＯを用
いて第１図（Ｂ）の濃度分布曲線２のスレッショルドＸ
Ｏに対応する量ＹＯを同図（１））に示すようにカット
するようにすれば、五線の濃度データ分が除去された音
符（休符を含む）や小節線等の音楽情報のみの濃度分布
曲線４か同図（１す）のように求められる。これは、楽
譜１の濃度分布を第１図（Ａ）　、　（Ｂ）のようにし
て縦方向の累積値で求めた場合、五線はｎに楽譜１の走
査範囲にあり、その五線の濃度データか常に累積されて
楽譜１の旋層分布として表わ第１ろことを考慮したもの
であり、その五線のｆＡ度データ分だけを全体から除去
−することにより、五線」−に肥１１ツされている音符
や小節線等の音楽情報のみの副度データを抽出するよう
にしだもσ）である。

以上のようにして求められた楽譜上の濃度データを、五
線の幅ｃ＋　＋　フ、−とえげ８０係の高さＸｌ　　で
その大小を比較することにより、第２図に示すように横
軸方向Ｘの濃ｉ２．Ｈｇ右曲ｆｉ’Ｎ　４のピークＰＣ
ｓ及びＰＯ２を求める。そして、このピークＰＣＩ及び
ＰＯ２の中心から左右に対して所定幅Ｄ１　の範囲内に
ある分布曲線の面積Ｓ２　を第３図（Ａ）　、　（Ｂ）
のようにしてそれぞれ求める。さらに、範囲１月　から
それぞれ左右外側に距離ｄだけ離れた位置から、距離Ｄ
２の範囲内にある分布曲線の面ＩＲｓｔ　汲びＳ３をそ
れぞれ求める。こｆ）ようにして、ピークＪ’Ｃｔ　。

ＰＯ２に対する濃度分布曲線の中央部１〕１　の面ＪＪ
Ｓ２と、中心から所定距離（ｄ＋Ｈ１）ｌ）の範囲Ｄ２
　にある濃度分布曲線の面積３１．８３とを求める。そ
して、面積Ｓ２　と面積（Ｓｌ＋８ａ）との大小を比較
し、 ８１＋８３＞８２の２０％　　　　　・・・・・・・・
・・・・（１）の場合には当該ピーク位置に音符がある
と認識し、８１−１−ｓ３≦８２の２０％　　　　・・
・・・・・・・・・・（２）の場合には当該ピーク位置
が小節線であると認識する。これは小節線の近傍には符
頭他の音楽情報が存在することがなく、音符σ）近傍に
は符尾や打点等の音楽情報が存在することに基づくもθ
）である。なお、第３図（５）は８１＝８ａ＝０　で上
記（２）式を満足するので小節線の場合を示し、同図（
Ｂ）は上記（１）式を満足するので音符があると認識さ
れろ。

次に、援、１７等の楽譜記号の認識を統計的マツチング
によれ２次元マツチングを利用して行なうが、この発明
では第４図に示すような五線等を消去した画像エリア１
０からマツチングを行ｌ、「うための対象物（この例で
はＰ）を切出すための切出し範囲１２を定め、９＋１：
ｌｊＬ範囲１２で定められた切出し画像をマツチングを
行なうエリア１３１Ｃ移動する。

なお、このマツチングエリア１３は切出し画像よりも少
し太き（なっている。そして、別に予め用意す しておいたマツチング用の辞書を、マツチングエリア１
３内で動かして両者のマツチングを行なうようにしてい
る。

ここにおいて、第５回込）に示す画像（神）を、辞書に
登録されている同図−）に示すような記号（嫡）とマツ
チングを行なう場合、その形状の異なる部分はＰ及びＱ
において顕著である。そして、画像に関しては第６図い
）に示すように画像部分を′１′とし、その他の領域を
１０′とすると共に１辞書には第６図（Ｂ）に示すよう
な画像部分を′１　Ｎとして周囲を全て′０″とするデ
ータと、同図（Ｃ）に示すように画像部分を１１′′と
して周囲を全て′−Ｉ′とするデータとを用意しておき
、第５図（Ａ）のＰ部分と同図（Ｂ）のＱ部分とを論理
演算により比較するようにしている。すなわち、第６図
（Ａ）に示すＰｌ、　Ｐ２　　と同図（１３）に示寸Ｑ
１．（之３及び同図（Ｃ）に示すＱ２　、　Ｑ４との画
素データ毎の一８！積を求め、後述する類似度からその
積値を減ｉｆるようにして類似程度を判断するようにし
ている。つまり、第６図（Ａ）と（均との場合には、Ｐ
Ｉ　ＸＱＩ　−１−ｉ’２　ｘＱ３＝Ｑであるから類似
度に影響はない。これに対して、第６図（Ａ）と（Ｃ）
との場合には、ＰＩ　ＸＱ２　＋ｉ’ｚ　ｘＱ）　ニー
６であるから類似度から「６」を減算し、その減算値を
類似度とする。したがって、前者の場合には画像が辞書
より太き（ても類（υ度には変化がなく、形状の違いが
評価されない。こハに対し、後者の場合には画像が太き
（・とその分だけ類似度から形状の差異に基づく値が減
算されるので、辞■：との違いが強調されて評価される
ことになく）。

ここで、第６図い）の画像なｇとし、第６図（Ｂｌに示
すようなゝ１＃及び１０′のデータの記憶で成る辞書な
ｆとし、同図（Ｃ１に示すようなＶ″１＃及び′−１”
のデータで成る辞１をｆ′とした場合、ｆＸｇによる髪
のマツチング方式では、井と杖で高い類似度を得、計と
蛸では形状の差が現われる。

これにより＃と１の区別ができろ。これに対し７、ｆ’
Ｘｇのマツチング方式では、イと拝において画像ｇのず
れに敏感とｔ「リ　類似度は低り、畦とｈの類イ１壇と
同じになり、坪とｉの区別がしにくい。

また、１のマツチングにおいて、ｆＸｇのマツチング方
式ではｈと杵でｈは叫に重なってしまい、類似度が高く
ム一つ、−と情の類似度と同じになり、井と旬の区別が
できない。これに対して、ｆ’ｘｇのマツチング方式に
おいては、−と叶で形状の違いが強調さハて類似度が小
さくなるので、井と情の１７別ができるのでｋ）る。

この発明（、ま、このような観点から記号を新言１的な
２次元マツチングで認識しており、辞書に′Ｉ′及び′
０“のデータと、′１′及び′−１′のデータとを名記
号毎に予め２棟類用意しておぎ、画像データと辞紺の各
データとを比較することにより、片と町との誤判断がな
いような記号の認識が可能となる。

次に、この発明による類似度の割算方法を説明する。第
７図に示すように対象画像ｇの黒の部分を′１＃とじ、
白の部分を′０＃とじ、黒（′１つの総計を１とすると
、記号せについてはｆＸｇ＝ｂ　　　　　　　　・・・
・・・・・・・・・（３）の辞書を用い、類（ＬＪ度８
ｆｇを Ｓｆｇ　＝　ｂ　／　ｌ　Ｘ　１００［チ］　　・・・
・・・・・・・・・（４）で求める。そして、記号技以
外の記号、たとえばし、−等の楽譜記号に関ｌ、ては ｆ’Ｘｇ＝ｃ　　　　　　　　　・・・・・・・・・・
・・　（５）を用い、その類似度８ｆｇを Ｓｆｇ＝ｃ／ｌＸ１００　［％］　　　・・・・・・・
・・・・・　（６）なる計算で求めるようにしている。

なお、上肖己画像と辞書とのマツチングは構成画素毎に
行なうようにしているので、結局上記（３）及び（５）
式は画素データをＧ（ｉ、ｊ）及びＦ（ｉ、ｊ）、Ｆ’
（ｉ。

ｊ）とすると、次の式のようになる。

ｆｘｇ＝Ｊ２’）’（ｉ、ｊ）−（ｊ（ｉ、ｊ）　　　
”−（７）ＩＪ ｆ’Ｘｇ＝Σ↓’Ｆ’（ｉ　＊　ｊ　）・Ｇ（ｉ、ｊ）
　　・・・・・・　（８）ｊ 一方、２分音符等の白丸音符の認識は次のように行なう
。すなわち上述したピークの検出より当該データに打栓
があるか否かを判断すると共に、黒丸符頭のない場合に
は２分音符の可能性があるので、第８図ｆＡ１　Ｋ示す
ように製置分布測定用の切出し範囲１２Ａを設定し、こ
の切出し範囲１２Ａ内の縦方向の濃度分布を同図（Ｈ）
Ｋ示すように求める。

そして、白丸符頭の部分では濃度分布が凹凸となるので
、この位Ｗ１４を白丸符頭がありそうな位置と判断する
。このようにして、白丸符頭のありそうな位置１４が判
断されると、第９図に示すように白丸符頭エリアの任意
の位置に閉領域を探すための探査画素を設定し、この探
査画素をａから下方向のｂに移動し、白丸符頭の形状ラ
インに接触する寸前位置を閉領域のボーダーラインとし
て判断し、このｂ位置からラインに沿って探査画素を移
動すると、符頭の形状ラインに沿ってループが形成され
、遂には始点すに達するので、このｂ位置からＣ位置ま
でをループの周囲長として測定する。

また、第９図に示す音符の例は五線の間に白丸符頭があ
る場合の例であり、この場合には第１０図（５）に示す
ように探査画素のループが１つであるが、白丸符頭が五
線上にある場合には同図（均に示すようにループが２つ
となる。さらに、第ｔｏ　Ｉ’Ｘｌ　（Ｃ１に示すよう
に五線の間に２つのループが形成さＪｌろ場合もあり、
この＋Ｃ＋の例と（均の１４別は、各ループの周囲の長
さを比較することによりその違いが判断される。また、
ループの周囲長よりループの面積が求められ、探査画素
の移動によりループのｉｌ’Ｖ１さく縦方向）及び長さ
く横方向）も求められ、ループの中心位置も求め得るの
で、これら求められたパラメータより第８図（Ａ）に示
す切出し範囲１２Ａ内の音符の種類、形状等を認＃＆す
ることかり能である。

以上のようにこの発明の楽譜の認識方式によれば、対象
に応じて１次元マツチングと２次元マツチング（統計的
マツチング、構造的マツチング）とな使い分けており、
１次元マツチングは情報量の多いもの（音符）に回いて
おり、処理スピードモ早い。これに対し、２次元マツチ
ングは情報量の少ないもの（記号、白丸音符）でも梢匪
良く処理できろ。このように、楽譜データのほぼ６０％
を占める音符を１次元マツチングで、種類の多い記号及
び数の少ない白丸音符を２次元マツチングで認識するよ
うにしているので、音符と記号等を確集に認識すること
が可能となる。

【図面の簡単な説明】

第１図（Ａ１−（ト））はこの発明による１次元マツチ
ングを説明するためのＮ１、第２図及び第３図（Ａ）　
、　（１３）はそれぞれこの発明による音符の認識を説
明するための図、第４図はこの発明による画像エリアか
らマツチングエリアを切出す様子を説明するための図、
第５園内及び（Ｉ３）はこの発明における背、トの認識
の様子を説明づ゛るための図、第６図（Ａ）〜＜Ｃ＞は
画像データと辞書データとを説明するための図、第７図
はこの発明による辞書データの１１Ｎ。 １０“の振分けを示す図、第８図（Ａ）　、　（Ｈ）〜
第１０図（Ａ）　、　（Ｂ）　、　（Ｃ）はこの発明に
よる白丸音符Ｑ）認ｌ渣の様子を説明するための邸１で
ある。 １・・・楽譜１，２〜４・・・濃１＃分布曲侍、１０・
・・画像エリア、１２　、１２Ａ・・・切出し範囲、１
；３・・・マツチングエリア、Ｉ’Ｊ１．Ｎ２・・・音
符。 ｌｔｉ種人代理人　　　安　　形　　１．１ト　　　ヨ
午　４　図 弗　６　因 茅　６　図 第　１０　　図 第９図　　（Ａ）］

Claims (1)

【特許請求の範囲】
1. 楽肪のルコード分の濃度データを光学的に続取り、横軸
   方向の濃度分布を求めた後に縦軸方向の濃度分布に変換
   し、前記縦軸方向の濃度分布の最大値に対する７ツ［定
   率で前記横軸方向の濃度分布をカットすることにより前
   記楽譜の五線の濃度影響を除去すると共に、前記五唐の
   幅の所定率により前記カットさ士また横軸方向の濃度分
   布からピーク位置を検出し、前記ピーク位置の面積と前
   記ピーク位置の左右所定幅の面積との比率から黒丸の音
   符及び小節線を職別し、楽譜記号の認識は、対象記号等
   に対して１１＃及び％　　１＃のデータで成る辞書ｆ′
   ン、１１“かび“０＃のデータで成る辞書ｆとを用意ｌ
   −て“ｋき　認識対象領域からマツチングの対象記号を
   ９１″及び′０“のデータｇで抽出すると共に、ｆＸｇ
   ＝ｂ又はｆ’Ｘｇ＝ｃを求め、前記認識対象領域の％　
   １　＃領域を１と几５た場合、８＃ｇ＝ｂ／１又はＳｆ
   ｇ＝ｃ／１なろ式で類似度を求め、白丸の音符の認識は
   閉領域の探査をして認識するようにしたことを特徴とす
   る楽譜の認識方式。