JPH01304497A - 楽譜認識方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の技術分野］ この発明は記録シートに記録された楽譜のイメージを読
み取って楽譜を自動的に認識する楽譜認識方法及び装置
に関し、特に楽譜の自動認識における音符の棒の認識技
術に関する。

Ｃ従来技術］ 印刷された楽譜を自動的に認識する楽譜認識技術は既知
である。これらの楽譜認識装置では楽譜の要素（音符そ
の他の記号）を認識するために、楽譜の画像データを記
憶する画像メモリに対し、広範囲で莫大な回数のアクセ
スを試みる。このため、処Ｊ！！！量が非常に多くなり
、装置の規模も大がかりになるという問題があった。

［発明の目的〕 この発明は楽譜に含まれる音符の棒（符幹）を少ないデ
ータ処理量で認識することのできる楽譜認識方法及び装
置を提供することを目的とする。

［発明の構成１作用］ 上記の目的を達成するため、この発明による楽譜認識方
法は、読み取られた楽譜のイメージから、音符のイメー
ジを抽出する工程と、抽出されたｔ）符のイメージを７
７符の棒の方向とほぼ平行な方向に走査して音符のイメ
ージの射影プロフィールを生成する工程と、生成された
射影プロフィールから、ｆ″？符の棒が存在しそうな範
囲を限定する工程と、この限定された範囲における音符
のイメージを分析して音符の棒の存在範囲を確定する［
、程とを有することを特徴とする。

ここに、音符のイメージ（音符候補のイメージ）は、そ
のサイズが楽譜のイメージのサイズに比へ十分小さいの
で、射影プロフィールを生成するのに要するデータ処理
量は格段に低減される。

さらに、範囲を限定する工程により、得られる音符の棒
の存在しそうな範囲（棒存在可濠領域）はｒｆ符のイメ
ージのご°〈一部であるので、棒の存Ｍ＝範囲を確定す
るのに要するデータ処理量も非常に少なくて足りる。し
たがって、音符の棒の認識をするための全体のデータ処
理量は少なくなり、高速で認識が町山となる。

ｙらにに記の楽譜認識方法を実施するこの発明の楽譜認
識装置にあっては、装置の規模（プログラムメモリの容
量、データメモリの容量、プロセッサの処理能力など）
を小さくすることができる。

［実施例］ 以下図面を参照してこの発明の詳細な説明する。

く全体構成〉 第１図に本実施例に係る楽譜認識装この全体構成を示す
０図中、ｌは楽譜（図示せず）が印刷された楽譜シート
であり、このシー）１１の楽譜のイメージはイメージ入
力装置により読み取られる。イメージ人力装置としては
、密着型のイメージスキャナー、あるいはテレビカメラ
（例ＣＣＤカメラ）等が使用できる。イメージ入力装置
ｌにより読み取られたイメージデータは２値化され、イ
メージ記憶装置３に記憶される。記憶されたイメージは
楽譜解読装置４により解読され、その解読結果はＭ　Ｉ
　Ｄ　Ｉ　（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔ　
ＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）変換装置５により
ＭＩＤＩコ−１”に９換され、音源を含む出力装置６を
通じて放音される。後述の説明から明らかとなるが、楽
譜解読装：１１４がイメージ記憶装置３に対してアクセ
スする回数は、可及的に最小化されている。したがって
、楽譜解読装置４をマイクロコンピュータで実現するこ
とができる。

くゼネラルフロー〉 第２図は実施例の全体の動作のフローを示している。２
−１でシー）１上の楽譜をイメージ入力装置２によって
読み取って、イメージ記憶装置３に記憶する。その後、
楽譜解読装置４が動作して、記憶された楽譜のイメージ
を認識する（２−２）、認識結果はＭＩＤＩＩＤ型置５
によってＭＩＩＯコードにデータ変換され、出力装置６
より楽１キとして出力される（２−３）。

く楽譜認識〉 楽譜解読装置４によって実行される楽譜認識（第２図の
２−２）のフローを第３図に示す。入力データはイメー
ジ記憶装置３上の楽譜のイメージデータであり（３−１
）、出力データは楽譜の認識結果である（３−９）。

３−２で楽譜解読装に４は楽譜のイメージデータから五
線の幅と間隔を測定し、３−３で五線の方程式を決定し
て五線の位置を検出し、３−４で楽譜のイメージデータ
から五線を他の記号と連なる部分を除いて消去する。こ
の結果、楽譜の各記号は黒の連結要素に分解することが
できる。そこで、この分解された連結要素にラベル（名
前）を付けて連結要素ごとのデータに分離する（３−５
）、この時点では、情報の形式はイメージデータのまま
であるが、その大きさは各連結要素のイメージサイズで
あるので元の楽譜のイメージデータに比べ格段に小さく
なっている。そこで、分離された個々の連結要素のイメ
ージから特徴データを取り出し、それによって、連結要
素が音符であるとか）−Ｆｆ記号であるかというように
、記号の大の類を行う（３−６）、この時点で形の確定
しているもの（例えば、＃、ｂ）は、分類（記号認識）
が完了する。ただし、音符のような記号では、連結要素
の複数の異なる部分（セグメント）が明らかにならなけ
れば、その意味を特定することができない１例えば、４
分音符の場合に、旗（打圧）が１つ付けば８分音符に変
化する。そこで、記号の認識３−７において、これらの
記号（意味プリミティブ）を連結要素内の局所的な検索
を通じて特定するとともに、意味プリミティブ相ゲの帰
属関係（例えば＃の臨呼記号が作用する音高の音符）等
を決定して音符の音長、音高を決定する。最後に認識さ
れた音長データと音高データを出現順に従って並びかえ
る（３−８）。

以下、楽譜認識の個々の処理を詳細に説用する。

く五線の幅と間隔の測定〉 楽譜認識のフロー（第３図）の３−２で実行される五線
の幅と間隔の測定処理の詳細を第４図に示す。

楽譜のイメージのなかで圧倒的に大量な記号は五線であ
る。したがって、楽譜の五線とほぼ垂直な方向における
黒のランレングスを検出し、この黒のランレングスのヒ
ストグラムを作成すれば、最大頻度のランレングスが五
線の幅となり、同様にして白のランレングスを検出し、
この白のランレングスのヒストグラムを作成すれば、最
大頻度の白のランレングスが五線の間隔を表わすはずで
ある１例えば第５図では黒のランレングスの最大頻度は
ランレングス＝３で発生しているので五線の幅は３であ
り、白のランレングスの最大頻度はランレングス＝１５
で発生しているので、五線の間隔は１５である。

第４図のフローはこの原理に従って五線のｔＩＲ隔と幅
を測定している。

４−３のスキャンでは、実行の都度、別のＸ座標値にお
いてｙ方向（五線にほぼ垂直な方向）に楽譜のイメージ
データをスキャンする。このスキャンを所定回数（例え
ば１５回）行った時点で、終７（４，−２）となり、４
−４で作成した白と黒のランレングスのヒストグラムか
ら、五線の１１ｆｌ隔と幅の情報を得ている（４−５．
４−６）。

く五線の検出〉 楽譜認識のフロー（第３図）の３−３で実行される五線
検出処理の詳細を第６図に示す。この処理では、五線の
すべての位置を直接に求めているわけではなく、実際に
得ているのは、五線の左の方（始端部）における五線の
方程式（ａ、ｂ）である。五線のすべての位置は次の五
線の消去処理の際に検出される。これは、五線の湾曲を
考慮するとともに、五線認識の速度向上を図ったもので
ある。

第６図に従うと、処理６−３で、五線の左の方における
Ｘ座標値において、ｙ方向に楽譜のイメージデータを走
査し、五線の幅と間隔の情報を用いて、五線の候補の座
標（ｘ’、ｙ’）を見つける。６−４で候補の座標（ｘ
′、ｙ′）を通る全ての可１駈な直線ｙ＝ａｘ＋ｂの（
ａ、ｂ）の組を作成する（ａの値は−１＜　ａ　＜　１
の範囲で十分である）、そして、６−５において、各（
ａ、ｂ）に対する頻度Ｑ（ａ、ｂ）をＱ（ａ、ｂ）＝Ｑ
　（ａ、ｂ）＋１により計算してヒストグラム（Ｑ　（
ａ、ｂ）ｌを作成する。その後６−２に戻り、Ｘ座標値
を少しずらしなから６−３．６−４．６−５の処理を所
定回数繰り返す、この結果、Ｑ（ａ、ｂ）の値は、直Ｍ
Ａｙ＝ａｘ＋ｂ上に、五線の候補の点が何個含まれてい
るかを表わす。

したがって、五線の方程式となる（ａ、ｂ）の組は、ヒ
ストグラムにおける頻度が大きいはずである。また、五
線の性質上、ａの値は互にほぼ等しく、ｂの値はほぼ等
しいはずである。これに従い、第６図では、６−６でヒ
ストグラムのなかから、Ｑ　（ａ、ｂ）の大きい（ａ、
ｂ）の組を１００組見つけ、６−７で、上記の条件に合
う、（ａ、ｂ）の組を５×段数分選択している。

＜　１１−線の消去〉 楽譜認識のフロー（第３図）の３−４で実行される圧線
の消去処理の詳細を第７図に示す。

７−３から７−７までのループは五線の１本分の消去で
あり、１本の五線は左から右へと順次消去される。１本
分の消去後は、下の五線の消去作業に移り（７−２）、
全ての五線が消去されるまで７−２〜７−７のループ処
理が繰り返される。

７−４で、（ａ、ｂ）の値すなわち、五線検出処理で得
た五線方程式と１つ左の五線の中心位置から今回の五線
の中心位置を予測する。７−５で予測位ｌを中心にして
、五線の間隔分だけ上から下（ｙ方向）に楽譜のイメー
ジデータを走査する。そして、７−６で、いままでの状
態と今回のスキャンデータより、次の状態を決定すると
ともに、今回のスキャンデータに含まれる五線の部分を
消去してよいかどうかを決定する。続いて、７−７で今
回の五線の中心位置をリストに記録する。

上記処理７−６は五線消去の要部であり、ここで、五線
とそれ以外の記号とを識別し、五線とそれ以外の記号と
が重なる部分では、五線を消去しないこととし、これに
より、記号が五線によって切断される事態を防いでいる
。

この処理７−６で実行される五線消去オートマトンの状
態遷移を表１に示す０表１において人力ｘｘｐｔ＋ｔ＝
　（“スキャンデータの正規表現”、Ｂ、　　ｙ）で表
わされる。ここに、スキャンデータの正規表現に含まれ
る記号（ｗ、ｂ、＋、本、Δ、＄）のうち、Ｗは白のビ
クセルを表わし、ｂは黒のビクセルを表わす、また１個
以北同じビクセルが続く記号は十であり１例えばＷ＋は
白のビクセルが１回置上続いたことを表わす、また、０
回以上同じビクセルが続く記号は本であり、例えばｂ木
はＯ回置１黒のビクセルが続いたことを表わす、△は始
めを表わし１例えば−ｂはｙ方向にスキャンしたデータ
が黒のビクセルから開始することを表わす、また、＄は
終りを表わし１例えばＷ＄はｙ方向にスキャンしたデー
タの終端が白のビクセルで終っていることを表わす０例
として、“ｂ＊ｗ＋ｂ＋ｗ＋ｂ零＄を説明すると、この
スキャンデータは１個以上の黒のビクセルの後に１個以
上の白のビクセルが続き、その後に１個以上で黒のビク
セルが続き、その後に１個以上の白のビクセルが続き、
その後に０個以上の黒ビクセルが続いて終っているデー
タである。入力のなかのＢは黒すのビクセルのなかに五
線の中心位置の予測ポイントが入っていたかどうかを示
すデータであり、表１において、Ｂは入っていることを
示し、ＩＢは入っていないことを表わす、また、入力の
なかのｙはＢの幅が五線にふされしい幅かどうかを示す
データ〒あり、表において、ｙはふされしい幅であるこ
とを表わし、ｌｙはふされしくない幅であることを表わ
している。

−・方、内部状態は次のように表わされる。

Ｓ丁ＡＴＥ＝　　（ｍｏｄｅ　、ｂｃｎｔ　　、ｗｂｗ
ｃｕｔ　、ｗｅｎｔ）ここにｍｏｄｅは状態モード、ｂ
ｅｎｔは黒が続いたことを示すカウンタ、ｗｂｗｃｎｔ
は五線が記号と重なったことを示すカウンタ、ｗｃｎ　
ｔは白が続いたことを示すカウンタである。

表１に従うと、例えば内部状ｆムが（ｓｔａｒｔ、。、
）のときに、スキャンの結果、入力として（Ａｗｂｗ！
。

、）が与えられたときには、次の内部状態は（ｗＢｗ、
、、、　）に移行する。また、内部状態が（ＷＯＷ、、
、）の下で、（八ｗｂｗ＄、Ｂ、ｙ　）が入力されたと
き、すなわち、白のビクセルで始まり、その抜用のビク
セルが続き、そして白のビクセルで絆わるスキャンデー
タであって、その黒のビクセルのなかに五線の予測位置
が入っており、かつその幅が五線の幅にふされしいとぎ
には、次の内部状態を同じ（ｗ、Ｂ、ｗ、、、、　）に
するとともに、五線に相当するところを消去（ｄｅｌ　
）する、一方１人力が（Ａｗｂｗ寞、Ｂ、！ｙ）のとき
には、五線の幅がふされしくないので（その他の点では
前と同じ入力であるが）、これは五線とその他の記号と
が重なっていると考えられる。したがって、五線を消去
せずに次の内部状態を（ｗＢＢｗ、０．、、　）へ進め
る。なお、表１において、１つの内部状態に複数の入力
候補が示されているものがあるが、これは七から表１ １１貝消火オートマトンの状態品移（＋記号は省略）内
部状態　　　　　　人力　　　　　　　　次の内部状１
Ｂ　　　行動（ｓｔａｒｔ、　、　、）　　　　　　（
＾ｗｂｗ＄、　、）　　　　　　　（ｖＢｗ、　、　、
　、）（、、、ｗｃｎｔ、Ｉｖ／２）　　　　（ｗ、＋
）　　　　　　　　　（、、、ｗｃｎｔ＋１）（、、、
ｗｃｎｂ＝１ｗ／２）　　　（ｗ、、）　　　　　　　
　　ｓｔｏｐ（ｙＢｗ、、、）　　　　　　　（〜１ｍ
ｊＢ、ｙ）　　　　　　（ｉｉＢｗ、、、、）　　　　
　ｄｅｌ（’ｗｂｗ＄、Ｅ、！ｙ）　　　　　（ｗＢＢ
ｗ、０．、、）（ｔ＋ｔｖｂｗｂｔ、Ｂ、ｙ）　　　　
　（ｂｗＢｗｂ、、、、）　　　　ｄｅｌ（ｂｔｗｂｗ
ｂ本、Ｂ、！ｙ）　　　　（ｂｗＢｗｂ、、、、）（＾
ｌｌｌ＄、Ｂ、）　　　　　　　（Ｂ、　、、　、）（
＾ｖｂｖ＄、！Ｂ、ｙ）　　　　　（ｗｏｗ、、、、）
　　　　　ｄｅｌ（＾ｗ間、！Ｂ、！ｙ）　　　　（ｗ
ＢＢｗ、０．、、）（ｗＧｎ＋ｔ、Ｂ、）　　　　　　
（ｗ”Ｂｗ”、、、、）（ｂｗＢｗｂ、　、　、）　　
　　　　（Ａｗｂｗ＄、Ｂ、ｙ）　　　　　　（ｗＢｗ
、　、、　、）　　　　　ｄｅｌ（＾ｗｂｉ＋＄、Ｂ、
！ｙ）　　　　　（ｗＢＢｗ、０．、、）（Ａｗｂｗ、
！Ｂ、ｙ）　　　　　　（ｗｏｗ、、、、）（Ａｗｔｙ
ｗ、！Ｂ、！ｙ）　　　　　（ｉ＋ＢＢｗ、Ｏ，、、）
（＾ｂｔｗｂｖｂｔ＄、Ｂ、ｙ）　　　（ｂｗＢｗｂ、
、、、）　　　　ｄｅｌ（Ａｂｔｗｂｗｂｔ＄、Ｂ、！
ｙ）　　　　　（ｂｗＢｗｂ、、、Ｊ（ｖｔｂ軸ｂｗｂ
本ｗｔ、Ｂ、ｙ）　　（ｗｂｗＢｗｂｗ、０．、、）　
　ｄｅｌ（ｗｔｂ匈ｂｗｂ享−、Ｂ、！ｙ）　　（ｗｂ
ｗＢｗｂｗ、Ｏ，、、）（Ａｂｊ、Ｂ、）　　　　　　
　（Ｂ、、、、）（賢姉−，Ｂ、）　　　　　　（−Ｂ
ｗ＊、、、、）（ｂ、Ｂ、ｙ）　　　　　　　　（ｗｂ
ｗＢｗｂｗ、０．、、）　　ｄｅｌ（ｂ、Ｈ，！り　　
　　　　（ｗｂｗＢｗｂｗ、０．、、）（ｗｂｗＢｗｂ
ｗ、、、）　　　　（〜−９Ｂ、ｙ）　　　　　（ｗＢ
ｗ、、、、）　　　　ｄｅｌ（〜団、Ｂ、！ｙ）　　　
　（ｗｂＢｂｖ、、Ｏ，、）（’ｙｂｉ＋、！Ｂ、ｙ）
　　　　　（ｗＢｙ、、、、）　　　　ｄｅｌ（Ａｗｂ
ｗ、　！　Ｂ　、　！　ｙ　）　　　　（ｗｂｈｗ＊　
、０２．）（＾Ｍｗｂｗｂｚ＄、Ｂ、ｙ）　　　（ｂｗ
Ｂｗｂ、、、、）　　　ｄｅｌ（＾ｂｓｗｂｗｂ＄＄、
Ｂ、！ｙ）　　　（ｂｖＢｗｂ、、、、）（ｖｔｂｔｗ
ｂｗｂ本−、Ｂ、ｙ）　　（ｗｈｗＢｖｂｖ、、、、）
　　　ｄｅｌ（ｗ柿ｚｗｂｗｂ鞠寡、Ｂ、！７）　　（
ｗｂＢｂｗ、、Ｏ，、）（＾ｂ＄、Ｂ、）　　　　　　
　（ｖＢｗ、、、、）（ｖｂＢｂｗ、ｂｃｎｔ）１ｗ、
　、）　　（＾ｗｂｄ、　、ｙ）　　　　　（ｗＢｖ、
　、　、　、）（ｗｂＥｔｈｗ、　、ｗｂｗｃｎｂＯ，
）　　（＾ｗｂｉｒ＄、、ｙ）　　　　　（ｖＢＢｗ、
、、、）（ｗｂＢｂｗ、ｂｅｎｔ）０．、）　　　（＾
ｖｂｗ＄、　＋　！ｙ）　　　　　（、、ｗｂｗｃｎｔ
＋１　、　、）（ｗｂＢｂｗ、、、）　　　　　　　　
　　　（八す零ｖｂｗｂ＊ｇ、Ｂ、ｙ）　　　　　　（
ｂｗＢｗｂ、、、、）　　　　　　　ｄｅｌ（Ａｂ鞠ｂ
ｖｂｔ＄、Ｂ、！ｙ）　　　（ｂｗＢｗｂ、、、、）（
ｗｔｂｔｗｂｗｂｔｗｔ、Ｂ、ｙ）　　（ｖｂｗＢｗｂ
ｗ、、、、）　　　ｄｅｌ（ｗｔｂｔｗｂｗｂｔｗｔ、
Ｂ、！ｙ）　　（ｗｂｗＢｗｂｗ、、、、）（、ｂ、　
、Ｂ、）　　　　　　　（ｗｂ膓町１９．）（＾目、Ｂ
、）　　　　　　　（ｗＢｗ、、、、）（ｗ柿−、Ｂ、
）　　　　　　（ｗｔＢｖｚ、　、　、　、）（ｗＢＢ
ｗ、、、）　　　　　　（＾ｗｂＪ、、ｙ）　　　　　
（ｗｏｗ、、、、）　　　　ｄｅｌ（＾ｖｂｗ＄、、！
ｙ）　　　　　（ｗＢＢｗ、０．、、）（、ｂ、、Ｂ、
ｙ）　　　　　　（ｗＥｌｗ、、、、）　　　　　ｄｅ
ｌ（、ｂ、、Ｂ、！ｙ）　　　　　　（ｗＢＢｗ、、、
、）（ｂ、Ｂ、）　　　　　　　　（Ｂ、　、、　、）
ＣＢ、、、、）　　　　　　　　（＾ｗｂｗｓ、Ｂ、ｙ
）　　　　　　（ｗｏｗ、、、、）　　　　　ｄｅｌ（
〜−＄、Ｂ、！ｙ）　　　　　（Ｂ、Ｏ，、、）（ｂｔ
ｗｂｗｂ本、Ｂ、ｙ）　　　　（ｂｗＢｖｂ、、、、）
　　　　ｄｅｌ（ｂｔｗｂｗｂ本、Ｂ、！ｙ）　　　　
（ｂｗＢｗｂ、、、、）（Ａｂｓ、Ｂ、）　　　　　　
　（Ｂ、　、、　、）（Ａｗｂｗ！、Ｂ、ｙ）　　　　
　　（ｗＢｗ、、、、）　　　　　ｄｅｌ（〜膿！、！
Ｂ、！ｙ）　　　　　（Ｂ、０．、、）（ｖｔＢｗ本９
．　、　、）　　　　　（’ｖｂｗ＄、Ｂ、ｙ）　　　
　　（ｗＢｗ、　、　、　、）　　　　　ｄｅｌ（＾吐
ｗ＄、Ｂ、！ｙ）　　　　　（ｙｔ〜も０．、、）（ｂ
ｔｗｂｗｂｔ、Ｂ、ｙ）　　　　（ｂｗＢｗｂ、、、、
）　　　　ｄｅｌ（ｂ軸ｂｗｂ寡、Ｂ、　！ｙ）　　　
　（ｂｖ〜ｂ、、、、）（Ａｂｊ：、Ｂ、）　　　　　
　　（Ｂ、、、、）（’ｗｂｄ、！Ｂ、ｙ）　　　　　
（ｗＢｗ、、、、）　　　　　ｄｅｌ（Ａｗｂｗ＄、！
Ｂ、！ｙ）　　　　　（ｗｔＢｖｚ、Ｏ，、、）記号の
説ＩＪＩＩ：でないとき 〜：始め ＄：おわり ｄｅｌ：五線に相当するところを消去する順に優先順位
の付けられた入力候補である（上から順番に入力のマツ
チングテストが実行される）。例えば、（ｗＢｗ、、、
）の内部状態の下で、（Ａｂ＄、Ｂ、！ｙ）が入力され
たとすると、最初に、（Ａｗｂｗ＄、Ｂ、ｙ　）とのマ
ツチングが不成功に終り、以下、（＾ｖｂｗ＄、Ｂ、！
ｙ）　、　　（ｂｔｗｂｖｂｔ、Ｂ、ｙ　）、（ｂｔｗ
ｂｖｂｔ、Ｅ、！ｙ）との各マー、チングも不成功に終
り、（＾ｂ＄８．　）とのマツチングで初めて成功する
。

表１かられかるように、五線消去では、それまでの五線
と記号との間の関係を表わす内部状態と、今回の五線と
記号との関係を表わすスキャンの結果（入力）とから１
次の内部状態を決定するとともに、今回のスキャンにお
ける五線の部分の消去可否を決定している。

これにより、第８図に示すように、楽譜のイメージのう
ち、五線が他の記号と重なる部分を除いて消去されるこ
とになる。この結果１次に説明するラベル付けの処理す
なわち、連結要素ごとのイメージデータの分離処理が可
能となる。。

さらに、ｆｉ−線消去（第７図）では、７−４．７−７
の処理により、五線の位置が決定され、記録される。こ
の五線の位置情報は後で記号の大分類や、Ｂｙ符の音高
データを得るのに利用される。

くラベル伺け〉 認識処理のフロー（第３図）の３−５で実行されるラベ
ル付は処理の詳細を第９図に示す、この処理の目的は、
五線が消去されたイメージデータから、連結要素（黒画
素が連続している領域）ごとに名前を付けて、連結要素
ごとの小さなサイズのイメージデータに分離することで
ある。さらに、副次的目的として、分離された個々の連
結要素から、後の認識作業に必要なデータを抽出する処
理が含まれている。ラベル付は処理は、大量のイメージ
データ（楽譜サイズのデータ）を取り扱わなければなら
ない最後の処理である。

第９図のフローに従うと、陽はラベル（名前）を表わし
、９−２で最初の名前陽＝１が作成される。その後、五
線の消去されたイメージデータに対し、左上から右下ヘ
スキャンしていく（９−３）。このスキャンのサンプリ
ング点はイメージデータのすべての点である必要はなく
、認識すべき最小サイズの記号（付点）のイメージに対
するサンプリングが保証される程度であれば十分である
。９−４でサンプリング点（スキャニング点）のビクセ
ルが黒画素かどうかをチエツクし、黒画素であるならば
、９−５でそのビクセルにまだラベルが付いていないか
どうかをチエツクし、９−４と９−５のチエツクが共に
成立しないかぎり、９−３に戻って次のスキャニング点
に移動する。

両方のチエツクが成立するときには、９−６へ進み、こ
の黒画素に連結しているすべての黒画素に同じ名前陽を
付ける。このラベリング処理９−６は次々と自己のサブ
ルーチンを呼び出すｔＩ■帰的な処理である。１つのサ
ブルーチン内では、現在の座標のビクセルにラベルを付
けるとともに、その座標の周囲にある８つの隣接座標を
、所定の順番でアクセスし、アクセスの途中で、黒画素
であってラベルが伺いていない隣接座標を見つけたとき
には、サブルーチンを呼び出し、呼び出されたサブルー
チンは先に見つけ出された隣接座標を現在の座標として
同様の処理を行う、１つのサブルーチン内で、現在の座
標の周囲にある８つの隣接座標のすべてについて、ラベ
ル付けの条件を満たす点（いまだラベルの付いていない
黒いビクセルの点）がないときには、そのサブルーチン
は終ｒし、そのサブルーチンを呼び出したサブルーチン
（親のサブルーチン）が残りのプロセスを実行する。結
果として与に連結されているすべての黒画素に同じ名前
南が付けられる０次にラベル付けされた領域を分離した
イメージデータとする（９−７）。これにより、後の認
識処理では、この分離された小さなサイズのイメージデ
ータを増り扱えばよいことになる。さらに、分離された
イメージデータに対して後の認識作業に必要なデータの
テーブルを作成する（９−８）。例えば、次のようなデ
ータが得られる。

連結要素の座標 高さ 面積 ９−９で名前陽を変更し、９−３に戻り、五線の消去さ
れた楽譜のイメージデータの走査が完了するまで、上記
の処理を続ける。

く大分類〉 認識処理のフロー（第３図）の３−６で実行される大分
類処理の詳細を第１０Ａ図に示す。

この処理では、上述のラベル付けによって分離された個
々のイメージデータに対して記号の大分類を行う、この
分類のために、最初に個々のイメージデータから特徴デ
ータを抽出して対応するテーブルに古き込む、これは、
第１０Ａ図の１Ｏ−２、ｌ　Ｏ−３，１０−４で行われ
ている。この例では、特徴データとして、縦棒の数、五
線との交わりの状態、縦方向と横方向に対して最も長い
黒の連続の長さを調べている。算出例を第１０Ｂ図に示
す、五線との交わりの状態を調べているときには、上述
の五線消去処理で得ている五線の位置情報がノ、（準デ
ータとして参照される。

これらの特徴データ及びラベル付け（第９図）の９−８
で得ている高さ、幅その他のテーブルデータを用いて、
それぞれの分類項目について、イメージデータが分類項
目である確率を算出し、テーブルに古き込む（ｌ　Ｏ−
５，１Ｏ−６）。分類項［１には全音符、全音符以外の
音符、シャープ、フラット、ト音記号、へ音記号等１０
数種類程度の項目がある。

く記号認識〉 楽譜認識のフロー（第３図）の３−７で行われる記号の
認識処理のフローを第１１図に示す、この処理では上述
した大分類の結果である記号の確率に従って、対応する
記号の認識を行う、すなわち、全音符らしさが高いとき
には全音符の認識を実行り、全音符以外の音符らしさが
高いときには全音符以外の音符の認識を行い、その他の
記号らしさが高いときには対応する記号の認識を行う（
１１−１〜１ｌ−４）。

以下、全音符以外の音符の認識１１−４と全音符の認識
について詳細に説明する。

く全音符以外の音符の認識〉 第１２図に全音符以外の音符の認識のフローを示す、１
２−１で棒（符幹）の存在範囲を認識する。この認識は
対応するイメージデータ、すなわち、分離された小さな
サイズのイメージデータを走査することによって行われ
る０次に、符頭（魚頭、自照）の位置をエッセンシャル
パターンマッチングによって認識する。ここに、エッセ
ンシャルパターンとは記号（この場合、自照、魚頭）パ
ターンが必ず満たすまたは満たす可能性の高い点のパタ
ーンであり、既に得ている五線間の間隔と五線の幅をモ
ジュールとした数値データから作成される。この符頭の
認識は、棒のまわりのイメージデータに対して行われる
。１２−３では旗または桁の個数と位置が認識される。

この認識におけるイメージデータの走査範囲は棒の符頭
が付いていない方の周辺に限定して行うことができる。

ここまでで解明していることは、音符の連結要素の構造
である。音符の音長や音高を特定するためには、他の連
結要素からの作用を考慮する必要があるし、誤認識の対
策としての楽曲知識の利用を図るべきである。その手始
めとして、１２−４で臨昨記号（シャープやフラット）
や付点を符頭に帰属させている。１２−５ではその他の
情報をも考慮して音符の音高と音長を決定している。

く棒の位置、長さの認識〉 Ｌ記１２−１で行われる棒の位置と長さの認識のフロー
を第１３図に示す。処理の目的は、第１５図に示すよう
に、棒のＸ座標（ｘｂａｒ）と、棒の端点のＸ座標（ｙ
ｓ　、　　’５’ｅ　）を求めることである。

１３−１では、分離されたイメージデータに対し、Ｙ方
向の条件付き射影（プロジェクション）がとられる（第
１４図）、その詳細を第１６ＩＮに示す、同図において
、座標Ｘは分離されたイメージデータの左端から右端ま
で動かされる。各Ｘ座標において、イメージデータ（連
結要素）をＹ方向にスキャンし、黒の連続（ランレング
ス）ノ最大を求め（１６−２）、その値ａが所定の値以
」−であれば、リストの要素ｐｒｏｊ（ｚ）にその値を
入れ（１６−４）、所定の値に達していなければｐｒｏ
ｊ（りにＯを入れる（１６−５）、この結果、リスト（
ｐｒｏｊ（ｘ）　）の内容は第１４図の下に例示される
ようになる。

次に棒の存在可能位ａが抽出される（１３−２）。詳細
を第１７図に示す。ここではりスト（ｐｒａｊ（ｘ）　
　ｌが順にアクセスされ、差分（ｐｒｏｊ（ｚ＋）　−
ｐｒｏｊ（ｇしり）が計算され、差分が大きくプラスへ
変化したときのＸ座標（Ｘ、）と大きくマイナスへ変化
したときのＸ座標（Ｘ−）とが見つけ出され（１７−１
）、領域のエツジを表わす両Ｘ座標の差が棒の最大幅以
下かどうかを調べ（１７−２）、以下の場合にのみ両Ｘ
座標の中間値（ｘ、＋ｘ−／２）を棒のＸ座標（ｘｂａ
ｒ）の候補としてリストに登録する（１７−３）、チエ
ツク１７−２により、幅の大きすぎる８５素（例えば符
頭）は有効に除去される。

最後にｒ￥符の棒の判定が行われる（１３−３）。詳細
を第１８図に示す、ここでは、棒のＸ座標の候補のリス
ト（１３−２で得ている情報）から各候補を読み出しく
１８−１．１８−５）。

各候補のＸ座標において、イメージデータをｙ方向に走
査して棒の最大幅以下の連続した長さとその長さの上端
のＸ座標と下端のＸ座標を得る（１８−２）、そして、
測定した長さが棒の最小の長さ以にかどうかを判別しく
１ｇ−３）、成立するときにのみ、そのときのＸ座標と
上端のＸ座標及び下端のＸ座標を音符の棒の存在範囲と
して登録する（１８−４）、チエツク１８−３により、
棒としての長さに達していない要素は有効に除去される
。

く魚頭・自照の位置の認識〉 第１２図の１２−３で行われる魚頭、自照の位置の認識
処理の詳細を第１９図に示す、上述したように、棒の位
置は１２−１で既に得られているので、符頭の認識のた
めのイメージデータの走査範囲は棒のまわりの領域に限
定できる。さらに、五線間隔も既知であるので、この情
報を利用することにより、さらに走査範囲を符頭の存在
しそうなエリアに限定ηｆ能である。第１９図のフロー
はこれらの点を考慮している。さらに、第１９図のフロ
ーでは、符頭のパターンマツチングのために、上述した
エツセンシャルパターンを参！兇データとして用いてい
る。第２０図にエフセノシャルパターンの例を示す。同
図（ａ）の左側に示すのハ魚頭に対するエツセンシャル
パターンであり、（ｂ）の左側のパターンは２分音符の
自照に対するエッセンシャルパターンである。さらに、
同図（Ｃ）の左側に示すパターンは全音符の自照に対す
るエツセンシャルパターンであり、こｈ　Ｉｆ　全ｔｆ
符を認識するときに利用される（第２２図）。

第１９図のフローに沿って説明すると、まず、１９−１
で五線の幅と間隔から、魚頭と自照のエツセンシャルパ
ターンを作成する（第２０図の（ａ）と（ｂ））、その
後、棒の中心線と下行で中心線から魚頭と自照の横幅（
これは五線の間隔から算出される）の展の距離だけ離れ
た直線に沿ってイメージデータを走査する（１９−２、
第２１図参照）、そして、走査した点が図から（符頭）
の内部の点のときは（１９−３）、その座標を基Ｈ６と
して、エツセンシャルパターンの検査座標におけるイメ
ージデータのビクセルを読み出し、エンセンシャルパタ
ーン（自照と１ｌｌ）、！：マッチングを行う（１９−
４）、マツチングが成功したときは、その位ｌの符頭が
登録ずみかどうかをチエツクしく１９−５）、登録ずみ
でない場合に符頭の０録を行う（１９−６）、そして、
走査する点を五線間隔だけスキップさせ（１９−７）、
棒のまわりの走査が終るまで（１９−８）、１９−２に
戻って処理を続ける。

以Ｊ：のように、符頭の認識は分離されたイメージデー
タの局所的な領域を調べることによって行われる。また
、エツセンシャルパターンマッチングの採用により、マ
ツチングの処理速度が速くなり、これにより符頭認識処
理時間が一層短縮されることになる。

く音高、音長の認識〉 第１２図の１２−５で実行される音高、音長の認識処理
１２−５の詳細を第２２図に示す、まず、２２−１で音
符の符頭の位置と五線の位置との関係から、ハ調の音高
を付与する０例えば、−番丁の五線上に符頭が位置する
ときには、第５オクターブのＥの音高が与えられる０次
に、２２−２で音部記号（ト音記号、へ音記号）、調性
記号、臨時記号等、背高に作Ｉｎをケえる要素によって
、音高を修正する０例えば、音部記号がト音記号であり
、Ｗ性記号がハ長調であり（実際には記号なし）、臨時
記号はシャープであり、他の音高作用要素がないときは
、上記の一番下の五線、Ｌに符頭なもつ音符の音高は第
５オクターブのＥシャープとなる。２２−３では音符の
旗または桁の数や打点の個数により音符に音長を付与す
る０例えＩｆ、符頭が魚頭で旗を１つもち、符頭の近く
に１つの付点が付いている音符は灯点８分音符の長さと
なる。さらに２２−４では小ｍ１ｔｔ位の楽典知識によ
り、認識している小節内の音符の音長合計等を検査し、
楽典知識に一致するように修正する。

２２−５では、タイの結合関係により結合している２つ
の音符のデータを１つに統合する。

く全音符の認識〉 第１１図の１１−３で行われる全音符の認識処理のフロ
ーを第２３図に示す、２３−１で全音符の位置をエッセ
ンシャルパターンマ−７チングにより決定する。以降は
第１２図の１−４に示す帰属関係の決定、第１２図の１
２−５に示す音高、音長の認識を行う（第２３図では、
２３−２．２３−３で示しである）、なお、各記号の構
造解析（第１２図では１２−１から１２−３まで、第２
３図では２３−１）において、ａ造が解析できなかった
ときにはその連結要素に対する次の確らしい記号につい
ての構造解析に移行する（図示せず）。

く音符の並びかえ〉 ここまでで、各音符の音高と音長のデータが決定された
。しかし、このままでは楽譜を再現することができない
。楽譜を再現するためには、各音符を時間の流れに従っ
て並びかえる処理が必要である。この処理は楽譜認識の
フローの最後３−８で行われる。詳細を第２４図に示す
、２４−２でハート数を調べる０例えば、ピアノ楽譜の
ような場合には五線の２段分が対となっていて、上段が
第１パート、下段が第２パートで同時に演奏されるべき
ものである。一方、Ｑｉ音楽器用の楽譜は通常ｌパート
である。これを２４−２で区別したわけである。２バー
トか６かは小節線の長さによって判別される。そして、
２４−４でパート別に音符をその出現順位（音符の座標
から判別される）に従って並べかえている。

くデータ変換及び出力〉 楽譜認識処理の結果はゼネラルフローの２−３及び第２
５図に示すようにデータ変換されて出力される。−１−
述した音部の並びかえで得た情報が認識の最終結果であ
るが、これと比較的１対工対応がとれた型（中間コード
）にファイルされる。中間コードの例を表２に示す。

表２ 表２において、＋２４は１小節を２４とするという意味
である。アドレスの小数点より上は現在が細小節目なの
かを表わす。アドレスの小数点以下はｌ−の場合θ〜２
３までの値をとることができる小節の中の位置を表わし
ている０％から後が音符に対応し、第６０／６はＭＩＤ
Ｉコード６０のｉ′ｆ高を６／２４小箇演奏するという
意味である。

”１”記号はチャンネル（パート）を区別する記号であ
る。

この中間コードにファイルＬまた後、ＭＩＤＩコードに
変換して出力装置６に出力することにより、演奏を行っ
ている（２５−２．２５−３）。

以］二で実施例の説明を終るが本発明の範囲を逸脱する
ことなく種々の変形、変更が容易である。

［発明の効果］ この発明の楽譜認識方法にあっては、読み取られた楽譜
のイメージから音符のイメージを抽出する工程によって
、音符の棒の認識のためのイメージ検索範囲を狭くする
とともに、音符のイメージの射影プロフィールを生成す
る工程と、そのプロフィールから音符の棒の存在回旋範
囲を限定する工程とによって、音符の棒の存在範囲を確
定する〕−程が分析しなければならないイメージの領域
をさらに絞り込んでいるので、音符の棒を認識するため
に必要なデータ処理量はわずかでよい。

また、上記楽譜認識方法を実施するこの発明の楽譜認識
装置にあってはその構成を簡単で規模の小さなものにす
ることができる。

【図面の簡単な説明】

第１図はこの！　ｉＪの実施例に係る楽譜認識装置の全
体構成図、第２図は実施例の全体の動作を表わすフロー
チャート、第３図は楽譜認識のためのフローチャート、
第４図は五線幅測定のためのフローチャート、第５図は
第４図の処理において生成きれるランレングスのヒスト
グラムの例を示す図、第６図は五線の検出のためのフロ
ーチャート、第７図は五線の消去のためのフローチャー
ト、第８図は五線消去前の楽譜のイメージと五線消去後
の楽譜のイメージを例示する図、第９図はラベル付けの
ためのフローチャート、第１０Ａ図は記号の大分類のた
めのフローチャート、第１ＯＢ図は第１０Ａ図の処理に
おいて抽出される特徴データの例を示す図、第１１図は
記号の認識のためのフローチャート、第１２図は全音符
以外の音符の認識のためのフローチャート、第１３図は
音符の棒の位ｌ、長さの認識のためのフローチャート、
第１４図は音符とその条件付射影プロフィールを示す図
、第１５図は音符と音符の棒の位置どを示す図、第１６
図は条件付きの射影をとるためのフローチャート、第１
７図は棒の存在可能位行を抽出するためのフローチャー
ト、第１８図は音符の棒を判定するためのフローチャー
ト、第１９図は魚頭、自照の位置を認識するためのフロ
ーチャート、第２０図は魚頭、自照とエッセンシャルパ
ターンとを示す図、第２１図は魚頭、自照に対する検索
範囲を説明するのに用いた図、第２２図は音高、音長の
認識のためのフローチャート、第２３図は全音符の認識
のためのフローチャート、第２４図は音符のならべかえ
のためのフローチャート、第２５図は楽譜認識結果をデ
ータ変換して出力するためのフローチャートである。 １・・・・・・記録シート、２・・・・・・イメージ入
力装置、３・・・・・・イメージ記憶装置、４・・・・
・・楽譜解読装置。 第１図 金　イ本　第１ｋｓ又・ 第８図 第２図 １＝°オラノし７０　− 第３図 第４図 第５図 第６図 第７図 第１０Ａ図 （ａ’）　　線環つ勝 ＃□２ 、ｌ□１ １□２ （ｂ）　ニイＬメミ＊　Ｙｒ＞ぞシトトＭ　つンし大−
１噴さ−（Ｃ）　窮廼乃藺ｔオ戸右藺Ｏうも題いラルレ
レクス−＠←１ ”二 土 沁 第１０８図 第７１　Ｐｉ！Ｊ ζ’）、８４Ｑ７ｙ＋Ｌり’ＸＳ’Ｆイｍ　ＬＹ　ｔｌ
ｌにつ０スキイン１でよ３ 第１２図 第１３図 第１４図　　　第１５図 第１６図 第１７　図 第１８　　図 第２０図 第２１図 第２２　図 第２３図 第２４図

Claims (2)

【特許請求の範囲】
1. （１）記録シートに記録された楽譜のイメージを読み取
   って楽譜を自動的に認識する楽譜認識方法において、 読み取られた楽譜のイメージから音符のイメージを抽出
   する工程と、 抽出された音符のイメージを音符の棒の方向とほぼ平行
   な方向に走査して音符のイメージの射影プロフィールを
   生成する工程と、 生成された射影プロフィールから、音符の棒が存在しそ
   うな範囲を限定する工程と、 限定された範囲における音符のイメージを分析して音符
   の棒の存在範囲を確定する工程と、を有することを特徴
   とする楽譜認識方法。
2. （２）記録シートに記録された楽譜のイメージを読み取
   って楽譜を自動的に認識する楽譜認識装置において、 読み取られた楽譜のイメージから音符のイメージを抽出
   する抽出手段と、 上記抽出手段により抽出された音符のイメージを音符の
   棒の方向とほぼ平行な方向に走査して音符のイメージの
   射影プロフィールを生成する生成手段と、 上記生成手段により生成された射影プロフィールから、
   音符の棒が存在しそうな範囲を限定する範囲限定手段と
   、 上記範囲限定手段により限定された範囲における音符の
   イメージを分析して音符の棒の存在範囲を確定する工程
   と、 を有することを特徴とする楽譜認識装置。