JP3147846B2 - 楽譜自動認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、楽譜を２次元画
像データに変換し、この画像データから音符および記号
を認識する楽譜自動認識装置に関する。

【０００２】

【従来の技術】活字のように変形のない記号で印刷され
た楽譜をイメージスキャナで画像データに変換し、この
画像データに基づいて楽譜情報を認識して、例えばＭＩ
ＤＩ（Musical Instrument Digital Interface）コード
を自動的に作成しようとする試みがある。

【０００３】このような場合の処理は、まず、画像デー
タ中の音符の情報を得るために邪魔になる五線および小
節線のデータを除去して、残った音符や記号を認識して
ＭＩＤＩコードを作成する。その際、認識し終わった音
符や記号のデータは、次に認識する音符や記号の認識の
邪魔にならないように逐次除去していく。

【０００４】すなわち、具体的な処理の流れは次のよう
になる。 (1) 楽譜データ取り込み。 (2) 五線検出。 (3) 五線除去。 (4) 小節線検出。 (5) 小節線除去。 (6) 音符検出。 (7) 音符認識。 (8) 音符除去。 (9) 記号検出。 (10)記号認識。 (11)記号除去。

【０００５】なお、(10)の記号認識まででＭＩＤＩコー
ドは作成することができるので、必ずしも(11)の記号除
去をする必要はない。しかし、処理の便宜等のために記
号を除去してもよい。

【０００６】次に、(2) の五線検出の従来の一例につい
て説明する。五線は、音符の位置情報（音程）はもちろ
ん、記号の存在領域の指標をも与えてくれる。記号は楽
譜の全面にわたって存在するのではなく、歌詞や題を除
けば五線の内部とその周囲に存在領域が限定される。こ
の性質を利用することにより、記号の探索範囲を狭め、
認識時間を短くすることができる。五線は他の記号と比
べて、一見検出が容易そうであるが、実際には他記号と
の重なり・切れ・傾き・湾曲が存在し、しかも、記号検
出の際にはノイズの要因になるので、多くの場合予め五
線を除去する。なお、加線は数本、例えば五線の上下３
本ずつ予測する。

【０００７】計算機内に取り込まれた２次元楽譜画像に
おいては、五線の水平性は保証されておらず、ある程度
傾きをもっているものと考えられる。また、五線の線間
隔や１ページに書かれる段数も特に決まっていない。そ
こで、五線の各々においてその始点と終点を求め、それ
らの２点を結ぶ直線として五線をあらわす。このような
五線を検出するには、楽譜画像を縦方向に等間隔に１０
箇所走査して、黒画素および白画素のラン長を測定し、
それぞれヒストグラムをとって、これらのヒストグラム
において最大値をとるラン長をそれぞれ五線の線幅およ
び線間隔と考えることができる。

【０００８】次に、画像を再度縦方向に１０箇所走査
し、先に求めた線幅・線間隔の値をもとに各走査毎に五
線候補を選ぶ。全ての走査における五線候補をまとめ、
その頻度の高いところに一定の大きさのウィンドウをか
ける。そして、そのウィンドウを左右に動かし、横方向
の投影を利用し、始点と終点の正確な位置を求める。

【０００９】また、音符は一般に図２１に示すように符
頭１に必要に応じて符棒２が付加されさらに必要に応じ
て符尾３が付加されて構成されているが、(7) の音符認
識において、既に音符の符頭１と符棒２が認識されてい
る場合の符尾の位置および数を認識する方法の従来の一
例が特公平２−５９５１０号公報に示されている。次に
この方法について説明する。

【００１０】符尾の探査にあたり、符棒近傍にウィンド
ウを設定し、ウィンドウ内で縦軸方向のヒストグラムを
求める。ヒストグラムの連続が五線間隔の１／２以上で
且つ五線間隔以下のとき符尾と判断する。すなわち、こ
の場合画素の有無のみで判断している。また、単独の音
符の符尾の場合と連符の符尾の場合とで符尾の処理が異
なる。

【００１１】すなわち、連符の場合は、図２２に示すよ
うに注目している符棒Ｆ１、Ｆ２に対して横軸方向のヒ
ストグラムから各隣接するピーク間の距離を調べる。そ
して、ピークの間隔が符頭の幅よりも広い場合には符頭
１個分だけ離れた位置にウィンドウを設定するが、図２
２ではウィンドウＷ１、Ｗ１′およびＷ２がこれに相当
する。また、ピーク間隔が符頭の幅よりも狭い場合に
は、図２２のウィンドウＷ２′のように符棒Ｆ２のすぐ
横に設定する。こうして符尾の探査を行うためのウィン
ドウＷ１、Ｗ１′、Ｗ２およびＷ２′が設定されると、
各ウィンドウの内部で縦軸方向のヒストグラムを求め、
ヒストグラムの連続が五線間隔ＧＰの１／２以上で且つ
五線間隔ＧＰ以下のときに符尾と判断する。

【００１２】また、単独の音符の場合は、図２３に示す
ように符尾の長さ相当分だけ短くしたウィンドウＷ５、
Ｗ６を符棒の右側に設定する。これは、横方向のヒスト
グラムのピーク位置から符棒の位置を識別することがで
き、符尾は右側に付せられることからピーク位置から所
定距離だけ右側に沿って長形状のウィンドウＷ５、Ｗ６
を設定する。このウィンドウＷ５、Ｗ６を、さらに右方
向に所定距離だけ移動することによりウィンドウＷ５、
Ｗ６に重畳する符尾を探査することができる。すなわち
横方向のヒストグラムより単独音の切り出しを行って音
の高さを求め、符頭部分を除去した後に、符棒の右側に
符頭の横軸方向の幅の１／２の位置にウィンドウＷ５、
Ｗ６を設定し、このウィンドウＷ５、Ｗ６内で縦軸方向
のヒストグラムを求め、ヒストグラムの連続が五線間隔
ＧＰの１／２以上から五線間隔ＧＰ以下のときに、符尾
該当部分の計数を行うことにより符尾を探査することが
できる。

【００１３】特公平２−５９５１０号公報には、(8) の
音符除去等の従来の一例についても記載されている。次
に、この音符等の除去の従来の一例について説明する。
認識できた対象物を楽譜データ上から除去するが、この
場合、小節線は長形状のウィンドウによって行い、五線
はテンプレートの移動によって順次一線ずつ除去し、単
独音は全体を包含するウィンドウを用いて除去する。ま
た、連符の符頭および符棒は符尾を含まないウィンドウ
を用いて除去し、連符の符尾は逆に符頭、符棒を含まな
いウィンドウを用いて除去する。このようにして、小節
線、五線、単独音、連符の符頭および符棒、連符の符尾
がそれぞれに対応するウィンドウで切り出されて除去さ
れると、楽譜上に残っているデータは記号のみとなる。

【００１４】先に述べたように、楽譜の画像データの認
識におけるデータ処理の順番は五線、小節線、音符、記
号の順に行われ、記号が一番最後であるから記号の除去
は必ずしも行う必要はないが、音符と記号には同様の除
去法を利用することができる。音符は記号よりも先に認
識されるので、音符は記号の検出認識に先立って除去す
る。

【００１５】次に、(9) の記号検出としての記号の矩形
位置検出について説明する。記号の矩形位置の検出と
は、記号図形が存在するｘ軸、ｙ軸の範囲に対応する矩
形領域の座標データを得ることである。このように、矩
形位置すなわち記号位置を検出した後に、記号の認識、
すなわち記号種類の判別を行う。この記号の認識の際、
矩形座標内において認識処理を行う。そのために記号検
出の際に記号の矩形位置検出を行う必要がある。

【００１６】なお、矩形位置検出は、シャープ（＃）、
フラット（ ）、休止符、ト音記号、ヘ音記号等の記号
の検出に使用され、この記号検出より先行して行われる
音符の検出には、矩形位置検出でなく他の方法が用いら
れる。ちなみに、音符の検出には、例えば、ｘ軸投影し
て得られるピークの位置が符棒の位置であり、そこに音
符が存在すると認める方法が用いられる。

【００１７】

【発明が解決しようとする課題】上述したように、 (7)
の音符認識における符尾の認識の従来の方法では、ヒ
ストグラムをとるウィンドウ領域の設定が複雑であり、
単独の音符の符尾の場合と連符の符尾の場合とで符尾の
処理が異なるという問題がある。例えば、ＭＩＤＩコー
ドを作成するための楽譜認識のように、楽譜に示された
実質的な音楽情報が認識できればよい場合には、符尾の
数がいくつか、すなわち何分音符か、さらに言い換えれ
ばその音符が示す音の長さがわかればよく、符尾の形状
の厳密な認識は不要である。このような場合には、特公
平２−５９５１０号公報のように単独の音符の符尾の場
合と連符の符尾の場合とを区別する必要がなく、それよ
りも簡単な処理で符尾の数を確実に認識できることが望
ましい。

【００１８】そして、(8) の音符除去についても従来の
方法では、音符を画像データから除去するのに多くの処
理と時間を必要としていた。特に高速処理を可能とする
ためには、簡単な処理で音符を画像データから除去する
ことができるようにすることが望ましい。

【００１９】次に、(9) の記号検出のための記号の矩形
位置検出の従来の方法では、記号位置の厳密な検出は容
易ではなく、特に複数の画像データが近接して存在する
場合、言い換えればある矩形中に記号の画像データが分
離して存在する場合、これらを確実に分離して記号位置
を個別に検出することは困難であった。(10)の記号の認
識を確実に行えるようにするには、記号を囲む矩形中に
分離している画像データをもらすことなく検出すること
が重要である。

【００２０】この発明は、上述のような事情に鑑みてな
されたもので、楽譜情報を簡単で高速且つ的確に認識す
ることが可能な楽譜自動認識装置を提供することを目的
としている。

【００２１】さらに具体的には、この発明の目的は、単
独の音符の符尾の場合と連符の符尾の場合とで共通の処
理を行って、実質的な音符が示す音の長さの判定に必要
な符尾の数を容易に認識することができる楽譜自動認識
装置を提供することにある。

【００２２】この発明のその他の具体的な目的は、簡単
且つ高速に音符部分のみを画像データから除去してその
他の記号認識を容易にする楽譜自動認識装置を提供する
ことにある。

【００２３】この発明のさらにその他の具体的な目的
は、楽譜中の複数の記号データが近接して存在する場合
にも、それらを確実に分離して記号位置を個別に検出す
ることを可能とする楽譜自動認識装置を提供することに
ある。

【００２４】

【課題を解決するための手段】この発明に係る楽譜自動
認識装置は、楽譜を２次元画像データに変換し、この画
像データから五線データおよび小節線データを除去し、
音符および記号を認識する楽譜自動認識装置において、
符頭と符棒の位置が認識されている音符に対し、前記符
棒を中心として単独の音符の符尾と連符の符尾とを同様
に扱い得る所定の幅をもった矩形領域の横軸方向に存在
する画素数の縦軸方向についての分布データを求める画
素分布検出手段と、前記分布データについて符尾のピー
クを検出できる程度の大きさの所定値を連続的に超える
縦軸方向の長さに基づいて符尾数を検出する符尾数検出
手段とを具備し、前記符尾数を用いて音符認識を行うこ
とを特徴としている。

【００２５】この発明の他の楽譜自動認識装置は、楽譜
を２次元画像データに変換し、この画像データから五線
データおよび小節線データを除去し、音符および記号を
認識する楽譜自動認識装置において、前記五線データ及
び小節線データが除去された画像データから音符の符頭
及び符棒の位置を認識する音符認識手段と、この音符認
識手段によって符頭と符棒の位置が認識されている音符
に対し、前記符頭のない方の端点から符頭に向かって連
結する画像データを走査軸に沿って逐次除去する画像除
去手段を更に備えたことを特徴としている。

【００２６】この発明のより具体的態様においては、前
記画像除去手段によって音符が除去された画像データ中
の記号図形を横軸および縦軸に投影し、画素が連続して
存在する各軸の範囲からなる矩形座標を検出する第１の
矩形座標検出手段と、上記矩形座標内について横軸およ
び縦軸への投影による矩形座標の検出を行い得られた矩
形座標について同様の処理を繰り返す第２の矩形座標検
出手段と、上記第２の矩形座標検出手段により矩形座標
を分割することができなくなったことを判別する最終矩
形判定手段とを更に具備し、最終的に分割することがで
きなくなった矩形座標内に検出すべき記号図形が存在す
ると判断することを特徴としている。

【００２７】この発明の楽譜自動認識装置においては、
符頭と符棒の位置が認識されている音符に対し、符棒を
中心として所定の幅をもった矩形領域の横軸方向に存在
する画素数データについての所定値を超える連続する縦
軸方向の長さに基づいて符尾の数を決定するので、単独
の音符の符尾の場合と連符の符尾の場合とで共通の処理
を行って、実質的な音符が示す音の長さの判定に必要な
符尾の数を容易に認識することが可能となる。

【００２８】この発明の他の楽譜自動認識装置において
は、前記音符認識によって符頭と符棒の位置が認識され
ている音符に対し、前記符頭のない方の端点から符頭に
向かって連結する画像データを走査軸に沿って逐次除去
する画像除去手段を更に備え、音符の符頭、符棒及び符
尾のみを除去するようにしているので、例えば付点八分
音符等の付点、連符中の付点やシャープ、フラット記
号、休止符等を音符とは分離して残すことができ、その
後の記号認識処理が極めて楽になる。

【００２９】そして、このようにして音符が除去された
画像データ中の記号図形を横軸および縦軸に投影し、画
素が連続して存在する各軸の範囲からなる矩形座標内に
記号図形が存在するものとみなし、さらに上記矩形座標
内についての同様の矩形座標の検出を繰り返し、最終的
に分割することができなくなった矩形座標内に検出すべ
き記号図形が存在すると判断するように処理すると、楽
譜中の複数の記号データが近接して存在する場合にも、
それらを確実に分離して記号位置を個別に検出すること
が可能となる。

【００３０】

【発明の実施の態様】以下、図面を参照して、この発明
の実施例を説明する。図１には、この発明の実施例に係
る楽譜自動認識装置において、楽譜画像の五線の位置を
検出するための構成が示されている。楽譜自動認識装置
において音符や記号を認識する際に邪魔になる五線を除
去するために、この構成により五線の最上線すなわち第
５線のｙ座標と五線の間隔ｗを求める。

【００３１】この構成では、楽譜画像のｘ軸方向の黒画
素数の分布をｙ軸に沿ってとった１次元情報を信号処理
により分析して五線を検出する。すなわち、楽譜画像の
ｘ軸方向の黒画素数の分布をｙ軸に投影した１次元情報
に信号処理の手法である自己相関法を用いて、この信号
の最小周期を求めて、五線の各線の間隔とする。この五
線の間隔に対応する投影１次元情報の合計値が最大とな
る位置を探索して五線の位置を推定する。

【００３２】図１には、画像メモリ１１、五線間隔検出
手段１２、および五線位置検出手段１３が示されてい
る。五線間隔検出手段１２は、画素分布検出部１４、自
己相関処理部１５、および第１ピーク検出部１６を有
し、楽譜の２次元画像データから横軸方向に存在する画
素数の縦軸方向の分布データについて縦軸方向の自己相
関をとり、その第１ピークを求めて五線間隔とする。五
線位置検出手段１３は、５点加算部１７、シフト制御部
１８、フィルタ部１９、ピーク点検出部２０、および位
置検出部２１を有し、五線間隔検出手段１２で得られた
五線間隔に基づいて、前記画素数の縦軸方向の分布デー
タの縦軸方向に各々前記五線間隔ずつずれた５点のデー
タを加算し且つこの５点を逐次縦方向にシフトして、最
大の加算データが得られたときの前記５点の位置より五
線の位置を検出する。

【００３３】次に、図２に示すフローチャートを参照し
て、この五線検出部の具体的な動作を説明する。 《ステップＳ１》：画像メモリ１１には、楽譜をイメー
ジスキャナ等により撮像して得た図３のような２次元楽
譜画像データが格納される。この場合、画像メモリ１１
に格納される楽譜画像データは、予め適宜なる手段を用
いて楽譜の傾きを修正しておく。

【００３４】《ステップＳ２》：画素分布検出部１４
は、画像メモリ１１に格納された楽譜の２次元画像デー
タのｘ軸方向の画素数をｙ軸に投影して、ｙ軸方向につ
いての画素分布データを求める。このｙ軸投影により得
られる画素分布データは、楽譜画像のｘ方向の黒画素数
をｙ軸にとっていったものである。図３に示す楽譜画像
データのｙ軸投影は図４のようになる。すなわち、楽譜
画像データを数１に示すｐ（ｉ，ｊ）を要素とする２次
元配列とする。

【００３５】

【数１】

【００３６】この楽譜画像データのｙ軸投影ｙ（ｔ）
（０≦ｔ≦Ｙ）は数２であらわされる。

【００３７】

【数２】

【００３８】数２のｙ（ｔ）はｙ座標の点ｔにおけるｘ
軸方向に並ぶ黒画素の和を示している。

【００３９】《ステップＳ３》：自己相関処理部１５
は、前記ｙ軸方向の画素分布データの自己相関をとる。
図４の画素分布データの自己相関値のデータを図５に示
す。第１ピーク検出部１６は、前記自己相関の第１ピー
クを検出し、この第１ピークをとるｙ軸の偏倚の値を五
線間隔ｗ（図６参照）とする。すなわち、まず、ステッ
プＳ２で画素分布検出部１４により得られたｙ軸投影ｙ
（ｔ）の自己相関をとる。ｙ軸投影ｙ（ｔ）の自己相関
ａ（τ）は数３であらわされる。

【００４０】

【数３】

【００４１】この自己相関ａ（τ）が第１ピークをとる
ときのτの値を五線間隔ｗと推定する。こうして五線間
隔検出手段１２による五線間隔ｗの検出が行われる。

【００４２】《ステップＳ４》：５点加算部１７は、画
素分布検出部１４により得られたｙ軸投影ｙ（ｔ）を、
第１ピーク検出部１６により得られた五線間隔ｗ毎の５
箇所について加算する。シフト制御部１８は、５点加算
部１７により加算される５点の位置をｙ軸方向に逐次シ
フトする。

【００４３】５点加算部１７は図７に示すような遅延加
算フィルタで構成することができる。遅延加算フィルタ
は、例えば、ｙ軸投影ｙ（ｔ）データを順次シフトする
とともに、五線間隔ｗ毎の５箇所にデータ出力点を有す
るシフトレジスタＳＲと、前記五線間隔ｗ毎の５箇所の
出力点のデータを加算する加算器ＡＤとで構成される。
この場合、シフトレジスタＳＲのデータシフトを制御す
るシフトクロックの制御手段がシフト制御部１８とな
る。図７のようなそれぞれｗ遅延させた５点を加算する
遅延加算フィルタにｙ軸投影ｙ（ｔ）を入力する。加算
器ＡＤで得られる５点和ｓ（ｔ）は数４であらわされ
る。

【００４４】

【数４】

【００４５】このようなｗ遅延させた５点を逐次ｙ軸方
向にシフトしていって、ｗ遅延させた５点がちょうど五
線に対応するとき、五線のｙ軸投影データが全部加算さ
れるので、結果は当然最も大きい値となる。このように
して得られる図４の画素分布データの５点和データは図
８のようになる。図８において矢印↓が付された個所が
それぞれ５線の位置に対応する。

【００４６】《ステップＳ５》：フィルタ部１９は、図
８において矢印↓が付された５線の位置に対応する各点
の検出を容易にするために、各種のフィルタリング処理
を行う。フィルタ部１９は、例えば差分フィルタ、絶対
値フィルタ、およびローパスフィルタにより構成され
る。ローパスフィルタとしては、例えば移動平均フィル
タが用いられる。５点加算部１７の出力ｓ（ｔ）を差分
フィルタに入力し、その出力を絶対値フィルタに、さら
に移動平均フィルタに入力する。これら各フィルタによ
る処理をそれぞれステップＳ６〜Ｓ８とする。

【００４７】《ステップＳ６》：入力をｑ（ｔ）、出力
をｒ（ｔ）とすると、差分フィルタの出力ｒ（ｔ）は数
５であらわされる。

【００４８】

【数５】

【００４９】《ステップＳ７》：入力をｑ（ｔ）、出力
をｒ（ｔ）とすると、絶対値フィルタの出力ｒ（ｔ）は
数６であらわされる。

【００５０】

【数６】

【００５１】《ステップＳ８》：入力をｑ（ｔ）、出力
をｒ（ｔ）とし、移動平均幅を４ｗと定めれば、ローパ
スフィルタである移動平均フィルタ出力ｒ（ｔ）は数７
であらわされる。

【００５２】

【数７】

【００５３】５点加算部１７の出力ｓ（ｔ）に基づいて
移動平均フィルタによって最終的に得られる出力ｚ
（ｔ）は数８であらわされる。

【００５４】

【数８】

【００５５】図８の５点和データに対して得られる移動
平均フィルタの出力ｚ（ｔ）は図９に示すようになる。

【００５６】《ステップＳ９》：ピーク点検出部２０
は、フィルタ部１９の最終出力、すなわち移動平均フィ
ルタの出力ｚ（ｔ）のピーク点を検出する。位置検出部
２１は、シフト制御部１８と関連して動作し、ピーク点
検出部２０で検出されたピーク点をもとに、五線の位置
を検出する。すなわち、フィルタ部１９の最終出力であ
る移動平均フィルタの出力ｚ（ｔ）がピークをとるｔの
値の近傍において、５点和ｓ（ｔ）が最大となるｔの値
を探索し、ここを五線の基準位置（例えば、第５線のｙ
座標）とする。

【００５７】このようにして、五線の基準位置および先
に求められた五線間隔ｗから、第１線から第５線までの
ｙ座標を計算することができ、五線位置を検出すること
ができる。検出された五線位置は、楽譜画像データから
五線データを順次除去するのに用いられ、さらに、その
後の音符の認識に際しての音階判定にも利用される。

【００５８】図１０には、楽譜自動認識装置において楽
譜画像の既に符棒と符頭が認識されている音符の符尾の
数を検出するための構成が示されている。符棒と符頭が
既に認識されている音符の示す音の長さを認識するため
に、この構成により符尾の数を検出する。

【００５９】この構成では、符頭と符棒の位置が既に認
識されている音符に対して、符棒を中心として、所定の
幅、例えば（五線間隔×０．５）、をもった矩形領域の
黒画素のヒストグラムをｙ軸上にとる。そしてこのヒス
トグラムのパターンを追跡して実質的なピークの個数を
判定し、符尾の数を推定する。

【００６０】図１０には、画像メモリ３１、画素分布検
出手段３２、および符尾数検出手段３３が示されてい
る。画像メモリ３１には、２次元楽譜画像データから既
に五線および小節線が除去された楽譜画像データが格納
されており、楽譜画像データ中の音符の符頭と符棒の位
置が既に認識されている。画素分布検出手段３２は、既
に認識されている音符の符頭と符棒の位置に基づいて、
音符に対し、符棒を中心として所定の幅をもった矩形領
域を定め、その矩形領域の横軸方向に存在する画素数の
縦軸方向についての分布データを求める。符尾数検出手
段３３は、データ値判別部３４、および符尾数判定部３
５を有し、前記分布データについて連続して所定値を超
える縦軸方向の長さに基づいて符尾数を検出する。

【００６１】次に、この構成の具体的な動作を説明す
る。画像分布検出手段３２は、符頭と符棒の位置が既に
認識されている音符に対して、図１１のように、符棒を
中心として、所定の幅、例えば（±五線間隔×０．
５）、をもった矩形領域の黒画素数のｙ軸方向について
の分布を示すヒストグラムをとる。符尾数検出手段３３
は、前記分布パターンに基づいて符尾の数を推定する。
符尾数検出手段３３のデータ値判別部３４は、ヒストグ
ラムｐrjを以下の手順に従って追跡する。

【００６２】[1] ３変数の初期化 status=0 len=0 n=0 ここで、ｓｔａｔｕｓはヒストグラムｐrjの状態を示す
変数（０のとき低レベル、１のとき高レベル）、ｌｅｎ
はヒストグラムｐrjが所定値以上の高レベルを保ってい
るｙ軸方向の長さ、ｎは符尾数である。

【００６３】[2] ｙ軸走査変数をｉとして、ｉ＝０〜Ｙ
について次の処理を繰り返す。 if status=1 if prj(i)>θ then len=len+1 else （len から符尾の数を推定してｎに加える）, status=0, len=0 else if prj(i)>θ then status=1, len=len+1 この場合、所定値θは符尾のピークを検出できる程度の
大きさであり、例えば（五線間隔×０．３）に相当する
値である。符尾数判定部３５は、ｌｅｎに基づいて符尾
の数を推定する。すなわち、 ｗ１＝五線間隔×０．８ ｗ２＝五線間隔×０．４ とおいて、符尾数は次の数９で推定することができる。

【００６４】

【数９】

【００６５】この数９による符尾の数の推定は、例えば
図１２のように、ノイズ等で符尾間がつぶれている音符
において、単にピークの数より符尾数を１とすることを
回避するために有効である。このようにすれば、単独の
音符の符尾と連符の符尾とを同様に扱って符尾の数を有
効に判定することが可能となる。

【００６６】図１３には、楽譜自動認識装置において、
五線および小節線が既に除去されている画像から音符が
検出され認識された後、次に行われる記号の認識を阻害
する要素を減弱するために、既に検出され認識された音
符を除去するための構成が示されている。

【００６７】この構成では、既に位置のわかっている符
頭と符尾およびそれらと接続している点を高速に除去す
る。すなわち、音符を、ｘ軸方向の線分がｙ軸方向上に
積み重なったものとして考え、符棒の符頭のないほうの
端点から符頭に向かって、順次これらの線分を除去して
ゆく。除去すべき線分は、１つ前のステップで除去した
線分と接続している線分である。

【００６８】図１３には、画像メモリ４１、音符認識手
段４２、連続データ検出手段４３、および画像除去手段
４４が示されている。音符認識手段４２は、画像メモリ
４１に格納されている予め五線および小節線が除去され
た楽譜画像データから音符を認識する。連続データ検出
手段４３は、除去すべき画像データである音符画像デー
タの所定走査軸のデータの除去範囲に基づいて、次の走
査軸に存在するデータのうち、前記所定走査軸のデータ
の除去範囲と座標が少なくとも一部重なる連続データを
求める。画像除去手段４４は、連続データ検出手段４３
で得られる連続データを画像メモリ４１内の楽譜画像デ
ータから逐次除去する。

【００６９】次にこの構成の具体的な動作を説明する。
記号の検出および認識を確実に行うためには、音符の位
置検出および認識は記号の検出の前に行い、さらに記号
の検出の前に楽譜画像データから音符の画像データを除
去する必要がある。画像メモリ４１に格納されている楽
譜画像データは、従前の処理により五線および小節線が
除去されている。この五線および小節線が除去された楽
譜画像データから音符認識手段４２が音符の検出および
認識を行う。音符認識手段４２における音符の検出の方
法としては従来より用いられている方法を用いることが
できるので、特に説明しないが、この音符認識手段４２
による音符の検出の際の音符の位置検出により音符の符
頭、符尾および符棒の位置が検出される。

【００７０】既に位置のわかっている符頭と符尾および
それらと接続している点を高速に除去するため次のよう
な処理を行う。図１４に付点八分音符の例を模式的に示
すように、音符を、ｘ軸方向の線分がｙ軸方向上に積み
重なったものとして考え、これらの線分を順次除去す
る。開始点は、符棒の符頭のないほうの端点とし、この
点から始めて、符頭に向かって処理を進める。除去すべ
き線分は、１つ前のステップで除去した線分と接続して
いる線分である。連続データ検出手段４３はこの線分デ
ータを逐次検出する。ここで、線分（ｘ₁ ，ｙ₁ ）−
（ｘ₂ ，ｙ₁ ）（ただし、ｘ₁ ≦ｘ₂ ）と接続している
線分（ｘ₁ ′，ｙ₂ ）−（ｘ₂ ′，ｙ₂ ）（ただし、ｘ
₁ ′≦ｘ₂ ′）とは次の条件を満たす線分である。

【００７１】

【数１０】

【００７２】この条件を満たす線分からなる連続データ
が除去すべき音符画像データに対応する。画像除去手段
４４は、この連続データを画像メモリ４１内の楽譜画像
データから逐次除去する。上述の操作により、音符をほ
ぼ完全に除去することができる。図１４に示す付点４
は、八分音符の符頭、符棒、および符尾を除去した後
に、後述するように記号として検出し認識して、その後
に除去する。

【００７３】また、この構成は、次に述べる記号を認識
後に除去するためにも上述とほぼ同様にして実施するこ
ともできる。

【００７４】図１５には、楽譜自動認識装置において、
五線、小節線、および音符が既に除去されている画像か
ら記号を検出するために記号の存在する厳密な位置を検
出するための構成が示されている。

【００７５】この構成では、記号図形を包含する矩形位
置を検出する。図形を包含する矩形とは、図形の最小ｘ
座標、ｙ座標を一端、図形の最大ｘ座標、ｙ座標を他端
とする線分を対角線とする長方形である。図形のｘ軸お
よびｙ軸への投影情報を交互に且つ繰り返し得ることに
より前記矩形位置を検出する。

【００７６】図１５には、画像メモリ５１、第１の投影
部５２、第２の投影部５３、および最終矩形判定手段５
４が示されている。第１の投影部５２は、例えば楽譜画
像の全体またはｙ軸投影情報に対応する領域の図形のｙ
軸方向の黒画素数のｘ軸に沿う分布情報をとり、図形の
ｘ軸投影情報を得る。第２の投影部５３は、ｘ軸投影情
報に対応する領域の図形のｘ軸方向の黒画素数のｙ軸に
沿う分布情報をとり、図形のｙ軸投影情報を得る。最終
矩形判定手段５４は第１の投影部５２および第２の投影
部５３で得られるｘ軸投影情報またはｙ軸投影情報が前
回のｘ軸投影情報またはｙ軸投影情報と等しい場合に、
その図形についての矩形領域が確定したものと判定し、
そうでない場合には第１の投影部５２で得られたｘ軸投
影情報を第２の投影部５３に与え、第２の投影部５３で
得られたｙ軸投影情報を第１の投影部５２に与えて、さ
らにｙ軸投影情報およびｘ軸投影情報の探査を繰り返
す。

【００７７】次にこの構成の具体的な動作を説明する。
記号図形を包含する矩形、すなわち記号図形の最小ｘ座
標、ｙ座標を一端、記号図形の最大ｘ座標、ｙ座標を他
端とする線分を対角線とする長方形の位置を的確に求め
るために、図形のｘまたはｙ軸への投影情報を交互に求
める。図形のｘ軸およびｙ軸への投影とは、それぞれｙ
軸およびｘ軸方向の黒画素数の分布をｘ軸およびｙ軸に
沿ってとったものである。

【００７８】例えば、実際の記号とは異なるが図１６の
ような図形Ａ、Ｂ、およびＣが画像メモリ５１に格納さ
れた画像データに含まれているものとする。これら図形
Ａ、Ｂ、およびＣをそれぞれ包含する矩形の位置の検出
を考える。

【００７９】(1) まず、第１の投影部５２によりｘ軸へ
の投影をとる。その結果、ｘ軸に２つの領域Ｒ_X1および
Ｒ_X2が得られ、図形Ａと図形ＢおよびＣとが分離され
る。 (2) 第２の投影部５３によりこれら領域Ｒ_X1およびＲ_X2
の各領域区間内でそれぞれｙ軸への投影をとる。すなわ
ち、上記２つの領域Ｒ_X1およびＲ_X2について別々にｙ軸
投影する。その結果、領域Ｒ_X1からはｙ軸に領域Ｒ_Y1が
得られ、領域Ｒ_X2からは領域Ｒ_Y2およびＲ_Y3が得られ、
図形Ｂと図形Ｃとが分離される。 (3) 同様にして、領域Ｒ_Y1、Ｒ_Y2およびＲ_Y3の各領域区
間内でｘ軸への投影をとる。最終矩形判定手段５４は、
この結果として得られる領域区間が(1)で得られた結果
と同じか否かを判定し、同じであれば終了する。図１６
の場合、図形Ａについては処理を終了し、図形ＢとＣに
ついては、ｘ軸への投影領域が定まる。 (4) 以上の操作を繰り返す。

【００８０】上述のアルゴリズムを用いた場合、矩形が
交わるような位置、すなわちｘ軸およびｙ軸投影したと
きに両方で重なり合うような位置関係にある図形の検出
は正しく行われない。しかし、楽譜の記号図形において
は、このようなものはほとんどなく、問題にはならな
い。ただし、音符の中には特別なものがあり、これは問
題となるおそれがある。例えば、付点八分音符等の付
点、連符中の付点、休止符等である。そこで、このよう
な検出できない部分を認識するために、前もって前述し
た手段により音符を除去しておく。このように音符を除
去しておくことにより、上記検出できない部分も検出す
ることが可能となる。

【００８１】上述のような処理により、例えば図１７に
示すような楽譜画像データから五線および小節線が検出
除去され、図１８のような画像となり、この画像から音
符（符頭、符尾等）が検出され認識され除去されて、図
１９のような画像となり、残った記号が検出され認識さ
れ除去されて、図２０のような画像となり、残った記号
が認識される。なお、この発明におけるアルゴリズムで
は、五線、小節線、音符等の画像を認識し除去した後
に、若干の消し残りがでてしまうこともある。しかしな
がら、このような消し残りがあった場合には、予め登録
してある記号等の図形の矩形の大きさと異なるサイズの
データは認識しないようにすれば、前記消し残りが他の
記号の認識に与える影響を未然に防ぐことができるの
で、問題は生じない。

【００８２】

【発明の効果】以上述べたように、この発明によれば、
楽譜を２次元画像データに変換し、この画像データから
五線データおよび小節線データを除去し、音符および記
号を認識する楽譜自動認識装置において、楽譜情報を簡
単で且つ高速化の容易な構成で的確に認識することを可
能とする楽譜自動認識装置を提供することができる。

【図面の簡単な説明】

【図１】 この発明にの実施例に係る楽譜自動認識装置
の五線検出のための構成を模式的に示すブロック図であ
る。

【図２】 図１の構成の処理動作を説明するためのフロ
ーチャートである。

【図３】 図１の構成の処理動作を説明するための楽譜
の一例を示す図である。

【図４】 図１の構成の処理動作を説明するためのｙ軸
投影ヒストグラムを示す図である。

【図５】 図１の構成の処理動作を説明するためのｙ軸
投影ヒストグラムの自己相関特性を示す図である。

【図６】 図１の構成の処理動作を説明するための図で
ある。

【図７】 図１の構成の処理動作を説明するための遅延
加算フィルタの構成を模式的に示すブロック図である。

【図８】 図１の構成の処理動作を説明するための５点
和特性を示す図である。

【図９】 図１の構成の処理動作を説明するための移動
平均フィルタ処理の施された結果を示す図である。

【図１０】 同楽譜自動認識装置における符尾数検出の
ための構成を模式的に示すブロック図である。

【図１１】 図１０の構成の処理動作を説明するための
音符の一部およびｙ軸投影データを模式的に示す図であ
る。

【図１２】 図１０の構成の処理動作を説明するための
音符画像の一例の一部を模式的に示す図である。

【図１３】 同楽譜自動認識装置における音符消去のた
めの構成を模式的に示すブロック図である。

【図１４】 図１３の構成の処理動作を説明するための
音符画像の一例の一部を模式的に示す図である。

【図１５】 同楽譜自動認識装置における記号検出のた
めの構成を模式的に示すブロック図である。

【図１６】 図１５の構成の処理動作を説明するための
画像の一例を模式的に示す図である。

【図１７】 この発明に係る楽譜自動認識装置の処理動
作を説明するための図である。

【図１８】 この発明に係る楽譜自動認識装置の処理動
作を説明するための図である。

【図１９】 この発明に係る楽譜自動認識装置の処理動
作を説明するための図である。

【図２０】 この発明に係る楽譜自動認識装置の処理動
作を説明するための図である。

【図２１】 音符の各部分の呼称を説明するための図で
ある。

【図２２】 従来の楽譜自動認識処理の一例を説明する
ための図である。

【図２３】 従来の楽譜自動認識処理の他の一例を説明
するための図である。

【符号の説明】

１１，３１，４１，５１…画像メモリ、１２…五線間隔
検出手段、１３…五線位置検出手段、１４…画素分布検
出部、１５…自己相関処理部、１６…第１ピーク検出
部、１７…５点加算部、１８…シフト制御部、１９…フ
ィルタ部、２０…ピーク点検出部、２１…位置検出部、
３１…画素分布検出手段、３３…符尾数検出手段、３４
…データ値判別部、３５…符尾数判別部、４２…音符認
識手段、４３…連続データ検出手段、４４…画像除去手
段、５２…第１の投影部、５３…第２の投影部、５４…
最終矩形判定手段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−254574（ＪＰ，Ａ) 特開 昭60−220479（ＪＰ，Ａ) 特開 平１−213769（ＪＰ，Ａ) 特公 平２−59510（ＪＰ，Ｂ２) 「電子通信学会技術研究報告 ＰＲＬ 78−73」Ｖｏｌ．78 Ｎｏ．225 ｐ. 41−50”音楽情報の入力とデータベース の作成" (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 G10G 3/04 G10H 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 楽譜を２次元画像データに変換し、この
   画像データから五線データおよび小節線データを除去
   し、音符および記号を認識する楽譜自動認識装置におい
   て、 符頭と符棒の位置が認識されている音符に対し、前記符
   棒を中心として単独の音符の符尾と連符の符尾とを同様
   に扱い得る所定の幅をもった矩形領域の横軸方向に存在
   する画素数の縦軸方向についての分布データを求める画
   素分布検出手段と、 前記分布データについて符尾のピークを検出できる程度
   の大きさの所定値を連続的に超える縦軸方向の長さに基
   づいて符尾数を検出する符尾数検出手段とを具備し、前
   記符尾数を用いて音符認識を行うことを特徴とする楽譜
   自動認識装置。
2. 【請求項２】 楽譜を２次元画像データに変換し、この
   画像データから五線データおよび小節線データを除去
   し、音符および記号を認識する楽譜自動認識装置におい
   て、 前記五線データ及び小節線データが除去された画像デー
   タから音符の符頭及び符棒の位置を認識する音符認識手
   段と、 この音符認識手段によって符頭と符棒の位置が認識され
   ている音符に対し、前記符頭のない方の端点から符頭に
   向かって連結する画像データを走査軸に沿って逐次除去
   する画像除去手段を更に備えたことを特徴とする請求項
   １記載の楽譜自動認識装置。
3. 【請求項３】 前記画像除去手段によって音符が除去さ
   れた画像データ中の記号図形を横軸および縦軸に投影
   し、画素が連続して存在する各軸の範囲からなる矩形座
   標を検出する第１の矩形座標検出手段と、 上記矩形座標内について横軸および縦軸への投影による
   矩形座標の検出を行い得られた矩形座標について同様の
   処理を繰り返す第２の矩形座標検出手段と、 上記第２の矩形座標検出手段により矩形座標を分割する
   ことができなくなったことを判別する最終矩形判定手段
   と、 を更に具備し、最終的に分割することができなくなった
   矩形座標内に検出すべき記号図形が存在すると判断する
   ことを特徴とする請求項２記載の楽譜認識装置。