JPH0457183A - 楽譜認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は譜面上の楽譜を認識する楽譜認識方式に関し、
例えばニューラルネットワークを利用したものに適用し
得るものである。

［従来の技術］ 従来、楽譜を認識する方法としては、認識対象譜面から
取り出された記号（音符や休符）パターンと、予め用意
されている「手本記号」パターンとを比較して認識する
パターンマツチング法や、記号パターンを、その記号パ
ターンに外接する矩形領域の大きさや縦横比や点の分布
や線の繋がり等の特、徴に置換えて「手本特徴」と比較
する特徴分類法が用いられていたが、最近、ニューラル
ネットワークを利用した方法が提案されている。

第７図はニューラルネットワークの構成を示すものであ
る。このニューラルネットワーク１ｏは、例えば３段構
成のものであり、入力段の複数の処理ユニット１　］、
　ａ−１，１ｐと、中間段の複数の処理ユニット１２ａ
〜１２ｑと、出力段の複数の処理ユニット１３ａ〜１３
ｒと、入力段の処理ユニット群１１ａ〜ｌｉｐ及び中間
段の処理ユニット群１２ａ〜１２ｑを結ぶ複数のシナプ
ス２１ａ〜２１−８と、中間段の処理ユニット群１２ａ
〜１２ｑ及び出力段の処理ユニット群１３ａ〜Ｌ３ｒを
結ぶ複数のシナプス２２ａ〜２２ｔとから構成されてい
る。

各処理ユニット１−　］−ａ〜ｌｉｐ、１２ａ〜１２ｑ
、１３ａ〜１３ｒは、例えば、入力値に所定のバイアス
値を加えた後に所定関数（例えばシグモイド関数）に従
う変換を行なって出力値を形成するものである。各シナ
プス２１ａ〜２１ｓ、２２ａ〜２２１．は、シナプスの
起点側処理ユニットから出力された値を所定の荷重処理
した後に終点側処理ユニットに与えるものである。

このようなニューラルネットワーク１０には、楽譜から
音符や休符等の入力記号が切り出された後、その切り出
された記号が符号化された複数の入力データＩＮａ〜Ｉ
Ｎｐが入力される。例えば、切り出された記号領域を縦
横に分け、各分割領域の濃度値を数値化しな入力データ
ＩＮａ〜ＩＮｐが入力される。出力段の各処理ユニット
１３ａ〜１−３ｒは、各認識記号に対応するものである
。例えば、処理ユニット１−３ａが「４分音符」に対応
し、処理ユニット］−３ｂが「８分音符」に対応する。

ここで、上述した各処理ユニット］４１ａ〜１１−ｐ、
１２ａ〜１２ｑ、］、　３　ａ〜］−３ｒのバイアス値
、及び、各シナプス２’＋−ａ〜２１ｓ、２２ａ〜２２
ｔの荷重値を、学習処理により予め次のように定めてお
く。

すなわち、理想的な記号パターンの入力データ群ＩＮａ
〜ＩＮｐを、入力段の処理ユニット１１ａ〜ｌｌｐに与
え、そのとき、出力段のその記号に対応する処理ユニッ
トの出力値が「１」で他の処理ユニットの出力値が「０
」となるように定めておく。例えば、理想的な「４分音
符」のパターンに対応した入力データＩＮａ〜ＩＮｐを
入力したときに処理ユニット１．３　ａの出力値０ＵＴ
ａが［ＩＪとなり、他の処理ユニット１３ｂ〜１３ｒの
出力値ＯＵ　Ｔ　ｂ　〜ＯＵ　Ｔ　ｒが「０」となり、
また、理想的な「８分音符」のパターンに対応した入力
データＩＮａ〜ＩＮｐを入力したときに処理ユニット１
３ｂの出力値０ＵＴｂが「１」となり、他の処理ユニッ
ト１３ａ、１−３Ｃ〜１３ｒの出力値０ＵＴａ、０ＵＴ
Ｃ〜０ＵＴｒが「０」となるように、各処理ユニットｌ
ｌａ〜１−１ｐ、１２ａ〜１２ｑ、Ｌ３ａ〜１３ｒのバ
イアス値、及び、各シナプス２１ａ〜２１Ｓ、２２ａ〜
２２ｔの荷重値等を定めておく。

このようにしておくと、実際の譜面から得られた入力デ
ータＩＮａ〜ＩＮｐを与えたとき、その入力データに関
係する音符に対応する出力段の処理ユニットからの出力
値く確率）が最も大きくなり、その入力記号が該当する
音符や休符を認識することができる。

［発明が解決しようとする課題］ しかしながら、譜面上のかすれや汚れのために、楽譜認
識の精度が低下することも生じていた。

このような不都合を解決するため、従来、楽典規則を利
用していた。例えば、「１小節に含まれる音符や休符の
拍数合計は、拍子に等しい」を利用していた。そして、
この楽典規則が満たされていない場合には、音符や休符
を構成する付点や旗を詳細に再検索したり、休符を強制
的に挿入したり、エラーメツセージを表示してオペレー
タに補助を求めたりしていた。

しかし、付点や旗を詳細に再検索する方法では、処理に
多くの時間がかかつて能率が悪いと共に、拍数不一致の
原因が付点や旗でない場合には対応できないという問題
がある。また、休符を強制的に挿入する方法では、認識
対象の楽譜と異なる曲になることも生じる。さらに、オ
ペレータに補助を求める方法ではオペレータにかかる負
担が大きすぎるという問題を有する。

本発明は、以上の点を考慮してなされたもので、認識さ
れた楽譜が拍数にかかる楽典規則を満足しない場合の処
理を、迅速かつオペレータの負担をかけずに実行できる
、しかも、認識精度が高い楽譜認識方式を提供しようと
するものである。

［課題を解決するための手段］ かかる課題を解決するため、本発明においては、譜面画
像に含まれる入力記号が該当する可能性を有する複数の
記号候補に対する計数化したパラメータを得る処理と、
これらパラメータから各入力記号の第１記号候補の信頼
度を得る処理と、複数の入力記号のうち信頼度が低いも
のからその候補記号の置換え処理して、小節毎の拍数合
計が拍子と一致する各入力記号の組み合わせを検索して
楽譜を認識する処理とでなる。

［作用］ 本発明においても、まず、譜面画像に含まれる入力記号
が該当する可能性を有する複数の記号候補に対する計数
化したパラメータを得る。この後の処理が従来とは異な
る。すなわち、これらパラメータから各入力記号の第１
記号候補の信頼度を得、その後、複数の入力記号のうち
信頼度が低いものからその候補記号の置換え処理して小
節毎の拍数合計が拍子と一致する各入力記号の組み合わ
せを検索して楽譜を認識する。

その結果、認識された各入力記号の第１候補の組み合わ
せが拍数にかかる楽典規則を満足しない場合の処理を、
迅速かつオペレータの負担をかけずに実行でき、しかも
、その得られた認識精度を高くすることができる。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

第２図はこの実施例のハードウェア構成を示すものであ
る。この実施例も、ニューラルネットワークを利用した
他のパターン認識方式と同様なハードウェア構成を有す
る。

すなわち、中央処理ユニット（ＣＰＵ）３０及びメモリ
３１でなる主制御手段と、入力手段としてのキーボード
３２及びイメージスキャナ３３と、出力手段としてのＣ
ＲＴデイスプレィ３４及びプリンタ３５と、補助記憶装
置としてのフロッピーディスクドライブ３６とを備えて
いる。ニューラルネットワーク処理部３７（第７図参照
）は、ソフトウェア的に構成することもできるが、この
実施例の場合には、例えばデジタルシグナルプロセッサ
（ＤＳＰ）によってハードウェア的に構成されている。

キーボード３２からの情報によって処理モードが制御さ
れながら、イメージスキャナ３３が譜面から取り込んだ
画像データをフロッピーディスクドライバ３６に一旦格
納し、これをＣＰＵ３０がメモリ３１を利用しながら適
宜処理し、その際、ニューラルネットワークによる処理
が必要なときにはニューラルネットワーク処理部３７に
処理を実行させ、最終的に得られた楽譜認識結果をフロ
ッピーディスクドライバ３６によって記憶させたり、Ｃ
ＲＴデイスプレィ３４やプリンタ３５から出力させなり
する。

次に、この実施例の要部処理を、第１図、第３図〜第６
図を用いて説明する。

ＣＰＵ３０は、音符や休符等の記号領域を切り出し、そ
の切り出し領域を入力データ群ＩＮａ〜ＩＮｐに符号化
した後、第１図に示すように、ニューラルネットワーク
処理部３７による処理を実行させる（ステップ１００）
。その結果、出力段の処理ユニット１．３　ａ〜１３ｒ
（第７図参照）から出力データ（確率）群ＯＵ　Ｔ　ａ
〜ＯＵ　Ｔ　ｒが得られる。

第３図は、楽譜認識に供する楽譜例を１１個の小節につ
いて示すものである。この例の場合、拍子はｒ４／４Ｊ
であり、第３図に示す小節は、「８分音符」記号Ａ、「
２分音符」記号Ｂ、「８分体符Ｊ記号Ｃ及び［４分音符
Ｊ記号りからなるものである。

第４図は、第３図の楽譜例に対する出力データ群を示す
ものである。「８分音符」記号Ａは、５線譜との交差の
なめに「８分音符」の出力値（０゜６３３）だけでなく
「１６分音符」の出力値（０゜５４６）も大きな値とな
っている。「２分音符」記号Ｂは、その白抜き部分の白
抜きが不十分ななめに本来の「２分音符」の出力値（０
，５９４＞より「４分音符」の出力値（０，７１０＞が
太きくなっている。「８分休符」記号Ｃ及び「４分音符
」記号りは、本来の記号の出力値が他の記号の出力値よ
りかなり大きくなっている。

ＣＰＵ’３０は、ニューラルネットワーク処理部３７に
よって得られた出力値（確率）群から、値が大きいもの
を２個取り出してその値にががる記号を候補記号として
、その記号種類及び出力値を格納する（ステップ１０１
）。第５図における「第１候補確率」欄Ｘ１及び「第２
候補確率」欄Ｘ２が、かかる処理による各入力記号Ａ〜
Ｄに対する格納内容である。

次に、ＣＰＵ３０は、第１候補及び第２候補の確率から
、評価関数の−っとして、第１−候補の信頼度Ｒを算出
する（ステップ１．０２　）。例えば、信頼度Ｒを次式 ％式％（１） に従って求める。但し、Ｐａ、Ｐ２はそれぞれ第１候補
及び第２候補の確率であり、α及びβは荷重パラメータ
である。右辺第１−項は、第１候補が抜きんでているも
のか否かを示す項であり、右辺１、１ 第２項は第１候補及び第２候補の近さを示す項である。

第５図における「信頼度Ｒ」欄Ｙが、かがる処理による
格納内容である。

次いで、Ｃ’　Ｐ　Ｕ　３０は各入力記号に対する第１
候補又は第２候補の組み合わせに対して拍数を計算しく
ステップ１０３）、拍子と一致しているが否かを判別し
くステップ１０４）、一致している場合にその候補組み
合わせを出力して終了しくステップ１０５）　、不一致
の場合に各候補の組み合わせを変えて同様な処理を行な
い、各候補の全ての組み合わせに対して１個も一致する
ものを見つけられない場合にエラーメツセージを表示さ
せる（ステップ１０６〜１０８）。

第６図は、拍数計算に供する候補の組み合わせの変化順
序を示すものである。まず、全入力記号に対する第１候
補の組み合わせで拍数を計算する。

これが拍子と一致しない場合には、信頼度Ｒが最も低い
入力記号についてのみ第２候補と置換えて拍数を計算す
る。この組み合わせでも拍子と一致しない場合には、信
頼度Ｒが２番目に低い入力記号についてのみ第２候補と
置換えて拍数を計算する。これでも一致しない場合には
、信頼度Ｒが１番目及び２番目に低い入力記号について
第２候補と置換えて拍数を計算する。以下、同様に、信
頼度Ｒが低い入力記号側から候補の置換えを行なって拍
数計算及び拍子との一致判断を行なう。

このように、信頼度Ｒが高い入力記号に対して第１候補
を固定したまま、信頼度Ｒが低い入力記号側から置換え
を行なうようにしたのは、信頼度Ｒが低いものほど誤っ
ている可能性が高いためである。

第３図の楽譜の場合、各入力記号Ａ〜Ｄについての第１
候補の組み合わせでは、その拍数は、第５図の「第１候
補による拍数」欄Ｚ１に示すように、ｒ３／４」となっ
て拍子ｒ４／４Ｊと一致しない。そこで、信頼度Ｒが最
も低い入力記号Ａについて第１−候補の「８分音性Ｊか
ら第２候補の「１６分音符Ｊに置換えて拍数を計算する
。この場合の拍数は、第５図の「Ａを第２候補に入替え
」欄Ｚ２に示すように、’１１／１６Ｊとなって拍子”
４／４Ｊと一致しない。そこでさらに、信頼度Ｒが２番
目に低い入力記号Ｂについて第１−候補の「４分音符」
から第２候補の「２分音符」に置換えて拍数を計算する
。この場合のの拍数は、第５図の［Ｂを第２候補に入替
え」欄Ｚ３に示すように、ｒ４／ＺＬ３となって拍子ｒ
４／４４と一致し、そこで、「８分音符」、「２分音符
」、「８分休符」及び「４分音符」の組み合わせを認識
結果として出力する。

従って、上述の実施例によれば、オペレータを煩わせる
ことなく、拍子に一致した拍数の出力を得ることができ
る。この際、信頼度Ｒが低いものから置換えを行なうよ
うにしたので、拍子に一致した出力を迅速に見つけるこ
とができ、その認識精度も高くすることができる。

なお、上述の実施例においては、第２候補までの置換え
によって出力を得るものを示したが、第３候補以上の置
換えを行なうようにしても良い。

また、信頼度Ｒを得る関数も（１）式に示したものに限
定されない。

また、ニューラルネットワーク１０に対する入力データ
は、記号領域の分割領域毎の濃度に限定されるものでな
く、記号を細線化した後の各線のベクトル等地のもので
あっても良い。

さらに、用いる拍子情報は、楽譜の当初に記載されてい
るものを読み取って得ても良く、また、キーボード３２
から取り込むようにしても良い。

しかし、小節の区切りは、認識処理で得ることを要する
。

上記実施例では、ニューラルネットワークを利用した場
合を示したが、パターンマツチング法や特徴分類法に対
しても同様に適用することができる。すなわち、これら
方法であっても複数の記号候補に対する順序付けしたパ
ラメータ（類似度等）が存在し、これらパラメータから
各入力記号の第１候補の信頼度を得て、複数の入力記号
のうち信頼度が低いものから候補の置換えを行なって小
節毎の拍数合計が拍子と一致する各記号の組み合わせを
検索するようにすれば良い。

［発明の効果］ 以上のように、本発明によれば、入力記号が該当する可
能性を有する複数の記号候補に対する順序付けしなパラ
メータを得た後、これらパラメータから各入力記号の第
１候補の信頼度を得て、複数の入力記号のうち信頼度が
低いものから候補の置換えを行なって小節毎の拍数合計
が拍子と一致する各記号の組み合わせを検索して楽譜を
認識するようにしなので、認識された第１候補の組み合
わせが拍数にかかる楽典規則を満足しない場合の処理を
、迅速かつオペレータの負担をかけずに実行できる、し
かも、その得られた認識精度が高い楽譜認識方式を実現
できる。

【図面の簡単な説明】

第１図は本発明による楽譜認識方式の一実施例の処理フ
ローチャート、第２図はこの実施例のハードウェア構成
を示すブロック図、第３図は認識対象例を１小節につい
て示す説明図、第４図は上記実施例のニューラルネット
ワークからの出力値例を示す図表、第５図は上記実施例
の各処理段階で得られる値を示す図表、第６図は各入力
記号の候補の組み合わせの変化順序を示す図表、第７図
は適用するニューラルネットワーク例を示すブロック図
である。 １０・・・ニューラルネットワーク、１１ａ〜・１１−
ｐ、１２ａ〜１２ｑ、１３ａ〜′１３ｒ・・・処理ユニ
ット、２１ａ〜２　］、　ｓ、２２ａ〜２２ｔ・・・シ
ナプス、３０・・・中央処理ユニット（ＣＰＵ）、３１
−・・・メモリ、３３・・・イメージスキャナ、３６・
・・フロッピーディスクドライブ、３７・・・ニューラ
ルネットワーク処理部。

Claims (1)

1. 【特許請求の範囲】 譜面画像に含まれる入力記号が該当する可能性を有する
   複数の記号候補に対する計数化したパラメータを得る処
   理と、 これらパラメータから各入力記号の第１記号候補の信頼
   度を得る処理と、 前記複数の入力記号のうち前記信頼度が低いものからそ
   の候補記号の置換え処理して、小節毎の拍数合計が拍子
   と一致する前記各入力記号の組み合わせを検索して楽譜
   を認識する処理とでなることを特徴とした楽譜認識方式
   。