JPH06102871A - 楽譜認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 楽譜を少ない計算量で効率良く認識すること
ができ、しかも的確な楽譜上のイベント認識及び楽音出
力を可能にする。 【構成】 楽譜中の五線、音符、記号及びそれらの位置
等の認識結果に基づいて、イベントの発生順序及び符長
を求めると共に、同時発生する複数のイベントについて
は、同時発生情報で相互に関連付けるようにする。そし
て、楽音の発生間隔の決定に際して、同時発生情報で関
連付けられた複数のイベントが存在する場合には、それ
らのイベントのうち、符長が最短のイベントの符長に基
づいて発音間隔を決定する。また、イベントが休符の場
合には、その符長を前記発音間隔に加算する。これによ
り、簡単な処理で正しい発音間隔を決定することが可能
になる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、楽譜をイメージスキ
ャナ等により読み取って得た画像データから楽譜中の五
線、音符、記号及びそれらの位置等を認識し、その認識
結果に基づいて楽音の音高、発音タイミング及び発音時
間等の情報を生成出力する楽譜認識装置に関する。

【０００２】

【従来の技術】楽譜をイメージスキャナ等で読み取って
得られた画像データから楽譜情報を認識し、その認識結
果からＭＩＤＩ（Musical Instrument Digital Interfa
ce）データを作成すると共に、作成されたＭＩＤＩデー
タを電子楽器等のＭＩＤＩ音源装置に供給することによ
り、楽譜の読取から自動演奏までの処理を一貫して行わ
せようとする試みがある。

【０００３】従来より行なわれているこの種のシステム
の一般的な処理の流れを示せば次のようになる。 (1) 楽譜データ取り込み。 (2) 五線検出・認識。 (3) 五線消去。 (4) 小節線検出・認識。 (5) 小節線消去。 (6) 音符検出。 (7) 音符認識。 (8) 音符消去。 (9) 記号検出。 (10)記号認識。 (11)記号消去。 (12)演奏データ作成。 (13)自動演奏（ＭＩＤＩデータ作成・出力）。

【０００４】ここで、五線検出・認識は、垂直方向軸に
投影した水平方向の画素数のヒストグラム等に基づい
て、水平方向に長く連続する当間隔の線分を検出するこ
とにより行なわれる。検出された五線の垂直方向位置は
検出された音符の音高を決定する際の情報となる。検出
された五線は、音符及び記号の認識処理に不都合を与え
ないために消去される。検出された小節線は、同時に演
奏する複数の五線の組を認識するのに使用される。音符
検出・認識及び記号検出・認識処理は、公知のパターン
マッチングの手法を用いて行なわれる。なお、(10)の記
号認識まででＭＩＤＩコードは作成することができるの
で、(11)の記号消去は必ずしも必要ではないが、処理の
便宜上、記号を消去することもある。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の楽譜認識処理は、大型コンピュータによる処理
を前提としているために、複雑な画像処理を伴い、同様
の処理を一般的なパーソナルコンピュータで行なうと、
処理時間が長くなり、実用に耐えないという問題があ
る。また、楽譜には複数の音符を同時に発音させる和音
が存在し、しかも和音を構成する複数の音符の符長が全
て等しいとは限らないうえ、休符も存在するため、音符
及び記号からなるイベントの認識結果から実際の発音タ
イミングを決定するのは容易ではないという問題もあ
る。

【０００６】この発明は、このような事情に鑑みてなさ
れたもので、楽譜の認識を少ない計算量で効率良く行な
うことができ、しかも的確に楽譜上のイベント認識及び
楽音出力が可能になる楽譜認識装置を提供することを目
的とする。

【０００７】

【課題を解決するための手段】この発明に係る楽譜認識
装置は、楽譜のイメージを読み取って得られた画像デー
タから前記楽譜中の五線、音符、記号及びそれらの位置
等を認識し、その認識結果に基づいて楽音の音高、発音
タイミング及び発音時間等の情報を生成する楽譜認識装
置において、前記楽譜中の五線、音符、記号及びそれら
の位置等の認識結果に基づいて、前記音符の音高、前記
音符及び記号からなるイベントの発生順序及び符長、並
びに同時に発生すべき複数の前記イベントを関連付ける
同時発生情報を求めるイベント認識手段と、前記イベン
トの発生順序及び符長に基づいて前記楽音の発音間隔を
決定すると共に、前記同時発生情報で関連付けられた複
数のイベントが存在する場合には前記複数のイベントの
うち符長が最も短いイベントの符長に基づいて前記発音
間隔を決定する発音間隔決定手段とを備えたことを特徴
とする。

【０００８】なお、前記発音間隔決定手段は、前記イベ
ントが休符である場合には、その符長を前記発音間隔に
加算していくものであることを特徴とする。

【０００９】

【作用】この発明においては、楽譜中の五線、音符、記
号及びそれらの位置等の認識結果に基づいて、イベント
の発生順序及び符長を求めると共に、同時発生する複数
のイベントについては、同時発生情報で相互に関連付け
るようにし、楽音の発生間隔の決定に際して、同時発生
情報で関連付けられた複数のイベントが存在する場合に
は、それらのイベントのうち、符長が最短のイベントの
符長に基づいて発音間隔を決定するようにしているの
で、簡単な判定処理で正しい発音間隔を決定することが
可能になる。なお、イベントが休符の場合には、その符
長を前記発音間隔に加算していくという極めて簡易な方
法で、発音タイミングを容易に整合させることができ
る。

【００１０】

【実施例】以下、図面を参照して、この発明の実施例を
説明する。図１は、この発明の一実施例に係る楽譜認識
・自動演奏システムの構成を示すブロック図である。こ
の楽譜認識・自動演奏システムは、印刷楽譜等を読み取
って楽譜中の五線、音符、記号及びそれらの位置等を認
識し、その認識結果に基づいて楽音の音程、発生タイミ
ング及び発音時間等の演奏データを生成すると共に、こ
の演奏データに従ってＭＩＤＩデータを生成出力する楽
譜認識装置１と、この楽譜認識装置１から出力されるＭ
ＩＤＩデータに従って自動演奏処理を実行する電子楽器
等の外部ＭＩＤＩ音源装置２と、この外部ＭＩＤＩ音源
装置２により駆動されるスピーカ、オーディオ装置等の
出力装置３とにより構成されている。楽譜認識装置１
は、パーソナルコンピュータ、ワークステーション等の
コンピュータシステムからなり、システムバス１１を介
して相互に接続されたイメージスキャナ１２、ＣＰＵ１
３、ＲＯＭ１４、ＲＡＭ１５、タイマ１６、スイッチ１
７、ディスプレイ１８及びＭＩＤＩインタフェース１９
から構成されている。

【００１１】イメージスキャナ１２は、楽譜のイメージ
を光学的に読み取ってドットデータからなる２値画像デ
ータを原画像データとして楽譜認識装置１内に取り込む
画像入力装置である。ＣＰＵ１３は、ＲＯＭ１４に格納
された楽譜認識プログラムに従って、楽譜認識処理を実
行する。ＲＡＭ１５は、イメージスキャナ１２で取り込
まれた２値画像データを記憶すると共に、楽譜認識処理
を実行する際のワークエリアを提供する。タイマ１６
は、楽譜認識処理で得られた演奏データに基づいてＭＩ
ＤＩデータの出力タイミングを決定し、ＣＰＵ１３にＭ
ＩＤＩデータ出力のための割り込みをかける。スイッチ
１７及びディスプレイ１８は、楽譜認識装置１とオペレ
ータとの間のマンマシンインタフェースである。この楽
譜認識装置１は、生成したＭＩＤＩデータをＭＩＤＩイ
ンタフェース１９を介して外部ＭＩＤＩ音源装置２に出
力する。

【００１２】次に、このように構成された楽譜認識・自
動演奏システムの動作を説明する。図２は、楽譜認識・
自動演奏処理のフローチャートである。この実施例にお
ける楽譜認識・自動演奏処理は、大きく分けて次の４つ
の部分から構成されている。 （１）前処理（五線・小節線認識、傾斜補正、五線消去
およびビーム消去）。 （２）オブジェクト認識（外接長方形の探索およびマッ
チング処理）。 （３）イベント認識処理（音高認識および音長認識処
理）及び演奏データ作成。 （４）自動演奏（ＭＩＤＩデータ作成及び出力）。

【００１３】まず、イメージスキャナ１２で楽譜を読み
取り、楽譜の原画像データをＲＡＭ１５に保存する（ス
テップＳ１）。いま、図３に示すような楽譜をイメージ
スキャナ１２で読み込んだ場合、楽譜がＸ軸及びＹ軸に
対して傾いて読み取られることがある。この場合、図４
に示すように、得られた原画像データはＸ軸及びＹ軸に
対して所定角度だけ傾く。原画像データにこのような傾
きが存在すると、認識処理に多大な影響を与える。即
ち、Ｘ軸に対する傾きθ１については、五線がＸ軸方向
に長いという関係上、図４に示すように、僅かな傾斜で
もプロジェクション（ドット数のＹ軸投影図）Ｐのプロ
フィールはかなりなまった形になるので、五線位置の検
出が不可能になる。また、Ｙ軸に対する傾きθ２は、オ
ブジェクト認識でのマッチング処理や同時発生させるべ
き和音の認識を困難にする。

【００１４】そこで、このようなＸ軸及びＹ軸に対する
傾斜を補正すべく、前処理の第１段階として、五線認識
傾斜補正処理が実行される（ステップＳ２）。図５は、
この五線認識傾斜補正処理の詳細を示すフローチャート
である。まず、五線を認識する際の妨げになるオブジェ
クトを除去するため、原画像データからドットが水平方
向（Ｘ軸方向）に所定数だけ連続的に並んでいる水平ラ
ンを抽出する（ステップＳ１１）。オブジェクトを効果
的に除去するために、検出すべき水平ランのドット数
は、オブジェクトの一般的な水平方向長さよりも長い値
に設定する必要がある。図４の原画像データに対して水
平ランの抽出処理を行った結果を図６に示す。水平方向
に比較的長い成分を含むビーム等、五線以外の一部の画
像データが残ることがあるが、オブジェクトの大部分が
除去されるので、大きな支障はない。

【００１５】次に、抽出された水平成分画像データから
五線を判別する（ステップＳ１２）。即ち、図６に示す
ように、水平成分画像データを、左端から順次Ｙ軸方向
に走査し、間隔の揃った５本の水平線を五線として検出
する。より具体的には、Ｙ軸方向走査により検出される
水平のランの間隔が、図６に示すように、ｄ１、ｄ２、
ｄ３およびｄ４であるとすると、下記数１に示すＤｍ
（各水平ランの平均間隔）が下記数２に示すＤｓ（平均
間隔と各間隔との偏差の合計）が３ドット未満を満足す
る場合、これらの５本の水平ランを五線と判断する。即
ち、各水平ランの間隔のばらつきが所定値未満であれば
五線とみなす。

【００１６】

【数１】Dm＝（d1＋d2＋d3＋d4）／４

【００１７】

【数２】 Ds＝｜Dm−d1｜＋｜Dm−d2｜＋｜Dm−d3｜＋｜Dm−d4｜＜３ドット

【００１８】このとき、初めに上記の条件を満たした図
中黒ドットで示す位置を五線の位置とみなし、それら五
線の各Ｙ座標と五線の上端線から下端線までの幅Ｄａを
ＲＡＭ１５に記憶する。なお、イメージスキャナ１２の
解像度が３６０ｄｐｉの場合、五線の太さは５〜６ドッ
ト程度になるが、その場合には、各五線の中心のＹ座標
を記憶する。

【００１９】次に、図６に示すように、Ｘ軸方向に少し
ずつずらしながらＹ軸方向走査を実行し、下記数３によ
り五線の傾きθを算出する（ステップＳ１３）。

【００２０】

【数３】∠θ＝ tan-1（ｘ／ｙ）

【００２１】但し、ｘはＸ軸方向のドット数、ｙはＹ軸
方向のドット数である。なお、θはＸ軸方向ｘドット当
たり、Ｙ軸方向ｙドットというデータでもよい。また、
Ｙ軸走査の高速化を図るため、図６に示すように、五線
の位置が検出された後の走査では、五線の幅Ｄａの範囲
を飛ばすようにする。走査は必ずしもＸ軸方向の全範囲
について行う必要はなく、例えば左から１／３の範囲に
ついて行うだけでも傾きの判断は十分可能であり、この
場合、更に処理の高速化を図ることができる。

【００２２】次に、五線検出と同様の手法で原画像デー
タを例えばＸ軸方向に順次走査してＹ軸に長く延びる線
を小節線として検出する（ステップＳ１４）。例えばピ
アノ楽譜等、高音部（ト音記号付き）と低音部（ヘ音記
号付き）とを並行して演奏するため、複数の五線が共通
の小節線に結合されている場合には、五線の幅Ｄａの３
倍以上の長さを持つＹ軸方向線を小節線とみなす。この
ような条件は、楽譜の種類に応じて、スイッチ１７で指
定するようにしてもよい。ＲＡＭ１５には、小節線の情
報として、Ｘ座標及びその長さを記憶する。小節線の位
置の情報は、後述する音長の判定で拍子が合わないとき
のチェックに利用することができる。また、小節線の長
さの情報は、並行して演奏する五線の組を判断するのに
使用される。

【００２３】続いて、原画像データの傾斜補正処理が実
行される。この傾斜補正処理は、Ｙ軸方向傾斜補正処理
（ステップＳ１５）と、Ｘ軸方向傾斜補正処理（ステッ
プＳ１６）とからなる。Ｙ軸方向傾斜補正処理（ステッ
プＳ１５）では、先に求められた傾斜角度θに基づい
て、図７（ａ）に示すように、各五線およびその近傍部
分（演奏に関与するＹ軸方向の範囲）をＸ軸方向のブロ
ック毎に、原画像上のドットをＹ軸方向にドット単位で
シフトさせ、各五線及びその周辺毎にＹ軸方向に傾斜補
正を行う。各五線及びその周辺毎に傾斜補正を行うよう
にした理由は、楽譜によっては五線毎に傾角が異なって
いるものもしばしば見られるからである。Ｘ軸方向傾斜
補正処理（ステップＳ１６）についても、同様に傾斜角
度θに基づいて、図７（ｂ）に示すように、Ｙ軸方向に
連続するブロック毎に、原画像上のドットをＸ軸方向に
ドット単位でシフトして、Ｙ軸に対する傾斜を補正す
る。但し、このＸ軸方向傾斜補正処理は、傾斜角度θ
が、所定の角度以上である場合に限り実行するようにし
てもよい。上記所定の角度は、イメージスキャナの解像
度を考慮し、オブジェクト認識や和音検出に影響を与え
る限界値に設定する。また、この値は、小節線の長さに
よって変えるようにしてもよい。これにより、認識に影
響を与えない小さな傾斜の場合には、Ｙ軸に対する傾斜
補正処理を省略して処理時間を短縮することができる。
図８は、Ｙ軸方向傾斜補正処理後の画像データの例、図
９は、Ｘ軸方向傾斜補正処理後の画像データの例を示し
ている。傾斜補正後のＸ軸方向のプロジェクションのプ
ロフィールＰ′は、図９に示すように、五線の位置に高
いピーク値を持ったものとなる。

【００２４】そこで、次に傾斜補正後の画像データのＸ
軸方向のプロジェクションを求め（ステップＳ１７）、
得られたプロジェクションの各ピーク部分のＹ軸方向の
中心位置のＹ座標を五線の正式な位置とする（ステップ
Ｓ１８）。このとき、同時に正式な五線の間隔Ｄも求め
ておく。また、プロジェクションを求める方法の他、五
線が示すピーク値の中間位置を走査するようにＸ軸の中
間位置をサンプリングして、Ｄｓ＜３ドットの条件を満
たすＹ座標を五線の正式な位置とするようにしてもよ
い。なお、図９の画像データは、Ｘ軸方向の傾斜補正も
行っているので、Ｙ軸方向のプロジェクションを求める
と、後述するオブジェクト認識の際、オブジェクトの正
確なＸ軸方向位置を判定することもできる。

【００２５】以上の五線認識傾斜補正処理（ステップＳ
２）が終了すると、続いて、傾斜補正後の画像データか
ら五線部分のみを消去する（ステップＳ３）。このステ
ップＳ３で五線を消去するのは、後に述べるオブジェク
ト認識の際に五線が残っていると不都合を生じるためで
ある。五線を消去する際に注意しなければならないの
は、図１３（ａ）に示すように、楽譜を構成するオブジ
ェクトまで消去しないような処理を行わなければならな
いことである。

【００２６】この五線消去処理の詳細を図１０に示すフ
ローチャートを参照して説明する。まず、傾斜補正後の
画像データから、平均的な五線の太さに相当する所定の
太さ有し且つ認識された五線位置に沿う画素ドットの連
なりを弁別する（ステップＳ２１）。次に、その太さを
チェックしながら、所定の太さを満たさなくなった時点
で、その連なりの長さを弁別する（ステップＳ２２）。
その連なりが例えば五線間隔Ｄの２倍以上の連なりと判
断されれば、その連なりを消去する（ステップＳ２
３）。即ち、図９のＡを拡大して一部省略した図１１を
例にとると、五線の太さは５〜６ドット程度であるた
め、若干の余裕をとって、８ドット程度の太さＤｌに収
まるＸ軸方向の連なりを追跡し、太さの条件を満たさな
くなった時点ｔで、その連なりの長さＬｌが２Ｄ以上で
あるかどうかを判定する。もし、その条件を満たせば、
両端に若干のマージンＭをとって、その間の線分（図中
Ａｉの領域）を消去する。これにより、図１２に示すよ
うに、五線の大部分が消去され、同図Ｂの部分を拡大し
た図１３（ｂ）に示すように、五線を若干残した状態で
あるがオブジェクトの情報を完全に残した状態で五線を
消去することができる。なお、弁別の基準となる平均的
な五線の太さについては、予め一般的な楽譜より、五線
の間隔に対応する五線の太さの平均的な範囲を求めて記
憶させておくようにしてもよく、また、前述した五線認
識の結果を利用してもよい。

【００２７】五線消去処理（ステップＳ３）が終了する
と、次にビーム認識消去処理（ステップＳ４）を実行す
る。ビームも五線の場合と同様でオブジェクト認識の際
に、例えば図１４（ｂ）に示すような和音の黒丸（符
頭）の塊等と誤認するおそれがあるので、少なくとも音
長認識の処理を行うまでは画像データから消去してお
く。ただし、ビームの場合、一定の条件にあてはまらな
い形態のものも少なくなく、それを完全に認識判別する
ことは不可能であるので、以後の処理の便宜のため少な
くとも典型的な形態のビームを認識消去するようにす
る。仮に極端な形態のビームが消去されずに残ったとし
ても、オブジェクトが消去されるよりは好ましい。典型
的な形態のビームの条件としては、図１４に示すよう
に、太さＤｂ、長さＬｂ及び角度θｂが下記の条件を満
たすものとする。

【００２８】太さ Ｄ／３＜Ｄｂ＜Ｄ 長さ Ｌｂ≧２Ｄ 角度 −４５°≦θｂ≦４５°

【００２９】図１５は、このビーム認識消去処理のフロ
ーチャートである。まず、五線が消去された画像データ
から太さＤｂの条件を満たすドッドの連なりを弁別し
（ステップＳ３１）、その連なりが長さＬｂの条件を満
たすかどうかを弁別する（ステップＳ３２）。その連な
りが２つの条件を満たしていれば、最後にその連なりが
角度θｂの条件を満たしているかどうかを弁別する（ス
テップＳ３３）。そして、全ての条件を満たしたドット
の連なりを消去する（ステップＳ３４）。

【００３０】ビーム認識消去処理（ステップＳ４）が終
了すると、次にオブジェクト認識処理（ステップＳ５）
を実行する。このオブジェクト認識処理の詳細を図１６
に示すフローチャートを参照して説明する。まず、画像
の全面に対してマッチング処理を行うのは効率が悪いの
で、マッチング処理を行う範囲を限定するため、五線お
よびビームが消去された画像データをスキャンして、ド
ットの塊が存在する範囲毎に外接長方形を設定する（ス
テップＳ４１）。例えば、図１７に示すように、五線お
よびビームが消去された画像を、左上から水平に逐次ス
キャンして、図示＊点でドットにぶつかったら、そのド
ットの塊の輪郭（◇で示す）を図示矢印方向に追跡し
て、ＸＹの最大値Ｘmax，Ｙmax 及び最小値Ｘmin ，Ｙm
in を求め、これらの座標値で囲まれる長方形を外接長
方形とする。具体的には、図示＊点を起点として、「上
下左右を調べ、ドットがあればその点をレジストして、
そのドットを一旦消す」という操作を上下左右を調べて
ドットが見つからなくなるまで繰り返す。なお、五線お
よびビームが消去された画像を、全てのドットの塊の外
接長方形が求められた時点で、復元できるようにするた
め、五線およびビームが消去された画像を、外接長方形
を求める前に別途保存しておくか、あるいは一旦消去し
たドットの位置を全てレジストしておく。

【００３１】次に、求められた外接長方形内を、レファ
レンスパターンでスキャンして、マッチング度を評価す
る（ステップＳ４２）。このステップＳ４２で用いるマ
ッチングのテンプレートとしてのレファレンスパターン
は、図１８に示すように、各種オブジェクトのパターン
の特徴を効果的にとらえるような特徴点、すなわち画素
ドットが存在すべき点（図中黒丸）及び画素ドットが存
在してはならない点（図中白丸）の分布パターンとして
形成されたもので、予めＲＯＭ１４に登録されている。
図１８は、シャープ記号（ａ），（ｂ）、ナチュラル記
号（ｃ）、全音符（ｄ）、２分音符（ｅ）及び４分音符
（ｆ）のリファレンスパターンを示している。シャープ
記号（ａ），（ｂ）とナチュラル記号（ｃ）とは、かな
り類似しているが、右上及び左下の部分が、前者では画
素ドットの存在すべき点、後者では画素ドットの存在し
てはならない点に設定されているので、この相違によっ
て両者を識別することができる。また、全音符（ｄ）と
２分音符（ｅ）も、かなり類似しているが、楕円の傾き
を考慮した図示のようなパターンを使用することによっ
て、両者を識別することができる。また、レファレンス
パターンは、五線の消え残し（前述の五線消去のときに
残したマージンＭ）の部分を判断しないようなパターン
に設定されている。また、図１８（ｂ）に示すように、
同（ａ）に対してオブジェクトが半音ずれた状態では五
線の消え残しの位置が異なり、五線が消え残る可能性の
ある位置には、特徴点を付けないようにしているので、
五線の一部が残っていてもその影響を受けない。

【００３２】ＲＯＭ１４から読出されたレファレンスパ
ターンは、五線の間隔に基づいて縮小・拡大されてパタ
ーンマッチング処理に供される。このようにすることに
より、楽譜画像が、いかなる分解能で入力されたもので
あっても対応することができ、また児童向けの楽譜など
のようにオブジェクトの大きさが通常とは大きく異なる
ものにも対応することができる。こうして、オブジェク
トの大きさに対応させたレファレンスパターンを用い
て、外接長方形の中をスキャンして、各点において、も
し合致すれば評価値を「+1」とし、合致しなければ、図
１９に示すように、さらに上下左右斜め８方向を調べて
合致すれば評価値を「+0.9」とする。これはオブジェク
ト形状の多少の変形にも対応し得るようにするためであ
る。このような評価の結果、最終的に得られた評価値が
完全なマッチング時の９５％以上であれば、そのレファ
レンスパターンに該当するオブジェクトであると判定す
る（ステップＳ４３）。例えば、レファレンスパターン
が８個の特徴点から構成されているものとすると、評価
値が７．６（＝８×０．９５）以上であれば、そのレフ
ァレンスパターンに該当するオブジェクトであると判断
する。

【００３３】具体的な処理に当たっては、ステップＳ４
３のオブジェクト判別と、ステップＳ４２のマッチング
評価とを連携させ、「既に認識できたパターンは画像か
ら消去する」、「ある程度マッチング度を評価して極端
に合わなければ、そのレファレンスパターンについての
マッチング度の評価を打ち切り、次のレファレンスパタ
ーンの当てはめによるマッチング度の評価を行う」など
して、処理の高速化を図る。また、この方式では、付点
および全休符は、認識が困難であるので、これらについ
ては幾何学的な特徴をとらえて認識する。すなわち、全
休符は、五線の間隔からその楽譜の全休符の持つべき面
積を計算し、それにあてはまり、且つドットが稠密な図
形を探すことにより認識し、付点は、後述するイベント
認識の過程で、極端に面積が小さく且つドットの分散が
少ないという特徴に基づいて認識する。なお、各レファ
レンスパターンの情報には、その中心座標の情報も含ま
れており、オブジェクト認識された時点で、レファレン
スパターンの中心座標の画像データにおける座標が認識
されたオブジェクトの情報と対でＲＡＭ１５に登録され
る。

【００３４】オブジェクト認識処理（ステップＳ５）が
終了すると、次にイベント認識処理（ステップＳ６）を
実行する。図２０は、このイベント認識処理を示すフロ
ーチャートである。まず、五線認識処理で求められた五
線の情報と、オブジェクト認識処理で求められたオブジ
ェクトの座標情報とに基づき、音符の音高の認識を行う
（ステップＳ５１）。このステップＳ５１では、ステッ
プＳ４３で求められたシャープ、フラットおよびナチュ
ラル等の音高を制御するための音楽記号と、音符の白丸
および黒丸と（必要ならばさらに小節線と）をまとめて
Ｘ軸方向についてソートして、時系列に並べ変え、各音
符を逐次五線に当てはめて音高を決める。なお、ステッ
プＳ５１では、加線の部分については、原則的には、五
線の間隔Ｄを等倍した位置で音高を決定するが、実際に
は、加線の間隔は五線の間隔Ｄよりも広いことが多いの
で、それを考慮して、五線の間隔Ｄが例えば１．２倍等
の係数で広がっていくものとして音高を決定する。

【００３５】次に、ステップＳ４３のオブジェクトの判
別で得られた音符の符頭中心位置のＸ座標の近接の程度
を評価して、同時に鳴らすべき音を和音としてまとめる
（ステップＳ５２）。即ち、和音の形態としては、図２
１のｈ１，ｈ２，ｈ３のように種々の形態が考えられる
が、ｈ２の場合、同時に鳴らすべき音符の符頭中心のＸ
座標がＤｈだけずれることになる。この点を考慮して、
符頭中心のＸ座標の間隔Ｄｈが五線の間隔Ｄ以内のとき
に和音とみなすようにする。なお、和音検出をより正確
に行う場合には、後述するステムの間隔についても評価
の対象とすればよい。

【００３６】次に、音符の符頭に結合された縦棒（ステ
ム）の端の位置の評価を行う（ステップＳ５３）。この
処理は、ビームまたは旗の数を探索及びカウントする際
に、探索を開始する点を決めるのに必要な処理である。
すなわち、図２２に示すように、ステップＳ５３では、
音符の右上および左下の端部を探索し、これらと符頭の
黒丸または白丸の中心位置（図中＊で示す）との距離を
求め、より遠いほうをステム端（図中△で示す）の座標
とする。ステムの歪に対処するため、探索は、符頭中心
位置から左上、上、右上および右と、左、左下、下およ
び右下との２方向にドットを再帰的に行う。図２２
（ｂ）のように、符頭が白丸である場合は、中心点
「＊」から上下左右を追跡し、黒ドットに当たったらと
ころから再帰的に追跡を始めるようにすると、楽譜の印
刷にかすれなどがあっても、確実に探索を行うことがで
きる。また、もし、オブジェクトとして認識された音符
の符頭が白丸で、その右上端部から中心点までの距離
と、その左上端部から中心点までの距離との差が少ない
ときは、単音の全音符とみなす。

【００３７】ステム端の位置が検出されたら、ステム端
を基準として、ビームまたは旗のカウントを行う（ステ
ップＳ５４）。即ち、図２３に示すように、ステム端と
して検出された位置が符頭の右上デある場合には、ステ
ム端「△」を中心に左右にＤ／２だけ振った点からＹ方
向に沿い且つ下に向かって追跡を始める。追跡方向に連
続している画素ドットの数を数え、この値がステップＳ
３１で述べたビームの幅のマージンに収まっていればカ
ウントし、和音の黒丸をビームとしてカウントしてしま
うのを防ぐため、ある程度空白が続けば追跡を中止す
る。一方、検出されたステム端が符頭の左下の点である
場合には、ステム端を中心に左右にＤ／２だけ振った点
からＹ方向に沿い且つ上に向かって追跡を始める。次
に、このようにしてカウントした、左右のビーム数を比
較し、音長が短いほう、すなわちビーム数の多いほうを
そのイベントの持つ音長として認識する。従って、図２
３の場合、検索対象となっている真ん中の音符は、右側
のビーム２本が優先されて１６分音符として認識され
る。

【００３８】次に、付点検出処理（ステップＳ５５）が
実行される。例えば図２２のように、符頭の中心点から
横に五線間隔Ｄ、上下にＤ／３の長方形の範囲で探索
し、充分に面積が小さく且つ画素ドットの分散が少ない
ドット群があればそれを、その音符に付属する付点と認
識する。最後に、ステップＳ４３で認識された音符の情
報と、ステップＳ５２およびステップＳ５４で得られた
ビームまたは旗の数の情報とをもとにして音長を決定す
る。検出された付点があるときは、対応する音符の音長
に元の長さの半分を加えて音長とする（ステップＳ５
６）。このとき、先に求めた小節線の位置情報を利用し
て、１小節毎に音長を最終チェックすることにより、例
えば４／４拍子であるのに、３．５／４拍子分しか音符
が存在しない等のエラーを出力することができる。

【００３９】このようにして、イベントの認識結果は、
楽譜の認識結果としてＲＡＭ１５に適宜保存される。例
えば図２４の楽譜の認識結果は、図２５のようになる。
認識結果は、イベント番号、イベント種類、符長（４分
音符長を２４クロックとしたときのクロック数）、同時
発生（和音）フラグより構成される。イベント番号は、
音符ａ〜ｅ，ｈ及び休止記号ｆ，ｇ等を特定する番号、
イベント種類は音符か休符かを示す情報及び音符の場合
にはＣ４，Ｆ３等の音高情報である。同時発生フラグが
「１」である場合には、その直前のイベント情報と和音
を構成する。

【００４０】イベント認識（ステップＳ６）が終了する
と、次に、得られた認識結果から、ＭＩＤＩデータを作
成するための中間データである演奏データが作成される
（ステップＳ７）。即ち、図２６に示すように、外部Ｍ
ＩＤＩ音原装置２をコントロールするためには、求めら
れた符長からゲートタイム（実際のＭＩＤＩノートオン
データとノートオフデータの出力間隔で符長よりも短
い）を算出し、ノートオン及びノートオフのタイミング
を決定する必要がある。また、先行するイベントのノー
トオンタイミングから次のイベントのノートオンタイミ
ングまでの間隔、即ちデュレーションも決定する必要が
ある。そこで、図２５に示した認識結果から、デュレー
ション、ノートナンバ及びゲートタイムを含んだ演奏デ
ータを生成する。

【００４１】図２７は、演奏データ作成のフローチャー
ト、図２８は、この処理で作成される演奏データの一例
を示す図である。先ず、最初のノートイベントデータの
発生タイミングとしてデュレーションに「０」を書き込
むと共に、デュレーションレジスタ（ＤＵＲ）を「０」
にリセットする（ステップＳ６１）。次に、図２５に示
すように、予めＸ軸方向にソートされているイベント情
報をイベント番号の若い方から順番に取り出して、その
イベントに続くイベントの同時発生フラグが「１」であ
るかどうかを判定して、同時発生イベントの有無を判定
する（ステップＳ６２，６３）。同時発生イベントがな
い場合には、符長を次のイベントまでのデュレーション
としてＤＵＲに格納するが（ステップＳ６５）、同時発
生イベントがある場合には、その中で最短の符長を次の
イベントまでのデュレーションとしてＤＵＲに格納する
（ステップＳ６５）。

【００４２】続いて、イベントが音符であるかどうかを
判定し（ステップＳ６６）、音符である場合に限り、音
高に対応したノートナンバを書き込むと共に、符長×
０．８をゲートタイムとして書き込む（ステップＳ６
７，６８）。実際の楽器演奏では、スラーやスタッカー
ト気味の演奏を除き、ある音符の実際の発音期間は、符
長の０．８倍程度であることが多いためである。同時イ
ベントがある場合には、音符判定（ステップＳ６６）及
びノートナンバ、ゲートタイム書き込み（ステップＳ６
７，Ｓ６８）を繰り返す（ステップＳ６９）。他に同時
発生イベントがない場合には、ＤＵＲの内容をデュレー
ションとして書き込む（ステップＳ７１）。この時、書
き込まれたデュレーションデータが２つ連続する場合、
すなわち休符が存在したためにノートナンバ、ゲートタ
イムが書き込まれなかった場合は、連続する２つのデュ
レーションデータを加算して新たなデュレーションデー
タに書き直す。全てのイベントについて演奏データを作
成したら、最後にエンドデータを書き込む（ステップＳ
７０，７２）。この処理により、図２８に示すようなデ
ュレーション、ノートナンバ及びゲートタイムからなる
演奏データが求められる。

【００４３】最後に、求められた演奏データをもとに、
ＭＩＤＩデータを作成し、外部ＭＩＤＩ音源装置２に出
力することにより、自動演奏処理を実行する（ステップ
Ｓ８）。ここでは、テンポに応じた一定周期のクロック
をカウントし、演奏データに含まれるデュレーションの
時間が経過したら、ＭＩＤＩノートオンメッセージを出
力する。また、ノートオンを出力した時点から前記クロ
ックをカウントし、ゲートタイムの時間が経過したら、
ＭＩＤＩノートオフメッセージを出力する。これらのＭ
ＩＤＩデータは、例えば図２９に示すように、ノートオ
ン／オフ及び演奏チャンネルを示すステータスバイト、
音高を示すノートナンバ及び音の強さなどの情報である
ベロシティーの３バイトからなる。このうち、ベロシテ
ィーについては、アクセントやクレッシェンド、デクレ
ッシェンド等の強弱記号も認識した場合には、これらの
認識結果から作成してもよいし、認識した情報中にその
ようなデータがない場合には、スイッチ１７を通じて適
宜入力・作成するようにしてもよい。

【００４４】このようにして、簡単な処理で楽譜を正確
に認識することができるので、処理速度の向上と必要な
メモリ容量の削減とを図ることができ、パーソナルコン
ピュータシステムを使用して実用に耐え得る楽譜認識を
行うことが可能となる。なお、上記の実施例では、楽譜
の認識結果から、一旦演奏データを作成した後にＭＩＤ
Ｉデータを作成したが、認識結果から直接ＭＩＤＩデー
タに変換するようにしてもよい。また、五線の傾きの求
め方は実施例のものに限らず、五線の左端と右端の座標
を求め、その値から傾きを求めるようにしてもよい。ま
た、傾きの補正はＸ軸方向の補正の後にＹ軸方向の補正
をするようにしてもよい。

【００４５】

【発明の効果】以上述べたように、この発明によれば、
楽譜中の五線、音符、記号及びそれらの位置等の認識結
果に基づいて、イベントの発生順序及び符長を求めると
共に、同時発生する複数のイベントについては、同時発
生情報で相互に関連付けるようにし、楽音の発生間隔の
決定に際して、同時発生情報で関連付けられた複数のイ
ベントが存在する場合には、それらのイベントのうち、
符長が最短のイベントの符長に基づいて発音間隔を決定
するようにしているので、簡単な判定処理で正しい発音
間隔を決定することが可能になる。また、イベントが休
符の場合には、その符長を前記発音間隔に加算していく
という極めて簡易な方法で、発音タイミングを容易に整
合させることが可能になる。

【図面の簡単な説明】

【図１】 この発明の実施例に係る楽譜認識・自動演奏
システムブロック図である。

【図２】 同楽譜認識・自動演奏処理のフローチャート
である。

【図３】 同認識対象の楽譜の例を示す図である。

【図４】 同楽譜を読み込んで得られた原画像データと
そのプロジェクションとを示す図である。

【図５】 同五線認識傾斜補正処理のフローチャートで
ある。

【図６】 図処理における水平成分抽出画像を示す図で
ある。

【図７】 図処理における傾斜補正の方法を示す図であ
る。

【図８】 同処理におけるＹ軸方向傾斜補正後の画像デ
ータを示すである。

【図９】 同処理におけるＸ軸方向傾斜補正後の画像デ
ータとプロジェクションとを示す図である。

【図１０】 同五線消去処理のフローチャートである。

【図１１】 同処理における太さ及び長さ弁別の方法を
説明するための図である。

【図１２】 同処理で五線消去されたのちの画像データ
を示す図である。

【図１３】 同画像データの一部を拡大し比較例と共に
示した図である。

【図１４】 同ビーム認識消去処理を説明するための図
である。

【図１５】 同処理のフローチャートである。

【図１６】 同オブジェクト認識処理のフローチャート
である。

【図１７】 同処理における外接長方形の決定方法を示
す図である。

【図１８】 同処理におけるレファレンスパターンを示
す図である。

【図１９】 同処理におけるマッチング評価方法を示す
図である。

【図２０】 同イベント認識処理のフローチャートであ
る。

【図２１】 同処理における和音判別の方法を示す図で
ある。

【図２２】 同処理におけるステム端判別及び付点検出
方法を示す図である。

【図２３】 同処理におけるビーム・旗カウントの方法
を示す図である。

【図２４】 同イベント認識される楽譜の例を示す図で
ある。

【図２５】 同楽譜の認識結果を示す図である。

【図２６】 同認識結果で実際のＭＩＤＩ音源を駆動す
るタイミングを示すタイムチャートである。

【図２７】 同演奏データ作成処理のフローチャートで
ある。

【図２８】 同処理で作成された演奏データを示す図で
ある。

【図２９】 同演奏データから作成されるＭＩＤＩデー
タを示す図である。

【符号の説明】

１…楽譜認識装置、２…外部ＭＩＤＩ音源装置、３…出
力装置、１１…システムバス、１２…イメージスキャ
ナ、１３…ＣＰＵ、１４…ＲＯＭ、１５…ＲＡＭ、１６
…タイマ、１７…スイッチ、１８…ディスプレイ、１９
…ＭＩＤＩインタフェース。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 楽譜のイメージを読み取って得られた画
   像データから前記楽譜中の五線、音符、記号及びそれら
   の位置等を認識し、その認識結果に基づいて楽音の音
   高、発音タイミング及び発音時間等の情報を生成する楽
   譜認識装置において、 前記楽譜中の五線、音符、記号及びそれらの位置等の認
   識結果に基づいて、前記音符の音高、前記音符及び記号
   からなるイベントの発生順序及び符長、並びに同時に発
   生すべき複数の前記イベントを関連付ける同時発生情報
   を求めるイベント認識手段と、 前記イベントの発生順序及び符長に基づいて前記楽音の
   発音間隔を決定すると共に、前記同時発生情報で関連付
   けられた複数のイベントが存在する場合には前記複数の
   イベントのうち符長が最も短いイベントの符長に基づい
   て前記発音間隔を決定する発音間隔決定手段とを備えた
   ことを特徴とする楽譜認識装置。
2. 【請求項２】 前記発音間隔決定手段は、前記イベント
   が休符である場合には、その符長を前記発音間隔に加算
   していくものであることを特徴とする請求項１記載の楽
   譜認識装置。