JPH0997060A - 楽譜認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡単な処理で楽譜を効率良く認識することこ
とが可能な楽譜認識装置を提供すること。 【解決手段】 入力された楽譜画像データから各種記号
を認識して、演奏情報に変換する楽譜認識装置におい
て、楽譜画像データから細い線を構成する部分を分離す
る分離手段と、分離した細線画像から細い線で構成され
る記号を検出する細記号検出手段と、残りの太い画像か
ら太い記号を検出する太記号検出手段とを備える。これ
により、簡単な処理によって分離した画像から効率良く
記号を認識することができ、認識率が向上する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は楽譜認識装置に関
し、特に、簡単な処理で楽譜の構成要素を効率良く認識
することが可能な楽譜認識装置に関するものである。

【０００２】

【従来の技術】従来の楽譜認識装置においては、例えば
スキャナによって読み込んだ楽譜画像データについて、
五線、音符や各種記号を認識して、ＭＩＤＩファイルデ
ータ等の演奏データを生成するものがあった。そして、
楽譜に含まれる各種記号の認識処理においては、例え
ば、五線を検出し、検出した五線を消去することにより
ラベル（各種記号の画像）を分離する方式があった。

【０００３】

【発明が解決しようとする課題】通常、楽譜を演奏者が
読む時には、五線上に書かれた黒玉（符頭）で音の高さ
を判断し、その符頭から延びる縦の細い線（符尾）に接
続されている太い旗（符鉤または連鉤）の数などにより
音の長さを判断するというように、楽譜の細い部分と太
い部分を無意識のうちに分離していると思われる。

【０００４】一方、従来の楽譜認識装置における一番の
問題点は記号の分離である。楽譜は、五線上に記号が描
かれており、認識処理の際には、五線によってそれぞれ
の音楽記号のラベルが連結され、認識を困難にする原因
になっている。多くの楽譜認識装置では、認識の前処理
として、不必要なラベルの分離がなるべく起こらないよ
うに配慮しながら五線を消去するという処理が行われ
る。しかし、このような処理を行っても、多数の記号を
音楽的に見やすく配置するという楽譜の性質上、例えば
加線に接触した臨時記号など、記号同士が接触したラベ
ルは依然多く存在する。

【０００５】また、楽譜に特徴的な性質として、形が一
定でない記号の問題がある。音符などは、構造に規則性
はあるものの、ラベルとしての形は千差万別である、こ
のため、ラベルごとの辞書とのマッチングといった方式
では認識は不可能であり、構造解析法的な手法を採る必
要がある。ところが、従来の記号分離方式である五線消
去方式では、ラベル同士が接触している場合に分離する
ことができないし、音符のように、その形状が変化する
ものは認識が困難であるという問題点があった。本発明
の目的は、前記のような従来技術の問題点を解決し、簡
単な処理で楽譜を効率良く認識することことが可能な楽
譜認識装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明は、入力された楽
譜画像データから各種記号を認識して、演奏情報に変換
する楽譜認識装置において、楽譜画像データから細い線
を構成する部分を分離する分離手段と、分離した細線画
像から、細い線で構成される記号を検出する細記号検出
手段と、残りの太い画像から太い記号を検出する太記号
検出手段とを備えたことを特徴とする。本発明はこのよ
うな構成により、例えば楽譜認識の前処理として、楽譜
画像中の太い部分、細い縦線、細い横線を分離しておく
ことによって、人間が、楽譜を読む場合と感覚的に近い
認識法を構成することができ、分離した画像から効率良
く記号あるいは記号の部品を認識することができ、認識
率が向上する。また、小節線、符尾、加線などは、同じ
細線であっても太さが異なっている場合もあるが、細線
検出のしきい値を縦と横で変えて検出することにより、
これらの相違にも対応可能である。

【０００７】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。図１は本発明の楽譜認識装
置の１実施例の構成を示すブロック図である。この装置
は、パソコン等の一般的な計算機システムにスキャナや
ＭＩＤＩインターフェース回路を付加したものである。
ＣＰＵ１は、ＲＯＭ２あるいはＲＡＭ３に格納されるプ
ログラムに基づき、楽譜認識装置全体の制御を行う中央
処理装置である。また、予め設定された所定の周期でＣ
ＰＵ１に割り込みをかけるタイマ回路を内蔵している。
ＲＡＭ３はプログラムエリアの他、画像データバッフ
ァ、ワークエリア等として使用される。ハードディスク
装置ＨＤＤ４およびフロッピディスク装置ＦＤＤ５は、
プログラムおよび画像データ、演奏データ等を格納す
る。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインタ
ーフェース回路７から出力される映像情報を表示し、キ
ーボード８から入力された情報は、キーボードインター
フェース回路９を経てＣＰＵ１に取り込まれる。プリン
タ１０は、ＣＰＵ１の制御に基づき、プリンタインター
フェース回路１１から出力される印字情報を印字する。

【０００８】スキャナ１２は、（印刷された）楽譜を光
学的に走査して、２値あるいはグレイスケールの画像デ
ータに変換するものであり、フラットベッド型、ハンデ
ィ型、フィーダー型等任意のタイプのものを使用でき
る。スキャナ１２によって読み取られた画像情報は、ス
キャナインターフェース回路１３を介して、ＲＡＭ３あ
るいはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェ
ース回路１４は、音源モジュール等の外部のＭＩＤＩ機
器との間でＭＩＤＩデータの送受信を行う回路である。
バス１５は楽譜認識装置内の各回路を接続している。な
お、この他にマウス等のポインティングデバイス、ＲＳ
２３２Ｃ等のシリアルインターフェース回路等を備えて
いてもよい。

【０００９】図３は、ＣＰＵ１のメイン処理を示すフロ
ーチャートである。Ｓ１においては、スキャナ１２によ
って楽譜のイメージをＲＡＭ３に取り込む。画像は２値
の画像として取り込む。Ｓ２においては、かすれやドッ
トノイズなどを軽減するために、図形融合などの画質平
滑化処理を行う。Ｓ３においては、画質チェック処理を
行う。画質チェック処理においては、倍率と濃度の情報
を得ると共に、後段における五線検出の基準データを得
るために、まず五線の線幅と五線の各線間の間幅を検出
する。線幅、間幅を求めるためには、まず、画像上の横
（ｘ）方向の数箇所において縦（ｙ）方向に走査し、黒
ラン（連続する黒画素）と白ランの長さを全て求めて、
長さ毎に頻度分布（ヒストグラム）データを作成する。

【００１０】楽譜上で最も多い記号は五線であるので、
作成された黒ラン長ヒストグラムと、白ラン長ヒストグ
ラムのピークをそれぞれ検出することで、五線の線幅、
間幅が推定できる。そして、画像データの倍率は、例え
ば間幅から推定可能であり、また、濃度は線幅と間幅の
比から推定することができる。楽譜の認識処理において
は、倍率および濃度が所定の範囲から外れると認識率が
低下してしまうので、Ｓ３においては、これらの値が、
所定の範囲内に入っているか否かがチェックされる。Ｓ
４においては、Ｓ３におけるチェック結果が画質ＯＫで
あるか否かが判定され、結果がＯＫでない場合にはＳ１
に戻って、倍率や濃度を変えて再取り込みを行う。

【００１１】Ｓ５においては五線認識を行う。五線認識
処理は、大きく五線走査開始位置検出処理と、五線シフ
ト量の検出処理に分かれる。五線走査開始位置検出処理
の概略を述べると、ｘ軸方向のある位置で、黒画素と白
画素の幅を順に求め、求められた線幅と間幅が五線状に
並んでいる位置を、ある程度の誤差を考慮して検出す
る。そして、加線（五線からはみ出した音符を記載する
ために付加した横線）の影響を除くために、五線状の並
びの両側に間幅より大きな白画素幅があるという条件を
加える。この条件に合う白黒画素の並びがあるｘ位置の
各黒ランの中点を五線走査開始位置とする。

【００１２】つぎに、五線シフト量の検出処理の概略を
述べると、求められたｘ位置の五線走査開始位置（５点
の黒画素位置）から、１ドットずつ位置を左右に変えて
いき、５点の内、黒画素がある個数（例えば３あるいは
４個）以下になった場合に、５点を上下にずらして黒画
素数をチェックし、黒画素の割合が高くなる方向へｙ座
標をシフトする。そして開始位置からのシフト量を五線
のシフト量とする。五線走査開始位置から左右に、黒画
素個数が０になる位置まで走査することにより五線の検
出を行う。

【００１３】Ｓ６においては、段落認識処理を行う。こ
の処理は、大きく、段落認識処理と、大かっこ認識処理
に分かれる。段落認識処理においては、画像全体で五線
を検出し、五線同士で左端がほぼ同じ場所にある五線の
組を探し、五線の端同士が、黒画素で結ばれているかど
うかを検査し、段落を認識する。段落を囲む矩形が左右
に並んでいた場合には、これも時系列になるように処理
を行う。なお、予め、ｘ軸、ｙ軸方向に黒画素のヒスト
グラムを取り、これの空白部分を検出することによって
段落の存在を推定しても良い。五線同士が大かっこで結
ばれていた場合には、五線同士にまたがる音符等が存在
する場合があるので、大かっこで結ばれた五線は１つの
単位で処理を行った方が良い。大かっこ認識において
は、段落線の左の所定の範囲で、後述する定型記号認識
と同様の手法で認識を行う。なお、この認識において
は、大かっこおよび大弧線が認識できれば良い。

【００１４】Ｓ７においては、段落の認識結果を表示し
て、段落認識結果が正しいか否かを利用者にチェックさ
せることにより、ＯＫか否かが判定され、結果がＯＫで
ない場合にはＳ８に移行して、段落認識結果の修正が行
われる。スコア譜においては、各段落のパート構成が等
しいものの他に、途中でパートの省略や追加があった
り、同じパートで単独譜表と大譜表が段落ごとに変化す
る場合もある。このようなパートの対応は、大かっこの
対比等で行うが、パートの対応が一意に決められない場
合もあるので、予め段落認識結果の修正を行えるように
する。なお、五線認識が失敗した場合には、その後の処
理が行えないので、倍率や濃度を変更して再度画像を取
り込む必要がある。従って、ステップＳ７においては、
まず五線の認識結果を表示し、正しいか否かを利用者に
判定させ、もし正しくない場合には、Ｓ１に戻ってイメ
ージの再取り込みを行い、また五線が正しく認識されて
いる場合には、段落認識結果を表示し、チェックさせる
ようにしてもよい。

【００１５】Ｓ９においては、処理矩形の決定処理が行
われる。求められた五線、（大譜表の場合には、譜表中
の五線）を含む、ある程度広い矩形を採り、これを認識
処理矩形とする。矩形の大きさは、その五線に関係する
音楽記号が存在する最大領域以上で、かつ五線傾き補正
により、必要な記号が消えない様な大きさにする。これ
以降の認識はこの矩形内で行う。

【００１６】Ｓ１０においては、五線傾き補正処理を行
う。概略を述べると、先に求めた五線シフト量に基づい
て、矩形画像の列ごとに画素列を上下にシフトする。五
線ごとにシフト量を計算し、矩形画像内でシフト補正を
行った方がより正確であるが、シフト量は、取り込み画
像全体で１つ計算し、画像全体をシフトしても良い。こ
の後、矩形の上下端に接した図形ラベル（独立した黒画
素領域）は上下のパートの構成要素として削除する。最
後に、上下端の空白部分を検出して、矩形を縮小する。

【００１７】Ｓ１１〜Ｓ１５においては、各種記号の認
識処理が行われる。楽譜記号は、形、位置に関して大ま
かに以下の３つの種類がある。（１）定型で、上下位置
がほぼ決まっているもの（音部記号、拍子記号等）。
（２）定型で、上下位置は自由度があるもの（臨時記
号、休符等）。（３）不定型かつ位置も不定のもの（音
符、スラー、タイ等）。これらをそれぞれに適した方式
で、音部記号、拍子認識、音符認識、定型記号認識、文
字列認識、スラー、タイ認識の順に認識する。

【００１８】音部記号、拍子認識を最初に行うのは、処
理コストの低い認識を最初に行って、この記号を削除す
ることによって、後の認識の処理コストを軽減するため
と、最初により確実なものを認識することで、後の認識
での誤認識を減らすためである。また、音符認識の後に
定型記号認識を行うのは、ラベルの接触に影響されにく
い認識方式である音符認識を行って、この音符を削除す
ることで、音符に接触した臨時記号等の認識を可能にす
るためである。スラー、タイ認識が最後になっているの
は、処理コストの高いスラー認識の対象になるラベルを
なるべく少なくするためである。また、先に検出された
音符の周りのラベルだけをスラー、タイ認識の対象にす
ることによって、更にスラー、タイ認識の処理コストを
下げ、かつ、スラー、タイの誤認識も減らすことができ
る。

【００１９】Ｓ１１においては、五線に対して定位置に
ある記号として、音部記号と拍子記号を認識する。該処
理においては、まず、求められた五線を含む矩形領域で
縦に黒画素のヒストグラムを取っていき、黒画素量があ
るしきい値以上の帯域を、記号が存在する可能性のある
場所としてマッチングの対象とする。マッチングは、五
線間の数箇所について横方向のペリフェラル特徴によっ
て行う。ペリフェラル特徴とは、マッチング対象となる
記号のみを含む矩形領域の左右端から五線間の数箇所の
白画素領域を内方向に走査し、黒画素領域に達するまで
の距離を１次（最初）あるいは数次（２回目以降）まで
求めたものである。また、マッチングに失敗した場合に
は、隣接した帯域を併合して再度認識を行う。そして、
認識された記号は画像データから削除する。

【００２０】Ｓ１２においては、後述する音符認識を行
う。概略を述べると、まず、画像データを縦細線、横細
線、太線画像に分離する。そして、各画像から記号や記
号の部品を検出し、それらを総合して音符等の記号を認
識する。Ｓ１３においては、定型記号認識が行われる。
この処理においては、まず、公知の輪郭線荷重方向指数
を取り、辞書の各記号データについてラベルのサイズと
輪郭線荷重方向指数のマッチング度を計算して、各マッ
チング度を正規化し、統合した結果が最も高い記号を出
力する。なお、サイズと荷重方向指数の他に、ペリフェ
ラルなどの他の特徴を使っても良い。また、五線消去に
よりラベルが切れたものの対策として、五線消去によっ
て切れたラベルを辞書に登録し、この記号であると認識
された場合には、その周りのラベルを結合して再認識す
る。認識された記号は画像から削除する。

【００２１】Ｓ１４においては、文字列認識を行う。速
度記号などの文字列を認識するために、定型記号認識で
認識されたアルファベットその他の記号を使い、その記
号を囲む矩形が文字列状に並んでいるものを抽出し、こ
れと文字列辞書のマッチングをとることで、文字列状の
記号を、それぞれの構成文字が多少間違っていても認識
できるようにする。

【００２２】Ｓ１５においては、スラータイ認識を行
う。この処理においては、残ったラベルのうち、検出さ
れた音符の周りのラベルに関して、これを細線化し、こ
れを多円弧近似する。そして、以前に消された記号によ
り線が切れている場合があるので、求められた多円弧同
士の連結を行う。最後に、求められた円弧の形や元画像
の図の太さ、音符との関係などからスラー、タイを認識
する。これが認識で最後のルーチンなので、認識された
記号は画像から削除しなくても良いが、認識したスラ
ー、タイを削除し、この後で再度定型記号認識を行うよ
うにすれば、スラー、タイと接触した記号を認識するこ
とができるようになる。

【００２３】Ｓ１６においては、例えば認識結果に基づ
き、楽譜画像データを合成して表示し、正しいか否かを
利用者にチェックさせることにより、ＯＫか否かが判定
され、結果がＯＫでない場合にはＳ１７に移行して、マ
ウス、キーボード等を用いて、手動により認識結果の修
正が行われる。Ｓ１８においては、演奏データ作成処理
が行われる。該処理においては、認識した各種の記号や
音符情報に基づき、例えば公知の演奏データ形式である
ＭＩＤＩファイルデータを生成する。

【００２４】図４は、図３のＳ１２の音符認識処理の詳
細を示すフローチャートである。Ｓ２０においては、横
方向の短い黒ランを検出し、画像を分離する。黒ランの
長さは、先に検出された五線の線幅を基準として、例え
ば線幅の２倍というように決定される。図２は、画像分
離処理例を示す説明図である。図２（ａ）は原画像であ
り、図２（ｂ）は、Ｓ２０において（ａ）の原画像から
分離された縦細線画像の例である。小節線２０や符尾２
１は、例えば五線の位置で複数のラベルに切断されてい
る。また、符尾の連鉤部分のように太い画像の部分も消
えている。

【００２５】Ｓ２１においては、分離された画像データ
から縦線を検出する。図５は、図４のＳ２１の縦線検出
処理の詳細を示すフローチャートである。Ｓ４０におい
ては、横に短い黒ランの集合画像から各ラベル（独立し
た黒領域）の縦方向の中線を求める。中線は、ラベルの
上部の横方向のランの中点と下部の横方向のランの中点
を結んだ線で画像を走査し、黒画素の存在確率を求めて
も良いし、ラベルの複数の縦位置における水平方向の黒
画素列から、中点座標列を求め、最小２乗法により中線
を求めても良い。Ｓ４１においては、中線同士を連結す
る。この判断は、例えば線分同士の傾きや、端点間の
（ｘ座標における）距離、線分間の原画像での１画素の
存在確率等により行う。Ｓ４２においては、連結された
線の先端から外側に、原画像に黒画素が存在しなくなる
箇所まで線を延長する。Ｓ４３においては、ｘ座標が近
接している線同士を統合し、１つの線として認識する。

【００２６】従来は、画像の縦方向のヒストグラムから
符尾を検出する方法等があったが、このような方法では
画像の傾きが大きい場合にヒストグラムのピークが低く
なってしまい、正確に符尾を検出することが困難にな
る。これに対し、本発明の符尾検出方式では、符尾に傾
きがあっても正確に検出ができる。更に、特に多数の音
符の符頭が接近して存在する場合などに、本方式では符
尾が傾きも含めて正確に認識されるので、符尾と符頭を
より正確に対応づけることができる。また、切れた細い
ラベルから検出した中線を連結する方式を取っているの
で、手書き楽譜のように、符尾が多少曲がっている場合
にも認識が可能である。

【００２７】図４に戻って、Ｓ２２においては、縦方向
の短い黒ランを検出し、画像を分離する。黒ランの長さ
は、やはり五線の線幅を基準として決定されるが、Ｓ２
０の値と異なっていてもよい。図２（ｃ）は、Ｓ２２に
おいて（ａ）の原画像から分離された横細線画像の例で
ある。加線２２は、符頭の位置で複数のラベルに切断さ
れている。Ｓ２３においては、分離された画像データか
ら、縦線と同様に横線を検出する。

【００２８】Ｓ２４においては、細線を消した画像から
符頭候補の楕円を検出する。図２（ｄ）は、（ａ）の原
画像から細線を分離した残りの太線画像の例である。こ
の太線画像から、４分音符より短い音符の符頭（以下黒
玉符頭）や符鉤、連鉤が分離できる。黒玉は、太ラベル
の境界線のチェーンより、境界線座標をある間隔で抽出
して公知の方式により楕円式を計算し、この形や画像と
のマッチング度を取って認識する。なお、楕円式の導出
に失敗する場合もあるので、間隔を変えて楕円式を計算
し直し、マッチングの高いものを選択する。

【００２９】従来の符頭検出方法としては、符頭領域に
おいて、黒画素の存在する点の座標情報を辞書として持
っておく方法があった。このような方法において、ある
いは他の特徴量を辞書に持つ方式にしても、様々な音符
のフォントあるいは特徴量に対応するために、大きな辞
書を用意する必要があり、また、多数の音符のサンプル
を認識させて辞書を構築する必要があった。これに対し
て、符頭を楕円式として検出する方式においては、楕円
式で玉の形状が表されているので、楕円式の形状、即ち
式の係数が所定の範囲内であるか否かによって符頭の認
識を行うことができ、多量の辞書が不要になるととも
に、楕円式の係数範囲も感覚的に決定でき、多数の音符
のサンプルを認識させる必要が無くなる。また、楕円式
の係数範囲を広げることにより、手書き楽譜の認識にも
対応可能である。更に、音符消去の際にも楕円式で決定
される形状に基づいて正確な消去を行うことができる。

【００３０】和音への対応として、まず横方向に並んだ
和音を認識するために、符尾候補の縦線により太ラベル
を切断する。また縦方向の和音への対応は、太ラベルの
くぼみを検出し、左右のくぼみ同士の組を作ってこれを
結ぶ線で太ラベルを切断する。画像がつぶれている場合
など、くぼみの組が見つからなかった場合には、くぼみ
の位置を推定する。図７は、和音の音符の切断処理例を
示す説明図である。図７（ａ）は和音の音符を含む原画
像であり、（ｂ）は細線を消去した画像である。この段
階では和音の符頭は連結している。（ｃ）は切断処理を
行った結果であり、左の符頭は（ｂ）に点線で示す符尾
の縦線により、また右の符頭は（ｂ）に矢印で示す左右
のくぼみを結ぶ線によってそれぞれ切断されている。

【００３１】Ｓ２５においては、先に求めた符尾候補の
縦線と結合して音符を検出する。連結には、「符尾の端
の玉は、結合する側が決まっている」などの楽典知識を
利用することができる。Ｓ２６においては、２部音符、
全音符の符頭（以下白抜き符頭）を検出する。白抜き符
頭は、原画像の境界線のチェーンを全てチェックし、白
抜きの孔を検出して、楕円式を計算する。そして、楕円
の形や画像とのマッチング度を取って認識する。音符が
五線上にあるものに対しては、２つのチェーンを結合し
たものから楕円式を計算する。なお、楕円式を計算して
認識する代わりに、単純に符頭部分の太ラベルをテンプ
レートとして辞書に持っていてもよい。この場合、和音
状になった音符を認識するために太ラベルを切断するの
ではなく、接触した符頭の太ラベル自体を辞書に持って
おいてもよい。また、テンプレートマッチングではな
く、ペリフェラル特徴等の特徴抽出によって認識しても
よい。楕円式を使用する場合でも、全ての境界線のチェ
ーンから楕円式を計算するのではなく、予め符頭で計算
された楕円式をテンプレートとして持っておき、これを
五線の間隔で正規化して太ラベルとマッチングさせても
よい。

【００３２】Ｓ２７においては、先に求めた符尾候補の
縦線と結合して音符を検出する。Ｓ２８においては、検
出された音符と太線画像から連鉤をを検出する。連鉤
は、これまでに求められた旗を考えない音符の符尾の周
辺に存在する太ラベルを検出し、これの形状から連鉤の
本数を計算する。また、この太ラベルに連結している他
の音符も検出する。連結する他の音符が無い場合には単
独の旗あるいは、半連鉤と考えられる。連鉤の本数によ
り、音符の長さ情報を決定する。なお、五線との交差の
関係で、数本の連鉤が１つの太ラベルとなっている場合
があるので、これを考慮した上で、連鉤の数を以下のよ
うに計算する。

【００３３】連鉤の可能性のある太ラベルのｙ軸方向の
最大値、最小値を求め、この長さの標準偏差を求める。
標準偏差がある値以下だったら、この太ラベルは、同じ
長さの連鉤が１あるいは数本結合したものと考えられ
る。この後、太ラベルの縦方向の隙間（ギャップ）を計
測することで、連鉤の本数を計測し、音符の長さ情報に
反映させる。標準偏差がある値より大きかったら、この
太ラベルは、長さの違う連鉤が結合していると考えられ
るので、この場合には、このラベルに結合している他の
音符の符尾で領域を分割し、ギャップの計算を行う。符
尾の端からある程度の距離内に存在する太ラベルを検出
した後、該ラベルと関係する他の音符が存在しなかった
場合には、単独旗を持つ音符と考えられる。

【００３４】Ｓ２９においては、音符の音高を検出す
る。音の高さは、五線の間にある音符の場合には、楕円
の中心の座標から判別でき、そうでない場合には、やは
り楕円の中心の座標から求めてもよいが、加線の間隔が
五線の間隔と異なっている場合もあるので加線を考慮し
たほうがよい。加線は、横線検出により検出されてい
る。ただし、線上にある４部音符の加線は、細線の部分
が少ないので、横線が検出されない場合もある。よっ
て、この場合には、楕円の両端のある範囲の黒画素の存
在確率によって線上か線間かを判別しても良い。また、
大譜表の２つの五線の間にある音符の場合、予想される
位置に加線があるかどうかによって、その音符の高さが
上の五線を基準にしたものか、下の五線を基準にしたも
のかを判別しなければならない。Ｓ３０においては、こ
れまでに検出した音符の画像を画像から消去する。認識
された音符は、楕円や縦横線などの、検出された音符部
品の形にそって画像から削除することで、認識された音
符に接触した他のラベルを分離することができる。Ｓ３
１においては、残りの横線と縦線からくり返しかっこを
認識し、該画像を消去する。Ｓ３２においては、残った
横線からクレッシェンド、デクレッシェンド等を認識
し、消去する。

【００３５】Ｓ３３においては、残りの横線と縦線から
連音符のかっこを認識し、消去する。Ｓ３４において
は、残った縦線から小節線を認識することができる。複
縦線の太い縦線は、太ラベルで縦線検出を行うことによ
って検出できる。五線との関係や、小節線候補同士の位
置関係により小節線を認識する。認識された記号は、認
識された記号の形にそって画像から削除することで、認
識された記号に接触した他のラベルを分離することがで
きる。この後、削除されなかった画像について、一般の
楽譜認識装置と同様に五線消去を行い、ラベルを抽出し
ながら他の記号を認識する。

【００３６】図６は、細線分離処理の第２の実施例を示
すフローチャートである。第２の実施例は、太い部分と
細い部分とを分離する方式として、画像の縮退と膨張に
より分離する方式を採用したものである。まず、Ｓ５０
においては、原画像を保存する。Ｓ５１においては、黒
画素領域の周辺を１ドットずつ削る処理（縮退処理）を
ｎ回くり返し、細い部分を消滅させる。Ｓ５２において
は、縮退された図形の周辺に１ドットずつ黒画素の肉を
つけていく処理（膨張処理）をｍ回くり返し、太い部分
のみを元の太さに戻す。なお縮退処理回数ｎと膨張処理
回数ｍは等しくなくてもよい。

【００３７】Ｓ５３においては、Ｓ５０において保存し
た原画像と処理後の画像の画素（黒を１とする）ごとの
ＡＮＤ（論理積）を取ることにより太線画像を得る。Ｓ
５４においては、原画像から太線画像を引くことにより
細線画像を得る。細線画像については、このまま縦線、
横線を検出してもよいし、更に、縦線と横線を分離して
もよい。

【００３８】この方式は、特に斜め方向において、短ラ
ン消去方式よりも太細の分離性が良い。ただし、処理時
間が多少長くなる。また、縮退、膨張処理の際の連結数
（４連結、８連結）を変化させることにより、太い部分
の抽出のされかたを、目的の部品の形に応じて変化させ
ることができる。例えば、縮退を８連結、膨張を４連結
で行ったり、縮退を８連結、４連結交互に行い、膨張を
８連結で行うなどの組み合わせが考えられ、更に上下あ
るいは左右の２連結により、縮退、膨張を行うことも考
えられる。例えば、２連結の縮退の場合には、原画像に
おいて注目画素および上下（あるいは左右）の３画素が
黒の場合にのみ、該画素を黒とする。この２連結の処理
により、縦あるいは横方向のみの細線消去を行うことも
可能である。

【００３９】

【発明の効果】以上述べたように、本発明は、例えば楽
譜認識の前処理として、楽譜画像中の太い部分、細い縦
線、細い横線を分離しておくことによって、簡単な処理
により、楽譜を人間の認識感覚に近い記号に分離するこ
とができ、以下の認識処理を簡潔かつ、感覚的に行うこ
とができるようになる。そして、分離した画像から効率
良く記号あるいは記号の部品を認識することができ、認
識率が向上するという効果がある。また、小節線、符
尾、加線などは、同じ細線であっても太さが異なってい
る場合もあるが、細線検出のしきい値を縦と横で変えて
検出することにより、これらの相違にも対応可能である
という効果もある。

【図面の簡単な説明】

【図１】本発明の楽譜認識装置の実施例の構成を示すブ
ロック図である。

【図２】画像分離処理例を示す説明図である。

【図３】ＣＰＵ１のメイン処理を示すフローチャートで
ある。

【図４】Ｓ１２の音符認識処理の詳細を示すフローチャ
ートである。

【図５】縦線検出処理の詳細を示すフローチャートであ
る。

【図６】細線分離処理の第２の実施例を示すフローチャ
ートである。

【図７】和音の音符の切断処理例を示す説明図である。

【符号の説明】

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…ハードディ
スク装置、５…フロッピディスク装置、６…ＣＲＴディ
スプレイ装置、７…ＣＲＴインターフェース回路、８…
キーボード、９…キーボードインターフェース回路、１
０…プリンタ、１１…プリンタインターフェース回路、
１２…スキャナ、１３…スキャナインターフェース回
路、１４…ＭＩＤＩインターフェース回路、１５…バス

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大場 厚始 静岡県浜松市寺島町200番地 株式会社河 合楽器製作所内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 入力された楽譜画像データから各種記号
   を認識する楽譜認識装置において、 楽譜画像データから細い線を構成する部分を分離する分
   離手段と、 分離した細線画像から、細い線で構成される記号を検出
   する細記号検出手段と、 残りの太い画像から太い記号を検出する太記号検出手段
   とを備えたことを特徴とする楽譜認識装置。
2. 【請求項２】 前記分離手段は、縦および横に、所定の
   しきい値以下の長さの画素列を検出し、これを分離する
   ことにより、太い部分と細い部分の分離を行うことを特
   徴とする請求項１に記載の楽譜認識装置。
3. 【請求項３】 前記分離手段は、ある回数縮退をくり返
   し、続けてある回数膨張をくり返して得られた画像と、
   原画像の差分を取ることにより、太い部分と細い部分の
   分離を行うことを特徴とする請求項１に記載の楽譜認識
   装置。
4. 【請求項４】 前記分離手段は、縮退、膨張処理時の画
   素連結数を変化させて、太い部分と細い部分の分離を行
   うことを特徴とする請求項３に記載の楽譜認識装置。
5. 【請求項５】 前記細記号検出手段は、細線画像中の図
   形の中線を連結することにより線を検出する手段を含む
   ことを特徴とする請求項１ないし４のいずれかに記載の
   楽譜認識装置。
6. 【請求項６】 前記太記号検出手段は、太い画像中の図
   形の境界線座標情報から楕円式を求める楕円式算出手段
   と、求められた楕円式の形状から符頭を検出する符頭検
   出手段とを含むことを特徴とする請求項１ないし４のい
   ずれかに記載の楽譜認識装置。