JPH10334179A - 楽譜認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 楽譜入力画像の認識結果をユーザに適切に伝
達することができる楽譜認識装置を提供することを目的
とする。 【構成】 複数の楽譜記号が含まれる画像データを一括
して読み込んで認識する認識手段と、画像データに含ま
れる楽譜記号が認識できた場合記号コードを、認識でき
なかった場合画像データに対応させて認識対象画像デー
タの座標情報、縦方向及び横方向の長さ情報を含む認識
不可コードを記録し、記号コード、認識不可コードに基
づいて楽譜画像を再構成する再構成手段と、記号コード
をそれに対応した記号フォントに基づいて表示し、認識
不可コードについては該認識不可コードが示す画像デー
タに基づいて画像を表示するものであって、該記号フォ
ントと該画像データとで色を異ならせる表示制御手段と
を有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、楽譜を２次元画像デー
タに変換しその画像データから音符および記号等を認識
する楽譜認識装置に関する。

【０００２】

【従来の技術】印刷された楽譜をイメージスキャナ等で
読み取ることにより画像データに変換し、楽譜の画像デ
ータから音符、記号等の楽譜記号を認識して、ＭＩＤＩ
（ｍｕｓｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｄｉｇｉｔ
ａｌ ｉｎｔｅｒｆａｃｅ）データ等の演奏データを作
成する楽譜認識装置が提案されている。

【０００３】楽譜認識装置は、楽譜をイメージスキャナ
で読み取った後に、画像データから、楽譜上の五線、音
符、シャープ（♯）、フラット（♭）、休止符、ト音記
号またはヘ音記号等の認識を行う。

【０００４】

【発明が解決しようとする課題】従来の楽譜認識装置に
あっては、楽譜記号の認識率が１００％まで達しないも
のが多数存在する。特に、手書きの楽譜について完全な
認識を行わせることは困難である。したがって、完全に
全ての画像情報を楽譜記号として認識できない場合もあ
る。しかし、認識できないことをユーザに知らせること
をしなければ、ユーザは完全に認識できたものと思って
しまい、認識を行った結果を把握することが困難であ
る。

【０００５】また、楽譜の認識には時間がかかるので、
全ての画像情報について認識が終了してから認識結果を
表示するとユーザは認識装置から長時間何の応答もなく
待たされてしまう。

【０００６】本発明の目的は、楽譜の入力画像を認識し
た結果をユーザに適切に伝達することができる楽譜認識
装置を提供することである。

【０００７】

【課題を解決するための手段】本発明の楽譜認識装置
は、複数の楽譜記号が含まれる画像データを一括して読
み込む読み込み手段と、読み込んだ記号を解析して認識
する認識手段と、画像データに含まれる楽譜記号が前記
認識手段で認識できた場合記号コードを、認識できなか
った場合前記画像データに対応させて認識対象画像デー
タの座標情報、縦方向及び横方向の長さ情報を含む認識
不可コードを記録する記録手段と、記録した記号コー
ド、認識不可コードに基づいて楽譜画像を再構成する再
構成手段と、前記記号コードをそれに対応した記号フォ
ントに基づいて表示し、前記認識不可コードについては
該認識不可コード中の座標情報、縦方向及び横方向の長
さ情報が示す前記画像データに基づいて画像を表示する
ものであって、該記号フォントと該画像データとで色を
異ならせる、または該記号フォントと該画像データとの
いずれかを点滅させる表示制御手段とを有する。

【０００８】

【作用】楽譜記号として認識した記号と認識できなかっ
た記号とを異なる態様で表示することにより、認識装置
が楽譜中において認識した記号と認識できなかった記号
とを操作者は容易に識別することができる。

【０００９】

【実施例】図１は、本発明の実施例による楽譜認識装置
の構成例を示す。

【００１０】ＣＰＵ６は、バス１１を介して、イメージ
スキャナ２に楽譜１の読み込みを指示する。イメージス
キャナ２は、楽譜１を画像データとして読み取る。読み
取られた画像データは、バス１１を介して、ワーキング
メモリを構成するＲＡＭ８に元画像データとして記憶さ
れる。イメージスキャナ２は、例えば３００ｄｐｉの解
像度を有する画像読み取り装置である。

【００１１】ＲＡＭ８に記憶された元画像データは、バ
ス１１を介して、表示装置３に供給され、楽譜画像の表
示が行われる。

【００１２】ＣＰＵ６は、楽譜の元画像データと同一の
データをＲＡＭ８内の別のメモリ領域に複写して、認識
画像データとして記憶する。そして、認識画像データを
基にして認識処理を行い、認識結果をＲＡＭ９に記憶す
る。認識された楽譜記号はＲＡＭ９内の記号メモリに記
憶され、認識されなかったものはＲＡＭ９内のビットマ
ップメモリに記憶される。記号メモリには楽譜記号を示
す記号コードが記憶され、ビットマップメモリには楽譜
記号の画像データが記憶される。

【００１３】ＣＰＵ６は、ＲＡＭ９に記憶されている認
識結果から再び楽譜の再構成した画像データを生成し、
ＲＡＭ８に記憶する。認識された楽譜記号についてはＲ
ＡＭ９の記号メモリに記憶されている記号コードに対応
する音符、記号等のフォントをＲＯＭ１０から読み出
し、認識されなかった楽譜記号についてはＲＡＭ９のビ
ットマップメモリから画像データをそのまま読み出し、
ＲＡＭ８に再構成画像を構成する。

【００１４】ＲＡＭ８に記憶された再構成画像データ
は、バス１１を介して、表示装置３に供給され、認識に
より再構成された楽譜画像の表示が行われる。

【００１５】操作子群４は、表示装置３に表示された処
理メニューの選択や指示操作等を行う入力装置であり、
例えばマウス装置やキーボードである。

【００１６】ＣＰＵ６は、ＲＡＭ９に記憶された楽譜の
認識結果を基にＭＩＤＩデータを生成し、ＲＡＭ８に記
憶する。ＲＡＭ８に記憶されたＭＩＤＩデータは、バス
１１を介して、ＭＩＤＩインターフェース５から外部機
器に送出される。また、外部機器からＭＩＤＩインター
フェース５に入力されたＭＩＤＩデータは、バス１１を
介して、ＲＡＭ８に記憶される。

【００１７】プログラムメモリを構成するＲＯＭ７は演
算プログラムを記憶している。ＣＰＵ６はこの演算プロ
グラムに従って、ＲＡＭ８に備えられたレジスタやバッ
ファメモリ等のワーキングメモリを用いて各種演算処理
を行う。

【００１８】図２は、ＲＡＭ９内の記号メモリとビット
マップメモリの構成例を示す。記号メモリには、認識さ
れた楽譜記号のデータが記憶され、ビットマップメモリ
には、認識されなかった楽譜記号のデータが記憶され
る。

【００１９】図２（Ａ）は、記号データと認識不可デー
タが記憶されるＲＡＭ９の記号メモリを示す。ＲＡＭ９
は、認識された楽譜記号を記憶する記号メモリと認識で
きなかった楽譜記号を記憶する認識不可データを有し、
それぞれ認識処理の結果が記憶される。これらの認識結
果の最後にエンドコードを記憶することにより、ＲＡＭ
９上での認識結果データの終わりを示す。

【００２０】記号データには、記号コード、ｘ座標およ
びｙ座標が記憶される。イメージスキャナから入力され
た楽譜の元画像を基にして音符、記号等の楽譜記号の認
識が行われると、認識された楽譜記号に対応する記号コ
ードに変換され、記号データとして記号メモリに記憶さ
れる。記号コードは、楽譜記号における種類を識別する
ために予め各種類に１つ割り当てられたコードである。
例えば、ト音記号、ヘ音記号、拍子記号、音符または休
符等の楽譜記号の種類に対応する記号コードがある。ま
た、認識された音符、記号等の画像上での位置を表すｘ
座標とｙ座標も記号メモリに記憶される。

【００２１】認識不可データには、認識不可コード、ｘ
座標、ｙ座標、横長画素数、縦長画素数および開始アド
レスが記憶される。イメージスキャナから入力された楽
譜の元画像を基にして楽譜記号の認識ができなかったと
きには、その旨を示す認識不可コードが記憶される。し
たがって、認識処理において、認識が行われたときには
対応する記号コードが記憶され、認識ができなかったと
きには認識不可コードが記憶される。

【００２２】図２（Ｂ）は、ビットマップメモリに記憶
される横長画素数、縦長画素数および開始アドレスに対
応する画像データを示す。元画像を基にして音符、記号
等の楽譜記号の認識処理を行い、楽譜記号の種類を認識
できなかった画像領域に対しては外接長方形を設定す
る。その外接長方形内の画像データをビットマップメモ
リに記憶し、外接長方形のｘ座標、ｙ座標、横長画素
数、縦長画素数および画像データが記憶されているビッ
トマップメモリの開始アドレスを記号メモリに認識不可
データとして記憶する。

【００２３】ｘ座標とｙ座標は、外接長方形の左上隅の
頂点の画像上の座標位置を示す。横長画素数は、外接長
方形内の横方向の画素数であり、縦長画素数は、外接長
方形内の縦方向の画素数である。開始アドレスは、この
画像データが記憶されているビットマップメモリ上の開
始アドレスである。

【００２４】したがって、外接長方形内の画像データ
は、ビットマップメモリの開始アドレスから読み出すこ
とができる。

【００２５】なお、認識できなかった記号の画像データ
をビットマップメモリに記憶しなくてもよい。この場
合、認識不可データで示される外接長方形の画像データ
を元画像データから読み出せばよい。

【００２６】図３は、楽譜記号を記号メモリまたはビッ
トマップメモリへ記憶する例を示す。

【００２７】図３（Ａ）は、表示装置における楽譜の元
画像の表示例を示す。イメージスキャナから入力された
楽譜は元画像データとしてＲＡＭに記憶される。ＲＡＭ
に記憶された元画像データは、表示装置に供給されて画
像として表示される。

【００２８】認識処理は、楽譜の元画像を基にして行わ
れる。まず、五線２６の認識処理を行う。図の画像から
五線２６を除くと黒画素により表される５つの画像デー
タ２１，２２，２３，２４，２５が残される。

【００２９】画像データ２１について認識処理を行った
結果、画像データ２１が本来のト音記号に比べて形が少
し歪んでいる等の理由で楽譜記号の種類を特定すること
ができなかったとする。

【００３０】そして、画像データ２２，２３，２４，２
５について認識処理を行った結果、画像データ２２は拍
子記号（Ｃ）であると認識され、画像データ２３，２
４，２５の３つは四分音符であると認識されたとする。

【００３１】つまり、画像データ２１については認識す
ることができなかったが、画像データ２２，２３，２
４，２５については認識することができた。

【００３２】図３（Ｃ）は、画像データの認識結果を記
号メモリに記憶する例を示す。画像データ２２，２３，
２４，２５については認識されたので、それぞれに対応
する記号コードに変換する。画像データ２２は、認識処
理により拍子記号（Ｃ）を表す記号コードに変換され
る。そして、元画像中における画像データ２２を囲む外
接長方形の左上隅の頂点の位置を表すｘ座標とｙ座標が
求められる。変換された記号コードと求められたｘ座標
とｙ座標を記号メモリに記憶する。

【００３３】画像データ２３，２４，２５は、それぞれ
認識処理により四分音符を表す記号コードに変換され、
画像データを囲む外接長方形の左上隅の頂点の位置を表
すｘ座標とｙ座標が求められる。変換された記号コード
と求められたｘ座標とｙ座標を記号メモリに記憶する。

【００３４】画像データ２１については認識できなかっ
たので、認識不可コードを記号メモリに記憶し、画像デ
ータ２１を囲む外接長方形２０を形成し、その外接長方
形２０の横方向の辺の長さの画素数である横長画素数
と、縦方向の辺の長さの画素数である縦長画素数を更に
記憶する。

【００３５】元画像上の外接長方形の左上隅の頂点の座
標（ｘ１，ｙ１）を位置データとして記憶する。ここ
で、画像上の２次元座標は、画像の横方向をｘ軸とし、
縦方向をｙ軸として表す。更に、これから記憶する外接
長方形内の画像データのビットマップメモリの開始アド
レスを記憶する。

【００３６】なお、記号メモリには、画像データを囲む
外接長方形の左上隅の頂点のｘ座標とｙ座標を記憶する
場合を例に述べたが、外接長方形の重心位置のｘ座標と
ｙ座標を記憶させてもよい。また、楽譜記号に応じて、
座標の位置を異ならせてもよい。例えば、音符に関して
は符頭の中心位置の座標を記憶させ、拍子記号は記号全
体の中心位置の座標を記憶させてもよい。

【００３７】図３（Ｂ）は、認識できなかった画像デー
タをビットマップメモリに記憶する例を示す。

【００３８】外接長方形内の画像は一連のビットマップ
としてビットマップメモリに記憶する。ただし、前述し
たように、このビットマップはＲＡＭ８から取り出すよ
うにし、ＲＡＭ９には書き込まないようにしてもよい。

【００３９】図４は、記号メモリまたはビットマップメ
モリに記憶された楽譜記号から生成された再構成画像の
表示例を示す。表示画面は、元画像表示エリア３７、再
構成画像表示エリア３８、楽譜記号選択エリア３９およ
びマウスカーソル４０を有する。

【００４０】イメージスキャナから入力された楽譜は２
次元の画像データに変換され、元画像表示エリア３７に
元画像として表示される。その元画像データを基にして
認識処理が行われる。元画像は、前述と同様に五線の画
像データ２６と５つの画像データ２１，２２，２３，２
４，２５を含む。そして、認識処理において、画像デー
タ２１の楽譜記号は認識することができないためにビッ
トマップメモリに記憶され、画像データ２２，２３，２
４，２５の楽譜記号は認識されて記号メモリに記憶され
る。

【００４１】つまり、画像データ２２は、拍子記号
（Ｃ）の記号コードに変換され、画像データ２３，２
４，２５は、３つとも四分音符の記号コードに変換され
て、それぞれの位置を表す座標データと共に記号メモリ
に記憶される。

【００４２】五線の画像データ２６について認識処理を
行うことにより、五線の線間隔と線幅が検出される。再
構成画像上において、認識された線間隔と線幅と等しい
線間隔と線幅を有する五線の画像データ３６を生成す
る。そして、記号メモリに記憶された記号コードを調
べ、記号コードが拍子記号（Ｃ）であれば、対応する拍
子記号のフォントをＲＯＭから読み出し、記号メモリに
記憶されたｘ座標、ｙ座標を読み出し、再構成画像にお
けるその座標位置に画像データ３２を生成する。

【００４３】同様に記号メモリから、記号コードとｘ座
標・ｙ座標を読み出し、ＲＯＭ内の四分音符のフォント
を用いて再構成画像上に画像データ３３，３４，３５を
生成する。ＲＯＭ内のフォントは、ビットマップ等の画
像データとして記憶されている。

【００４４】また、認識不可コードを読み出したとき、
記号メモリからｘ座標、ｙ座標、横長画素数、縦長画素
数および開始アドレスを読み出し、開始アドレスが示す
ビットマップメモリ内の元画像データから外接長方形内
の画像データを取り込む。外接長方形は、読み出された
横長画像数の辺と縦長画素数の辺とから構成される。ま
た、読み出された開始アドレスより画像上の座標位置が
算出され、再構成画像に対応する座標位置に画像データ
３１を生成する。画像データ３１は、外接長方形３０に
より囲まれた画像データであり、外接長方形内の画像デ
ータがそのまま画像データ３１として再構成画像上に生
成される。

【００４５】以上により、画像データ３６，３１，３
２，３３，３４，３５を有する再構成画像が生成され
る。この再構成画像は表示装置の再構成画像表示エリア
３８に表示される。その際に記号メモリから読み出して
生成された画像データ３２，３３，３４，３５または五
線を示す画像データ３６は黒色で表示され、ビットマッ
プメモリから読み出して生成された画像データ３１は赤
色で表示される。

【００４６】つまり、認識処理により、認識された画像
データは黒色で表示され、認識できなかった画像データ
は赤色で表示される。画像の表示色の違いにより、認識
できた楽譜記号と認識できなかった楽譜記号を容易に見
分けることができる。なお、認識できなかった楽譜記号
は、赤色で表示するのではなく、点滅による表示を行っ
てもよい。したがって、必ずしもカラー画像表示する必
要はなく、白黒画像表示装置を用いても、楽譜記号を認
識できたか否かを容易に判断することができる。

【００４７】次に、ユーザがマウス入力装置を用いて、
認識できなかった楽譜記号を正しい楽譜記号に置き換え
る操作を説明する。上述のように、認識できなかった楽
譜記号は、再構成画像表示エリア３８内で赤色にて表示
されている。

【００４８】まず、赤色にて表示されている画像データ
３１を指定し、楽譜記号選択エリア３９から正しい楽譜
記号を選択する。例えば、ユーザは、画像データ３１ま
たはそれに対応する元画像中の画像データ２１を比較し
て、画像データ３１はト音記号であると判断する。そし
て、マウス装置を用いて、マウスカーソル４０を楽譜記
号選択エリア３９のト音記号の位置に移動させる。ここ
で、マウスボタンをクリックすると、画像データ３１は
ト音記号の記号コードに置き換えられる。以上により得
られた記号コードとｘ座標・ｙ座標は記号メモリに記憶
され、ビットマップメモリに記憶されている画像データ
３１を消去する。

【００４９】画像データ３１は、ビットマップメモリか
ら消去されたので、赤色で表示されていた画像データは
再構成画像表示エリア３８から消え、記号メモリから読
み出したト音記号の記号コードからＲＯＭ内のフォント
を読み出して再構成画像の画像データを生成し、黒色で
再構成画像表示エリア３８に表示する。

【００５０】以上のように、再構成画像表示エリア３８
に赤色で表示されている画像データがあれば、その画像
データを指定して、楽譜記号選択エリア３９から正しい
楽譜記号を選択することにより、認識装置が認識できな
かった箇所をユーザが補うことができる。

【００５１】図５は、イメージスキャナから読み込まれ
た画像の認識と表示の手順を示す。イメージスキャナか
ら読み込まれた画像は、元画像表示エリア３７に表示さ
れる。

【００５２】元画像表示エリア３７に表示される元画像
の画像データを基にして認識の処理を行う。まず、元画
像の楽譜中の五線の認識を行う。五線の認識により、元
画像の楽譜は４段の五線譜４１，４２，４３，４４から
構成されていることがわかる。なお、「五線譜」とは五
線と五線上の音符記号等を含む楽譜を指すものとする。
以下、五線譜の段毎に元画像の認識と再構成画像の表示
を行う。

【００５３】まず、元画像の１段目の五線譜４１の音符
・記号等の認識を行い、再構成画像の生成を行い、再構
成された１段目の五線譜４５を再構成画像表示エリア３
８に表示する。図５は、この段階までの元画像と再構成
画像の表示を示している。さらに、認識できなかった楽
譜記号をユーザが正しい楽譜記号に選択するための楽譜
記号選択エリア３９も表示されている。

【００５４】この後、元画像の２段目の五線譜４２の音
符・記号等の認識を行い、２段目の五線譜の再構成画像
を生成し再構成画像表示エリア３８に表示する。続い
て、元画像の３段目の五線譜４３の認識を行い、再構成
画像を生成し表示する。次に、元画像の４段目の五線譜
４４の認識を行い、再構成画像を生成し表示する。

【００５５】なお、従来は、元画像中の４つの段の全て
の五線譜４１，４２，４３，４４の認識を行った後に、
４つの段の五線譜についての再構成画像を生成して表示
していた。この手順によると、４つの段の全ての五線譜
の認識が終了しないと、再構成画像は表示されない。楽
譜の認識処理は、高精度の認識を行おうとすればするほ
ど、また認識対象の楽譜が複雑なほど認識処理に要する
時間が長くなる。この結果、楽譜をイメージスキャナに
読み込ませてから認識が終了するまで、ユーザは長時間
何の応答もなく待たされてしまう。

【００５６】そこで、本実施例のように五線譜の段毎に
認識と認識結果を示す再構成画像を表示装置へ表示する
ことにより、認識装置が現在楽譜中のどの部分まで認識
したのかをユーザに知らせることができる。

【００５７】なお、オーケストラやコーラス等の楽譜の
ように、複数のパートを有する楽譜の場合には、各パー
ト毎の五線譜に分割して、それぞれのパートの五線譜毎
に認識等の処理を行うこともできる。

【００５８】図６は、ＣＰＵが行う楽譜認識結果の表示
と認識結果の修正の処理を示すフローチャートである。
ステップＳ１から処理はスタートし、ステップＳ２にお
いてイメージスキャナに楽譜の読み込みを指示する。指
示命令を受けたイメージスキャナは、楽譜をスキャンし
て２値画像情報に変換する。イメージスキャナに入力さ
れた楽譜の画像情報は、元画像データとしてＲＡＭに記
憶される。

【００５９】ワーキングメモリのＲＡＭには、元画像デ
ータと同じデータが複写され、認識画像データとして元
画像データとは異なるメモリ領域に記憶される。以後、
この認識画像データを認識対象の画像データとしてワー
キングメモリ上で認識処理を行う。

【００６０】ステップＳ３では、ワーキングメモリに記
憶されている認識画像データを基にして五線の認識を行
い、入力された楽譜が何段の五線譜から構成されている
のかを判断する。そして、段毎の五線譜の領域に画像デ
ータを分割する。五線の認識処理を行った後に、五線を
示す記号コードとその座標を記号メモリに記憶する。

【００６１】ステップＳ４では、カウンタレジスタｎに
１をセットする。カウンタレジスタｎは、入力された楽
譜中において何段目の五線譜の処理を行うのかを示す変
数に相当する。カウンタレジスタｎに１をセットするこ
とにより、以後１段目の五線譜から処理を開始する。

【００６２】ステップＳ５において、カウンタレジスタ
ｎが示すｎ段目の五線譜の認識処理を以下の手順で行
う。なお、ステップＳ３における五線の認識を含めて以
下の五線譜の認識方法の一例は、特開平５−３５９２４
号公報等に示されている。以下は、五線以外の五線譜の
認識の手順を示す。

【００６３】まず、ステップＳ３で既に五線の認識が行
われているので、五線の画像データを認識画像データか
ら削除する。

【００６４】次に、小節線の認識を行うために、認識画
像データ上において小節線を示す画像データの検出を行
う。そして、検出された小節線の位置を座標データに変
換する。変換された座標データを小節線の記号コードと
共に記憶メモリに記憶する。その後、検出された小節線
の画像データを認識画像データから削除する。ｎ段目の
五線譜における全ての小節線の画像データについて同様
の処理を行う。

【００６５】次に、音符の認識を行うために、認識画像
データ上において音符を示す画像データの検出を行う。
そして、検出された音符の位置を座標データに変換す
る。変換された座標データを音符の記号コードと共に記
憶メモリに記憶する。音符の記号コードは、四分音符、
符点八分音符等の音符の種類別に記号コードが複数あ
る。その後、検出された音符の画像データを認識画像デ
ータから削除する。ｎ段目の五線譜における全ての音符
の画像データについて同様の処理を行う。

【００６６】次に、ト音記号、拍子記号、休符、シャー
プ（♯）等の記号を示す画像データの検出を行い、記号
コードを得、検出された記号の位置を座標データに変換
する。変換された座標データを各記号の記号コードと共
に記憶メモリに記憶する。その後、検出された各記号の
画像データを認識画像データから削除する。ｎ段目の五
線譜における全ての記号の画像データについて同様の処
理を行う。

【００６７】以上の処理により、認識された画像データ
は全て認識画像データから除去されている。したがっ
て、未だ除去されないで残された画像データは認識でき
なかった画像データである。その残された画像データを
外接長方形で囲んで位置データと縦長、横長を記号メモ
リに記憶し、その中の画像データをビットマップメモリ
に記憶する。その後、外接長方形内の画像データを認識
画像データから削除する。ｎ段目の五線譜の領域内にあ
る画像データが全て除去されるまで、残された画像デー
タについて同様の処理を行う。

【００６８】ステップＳ６では、記号メモリまたはビッ
トマップメモリに記憶された楽譜記号を表示装置に表示
する。まず、記号メモリに記憶された記号データの記号
コードと位置データを調べ、記号コードに対応するフォ
ントをＲＯＭから読み出して、座標データの示す位置の
再構成画像データを生成し、黒色で表示装置に表示す
る。

【００６９】また、記号メモリに記憶された認識不可デ
ータの位置データ、横長画素数、縦長画素数および開始
アドレスを調べ、横長画素数と縦長画素数から構成され
る外接長方形の画像データをビットマップメモリ内の元
画像データの開始アドレスから読み出し、対応する再構
成画像の座標位置に画像データを生成して、赤色で表示
する。

【００７０】ステップＳ７では、全ての段の五線譜につ
いての処理が終了したか否かを判断する。なお、ステッ
プＳ３での五線の認識処理において、楽譜が何段の五線
譜より構成されているかが既に認識されている。カウン
タレジスタｎは、現在処理を行った五線譜の段数を示す
ので、カウンタレジスタｎを調べて最終段の五線譜を示
していなければ、ステップＳ８へ進む。ステップＳ８で
は、カウンタレジスタｎをインクリメントして、ステッ
プＳ５へ進み次段の五線譜の処理を同様にして繰り返
す。

【００７１】ステップＳ７において、カウンタレジスタ
ｎが最終段の五線譜を示していれば、五線譜の処理を終
了してステップＳ９へ進む。

【００７２】ステップＳ９では、ステップＳ５の処理に
おいて認識できなかった楽譜記号をユーザの指示により
修正する処理を行う。表示装置に赤色で表示されている
複数の画像データの中から１つの画像データをユーザが
マウス操作により選択入力するのを待つ。次に選択され
た画像データに対応する正しい楽譜記号を楽譜記号選択
エリアからユーザが選択入力するのを待つ。

【００７３】選択された正しい楽譜記号の記号コードと
選択された画像データの位置を示す座標データを記号メ
モリに記憶する。そして、ビットマップメモリに記憶さ
れているその画像データを削除し、赤色の画像データの
表示を消し、ＲＯＭに記憶されているフォントを用いて
黒色で表示し直す。

【００７４】ステップＳ１０では、記号メモリに記憶さ
れた記号コードを基にしてＭＩＤＩデータを生成する。
生成されたＭＩＤＩデータは、ＭＩＤＩインターフェー
スから出力する。その後、ステップＳ１１へ進み、処理
は終了する。

【００７５】以上のように、認識結果を再構成画像とし
て表示し、認識できた楽譜記号と認識できなかった楽譜
記号とを色を変えて表示することにより、認識装置の処
理結果をユーザに知らせることができる。これにより、
認識結果の全てについてチェックする必要がなくなり、
赤色で表示されている部分さえチェックすれば、認識装
置が認識できなかった部分をユーザが容易に修正するこ
とができる。その際に、正しい認識情報を楽譜記号選択
エリアからユーザがマウス等により選べばよいので操作
性がよい。

【００７６】また、楽譜はほとんどのものが、複数の縦
に並ぶ五線譜の段より構成されている。そこで、楽譜中
の五線の認識を行い、楽譜を五線譜の段毎の領域に分割
し、段毎に認識または表示を行う。これにより、ユーザ
は認識装置が楽譜中のどの部分まで認識したのかを知る
ことができる。なお、ユーザが認識処理に割込みをかけ
て修正を行えるようにしてもよい。

【００７７】以上実施例に沿って本発明を説明したが、
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組合わせ等が可能なことは当業者に自
明であろう。

【００７８】

【発明の効果】楽譜記号として認識した記号と認識でき
なかった記号とを異なる態様で表示することにより、操
作者は容易に認識できなかった記号を知得することがで
き、所望の楽譜記号に置き換えることができる。

【図面の簡単な説明】

【図１】 本発明の実施例による楽譜認識装置の構成例
を示すブロック図である。

【図２】 ＲＡＭ内の記号メモリとビットマップメモリ
を示す。図２（Ａ）は、記号メモリのメモリマップを示
し、図２（Ｂ）は、ビットマップメモリに記憶される横
長画素数、縦長画素数および開始アドレスに対応する画
像データを示す概念図である。

【図３】 楽譜記号を記号メモリまたはビットマップメ
モリへ記憶する例を示す。図３（Ａ）は、表示装置にお
ける楽譜の元画像の表示例を示す概略図であり、図３
（Ｂ）は、認識できなかった画像データをビットマップ
メモリに記憶する例を示す概念図であり、図３（Ｃ）
は、画像データの認識結果を記号メモリに記憶する例を
示す概念図である。

【図４】 記号メモリまたはビットマップメモリに記憶
された楽譜記号から生成された再構成画像の表示例を示
す概略図である。

【図５】 イメージスキャナから読み込まれた画像の認
識と表示の手順を示す概略図である。

【図６】 ＣＰＵが行う楽譜認識結果の表示と認識結果
の修正の処理を示すフローチャートである。

【符号の説明】

１ 楽譜、 ２ イメージスキャナ、 ３ 表示装
置、 ４ 操作子群、 ５ ＭＩＤＩインターフェ
ース、 ６ ＣＰＵ、 ７，１０ ＲＯＭ、
８，９ ＲＡＭ、 １１ バス、 ３７ 元画像表
示エリア、 ３８ 再構成画像表示エリア、 ３９
楽譜記号選択エリア、 ４０ マウスカーソル

Claims (1)

【特許請求の範囲】
1. 【請求項１】 複数の楽譜記号が含まれる画像データを
   一括して読み込む読み込み手段と、 読み込んだ記号を解析して認識する認識手段と、 画像データに含まれる楽譜記号が前記認識手段で認識で
   きた場合記号コードを、認識できなかった場合前記画像
   データに対応させて認識対象画像データの座標情報、縦
   方向及び横方向の長さ情報を含む認識不可コードを記録
   する記録手段と、 記録した記号コード、認識不可コードに基づいて楽譜画
   像を再構成する再構成手段と、 前記記号コードをそれに対応した記号フォントに基づい
   て表示し、前記認識不可コードについては該認識不可コ
   ード中の座標情報、縦方向及び横方向の長さ情報が示す
   前記画像データに基づいて画像を表示するものであっ
   て、該記号フォントと該画像データとで色を異ならせ
   る、または該記号フォントと該画像データとのいずれか
   を点滅させる表示制御手段とを有する楽譜認識装置。