JP2979928B2 - 楽譜認識結果表示システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、楽譜を２次元画像デー
タに変換しその画像データから音符および記号等を認識
し、認識結果を表示する楽譜認識結果表示システムに関
する。

【０００２】

【従来の技術】印刷された楽譜をイメージスキャナ等で
読み取ることにより画像データに変換し、楽譜の画像デ
ータから音符、記号等の楽譜情報を認識して、ＭＩＤＩ
（ｍｕｓｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｄｉｇｉｔ
ａｌ ｉｎｔｅｒｆａｃｅ）データ等の演奏データを作
成する楽譜認識装置（例えば、特開平５−３５９２４号
公報等）が提案されている。

【０００３】楽譜認識装置は、楽譜をイメージスキャナ
で読み取った後に、画像データから、楽譜上の五線、音
符、シャープ（♯）、フラット（♭）、休止符、ト音記
号またはヘ音記号等の認識を行う。

【０００４】

【発明が解決しようとする課題】従来の楽譜認識装置に
あっては、楽譜情報の認識率が１００％まで達するもの
はほとんどない。そのため、楽譜の認識結果を人間の目
で確認することにより、認識ミスの部分を探し出し、必
要に応じて認識された楽譜データに修正を加える必要性
がある。しかし、この点についての対策がなされていな
いのが現状である。

【０００５】本発明の目的は、楽譜の入力画像を認識し
た結果から容易に認識ミスの箇所を見つけ出すことがで
きる楽譜認識結果表示システムを提供することである。

【０００６】

【課題を解決するための手段】本発明の楽譜認識結果表
示システムは、楽譜をイメージとして読み取る画像入力
手段と、画像入力手段が読み取った第１楽譜画像データ
を記憶するメモリと、第１楽譜画像データに基づいて楽
譜情報を認識する認識手段と、認識手段が認識した楽譜
情報から第２楽譜画像データを構成する楽譜再構成手段
と、第２楽譜画像データを記憶するメモリと、第１楽譜
画像データおよび第２楽譜画像データに基づいてイメー
ジを表示出力する表示手段と、表示手段に表示される第
１楽譜画像データのイメージの大きさ、位置または形状
を変化させる第１表示データ加工手段と、表示手段に表
示される第２楽譜画像データのイメージの大きさ、位置
または形状を変化させる第２表示データ加工手段と、表
示手段に表示されるイメージの大きさ、位置または形状
を指示する指示入力手段と、指示入力手段からの指示入
力信号に応じて、第１表示データ加工手段および第２表
示データ加工手段の両方にイメージを同様に変化させる
同一の指示を与える同期制御手段とを有する。

【０００７】

【作用】楽譜の入力画像を表す第１楽譜画像データとそ
の認識結果を表す第２楽譜画像データを同じ表示手段に
イメージとして表示し、１つの入力指示に対応して表示
されている２つの楽譜画像データのイメージを同様に変
化させることができる。表示させるイメージを変化させ
た場合でも表示手段上には２つの楽譜画像データの同じ
楽譜部分が並べて表示される。

【０００８】

【実施例】図１３は、本発明の実施例による楽譜認識結
果のチェックを行うためのディスプレイ表示手順を示す
ブロック図である。

【０００９】印刷された楽譜または手書きの楽譜は、イ
メージスキャナ入力装置により入力され、楽譜の２次元
画像が元画像データ６１として計算機内のメモリに記憶
される。元画像データ６１を基にして音符・記号等の楽
譜情報の認識処理を行い、音符・記号等の楽譜データお
よびその楽譜データが検出された楽譜上の位置データ６
２が生成される。

【００１０】認識処理では、まず五線の認識を行い、楽
譜上の五線位置、五線の線間隔、五線の線幅を求める。
そして、検出された五線を削除した画像データを元画像
データ６１から生成する。次に、五線を削除した画像デ
ータからパターンマッチング等の手法により五線以外の
音符・記号等の楽譜情報の認識を行い、楽譜上の位置を
求める。楽譜上の位置は、楽譜の画像データから求めら
れ、画像の座標位置として得られる。

【００１１】また、認識処理では、認識された楽譜情報
からＭＩＤＩデータ等の演奏データを生成する。生成さ
れたＭＩＤＩデータを音源回路に送出することにより、
楽譜の演奏データを発音させることができる。

【００１２】認識処理により生成された音符・記号等の
楽譜データとその位置データ６２は再構成処理され、楽
譜の画像データ６３が生成される。再構成処理は、認識
処理により求められた五線位置等から、入力された元画
像に対応する同じ位置に五線を引き画像の再構成を行
う。

【００１３】そして、五線の線間隔を基にして、予めメ
モリに記憶されている音符・記号等の楽譜データのフォ
ントを適切な大きさに拡大または縮小を行い、認識処理
により得られたその楽譜データの位置にフォントをはり
つけて再構成画像データ６３を生成する。

【００１４】以上により、イメージスキャナにより入力
された楽譜の元画像データ６１と認識処理により得られ
た楽譜データから再構成した再構成画像データ６３の２
つの画像データが生成される。

【００１５】楽譜の元画像データ６１は、必要に応じて
画像の拡大・縮小処理または画面スクロール等の処理が
され、表示用画像データ６４の一部が生成される。同様
に、楽譜の再構成画像データ６３も、必要に応じて画像
の拡大・縮小処理または画面スクロール等の処理がさ
れ、表示用画像データ６４の一部が生成される。

【００１６】表示用画像データ６４は、元画像データ６
１と再構成画像データ６３を基にして生成され、表示用
ＲＡＭに書き込まれる。表示用ディスプレイ装置は、表
示用ＲＡＭ上の画像データ６４を表示する。ディスプレ
イ装置には、イメージスキャナから入力された元画像と
認識された楽譜データから再構成された再構成画像の両
方が並べて表示される。

【００１７】図１は、イメージスキャナで入力された楽
譜の元画像と楽譜認識結果を表す再構成画像を表示した
ディスプレイ画面である。表示画面は、メニューバー１
と表示ウィンドウ７を有する。メニューバー１には、各
種処理を行うためのメニューが表示されており、この中
のメニューを選択することにより種々の処理が実行され
る。

【００１８】メニューバー１から処理を選択する操作
は、マウス装置を用いて行われる。計算機は、出力装置
としてのディスプレイ装置と接続され、入力装置として
のマウス装置と接続されている。計算機システムの操作
者は、マウスを用いて指示操作を行い、その処理結果は
ディスプレイに表示される。

【００１９】画面上には、マウスカーソル２が表示され
ている。カーソル２は、マウス装置の移動操作を行うこ
とにより画面上を移動する。メニューの選択は、メニュ
ーバー１の中のメニュー上にカーソル２を移動させ、マ
ウスのボタンをクリックすることにより行う。メニュー
バー１は、ファイル、スキャン、認識、領域、編集、そ
の他の６つのメニューを含む。

【００２０】メニューバー１より「スキャン」を選択す
ると、イメージスキャナは楽譜の読み込みを行い、読み
込まれた楽譜画像データはメモリに記憶される。この画
像データは、表示ウィンドウ７内の左半分に元画像３と
して表示される。元画像３は、イメージスキャナが読み
込んだイメージ画像を表すので、楽譜がそのまま画像と
して画面に再現される。

【００２１】メニューバー１より「認識」を選択する
と、五線や音符等の楽譜情報の認識が行われ、音符等の
楽譜情報を表す楽譜データとその楽譜情報が存在する楽
譜上の位置を表す位置データが検出される。検出された
楽譜データと位置データから再構成画像データが生成さ
れる。

【００２２】認識処理により楽譜上の五線位置、五線の
線間隔、五線の線幅が求められるので、これらの情報に
従って五線の画像データが再構成画像データとして生成
される。また、音符、記号等の楽譜データとその位置デ
ータより、元画像と同じ位置に音符、記号等の再構成画
像データが生成される。再構成画像データは、予めメモ
リに記憶されている音符、記号等の内蔵フォントを用い
て生成される。

【００２３】生成された再構成画像データは、表示ウィ
ンドウ７の右半分に再構成画像データ４として表示され
る。再構成画像は、認識された各楽譜情報の位置データ
を用いて生成されるので、再構成画像４には対応する楽
譜上において元画像３とほとんど同じ位置に五線、音
符、記号等が表示される。

【００２４】再構成画像４は、楽譜の認識結果を楽譜画
像として再構成したものであり、認識に成功した楽譜情
報は元画像３と同様に再構成画像４にも表示されてお
り、認識に失敗した楽譜情報は、元画像３と異なる状態
で再構成画像に表示される。

【００２５】そこで、認識が正しく行われた否かを表示
ウィンドウ７内の元画像３と再構成画像４を見比べるこ
とによりチェックする必要がある。表示ウィンドウ７に
は、元画像３と再構成画像４が並んで表示されている。
しかも、元画像３と再構成画像４とは、それぞれの楽譜
の対応する位置に五線、音符等の楽譜情報が表示されて
いるので、比較を容易に行うことができる。

【００２６】元画像３と再構成画像４の比較により、楽
譜情報の認識ミスの箇所を見つけた場合には、編集処理
を行う必要がある。メニューバー１より「編集」を選択
することにより再構成画像に表示されている認識された
楽譜データの編集を行うことができる。編集モードで
は、認識ミスの楽譜情報に対して追加、削除、変更等の
編集を行い、正しい楽譜に修正する。

【００２７】メニューバー１より「ファイル」を選択す
ると、画像データまたはＭＩＤＩデータ等が記録されて
いるファイルの削除、コピー等のファイル操作を行うこ
とができる。

【００２８】メニューバー１より「その他」を選択する
と、自動演奏、再構成楽譜画像の印刷等の処理を行うこ
とができる。自動演奏処理においては、読み取った楽譜
の情報を認識することにより生成された楽譜情報を表す
ＭＩＤＩデータを音源回路に送出することにより、演奏
データが再生され、自動演奏が行われる。再構成楽譜画
像の印刷は、再構成画像４の楽譜の印刷を行う。例え
ば、手書き楽譜がイメージスキャナにより入力された場
合には、元画像３にはそれと同じ手書き楽譜が表示さ
れ、再構成画像４には内蔵フォントにより再構成された
楽譜が出来上がる。そのため、再構成画像４は、元画像
３の手書き楽譜を再構成して清書した形の楽譜として生
成されることになる。そこで、印刷処理を実行すること
により、再構成画像４の清書された楽譜を印刷すること
ができる。

【００２９】メニューバー１の「領域」により、元画像
３および再構成画像４の拡大または縮小を行うことがで
きる。楽譜画像の詳細部分を表示させたいときには、所
望の詳細部分の拡大を行えばよい。また、楽譜画像を幅
広く全体的に表示させたいときには、楽譜画像の縮小を
行えばよい。

【００３０】マウスを操作して、メニューバー１の「領
域」の位置にカーソルを合わせ、マウスボタンを押す
と、プルダウンメニューとして「拡大」と「縮小」のメ
ニューが表示される。マウスボタンを押したまま、「拡
大」の上にカーソルを移動させ、マウスボタンを離すと
「拡大」のメニューが選択される。「縮小」のメニュー
を選択するには、マウスボタンを押したまま、「縮小」
の上にカーソルを移動させ、マウスボタンを離せばよ
い。

【００３１】「拡大」または「縮小」を選択すると、プ
ルダウンメニューは画面上から消える。「拡大」を選択
すると、元画像および再構成画像が４倍に拡大されて表
示される。「縮小」を選択すると、元画像および再構成
画像が１／４に縮小されて表示される。

【００３２】図２は、楽譜画像が拡大表示される対象領
域を示す。「スキャン」のメニューを選択して、イメー
ジスキャナから楽譜を読み込むことにより、表示ウィン
ドウ７に元画像３が表示される。そして、「認識」のメ
ニューを選択すると、楽譜の元画像データを基にして認
識され、再構成された再構成画像４が表示ウィンドウ７
内の元画像３の横に並んで表示される。

【００３３】初期画面表示においては、元画像３および
再構成画像４の楽譜全体が見渡せる画像の大きさで表示
される。「領域」のメニューから「拡大」のプルダウン
メニューを選択すると、領域６Ｌに表示されている元画
像３の楽譜領域が４倍に拡大されて表示される。それと
同時に領域６Ｒに表示されている再構成画像４の楽譜領
域が４倍に拡大されて表示される。

【００３４】４倍に拡大された楽譜画像が表示されてい
る際に、更に「拡大」メニューを選択すると、領域５Ｌ
に表示されている元画像３の楽譜領域が１６倍に拡大さ
れて表示される。それと同時に領域６Ｒに表示されてい
る再構成画像４の楽譜領域が１６倍に拡大されて表示さ
れる。

【００３５】図３は、初期画面表示の４倍に拡大された
楽譜画像を表示する表示ウィンドウを示す。初期画面表
示において、「拡大」メニューを選択すると、４倍に拡
大された元画像１１と再構成画像１２が表示ウィンドウ
７に縦に並んで表示される。

【００３６】初期表示画面においては、表示ウィンドウ
が縦分割され、元画像と再構成画像が表示ウィンドウ内
で横に並んで表示されていたが、拡大されたときには表
示ウィンドウが横分割され、元画像１１と再構成画像１
２が表示ウィンドウ７内に縦に並んで表示される。この
ため拡大された画像が見やすくなる。また、表示ウィン
ドウの領域を有効利用でき、元画像と再構成画像の比較
がしやすい。

【００３７】楽譜画像が拡大されると、楽譜全体の内の
一部の領域である元画像１１と再構成画像１２が表示さ
れる。そこで、画面をスクロールさせることにより、画
面に表示されていない部分の楽譜画像を表示させること
ができる。

【００３８】縦方向のスクロールアローＶＵにカーソル
を移動させて、マウスをクリックすると、元画像１１と
再構成画像１２は同期して下方に小移動のスクロールを
する。スクロールアローＶＤにカーソルを移動させて、
マウスをクリックすると、元画像１１と再構成画像１２
は同期して上方に小移動のスクロールをする。

【００３９】横方向のスクロールアローＨＬをクリック
すると、元画像１１と再構成画像１２は同期して右方に
小移動のスクロールをする。スクロールアローＨＲをク
リックすると、元画像１１と再構成画像１２は同期して
左方に小移動のスクロールをする。

【００４０】縦方向のスクロールバーＶＣ上において、
スクロールボックスＶＢよりも上の部分をクリックする
と、元画像１１と再構成画像１２は同期して下方に大移
動のスクロールをし、スクロールボックスＶＢよりも下
の部分をクリックすると、元画像１１と再構成画像１２
は同期して上方に大移動のスクロールをする。

【００４１】横方向のスクロールバーＨＣ上において、
スクロールボックスＨＢよりも左の部分をクリックする
と、元画像１１と再構成画像１２は同期して右方に大移
動のスクロールをし、スクロールボックスＨＢよりも右
の部分をクリックすると、元画像１１と再構成画像１２
は同期して左方に大移動のスクロールをする。

【００４２】以上のように、楽譜画像のスクロールを行
うと、元画像と再構成画像が同期して、同じ方向に同じ
量だけ移動するので、元画像と再構成画像の比較が行い
やすい。

【００４３】スクロールボックスＶＢ，ＨＢは、楽譜画
像が画面上に表示されている状態を示す。スクロールボ
ックスＶＢ，ＨＢの幅は、表示されている領域の幅を示
す。例えば、楽譜画像が全て表示ウィンドウに表示され
ていれば、スクロールボックスＶＢ，ＨＢの幅が広くな
り、スクロールバーＶＣ，ＨＣと同じ幅になる。逆に、
楽譜画像の拡大を行い、表示される対象領域が狭くなる
と、スクロールボックスＶＢ，ＨＢの幅も狭くなる。

【００４４】スクロールボックスＶＢ，ＨＢのスクロー
ルバーＶＣ，ＨＣ上における位置は、楽譜全体の中にお
ける表示楽譜画像の位置を表す。例えば、スクロールボ
ックスＶＢが最上部に表示されていれば、楽譜全体の最
上の部分が表示されていることを示す。逆に、スクロー
ルボックスＶＢが最下部に表示されていれば、楽譜全体
の最下の部分を表示していることを示す。横方向のスク
ロールボックスＨＢも同様に、楽譜全体の中の左右の位
置を示す。

【００４５】スクロールボックスＶＢにカーソルを移動
させ、マウスボタンを押したままカーソルを下に移動さ
せてマウスボタンを離すと、元画像１１および再構成画
像１２が同期して上方に移動し、下方向の領域の画像が
表示される。カーソルの移動量に応じて、楽譜画像の移
動量も決まる。マウスボタンを押したままカーソルを上
に移動させてマウスボタンを離せば、元画像１１および
再構成画像１２が同期して下方に移動し、上方向の領域
の画像が表示される。スクロールボックスＨＢは、同様
にして左右方向の表示画像の移動を行うことができる。

【００４６】サイズボックスＳＢは、表示ウィンドウ７
の大きさを変更することができる。例えば、新たに別の
表示ウィンドウを開くために、現在開かれている表示ウ
ィンドウを小さくする必要があるときや、逆に大きくす
る必要があるときに表示ウィンドウの大きさの変更を行
う。

【００４７】表示ウィンドウの大きさを変更するには、
現在表示されている表示ウィンドウのサイズボックスＳ
Ｂにカーソルを移動させてマウスボタンを押し、ボタン
を押したままカーソルを、変更したいサイズのウィンド
ウの右下隅の位置にまで移動させる。そして、マウスボ
タンを離すと、ウィンドウサイズが変更される。

【００４８】表示ウィンドウのサイズを大きくする場合
も小さくする場合も同じ操作により、ウィンドウサイズ
の変更を行うことができる。なお、表示ウィンドウの拡
大においては、最大のウィンドウサイズが決められてい
る。そのため、それ以上表示ウィンドウサイズを大きく
する方向にカーソルを移動させても、最大のウィンドウ
サイズにまでしか大きくすることができない。

【００４９】図４は、初期画面表示の１６倍に拡大され
た楽譜画像を表示する表示ウィンドウを示す。初期画面
表示から、「拡大」メニューを２回選択すると、初期画
面表示の画像の１６倍に拡大された元画像１５と再構成
画像１６が表示ウィンドウ７に縦に並んで表示される。

【００５０】楽譜画像は、「拡大」を１度行うと、初期
画面における左上隅部分が４倍に拡大されて表示され、
更にもう一度「拡大」を行うと、更に左上隅部分が４倍
拡大されて表示される。元画像１５と再構成画像１６
は、初期画面の楽譜画像と比較すれば１６倍に拡大され
た画像となる。

【００５１】楽譜画像のスクロールは、前述のようにス
クロールアローＶＵ，ＶＤ，ＨＬ，ＨＲ、スクロールバ
ーＶＣ，ＨＣまたはスクロールボックスＶＢ，ＨＢによ
り行うことができる。表示ウィンドウ７のサイズ変更
は、サイズボックスＳＢにより行うことができる。

【００５２】図５は、本発明を実施するための楽譜認識
結果表示システムの構成例を示す。ＣＰＵ３８は、バス
３９を介して、イメージスキャナ３１に楽譜の読み込み
を指示する。イメージスキャナ３１は、楽譜を画像デー
タとして読み取る。読み取られた画像データは、バス３
９を介して、ＲＡＭ３６に元画像データとして記憶され
る。イメージスキャナ３１は、例えば３００ｄｐｉの解
像度を有する画像読み取り装置である。

【００５３】ＣＰＵ３８は、ＲＡＭ３６に記憶された楽
譜の元画像データを基にして認識処理を行い、再構成画
像データまたはＭＩＤＩデータを生成し、ＲＡＭ３６に
記憶する。

【００５４】ＲＡＭ３６に記憶されたＭＩＤＩデータ
は、バス３９を介して、ＭＩＤＩインターフェース３４
から外部機器に送出される。また、外部機器からＭＩＤ
Ｉインターフェース３４に入力されたＭＩＤＩデータ
は、バス３９を介して、ＲＡＭ３６に記憶される。

【００５５】ＲＡＭ３６に記憶された画像データは、バ
ス３９を介して、表示回路３３に供給され、楽譜画像の
表示が行われる。再構成画像は、ＲＯＭ３７に記憶され
た音符、記号等のフォントを基に生成される。

【００５６】マウス３２は、表示回路３３に表示された
処理メニューの選択や表示ウィンドウの操作等を行う入
力装置である。キーボード３５は、カーソル移動や文字
入力等を行う入力装置である。

【００５７】ＲＯＭ３７は演算プログラムも記憶してい
る。ＣＰＵ３８はこの演算プログラムに従って、ＲＡＭ
３６に備えられたレジスタやバッファメモリ等のワーキ
ングメモリを用いて各種演算処理を行う。

【００５８】図６は、楽譜認識結果の表示を行う処理の
メインルーチンを示すフローチャートである。ステップ
Ｐ１から処理はスタートし、ステップＰ２においてレジ
スタ類の初期化等の初期設定を行う。

【００５９】ステップＰ３において、マウス装置からの
入力があるときには各種のマウス処理を行う。マウス処
理の詳細は後述する。ステップＰ４において、キーボー
ドからの入力信号に対する処理等のその他の処理を行
う。そして、ステップＰ３へと進み、処理を繰り返す。

【００６０】図７は、図６のステップＰ３におけるマウ
ス処理を示すフローチャートである。ステップＱ１から
処理はスタートし、ステップＱ２においてマウスボタン
の状態を調べ、マウスボタンが押されてスイッチオンの
状態にあるか否かをチェックする。オン状態であればス
テップＱ３へ進み、ボタンが押された際のマウスカーソ
ルの位置をチェックする。一方、マウスボタンがオン状
態でなければ、処理端子Ａへ進む。

【００６１】ステップＱ３では、マウスボタンが押され
た際にカーソルが画面の何処に位置するかを判断する。
マウスによる画面上の選択で処理が分岐する。マウス処
理には、ウィンドウ操作とメニュー選択がある。ここ
で、一部の処理においてはスイッチオンからオフまでの
一連の動作をまとめて説明している。

【００６２】ウィンドウ操作は、スクロールアロー、ス
クロールボックス、サイズボックスおよびスクロールバ
ーによる処理を含む。メニュー選択は、領域、スキャ
ン、認識およびその他エリアを含む。

【００６３】ステップＱ３において、マウスボタンが押
された際にカーソルが「スクロールアロー」の位置にあ
れば、ステップＱ４へ進み、表示ウィンドウ内の元画像
の表示エリアを小移動でスクロールする。カーソルの位
置が縦方向のスクロールアローであれば上下方向へのス
クロールが行われ、横方向のスクロールアローであれば
左右方向へのスクロールが行われる。小移動のスクロー
ルとは、例えば画面の１／１０のサイズを単位として行
われるスクロールである。

【００６４】表示用メモリには、表示回路に表示するデ
ータが記憶されており、表示用メモリに記憶されている
２値（白、黒）画像が、表示ウィンドウに表示される。
例えば、元画像のスクロールを行う際には、イメージス
キャナから読み込まれた元画像データのうちから切り取
る領域を移動して、その領域の画像データを表示用メモ
リにコピーする。すると、スクロール後の元画像が表示
ウィンドウに表示される。

【００６５】ステップＱ５では、表示ウィンドウ内の再
構成画像の表示エリアを小移動でスクロールする。元画
像のスクロールと同様に、再構成画像に対してカーソル
の位置による上下方向のスクロールまたは左右方向のス
クロールが行われる。この再構成画像のスクロールは、
元画像のスクロールと同期して行われ、ほとんど同時に
同方向へ同量のスクロールが行われる。その後、処理端
子Ａへ進む。

【００６６】ステップＱ３において、マウスボタンが押
された際にカーソルが「スクロールバー」の位置にあれ
ば、ステップＱ８へ進み、表示ウィンドウ内の元画像の
表示エリアを大移動でスクロールする。カーソルの位置
が縦方向のスクロールバーであれば上下方向へのスクロ
ールが行われ、横方向のスクロールバーであれば左右方
向へのスクロールが行われる。大移動のスクロールと
は、例えば画面の１／４のサイズを単位として行われる
スクロールである。

【００６７】ステップＱ９では、表示ウィンドウ内の再
構成画像の表示エリアを大移動でスクロールする。再構
成画像は、元画像のスクロールと同様に、カーソルの位
置により上下方向または左右方向のスクロールが行わ
れ、元画像のスクロールと同期して、ほとんど同時に同
方向へ同量のスクロールが行われる。その後、処理端子
Ａへ進む。

【００６８】ステップＱ３において、マウスボタンが押
された際にカーソルが「スクロールボックス」の位置に
あれば、ステップＱ６へ進み、ｓｃｒｌｂｏｘフラグを
１にする。スクロールボックスは、画像の任意量の移動
を行うことができる。その後、処理端子Ａへ進みマウス
カーソルの移動状態をチェックする。

【００６９】ステップＱ３において、マウスボタンが押
された際にカーソルが「サイズボックス」の位置にあれ
ば、ステップＱ７へ進み、ｓｉｚｅｂｏｘフラグを１に
する。サイズボックスは、表示ウィンドウのウィンドウ
サイズを変更することができる。その後、処理端子Ａへ
進みマウスカーソルの移動状態をチェックする。

【００７０】図８は、図７のステップＱ３におけるカー
ソル位置がメニュー領域にあるときの処理を示すフロー
チャートである。メニューは、領域、スキャン、認識お
よびその他エリアを含み、更に領域のメニューには拡大
と縮小の２つのサブメニューがある。

【００７１】ステップＱ３において、マウスボタンが押
された際にカーソルが「領域」の位置にあれば、プルダ
ウンメニューを画面に表示する。プルダウンメニュー
は、拡大と縮小のサブメニューを含む。

【００７２】マウスボタンが離された際にカーソルがサ
ブメニュー『拡大』の位置にあれば、ステップＱ１０へ
進み、元画像データのデータ領域を狭くして、狭くした
データ領域を拡大した画像データを生成する。拡大画像
データは、現時点で表示されている元画像の１／４の領
域の画像データを４倍に拡大して生成する。

【００７３】ステップＱ１１では、元画像の拡大と同様
に、再構成画像の拡大画像データを生成する。拡大画像
データは、現時点で表示されている再構成画像の１／４
の領域の画像データを４倍に拡大して生成する。

【００７４】ステップＱ１２では、表示画像の拡大率に
応じて、元画像と再構成画像を縦分割または横分割によ
り表示ウィンドウ内に表示する。その後、処理端子Ａへ
進む。

【００７５】イメージスキャナから楽譜を読み込んで元
画像を表示する際または楽譜の認識処理に伴い再構成画
像を表示する際には、縦長サイズの楽譜全体を表示ウィ
ンドウに表示する。その時には、縦長の元画像と再構成
画像を縦分割にして表示する。この縦分割表示は、楽譜
全体を表示し、標準サイズの楽譜画像を表す。

【００７６】標準サイズの楽譜画像が表示されている状
態であれば、拡大の場合には表示ウィンドウを縦分割か
ら横分割にして元画像の拡大画像データと再構成画像の
拡大画像データを表示する。したがって、拡大された元
画像と再構成画像は縦方向に並んで表示される。

【００７７】標準サイズの楽譜画像から既に拡大された
画像が表示されている状態であれば、横分割のままで、
分割の方向は変えずに元画像と再構成画像のそれぞれの
拡大画像データを縦並びで表示する。

【００７８】ステップＱ３において、マウスボタンが押
された際にカーソルが「領域」の位置にあれば、プルダ
ウンメニューを画面に表示する。マウスボタンが離され
た際にカーソルがサブメニュー『縮小』の位置にあれ
ば、ステップＱ１３へ進む。

【００７９】元画像データのデータ領域を広くして、広
くしたデータ領域を縮小した画像データを生成する。縮
小画像データは、現時点で表示されている元画像の４倍
の領域の画像データを１／４に縮小して生成する。

【００８０】ステップＱ１４では、元画像の縮小と同様
に、再構成画像の縮小画像データを生成する。縮小画像
データは、現時点で表示されている再構成画像の４倍の
領域の画像データを１／４に縮小して生成する。

【００８１】ステップＱ１５では、表示画像の拡大率に
応じて、元画像と再構成画像を縦分割または横分割した
表示ウィンドウ内に表示する。その後、処理端子Ａへ進
む。生成された縮小画像データが、標準サイズの楽譜画
像となる場合には、表示ウィンドウを横分割から縦分割
にして元画像と再構成画像のそれぞれの縮小画像データ
を表示する。したがって、縮小された元画像と再構成画
像は横方向に並んで表示される。

【００８２】ステップＱ３において、マウスボタンがク
リックされた際にカーソルが「スキャン」の位置にあれ
ば、ステップＱ１６へ進む。ステップＱ１６では、ＣＰ
Ｕがイメージスキャナに楽譜の読み込み開始の信号を送
る。イメージスキャナが読み取った楽譜の画像データ
は、ＲＡＭに記憶される。

【００８３】ステップＱ１７では、ＲＡＭに記憶された
楽譜の元画像データを表示用メモリに転送し、表示ウィ
ンドウの左半分に標準サイズで楽譜全体を表示する。こ
の時の表示ウィンドウは縦分割されている。その後、処
理端子Ａへ進む。

【００８４】ステップＱ３において、マウスボタンがク
リックされた際にカーソルが「認識」の位置にあれば、
ステップＱ１８へ進む。ステップＱ１８では、ＲＡＭに
記憶されている楽譜の元画像データを基にして、五線、
音符、記号等の楽譜情報の種類とその楽譜上位置の認識
を行う。

【００８５】ステップＱ１９では、認識された楽譜デー
タとその位置データから、元画像の五線、音符、記号等
に対応する同じ位置に内蔵フォントを用いて再び楽譜画
像を構成し、再構成画像データを生成する。

【００８６】ステップＱ２０では、生成された再構成画
像データをＲＡＭに記憶する。ステップＱ２１では、Ｒ
ＡＭに記憶された楽譜の再構成画像データを表示用メモ
リに転送し、表示ウィンドウの右半分に標準サイズで楽
譜全体を表示する。この時の表示ウィンドウは縦分割さ
れている。その後、処理端子Ａへ進む。

【００８７】ステップＱ３において、以上述べたウィン
ドウ操作またはメニュー以外のエリアでマウスボタンが
クリックされたときは、ステップＱ２２へ進み、「ファ
イル」、「編集」、「その他」のメニュー処理を行う。
その後、処理端子Ａへ進む。

【００８８】「ファイル」のメニューがクリックされた
ときには、その後のマウスまたはキーボードによる入力
指示に従って、画像データまたはＭＩＤＩデータ等が記
録されているファイルの削除、コピー等のファイル操作
の処理を行う。

【００８９】「編集」のメニューがクリックされたとき
には、その後の入力指示に従い、楽譜の認識結果を表す
再構成画像において楽譜情報の追加、削除、変更等の編
集処理を行う。

【００９０】「その他」のメニューがクリックされたと
きには、更にメニュー選択の処理を行い、自動演奏、再
構成楽譜画像の印刷等のメニュー選択を待つ。自動演奏
が選択されれば、楽譜の認識により生成されたＭＩＤＩ
データ等をＭＩＤＩインターフェースから外部機器へ送
出する。再構成楽譜画像の印刷が選択されれば、再構成
画像の楽譜画像データを外部へ出力し、例えばプリンタ
を接続することにより楽譜の印刷が行われる。

【００９１】図９は、マウス処理における処理端子Ａに
続く処理を示すフローチャートである。処理端子Ａから
ステップＲ１へ進み、マウス装置が移動したか否かの判
断を行う。移動していればステップＲ２へ進み、移動し
ていなければバイパスしてステップＲ７へ進む。

【００９２】ステップＲ２では、マウス装置の移動に応
じて画面に表示されているカーソルを同方向に画面上で
移動表示する。ステップＲ３では、ｓｃｒｌｂｏｘフラ
グが１であるか否かをチェックする。ｓｃｒｌｂｏｘフ
ラグが１でなければステップＲ５へ進み、ｓｃｒｌｂｏ
ｘフラグが１であればステップＲ４へ進む。

【００９３】ステップＲ４では、カーソルの移動に対応
する方向と移動量だけスクロールボックスの輪郭を移動
表示する。カーソルが縦方向のスクロールボックスに位
置していれば、カーソルの移動に応じて縦方向にスクロ
ールボックスの輪郭を移動表示する。カーソルが横方向
のスクロールボックスに位置していれば、カーソルの移
動に応じて横方向にスクロールボックスの輪郭を移動表
示する。その後、ステップＲ７へ進む。

【００９４】ステップＲ５では、ｓｉｚｅｂｏｘフラグ
が１であるか否かをチェックする。１でなければステッ
プＲ７へ進み、１であればステップＲ６へ進む。ステッ
プＲ６では、カーソルの移動に対応する方向と移動量だ
け表示ウィンドウの右下隅に対応する輪郭を移動表示
し、表示ウィンドウの輪郭の大きさを変更して表示す
る。マウスの移動を行うと、カーソルの移動に対応して
表示ウィンドウを形成する矩形の右隅座標をカーソル位
置へと移動させ、表示ウィンドウの大きさを変更して輪
郭を表示する。そして、ステップＲ７へ進む。

【００９５】ステップＲ７においてマウスボタンの状態
を調べ、マウスボタンが離されてスイッチオフの状態に
あるか否かをチェックする。オフ状態でなければステッ
プＲ１６へ進みメインルーチンの処理へ戻り、オフ状態
であればステップＲ８へ進む。

【００９６】ステップＲ８では、ｓｃｒｌｂｏｘフラグ
が１であるか否かをチェックする。ｓｃｒｌｂｏｘフラ
グが１でなければステップＲ１２へ進み、ｓｃｒｌｂｏ
ｘフラグが１であればステップＲ９へ進む。

【００９７】ステップＲ９では、ｓｃｒｌｂｏｘフラグ
を０にして、ステップＲ１０へ進む。ステップＲ１０で
は、まず、スクロールボックスの輪郭の位置にスクロー
ルボックスを移動表示する。そして、マウスボタンが離
された際のスクロールボックスの輪郭の位置に対応し
て、元画像データ中の表示領域を移動して表示ウィンド
ウに表示する。次に、元画像の移動表示と同様に、スク
ロールボックスの輪郭の位置に対応して、再構成画像デ
ータ中の表示領域を移動して表示ウィンドウに表示す
る。その後、ステップＲ１６へ進みメインルーチンの処
理へ戻る。

【００９８】ステップＲ１２においては、ｓｉｚｅｂｏ
ｘフラグが１であるか否かをチェックする。ｓｉｚｅｂ
ｏｘフラグが１でなければステップＲ１６へ進みメイン
ルーチンの処理へ戻り、ｓｉｚｅｂｏｘフラグが１であ
ればステップＲ１３へ進む。

【００９９】ステップＲ１３では、ｓｉｚｅｂｏｘフラ
グを０にして、ステップＲ１４へ進む。ステップＲ１４
では、マウスボタンが離された際の表示ウィンドウの輪
郭の位置に対応して、表示ウィンドウの矩形の大きさを
変えるように変形する。そして、それに対応して、表示
ウィンドウ内の元画像が表示される領域を変形する。続
いて、表示ウィンドウの輪郭の位置に対応して、表示ウ
ィンドウ内の再構成画像が表示される領域を変形する。
そして、ステップＲ１６へ進み、メインルーチンの処理
へ戻る。

【０１００】図１０は、楽譜画像の表示領域を変更する
ための他の実施例を示す。前述の実施例では、表示画像
の倍率を変更することにより、画面に表示されている楽
譜画像の領域を変更することができた。

【０１０１】本実施例では、表示ウィンドウ７に表示さ
れている元画像３および再構成画像４の領域中で指定し
た領域の楽譜画像を表示することができる。元画像３に
おいて領域４１を指定した場合と領域４２を指定した場
合のそれぞれの例を示す。領域４１，４２は、矩形領域
として指定される。

【０１０２】領域の指定を行うには、まず、指定すべき
矩形領域の左上隅にマウスカーソルを移動させるそし
て、マウスボタンを押し、押したままマウス装置を移動
させ、矩形領域の右下隅にマウスカーソルを移動させ、
スイッチを離す。すると、領域が指定される。

【０１０３】つまり、マウスボタンを押した画像の位置
が矩形領域の左上隅の座標位置に指定され、マウスボタ
ンを離した位置が矩形領域の右下隅の座標位置に指定さ
れることにより、左上隅と右下隅を結ぶ対角線を形成す
る矩形領域が指定される。

【０１０４】図１１は、図１０において横長の領域４１
が指定された場合の表示ウィンドウを示す。指定された
矩形領域が横長であるときには、表示ウィンドウ７に指
定された領域の元画像５１とそれに対応する領域の再構
成画像５２が横分割表示される。

【０１０５】そして、指定された領域に従った元画像５
１と再構成画像５２が縦に並んで表示されるので、その
大きさに対応するウィンドウサイズに表示ウィンドウが
変更される。

【０１０６】図１２は、図１０において縦長の領域４２
が指定された場合の表示ウィンドウを示す。指定された
矩形領域が縦長であるときには、表示ウィンドウ７に指
定された領域の元画像５５とそれに対応する領域の再構
成画像５６が縦分割表示される。そして、指定された領
域に従って、対応するウィンドウサイズに表示ウィンド
ウが変更される。

【０１０７】以上のように、指定された表示領域の形状
に応じて、縦分割または横分割の表示方法が決定され
る。ただし、この際に表示を行うディスプレイ装置の形
状も考慮される。つまり、指定された矩形領域の縦横比
を演算して、横長であれば横分割を行い、縦長であれば
縦分割を行い、さらにこの時ディスプレイ装置の縦横比
に応じて、画面上に余白の少ない形状にて表示される。
これにより、画面の表示領域を有効に利用することがで
きると同時に分割された２つの画像を比較しやすくな
る。

【０１０８】なお、領域が指定された後に、縦分割また
は横分割表示される元画像および再構成画像は、領域指
定前と同じ倍率の画像でもよいが、指定された領域の大
きさに応じて、倍率を変化させて拡大または縮小を行う
こともできる。

【０１０９】以上のように本実施例による楽譜認識結果
表示システムは、元画像を読み取り、認識し、対応する
楽譜位置に再構成画像を構成し、元画像と再構成画像を
状況に応じて横または縦に並べて表示することにより、
入力された楽譜の元画像データとその認識結果を示す再
構成画像データの比較が行いやすくなる。元画像と再構
成画像の比較により、認識ミスを発見したときには、再
構成画像データの追加、削除、変更等の編集処理を行う
ことができる。

【０１１０】画像のスクロールにより画像の表示領域を
変更する際には、元画像と再構成画像が同期してスクロ
ールする。また、表示画像の拡大または縮小を行う際に
も、元画像と再構成画像は同じ楽譜部分を同じ倍率で拡
大または縮小する。したがって、表示される画像を変更
するような処理を行っても、元画像と再構成画像は同じ
楽譜部分が表示ウィンドウに表示されるので、比較が行
いやすい。

【０１１１】以上実施例に沿って本発明を説明したが、
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組合わせ等が可能なことは当業者に自
明であろう。

【０１１２】

【発明の効果】表示させるイメージの大きさ、位置また
は形状を変化させた場合でも、入力された楽譜画像とそ
の認識結果を表す楽譜画像の両方が対応して同様に変化
し、２つの楽譜画像の対応する同じ楽譜部分が表示手段
に並べて表示されるので、２つの楽譜画像の比較が行い
やすい。したがって、２つの楽譜画像の差異を見つけ出
すことにより、楽譜の認識ミスの箇所を容易に検出する
ことができる。

【図面の簡単な説明】

【図１】 イメージスキャナで入力された楽譜の元画像
と楽譜認識結果を表す再構成画像を表示したディスプレ
イ表示画面を示す概略図である。

【図２】 楽譜画像が拡大表示される対象領域を示す概
略図である。

【図３】 初期画面表示の４倍に拡大された楽譜画像を
表示する表示ウィンドウを示す概略図である。

【図４】 初期画面表示の１６倍に拡大された楽譜画像
を表示する表示ウィンドウを示す概略図である。

【図５】 本発明を実施するための楽譜認識結果表示シ
ステムの構成例を示すブロック図である。

【図６】 楽譜認識結果の表示を行う処理のメインルー
チンを示すフローチャートである。

【図７】 図６のステップＰ３におけるマウス処理を示
すフローチャートである。

【図８】 図６のステップＰ３におけるマウス処理を示
すフローチャートである。

【図９】 マウス処理における処理端子Ａに続く処理を
示すフローチャートである。

【図１０】 楽譜画像の表示領域を変更するための他の
実施例を示す概略図である。

【図１１】 図１０において横長の領域が指定された場
合の表示ウィンドウを示す概略図である。

【図１２】 図１０において縦長の領域が指定された場
合の表示ウィンドウを示す概略図である。

【図１３】 本発明の実施例による楽譜認識結果のチェ
ックを行うためのディスプレイ表示手順を示すブロック
図である。

【符号の説明】

１ メニューバー、 ２ マウスカーソル、 ３，
１１，１５ 元画像、４，１２，１６ 再構成画像、
７ 表示ウィンドウ、 ＨＬ，ＨＲ，ＶＵ，ＶＤ
スクロールアロー、 ＨＢ，ＶＢ スクロールボック
ス、 ＨＣ，ＶＣ スクロールボックス、 ＳＢ
サイズボックス、 ３１ イメージスキャナ、 ３
２ マウス、 ３３ 表示回路、 ３４ ＭＩＤＩ
インターフェース、 ３５ キーボード、 ３６
ＲＡＭ、 ３７ ＲＯＭ、３８ ＣＰＵ、 ３９
バス

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭54−102927（ＪＰ，Ａ) 特開 昭61−272882（ＪＰ，Ａ) 特開 昭63−129482（ＪＰ，Ａ) 特開 昭56−114076（ＪＰ，Ａ) 特開 昭58−140879（ＪＰ，Ａ) 特開 昭61−49284（ＪＰ，Ａ) 特開 昭62−138981（ＪＰ，Ａ) 特開 平６−60217（ＪＰ，Ａ) 実開 昭62−112762（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06K 9/03

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 楽譜をイメージとして読み取る画像入力
   手段（３１）と、 前記画像入力手段が読み取った第１楽譜画像データを記
   憶するメモリ（３６）と、 前記第１楽譜画像データに基づいて楽譜情報を認識する
   認識手段と、 前記認識手段が認識した楽譜情報から第２楽譜画像デー
   タを構成する楽譜再構成手段と、 前記第２楽譜画像データを記憶するメモリ（３６）と、 前記第１楽譜画像データおよび前記第２楽譜画像データ
   に基づいてイメージを表示出力する表示手段（３３）
   と、 前記表示手段に表示される前記第１楽譜画像データのイ
   メージの大きさ、位置または形状を変化させる第１表示
   データ加工手段と、 前記表示手段に表示される前記第２楽譜画像データのイ
   メージの大きさ、位置または形状を変化させる第２表示
   データ加工手段と、 前記表示手段に表示されるイメージの大きさ、位置また
   は形状を指示する指示入力手段（３２）と、 前記指示入力手段からの指示入力信号に応じて、前記第
   １表示データ加工手段および前記第２表示データ加工手
   段の両方にイメージを同様に変化させる同一の指示を与
   える同期制御手段とを有する楽譜認識結果表示システ
   ム。
2. 【請求項２】 楽譜をイメージとして読み取る画像入力
   手段（３１）と、 前記画像入力手段が読み取った第１楽譜画像データを記
   憶するメモリ（３６）と、 前記第１楽譜画像データに基づいて楽譜情報を認識する
   認識手段と、 前記認識手段が認識した楽譜情報から第２楽譜画像デー
   タを構成する楽譜再構成手段と、 前記第２楽譜画像データを記憶するメモリ（３６）と、 前記第１楽譜画像データおよび前記第２楽譜画像データ
   に基づいてイメージを表示出力する表示手段（３３）
   と、 前記第１楽譜画像データが前記表示手段に表示される第
   １表示領域の形状を変更する第１領域変更手段と、 前記第２楽譜画像データが前記表示手段に表示される第
   ２表示領域の形状を変更する第２領域変更手段と、 前記表示手段に表示されるイメージの表示領域の形状を
   指示する指示入力手段（３２）と、 前記指示入力手段からの指示入力信号に応じて、前記第
   １領域変更手段および前記第２領域変更手段の両方に表
   示領域を同様に変更させる同一の指示を与え、指示され
   た表示領域の形状に応じて前記第１表示領域と前記第２
   表示領域の相対位置関係を変更する制御手段とを有する
   楽譜認識結果表示システム。