JP3448928B2

JP3448928B2 - 楽譜認識装置

Info

Publication number: JP3448928B2
Application number: JP30096793A
Authority: JP
Inventors: 健菊地
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1993-11-05
Filing date: 1993-11-05
Publication date: 2003-09-22
Anticipated expiration: 2018-09-22
Also published as: US5790688A; JPH07129159A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、楽譜の音符等の画像
を読取って自動演奏用の演奏データを作成する楽譜認識
装置に関し、特にメモリの画像データに基づく演奏デー
タの作成中に該メモリへの新たな画像データの書込みを
許容したことにより演奏データ作成を効率よく行なえる
ようにしたものである。

【０００２】

【従来の技術】従来、楽譜認識装置としては、ディジタ
ルスキャナ又はディジタイザにより楽譜の音符等の画像
を読取ると共に読取りに係る画像データに基づいて画像
認識処理を行なうことにより演奏データを作成するもの
が知られている。

【０００３】このような楽譜認識装置にあっては、例え
ば１ページ分の画像データを取込むたびに指示を与えて
画像認識処理を開始させるようになっており、画像認識
処理中の画像データ取込みは禁止されている。

【０００４】

【発明が解決しようとする課題】上記した従来の楽譜認
識装置によると、１ページ分の画像データに基づいて演
奏データを作成しているときに次の１ページ分の画像デ
ータを取込むことができない。すなわち、１ページ分の
画像データに基づく演奏データ作成が終った後でない
と、次の１ページ分の画像データを取込むことができな
い。このため、画像取込みの待ち時間が長くかかり、演
奏データ作成に要する時間も長くなる不都合があった。

【０００５】この発明の目的は、画像取込みの待ち時間
を短縮することができる新規な楽譜認識装置を提供する
ことにある。

【０００６】

【課題を解決するための手段】この発明に係る楽譜認識
装置は、音楽記号法に従って楽曲が記載された楽譜の画
像を表わす画像データを発生する発生手段と、所定の処
理単位分の画像データを記憶可能な記憶部を複数有する
記憶手段と、前記発生手段から発生される画像データを
前記記憶手段の複数の記憶部に順次に書込む書込手段
と、前記複数の記憶部に書込まれる画像データを所定の
処理単位分ずつ順次に画像認識処理することにより前記
楽曲の自動演奏のための演奏データを作成するデータ作
成手段と、前記書込手段による前記複数の記憶部への画
像データの書込状況を表示する表示手段とを備え、前記
データ作成手段での演奏データ作成中に前記書込手段に
よる書込みを許容したことを特徴とするものである。こ
の発明の楽譜認識装置において、前記表示手段は、前記
画像データの書込状況の他に、前記データ作成手段によ
る画像認識処理の進行状況を表示するようにしてもよ
い。

【０００７】

【作用】この発明の構成によれば、演奏データ作成中に
画像データを書込むことを可能にしたので、所定の処理
単位を例えば１ページとすると、１ページ分の画像デー
タを１つの記憶部に書込んだ後、この記憶部の画像デー
タを画像認識処理しているときに次の１ページ分の画像
データを次の記憶部に書込むことができる。

【０００８】

【実施例】図１は、この発明の一実施例に係る楽譜認識
装置を備えた自動演奏装置の回路構成を示すもので、こ
の自動演奏装置は、構成要素１０〜２６を含む楽譜認識
装置と、この楽譜認識装置に接続された電子楽器２８
と、この電子楽器２８に接続されたサウンドシステム３
０とを備えている。

【０００９】バス１０には、パネル操作子群１２、パネ
ル表示器１４、画像読取装置１６、ＨＤ（ハードディス
ク）記録装置１８、ＣＰＵ（中央処理装置）２０、プロ
グラムメモリ２２、ワーキングメモリ２４、ＭＩＤＩ
（Musical Instrument Digital Interface）規格の
出力インターフェース２６等が接続されている。

【００１０】パネル操作子群１２には、モード指定キ
ー、数字キー、アルファベットキー等を有するキーボー
ドと、パネル表示器１４の画面上で各種の指示を行なう
ポインティングデバイスとしてのマウスとが含まれる。
この発明の実施に関連してモード指定キーで指定可能な
のは、０、１、２のいずれかのモードであり、モード１
は画像取込・認識モード、モード２は再生・エディット
モード、モード０はその他の処理モードである。

【００１１】パネル表示器１４は、図２〜５に示すよう
な各種の画面を表示するもので、表示内容については図
２〜５を参照して後述する。

【００１２】画像読取装置１６は、ディジタルスキャナ
又はディジタイザからなるもので、バッファメモリＢＭ
を備えている。バッファメモリＢＭには、後述する１ペ
ージ分の記憶容量より小さい記憶容量をそれぞれ有する
記憶部Ｓ₁ 、Ｓ₂ …が設けられている。読取装置１６
は、音楽記号法に従って楽曲が記載された楽譜（図示せ
ず）から記載画像を読取ると、読取りに係る画像を表わ
す画像データをバッファメモリＢＭの記憶部Ｓ₁ 、Ｓ₂
…に順次に書込んでいき、各記憶部毎に満杯になるたび
に割込命令信号ＩＮＴをＣＰＵ２０に送出する。ＣＰＵ
２０は、割込命令信号ＩＮＴを受取るたびに図９の割込
みルーチンを実行することによりワーキングメモリ２４
に画像データを取込む。

【００１３】ＨＤ記録装置１８は、メモリ２４に記憶し
た画像データ等をハードディスクに記録するために設け
られたものである。記録装置１８を設けたことで、メモ
リ２４の記憶容量の低減が可能になると共に画像データ
等の保存が可能になる。

【００１４】ＣＰＵ２０は、ＲＯＭ（リード・オンリィ
・メモリ）からなるプログラムメモリ２２にストアされ
たプログラムに従って画像認識、演奏データ作成、楽音
発生等のための各種処理を実行するもので、これらの処
理については図６〜１２を参照して後述する。

【００１５】ワーキングメモリ２４は、ＲＡＭ（ランダ
ム・アクセス・メモリ）からなるものである。メモリ２
４には、この発明の実施に関連して画像データメモリＩ
ＤＭ、認識結果データメモリＲＣＭ、演奏データメモリ
ＰＤＭ、処理フラグＰＲＦ、再生フラグＰＬＦ等として
機能する記憶領域が含まれている。

【００１６】画像データメモリＩＤＭには、予め定めら
れた１ページ分の画像データをそれぞれ記憶可能な４つ
の記憶部Ｎ₁ 〜Ｎ₄ が設けられている。認識結果データ
メモリＲＣＭは、１ページ分の画像データを画像認識処
理して得た認識結果データを記憶可能である。演奏デー
タメモリＰＤＭには、１ページ分の画像データに基づい
て作成される演奏データをそれぞれ記憶可能な複数（一
例として４つより多い）の記憶部Ｐ₁ 、Ｐ₂ …が設けら
れている。

【００１７】処理フラグＰＲＦは、１ビットのレジスタ
であり、１ならばメモリＩＤＭの１ページ分の画像デー
タに基づく画像認識処理を実行中であることを表わし、
０ならば実行中でないことを表わす。再生フラグＰＬＦ
は、１ビットのレジスタであり、１ならばメモリＰＤＭ
の演奏データに基づく自動演奏を実行中であることを表
わし、０ならば実行中でないことを表わす。

【００１８】ＭＩＤＩ出力インターフェース２６は、Ｃ
ＰＵ２０の指示に応じて電子楽器２８のトーンジェネレ
ータに再生イベントデータを出力するものである。再生
イベントデータは、発音又は消音で指示するオン又はオ
フデータと、発音又は消音すべき楽音の音高を表わす音
高データとを含むものである。電子楽器２８のトーンジ
ェネレータは、再生イベントデータに応じて楽音信号を
発生又は減衰開始させるようになっており、電子楽器２
８からの楽音信号は、サウンドシステム３０に供給さ
れ、音響に変換される。

【００１９】図２，３は、いずれも画像取込・認識モー
ド（モード１）のときの画面を示すもので、図２は画像
取込画面ＤＦ₁₁を、図３は画像認識画面ＤＦ₁₂をそれぞ
れ示す。また、図４，５は、いずれも再生・エディット
モード（モード２）のときの画面を示すもので、図４は
再生画面ＤＦ₂₁を、図５はエディット画面ＤＦ₂₂をそれ
ぞれ示す。画面ＤＦ₁₁，ＤＦ₁₂，ＤＦ₂₁，ＤＦ₂₂には、
いずれも曲名及びページ番号が表示される。

【００２０】図２の画像取込画面ＤＦ₁₁にあっては、表
示されたページ番号の画像データに基づいて取込画像が
「入力画像」として五線譜表で表示される。また、画像
データの取込状況や画像認識処理の進行状況も表示され
る。

【００２１】画像データの取込状況は、メモリＩＤＭの
４つの記憶部Ｎ₁ 〜Ｎ₄ にそれぞれ対応した４つの方形
領域ｎ₁ 〜ｎ₄ のうち、画像データの書込みが終った記
憶部に対応する方形領域を網かけすることにより表示さ
れる。また、画像認識処理の進行状況は、全長が１ペー
ジ分の画像データ量に対応するバー表示部Ｂ１において
画像認識処理が終った画像データ量に対応する部分を網
かけすることにより表示される。

【００２２】なお、メモリの記憶部Ｎ₁〜Ｎ₄に対応させ
て方形領域ｎ₁〜ｎ₄に表示させる代りに方形領域ｎ₁〜
ｎ₄に左づめで書込み済の記憶部の数がわかるように表
示してもよい。

【００２３】画面ＤＦ₁₁には、取込みスタートスイッチ
ＳＷ₁ 、処理ＯＫ指示スイッチＳＷ₂ 、取込みストップ
スイッチＳＷ₃ 、前ページスイッチＳＷ₄ 、次ページス
イッチＳＷ₅ 、表示スイッチＳＷ₆ 等も表示される。ス
イッチＳＷ₁ は、画像取込みの開始を指示するものであ
り、スイッチＳＷ₃ は、画像取込みの停止を指示するも
のである。スイッチＳＷ₂ は、１ページ分の画像取込み
の終了後に取込まれた画像の良否を操作者が確認してそ
の画像の画像認識処理の開始ＯＫを指示するものであ
る。スイッチＳＷ₄ は、表示画像を前ページに変更すべ
く指示するものであり、スイッチＳＷ₅ は、表示画像を
次ページに変更すべく指示するものである。スイッチＳ
Ｗ₆ は、図２の画面を図３の画面に切換えるべく指示す
るものである。

【００２４】スイッチＳＷ₁ 〜ＳＷ₆ 及び図３〜５のス
イッチＳＷ₇ 〜ＳＷ₁₅は、いずれもマウスでカーソルを
当て且つクリックする（マウスのスイッチをオンして放
す）ことにより指示を与えることが可能である。

【００２５】図３の画像認識画面ＤＦ₁₂にあっては、表
示されたページ番号の画像データに基づいて取込画像が
「入力画像」として五線譜表で表示されると共に、表示
されたページ番号の画像データに基づく画像認識処理の
結果が「認識結果」として五線譜表で表示される。

【００２６】ここで、「認識結果」の表示内容は、読取
りに係る画像データ（例えば４分音符に対応する画像デ
ータ）を画像認識処理して得た画像指示データ（例えば
４分音符指示データ）に基づいて図形メモリ内の図形デ
ータ（例えば４分音符図形データ）が選択されて表示さ
れるもので、通常は、「入力画像」として表示される取
込画像より鮮明である。しかし、画像の読取り又は認識
のいずれかが順調に行なわれない場合は、「入力画像」
及び／又は「認識結果」に不鮮明な画像が表示されるこ
ともある。このような場合には、後述するエディット処
理で対処することができる。

【００２７】なお、図面では、一段の五線譜表のみしか
表示されていないが、通常は、「入力画像」、「認識結
果」とも複数段の五線譜表が表示される。

【００２８】画面ＤＦ₁₂には、バー表示部Ｂ２により画
像認識処理の進行状況も表示される。バー表示部Ｂ２
は、表示方向が縦方向であること以外は前述のバー表示
部Ｂ１と同様にして画像認識処理の進行状況を表示す
る。表示スイッチＳＷ₇ は、図３の画面を図２の画面に
切換えるべく指示するものである。ユーザは、スイッチ
ＳＷ₆ 又はＳＷ₇ により図３又は図２のいずれかの画面
を任意に選択可能である。

【００２９】図４の再生画面ＤＦ₂₁にあっては、メモリ
ＰＤＭの演奏データに基づく自動演奏の進行中に演奏内
容が五線譜表で表示される。また、演奏の進行につれて
矢印のカーソルＣＳが移動して進行位置を指示する。演
奏内容の表示は、認識結果データに基づいて行なわれ
る。

【００３０】画面ＤＦ₂₁には、再生スタートスイッチＳ
Ｗ₈ 及び再生ストップスイッチＳＷ₉ も表示される。ス
イッチＳＷ₈ は、自動演奏の開始を指示するものであ
り、スイッチＳＷ₉ は、自動演奏の停止を指示するもの
である。スイッチＳＷ₉ により自動演奏の停止を指示す
ると、停止位置の属するページのデータが図５に示すよ
うなエディット画面ＤＦ₂₂として表示される。また、自
動演奏は、終りになると、自動的に停止し、最終ページ
のデータがエディット画面ＤＦ₂₂として表示される。

【００３１】図５のエディット画面ＤＦ₂₂にあっては、
図２の画面ＤＦ₁₂と同様に、表示されたページ番号の
「入力画像」及び「認識結果」が表示される。ユーザ
は、表示された画面を見ながら修正、定義、ページ並べ
替え等の操作を行なうことができる。これらの操作を可
能にするため、修正スイッチＳＷ₁₀、定義スイッチＳＷ
₁₁、並べ替えスイッチＳＷ₁₂等が表示される。

【００３２】画面ＤＦ₂₂には、前ページスイッチＳ
Ｗ₁₃、次ページスイッチＳＷ₁₄、終了スイッチＳＷ₁₅も
表示される。スイッチＳＷ₁₃，ＳＷ₁₄は、図２に関して
前述したスイッチＳＷ₄ ，ＳＷ₅ とそれぞれ同様のもの
である。スイッチＳＷ₁₅は、エディット終了を指示する
もので、このスイッチの指示により画面は図５のエディ
ット画面ＤＦ₂₂から図４の再生画面ＤＦ₂₁に切換わる。

【００３３】図６は、メインルーチンの処理の流れを示
すもので、このルーチンは、電源オン等に応じてスター
トする。

【００３４】ステップ４０では、初期設定処理を行な
う。例えば、フラグＰＲＦ，ＰＬＦには、いずれも０を
セットする。そして、ステップ４２では、モードが１、
２又は０のいずれか判定する。この判定の結果、モード
１であったときは、ステップ４４に移り、図７に関して
後述するように画像取込・認識処理のルーチンを実行す
る。そして、ステップ４２に戻り、モード１である限り
ステップ４４の処理を繰返す。

【００３５】ステップ４２の判定の結果、モード２であ
ったときは、ステップ４６に移り、図１０に関して後述
するように再生・エディット処理のルーチンを実行す
る。そして、ステップ４２に戻り、モード２である限り
ステップ４６の処理を繰返す。

【００３６】ステップ４２の判定の結果、モード０であ
ったときは、ステップ４８に移り、その他の処理を行な
う。ここでの処理としては、ＭＩＤＩ出力インターフェ
ース２６にシーケンサ（自動演奏機）を接続した場合
に、該シーケンサに対してメモリＰＤＭの演奏データを
バルクダンプ処理により供給する処理などがある。シー
ケンサでは、供給された演奏データを適宜加工するなど
して表情豊かな自動演奏を行なうことができる。ステッ
プ４８の後は、ステップ４２に戻り、モード０である限
りステップ４８の処理を行なう。

【００３７】図７は、画像取込・認識処理のルーチンを
示すもので、ステップ５０では、操作子イベント検出及
び処理を行なう。ステップ５０の処理の１つとして、図
８に示す取込みスタートスイッチのオンイベント処理の
ルーチンがある。

【００３８】図８のルーチンは、図２の画面でスイッチ
ＳＷ₁ により取込開始の指示がなされるとスタートする
もので、ステップ５２では、取込む曲名とページをパネ
ル操作子群１２中のキーボード操作により指定する。そ
して、ステップ５４に移る。

【００３９】ステップ５４では、メモリＩＤＭに空きの
記憶部があるか判定する。この判定結果が肯定的（Ｙ）
であればステップ５６に移り、現に取込中か判定する。
この判定結果が否定的（Ｎ）であればステップ５８に移
る。

【００４０】ステップ５８では、メモリＩＤＭにおいて
書込むべき記憶部を１つ指定する。メモリＩＤＭの記憶
部Ｎ₁ 、Ｎ₂ 、Ｎ₃ 、Ｎ₄ は、この記載の順に書込指定
を行なう。また、Ｎ₁ 〜Ｎ₄ の順に画像認識処理を行な
い、画像認識処理が終った記憶部についてはデータを消
去し、空きとする。このようにすると、記憶部Ｎ₄ への
書込みの後は、記憶部Ｎ₁ への書込みを行なうことがで
き、記憶部Ｎ₁ 〜Ｎ₄を循環的に使用できる。ステップ
５８の後は、ステップ６０に移る。

【００４１】ステップ６０では、読取装置１６に読取開
始を指示すると共に、ＣＰＵ２０への割込みを許容す
る。この結果、読取装置１６は、楽譜の記載画像を読取
り、画像データをバッファメモリＢＭに書込む。そし
て、メモリＢＭの記憶部Ｓ₁ が満杯になると、割込命令
信号ＩＮＴをＣＰＵ２０に供給する。ＣＰＵ２０は、信
号ＩＮＴに応じて図９の割込みルーチンを実行すること
によりメモリＢＭの記憶部Ｓ₁ の画像データをメモリＩ
ＤＭの記憶部Ｎ₁ に書込み、その書込終了時に記憶部Ｓ
₁ のデータを消去する。このようにして、メモリＢＭの
複数の記憶部Ｓ₁ 、Ｓ₂ …についても、メモリＩＤＭの
記憶部Ｎ₁ 〜Ｎ₄ と同様にして循環的な使用を可能にす
る。ステップ６０の後は、図８のルーチンをエンドとす
る。

【００４２】ステップ５６の判定結果が肯定的（Ｙ）で
あったときは、図８のルーチンをエンドとする。この結
果、あるページの画像データを取込中に次の画像データ
を取込むことは禁止される。

【００４３】ステップ５４の判定結果が否定的（Ｎ）で
あったときは、ステップ６２に移り、パネル表示器１４
に「メモリが一杯です。しばらくお待ち下さい。」と表
示する。そして、図８のルーチンをエンドとする。

【００４４】図９は、割込みルーチンを示すもので、ス
テップ６２では、読取装置１６からの画像データをメモ
リＩＤＭの書込指定されている記憶部に書込む。そし
て、ステップ６４に移る。

【００４５】ステップ６４では、１ページ分の画像デー
タを取込完了したか判定する。この判定結果が否定的
（Ｎ）であれば図７のルーチンにリターンする。そし
て、バッファメモリＢＭからの取込みを何回か繰返して
いるうちにステップ６４の判定結果が肯定的（Ｙ）にな
ると、ステップ６６に移る。

【００４６】ステップ６６では、図２の画面でスイッチ
ＳＷ₃ により処理ＯＫの指示があるか判定する。この場
合、処理ＯＫの指示は、１ページ分の取込完了後所定時
間内に与えるものとする。ステップ６６の判定結果が肯
定的（Ｙ）であればステップ６８に移る。

【００４７】ステップ６８では、読取装置１６に読取停
止を指示すると共に、メモリＩＤＭの書込終了した記憶
部に関して処理待ちを指示する。ステップ６８の後は、
図７のルーチンにリターンする。

【００４８】ステップ６６の判定結果が否定的（Ｎ）で
あったときは、ステップ７０に移り、読取装置１６に同
一ページの再読取りを指示する。そして、図７のルーチ
ンにリターンする。

【００４９】図７のルーチンにおいて、ステップ５０の
処理が終ると、ステップ７２に移り、処理フラグＰＲＦ
が１か判定する。この判定結果が否定的（Ｎ）であれば
ステップ７４に移り、処理待ちの画像データありか判定
する。この判定結果が否定的（Ｎ）であれば図７のルー
チンをエンドとする。

【００５０】ステップ５０，７２，７４を何回か経由し
ているうちに、図９のステップ６８で処理待ちが指示さ
れると、ステップ７４の判定結果が肯定的（Ｙ）とな
り、ステップ７６に移る。

【００５１】ステップ７６では、画像処理の準備を行な
う。すなわち、メモリＩＤＭの処理待ちの記憶部を指定
することにより処理する画像データを指定すると共に、
表示するページ番号を指定する。例えば、最初は、メモ
リＩＤＭの記憶部Ｎ₁ の画像データを処理すべく指定
し、ページ番号は１とする。そして、ステップ７８に移
り、フラグＰＲＦを１とする。

【００５２】この後、図７のルーチンをエンドとしてか
ら再びステップ７２にくると、判定結果が肯定的（Ｙ）
となり、ステップ８０で画像処理を行なう。すなわち、
メモリＩＤＭの指定された記憶部から所定量の画像デー
タを読出して画像認識処理を行なうことによりどこに何
があるかを表わす認識結果データをメモリＲＣＭに記憶
すると共に、認識結果データに基づいて演奏データを作
成してメモリＰＤＭに記憶する。演奏データは、一例と
して、発音又は消音すべきタイミング毎にそのタイミン
グを表わすタイミングデータと再生イベント（音高及び
オン／オフ）を表わす再生イベントデータとを含む形で
記憶される。

【００５３】次に、ステップ８２では、認識結果データ
に基づいて図３に示したように画面ＤＦ₁₂に認識結果を
表示する。そして、ステップ８４に移り、１ページ分の
画像処理が完了したか判定する。通常、ステップ８０の
画像処理では、１ページ分の画像データを一度で処理せ
ずに何回かに分けて処理し、画像認識中もステップ５０
の操作子処理が行なわれるようになっている。従って、
最初の処理が終了した段階では、ステップ８４の判定結
果が否定的（Ｎ）となり、図７のルーチンをエンドとす
る。

【００５４】この後、ステップ５０，７２，８０〜８４
を何回か経由しているうちに１ページ分の処理が完了す
ると、ステップ８４の判定結果が肯定的（Ｙ）となり、
ステップ８６でフラグＰＲＦを０とする。そして、ステ
ップ８８に移る。

【００５５】ステップ８８では、メモリＩＤＭ内の処理
済みの画像データ（例えば記憶部Ｎ₁ の画像データ）と
メモリＲＣＭの認識結果データとに順次画像番号をつけ
て記録装置１８のハードディスク（ＨＤ）に記録する。
画像番号は、最初は１とする。記録終了後、メモリＩＤ
Ｍの記録に係る記憶部のデータと、メモリＲＣＭのデー
タとを消去する。そして、ステップ９０に移る。

【００５６】ステップ９０では、メモリＰＤＭの演奏デ
ータにページ番号を付与する。例えば、メモリＰＤＭの
記憶部Ｐ₁ に書込んだ演奏データにはページ番号１を付
与する。この後は、図７のルーチンをエンドとする。

【００５７】図１０は、再生・エディット処理のルーチ
ンを示すもので、ステップ１００では、操作子イベント
検出及び処理を行なう。ステップ１００の処理として
は、図１１の再生スタートスイッチのオンイベント処理
のルーチン、図１２の再生ストップスイッチのオンイベ
ント処理のルーチンなどがある。

【００５８】図１１のルーチンは、図４の画面でスイッ
チＳＷ₈ により演奏開始の指示がなされるとスタートす
るもので、ステップ１０２では、再生する曲の曲名をパ
ネル操作子群１２中のキーボード操作により指定する。
そして、ステップ１０４に移る。

【００５９】ステップ１０４では、再生位置を例えば小
節番号で指定する。小節番号の指定は、パネル操作子群
１２中のキーボード操作により行なう。そして、ステッ
プ１０６に移る。

【００６０】ステップ１０６では、図４に示したように
再生画面を表示する。この場合、ステップ１０４で指定
した再生位置（例えば指定された小節）の属するページ
に画像番号にて対応する画像データと認識結果データと
を記録装置１８のハードディスク（ＨＤ）からメモリ２
４に読込み、そのうちの認識結果データに基づいて画面
ＤＦ₂₁に五線譜表で演奏内容を表示すると共に、対応す
るページ番号も表示する。また、カーソルＣＳは、演奏
開始位置（例えば指定小節の頭）にセットする。この
後、ステップ１１０に移る。

【００６１】ステップ１１０では、フラグＰＬＦを１と
する。そして、図１１のルーチンをエンドとする。この
後、図１０のルーチンにおいて、ステップ１１２のフラ
グＰＬＦが１か判定すると、判定結果が肯定的（Ｙ）と
なり、ステップ１１４に移る。

【００６２】ステップ１１４では、メモリＰＤＭ内の演
奏開始位置のタイミングデータを参照して再生すべきタ
イミングか判定する。この判定結果が肯定的（Ｙ）であ
ればステップ１１６に移る。

【００６３】ステップ１１６では、判定に係るタイミン
グデータと対をなす再生イベントデータをＭＩＤＩ出力
インターフェース２６を介して電子楽器２８のトーンジ
ェネレータに送出する。この結果、再生イベントデータ
の指示する音高を有する楽音信号が、該再生イベントデ
ータのオン指示又はオフ指示に応じてそれぞれ発生開始
又は減衰開始される。この後、ステップ１１８に移る。

【００６４】ステップ１１８では、表示更新処理を行な
う。すなわち、図４の画面ＤＦ₂₁において、楽曲の演奏
進行に応じてカーソルＣＳを移動させると共に、１ペー
ジ分の演奏が終了する際には次の１ページ分の演奏内容
を前回と同様にして表示し、対応するページ番号も表示
する。

【００６５】ステップ１１４の判定結果が否定的（Ｎ）
であったとき又はステップ１１８の処理が終ったとき
は、ステップ１２０に移り、演奏曲が終了したか判定す
る。この判定結果が否定的（Ｎ）であれば図１０のルー
チンをエンドとする。この結果、自動演奏が続行され
る。

【００６６】ステップ１１０，１１２〜１２０を何回か
経由しているうちに曲の終りになると、ステップ１２０
の判定結果が肯定的（Ｙ）となり、ステップ１２２に移
る。ステップ１２２では、演奏曲の最終ページに画像番
号にて対応する画像データと認識結果データとを記録装
置１８のハードディスク（ＨＤ）からメモリ２４に読込
む。そして、ステップ１２４に移る。

【００６７】ステップ１２４では、図５に示したように
エディット画面ＤＦ₂₂を表示し、この画面ＤＦ₂₂には、
ステップ１２２で読込んだ画像データ及び認識結果デー
タに基づいて「入力画像」及び「認識結果」をそれぞれ
五線譜表で表示し、対応するページ番号も表示する。そ
して、ステップ１２６に移る。

【００６８】ステップ１２６では、フラグＰＬＦを０と
する。そして、図１０のルーチンをエンドとする。この
後、再びステップ１１２にくると、判定結果が否定的
（Ｎ）となり、ステップ１４０に移る。この後の処理
は、図１２のルーチンを説明した後で説明する。

【００６９】図１２のルーチンは、図４の画面でスイッ
チＳＷ₉ により演奏停止の指示がなされるとスタートす
るものである。スイッチＳＷ₉は、前述したスイッチＳ
Ｗ₈の操作に応じてスタートした演奏の進行中に操作さ
れるもので、ステップ１３０では、スイッチＳＷ₉の操
作に応じて進行中の演奏を停止する。そして、ステップ
１３２でフラグＰＬＦを０とする。

【００７０】次に、ステップ１３４では、演奏停止位置
を取込む。そして、ステップ１３６に移り、演奏停止位
置の属するページに画像番号にて対応する画像データと
認識結果データとを記録装置１８のハードディスク（Ｈ
Ｄ）からメモリ２４に読込む。この後、ステップ１３８
に移る。

【００７１】ステップ１３８では、図５に示したように
エディット画面ＤＦ₂₂を表示し、この画面ＤＦ₂₂には、
ステップ１３６で読込んだ画像データ及び認識データに
基づいて「入力画像」及び「認識結果」をそれぞれ五線
譜表で表示し、対応するページ番号も表示する。そし
て、図１２のルーチンをエンドとする。この後、図１０
のルーチンにおいて、ステップ１１２にくると、判定結
果が否定的（Ｎ）となり、ステップ１４０に移る。

【００７２】ステップ１４０では、認識結果修正処理を
行なう。すなわち、図５の画面ＤＦ₂₂においてスイッチ
ＳＷ₁₀により修正の指示を与えた後、認識結果表示部に
おいて修正したい個所にマウスでカーソルを当て且つク
リックすると、「音高」及び「音長」の文字が表示され
ると共に各々の文字の右側に白枠が表示される。

【００７３】このような状態にてパネル操作子群１２中
のキーボード操作により所望の音高ナンバ及び音長ナン
バを指定すると、これらのナンバが対応する白枠内にそ
れぞれ表示される。白枠内の表示を確認した後、マウス
でワンクリックすると、白枠内に表示されたナンバに対
応する音符が要修正個所に表示されると共に「音高」及
び「音長」の文字と白枠が消失する。

【００７４】ステップ１４０の処理によれば、８分音符
を１６分音符に変えたり、音高を「ド」から「ミ」に変
えたりすることができる。

【００７５】次に、ステップ１４２では、認識不可デー
タ定義処理を行なう。すなわち、図５の画面ＤＦ₂₂にお
いてスイッチＳＷ₁₁により定義の指示を与えた後、認識
結果表示部において定義したい個所にマウスでカーソル
を当て且つクリックすると、各種の記号を含むメニュー
が表示される。

【００７６】認識結果表示部では、読取り又は認識の不
良により表示が不鮮明な個所が枠付きで表示されている
ので、このような個所で記号を定義したいときは、枠に
カーソルを当ててクリックすればよい。また、枠以外の
部分にカーソルを当ててクリックすることもでき、この
場合には指定個所で記号を定義することができる。いず
れの場合にも、定義は、画面に表示されたメニューから
所望の記号をマウスのワンクリックで選択することによ
り可能であり、例えばナチュラル等の記号を定義するこ
とができる。

【００７７】次に、ステップ１４４では、ページ並べ替
え処理を行なう。すなわち、図５の画面ＤＦ₂₂において
スイッチＳＷ₁₂により並べ替えの指示を与えると、「修
正頁」及び「移動先」の文字が表示されると共に各々の
文字の右側に白枠が表示される。

【００７８】一例として、楽譜のページを「１、２、
３、５、６、７、４」のように誤った順序で読取らせた
場合、図７のステップ９０では、このような誤りに関係
なく演奏データに「１、２、３、４、５、６、７」のペ
ージ番号を付与する。このままで演奏すると、音楽的に
不都合なので、ページ並べ替えを行なうわけである。こ
の場合、「修正頁」の白枠には「７」を、「移動先」の
白枠には「３の後」をそれぞれ挿入する。このような挿
入操作は、パネル操作子群１２中のキーボードにより行
なう。

【００７９】白枠内の表示を確認した後、マウスでワン
クリックすると、演奏データのページは「１、２、３、
７、４、５、６」のように並べ替えられた後、新たに
「１、２、３、４、５、６、７」のようにページ番号が
ふりなおされる。このような新たなページ配列によれ
ば、楽譜通りの正常な演奏が可能である。

【００８０】上記したステップ１４０、１４２及び１４
４の処理では、修正又は定義された表示内容あるいは並
べ替えられたページ配列に対応してメモリＰＤＭの記憶
内容が書換えられる。従って、エディット処理の後、メ
モリＰＤＭの演奏データに基づいて自動演奏を行なう
と、エディット処理前より演奏内容を向上させることが
できる。

【００８１】ステップ１４４の処理の後は、図１０のル
ーチンをエンドとする。この後、図５の画面ＤＦ₂₂でス
イッチＳＷ₁₅によりエディット終了を指示すると、ステ
ップ１００の処理により画面が図４の画面ＤＦ₂₁に切換
えられる。

【００８２】この発明は、上記実施例に限定されるもの
ではなく、種々の改変形態で実施可能なものである。例
えば、次のような変更が可能である。

【００８３】（１）ポインティングデバイスとしては、
マウスに限らず、トラックボール、ペン等であってもよ
い。

【００８４】（２）楽音信号は、電子楽器２８から発生
させる代りに、バス１０に接続したトーンジェネレータ
から発生させてもよい。

【００８５】（３）画像認識処理は、スイッチＳＷ₂ で
処理ＯＫを指示しなくても、１ページ分取込完了で自動
的に開始してもよい。

【００８６】（４）音高及び音長の指定は、バス１０に
ＭＩＤＩ入力インターフェース３２を介して接続した鍵
盤３４で行なうようにしてもよい。

【００８７】

【発明の効果】以上のように、この発明によれば、演奏
データ作成と画像データ書込みとを並行して行なうよう
にしたので、例えば１ページ分の画像データの取込終了
後直ちに次の１ページ分の画像データを取込むことがで
きる。従って、画像取込みの待ち時間を短縮することが
でき、演奏データ作成を効率よく行なえる効果が得られ
る。また、表示手段を設け、複数の記憶部への画像デー
タの書込状況や画像認識処理の進行状況を表示するよう
にしたので、ユーザとしては、画像データの書込状況や
画像認識処理の進行状況を容易に確認することができ、
作成された演奏データを用いる再生・エディット処理等
への移行が容易となる効果が得られる。

【図面の簡単な説明】

【図１】この発明の一実施例に係る楽譜認識装置を備
えた自動演奏装置の回路構成を示すブロック図である。

【図２】パネル表示器の画像取込画面を示す前面図で
ある。

【図３】パネル表示器の画像認識画面を示す前面図で
ある。

【図４】パネル表示器の再生画面を示す前面図であ
る。

【図５】パネル表示器のエディット画面を示す前面図
である。

【図６】メインルーチンを示すフローチャートであ
る。

【図７】画像取込・認識処理のルーチンを示すフロー
チャートである。

【図８】取込みスタートスイッチのオンイベント処理
のルーチンを示すフローチャートである。

【図９】画像取込みの割込みルーチンを示すフローチ
ャートである。

【図１０】再生・エディット処理のルーチンを示すフ
ローチャートである。

【図１１】再生スタートスイッチのオンイベント処理
のルーチンを示すフローチャートである。

【図１２】再生ストップスイッチのオンイベント処理
のルーチンを示すフローチャートである。

【符号の説明】

１０：バス、１２：パネル操作子群、１４：パネル表示
器、１６：画像読取装置、１８：ＨＤ（ハードディス
ク）記録装置、２０：ＣＰＵ（中央処理装置）、２２：
プログラムメモリ、２４：ワーキングメモリ、２６：Ｍ
ＩＤＩ出力インターフェース、２８：電子楽器、３０：
サウンドシステム。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10G 3/00 - 3/04 G10H 1/00 101 - 102 G06K 9/00

Claims

(57)【特許請求の範囲】

【請求項１】音楽記号法に従って楽曲が記載された楽譜
の画像を表わす画像データを発生する発生手段と、所定の処理単位分の画像データを記憶可能な記憶部を複
数有する記憶手段と、前記発生手段から発生される画像データを前記記憶手段
の複数の記憶部に順次に書込む書込手段と、前記複数の記憶部に書込まれる画像データを所定の処理
単位分ずつ順次に画像認識処理することにより前記楽曲
の自動演奏のための演奏データを作成するデータ作成手
段と、前記書込手段による前記複数の記憶部への画像データの
書込状況を表示する表示手段とを備え、前記データ作成手段での演奏データ作成中に前記書込手
段による書込みを許容したことを特徴とする楽譜認識装
置。
【請求項２】前記表示手段は、前記画像データの書込
状況の他に、前記データ作成手段による画像認識処理の
進行状況を表示するものである請求項１記載の楽譜認識
装置。