JPH06332443A

JPH06332443A - 楽譜認識装置

Info

Publication number: JPH06332443A
Application number: JP12391793A
Authority: JP
Inventors: Eiichi Tanaka; 栄一田中
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-05-26
Filing date: 1993-05-26
Publication date: 1994-12-02

Abstract

(57)【要約】【目的】本発明は楽譜に書かれた音楽記号を画像によ
り抽出し、音の記号に対応するように変換することを目
的としたものである。【構成】画像入力手段２から得られた画像から音の基
準となる五線を抽出する五線抽出手段４１と抽出された
五線３１を除去した後の音楽を形成するための記号およ
び標語３２を抽出する音楽記号抽出手段４２とからなる
譜表認識手段４と、譜表認識手段４で得られた情報を音
の記号に変換する変換手段５とから楽譜を画像で認識す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は楽譜に書かれた音楽記号
を画像により抽出し、音の信号に対応するように変換す
る楽譜認識装置に関するものである。

【０００２】

【従来の技術】従来、楽譜の認識は音符を解読する力を
持った人が楽譜を読み、それをその人が扱える楽器もし
くは肉声により音に変換して、他人がもしくは自分自身
がその変換した音を聞くというのが通常の楽譜理解であ
った。

【０００３】また、子供の場合で楽譜が読めないときに
は先生、あるいは親が譜面を読んで声を出して歌ってあ
げる等の作業をして子供に音楽を教え、聞かせているの
が現状であった。

【０００４】一方、第２の従来例として最近のパソコン
の利用方法としてパソコンの画面上に五線を引いて置
き、その五線上にキィボードからあるいはマウスから希
望する音を入力して楽譜を作り、作った楽譜は既に音信
号として認識してあるので、これをもとに音発生装置に
信号を送り音を出すという方法があった。

【０００５】また、第３の従来例として楽譜の認識をパ
ターンマッチング方法（特開昭５９−５７３８４号公
報）やニューラルネット方法（特開平４−５７１８３号
公報）用いて行う方法が提案がされていた。

【０００６】さらに、楽譜の読みとりについて予め定め
られた透明の合成樹脂板を楽譜とイメージスキャナーの
間に置くことにより楽譜に記載されている楽音情報の楽
音の位置を方眼により解析することで楽音情報を電子楽
器等で再生可能なデジタル信号に変換する方法（特開平
５−１１７５２号公報）が提案されている。

【０００７】あるいは、楽譜の五線を抽出するための方
法をとして抽出された五線の傾きを専用ハードウエアを
用いて行い、より高速に楽譜の認識を行っているもの
（特開昭６１−６２９８２号公報）や、自動演奏のため
に五線、音部記号、拍子、調子、休符および音符の識別
を行うものがある（特開昭６１−６２９８３号公報）。

【０００８】

【発明が解決しようとする課題】しかしながら上記第１
の従来例の方法は、例えば、音符を解読する力を持った
人がいなければ楽譜を読むことができず、また、楽器を
扱えることができなければ音楽にすることができなかっ
た。したがって、素人が楽譜を見て、音楽が奏でられて
いる状態を描くことができなかった。また、これと同様
に子供の場合で楽譜が読めないときも先生、あるいは親
がいなければ子供に音楽を聞かせてあげることができな
かった。

【０００９】一方、第２の従来例であるパソコンの利用
やコンピュータグラフィックスの助けをかりて画面上の
五線上にキィボードからあるいはマウスから希望する音
を入力して楽譜を作り、その後に作った楽譜をもとに音
発生装置に信号を送り音を出すという方法では、楽譜を
コンピュータ上に一つ一つの音楽記号を入れなければな
らないという大変な作業をしなければならないという課
題があった。従って、子供達にさせる作業としては不適
切であった。

【００１０】また、第３の従来例である楽譜の認識方法
についてのパターンマッチング方法（特開昭５９−５７
３８４号公報）やニューラルネット方法（特開平４−５
７１８３号公報）は楽譜上の音楽記号の認識方法につい
ての提案であり、一般的な文字認識と同じ領域の提案で
あり、楽譜を平易に認識して子供でも簡単に使うことを
狙ったものではなかった。

【００１１】さらに、予め定められた透明の合成樹脂板
を楽譜とイメージスキャナーの間に置くことにより楽譜
に記載されている楽音情報の楽音の位置を方眼により解
析することで楽音情報を電子楽器等で再生可能なデジタ
ル信号に変換する方法は（１）透明の合成樹脂を設置す
るわずらしさや、（２）この合成樹脂による方眼の位置
情報が逆に画像を解析するときに譜表上の五線や楽音記
号と重なって認識しにくいという課題があった。

【００１２】また、この目的は電子楽器に音楽を演奏す
る上での情報を与え自動演奏を行うものである。したが
って、教育用としての使い方（ある音符だけをそれぞれ
の生徒がチェックするとか、同じ小節を繰り返し各生徒
が練習する等の教育現場での使用）や手元で簡単に譜面
を理解する手助けをするという目的ではなく一部の電子
楽器用のためのものであり一連の演奏を行うことを目的
としていた。そのために教育用としての使い勝手に課題
があった。

【００１３】一方、五線を抽出し、符頭、小節を認識し
てさらに認識した符頭、小節から演算して高速の楽譜を
認識する方法は符頭の認識時に五線が書かれてあるため
符頭その他の認識で間違いを起こし易くなるという課題
があった。

【００１４】ところで、このような認識によく似たもの
として文字認識がある。この文字を認識することと楽譜
を認識することとの違いは特別な場合を除いて（例えば
目の見えない方などの身体に障害を持っている人には非
常に役立つ。また、コンピュータへの記録等には役に立
つ。）、次のようになっている。通常、人は文字を見た
場合は文字の理解ができるが、楽譜の場合は上述したよ
うにすぐに頭の中で音に変換しなければならないため、
簡単に理解できるものではない。そして、各種音楽標語
においても情緒的なもののため音楽で表現しなければ理
解できないものであった。

【００１５】本発明は上記課題を解決するもので、紙に
書かれたあるいは目に見える形で表示された楽譜から音
楽を形成するための記号および標語を認識するために五
線を基準にしてかつ五線とは分離して行うようにするこ
とを第１の目的としている。

【００１６】第２の目的は教育用として生徒が繰り返し
楽譜から音を出すことができるようすることにある。そ
して、予め印刷された五線上に生徒が正しく音符を書い
ているかどうかを調べることができるようにすることも
目的としている。

【００１７】第３の目的は認識した楽譜の音を出すこと
により音の種類や音の微妙な違いを生徒に理解させるこ
とにある。

【００１８】

【課題を解決するための手段】そして、上記第１の目的
を達成するために、本発明は楽譜を画像として入力する
画像入力手段と、画像入力手段から得られた画像から音
の基準となる五線を抽出する五線抽出手段と音楽を形成
するための記号および標語を抽出する音楽記号抽出手段
とからなる譜表認識手段と、譜表認識手段で得られた情
報を音の信号に変換する変換手段とを設けてある。

【００１９】また、第２の目的を達成するために、本発
明は譜表認識手段で認識した情報を表示する表示手段を
第１の目的の構成に加えてある。

【００２０】さらに、識別部で識別できなかった記号お
よび標語を抽出するエラー抽出部と、認識部で認識した
楽譜を表示するとともにエラー抽出部で認識できなかっ
た項目を表示する表示手段とを設けた構成としてある。

【００２１】一方、同じ目的の達成のために本発明は譜
表認識手段で得られた情報を他の音発生装置に転送する
通信手段を設けてある。

【００２２】そして、同じ目的の達成のために譜表認識
手段で得られた情報を転送する通信手段と、通信手段で
得られた情報を印刷する印刷手段とを設けてある。

【００２３】また、同様の目的の達成のために音信号入
力手段と、音信号入力手段で入力した信号を譜表認識手
段での出力信号と同じ信号形式に変換する音信号変換手
段と、音信号変換手段の出力と譜表認識手段で認識した
信号とを比較する比較する手段と、比較手段により発生
する音の差を表示する音差表示手段を設けた構成として
ある。

【００２４】さらに、第３の目的を達成するために譜表
認識手段で得られた複数の旋律の中で一部の旋律部分を
抽出する旋律分離部と、旋律分離部で分離した旋律以外
の音符情報を音に変換する変換手段を設けてある。

【００２５】また、同じ目的の達成のために楽器の種類
に応じて音色を変える音色変換手段を設けてある。

【００２６】そして、同様の目的の達成のために譜表認
識手段で得られた音符情報の正規の音情報を揺らがす情
報揺らぎ手段を設けてある。

【００２７】

【作用】本発明の楽譜認識装置は上記第１の構成によっ
て、画像入力手段で紙に書かれたあるいは目に見える形
で表示された楽譜を記憶させ、この記憶させた楽譜画像
から基準となる五線を抽出して、その五線上に書かれて
ある音楽記号を認識することにより音信号として取り出
し、それを音発生させて楽譜から音を出すようにしたも
のである。

【００２８】また、第２の構成によって認識した楽譜が
表示され正確に認識してあることを子供が認識できるよ
うにしてある。

【００２９】さらに、楽譜の表示と共に認識できなかっ
た項目も表示することにより手書き部分の正確さを識別
表示する。

【００３０】一方、譜表認識装置で認識した情報を通信
手段で転送することにより他の音発生装置で音楽を鳴ら
すことができる。

【００３１】そして、譜表認識装置で認識した情報を通
信手段で転送することにより、遠く離れた印刷手段に印
刷する。

【００３２】また、子供が音信号入力手段に向かって入
力した声の音と、譜表認識手段で認識した信号との差を
音差表示手段に表示し、子供の音感を養うことができる
ようにしてある。

【００３３】さらに、譜表認識手段で認識した複数の旋
律の中で旋律分離部により子供が演奏する旋律を分離
し、分離した旋律以外の演奏をするようにして子供の楽
器演奏力の手助けを行うようにしてある。

【００３４】さらに、第３の構成によって楽器の種類に
応じて音色を変える音色変換手段により音色を変換して
楽器の種類を聞き分ける能力を磨くようにしてある。

【００３５】また、旋律分離部で複数の旋律の中から一
部の旋律部分を抽出して、譜表認識部で認識した楽譜の
中で分離した旋律以外の音符情報を変換手段で音に変換
するようにして、生徒が受け持つ楽器の伴奏とすること
ができる。

【００３６】そして、譜表認識手段で得られた音符情報
の正規の音情報を揺らがす情報揺らぎ手段により音を微
妙に揺らがすことにより音楽における情緒を学ぶように
してある。

【００３７】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。

【００３８】図１、図２において、１は本発明の楽譜認
識装置で、２は楽譜３を画像として入力する画像入力手
段、４は画像入力手段２で入力した画像から楽譜３に記
された音および楽曲を識別する譜表認識手段、５は譜表
認識手段４から得られた情報を音の信号に変換する変換
手段である。

【００３９】画像入力手段２は楽譜認識装置１の入り口
２１付近に設けた照明手段２２ａと、照明手段２２ａか
ら照明用ミラー２２ｂを介して照明された楽譜３からの
反射光をミラー２３、レンズ２４を介して撮像手段を構
成するリニアＣＣＤ２５に集光させるようにしてある。
リニアＣＣＤ２５に入った信号は画像メモリ２６に記憶
するようにしてある。２７は移動距離検出手段で可動手
段２８の回転を移動方向に変換し、画像メモリ部２６の
アドレスに対応するようにしてある。２９ａは入力画像
のスタート位置を指示する開始指示部、２９ｂは入力画
像の終了位置を指示する終了指示部である。

【００４０】楽譜３は五線３１と、五線３１上または周
辺に書かれた記号または標語３２で構成してあり、五線
３１上の左端部に記述した音部記号３３および調号３４
および拍子３５および音符３６と、五線３１上に垂直方
向の拍子３５の１循環を示す小節３７と、曲の繰り返し
指定を示す反復記号３８と、曲の表情、奏法を記号もし
くは標語で表す状態記号３９とから成っている。

【００４１】譜表認識手段４は画像入力手段２から得ら
れた画像から音の基準となる五線３１を抽出する五線抽
出手段４１と五線抽出手段４１で抽出された五線３１の
中あるいは周辺に書かれた音楽を形成するための記号を
抽出する音楽記号抽出手段４２とから成っている。

【００４２】五線抽出手段４１は画像の五線３１の第１
線開始位置３１１を検出する第１線開始位置検出部４１
１と、線間隔３１２を検出する線間隔検出部４１２と、
五線３１の五線長さ３１３を検出する五線長さ検出部４
１３とから成っている。

【００４３】音楽記号抽出手段４２は予め各種の音楽を
形成するための記号または標語３２を記憶してある記憶
部４２１と、五線３１を除去する五線除去部４２２と、
五線長さ検出部４１３と五線の線間隔検出部４１２とか
ら各種記号のまたは標語３２の大きさを標準の大きさに
拡大縮小して大きさを調整すると共に五線３１の線間隔
３１２、五線長さ３１３を調整する調整部４２３と、残
された画像から記号または標語３２を一つづつ分離して
ラベリングするラベリング部４２４と、ラベリング部４
２４でラベリングされた記号または標語３２の位置を検
出する位置検出部４２５と、ラベリング部４２４でラベ
リングされた塊と記憶部４２１に記憶してある標準の記
号または標語３２を比較判別する識別部４２６と、位置
検出部４２５で検出した記号および標語３２の位置と識
別部４２６で識別した記号および標語３２の譜表上の使
い方を認識する認識部４２７とから成っている。

【００４４】変換手段５は譜表認識手段４で認識した楽
音情報をＭＩＤＩ信号等の電気的なデジタル信号に変換
する信号変換部５１と変換されたデジタル信号をアナロ
グ信号に変換するアナログ信号変換部５２と増幅部５３
と音発生部５４（一般的にはスピーカー）とからなって
いる。

【００４５】次に、この一実施例の構成に於ける動作を
説明する。図３はこの動作を示すフローチャートであ
る。全体の動作を簡潔に示すと次のようになる。始めに
ステップ１０１で楽譜３を用意してハンディタイプの楽
譜認識装置１の入り口２１を五線符の左端に載せ、ステ
ップ１０２で画像入力手段２で画像を入力し、ステップ
１０３で五線４１を五線抽出手段４１により抽出する。
ステップ１０４では抽出された五線４１を基準にして音
楽を形成するための記号および標語３２を音楽記号抽出
手段４２で抽出する。ステップ１０５では五線抽出手段
４１と音楽記号抽出手段４２とで構成してある譜表認識
手段４で認識した情報から信号を変換手段５にて音信号
に変換してスピーカー５４で音を出すようにする。

【００４６】次に画像入力の方法について図４で説明す
る。ステップ２０１で用意された楽譜３の左端に楽譜認
識装置１の入り口２１をあてる。ステップ２０２で開始
指示部２９ａのボタンを押す。ステップ２０３では照明
手段２２ａをオンさせ、照明用ミラー２２ｂを介して楽
譜３に照射する。ステップ２０４では照射された光の楽
譜３からの反射光をミラー２３を介してレンズ２４でリ
ニアＣＣＤ２５に集光させる。リニアＣＣＤ２５に入射
した光信号はステップ２０５にて電気信号に変換され画
像メモリ部２６に記憶される。次に、リニアＣＣＤ２５
にて１ライン分（以下垂直方向の画像とする）の画像デ
ータが記憶されたことをステップ２０６で確認し、ステ
ップ２０７にて可動手段２８で最小の回転角で回転させ
てステップ２０８にて移動距離を移動距離検出手段２７
にて検出する。そして、ステップ２０９で画像メモリ部
２６の移動方向のアドレス（以下水平方向の画像とす
る）を１ライン分進める。その後、ステップ２１０にて
終了指示部２９ｂのボタンが押されたか否かを判断し、
終了指示部２９ｂのボタンが押されていなければステッ
プ２０４に戻り次の画像を入力する。もし、ステップ２
１０にて終了指示部２９ｂのボタンが押されていればス
テップ２１１に進み、画像入力を完了する。

【００４７】五線の抽出について図５にて説明する。画
像メモリ部２６に記憶してある画像は２値化された画像
である（通常、白地の用紙に黒字で印刷してある。これ
を撮像して適当な閾値で２値化処理する。あるいはリニ
アＣＣＤ２５のところで閾値を設けリニアＣＣＤ２５の
出力段階で２値化出力が出てくる。）。

【００４８】さて、ステップ３０１では画像メモリ部２
６に記憶してある画像のフィルター処理や孤立点除去な
どの画像前処理を行う。この画像前処理の処理方法は楽
譜３から読みとった画像のきれいさにより処理する種類
を何段階か設けていろいろな場合に対応するものとす
る。そのために読みとった画像の前処理の仕方の切換ス
イッチを設ける（図示せず）。ステップ３０２では画像
前処理された画像から五線の第１線開始位置の検出を行
う。具体的には図６に示すように、ここでは画像上楽譜
３は垂直方向に記憶してあるとする（実際には正確に垂
直方向に画像入力することは難しい。そのときは垂直方
向から所定の角度をずらして回転させて御直線の検出を
する。そして、補正の後に五線が垂直方向になるように
画像の回転を行う。あるいはそのまま回転角を認識して
斜め線として後の処理を行う。）。左上端から走査して
行くと矢印Ａのところで５箇所輝度が１のところがある
（図で白の部分は輝度が０、黒の部分が輝度が１という
ように２値化してあるとする。）。従って、走査するこ
とにより最初の輝度１の位置を第１線開始位置３１１と
して（いま、ここで五線３１はちょうど１ラインの幅が
１画素、間隔が３画素あるとする。）第１線開始検出部
４１１で検出する。次にステップ３０３にて線間隔３１
２を線間隔検出部４１２で検出する。第１線開始位置３
１１から３画素分（第１間隔）が輝度レベル０となり、
その次が輝度レベル１となり第２線となっている。従っ
て、検出された線間隔３１２は３画素分となる。その
後、ステップ３０４にて順次走査して矢印Ｂを検出して
まだ五線３１が存在するかどうかを見る。五線が存在し
ていれば次のラインへ行き、再び矢印Ｂを見つけにい
く。そして、矢印Ｃのように五線３１の存在していない
位置を検出すればステップ３０５へいき五線長さ検出部
４１３で矢印Ａと矢印Ｂの間隔を検出して五線長さ３１
３の検出を行う。このようにして五線３１の情報把握を
五線抽出手段４１で行う。

【００４９】また、他の五線３１の抽出方法として第１
線開始位置３１１を第１線開始検出部４１１で検出後、
この第１線を追いかけて五線長さ３１３を五線長さ検出
部４１３で検出する。そして、その後に線間隔３１２を
線間隔検出部４１２で検出する。

【００５０】ところで、線の抽出でには予め直線を作っ
ておき、この直線のマッチングを行う方法や点のつなが
りを追って行き、その点の連続した線を直線に補正して
直線の位置、長さを求める方法等があり、どの方法でも
直線の認識は可能である。

【００５１】次に、音楽記号抽出の方法について図７に
て説明する。音楽を形成している各種記号および標語３
２は予め決められているので標準の大きさの記号および
標語３２をＲＯＭやその他不揮発性のメモリである記憶
部４２１に記憶させてある。この音楽記号および標語３
２を検出するために、ステップ４０１では五線抽出手段
４１で検出された五線３１の輝度レベル１を輝度レベル
０に変換する。この変換する位置は五線３１に対して垂
直方向に輝度レベル１がある場合の記号および標語３２
と重なっている部分は含まない。この重なっている部分
を検出する方法は各線上の両側の線間隔部分に輝度レベ
ル１のところがあれば変換させないことによって達成さ
せる。ところで、ここで除去した五線３１の情報は五線
抽出手段４１で残されている。さて、除去した五線３１
と重なっている記号および標語３２は一部分断されてい
る可能性があるためステップ４０２にて修復する。即ち
水平方向に拡張しその後収縮させる。この時、隣と連結
して一塊になればそこは連結したままとする。これによ
り、五線３１を除去した記号および標語３２のみが抽出
される。

【００５２】ステップ４０３では修復した各種記号およ
び標語３２の大きさを標準の大きさに調整する。調整の
方法は標準の五線３１の線間隔３１２を基準として検出
した五線３１の線間隔３１２と比較して記号の拡大縮小
を行う。ステップ４０４では調整された記号および標語
３２をラベリング部でラベリングしていく。ラベリング
により記号および標語３２の番号付けがおこなわれ、ス
テップ４０５ではラベリングされた記号および標語３２
の位置の検出を位置検出部４２５で行われる。ステップ
４０６でラベリングされた、そして位置の検出が行われ
た記号および標語３２の種類の認識を記憶部４２１のデ
ータと比較して行う。これによりラベリングされた楽譜
３中に書かれた記号および標語３２は番号順にそれぞれ
がどの記号および標語３２かの識別が識別部４２６で行
われる。また、ステップ４０７にて同じく位置検出部４
２５で検出した情報と識別部４２６で識別した音部記号
３３、調号３４、拍子３５の認識を認識部４２７で行
い、同様にステップ４０８にて音符の高さの認識を行
う。その後、ステップ４０９にてその他の記号および標
語３２に認識を行う。

【００５３】ところで、音楽記号抽出に五線を除去した
後に他の音楽記号を抽出する方法について説明したが、
五線の抽出をニューラルネット等の方法により抽出する
場合には五線が重なっていた場合においても抽出は可能
である。

【００５４】図７は譜表認識手段において五線を除去し
ない場合の構成図である。調整部４２３で調整した後に
ラベリング部４２５でラベリングして識別部４２６でニ
ューラルネット等により予め記憶部４２１に記憶してあ
る記号および標語３２を教師信号として識別する。

【００５５】次に、音楽記号抽出の中で代表的な記号に
ついての認識方法について説明する。

【００５６】最初に、音部記号３３について図８、図９
を用いて説明する。ステップ４０４でラベリングされた
記号および標語３２の中で、五線３１上に最初に位置す
ることをステップ４０５で検出し、最初に位置するとい
うことからステップ４０６でこの記号が音部記号３３と
認識する。

【００５７】ところで、音部記号３３はへ音３３１、ハ
音３３２、ト音３３３の３種類あり、ハ音はさらにテノ
ール３３４、アルト３３５、ソプラノ３３６と３種類あ
る。従ってステップ４０７にてこれらの識別を識別部４
２６にて行う。この識別の方法は図９に示すように各ラ
ベリングされた一定面積の領域内（｛｝括弧部分）の検
出された音部記号３３の画素数を数える。画素数の数に
より音部記号３３の種類を判別する識別する。また、ハ
音記号３３２は３種類あるため、ラベリングされた音部
記号３３の中での重心位置を位置検出手段４２５で求め
ておき、ハ音記号３３２の中のテノール３３４かアルト
３３５かソプラノ３３６かの識別を行う。

【００５８】同じようにして、調号３４と拍子３５を順
次認識する。また、小節３７は拍子３５の１循環であ
る。そして、この小節３７の認識は五線３１に対する垂
直線を検出することにより達成することができる。小節
には単縦線と複縦線とに区別される。従って、単縦線の
抽出後その単縦線の近傍に太い縦線が検出されれば終止
線を表し、同じ太さの縦線があれば楽曲の途中で、拍
子、調、速度の変更として認識部４２７で認識する。

【００５９】以上は音部記号３３の中でも最初に処理
し、楽曲全体を支配する音部記号３３として基本記号の
認識として取り扱う。楽譜認識装置１の認識レベルの違
いにより取り扱える譜表のレベルが違ってくるが、どの
譜表のレベルにおいてもこれら基本記号と次に説明する
音符、休符の認識は必要となる。

【００６０】ここで、音符３６の認識方法について説明
する。音符３６の認識はステップ４０１から４０２で説
明したように五線３１を除去してあるのでラベリングさ
れた音符３６は音符３６以外は存在しない。しかしなが
ら、このラベリングされた音符は図１０に示すように４
分音符、８分音符が続けて書かれてある場合など複数の
音符３６で形成してある場合がある。従って、ラベリン
グされた音符群から単一の音符３６に分離する必要があ
る。そこで、音符３６の音の高さを示す符頭３６１の部
分を抽出し、その後符頭３６１と符頭３６１の間に区切
りを入れて分離し（図９における縦線１）、その後再び
ラベリングする。即ち、音符３６は元々単一の音符３６
の場合のラベリングされた番号（図１０における上段の
番号）に対して、群を形成している場合は二重にラベリ
ングされる（図９における下段の番号）。このように全
て分離してラベリングした後に音符３６の長さに認識を
行う（音の高さは位置検出部４２５により既に認識して
ある）。

【００６１】ところで、音符３６には和音の場合や複数
の旋律が同一場所に書かれていることがある。このとき
は、最初に符頭３６１の位置を位置検出部で検出する時
に五線３１に対して垂直方向に複数の符頭３１６を検出
することによりそれぞれの音の高さを認識部４２７で認
識することにより対応する。

【００６２】次に、符尾３６２を検出することにより音
の長さを検出する。また、符尾には鈎３６３や符点３６
４そして臨時記号３６５等が付いており、これらの検出
により音の長さ、音の高さの変動を検出する。

【００６３】なお、休符については符頭の検出で行った
方法で同様に検出できる。さて、以上が記号および標語
３２の中でも必ず検出しなければならないところである
が、それ以外に反復記号、強弱記号（例えばピアニッシ
モの”ｐｐ”など）、速度標語（例えば”ラールゴ”あ
るいは”Ｌａｒｇｏ”等）、発想標語（例えば”コン
ブリオ”あるいは”ｃｏｎｂｒｉｏ”等）、奏法標語
（例えばレガート等）、奏法記号（レガートであれば”
ｂ．”等）、略記号、装飾音等様々な記号および標語３
２があるが、これらも同様に位置、記号の形等を認識し
て楽曲のレベルをあげることができる。これらは通常の
文字認識の技術を適用することができ、これらの識別
後、使われている位置などから音符の様々な表現の変化
をさせる。

【００６４】次に、他の実施例について説明する。図１
１は譜表認識手段４にて認識した楽譜３を表示する表示
手段６で図１においては楽譜認識装置１の肩の見えやす
い部分に配置してある。しかし、これはテレビのような
大きな表示手段６に表示してもかまわない。これにより
認識した楽譜３の間違いを検出することができる。ま
た、五線３１上に手書きで音符を書いた場合などでは、
識別部４２６で識別できた音楽を形成するための記号お
よび標語３２を表示手段６で表示し、識別部４２６で識
別できなかった記号および標語をエラー抽出部４２８で
抽出し、＊印などで表示手段６にて表示することによ
り、間違った手書き部分の判別をすることができる。こ
れにより、子供あるいは生徒が手書きで書いて理解を深
めるための教育手段、採点手段として利用する。

【００６５】さらに、他の実施例を図１２で説明する。
図１２において譜表認識手段４で獲られた情報を通信手
段７により他の音発生装置５５へ転送するようにしてあ
る。５６は受信部、５７は信号変換部である。これによ
り認識した楽譜３を高級な他の音発生装置５５で再生す
ることができ、子供の音感の養成に役立つ。

【００６６】また、他の実施例として図１３で説明す
る。図１３において譜表認識手段４で得られた情報を転
送する通信手段７と、通信手段で転送された情報を印刷
する印刷手段７１とで構成してある。この印刷手段７１
には受信部７２と印刷部７３でできている。動作は譜表
認識手段４で認識した情報を通信手段７で発信し、遠く
離れた受信部７２で受信し、印刷部７３で印刷する。

【００６７】これにより認識した楽譜３を離れた印刷手
段７１に転送することができ、先生は生徒が楽譜に正確
に音符を書いているかどうかのチェックをすることがで
きる。

【００６８】また、同じく子供の音感養成のために図１
４のような構成について説明する。図１４において子供
が音信号入力手段８に向かって入力した声の音を音信号
変換手段８１を介して音比較手段８２に入力する。そし
て、譜表認識手段４で認識した信号も音比較手段８２に
入力し音の差を音差表示手段６１に表示し、子供の音感
を養うことができるようにしてある。この音差表示手段
６１のかわりに表示手段６に表示しても良い。

【００６９】さらに、他の構成として図１５について説
明する。図１５において譜表認識手段４の認識部４２７
で認識した複数の旋律の中で旋律分離部４３により子供
が演奏する旋律を分離し、分離した旋律以外の旋律を変
換手段５にて音情報に変えて演奏するようにして子供の
楽器演奏力の手助けを行うようにしてある。

【００７０】次に、第３の目的のために、本発明の他の
実施例について説明する。図１６において変換手段５は
信号変換部５７と音色変換部５８とアナログ信号変換部
５２と増幅部５３と音発生部５４とからなっている。ま
た、音色は楽器選択手段５８１により選択した後に、信
号変換部５７により変換された信号を音色を変える音色
変換部５８に入力することにより様々な楽器の音色をア
ナログ信号変換部５２と増幅部５３を通して音発生部５
４にて鳴らすようにしてある。この動作により子供は楽
譜３から様々な楽器の聞き分けの訓練をすることができ
る。

【００７１】また、図１７は譜表認識手段４で認識した
音符情報を揺らがす情報揺らぎ手段４４を設けたもので
ある。４４１は音の高さを揺らがす揺らぎスイッチＡ、
４４２は音の長さを揺らがす揺らぎスイッチＢ、４４３
は揺らぎの強度を調整する揺らぎ調整手段、４４４は揺
らぎ調整手段４４３を操作する揺らぎ強度スイッチであ
る。この情報揺らぎ手段４４は１／ｆ揺らぎやその他の
揺らぎを用いる。

【００７２】動作は揺らぎスイッチＡ４４１を押すと音
の高さがシフトする。また、揺らぎスイッチＢを押すと
音の長さがシフトする。そして、揺らぎ強度調整手段４
４３を操作するために揺らぎ強度スイッチ４４４を押す
と高さ、長さ共に音の強度が揺れるようになっている。
これにより楽譜３に忠実に音再生する場合に比べより豊
かな音楽の演奏ができる。そのため、子供の情緒教育に
役立つ。

【００７３】なお、画像入力手段は図１に示すようなハ
ンディタイプのものでも、イメージスキャナーやコピー
機のように譜表の全体を一気に読み取る方法でも同様の
効果が得られる。この場合、五線は複数あり、これらを
順次、あるいは並列に処理して楽譜の認識を行う。

【００７４】また、紙に印刷してある楽譜もあれば、テ
レビなどの放送手段で音楽教育番組として流れてくる場
合などがある。この場合の楽譜の認識は直接映像信号か
ら画像メモリ部２６に記憶することにより達成すること
ができる。

【００７５】

【発明の効果】以上説明したように本発明の楽譜認識装
置は、画像入力手段から得られた画像から音の基準とな
る五線を抽出し、抽出された五線を除去した後の音楽を
形成するための記号および標語を音楽記号抽出手段で抽
出した後に、変換手段で音の信号に変換することにより
次の効果が得られる。（１）紙等に書いてある楽譜を認識して音に変換するの
で音楽の理解に役立つ。（２）楽譜の認識は五線を基準にすると共に五線を除去
して残る音楽記号を認識するための音楽記号の認識が簡
単になる。

【００７６】また、譜表認識手段で認識した譜表を表示
手段に表示することにより、次の効果が得られる。（３）認識した楽譜が表示され、正確に認識してあるこ
とを認識できる。（４）楽譜の表示と共に認識できなかった項目も、例え
ば＊印のように表示することにより手書き部分の正確さ
を識別表示できる。従って、五線上に生徒が手書きで音
符を書き入れた場合など、間違って書いてある場合にそ
のチェックができる。

【００７７】一方、譜表認識装置で認識した情報を通信
手段で転送することにより、次の効果が得られる。（５）他の高級な音発生装置で音楽を鳴らすことができ
る。従って、子供の音感を養うことができる。（６）離れたところにある音発生手段にて音を鳴らすこ
とができる。

【００７８】また、通信手段で転送した情報を印刷手段
に印刷するように構成することにより、次の効果が得ら
れる。（７）例えば、先生は生徒が楽譜に正確に音符を書いて
いるかどうかのチェックをすることができる。

【００７９】また、音入力手段で入力した音信号と楽譜
で認識した信号を比較する音比較手段を設け、音比較手
段で比較した音の差の大きさを表示手段で表示すること
により、次の効果が得られる。（８）楽器や自分の声の音程がずれているか否かのチェ
ックができる。（９）また、これにより子供の音感を養うことができ
る。

【００８０】さらに、譜表認識手段で認識した複数の旋
律の中から旋律分離部により除外することにより、次の
効果が得られる。（１０）分離した旋律以外の演奏を電子楽器等で演奏
し、これを伴奏として子供の楽器演奏力の手助けを行う
ようにできる。

【００８１】また、楽器選択手段で選択した楽器の種類
に応じて音色を変える音色変換手段により、次の効果が
得られる。（１１）楽器の種類を聞き分ける能力を磨くようにでき
る。

【００８２】そして、譜表認識手段で得られた音符情報
の正規の音情報を情報揺らぎ手段により音を微妙に揺ら
がすことにより、次の効果が得られる。（１２）音楽における微妙な音の高さ、長さの差により
違った表情を持った音楽再生を行うことができる。（１３）また、子供たちにはこのような変化を付けるこ
とにより情緒を学ぶようにできる。

【００８３】以上の数々の効果を持つ本発明の楽譜認識
装置では音楽教室において、生徒がそれぞれ楽譜認識装
置を使用することにより、先生の指示で各自の楽譜を認
識して認識した音をイヤホーンで聴くことにより、その
楽譜の理解ができる（自分で作曲した曲を聴くこともで
きる。あるいは、一部編曲した曲を聴くこともできる。
さらに言えば、一つの音符だけ和音からずらずことによ
って音がどのように違って聴こえるかの検証もできる、
等様々な使い方ができる。）。従って、従来ある小学
校、中学校、高等学校、さらに、音楽大学においてさ
え、その教育方法を一変させる効果を有する。

【図面の簡単な説明】

【図１】本発明の一実施例における楽譜認識装置の概略
図

【図２】同装置の一実施例における楽譜認識装置の構成
を示すブロック図

【図３】同装置の全体の動作を示すフローチャート

【図４】同装置の画像入力時のフローチャート

【図５】同装置の五線検出を行うフローチャート

【図６】同装置の五線を認識するときの音符を示す説明
図

【図７】同装置の譜表認識手段の構成を示すブロック図

【図８】同装置の音楽記号抽出時のフローチャート

【図９】同装置に用いる音部記号を示す楽譜の説明図

【図１０】同装置で音符を認識する時の楽譜の説明図

【図１１】同装置に表示手段を設けた時の一実施例にお
ける構成図

【図１２】同装置に通信手段と他の音発生装置を設けた
時の一実施例における構成図

【図１３】同装置に通信手段と印刷手段を設けた時の一
実施例における構成図

【図１４】同装置に認識した音と実際に発生させた時の
音の比較をする場合の一実施例における構成図

【図１５】同装置に旋律分離部を設けた時の一実施例に
おける構成図

【図１６】同装置に楽器選択手段と音色変換手段を設け
た時の一実施例における構成図

【図１７】同装置に情報揺らぎ手段を設けた時の一実施
例における構成図

【符号の説明】

１楽譜認識装置２画像入力手段３楽譜４譜表認識手段５変換手段６表示手段７通信手段８音信号入力手段２２ａ照明手段２５リニアＣＣＤ２６画像メモリ部２７距離検出手段２８可動手段２９ａ開始指示部２９ｂ終了指示部３１五線３２記号および標語４１五線抽出手段４２音楽記号抽出手段４３旋律分離部４４情報揺らぎ手段５５他の音発生手段５８音色変換部８１音信号変換手段８２音比較手段８３音差表示手段４１１第１線開始位置検出部４１２線間隔検出部４１３五線長さ検出４２１記憶部４２２五線除去部４２３調整部４２４ラベリング部４２５位置検出部４２６識別部４２７認識部５８１楽器選択手段

Claims

【特許請求の範囲】

【請求項１】画像入力手段と、前記画像入力手段から得
られた画像から音の基準となる五線を抽出する五線抽出
手段と抽出された音楽を形成するための記号および標語
を抽出する音楽記号抽出手段とからなる譜表認識手段
と、前記譜表認識手段で得られた情報を音の信号に変換
する変換手段とで構成した楽譜認識装置。
【請求項２】譜表認識手段は、五線抽出手段と、前記五
線抽出手段で抽出した五線を除去した後の音楽を形成す
るための記号および標語を抽出する音楽記号抽出手段と
からなる請求項１記載の楽譜認識装置。
【請求項３】画像入力手段は楽譜を照射する照明手段
と、前記照明手段で照射された楽譜を読みとる撮像手段
と、前記撮像手段を２次元化するための可動手段および
移動距離を検出する距離検出手段と、前記２次元化され
た画像を記憶する画像メモリ部と、前記画像メモリ部に
記憶を開始する位置を設定する開始指示部と、前記画像
メモリ部に記憶を終了する位置を設定する終了指示部と
からなる請求項１または請求項２記載の楽譜認識装置。
【請求項４】画像入力手段は映像信号を出力する機器
と、前記機器からの信号を記憶する画像メモリ部とから
なる請求項１または請求項２記載の楽譜認識装置。
【請求項５】音楽記号抽出手段は予め各種の音楽を形成
するための記号および標語を記憶してある記憶部と、五
線を除去する五線除去部と、残された画像から記号と標
語を分離してラベリングするラベリング部と、前記ラベ
リング部でラベリングされた記号および標語の位置を検
出する位置検出部と、前記ラベリング部でラベリングさ
れた塊と前記記憶部に記憶してある標準の記号と標語を
比較判別する識別部と、前記位置検出部で検出した記号
および標語の位置と前記識別部で識別した記号および標
語の譜表上の使い方を認識する認識部とからなる請求項
１から４いずれかに記載の楽譜認識装置。
【請求項６】譜表認識手段で得られた情報を表示手段に
表示するための信号伝達手段を有した請求項１から５い
ずれかに記載の楽譜認識装置。
【請求項７】識別部で識別できなかった記号および標語
を抽出するエラー抽出部と、認識部で認識した楽譜を表
示するとともにエラー抽出部で認識できなかった項目を
表示する表示手段とからなる請求項１から５いずれかに
記載の楽譜認識装置。
【請求項８】譜表認識手段で得られた情報を転送する通
信手段と、前記通信手段で転送された情報を他の音発生
装置で発生させるようにしてなる請求項１から７いずれ
かに記載の楽譜認識装置。
【請求項９】譜表認識手段で得られた情報を転送する通
信手段と、前記通信手段で転送された情報を他の印刷手
段で印刷するようにしてなる請求項１から８いずれかに
記載の楽譜認識装置。
【請求項１０】音信号入力手段と、前記音信号入力手段
で入力した信号を譜表認識手段での出力信号と同じ信号
形式に変換する音信号変換手段と、前記音信号変換手段
の出力と譜表認識手段で認識した信号とを比較する音比
較手段と、前記音比較手段により発生する音の差を表示
する音差表示装置を有した請求項１から９いずれかに記
載の楽譜認識装置。
【請求項１１】譜表認識手段で得られた複数の旋律の中
で一部の旋律部分を抽出する旋律分離部と、前記旋律分
離部で分離した旋律以外の音符情報を変換手段で音に変
換する請求項１から１０いずれかに記載の楽譜認識装
置。
【請求項１２】楽器の種類を選択する楽器選択手段と、
変換手段において変換された音の信号を前記楽器選択手
段にて選択された楽器の種類に合わせた音色を変換する
音色変換部を有する請求項１から１１いずれかに記載の
楽譜認識装置。
【請求項１３】譜表認識手段で得られた音符情報の正規
の音情報を揺らがす情報揺らぎ手段を有した請求項１か
ら１２いずれかに記載の楽譜認識装置。