JP3683394B2 - 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3683394B2 JP3683394B2 JP27989197A JP27989197A JP3683394B2 JP 3683394 B2 JP3683394 B2 JP 3683394B2 JP 27989197 A JP27989197 A JP 27989197A JP 27989197 A JP27989197 A JP 27989197A JP 3683394 B2 JP3683394 B2 JP 3683394B2
- Authority
- JP
- Japan
- Prior art keywords
- note
- thick
- bit
- small
- separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/30—Character recognition based on the type of data
- G06V30/304—Music notations
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Character Discrimination (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、楽譜のうち、特に装飾音符の認識を可能にする楽譜認識方法及び楽譜認識を行うプログラムを記緑したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
通常楽譜を機械的に認識させる場合は、五線認識、図１６に示されるような段落の認識の後、五線を消去して、太細分離処理（特開平９−９７０６０号参照、画像データから細い線を構成する部分を分離しそれから細い線を構成される記号を検出し、残りの画像から太い記号を検出して、楽譜上に現れる記号の認識を行う処理）を行い、太部分から、図１７(ａ)に示される黒玉ｂや同図(ｂ)に示される白玉ｗなどの音符の符頭、同図(ｃ)に示される該符頭に連続する符尾ｔ、更に同図(ｄ)に示される該符尾に連続する旗ｆ、連鉤を検出している。また黒玉や白玉の符頭は、楕円検出処理（太部分の境界線の座標から楕円式を計算し、この形状により黒玉や白玉の符頭を認識する処理）で検出される。
【０００３】
【発明が解決しようとする課題】
この楕円の大きさにより、通常音符と装飾音を構成する小音符の楕円は、認識できる。しかし、装飾音の連鉤が通常音符の連鉤よりも細いため、太細分離処理で、図１８(ａ)(ｂ)に示すように、小音符の連鉤や旗の太部分が切れ切れになってしまう場合がある[同図(ｂ)参照]。このようになると、上記認識方法では、連鉤グループを検出するため太部分に交差する符尾を検出している部分で正しい検出ができなくなる。また太部分がなくなり、旗として計数されなくなってしまうことも多くなる。従って音長の正確な検出ができなくなっていた。
そのための対策として、太細分離の縦方向走査時のラン長しきい値を変化させることも考えられるが、このしきい値は、これまでの通常音符認識で実績のあるものであり、これを変更せずに新たな処理で解決した方が、全体的な認識率の向上につながることになる。
他方、連鉤のない単独前後打音のうちの短前後打音を構成する斜線についても、これを旗と誤認してしまい、旗数の計数失敗の要因になっている。
【０００４】
本発明は、以上のような問題に鑑み創案されたもので、装飾音を構成する小音符の連鉤や旗を正確に認識し、更に短前後打音を示す斜線の認識についても可能にする楽譜認識方法及びこのような楽譜認識を実行するプログラムを記緑したコンピュータ読み取り可能な記録媒体を提供せんとするものである。
【０００５】
【課題を解決するための手段】
そのため本願請求項１に係る発明の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを基本的特徴としている。尚、上記復活の意味は、後述する段落番号００２７にあるように、「小音符の符頭中心から、五線消去の上記ｂｉｔＬｂ１を基準にして、塗りつぶし関数を使って一時使用ビットプレーン（ｂｉｔＴｍｐ）にラベルをコピーした後、このラベルを共有する他の音符を探す。装飾音のラベルは、スラー等で通常音符のラベルと連結していることが多い。そのため処理の矩形は、ラベルを共有する音符のうち、図７(ｄ)に示すように、小音符だけを囲む矩形にする（小音符のビットのみ復活）」の記載から明らかである。
【０００６】
図１に、以上の工程を示す。楽譜上の音符の太細分離処理後、認識された音符の符頭の大きさから、装飾音符を構成する小音符の符頭が分離検出される。上記太細分離処理が行われた場合、図１(ａ)の原画像は、同図(ｂ)のように、特に小音符の太部分が切れ切れの状態になっている。そこで、該小音符の符頭を含むラベルから、同図(ｃ)に示すように、小音符のビットのみを復活させる。更に同図(ｄ)に示すように、該ラベルから小音符における太部分のビットのみを分離する。同図(ｄ)に示すビットを、同図(ｂ)に示す太部分のビットに上書きして、同図(ｅ)に示すように、小音符の太部分の修復を行う。この状態から、小音符の連鉤や旗の検出を行う。
【０００７】
上記構成は、請求項１０の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行するプログラムを有している。
【０００８】
連鉤でない単独前打音及び単独後打音（音符１個の前後打音、以下単独前後打音）の１つである短前打音及び短後打音（以下短前後打音）は、図２(ａ)に示すように、斜線ｓが表記される。この斜線ｓがあるか否かで演奏方法が大きく変わるので、正しく認識する必要がある。しかし上記のように、従来の認識方法では、旗と誤認してしまい、旗数の計数を間違ってしまうことが多い。そこで、上述の構成と同様にして小音符のビットラベルから該小音符における太部分のビットのみを分離した後に、短前後打音の斜線を検出して、該ビットから斜線部分のビットを消去する。その後の工程は、上述の構成と同様に、消去後の該ビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行い、小音符の連鉤や旗を検出するようにすれば良い。すなわち、請求項２の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、斜線検出手段と、斜線ビット消去手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、斜線検出手段により行われる、短前後打音の斜線を検出する工程と、斜線ビット消去手段により行われる、該ビットから斜線部分のビットを消去する工程と、太部分修復手段により行われる、該消去後のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、該小音符の旗や他の小音符の連鉤を検出する小音符認識工程とを実行することを特徴としている。
【０００９】
上記構成は、請求項１１の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、斜線検出手段と、斜線ビット消去手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、斜線検出手段により行われる、短前後打音の斜線を検出する斜線検出機能と、前記太部分分離処理により分離されたビットから、斜線ビット消去手段により行われる、斜線部分のビットを消去する斜線ビット消去機能と、太部分修復手段により行われる、該消去後のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、該小音符の旗や他の小音符の連鉤の検出を行う小音符認識機能とを実行するプログラムを有している。
【００１０】
短前後打音の斜線は、傾きや長さの問題で、認識に失敗する可能性が高い。この斜線は、単独前後打音に付く場合が多いので、このラベルを辞書とマッチングすれば、斜線が有るか無いか（有る場合短前後打音、無い場合長前後打音）が更に確実に認識できることになる。そこで、小音符のビット復活・太部分修復処理を経て、小音符の連鉤や旗を検出した後、単独前後打音につき、これを含むラベルを辞書とマッチングさせて、旗数の修正・斜線の有無の修正を行うようにすると良い。すなわち、請求項３の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、単独前後打音修正手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、単独前後打音マッチング手段により行われる、単独前後打音につき、これを含むラベルを辞書とマッチングさせる単独前後打音マッチング工程と、単独前後打音修正手段により行われる、旗数の修正・斜線の有無の修正を行う単独前後打音修正工程とを実行することを特徴としている。
【００１１】
上記構成は、請求項１２の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、単独前後打音修正手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、単独前後打音マッチング手段により行われる、単独前後打音を含むラベルを辞書とマッチングさせる単独前後打音マッチング機能と、単独前後打音修正手段により行われる、該単独前後打音マッチング処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正機能とを実行するプログラムを有している。
【００１２】
但し上記処理において、辞書とのマッチングを行うに当たり、小音符が他の音符と接触していたり、スラー、運指番号や臨時記号等と接触しているために、これらのノイズによってマッチングに失敗してしまうこともある。そのため、小音符のビット復活・太部分修復処理を経て、小音符の連鉤や旗を検出した後、辞書とのマッチングを行って、該マッチングが失敗した場合には、単独前後打音とこれに接触するスラー、運指番号及び臨時記号等のノイズとの間に切れ目（後述する図１１の上部右側細縦線Ｃ参照）を入れて該ノイズを前記ラベルから消去し、ノイズの消去された単独前後打音を含むラベルを辞書と再度マッチングさせて、旗数の修正・斜線の有無の修正を行うようにすると良い。すなわち、請求項４の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、ノイズキャンセル手段と、マッチングリピート手段と、単独前後打音修正手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、単独前後打音マッチング手段により行われる、単独前後打音につき、これを含むラベルを辞書とマッチングさせる単独前後打音マッチング工程と、該マッチングが失敗した場合に、ノイズキャンセル手段により行われる、単独前後打音とこれに接触するスラー、運指番号及び臨時記号等のノイズを、符尾位置と五線幅にある係数を掛けた値により決定した位置に切れ目を入れることで、前記ラベルから消去するノイズキャンセル工程と、マッチングリピート手段により行われる、ノイズの消去された単独前後打音を含むラベルを辞書と再度マッチングさせるマッチングリピート工程と、単独前後打音修正手段により行われる、マッチングリピート処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正工程とを実行することを特徴としている。
【００１３】
上記構成は、請求項１３の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、ノイズキャンセル手段と、マッチングリピート手段と、単独前後打音修正手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、単独前後打音マッチング手段により行われる、単独前後打音を含むラベルを辞書とマッチングさせる単独前後打音マッチング機能と、該マッチングが失敗した場合に、ノイズキャンセル手段により行われる、単独前後打音とこれに接触するスラー、運指番号及び臨時記号等のノイズを、符尾位置と五線幅にある係数を掛けた値により決定した位置に切れ目を入れることで、前記ラベルから消去するノイズキャンセル機能と、マッチングリピート手段により行われる、該ノイズキャンセル処理によりノイズの消去された単独前後打音を含むラベルを、前記単独前後打音マッチング機能を再実行して辞書と再度マッチングさせるマッチングリピート機能と、単独前後打音修正手段により行われる、該マッチングリピート処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正機能とを実行するプログラムを有している。
【００１４】
運指番号等が接触しノイズとなって旗数の検出に失敗するのは、単独前後打音の場合だけではない。図３に示すように、連鉤である複前後打音でも、このようなノイズの接触により、その認識に失敗することがある。複前後打音も、符尾が全て上向きになっている場合が殆どであるので、このようなノイズをキャンセルすることができる。即ち、上記処理のビット復活処理と太部分ビットの分離処理との間で、復活させた小音符のビットラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くす処理を行うようにすれば良い。このノイズキャンセル処理の後に、ラベルから小音符における太部分のビットのみを分離し、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行えば、該小音符の連鉤や他の小音符の旗の検出が正確に行うことができるようになる。すなわち、請求項５の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、ノイズキャンセル手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更にノイズキャンセル手段により行われる、該ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル工程と、太部分分離手段により行われる、このノイズキャンセル処理のなされた小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、該小音符の連鉤や他の小音符の旗の検出を行う小音符認識工程とを実行することを特徴としている。
【００１５】
上記構成は、請求項１４の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、ノイズキャンセル手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、ノイズキャンセル手段により行われる、ビット復活処理された該ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル機能と、太部分分離手段により行われる、ノイズキャンセル処理のなされた小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理された小音符の連鉤や旗の検出を行う小音符認識機能とを実行するプログラムを有している。
【００１６】
また太部分ビットの分離処理と上書きによる小音符の太部分の修復処理との間で、復活させた小音符のビットラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側［符頭が存在する方向（下側）とは逆側；図１２の太い線位置から上側；図１２参照］にあるビットを前記ラベルから消去してノイズを無くす処理を行うようにしても良い。このノイズキャンセル処理の後に、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行えば、該小音符の連鉤や他の小音符の旗の検出が正確に行うことができるようになる。すなわち、請求項６の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、旗部分認識手段と、ノイズキャンセル手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、旗部分認識手段により行われる、分離された太部分のビットのみを含むラベルにおける複前後打音の連鉤を構成する旗部分を認識する旗部分認識工程と、ノイズキャンセル手段により行われる、上記ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル工程と、太部分修復手段により行われる、ノイズキャンセル処理によりノイズのキャンセルされた小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを特徴としている。
【００１７】
上記構成は、請求項１５の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、旗部分認識手段と、ノイズキャンセル手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、旗部分認識手段により行われる、分離された太部分のビットのみを含むラベルにおける複前後打音の連鉤を構成する旗部分を認識する旗部分認識機能と、ノイズキャンセル手段により行われる、該旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル機能と、太部分修復手段により行われる、ノイズキャンセル処理によりノイズのキャンセルされた小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行するプログラムを有している。
【００１８】
複前後打音の連鉤は、通常音符に比べて小さいため、図４に示すように、連鉤の間に音符を誤認する場合がある。即ち符頭の大きさから小音符の符頭を分離検出した際、小音符の複前後打音の連鉤中に通常音符の符頭が認識される場合がある。このような場合は、該通常音符のデータを認識保存データから削除（認識結果保存データ上のデータそのものを消す処理であり、画像のビットプレーンを消す消去とは区別する）し、その後小音符の前記ビット復活処理を行うようにする。すなわち、請求項７の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、誤認符頭認識手段と、誤認音符削除手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、誤認符頭認識手段により行われる、小音符の複前後打音の連鉤中にある通常音符の符頭の誤認識を検出する誤認符頭認識工程と、誤認音符削除手段により行われる、複前後打音の連鉤中に符頭が認識された通常音符のデータを認識保存データから削除する誤認音符削除工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活工程と、太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを特徴としている。
【００１９】
上記構成は、請求項１６の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、誤認符頭認識手段と、誤認音符削除手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、誤認符頭認識手段により行われる、小音符の複前後打音の連鉤中にある通常音符の符頭の誤認識を検出する誤認符頭認識機能と、誤認音符削除手段により行われる、複前後打音の連鉤中に符頭が認識された通常音符のデータを認識保存データから削除する誤認音符削除機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、太部分分離手段により行われる、このビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行するプログラムを有している。
【００２０】
小音符については、通常音符に比べて誤認識の可能性が高い。そこで、上述した処理以外に、更にその認識率を高めるため、以下のような処理を実施すると良い。通常音符認識の終わりに音符消去（ラベルビットプレーンから音符部分を消去する処理であり、認識結果保存データ上のデータそのものを消す削除と区別する）を行う。本構成では、小音符のビットを消去しない状態で休符・臨時記号等を含む音符以外の記号を認識し、認識の行われた記号のビットをラベルから消去した後、小音符のラベルのビットが残っていなければ、他の記号に認識されたと言うことで、認識保存データから小音符のデータを削除し、小音符のラベルのビットが残っていれば、上記小音符の認識は正しく行われたので、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する。すなわち、請求項８の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、記号認識手段と、記号消去手段と、ラベルビット確認手段と、小音符データ削除手段と、小音符ビット消去手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、記号認識手段により行われる、小音符のビットを消去しない状態で休符・臨時記号を含む音符以外の記号を認識する記号認識工程と、記号消去手段により行われる、認識の行われた記号のビットをラベルから消去する記号消去工程と、ラベルビット確認手段により行われる、記号消去後、小音符のラベルのビットが残っているか否かを確認するラベルビット確認工程と、ラベルビット確認処理によりラベルのビットが残っていなければ、小音符データ削除手段により行われる、認識保存データから小音符のデータを削除する小音符データ削除工程と、ラベルビット確認処理により小音符のラベルのビットが残っていれば、小音符ビット消去手段により行われる、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する小音符ビット消去工程とを実行することを特徴としている。
但し、この処理の対象とする小音符は、連鉤が無く、辞書とマッチングに成功しなかったものだけにした方が良い。連鉤があるものや辞書とのマッチングに成功したものは、誤認識の確率が低くなるからである。
【００２１】
上記構成は、請求項１７の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、記号認識手段と、記号消去手段と、ラベルビット確認手段と、小音符データ削除手段と、小音符ビット消去手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、記号認識手段により行われる、小音符のビットを消去しない状態で休符・臨時記号を含む音符以外の記号を認識する記号認識機能と、記号消去手段により行われる、認識の行われた記号のビットをラベルから消去する記号消去機能と、ラベルビット確認手段により行われる、記号消去後、小音符のラベルのビットが残っているか否かを確認するラベルビット確認機能と、小音符データ削除手段により行われる、ラベルビット確認処理によりラベルのビットが残っていなければ、認識保存データから小音符のデータを削除する小音符データ削除機能と、小音符ビット消去手段により行われる、同じくラベルビット確認処理により小音符のラベルのビットが残っていれば、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する小音符ビット消去機能とを実行するプログラムを有している。
【００２２】
尚、上記太細分離処理後、前記小音符符頭分離検出処理を行うための前処理として、楕円検出処理を行って、楕円の大きさから、通常音符と小音符を分離するようにすると良い。すなわち請求項９の構成は、請求項１乃至８記載の楽譜認識方法において、更に楕円検出手段を備え、太細分離工程による太細分離処理後、楕円検出手段により通常音符及び小音符の符頭を構成する楕円を検出し、小音符符頭分離検出工程による小音符の符頭分離検出処理は、この楕円の大きさにより通常音符と小音符を分離検出することを特徴としている。もちろん該楕円検出処理によらずに、他の方法で検出した符頭を、そのサイズにより分離することができることは言うまでもない。更に前記請求項１０乃至１７の構成において、太細分離機能による太細分離処理後、小音符符頭分離検出機能による小音符の符頭分離検出処理前に、楕円の大きさにより通常音符と小音符を分離する楕円検出機能を更に実行するためのプログラムを、前記楽譜認識プログラムとして含むものであっても良いことは言うまでもない。すなわち請求項１８の構成は、請求項１０乃至１７記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、コンピュータに上記プログラムが実行処理された際に該コンピュータ上に、更に楕円検出手段が実現され、太細分離機能による太細分離処理後、楕円検出手段により通常音符及び小音符の符頭を構成する楕円を検出する楕円検出機能を更に実行すると共に、小音符符頭分離検出機能による小音符の符頭分離検出処理は、この楕円の大きさにより通常音符と小音符を分離検出することでなされるプログラムを、前記楽譜認識プログラムとして含んでいる。
【００２３】
【発明の実施の形態】
以下本発明の一実施形態を添付図面に基づき説明する。図５は本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を後述するフレキシブルディスクドライブＦＤＤ５等の外部記憶装置（或いはＣＤ−ＲＯＭドライブ等）で読み込ませて稼動する楽譜認識装置の実施形態構成を示すブロック図である。この装置は、パソコンなどの電子計算機の構成に、スキャナやＭＩＤＩインターフェース回路を付加したものである。ＣＰＵ１は、ＲＯＭ２或いはＲＡＭ３に格納されるプログラムに基づき、楽譜認識装置全体の制御を行う中央演算処理装置である。また予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ＲＡＭ３はプログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ハードディスク装置ＨＤＤ４及びフレキシブルディスクドライブＦＤＤ５は、プログラム及び画像データ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインターフェース回路７から出力される映像情報を表示し、キーボード８から入力された情報は、キーボードインターフェース回路９を経てＣＰＵ１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に基づき、プリンタインターフェース回路１１から出力される印字情報を印字する。
【００２４】
スキャナ１２は、例えば（印刷された）楽譜を光学的に走査して、２値、グレースケール或いはカラーの画像データに変換するものであり、フラットベッド型、ハンディ型、フィーダ型等任意のタイプのスキャナを使用できる。スキャナ１２によって読み取られた画像情報は、スキャナインターフェース回路１３を介して、ＲＡＭ３或いはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェース回路１４は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１５は、本楽譜認識装置内の各回路を接続し、各種データ、プログラム、アドレス等をやり取りさせている。なお、この他にマウスなどのポインティングデバイスやＲＳ２３２Ｃ等のシリアルインターフェース回路等を備えていても良い。
【００２５】
図６はＣＰＵ１のメイン処理を示すフローチャートである。ステップＳ１においては、スキャナ１２によって楽譜のイメージをＲＡＭ３に取り込む。画像は２値の画像データとして取り込む。ステップＳ２においては、かすれやドットノイズ等を軽減するために、図形融合等の画質平滑化処理を行う。ステップＳ３においては、解像度と濃度の情報を得ると共に、後段における五線検出の基準データを得るために、後述する画質チェック処理を行う。楽譜の認識処理においては、解像度及び濃度が所定の範囲から外れると認識率が低下してしまうので、ステップＳ３においては、これらの値が、所定の範囲内に入っているか否かがチェックされる。ステップＳ４においては、ステップＳ３におけるチェック結果が画質ＯＫであるか否かが判定され、結果がＯＫでない場合にはステップＳ１に戻って、解像度や濃度を変えて再度取り込みを行う。ステップＳ５においては、後述する五線認識を行う。五線認識処理において、五線走査開始位置検出処理と五線シフト量の検出処理が行われる。ステップＳ６においては、段落認識処理を行う。この処理は、大きく、段落認識処理と、大かっこ認識処理に分かれる。段落認識処理においては、画像全体で五線を検出し、五線同士で左端が略同じ場所にある五線の組を探し、五線の端同士が、黒画素で結ばれているかどうかを検査し、段落を認識する。ステップＳ７においては、段落の認識結果を表示して、段落認識結果が正しいか否かを利用者にチェックさせることにより、ＯＫか否かが判定され、結果がＯＫでない場合にはステップＳ８に移行して、段落認識結果の修正が行われる。尚、五線認識が失敗した場合には、その後の処理が行えないので、解像度や濃度を変更して再度画像を取り込む必要がある。従ってステップＳ７においては、まず五線の認識結果を表示し、正しいか否かを利用者に判定させ、もし正しくない場合には、Ｓ１に戻ってイメージを再度取り込み、また五線が正しく認識されている場合には、段落認識結果を表示し、チェックさせるようにしても良い。
【００２６】
ステップＳ９において、記号認識処理（楽譜上の音符や音楽記号を、記号同士の係り具合や、ドラム楽器属性などを除いた単なる「記号」として認識する処理）が行われることになる。この際本構成による装飾音符を構成する小音符の認識も行われる。その処理フローを図８に示す。
【００２７】
上記記号認識処理は、図８に示されるように、前処理が行われる（ステップＳ９０）。このステップＳ９０では、スキャナ１２によって読み取られた図７(ａ)に示すような原画像に対し五線消去処理を行って、同図(ｂ)に示すようなビットプレーン１（ｂｉｔＬｂ１）を得ることで処理される。その後、音符認識処理が行われる（ステップＳ１００）。この音符認識処理をさらに詳述すると、ステップＳ１０１で、楽譜上の音符の太細分離処理、楕円検出処理を行い、楕円・縦線検出及び結合を行って、音符符頭符尾を認識する。尚、この太細分離処理により、図７(ｃ)に示すビットプレーン２（ｂｉｔＴｉｃ）が得られる（後述する小音符符頭検出及び楕円検出の元データ）。ステップＳ１０２において、連鉤太部分復活処理を行う。この処理は、上記楕円検出処理により、その楕円の大きさから装飾音符を構成する小音符の符頭を分離検出し、小音符の符頭中心から、五線消去の上記ｂｉｔＬｂ１を基準にして、塗りつぶし関数を使って一時使用ビットプレーン（ｂｉｔＴｍｐ）にラベルをコピーする。そしてこのラベルを共有する他の音符を探す。装飾音のラベルは、スラー等で通常音符のラベルと連結していることが多い。そのため処理の矩形は、ラベルを共有する音符のうち、図７(ｄ)に示すように、小音符だけを囲む矩形にする（小音符のビットのみ復活）。更に検出した矩形内で横方向に走査し、細いランを消去し、同図(ｅ)に示す小音符における太部分のビットのみを分離する。そして該ビット[図７(ｅ)]を前記太細分離処理後の太部分のビットｂｉｔＴｉｃ[図７(ｃ)]に上書きして、図７(ｆ)に示すように、小音符の太部分の修復を行う。この処理により、小音符に関する太部分だけ、縦方向の走査による細線消去を行わないのと同じ状態になり、小音符の連鉤の太部分が消えたり切れたりする状況を改善できる。
尚、上記小音符だけを囲む矩形を取り出す方法について詳述する。まず図９(ａ)を原画像とすると、上述したように、１つの小音符と同じラベルに符頭が存在する音符を検出する［図９(ｂ)中×で示す］。ここから、ｘ方向に小音符グループと、通常音符グループを検出する。最も単純な場合として、２つのグループに分かれた場合には、同図(ｂ)のように、２つのグループの真ん中までに矩形を縮小する。これにより小音符だけを囲む矩形を取り出すことができるようになる。同様に、通常音符・小音符・通常音符の３つのグループとなった場合も、両側の２つのグループを除いた領域に矩形を縮小する。但し小音符・通常音符・小音符のように、小音符グループ内に通常音符が入った状態になった場合には、後述するように、通常音符を誤認識したとみなして削除する。
【００２８】
この後ステップＳ１０３において、音符と符尾を結合した後、符尾の符頭から逆端を走査し、検出された太部分から、小音符の連鉤・旗の検出を行う。１つの太部分が複数の符尾と交差していれば、連鉤とし、単独であれば、旗とする。また符尾の端から音符側に走査し、太部分のギャップの数から旗の数を計数し、音長を設定する。この処理を、太部分復活処理の後に行えば、小音符の連鉤・旗も正しく検出できる。
【００２９】
連鉤でない単独前後打音の１つである短前後打音は、前記図２(ａ)に示すように、斜線ｓが表記される。この斜線ｓがあるか否かで演奏方法が大きく変わるので、正しく認識する必要がある。しかし、上記の認識方法では、図２(ｂ)に示すように、太部分復活処理により該斜線が太部分として残り、太部分のギャップの数が増えて、旗を多く数えてしまい、音長を短く誤認識することになる。そこで、上述の構成と同様にして太部分復活処理で、ｂｉｔＴｍｐをｂｉｔＴｉｃに上書きする前に、同図(ｃ)に示すように、検出された短前後打音の斜線ｓを、ｂｉｔＴｍｐから消去する。
この斜線は、符尾認識のための縦線検出、加線、クレッシェンドの認識のための横線検出によって検出された直線の中から、短前後打音の斜線として妥当な傾きを持ち、前記太部分復活処理中の小音符矩形に交差するものを選ぶことで、検出できる。斜線の傾きは、後述する図１０(ｃ)に示すように、符尾の向きにより異なるので、小音符の符尾の向きにより、検出する斜線の傾きを変える。
斜線が認識された場合、認識結果保存データの、短前打音、長前打音判別変数（ａｃｃｉａｃｃａｔｕｒａ）をＯＮにする。
【００３０】
短前後打音の斜線は、傾きや長さの問題で、認識に失敗する可能性が高い。この斜線は、単独前後打音に付く場合が多いので、このラベルを辞書とマッチングすれば、斜線が有るか無いか（有る場合短前後打音、無い場合長前後打音）が更に確実に認識できることになる。そこで、太部分復活処理と連鉤検出を行った後、図８のステップＳ１０４において、単独前後打音につき、これを含むラベルを辞書とマッチングさせることで、斜線が有るか無いか（短前後打音か、長前後打音か）を確実に認識させることができる。但し、マッチングに失敗した場合には、他の音符、その他の記号（運指番号、臨時記号、スラー等の記号）との接触を解決するために、後述する単独前後打音のノイズ消去を行った後に再度マッチングを行う。
このマッチングに使用する辞書として、４分音符から６４分音符までの斜線付き、斜線無しのラベルを辞書化する。もちろん、楽譜上の出現頻度により、１６分音符までにしても良い。また装飾音符は殆ど符尾が上向きなので、辞書に入れるものを符尾上向きのみにし、辞書とのマッチングも符尾上向きだけ行うようにしても良い。
辞書とのマッチングに成功した場合には、そのマッチング結果に従って、旗数の修正（音符ＩＤの修正等）、斜線の有無の修正（ａｃｃｉａｃｃａｔｕｒａのＯＮ／ＯＦＦ）を行う。
マッチングが不成功の場合、前記太部分復活処理、斜線認識及び消去、連鉤検出による結果を優先する。これは、図１０に示すように、加線のある場合[同図(ａ)]、和音のある場合[同図(ｂ)]、符尾逆向きの場合[同図(ｃ)]等は、辞書に登録するには表記パターンが多すぎ、しかも表記される確率が低いためである。
もちろん最初に辞書とのマッチングを行って、マッチングが不成功の場合のみ、太部分復活処理、斜線認識及び消去、連鉤検出を行うようにしても良い。
【００３１】
辞書とのマッチングを行うに当たり、小音符が他の音符と接触していたり、スラー、運指番号や臨時記号等と接触しているために、これらのノイズによってマッチングに失敗してしまうこともある。そのため、これらを切り取ってマッチングし易いラベルとすると良い。この切り取りは、認識された符頭の楕円、符尾の縦線の位置を基準にして、図１１に示すように、単独前後打音周辺のスラー、運指番号及び臨時記号等のノイズの存在しそうな部分に切れ目Ｃを入れる。その後符頭の中心から塗りつぶし関数を使って塗りつぶし、塗りつぶされた部分をラベルとする。このようにして切れ目を境に、該ノイズを前記ラベルから消去し、ノイズの消去された単独前後打音を含むラベルを再度辞書とマッチングさせて、旗数の修正・斜線の有無の修正を行うようにすると良い。
前記切れ目までの距離は、五線幅等に、或る係数を掛けて決定する。
【００３２】
図３に示すように、連鉤である複前後打音でも、運指番号等が接触しノイズとなって旗数の検出に失敗することがある。複前後打音も、符尾が全て上向きになっている場合が殆どであるので、このようなノイズをキャンセルすることができる。
即ち前記太部分復活処理中の横の細ラン消去の前後に以下の処理を行う。まず連鉤グループ内の音符が全て同じ向きであることを確認する。そして図１２に示すように、右端の音符と左端の音符の符尾の端を結んだ直線Ｈを検出する。この直線から矩形の符頭とは逆向きの端までのビット（接触している運指番号等のビット）を消去する。これにより接触している運指番号等が消去され、連鉤の旗数の計数に失敗する心配がなくなる。
以上のようなノイズキャンセル処理の後に、ラベルから小音符における太部分のビットのみを分離し、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行えば良い。
もちろん通常の連鉤でも、符尾の向きが同じ場合には同様な処理ができる。しかし通常音符の連鉤の場合には、次のような理由で小音符の場合ほどこのような接触が問題にならない。
まず太部分の検出を、小音符の連鉤太部分復活処理では、横方向のみで行っている（縦方向のみ細線消去を行っている）のに対して、通常音符では、縦横の細ラン消去によって行っているためである。このため図１３に示すように、横方向への小さな凸が発生する確率が低くなり（図中黒い部分の横方向の小さな凸が消える）、その分だけ空白の部分が広がって、ギャップとして認識される長さのしきい値を超えため、この結果ギャップの誤認の確率も減る。
また通常音符の連鉤の方が、横の長さが長いためである。通常はギャップを考慮して旗が複数有ることを検出しなければならないが、図３のように運指番号等が接触している場合には、旗が複数であると認識すべきではない。そのためギャップの横幅によって、旗のギャップとそうでないものを区別しようとしている。従ってギャップ数がカウントされた部分の横幅に対して、連鉤の長さに応じたしきい値を設けて、それより低い場合は誤認識として、これをギャップとしてカウントしない処理（オミット）を加えている。小音符の場合は、連鉤の長さが短いために、このしきい値を超えてしまい、上記のような処理をしない限り認識できなくなってしまう。
更に横の長さによりギャップのオミットの判定を変えているのは、特に図１４に示すように単独音符の旗の太部分のような、幅の狭い太部分の場合、ギャップも幅の狭いものについてのカウントが必要な場合が多いからであり、単純に全ての場合同じしきい値でノイズと判断することはできない。
これらの理由により、通常音符の連鉤の場合には、必ずしもこのような処理を行う必要はない。
【００３３】
また上記処理について、太部分ビットの分離処理［図７(ｅ)］と上書きによる小音符の太部分の修復処理［図７(ｆ)］との間で、復活させた小音符のビットラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くす処理を行っても良い。このノイズキャンセル処理の後に、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行えば、該小音符の連鉤や他の小音符の旗の検出が正確に行うことができるようになる。
【００３４】
複前後打音の連鉤は、通常音符に比べて小さいため、図４に示すように、連鉤の間に音符を誤認する場合がある。即ち同じラベルを共有する符頭の、ｘ方向における小音符グループと通常音符グループを分離した際、通常音符グループが小音符グループに挟まれる状態として誤認されることがある。そのようになった場合、該通常音符のデータを認識保存データから削除し、その後小音符の前記ビット復活処理を行うようにする。また更に厳密な判定を行うために、小音符の符尾の位置から推測される連鉤位置や、通常音符の符頭部分に存在する太部分ビットプレーンへの上書き直前のｂｉｔＴｍｐのビットの割合等を条件として加えることもできる。
【００３５】
装飾音のラベルマッチング処理後は、図８のステップＳ１０５において、音符ラベルの消去処理が行われる。
【００３６】
但し小音符については、通常音符に比べて誤認識の可能性が高い。そこで、上述した処理以外に、更にその認識率を高めるため、次に述べる小音符消去の保留による誤認識対策処理を実施すると良い。即ちステップＳ１０５で音符の消去処理を実施しない状態で、次のステップＳ１１１において、休符・臨時記号等の音符以外の記号を認識し、認識の行われた記号のビットをラベルから消去する。その後、ステップＳ１１２で、保留分小音符のチェックを行う。即ち小音符のラベルのビットが残っていなければ、他の記号に認識されたと言うことで、認識保存データから小音符のデータを削除し、小音符のラベルのビットが残っていれば、上記小音符の認識は正しく行われたので、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する。
但し、この処理の対象とする小音符は、連鉤が無く、辞書とマッチングに成功しなかったものだけにした方が良い。連鉤があるものや辞書とのマッチングに成功したものは、誤認識の確率が低くなるからである。
また記号認識の後の小音符のラベルビット消去について、図１５のような加線を消去する際には、記号認識でこのような直線がテヌートに認識されている可能性があるので、小音符と五線の間の加線が存在する領域内で、ラベルビットか、テヌート記号か、どちらか見つかった方を消去或いは削除するようにする。
【００３７】
そして、図８のステップＳ１１３で、認識その他の処理（スラー認識等）を行う。更に図６のステップＳ１０に戻って、楽譜データ形式への変換が行われる。
【００３８】
以上の処理が行われる結果、小音符の切れ切れになった部分が修復され、該小音符の連鉤や旗が正確に認識され、更に短前後打音を示す斜線も認識されるようになるため、音長の正確な検出が可能になる。
【００３９】
【発明の効果】
以上詳述した本発明の構成によれば、通常の太細分離処理により小音符の切れ切れになっていた部分が修復されることになり、該小音符の連鉤や旗が正確に認識できるようになる。また短前後打音を示す斜線も正確な認識が可能になるため、音長の正確な検出が可能になる。
また、単独前後打音は、辞書とのマッチングを行うことで、上記認識率を高めることもできる。その際これに接触するノイズの消去を行うことで、よりその認識率を向上させることが可能となる。
更に複前後打音についても、ノイズ消去を行うことで、その認識率を一層高めることも可能である。
加えて、小音符消去の保留を行って、記号認識を行わせると、その認識率の向上は、極めて高いものとなる。
【図面の簡単な説明】
【図１】請求項１に係る楽譜認識方法の基本工程説明図である。
【図２】短前後打音の斜線の状態とその認識及び消去方法を示す説明図である。
【図３】ノイズの接触した複前後打音の状態を説明する説明図である。
【図４】複前後打音の連鉤の間に音符を誤認した状態を示す説明図である。
【図５】本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を外部記憶装置で読み込ませて稼動する楽譜認識装置の実施形態構成を示すブロック図である。
【図６】ＣＰＵのメイン処理を示すフローチャートである。
【図７】本実施形態構成による楽譜認識方法の基本工程説明図である。
【図８】小音符の認識処理フローを示すフローチャートである。
【図９】小音符だけを囲む矩形を取り出す方法を示す説明図である。
【図１０】単独前後打音の特殊表記法を示す説明図である。
【図１１】単独前後打音のノイズ消去法を示す説明図である。
【図１２】複前後打音のノイズ消去法を示す説明図である。
【図１３】横方向への小さな凸が消える状態を例示する説明図である。
【図１４】単独音符の旗の太部分の例を示す説明図である。
【図１５】加線を含む単独前後打音のノイズ例を示す説明図である。
【図１６】楽譜上の段落の説明図である。
【図１７】認識対象たる音符の黒玉・白玉の符頭、符尾及び旗を示す説明図である。
【図１８】太細分離処理によって小音符の連鉤や旗の太部分が切れ切れになってしまった状態を示す説明図である。
【符号の説明】
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ ハードディスク装置
５ フレキシブルディスクドライブ
６ ＣＲＴ
７ ＣＲＴインターフェース回路
８ キーボード
９ キーボードインターフェース回路
１０ プリンタ
１１ プリンタインターフェース回路
１２ スキャナ
１３ スキャナインターフェース回路
１４ ＭＩＤＩインターフェース回路
１５ バス
【発明の属する技術分野】
本発明は、楽譜のうち、特に装飾音符の認識を可能にする楽譜認識方法及び楽譜認識を行うプログラムを記緑したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
通常楽譜を機械的に認識させる場合は、五線認識、図１６に示されるような段落の認識の後、五線を消去して、太細分離処理（特開平９−９７０６０号参照、画像データから細い線を構成する部分を分離しそれから細い線を構成される記号を検出し、残りの画像から太い記号を検出して、楽譜上に現れる記号の認識を行う処理）を行い、太部分から、図１７(ａ)に示される黒玉ｂや同図(ｂ)に示される白玉ｗなどの音符の符頭、同図(ｃ)に示される該符頭に連続する符尾ｔ、更に同図(ｄ)に示される該符尾に連続する旗ｆ、連鉤を検出している。また黒玉や白玉の符頭は、楕円検出処理（太部分の境界線の座標から楕円式を計算し、この形状により黒玉や白玉の符頭を認識する処理）で検出される。
【０００３】
【発明が解決しようとする課題】
この楕円の大きさにより、通常音符と装飾音を構成する小音符の楕円は、認識できる。しかし、装飾音の連鉤が通常音符の連鉤よりも細いため、太細分離処理で、図１８(ａ)(ｂ)に示すように、小音符の連鉤や旗の太部分が切れ切れになってしまう場合がある[同図(ｂ)参照]。このようになると、上記認識方法では、連鉤グループを検出するため太部分に交差する符尾を検出している部分で正しい検出ができなくなる。また太部分がなくなり、旗として計数されなくなってしまうことも多くなる。従って音長の正確な検出ができなくなっていた。
そのための対策として、太細分離の縦方向走査時のラン長しきい値を変化させることも考えられるが、このしきい値は、これまでの通常音符認識で実績のあるものであり、これを変更せずに新たな処理で解決した方が、全体的な認識率の向上につながることになる。
他方、連鉤のない単独前後打音のうちの短前後打音を構成する斜線についても、これを旗と誤認してしまい、旗数の計数失敗の要因になっている。
【０００４】
本発明は、以上のような問題に鑑み創案されたもので、装飾音を構成する小音符の連鉤や旗を正確に認識し、更に短前後打音を示す斜線の認識についても可能にする楽譜認識方法及びこのような楽譜認識を実行するプログラムを記緑したコンピュータ読み取り可能な記録媒体を提供せんとするものである。
【０００５】
【課題を解決するための手段】
そのため本願請求項１に係る発明の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを基本的特徴としている。尚、上記復活の意味は、後述する段落番号００２７にあるように、「小音符の符頭中心から、五線消去の上記ｂｉｔＬｂ１を基準にして、塗りつぶし関数を使って一時使用ビットプレーン（ｂｉｔＴｍｐ）にラベルをコピーした後、このラベルを共有する他の音符を探す。装飾音のラベルは、スラー等で通常音符のラベルと連結していることが多い。そのため処理の矩形は、ラベルを共有する音符のうち、図７(ｄ)に示すように、小音符だけを囲む矩形にする（小音符のビットのみ復活）」の記載から明らかである。
【０００６】
図１に、以上の工程を示す。楽譜上の音符の太細分離処理後、認識された音符の符頭の大きさから、装飾音符を構成する小音符の符頭が分離検出される。上記太細分離処理が行われた場合、図１(ａ)の原画像は、同図(ｂ)のように、特に小音符の太部分が切れ切れの状態になっている。そこで、該小音符の符頭を含むラベルから、同図(ｃ)に示すように、小音符のビットのみを復活させる。更に同図(ｄ)に示すように、該ラベルから小音符における太部分のビットのみを分離する。同図(ｄ)に示すビットを、同図(ｂ)に示す太部分のビットに上書きして、同図(ｅ)に示すように、小音符の太部分の修復を行う。この状態から、小音符の連鉤や旗の検出を行う。
【０００７】
上記構成は、請求項１０の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行するプログラムを有している。
【０００８】
連鉤でない単独前打音及び単独後打音（音符１個の前後打音、以下単独前後打音）の１つである短前打音及び短後打音（以下短前後打音）は、図２(ａ)に示すように、斜線ｓが表記される。この斜線ｓがあるか否かで演奏方法が大きく変わるので、正しく認識する必要がある。しかし上記のように、従来の認識方法では、旗と誤認してしまい、旗数の計数を間違ってしまうことが多い。そこで、上述の構成と同様にして小音符のビットラベルから該小音符における太部分のビットのみを分離した後に、短前後打音の斜線を検出して、該ビットから斜線部分のビットを消去する。その後の工程は、上述の構成と同様に、消去後の該ビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行い、小音符の連鉤や旗を検出するようにすれば良い。すなわち、請求項２の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、斜線検出手段と、斜線ビット消去手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、斜線検出手段により行われる、短前後打音の斜線を検出する工程と、斜線ビット消去手段により行われる、該ビットから斜線部分のビットを消去する工程と、太部分修復手段により行われる、該消去後のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、該小音符の旗や他の小音符の連鉤を検出する小音符認識工程とを実行することを特徴としている。
【０００９】
上記構成は、請求項１１の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、斜線検出手段と、斜線ビット消去手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、斜線検出手段により行われる、短前後打音の斜線を検出する斜線検出機能と、前記太部分分離処理により分離されたビットから、斜線ビット消去手段により行われる、斜線部分のビットを消去する斜線ビット消去機能と、太部分修復手段により行われる、該消去後のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、該小音符の旗や他の小音符の連鉤の検出を行う小音符認識機能とを実行するプログラムを有している。
【００１０】
短前後打音の斜線は、傾きや長さの問題で、認識に失敗する可能性が高い。この斜線は、単独前後打音に付く場合が多いので、このラベルを辞書とマッチングすれば、斜線が有るか無いか（有る場合短前後打音、無い場合長前後打音）が更に確実に認識できることになる。そこで、小音符のビット復活・太部分修復処理を経て、小音符の連鉤や旗を検出した後、単独前後打音につき、これを含むラベルを辞書とマッチングさせて、旗数の修正・斜線の有無の修正を行うようにすると良い。すなわち、請求項３の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、単独前後打音修正手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、単独前後打音マッチング手段により行われる、単独前後打音につき、これを含むラベルを辞書とマッチングさせる単独前後打音マッチング工程と、単独前後打音修正手段により行われる、旗数の修正・斜線の有無の修正を行う単独前後打音修正工程とを実行することを特徴としている。
【００１１】
上記構成は、請求項１２の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、単独前後打音修正手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、単独前後打音マッチング手段により行われる、単独前後打音を含むラベルを辞書とマッチングさせる単独前後打音マッチング機能と、単独前後打音修正手段により行われる、該単独前後打音マッチング処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正機能とを実行するプログラムを有している。
【００１２】
但し上記処理において、辞書とのマッチングを行うに当たり、小音符が他の音符と接触していたり、スラー、運指番号や臨時記号等と接触しているために、これらのノイズによってマッチングに失敗してしまうこともある。そのため、小音符のビット復活・太部分修復処理を経て、小音符の連鉤や旗を検出した後、辞書とのマッチングを行って、該マッチングが失敗した場合には、単独前後打音とこれに接触するスラー、運指番号及び臨時記号等のノイズとの間に切れ目（後述する図１１の上部右側細縦線Ｃ参照）を入れて該ノイズを前記ラベルから消去し、ノイズの消去された単独前後打音を含むラベルを辞書と再度マッチングさせて、旗数の修正・斜線の有無の修正を行うようにすると良い。すなわち、請求項４の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、ノイズキャンセル手段と、マッチングリピート手段と、単独前後打音修正手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、単独前後打音マッチング手段により行われる、単独前後打音につき、これを含むラベルを辞書とマッチングさせる単独前後打音マッチング工程と、該マッチングが失敗した場合に、ノイズキャンセル手段により行われる、単独前後打音とこれに接触するスラー、運指番号及び臨時記号等のノイズを、符尾位置と五線幅にある係数を掛けた値により決定した位置に切れ目を入れることで、前記ラベルから消去するノイズキャンセル工程と、マッチングリピート手段により行われる、ノイズの消去された単独前後打音を含むラベルを辞書と再度マッチングさせるマッチングリピート工程と、単独前後打音修正手段により行われる、マッチングリピート処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正工程とを実行することを特徴としている。
【００１３】
上記構成は、請求項１３の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、ノイズキャンセル手段と、マッチングリピート手段と、単独前後打音修正手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、単独前後打音マッチング手段により行われる、単独前後打音を含むラベルを辞書とマッチングさせる単独前後打音マッチング機能と、該マッチングが失敗した場合に、ノイズキャンセル手段により行われる、単独前後打音とこれに接触するスラー、運指番号及び臨時記号等のノイズを、符尾位置と五線幅にある係数を掛けた値により決定した位置に切れ目を入れることで、前記ラベルから消去するノイズキャンセル機能と、マッチングリピート手段により行われる、該ノイズキャンセル処理によりノイズの消去された単独前後打音を含むラベルを、前記単独前後打音マッチング機能を再実行して辞書と再度マッチングさせるマッチングリピート機能と、単独前後打音修正手段により行われる、該マッチングリピート処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正機能とを実行するプログラムを有している。
【００１４】
運指番号等が接触しノイズとなって旗数の検出に失敗するのは、単独前後打音の場合だけではない。図３に示すように、連鉤である複前後打音でも、このようなノイズの接触により、その認識に失敗することがある。複前後打音も、符尾が全て上向きになっている場合が殆どであるので、このようなノイズをキャンセルすることができる。即ち、上記処理のビット復活処理と太部分ビットの分離処理との間で、復活させた小音符のビットラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くす処理を行うようにすれば良い。このノイズキャンセル処理の後に、ラベルから小音符における太部分のビットのみを分離し、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行えば、該小音符の連鉤や他の小音符の旗の検出が正確に行うことができるようになる。すなわち、請求項５の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、ノイズキャンセル手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更にノイズキャンセル手段により行われる、該ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル工程と、太部分分離手段により行われる、このノイズキャンセル処理のなされた小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、該小音符の連鉤や他の小音符の旗の検出を行う小音符認識工程とを実行することを特徴としている。
【００１５】
上記構成は、請求項１４の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、ノイズキャンセル手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、ノイズキャンセル手段により行われる、ビット復活処理された該ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル機能と、太部分分離手段により行われる、ノイズキャンセル処理のなされた小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理された小音符の連鉤や旗の検出を行う小音符認識機能とを実行するプログラムを有している。
【００１６】
また太部分ビットの分離処理と上書きによる小音符の太部分の修復処理との間で、復活させた小音符のビットラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側［符頭が存在する方向（下側）とは逆側；図１２の太い線位置から上側；図１２参照］にあるビットを前記ラベルから消去してノイズを無くす処理を行うようにしても良い。このノイズキャンセル処理の後に、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行えば、該小音符の連鉤や他の小音符の旗の検出が正確に行うことができるようになる。すなわち、請求項６の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、旗部分認識手段と、ノイズキャンセル手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、旗部分認識手段により行われる、分離された太部分のビットのみを含むラベルにおける複前後打音の連鉤を構成する旗部分を認識する旗部分認識工程と、ノイズキャンセル手段により行われる、上記ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル工程と、太部分修復手段により行われる、ノイズキャンセル処理によりノイズのキャンセルされた小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを特徴としている。
【００１７】
上記構成は、請求項１５の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、旗部分認識手段と、ノイズキャンセル手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、旗部分認識手段により行われる、分離された太部分のビットのみを含むラベルにおける複前後打音の連鉤を構成する旗部分を認識する旗部分認識機能と、ノイズキャンセル手段により行われる、該旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル機能と、太部分修復手段により行われる、ノイズキャンセル処理によりノイズのキャンセルされた小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行するプログラムを有している。
【００１８】
複前後打音の連鉤は、通常音符に比べて小さいため、図４に示すように、連鉤の間に音符を誤認する場合がある。即ち符頭の大きさから小音符の符頭を分離検出した際、小音符の複前後打音の連鉤中に通常音符の符頭が認識される場合がある。このような場合は、該通常音符のデータを認識保存データから削除（認識結果保存データ上のデータそのものを消す処理であり、画像のビットプレーンを消す消去とは区別する）し、その後小音符の前記ビット復活処理を行うようにする。すなわち、請求項７の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、誤認符頭認識手段と、誤認音符削除手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、誤認符頭認識手段により行われる、小音符の複前後打音の連鉤中にある通常音符の符頭の誤認識を検出する誤認符頭認識工程と、誤認音符削除手段により行われる、複前後打音の連鉤中に符頭が認識された通常音符のデータを認識保存データから削除する誤認音符削除工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活工程と、太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを特徴としている。
【００１９】
上記構成は、請求項１６の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、誤認符頭認識手段と、誤認音符削除手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、誤認符頭認識手段により行われる、小音符の複前後打音の連鉤中にある通常音符の符頭の誤認識を検出する誤認符頭認識機能と、誤認音符削除手段により行われる、複前後打音の連鉤中に符頭が認識された通常音符のデータを認識保存データから削除する誤認音符削除機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、太部分分離手段により行われる、このビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行するプログラムを有している。
【００２０】
小音符については、通常音符に比べて誤認識の可能性が高い。そこで、上述した処理以外に、更にその認識率を高めるため、以下のような処理を実施すると良い。通常音符認識の終わりに音符消去（ラベルビットプレーンから音符部分を消去する処理であり、認識結果保存データ上のデータそのものを消す削除と区別する）を行う。本構成では、小音符のビットを消去しない状態で休符・臨時記号等を含む音符以外の記号を認識し、認識の行われた記号のビットをラベルから消去した後、小音符のラベルのビットが残っていなければ、他の記号に認識されたと言うことで、認識保存データから小音符のデータを削除し、小音符のラベルのビットが残っていれば、上記小音符の認識は正しく行われたので、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する。すなわち、請求項８の構成は、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、記号認識手段と、記号消去手段と、ラベルビット確認手段と、小音符データ削除手段と、小音符ビット消去手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、記号認識手段により行われる、小音符のビットを消去しない状態で休符・臨時記号を含む音符以外の記号を認識する記号認識工程と、記号消去手段により行われる、認識の行われた記号のビットをラベルから消去する記号消去工程と、ラベルビット確認手段により行われる、記号消去後、小音符のラベルのビットが残っているか否かを確認するラベルビット確認工程と、ラベルビット確認処理によりラベルのビットが残っていなければ、小音符データ削除手段により行われる、認識保存データから小音符のデータを削除する小音符データ削除工程と、ラベルビット確認処理により小音符のラベルのビットが残っていれば、小音符ビット消去手段により行われる、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する小音符ビット消去工程とを実行することを特徴としている。
但し、この処理の対象とする小音符は、連鉤が無く、辞書とマッチングに成功しなかったものだけにした方が良い。連鉤があるものや辞書とのマッチングに成功したものは、誤認識の確率が低くなるからである。
【００２１】
上記構成は、請求項１７の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体についても同様であり、その構成としては、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、記号認識手段と、記号消去手段と、ラベルビット確認手段と、小音符データ削除手段と、小音符ビット消去手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、記号認識手段により行われる、小音符のビットを消去しない状態で休符・臨時記号を含む音符以外の記号を認識する記号認識機能と、記号消去手段により行われる、認識の行われた記号のビットをラベルから消去する記号消去機能と、ラベルビット確認手段により行われる、記号消去後、小音符のラベルのビットが残っているか否かを確認するラベルビット確認機能と、小音符データ削除手段により行われる、ラベルビット確認処理によりラベルのビットが残っていなければ、認識保存データから小音符のデータを削除する小音符データ削除機能と、小音符ビット消去手段により行われる、同じくラベルビット確認処理により小音符のラベルのビットが残っていれば、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する小音符ビット消去機能とを実行するプログラムを有している。
【００２２】
尚、上記太細分離処理後、前記小音符符頭分離検出処理を行うための前処理として、楕円検出処理を行って、楕円の大きさから、通常音符と小音符を分離するようにすると良い。すなわち請求項９の構成は、請求項１乃至８記載の楽譜認識方法において、更に楕円検出手段を備え、太細分離工程による太細分離処理後、楕円検出手段により通常音符及び小音符の符頭を構成する楕円を検出し、小音符符頭分離検出工程による小音符の符頭分離検出処理は、この楕円の大きさにより通常音符と小音符を分離検出することを特徴としている。もちろん該楕円検出処理によらずに、他の方法で検出した符頭を、そのサイズにより分離することができることは言うまでもない。更に前記請求項１０乃至１７の構成において、太細分離機能による太細分離処理後、小音符符頭分離検出機能による小音符の符頭分離検出処理前に、楕円の大きさにより通常音符と小音符を分離する楕円検出機能を更に実行するためのプログラムを、前記楽譜認識プログラムとして含むものであっても良いことは言うまでもない。すなわち請求項１８の構成は、請求項１０乃至１７記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、コンピュータに上記プログラムが実行処理された際に該コンピュータ上に、更に楕円検出手段が実現され、太細分離機能による太細分離処理後、楕円検出手段により通常音符及び小音符の符頭を構成する楕円を検出する楕円検出機能を更に実行すると共に、小音符符頭分離検出機能による小音符の符頭分離検出処理は、この楕円の大きさにより通常音符と小音符を分離検出することでなされるプログラムを、前記楽譜認識プログラムとして含んでいる。
【００２３】
【発明の実施の形態】
以下本発明の一実施形態を添付図面に基づき説明する。図５は本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を後述するフレキシブルディスクドライブＦＤＤ５等の外部記憶装置（或いはＣＤ−ＲＯＭドライブ等）で読み込ませて稼動する楽譜認識装置の実施形態構成を示すブロック図である。この装置は、パソコンなどの電子計算機の構成に、スキャナやＭＩＤＩインターフェース回路を付加したものである。ＣＰＵ１は、ＲＯＭ２或いはＲＡＭ３に格納されるプログラムに基づき、楽譜認識装置全体の制御を行う中央演算処理装置である。また予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ＲＡＭ３はプログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ハードディスク装置ＨＤＤ４及びフレキシブルディスクドライブＦＤＤ５は、プログラム及び画像データ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインターフェース回路７から出力される映像情報を表示し、キーボード８から入力された情報は、キーボードインターフェース回路９を経てＣＰＵ１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に基づき、プリンタインターフェース回路１１から出力される印字情報を印字する。
【００２４】
スキャナ１２は、例えば（印刷された）楽譜を光学的に走査して、２値、グレースケール或いはカラーの画像データに変換するものであり、フラットベッド型、ハンディ型、フィーダ型等任意のタイプのスキャナを使用できる。スキャナ１２によって読み取られた画像情報は、スキャナインターフェース回路１３を介して、ＲＡＭ３或いはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェース回路１４は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１５は、本楽譜認識装置内の各回路を接続し、各種データ、プログラム、アドレス等をやり取りさせている。なお、この他にマウスなどのポインティングデバイスやＲＳ２３２Ｃ等のシリアルインターフェース回路等を備えていても良い。
【００２５】
図６はＣＰＵ１のメイン処理を示すフローチャートである。ステップＳ１においては、スキャナ１２によって楽譜のイメージをＲＡＭ３に取り込む。画像は２値の画像データとして取り込む。ステップＳ２においては、かすれやドットノイズ等を軽減するために、図形融合等の画質平滑化処理を行う。ステップＳ３においては、解像度と濃度の情報を得ると共に、後段における五線検出の基準データを得るために、後述する画質チェック処理を行う。楽譜の認識処理においては、解像度及び濃度が所定の範囲から外れると認識率が低下してしまうので、ステップＳ３においては、これらの値が、所定の範囲内に入っているか否かがチェックされる。ステップＳ４においては、ステップＳ３におけるチェック結果が画質ＯＫであるか否かが判定され、結果がＯＫでない場合にはステップＳ１に戻って、解像度や濃度を変えて再度取り込みを行う。ステップＳ５においては、後述する五線認識を行う。五線認識処理において、五線走査開始位置検出処理と五線シフト量の検出処理が行われる。ステップＳ６においては、段落認識処理を行う。この処理は、大きく、段落認識処理と、大かっこ認識処理に分かれる。段落認識処理においては、画像全体で五線を検出し、五線同士で左端が略同じ場所にある五線の組を探し、五線の端同士が、黒画素で結ばれているかどうかを検査し、段落を認識する。ステップＳ７においては、段落の認識結果を表示して、段落認識結果が正しいか否かを利用者にチェックさせることにより、ＯＫか否かが判定され、結果がＯＫでない場合にはステップＳ８に移行して、段落認識結果の修正が行われる。尚、五線認識が失敗した場合には、その後の処理が行えないので、解像度や濃度を変更して再度画像を取り込む必要がある。従ってステップＳ７においては、まず五線の認識結果を表示し、正しいか否かを利用者に判定させ、もし正しくない場合には、Ｓ１に戻ってイメージを再度取り込み、また五線が正しく認識されている場合には、段落認識結果を表示し、チェックさせるようにしても良い。
【００２６】
ステップＳ９において、記号認識処理（楽譜上の音符や音楽記号を、記号同士の係り具合や、ドラム楽器属性などを除いた単なる「記号」として認識する処理）が行われることになる。この際本構成による装飾音符を構成する小音符の認識も行われる。その処理フローを図８に示す。
【００２７】
上記記号認識処理は、図８に示されるように、前処理が行われる（ステップＳ９０）。このステップＳ９０では、スキャナ１２によって読み取られた図７(ａ)に示すような原画像に対し五線消去処理を行って、同図(ｂ)に示すようなビットプレーン１（ｂｉｔＬｂ１）を得ることで処理される。その後、音符認識処理が行われる（ステップＳ１００）。この音符認識処理をさらに詳述すると、ステップＳ１０１で、楽譜上の音符の太細分離処理、楕円検出処理を行い、楕円・縦線検出及び結合を行って、音符符頭符尾を認識する。尚、この太細分離処理により、図７(ｃ)に示すビットプレーン２（ｂｉｔＴｉｃ）が得られる（後述する小音符符頭検出及び楕円検出の元データ）。ステップＳ１０２において、連鉤太部分復活処理を行う。この処理は、上記楕円検出処理により、その楕円の大きさから装飾音符を構成する小音符の符頭を分離検出し、小音符の符頭中心から、五線消去の上記ｂｉｔＬｂ１を基準にして、塗りつぶし関数を使って一時使用ビットプレーン（ｂｉｔＴｍｐ）にラベルをコピーする。そしてこのラベルを共有する他の音符を探す。装飾音のラベルは、スラー等で通常音符のラベルと連結していることが多い。そのため処理の矩形は、ラベルを共有する音符のうち、図７(ｄ)に示すように、小音符だけを囲む矩形にする（小音符のビットのみ復活）。更に検出した矩形内で横方向に走査し、細いランを消去し、同図(ｅ)に示す小音符における太部分のビットのみを分離する。そして該ビット[図７(ｅ)]を前記太細分離処理後の太部分のビットｂｉｔＴｉｃ[図７(ｃ)]に上書きして、図７(ｆ)に示すように、小音符の太部分の修復を行う。この処理により、小音符に関する太部分だけ、縦方向の走査による細線消去を行わないのと同じ状態になり、小音符の連鉤の太部分が消えたり切れたりする状況を改善できる。
尚、上記小音符だけを囲む矩形を取り出す方法について詳述する。まず図９(ａ)を原画像とすると、上述したように、１つの小音符と同じラベルに符頭が存在する音符を検出する［図９(ｂ)中×で示す］。ここから、ｘ方向に小音符グループと、通常音符グループを検出する。最も単純な場合として、２つのグループに分かれた場合には、同図(ｂ)のように、２つのグループの真ん中までに矩形を縮小する。これにより小音符だけを囲む矩形を取り出すことができるようになる。同様に、通常音符・小音符・通常音符の３つのグループとなった場合も、両側の２つのグループを除いた領域に矩形を縮小する。但し小音符・通常音符・小音符のように、小音符グループ内に通常音符が入った状態になった場合には、後述するように、通常音符を誤認識したとみなして削除する。
【００２８】
この後ステップＳ１０３において、音符と符尾を結合した後、符尾の符頭から逆端を走査し、検出された太部分から、小音符の連鉤・旗の検出を行う。１つの太部分が複数の符尾と交差していれば、連鉤とし、単独であれば、旗とする。また符尾の端から音符側に走査し、太部分のギャップの数から旗の数を計数し、音長を設定する。この処理を、太部分復活処理の後に行えば、小音符の連鉤・旗も正しく検出できる。
【００２９】
連鉤でない単独前後打音の１つである短前後打音は、前記図２(ａ)に示すように、斜線ｓが表記される。この斜線ｓがあるか否かで演奏方法が大きく変わるので、正しく認識する必要がある。しかし、上記の認識方法では、図２(ｂ)に示すように、太部分復活処理により該斜線が太部分として残り、太部分のギャップの数が増えて、旗を多く数えてしまい、音長を短く誤認識することになる。そこで、上述の構成と同様にして太部分復活処理で、ｂｉｔＴｍｐをｂｉｔＴｉｃに上書きする前に、同図(ｃ)に示すように、検出された短前後打音の斜線ｓを、ｂｉｔＴｍｐから消去する。
この斜線は、符尾認識のための縦線検出、加線、クレッシェンドの認識のための横線検出によって検出された直線の中から、短前後打音の斜線として妥当な傾きを持ち、前記太部分復活処理中の小音符矩形に交差するものを選ぶことで、検出できる。斜線の傾きは、後述する図１０(ｃ)に示すように、符尾の向きにより異なるので、小音符の符尾の向きにより、検出する斜線の傾きを変える。
斜線が認識された場合、認識結果保存データの、短前打音、長前打音判別変数（ａｃｃｉａｃｃａｔｕｒａ）をＯＮにする。
【００３０】
短前後打音の斜線は、傾きや長さの問題で、認識に失敗する可能性が高い。この斜線は、単独前後打音に付く場合が多いので、このラベルを辞書とマッチングすれば、斜線が有るか無いか（有る場合短前後打音、無い場合長前後打音）が更に確実に認識できることになる。そこで、太部分復活処理と連鉤検出を行った後、図８のステップＳ１０４において、単独前後打音につき、これを含むラベルを辞書とマッチングさせることで、斜線が有るか無いか（短前後打音か、長前後打音か）を確実に認識させることができる。但し、マッチングに失敗した場合には、他の音符、その他の記号（運指番号、臨時記号、スラー等の記号）との接触を解決するために、後述する単独前後打音のノイズ消去を行った後に再度マッチングを行う。
このマッチングに使用する辞書として、４分音符から６４分音符までの斜線付き、斜線無しのラベルを辞書化する。もちろん、楽譜上の出現頻度により、１６分音符までにしても良い。また装飾音符は殆ど符尾が上向きなので、辞書に入れるものを符尾上向きのみにし、辞書とのマッチングも符尾上向きだけ行うようにしても良い。
辞書とのマッチングに成功した場合には、そのマッチング結果に従って、旗数の修正（音符ＩＤの修正等）、斜線の有無の修正（ａｃｃｉａｃｃａｔｕｒａのＯＮ／ＯＦＦ）を行う。
マッチングが不成功の場合、前記太部分復活処理、斜線認識及び消去、連鉤検出による結果を優先する。これは、図１０に示すように、加線のある場合[同図(ａ)]、和音のある場合[同図(ｂ)]、符尾逆向きの場合[同図(ｃ)]等は、辞書に登録するには表記パターンが多すぎ、しかも表記される確率が低いためである。
もちろん最初に辞書とのマッチングを行って、マッチングが不成功の場合のみ、太部分復活処理、斜線認識及び消去、連鉤検出を行うようにしても良い。
【００３１】
辞書とのマッチングを行うに当たり、小音符が他の音符と接触していたり、スラー、運指番号や臨時記号等と接触しているために、これらのノイズによってマッチングに失敗してしまうこともある。そのため、これらを切り取ってマッチングし易いラベルとすると良い。この切り取りは、認識された符頭の楕円、符尾の縦線の位置を基準にして、図１１に示すように、単独前後打音周辺のスラー、運指番号及び臨時記号等のノイズの存在しそうな部分に切れ目Ｃを入れる。その後符頭の中心から塗りつぶし関数を使って塗りつぶし、塗りつぶされた部分をラベルとする。このようにして切れ目を境に、該ノイズを前記ラベルから消去し、ノイズの消去された単独前後打音を含むラベルを再度辞書とマッチングさせて、旗数の修正・斜線の有無の修正を行うようにすると良い。
前記切れ目までの距離は、五線幅等に、或る係数を掛けて決定する。
【００３２】
図３に示すように、連鉤である複前後打音でも、運指番号等が接触しノイズとなって旗数の検出に失敗することがある。複前後打音も、符尾が全て上向きになっている場合が殆どであるので、このようなノイズをキャンセルすることができる。
即ち前記太部分復活処理中の横の細ラン消去の前後に以下の処理を行う。まず連鉤グループ内の音符が全て同じ向きであることを確認する。そして図１２に示すように、右端の音符と左端の音符の符尾の端を結んだ直線Ｈを検出する。この直線から矩形の符頭とは逆向きの端までのビット（接触している運指番号等のビット）を消去する。これにより接触している運指番号等が消去され、連鉤の旗数の計数に失敗する心配がなくなる。
以上のようなノイズキャンセル処理の後に、ラベルから小音符における太部分のビットのみを分離し、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行えば良い。
もちろん通常の連鉤でも、符尾の向きが同じ場合には同様な処理ができる。しかし通常音符の連鉤の場合には、次のような理由で小音符の場合ほどこのような接触が問題にならない。
まず太部分の検出を、小音符の連鉤太部分復活処理では、横方向のみで行っている（縦方向のみ細線消去を行っている）のに対して、通常音符では、縦横の細ラン消去によって行っているためである。このため図１３に示すように、横方向への小さな凸が発生する確率が低くなり（図中黒い部分の横方向の小さな凸が消える）、その分だけ空白の部分が広がって、ギャップとして認識される長さのしきい値を超えため、この結果ギャップの誤認の確率も減る。
また通常音符の連鉤の方が、横の長さが長いためである。通常はギャップを考慮して旗が複数有ることを検出しなければならないが、図３のように運指番号等が接触している場合には、旗が複数であると認識すべきではない。そのためギャップの横幅によって、旗のギャップとそうでないものを区別しようとしている。従ってギャップ数がカウントされた部分の横幅に対して、連鉤の長さに応じたしきい値を設けて、それより低い場合は誤認識として、これをギャップとしてカウントしない処理（オミット）を加えている。小音符の場合は、連鉤の長さが短いために、このしきい値を超えてしまい、上記のような処理をしない限り認識できなくなってしまう。
更に横の長さによりギャップのオミットの判定を変えているのは、特に図１４に示すように単独音符の旗の太部分のような、幅の狭い太部分の場合、ギャップも幅の狭いものについてのカウントが必要な場合が多いからであり、単純に全ての場合同じしきい値でノイズと判断することはできない。
これらの理由により、通常音符の連鉤の場合には、必ずしもこのような処理を行う必要はない。
【００３３】
また上記処理について、太部分ビットの分離処理［図７(ｅ)］と上書きによる小音符の太部分の修復処理［図７(ｆ)］との間で、復活させた小音符のビットラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くす処理を行っても良い。このノイズキャンセル処理の後に、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行えば、該小音符の連鉤や他の小音符の旗の検出が正確に行うことができるようになる。
【００３４】
複前後打音の連鉤は、通常音符に比べて小さいため、図４に示すように、連鉤の間に音符を誤認する場合がある。即ち同じラベルを共有する符頭の、ｘ方向における小音符グループと通常音符グループを分離した際、通常音符グループが小音符グループに挟まれる状態として誤認されることがある。そのようになった場合、該通常音符のデータを認識保存データから削除し、その後小音符の前記ビット復活処理を行うようにする。また更に厳密な判定を行うために、小音符の符尾の位置から推測される連鉤位置や、通常音符の符頭部分に存在する太部分ビットプレーンへの上書き直前のｂｉｔＴｍｐのビットの割合等を条件として加えることもできる。
【００３５】
装飾音のラベルマッチング処理後は、図８のステップＳ１０５において、音符ラベルの消去処理が行われる。
【００３６】
但し小音符については、通常音符に比べて誤認識の可能性が高い。そこで、上述した処理以外に、更にその認識率を高めるため、次に述べる小音符消去の保留による誤認識対策処理を実施すると良い。即ちステップＳ１０５で音符の消去処理を実施しない状態で、次のステップＳ１１１において、休符・臨時記号等の音符以外の記号を認識し、認識の行われた記号のビットをラベルから消去する。その後、ステップＳ１１２で、保留分小音符のチェックを行う。即ち小音符のラベルのビットが残っていなければ、他の記号に認識されたと言うことで、認識保存データから小音符のデータを削除し、小音符のラベルのビットが残っていれば、上記小音符の認識は正しく行われたので、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する。
但し、この処理の対象とする小音符は、連鉤が無く、辞書とマッチングに成功しなかったものだけにした方が良い。連鉤があるものや辞書とのマッチングに成功したものは、誤認識の確率が低くなるからである。
また記号認識の後の小音符のラベルビット消去について、図１５のような加線を消去する際には、記号認識でこのような直線がテヌートに認識されている可能性があるので、小音符と五線の間の加線が存在する領域内で、ラベルビットか、テヌート記号か、どちらか見つかった方を消去或いは削除するようにする。
【００３７】
そして、図８のステップＳ１１３で、認識その他の処理（スラー認識等）を行う。更に図６のステップＳ１０に戻って、楽譜データ形式への変換が行われる。
【００３８】
以上の処理が行われる結果、小音符の切れ切れになった部分が修復され、該小音符の連鉤や旗が正確に認識され、更に短前後打音を示す斜線も認識されるようになるため、音長の正確な検出が可能になる。
【００３９】
【発明の効果】
以上詳述した本発明の構成によれば、通常の太細分離処理により小音符の切れ切れになっていた部分が修復されることになり、該小音符の連鉤や旗が正確に認識できるようになる。また短前後打音を示す斜線も正確な認識が可能になるため、音長の正確な検出が可能になる。
また、単独前後打音は、辞書とのマッチングを行うことで、上記認識率を高めることもできる。その際これに接触するノイズの消去を行うことで、よりその認識率を向上させることが可能となる。
更に複前後打音についても、ノイズ消去を行うことで、その認識率を一層高めることも可能である。
加えて、小音符消去の保留を行って、記号認識を行わせると、その認識率の向上は、極めて高いものとなる。
【図面の簡単な説明】
【図１】請求項１に係る楽譜認識方法の基本工程説明図である。
【図２】短前後打音の斜線の状態とその認識及び消去方法を示す説明図である。
【図３】ノイズの接触した複前後打音の状態を説明する説明図である。
【図４】複前後打音の連鉤の間に音符を誤認した状態を示す説明図である。
【図５】本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を外部記憶装置で読み込ませて稼動する楽譜認識装置の実施形態構成を示すブロック図である。
【図６】ＣＰＵのメイン処理を示すフローチャートである。
【図７】本実施形態構成による楽譜認識方法の基本工程説明図である。
【図８】小音符の認識処理フローを示すフローチャートである。
【図９】小音符だけを囲む矩形を取り出す方法を示す説明図である。
【図１０】単独前後打音の特殊表記法を示す説明図である。
【図１１】単独前後打音のノイズ消去法を示す説明図である。
【図１２】複前後打音のノイズ消去法を示す説明図である。
【図１３】横方向への小さな凸が消える状態を例示する説明図である。
【図１４】単独音符の旗の太部分の例を示す説明図である。
【図１５】加線を含む単独前後打音のノイズ例を示す説明図である。
【図１６】楽譜上の段落の説明図である。
【図１７】認識対象たる音符の黒玉・白玉の符頭、符尾及び旗を示す説明図である。
【図１８】太細分離処理によって小音符の連鉤や旗の太部分が切れ切れになってしまった状態を示す説明図である。
【符号の説明】
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ ハードディスク装置
５ フレキシブルディスクドライブ
６ ＣＲＴ
７ ＣＲＴインターフェース回路
８ キーボード
９ キーボードインターフェース回路
１０ プリンタ
１１ プリンタインターフェース回路
１２ スキャナ
１３ スキャナインターフェース回路
１４ ＭＩＤＩインターフェース回路
１５ バス
Claims (18)
- 五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを特徴とする楽譜認識方法。
- 五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、斜線検出手段と、斜線ビット消去手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、斜線検出手段により行われる、短前後打音の斜線を検出する工程と、斜線ビット消去手段により行われる、該ビットから斜線部分のビットを消去する工程と、太部分修復手段により行われる、該消去後のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、該小音符の旗や他の小音符の連鉤を検出する小音符認識工程とを実行することを特徴とする楽譜認識方法。
- 五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、単独前後打音修正手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、単独前後打音マッチング手段により行われる、単独前後打音につき、これを含むラベルを辞書とマッチングさせる単独前後打音マッチング工程と、単独前後打音修正手段により行われる、旗数の修正・斜線の有無の修正を行う単独前後打音修正工程とを実行することを特徴とする楽譜認識方法。
- 五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、ノイズキャンセル手段と、マッチングリピート手段と、単独前後打音修正手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、単独前後打音マッチング手段により行われる、単独前後打音につき、これを含むラベルを辞書とマッチングさせる単独前後打音マッチング工程と、該マッチングが失敗した場合に、ノイズキャンセル手段により行われる、単独前後打音とこれに接触するスラー、運指番号及び臨時記号等のノイズを、符尾位置と五線幅にある係数を掛けた値により決定した位置に切れ目を入れることで、前記ラベルから消去するノイズキャンセル工程と、マッチングリピート手段により行われる、ノイズの消去された単独前後打音を含むラベルを辞書と再度マッチングさせるマッチングリピート工程と、単独前後打音修正手段により行われる、マッチングリピート処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正工程とを実行することを特徴とする楽譜認識方法。
- 五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、ノイズキャンセル手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更にノイズキャンセル手段により行われる、該ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル工程と、太部分分離手段により行われる、このノイズキャンセル処理のなされた小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、該小音符の連鉤や他の小音符の旗の検出を行う小音符認識工程とを実行することを特徴とする楽譜認識方法。
- 五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、旗部分認識手段と、ノイズキャンセル手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、旗部分認識手段により行われる、分離された太部分のビットのみを含むラベルにおける複前後打音の連鉤を構成する旗部分を認識する旗部分認識工程と、ノイズキャンセル手段により行われる、上記ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル工程と、太部分修復手段により行われる、ノイズキャンセル処理によりノイズのキャンセルされた小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを特徴とする楽譜認識方法。
- 五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、誤認符頭認識手段と、誤認音符削除手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、誤認符頭認識手段により行われる、小音符の複前後打音の連鉤中にある通常音符の符頭の誤認識を検出する誤認符頭認識工程と、誤認音符削除手段により行われる、複前後打音の連鉤中に符頭が認識された通常音符のデータを認識保存データから削除する誤認音符削除工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活工程と、太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復工程と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識工程とを実行することを特徴とする楽譜認識方法。
- 五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、五線消去手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、記号認識手段と、記号消去手段と、ラベルビット確認手段と、小音符データ削除手段と、小音符ビット消去手段とを備え、楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識方法において、楽譜イメージから五線消去手段により五線を消去する五線消去工程と、太細分離手段により行われる、楽譜上の音符の太細分離工程と、その太細分離処理後、小音符符頭分離検出手段により行われる、認識した音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出工程と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活処理工程と、更に太部分分離手段により行われる、該ラベルから小音符における太部分のビットのみを分離する太部分分離工程と、太部分修復手段により行われる、該ビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復処理工程と、小音符認識手段により行われる、小音符の連鉤や旗の検出を行う小音符認識工程と、記号認識手段により行われる、小音符のビットを消去しない状態で休符・臨時記号を含む音符以外の記号を認識する記号認識工程と、記号消去手段により行われる、認識の行われた記号のビットをラベルから消去する記号消去工程と、ラベルビット確認手段により行われる、記号消去後、小音符のラベルのビットが残っているか否かを確認するラベルビット確認工程と、ラベルビット確認処理によりラベルのビットが残っていなければ、小音符データ削除手段により行われる、認識保存データから小音符のデータを削除する小音符データ削除工程と、ラベルビット確認処理により小音符のラベルのビットが残っていれば、小音符ビット消去手段により行われる、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する小音符ビット消去工程とを実行することを特徴とする楽譜認識方法。
- 請求項１乃至８記載の楽譜認識方法において、更に楕円検出手段を備え、太細分離工程による太細分離処理後、楕円検出手段により通常音符及び小音符の符頭を構成する楕円を検出し、小音符符頭分離検出工程による小音符の符頭分離検出処理は、この楕円の大きさにより通常音符と小音符を分離検出することを特徴とする請求項１乃至８記載の楽譜認識方法。
- 楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、斜線検出手段と、斜線ビット消去手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、斜線検出手段により行われる、短前後打音の斜線を検出する斜線検出機能と、前記太部分分離処理により分離されたビットから、斜線ビット消去手段により行われる、斜線部分のビットを消去する斜線ビット消去機能と、太部分修復手段により行われる、該消去後のビットを前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、該小音符の旗や他の小音符の連鉤の検出を行う小音符認識機能とを実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、単独前後打音修正手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、単独前後打音マッチング手段により行われる、単独前後打音を含むラベルを辞書とマッチングさせる単独前後打音マッチング機能と、単独前後打音修正手段により行われる、該単独前後打音マッチング処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正機能とを実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、単独前後打音マッチング手段と、ノイズキャンセル手段と、マッチングリピート手段と、単独前後打音修正手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、単独前後打音マッチング手段により行われる、単独前後打音を含むラベルを辞書とマッチングさせる単独前後打音マッチング機能と、該マッチングが失敗した場合に、ノイズキャンセル手段により行われる、単独前後打音とこれに接触するスラー、運指番号及び臨時記号等のノイズを、符尾位置と五線幅にある係数を掛けた値により決定した位置に切れ目を入れることで、前記ラベルから消去するノイズキャンセル機能と、マッチングリピート手段により行われる、該ノイズキャンセル処理によりノイズの消去された単独前後打音を含むラベルを、前記単独前後打音マッチング機能を再実行して辞書と再度マッチングさせるマッチングリピート機能と、単独前後打音修正手段により行われる、該マッチングリピート処理で辞書とマッチングした単独前後打音の旗数の修正・斜線の有無の修正を行う単独前後打音修正機能とを実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、ノイズキャンセル手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、ノイズキャンセル手段により行われる、ビット復活処理された該ラベルにおける複前後打音の連鉤を構成する旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル機能と、太部分分離手段により行われる、ノイズキャンセル処理のなされた小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理された小音符の連鉤や旗の検出を行う小音符認識機能とを実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、旗部分認識手段と、ノイズキャンセル手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、太部分分離手段により行われる、ビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、旗部分認識手段により行われる、分離された太部分のビットのみを含むラベルにおける複前後打音の連鉤を構成する旗部分を認識する旗部分認識機能と、ノイズキャンセル手段により行われる、該旗部分の反符頭側にあるビットを前記ラベルから消去してノイズを無くすノイズキャンセル機能と、太部分修復手段により行われる、ノイズキャンセル処理によりノイズのキャンセルされた小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、誤認符頭認識手段と、誤認音符削除手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、誤認符頭認識手段により行われる、小音符の複前後打音の連鉤中にある通常音符の符頭の誤認識を検出する誤認符頭認識機能と、誤認音符削除手段により行われる、複前後打音の連鉤中に符頭が認識された通常音符のデータを認識保存データから削除する誤認音符削除機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、太部分分離手段により行われる、このビット復活処理により復活された小音符のビットラベルから小音符における太部分のビットのみを分離する太部分分離機能と、太部分修復手段により行われる、太部分分離処理により分離された小音符の太部分のビットを、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能とを実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 楽譜のイメージを読み取ってその音楽記号を認識し、演奏及び／又は表示可能な楽譜形式に変換する楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、五線消去手段と、太細分離手段と、小音符符頭分離検出手段と、ビット復活手段と、太部分分離手段と、太部分修復手段と、小音符認識手段と、記号認識手段と、記号消去手段と、ラベルビット確認手段と、小音符データ削除手段と、小音符ビット消去手段とが該コンピュータ上に実現され、楽譜イメージから五線消去手段により五線を消去する五線消去機能と、太細分離手段により行われる、楽譜上の音符の太細分離処理を行う太細分離機能と、該太細分離処理後、小音符符頭分離検出手段により行われる、認識された音符の符頭の大きさから装飾音符を構成する小音符の符頭を分離検出する小音符符頭分離検出機能と、五線消去手段により五線が消去されたイメージの中のラベルのうち、小音符の符頭を含むラベルから、ビット復活手段により行われる、小音符のビットのみを復活させるビット復活機能と、このビット復活処理により復活された小音符のビットラベルから、太部分分離手段により行われる、小音符における太部分のビットのみを分離する太部分分離機能と、太部分分離処理により分離された小音符の太部分のビットを、太部分修復手段により行われる、前記太細分離処理後の太部分のビットに上書きして、小音符の太部分の修復を行う太部分修復機能と、小音符認識手段により行われる、太部分修復処理後に小音符の連鉤や旗の検出を行う小音符認識機能と、記号認識手段により行われる、小音符のビットを消去しない状態で休符・臨時記号を含む音符以外の記号を認識する記号認識機能と、記号消去手段により行われる、認識の行われた記号のビットをラベルから消去する記号消去機能と、ラベルビット確認手段により行われる、記号消去後、小音符のラベルのビットが残っているか否かを確認するラベルビット確認機能と、小音符データ削除手段により行われる、ラベルビット確認処理によりラベルのビットが残っていなければ、認識保存データから小音符のデータを削除する小音符データ削除機能と、小音符ビット消去手段により行われる、同じくラベルビット確認処理により小音符のラベルのビットが残っていれば、小音符のデータを保持しながら該小音符のビットを前記ラベルから消去する小音符ビット消去機能とを実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項１０乃至１７記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体において、コンピュータに上記プログラムが実行処理された際に該コンピュータ上に、更に楕円検出手段が実現され、太細分離機能による太細分離処理後、楕円検出手段により通常音符及び小音符の符頭を構成する楕円を検出する楕円検出機能を更に実行すると共に、小音符符頭分離検出機能による小音符の符頭分離検出処理は、この楕円の大きさにより通常音符と小音符を分離検出することでなされるプログラムを、前記楽譜認識プログラムとして含むことを特徴とする請求項１０乃至１７記載の楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27989197A JP3683394B2 (ja) | 1997-09-26 | 1997-09-26 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27989197A JP3683394B2 (ja) | 1997-09-26 | 1997-09-26 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11102186A JPH11102186A (ja) | 1999-04-13 |
| JP3683394B2 true JP3683394B2 (ja) | 2005-08-17 |
Family
ID=17617376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27989197A Expired - Fee Related JP3683394B2 (ja) | 1997-09-26 | 1997-09-26 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3683394B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5248074B2 (ja) * | 2007-09-28 | 2013-07-31 | 株式会社河合楽器製作所 | 楽譜認識装置、楽譜認識方法、及びコンピュータプログラム |
-
1997
- 1997-09-26 JP JP27989197A patent/JP3683394B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11102186A (ja) | 1999-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5030144B2 (ja) | 楽譜認識装置およびプログラム | |
| US7965293B2 (en) | Image processing device, image processing method, and image processing program for reconstructing data | |
| JP7259491B2 (ja) | 画像処理装置及びプログラム | |
| JP5154886B2 (ja) | 楽譜認識装置及びコンピュータプログラム | |
| JP3683394B2 (ja) | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5770445B2 (ja) | 楽譜認識装置及びコンピュータプログラム | |
| JP3608674B2 (ja) | 楽譜認識装置 | |
| WO2001013324A1 (fr) | Procede de traitement de documents, support d'enregistrement d'un programme de traitement de documents et dispositif de traitement de documents | |
| JP3597354B2 (ja) | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3812836B2 (ja) | 楽譜認識装置 | |
| JP4117648B2 (ja) | 帳票、帳票処理方法、帳票処理プログラム、帳票処理プログラムを記録した記録媒体及び帳票処理装置 | |
| JP5248074B2 (ja) | 楽譜認識装置、楽譜認識方法、及びコンピュータプログラム | |
| JP3954247B2 (ja) | 文書入力方法、文書入力プログラムを記録した記録媒体及び文書入力装置 | |
| JP5116073B2 (ja) | 楽譜認識装置およびプログラム | |
| JP3709991B2 (ja) | 楽譜認識装置 | |
| JP3613356B2 (ja) | 楽譜認識装置 | |
| JP3558834B2 (ja) | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2004199483A (ja) | 画像出力装置 | |
| JP3823005B2 (ja) | ビットマップフォント作成装置および文書復元装置 | |
| JPH1130982A (ja) | 楽譜読み取り方法及び楽譜読み取りプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2001209755A (ja) | 書損じ修正装置、書損じ修正方法および書損じ修正プログラムを格納したコンピュータ読取り可能な記録媒体 | |
| JP2007096503A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP3812835B2 (ja) | 楽譜認識装置 | |
| JP5248265B2 (ja) | 楽譜認識装置、及びコンピュータプログラム | |
| JPH11184962A (ja) | 光学的文字読取装置、照合修正方法、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050525 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100603 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100603 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110603 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120603 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130603 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |