JP5116073B2 - 楽譜認識装置およびプログラム - Google Patents

Description

本発明は、楽譜画像データから楽譜記号を認識し、認識された楽譜記号を元に楽譜データを生成する楽譜認識装置およびプログラムに関し、特に、手書き楽譜でも印刷楽譜でもそれを読み取って得られた楽譜画像データから楽譜記号を適切に認識できる楽譜認識装置およびプログラムに関する。

楽譜には、印刷や浄書で作成された楽譜や各種ノーテーションソフトウエアで印刷と同等に作成された楽譜(印刷楽譜)や、通常の鉛筆やペン、あるいははカリグラフィペンなどの互いに直角方向で太さが異なる線を表記できるペンで手書きされた楽譜(手書き楽譜)が存在する。

通常の鉛筆やペンは方向に拘わらず同じ太さであるので、それをそまま使用した場合には、図９に示すように、方向に依らず線太さが同じとなるが、部分的になぞって太線化することにより、印刷楽譜と同じように、連結線太さや音符の符頭や符尾などの部分を太い表記にすることができる。カリグラフィペンは、互いに直角方向で太さが異なる線を表記できるので、図１０に示すように、なぞることなく印刷楽譜と同じような縦方向と横方向で線太さが異なる楽譜を表記できる。ノーテーションソフトウエアにも縦方向と横方向で線太さが異なる記号を表記できる手書きフォントを持つものもあり、これによっても縦方向と横方向で線太さが異なる楽譜を表記できる。縦横方向で線太さが異なる手書き楽譜は、ジャズの楽譜によく見受けられる。

手書き楽譜は、あくまで手書きであるので、表記者間での表記ぶれが存在し、また、同一表記者による楽譜内でも表記ぶれが存在する。特にカリグラフィペンで縦方向と横方向で線太さが異なるように表記された手書き楽譜は、ある程度の表記スタイルが存在するが、各楽譜記号の表記方式は表記者によって様々であり、１つの楽譜記号に対する表記ぶれは、通常の手書き楽譜(縦方向と横方向で線太さが同じ手書き楽譜)に比べても大きい。

従来、楽譜を読み取って得られた楽譜画像データから楽譜記号を認識し、認識された楽譜記号を元に演奏データや楽譜表示のための楽譜データを生成する楽譜認識装置が存在する。

特許文献１には、楽譜画像データから五線や段落を検出し、これを元に処理矩形を決定し、該処理矩形内で各種楽譜記号を認識する楽譜認識装置が記載されている。

特許文献２には、楽譜画像データのうちの細線画像部分から細線記号を検出し、それ以外の画像部分から太記号を検出し、それらの検出結果を用いて音符を認識する楽譜認識装置が記載されている。

特許文献３には、楽譜画像データのうちの細線画像部分から細線記号を検出し、その他の画像部分から黒玉符頭、連鉤および旗の太記号を検出し、これらの検出結果に基づいて音符を検出する楽譜認識装置が記載されている。

特許文献４には、手書き入力された楽譜の構成記号を認識し、読み取った図形データによる表示を予め定められた楽譜構成記号の表示データによる表示に置き換えることにより、楽譜の手書き入力を可能にし、しかも予め定められた楽譜構成記号により楽譜を表示可能にした楽譜表示装置が記載されている。
特開平９−９７０５８号公報(特許第３６１３３５６号) 特開平９−９７０６０号公報(特許第３４４５０３９号) 特開２００３−２４２４３９号公報 実公平７−１５０２４号公報

上述のように、楽譜には印刷楽譜のみならず手書き楽譜も存在するので、楽譜認識装置では印刷楽譜とともに手書き楽譜における楽譜記号を認識できることが望ましい。このために、楽譜での表記ぶれを全てカバーして記号を認識できるように認識手段を構成することが考えられる。しかしながら、このようにするには、辞書マッチングの閾値や記号を構成する記号部品や記号間連結の閾値を緩めたり、印刷楽譜には存在せず、手書き楽譜のみに存在する表記にも対応できるように認識手段を構成する必要があり、このようにした場合、印刷楽譜の認識での認識率が低下してしまうという課題が生じる。

印刷楽譜では記号誤認識をできるだけ少なくすることが要求される一方、手書き楽譜では様々な様式(筆跡)の記号をできるだけ幅広く認識できることが要求される。この要求を満たすために、印刷楽譜を認識する印刷楽譜認識モードと手書き楽譜を認識する手書き楽譜認識モードを備え、これらのモードを選択的に切替使用することも考えられるが、このようにした場合には、ユーザは、楽譜が印刷楽譜であるか手書き楽譜であるかを識別し、それに応じてモード選択を行う必要となる。しかしながら、印刷楽譜か手書き楽譜かをユーザが識別することが困難な場合もある。各モードでの認識処理を実際に行わせ、両者の認識率を比較し、認識率の高い方のモードの方をユーザが選択することも可能である。しかし、ユーザにこれらの操作を要求することは、ユーザの負担増大を招くという課題がある。

楽譜を印刷楽譜および手書き楽譜としてそれぞれ認識し、両者の認識結果を比較し、その比較結果に応じて楽譜を印刷楽譜として認識するか手書き楽譜として認識するかを自動的に判別することも考えられるが、このようにした場合には、同一楽譜を印刷楽譜および手書き楽譜としてそれぞれ認識する必要があるので、処理コストの増大を招くという課題がある。

特許文献１ないし３の楽譜認識装置や特許文献４の楽譜表示装置では、楽譜が手書き楽譜か印刷楽譜かを効率的に自動判別し、それに応じて最適なモードで楽譜認識を行うことは考慮されていない。

本発明の目的は、手書き楽譜でも印刷楽譜でもそれを読み取って得られた楽譜画像データから楽譜記号を適切に認識できる楽譜認識装置およびプログラムを提供することにある。

上記課題を解決するため、本発明は、楽譜画像データから記号を認識し、認識された記号を元に楽譜データを生成する楽譜認識装置において、楽譜画像データから五線および段落を認識する五線・段落認識手段と、段落内パート再認識手段を備え、前記段落内パート再認識手段は、前記五線・段落認識手段により認識された段落内パートを印刷楽譜として認識する印刷楽譜認識モードと手書き楽譜として認識する手書き楽譜認識モードを備え、まず、印刷楽譜認識モードとして楽譜を順次認識しつつ該楽譜が手書き楽譜と推定されるかを示す情報を累積することにより手書き楽譜判定情報を算出し、該手書き楽譜判定情報に基づいて楽譜が手書き楽譜と推定されるかを判定し、手書き楽譜と推定されると判定した場合には手書き楽譜認識モードに自動的に切り替えて楽譜を再認識する点に第１の特徴がある。

また、本発明は、前記段落内パート再認識手段が、さらに段落内パートを印刷楽譜として再度認識する再度印刷楽譜認識モードを備え、再認識時に楽譜が印刷楽譜と推定されるかを示す情報を累積することにより印刷楽譜判定情報を算出し、該印刷楽譜判定情報に基づいて楽譜が印刷楽譜と推定されるかを判定し、印刷楽譜と推定されると判定した場合には再度印刷楽譜認識モードに自動的に切り替えて楽譜を再々認識する点に第２の特徴がある。

また、本発明は、前記段落内パート再認識手段が、算出した手書き楽譜判定情報が所定閾値以上となった時に楽譜が手書き楽譜と推定されると判定し、この時点で手書き楽譜認識モードに自動的に切り替える点に第３の特徴がある。

また、本発明は、前記段落内パート再認識手段が、手書き楽譜に特有な記号の認識数、記号認識用辞書とのマッチング処理で認識失敗した記号数、認識された楽譜を元に計算した小節演奏長さと拍子情報を参照して算出した小節実長さが異なる小節の数、符頭候補の楕円と符尾候補の直線の連結失敗数のうちの少なくとも１つを元に手書き楽譜判定情報を算出する点に第４の特徴がある。

また、本発明は、前記段落内パート再認識手段が、再認識時に先の認識時に得られた認識結果を利用する点に第５の特徴がある。

また、本発明は、前記段落内パート再認識手段が、再々認識時には先の印刷楽譜認識モードで得られた楽譜部分の認識結果をそのまま利用し、再々認識はそれ以降の楽譜部分から行う点に第６の特徴がある。

また、本発明は、さらに、前記段落内パート再認識手段による認識結果を修正する認識結果修正手段を備え、前記段落内パート再認識手段は、実行中の楽譜認識モードにおいて、認識用辞書を用いたマッチング処理を実行してマッチング度が最高によい記号を認識とするとともにマッチング度が次によい１つあるいは複数の記号を候補記号として認識する認識機能を有し、前記認識結果修正手段は、楽譜表記スタイル情報を元に、マッチング度が最高によい記号の妥当性を判定し、妥当でないと判定した場合にマッチング度が最高によい記号を候補記号に変更しつつその妥当性を判定し、妥当と判定された候補記号にマッチング度が最高によい記号を修正する点に第７の特徴がある。

さらに、本発明は、前記認識結果推定手段による修正結果を記号認識用辞書の学習に利用する点に第８の特徴がある。

本発明は、ハードウエアとしてだけでなく、コンピュータに各機能を実現させるプログラムとしても実現できる。

本発明の第１ないし第７の特徴によれば、印刷楽譜か手書き楽譜かを自動判別し、それに応じて印刷楽譜認識モードあるいは手書き楽譜認識モードに自動切替えして楽譜を認識するので、ユーザに負担を掛けることなく適切に楽譜記号を認識できる。

また、第２の特徴によれば、手書き楽譜印刷モードでの認識時に印刷楽譜と推定された場合には再度印刷楽譜として認識するので、認識をより適切に行うことができる。

また、第３の特徴によれば、楽譜の終わりまで認識することなく印刷楽譜か手書き楽譜かを自動判別されるので、処理コストの増大を防ぎつつ印刷楽譜認識モードあるいは手書き楽譜認識モードに自動切替えして適切に楽譜記号を認識できる。

また、第４の特徴によれば、印刷楽譜か手書き楽譜かを判別するのに有効な情報を得ることができる。

また、第５および第６の特徴によれば、先の認識時の認識結果を利用して効率的かつ適切に楽譜記号を認識できる。

また、第７の特徴によれば、段落内パート再認識手段により認識された記号を妥当な記号に修正することができる。

さらに、第８の特徴によれば、認識結果修正処理での修正結果を辞書学習に利用することにより、以降の認識での認識率を高めることができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は本発明に係る楽譜認識装置の一実施例の構成を示すブロック図である。この装置は、パソコン等の一般的な計算機システムにスキャナやＭＩＤＩインターフェース回路を付加したものである。CPU1は、ROM2あるいはRAM3に格納されたプログラムに基づき、楽譜認識装置全体の制御を行う中央処理装置である。また、予め設定された所定の周期でCPU1に割り込みをかけるタイマ回路を内蔵している。RAM3はプログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ハードディスク装置(HDD)4およびフロッピディスク装置(FDD)5は、プログラムおよび画像データ、演奏データ等を格納する。CRT6はCPU1の制御に基づき、CRTインターフェース回路7から出力される映像情報を表示する。キーボード8から入力された情報は、キーボードインターフェース回路9を経てCPU1に取り込まれる。プリンタ10は、CPU1の制御に基づき、プリンタインターフェース回路11から出力される印字情報を印字する。

スキャナ12は、手書き楽譜あるいは印刷楽譜を光学的に走査して、２値あるいはグレイスケールの画像データに変換するものである。スキャナ12としては、フラットベッド型、ハンディ型、フィーダー型等任意のタイプのものを使用できる。スキャナ12から得られた楽譜画像データは、スキャナインターフェース回路13を介して、RAM3あるいはHDD4に取り込まれる。MIDIインターフェース回路14は、音源モジュール等の外部のMIDI機器との間でMIDIデータの送受信を行う回路である。バス15は楽譜認識装置内の各回路を接続している。なお、この他にマウス等のポインティングデバイス、RS232C等のシリアルインターフェース回路等を備えていてもよい。

CPU1は、RAM3あるいはHDD4に取り込まれた楽譜画像データから楽譜記号を認識し、認識された楽譜記号を元に楽譜データを生成する楽譜認識手段としても機能する。この楽譜認識手段は、段落内パート再認識機能を有する。この段落内パート再認識機能は、まず、モードを印刷楽譜認識モードとし、楽譜を印刷楽譜として認識しつつ該楽譜が手書き楽譜であるかを推定する。

このために、印刷楽譜認識モードで楽譜を認識しつつ該楽譜が手書き楽譜であることを推定させる情報を累積し、この累積値を元に手書き楽譜判定情報を算出する。そして、算出した手書き楽譜判定情報に基づいて楽譜が手書き楽譜と推定されるかを判定し、手書き楽譜と判定した場合には手書き楽譜認識モードに自動的に切り替え、楽譜を手書き楽譜として再認識する。

この場合、楽譜が手書き楽譜であるかを推定する推定処理の対象とする楽譜部分は、楽譜の一定部分に限定することができる。例えば複数ページの楽譜は、各々が複数パートを含む複数画像として読み取られるが、その先頭からの複数パートあるいは画像１枚などで累積された情報を元に手書き楽譜判定情報を算出することができる。また、楽譜を認識しつつ算出した手書き楽譜判定情報が所定閾値以上となった時点で推定処理を終し、それ以降は推定処理を行わないようにすることもでき、これによれば認識する楽譜部分を少なくすることができるので、処理コストを低減できる。このように、本発明は、ソフトウエア(プログラム)として実現可能であるが、ハードウエアとしても実現可能である。

図２は、CPU1のメイン処理を示すフローチャートである。楽譜認識に際し、スキャナ12によって楽譜を光学的に走査し、RAM3に楽譜画像データを取り込む(S201)。画像は２値の画像として取り込み、必要に応じて画質平滑化処理などを行って、かすれやドットノイズなどを軽減する。

次に、五線認識(S202)、段落認識を行う(S203)。五線認識では五線走査開始位置検出と五線シフト量検出を行い、段落認識では各画像内の五線同士で左端がほぼ同じ場所にある五線の組を探し、五線同士が黒画素で結ばれているかどうかを検査し段落を認識する。続くS204では、段落の認識結果を表示して段落認識結果が正しいか否かを利用者にチェックさせ、OKか否かを判定し、この判定結果がOKの場合にはそのままS26に進み、OKでない場合には段落認識結果の修正(S205)を行った後、S206に進む。S201〜S205の処理については特許文献１に詳細に説明されているので、ここでの説明は省略する。

S206では段落内パート再認識処理を実行する。段落内パート再認識処理については図３を参照して後で具体的に説明するが、その概要は、まず、モードを印刷楽譜認識モードとして楽譜を印刷楽譜として認識しつつ該楽譜が手書き楽譜と推定されるかを判定する。そして、手書き楽譜と推定されると判定した場合には自動的にモードを手書き楽譜認識モードとし、楽譜を手書き楽譜として再認識する。

段落内パート再認識処理(S206)では記号認識用辞書を用いたマッチング処理、さらには記号部品や記号連結などを行って楽譜記号を認識する。記号認識用辞書には印刷楽譜の記号の他に、それが手書き楽譜からのサンプルであることを示すフラグを付して手書き楽譜に特有な記号も追加しておく。そして、印刷楽譜認識モードのマッチング処理では、印刷楽譜の記号とマッチング処理を行ってその認識結果を得つつ手書き楽譜に特有な記号とのマッチング数などを算出し、これを元に楽譜が手書き楽譜と推定されるかを判定する。また、手書き楽譜認識モードのマッチング処理では、手書き楽譜に特有な記号も認識に用いる。また、様々な筆跡に幅広く対応して認識できるようにマッチング閾値、記号部品や記号連結などの閾値を緩めたりして楽譜記号を認識する。

S207では、段落内パート再認識処理の結果に基づき楽譜画像データを合成して表示し、正しいか否かを利用者にチェックさせ、OKか否かを判定する。この判定結果がOKの場合、そのままS209に進み、OKでない場合にはユーザはマウス、キーボード等を用いて手動により認識結果を修正(S208)する。その後、S209に進む。S209では、段落内パート再認識処理あるいは修正された認識結果を元に演奏データを作成する。この処理では、認識した各種の記号や音符情報に基づき、例えば公知の演奏データ形式であるMIDIファイルデータを生成する。

図３は、段落内パート再認識処理(S206)を示すフローチャートである。まず、初期化としてnRecogMode←「0」、nImage←「0」、nPart←「0」とし(S301)、パート楽譜認識処理を実行する(S302)。

ここで、nRecogModeは、印刷楽譜認識モード、手書き楽譜認識モード、再度印刷楽譜認識モードを指示するフラグであり、nRecogMode「0」、「1」、「2」はそれぞれ、印刷楽譜認識モードすなわち楽譜を印刷楽譜として認識するモード、手書き楽譜認識モードすなわち楽譜を手書き楽譜として認識するモード、再度印刷楽譜認識モードすなわち楽譜を印刷楽譜として再度認識するモードを指示する。また、nImage、nPartはそれぞれ、認識の処理対象とする画像(0〜全画像)、画像内パート(0〜全パート)を指示する。図４は、画像内の段落と段落内パートの関係を示す。もちろんパートが単独で存在することもある。

S301,S302では、まず、先頭画像の先頭パートの楽譜が印刷楽譜認識モードで認識される。S302での認識処理については図５を参照して後で説明するが、特許文献１などに記載されている手法、その他の手法を利用できる。上述のように、認識に用いる記号認識用辞書には印刷楽譜の記号の他に、それが手書き楽譜からのサンプルであることを示すフラグを付して手書き楽譜に特有な記号も追加しておく。そして、印刷楽譜認識モードでは、印刷楽譜の記号とマッチング処理を行ってその認識結果を得つつ手書き楽譜に特有な記号とのマッチング数など、楽譜が手書き楽譜と推定されるかを示す情報を算出して累積する。ただし、楽譜が手書き楽譜と推定されるかを示す情報やその累積値が印刷楽譜認識モードでの認識結果に影響を及ぼさないようにする。

次に、nRecogModeを判定する(S303)。最初はnRecogMode「0」であり、印刷楽譜認識モードと判定されるのでS304に進み、nImageEndPrint←nImage、nPartEndPrint←Partとする。nImageEndPrint、nPartEndPrintはそれぞれ、S302で既に認識処理された楽譜部分を表し、nImageEndPrint「0」、nPartEndPrint「0」は先頭画像の先頭パートが認識処理済みであることを示す。

次に、楽譜が手書き楽譜と推定できるかを示す情報の累積値を元に手書き楽譜判定情報を算出する(S305)。

手書き楽譜と推定できるかを示す情報としては、フラグが設定された手書き楽譜に特有な記号の認識数、記号認識用辞書とのマッチング処理で認識失敗した記号(認識失敗記号)の数、認識された楽譜を元に計算した小節長さ(小節演奏長さ)と拍子情報を参照して算出した実際の小節長さ(小節実長さ)が異なる小節(小節長さ失敗小節)の数、符頭候補の楕円と符尾候補の直線(縦線)の連結失敗数、その他、楽譜記号として認識された記号総数など、手書き楽譜が印刷楽譜として認識された場合と印刷楽譜が印刷楽譜として認識された場合とで差異が生じる情報を利用できる。拍子情報は、例えば特許文献２に記載されている手法で検出できる。

記号認識用辞書に印刷楽譜の記号の他に手書き楽譜に特有の記号も追加しておくと、この記号の認識カウント数の増大により手書き楽譜と推定できる。４分休符の典型的な手書きスタイルを図５に示す。このような記号に同一あるいは個別の手書き記号ＩＤを付けておく。

また、手書き楽譜を印刷楽譜認識モードで認識した場合、認識失敗記号の数が多くなる可能性が高い。したがって、認識失敗記号のカウント数の増大により手書き楽譜と推定できる。この場合、カウントする認識失敗記号の位置を限定すれば楽譜と関係ない記号の影響を排除できる。

また、手書き楽譜を印刷楽譜認識モードで認識した場合、認識失敗記号の数が多くなる結果、小節内で認識された音符、付点情報、連符情報から計算した小節演奏長さが拍子情報を参照して算出した小節実長さより短くなる可能性が高くなる。したがって、小節演奏長さが小節実長さより短い小節のカウント数や、パート内の小節数に対する、小節演奏長さが小節実長さより短い小節の割合の増大により手書き楽譜と推定できる。なお、最初や最後の小節が不完全小節である場合、該小節は除くのが望ましい。

また、手書き楽譜を印刷楽譜認識モードで認識した場合、音符認識用に検出した符頭候補の楕円情報と符尾候補の縦線情報を連結して音符にする処理が失敗する可能性が高くなる。したがって、音符への連結に失敗した楕円または縦線の数、あるい両者の数の増大により手書き楽譜と推定できる。この場合、小節や位置を限定したり、楕円や縦線の形状をある程度絞り込んだ後に連結失敗数を検出するようにしてもよい。

上記のような個々の情報をそれぞれ手書き楽譜判定情報とすることができるが、複数の情報を結びつけて手書き楽譜判定情報とすることもできる。例えば、認識失敗記号と小節長さ失敗小節を結びつけ、小節長さ失敗小節内の認識失敗記号の数を手書き楽譜判定情報とすることができる。また、個々の情報を総合することにより手書き判定情報を算出できる。例えば、個々の情報にその有効度に応じたウエイト(重み)を掛けて加算し、さらに個々の情報を求めるために供されたパート数で除算することにより手書き楽譜判定情報を算出できる。

次に、S305で算出された手書き楽譜判定情報を元に、楽譜が手書き楽譜と推定されるかを判定する(S306)。手書き楽譜と推定されるかどうかの判定は、例えば、ある特定の情報が所定閾値以上であるかどうか、個々の情報にウエイト掛けして得られる総合情報が所定閾値以上であるかどうか、個々の情報にウエイト掛けして得られる総合情報が所定閾値以上であるパートが所定数続いたかどうか、個々の情報にウエイト掛けして得られる総合情報が所定閾値以上であるパートが所定数カウントされたかどうか、あるいはそれらの総合で行うことができる。

S306で手書き楽譜と判定されない場合、画像内全パートについての処理が完了したかを判定し(S307)、完了していないと判定された場合、同一画像(nImage「0」)についてnPartを順次インクリメントし(S308)、S302に戻る。この繰り返しにより同一画像内のパートが次々と印刷楽譜認識モードで認識される。また、S307で画像内全パートについての処理が完了したと判定された場合は、全画像についての処理が完了したかを判定し(S309)、完了していないと判定された場合、nImage←nImage+1,nPart←0とし(S310)、S302に戻る。この繰り返しにより続く画像内のパートが次々と印刷楽譜認識モードで認識される。

なお、手書き楽譜と推定されるかどうかの判定は、楽譜の最後まで認識してから行う必要はなく、誤りなく推定できることに配慮しつつ先頭画像の先頭パートから複数パートなどといった一定部分に限定したり、手書き楽譜と推定された時点で終了させたりすることができる。判定が終了すればそれ以降ではS305の処理は行わず、単に順次認識するだけとする。

印刷楽譜認識モードのまま全画像の認識が完了した場合、それまでの認識結果を最終的な認識結果とする(S318)。

上記の手書き楽譜かどうかの判定処理の過程において、S306で手書き楽譜と判定した場合には、nRecogMode←「1」とし(S311)、さらにnImage←「0」、nPart←「0」とし(S312)、S302に戻る。

S311でnRecogMode「1」とされており、S312でnImage←「0」、nPart←「0」とされているので、パート楽譜認識処理は、手書き楽譜認識モードで先頭画像の先頭パートから再認識する。

楽譜の数ページを複数画像として認識する場合、印刷と手書きで混ざって表記されている可能性は皆無ではないが、実際上でそのようなことは少ないので、ここでは処理の複雑化による処理コストの増大を防ぐために、先頭画像の先頭パートから全てを手書き楽譜認識モードで再認識させるようにしている。

次に、S303でnRecogModeを判定する。S311でnRecogMode「1」とされているので、ここでは手書き楽譜認識モードと判定される。手書き楽譜認識モードでは、記号によっては先の認識時の認識結果をそのまま今回の認識結果として利用することが可能である。例えば、五線や小節線などの情報、連桁太さや連符傾きなどの情報は先の認識時と変わらないと考えられるので、先の認識時の認識結果を再認識時にそのまま利用できる。また、パートについての認識が完了した時は、先の認識時に認識された認識結果を利用して今回の認識結果を修正することも可能である。例えば、小節演奏長さが先の認識時の認識より悪化した場合、先の認識時の認識結果に合わせてその小節内の記号を修正できる。

以上により得られた認識結果を最終的な楽譜認識結果としてもよいが、まだ手書き楽譜として誤判定された可能性が残っているので、本実施形態では更に、手書き楽譜認識モードで認識しつつその認識結果から印刷楽譜判定情報を算出し、算出された印刷楽譜判定情報に基づいて楽譜が印刷楽譜と推定されるかを判定する。そして、印刷楽譜と判定された場合には再度印刷楽譜認識モードに切り替えて楽譜を印刷楽譜として再々認識させている。

このため、S305と同様に、手書き認識モードでの認識結果から楽譜が印刷楽譜と推定できるかを示す情報を算出して累積し、この累積値を元に印刷楽譜判定情報を算出する(S313)。楽譜が印刷楽譜と推定できるかを示す情報はS305と同じでよい。ただし、印刷楽譜判定情報は、個々の情報の有効度に応じて手書き楽譜判定情報とは異なる適宜ウエイトを掛け、続く手書き楽譜かどうかの判定で有効でない情報は外す。また、続く判定で有効となる情報は新たに追加してよい。

次に、算出された印刷楽譜判定情報に基づいて楽譜が印刷楽譜と推定されるかを判定する(S314)。この判定は、再処理時における印刷楽譜かどうかの判定と同様であるが、ここでの印刷楽譜かどうかの判定は、先の認識時に算出された判定情報と比較してそれが増大したか否か、つまり楽譜認識率が悪化したかどうかで行う。

印刷楽譜かどうかの判定は、例えば、ある特定の情報が所定閾値以上上がったかどうか、個々の情報にウエイト掛けして得られる総合情報が所定閾値以上上がったかどうか、個々の情報にウエイト掛けして得られる総合情報が所定閾値以上上がったパートが所定数続いたかどうか、個々の情報にウエイト掛けして得られる総合情報が所定閾値以上上がったパートが所定数カウントされたかどうか、あるいはそれらの総合で行うことができる。

S314で印刷楽譜と判定されない場合、画像内全パートについての処理が完了したかを判定し(S307)、完了していないと判定された場合、同一画像(nImage「0」)についてnPartを順次インクリメントし(S308)、S302に戻る。この繰り返しにより同一画像内のパートが次々と手書き楽譜認識モードで認識される。また、S307で画像内全パートについての処理が完了したと判定された場合は、全画像についての処理が完了したかを判定し(S309)、完了していないと判定された場合、nImage←nImage+1,nPart←0とし(S310)、S302に戻る。この繰り返しにより続く画像内のパートが次々と手書き楽譜認識モードで認識される。

以上のようにして印刷楽譜認識モードのまま全画像の認識が完了した場合、手書き認識モードでのそれまでの認識結果を最終的な認識結果とする(S318)。

印刷楽譜かどうかの判定処理の過程において、S314で印刷楽譜と判定された場合には、nRecogMode←「2」とし(S315)、さらにnImage←nImageEndPrint+1、nPart←nPartEndPrint+1とする(S316)。nImageEndPrintおよびnPartEndPrintから先の印刷楽譜認識モードで既に認識済みの部分が分かる。S317では既に認識されて保存されている認識結果により認識済みの部分を復元する。

その後、S302に戻る。S315でnRecogMode←「2」とされており、S316でnImage←nImageEndPrint+1、nPart←nPartEndPrint+1とされているので、パート楽譜認識処理は、既に認識済みの部分に続くパート部分から再度印刷楽譜認識モードで再々認識する。この再々認識時にも、再認識時と同様に、先の認識時の認識結果をそのまま利用したり、それを利用して今回の認識結果の修正を行うことができる。

再度印刷楽譜認識モードでは楽譜が印刷楽譜であるか手書き楽譜かどうかの判定は行わず、楽譜を印刷楽譜として認識するだけでよい。これにより認識された認識結果を最終的な認識結果とする(S318)。

図６は、パート楽譜認識処理(S302)を示すフローチャートである。まず、S601で処理矩形を決定する。ここでは、S202で求められた五線(大譜表の場合には譜表中の五線)を含む、ある程度広い矩形を採り、これを認識矩形とする。この際の矩形は、求められた五線から、まず、五線のずらし量を考慮してある程度の幅を持った矩形にし、五線側から見て上下方向にある程度の幅の空白が存在した場合には矩形を縮小する。

S602では五線傾きを補正する。この処理の概略を述べると、S202で求めた五線シフト量に基づいて、矩形画像の縦方向の画素列を上下にシフトする。大譜表の場合には五線が複数になるので、一番上の五線のシフト量あるいはシフト量の平均を採用する。その後、その矩形が上下の五線に重なっていた場合にはその部分を消去し、更に、矩形の上下端に接しかつ認識する五線の部分に達していないラベルが存在した場合には上下の五線の構成ラベルとして消去する。この処理を行った後に、矩形の端から黒画素の存在する部分まで、矩形を更に縮小してもよい。ここで、ラベルは、画像中で一塊りと見なせる画素の集合を意味し、図８に示す例では「m」,「f」それぞれがラベルである。

S603〜S608では、各種記号を認識する。楽譜記号には音部記号、拍子記号、音符、定型記号、文字列、スラー、タイ、その他の記号が存在するので、それらをS603〜S608で順に認識する。各種楽譜記号の認識処理については特許文献１，２に詳細に説明されているので、ここでの説明は省略する。なお、印刷楽譜認識モードでは、印刷楽譜の記号とマッチング処理を行ってその認識結果を得つつ、その認識結果に影響を及ぼさない範囲で手書き楽譜判定情報の元になる情報を認識し、手書き楽譜認識モードでの再認識時には印刷楽譜判定情報の元になる情報を認識することは上述した通りである。

S603〜S608で各種楽譜記号を認識した後、記号親子関係・楽譜レイアウト処理(S609)を行い、認識結果とする(S610)。

以上実施形態を説明したが、本発明は上記実施形態に限られず、種々の変形が可能である。例えば、段落内パート再認識処理による認識結果を修正する認識結果推定処理を追加することができる。この認識結果推定処理は、特に手書き楽譜認識モードでの認識結果に適用して有効である。ただし、手書き楽譜判定情報や印刷楽譜判定情報にこの修正が影響しないように、認識結果推定処理は、段落内パート再認識処理から最終的に送出される認識結果を処理対象とする。

図７は、認識結果推定処理を示すフローチャートである。この推定処理を行うに際しては、パート楽譜認識処理(S302)で、マッチング度が最高によい記号だけでなく、マッチング度が次によい１つあるいは複数の記号や、認識失敗した場合でもマッチング度が比較的よい記号などを候補記号として認識しておく。

認識結果推定処理は、小節長さ妥当性検出(S701)、休符推定(S702)、音符推定(S703)、リズム推定(S704)および小節長さ非関連FAIL記号推定(S705)からなる。

小節長さ妥当性検出(S701)では、休符、音符、リズムなどの小節長さ関連FAIL記号推定を行うために、認識された記号を元に算出される小節長さが妥当であるかを検出する。

例えば、小節内の音符・休符の演奏時間の合計(小節演奏長さ)を算出するツールを用いて、音符、休符の演奏長さ(ゲートタイム)を加算して当該小節内での音符と休符の演奏長さの合計を求め、さらに付点や連符などの情報を用いて全休符や長休符などを適切に処理し、楽譜データの演奏と同等の方式で小節演奏長さを計算する。また、楽譜における拍子情報から小節の実際長(小節実長さ)を求める。そして、小節演奏長さが小節実長さより短い場合、その小節演奏長さは妥当でないとする。

なお、拍子情報は、パート内楽譜認識処理の音部・拍子記号認識(図６のS603)で認識されている。曲の先頭以外の小節に拍子記号が存在した場合には、その拍子記号も該小節に対応させて保存しておく。

休符推定(S702)では、S701で小節演奏長さが妥当でないとされた場合に、楽譜の休符を辞書マッチング失敗していると推定して休符推定を行う。休符として妥当な位置にある、休符に変更するのに妥当な記号を一時的に認識失敗記号(FAIL記号)とし、それを休符とみなし、小節演奏長さを計算する。休符として妥当な位置は、例えば五線の第一線から第五線の間に限定される。計算された小節演奏長さが小節実長さと同じかそれに近い長さになった場合、FAIL記号の休符への変更は妥当であるとして当該FAIL記号を休符に修正する。

休符に変更するのが妥当な記号は、例えば(1)単純に次点以降の候補記号が休符である記号、(2)FAIL記号で次点以降の候補記号が休符である記号、(3)単純に形状が休符に近い記号、(3)FAIL記号で次点以降の候補記号の形状が休符に近い記号、(4)単純にラベル(画像中で一塊りと見なせる画素の集合)の矩形サイズや矩形中の画素の存在確率が休符と同等である記号、などであり、これらの記号のうちから最も認識率が高くなる記号を選択したり、変更する記号の順序を適切に設定したりする。

形状が休符に近い記号としてアクセントなどが存在するが、アクセントは、親の音符が存在するので、これを条件として区別できる。

FAIL記号を休符とみなして小節演奏長さを計算した結果、小節演奏長さが小節実長さと同じになった場合、休符推定が妥当であるとしてFAIL記号を推定した休符に修正し、小節演奏長さが小節実長さより大きくなった場合には休符推定が妥当でないとして推定を無効として推定前の状態に戻す。また、小節演奏長さが依然として小節実長さより小さい場合、休符推定が妥当でないとして無効としてもよいが、少しでも小節実長さに近づけば有効とすることもできる。休符推定では、FAIL記号の重要度や失敗確率、誤推定した場合の影響などを考慮して判定条件を変更できる。

音符推定(S703)は、音符を記号認識用辞書とのマッチング処理で認識する場合の推定であり、休符推定と同様に、音符関連の記号を推定する。

なお、音符のマッチング処理は、例えば以下のように行うことができる。手書き楽譜では音符形状の変化も大きい。辞書マッチングによる音符認識では、記号部品の形状しきい値、記号部品連結しきい値の変更でこれに対応することも可能であり、認識率向上に効果がある。この場合、マッチングする記号は、連桁や和音のない音符に限定し、符尾向きや加線の数、旗の数により別個の記号ＩＤとして辞書構築および認識を行う。認識された音符記号は、その記号ＩＤから玉の位置や加線数、旗数を算出し、実際の音符に変更する。こうすることにより、楕円、直線などの検出に基づいては音符を認識できない場合でも音符が認識できるようになる。しかし、このような音符記号では、加線数などが誤認識されている可能性もある。そこで、これを修正する処理を追加する。

この修正処理では、横方向の画素ヒストグラムによる加線位置の推定や、音符検出のために求められた横線などを使うことができる。また、他に認識された音符の音高や、五線位置からの推定も加えるが、手書き楽譜の場合は五線の幅と加線の幅は異なることが多く、また、音符同士の高さも異なる場合があるので、これらのよる修正の優先度は低くするのが好ましい。

リズム推定(S704)では、小節演奏長さが小節実長さと同じ場合、当該小節のリズムパターンをリズムパターン辞書として保存し、小節演奏長さが小節実長さと異なる場合には、当該小節のリズムパターンをリズムパターン辞書と比較し、最も近いリズムパターンになるようにFAIL記号を他の記号に修正する。ここでは、本出願人による特願2005-311788号で提案した技術を利用できる。この技術の詳細な説明は省略するが、その概要は、演奏されるときに経過する小節長さを算出し、これが譜表に記載された拍子記号に対応しない長さの小節を誤認小節、そのリズムパターンを誤認リズムパターンとし、辞書データベースの複数のリズムパターンから誤認リズムパターンに類似する類似リズムパターンを検索して誤認リズムパターンを類似リズムパターンに変更するというものである。この技術に加えて、FAIL記号を他の記号に変更した場合に同じになるリズムパターンを選択し、優先的にこれに修正する。

例えば、FAIL記号を次点の候補記号に変更した場合の小節データを作成し、さらに、この小節内データで、付点や連符の親音符検出処理など、演奏データ作成の前処理を行う。次に、前処理された小節データからリズムパターンを検出する。このリズムパターンと同じリズムパターンがリズムパターン辞書内に存在した場合、FAIL記号を次点の候補記号に修正して正式記号とする。

休符、音符、リズム以外の小節長さに関連するFAIL記号、例えば連符数字などの推定も可能である。FAIL記号のうち、マッチング度が次点の候補記号が連符数字である場合、通常記号に変換して連符数字の親音符あるいは休符を検索し、その後、小節演奏長さを算出し、算出された小節演奏長さと小節実長さの比較判定し、その結果に応じて推定を有効あるいは無効とする。休符、音符、リズム以外の小節長さに関連する記号の推定でも、休符の推定時と同様に、推定する記号の重要度や失敗確率、誤推定した場合の影響などを考慮して判定条件を変更できる。

小節長さ非関連FAIL記号推定(S705)では、小節長さに関連しないFAIL記号の推定を行う。通常記号に変更するのが妥当なFAIL記号は、例えば(1)臨時記号の付いていない音符の横に存在する、次点の候補記号が臨時記号であるFAIL記号、(2)五線の下側にある、次点の候補記号がペダル系のFAIL記号、(3)アクセント、テヌート、フェルマータ等が付いていない音符の上下に存在する、次点の候補記号がアクセント、テヌート、フェルマータ等であるFAIL記号、(4)五線の左端の五線内にある、次点の候補記号が音部記号や拍子記号であるFAIL記号、などである。この推定でも、休符の推定時と同様に、推定する記号の重要度や失敗確率、誤推定した場合の影響などを考慮して判定条件を変更できる。

また、認識結果推定処理の結果を辞書学習に利用することにより、以降の手書き楽譜の認識での認識率を高めることができる。休符推定の結果を辞書学習に利用する場合、休符と推定されたFAIL記号(認識元の記号)の特徴量を計算し、この特徴量を休符に対するデータとして記号認識用辞書に追加する。これによって、それまでではFAIL記号とされた記号やそれに類似の記号を最初から休符として認識できるようになる。音符推定、リズム推定、小節長さ非関連FAIL記号推定の結果を辞書学習に利用することも可能である。

ただし、辞書学習による辞書データの追加は条件を厳しくするのが望ましい。例えば休符の場合、実際に休符でない記号を休符として辞書学習してしまうと、以降の認識での認識率の悪化を招く。この点を考慮して、辞書学習するかどうかの判定は、条件を厳しくして厳密に行うようにする。例えば、この条件としては、(1)認識元ラベルの矩形形状、(2)認識元ラベルの位置、(3)認識元ラベルのドット存在確率、(4)休符としてのマッチング度、(5)小節演奏長さが小節実長さに等しい場合に限る、などが考えられる。

また、記号の種類によっては学習しない方がよいものや、数多く学習した方がよいものがあるので、１つの記号に対して辞書学習する数に制限を設けることも好ましい。また、学習の結果は、次回の楽譜認識でも有効になるようにしてもよいし、予期しない学習エラーの結果が持ち越されないように、一回の楽譜認識ごとに廃棄するようにしてもよい。

また、推定を有効とするかどうか、辞書学習を実行するかどうかの条件に、音符認識時に検出された、楕円、縦細線、横細線、横太線、画像中の穴(ホール)などの画像部品の情報を利用することもできる。例えば、臨時記号では縦細線や穴の情報をこれに有効に利用できる。

さらに、認識結果推定は、表記ぶれが比較的大きい手書き楽譜の認識に特に有効であるが、印刷楽譜認識モードでの認識で認識結果推定を行うようにしてもよい。

また、例えば、楽譜によっては手書き楽譜であるか印刷楽譜であるかを適切に判定できず、認識モードが適切に自動切替されない場合もある。このような場合に対処できるように認識モードを強制設定できるインタフェースを設けることができる。

本発明に係る楽譜認識装置の一実施例の構成を示すブロック図である。 CPUのメイン処理を示すフローチャートである。 段落内パート再認識処理を示すフローチャートである。 画像内の段落と段落内パートの関係を示す図である。 ４分休符の典型的な手書きスタイルを示す図である。 パート楽譜認識処理を示すフローチャートである。 認識結果推定処理を示すフローチャートである。 楽譜におけるラベルの例を示す図である。 手書き楽譜の例を示す図である。 手書き楽譜の他の例を示す図である。

符号の説明

1・・・CPU、2・・・ROM、3・・・RAM、4・・・ハードディスク装置(HDD)、5・・・フロッピディスク装置(FDD)、6・・・CRT、7・・・CRTインターフェース回路、8・・・キーボード、9・・・キーボードインターフェース回路、10・・・プリンタ、11・・・プリンタインターフェース回路、12・・・スキャナ、13・・・スキャナインターフェース回路、14・・・MIDIインターフェース回路、15・・・バス

Claims (16)

1. 楽譜画像データから記号を認識し、認識された記号を元に楽譜データを生成する楽譜認識装置において、
   楽譜画像データから五線および段落を認識する五線・段落認識手段と、
   段落内パート再認識手段を備え、
   前記段落内パート再認識手段は、前記五線・段落認識手段により認識された段落内パートを印刷楽譜として認識する印刷楽譜認識モードと手書き楽譜として認識する手書き楽譜認識モードを備え、まず、印刷楽譜認識モードとして楽譜を順次認識しつつ該楽譜が手書き楽譜と推定されるかを示す情報を累積することにより手書き楽譜判定情報を算出し、該手書き楽譜判定情報に基づいて楽譜が手書き楽譜と推定されるかを判定し、手書き楽譜と推定されると判定した場合には手書き楽譜認識モードに自動的に切り替えて楽譜を再認識することを特徴とする楽譜認識装置。
2. 前記段落内パート再認識手段は、さらに段落内パートを印刷楽譜として再度認識する再度印刷楽譜認識モードを備え、再認識時に楽譜が印刷楽譜と推定されるかを示す情報を累積することにより印刷楽譜判定情報を算出し、該印刷楽譜判定情報に基づいて楽譜が印刷楽譜と推定されるかを判定し、印刷楽譜と推定されると判定した場合には再度印刷楽譜認識モードに自動的に切り替えて楽譜を再々認識することを特徴とする請求項１に記載の楽譜認識装置。
3. 前記段落内パート再認識手段は、算出した手書き楽譜判定情報が所定閾値以上となった時に楽譜が手書き楽譜と推定されると判定し、この時点で手書き楽譜認識モードに自動的に切り替えることを特徴とする請求項１または２に記載の楽譜認識装置。
4. 前記段落内パート再認識手段は、手書き楽譜に特有な記号の認識数、記号認識用辞書とのマッチング処理で認識失敗した記号数、認識された楽譜を元に計算した小節演奏長さと拍子情報を参照して算出した小節実長さが異なる小節の数、符頭候補の楕円と符尾候補の直線の連結失敗数のうちの少なくとも１つを元に手書き楽譜判定情報を算出することを特徴とする請求項１ないし３のいずれかに記載の楽譜認識装置。
5. 前記段落内パート再認識手段は、再認識時に先の認識時に得られた認識結果を利用することを特徴とする請求項１ないし４のいずれかに記載の楽譜認識装置。
6. 前記段落内パート再認識手段は、再々認識時には先の印刷楽譜認識モードで得られた楽譜部分の認識結果をそのまま利用し、再々認識はそれ以降の楽譜部分から行うことを特徴とする請求項２に記載の楽譜認識装置。
7. さらに、前記段落内パート再認識手段による認識結果を修正する認識結果推定手段を備え、前記段落内パート再認識手段は、実行中の楽譜認識モードにおいて、認識用辞書を用いたマッチング処理を実行してマッチング度が最高によい記号を認識とするとともにマッチング度が次によい１つあるいは複数の記号を候補記号として認識する認識機能を有し、前記認識結果推定手段は、楽譜表記スタイル情報を元に、マッチング度が最高によい記号の妥当性を判定し、妥当でないと判定した場合にマッチング度が最高によい記号を候補記号に変更しつつその妥当性を判定し、マッチング度が最高によい記号を妥当と判定された候補記号に修正することを特徴とする請求項１ないし６のいずれかに記載の楽譜認識装置。
8. 前記認識結果推定手段による修正結果を記号認識用辞書の学習に利用することを特徴とする請求項７に記載の楽譜認識装置。
9. コンピュータに、楽譜画像データから記号を認識し、認識された記号を元に楽譜データを生成する機能を実現させるためのプログラムにおいて、
   楽譜画像データから五線および段落を認識する認識機能と段落内パート再認識機能をコンピュータに実現させ、
   前記段落内パート再認識機能は、前記認識機能により認識された段落内パートを印刷楽譜として認識する印刷楽譜認識手順と手書き楽譜として認識する手書き楽譜認識手順を有し、まず、印刷楽譜認識手順で楽譜を順次認識しつつ該楽譜が手書き楽譜と推定できるかを示す情報を累積することにより手書き楽譜判定情報を算出し、該手書き楽譜判定情報に基づいて楽譜が手書き楽譜と推定されるかを判定し、手書き楽譜と推定されると判定した場合には手書き楽譜認識手順に自動的に切り替えて楽譜を再認識することを特徴とするプログラム。
10. 前記認識機能は、さらに段落内パートを印刷楽譜として再度認識する再度印刷楽譜認識手順を有し、再認識時に楽譜が印刷楽譜と推定されるかを示す情報を累積することにより印刷楽譜判定情報を算出し、該印刷楽譜判定情報に基づいて楽譜が印刷楽譜と推定されるかを判定し、印刷楽譜と推定されると判定した場合には再度印刷楽譜認識手順に自動的に切り替えて楽譜を再々認識することを特徴とする請求項９に記載のプログラム。
11. 前記段落内パート再認識機能は、算出した手書き楽譜判定情報が所定閾値以上となった時に楽譜が手書き楽譜と推定されると判定し、この時点で手書き楽譜認識モードに自動的に切り替えることを特徴とする請求項９または１０に記載のプログラム。
12. 前記段落内パート再認識機能は、手書き楽譜に特有な記号の認識数、記号認識用辞書とのマッチング処理で認識失敗した記号数、認識された楽譜を元に計算した小節演奏長さと拍子情報を参照して算出した小節実長さが異なる小節の数、符頭候補の楕円と符尾候補の直線の連結失敗数のうちの少なくとも１つを元に手書き楽譜判定情報を算出することを特徴とする請求項９ないし１１のいずれかに記載のプログラム。
13. 前記段落内パート再認識機能は、再認識時に先の認識時に得られた認識結果を利用することを特徴とする請求項９ないし１２のいずれかに記載のプログラム。
14. 前記段落内パート再認識機能は、再々認識時には先の印刷楽譜認識モードで得られた楽譜部分の認識結果をそのまま利用し、再々認識はそれ以降の楽譜部分から行うことを特徴とする請求項１０に記載のプログラム。
15. さらに、前記段落内パート再認識手順による認識結果を修正する認識結果推定手順を有し、前記段落内パート再認識手順は、実行中の楽譜認識手順において、認識用辞書を用いたマッチング処理を実行してマッチング度が最高によい記号を認識とするとともにマッチング度が次によい１つあるいは複数の記号を候補記号として認識し、前記認識結果推定手順は、楽譜表記スタイル情報を元に、マッチング度が最高によい記号の妥当性を判定し、妥当でないと判定した場合にマッチング度が最高によい記号を候補記号に変更しつつその妥当性を判定し、マッチング度が最高によい記号を妥当と判定された候補記号に修正することを特徴とする請求項９ないし１４のいずれかに記載のプログラム。
16. 前記認識結果推定手順による修正結果を記号認識用辞書の学習に利用することを特徴とする請求項１５に記載のプログラム。

Images