JP6197631B2 - 楽譜解析装置および楽譜解析方法 - Google Patents

Description

本発明は、楽譜を解析する技術に関する。

楽曲の楽譜は、楽譜の画像を表すデータ（以下「楽譜画像データ」という）として表現されるほか、楽譜の内容を論理的な情報として特定のデータ記述言語で記述したデータ（以下「論理楽譜データ」という）としても表現される。楽譜画像データの典型例は、PDF（Portable Document Format）ファイルであり、論理楽譜データの典型例は、MusicXML（eXtensible Markup Language）形式のファイルである。

楽譜画像データは、楽譜を画像として表現するから、作成者が意図した通りの形態（レイアウト）で楽譜を表示できる反面、音楽記号等の楽譜の内容をコンピュータが解釈可能な情報として正確かつ詳細に認識することが困難である。例えば特許文献１や特許文献２には、楽譜の画像を解析することで音楽記号を認識する楽譜認識技術が開示されているが、現実的には認識誤差が問題となる。他方、論理楽譜データは、楽譜を論理的な情報として表現するから、楽譜の内容（例えば音楽記号）を正確かつ詳細に把握できる反面、論理楽譜データから画像を生成するレンダリングエンジンのアルゴリズムに依存して楽譜の表示の形態が変化する（楽譜のレイアウトの再現性が低い）という性質がある。

特開２０１２−０７３７６９ 特開２０１２−１３８００９

以上のように楽譜画像データおよび論理楽譜データは何れも一長一短であり、楽譜画像データと論理楽譜データとを相互に併用して各々の短所を相互に補完できれば、楽譜の多様な利用が実現される可能性がある。例えば、論理楽譜データを利用した楽曲再生（自動演奏）と楽譜画像データを利用した楽譜表示とを並列に実行するととともに、楽譜のうち楽曲の再生位置に対応する箇所を強調表示するといった利用が実現される。しかし、楽譜画像データが示す楽譜と論理楽譜データが示す楽譜との相互間で音符毎の対応関係が不明であるから、現実的には両者の併用は困難である。以上の事情を考慮して、本発明は、楽譜画像データと論理楽譜データとを併用した楽譜利用の実現を目的とする。

以上の課題を解決するために、本発明の楽譜解析装置は、楽譜画像データが表す楽曲の楽譜画像から特定される複数の音符の時系列である画像音符列と、楽曲の楽譜の内容が記述された論理楽譜データが表す複数の音符の時系列である論理音符列との対比により、画像音符列の各音符と論理音符列の各音符との対応関係を特定する音符列対比手段を具備する。以上の構成では、楽譜画像データが表す楽譜画像から特定される画像音符列と論理楽譜データが表す論理音符列との対比により画像音符列の各音符と論理音符列の各音符との対応関係が特定される。したがって、楽譜画像データと論理楽譜データとを併用した多様な楽譜利用を実現することが可能である。

本発明の好適な態様に係る楽譜解析装置は、楽譜画像データが表す楽譜画像から楽曲の各音符の符頭を抽出することで画像音符列を特定する画像解析手段を具備し、音符列対比手段は、画像解析手段が特定した画像音符列と、論理楽譜データが表す論理音符列とを対比する。既定の単純な記号である符頭は楽譜画像から高精度に抽出される。したがって、画像解析手段が符頭を抽出して画像音符列を特定する以上の態様によれば、画像音符列と論理音符列との相互間で各音符の対応関係を高精度に特定できるという利点がある。

本発明の好適な態様において、画像解析手段は、楽譜画像データが表す楽譜画像の解析により楽曲の各音符の音高を推定して画像音符列を特定する。以上の態様では、対象楽曲の各音符の音高が画像音符列にて加味されるから、画像音符列と論理音符列との相互間で各音符の対応関係を高精度に特定できるという効果は格別に顕著である。さらに好適な態様において、画像解析手段は、五線譜と音部記号と変化記号との少なくともひとつを含む音楽記号を楽譜画像から抽出し、当該音楽記号を利用して各音符の音高を推定する。五線譜や音部記号や変化記号等の音楽記号は既定の単純な図形であり楽譜画像から高精度に抽出される。したがって、五線譜と音部記号と変化記号との少なくともひとつを含む音楽記号を楽譜画像から抽出して各音符の音高を推定する以上の態様によれば、画像音符列と論理音符列との相互間で各音符の対応関係を高精度に特定することが可能である。

本発明の好適な態様において、音符列対比手段は、画像音符列を表す画像音符列データと論理音符列を表す論理音符列データとを対比し、画像音符列データおよび論理音符列データの各々は、相異なる音高に対応する複数の要素を含む単位データの時系列を含み、画像音符列データの各単位データの複数の要素の各々は、画像音符列のうち当該単位データに対応する区間での各音高の音符の有無に応じた数値に設定され、論理音符列データの各単位データの複数の要素の各々は、論理音符列のうち当該単位データに対応する区間での各音高の音符の有無に応じた数値に設定される。以上の態様では、画像音符列データおよび論理音符列データの各々が、相異なる音高に対応する複数の要素を含む単位データの時系列を包含するから、相互に並列に発音される複数の音符（典型的には和音）を単位データで表現できるという利点がある。

以上の各態様に係る楽譜解析装置は、解析対象音の解析に専用されるＤＳＰ（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。以上に説明した各態様に係る楽譜解析装置の動作方法（楽譜解析方法）としても本発明は特定される。

本発明の第１実施形態に係る楽譜解析装置の構成図である。 楽譜画像データおよび論理楽譜データの説明図である。 楽譜解析部の具体的な構成図である。 楽譜解析部が実行する動作のフローチャートである。 画像解析部が実行する動作のフローチャートである。 楽譜解析部の動作の説明図である。 楽譜画像において和音の各音符が相互に近接する状況の説明図である。 第２実施形態に係る楽譜解析装置の構成図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る楽譜解析装置１００Aの構成図である。第１実施形態の楽譜解析装置１００Aは、任意の楽曲（以下「対象楽曲」という）の楽譜を解析する信号処理装置であり、図１に例示される通り、演算処理装置１０と記憶装置１２と表示装置１４と放音装置１６とを具備するコンピュータシステムで実現される。例えば携帯電話機またはスマートフォン等の可搬型の情報端末やパーソナルコンピュータ等の可搬型または据置型の情報処理装置が楽譜解析装置１００Aとして利用され得る。

演算処理装置１０は、各種の制御処理および演算処理を実行することで楽譜解析装置１００Aの各要素を統括的に制御する。表示装置１４（例えば液晶表示パネル）は、演算処理装置１０からの指示に応じた画像を表示する。放音装置１６は、演算処理装置１０からの指示に応じた音響を放射する。例えば対象楽曲の楽譜が表示装置１４に表示され、対象楽曲の再生音（歌唱音や演奏音）が放音装置１６から放射される。

記憶装置１２は、演算処理装置１０が実行するプログラムや演算処理装置１０が使用する各種のデータを記憶する。例えば半導体記録媒体または磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置１２として任意に採用され得る。第１実施形態の記憶装置１２は、楽譜画像データＤAと論理楽譜データＤBとを対象楽曲について記憶する。

楽譜画像データＤAは、対象楽曲の楽譜の画像（以下「楽譜画像」という）を表すデータである。具体的には、例えばラスタ形式またはベクタ形式の平面画像として楽譜画像を表現する画像ファイル（例えばPDFファイル）が楽譜画像データＤAとして好適である。他方、論理楽譜データＤBは、対象楽曲の楽譜の内容を特定のデータ記述言語で記述したデータである。具体的には、音楽記号等の楽譜の要素が論理的な情報として表現された楽譜表現用のファイル（例えばMusicXML形式のファイル）が論理楽譜データＤBとして好適である。

論理楽譜データＤBは、図１に例示される通り、対象楽曲を構成する音符毎に属性情報Ｂを包含する。属性情報Ｂは、音符の音楽的な属性を規定する情報であり、拍識別子Ｂ1と音高Ｂ2と音価Ｂ3とを含んで構成される。拍識別子Ｂ1は、対象楽曲における音符の時間的な位置を指定する情報（対象楽曲の各音符を識別するための情報）である。具体的には、対象楽曲の先頭から当該音符までの拍数（例えば１/64音符を１拍として計数した当該音符の拍番号）が拍識別子Ｂ1として好適に利用される。音高Ｂ2は音符の音名（ノートナンバ）であり、音価Ｂ3は楽譜上での音符の継続長である。なお、属性情報Ｂの内容は任意である。例えば、強弱記号（フォルテ）やスタッカートやスラー等の演奏情報を属性情報Ｂで指定することも可能である。

なお、以下の説明では、楽譜画像データＤAで表現される画像としての楽譜（楽譜画像）と形式的に区別する観点から、論理楽譜データＤBで表現される楽譜を便宜的に「論理楽譜」と表記する場合がある。楽譜画像データＤAおよび論理楽譜データＤBで表現される対象楽曲の楽譜（楽譜画像，論理楽譜）は、対象楽曲を構成する複数の音符の時系列のほか、五線譜（五線譜を複数段に並列した大譜表），音部記号（ト音記号，ヘ音記号），変化記号（調号，臨時記号），演奏記号（強弱記号，速度記号，反復記号）等の各種の音楽記号も包含する。

楽譜画像データＤAおよび論理楽譜データＤBは、例えば配信装置（典型的にはウェブサーバ）からインターネット等の通信網を介して楽譜解析装置１００Aに配信されたうえで記憶装置１２に格納される。例えば、所望の対象楽曲の楽譜画像データＤAを購入した利用者に、当該楽曲の論理楽譜データＤBを付随的に有償または無償で提供するという楽譜配信サービスが想定される。なお、例えば楽譜解析装置１００Aに装着可能な可搬型の記録媒体に格納された楽譜画像データＤAや論理楽譜データＤBを記憶装置１２に転送することも可能である。従前の電子楽譜の販売では、楽譜画像データＤAのみを利用者に配信する形態が一般的である。

図２に例示される通り、第１実施形態の楽譜画像データＤAと論理楽譜データＤBとは、対象楽曲の楽譜を表現する共通の基礎楽譜データＤ0から生成される。基礎楽譜データＤ0は、楽譜作成用（楽譜浄書用）のソフトウェアを利用して事前に作成される。基礎楽譜データＤ0で表現される楽譜の形態（レイアウト等）を表示用または印刷用に調整することで楽譜画像データＤAが生成され、楽譜作成用のソフトウェアに特有の形式の基礎楽譜データＤ0を汎用の形式に調整することで論理楽譜データＤBが生成される。なお、基礎楽譜データＤ0を論理楽譜データＤBとして利用する（論理楽譜データＤBで表現される楽譜の形態を調整することで楽譜画像データＤAを生成する）ことも可能である。

以上のように第１実施形態の楽譜画像データＤAと論理楽譜データＤBとは共通の基礎楽譜データＤ0に依拠するから、楽譜画像データＤAと論理楽譜データＤBとの相互間で楽譜の内容自体は基本的には合致する。ただし、論理楽譜データＤBが楽譜を論理的な情報として表現するのに対して楽譜画像データＤAは楽譜を画像として表現するから、楽譜画像データＤAが表現する楽譜画像と論理楽譜データＤBが表現する論理楽譜との相互間における各音符の対応関係は未知である。なお、楽譜画像データＤAと論理楽譜データＤBとが共通の基礎楽譜データＤ0から生成されることは必須ではない。例えば、共通の対象楽曲について別個に作成された（例えば別個の作成者により作成された）楽譜画像データＤAと論理楽譜データＤBとを処理対象とすることも可能である。

図１の演算処理装置１０は、記憶装置１２に記憶されたプログラムを実行することで対象楽曲の楽譜の解析および利用のための複数の機能（楽譜解析部２２，楽譜利用部２４）を実現する。なお、演算処理装置１０の各機能を複数の集積回路に分散した構成や、専用の電子回路（例えばDSP）が演算処理装置１０の一部の機能を実現する構成も採用され得る。

楽譜解析部２２は、楽譜画像データＤAが表現する楽譜画像から特定される複数の音符の時系列（以下「画像音符列」という）と、論理楽譜データＤBが表現する論理楽譜から特定される複数の音符の時系列（以下「論理音符列」という）との対応関係を解析する。具体的には、楽譜解析部２２は、画像音符列の各音符と論理音符列の各音符との相互間の対応関係を規定する楽譜解析データＤCを生成する。

図２に例示される通り、楽譜解析データＤCは、対象楽曲の相異なる音符に対応する複数の音符データＣの時系列である。任意の１個の音符データＣは、解析位置情報ＣAと解析属性情報ＣBとを含んで構成される。解析位置情報ＣAは、楽譜画像データＤAで表現される楽譜画像での音符の位置を指定する。例えば楽譜画像に対して画定された座標平面における座標（Ｘ座標，Ｙ座標）が解析位置情報ＣAとして例示される。他方、解析属性情報ＣBは、対象楽曲の音符の音楽的な属性を規定する情報であり、具体的には論理楽譜データＤBの属性情報Ｂ（拍識別子Ｂ1，音高Ｂ2，音価Ｂ3）に応じて設定される。以上の説明から理解される通り、楽譜画像での１個の音符の位置を示す解析位置情報ＣAと、論理楽譜の１個の音符の属性を指定する解析属性情報ＣBとを、楽譜解析データＤCの１個の音符データＣとして相互に対応させることで、楽譜画像データＤAが示す楽譜画像の各音符と論理楽譜データＤBが示す論理楽譜の各音符との対応関係が規定される。楽譜画像が複数頁にわたる場合に頁番号等の情報を解析位置情報ＣAに包含させることも可能である。

図３は、楽譜解析部２２の構成図であり、図４は、楽譜解析部２２が実行する処理のフローチャートである。図３に例示される通り、第１実施形態の楽譜解析部２２は、画像解析部３２と情報解析部３４と音符列対比部３６とを含んで構成される。画像解析部３２は、記憶装置１２に記憶された楽譜画像データＤAを解析することで画像音符列データＱAを生成する（ＳA）。画像音符列データＱAは、楽譜画像データＤAが表す楽譜画像から特定される画像音符列を表現する。すなわち、画像解析部３２は、楽譜画像から画像音符列を特定する。

図３の情報解析部３４は、記憶装置１２に記憶された論理楽譜データＤBから論理音符列データＱBを生成する（ＳB）。論理音符列データＱBは、論理楽譜データＤBが表す論理楽譜から特定される論理音符列を表現する。音符列対比部３６は、画像解析部３２が生成した画像音符列データＱAで表現される画像音符列と、情報解析部３４が生成した論理音符列データＱBで表現される論理音符列とを相互に対比することで、画像音符列の各音符と論理音符列の各音符との対応関係を特定して前述の楽譜解析データＤCを生成する（ＳC）。楽譜解析部２２の各要素が実行する具体的な処理を以下に詳述する。

図５は、楽譜解析部２２の具体的な動作の説明図であり、図６は、画像解析部３２が画像音符列データＱAを生成する処理（ＳA）のフローチャートである。図６に例示される通り、画像解析部３２は、楽譜画像データＤAで表現される楽譜画像から各音符の符頭Ｈ（音符のうち符幹と符尾とを除外した円形状の記号）を抽出するとともに楽譜画像における各符頭Ｈの座標Ｘを特定する（ＳA1）。各符頭Ｈの抽出には公知の画像認識（パターン認識）技術が任意に採用される。なお、画像認識の対象となる楽譜画像の画像形式は任意である。例えばラスタ形式の楽譜画像のほか、符頭Ｈを１個のフォントまたは楕円形のベクタデータとして表現するベクタ形式の楽譜画像について画像認識が実行される。符頭Ｈは既定の単純な記号であるから、楽譜画像から高精度に抽出することが可能である。他方、音符の符幹（直線）や符尾（旗状の図形）は第１実施形態では抽出されない。

画像解析部３２は、楽譜画像データＤAで表現される楽譜画像の解析により対象楽曲の音符毎（抽出済の各符頭Ｈ）の音高を推定する（ＳA2）。第１実施形態の画像解析部３２は、楽譜画像から抽出される音楽記号を利用して各音符の音高を推定する。具体的には、画像解析部３２は、五線譜（あるいは五線譜を複数段に並列した大譜表）と音部記号（ト音記号，ヘ音記号）と変化記号（調号，臨時記号）とを楽譜画像から抽出し、各符頭Ｈと五線譜との相対的な位置関係と音部記号または変化記号の種類とに応じて楽譜画像の各音符の音高を推定する。音楽記号の抽出には公知の画像認識技術が任意に採用される。五線譜と音部記号と変化記号とは、既定の単純な記号であるから、楽譜画像から高精度に抽出することが可能である。以上の説明から理解される通り、画像解析部３２は、画像音符列の各音符について符頭Ｈ（座標Ｘ）と音高とを特定する。

画像解析部３２は、以上に説明した解析（ＳA1，ＳA2）の結果に応じた画像音符列データＱAを生成する（ＳA3）。図６に例示される通り、画像音符列データＱAは、Ｎ個（Ｎは２以上の自然数）の単位データＵA[1]〜ＵA[N]の時系列を包含する。Ｎ個の単位データＵA[1]〜ＵA[N]は、対象楽曲を時間軸上で所定の音価（例えば１/64音符に相当する音価）毎に区分した複数の単位区間のうち画像音符列の１個以上の音符（単音または和音）の開始点を含むＮ個（すなわち複数の単位区間のうち画像音符列の音符の開始点を含まない各単位区間を除外したＮ個）の単位区間に１対１に対応する。したがって、画像音符列データＱAに包含される単位データＵA[n]（ｎ＝１〜Ｎ）の個数Ｎは、対象楽曲の楽曲長や画像音符列の音符数に応じた可変値である。

図６に例示される通り、画像音符列データＱAのＮ個の単位データＵA[1]〜ＵA[N]の各々は、相異なる音高に対応するＫ個（Ｋは２以上の自然数）の要素ａ[1]〜ａ[K]を包含するＫ次ベクトルである。すなわち、画像音符列データＱAは、Ｋ行Ｎ列の行列を表現する。画像解析部３２は、第ｎ番目の単位区間に対応する単位データＵA[n]の各要素ａ[k]（ｋ＝１〜Ｋ）を、画像音符列の第ｎ番目の単位区間における第ｋ番目の音高の音符の有無に応じた数値（１/０）に設定する。具体的には、単位データＵA[n]に包含されるＫ個の要素ａ[1]〜ａ[K]のうち、画像音符列にて第ｎ番目の単位区間に存在する音符（単音または和音）の音高に対応する１個以上の要素ａ[k]が数値１に設定されるとともに残余の各要素ａ[k]が数値０に設定される。

例えば、画像音符列の第ｎ番目の単位区間に第ｋ1番目（ｋ1＝１〜Ｋ）の音高の１個の音符が単独で存在する場合、単位データＵA[n]のＫ個の要素ａ[1]〜ａ[K]のうち第ｋ1番目の要素ａ[k1]が数値１に設定されるととも残余の(Ｋ−１)個の各要素ａ[k]は数値０に設定される。なお、相異なる音高の複数の音符（すなわち和音）が各単位区間には存在し得る。第ｋ1番目および第ｋ2番目（ｋ1≠ｋ2）の音高の２個の音符（和音）が画像音符列の第ｎ番目の単位区間に存在する場合、単位データＵA[n]のＫ個の要素ａ[1]〜ａ[K]のうち第ｋ1番目の要素ａ[k1]と第ｋ2番目の要素ａ[k2]とが数値１に設定されるとともに残余の(Ｋ−２)個の各要素ａ[k]は数値０に設定される。すなわち、画像音符列データＱAの１個の単位データＵA[n]は、画像音符列の単音だけでなく和音も表現し得る。

以上の説明から理解される通り、画像音符列データＱAの任意の１個の単位データＵA[n]は、第ｎ番目の単位区間における画像音符列の音符（短音または和音）の音高を表現し、Ｎ個の単位データＵA[1]〜ＵA[N]の時系列（すなわち画像音符列データＱA）は、画像音符列における各音符の音高の時間的な遷移（Ｎ個の単位区間にわたる変化）を表現する。

図３の情報解析部３４は、論理楽譜データＤBが表す論理楽譜の論理音符列を表現する論理音符列データＱBを生成する（ＳB）。論理音符列データＱBは、図６に例示される通り、Ｍ個（Ｍは２以上の自然数）の単位データＵB[1]〜ＵB[M]の時系列を包含する。Ｍ個の単位データＵB[1]〜ＵB[M]は、対象楽曲の複数の単位区間のうち論理音符列の１個以上の音符（単音または和音）の開始点を含むＭ個の単位区間に１対１に対応する。したがって、論理音符列データＱBに包含される単位データＵB[m]（ｍ＝１〜Ｍ）の個数Ｍは、対象楽曲の楽曲長や論理音符列の音符数に応じた可変値である。画像解析部３２による符頭Ｈの認識誤差等に起因して画像音符列の音符数と論理音符列の音符数とは厳密には合致しない。したがって、画像音符列の単位データＵA[n]の個数Ｎと論理音符列の単位データＵB[m]の個数Ｍとは、相互に近似した数値（理想的には相等しい数値）であるが必ずしも合致しない。

論理音符列データＱBのＭ個の単位データＵB[1]〜ＵB[M]の各々は、前述の単位データＵA[n]と同様に、相異なる音高に対応するＫ個の要素ｂ[1]〜ｂ[K]を包含する。情報解析部３４は、第ｍ番目の単位区間に対応する単位データＵB[m]の各要素ｂ[k]を、論理音符列の第ｍ番目の単位区間における第ｋ番目の音高の音符の有無に応じた数値に設定される。具体的には、単位データＵB[m]に包含されるＫ個の要素ｂ[1]〜ｂ[K]のうち、論理音符列にて第ｍ番目の単位区間に存在する音符の音高に対応する１個以上の要素ｂ[k]が数値１に設定されるとともに残余の各要素ｂ[k]が数値０に設定される。

例えば、論理音符列の第ｍ番目の単位区間に第ｋ1番目の音高の１個の音符が単独で存在する場合、単位データＵB[m]のうち第ｋ1番目の要素ｂ[k1]が数値１に設定されるととも残余の(Ｋ−１)個の各要素ｂ[k]は数値０に設定される。また、第ｋ1番目および第ｋ2番目の音高の２個の音符が論理音符列の第ｍ番目の単位区間に存在する場合、単位データＵB[m]のうち第ｋ1番目の要素ｂ[k1]と第ｋ2番目の要素ｂ[k2]とが数値１に設定されるとともに残余の(Ｋ−２)個の各要素ｂ[k]は数値０に設定される。すなわち、論理音符列データＱBの１個の単位データＵB[m]は、論理音符列の単音に加えて和音も表現し得る。

以上の説明から理解される通り、論理音符列データＱBの任意の１個の単位データＵB[m]は、第ｍ番目の単位区間における論理音符列の音符（単音または和音）の音高を表現し、Ｍ個の単位データＵB[1]〜ＵB[M]の時系列は、論理音符列における各音符の音高の時間的な遷移を表現する。

図３の音符列対比部３６は、画像音符列データＱAで表現される画像音符列と論理音符列データＱBで表現される論理音符列との対比で楽譜解析データＤCを生成する。画像音符列と論理音符列との対比には公知の技術が任意に採用され得るが、以下に例示されるＤＰ（Dynamic Programming）マッチングが好適である。

音符列対比部３６は、画像音符列データＱAのＮ個の単位データＵA[1]〜ＵA[N]と論理音符列データＱBのＭ個の単位データＵB[1]〜ＵB[M]とから１個の単位データＵA[n]と１個の単位データＵB[m]とを選択する全通りの組合せについて類似度Ｓ[n,m]を算定する。したがって、図６に例示される通り、類似度Ｓ[1,1]〜Ｓ[N,M]で構成されるＮ行×Ｍ列の解析行列（コストマトリクス）Ｗが生成される。類似度Ｓ[n,m]は、単位データＵA[n]と単位データＵB[m]との類似の度合（相関または距離）を評価するための指標である。第１実施形態の音符列対比部３６は、単位データＵA[n]と単位データＵB[m]とのコサイン距離を類似度Ｓ[n,m]として算定する。したがって、単位データＵA[n]と単位データＵB[m]とが相互に類似するほど類似度Ｓ[n,m]は増加する。

音符列対比部３６は、解析行列Ｗにおいて単位データＵA[1]と単位データＵB[1]との組合せに対応する地点（節点）から単位データＵA[N]と単位データＵB[M]との組合せに対応する地点までの複数の経路のうち、経路上の各地点の類似度Ｓ[n,m]の累積値が最大となる最適経路（マッチングパス）Ｐを探索する。類似度Ｓ[n,m]の累積値の算定には、各地点間の移動のコストを加味することも可能である。音符列対比部３６は、最適経路Ｐ上の各地点における単位データＵA[n]と単位データＵB[m]との組合せに対応する音符データＣを最適経路Ｐの全区間にわたり時系列に配列することで楽譜解析データＤCを生成する。

具体的には、単位データＵA[n]と単位データＵB[m]との組合せに対応する音符データＣの解析位置情報ＣAは、画像音符列のうち第ｎ番目の単位区間の音符について画像解析部３２が楽譜画像データＤAの楽譜画像から特定（ＳA1，ＳA2）した符頭Ｈの座標Ｘに設定される。また、単位データＵA[n]と単位データＵB[m]との組合せに対応する音符データＣの解析属性情報ＣBは、論理音符列のうち第ｍ番目の単位区間の音符について論理楽譜データＤBが指定する属性情報Ｂ（拍識別子Ｂ1，音高Ｂ2，音価Ｂ3）に設定される。すなわち、楽譜画像データＤAが表現する楽譜画像の各音符と、論理楽譜データＤBが表現する論理楽譜の各音符との対応関係が楽譜解析データＤCにて規定される。以上が楽譜解析部２２の具体的な構成および動作である。

図１の楽譜利用部２４は、楽譜解析部２２による解析結果（楽譜解析データＤC）を利用する。第１実施形態の楽譜利用部２４は、楽譜画像データＤAを利用した楽譜表示と論理楽譜データＤBを利用した楽曲再生（自動演奏）とを並列に実行する。具体的には、楽譜利用部２４は、楽譜画像データＤAで表現される楽譜画像を表示装置１４に表示させるととともに、論理楽譜データＤBの論理楽譜で指定される対象楽曲の再生音を放音装置１６から放射させる。

また、第１実施形態の楽譜利用部２４は、楽譜画像データＤAが示す楽譜画像のうち論理楽譜における現在の再生位置に対応する部分（小節や音符）を楽譜解析データＤCの参照により順次に特定して当該部分を強調表示する。例えば、楽譜利用部２４は、表示装置１４に表示された楽譜画像の複数の音符のうち論理楽譜での再生位置に対応する音符を、残余の各音符とは別個の強調された態様で表示（例えば別色表示や点滅表示）させる。強調表示の対象となる音符は、対象楽曲の再生に連動して経時的に遷移する。すなわち、楽譜画像データＤAを利用した楽譜表示（再生位置の表示）と論理楽譜データＤBを利用した楽曲再生とが相互に同期する。したがって、利用者は、表示装置１４に表示された楽譜画像を視認することで対象楽曲の楽譜の内容と現在の再生位置とを視覚的に確認しながら対象楽曲の再生音を聴取することが可能である。

以上に説明した通り、第１実施形態では、楽譜画像データＤAが表す楽譜画像から特定される画像音符列と論理楽譜データＤBが表す論理音符列との対比により、画像音符列の各音符と論理音符列の各音符との対応関係が特定される。したがって、楽譜画像データＤAと論理楽譜データＤBとを併用した多様な楽譜利用を実現することが可能である。

例えば、楽譜画像データＤAは、所期の形態（作成者が意図したレイアウト）で楽譜を表示できる反面、楽譜内の音符や音楽記号等の要素を情報として正確に認識することが困難である。他方、論理楽譜データＤBは、楽譜内の要素を正確かつ詳細に把握できる反面、所期の形態での楽譜の表示が困難である（レンダリングエンジンのアルゴリズムに依存する）。第１実施形態では、楽譜画像データＤAから特定される画像音符列の各音符と論理楽譜データＤBから特定される論理音符列の各音符との対応関係が解析されるから、楽譜画像データＤAの利用により所期の形態で対象楽曲の楽譜を表示しながら、論理楽譜データＤBで表現される正確かつ詳細な情報のもとで対象楽曲を再生することが可能である。以上の説明から理解される通り、第１実施形態によれば、楽譜画像データＤAの利点と論理楽譜データＤBの利点との双方を有効に併用できる（両者の欠点を相互に補完する）という利点がある。

第１実施形態では、楽譜画像の各音符の符頭Ｈの抽出と各音符の音高の推定とにより画像音符列が特定されるから、各音符の音高を推定しない構成（符頭Ｈが抽出された各音符の配列を画像音符列として特定する構成）と比較して画像音符列の各音符と論理音符列の各音符との対応関係を高精度に特定できるという利点がある。第１実施形態では特に、楽譜画像から抽出される音楽記号（五線譜，音部記号，変化記号）を利用して各音符の音高が推定されるから、例えば符頭Ｈの位置のみから各音符の音高を推定する構成と比較して、画像音符列の各音符の音高を高精度に推定できるという利点がある。

第１実施形態では、画像音符列データＱAの各単位データＵA[n]が、画像音符列における各音高の音符の有無に応じた数値のＫ個の要素ａ[1]〜ａ[K]を包含するから、単位区間内の１個の音符（単音）に加えて、相互に並列に発音される複数の音符（典型的には和音）が単位データＵA[n]で表現される。したがって、和音を含む対象楽曲についても画像音符列を適切に表現できるという利点がある。同様に、論理音符列データＱBの各単位データＵB[m]は、論理音符列における各音高の音符の有無に応じた数値のＫ個の要素ｂ[1]〜ｂ[K]を包含するから、和音を含む対象楽曲についても論理音符列を適切に表現できるという利点がある。

ところで、音高が近い複数の音符で構成される和音を楽譜上で表現する場合、図７に例示されるように和音の各構成音（ｖ1，ｖ2）の時間軸上の位置が楽譜上で相違する場合がある。和音の構成音ｖ1と構成音ｖ2とは実際には同時に発音される音符であるが、図７の楽譜画像を画像解析部３２が解析した場合、構成音ｖ1と構成音ｖ2とは別個の単位区間の音符と認識されて相異なる単位データＵA[n]で表現される可能性がある。しかし、第１実施形態では、画像音符列と論理音符列との対比にＤＰマッチング（動的時間伸縮）を採用するから、構成音ｖ1と構成音ｖ2とは論理楽譜の１個の音符に共通に対応する結果となり、構成音ｖ1と構成音ｖ2との時間軸上の位置の相違は特段の問題とならない。以上の説明から理解される通り、対象楽曲の複数の音符が楽譜上で同時であるか否か（和音を構成するか別個の音符であるか）を楽譜画像の解析の過程で厳密に認識する必要はない。

＜第２実施形態＞
本発明の第２実施形態を説明する。以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用した各々の詳細な説明を適宜に省略する。

図８は、第２実施形態に係る楽譜解析装置１００Bの構成図である。第２実施形態の楽譜解析装置１００Bは、通信網９０（例えばインターネット）を介して端末装置９２と通信可能なサーバ装置（典型的にはウェブサーバ）で実現される。端末装置９２は、例えば携帯電話機またはスマートフォン等の可搬型の通信端末やパーソナルコンピュータ等の可搬型または据置型の通信端末である。

楽譜解析装置１００Bは、演算処理装置６０と記憶装置６２とを具備するコンピュータシステムで実現される。記憶装置６２は、演算処理装置６０が実行するプログラムや演算処理装置６０が使用する各種のデータを記憶する。例えば半導体記録媒体または磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置６２として任意に採用され得る。第２実施形態の記憶装置６２は、複数の楽曲の各々について論理楽譜データＤBを記憶する。他方、端末装置９２は、相異なる楽曲の楽譜を表す複数の楽譜画像データＤAを保持する。図８に例示される通り、複数の楽譜画像データＤAのうち利用者が選択した対象楽曲の楽譜画像データＤAが端末装置９２から通信網９０を介して楽譜解析装置１００Bに送信される。なお、楽譜解析装置１００Bが複数の楽譜画像データＤAを保持する構成では、利用者が選択した対象楽曲を識別するための識別情報を端末装置９２から楽譜解析装置１００Bに送信する（楽譜画像データＤA自体は送信しない）ことも可能である。楽譜解析装置１００Bは、端末装置９２から受信した識別情報で特定される楽譜画像データＤAを処理対象として選択する。

楽譜解析装置１００Bの演算処理装置６０は、記憶装置６２に記憶されたプログラムを実行することで第１実施形態と同様の楽譜解析部２２として機能する。楽譜解析装置１００Bの楽譜解析部２２は、記憶装置６２に記憶された複数の論理楽譜データＤBのうち端末装置９２から受信した楽譜画像データＤAの対象楽曲に対応する論理楽譜データＤBを選択する。そして、楽譜解析部２２は、端末装置９２から受信した楽譜画像データＤAで表現される楽譜画像の画像音符列（画像音符列データＱA）と、記憶装置６２から選択した論理楽譜データＤBで表現される論理楽譜の論理音符列（論理音符列データＱB）とを対比することで、画像音符列の各音符と論理音符列の各音符との対応関係を示す楽譜解析データＤCを生成する。楽譜解析部２２の具体的な構成や動作は第１実施形態と同様である。なお、以上の例示では、端末装置９２から受信した楽譜画像データＤAの対象楽曲に対応する論理楽譜データＤBを選択したが、楽譜画像データＤAと各論理楽譜データＤBとの相関を推定し、楽譜画像データＤAとの相関が最大となる論理楽譜データＤBを選択することも可能である。

楽譜解析装置１００Bは、楽譜解析部２２が生成した楽譜解析データＤCと対象楽曲の論理楽譜データＤBとを端末装置９２に送信する。したがって、対象楽曲の楽譜画像データＤAおよび論理楽譜データＤBと、対象楽曲の楽譜画像と論理楽譜との対応関係を示す楽譜解析データＤCとが端末装置９２に保持される。端末装置９２は、第１実施形態で例示した楽譜利用部２４として機能する。すなわち、端末装置９２は、楽譜解析装置１００B（楽譜解析部２２）が生成した楽譜解析データＤCを参照することで、楽譜画像データＤAを利用した楽譜表示（再生位置の表示）と論理楽譜データＤBを利用した楽曲再生とを相互に同期させながら並列に実行する。第２実施形態においても第１実施形態と同様の効果が実現される。

なお、以上の説明では、楽譜解析装置１００Bが第１実施形態と同様の楽譜解析部２２を具備する構成を例示したが、楽譜画像データＤAが表す楽譜画像の解析で画像音符列（画像音符列データＱA）を特定する処理（ＳA）を端末装置９２にて実行し、画像音符列データＱAを端末装置９２から楽譜解析装置１００Bに送信する構成も採用される。楽譜解析装置１００Bは、端末装置９２から受信した画像音符列データＱAと記憶装置６２の論理楽譜データＤBから特定される論理音符列データＱBとを対比することで楽譜解析データＤCを生成する。以上の説明から理解される通り、第１実施形態の画像解析部３２は楽譜解析装置１００Bから省略され得る。なお、楽譜音符列データＱAを識別するための識別情報を端末装置９２から楽譜解析装置１００Bに送信する構成や、複数の論理楽譜データＤBのうち楽譜音符列データＱAとの相関が最大となる論理楽譜データＤBを選択することも可能である。

＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）前述の各形態では、楽曲の各音符の音高を加味して画像音符列と論理音符列とを対比したが、各音符の音高の参照は省略され得る。例えば、楽譜画像（楽譜画像データＤA）から抽出された各符頭Ｈを時系列に配列した画像音符列と、論理楽譜から特定される論理音符列とを対比して、画像音符列の各音符（符頭Ｈ）と論理音符列の各音符とを時間軸上の順番で１対１に対応させることも可能である。

（２）前述の各形態では、各音符の音高を参照して画像音符列と論理音符列とを対比したが、楽譜画像データＤAおよび論理楽譜データＤBから特定可能な音高以外の情報を利用して画像音符列と論理音符列とを対比することも可能である。例えば、符頭Ｈが白玉（全音符または二分音符）および黒玉（４分音符を下回る音価の音符）の何れに該当するかを楽譜画像から判別し、画像音符列と論理音符列との対比時に白玉／黒玉の判別結果（画像音符列の各音符の音価の長短）を考慮することが可能である。具体的には、音符列対比部３６は、画像音符列のうち黒玉の符頭Ｈに対応する音符と論理音符列のうち所定値を上回る音価の音符（すなわち本来的に白玉の符頭Ｈで表現されるべき音符）とは対応しないという条件のもとで、画像音符列の各音符と論理音符列の各音符との対応関係を解析する。なお、本発明における音符の概念には休符も包含される。すなわち、楽譜画像データＤAの楽譜画像から認識される休符（画像音符列）と論理楽譜データＤBで指定される休符（論理音符列）との対応関係を解析することも可能である。また、楽譜画像データＤAが示す楽譜画像から抽出される小節線（相前後する各小節の境界線）と論理楽譜データＤBが示す論理楽譜の小節線との関係を、画像音符列と論理音符列との対比時に参照することも可能である。例えば、音符列解析部は、相互に対応する小節内で画像音符列の各音符（休符を含む）と論理音符列の各音符とを対応させる。

（３）前述の各形態では、画像音符列の各音符と論理音符列の各音符との対応関係の解析に着目したが、画像音符列と論理音符列との相互間で各音符の対応関係が特定されれば、楽譜画像データＤAが表す楽譜画像の各音符に付随する音楽情報を論理楽譜データＤBから認識（補完）することも可能である。例えば、楽譜画像データＤAで表現される楽譜画像の各音符について、例えばスタッカートやスラー等の演奏記号，対象楽曲の特定の区間の反復を意味する反復記号，小節の境界を示す小節線，声部（右手／左手）等の各種の音楽記号を、楽譜画像の画像認識を必要とせずに論理楽譜データＤBから補完することが可能である。

画像音符列の各音符と論理音符列の各音符との対応関係の解析結果を、楽譜画像データＤAで表現される楽譜画像の画像認識に利用することも可能である。例えば、論理楽譜データＤBで特定の音符にスタッカートが指定されている場合には、論理楽譜データＤBを参照することで、楽譜画像データＤAの楽譜画像のうち当該音符の近傍のスタッカートを高精度に認識することが可能である。同様に、論理楽譜データＤBを参照することで、楽譜画像に包含される調号や臨時記号（フラット，シャープ，ナチュラル）等の音楽記号を高精度に認識することも可能である。また、以上のように論理楽譜データＤBを参照して楽譜画像を認識した結果を楽譜画像の編集に利用することも可能である。例えば、前述の例示のように論理楽譜データＤBを参照することで楽譜画像から高精度に認識された音楽記号（例えばスタッカート）を、利用者からの指示に応じて楽譜画像から削除（または表示対象から除外）するといった編集が実現される。すなわち、論理楽譜データＤBの編集のように利用者が楽譜画像データＤAを細緻に編集することが可能である。

以上のように論理楽譜データＤBを参照することで楽譜画像データＤAの編集が可能となるから、例えば利用者からの指示に応じた論理楽譜データＤBの編集の内容を楽譜画像データＤAの楽譜画像に同様に反映させることも可能である。また、楽譜画像データＤAで表現される楽譜画像の一部または全部を、論理楽譜データＤBで表現される論理楽譜の画像に置換することも可能である。例えば、初期的には楽譜画像データＤAの楽譜画像を表示装置１４に表示させ、利用者から対象楽曲の調の変更が指示された場合に、変更後の調の論理楽譜を論理楽譜データＤBから生成して表示装置１４に表示させる。論理楽譜データＤBで指定される論理楽譜の情報を楽譜画像データＤAに埋込むことも可能である。

（４）前述の各形態では、楽譜画像から抽出された五線譜（大譜表）と音部記号と変化記号とを利用して画像音符列の各音符の音高を推定したが、音高の推定に利用される情報は以上の例示に限定されない。例えば、変化記号の参照を省略することも可能である。すなわち、楽譜画像から抽出された五線譜と音部記号を参照して各音符の音高（音部記号を反映させない各音符の音高）を推定することも可能である。なお、画像音符列の各音符について音部記号を反映させない音高を推定する構成では、論理音符列についても音部記号を反映させない音高が論理楽譜データＤBから音符毎に特定されて画像音符列の各音符と対比される。また、例えば対象楽曲の音部記号の種類が事前に判明している場合には、各音符の符頭Ｈと五線譜との位置関係のみから各音符の音高を推定する（音部記号を加味せずに各音符の音高を推定する）ことも可能である。以上の例示から理解される通り、前述の各形態の画像解析部３２は、五線譜と音部記号と変化記号との少なくともひとつを含む音楽記号を楽譜画像から抽出して各音符の音高を推定する要素として包括的に表現される。

（５）前述の各形態では、楽譜画像データＤAを利用した楽譜表示と論理楽譜データＤBを利用した楽曲再生との同期に楽譜解析データＤCを利用したが、楽譜解析データＤCの利用方法は以上の例示に限定されない。例えば、利用者による演奏内容を示す演奏データを時系列に出力する電子楽器（例えばMIDI楽器）が使用される場面を想定する。楽譜利用部２４は、電子楽器からの演奏データを論理楽譜データＤBに照合することで対象楽曲の論理楽譜のうち利用者による現在の演奏位置を特定し、楽譜画像データＤAが示す楽譜画像のうち論理楽譜での現在の演奏位置に対応する部分（小節や音符）を楽譜解析データＤCの参照により順次に特定して当該部分を強調表示する。すなわち、利用者による電子楽器の演奏に連動して楽譜画像での強調表示の対象が経時的に遷移する。したがって、利用者は、楽譜画像のうち自身の現在の演奏位置を確認しながら電子楽器の演奏を練習することが可能である。

（６）楽譜画像データＤAは、例えば用紙に印刷された楽譜を画像読取装置（例えばスキャナ）で読取ることでも生成され得る。ただし、画像読取の精度の問題で楽譜を正確に読取れない可能性がある。したがって、画像読取装置で楽譜を複数回（典型的には３回以上）にわたり読取り、各楽譜画像データＤAと論理楽譜データＤBとの解析結果を総合的に評価する構成が好適である。例えば、画像音符列と論理音符列との対応関係の解析結果が、読取誤差に起因して、楽譜画像データＤA毎に相違する場合には、相異なる楽譜画像データＤAに対応する複数の解析結果のうち多数の解析結果に現れる対応関係が確定的な解析結果として採択（すなわち多数決）される。以上の構成によれば、楽譜の読取精度が低い場合でも画像音符列と論理音符列との対応関係を高精度に解析できるという利点がある。

（７）前述の各形態では、MusicXML形式のファイルを論理楽譜データＤBとして例示したが、論理楽譜データＤBの形式は任意である。例えば、音高と発音期間とを音符毎に指定する時系列データ（例えばMIDI形式のファイル）を論理楽譜データＤBとして、論理音符データＤBの論理音符列と楽譜画像データＤAの画像音符列との対応関係を解析することも可能である。

１００A，１００B……楽譜解析装置、１０，６０……演算処理装置、１２，６２……記憶装置、１４……表示装置、１６……放音装置、２２……楽譜解析部、２４……楽譜利用部、３２……画像解析部、３４……情報解析部、３６……音符列対比部。

Claims (7)

1. 楽譜画像データが表す楽曲の楽譜画像から特定される複数の音符の時系列である画像音符列と、前記楽曲の楽譜の内容が記述された論理楽譜データが表す複数の音符の時系列である論理音符列との対比により、前記画像音符列の各音符と前記論理音符列の各音符との対応関係を特定する音符列対比手段を具備し、
   前記音符列対比手段は、前記画像音符列を表す画像音符列データと前記論理音符列を表す論理音符列データとを対比し、
   前記画像音符列データおよび前記論理音符列データの各々は、相異なる音高に対応する複数の要素を含む単位データの時系列を含む
   楽譜解析装置。
2. 前記画像音符列データの各単位データの前記複数の要素の各々は、前記画像音符列のうち当該単位データに対応する区間での各音高の音符の有無に応じた数値に設定される
   請求項１の楽譜解析装置。
3. 前記論理音符列データの各単位データの前記複数の要素の各々は、前記論理音符列のうち当該単位データに対応する区間での各音高の音符の有無に応じた数値に設定される
   請求項１または請求項２の楽譜解析装置。
4. 前記楽譜画像データが表す楽譜画像から前記楽曲の各音符の符頭を抽出することで前記画像音符列を特定する画像解析手段を具備し、
   前記音符列対比手段は、前記画像解析手段が特定した前記画像音符列と、前記論理楽譜データが表す前記論理音符列とを対比する
   請求項１から請求項３の何れかの楽譜解析装置。
5. 前記画像解析手段は、前記楽譜画像データが表す楽譜画像の解析により前記楽曲の各音符の音高を推定して前記画像音符列を特定する
   請求項４の楽譜解析装置。
6. 前記画像解析手段は、五線譜と音部記号と変化記号との少なくともひとつを含む音楽記号を前記楽譜画像から抽出し、当該音楽記号を利用して前記各音符の音高を推定する
   請求項５の楽譜解析装置。
7. 楽譜画像データが表す楽曲の楽譜画像から特定される複数の音符の時系列である画像音符列と、前記楽曲の楽譜の内容が記述された論理楽譜データが表す複数の音符の時系列である論理音符列との対比により、前記画像音符列の各音符と前記論理音符列の各音符との対応関係を特定する音符列対比ステップを含み、
   前記音符列対比ステップでは、前記画像音符列を表す画像音符列データと前記論理音符列を表す論理音符列データとを対比し、
   前記画像音符列データおよび前記論理音符列データの各々は、相異なる音高に対応する複数の要素を含む単位データの時系列を含む
   楽譜解析方法。

Images