JP6838659B2 - コード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラム - Google Patents

Description

本発明は、譜面の画像データからコード情報を抽出するコード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラムに関する。

従来、スキャナ等を用いて譜面の画像データを取得し、その画像データから曲に関する種々の情報を抽出することが提案されている。例えば、特許文献１には、電子楽器および画像取り込み装置により構成される電子楽器システムが記載されている。画像取り込み装置は、スキャナまたはデジタルカメラ等からなり、紙面に印刷された楽譜（印刷楽譜）から曲情報を読み取る。曲情報は、通常の楽譜情報に加えて、曲の演奏に関連付けられたレジストレーション等の設定情報を含む。読み取った曲情報を楽譜画像情報に変換し、その楽譜画像情報を電子楽器に入力する。電子楽器は、楽譜画像情報を取得すると、画像解析技術を用いた楽譜読み込み処理により楽譜画像情報を曲データに変換して読み込む。
特許第４７０２１３９号公報

譜面には、曲中のコード（和音）を表すコード情報（例えば、コードネーム）が表記されることがある。このような一般的な譜面に表記されたコード情報を効率良く抽出することが求められる。上記の電子楽器システムでは、設定情報として例えばＱＲコード（登録商標）が印刷楽譜に付され、ＱＲコード（登録商標）を読み込むことによって設定情報を取得することができる。しかしながら、一般的な譜面に加えてＱＲコード（登録商標）を用意する必要があるので、利便性が低い。

本発明の目的は、譜面画像データからコード情報を効率良く抽出することが可能なコード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラムを提供することである。

本発明の一局面に従うコード情報抽出装置は、参照譜面を表す譜面画像データを取得する取得部と、取得された譜面画像データに基づいて、予め定められた複数の譜面タイプのうち参照譜面の譜面タイプを決定する譜面タイプ決定部と、複数の譜面タイプとコード情報の抽出の対象となるコード抽出領域との関係を定めた抽出領域情報に基づいて、参照譜面におけるコード抽出領域を決定する抽出領域決定部と、決定されたコード抽出領域に基づいて、取得された譜面画像データからコード情報を抽出するコード情報抽出部とを備える。

抽出領域決定部は、コード抽出領域として優先度が異なる第１および第２の抽出領域を決定し、コード情報抽出部は、第１の抽出領域におけるコード情報の有無を判定し、第１の抽出領域にコード情報がない場合に第２の抽出領域におけるコード情報の有無を判定してもよい。抽出領域情報は、譜面タイプによって異なるコード抽出領域を定めてもよい。

譜面タイプ決定部は、参照譜面が、楽譜の一部を構成する１または複数の横線を譜面線として含むか否かに基づいて、参照譜面の譜面タイプを決定してもよい。譜面タイプ決定部は、譜面線が互いに平行でかつ等間隔に配置された５本の横線により構成されるか否かに基づいて、参照譜面の譜面タイプを決定してもよい。譜面タイプ決定部は、参照譜面が上下に並ぶように配置された複数の譜面線を含み、かつ複数の譜面線が縦線によって互いに連結されているか否かに基づいて、参照譜面の譜面タイプを決定してもよい。譜面タイプ決定部は、譜面線が互いに平行でかつ等間隔に配置された６本の横線により構成されるか否かに基づいて、参照譜面の譜面タイプを決定してもよい。

本発明の他の局面に従うコード情報抽出方法は、参照譜面を表す譜面画像データを取得するステップと、取得された譜面画像データに基づいて、予め定められた複数の譜面タイプのうち参照譜面の譜面タイプを決定するステップと、複数の譜面タイプとコード情報の抽出の対象となるコード抽出領域との関係を定めた抽出領域情報に基づいて、参照譜面におけるコード抽出領域を決定するステップと、決定されたコード抽出領域に基づいて、取得された譜面画像データからコード情報を抽出するステップとを含む。

本発明のさらに他の局面に従うコード情報抽出プログラムは、参照譜面を表す譜面画像データを取得するステップと、取得された譜面画像データに基づいて、予め定められた複数の譜面タイプのうち参照譜面の譜面タイプを決定するステップと、複数の譜面タイプとコード情報の抽出の対象となるコード抽出領域との関係を定めた抽出領域情報に基づいて、参照譜面におけるコード抽出領域を決定するステップと、決定されたコード抽出領域に基づいて、取得された譜面画像データからコード情報を抽出するステップとを、コンピュータに実行させるためのものである。

本発明によれば、譜面画像データからコード情報を効率良く抽出することができる。

図１は本発明の実施の形態に係るコード情報抽出装置の構成を示すブロック図である。 図２はコード情報抽出装置の機能的な構成を示すブロック図である。 図３は譜面タイプとコード抽出領域との関係について説明するための図である。 図４は譜面タイプとコード抽出領域との関係について説明するための図である。 図５は譜面タイプとコード抽出領域との関係について説明するための図である。 図６はコード情報の抽出例について説明するための図である。 図７はコード抽出領域の他の決定例について説明するための図である。 図８はコード情報抽出処理の一例を示すフローチャートである。 図９は譜面タイプ決定処理の一例を示すフローチャートである。

以下、本発明の実施の形態に係るコード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラムについて図面を用いて詳細に説明する。

［１］コード情報抽出装置の構成
図１は本発明の実施の形態に係るコード情報抽出装置の構成を示すブロック図である。図１のコード情報抽出装置１００は、譜面を表す譜面画像データからコード（和音）を表すコード情報を抽出する。

図１のコード情報抽出装置１００は、譜面入力部１、操作部４、表示部６、ＲＡＭ（ランダムアクセスメモリ）９、ＲＯＭ（リードオンリメモリ）１０、ＣＰＵ（中央演算処理装置）１１、記憶装置１３および通信Ｉ／Ｆ（インターフェース）１４を備える。これらの構成要素は、それぞれバス１９に接続される。

譜面入力部１は、紙等の記録媒体に印刷された譜面を読み込み、その譜面を表す譜面画像データをＣＰＵ１１に入力する。例えば、譜面入力部１はスキャナであり、光源および光電変換素子を含む。光源から譜面に光が照射され、その反射光が光電変換素子により受光される。光電変換素子は、受光した光に基づいて譜面画像データを生成する。

操作部４は、ユーザにより操作される種々の操作子を含み、電源のオンオフおよび各種設定を行うために用いられる。表示部６は、例えば液晶ディスプレイを含み、抽出されたコード情報を表示する。操作部４および表示部６の少なくとも一部がタッチパネルディスプレイにより構成されてもよい。

ＲＡＭ９、ＲＯＭ１０およびＣＰＵ１１がコンピュータ２００を構成する。ＲＡＭ９は、例えば揮発性メモリからなり、ＣＰＵ１１の作業領域として用いられるとともに、各種データを一時的に記憶する。ＲＯＭ１０は、例えば不揮発性メモリからなり、制御プログラム、コード情報抽出プログラム等のコンピュータプログラムを記憶する。ＣＰＵ１１は、ＲＯＭ１０に記憶されたコード情報抽出プログラムをＲＡＭ９上で実行することにより後述するコード情報抽出処理を行う。

記憶装置１３は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。記憶装置１３には、抽出領域情報が記憶される。抽出領域情報の詳細については後述する。記憶装置１３に１または複数の譜面画像データが記憶されていてもよく、あるいは記憶装置１３にコード情報抽出プログラムが記憶されていてもよい。

通信Ｉ／Ｆ１４は、外部記憶装置等の種々の外部機器に接続可能である。また、通信Ｉ／Ｆ１４が通信網に接続されてもよい。通信Ｉ／Ｆ１４が外部記憶装置に接続されている場合、コード情報抽出プログラム、譜面画像データおよび抽出領域情報の少なくとも１つが、外部記憶装置に記憶されていてもよい。

本実施の形態におけるコード情報抽出プログラムは、コンピュータが読み取り可能な記憶媒体に格納された形態で提供され、ＲＯＭ１０または記憶装置１３にインストールされてもよい。また、通信Ｉ／Ｆ１４が通信網に接続されている場合、通信網に接続されたサーバから配信されたコード情報抽出プログラムがＲＯＭ１０または記憶装置１３にインストールされてもよい。同様に、譜面画像データおよび抽出領域情報の少なくとも１つが、記憶媒体から取得されてもよく、通信網に接続されたサーバから取得されてもよい。

［２］コード情報抽出装置の機能的な構成
図２は、コード情報抽出装置１００の機能的な構成を示すブロック図である。図２に示すように、コード情報抽出装置１００は、取得部５１、譜面タイプ決定部５２、抽出領域決定部５４、コード情報抽出部５５および表示制御部５６を含む。これらの構成要素の機能は、図１のＣＰＵ１１がコード情報抽出プログラムを実行することにより実現される。

取得部５１は、譜面入力部１により入力された譜面画像データを取得する。取得部５１は、図１の記憶装置１３、通信Ｉ／Ｆ１４に接続された外部記憶装置、あるいは通信網に接続されたサーバのいずれかから譜面画像データを取得してもよい。以下、取得された譜面画像データが表す譜面を参照譜面と呼ぶ。また、参照譜面に対応する曲（参照譜面に従って演奏される曲）を参照曲と呼ぶ。

譜面タイプ決定部５２は、取得された譜面画像データに基づいて、予め定められた複数の譜面タイプのうち、参照譜面の譜面タイプを決定する。譜面タイプは、譜面の種類を表す。譜面タイプとしては、例えば、リードシート、ピアノ譜、タブラチュア譜、ギターコード譜およびテキストコード譜がある。これらの譜面タイプの具体例については後述する。

抽出領域決定部５４は、記憶装置１３に記憶される抽出領域情報ＲＧに基づいて、参照譜面におけるコード抽出領域を決定する。コード抽出領域は、コード情報の抽出の対象となる領域である。後述のように、譜面タイプごとにコード情報の表記位置には一定の傾向がある。そこで、譜面タイプとコード抽出領域との関係が抽出領域情報ＲＧとして予め定められる。本例において、抽出領域情報ＲＧは、各譜面タイプについて、楽譜における基準となる指標（以下、譜面指標と呼ぶ。）と、コード抽出領域との相対的な位置関係を定める。

コード情報抽出部５５は、決定されたコード抽出領域に基づいて、取得された譜面画像データからコード情報を抽出する。具体的には、コード情報抽出部５５は、譜面画像データに基づいて、コード抽出領域におけるコード情報の有無を判定し、コード抽出領域にコード情報が表記されている場合、そのコード情報を譜面画像データから抽出する。コード情報は、例えばコードネームで表記される。

表示制御部５６は、抽出されたコード情報が表示されるように表示部６を制御する。例えば、表示制御部５６は、抽出されたコード情報を含むテキストコード譜（後述の図５参照）を表示部６の画面上に表示させる。

［３］譜面タイプとコード抽出領域との関係
図３、図４および図５は、譜面タイプとコード抽出領域との関係について説明するための図である。図３〜図５の例では、各コード情報がコードネームで表記されている。図３には、リードシートおよびピアノ譜の例が示される。図３のリードシートは、五線Ｅａおよび少なくとも１つのコード情報Ｃｉを含む。図３には、１つの五線Ｅａのみが示されるが、複数の五線Ｅａが上下に並ぶように配置されてもよい。各五線Ｅａは、互いに平行でかつ等間隔に配置された５本の横線（水平線）により構成される。通常、五線Ｅａ上には、参照曲のいずれかのパート（例えば、メロディパート）の音符列が配置される。なお、五線Ｅａの下方の領域に、参照曲の歌詞が表記されている場合もある。

各コード情報Ｃｉは、通常、五線Ｅａの上方においてその五線Ｅａと隣り合う位置に表記される。そこで、例えば、各五線Ｅａの上方における一定範囲の領域Ｒ１がコード抽出領域に決定される。この場合、抽出領域情報ＲＧは、リードシートについて、各五線Ｅａが譜面指標であることを定めるとともに、各五線Ｅａと領域Ｒ１との相対的な位置関係を定める。

図３のピアノ譜は、五線対Ｅｐおよび少なくとも１つのコード情報Ｃｉを含む。各五線対Ｅｐは、上下２段の五線Ｅａを含む。図３には、１組の五線対Ｅｐのみが示されるが、複数組の五線対Ｅｐが上下に並ぶように配置されてもよい。小節線等の特定の縦線は、五線対Ｅｐの上段の五線Ｅａと下段の五線Ｅａとを連結するように上下に連続的に延びる。各五線対Ｅｐにおいて上下に隣り合う一対の小節は、参照曲中の同じ区間を表す。

各コード情報Ｃｉは、通常、五線対Ｅｐに含まれる上段の五線Ｅａの上方においてその上段の五線Ｅａと上方に隣り合う位置に表記される。そこで、例えば、各五線対Ｅｐの上方の一定範囲の領域Ｒ２がコード抽出領域に決定される。この場合、抽出領域情報ＲＧは、ピアノ譜について、各五線対Ｅｐが譜面指標であることを定めるとともに、各五線対Ｅｐと領域Ｒ２との相対的な位置関係を定める。

図４には、タブラチュア譜およびギターコード譜の例が示される。図４のタブラチュア譜は、ギター用のタブラチュア譜（以下、ギタータブ譜と呼ぶ。）である。ギタータブ譜は、六線Ｅｂおよび少なくとも１つのコード情報を含む。六線Ｅｂは、互いに平行でかつ等間隔に配置された６本の横線により構成される。これらの６本の横線は、ギターの６本の弦にそれぞれ対応する。図４には、１つの六線Ｅｂのみが示されるが、複数の六線Ｅｂが上下に並ぶように配置されてもよい。

各コード情報Ｃｉは、通常、六線Ｅｂの上方においてその六線Ｅｂと隣り合う位置に表記される。そこで、例えば、各六線Ｅｂの上方の一定範囲の領域Ｒ３がコード抽出領域に決定される。この場合、抽出領域情報ＲＧは、ギタータブ譜について、各六線Ｅｂが譜面指標であることを定めるとともに、各六線Ｅｂと領域Ｒ３との相対的な位置関係を定める。

図４のギターコード譜は、リズム譜ＲＳおよび少なくとも１つのコードダイアグラムＣＤを含む。リズム譜ＲＳは、１本の横線（以下、リズム線Ｅｃと呼ぶ。）上にリズムを表す音符が配置された構成を有する。図４においては、一段のリズム譜ＲＳのみ示されるが、リズム譜ＲＳが複数段であってもよい。各コードダイアグラムＣＤは、通常、リズム線Ｅｃの上方においてそのリズム線Ｅｃと隣り合う位置に表記される。各コードダイアグラムＣＤは、コード情報Ｃｉと、ギターの指板の一部を表す指板図ＦＢとを含む。指板図ＦＢは、コード情報Ｃｉにより表されるコードを演奏する際に押さえるべき弦および指板上の位置を示す。

各コードダイアグラムＣＤにおいて、コード情報Ｃｉは、指板図ＦＢの左上の位置に表記される。そこで、例えば、各リズム線Ｅｃの上方でかつ１または複数の指板図ＦＢの上方の一定範囲の領域Ｒ４がコード抽出領域に決定される。この場合、抽出領域情報ＲＧは、ギターコード譜について、各リズム線Ｅｃが譜面指標であることを定めるとともに、各リズム線Ｅｃと領域Ｒ４との相対的な位置関係を定める。あるいは、各指板図ＦＢが譜面指標として用いられ、指板図ＦＢごとにその上方の領域がコード抽出領域に決定されてもよい。

図５には、テキストコード譜の例が示される。図５のテキストコード譜は、複数段に配置された複数の小節線ＢＬおよび少なくとも１つのコード情報Ｃｉを含む。各コード情報Ｃｉは、通常、左右に隣り合う２つの小節線ＢＬの間の領域に配置される。そこで、例えば、各段の左端に位置する小節線ＢＬと各段の右端に位置する小節線ＢＬとの間の一定範囲の領域Ｒ５がコード抽出領域に決定される。この場合、抽出領域情報ＲＧは、テキストコード譜について、各段の左端および右端に位置する一対の小節線ＢＬが譜面指標であることを定めるとともに、当該一対の小節線ＢＬと領域Ｒ５との相対的な位置関係を定める。あるいは、各小節線ＢＬが譜面指標として用いられ、左右に隣り合う各２つの小節線ＢＬの間の領域がコード抽出領域に決定されてもよい。

このように、譜面タイプごとにコード情報Ｃｉの表記位置に一定の傾向がある。そこで、抽出領域情報ＲＧは、各譜面タイプについて、コード情報Ｃｉがコード抽出領域に含まれるように、譜面指標とコード抽出領域との相対的な位置関係を定める。なお、図３〜図５の例のように、いずれの譜面タイプにおいても、コード情報Ｃｉは、通常、横方向に並ぶように表記される。そこで、図３〜図５の例では、横方向に延びる長尺状の領域がコード抽出領域に決定される。

［４］コード情報の抽出
譜面画像データからのコード情報の抽出の概要について、参照譜面がリードシートである場合を例に説明する。図６は、コード情報の抽出例について説明するための図である。図６の上段には、参照譜面であるリードシートの１つの五線Ｅａが示される。各五線Ｅａ上の音符の図示は省略されている。

まず、参照譜面の譜面タイプが決定される。例えば、図１の譜面入力部１により入力された譜面画像データの２値化処理および傾き補正等が行われた後、縦方向および横方向における輝度分布に基づいて五線、六線、リズム線および小節線等に関する種々の情報が検出され、それらの情報に基づいて譜面タイプが決定される。あるいは、譜面画像データが圧縮され、畳み込みニューラルネットワーク等の機械学習を用いた画像認識手法により譜面タイプが決定されてもよい。譜面タイプの具体的な決定方法については後述する。図６の例では、参照譜面の譜面タイプがリードシートであると決定される。

続いて、抽出領域情報ＲＧに基づいて、図６の中段に示すように、参照譜面におけるコード抽出領域ＣＲが決定される。上記のように、抽出領域情報ＲＧは、リードシートについて、各五線Ｅａとコード抽出領域ＣＲとの相対的な位置関係を定める。本例において、リードシートのコード抽出領域ＣＲは、各五線Ｅａの上方の矩形の領域である。

例えば、コード抽出領域ＣＲの上辺の位置は、検出された五線Ｅａの第５線（最も上に位置する横線）より予め定められた上辺距離だけ上方の位置に設定され、コード抽出領域ＣＲの下辺の位置は、検出された五線Ｅａの第５線より予め定められた下辺距離だけ上方の位置に設定される。コード抽出領域ＣＲの左辺の位置は、検出された五線Ｅａの左端の位置より予め定められた左辺距離だけ左方の位置に設定され、コード抽出領域ＣＲの右辺の位置は、検出された五線Ｅａの右端の位置より予め定められた右辺距離だけ右方の位置に設定される。コード情報Ｃｉが五線Ｅａの左端または右端より外側にはみ出ている場合でも、コード情報Ｃｉがコード抽出領域ＣＲに含まれるように、コード抽出領域ＣＲの左辺および右辺は、五線Ｅａの左端および右端よりもそれぞれ一定距離外側に位置することが好ましい。

上辺距離および下辺距離は、検出された五線Ｅａの上下方向の寸法に依存するように定められてもよい。同様に、左辺距離および右辺距離は、検出された五線Ｅａの左右方向の寸法に依存するように定められてもよい。あるいは、上下に並ぶ複数の五線Ｅａの間隔が検出され、その間隔に基づいてコード抽出領域ＣＲの上下方向の寸法が決定されてもよい。

このようにして決定されたコード抽出領域ＣＲに基づいて、譜面画像データからコード情報Ｃｉが抽出される。例えば、譜面画像データからコード抽出領域ＣＲの輝度分布が取得され、その輝度分布に基づいて、コード情報Ｃｉが抽出される。図６の例では、コードネームを表す文字群である“Ｆｍ_７”、“Ｂ^♭ｍ_７”、“Ｅ^♭ _７”および“Ａ^♭ｍａｊ_７”がそれぞれコード情報Ｃｉとして抽出される。コードネームを表す文字群は、アルファベット、数字および種々の記号を含む。

通常、コードネームを表す文字群の各文字は、一体的に構成されており、互いに離間した複数の部位を含まない。例えば、“Ｂ^♭ｍ_７”について、“Ｂ”、“^♭”、“ｍ”および“_７”の各々は、一体的に構成されている。すなわち、文字を構成する全ての部位が互いに連結されている。そのため、譜面画像データにおいて、輝度が大きく変化する部分を基準として、コードネームを表す文字の各々を精度良く抽出することができる。

参照譜面が他の譜面タイプである場合にも同様に、譜面画像データに基づいて譜面タイプが決定され、抽出領域情報ＲＧに基づいてその譜面タイプに適したコード抽出領域が決定され、決定されたコード抽出領域に基づいて譜面画像データからコード情報Ｃｉが抽出される。なお、決定されたコード抽出領域ＣＲにコード情報Ｃｉが表記されていない場合には、例えば、参照譜面からコード情報Ｃｉが抽出されなかったことを示すエラー情報が表示部６により表示されてもよい。

参照譜面における各コード情報Ｃｉの表記位置に基づいて、各コード情報Ｃｉに対応する参照曲中の時間位置が取得されてもよい。例えば、参照譜面が小節線を含む場合には、各コード情報Ｃｉと小節線との位置関係に基づいて、参照曲中における各コード情報Ｃｉの時間位置を特定することができる。時間位置は、例えば、小節番号、拍およびティック（ｔｉｃｋ）により表される。この場合、取得された時間位置に基づいて、抽出されたコード情報Ｃｉの表示、または抽出されたコード情報Ｃｉに基づく自動伴奏データの生成等を容易にかつ効率良く行うことができる。

決定されたコード抽出領域ＣＲには、音符の一部、リハーサルマークまたは小節番号等のコード情報Ｃｉ以外の情報が表記されている場合がある。そのため、これらのコード情報Ｃｉ以外の情報がコード情報Ｃｉとして誤って抽出されないように、コード情報Ｃｉと他の情報とが識別されることが好ましい。例えば、コード情報Ｃｉの表記規則が予め定められ、その表記規則に従わない情報が、抽出の対象から除外されてもよい。

譜面タイプによっては、コード情報Ｃｉの表記位置に複数のバリエーションが存在する場合がある。そこで、そのような複数のバリエーションに対応するように、複数パターンのコード抽出領域が決定されてもよい。図７は、コード抽出領域の他の決定例について説明するための図である。図７には、ピアノ譜の一例が示される。ピアノ譜においては、通常、図３の例のように、各五線対Ｅｐの上方の領域にコード情報Ｃｉが表記されるが、例外として、図７の例のように、五線対Ｅｐの上段の五線Ｅａと下段の五線Ｅａとの間の位置にコード情報Ｃｉが表記される場合がある。

そこで、コード抽出領域ＣＲとして、優先度が異なる第１および第２の領域がそれぞれ設定されてもよい。第１の領域は第２の領域よりも優先度が高い。先に第１の領域におけるコード情報Ｃｉの有無が判定される。第１の領域においてコード情報Ｃｉが検出されると、そのコード情報Ｃｉが抽出される。一方、第１の領域にコード情報Ｃｉがない場合には、続いて、第２の領域におけるコード情報Ｃｉの表記の有無が判定される。第２の領域においてコード情報Ｃｉが検出されると、そのコード情報Ｃｉが抽出される。

図７の下段の例では、五線対Ｅｐの上方の領域（上段の五線Ｅａの上方の領域）が第１の領域ＣＲａに決定され、上段の五線Ｅａと下段の五線Ｅａとの間の領域が第２の領域ＣＲｂに決定される。この場合、先に第１の領域ＣＲａにおけるコード情報Ｃｉの有無が判定され、第１の領域ＣＲａにコード情報Ｃｉが表記されていないので、続いて第２の領域ＣＲｂにおけるコード情報Ｃｉの有無が判定される。この場合、第２の領域ＣＲｂにコード情報Ｃｉが表記されているので、譜面画像データから第２の領域ＣＲｂにあるコード情報Ｃｉが抽出される。

このように、第１の領域ＣＲａにコード情報Ｃｉがない場合であっても、第２の領域ＣＲｂにコード情報Ｃｉがある場合には、譜面画像データからコード情報Ｃｉを抽出することができる。これにより、決定された譜面タイプにおけるコード情報の表記位置に複数のバリエーションがある場合でも、譜面画像データからコード情報Ｃｉを適切に抽出することができる。

なお、図７の例では、コード抽出領域として、優先度が異なる第１および第２の領域が決定され、その第１および第２の領域において２段階でコード情報Ｃｉの有無が判定されるが、優先度が異なる３パターン以上の領域が設定され、それらの領域において３段階以上でコード情報Ｃｉの有無が判定されてもよい。

［５］コード情報抽出処理
次に、本実施の形態に係るコード情報抽出方法によるコード情報抽出処理について説明する。図８は、図２の各機能部によるコード情報抽出処理の一例を示すフローチャートである。図８のコード情報抽出処理は、図１のＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶されたコード情報抽出プログラムを実行することにより行われる。

まず、取得部５１が、譜面入力部１により入力された譜面画像データを取得する（ステップＳ１）。次に、譜面タイプ決定部５２が、参照譜面の譜面タイプを決定するための譜面タイプ決定処理を行う（ステップＳ２）。譜面タイプ決定処理の詳細については後述する。次に、抽出領域決定部５４が、決定された譜面タイプおよび記憶装置１３に記憶された抽出領域情報ＲＧに基づいて、参照譜面におけるコード抽出領域を決定する（ステップＳ３）。例えば、抽出領域決定部５４は、決定された譜面タイプに対応する譜面指標を譜面画像データから検出し、その譜面指標に対して一定の位置関係を有するように参照譜面上でコード抽出領域を設定する。本例では、抽出領域決定部５４が、コード抽出領域として優先度が異なる第１および第２の領域を決定する。

次に、コード情報抽出部５５が、決定された第１の領域にコード情報があるか否かを判定する（ステップＳ４）。第１の領域にコード情報がある場合、コード情報抽出部５５は、そのコード情報を譜面画像データから抽出し（ステップＳ５）、ステップＳ８に進む。一方、第１の領域にコード情報がない場合、コード情報抽出部５５は、決定された第２の領域にコード情報があるか否かを判定する（ステップＳ６）。第２の領域にコード情報がある場合、コード情報抽出部５５は、そのコード情報を譜面画像データから抽出し（ステップＳ７）、ステップＳ８に進む。

ステップＳ８においては、表示制御部５６が、抽出されたコード情報が表示されるように表示部６を制御する（ステップＳ８）。一方、ステップＳ６において、第２の領域にコード情報がない場合、表示制御部５６は、コード情報が抽出されなかったことを示すエラー情報が表示されるように表示部６を制御する（ステップＳ９）。これにより、コード情報抽出処理が終了する。

ステップＳ２の譜面タイプ決定処理の具体例について説明する。本例では、図８のステップＳ１で取得された譜面画像データから五線、六線、リズム線および小節等の種々の情報が検出され、その情報に基づいて譜面タイプが判別される。以下の説明では、図３の五線Ｅａ、図４の六線Ｅｂおよびリズム線Ｅｃを総称して譜面線と呼ぶ。譜面線は、楽譜の一部を構成する１または複数の横線であり、参照曲中の時間の経過を表す。

なお、クレッシェンド、デクレッシェンド、ならびに反復記号と組み合わせて用いられる１番かっこおよび２番かっこ等の音楽記号は、水平または水平に近く、かつ比較的長い直線を含む場合がある。そのため、これらの音楽記号と譜面線（例えばリズム線）とが識別されることが好ましい。例えば、直線の長さ、または上下に並ぶ複数の直線の平行度および間隔等に基づいて、譜面線をこれらの音楽記号から識別することができる。

図９は、譜面タイプ決定部５２による譜面タイプ決定処理の一例を示すフローチャートである。まず、譜面タイプ決定部５２は、譜面画像データに基づいて、参照譜面が譜面線を含むか否かを判定する（ステップＳ２１）。参照譜面が譜面線を含む場合、譜面タイプ決定部５２は、譜面線が５本の横線により構成されているか否か、すなわち譜面線が五線であるか否かを判定する（ステップＳ２２）。譜面線が五線である場合、譜面タイプ決定部５２は、参照譜面が上下に並ぶ複数の五線を含み、かつ上下に隣り合う２つの五線が互いに連結されているか否かを判定する（ステップＳ２３）。

図３の例のように、ピアノ譜においては、通常、小節線等によって一対の五線Ｅａが互いに連結されている。そこで、上下に隣り合う２つの五線が互いに連結されている場合、譜面タイプ決定部５２は、参照譜面の譜面タイプがピアノ譜であると決定する（ステップＳ２４）。一方、図３の例のように、リードシートのおいては、通常、一の五線が他の五線と連結されていない。そこで、参照譜面が複数の五線を含まない場合、または上下に隣り合う２つの五線が互いに連結されていない場合、譜面タイプ決定部５２は、参照譜面の譜面タイプがリードシートであると決定する（ステップＳ２５）。

ステップＳ２２において、譜面線が五線でない場合、譜面タイプ決定部５２は、譜面線が６本の横線により構成されているか否か、すなわち譜面線が六線であるか否かを判定する（ステップＳ２６）。譜面線が六線である場合、譜面タイプ決定部５２は、参照譜面の譜面タイプがギタータブ譜であると決定する（ステップＳ２７）。譜面線が六線でない場合、譜面タイプ決定部５２は、検出された譜面線がリズム線であると判定し、参照譜面の譜面タイプがギターコード譜であると決定する（ステップＳ２８）。なお、ステップＳ２６で譜面線が六線でない場合、譜面線上の音符の有無およびコードダイアグラムの有無に基づいて、参照譜面の譜面タイプがギターコード譜であるか否かの判定が行われてもよい。譜面線上の音符およびコードダイアグラムがいずれも検出されない場合、譜面タイプ決定部５２は、後述のステップＳ３１に進んでもよい。

ステップＳ２１において、参照譜面が譜面線を含まない場合、譜面タイプ決定部５２は、参照譜面が小節線を含むか否かを判定する（ステップＳ２９）。参照譜面が小節線を含む場合、譜面タイプ決定部５２は、参照譜面の譜面タイプがテキストコード譜であると決定する（ステップＳ３０）。一方、参照譜面の濃淡の差、または参照譜面の汚れ等に起因して、譜面画像データから譜面線および小節線のいずれも検出されない場合がある。その場合、譜面タイプ決定部５２は、ユーザによる譜面タイプの指定を受け付ける（ステップＳ３１）。この場合、譜面タイプ決定部５２は、参照譜面の譜面タイプが、指定された譜面タイプであると決定する。これにより、譜面タイプ決定処理が終了する。

なお、図９の例では、参照譜面が図３〜図５のリードシート、ピアノ譜、ギタータブ譜、ギターコード譜およびテキストコード譜のいずれかである場合に、譜面画像データに基づいて参照譜面の譜面タイプが決定されるが、譜面タイプはこれらの例に限らない。例えば、リードシートにおいて、ピアノ譜のように上下２段の五線Ｅａが連結されている場合、あるいは３段以上の五線Ｅａが連結されている場合がある。また、ベース用のタブラチュア譜では、図４の六線Ｅｂの代わりに、ベースの４本の弦にそれぞれ対応する４本の横線からなる四線を含む。また、テキストコード譜として、五線または五線対上にコード情報が表記される場合、あるいは小節線が表記されずにコード情報のみが表記される場合がある。また、音符が表記されず、歌詞とコード情報とが並列に表記された譜面タイプもある。さらに、リードシート、ピアノ譜、タブラチュア譜およびリズム譜等の種々の譜面が組み合わされた総譜またはバンドスコア等もある。

これらの譜面タイプについても、図９の例と同様にして、譜面画像データから検出される譜面線および小節線等の種々の情報に基づいて、判別することは可能である。また、いずれの譜面タイプにおいても、コード情報の表記位置には一定の傾向がある。そのため、これらの種々の譜面タイプについても、譜面線および小節線等を譜面指標として用いて、コード抽出領域を適切に決定することが可能である。

［６］実施の形態の効果
本実施の形態に係るコード情報抽出装置１００においては、複数の譜面タイプとコード情報の抽出の対象となるコード抽出領域との関係を定めた抽出領域情報ＲＧに基づいて、参照譜面におけるコード抽出領域が決定される。譜面タイプごとにコード情報の表記位置には一定の傾向があるので、参照譜面の譜面タイプに対応するコード抽出領域が決定されることにより、譜面画像データからコード情報を効率良く抽出することができる。

また、本実施の形態では、参照譜面における譜面線の有無、五線の有無、六線の有無、および複数の譜面線の連結等に基づいて、参照譜面の譜面タイプが決定される。これにより、リードシート、ピアノ譜およびギタータブ譜等に代表される種々の譜面タイプを効率良く適切に決定することができる。

［７］他の実施の形態
決定された譜面タイプをユーザが変更可能であってもよい。例えば、決定された譜面タイプを確認するためのタイプ確認画面が表示部６により表示される。ユーザが、タイプ確認画面上で譜面タイプを確認することができるとともに、操作部４を操作して譜面タイプを変更することができてもよい。また、譜面タイプの複数の候補が表示部６により表示され、ユーザが複数の候補から一の候補を選択可能であってもよい。同様に、決定されたコード抽出領域をユーザが変更可能であってもよい。また、ユーザが、コード抽出領域の複数の候補から一のコード抽出領域を選択可能であってもよい。

上記実施の形態では、抽出されたコード情報が表示部６の画面上に表示されるが、抽出されたコード情報を利用して他の処理が行われてもよい。例えば、抽出されたコード情報およびその時間位置に基づいて、自動伴奏を出力するための自動伴奏データが生成されてもよい。

譜面画像データから音符、小節線、反復記号およびリハーサルマーク等のコード情報以外の情報が抽出されていてもよい。その場合、これらの情報に基づいて、種々の形態でコード情報を表示することが可能となる。また、コード情報に基づく自動伴奏データの生成を精度良く行なうことが可能となる。

上記実施の形態では、コード情報抽出装置１００が譜面入力部１を含むが、コード情報抽出装置１００の外部装置として譜面入力部１が用いられてもよい。

コード情報抽出装置１００は、電子鍵盤楽器等の電子楽器に適用されてもよく、パーソナルコンピュータ、スマートフォンまたはタブレット端末等の他の電子機器に適用されてもよい。

Claims (9)

1. 参照譜面を表す譜面画像データを取得する取得部と、
   取得された譜面画像データに基づいて、予め定められた複数の譜面タイプのうち前記参照譜面の譜面タイプを決定する譜面タイプ決定部と、
   前記複数の譜面タイプとコード情報の抽出の対象となるコード抽出領域との関係を定めた抽出領域情報に基づいて、前記参照譜面におけるコード抽出領域を決定する抽出領域決定部と、
   決定されたコード抽出領域に基づいて、取得された譜面画像データからコード情報を抽出するコード情報抽出部とを備えた、コード情報抽出装置。
2. 前記抽出領域決定部は、前記コード抽出領域として優先度が異なる第１および第２の抽出領域を決定し、
   前記コード情報抽出部は、前記第１の抽出領域におけるコード情報の有無を判定し、前記第１の抽出領域にコード情報がない場合に前記第２の抽出領域におけるコード情報の有無を判定する、請求項１記載のコード情報抽出装置。
3. 前記抽出領域情報は、譜面タイプによって異なるコード抽出領域を定める、請求項１または２記載のコード情報抽出装置。
4. 前記譜面タイプ決定部は、
   前記参照譜面が、楽譜の一部を構成する１または複数の横線を譜面線として含むか否かに基づいて、前記参照譜面の譜面タイプを決定する、請求項１または２記載のコード情報抽出装置。
5. 前記譜面タイプ決定部は、
   前記譜面線が互いに平行でかつ等間隔に配置された５本の横線により構成されるか否かに基づいて、前記参照譜面の譜面タイプを決定する、請求項４記載のコード情報抽出装置。
6. 前記譜面タイプ決定部は、
   前記参照譜面が上下に並ぶように配置された複数の前記譜面線を含み、かつ前記複数の譜面線が縦線によって互いに連結されているか否かに基づいて、前記参照譜面の譜面タイプを決定する、請求項４または５記載のコード情報抽出装置。
7. 前記譜面タイプ決定部は、
   前記譜面線が互いに平行でかつ等間隔に配置された６本の横線により構成されるか否かに基づいて、前記参照譜面の譜面タイプを決定する、請求項１〜６のいずれか一項に記載のコード情報抽出装置。
8. 参照譜面を表す譜面画像データを取得するステップと、
   取得された譜面画像データに基づいて、予め定められた複数の譜面タイプのうち前記参照譜面の譜面タイプを決定するステップと、
   前記複数の譜面タイプとコード情報の抽出の対象となるコード抽出領域との関係を定めた抽出領域情報に基づいて、前記参照譜面におけるコード抽出領域を決定するステップと、
   決定されたコード抽出領域に基づいて、取得された譜面画像データからコード情報を抽出するステップとを含む、コード情報抽出方法。
9. 参照譜面を表す譜面画像データを取得するステップと、
   取得された譜面画像データに基づいて、予め定められた複数の譜面タイプのうち前記参照譜面の譜面タイプを決定するステップと、
   前記複数の譜面タイプとコード情報の抽出の対象となるコード抽出領域との関係を定めた抽出領域情報に基づいて、前記参照譜面におけるコード抽出領域を決定するステップと、
   決定されたコード抽出領域に基づいて、取得された譜面画像データからコード情報を抽出するステップとを、
   コンピュータに実行させるためのコード情報抽出プログラム。

Images