JP6725939B2 - 情報処理装置、方法、楽譜管理システムおよびプログラム - Google Patents

Description

本発明は情報処理装置、方法、楽譜管理システムおよびプログラムに関し、より具体的には、楽譜に関連付けられた手書きメモの抽出および手書きデータの管理を可能とする情報処理装置、方法、楽譜管理システムおよびプログラムに関する。

従来、演奏者が楽譜を参照しながら演奏する場合、練習の段階において本番での演奏用に楽譜に手書きでメモを残したり、講師が生徒に演奏を指導する際に楽譜に注意点を手書きしたりすることが行われている。演奏者にしても、生徒にしても後々演奏する際に手書きメモは極めて重要であり、手書きメモが付された楽譜は個々人の演奏活動にとって貴重な財産である。

一方、近年では従来の紙の楽譜に代わり電子楽譜が広く普及してきており、例えばスマートフォン、携帯端末あるいはタブレット端末にダウンロード等して気軽に楽譜を入手したり、電子端末を用いて実際に演奏用に用いたりされている。ここで、電子楽譜においても上述の手書きメモは決して不要なものではなく、なければ従来の紙の楽譜の使用感を得られないことから、手書きメモを取り込む提案がなされている。

例えば、特許文献１には、電子楽譜などの表示画像に自由に書き込みができ、演奏練習などに好適な情報処理装置およびその制御方法、制御プログラムおよび記録媒体を提供することを目的とし、情報処理装置は、楽譜データから生成した楽譜画像を頁単位で第１レイヤＬ１に表示するとともに、タッチパネルを介して入力した位置の軌跡に対応する手書き画像を第２レイヤＬ２に表示することにより、これらのレイヤを重ねた画像を表示画面２および３に表示し、また手書き画像のデータをその時点に表示している楽譜画像の頁を含む付加情報をつけて記憶しておき、表示する楽譜画像の頁変更を行う場合に、付加情報に基づいて変更後の楽譜の頁に手書き画像のデータがあると、当該データの画像を第２レイヤＬ２に表示するという技術が開示されている。ここで、手書き画像は、画面に表示された楽譜に対し、画面上面に張られたタッチパネルを用いて手書きにより入力される。
特開２００３−１０７９８６号公報

しかし、近年電子楽譜の普及が広まっているといっても、実際にはスマートフォンやタブレット端末で適宜楽譜の内容を確認することが主な目的であり、演奏で使用する場合は従来の楽譜の大きさが好ましいとされている。このため、ほとんどの演奏者が実際に使用するときは電子楽譜を印刷して紙の楽譜を使用しているのが現状であり、手書きメモも紙の楽譜に鉛筆やボールペンで書き込まれている。上述した従来の情報処理装置およびその制御方法、制御プログラムおよび記録媒体は、あくまでタッチパネルを用いて手書き入力することにより手書きデータを取得するものであり、紙の楽譜に手書きメモを書いても、その後データとして管理することはできないという問題がある。

本発明は上記従来の問題に鑑みてなされたものであり、紙の楽譜上に書かれた手書きメモを撮影し、得られた画像から手書きメモのみを抽出するとともに、元の電子楽譜と対応付けて管理することにより、必要なときに手書きメモ付きの楽譜を取得することができる情報処理装置、方法、楽譜管理システムおよびプログラムを提供することを目的とする。

請求項１に記載の発明は、情報処理装置であって、電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像した画像データを取得する画像取得手段と、画像取得手段により取得した領域の画像データから、筆跡の画像を抽出する抽出手段と、画像取得手段により取得した筆跡の、電子楽譜上の対応する位置を判定し、筆跡の画像データおよび電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定手段とを備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の情報処理装置において、楽譜上の手書きによる筆跡は、印字した楽譜の印字色と異なる色であり、抽出手段は、画像取得手段により撮像された領域の画像から印字色と異なる色の画像のみを抽出して筆跡を抽出することを特徴とする。

請求項３に記載の発明は、請求項１に記載の情報処理装置において、抽出手段は、画像取得手段により取得した領域の画像中の楽譜の画像から、対応する前記電子楽譜中の楽譜の画像を消去することにより前記筆跡を抽出することを特徴とする。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の情報処理装置において、画像データは、電子楽譜を印字した楽譜の画像を撮像手段により撮像することにより取得することを特徴とする。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の情報処理装置において、電子楽譜と、当該電子楽譜を印字した楽譜上に手書きされた筆跡の画像から抽出した前記筆跡の画像とを対応付けて保存する保存手段をさらに備えたことを特徴とする。

請求項６に記載の発明は、請求項１ないし５のいずれかに記載の情報処理装置において、筆跡の画像は複数あることを特徴とする。

請求項７に記載の発明は、請求項１ないし６のいずれかに記載の情報処理装置において、領域は、楽譜１ページ全体であることを特徴とする。
請求項８に記載の発明は、請求項１ないし７のいずれかに記載の情報処理装置において、印字された楽譜の電子楽譜をオーバーレイ表示するオーバーレイ表示手段をさらに備え、画像取得手段は、印字された楽譜と、オーバーレイ表示された電子楽譜とを略合致させて領域を撮像した画像データを取得することを特徴とする。

請求項９に記載の発明は、情報処理装置により楽譜上の手書き画像を管理する情報処理方法であって、撮像手段により、電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像した画像データを取得する画像取得ステップと、画像取得ステップにより取得した領域の画像データから筆跡の画像を抽出する抽出ステップと、画像取得ステップにおいて取得した筆跡の、電子楽譜上の対応する位置を判定し、筆跡の画像データおよび電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定ステップとを備えることを特徴とする。

請求項１０に記載の発明は、コンピュータに情報処理方法を実行させるプログラムであって、情報処理方法は、電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像した画像データを取得する画像取得ステップと、画像取得ステップにより取得した領域の画像データから筆跡の画像を抽出する抽出ステップと、画像取得ステップにおいて取得した筆跡の、電子楽譜上の対応する位置を判定し、筆跡の画像データおよび電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定ステップとを備えることを特徴とする。

請求項１１に記載の発明は、電子楽譜を管理する楽譜管理システムであって、電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像する撮像装置と、撮像装置により撮像した領域の画像データを取得する画像取得手段と、撮像装置により取得した領域の画像データから筆跡を抽出する抽出手段と、画像取得手段により取得した筆跡の、電子楽譜上の対応する位置を判定し、筆跡の画像データおよび電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定手段とを含む情報処理装置と、楽譜と、楽譜を印字した楽譜上に手書きされた筆跡の画像データから抽出した筆跡の画像とを対応付けて保存する保存装置とを備えることを特徴とする。

本発明によると、電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像した画像データを取得する画像取得手段と、画像取得手段により取得した領域の画像データから、筆跡の画像を抽出する抽出手段と、画像取得手段により取得した筆跡の、電子楽譜上の対応する位置を判定し、筆跡の画像データおよび電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定手段とを備えるので、電子楽譜を印刷して得られた紙の楽譜に書かれた手書きメモを、元の電子楽譜とともにデータとして管理することが可能となる。

本発明の一実施形態の全体のシステム構成図である。 本発明の一実施形態で電子楽譜と手書きメモとを対応付ける手法を説明するための図である。 本発明の一実施形態で紙の楽譜に書き込まれた手書きメモをデータとして取得する手法を説明するための図である。 本発明の一実施形態の楽譜管理サーバおよび楽譜撮影端末または楽譜表示端末の機能ブロック図である。 本発明の一実施形態のアプリケーションサーバおよび楽譜撮影端末の機能ブロック図である。 本発明の一実施形態で紙の楽譜に書かれた手書きメモを抽出する手法の一例を説明するための図である。 本発明の一実施形態で手書きメモが書かれた紙の楽譜の画像を取得する際の位置合わせの手法の一例を説明するための図である。 本発明の一実施形態の手書きメモを取得する処理を示すフローチャートである。 本発明の一実施形態の電子楽譜から手書きメモ付きの楽譜を出力する手法の一例を説明するための図である。 本発明の一実施形態の電子楽譜から手書きメモ付きの楽譜を出力する処理を示すフローチャートである。 本発明の一実施形態の楽譜画像から手書きメモを取得する手法の別の例を説明するための図である。 本発明の一実施形態の手書きメモを取得する別の例の処理を示すフローチャートである。

以下、本発明の情報処理装置、方法、楽譜管理システムおよびプログラムについて図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。

本実施形態は、元々電子楽譜からプリンタ等で印刷した紙の楽譜であって、演奏会のため、あるいは練習等の目的で鉛筆やペンなどを用い手書きで文字やマークなどを書き込んだ紙の楽譜を用いる形態を対象とする。このような紙の楽譜に対して、本実施形態では、電子楽譜を印刷した紙の楽譜に手書きで書き込んだ、文字やマークなどの筆跡を、楽譜を撮影した画像から抽出して手書きデータとして取得し、元の電子楽譜のデータとともに管理しており、本実施形態では各種サーバで、電子楽譜及び手書きデータを管理したり、手書きデータの抽出を行ったりし、インターネットを介して各種端末に出力する構成として説明するがこれに限られず、インターネットを介さず単一の装置でも実現することもできるし、その他本技術分野で知られた手法で手書きデータを取得し、管理することができる。

本実施形態で、手書きデータは、手書きメモを書き込んだ演奏者等のユーザに基本的に対応付けられ、予め登録され、サーバで管理されている演奏者等のユーザ情報に基づいて、電子楽譜に紐づけられるが、ユーザの登録や管理方法は、本技術分野で知られたいずれかの手法を用いることができる。また、電子楽譜は、複数のユーザで共通に使用することができるように管理されている。すなわち、手書きデータは、電子楽譜と対応付けられて、ユーザ情報の一部として管理されるか、電子楽譜およびユーザ情報と対応付けられて、別個の手書きデータファイルとして管理することができるが、これに限られず、本技術分野で知られたいずれかの方法で管理することができる。

また、本実施形態で用いる楽譜データは、データとして管理することができ、端末において専用あるいは汎用のソフトウェアで表示できるものであればＭｕｓｉｃＸＭＬ形式のファイルを使用することもできるし、各種の専用の電子楽譜フォーマットを使用することができる。以下の説明では、基本的にページごとに表示や印字ができるような形態で保持されている電子データを前提とするがこれに限られない。例えば、サーバ内では基本的にはＭｕｓｉｃＸＭＬのデータフォーマットで保持しているのであれば、サーバで他の表示用のフォーマット、例えばＰＤＦや各種専用のフォーマットに変換してページごとに管理して端末で表示させることもできる。

（システム構成）
本発明の一実施形態で用いる情報処理装置、方法、楽譜管理システムおよびプログラムの動作及び処理を以下に説明する。図１は、本発明の一実施形態の全体のシステム構成図である。本システムでは、楽譜データを配信したり、システム全体を制御したりするためのサーバとして、楽譜管理サーバ１０１、および手書きメモ等を抽出するアプリケーションサーバ１０２を備えており、ネットワーク１０３を介して接続されている。印刷された楽譜を撮影する撮像装置である楽譜撮影端末１１１および楽譜を表示する表示装置である楽譜表示端末１１２は、基本的に無線でネットワーク１０３に接続されており、例えばタブレット端末とすることができ、本実施形態でネットワーク１０３との接続は、携帯電話の回線や、Ｗｉ−ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線ネットワークにより行う。ここで端末１１１および楽譜表示端末１１２は、タブレット端末のほか、スマートフォン、あるいはモバイルパソコン等とすることができるが、基本的に楽譜データ等をサーバから受信して画像を表示、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。

楽譜撮影端末１１１は、これに加え、カメラ等を内蔵あるいは外付け可能であり、これにより楽譜を撮影する。本実施形態では説明の都合上、楽譜撮影端末１１１および楽譜表示端末１１２は別の装置のように説明しているが、もちろん一つの装置に両方の機能を備えて１台で実現することもできる。また、本実施形態のサーバとしては、楽譜管理サーバ１０１およびアプリケーションサーバ１０２の２つのサーバを備え、楽譜撮影端末１１１には楽譜管理サーバ１０１から楽譜等の画像を表示させ、撮影された楽譜の画像がアプリケーションサーバ１０２に送信されると、アプリケーションサーバ１０２は画像データから手書きメモ等を抽出して楽譜管理サーバ１０１に送信し、その結果、楽譜管理サーバ１０１は電子楽譜とともに手書きデータのデータ管理も行い、楽譜表示端末１１２に手書きデータを含む楽譜データを送信して表示させるが、これに限られず、楽譜管理サーバ１０１において手書きメモ等の抽出までするようにすることもでき、あるいはさらに多くのサーバに機能分担させることもできる。

図２は、本発明の一実施形態で電子楽譜と手書きメモとを対応付ける手法を説明するための図である。図２に示すように楽譜管理サーバ１０１では、電子楽譜が保存、管理されており、端末からの要求で楽譜を端末に表示させることができる。本実施形態では、電子楽譜のデータは、図２に示すように各ページごとに表示データ２０１を有しており、端末の専用アプリなどのソフトウェアからの要求に基づきページごとに送信して表示させる。後述するような手法により取得した手書きデータ２０２も楽譜データと同様に保存、管理しており、電子楽譜で要求されたのと同じページの手書きデータを同じタイミングで送信できるようになっている。

本例では、楽譜データ、手書きデータともイメージデータとして保存されており、例えばページの指定とともに手書きデータの表示も要求されたときは、その同じ指定ページの楽譜データおよび手書きデータを楽譜表示端末１１２に送信し、楽譜表示端末１１２では、２つのデータを重ね合わせて表示することにより、手書きメモ等が書き込まれた紙の楽譜と同様の楽譜を楽譜表示端末１１２上に表示させることができる。本例では、楽譜データも手書きデータも実際に表示される形のイメージデータになっているので、重ね合わせるだけで、手書きメモ等を書き込んだ位置に正確に手書きメモ等を再現させることができるが、手書きデータに手書きメモ等とその位置とを含めるようにして、端末側で位置を合わせて表示させることもできる。また、本例では、端末側で楽譜上に手書きメモ等を重ねるように説明したが、これに限られず例えばサーバ側で重ねた表示データを作成して端末に送るようにすることもできる。

さらに、本実施形態では、図２に示すようにページごとの管理をせずに、電子楽譜データとして管理しておき、サーバからはページごとに画像を送るのではなく、端末側で手書きデータとマージして表示させることもできる。例えば、端末に専用のソフトウェアをインストールしておき、ＭｕｓｉｃＸＭＬのような電子楽譜と、手書きデータとから指定されたページの楽譜を表示するとともに、そのページの手書きメモ等と、位置の指定とに基づき手書きメモ等を重ねた楽譜を表示させることもできる。この場合、手書きデータは１つの楽譜単位で、少なくとも関連するユーザ情報並ぶにページごとの手書きメモ等のイメージデータおよびその位置データを含むようにして対応させることができる。

図３は、本発明の一実施形態で紙の楽譜に書き込まれた手書きメモをデータとして取得する手法を説明するための図である。図３を参照して、手書きメモ等の抽出処理の全体の流れを説明する。まず、ネットワークプリンタ３０１が楽譜管理サーバ１０１にアクセスし、楽譜の出力データを受信して楽譜を印刷する。本実施形態ではネットワークプリンタを用いるが、これに限られず例えば、図示しない端末を介して楽譜管理サーバ１０１にアクセスし、楽譜の表示データを受信して通常のプリンタを使用して印刷してもいい。

得られた紙の楽譜１２１に手書きメモ等を鉛筆やボールペン等で通常通り書き込み、スマートフォン等の楽譜撮影端末１１１で楽譜を撮影してアプリケーションサーバ１０２に、演奏者のユーザ情報、ページ情報および楽譜の情報とともに撮影した画像データを送信する。アプリケーションサーバ１０２では画像データをもとに手書きメモ等のイメージデータを抽出して、ユーザ情報、ページ情報および楽譜の情報とともに楽譜管理サーバ１０１に送信し、楽譜管理サーバ１０１では図示しないユーザ管理マスターデータおよび電子楽譜データと対応付けて、手書きデータを保存、管理する。

（手書き抽出処理第１例）
図面を参照して、手書き抽出処理の第１の例を説明する。図４は、本発明の一実施形態の楽譜管理サーバ１０１および楽譜撮影端末１１１または楽譜表示端末１１２の機能ブロック図であり、図５は、本発明の一実施形態のアプリケーションサーバ１０２および楽譜撮影端末１１１の機能ブロック図である。また、図６は、本発明の一実施形態で紙の楽譜に書かれた手書きメモを抽出する手法の一例を説明するための図であり、図７は、本発明の一実施形態で手書きメモが書かれた紙の楽譜の画像を取得する際の位置合わせの手法の一例を説明するための図である。さらに、図８は、本発明の一実施形態の手書きメモを取得する処理を示すフローチャートである。

楽譜管理サーバ１０１は、図示しないサーバ等から楽譜データを受信して記憶し、管理する楽譜データ管理モジュール４０１、受信した楽譜データに必要な処理を行って端末に送信する楽譜データ送信モジュール４０２を備える。また、楽譜撮影端末または楽譜表示端末は、楽譜管理サーバ１０１から楽譜を表示するデータを受信する楽譜データ受信モジュール４０３および受信したデータに基づき楽譜を表示する楽譜データ表示モジュール４０４を備える。

一方、アプリケーションサーバ１０２は、図５に示すように、楽譜撮影端末１１１で撮影された手書きメモ等が含まれる楽譜の画像を受信する楽譜画像受信モジュール５０１、受信した楽譜画像から手書きメモを抽出する手書きメモ抽出モジュール５０２、および抽出し、生成された手書きデータを楽譜管理サーバ１０１に送信する手書きデータ送信モジュール５０３を備える。また、楽譜撮影端末１１１は、楽譜管理サーバ１０１から楽譜を表示するデータを受信する楽譜データ受信モジュール４０３および受信したデータに基づき楽譜を表示する楽譜データ表示モジュール４０４に加え、手書きメモ等を含む楽譜画像を撮影する楽譜撮影モジュール５０４および撮影して得られた画像データをアプリケーションサーバ１０２に送信する楽譜画像送信モジュール５０５を備える。

以下に、図４〜図８を参照して本発明の一実施形態の手書き抽出処理の第１の例を説明する。楽譜を紙に印刷して使用する場合、通常は黒色で楽譜を印刷する。そこで、手書きメモ等は黒色以外の例えば赤色とか青色等楽譜を印刷した色とは異なる色で書き込むようにする。これにより、手書きメモ等を含む楽譜の画像を撮影して得られた画像データには、手書きメモ等が楽譜とは異なる色で含まれることになるので、楽譜の色と異なる色の画像を抽出すれば、手書きのみの画像データとなる。すなわち、図６に示すように、手書きメモを含む紙の楽譜を撮影して得られた楽譜画像６０１には、印刷色と異なる色で記載された手書きメモ部分６０２が含まれるが、この画像から本技術分野で知られた異なる色の画像を抽出するいずれかの手法により、手書きメモ画像６０３を抽出し、手書きデータとする。また、印刷色は常に黒色とは限らないので、その場合は五線譜の形状や楽譜に特有の記号等の画像を抽出して、楽譜の色を特定し、その色以外の色が手書き文字であるとして手書きメモ等の抽出を行うこともできる。

本例では、楽譜を撮影する際、楽譜の１ページ分全体を撮影することから、この画像データから楽譜の色と異なる色で書かれた手書き画像のみを抽出すれば、楽譜１ページ分の画像に手書きのみが含まれる画像データが得られることから、元の楽譜表示データと単純に重ね合わせるだけで、手書きメモ等を楽譜の正確な位置に再現することができる。なお、特定の色の画像だけ抽出する処理は本技術分野で知られたいずれの方法も用いることができるのでここでは詳述しない。また、イメージデータとして手書きメモ等のみを保持して、それに１ページ分の楽譜内における位置情報を含めることにより手書きデータを管理することもできる。この場合、例えば手書きメモ等の画像データは、手書きメモ等が含まれる適切なサイズの矩形等予め定められた形状として保持し、その位置はその矩形等の中心あるいは端点で指定するようにすることができる。手書きメモ等が複数含まれるときは、例えば、複数の矩形上の画像データを合わせて手書きデータとすることができる。すなわち、１ページに対応する複数の手書きデータが含まれることもある。

さらに、１ページ分撮影しなくても手書きメモ等が描かれている部分だけ撮影した画像から手書きデータを生成することができる。すなわち、手書き部分のみ撮影した画像であっても、手書きメモとともに元の楽譜が写り込んでいるから、例えば楽譜管理サーバ１０１から元の楽譜のデータを取得し、これと比較することにより撮影した領域の１ページの楽譜全体に対する位置を判定することができる。ここで、全体の楽譜の表示データから撮影された部分の領域のページ内の位置を判定する方法は、本技術分野で知られたいずれの方法も用いることができるので詳述しない。

次に、紙の楽譜の取得から手書きデータを保存するまでの処理を図８のフローチャートを参照して説明する。

先ず、楽譜管理サーバ１０１に楽譜を指定し、プリンタ３０１から楽譜を紙に印刷する（ステップ８０１）。得られた紙の楽譜に手書きメモを（楽譜は黒色で印刷している場合は）色つきペンで書き込み（ステップ８０２）、スマートフォン３０２をカメラモードに切り替え、楽譜データ受信モジュール４０３は、指定した楽譜を楽譜管理サーバ１０１から受信し、楽譜データ表示モジュール４０４は、紙の楽譜１２１と同じ指定した楽譜をオーバーレイ表示する（ステップ８０４）。ここで、オーバーレイ表示とは、図７の表示７０１に示すように被写体を画面に表示するカメラモードにおいて、被写体が確認できるように楽譜の素地を白塗りにせずに透明にして楽譜を表示する。そのようにして紙の楽譜１２１を被写体として撮影しようとすると、スマートフォン３０２の画面には表示７０２に示すように、表示７０１のような楽譜の画像に重なるように紙の楽譜１２１の画像が重なって表示される。紙の楽譜の楽譜自体は表示している楽譜と元々同じものであるから、撮影位置や倍率を変更して位置合わせをすればぴったりと重ねあわせることができる。これにより、得られた手書きメモを含む楽譜の画像はその後手書き部分だけを抽出しても、元々の楽譜データの画像と重ねることで正確な位置に手書きメモを出力することができる。

以上のように、オーバーレイ表示された楽譜とカメラ入力の楽譜が重なるようカメラ位置を調整し（ステップ８０５）、楽譜画像撮影モジュール５０４により紙の楽譜を撮影し、楽譜画像送信モジュール５０５により撮影して得られた画像を楽譜画像受信モジュール５０１に送信する（ステップ８０６）。画像データを受信したアプリケーションサーバ１０２は、指定した楽譜と撮影した楽譜のずれ量を適性に補正し（ステップ８０７）、手書きメモ抽出モジュール５０２は、補正処理後のカメラ画像から、例えば赤色の画像を抽出して（ステップ８０８）、手書きデータ送信モジュール５０３は、抽出した画像を手書きデータとして、楽譜管理サーバ１０１へ転送する（ステップ８０９）。

手書きデータを受信した楽譜管理サーバ１０１では、楽譜管理モジュール４０１が受信した手書きデータを図示しないユーザマスタデータおよび楽譜データと関連付けて保存し、管理する。すなわち、受信した手書きデータは、ある演奏者、したがってユーザにより、ある楽譜のあるページに書き込まれたものであるから、ユーザ、書き込まれた楽譜及びページを明確にして管理することとなる。これにより、ユーザから書き込んだのと同じ楽譜の表示や印刷の要求を受けた場合、手書き付きか否かを指定させて、手書き付きの楽譜を所望のときは、手書きデータを読み出して、元の楽譜データと重ねて出力することができる。

（本実施形態の手書き付き楽譜の出力）
図９は、本発明の一実施形態の電子楽譜から手書きメモ付きの楽譜を出力する手法の一例を説明するための図であり、図１０は、本発明の一実施形態の電子楽譜から手書きメモ付きの楽譜を出力する処理を示すフローチャートである。まず、楽譜表示端末１１２は、楽譜管理サーバ１０１に接続し（ステップ１００１）、サーバで管理している楽譜について所望の楽譜を検索等して、例えば候補をリストアップする（ステップ１００２）。この際、手書きデータが存在する場合は、その旨表示させ、楽譜の選択とともに手書きメモを表示するか否かを指定させる（ステップ１００３）。

手書き文字の表示を所望するときは（ステップ１００４のＹｅｓ）、楽譜データ表示モジュール４０４は、楽譜データに加え、手書きメモを受信して楽譜と重ね（ステップ１００５）、楽譜表示端末１１２の画面に楽譜を表示させる（ステップ１００６）。すなわち、図９に示すように元の楽譜の画像９０１に手書きメモの画像６０３を重ねて、手書きメモ９０３を含む楽譜画像９０２を取得し、画面に表示する。さらに、演奏会用等に手書きメモ入りの紙の楽譜が必要な場合は、同様に手書きメモを重ねて楽譜を印刷することもできる。

（手書き抽出処理第２例）
以上、紙の楽譜に楽譜の印刷色とは異なる色で手書きメモ等を書き込み、この色の差異によって手書きメモ等を抽出する方法により手書きデータを取得する処理を説明したが、この方法だと、わざわざ楽譜とは異なる色で手書きしなければならない。すなわち、通常は黒色で楽譜を印刷するから、それとは異なる、赤や青などのペンで記入する必要があるが、黒色のペンしかないときや、そもそも手書きメモも楽譜と同じ色で記入したい場合などは、色の差異を利用して手書きメモ等を抽出することはできない。

一方で、本実施形態の紙の楽譜は元々電子楽譜としてサーバで管理されており、印刷された楽譜を撮影して得られた楽譜の画像は、撮影位置を適切に設定していれば、元々の電子楽譜の画像とほぼ同じとすることができる。この特性を利用して、図１１に示すように手書きメモ等を含む楽譜画像６０１から元の電子楽譜の楽譜画像９０１を消去すると、手書き画像６０３のみが抽出される。

図１２を参照して本手書き抽出処理の第２の例について説明する。先ず、楽譜管理サーバ１０１に楽譜を指定し、プリンタ３０１から楽譜を紙に印刷する（ステップ８０１）。得られた紙の楽譜に手書きメモを通常のペンで書き込むが（ステップ１２０１）、その色は特に制限されない。次に、スマートフォン３０２をカメラモードに切り替え、楽譜データ受信モジュール４０３は、指定した楽譜を楽譜管理サーバ１０１から受信し、楽譜データ表示モジュール４０４は、紙の楽譜１２１と同じ指定した楽譜をオーバーレイ表示する（ステップ８０４）。

オーバーレイ表示された楽譜とカメラ入力の楽譜が重なるようカメラ位置を調整し（ステップ８０５）、楽譜画像撮影モジュール５０４は紙の楽譜を撮影し、楽譜画像送信モジュール５０５は撮影して得られた画像を楽譜画像受信モジュール５０１に送信する（ステップ８０６）。画像データを受信したアプリケーションサーバ１０２は、指定した楽譜と撮影した楽譜のずれ量を適性に補正し（ステップ８０７）、手書きメモ抽出モジュール５０２は、補正処理後のカメラ画像６０１から元の楽譜の画像９０１を用いて楽譜部分だけ除去して手書きメモ６０３を抽出する（ステップ１２０２）、手書きデータ送信モジュール５０３は、抽出した画像を手書きデータとして、楽譜管理サーバ１０１へ転送する（ステップ８０９）。

Claims (11)

1. 電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像した画像データを取得する画像取得手段と、
   前記画像取得手段により取得した前記領域の画像データから、前記筆跡の画像を抽出する抽出手段と、
   前記画像取得手段により取得した前記筆跡の、前記電子楽譜上の対応する位置を判定し、当該筆跡の画像データおよび前記電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定手段と
   を備えることを特徴とする情報処理装置。
2. 前記楽譜上の手書きによる筆跡は、前記印字した楽譜の印字色と異なる色であり、
   前記抽出手段は、前記画像取得手段により撮像された領域の画像から前記印字色と異なる色の画像のみを抽出して前記筆跡を抽出することを特徴とする請求項１に記載の情報処理装置。
3. 前記抽出手段は、前記画像取得手段により取得した領域の画像中の楽譜の画像から、対応する前記電子楽譜中の楽譜の画像を消去することにより前記筆跡を抽出することを特徴とする請求項１に記載の情報処理装置。
4. 前記画像データは、前記電子楽譜を印字した楽譜の画像を撮像手段により撮像することにより取得することを特徴とする請求項１ないし３のいずれかに記載の情報処理装置。
5. 前記電子楽譜と、当該電子楽譜を印字した楽譜上に手書きされた筆跡の画像から抽出した前記筆跡の画像とを対応付けて保存する保存手段をさらに備えたことを特徴とする請求項１ないし４のいずれかに記載の情報処理装置。
6. 前記筆跡の画像は複数あることを特徴とする請求項１ないし５のいずれかに記載の情報処理装置。
7. 前記領域は、前記楽譜１ページ全体であることを特徴とする請求項１ないし６のいずれかに記載の情報処理装置。
8. 前記印字された楽譜の電子楽譜をオーバーレイ表示するオーバーレイ表示手段をさらに備え、
   前記画像取得手段は、前記印字された楽譜と、前記オーバーレイ表示された電子楽譜とを略合致させて前記領域を撮像した画像データを取得することを特徴とする請求項１ないし７のいずれかに記載の情報処理装置。
9. 情報処理装置により楽譜上の手書き画像を管理する情報処理方法であって、
   撮像手段により、電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像した画像データを取得する画像取得ステップと、
   前記画像取得ステップにより取得した前記領域の画像データから前記筆跡の画像を抽出する抽出ステップと、
   前記画像取得ステップにおいて取得した前記筆跡の、前記電子楽譜上の対応する位置を判定し、当該筆跡の画像データおよび前記電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定ステップと
   を備えることを特徴とする情報処理方法。
10. コンピュータに情報処理方法を実行させるプログラムであって、前記情報処理方法は、
    電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像した画像データを取得する画像取得ステップと、
    前記画像取得ステップにより取得した前記領域の画像データから前記筆跡の画像を抽出する抽出ステップと、
    前記画像取得ステップにおいて取得した前記筆跡の、前記電子楽譜上の対応する位置を判定し、当該筆跡の画像データおよび前記電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定ステップと
    を備えることを特徴とするプログラム。
11. 電子楽譜を管理する楽譜管理システムであって、
    電子楽譜を印字した楽譜上の少なくとも手書きの筆跡を含む領域を撮像する撮像装置と、
    前記撮像装置により撮像した前記領域の画像データを取得する画像取得手段と、前記撮像装置により取得した領域の画像データから前記筆跡を抽出する抽出手段と、前記画像取得手段により取得した前記筆跡の、前記電子楽譜上の対応する位置を判定し、当該筆跡の画像データおよび前記電子楽譜上の対応する位置の情報を含む手書きデータとする対応位置判定手段とを含む情報処理装置と、
    前記楽譜と、当該楽譜を印字した楽譜上に手書きされた筆跡の画像データから抽出した前記筆跡の画像とを対応付けて保存する保存装置と
    を備えることを特徴とする楽譜管理システム。