JP6712017B2 - 楽譜提供システム、方法およびプログラム - Google Patents

Description

本発明は楽譜提供方法およびプログラムに関し、より具体的には、楽譜の提供及び管理を実行しつつ、楽譜の提供とともに演奏を撮影した動画なども対応付けて提供することにより、演奏の練習の支援等を行うことができる楽譜提供方法およびプログラムに関する。

楽譜は従来出版会社が紙媒体として製作し、楽器店や書籍店から販売される形態が中心であったが、近年ではインターネットを介して、ＰＤＦで提供されたり、電子書籍として販売されたりするようになっている。さらに最近では電子化が進展し、電子楽譜、具体的にはＭｕｓｉｃＸＭＬなどの楽譜記述専用のフォーマットで提供、管理、使用が行われることも少なくなくなってきており、そのような有料あるいは無料のサイトも立ち上げられている。一方、インターネットの世界では動画を投稿したり、配信したりする様々なサイトが設けられており、提供された楽譜を使用して演奏した様子を動画として投稿したり、他人が演奏した動画を検索して提供を受け、楽譜とともに練習等に用いたりすることも可能となっている。

また、従来から演奏者に初歩的なミスを指摘するとともに、そのミスを克服するための練習メニューを提示することにより、楽曲の初歩的な練習を行うことが可能な演奏練習装置を提供することを目的とし、 評価開始後の最初の押鍵操作であるときには、その押鍵操作が初歩的な誤操作か否かを判定し、初歩的な誤操作であれば、その誤りの内容を演奏者に報知する誤り報知処理へ移行し、初歩的な誤操作がなければ、押鍵操作のタイミングが演奏開始のタイミングと合っているか否かを判定し、押鍵操作のタイミングが演奏開始のタイミングより早いと判定されたときには、第１練習処理に移行し、押鍵操作のタイミングが演奏開始のタイミングより遅いと判定されたときには、第２練習処理に移行する技術が提案されている（特許文献１参照）。

さらに、利用者が煩雑な操作をしなくても、利用者の好みに合った楽曲の情報を入手することができる自動演奏楽器を提供することを目的とし、オーディオ再生装置のファイル管理テーブルに記憶されている各楽曲コードとこれと対になる再生回数のデータ群を受信・解析して、データ配信装置に送信する自動演奏装置と、この解析結果に応じて推薦すべき複数の楽曲の楽曲情報を含む楽曲推薦リストを生成し、自動演奏装置にこれを送信して表示させるデータ配信装置とを備えたシステムが提案されている（特許文献２参照）。

特開２００１−１４２３８８号公報 特開２００８−２４２２３３号公報

しかし、従来の特許文献１に記載された技術によると、具体的に演奏の進行を楽譜と照らし合わせて、誤った箇所を指摘するようにすることができるが、演奏者のより全般的な演奏レベルを判定し、例えばその演奏者により適した楽曲や楽譜の提案などをすることはできない。また、特許文献２に記載された技術によると、楽曲の再生回数から利用者の好みを判定して好みに合った楽曲の情報を入手することができるが、楽譜に関するよりきめ細やかなサービス、例えば小節ごとの再生回数を記録し、その回数を繰り返し練習した演奏回数とみなし、より適切な提案を行うなどのサービスを提供することはできない。

本発明は上記従来の問題に鑑みてなされたものであり、より簡易な方法で演奏者の演奏レベルを判定する楽譜提供システム、方法およびプログラムを提供することを目的とし、またさらに判定された演奏者の演奏レベルに適合した楽譜を提供することにより、楽譜と楽曲をより関連付けたサービスを提供することができる楽譜提供システム、方法およびプログラムを提供することを目的とする。

請求項１に記載の発明は、動画を提供する動画提供サーバと、動画と関連付けて楽譜を提供する楽譜提供サーバと、提供された楽譜を表示する端末とを備えたシステムであって、動画が再生されると、端末に表示された楽譜の、動画の演奏中の画像に対応する位置を示すように楽譜を表示する演奏位置表示手段と、演奏位置表示手段により表示された表示回数を、提供される楽譜の対応する位置と関連付けて記録する回数記録手段と、楽譜に関連付けて記録された表示回数に基づいて演奏能力を判定する能力判定手段とを備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載のシステムにおいて、楽譜中の各位置に関連付けて演奏難度を設定して格納する難度記憶手段をさらに備え、能力判定手段は、楽譜の対応する位置における難度により楽譜のより難度の低い位置の表示回数が多いほど、演奏能力を低く判定することを特徴とする。

請求項３に記載の発明は、請求項２に記載のシステムにおいて、能力判定手段は、楽譜の表示回数と演奏難度との積の合計に基づいて演奏能力を判定することを特徴とする。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載のシステムにおいて、能力判定手段によって判定された演奏能力で演奏するのに適した提供された楽譜とは異なる楽譜を選択して提供する楽譜提供手段をさらに備えることを特徴とする。

請求項５に記載の発明は、請求項１ないし３のいずれかに記載のシステムにおいて、能力判定手段によって判定された演奏能力に応じて、提供された楽譜を変更する楽譜変更手段をさらに備えることを特徴とする。

請求項６に記載の発明は、請求項１ないし５のいずれかに記載のシステムにおいて、表示回数および難度は、楽譜の小節ごとに記録および設定されることを特徴とする。

請求項７に記載の発明は、請求項１ないし６のいずれかに記載のシステムにおいて、動画は、動画提供サーバからネットワークを介して取得されることを特徴とする。

請求項８に記載の発明は、請求項７に記載のシステムにおいて、動画は、端末にネットワークを介して送信され、再生されることを特徴とする。

請求項９に記載の発明は、請求項１ないし８のいずれかに記載のシステムにおいて、端末に表示された楽譜の、動画の演奏中の画像に対応する位置をハイライトにより示すことにより、対応する位置を示すように楽譜を表示することを特徴とする。

請求項１０に記載の発明は、動画提供サーバと、楽譜提供サーバと、楽譜を表示する端末とを備えたシステムにおいて、動画および動画と関連付けて楽譜を提供する方法であって、動画が再生されると、端末に表示された楽譜の、動画の演奏中の画像に対応する位置を示すように楽譜を表示する演奏位置表示ステップと、演奏位置表示ステップにより表示された表示回数を、提供される楽譜の対応する位置と関連付けて記録する回数記録ステップと、楽譜に関連付けて記録された表示回数に基づいて演奏能力を判定する能力判定ステップとを備えることを特徴とする。

請求項１１に記載の発明は、動画提供サーバと、楽譜提供サーバと、楽譜を表示する端末とを備えたシステムに、動画および動画と関連付けて楽譜を提供する方法を実行させるプログラムであって、方法は、動画が再生されると、端末に表示された楽譜の、動画の演奏中の画像に対応する位置を示すように楽譜を表示する演奏位置表示ステップと、演奏位置表示ステップにより表示された表示回数を、提供される楽譜の対応する位置と関連付けて記録する回数記録ステップと、楽譜に関連付けて記録された表示回数に基づいて演奏能力を判定する能力判定ステップとを備えることを特徴とする。

本発明によると、動画が再生されると、端末に表示された楽譜の、動画の演奏中の画像に対応する位置を示すように楽譜を表示する演奏位置表示手段と、演奏位置表示手段により表示された表示回数を、提供される楽譜の対応する位置と関連付けて記録する回数記録手段と、楽譜に関連付けて記録された表示回数に基づいて演奏能力を判定する能力判定手段とを備えているので、より簡易な方法で演奏者の演奏レベルを判定することができ、またさらに判定された演奏者のレベルに適合した楽譜を提供することができる。

本発明の一実施形態の全体のシステム構成図である。 本発明の一実施形態のシステム全体の一連のサービスの流れを示す図である。 本発明の一実施形態のサーバの機能ブロック図である。 本発明の一実施形態で楽譜上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の一実施形態の楽譜上の小節を指定して動画再生を指示し、動画を指定された位置から再生する処理を示すフローチャートである。 本発明の一実施形態の楽譜表示画面から動画再生位置を指定する処理を説明するための図である。 本発明の一実施形態の楽譜表示画面から動画再生を指示し、再生後再生画像に対応する楽譜上の位置の表示を説明するための図である。 本発明の一実施形態の楽譜に合わせた動画の配信、および演奏中の小節のハイライト表示の処理を示すフローチャートである。 本発明の一実施形態のハイライト表示回数取得処理を示すフローチャートである。 本発明の一実施形態でハイライト表示ログを示す図である。 本発明の一実施形態の演奏能力判定の処理を示すフローチャートである。 本発明の一実施形態で楽譜の上の小節にその演奏の難度を設定する難度設定表を示す図である。

以下、本発明の楽譜提供システムおよびプログラムについて図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。

本実施形態では、端末上に表示された所定の曲の楽譜及びこの楽譜の演奏を記録した動画ファイルあるいは音声ファイルを再生させて、例えばその曲の練習をする場合に、練習に伴う再生状況をもとに演奏者の演奏能力を判定する。すなわち、例えば、動画ファイルあるいは音声ファイルの再生に合わせて、楽譜を観ながら演奏の練習をする場合、曲全体の中でも難度の高低があり、難度の高い箇所は何度も練習することとなるので勢い再生回数も増加する。一方、難度が低い箇所は再生回数が少なく、これらは演奏者の演奏能力にも依存すると考えられることから、本実施形態では、練習を行った場合の小節ごとの再生回数が演奏者の繰り返し演奏回数とみなすことができるとして、再生回数に基づいて演奏者の演奏能力を判定する。すなわち、難度の高い、あるいは低い箇所の再生回数がその演奏者の演奏能力に相関があると考えられることから、この相関に基づいて、演奏の一局面における演奏者の演奏能力を判定する。

本実施形態は、上述の通り、インターネットを介して電子楽譜を提供し、その後動画投稿サイトに投稿された楽曲の演奏動画を視聴して、例えば演奏の練習をするために、動画再生の開始位置を楽譜上で指定して再生を開始し、再生中の画像の演奏全体における位置を表示させて、楽譜のどの位置を演奏しているかの確認を行うことができる。以下の実施形態では楽譜、あるいは総譜を用いて行うが、これに限られず、演奏の進行を示す何らかの図面を端末に表示させることができれば、いずれの形態でも対応することができる。ここで、基本的に動画を投稿した演奏者の一部が演奏に用いている楽譜と関連づけて予めサーバに設定しておくことを前提として、以下実施形態の説明をするがこれに限られず、演奏されている楽曲と楽譜とがほぼ一致していれば本実施形態を実施することができる。例えば、何らかの事情で配信されている動画を認識した者が、演奏されている楽曲に対応する楽譜と関連付けて予めサーバに設定しておくこともでき、その他本技術分野で知られた方法により楽譜と動画とを関連付けておくことができる。

また、動画サイトに投稿するのは楽譜の提供を受けたユーザ自身でなくてもよく、楽譜の提供を受けたユーザが投稿サイトで入手した楽譜の楽曲の演奏動画を探索して得た動画であってもよい。すなわち、クラシック音楽も含め、ある楽曲の楽譜が公開されている場合は、その楽曲を演奏した動画等もいずれかの演奏家により撮影され、投稿されることが多く、実際同じ楽曲でも複数の動画が存在することは少なくない。したがって、電子楽譜の提供を受けたユーザ自身が動画を投稿しなくても、ユーザがネット検索等すれば容易にそのような動画を発見し、その動画のＵＲＬなどを取得することができるので、そのようなＵＲＬを指定することにより、サーバはユーザに提供した楽譜の演奏動画にアクセスすることができる。

また、本実施形態で用いる電子楽譜の楽譜データは、ＭｕｓｉｃＸＭＬであり、サーバ内では基本的にはＭｕｓｉｃＸＭＬのデータフォーマットで保持している。ＭｕｓｉｃＸＭＬで記述された楽譜はそのまま端末に送信してブラウザで表示させることもできるし、サーバで他の表示用のフォーマット、例えばＰＤＦに変換して端末に送信し端末のブラウザで表示させることもできる。以上のように、本実施形態の楽譜データはＭｕｓｉｃＸＭＬを用いるが、これに限られず、何らかの変換や処理を行って、表示用の楽譜を生成できるものであればいずれのフォーマットも用いることができる。また、ＭｕｓｉｃＸＭＬを含め、電子楽譜のフォーマットにおいては、楽譜データ以外に多くの付随するデータを格納することが可能なデータエリアが確保されている。

例えば、楽譜の内容を簡易的に再生できるようにＭＩＤＩデータを格納するＭＩＤＩデータエリアなどを有することができるが、本実施形態では後述するようなハイライト表示回数を小節ごとに記録するデータエリアとして使用することもできる。あるいは、ハイライト表示回数とは別途に本技術分野のいずれかの手法により動画の再生状態と直接関連付けることができれば、対応する演奏位置の再生回数を小節ごとに記録して格納するようにすることもできる。

（システム構成）
本発明の一実施形態で用いる楽譜提供方法の具体的なシステムの動作及び処理を以下に説明する。図１は、本発明の一実施形態の全体のシステム構成図である。本システムでは、楽譜データを配信したり、演奏能力を判定したりするなど、システム全体を制御するためのサーバとして、楽譜提供サーバ１０１、通信サーバ１０２および動画配信サーバ１０４を備えており、ネットワーク１０３を介して接続されている。楽譜および動画を表示し、あるいは音楽ファイルを再生する装置である端末１１１は、基本的に無線でネットワーク１０３に接続されており、例えばタブレット端末とすることができ、本実施形態でネットワーク１０３との接続は、携帯電話の回線や、Ｗｉ−ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線ネットワークにより行う。ここで端末１１１はタブレット端末のほか、スマートフォン、あるいはモバイルパソコン等とすることができるが、基本的に楽譜データ等をサーバから受信して画像を表示、動画ファイルまたは音楽ファイルを再生、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。また、端末１１１は、楽譜の表示、動画等の再生に限らず、ユーザの楽譜提供サーバへのアクセスに関する種々の処理を実行し、データの入出力をするために使用することができる。

また、本実施形態のサーバとしては、楽譜提供サーバ１０１、通信サーバ１０２および動画配信サーバ１０４の３つのサーバを備え、端末１１１から楽譜等の画像の表示や再生開始などの指示を楽譜提供サーバ１０１に送信すると、楽譜提供サーバ１０１は楽譜のデータを送信したり、指定された再生位置の動画上の位置を算出して通信サーバ１０２に動画の再生を指示したりし、その結果、動画配信サーバ１０４は端末１１１に指示された動画を送信して表示させるが、これに限られず、楽譜提供サーバ１０１により指示の受信から動画配信サーバ１０４への画像データの送信の指示までするようにすることもでき、あるいはさらに多くのサーバに機能分担させることもできる。

ここで、動画配信サーバ１０４は、例えばＹｏｕｔｕｂｅ等の投稿サイトとすることもできるし、単に動画を配信しているサイトのサーバであってもよい。さらに、本実施形態では動画配信サーバとして記載するが、楽譜に基づいて演奏した音楽を聴取できればいいので、画像を伴わない何らかのコンテンツ配信サーバとして、音楽のみを配信することができるものであってもよい。この場合、以下の本実施形態のすべての説明は、動画のない音楽を配信するコンテンツ配信サーバにも適用されるのは言うまでもない。

本実施形態では、端末１１１から動画の再生指示を送信すると、端末１１１に指定した開始位置から再生を開始する動画データが送信され、楽譜とともに動画を視聴することができる。本実施形態では、端末１１１の表示画面において楽譜の画像と動画とを所定の位置に配置しているが、これに限られることなく本技術分野で知られたいずれかの方法で組み合わせて表示することもできる。具体的には、本実施形態では、端末１１１の画像を上下に分割して表示しているが、左右に分割して表示させることもできるし、一部重ねて表示させるなど、ユーザが使い勝手のいいように表示させることができる。もちろん、この場合でも楽譜の表示や動画再生の指示等は本実施形態のサーバ等により処理され、動画は動画配信サーバから配信される。一方、別途、動画再生端末を用意して端末１１１には楽譜のみを表示するようにし、異なる複数の端末で実現することもできる。

図２は、本発明の一実施形態のシステム全体の一連のサービスの流れを示す図である。本実施形態では、電子楽譜を提供して、再生開始位置を指定する処理（矢印２１１）から始まり、ユーザに楽譜に関連するサービスを提供するが、その一連の流れを図２に示す。図２に示すように、ユーザは入手した楽譜を使用して演奏を行った様子をビデオカメラ等で撮影した動画を予め動画配信サーバ１０４にアップロードしておいたり、同じ楽譜に基づいて他人が演奏した動画を検索し、予めＵＲＬなどの特定方法を取得しておいたりして、取得された動画を予め登録しておく。その後、通信サーバ１０２が、入手した動画と楽譜とに基づいて小節時間変換表などが作成され、楽譜提供サーバ１０１が提供した電子楽譜と動画とを関連付けたサービスをユーザに提供する。具体的には、端末１１１に楽譜とともに動画を表示し、動画の再生位置を示すように楽譜上の対応する小節などをハイライト表示する等する。これにより、例えばユーザは動画の演奏に合わせて楽譜を観ながら演奏することができ、効果的な練習を行うことが可能となる。後述するように、この際動画の小節ごとの再生回数としてハイライト表示等の回数を記録しておくことにより、さらなるサービスを提供することができる。

図３は、本発明の一実施形態のサーバの機能ブロック図であり、図４は、本実施形態で楽譜上の小節とそれに対応する再生位置の関連付けを示す図である。楽譜提供サーバ１０１は、図示しないサーバ等から楽譜データを受信して記憶し、管理する楽譜データ管理モジュール３０１、受信した楽譜データに必要な処理を行って端末に送信するほか、端末から再生開始位置の指定を受信すると、動画上のどの位置かを算出したり、現在再生されている画像の動画全体における位置を、通信サーバ１０２から受信して端末に表示された楽譜のどこに対応するかを算出したりする楽譜データ送信モジュール３０２、本実施形態で用いる種々の電子楽譜関連データを受信する楽譜関連データ受信モジュール３０３、算出された対応位置にハイライト表示をさせるとともにハイライト表示した小節の表示回数をカウントしたりするハイライト表示・表示回数記録モジュール３０４、並びに各小節にその小節を演奏するときの難度を設定したり、設定された難度に基づいて演奏者の演奏レベルを判定する難度設定・判定モジュール３０５を備える。また、通信サーバ１０２は、端末１１１で表示されている楽譜を演奏する動画のＵＲＬ等のデータを管理する動画管理モジュール３０７、楽譜提供サーバ１０１から動画の開始位置の指定を受信すると、動画管理モジュール３０７で管理されている動画データに基づいて動画配信サーバ１０４に再生開始位置を指定して再生を指示する開始位置指定モジュール３０８、および動画配信サーバ１０４から受信した現在の再生時間を楽譜提供サーバ１０１に出力する再生時間出力モジュール３０９を備える。

（楽譜の提供と動画再生処理）
以下に、図３〜５を参照して本発明の一実施形態の電子楽譜の提供から動画再生処理までを説明する。一般に、電子楽譜の楽譜データ、例えばＭｕｓｉｃＸＭＬフォーマットのデータでは、各小節ごとに音符データが規定されており、端末では楽譜データを受信すると、ブラウザ上で五線譜を表示して、各小節の音符データに基づいて楽譜を描画していく。したがって、楽譜データを表示しているブラウザ上で指でタッチ、あるいはマウスでクリックする等により、ある小節が指定されるとそれが第何小節かを認識することができる。本実施形態では、このように楽譜データに基づいて端末のブラウザ上に楽譜を表示し、その表示された楽譜上の所定の小節を指定することにより、動画の再生開始位置を指定して動画再生の指示を楽譜提供サーバ１０１に送信する。楽譜提供サーバ１０１では、指定された小節から動画の再生位置、本実施形態では動画の最初からの再生時間を算出して配信サーバ１０２に動画の再生を指示する。

また、プラグイン等がないため、楽譜データを端末でそのまま表示できない場合、楽譜提供サーバ１０１から画像データ、例えばＰＤＦ形式のデータとして送信し、ブラウザで表示することもできる。このような楽譜提供サーバにおいて、楽譜データからＰＤＦの楽譜データを生成し、ＰＤＦデータに基づいて動画再生開始処理を行う。この場合、端末に表示されたＰＤＦ上で適当な基点を定め、その基点に基づく座標で各小節を特定することにより、以下に説明するような手法により小節と動画再生位置との対応付けを行うことができるが、具体的な手法は本技術分野で知られたいずれかの技術を組み合わせて処理を行う。

以上のような本実施形態の動画再生サービスを提供するため、予めユーザに電子楽譜を提供し、最終的に指定された動画と楽譜との対応付け、具体的には図４に示すような小節時間変換表などを作成しておく。

図５は、本発明の一実施形態の楽譜上で再生位置を指定し、対応する動画の再生位置から再生を行う処理を示すフローチャートである。本実施形態では、電子楽譜を提供する処理から始まり、ユーザに楽譜に関連するサービスを提供するが、まずは提供された楽譜を観てユーザが演奏し自ら撮影した動画、あるいは同じ曲を演奏した動画を動画配信サイトなどで検索して取得する。この際、その動画は、その動画をネット上で特定するための識別情報であり、例えばＹｏｕｔｕｂｅ等では動画が格納されたＵＲＬである、動画ＩＤを用いて特定することができる。

ユーザは動画ＩＤなどを取得すると、通信サーバ１０２に、提供された電子楽譜との何らかの対応付けを本技術分野で知られたいずれかの方法で行って送信し、通信サーバ１０２は、提供された電子楽譜を特定する情報も取得しておき、動画ＩＤにより動画のデータを取得するとともに、楽譜提供サーバ１０１から対応する電子楽譜を取得する。取得した動画および電子楽譜に基づいて、楽譜の小節と動画の再生時間との対応付けを算出し、小節時間対応表を作成する。

本実施形態の小節時間変換表を説明すると、図４に示すような小節時間変換表４０１は、動画の再生時間４１１と楽譜の小節番号４２１とを対応付けており、小節時間変換表４０１を参照することにより例えば小節番号（４）（第４小節）は動画の再生時間ｔ４に対応すると判定できるから、これにより再生時間ｔ４を算出することができる。ここで、小節時間変換表４０１は、本実施形態で知られたいずれかの方法で自動検出し、あるいは人的サポートにより作成することができる。

（動画再生開始処理）
図６は、本実施形態の楽譜上での位置を指定する操作を示す図である。

本実施形態では、図６に示すように端末１１１に、楽譜データ送信モジュール３０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示して再生位置を指定させ、指定された小節をサーバに知らせることにより、サーバはその小節に対応する動画の再生位置、本実施形態では再生時間を算出し、その位置から動画を再生するように通信サーバ１０２に指示する。通信サーバ１０２では端末に表示された楽譜の演奏動画を特定して、動画配信サーバ１０４に、指示された再生時間を指定して動画を配信するよう指示し、端末１１１において動画が再生される。通常、ＭｕｓｉｃＸＭＬは端末において、本技術分野で知られた専用の表示アプリや再生アプリを用いて取り扱われるので、ここでは詳細は記さないが、例えば楽譜が表示され、指でタッチあるいはマウスによりクリック等されると、その画面上の位置に相当する小節番号をサーバに送信するようなスクリプトなどを埋め込んでおいて、端末からサーバに小節番号を送信するようにすることもできるし、その他の本技術分野で知られたいずれかの方法でこのような処理を実行させることにより、端末側のソフトウェアを特に変更することなく、本実施形態を実施することができる。また、逆に端末側に小節番号をサーバに送信する等本実施形態で必要な処理を実行するソフトウェアを予めインストール、あるいはダウンロードする等により端末で実行可能にしておいて本実施形態を実施することもできる。

具体的に説明すると、まず図６に示すように端末１１１に表示された楽譜６０５の最上段の第４小節６０２をユーザが指６０６でタッチして指定すると、端末１１１は動画を再生開始する小節番号を取得する。小節番号が取得されると、端末１１１は、取得した小節番号、ここでは第４小節を楽譜提供サーバに送信して通知する（矢印６０３）。楽譜提供サーバ１０１は、取得した小節番号から対応する動画の再生時間を算出する。

本実施形態では、上記で図４に示したように予め動画の再生時間４１１と楽譜の小節番号４２１とを対応付けておき、小節時間変換表４０１を作成しておく。この小節時間変換表４０１を参照することにより再生時間を算出することができる。動画の再生時間は動画の最初の画像を基準とする再生経過時間の長さであり、その動画の最後の画像の再生時間は動画全体の長さとなる。

楽譜提供サーバ１０１は、小節番号から再生時間を取得すると、図６に示すように再生時間を通信サーバ１０２に通知して、動画の再生を指示する。通信サーバ１０２では、動画管理モジュール３０７が、楽譜提供サーバ１０１が管理する楽譜データと、その楽譜の楽曲を演奏した動画とを対応付けて管理しており、楽譜提供サーバ１０１が楽譜および再生開始位置（例えば、再生時間ｔ４）を指定して再生を指示すると、動画管理モジュール３０７が対応する動画を配信する動画配信サーバ１０４を特定し、開始位置指定モジュール３０８が、図６の矢印６０４で示すように特定された動画配信サーバ１０４に再生開始位置を指定して動画の配信を指示する。動画の配信を指示された動画配信サーバ１０４は、指定された動画を、指定された再生位置ｔ４から端末１１１に対し、図６の矢印６０７で示すようにストリーミング配信する。一般に、動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて再生位置を指定して再生を開始させる。

（楽譜ハイライト表示および表示回数記録処理）
以下に、図７を参照して本実施形態の楽譜ハイライト表示および表示回数記録処理を説明する。上述の通り本実施形態では、ＭｕｓｉｃＸＭＬフォーマットのデータを楽譜提供サーバ１０１で管理し、端末１１１に送信してブラウザ上で楽譜として表示する。この際、本実施形態では端末１１１で再生されている動画の画像に対応する楽譜上の位置を端末１１１でハイライト表示する。これにより、動画で現在演奏されている演奏の部分を楽譜の小節単位で知ることができるので、演奏の確認や練習に役立てることができる。

より具体的に楽譜ハイライト表示処理を説明すると、先ず図７の矢印７０３で示すように動画配信サーバ１０４からストリーミング配信して動画が再生される。本実施形態では、ＹｏｕｔｕｂｅのＵＲＬと、必要であれば再生時間とをＹｏｕｔｕｂｅのＡＰＩを用いて設定し再生させる。このような状態において、通信サーバ１０２の再生時間出力モジュール３０９は図７の矢印７０２で示すように動画配信サーバ１０４に再生時間を要求し、図７の矢印７０４で示すように取得する。一般に、動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて現在の再生時間を取得する。

再生時間出力モジュール３０９は、再生時間を取得すると、楽譜提供サーバ１０１に再生時間を通知する。楽譜提供サーバ１０１は、通知された再生時間に基づき、図４に示す小節時間変換表４０１を用いて、対応する楽譜の位置として小節番号を取得する。図示しないが、本例で取得した再生時間ｔがｔ２以上ｔ３未満とすると、小節時間変換表４０１により、第２小節に対応すると判定される。このように、取得した再生時間が小節時間変換表４０１の再生時間のどの時間間隔の範囲に含まれるかにより対応する小節番号を判定する。

小節番号が判定されると、楽譜提供サーバ１０１は、端末１１１に判定された小節番号の表示をハイライトにするように指示し、端末１１１は第２小節をハイライト表示とする。具体的な処理について、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜提供サーバ１０１で、判定された小節番号の楽譜の表示をハイライトに変更して端末１１１に送信することによって、端末１１１のブラウザがこれを解釈し、ハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定部分をハイライト表示に変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節番号を指定してハイライト表示の指示を受信すると指定された小節をハイライト表示にすることもできるが、これに限られない。

以上の処理により、現在再生されている画像の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示される。ここで、通信サーバ１０２は、上述の再生時間の取得を一定間隔で実行し、それ以降のハイライト表示処理までを行うことにより、動画の再生にしたがって、対応する小節をハイライト表示させ、楽譜上を移動しているように表示することができる。一定間隔を各小節間の時間より十分に小さくすることにより、滑らかにハイライトを楽譜上で移動させるように表示ことができる。あるいは、一定間隔を用いなくても、本実施形態では図４に示すように各小節に対応する再生時間が予め記憶されているので、通知サーバ１０２は、各再生時間に実際にその再生時間にあるかを動画配信サーバ１０４に確認して、ハイライトさせる小節を変更する処理を実行することができる。

なお、本実施形態では動画の再生位置をハイライトで示したが、これに限られず、何らかのマーカで示したり、その他その小節を他の小節と区別する何らかの方式で表示したりすることができる。以上のように、ハイライト表示等により再生中の動画の演奏位置に対応する楽譜の小節がユーザに認識できる形で表示されるが、この処理の際にハイライト表示した小節番号をログに記録する。本実施形態では、記録されたログを用いて後述するようにハイライト表示回数を算出する。

より具体的に図８のフローチャートを参照して、楽譜ハイライト表示および表示回数記録処理を説明する。上述のように再生位置が指定され、指定された再生時間から動画配信サーバ１０４が動画を配信する（ステップＳ８０１）と、先ず図７の矢印７０３で示すように動画配信サーバ１０４からストリーミング配信して動画が再生される。本実施形態では、ＹｏｕｔｕｂｅのＵＲＬと、必要であれば再生時間とをＹｏｕｔｕｂｅのＡＰＩを用いて設定し再生させる。このような状態において、通信サーバ１０２の再生時間出力モジュール３０９は、図７の矢印７０２で示すように動画配信サーバ１０４に再生時間を要求し、図７の矢印７０４で示すように取得する（ステップＳ８０２）。一般に、動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて現在の再生時間を取得する。

再生時間出力モジュール３０９は、再生時間を取得すると楽譜管理サーバ１０１に再生時間を通知する（ステップＳ８０３）。楽譜管理サーバ１０１のハイライト出力および表示回数記録モジュール３０４は、通知された再生時間に基づいて、図４に示す小節時間変換表４０１を用いて、対応する楽譜の位置として小節番号を取得する（ステップＳ８０４）。図示しないが、本例で取得した再生時間ｔがｔ２以上ｔ３未満とすると、小節時間変換表４０１により、第２小節に対応すると判定される。このように、取得した再生時間が小節時間変換表４０１の再生時間のどの時間間隔の範囲に含まれるかにより対応する小節番号を判定する。

小節番号が判定されると、楽譜提供サーバ１０１にハイライト表示された小節として小節番号のログを記録する（ステップＳ８０５）。ログはその後、例えば図１０に示すようなハイライト表示ログ１００１として格納することができる。ハイライト表示・表示回数記録モジュール３０４は、端末１１１に判定された小節番号の表示をハイライトにするように指示して（ステップＳ８０６）、端末１１１は図７に示すように第２小節７１１のようにハイライト表示とする（ステップＳ８０７）。具体的な処理について、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜管理サーバ１０１で、判定された小節番号の楽譜の表示をハイライトに変更して端末１１１に送信することによって、端末１１１のブラウザがこれを解釈し、ハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定部分をハイライト表示変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節番号を指定してハイライト表示の指示を受信すると指定された小節をハイライト表示にすることもできるがこれに限られない。

以上の処理により、現在再生されている動画の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示されるとともに、ハイライト表示された小節の小節番号を記録したログが作成され、ハイライト表示ログ１００１で管理される。後述するように取得したログの情報から小節ごとの表示回数を算出することができるが、例えば、ログから表示回数を算出する代わりに、小節ごとの表示回数表を用意しておいてハイライト表示されるごとに表の数字をインクリメントする等により表示回数を取得することもできる。

図９及び１０を参照して、記録されたログからハイライト表示回数の取得について説明する。本実施形態では、図１０に示すように、ハイライト表示ログは、端末に楽譜を表示させた時点で記録が開始され、ユーザごと楽曲ごとにハイライト表示された小節を順次記録していく。例えば、Ｌｏｇ１の記録を参照すると、小節１から小節７まで連続して演奏しているのが理解できる。また、上述のような動画を再生しつつ楽譜を観ながら練習するという状況においては、Ｌｏｇ１に示すように全曲一気に演奏するばかりではなく、Ｌｏｇ２などに示すように途中で前の小節に戻り繰り返し練習していることが理解される。そこで、このログの小節番号ごとの出現回数を算出することにより、その小節が再生された回数を知ることができる。すなわち、ある小節がハイライト等の表示をされるということは、その小節に対応する動画の演奏位置が再生されているということだから、ハイライト位置の判定で定められた小節に対応する動画が再生されたと考えることができる。したがって、その小節がハイライトされた回数を記録すれば、対応する動画の位置が再生された再生回数とすることができる。

ここで、小節ごとの再生回数は、各ログごと、すなわちＬｏｇ１やＬｏｇ２など、一度楽譜を表示してから表示した楽譜を閉じるまで等の時間的な一定の単位ごとに算出され、ユーザごとに全ログ単位の再生回数を合計して後述する演奏能力の判定に使用することもできるし、各ログの個別の再生回数を使用することもできる。算出された再生回数は、図示しないユーザごとの情報テーブルに格納しておくこともできるし、ＭｕｓｉｃＸＭＬ等の電子楽譜のデータエリアに格納することもできる。すなわち、楽譜を提供したユーザごとに様々な管理情報を情報テーブルに格納して管理することができ、再生回数もそのような情報テーブルで管理することができる。

図９を参照して、具体的なハイライト表示回数の取得処理を説明する。図１０に示すハイライト表示ログ１００１から各ログの情報を取得し（ステップＳ９０１）、まず各ログ、例えばＬｏｇ１やＬｏｇ２などについて、小節番号の出現回数をカウントする（ステップＳ９０２）。これにより、楽譜の使用を開始し、終了するまでの一連の時間における小節ごとのハイライト表示回数を取得することができる。ここで取得された各ログごとの表示回数単独あるいはこれらの組み合わせを用いて後述する演奏能力判定処理に用いることもできるが、ここでは各ログの表示回数を集計して、対象ユーザの対象楽曲における小節ごとのハイライト表示回数として記録する。

ここで、上述の様にハイライト回数を電子楽譜のデータエリアに記録することもできるが、この場合本技術分野のＭｕｓｉｃＸＭＬなどの電子楽譜のためのいずれの手法を用いても行うことができるので、詳述しないが、通常の情報処理の手法によりハイライト回数の読み出しや格納が可能である。また、再生回数自体を本技術分野で可能な手法で取得して、用いることもできる。さらに、本実施形態では動画の再生位置をハイライトで示したが、これに限られず、何らかのマーカで示したり、その他その小節を他の小節と区別する何らかの方式で表示したりすることができる。

以上、本実施形態の楽譜上の再生位置指定からハイライト表示回数取得処理までの一例を説明したが、以上の処理をネットワークやサーバを介せず端末１１１で実行することもできる。すなわち、端末１１１に予め必要な変換表やモジュールを用意しておけば、端末１１１に楽譜および動画等をダウンロードして再生位置指定からハイライト表示までの処理を、オフラインであってもサーバに接続されているように実行することができる。この場合、ハイライト表示については、表示ログのみ端末１１１上のメモリに記録しておき、サーバに接続した後、サーバ側で表示回数の集計を行うようにすることができる。

（演奏能力判定処理）
図１１及び１２を参照して本実施形態の演奏能力判定処理を説明する。図１１は、本実施形態の演奏能力判定の処理を示すフローチャートであり、図１２は、楽譜上の小節にその演奏の難度を設定する難度設定表を示す図である。本実施形態では、上述の動画表示処理により得られたハイライト回数、すなわちその小節に対応する動画の演奏位置の再生回数に基づいて、その楽譜と動画とを用いて演奏の練習を行ったユーザの演奏能力を判定する例を説明する。

本実施形態では、電子楽譜に記録された再生回数に基づいてその演奏者の演奏能力を判定する例を説明するがこれに限られず、再生回数を用いて別の手法により演奏能力を判定したり、様々な用途に用いたりすることができる。すなわち、本実施形態では、小節ごとのハイライト表示回数を算出することにより動画の再生回数を取得して、小節ごとの再生回数を演奏者が練習で演奏する場合の演奏回数とみなし、小節ごとの難度とともに演奏者の演奏能力の判定に用いるが、これに限られることなく、様々な用途に用いることもできる。

本実施形態では、楽譜の小節ごとに図１２に示すように演奏の難易を示す難度をあらかじめ設定しておく。一般に難度が高い部分は何度も練習する必要があり、特に演奏能力の低い演奏者の演奏回数は高い演奏者より増加する傾向にあるが、難度の低い箇所では演奏能力の高い演奏者はほとんど繰返しがなく、再生回数が少なくなる一方、能力の低い演奏者は繰り返しが多くなる傾向にある。すなわち、難度の高い箇所に注目すると、難度の高い箇所の再生回数が少ないほど、例えば難度と再生回数との積が小さいほど演奏能力が高いと判定することができる。加えて、上述のように難度の低い箇所で低い能力の演奏者が一定以上の繰り返し回数で演奏しても、難度自体が低いので難度と再生回数の積は全体にあまり影響を及ぼさないと考えられる。

以上により、難度および再生回数に基づいて演奏者の演奏能力を判定する場合を説明する。

まず、楽譜データから小節ごとのハイライト回数である再生回数を取得する（ステップＳ１１０１）。難度設定表１２０１から小節ごとの演奏難度を取得する（ステップＳ１１０２）。小節ごとに、再生回数と難度との積を取って合計し、その演奏者の能力指数を取得する（ステップＳ１１０３）。得られた合計である能力指数は演奏能力が低いほど大きな値となり、演奏能力が高いほど小さな値になる傾向にあるから、所定の閾値を設けることにより、段階的に演奏能力を定めることができる（ステップＳ１１０４）。ここで、本実施形態では、再生回数と演奏難度との積の、単純な合計で演奏能力を判定したが、これに限られず、難度と再生回数により様々な判定手法を採用することができる。例えば、一定以上の難度の小節のみ注目して再生回数との積に基づいて判定することもできるし、難度の値により小節を複数のクラスタに分けて、各クラスタごとに再生回数と関連付けて、演奏能力の判定をすることができる。また、難度の高低が適切な配分になるように使用する小節の組合せを設定することができる。

本実施形態ではさらに、楽曲ごとに難度をランク付けして、例えばランク１からランク５まで難度が高くなるように設定しておき、演奏者の演奏能力にあった楽譜を提案することができる。すなわち、判定処理で得られた能力指数に基づき、所定の演奏能力を超過している演奏者については、現在使用している楽譜（例えばランク３）を演奏する十分な能力があると判定し（ステップＳ１１０５）、現在の楽曲よりも難度の高いランクの楽曲（例えばランク４）の楽譜を演奏者に提案することができる。この場合、同種類の楽曲からランクのより高い楽曲を選択して提案することもできる。一方、所定の演奏能力に満たない演奏者にはよりランクの低い楽曲（例えばランク２）を提案することができる（ステップＳ１１０７）。ここで、各ランクと演奏能力の値の範囲との対応付けは本技術分野で知られたいずれかの方法で行うことができる。

以上、本実施形態では、楽曲ごとに演奏難度のランクを定めておいて、演奏能力判定処理により取得した演奏者の演奏能力に基づき、適合する楽曲を選択して新たに楽譜を提供することもできるが、これに限らず、小節ごとの再生回数を演奏回数とみなし、様々な楽譜の提案を行うことによりユーザは高度な演奏体験を得ることができる。例えば、小節ごとに難度を設けなくても演奏回数を参照して、１曲を演奏する際にほとんど前に戻って繰り返し演奏することがなければその楽曲の演奏能力は十分有しているとして、よりランクの高い楽曲を提案し、いずれかの小節の繰り返しが複数回ある場合にはその楽曲を演奏する能力に満たないと判定し、よりランクの低い楽曲を提案することもできる。

さらに、本実施形態では、各ハイライト表示ログから表示回数を合計して演奏回数とみなして使用する例を説明したが、各ログごとの表示回数を時系列で参照することにより、演奏能力の向上が見られる場合には、よりランクの高い楽曲を提案し、演奏能力の向上が見られない場合はよりランクの低い楽曲を提案することができる。すなわち、例えば日ごとの演奏回数を参照して繰返しの回数が減少している状態であれば、演奏能力が向上しているとみなして、よりランクの高い楽曲を提案し、繰り返し回数が変化しない、あるいは増大している場合は、現在の楽曲が演奏者の演奏能力にあっていないものとしてよりランクの低い楽曲を提案することができる。

本実施形態では、楽曲を難度でランク付けしておき、ユーザに新たな楽曲を提案する例を説明したが、判定された演奏能力に応じて新たな楽曲を提案するのではなく、提供された楽譜をより難度の低いあるいは高い楽譜に変更して提供することもできる。この場合、楽譜の変更は本技術分野で知られたいずれかの手法により行うことができる。また、同一の楽曲でも難度の異なる楽譜のバージョンがある場合は、同様に同じ楽曲の別の楽譜を提案することもできる。

Claims (11)

1. 動画を提供する動画提供サーバと、前記動画と関連付けて楽譜を提供する楽譜提供サーバと、前記提供された楽譜を表示する端末とを備えたシステムであって、
   前記動画が再生されると、前記端末に表示された楽譜の、前記動画の演奏中の画像に対応する位置を示すように該楽譜を表示する演奏位置表示手段と、
   前記演奏位置表示手段により表示された表示回数を、前記提供される楽譜の対応する位置と関連付けて記録する回数記録手段と、
   前記楽譜に関連付けて記録された表示回数に基づいて演奏能力を判定する能力判定手段と
   を備えることを特徴とするシステム。
2. 前記楽譜中の各位置に関連付けて演奏難度を設定して格納する難度記憶手段をさらに備え、
   前記能力判定手段は、前記楽譜の対応する位置における難度により前記楽譜のより難度の低い位置の表示回数が多いほど、前記演奏能力を低く判定することを特徴とする前記請求項１に記載のシステム。
3. 前記能力判定手段は、前記楽譜の表示回数と前記演奏難度との積の合計に基づいて演奏能力を判定することを特徴とする請求項２に記載のシステム。
4. 前記能力判定手段によって判定された演奏能力で演奏するのに適した前記提供された楽譜とは異なる楽譜を選択して提供する楽譜提供手段をさらに備えることを特徴とする請求項１ないし３のいずれかに記載のシステム。
5. 前記能力判定手段によって判定された演奏能力に応じて、前記提供された楽譜を変更する楽譜変更手段をさらに備えることを特徴とする請求項１ないし３のいずれかに記載のシステム。
6. 前記表示回数は、前記楽譜の小節ごとに記録および設定されることを特徴とする請求項１ないし５のいずれかに記載のシステム。
7. 前記動画は、動画提供サーバからネットワークを介して取得されることを特徴とする請求項１ないし６のいずれかに記載のシステム。
8. 前記動画は、前記端末に前記ネットワークを介して送信され、再生されることを特徴とする請求項７に記載のシステム。
9. 前記端末に表示された楽譜の、前記動画の演奏中の画像に対応する位置をハイライトにより示すことにより、当該対応する位置を示すように該楽譜を表示することを特徴とする請求項１ないし８のいずれかに記載のシステム。
10. 動画提供サーバと、楽譜提供サーバと、楽譜を表示する端末とを備えたシステムにおいて、動画および該動画と関連付けて楽譜を提供する方法であって、
    前記動画が再生されると、前記端末に表示された楽譜の、前記動画の演奏中の画像に対応する位置を示すように該楽譜を表示する演奏位置表示ステップと、
    前記演奏位置表示ステップにより表示された表示回数を、前記提供される楽譜の対応す る位置と関連付けて記録する回数記録ステップと、
    前記楽譜に関連付けて記録された表示回数に基づいて演奏能力を判定する能力判定ステップと
    を備えることを特徴とする方法。
11. 動画提供サーバと、楽譜提供サーバと、楽譜を表示する端末とを備えたシステムに、動画および該動画と関連付けて楽譜を提供する方法を実行させるプログラムであって、該方法は、
    前記動画が再生されると、前記端末に表示された楽譜の、前記動画の演奏中の画像に対応する位置を示すように該楽譜を表示する演奏位置表示ステップと、
    前記演奏位置表示ステップにより表示された表示回数を、前記提供される楽譜の対応する位置と関連付けて記録する回数記録ステップと、
    前記楽譜に関連付けて記録された表示回数に基づいて演奏能力を判定する能力判定ステップと
    を備えることを特徴とするプログラム。