JPWO2018074454A1 - 動画再生管理方法、システムおよびプログラム - Google Patents

Abstract

楽譜上の任意の位置を指定することによってその位置に対応する位置から動画を再生すること。楽譜管理サーバ１０１は、楽譜データを記憶し、管理する楽譜データ管理モジュール２０１、楽譜データに必要な処理を行って端末に送信する楽譜データ送信モジュール２０２、端末から再生開始位置の指定を受信すると、動画上のどの位置かを取得する指定受信算出モジュール２０３および現在再生されている画像の動画全体における位置を、通信サーバ１０２から受信すると、端末に表示された楽譜のどこに対応するかを取得し、ハイライトを出力するようにするハイライト出力モジュール２０４を備える。

Description

本発明は動画再生管理方法、システムおよびプログラムに関し、より具体的には、演奏を撮影した動画を的確な手法により再生することができる動画再生管理方法、システムおよびプログラムに関する。

近年Ｙｏｕｔｕｂｅなどの投稿サイトをはじめとする種々の動画配信サイトから様々な動画が配信されており、視聴者はインターネット等に接続してこのようなサイトから動画をストリーミングあるいはダウンロードして楽しむことができる。特に、クラシックをはじめとする演奏会やジャズやロックのライブから音楽フェスティバルなどにいたるまで、映像を投稿して知人同士で楽しむなど、ジャンルにかかわらず何らかの音楽を含む活動（以下、演奏という）を撮影した動画が動画配信サイトから提供されている。

例えば、引用文献１に示すよう音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラムでは、ユーザは、楽曲再生するパート、表示する楽譜のパート、表示させる動画像をユーザインターフェース１０を介して指示し、選択部１４はかかる指示に応じたパート楽曲データ、パート楽譜データおよび動画像データを記憶部１５から選択して読み出し、出力制御部１７は、これらの選択されたデータに基づく楽曲再生、楽譜表示および動画像表示を同期させるよう出力タイミングを制御する。すなわち、特許文献１の図７に示すように視聴したい楽曲のパートを指定すると、そのパートの最初から再生される。一方、通常の動画配信サイトにパソコンなどからアクセスしてブラウザで視聴するときは、ユーザインタフェースとして再生ボタンあり、これをクリックすると最初あるいはポーズで停止していた箇所から動画が再生される。

特開２００４−２３３６９８号公報

しかし、従来の動画再生装置は、あくまで指定された動画ファイルの最初からしか再生することができない。特許文献１の音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラムでも、楽曲をいくつかのパートに分けてはいるが、ユーザは視聴したいパートを選べるだけで、結局パートの最初からしか再生できないという問題がある。

本発明は上記従来の問題に鑑みてなされたものであり、楽譜上の任意の小節を指定することによりその位置に対応する位置から動画を再生することができ、視聴を開始したいところから動画を再生することができる。また、再生している動画上の演奏の対応する楽譜上の位置にハイライトを付すことにより、楽譜上の演奏位置を確認することができる。

このため本発明では楽曲の楽譜データとその楽曲を演奏する動画とをリンクして所望の位置から動画を再生することができる動画再生管理方法、システムおよびプログラムを提供することを目的とする。

請求項１に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理方法であって、演奏に関連する楽譜を端末に表示して、表示された楽譜上で演奏の開始位置を指定させるステップと、演奏の開始位置の指定を受け取ると、指定された楽譜上の位置に対応する動画上の位置を取得するステップと、取得した動画上の位置から動画を再生させるステップとを備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の動画再生管理方法において、動画は、端末とは異なる動画再生端末にネットワークを介して送信し、再生させることを特徴とする。

請求項３に記載の発明は、請求項１に記載の動画再生管理方法において、動画は、端末にネットワークを介して送信し、再生させることを特徴とする。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の動画再生管理方法において、指定された楽譜上の位置に対応する動画上の位置は、動画の演奏時間および楽譜全体における指定された楽譜上の位置の時間割合から取得することを特徴とする。

請求項５に記載の発明は、請求項４に記載の動画再生管理方法において、動画の演奏時間は、動画の全再生時間から演奏前後の無演奏時間を減じて取得することを特徴とする。

請求項６に記載の発明は、請求項１ないし５のいずれかに記載の動画再生管理方法において、動画が再生されると、端末に表示された楽譜の、動画の演奏中の画像に対応する位置を示すように楽譜を表示することを特徴とする。

請求項７に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理方法であって、演奏に関連する楽譜を端末に送信して表示させ、表示された楽譜上における演奏の開始位置の指定を受信するステップと、演奏の開始位置の指定により指定された楽譜上の位置に対応する動画上の位置を取得するステップと、取得した動画上の位置を開始位置として設定し動画を動画サーバから送信する指示を送信するステップとを備えることを特徴とする。

請求項８に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理方法をサーバに実行させるプログラムであって、動画再生管理方法は、演奏に関連する楽譜を端末に送信して表示させ、表示された楽譜上における演奏の開始位置の指定を受信するステップと、演奏の開始位置の指定により指定された楽譜上の位置に対応する動画上の位置を取得するステップと、取得した動画上の位置を開始位置として設定し動画を動画サーバから送信するよう指示を送信するステップとを備えることを特徴とする。

請求項９に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理サーバであって、演奏に関連する楽譜を端末に送信して表示させ、表示された楽譜上における演奏の開始位置の指定を受信する楽譜指定手段と、演奏の開始位置の指定により指定された楽譜上の位置に対応する動画上の位置を取得する対応位置取得手段と、取得した動画上の位置を開始位置として設定し動画を動画サーバから送信するよう指示を送信する動画配信指示手段とを備えることを特徴とする。

請求項１０に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理システムであって、動画を配信する動画配信サーバと、動画配信サーバから配信された動画を再生する再生端末と、演奏に関連する楽譜を受信して表示させ、表示された楽譜上における演奏の開始位置を指定されると、開始位置の指定を送信する端末と、楽譜を端末に送信して表示させ、開始位置の指定を受信する楽譜指定手段と、演奏の開始位置の指定により指定された楽譜上の位置に対応する動画上の位置を取得する対応位置取得手段と、取得した動画上の位置を開始位置として設定し動画を動画配信サーバから送信するよう指示を送信する動画配信指示手段とを含む動画再生管理サーバとを備えることを特徴とする。

本発明によると、演奏に関連する楽譜を端末に表示して、表示された楽譜上で演奏の開始位置を指定させるステップと、演奏の開始位置の指定を受け取ると、指定された楽譜上の位置に対応する動画上の位置を取得するステップと、取得した動画上の位置から動画を再生させるステップとを備えているので、楽譜上の任意の位置を指定することによってその位置に対応する位置から動画を再生することにより、視聴を開始したいところから動画を再生することが可能となる。

本発明の一実施形態の全体のシステム構成図である。 本発明の一実施形態のサーバの機能ブロック図である。 本発明の一実施形態の楽譜表示画面から動画再生を指示する操作を説明するための図である。 本発明の一実施形態で楽譜の上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の一実施形態で楽譜の上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の一実施形態の動画再生位置を指定する処理を示すフローチャートである。 本発明の一実施形態の楽譜上での位置を指定する操作を示す図である。 本発明の一実施形態の動画上の再生画像に対応する楽譜上の位置の表示を説明するための図である。 本発明の一実施形態の再生される動画の例を示す図である。 本発明の一実施形態の動画再生中の画像に対応する楽譜上の位置をハイライトにする処理を示すフローチャートである。 本発明の別の実施形態の楽譜表示画面から動画再生を指示する操作を説明するための図である。 本発明の別の実施形態で楽譜の上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の別の実施形態で楽譜の上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の別の実施形態で楽譜の上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の別の実施形態の動画再生位置を指定する処理を示すフローチャートである。 本発明の別の実施形態の動画上の再生画像に対応する楽譜上の位置の表示を説明するための図である。 本発明の別の実施形態の動画再生中の画像に対応する楽譜上の位置をハイライトにする処理を示すフローチャートである。

以下、本発明の動画再生管理方法、システムおよびプログラムについて図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。

本実施形態では、インターネットを介して提供される動画投稿サイトに投稿された楽曲の演奏動画を視聴する際に、動画再生の開始位置を指定したり、再生中の画像の演奏全体における位置を表示させたりするものであり、以下の実施形態では楽譜、あるいは総譜を用いて行うが、これに限られず、演奏の進行を示す何らかの図面を端末に表示させることができれば、いずれの形態でも対応することができる。ここで、基本的に動画を投稿した演奏者の一部が演奏に用いている楽譜と関連づけて予めサーバに設定しておくことを前提として、以下実施形態の説明をするがこれに限られず、演奏されている楽曲と楽譜とがほぼ一致していれば本実施形態を実施することができる。例えば、何らかの事情で配信されていている動画を認識した者が、演奏されている楽曲に対応する楽譜と関連付けて予めサーバに設定してくこともでき、その他本技術分野で知られた方法により楽譜と動画とを関連付けておくことができる。

また、本実施形態で用いる楽譜データは、ＭｕｓｉｃＸＭＬであり、サーバ内では基本的にはＭｕｓｉｃＸＭＬのデータフォーマットで保持している。ＭｕｓｉｃＸＭＬで記述された楽譜はそのまま端末に送信してブラウザで表示させることもできるし、サーバで他の表示用のフォーマット、例えばＰＤＦに変換して端末に送信し端末のブラウザで表示させることもできる。以上のように、本実施形態の楽譜データはＭｕｓｉｃＸＭＬを用いるが、これに限られず、何らかの変換や処理を行って、表示用の楽譜を生成できるものであればいずれのフォーマットも用いることができる。
（システム構成）
本発明の一実施形態で用いる動画再生管理方法の具体的なシステムの動作及び処理を以下に説明する。図１は、本発明の一実施形態の全体のシステム構成図である。本システムでは、楽譜データを配信したり、システム全体を制御したりするためのサーバとして、楽譜管理サーバ１０１、通信サーバ１０２および動画配信サーバ１０４を備えており、ネットワーク１０３を介して接続されている。表示装置である端末１１１は、基本的に無線でネットワーク１０３に接続されており、例えばタブレット端末とすることができ、本実施形態でネットワーク１０３との接続は、携帯電話の回線や、Ｗｉ−ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線ネットワークにより行う。ここで端末１１１はタブレット端末のほか、スマートフォン、あるいはモバイルパソコン等とすることができるが、基本的に楽譜データ等をサーバから受信して画像を表示、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。

動画再生端末１１２は、本実施形態では、端末１１１で指定された動画の再生開始箇所から動画を再生して表示するものであり、端末１１１と同様にネットワークを介してサーバと通信できるものであればパソコンに限られず、いずれかの端末装置を使用することができ、タブレット等の移動端末を使用することもできる。また、本実施形態のサーバとしては、楽譜管理サーバ１０１、通信サーバ１０２および動画配信サーバ１０４の３つのサーバを備え、端末１１１から楽譜等の画像の表示や再生開始などの指示を楽譜管理サーバ１０１に送信すると、楽譜管理サーバ１０１は楽譜のデータを送信したり、指定された再生位置の動画上の位置を算出して通信サーバ１０２に動画の再生を指示したりし、その結果、動画配信サーバ１０４は指示された表示装置１１２に指示された動画を送信して表示させるが、これに限られず、楽譜管理サーバ１０１により指示の受信から動画配信サーバ１０４への画像データの送信の指示までするようにすることもでき、あるいはさらに多くのサーバに機能分担させることもできる。

また、端末１１１と動画再生端末１１２は全く別の端末のように説明しているが、各々の機能が達成されていれば同じ端末を使用することができる。すなわち、同一の端末から動画の再生指示を送信すると、同じ端末に指定した開始位置から再生を開始する動画データが送信され、楽譜とともに動画を視聴することができる。この場合、楽譜の画像と動画とは、本技術分野で知られたいずれの方法でも組み合わせて表示することができる。具体的には、端末の画像を上下或いは左右に分割して、表示させることもでき、一部重ねて表示させるなど、視聴者が使い勝手のいいように表示させることができる。もちろん、この場合でも楽譜の表示や動画再生の指示等は本実施形態のサーバ等により処理され、動画は動画配信サーバから配信される。

図２は、本発明の一実施形態のサーバの機能ブロック図である。楽譜管理サーバ１０１は、図示しないサーバ等から楽譜データを受信して記憶し、管理する楽譜データ管理モジュール２０１、受信した楽譜データに必要な処理を行って端末に送信する楽譜データ送信モジュール２０２、端末から再生開始位置の指定を受信すると、動画上のどの位置かを算出する指定受信算出モジュール２０３および現在再生されている画像の動画全体における位置を、通信サーバ１０２から受信すると、端末に表示された楽譜のどこに対応するかを算出し、ハイライトを出力するようにするハイライト出力モジュール２０４を備える。また、通信サーバ１０２は、端末１１１で表示されている楽譜を演奏する動画のＵＲＬ等のデータを管理する動画管理モジュール２０５、楽譜管理サーバ１０１から動画の開始位置の指定を受信すると、動画管理モジュール２０５で管理されている動画データに基づいて動画配信サーバ１０４に再生開始位置を指定して再生を指示する開始位置指定モジュール２０６および動画配信サーバ１０４から受信した現在の再生時間を楽譜管理サーバ１０１に出力する再生時間出力モジュール２０７を備える。

以下に、図２〜図６を参照して本発明の一実施形態の動画再生開始処理を説明する。一般に、楽譜データ、例えばＭｕｓｉｃＸＭＬフォーマットのデータでは、各小節ごとに音符データが規定されており、端末では楽譜データを受信すると、ブラウザ上で五線譜を表示して、各小節の音符データに基づいて楽譜を描画していく。したがって、ブラウザ上で指でタッチ、あるいはマウスでクリックする等により、ある小節が指定されるとそれが第何小節かを認識することができる。以下の第１実施形態では、このように楽譜データに基づいて端末のブラウザ上に楽譜を表示し、その表示された楽譜上の所定の小節を指定することにより、動画の再生開始位置を指定して動画再生の指示を楽譜管理サーバ１０１に送信する。楽譜管理サーバ１０１では、指定された小節から動画の再生位置、本実施形態では動画の最初からの再生時間を算出して配信サーバ１０２に動画の再生を指示する。また、プラグイン等がないため、楽譜データを端末でそのまま表示できない場合、楽譜管理サーバ１０１から画像データ、例えばＰＤＦ形式のデータとして送信し、ブラウザで表示することもできる（第２実施形態）。第１実施形態の後に詳述する第２実施形態では、このような楽譜管理サーバ１０１において楽譜データからＰＤＦの楽譜データを生成し、ＰＤＦデータに基づいて動画再生開始処理を行う。

（第１実施形態）
以下、楽譜データに基づく第１実施形態の処理を説明するが、まず動画再生開始処理につき説明し、その後動画の再生位置を楽譜上にハイライト表示する処理を説明する。

（動画再生開始処理）
図３は、本発明の一実施形態の動画再生開始処理を説明するための図であり、図４ＡおよびＢは、本実施形態で楽譜の上の小節とそれに対応する再生位置の関連付けを示す図である。図５は、本実施形態の動画再生位置を指定する処理を示すフローチャートであり、図６は、本実施形態の楽譜上での位置を指定する操作を示す図である。

本実施形態では、図３に示すように端末１１１に、楽譜データ送信モジュール２０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示して再生位置を指定させ、指定された小節をサーバに知らせることにより、サーバはその小節に対応する動画の再生位置、本実施形態では再生時間を算出し、その位置から動画を再生するように通信サーバ１０２に指示する。通信サーバ１０２では端末に表示された楽譜の演奏動画を特定して、動画配信サーバ１０４に、指示された再生時間を指定して動画を配信するよう指示し、表示装置１１２において動画が再生される。通常、ＭｕｓｉｃＸＭＬは端末において、本技術分野で知られた専用の表示アプリや再生アプリを用いて取り扱われるので、ここでは詳細は記さないが、例えば楽譜が表示され、指でタッチあるいはマウスによりクリック等されると、その画面上の位置に相当する小節番号をサーバに送信するようなスクリプトなどを埋め込んでおいて、端末からサーバに小節番号を送信するようにすることもできるし、その他の本技術分野で知られたいずれかの方法でこのような処理を実行させることにより、端末側のソフトウェアを特に変更することなく、本実施形態を実施することができる。また、逆に端末側に小節番号をサーバに送信する等本実施形態で必要な処理を実行するソフトウェアを予めインストール、あるいはダウンロードする等により端末で実行可能にしておいて本実施形態を実施することもできる。

具体的に図５のフローチャートを参照して説明すると、まず図６に示すように端末１１１に表示された楽譜３０５の最上段の第４小節６０２をユーザが指３０６でタッチして指定すると、ステップＳ５０１において、端末１１１は動画を再生開始する小節番号を取得する。小節番号が取得されると、端末１１１は、取得した小節番号、ここでは第４小節を楽譜管理サーバに送信して通知する（ステップＳ５０２）。楽譜管理サーバ１０１の指定受信算出モジュール２０３は、取得した小節番号から対応する動画の再生時間を算出する。

本実施形態では、図４Ｂに示すように予め動画の再生時間４１１と楽譜の小節番号４２１とを対応付けておき、図４Ａに示す小節時間変換表４０１を作成しておく。この小節時間変換表４０１を参照することにより例えば小節番号（４）（第４小節）は動画の再生時間ｔ４に対応すると判定できるから、これにより再生時間ｔ４を算出することができる。動画の再生時間は動画の最初の画像を基準とする再生経過時間の長さであり、その動画の最後の画像の再生時間は動画全体の長さとなる。

本実施形態では、予め図４Ａに示すような小節時間変換表４０１を作成して必要な再生時間を算出（変換）するが、各小節の時間を一定とみなすことができる場合は、演奏時間と小節数とで１小節の演奏時間を算出して、小節番号から再生時間を算出することができる。また、通常は、動画には演奏前後に演奏をしない余白の部分があるので、動画の最初の画像から開始して、一定の音量の音声が再生された位置から演奏を開始し、音量が一定以下になったところで演奏が終了したものとして、全体の演奏時間を算出することもできる。

楽譜管理サーバ１０１は、小節番号から再生時間を取得すると、図３の矢印３０２で示すように再生時間を通信サーバ１０２に通知して、動画の再生を指示する（ステップＳ５０４）。通信サーバ１０２では、動画管理モジュール２０５が、楽譜管理サーバ１０１が管理する楽譜データと、その楽譜の楽曲を演奏した動画とを対応付けて管理しており、楽譜管理サーバ１０１が楽譜および再生開始位置（例えば、再生時間ｔ４）を指定して再生を指示すると、動画管理モジュール２０５が対応する動画を配信する動画配信サーバ１０４を特定し、開始位置指定モジュール２０６が、図３の矢印３０４で示すように特定された動画配信サーバ１０４に再生開始位置を指定して動画の配信を指示する（ステップＳ５０５）。動画の配信を指示された動画配信サーバ１０４は、指定された動画を、指定された再生位置ｔ４から動画再生端末１１２に対し、図３の矢印３０３で示すようにストリーミング配信する（ステップＳ５０６）。一般に、動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて再生位置を指定して再生を開始させる。

（楽譜ハイライト表示処理）
以下に、図７〜図９を参照して本実施形態の楽譜ハイライト表示処理を説明する。上述の通り本実施形態では、ＭｕｓｉｃＸＭＬフォーマットのデータを楽譜管理サーバ１０１で管理し、端末１１１に送信してブラウザ上で楽譜として表示される。この際、本実施形態では動画表示端末１１２で再生されている画像に対応する楽譜上の位置を端末１１１でハイライト表示する。これにより、動画で現在演奏されている演奏の部分を楽譜の小節単位で知ることができるので、演奏の確認や練習に役立てることができる。

図７は、本実施形態の動画上の再生画像に対応する楽譜上の位置の表示を説明するための図であり、図８は、本実施形態の再生される動画の例を示す図である。また、図９は、本実施形態の動画再生中の画像に対応する楽譜上の位置をハイライトにする処理を示すフローチャートである。

より具体的に図９のフローチャートを参照して、楽譜ハイライト表示処理を説明すると、先ず図７の矢印７０３で示すように動画配信サーバ１０４からストリーミング配信して動画が再生される。本実施形態では、ＹｏｕｔｕｂｅのＵＲＬと、必要であれば再生時間とをＹｏｕｔｕｂｅのＡＰＩを用いて設定し再生させる。このような状態において、通信サーバ１０２の再生時間出力モジュール２０７は図７の矢印７０５で示すように動画配信サーバ１０４に再生時間を要求し、図７の矢印７０４で示すように取得する（ステップＳ９０１）。一般に、動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて現在の再生時間を取得する。

再生時間出力モジュール２０７は、再生時間を取得すると楽譜管理サーバ１０１に再生時間を通知する（ステップＳ９０２）。楽譜管理サーバ１０１のハイライト出力モジュール２０４は、通知された再生時間に基づいて、図４Ａに示す小節時間変換表４０１を用いて、対応する楽譜の位置として小節番号を取得する（ステップＳ９０３）。図示しないが、本例で取得した再生時間ｔがｔ２以上ｔ３未満とすると、小節時間変換表４０１により、第２小節に対応すると判定される。このように、取得した再生時間が小節時間変換表４０１の再生時間のどの時間間隔の範囲に含まれるかにより対応する小節番号を判定する。

小節番号が判定されると、ハイライト出力モジュール２０４は、端末１１１に判定された小節番号の表示をハイライトにするように指示し（ステップＳ９０４）、端末１１１は図８に示すように第２小節８０１のようにハイライト表示とする（ステップＳ９０５）。具体的な処理について、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜管理サーバ１０１で、判定された小節番号の楽譜の表示をハイライトに変更して端末１１１に送信することによって、端末１１１のブラウザがこれを解釈し、ハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定部分をハイライト表示変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節番号を指定してハイライト表示の指示を受信すると指定された小節をハイライト表示にすることもできるが、これに限られない。

以上の処理により、現在再生されている画像の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示される。ここで、通信サーバ１０２は、上述の再生時間の取得を一定間隔で実行し、それ以降のハイライト表示処理までを行うことにより、動画の再生にしたがって、対応する小節をハイライト表示させ、楽譜上を移動しているように表示することができる。一定間隔を各小節間の時間より十分に小さくすることにより、滑らかにハイライトを楽譜上で移動させるように表示ことができる。あるいは、一定間隔を用いなくても、本実施形態では図４Ａに示すように各小節に対応する再生時間が予め記憶されているので、通知サーバ１０２は、各再生時間に実際にその再生時間にあるかを動画配信サーバ１０４に確認して、ハイライトさせる小節を変更する処理を実行することができる。

なお、本実施形態では動画の再生位置をハイライトで示したが、これに限られず、何らかのマーカで示したり、その他その小節を他の小節と区別する何らかの方式で表示したりすることができる。

(第２実施形態)
本実施形態は、基本的には上述の第１実施形態と同様の構成を有し、各端末の機能や、構成も同様である。特に、動画表示端末１１２、通信サーバ１０２および動画配信サーバ１０４は構成も処理も同一である。第１実施形態では、楽譜を端末に表示させる際、楽譜データを（ＭｕｓｉｃＸＭＬフォーマットで）端末に送信し、端末ではＭｕｓｉｖＸＭＬとして楽譜データを解釈して楽譜を表示していたのに対し、本実施形態では、画像データに基づいて楽譜のＰＤＦデータを生成して端末に送信し、端末側ではＰＤＦファイルとしてブラウザで表示する点が異なる。本実施形態と第１実施形態との主な差異は以上であるが、この差異によりユーザに指定された楽譜上の開始位置の判定処理や、ハイライト表示の処理が異なってくる。以下、図１０〜１２を参照して動画再生開始処理を、図１３および１４を参照してハイライト表示処理を説明するが、上述の通り基本的に差異点以外は第１実施形態の処理を用いることができる。

本実施形態で楽譜管理サーバ１０１は、予め楽譜データ管理モジュール２０１が楽譜データを、図示しないサーバ等から受信して管理しており、この楽譜データから生成されたＰＤＦ形式の楽譜画像を楽譜データ管理モジュール２０１が、ページごとの画像に分離しておき記憶、管理しておく。楽譜管理サーバ１０１に楽譜あるいは動画を指定して画像データ送信の指示が端末１１１からなされると、画像データ送信モジュール２０２が指示された楽譜の画像を読み込み、図１０の矢印１００１で示すように端末１１１に送信する。

図１０は、本実施形態の動画再生開始処理を説明するための図であり、図１１ＡないしＣは、本実施形態で楽譜の上の小節とそれに対応する再生位置の関連付けを示す図である。また、図１２は、本実施形態の動画再生位置を指定する処理を示すフローチャートである。

本実施形態では、図１０に示すように端末１１１に、楽譜データ送信モジュール２０２が、ＰＤＦ形式の楽譜画像を送信してブラウザ上に表示して再生位置を指定させ、指定された位置座標をサーバに知らせることにより、サーバはその座標位置がどの小節に対応するかを判定して対応する動画の再生時間を算出し、その再生時間から動画を再生するように通信サーバ１０２に指示する。その後の処理は第１実施形態と同じである。

具体的に図１２のフローチャートを参照して説明すると、まず図６に示すように端末１１１に表示された楽譜３０５の最上段の第４小節６０２をユーザが指３０６でタッチして指定すると、ステップＳ１２０１において、端末１１１は動画を再生開始する座標を取得する。端末の画面に表示された楽譜を指でタッチあるいはマウスでクリック等した場合そのタッチあるいはクリックされた座標をサーバに送信する手法は本技術分野で知られたいずれの方法も用いることができる。例えば、指でタッチあるいはマウスでクリック等すると、タッチあるいはクリックされた座標をサーバに送信するようなスクリプトを予めデータに埋め込んでおくこともできるし、そのような処理を端末上で行うソフトウェアをインストール或いは逐次ダウンロードして使用することもできる。

座標が取得されると、端末１１１は、取得した座標を楽譜管理サーバ１０１に送信して通知する（ステップＳ１２０２）。楽譜管理サーバ１０１の指定受信算出モジュール２０３は、取得した座標から図１１Ｂに示す座標小節変換表１１０２を用いて、対応する小節番号を判定し、図１１Ａに示す小節時間変換表１１０１から対応する動画の再生時間を算出する（ステップＳ１２０３）。すなわち、第１実施形態と同様に、本実施形態でも、図１１Ｃに示すように予め動画の再生時間１１１１と楽譜の小節番号１１２１とを対応付けておき、図１１Ａに示す小節時間変換表１１０１を作成しておく。この小節時間変換表１１０１を参照することにより例えば小節番号（４）（第４小節）は動画の再生時間ｔ４に対応すると判定できるから、これにより再生時間ｔ４を算出することができる。動画の再生時間は動画の最初の画像を基準とする再生経過時間の長さであり、その動画の最後の画像の再生時間は動画全体の長さとなる。

本実施形態では、図１１Ｂの座標小節変換表１１０２に示すように、楽譜データからＰＤＦ形式で端末に表示させたときの各小節の位置を予め判定しておき、座標が指定されるとそれがどの小節内の座標であるかを特定できるようにしている。具体的には、本実施形態では各小節の左上の座標を基準としてその小節の領域の最下点までの長さを高さＨ、音楽進行方向の隣接する小節との境界までの長さを幅Ｗとして、この領域内に座標が含まれるときは、その小節番号であると判定する。このようにして、端末１１１から通知されたユーザが指定した座標から対応する小節番号を判定した後の処理は、第１実施形態と同様である。すなわち、図１１Ａに示すように予め作成された小節時間変換表１１０１を参照することにより、例えば小節番号（４）（第４小節）は動画の再生時間ｔ４に対応すると判定できるから、これにより再生時間ｔ４を算出することができる。以降、第１実施形態と同様の処理を行って、動画の配信を指示された動画配信サーバ１０４は、指定された動画を、指定された再生位置ｔ４から動画再生端末１１２に対し、図１０の矢印３０３で示すようにストリーミング配信する（ステップＳ５０６）。

（楽譜ハイライト表示処理）
以下に、図１３および１４を参照して本実施形態の楽譜ハイライト表示処理を説明する。上述の通り本実施形態では、ＰＤＦ形式の楽譜画像を楽譜管理サーバ１０１で管理し、端末１１１に送信してブラウザ上で楽譜として表示される。この際、第１実施形態と同様、本実施形態でも動画表示端末１１２で再生されている画像に対応する楽譜上の位置を端末１１１でハイライト表示する。これにより、動画で現在演奏されている演奏の部分が楽譜の小節単位で知ることができるので、演奏の確認や練習に役立てることができる。

より具体的に図１４のフローチャートを参照して、楽譜ハイライト表示処理を説明すると、先ず通信サーバ１０２から動画の再生時間を楽譜管理サーバ１０１で通知するまでの処理（ステップＳ９０１、９０２）は第１実施形態と同一である。楽譜管理サーバ１０１のハイライト出力モジュール２０４は、通知された再生時間に基づいて、図１１Ａに示す小節時間変換表１１０１を用いて、対応する楽譜の位置として小節番号を取得し、取得した小節番号から座標小節変換表１１０１を用いて対応する領域を判定する（ステップＳ１４０１）。すなわち、本実施形態では、図１１Ｂの座標小節変換表１１０２に示すように、楽譜データからＰＤＦ形式で端末に表示させたときの各小節の領域を予め判定しておき、小節番号が指定されるとその小節の楽譜画像上の領域を座標で特定できるようにしている。したがって、図示しないが、本例で取得した再生時間ｔはｔ２以上ｔ３未満とすれば、図１１Ａに示す小節時間変換表１１０１により、第２小節に対応すると判定することができる。次に、第２小節の領域を図１１Ｂに示す座標小節変換表１１０２を参照して取得する。

対応する小節の領域が取得されると、ハイライト出力モジュール２０４は、端末１１１に判定された小節の領域の表示をハイライトにするように指示し（ステップＳ１４０２）、端末１１１は図８に示すように第２小節８０１のようにハイライト表示とする（ステップＳ１４０３）。具体的な処理は、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜管理サーバ１０１で、取得した小節の領域の楽譜の表示をハイライトに変更したＰＤＦ形式の楽譜画像を端末１１１に送信することによって、端末１１１のブラウザがこれを解釈し、現在再生中の演奏に対応する小節の領域をハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定された領域をハイライト表示変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節に対応する領域を例えば座標等により指定してハイライト表示の指示を受信すると指定された領域をハイライト表示にすることもできるが、これに限られない。また、そのような処理を端末上で行う専用のソフトウェアをインストール或いは逐次ダウンロードして使用することもできる。この場合、例えばハイライト表示する領域のデータは、楽譜の画像データとは別に管理しておき、専用のソフトウェアに楽譜の画像データとともに送って、ハイライト表示させることができる。

以上の処理により、第１実施形態と同様に、現在再生されている画像の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示される。ハイライト表示を動画の再生に合わせて楽譜上を移動させていく処理についても第１実施形態と同様なので、ここでは省略する。

【０００２】
特許文献
［０００４］
特許文献１：特開２００４−２３３６９８号公報
発明の概要
発明が解決しようとする課題
［０００５］
しかし、従来の動画再生装置は、あくまで指定された動画ファイルの最初からしか再生することができない。特許文献１の音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラムでも、楽曲をいくつかのパートに分けてはいるが、ユーザは視聴したいパートを選べるだけで、結局パートの最初からしか再生できないという問題がある。
［０００６］
本発明は上記従来の問題に鑑みてなされたものであり、楽譜上の任意の小節を指定することによりその位置に対応する位置から動画を再生することができ、視聴を開始したいところから動画を再生することができる。また、再生している動画上の演奏の対応する楽譜上の位置にハイライトを付すことにより、楽譜上の演奏位置を確認することができる。
［０００７］
このため本発明では楽曲の楽譜データとその楽曲を演奏する動画とをリンクして所望の位置から動画を再生することができる動画再生管理方法、システムおよびプログラムを提供することを目的とする。
課題を解決するための手段
［０００８］
請求項１に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理方法であって、演奏に関連する楽譜を端末に表示して、表示された楽譜上で演奏の開始位置を指定させるステップと、演奏の開始位置の指定を受け取ると、指定された楽譜上の位置に対応する動画上の位置を楽譜位置を示す小節番号と動画再生時間との変換表により取得するステップと、動画上の位置を取得すると、取得された位置から動画を再生させるステップとを備えることを特徴とする。
［０００９］
請求項２に記載の発明は、請求項１に記載の動画再生管理方法において、動画は、端末とは異なる動画再生端末にネットワークを介して送信し、再生させることを特徴とする。

【０００３】
［００１０］
請求項３に記載の発明は、請求項１に記載の動画再生管理方法において、動画は、端末にネットワークを介して送信し、再生させることを特徴とする。
［００１１］
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の動画再生管理方法において、指定された楽譜上の位置に対応する動画上の位置は、動画の演奏時間および楽譜全体における指定された楽譜上の位置の時間割合から取得することを特徴とする。
［００１２］
請求項５に記載の発明は、請求項４に記載の動画再生管理方法において、動画の演奏時間は、動画の全再生時間から演奏前後の無演奏時間を減じて取得することを特徴とする。
［００１３］
請求項６に記載の発明は、請求項１ないし５のいずれかに記載の動画再生管理方法において、動画が再生されると、端末に表示された楽譜の、動画の演奏中の画像に対応する位置を小節単位で示すように楽譜を表示することを特徴とする。
［００１４］
請求項７に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理方法であって、演奏に関連する楽譜を端末に送信して表示させ、表示された楽譜上における演奏の開始位置の指定を受信するステップと、演奏の開始位置の指定により指定された楽譜上の位置に対応する動画上の位置を楽譜位置を示す小節番号と動画再生時間との変換表により取得するステップと、動画上の位置を取得すると、取得された位置を開始位置として設定し動画を動画サーバから送信する指示を送信するステップとを備えることを特徴とする。
［００１５］
請求項８に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理方法をサーバに実行させるプログラムであって、動画再生管理方法は、演奏に関連する楽譜を端末に送信して表示させ、表示された楽譜上における演奏の開始位置の指定を受信するステップと、演奏の開始位置の指定により指定された楽譜上の位置に対応する動画上の位置を楽譜位置を示す小節番号と動画再生時間との変換表により取得するステップと、動画上の位置を取得すると、取得された位置を開始位置として設定し動画を動画サーバから送信するよう指示を送信するステップとを備えることを特徴とする。
［００１６］
請求項９に記載の発明は、演奏を撮影した動画の再生を管理する動画再生

【０００４】
管理サーバであって、演奏に関連する楽譜を端末に送信して表示させ、表示された楽譜上における演奏の開始位置の指定を受信する楽譜指定手段と、演奏の開始位置の指定により指定された楽譜上の位置に対応する動画上の位置を楽譜位置を示す小節番号と動画再生時間との変換表により取得する対応位置取得手段と、動画上の位置を取得すると、取得された位置を開始位置として設定し動画を動画サーバから送信するよう指示を送信する動画配信指示手段とを備えることを特徴とする。
［００１７］
請求項１０に記載の発明は、演奏を撮影した動画の再生を管理する動画再生管理システムであって、動画を配信する動画配信サーバと、動画配信サーバから配信された動画を再生する再生端末と、演奏に関連する楽譜を受信して表示させ、表示された楽譜上における演奏の開始位置を指定されると、開始位置の指定を送信する端末と、楽譜を端末に送信して表示させ、開始位置の指定を受信する楽譜指定手段と、演奏の開始位置の指定により指定された楽譜上の位置に対応する動画上の位置を楽譜位置を示す小節番号と動画再生時間との変換表により取得する対応位置取得手段と、動画上の位置を取得すると、取得された位置を開始位置として設定し動画を動画配信サーバから送信するよう指示を送信する動画配信指示手段とを含む動画再生管理サーバとを備えることを特徴とする。
発明の効果
［００１８］
本発明によると、演奏に関連する楽譜を端末に表示して、表示された楽譜上で演奏の開始位置を指定させるステップと、演奏の開始位置の指定を受け取ると、指定された楽譜上の位置に対応する動画上の位置を楽譜位置を示す小節番号と動画再生時間との変換表により取得するステップと、動画上の位置を取得すると、取得された位置から動画を再生させるステップとを備えているので、楽譜上の任意の位置を指定することによってその位置に対応する位置から動画を再生することにより、視聴を開始したいところから動画を再生することが可能となる。
図面の簡単な説明
［００１９］
［図１］本発明の一実施形態の全体のシステム構成図である。
［図２］本発明の一実施形態のサーバの機能ブロック図である。
［図３］本発明の一実施形態の楽譜表示画面から動画再生を指示する操作を説明

Claims (10)

1. 演奏を撮影した動画の再生を管理する動画再生管理方法であって、
   前記演奏に関連する楽譜を端末に表示して、当該表示された楽譜上で演奏の開始位置を指定させるステップと、
   前記演奏の開始位置の指定を受け取ると、当該指定された楽譜上の位置に対応する前記動画上の位置を取得するステップと、
   前記取得した動画上の位置から前記動画を再生させるステップと
   を備えることを特徴とする動画再生管理方法。
2. 前記動画は、前記端末とは異なる動画再生端末に前記ネットワークを介して送信し、再生させることを特徴とする請求項１に記載の動画再生管理方法。
3. 前記動画は、前記端末に前記ネットワークを介して送信し、再生させることを特徴とする請求項１に記載の動画再生管理方法。
4. 前記指定された楽譜上の位置に対応する前記動画上の位置は、前記動画の演奏時間および前記楽譜全体における前記指定された楽譜上の位置の時間割合から取得することを特徴とする請求項１ないし３のいずれかに記載の動画再生管理方法。
5. 前記動画の演奏時間は、前記動画の全再生時間から演奏前後の無演奏時間を減じて取得することを特徴とする請求項４に記載の動画再生管理方法。
6. 前記動画が再生されると、前記端末に表示された楽譜の、前記動画の演奏中の画像に対応する位置を示すように該楽譜を表示することを特徴とする請求項１ないし５のいずれかに記載の動画再生管理方法。
7. 演奏を撮影した動画の再生を管理する動画再生管理方法であって、
   前記演奏に関連する楽譜を端末に送信して表示させ、当該表示された楽譜上における演奏の開始位置の指定を受信するステップと、
   前記演奏の開始位置の指定により指定された楽譜上の位置に対応する前記動画上の位置を取得するステップと、
   前記取得した動画上の位置を開始位置として設定し前記動画を動画サーバから送信する指示を送信するステップと
   を備えることを特徴とする動画再生管理方法。
8. 演奏を撮影した動画の再生を管理する動画再生管理方法をサーバに実行させるプログラムであって、前記動画再生管理方法は、
   前記演奏に関連する楽譜を端末に送信して表示させ、当該表示された楽譜上における演奏の開始位置の指定を受信するステップと、
   前記演奏の開始位置の指定により指定された楽譜上の位置に対応する前記動画上の位置を取得するステップと、
   前記取得した動画上の位置を開始位置として設定し前記動画を動画サーバから送信するよう指示を送信するステップと
   を備えることを特徴とするプログラム。
9. 演奏を撮影した動画の再生を管理する動画再生管理サーバであって、
   前記演奏に関連する楽譜を端末に送信して表示させ、当該表示された楽譜上における演奏の開始位置の指定を受信する楽譜指定手段と、
   前記演奏の開始位置の指定により指定された楽譜上の位置に対応する前記動画上の位置を取得する対応位置取得手段と、
   前記取得した動画上の位置を開始位置として設定し前記動画を動画サーバから送信するよう指示を送信する動画配信指示手段と
   を備えることを特徴とする動画再生管理サーバ。
10. 演奏を撮影した動画の再生を管理する動画再生管理システムであって、
    前記動画を配信する動画配信サーバと、
    前記動画配信サーバから配信された動画を再生する再生端末と、
    前記演奏に関連する楽譜を受信して表示させ、当該表示された楽譜上における演奏の開始位置を指定されると、該開始位置の指定を送信する端末と、
    前記楽譜を前記端末に送信して表示させ、前記開始位置の指定を受信する楽譜指定手段と、前記演奏の開始位置の指定により指定された楽譜上の位置に対応する前記動画上の位置を取得する対応位置取得手段と、前記取得した動画上の位置を開始位置として設定し前記動画を動画配信サーバから送信するよう指示を送信する動画配信指示手段とを含む動画再生管理サーバと
    を備えることを特徴とする動画再生管理システム。

Images