JP6864938B1 - 記録データ再生方法およびシステム - Google Patents

Abstract

【課題】 ネットワーク遅延の影響を極力減少させてリアルな体感を得られる遠隔地の演奏者間でのオンラインアンサンブルを支援すること。【解決手段】 音声／動画配信サーバ１０４がデータを配信するタイミングは異なるが、演奏位置や時刻を指定しての音声や動画の配信技術により各演奏者は遠隔地に居ながらにしてオンラインで演奏タイミングを合わせ、合唱または合奏を特別なスキルなく実施することができる。各端末は、楽譜提供サーバ１０１から配信される楽譜を表示するとともに、合唱や合奏のペースを生成する、提供された楽譜を演奏した音声や動画を再生することができるので、各演奏者は、各端末で同時に再生された音声や動画でタイミングを合わせることができる。【選択図】 図２

Description

本発明は記録データ再生方法およびシステムに関し、より具体的には、楽譜の提供及び管理を実行するとともに、ネットワークを介してオンラインアンサンブルの支援を行うことができる記録データ再生方法およびシステムに関する。

従来、オンラインで合同演奏する場合、例えば配信された映像に合わせて演奏や、歌唱をすることにより、ネットワーク遅延や通信遅延があり、多少のずれがありつつも他の演奏者と演奏することが行われている。しかし、このような環境で相互に演奏のタイミングを合わせ、リアルに合奏しているように演奏するような体感を得るためには、ネットワーク遅延を考慮した高い演奏技術が必要である。近年、ネットワーク環境の進展により、ネットワーク遅延は減少してきているが、楽曲を演奏した複数の音声や映像を合成しようとすると、通常の聴取力であっても容易にずれが感得され、リアルな体感を得ることは困難である。

このような技術的課題はあるものの近年は、ますます遠隔の演奏者達による合奏や合唱のニーズが高まっており、リアルタイムではないが各演奏者の演奏を記録して、遅延を補償するように編集する手法も実現されている。また、ネットワーク上の遅延時間に基づく違和感を低減する合奏装置等を提供することを目的とし、ネットワークを介して、第一地点にいる第一演奏者と、第一地点とは異なる第二地点にいる第二演奏者との合奏を実現するために第一地点に配置され、第一演奏者がリズムを刻む音を発生する動きをすることを意図したことに起因して発生する生体信号に対応する生体情報を取得する生体信号取得部と、ネットワークを介して第二地点に、生体情報を送信し、その後、生体信号による動きにより発生した音に対応する楽音情報を送信する送信部と、を含み、第二地点では、楽音情報に対応する音が再生されるよりも早く、生体情報に対応する刺激が第二演奏者に呈示されるという合奏装置が提案されている上で、他者と容易に演奏音を作成、合奏、公開するなど、共に音楽を作り、発表するという一連の作業が容易に行える仕組みが出来ていない。により公開し、他の使用者が表示された音声信号を閲覧し、その音声を出力しながら新たな音声信号を重ねることなどが可能なモバイル端末等上のアプリケーション・ソフトウエア。なお、楽器とモバイル端末間を有線で接続する場合も手段に含む。（例えば、特許文献１参照）。

特開２０１５−２００８０１号公報

しかし、従来の楽譜表示システムは、あくまで身体的刺激により演奏者を錯覚させて、ネットワーク遅延の分だけ早いタイミングで演奏させるというもので、単に違和感を減少させることができるという効果しかなく、また演奏者が２人以上になった場合、遅延を吸収することが難しいという問題がある。また、演奏終了後遅延を補償するように編集することができてもリアルタイムで演奏することができないという問題がある。

本発明は上記従来の問題に鑑みてなされたものであり、音声や動画の再生に合わせて、演奏位置を楽譜上に表示させるとともに、当該再生に合わせて演奏された音声を合成したり、動画を並べて表示したりすることにより、ネットワーク遅延の影響を極力減少させてリアルな体感を得られる遠隔地の演奏者間でのオンラインアンサンブルを支援する記録データ再生方法およびシステムを提供することを目的とする。

請求項１に記載の発明は、ネットワークを介して、オンラインアンサンブルを支援する記録データ再生方法であって、ネットワークを介して複数の端末に楽譜を送信する楽譜送信ステップと、楽譜に関連する第１の演奏を記録したデータを、端末に表示された楽譜上の指定された位置から再生するとともに、再生位置を楽譜上に表示する再生ステップと、再生ステップにおいて再生された第１の演奏に重ねて行われる、楽譜に関連する第２の演奏を複数の端末の各々でデータとして記録し、ネットワークを介して送信する演奏取得ステップと、演奏取得ステップにおいて送信された複数の第２の演奏を、再生された第１の演奏とともに出力する出力ステップとを備え、複数の端末の１つから演奏の開始位置および再生開始時刻の設定を受信すると、指定された楽譜上の位置に対応する位置から再生開始時刻に再生するように第１の演奏を記録したデータを、楽譜と第１の演奏を記録したデータとから生成された対応付け情報に従って取得し、複数の端末に送信する送信ステップをさらに備え、再生ステップは、設定された再生開始時刻において楽譜上の指定された位置から再生することを特徴とする。

請求項２に記載の発明は、請求項１に記載の記録データ再生方法において、第１の演奏を記録したデータは、前１の演奏を録音して得られる音声データであることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の記録データ再生方法であって、第１の演奏を記録したデータは、第１の演奏を録画して得られる動画データであることを特徴とする。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の記録データ再生方法に
おいて、再生ステップは、端末ごとに異なる再生開始時刻に再生を開始することを特徴とする。

請求項５に記載の発明は、コンピュータに、ネットワークを介して、オンラインアンサンブルを支援する記録データ再生方法を実行させるプログラムであって、記録データ再生方法は、ネットワークを介して複数の端末に楽譜を送信する楽譜送信ステップと、楽譜に関連する第１の演奏を記録したデータを、複数の端末に表示された楽譜上の指定された位置から再生するとともに、再生位置を前記楽譜上に表示する再生ステップと、再生ステップにおいて再生された第１の演奏に重ねて行われる、楽譜に関連する第２の演奏を複数の端末の各々でデータとして記録し、ネットワークを介して送信する演奏取得ステップと、演奏取得ステップにおいて送信された複数の第２の演奏を、再生された第１の演奏とともに出力する出力ステップとを備え、複数の端末の１つから演奏の開始位置および再生開始時刻の設定を受信すると、指定された楽譜上の位置に対応する位置から再生開始時刻に再生するように第１の演奏を記録したデータを、楽譜と前記第１の演奏を記録したデータとから生成された対応付け情報に従って取得し、複数の端末に送信する送信ステップをさらに備え、再生ステップは、設定された再生開始時刻において楽譜上の指定された位置から再生することを特徴とする。

本発明によると、ネットワークを介して、オンラインアンサンブルを支援する記録データ再生方法であって、ネットワークを介して複数の端末に楽譜を送信する楽譜送信ステップと、楽譜に関連する第１の演奏を記録したデータを、端末に表示された楽譜上の指定された位置から再生するとともに、再生位置を楽譜上に表示する再生ステップと、再生ステップにおいて再生された第１の演奏に重ねて行われる、楽譜に関連する第２の演奏を複数の端末の各々でデータとして記録し、ネットワークを介して送信する演奏取得ステップと、演奏取得ステップにおいて送信された複数の第２の演奏を、再生された第１の演奏とともに出力する出力ステップとを備え、複数の端末の１つから演奏の開始位置および再生開始時刻の設定を受信すると、指定された楽譜上の位置に対応する位置から再生開始時刻に再生するように第１の演奏を記録したデータを、楽譜と第１の演奏を記録したデータとから生成された対応付け情報に従って取得し、複数の端末に送信する送信ステップをさらに備え、再生ステップは、設定された再生開始時刻において楽譜上の指定された位置から再生するので、記録された再生に合わせて演奏された音声を合成したり、動画を並べて表示したりすることにより、ネットワーク遅延の影響を極力減少させてリアルな体感を得られる遠隔地の演奏者間でのオンラインアンサンブルを支援することができる。

本発明の一実施形態の全体のシステム構成図である。 本発明の各実施形態の原理を説明するための図である。 本発明の一実施形態のサーバの機能ブロック図である。 本発明の一実施形態で楽譜上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の一実施形態の楽譜上の小節とそれに対応する再生位置の関連付けを取得する処理を示すフローチャートである。 本発明の一実施形態の動画上の再生画像に対応する楽譜上の位置の表示を説明するための図である。 本発明の別の実施形態の端末画面上への楽譜の表示を管理する処理を説明するための図である。 本発明の一実施形態の録音された音声を再生させて支援する際の一連のサービスの流れを示す図である。 本発明の一実施形態の録画された動画を再生させて支援する際の一連のサービスの流れを示す図である。 本発明の一実施形態の記録データを再生させてオンラインアンサンブルを支援する処理を示すフローチャートである。 本発明の別の実施形態の録音された音声を再生させて支援する際の一連のサービスの流れを示す図である。 本発明の別の実施形態の録画された動画を再生させて支援する際の一連のサービスの流れを示す図である。 本発明の別の実施形態の記録データを再生させてオンラインアンサンブルを支援する処理を示すフローチャートである。

以下、本発明の記録データ再生方法およびシステムについて図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。

本実施形態は、インターネットを介して電子楽譜を提供し、その後動画投稿サイトに投稿された楽曲の演奏動画を視聴する際に、動画再生の開始位置を指定したり、再生中の画像の演奏全体における位置を表示させたりするシステムにおいて、複数の演奏者がオンラインアンサンブルを実行する際の支援を行うものであり、以下の実施形態では楽譜、あるいは総譜を用いて行うが、これに限られず、演奏の進行を示す何らかの図面を端末に表示させることができれば、いずれの形態でも対応することができる。ここで、基本的に音声または動画をアップロードした演奏者の一部が演奏に用いている楽譜と関連づけて予めサーバに設定しておくことを前提として、以下実施形態の説明をするがこれに限られず、演奏されている楽曲と楽譜とがほぼ一致していれば本実施形態を実施することができる。例えば、何らかの事情で配信されている音声または動画を認識した者が、演奏されている楽曲に対応する楽譜と関連付けて予めサーバに設定してくこともでき、その他本技術分野で知られた方法により楽譜と音声／動画とを関連付けておくことができる。

また、以下の各実施形態ではこのように、予め行われた演奏を録音または録画して得られた音声または動画は、本願発明の「演奏を記録したデータ」に含まれ、ネットワークを介して音声や動画を再生して支援される合唱または合奏は、本願発明の「オンラインアンサンブル」に含まれるが、これに限られず人間が自分自身や何らかのツールを用いて複数でタイミングを合わせて実行されるすべてのパフォーマンスが含まれる。

本願発明のオンラインアンサンブル支援システムは、複数の遠隔地の演奏者による合奏や合唱を支援するものであるが、図２に示すように基本的に合唱や合奏のペースを生成する共通の音声データや動画データを各演奏者２０１〜２０３に音声／動画配信サーバ１０４が配信し、また、各演奏者の楽譜を楽譜提供サーバ１０１が各演奏者の端末に配信してそれを参照することにより、各演奏者による演奏タイミングのあった合唱や合奏を、例えば端末１１４で出力させて実現することができる。ここで、各演奏者の端末のネットワーク環境に大きな相違がない場合、すなわち各端末とサーバとの間の通信遅延に大きな差異がない場合は、各端末にサーバ１０４から音声や動画を配信する時間および各端末から演奏を記録したデータをアップロードする時間の差異が小さいので、サーバと端末間の通信時間は各端末とも同じであるものとして処理を行えばよい。具体的には、音声／動画配信サーバ１０４から各端末には同時にデータの配信を行って出力させ、これに合わせて各演奏者が演奏を行うことで、各演奏のタイミングを合わせることが可能になり、オンラインアンサンブルを実現することができる（第１実施形態）。一方、各端末でネットワーク環境が異なり、通信遅延が異なる場合は、端末ごとに通信遅延を調整して配信タイミングを合わせることも可能であるが、演奏開始毎のネットワーク遅延が変化すると調整が困難となる。そこで、本件では、端末ごとの遅延時間をあらかじめ取得して、その遅延時間以上の時差を定め、各演奏者の演奏開始時刻に時差を設けることにより、各端末の通信遅延に影響を受けることなく各演奏者はタイミングを合わせて演奏することができる（第２実施形態）。

以上のように各実施形態では、音声／動画配信サーバ１０４がデータを再生するタイミングは異なるが、以下に詳述する演奏位置や時刻を指定しての音声や動画の配信技術により各演奏者は遠隔地に居ながらにしてオンラインで演奏タイミングを合わせ、合唱または合奏を特別なスキルなく実施することができる。すなわち、以下の各実施形態で用いられる各端末は、楽譜提供サーバ１０１から配信される楽譜を表示するとともに、合唱や合奏のペースを生成する、提供された楽譜を演奏した音声や動画を再生することができるので、各演奏者は、各端末で同時に再生された音声や動画でタイミングを合わせることができる。さらに、現に再生されている演奏箇所を楽譜上にハイライト表示するので、各演奏者は楽譜上のハイライトを目で追って演奏することによって、より正確に各パートの演奏のタイミングを合致させることができる。このようにして各演奏者により演奏され配信された音声や動画を端末１１４でまとめて出力することにより、まるで実際に各演奏者が集まって演奏を行っているような合奏や合唱を体験することができる。

なお、動画サイトに投稿するのは楽譜の提供を受けたユーザ自身でなくてもよく、楽譜の提供を受けたユーザが投稿サイトで入手した楽譜の楽曲の演奏動画を探索して得た動画等であってもよい。すなわち、クラシック音楽も含め、ある楽曲の楽譜が公開されている場合は、その楽曲を演奏した動画等もいずれかの演奏家により撮影され、投稿されることが多く、実際同じ楽曲でも複数の動画が存在することは少なくない。したがって、電子楽譜の提供を受けたユーザ自身が動画を投稿しなくても、ユーザがネット検索等すれば容易にそのような動画を発見し、その動画のＵＲＬなどを取得することができるので、そのようなＵＲＬを指定することにより、サーバはユーザに提供した楽譜の演奏動画にアクセスすることができる。音声データについても同様である。

また、本実施形態で用いる電子楽譜の楽譜データは、ＭｕｓｉｃＸＭＬであり、サーバ内では基本的にはＭｕｓｉｃＸＭＬのデータフォーマットで保持している。ＭｕｓｉｃＸＭＬで記述された楽譜はそのまま端末に送信してブラウザで表示させることもできるし、サーバで他の表示用のフォーマット、例えばＰＤＦに変換して端末に送信し端末のブラウザで表示させることもできる。以上のように、本実施形態の楽譜データはＭｕｓｉｃＸＭＬを用いるが、これに限られず、何らかの変換や処理を行って、表示用の楽譜を生成できるものであればいずれのフォーマットも用いることができる。

（システム構成）
本発明の一実施形態で用いる楽譜提供方法の具体的なシステムの動作及び処理を以下に説明する。図１は、本発明の一実施形態の全体のシステム構成図である。本システムでは、楽譜データを配信したり、演奏箇所を表示したりするなど、システム全体を制御するためのサーバとして、楽譜提供サーバ１０１、通信サーバ１０２および音声／動画配信サーバ１０４を備えており、ネットワーク１０３を介して接続されている。楽譜および動画を表示し、あるいは音楽ファイルを再生する装置である端末１１１は、基本的に無線でネットワーク１０３に接続されており、例えばタブレット端末とすることができ、本実施形態でネットワーク１０３との接続は、携帯電話の回線や、Ｗｉ−ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線ネットワークにより行う。ここで端末１１１〜１１４はタブレット端末のほか、スマートフォン、あるいはモバイルパソコン等とすることができるが、基本的に楽譜データ等をサーバから受信して画像を表示、動画ファイルまたは音楽ファイルを再生、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。また、端末１１１〜１１４は、楽譜の表示、動画等の再生に限らず、ユーザの楽譜提供サーバへのアクセスに関する種々の処理を実行し、データの入出力をするために使用することができる。

また、本実施形態のサーバとしては、楽譜提供サーバ１０１、通信サーバ１０２および音声／動画配信サーバ１０４の３つのサーバを備え、端末１１１〜１１４から楽譜等の画像の表示や再生開始などの指示を楽譜提供サーバ１０１に送信すると、楽譜提供サーバ１０１は楽譜のデータを送信したり、指定された再生位置の動画上の位置を算出して通信サーバ１０２に動画の再生を指示したりし、その結果、音声／動画配信サーバ１０４は端末１１１〜１１４に指示された動画を送信して表示させるが、これに限られず、楽譜提供サーバ１０１により指示の受信から音声／動画配信サーバ１０４への画像データの送信の指示までするようにすることもでき、あるいはさらに多くのサーバに機能分担させることもできる。

ここで、音声／動画配信サーバ１０４は、例えば動画の投稿サイト等とすることもできるし、単に動画を配信しているサイトのサーバであってもよい。さらに、本実施形態では動画配信サーバとして記載するが、楽譜に基づいて演奏した音楽を聴取できればいいので、画像を伴わない何らかのコンテンツ配信サーバとして、音声のみを配信することができるものであってもよい。この場合、以下の本実施形態のすべての説明は、動画のない音楽を配信するコンテンツ配信サーバにも適用されるのは言うまでもない。

本実施形態では、端末１１１〜１１４のいずれかから動画の再生指示を送信すると、端末１１１〜１１４に指定した開始位置から再生を開始する動画データが送信され、楽譜表示とともに音声／動画を再生することができる。本実施形態では、端末１１１〜１１４の表示画面において楽譜の画像と動画または音声の進行を示すタイムバーなどとを所定の位置に配置しているが、これに限られることなく本技術分野で知られたいずれかの方法で組み合わせて表示することもできる。具体的には、本実施形態では、端末１１１〜１１４の画像を上下に分割して表示しているが、左右に分割して表示させることもできるし、一部重ねて表示させるなど、ユーザが使い勝手のいいように表示させることができる。もちろん、この場合でも楽譜の表示や動画再生の指示等は本実施形態のサーバ等により処理され、動画は動画配信サーバから配信される。一方、別途、動画再生端末を用意して端末１１１〜１１４には楽譜のみを表示するようにし、異なる複数の端末で実現することもできる。

（楽譜の提供と動画再生処理）
図３は、本発明の一実施形態のサーバの機能ブロック図であり、図４は、本実施形態で楽譜上の小節とそれに対応する再生位置の関連付けを示す図である。楽譜提供サーバ１０１は、図示しないサーバ等から楽譜データを受信して記憶し、管理する楽譜データ管理モジュール３０１、受信した楽譜データに必要な処理を行って端末に送信するほか、端末から再生開始位置の指定を受信すると、動画上のどの位置かを算出したり、現在再生されている画像の動画全体における位置を、通信サーバ１０２から受信して端末に表示された楽譜のどこに対応するかを算出し、ハイライトを出力するようにしたりする楽譜データ送信モジュール３０２、並びに小節時間変換表など、本実施形態で用いる種々の電子楽譜関連データを受信する楽譜関連データ受信モジュール３０３を備える。また、通信サーバ１０２は、端末１１１で表示されている楽譜を演奏する動画のＵＲＬ等のデータを管理する動画管理モジュール３０４、動画識別情報を受信すると動画データを取得してくる動画・識別情報取得モジュール３０５、楽譜提供サーバ１０１から動画の開始位置の指定を受信すると、音声／動画管理モジュール３０４で管理されている音声／動画データに基づいて音声／動画配信サーバ１０４に再生開始位置を指定して再生を指示する開始位置指定モジュール３０６、音声／動画配信サーバ１０４から受信した現在の再生時間を楽譜提供サーバ１０１に出力する再生時間出力モジュール３０７、および取得した動画と電子楽譜との対応付けに基づいて小節時間変換表を作成する小節時間変換表作成モジュール３０８を備える。

以下に、図３〜図５を参照して本発明の一実施形態の電子楽譜の提供から動画再生サービスのための準備処理を説明する。一般に、電子楽譜の楽譜データ、例えばＭｕｓｉｃＸＭＬフォーマットのデータでは、各小節ごとに音符データが規定されており、端末では楽譜データを受信すると、ブラウザ上で五線譜を表示して、各小節の音符データに基づいて楽譜を描画していく。したがって、楽譜データを表示しているブラウザ上で指でタッチ、あるいはマウスでクリックする等により、ある小節が指定されるとそれが第何小節かを認識することができる。本実施形態では、このように楽譜データに基づいて端末のブラウザ上に楽譜を表示し、その表示された楽譜上の所定の小節を指定することにより、動画の再生開始位置を指定して動画再生の指示を楽譜提供サーバ１０１に送信する。楽譜提供サーバ１０１では、指定された小節から動画の再生位置、本実施形態では動画の最初からの再生時間を算出して配信サーバ１０２に動画の再生を指示する。

また、プラグイン等がないため、楽譜データを端末でそのまま表示できない場合、楽譜提供サーバ１０１から画像データ、例えばＰＤＦ形式のデータとして送信し、ブラウザで表示することもできる（図示せず）。このような楽譜提供サーバ１０１において実行される楽譜データからＰＤＦの楽譜データを生成し、ＰＤＦデータに基づいて動画再生開始処理を行う点については本技術分野で知られたいずれの手法も用いることができる。

以上のような本実施形態の動画再生サービスを提供するため、先ずユーザに電子楽譜を提供し、最終的に指定された動画と楽譜との対応付け、具体的には図４に示すような小節時間変換表などを作成しておく必要がある。この処理を図５に示すフローチャートを参照して説明する。

（小節時間変換表の作成）
図５は、本発明の一実施形態の楽譜上の小節とそれに対応する再生位置の関連付けを取得する処理を示すフローチャートである。本実施形態では、電子楽譜を提供する処理から始まり、ユーザに楽譜に関連する総合的なサービスを提供するが、まず、ユーザが図示しない端末の電子楽譜の購入画面、あるいは要求画面から所望の電子楽譜を特定することによって指示すると、楽譜提供サーバ１０１は楽譜を送信する（ステップ５０１）。その後、ユーザ２０３は入手した楽譜を図示しない端末に表示させ、あるいはプリンタで印字し、表示あるいは印字された楽譜を使用して演奏を行い、練習や本番等の演奏の様子をビデオカメラ等で撮影し、あるいはマイクで音声を収録し（ステップ５０２）、撮影された音声／動画を音声／動画配信サーバ１０４にアップロードし、その音声／動画ＩＤを受信する（ステップ５０３）。ここで、音声／動画ＩＤは動画をネット上で特定するための識別情報であり、例えば投稿サイト等では動画が格納されたＵＲＬであるが、これに限らずいずれかの識別情報を用いることができる。

ユーザは音声／動画ＩＤを取得すると、通信サーバ１０２に、提供された電子楽譜との何らかの対応付けを本技術分野で知られたいずれかの方法で行って送信する（ステップ５０４）。通信サーバ１０２は、動画・識別情報取得モジュール３０５により、提供された電子楽譜を特定する情報も取得しておき、音声／動画ＩＤにより音声／動画のデータを取得するとともに、楽譜提供サーバ１０１から電子楽譜を取得する（ステップ５０５）。小節時間変換表作成モジュール３０８によって、取得した音声／動画および電子楽譜に基づいて、楽譜の小節と音声／動画の再生時間との対応付けを算出する（ステップ５０６）。

本実施形態では、図４に示すような小節時間変換表４０１により、音声／動画の再生時間４１１と楽譜の小節番号４２１とを対応付けておき、小節時間変換表４０１を参照することにより例えば小節番号（４）（第４小節）は音声／動画の再生時間ｔ４に対応すると判定できるから、これにより再生時間ｔ４を算出することができる。つまり、小節時間変換表作成モジュール３０８は、楽譜の小節と音声／動画の再生時間とを対応付けて小節時間変換表４０１を作成する。ここで、小節時間変換表４０１は、本実施形態で知られたいずれかの方法で自動検出し、あるいは人的サポートにより作成することができる。このようにして作成した小節時間変換表４０１を、本実施形態の動画再生サービスのために楽譜提供サーバ１０１に送信する（ステップ５０７）。

以上、本実施形態の楽譜提供方法により、ユーザの所望する電子楽譜を提供し、ユーザにより指示された音声／動画との対応付けを行った後、ユーザに対し、オンラインアンサンブル支援サービスを提供する。まず動画再生開始処理につき説明し、その後動画の再生位置を楽譜上にハイライト表示する処理を説明する。

（動画再生開始処理）
図６は、本実施形態の楽譜上での位置を指定する操作を示す図である。

本実施形態では、図６に示すように端末１１１に、楽譜データ送信モジュール３０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示して再生位置を指定させ、指定された小節をサーバに知らせることにより、サーバはその小節に対応する音声／動画の再生位置、本実施形態では再生時間を算出し、その位置から動画を再生するように通信サーバ１０２に指示する。通信サーバ１０２では端末に表示された楽譜の演奏動画を特定して、音声／動画配信サーバ１０４に、指示された再生時間を指定して音声／動画を配信するよう指示し、端末１１１において音声／動画が再生される。通常、ＭｕｓｉｃＸＭＬは端末において、本技術分野で知られた専用の表示アプリや再生アプリを用いて取り扱われるので、ここでは詳細は記さないが、例えば楽譜が表示され、指でタッチあるいはマウスによりクリック等されると、その画面上の位置に相当する小節番号をサーバに送信するようなスクリプトなどを埋め込んでおいて、端末からサーバに小節番号を送信するようにすることもできるし、その他の本技術分野で知られたいずれかの方法でこのような処理を実行させることにより、端末側のソフトウェアを特に変更することなく、本実施形態を実施することができる。また、逆に端末側に小節番号をサーバに送信する等本実施形態で必要な処理を実行するソフトウェアを予めインストール、あるいはダウンロードする等により端末で実行可能にしておいて本実施形態を実施することもできる。

具体的に説明すると、まず図６に示すように端末１１１に表示された楽譜６０５の最上段の第４小節６０２をユーザが指６０６でタッチして指定すると、端末１１１は音声／動画を再生開始する小節番号を取得する。小節番号が取得されると、端末１１１は、取得した小節番号、ここでは第４小節を楽譜提供サーバ１０１に送信して通知する（矢印６０３）。楽譜提供サーバ１０１は、取得した小節番号から対応する音声／動画の再生時間を算出する。

本実施形態では、上記で図４に示したように予め音声／動画の再生時間４１１と楽譜の小節番号４２１とを対応付けておき、小節時間変換表４０１を作成しておく。この小節時間変換表４０１を参照することにより再生時間を算出することができる。音声／動画の再生時間は音声／動画の最初の画像を基準とする再生経過時間の長さであり、その音声／動画の最後の音声／画像の再生時間は音声／動画全体の長さとなる。

楽譜提供サーバ１０１は、小節番号から再生時間を取得すると、図６に示すように再生時間を通信サーバ１０２に通知して、音声／動画の再生を指示する。通信サーバ１０２では、音声／動画管理モジュール３０４が、楽譜提供サーバ１０１が管理する楽譜データと、その楽譜の楽曲を演奏した音声／動画とを対応付けて管理しており、楽譜提供サーバ１０１が楽譜および再生開始位置（例えば、再生時間ｔ４）を指定して再生を指示すると、音声／動画管理モジュール３０４が対応する音声／動画を配信する音声／動画配信サーバ１０４を特定し、開始位置指定モジュール３０８が、図６の矢印６０４で示すように特定された音声／動画配信サーバ１０４に再生開始位置を指定して音声／動画の配信を指示する。音声／動画の配信を指示された音声／動画配信サーバ１０４は、指定された音声／動画を、指定された再生位置ｔ４から端末１１１に対し、図６の矢印６０７で示すようにストリーミング配信する。一般に、音声／動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて再生位置を指定して再生を開始させる。

（楽譜ハイライト表示処理）
以下に、図７を参照して本実施形態の楽譜ハイライト表示処理を説明する。上述の通り本実施形態では、ＭｕｓｉｃＸＭＬフォーマットのデータを楽譜提供サーバ１０１で管理し、端末１１１に送信してブラウザ上で楽譜として表示する。この際、本実施形態では端末１１１で再生されている音声／動画の画像に対応する楽譜上の位置を端末１１１でハイライト表示する。これにより、音声／動画で現在演奏されている演奏の部分を楽譜の小節単位で知ることができるので、演奏の確認や練習に役立てることができる。

より具体的に楽譜ハイライト表示処理を説明すると、先ず図７の矢印７０３で示すように音声／動画配信サーバ１０４からストリーミング配信して音声／動画が再生される。本実施形態では、投稿サイトのＵＲＬと、必要であれば再生時間とを投稿サイトのＡＰＩを用いて設定し再生させる。このような状態において、通信サーバ１０２の再生時間出力モジュール３０９は図７の矢印７０２で示すように音声／動画配信サーバ１０４に再生時間を要求し、図７の矢印７０４で示すように取得する。一般に、音声／動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて現在の再生時間を取得する。

再生時間出力モジュール３０７は、再生時間を取得すると、楽譜提供サーバ１０１に再生時間を通知する。楽譜提供サーバ１０１は、通知された再生時間に基づき、図４に示す小節時間変換表４０１を用いて、対応する楽譜の位置として小節番号を取得する。図示しないが、本例で取得した再生時間ｔがｔ２以上ｔ３未満とすると、小節時間変換表４０１により、第２小節に対応すると判定される。このように、取得した再生時間が小節時間変換表４０１の再生時間のどの時間間隔の範囲に含まれるかにより対応する小節番号を判定する。

小節番号が判定されると、楽譜提供サーバ１０１は、端末１１１に判定された小節番号の表示をハイライトにするように指示し、端末１１１は第２小節をハイライト表示とする。具体的な処理について、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜提供サーバ１０１で、判定された小節番号の楽譜の表示をハイライトに変更して端末１１１に送信することによって、端末１１１のブラウザがこれを解釈し、ハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定部分をハイライト表示に変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節番号を指定してハイライト表示の指示を受信すると指定された小節をハイライト表示にすることもできるが、これに限られない。

以上の処理により、現在再生されている音声／画像の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示される。ここで、通信サーバ１０２は、上述の再生時間の取得を一定間隔で実行し、それ以降のハイライト表示処理までを行うことにより、音声／動画の再生にしたがって、対応する小節をハイライト表示させ、楽譜上を移動しているように表示することができる。一定間隔を各小節間の時間より十分に小さくすることにより、滑らかにハイライトを楽譜上で移動させるように表示ことができる。あるいは、一定間隔を用いなくても、本実施形態では図４に示すように各小節に対応する再生時間が予め記憶されているので、通知サーバ１０２は、各再生時間に実際にその再生時間にあるかを音声／動画配信サーバ１０４に確認して、ハイライトさせる小節を変更する処理を実行することができる。

なお、本実施形態では動画の再生位置をハイライトで示したが、これに限られず、何らかのマーカで示したり、その他その小節を他の小節と区別する何らかの方式で表示したりすることができる。

(第１実施形態)
本実施形態は、上述のように音声／動画配信サーバ１０４から配信される音声／動画を複数の端末上で同時に再生させ、各演奏者はその音声／動画に合わせて演奏を行い、それらの演奏をマイクやビデオカメラで記録し、そのデータを音声／動画配信サーバ１０４にアップロードするが、アップロードする先は、音声／動画配信サーバ１０４に限られず本技術分野で知られたいずれのサーバとすることもできる。図８および９を参照して、本実施形態の通信遅延が小さい場合の音声および動画を用いたオンラインアンサンブル支援処理について説明する。ここで、通信遅延とは、演奏者の音声／動画がストリーミングにより配信サーバにアップロードされてから演奏者の端末にストリーミング配信されるまでの時間遅れ（遅延）を指すが、本実施形態では、各端末の通信遅延に大きな差異がない場合の処理であり、本願発明の基本的な処理である。すなわち、本実施形態では通信遅延を特に考慮することなく、各端末の時刻はインターネット時刻設定により精度良く合っていることを前提とし、各演奏者の演奏開始時刻は全て同じ時刻とすることができる。

以下、図８〜１０を参照して本実施形態を説明する。図８は、本発明の一実施形態の録音された音声を再生させてオンラインアンサンブルを支援する際の一連のサービスの流れを示す図であり、図９は、本実施形態の録画された動画を再生させてオンラインアンサンブルを支援する際の一連のサービスの流れを示す図である。図１０は、本実施形態の記録データを再生させてオンラインアンサンブルを支援する処理を示すフローチャートである。まず、各端末８１１〜８１４または９１１〜９１４に楽譜提供サーバ１０１から楽譜が配信され、演奏者の端末８１１〜８１３または９１１〜９１３のいずれかから演奏開始の小節番号、時刻を設定する（ステップ１００１）。演奏者の端末８１１〜８１３または９１１〜９１３に設定する小節番号、時刻は同じ値とする。演奏開始時刻Ｔ１になると、楽譜のハイライト表示が始まり、各演奏者１〜３は、それに合わせて演奏を開始する（ステップ１００２）。ハイライト表示は、楽譜記載のテンポ、動画投稿サイト等にアップされている演奏者のテンポ、あるいは同じ演奏仲間で事前に演奏した時のテンポに基づいて実行することができる。

演奏を開始すると、各演奏者の演奏を記録するためのマイク８０１〜８０３またはカメラ９０１〜９０３により音声または動画を取得し、楽譜提供サーバ１０１から演奏開始が音声／動画配信サーバ１０４に伝えられると、取得された演奏データが音声／動画配信サーバ１０４にアップストリーミングされる（ステップ１００３）。アップロードされた演奏の音声／動画は音声／動画配信サーバ１０４を経由して、各演奏者の端末８１１〜８１３または９１１〜９１３にストリーミング配信される（ステップ１００４）。音声データの場合は端末８１１〜８１３の図示しないスピーカ等で他の演奏者の演奏した音声が合成されて出力されるが、図８に示すように各音声についてタイムバーなどを表示して他の演奏者の演奏の進行を目に見えるように表示することもできる。一般的に、配信される他の演奏者の音声は通信遅延のため多かれ少なかれ自己の演奏とはタイミングがずれてくるため、他の演奏者の演奏のみ出力するが、これに限られず、自己の演奏を合成して出力することもできる。

また、動画の場合、端末９１１〜９１３に示すように他の演奏者の演奏の動画が表示され、通信遅延が十分小さければほぼ同じタイミングで他の演奏者と合奏することができ、あたかも同じ場所で一緒に演奏をしているような体感を得ることができる。すなわち、演奏者１の端末である端末９１１には演奏者２および３の演奏の動画が表示され、演奏者２の端末である端末９１２には演奏者１および３の演奏の動画が表示され、演奏者３の端末である端末９１３には演奏者１および２の演奏の動画が表示される。もちろん、自己の演奏動画も合わせて表示することもできる。

なお、ネットワーク遅延が小さくない場合は、端末の演奏者と他の演奏者の音声・動画が感知できる時間ズレとして発生する可能性があり、この場合、他演奏者の音声をミュートすることにより対処することが可能である。また、本実施形態では各演奏者の音声／動画を別々に同時配信しているが、これに限られず、音声／動画配信サーバ１０４で各演奏者の音声・動画をミックスし１つの音声・動画にして配信することもできる。各演奏者の端末への配信に加え、演奏しない視聴者向け端末８１４および９１４には各演奏者の音声・動画が音声／動画配信サーバ１０４より演奏開始時刻に合わせて同時配信するようにすることができる（ステップ１００５）。このように、本実施形態の各演奏者による演奏は端末８１３および９１４で視聴すると、タイミングが合致しており、各演奏者が遠隔で演奏しているにもかかわらず、同一場所で演奏しているような体感を得ることができる。

(第２実施形態)
本実施形態は、上述の第１実施形態と異なり、各端末でネットワーク環境が悪く、通信遅延が異なる場合の処理が含むが、それ以外の処理は第１実施形態と基本的に同様である。すなわち、各端末とサーバとの間で通信遅延が異なる場合、端末ごとに配信タイミングが異なることから、通信遅延を調整する必要がある。このため、端末ごとの遅延時間をあらかじめ取得しておき、演奏開始に時差を設けることにより、各端末の通信遅延が相殺されようにしてタイミングを合わせた演奏とすることができる。具体的には、音声／動画配信サーバ１０４にアップロードされる音声／動画は、端末ごとに取得された通信遅延の時間に基づいて定められる時間だけ遅延するので、通信遅延が相殺されように各端末で演奏開始時間をずらすことでほぼ同時に音声／動画配信サーバ１０４にアップロードすることができる。各端末で演奏開始する時間は、通信遅延の最も大きい端末を基準にその端末との通信遅延の差異分だけ遅れて演奏開始することができる。また、システムの特性上差異分に一定の比率を乗じて得られた時間分だけ遅れて演奏開始することが有効な場合もあるが、その場合の比率は本技術分野で知られたいずれかの手法で決定することができる。

図１１および１２を参照して、本実施形態の通信遅延が端末により異なる場合の音声および動画を用いてオンラインアンサンブル支援処理について説明する。図１１は、本発明の別の実施形態の録音された音声を再生させてオンラインアンサンブルを支援する際の一連のサービスの流れを示す図であり、図１２は、本実施形態の録画された動画を再生させてオンラインアンサンブルを支援する際の一連のサービスの流れを示す図である。図１３は、本実施形態の記録データを再生させてオンラインアンサンブルを支援する処理を示すフローチャートである。まず、各端末８１１〜８１４または９１１〜９１４に楽譜提供サーバ１０１から楽譜が配信され、端末８１１〜８１３または９１１〜９１３のいずれかから演奏開始の小節番号、時刻を設定する（ステップ１３０１）。図１１および１２に示す例では、端末８１１または９１１の通信遅延の端末８１３または９１３との差異が６秒、端末８１２または９１２の通信遅延の端末８１３または９１３との差異が３秒とするが、具体的にはより小さい遅延やより大きい遅延を設定できることは言うまでもない。通信遅延は、本技術分野で知られたいずれかの方法で事前に測定しておいて用いることもできるし、各端末毎に自動測定して、通信遅延を考慮して端末８１２〜８１３または９１２〜９１３の演奏開始時刻Ｔ２およびＴ３を自動設定することもできる。

端末８１１または９１１の演奏開始時刻Ｔ１になると、楽譜のハイライト表示が始まり、演奏者１は、それに合わせて演奏し、演奏音声・動画が音声／動画配信サーバ１０４にアップストリーミングされる（ステップ１３０２）。演奏を開始すると、各演奏者の演奏を記録するためのマイク８０１またはカメラ９０１により音声または動画を取得し、楽譜提供サーバ１０１から演奏開始が音声／動画配信サーバ１０４に伝えられ、取得された演奏データが音声／動画配信サーバ１０４にアップストリーミングされる。

次に、端末８１２または９１２の演奏開始時刻Ｔ２（すなわち端末８１１または９１１の演奏開始から３秒後）になると、楽譜のハイライト表示が始まり、演奏者２は、それに合わせて演奏し、演奏音声・動画が音声／動画配信サーバ１０４にアップストリーミングされる（ステップ１３０３）。演奏を開始すると、各演奏者の演奏を記録するためのマイク８０２またはカメラ９０２により音声または動画を取得し、楽譜提供サーバ１０１から演奏開始が音声／動画配信サーバ１０４に伝えられ、取得された演奏データが音声／動画配信サーバ１０４にアップストリーミングされる。ここで、演奏者１の音声・動画は、端末８１２および９１２のハイライト表示と同期しているので、それを頼りに演奏するようにすることもできる。

さらに、端末８１３または９１３の演奏開始時刻Ｔ３（すなわち端末８１１または９１１の演奏開始から６秒後）になると、楽譜のハイライト表示が始まり、演奏者３は、それに合わせて演奏し、演奏音声・動画が音声／動画配信サーバ１０４にアップストリーミングされる（ステップ１３０４）。演奏を開始すると、各演奏者の演奏を記録するためのマイク８０３またはカメラ９０３により音声または動画を取得し、楽譜提供サーバ１０１から演奏開始が音声／動画配信サーバ１０４に伝えられ、取得された演奏データが音声／動画配信サーバ１０４にアップストリーミングされる。ここで、演奏者１および２の音声・動画は、端末８１３および９１３のハイライト表示と同期しているので、それを頼りに演奏しても良い
アップロードされた演奏音声・動画は音声／動画配信サーバ１０４を経由して、演奏しない視聴者向け端末８１４および９１４には各演奏者の音声・動画が音声／動画配信サーバ１０４より最後の演奏者(演奏者３)の演奏開始時刻に合わせて同時配信される（ステップ１３０５）。このように、各端末でネットワーク環境が異なる場合でも、本実施形態の各演奏者による演奏は端末８１４および９１４で視聴すると、タイミングが合致しており、各演奏者が遠隔で演奏しているにもかかわらず、同一場所で演奏しているような体感を得ることができる。

（その他の態様）
本発明には、特許請求の範囲に記載したものに加え以下のような範囲も含まれる。

態様１
ネットワークを介して、オンラインアンサンブルを支援する記録データ再生システムであって、
ネットワークを介して端末に楽譜を送信する楽譜送信手段と、
前記楽譜に関連する第１の演奏を記録したデータを、前記端末に表示された前記楽譜上の指定された位置から再生する再生手段と、
前記再生手段において再生された第１の演奏に重ねて行われる、前記楽譜に関連する第２の演奏を複数の端末で取得し、ネットワークを介して送信する演奏取得手段と、
前記演奏取得手段において送信された複数の第２の演奏を、前記再生された第１の演奏とともに出力する出力手段と
を備えることを特徴とする記録データ再生システム記録データ再生システム。

態様２
前記端末から演奏の開始位置の指定を受信すると、当該指定された楽譜上の位置に対応する前記第１の演奏を記録したデータの再生時間を、前記楽譜と前記第１の演奏を記録したデータとから生成された対応付け情報に従って取得し、該取得した再生時間から前記第１の演奏を記録したデータの再生を行うために端末に送信する再生ステップをさらに備えることを特徴とする態様１に記載の記録データ再生方法。

態様３
前記再生ステップは、前記端末から前記楽譜に関連して演奏された前記第１の演奏を音楽提供サーバに送信し、前記第１の演奏を記録したデータの識別情報を受信する動画投稿ステップを含むことを特徴とする態様２に記載の記録データ再生方法。

態様４
前記端末から前記音楽提供サーバにアクセスして、前記楽譜に関連して演奏された前記第１の演奏を記録したデータを選択し、前記選択された第１の演奏を記録したデータの識別情報を受信する動画選択ステップをさらに備えることを特徴とする態様３に記載の記録データ再生方法。

態様５
コンピュータに、ネットワークを介して、オンラインアンサンブルを支援する記録データ再生方法を実行させるプログラムであって、該記録データ再生方法は、
ネットワークを介して端末に楽譜を送信する楽譜送信ステップと、
前記楽譜に関連する第１の演奏を記録したデータを、前記端末に表示された前記楽譜上の指定された位置から再生するとともに、再生位置を前記楽譜上に表示する再生ステップと、
前記再生ステップにおいて再生された第１の演奏に重ねて行われる、前記楽譜に関連する第２の演奏を複数の端末で取得し、ネットワークを介して送信する演奏取得ステップと、
前記演奏取得ステップにおいて送信された複数の第２の演奏を、前記再生された第１の演奏とともに出力する出力ステップと
を備えることを特徴とするプログラム。

Claims (5)

1. ネットワークを介して、オンラインアンサンブルを支援する記録データ再生方法であって、
   ネットワークを介して複数の端末に楽譜を送信する楽譜送信ステップと、
   前記楽譜に関連する第１の演奏を記録したデータを、前記複数の端末に表示された前記楽譜上の指定された位置から再生するとともに、再生位置を前記楽譜上に表示する再生ステップと、
   前記再生ステップにおいて再生された第１の演奏に重ねて行われる、前記楽譜に関連する第２の演奏を前記複数の端末の各々でデータとして記録し、ネットワークを介して送信する演奏取得ステップと、
   前記演奏取得ステップにおいて送信された複数の第２の演奏を、前記再生された第１の演奏とともに出力する出力ステップと
   を備え、
   前記複数の端末の１つから演奏の開始位置および再生開始時刻の設定を受信すると、当該指定された楽譜上の位置に対応する位置から前記再生開始時刻に再生するように前記第１の演奏を記録したデータを、前記楽譜と前記第１の演奏を記録したデータとから生成された対応付け情報に従って取得し、前記複数の端末に送信する送信ステップをさらに備え、
   前記再生ステップは、前記設定された再生開始時刻において前記楽譜上の指定された位置から再生することを特徴とする記録データ再生方法。
2. 前記第１の演奏を記録したデータは、前記第１の演奏を録音して得られる音声データであることを特徴とする請求項１に記載の記録データ再生方法。
3. 前記第１の演奏を記録したデータは、前記第１の演奏を録画して得られる動画データであることを特徴とする請求項１または２に記載の記録データ再生方法。
4. 前記再生ステップは、前記端末ごとに異なる再生開始時刻に再生を開始することを特徴とする請求項１ないし３のいずれかに記載の記録データ再生方法。
5. コンピュータに、ネットワークを介して、オンラインアンサンブルを支援する記録データ再生方法を実行させるプログラムであって、該記録データ再生方法は、
   ネットワークを介して複数の端末に楽譜を送信する楽譜送信ステップと、
   前記楽譜に関連する第１の演奏を記録したデータを、前記複数の端末に表示された前記楽譜上の指定された位置から再生するとともに、再生位置を前記楽譜上に表示する再生ステップと、
   前記再生ステップにおいて再生された第１の演奏に重ねて行われる、前記楽譜に関連する第２の演奏を前記複数の端末の各々でデータとして記録し、ネットワークを介して送信する演奏取得ステップと、
   前記演奏取得ステップにおいて送信された複数の第２の演奏を、前記再生された第１の演奏とともに出力する出力ステップと
   を備え、
   前記複数の端末の１つから演奏の開始位置および再生開始時刻の設定を受信すると、当該指定された楽譜上の位置に対応する位置から前記再生開始時刻に再生するように前記第１の演奏を記録したデータを、前記楽譜と前記第１の演奏を記録したデータとから生成された対応付け情報に従って取得し、前記複数の端末に送信する送信ステップをさらに備え、
   前記再生ステップは、前記設定された再生開始時刻において前記楽譜上の指定された位置から再生することを特徴とするプログラム。

Images