WO2018207936A1

WO2018207936A1 - 譜面自動検出方法および装置

Info

Publication number: WO2018207936A1
Application number: PCT/JP2018/018426
Authority: WO
Inventors: 山田　誠; 西口　正之; 幸治安倍
Original assignee: 株式会社デザインＭプラス
Priority date: 2017-05-12
Filing date: 2018-05-11
Publication date: 2018-11-15
Also published as: JPWO2018207936A1

Abstract

【課題】　現在譜面上のどの位置を演奏しているかを特定すること。【解決手段】　音源解析サーバ１０２は、端末１１１で表示されている楽譜に基づいた演奏をマイクロフォン等で録音した演奏データを受信し、楽譜管理サーバ１０１から楽譜データを受信する楽譜データ受信モジュール２０５、演奏データと楽譜データとの同期を本実施形態の同期取得方法によりとる同期取得モジュール２０６および同期をとった結果、音源による小節時間変換表を作成して楽譜管理サーバ１０１に出力する変換表出力モジュール２０７を備える。

Description

譜面自動検出方法および装置

　本発明は譜面自動検出方法および装置に関し、より具体的には、演奏データに基づいて譜面のどの位置を演奏しているかを自動的に検出することができる譜面自動検出方法および装置に関する。

　近年、従来の紙の楽譜に代わりＭｕｓｉｃＸＭＬなどを用いた、いわゆる電子楽譜を専用装置や、タブレットパソコンなどに表示させて演奏用の楽譜として使用する例が増加してきている。

　例えば、このような電子楽譜は、有償無償を問わず表示、再生あるいは管理ソフトが多種類存在し、これらをインストールすることにより、パソコン等で表示および再生を行うこともできるが、特許文献１に示すような電子譜面台及び電子譜面の表示方法により、画面に楽譜を表示させて、演奏に用いることも提案されている。特許文献１の電子譜面台及び電子譜面の表示方法は、液晶型タッチパネル式のディスプレイに電子譜面を表示し、演奏者が演奏を中断せずに譜面めくり信号を入力することが可能なフットペダルを踏むと、譜面めくり信号が電子譜面台に送信され、その信号に合わせて譜面めくりが行われる。
特開２０００－２３１３７９号公報

　しかし、従来の電子譜面台及び電子譜面の表示方法は、あくまで用意された楽譜を表示しておいて譜めくりをする際は演奏者がフットペダルを踏んで知らせなければならず、従来の紙の楽譜と大差がない使用感しか得られないという問題がある。

　本発明は上記従来の問題に鑑みてなされたものであり、電子楽譜に含まれる再生コードを用いて、演奏者の演奏と同期を取るので、現在譜面上のどの位置を演奏しているかを特定することができる。これにより、譜面の最後の組段まで演奏が来るタイミングで自動的に次の譜面を表示することにより、演奏者から特別な指示を受けることなく、自動的に譜めくりすることができる。

　請求項１に記載の発明は、譜面データと、演奏データとの同期をとる譜面同期方法であって、譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データと、演奏データとのパワースペクトルを所定の時間区間フレームごとに算出するスペクトル算出ステップと、演奏データのパワースペクトルと、再生データのパワースペクトルとの類似度を算出して、対応する時間区間フレームを特定するフレーム特定ステップと、譜面データと再生データとの対応関係に基づいて、特定された時間区間フレームにより演奏データと譜面データとの対応関係を特定して演奏データの譜面上の演奏位置を取得する演奏位置取得ステップとを備えることを特徴とする。

　請求項２に記載の発明は、請求項１に記載の譜面同期方法において、再生データは、譜面データとともに楽譜データに含まれる再生コード用いて取得することを特徴とする。

　請求項３に記載の発明は、請求項２に記載の譜面同期方法において、再生コードはＭＩＤＩ形式であり、パワースペクトルは、演奏データまたは再生データのＰＣＭ信号から時
間区間フレームごとに算出することを特徴とする。

　請求項４に記載の発明は、請求項１ないし３のいずれかに記載の譜面同期方法において、パワースペクトル同士の類似度は、コサイン距離を用いて算出することを特徴とする。

　請求項５に記載の発明は、請求項２ないし４のいずれかに記載の譜面同期方法において、楽譜データに含まれる譜面データの示す楽曲の、演奏データにおける演奏時間を取得し、再生コードを再生したときの再生データの再生時間が、略同一になるような再生ピッチを算出するピッチ算出ステップをさらに備え、再生データは、再生コードを、算出されたピッチで再生したときのデータであることを特徴とする。

　請求項６に記載の発明は、譜面データを表示する譜面表示方法であって、譜面データに含まれる所定のページの譜面を表示するステップと、譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データと、譜面データに基づいて予めなされた演奏を記録した演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて、対応する時間区間フレームを特定して取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの演奏が終了するタイミングで次のページの譜面を表示する譜めくりステップとを備えたことを特徴とする。

　請求項７に記載の発明は、譜面データを表示する譜面表示方法であって、譜面データの所定のページを表示する表示ステップと、表示ステップにより表示された譜面に基づいてなされた演奏の演奏データを記録する演奏記録ステップと、譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データと、演奏記録ステップにより記録された演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて、対応する時間区間フレームを特定して取得した演奏データの譜面上の演奏位置に基づいて、所定のページの演奏が終了するタイミングで次のページの譜面を表示する譜めくりステップとを備えたことを特徴とする。

　請求項８に記載の発明は、請求項６または７に記載の譜面表示方法において、譜めくりステップは、取得した演奏データの譜面上の演奏位置に基づいて、所定のページの譜面の最終小節の演奏が終了すると、次のページの譜面を表示することを特徴とする。

　請求項９に記載の発明は、請求項６または７に記載の譜面表示方法において、譜めくりステップは、取得した演奏データの譜面上の演奏位置に基づいて、所定のページの譜面の最終小節の演奏が終了する所定の時間前に、次のページの譜面を表示することを特徴とする。

　請求項１０に記載の発明は、請求項６または７に記載の譜面表示方法において、譜めくりステップは、取得した演奏データの譜面上の演奏位置に基づいて、所定のページの譜面の最終小節の演奏が終了した後所定の時間後に、次のページの譜面を表示することを特徴とする。

　請求項１１に記載の発明は、請求項６ないし１０のいずれかに記載の譜面表示方法において、所定のページの譜面の最終小節の演奏が終了する所定の時間前に、次のページの譜面の第１段を、最終小節を含む組段の下部に表示する予定譜表示ステップをさらに備えたことを特徴とする。

　請求項１２に記載の発明は、請求項６ないし１１のいずれかに記載の譜面表示方法において、演奏の進行に同期して、演奏されている譜面上の位置を表示することを特徴とする。

　請求項１３に記載の発明は、譜面データを表示する譜面表示装置であって、譜面データおよび譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データを記憶した譜面データ記録手段と、譜面データに基づいて予めなされた演奏を記録した演奏データを記憶した演奏データ記憶手段と、譜面データ記憶手段から譜面データを取得して、譜面データに含まれる所定のページの譜面を表示する表示手段とを備え、譜面データと、演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて取得した演奏データの譜面上の演奏位置に基づいて、所定のページの演奏が終了するタイミングで次のページの譜面を前記表示手段に表示することを特徴とする。

　請求項１４に記載の発明は、譜面データを表示する譜面表示装置であって、譜面データおよび譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データを記憶した譜面データ記録手段と、譜面データ記憶手段から譜面データを取得して、譜面データに含まれる所定のページの譜面を表示する表示手段と、表示手段に表示された所定のページの譜面に基づいてなされる演奏の演奏データを記録する演奏記録手段とを備え、譜面データと、演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて取得した演奏データの譜面上の演奏位置に基づいて、次のページの譜面を前記表示手段に表示することを特徴とする。

　請求項１５に記載の発明は、データベースに格納された、譜面データを検索する譜面検索方法であって、楽曲の一部の演奏の演奏データを記録する演奏記録ステップと、データベースから譜面データおよび譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データを読み出して、再生データと、演奏記録ステップで記録された演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて類似度を算出する類似度取得ステップと、類似度取得ステップにより、最も高い類似度を取得した譜面データを抽出する最類似抽出ステップとを備えたことを特徴とする。

　請求項１６に記載の発明は、譜面データを検索する譜面検索装置であって、譜面データおよび譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データを格納したデータベースと、楽曲の一部の演奏の演奏データを記録する演奏記録手段と、データベースから再生データを読み出して、演奏記録ステップで記録された演奏データと請求項１ないし５のいずれかに記載の譜面同期方法を用いて類似度を算出する類似度取得手段と、類似度取得ステップにより、最も高い類似度を取得した譜面データを抽出する最類似抽出手段とを備えたことを特徴とする。

　本発明によると、譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データと、演奏データとのパワースペクトルを所定の時間区間フレームごとに算出するスペクトル算出ステップと、演奏データのパワースペクトルと、再生データのパワースペクトルとの類似度を算出して、対応する時間区間フレームを特定するフレーム特定ステップと、譜面データと再生コードとの対応関係に基づいて、特定された時間区間フレームにより演奏データと譜面データとの対応関係を特定して演奏データの譜面上の演奏位置を取得する演奏位置取得ステップとを備えているので、現在譜面上のどの位置を演奏しているかを特定することができ、譜面の最後の組段まで演奏が来るタイミングで自動的に次の譜面を表示することにより、自動的に譜めくりすることが可能となる。

本発明の一実施形態の全体のシステム構成図である。本発明の一実施形態のサーバの機能ブロック図である。本発明の一実施形態の音源と楽譜データとの同期をとって小節時間変換表を作成する方法を説明するための図である。本発明の一実施形態で譜面上の小節とそれに対応する演奏位置の関連付けを示すＸＭＬ楽譜による小節時間変換表の図である。本発明の一実施形態で譜面上の小節とそれに対応する演奏位置の関連付けを示すによる録音音源による小節時間変換表の図である。本発明の一実施形態で譜面上の小節とそれに対応する演奏位置の関連付けを示す図である。本発明の一実施形態の音源と楽譜データとの同期をとる処理を示すフローチャートである。本発明の一実施形態の自動譜めくり処理を説明するための図である。本発明の一実施形態の自動譜めくり処理を示すフローチャートである。本発明の一実施形態の音源と楽譜データとの同期をとる別の例を説明するための図である。本発明の一実施形態の自動譜めくり処理の別の例を説明するための図である。本発明の一実施形態の別の例の自動譜めくり処理を示すフローチャートである。本発明の一実施形態の楽譜検索方法を説明するための図である。本発明の一実施形態の楽譜検索方法の処理を示すフローチャートである。本発明の一実施形態で用いる類似度算出処理を説明するための図である。

　以下、本発明の譜面自動検出方法および装置について、図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。

　本実施形態は、電子楽譜の楽譜データと、その楽譜データに含まれる譜面データに基づく演奏との同期をとって、現在譜面上のどの位置を演奏しているかを特定したり、演奏の一部に基づいてその演奏がどの譜面を用いてなされたものかを検索したりするものであり、以下の実施形態では楽譜、あるいは総譜を用いて行うが、これに限られず、演奏の進行を示す何らかの図面を端末に表示させることができれば、いずれの形態でも対応することができる。

　本発明によると、楽譜データと演奏との同期をとることにより、電子楽譜を様々な実施形態で用いることができるが、本実施形態では譜面上のどの位置を演奏しているかを特定
することにより、自動譜めくりを実現する例を説明する。本実施形態の自動譜めくりは、事前に演奏データを取得しておいて、楽譜データ等に含まれる譜面データとの時間対応を示す小節時間変換表を作成しておき、演奏にあわせて譜面上の位置を例えば小節ごとに特定して譜めくりする方法（第１実施形態）、および演奏をマイクロフォンなどの機器で音声データとして取得し、リアルタイムで小節時間変換表あるいは組段時間変換表を作成して譜めくりタイミングを判定したり、演奏にあわせて譜面上の位置を表示したりする方法（第２実施形態）がある。

　また、演奏の一部に基づいてその演奏がどの譜面を用いてなされたものかを検索する例として、数小節を演奏した演奏データからその楽曲を検索する例（第３実施形態）を説明する。

　ここで、本実施形態で用いる楽譜データは、ＭｕｓｉｃＸＭＬであり、サーバ内では基本的にはＭｕｓｉｃＸＭＬのデータフォーマットで保持している。ＭｕｓｉｃＸＭＬで記述された楽譜はそのまま端末に送信してブラウザで表示させることもできるし、サーバで他の表示用のフォーマット、例えばＰＤＦに変換して端末に送信し端末のブラウザで表示させることもできる。以上のように、本実施形態の楽譜データはＭｕｓｉｃＸＭＬを用いるが、これに限られず、何らかの変換や処理を行って、表示用の楽譜を生成できるものであればいずれのフォーマットも用いることができる。

　一般に、楽譜データ、例えばＭｕｓｉｃＸＭＬフォーマットのデータは、各小節ごとに音符データが規定する譜面データを含んでおり、端末では楽譜データを受信すると、譜面データに基づいてブラウザ上で五線譜を表示して、各小節の音符データに基づいて楽譜を描画していく。楽譜データは一般に、譜面データを演奏したときの音を再現するためのＭＩＤＩ等の再生コードも含んでおり、実際に音として再生することもできる。また、一般に再生コードは様々なパラメータを有しており、再生環境やユーザの好みにより多様な再生が可能であり、例えば再生ピッチを変えることができるが、本実施形態では同期をとるにあたり所定の値を用いるようにする。

　さらに、再生コードにより再生するときは、再生している譜面上の位置も特定できるので、上述の譜面データにより表示した譜面に現在の再生位置を表示することができる。もちろん、ＭｕｓｉｃＸＭＬフォーマットのデータを使用しないでも、譜面の楽曲を譜面通りに再生したデータであって、譜面の各単位、例えば各小節との対応が取れている再生データであれば、本発明は実施することができる。本実施形態で再生データと演奏データとの同期をとる際、ある程度再生時間を合わせるが、再生データの再生時間は本技術分野で知られた方法で伸縮させて、演奏データの演奏時間に合わせることができる。

　なお、ブラウザによっては、楽譜データを端末でそのまま表示できない場合、楽譜管理サーバ１０１から画像データ、例えばＰＤＦ形式のデータとして送信し、ブラウザで表示することもできるが、本技術分野で知られた方法により本実施形態で説明する処理を達成することができるので、詳細は省略する。
（システム構成）
　本発明の一実施形態で用いる動画再生管理方法の具体的なシステムの動作及び処理を以下に説明する。図１は、本発明の一実施形態の全体のシステム構成図である。本システムでは、楽譜データを配信したり、システム全体を制御したりするためのサーバとして、楽譜管理サーバ１０１、および解析の音源となる演奏データから小節時間変換表を作成する音源解析サーバ１０２を備えており、ネットワーク１０３を介して接続されている。

　表示装置および演奏データ取得装置である端末１１１は、基本的に無線でネットワーク１０３に接続されており、例えばタブレット端末とすることができ、本実施形態でネット
ワーク１０３との接続は、携帯電話の回線や、Ｗｉ－ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線ネットワークにより行う。ここで端末１１１はタブレット端末のほか、スマートフォン、あるいはモバイルパソコン等とすることができるが、基本的に楽譜データ等をサーバから受信して画像を表示、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。また、演奏データ取得装置としては、一般的に端末１１１に内蔵されたマイクロフォンを使用することができ、あるいは端末装置１１１とは別に演奏データ取得機能を有しており、ネットワークに接続して音源解析サーバ１０２に接続できるものであればいずれの装置も使用することができる。

　図２は、本発明の一実施形態のサーバの機能ブロック図である。楽譜管理サーバ１０１は、図示しないサーバ等から楽譜データを受信して記憶し、管理する楽譜データ管理モジュール２０１、受信した楽譜データに必要な処理を行って端末に送信する楽譜データ送信モジュール２０２、楽譜データを音源解析サーバ１０２に送信して解析結果として音源による小節時間変換表を取得し、演奏データと楽譜データとの同期を管理する同期管理モジュール２０３および現在演奏されている譜面上の位置を、端末に表示された楽譜のどこに対応するかを算出して表示させたり、譜めくりして次のページを表示させたりする譜面表示モジュール２０４を備える。

　また、音源解析サーバ１０２は、端末１１１で表示されている楽譜に基づいた演奏をマイクロフォン等で録音した演奏データを受信し、楽譜管理サーバ１０１から楽譜データを受信する楽譜データ受信モジュール２０５、演奏データと楽譜データとの同期を本実施形態の同期取得方法によりとる同期取得モジュール２０６および同期をとった結果、音源による小節時間変換表を作成して楽譜管理サーバ１０１に出力する変換表出力モジュール２０７を備える。ここで、音源解析サーバ１０２に送られる楽譜データと演奏データとは何らかの付加データ等で紐づけがなされており、音源解析サーバ１０２で２つのデータを紐づけて音源解析が適切にできるようになっている。例えば、演奏データには演奏者や使用した装置の情報のほかに、どの楽譜データに基づいた演奏かを示す楽譜データの識別コードも付加されて演奏データとともに送られるなど、本技術分野で知られた方法で、データ間の紐づけを行うことができる。また、同期取得や譜めくり等の処理は基本的に楽譜管理サーバ１０１が、楽譜端末１１１を介した演奏者や操作者の指示をもって管理するが、これに限らず本実施形態の処理が達成されるなら、別のサーバや端末を追加し、あるいは音源解析サーバ１０２を楽譜管理サーバ１０１に統合するなど、種々のシステム構成とすることができる。

　（第１実施形態）
　本実施形態では、本発明の演奏データと楽譜データとの同期を予めとっておいて、その結果に基づき譜面の自動譜めくりを実現する。一般に、演奏者が同じでも演奏のたびに演奏態様は異なるから、ある演奏に合わせて譜めくりしても、次に演奏するときの譜めくりのタイミングには合わない可能性がある。しかし、通常譜めくりが必要な本番等の演奏は、事前に練習を重ねて本番前には演奏態様が一定してくるものだから、ある段階まで練習した後の演奏で譜めくりタイミングを取れば、本番の演奏でも大きくタイミングがずれることはない。

　本実施形態では、以上の知見から、演奏者が本番の演奏会等で演奏する前に予め演奏を録音し演奏データを取得しておき、演奏データとその演奏に用いられた楽譜データとの同期をとって、その同期に基づき譜めくりを自動で行う。

　（小節時間変換表の作成）
　以下に、図３～図５を参照して本発明の同期取得処理を説明する。

　図３は、本発明の一実施形態の音源と楽譜データとの同期をとって小節時間変換表を作成する方法を説明するための図であり、図４ＡないしＣは、本実施形態で譜面上の小節とそれに対応する再生位置の関連付けを示す図である。図５は、本実施形態の音源と楽譜データとの同期をとって小節時間変換表を作成する処理を示すフローチャートである。

　本実施形態では、図３に示すように端末１１１に、楽譜データ送信モジュール２０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示すると（ステップ３０１）表示された譜面を見て演奏者が演奏を行い、それをマイクロフォンで録音し、得られた演奏データをその他の付随データとともに、音源解析サーバ１０２に送る（ステップ３０２）一方、楽譜管理サーバ１０１からは演奏データに対応する楽譜データにより生成されるＭＩＤＩ音源及び小節時間変換表を送信する（ステップ３０３）。音源解析サーバ１０２では、受信したデータを解析して、録音された演奏についての小節時間変換表を作成する。

　ここで、小節時間変換表は図４ＡおよびＢに示す小節時間変換表４０１または４０２のように、小節と演奏または再生の時間進行とを対応付けたもので、例えば第１小節の再生時間または演奏時間は（ｔ２－ｔ１）または（ｔ２’－ｔ１’）で、第４小節までの時間は（ｔ５－ｔ１）または（ｔ５’－ｔ１’）となる。譜面ごとにこれらの値が分かれば、譜面ごとに最後の小節を基準に自動的に譜めくりして、演奏者の実際の演奏時に近い感覚で譜めくりが可能になるのである。

　なお、本実施形態で再生時間、演奏時間と分けて記述する場合は、再生時間とは楽譜データのＭＩＤＩ等の再生コードにより再生する時間であり、演奏時間とは演奏者の演奏を録音した演奏データの長さである。また、図３等に例示する譜面は１ページが４段、１段目が４小節からなっているが、これは単なる例示であり、より多くの小節を含むこともできるし、楽器毎の複数の譜面を含むこともできる。

　図５のフローチャートを参照して、具体的な処理を説明する。まず、楽譜端末１１１は、楽譜管理サーバ１０１から楽譜データを受信して表示する。一般に本発明の同期取得方法では、任意のページの譜面から処理することができるが、実際にはパラメータが多くなり過ぎ非効率なので、楽曲の最初、すなわち１頁の譜面から処理する。したがって、まず１ページ目の譜面が楽譜端末１１１に送信され、表示された譜面を見て演奏者は演奏開始位置を指定して演奏を開始して録音が行われる（ステップ５０１）。

　次に、楽譜端末１１１は、録音した音源に関する情報、すなわち（ウ）マイク録音の音源（演奏開始から最後まで）および（エ）録音開始位置（小節番号（１））を、音源解析サーバ１０２に送信し、音源解析サーバ１０２は、楽譜データより得られるデータ（ア）ＭＩＤＩデータと（イ）ＭＩＤＩデータについての小節時間変換表とを、楽譜管理サーバ１０１より得る（ステップ５０２、５０３）。音源解析サーバ１０２は、データ（ア）（イ）（ウ）（エ）より、後述する類似検出処理による同期をとり、録音音源による小節単位変換表を生成する（ステップ５０４）。

　（類似検出処理による同期取得）
　図４Ｃを参照して、本発明の、同期取得処理を説明するが、先ず図１３を参照して本実施形態における類似度の検出について説明する。

　本実施形態で同期処理をする対象となるのは、ＭＩＤＩの再生データ、および予め録音された演奏データになるが、図１３に示すように両データとも各々所定の周波数の時間区間フレームで短時間フーリエ変換を行ってパワースペクトルを算出する。短時間フーリエ
変換の分析窓をサンプリング周波数４８ＫＨｚ、８１９２点、５０％オーバーラップという条件で行うと、フレームの間隔は約１７０ｍｓとなるが、これに限られず、システム環境、楽曲、演奏者のタイプなどで最適な数値を用いることができる。

　本同期取得処理の目的は、再生データと演奏データとの同期をとって、演奏データと譜面とを対応付けることである。上述したように一般に同じ譜面に基づいて演奏しても、演奏者により、場合によっては同じ演奏者でも時により演奏テンポや曲の進行は異なる。例えば、図４ＣのＭＩＤＩ音源による波形４１２に示すように、本来であれば小節ごとに一定のテンポで再生されることが期待されるが、通常の演奏者による演奏は、このように機械的な波形とはならず、録音音源による波形４１１に示すように、小節ごとにテンポが揺らぐ。

　一方で、本実施形態のように基本的には同じ楽曲に基づいて得られた音源データは、一般に最適な時間区間フレームでパワースペクトルを取ると、譜面上で同一の部分のデータはきわめて類似度が高くなるので、相互に類似度の高くなる時間区間フレームを特定できれば、譜面上の位置を特定することができる。すなわち、図４Ｃに示すような演奏データの波形４１１と再生データの波形４１２は、波形の高さが微妙に異なり、演奏者による演奏ピッチの揺れなどから時間軸に差異が出るが、同じ楽曲に基づいた音源なので全体としては極めて類似した形状をしている。

　本実施形態で類似度は、代表的な手法である「動的計画法によるマッチング手法（略称ＤＰマッチング）」を用いて、パワースペクトルの距離を算出して判定するので、距離が短いほど、類似度が高いこととなる。なお、時間区間フレームごとのパワースペクトルの具体的な距離の算出としては、本実施形態ではコサイン距離を用いるがこれに限られず、本技術分野で知られたいずれの方法も用いることができる。

　ここで、上述したように最適な時間区間フレームでパワースペクトルを取ると、譜面上の同じ位置のフレームのスペクトル同士はきわめて類似度が高くなるので、演奏データの波形４１１と再生データの波形４１２とで、類似度が高いフレームを探索すれば対応するフレームを特定することができる。例えば、図４Ｃを参照すると、波形４１１と４１２とは、時間軸方向で相違するが、波形４１１の時間区間フレームのうちＦ１４－ｗが、波形４１２のＦ１３－ｍに対応しているので、Ｆ１４－ｗとＦ１３－ｍとは類似度を計算すれば最大になる。

　再生データのあるフレームが譜面上のどこに相当するかは、図４Ｃの再生データの波形４１２と譜面データ４２１のように、楽譜データで特定することができるので、演奏データの波形４１１のあるフレームが譜面のどこに相当するかも特定することができる。以上の原理により、演奏データのどの部分が譜面上の何小節に対応するかを特定することができる。

　ただし、演奏ピッチの揺らぎは、音符単位でみると高精度の検出が必要となり、実際に使用する必要性も低いことから、本実施形態では、音符ごとに波形と対応付けることはせず、少なくとも小節単位で対応を特定するようにする。

　ここで、上述のフレームの対応付けを行う際、比較するフレームが楽曲全体に広がると類似度算出処理が煩雑になるため、本実施形態では演奏データの大まかな演奏時間を取得しておいて再生コードの再生ピッチを決めるようにしている。すなわち、演奏データと再生データとが全体としてほぼ同じ程度の長さになるようなピッチで再生したときの再生データの波形を用いて上記の処理を実行するが、これに限られず類似度算出が実質的に実行できるために、事前に波形を処理したり、予測したりするなど、本技術分野で知られたい
ずれの方法も用いることができる。

　具体的には、図４ＡないしＣに示すように時間区間フレームの対応関係が特定されれば、例えば演奏時間ｔ１’～ｔ２’の波形が再生時間ｔ１～ｔ２の波形に対応することが特定されると、再生時間ｔ１～ｔ２は再生データの小節時間変換表４０１によると小節（１）に対応するから、演奏時間ｔ１’～ｔ２’に対応する小節は小節（１）となる。以上のようにして、譜面全体について小節の対応を取って、音源の小節時間変換表４０２を作成する。

　ここで、例えばページ単位に同期をとる場合、１ページ分再生データと演奏データの各時間区間フレームの類似度を計算することにより行って、１ページ分の譜面と演奏の同期がとれれば、そこから２ページ目が開始されるとして、２ページ目の再生コードを再生したときの再生データと比較を行って類似度を算出する。これを繰り返すことにより全ページの演奏データを特定し、譜めくりすることもできるが、これに限られず一度に全体の特定をすることもできるし、１ページをいくつかの小節または組段に分けて対応フレームを算出することもできる。

　以上、ＭｕｓｉｃＸＭＬフォーマットのデータを使用した場合で本発明の原理を説明したが、ＭｕｓｉｃＸＭＬフォーマットのデータを使用しなくても、譜面の楽曲を譜面通りに再生したデータであって、譜面の各単位、例えば各小節との対応が取れている再生データがあれば、本発明は実施することができる。この際、再生データの再生時間は本技術分野で知られた方法で伸縮させて、演奏データに合わせることができる。

　（自動譜めくり処理）
　以下に、まず図６～図７を参照して本発明の自動譜めくり処理を説明する。

　図６は、本発明の一実施形態の自動譜めくり処理を説明するための図であり、図７は、自動譜めくり処理を示すフローチャートである。

　本実施形態では、図６に示すように端末１１１に、楽譜データ送信モジュール２０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示され（ステップ６０１）、表示された譜面を見て演奏者は、開始位置を指定するとともに演奏を開始すると、開始位置が楽譜管理サーバ１０１に送られる（ステップ６０２）一方、楽譜管理サーバ１０１は、開始位置を受け取ると、小節時間変換表４０２を用いて予測される演奏時間から現在演奏されている楽譜の位置を楽譜端末１１１に表示する（ステップ６０３）。その後、開始が指定されたページの最終小節を判定すると、この判定に基づいて次のページの譜面データを楽譜端末１１１に送信する。

　図７のフローチャートを参照して、具体的な処理を説明する。まず、楽譜管理サーバ１０１から楽譜データを受信して表示されている楽譜端末１１１に対して、演奏者は、例えば図６の指６０４のように譜面６０５上で演奏開始位置（小節番号）を指定する（ステップ７０１）。開始位置を受信した楽譜管理サーバ１０１は、演奏開始位置を起点として、演奏データによる小節時間変換表４０２と、楽譜管理サーバ１０１が持つタイマーとにより、経過時間に応じて、演奏に沿って小節に順にマークを表示し（ステップ７０２）、演奏者はマークを目安に演奏を行う（ステップ７０３）。マークは、ハイライト表示とすることもできるが、あくまで演奏の目安なので演奏の邪魔になる場合は、目立たないマークとすることが好ましい。

　このように演奏を続け、最終小節近辺に演奏が差し掛かったことを契機に、楽譜管理サーバ１０１は、次のページの譜面を楽譜端末１１１に送信して表示させることにより自動
で譜めくりする（ステップ７０４）。楽譜端末１１１に予め楽譜データまたは譜面データ全体を送信している場合には、楽譜管理サーバ１０１は譜めくりの指示、あるいはページの指定をするだけで、譜めくり処理をすることができる。

　ここで、譜めくりのタイミングだが、譜面の最終小節のある最下段を見て演奏している状態から、次ページの譜面の開始小節のある最上段に素早く視線を移すのは容易ではないため、通常は最終小節を一瞬記憶して暗譜で演奏しつつ譜めくり（視線を移動）したり、逆に次ページの先頭の小節を記憶しておき、最終小節を見ながら演奏してから譜めくり（視線を移動）したりするなど、演奏者ごとに工夫をしている。そこで、本実施形態でも、譜めくり、すなわち次ページ表示タイミングを、最終小節が終了した時点、終了する所定の時間前、および終了した後所定の時間後の３つのパターンを演奏者が設定することができるようになっている。

　もちろん、所定の時間も変更することができる。このようにすることにより、最終小節を記憶して早目に譜めくりすることを好む演奏者や、先頭小節を記憶しておいて、遅めに譜めくりすることを好む演奏者等に合わせて演奏しやすいように自動譜めくりを用いることができる。なお、これらのタイミングや所定の時間は、本技術分野で知られた設定方法により設定することができる。

　さらに、次ページの譜面の一部、例えば最上段のみ最下段の下に一時的に表示させ、次ページの譜面の開始がどのような流れになっているかを確認してから譜めくりすることもできる。この際、譜面の表示は全体に上にスクロールして、下部に表示空間を作ってそこに次ページの最上組段を表示することもできるし、全体的に縮小させて表示させることもできる。

　なお、本実施形態は、本発明の小節時間変換表を自動的に取得することにより、これを用いて小節時間変換表を取得して自動譜めくりを実現するものだが、この小節時間変換表は、さらにさまざまな応用分野に使用することができる。例えば、ＭｕｓｉｃＸＭＬフォーマットのデータを楽譜管理サーバ１０１で管理し、端末１１１に送信してブラウザ上で楽譜として表示させる。この際、再生されている画像や音楽に対応する楽譜上の位置を端末１１１でハイライト表示することができ、これにより、現在演奏されている演奏の部分を楽譜の小節単位で知ることができるので、演奏の確認や練習に役立てることもできる。

　また、本実施形態のように楽譜データが特定された演奏データ（または動画の音声部分のデータ）があれば、小節時間変換表を作成できるので、これを用いて端末１１１に、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示して再生位置を指定させて、指定された小節をサーバに知らせることによって、サーバはその小節に対応する動画や音楽の再生位置、すなわち再生時間を算出し、その位置から動画や音楽を再生するようにすることができる。

　（第２実施形態）
　本実施形態では、上述の第１実施形態と同様に演奏中に楽譜端末１１１に表示した楽譜の譜めくりを自動で行うものであるが、本実施形態では予め録音等は行わず、リアルタイムで同期をとって自動譜めくりを実行する。すなわち、第１実施形態では演奏データと楽譜データとの同期を予めとっておいて、その結果に基づき譜面の自動譜めくりを実現したが、本実施形態ではある譜面について演奏が開始されると、その演奏を録音して同期を取りながら、終了時間を予測して自動譜めくりするというものである。これにより、予め録音して音源解析することなく、すなわち一定の準備をすることなくリアルタイムで自動譜めくりが可能となる。

　第１実施形態の自動譜めくりは、予め同期をとって小節時間変換表を作成しておくので、例えば、オーケストラなど複数の演奏者で行う場合は、比較的演奏が安定しているので、正確な譜めくりが期待できるが、演奏者が少人数で安定した演奏が期待できない場合、譜めくりのタイミングがずれる可能性もある。一方、本実施形態の自動譜めくりは、譜面の途中までの演奏の進行から予測するので、楽曲の性格などでタイミングがずれることはあっても、演奏者のそのときの演奏テンポにはリアルタイムで合ってくるため、演奏者と楽曲の組み合わせによってはより的確な譜めくりが期待できる。

　以下に、図８～図１０を参照して本発明の同期取得、自動譜めくり処理を説明する。
　図８は、本実施形態の音源と楽譜データとの同期をとる例を説明するための図であり、図９は、本実施形態の自動譜めくりの方法を説明するための図である。図１０は、本実施形態の自動譜めくり処理を示すフローチャートである。

　本実施形態では、図８に示すように端末１１１に、楽譜データ送信モジュール２０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示し（ステップ８０１）、表示された譜面を見て演奏者が演奏を行い、それをマイクロフォンが取得すると、演奏開始位置およびその他の付加データともに、リアルタイムで、あるいは分割して音源解析サーバ１０２に送信する（ステップ８０２）。一方、楽譜管理サーバ１０１は、演奏データに対応する楽譜データにより生成されるＭＩＤＩ音源及びその小節時間変換表を送信する（ステップ８０３）。音源解析サーバ１０２では、受信したデータを解析して、録音された演奏についての小節時間変換表または組段時間変換表を作成するが、詳細は後述する。

　本実施形態の自動譜めくり処理は、上述の通りリアルタイムで演奏データと楽譜データとの同期をとりつつ、演奏時間を判定して最終小節まで演奏が進んだと考えられるタイミングで譜めくり処理を行う。同期の取り方は基本的に上述の第１実施形態と同様に、再生データ（正確には、再生コードを再生したときに得られると考えられる音声波形であって、実際に再生する必要はない）と演奏データとの同期を波形の類似度を算出して比較し、類似度の最も高い経路を特定して行うが、波形同士の類似度を算出するなど、具体的な手法は本技術分野で知られたいずれかの方法を用いることができる。

　例えば、本実施形態では、譜面に含まれる組段ごとに同期をとっていく。具体的には、演奏者が演奏開始を指示すると、最初の組段について、所定の再生ピッチで再生させた場合の再生データを取得し、楽譜端末から送信された演奏データと類似度を算出し時間区間フレームの対応関係を特定する。ここで、所定の再生ピッチは、予め演奏者に予想される値を入力させてそれを使用するか、本技術分野で知られたいずれかの方法で予測して決定するものとする。

　同様に、所定の組段まで同様の処理を繰り返し、対応フレームを特定し、その値に基づき残りの組段から譜面の最終組段までの時間を算出し、算出された時間に基づいて譜めくり処理を行う。

　本実施形態では以上の通り、組段ごとに同期をとりつつ、複数の組段を用いて譜面１ページ分の演奏時間を判定する。これは本発明の波形の類似度を用いた同期取得方法は、サンプルが多いほど精度が上がる特性を持っているためであり、例えば図４Ｃの演奏データの波形４１１を見ても理解できるように、小節ごとに同期をとっても揺らぎが大きくて確定ピッチを特定できないが、なるべく多くの組段を用いて同期をとるとより精度の高い演奏時間の判定ができる。ただし、演奏時間を判定してから、譜めくり処理を開始しなければならないので、ぎりぎりまで同期をとっていると譜めくり処理の時間が無くなることから、計算に用いる組段の数は、精度と処理時間のバランスとを考慮して決定するものとする。

　図１０のフローチャートを参照して、具体的な処理を説明する。まず、楽譜端末１１１は、楽譜管理サーバ１０１から楽譜データを受信して表示し、演奏者は演奏開始位置(小節番号)を指定した後、楽譜端末１１１の内蔵マイク、または外部マイクを用いて、演奏を録音開始する（ステップ１００１）。次に、楽譜端末１１１は、録音した音源、すなわち（ウ）マイク録音の音源（Ｔ１まで）および（エ）録音開始位置（小節番号（１））を、音源解析サーバ１０２に送信する（ステップ１００２）。ここで、Ｔ１は、例えば第１段めについて同期がとれるだけ十分の時間があればよく、システムで予め定めておくことができる。

　音源解析サーバ１０２は、楽譜データより得られるデータ（ア）ＭＩＤＩ音源と（イ）組段時間変換表とを、楽譜管理サーバ１０１より得る（ステップ１００３）。音源解析サーバ１０２は、データ（ア）（イ）（ウ）（エ）より、類似検出処理による同期取得を行い、次の組段を演奏する時間を予測する（ステップ１００４）。予測の結果、演奏者はページの最終組段を演奏開始するか否かを判定し（ステップ１００５）、演奏が最終組段に入ると判定されると（Ｙｅｓ）、同期取得処理を終了し、譜めくり処理を開始する（ステップ１００７）。

　ここで、上述の第１実施形態のように最終的に演奏データによる小節時間変換表を作成してもよいし、小節単位では同期をとらないので、組段について、再生データの組段時間変換表を用いて同様の変換表を作成することもできる。すなわち、組段について再生データの波形と演奏データの波形との対応関係を取得した後、図示しない演奏データの各組段の波形の開始時間が特定されると、再生データの各組段の波形を用いてそれが何組めであるかを特定し、演奏データの組段時間変換表を作成する。

　演奏が最終組段にまだ入らないと判定されると（Ｎｏ）、次のＴｘ時間で録音したデータ（ウ）（エ）を、音源解析サーバ１０２は取得し（ステップ１００６）、最終組段までステップ１００３～１００５を繰り返す。このようにして、Ｔ１時間で第１段めの処理が終了して図９に示すように次の組段９１１が推定され、さらにＴ２時間で取得された演奏データから次の組段９１２が推定される。以上を繰り返すことで、より精度を高めることができる。

　以上のようにして、譜めくり処理を開始することが判定されると、処理を実行するが、具体的な処理は、上述の第１実施形態と同様に、演奏者、楽曲、システムなどに合わせて種々のタイミングで自動譜めくりを行うことができる。すなわち、本実施形態でも、次ページの表示タイミングを、最終組段が終了した時点、終了する所定の時間前、および終了した後所定の時間後の３つのパターンを演奏者が設定することができるようになっている。もちろん、所定の時間も変更することができる。

　さらに、次ページの譜面の一部、例えば最上組段のみ最下組段の下に一時的に表示させ、次ページの譜面の開始がどのような流れになっているかを確認してから譜めくりすることもできる。この際、譜面の表示は全体に上にスクロールして、下部に表示空間を作ってそこに次ページの最上組段を表示することもできる。

　本実施形態では、組段ごとに同期をとるよう説明したが、これに限られず、所定の数の小節ごとに同期をとってもいい。

　（第３実施形態）
　本実施形態では、上述の第１および２実施形態とは異なり、自動譜めくりを行うものではないが、同様に本発明の演奏データと再生データの同期取得方法を用いるものである。
すなわち、本発明の同期取得方法を用いて、演奏の一部、例えば冒頭の数小節のデータで、その楽曲の楽譜を検索する。具体的には、演奏の一部を録音して得られた演奏データと、楽譜管理サーバ１０１に格納された楽譜データとを本発明の同期取得方法により同期をとって、最も類似度が高い楽譜データの譜面データを出力する。

　以下に、図１１～図１２を参照して本発明の同期取得、楽曲検索処理を説明する。
　図１１は、本発明の一実施形態の音源と楽譜データとの同期をとって、楽曲を検索する例を説明するための図であり、図１２は、本実施形態の楽曲検索処理を示すフローチャートである。

　本実施形態では、図１１に示すように端末１１１のマイクロフォンが、演奏者の考えた特定の楽曲の一部の演奏の演奏データを取得すると、演奏開始位置とともに、音源解析サーバ１０２に送信する（ステップ１１０２）。一方、楽譜管理サーバ１０１は、検索対象となる複数の楽譜データについて、楽譜データにより生成されるＭＩＤＩ音源及びその小節時間変換表を音源解析サーバ１０２に送信する（ステップ１１０３）。音源解析サーバ１０２では、受信したデータを解析して、録音された演奏についての小節時間変換表が作成される。

　以上により、演奏データの一部と楽譜管理サーバ１０１に記憶された複数の楽譜データの各々との同期をとって得られた類似度を評価値として用い、所定の閾値を超えているものがあれば演奏データの楽曲が特定されたとし、なければ検索は失敗したものとする。ここで閾値は、楽曲やシステム構成で最適な値を予め定めておくこととし、またこのような検索を通して学習することもできる。

　図１２のフローチャートを参照して、具体的な処理を説明する。まず、演奏者は楽曲の先頭から演奏を行い、楽譜端末内蔵マイク、または外部マイクを用いて録音した演奏データを音源解析サーバ１０２に送信する（ステップ１２０１）。次に、音源解析サーバ１０２は、録音データから、所定時間（Ｔ１）のデータを抽出する（ステップ１２０２）。ここで、Ｔ１は、例えば楽曲の特定が可能なだけ十分な時間であればよく、システムで予め定めておくことができる。

　音源解析サーバ１０２は、楽譜データより得られるデータ（ア）ＭＩＤＩデータと（イ）小節時間変換表とを、楽譜管理サーバ１０１より得る（ステップ１２０３）。音源解析サーバ１０２は、データ（ア）（イ）（ウ）（エ）より、類似度検出処理による同期取得を行い、類似度検出の評価値を生成する（ステップ１２０４）。本発明の同期取得方法で得られる最も高い類似度、すなわち演奏者が演奏した楽曲の一部のデータと、データベースの所定の（例えば、図１１の楽譜Ａ～Ｚのうちのいずれかの）楽譜データとの同期をとったときの最も高い類似度を所定の楽譜データの評価値とする。評価値が閾値を超えたか否かを判定し（ステップ１２０５）、超えたと判定されたときは（Ｙｅｓ）、楽曲が正しく検索されたと判定し、検索された楽譜を楽譜端末に配信して終了する（ステップ１２０６）。

　閾値を超えないと判定されると（Ｎｏ）、楽譜管理サーバ１０１に格納された全ての楽曲について評価値を算出したか否かを判定し（ステップ１２０７）、完了していないと判定されると（Ｎｏ）、次の楽曲について評価値を同様に算出する（ステップ１２０８）。完了したと判定されたときは（Ｙｅｓ）、録音データから、所定時間（Ｔ１+Ｔ２）のデータを追加するが（ステップ１２０９）、Ｔ１+Ｔ２だけデータがなければ検索できず終了する（ステップ１２１１）。演奏データがあれば、Ｔ１+Ｔ２時間でステップ１２０３以降の処理を行って検索処理を実行し、閾値を超える評価値が得られれば検索が正常になされたと判定する。

　以上のようにして、楽曲の一部のみ演奏することによって、楽譜管理サーバ１０１から所望の譜面を入手することができるので、例えば出だしや一部は演奏できるが、譜面がないと全曲は演奏できないような場合に、本実施形態のシステムを用いれば必要な譜面を入手してその場で全曲演奏することができる。このように、本実施形態は曲名を検索するのではなく、譜面を直接検索することにより、様々な場面で活用することができる。

Claims

　譜面データと、演奏データとの同期をとる譜面同期方法であって、
　前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データと、前記演奏データとのパワースペクトルを所定の時間区間フレームごとに算出するスペクトル算出ステップと、
　前記演奏データのパワースペクトルと、前記再生データのパワースペクトルとの類似度を算出して、対応する時間区間フレームを特定するフレーム特定ステップと、
　前記譜面データと前記再生データとの対応関係に基づいて、前記特定された時間区間フレームにより前記演奏データと前記譜面データとの対応関係を特定して前記演奏データの譜面上の演奏位置を取得する演奏位置取得ステップと
　を備えることを特徴とする譜面同期方法。
　前記再生データは、前記譜面データとともに楽譜データに含まれる再生コード用いて取得することを特徴とする請求項１に記載の譜面同期方法。
　前記再生コードはＭＩＤＩ形式であり、前記パワースペクトルは、前記演奏データまたは前記再生データのＰＣＭ信号から前記時間区間フレームごとに算出することを特徴とする請求項２に記載の譜面同期方法。
　前記パワースペクトル同士の類似度は、コサイン距離を用いて算出することを特徴とする請求項１ないし３のいずれかに記載の譜面同期方法。
　前記楽譜データに含まれる前記譜面データの示す楽曲の、前記演奏データにおける演奏時間を取得し、前記再生コードを再生したときの再生データの再生時間が、略同一になるような再生ピッチを算出するピッチ算出ステップをさらに備え、
　前記再生データは、前記再生コードを、前記算出されたピッチで再生したときのデータであることを特徴とする請求項２ないし４のいずれかに記載の譜面同期方法。
　譜面データを表示する譜面表示方法であって、
　前記譜面データに含まれる所定のページの譜面を表示するステップと、
　前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データと、該譜面データに基づいて予めなされた演奏を記録した演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて、対応する時間区間フレームを特定して取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの演奏が終了するタイミングで次のページの譜面を表示する譜めくりステップと
　を備えたことを特徴とする譜面表示方法。
　譜面データを表示する譜面表示方法であって、
　譜面データの所定のページを表示する表示ステップと、
　前記表示ステップにより表示された譜面に基づいてなされた演奏の演奏データを記録する演奏記録ステップと、
　前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データと、前記演奏記録ステップにより記録された演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて、対応する時間区間フレームを特定して取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの演奏が終了するタイミングで次のページの譜面を表示する譜めくりステップと
　を備えたことを特徴とする譜面表示方法。
　前記譜めくりステップは、前記取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの譜面の最終小節の演奏が終了すると、次のページの譜面を表示することを特徴とする請求項６または７に記載の譜面表示方法。
　前記譜めくりステップは、前記取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの譜面の最終小節の演奏が終了する所定の時間前に、次のページの譜
面を表示することを特徴とする請求項６または７に記載の譜面表示方法。
　前記譜めくりステップは、前記取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの譜面の最終小節の演奏が終了した後所定の時間後に、次のページの譜面を表示することを特徴とする請求項６または７に記載の譜面表示方法。
　前記所定のページの譜面の最終小節の演奏が終了する所定の時間前に、次のページの譜面の第１段を、前記最終小節を含む組段の下部に表示する予定譜面表示ステップをさらに備えたことを特徴とする請求項６ないし１０のいずれかに記載の譜面表示方法。
　前記演奏の進行に同期して、演奏されている譜面上の位置を表示することを特徴とする請求項６ないし１１のいずれかに記載の譜面表示方法。
　譜面データを表示する譜面表示装置であって、
　前記譜面データおよび前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データを記憶した譜面データ記録手段と、
　前記譜面データに基づいて予めなされた演奏を記録した演奏データを記憶した演奏データ記憶手段と、
　前記譜面データ記憶手段から前記譜面データを取得して、該譜面データに含まれる所定のページの譜面を表示する表示手段と
　を備え
　前記譜面データと、前記演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの演奏が終了するタイミングで次のページの譜面を前記表示手段に表示することを特徴とする譜面表示装置。
　譜面データを表示する譜面表示装置であって、
　前記譜面データおよび前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データを記憶した譜面データ記録手段と、
　前記譜面データ記憶手段から前記譜面データを取得して、該譜面データに含まれる所定のページの譜面を表示する表示手段と、
　前記表示手段に表示された所定のページの譜面に基づいてなされる演奏の演奏データを記録する演奏記録手段と
　を備え、
　前記譜面データと、前記演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて取得した前記演奏データの譜面上の演奏位置に基づいて、次のページの譜面を前記表示手段に表示することを特徴とする譜面表示装置。
　データベースに格納された、譜面データを検索する譜面検索方法であって、
　楽曲の一部の演奏の演奏データを記録する演奏記録ステップと、
　前記データベースから前記譜面データおよび前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データを読み出して、該再生データと、前記演奏記録ステップで記録された演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて類似度を算出する類似度取得ステップと、
　前記類似度取得ステップにより、最も高い類似度を取得した譜面データを抽出する最類似抽出ステップと
　を備えたことを特徴とする譜面検索方法。
　譜面データを検索する譜面検索装置であって、
　譜面データおよび前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データを格納したデータベースと、
　楽曲の一部の演奏の演奏データを記録する演奏記録手段と、
　前記データベースから再生データを読み出して、前記演奏記録ステップで記録された演奏データと請求項１ないし５のいずれかに記載の譜面同期方法を用いて類似度を算出する類似度取得手段と、
　前記類似度取得ステップにより、最も高い類似度を取得した譜面データを抽出する最類似抽出手段と
　を備えたことを特徴とする譜面検索装置。