JPWO2018207936A1 - Automatic musical score detection method and device - Google Patents
Automatic musical score detection method and device Download PDFInfo
- Publication number
- JPWO2018207936A1 JPWO2018207936A1 JP2019517731A JP2019517731A JPWO2018207936A1 JP WO2018207936 A1 JPWO2018207936 A1 JP WO2018207936A1 JP 2019517731 A JP2019517731 A JP 2019517731A JP 2019517731 A JP2019517731 A JP 2019517731A JP WO2018207936 A1 JPWO2018207936 A1 JP WO2018207936A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- score
- performance
- musical score
- musical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
Abstract
【課題】 現在譜面上のどの位置を演奏しているかを特定すること。【解決手段】 音源解析サーバ１０２は、端末１１１で表示されている楽譜に基づいた演奏をマイクロフォン等で録音した演奏データを受信し、楽譜管理サーバ１０１から楽譜データを受信する楽譜データ受信モジュール２０５、演奏データと楽譜データとの同期を本実施形態の同期取得方法によりとる同期取得モジュール２０６および同期をとった結果、音源による小節時間変換表を作成して楽譜管理サーバ１０１に出力する変換表出力モジュール２０７を備える。【選択図】 図２PROBLEM TO BE SOLVED: To specify which position on a musical score is currently playing. A sound source analysis server 102 receives performance data obtained by recording a performance based on a score displayed on a terminal 111 with a microphone or the like, and receives score data from a score management server 101. The synchronization acquisition module 206 that synchronizes the performance data and the score data by the synchronization acquisition method of the present embodiment, and the conversion table output module that creates the bar time conversion table by the sound source and outputs it to the score management server 101 as a result of synchronization. 207 is provided. [Selection diagram]
Description
本発明は譜面自動検出方法および装置に関し、より具体的には、演奏データに基づいて譜面のどの位置を演奏しているかを自動的に検出することができる譜面自動検出方法および装置に関する。 The present invention relates to a music score automatic detection method and device, and more particularly to a music score automatic detection method and device that can automatically detect which position of a music score is being played based on performance data.
近年、従来の紙の楽譜に代わりＭｕｓｉｃＸＭＬなどを用いた、いわゆる電子楽譜を専用装置や、タブレットパソコンなどに表示させて演奏用の楽譜として使用する例が増加してきている。 In recent years, an example in which a so-called electronic musical score using MusicXML or the like instead of the conventional paper musical score is displayed on a dedicated device, a tablet personal computer or the like and used as a musical score for playing has been increasing.
例えば、このような電子楽譜は、有償無償を問わず表示、再生あるいは管理ソフトが多種類存在し、これらをインストールすることにより、パソコン等で表示および再生を行うこともできるが、特許文献１に示すような電子譜面台及び電子譜面の表示方法により、画面に楽譜を表示させて、演奏に用いることも提案されている。特許文献１の電子譜面台及び電子譜面の表示方法は、液晶型タッチパネル式のディスプレイに電子譜面を表示し、演奏者が演奏を中断せずに譜面めくり信号を入力することが可能なフットペダルを踏むと、譜面めくり信号が電子譜面台に送信され、その信号に合わせて譜面めくりが行われる。
しかし、従来の電子譜面台及び電子譜面の表示方法は、あくまで用意された楽譜を表示しておいて譜めくりをする際は演奏者がフットペダルを踏んで知らせなければならず、従来の紙の楽譜と大差がない使用感しか得られないという問題がある。 However, in the conventional electronic music stand and the method for displaying the electronic music score, the player must step on the foot pedal to display the prepared musical score and turn it when turning the music. There is a problem that only the feeling of use that is not much different from the score can be obtained.
本発明は上記従来の問題に鑑みてなされたものであり、電子楽譜に含まれる再生コードを用いて、演奏者の演奏と同期を取るので、現在譜面上のどの位置を演奏しているかを特定することができる。これにより、譜面の最後の組段まで演奏が来るタイミングで自動的に次の譜面を表示することにより、演奏者から特別な指示を受けることなく、自動的に譜めくりすることができる。 The present invention has been made in view of the above-mentioned conventional problems. Since the reproduction code included in the electronic musical score is used to synchronize with the performance of the performer, it is possible to specify which position on the musical score is currently being played. can do. As a result, by automatically displaying the next musical score at the timing when the performance reaches the last column of the musical score, it is possible to automatically turn the musical score without receiving a special instruction from the player.
請求項１に記載の発明は、譜面データと、演奏データとの同期をとる譜面同期方法であって、譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データと、演奏データとのパワースペクトルを所定の時間区間フレームごとに算出するスペクトル算出ステップと、演奏データのパワースペクトルと、再生データのパワースペクトルとの類似度を算出して、対応する時間区間フレームを特定するフレーム特定ステップと、譜面データと再生データとの対応関係に基づいて、特定された時間区間フレームにより演奏データと譜面データとの対応関係を特定して演奏データの譜面上の演奏位置を取得する演奏位置取得ステップとを備えることを特徴とする。
The invention according to
請求項２に記載の発明は、請求項１に記載の譜面同期方法において、再生データは、譜面データとともに楽譜データに含まれる再生コード用いて取得することを特徴とする。 According to a second aspect of the present invention, in the musical score synchronizing method according to the first aspect, the reproduction data is acquired by using a reproduction code included in the musical score data together with the musical score data.
請求項３に記載の発明は、請求項２に記載の譜面同期方法において、再生コードはＭＩＤＩ形式であり、パワースペクトルは、演奏データまたは再生データのＰＣＭ信号から時
間区間フレームごとに算出することを特徴とする。According to a third aspect of the present invention, in the musical score synchronization method according to the second aspect, the reproduction code is in the MIDI format, and the power spectrum is calculated for each time section frame from the PCM signal of the performance data or the reproduction data. Characterize.
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の譜面同期方法において、パワースペクトル同士の類似度は、コサイン距離を用いて算出することを特徴とする。 According to a fourth aspect of the invention, in the musical score synchronization method according to any of the first to third aspects, the similarity between the power spectra is calculated using a cosine distance.
請求項５に記載の発明は、請求項２ないし４のいずれかに記載の譜面同期方法において、楽譜データに含まれる譜面データの示す楽曲の、演奏データにおける演奏時間を取得し、再生コードを再生したときの再生データの再生時間が、略同一になるような再生ピッチを算出するピッチ算出ステップをさらに備え、再生データは、再生コードを、算出されたピッチで再生したときのデータであることを特徴とする。 According to a fifth aspect of the present invention, in the musical score synchronizing method according to any of the second to fourth aspects, a playing time in the performance data of the music piece indicated by the musical score data included in the musical score data is acquired, and a reproduction code is reproduced. It further comprises a pitch calculation step for calculating a reproduction pitch such that the reproduction time of the reproduction data becomes substantially the same, and the reproduction data is the data when the reproduction code is reproduced at the calculated pitch. Characterize.
請求項６に記載の発明は、譜面データを表示する譜面表示方法であって、譜面データに含まれる所定のページの譜面を表示するステップと、譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データと、譜面データに基づいて予めなされた演奏を記録した演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて、対応する時間区間フレームを特定して取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの演奏が終了するタイミングで次のページの譜面を表示する譜めくりステップとを備えたことを特徴とする。
The invention according to
請求項７に記載の発明は、譜面データを表示する譜面表示方法であって、譜面データの所定のページを表示する表示ステップと、表示ステップにより表示された譜面に基づいてなされた演奏の演奏データを記録する演奏記録ステップと、譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データと、演奏記録ステップにより記録された演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて、対応する時間区間フレームを特定して取得した演奏データの譜面上の演奏位置に基づいて、所定のページの演奏が終了するタイミングで次のページの譜面を表示する譜めくりステップとを備えたことを特徴とする。
The invention according to
請求項８に記載の発明は、請求項６または７に記載の譜面表示方法において、譜めくりステップは、取得した演奏データの譜面上の演奏位置に基づいて、所定のページの譜面の最終小節の演奏が終了すると、次のページの譜面を表示することを特徴とする。
The invention according to
請求項９に記載の発明は、請求項６または７に記載の譜面表示方法において、譜めくりステップは、取得した演奏データの譜面上の演奏位置に基づいて、所定のページの譜面の最終小節の演奏が終了する所定の時間前に、次のページの譜面を表示することを特徴とする。
The invention according to
請求項１０に記載の発明は、請求項６または７に記載の譜面表示方法において、譜めくりステップは、取得した演奏データの譜面上の演奏位置に基づいて、所定のページの譜面の最終小節の演奏が終了した後所定の時間後に、次のページの譜面を表示することを特徴とする。
The invention according to
請求項１１に記載の発明は、請求項６ないし１０のいずれかに記載の譜面表示方法において、所定のページの譜面の最終小節の演奏が終了する所定の時間前に、次のページの譜面の第１段を、最終小節を含む組段の下部に表示する予定譜表示ステップをさらに備えたことを特徴とする。
The invention according to
請求項１２に記載の発明は、請求項６ないし１１のいずれかに記載の譜面表示方法において、演奏の進行に同期して、演奏されている譜面上の位置を表示することを特徴とする。 According to a twelfth aspect of the present invention, in the musical score displaying method according to any one of the sixth to eleventh aspects, the position on the musical score being played is displayed in synchronization with the progress of the performance.
請求項１３に記載の発明は、譜面データを表示する譜面表示装置であって、譜面データおよび譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データを記憶した譜面データ記録手段と、譜面データに基づいて予めなされた演奏を記録した演奏データを記憶した演奏データ記憶手段と、譜面データ記憶手段から譜面データを取得して、譜面データに含まれる所定のページの譜面を表示する表示手段とを備え、譜面データと、演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて取得した演奏データの譜面上の演奏位置に基づいて、所定のページの演奏が終了するタイミングで次のページの譜面を前記表示手段に表示することを特徴とする。
According to a thirteenth aspect of the present invention, there is provided a musical score display device for displaying musical score data, which is reproduced data when the musical score represented by the musical score data and the musical score data is reproduced, and is associated with a predetermined unit of the musical score data. Musical score data recording means for storing the reproduced data, musical performance data storage means for storing the musical performance data in which the performance performed in advance based on the musical score data is stored, and musical score data is acquired from the musical score data storage means to be converted into musical score data. Display means for displaying the musical score of a predetermined page included therein, and musical score data and musical performance data obtained by using the musical score synchronizing method according to any one of
請求項１４に記載の発明は、譜面データを表示する譜面表示装置であって、譜面データおよび譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データを記憶した譜面データ記録手段と、譜面データ記憶手段から譜面データを取得して、譜面データに含まれる所定のページの譜面を表示する表示手段と、表示手段に表示された所定のページの譜面に基づいてなされる演奏の演奏データを記録する演奏記録手段とを備え、譜面データと、演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて取得した演奏データの譜面上の演奏位置に基づいて、次のページの譜面を前記表示手段に表示することを特徴とする。
According to a fourteenth aspect of the present invention, there is provided a musical score display device for displaying musical score data, which is reproduced data when reproducing musical score data and a music piece indicated by the musical score data, and is associated with a predetermined unit of the musical score data. Musical score data recording means for storing the reproduced data, display means for acquiring musical score data from the musical score data storage means, and displaying the musical score of a predetermined page included in the musical score data, and a predetermined page displayed on the display means. Performance data recording means for recording performance data of a performance performed on the basis of the musical score data, and the musical score data and the musical performance data obtained by using the musical score synchronizing method according to any one of
請求項１５に記載の発明は、データベースに格納された、譜面データを検索する譜面検索方法であって、楽曲の一部の演奏の演奏データを記録する演奏記録ステップと、データベースから譜面データおよび譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データを読み出して、再生データと、演奏記録ステップで記録された演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて類似度を算出する類似度取得ステップと、類似度取得ステップにより、最も高い類似度を取得した譜面データを抽出する最類似抽出ステップとを備えたことを特徴とする。 The invention according to claim 15 is a musical score search method for searching musical score data stored in a database, comprising a musical performance recording step of recording musical performance data of a part of performance of a musical composition, musical score data and musical score from the database. The reproduction data, which is the reproduction data when the music indicated by the data is reproduced, and is associated with a predetermined unit of the musical score data, and reads the reproduction data and the performance data recorded in the performance recording step. 5 to 5, a similarity acquisition step of calculating a similarity using the musical score synchronization method described above, and a most similar extraction step of extracting musical score data having the highest similarity obtained by the similarity acquisition step. It is characterized by
請求項１６に記載の発明は、譜面データを検索する譜面検索装置であって、譜面データおよび譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データを格納したデータベースと、楽曲の一部の演奏の演奏データを記録する演奏記録手段と、データベースから再生データを読み出して、演奏記録ステップで記録された演奏データと請求項１ないし５のいずれかに記載の譜面同期方法を用いて類似度を算出する類似度取得手段と、類似度取得ステップにより、最も高い類似度を取得した譜面データを抽出する最類似抽出手段とを備えたことを特徴とする。
The invention according to claim 16 is a music score searching device for searching music data, which is reproduction data when music data and music indicated by the music data is reproduced, and is associated with a predetermined unit of music data. 6. A database storing reproduction data, performance recording means for recording performance data of a performance of a part of music, reproduction data read from the database, and the performance data recorded in the performance recording step, and the performance data according to
本発明によると、譜面データの示す楽曲を再生したときの再生データであって、譜面データの所定の単位と対応付けられた再生データと、演奏データとのパワースペクトルを所定の時間区間フレームごとに算出するスペクトル算出ステップと、演奏データのパワースペクトルと、再生データのパワースペクトルとの類似度を算出して、対応する時間区間フレームを特定するフレーム特定ステップと、譜面データと再生コードとの対応関係に基づいて、特定された時間区間フレームにより演奏データと譜面データとの対応関係を特定して演奏データの譜面上の演奏位置を取得する演奏位置取得ステップとを備えているので、現在譜面上のどの位置を演奏しているかを特定することができ、譜面の最後の組段まで演奏が来るタイミングで自動的に次の譜面を表示することにより、自動的に譜めくりすることが可能となる。 According to the present invention, the power spectrum of the reproduction data, which is the reproduction data when the music indicated by the music score data is reproduced and is associated with the predetermined unit of the music score data, and the performance data is calculated for each predetermined time interval frame. A spectrum calculation step, a power spectrum of the performance data, and a frame identification step of calculating the similarity between the power spectrum of the reproduction data and the corresponding time section frame, and a correspondence relationship between the musical score data and the reproduction code. Based on the specified time interval frame, a performance position acquisition step for acquiring the performance position on the musical score of the performance data by specifying the correspondence between the performance data and the musical score data is specified. It is possible to specify which position is being played, and by automatically displaying the next musical score at the timing at which the musical composition reaches the last column of the musical score, it is possible to automatically turn pages.
以下、本発明の譜面自動検出方法および装置について、図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。 Hereinafter, an embodiment of an automatic musical score detecting method and apparatus of the present invention will be described with reference to the drawings. Note that the same reference numerals are used to indicate the same processing and configuration in different drawings.
本実施形態は、電子楽譜の楽譜データと、その楽譜データに含まれる譜面データに基づく演奏との同期をとって、現在譜面上のどの位置を演奏しているかを特定したり、演奏の一部に基づいてその演奏がどの譜面を用いてなされたものかを検索したりするものであり、以下の実施形態では楽譜、あるいは総譜を用いて行うが、これに限られず、演奏の進行を示す何らかの図面を端末に表示させることができれば、いずれの形態でも対応することができる。 In the present embodiment, the musical score data of the electronic musical score and the performance based on the musical score data included in the musical score data are synchronized to specify which position on the musical score is currently being played, Based on the above, the musical score used for the performance is searched for. In the following embodiments, the musical score or the total score is used. Any form can be used as long as the drawing can be displayed on the terminal.
本発明によると、楽譜データと演奏との同期をとることにより、電子楽譜を様々な実施形態で用いることができるが、本実施形態では譜面上のどの位置を演奏しているかを特定
することにより、自動譜めくりを実現する例を説明する。本実施形態の自動譜めくりは、事前に演奏データを取得しておいて、楽譜データ等に含まれる譜面データとの時間対応を示す小節時間変換表を作成しておき、演奏にあわせて譜面上の位置を例えば小節ごとに特定して譜めくりする方法（第１実施形態）、および演奏をマイクロフォンなどの機器で音声データとして取得し、リアルタイムで小節時間変換表あるいは組段時間変換表を作成して譜めくりタイミングを判定したり、演奏にあわせて譜面上の位置を表示したりする方法（第２実施形態）がある。According to the present invention, the electronic musical score can be used in various embodiments by synchronizing the musical score data and the performance, but in the present embodiment, by specifying which position on the musical score is being played. An example of realizing automatic page turning will be described. In the automatic page turning of the present embodiment, the performance data is acquired in advance, and a bar time conversion table showing the time correspondence with the score data included in the score data or the like is created, and the score is converted according to the performance. For example, a method of identifying the position of each of the bars for each measure and turning over the music (first embodiment), and acquiring the performance as voice data with a device such as a microphone, and creating a bar time conversion table or a column time conversion table in real time. There is a method (second embodiment) of determining the page turning timing by displaying the score and displaying the position on the score along with the performance.
また、演奏の一部に基づいてその演奏がどの譜面を用いてなされたものかを検索する例として、数小節を演奏した演奏データからその楽曲を検索する例（第３実施形態）を説明する。 Further, as an example of retrieving which musical score was used for the performance based on a part of the performance, an example (third embodiment) of retrieving the musical composition from the performance data of a few measures will be described. ..
ここで、本実施形態で用いる楽譜データは、ＭｕｓｉｃＸＭＬであり、サーバ内では基本的にはＭｕｓｉｃＸＭＬのデータフォーマットで保持している。ＭｕｓｉｃＸＭＬで記述された楽譜はそのまま端末に送信してブラウザで表示させることもできるし、サーバで他の表示用のフォーマット、例えばＰＤＦに変換して端末に送信し端末のブラウザで表示させることもできる。以上のように、本実施形態の楽譜データはＭｕｓｉｃＸＭＬを用いるが、これに限られず、何らかの変換や処理を行って、表示用の楽譜を生成できるものであればいずれのフォーマットも用いることができる。 Here, the musical score data used in the present embodiment is MusicXML, and is basically stored in the server in the MusicXML data format. The musical score described in MusicXML can be directly transmitted to the terminal and displayed by the browser, or can be converted by the server into another display format, for example, PDF and transmitted to the terminal and displayed by the browser of the terminal. .. As described above, the musical score data of the present embodiment uses MusicXML, but the present invention is not limited to this, and any format can be used as long as it can perform some conversion or processing to generate a musical score for display.
一般に、楽譜データ、例えばＭｕｓｉｃＸＭＬフォーマットのデータは、各小節ごとに音符データが規定する譜面データを含んでおり、端末では楽譜データを受信すると、譜面データに基づいてブラウザ上で五線譜を表示して、各小節の音符データに基づいて楽譜を描画していく。楽譜データは一般に、譜面データを演奏したときの音を再現するためのＭＩＤＩ等の再生コードも含んでおり、実際に音として再生することもできる。また、一般に再生コードは様々なパラメータを有しており、再生環境やユーザの好みにより多様な再生が可能であり、例えば再生ピッチを変えることができるが、本実施形態では同期をとるにあたり所定の値を用いるようにする。 Generally, musical score data, for example, data in Music XML format, includes musical score data defined by musical note data for each bar, and when the terminal receives the musical score data, a staff is displayed on the browser based on the musical score data, A musical score is drawn based on the note data of each measure. The musical score data generally includes a reproduction code such as MIDI for reproducing a sound when the musical score data is played, and can be actually reproduced as a sound. In general, the reproduction code has various parameters, and various reproductions can be performed according to the reproduction environment and the user's preference. For example, the reproduction pitch can be changed. Use the value.
さらに、再生コードにより再生するときは、再生している譜面上の位置も特定できるので、上述の譜面データにより表示した譜面に現在の再生位置を表示することができる。もちろん、ＭｕｓｉｃＸＭＬフォーマットのデータを使用しないでも、譜面の楽曲を譜面通りに再生したデータであって、譜面の各単位、例えば各小節との対応が取れている再生データであれば、本発明は実施することができる。本実施形態で再生データと演奏データとの同期をとる際、ある程度再生時間を合わせるが、再生データの再生時間は本技術分野で知られた方法で伸縮させて、演奏データの演奏時間に合わせることができる。 Further, when reproducing with the reproduction code, the position on the musical score being reproduced can be specified, so that the current reproducing position can be displayed on the musical score displayed by the musical score data described above. Of course, the present invention is not limited to the case where the music XML music data is not used, and the music data is reproduced in accordance with the music score, as long as it is reproduction data that corresponds to each unit of the music score, for example, each measure. can do. When the reproduction data and the performance data are synchronized with each other in the present embodiment, the reproduction time is adjusted to some extent, but the reproduction time of the reproduction data is expanded and contracted by a method known in the art to match the performance time of the performance data. You can
なお、ブラウザによっては、楽譜データを端末でそのまま表示できない場合、楽譜管理サーバ１０１から画像データ、例えばＰＤＦ形式のデータとして送信し、ブラウザで表示することもできるが、本技術分野で知られた方法により本実施形態で説明する処理を達成することができるので、詳細は省略する。
（システム構成）
本発明の一実施形態で用いる動画再生管理方法の具体的なシステムの動作及び処理を以下に説明する。図１は、本発明の一実施形態の全体のシステム構成図である。本システムでは、楽譜データを配信したり、システム全体を制御したりするためのサーバとして、楽譜管理サーバ１０１、および解析の音源となる演奏データから小節時間変換表を作成する音源解析サーバ１０２を備えており、ネットワーク１０３を介して接続されている。Note that, depending on the browser, when the score data cannot be displayed on the terminal as it is, the
(System configuration)
A specific system operation and processing of the moving image reproduction management method used in the embodiment of the present invention will be described below. FIG. 1 is an overall system configuration diagram of an embodiment of the present invention. This system includes a
表示装置および演奏データ取得装置である端末１１１は、基本的に無線でネットワーク１０３に接続されており、例えばタブレット端末とすることができ、本実施形態でネット
ワーク１０３との接続は、携帯電話の回線や、Ｗｉ−ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線ネットワークにより行う。ここで端末１１１はタブレット端末のほか、スマートフォン、あるいはモバイルパソコン等とすることができるが、基本的に楽譜データ等をサーバから受信して画像を表示、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。また、演奏データ取得装置としては、一般的に端末１１１に内蔵されたマイクロフォンを使用することができ、あるいは端末装置１１１とは別に演奏データ取得機能を有しており、ネットワークに接続して音源解析サーバ１０２に接続できるものであればいずれの装置も使用することができる。The terminal 111, which is a display device and a performance data acquisition device, is basically wirelessly connected to the
図２は、本発明の一実施形態のサーバの機能ブロック図である。楽譜管理サーバ１０１は、図示しないサーバ等から楽譜データを受信して記憶し、管理する楽譜データ管理モジュール２０１、受信した楽譜データに必要な処理を行って端末に送信する楽譜データ送信モジュール２０２、楽譜データを音源解析サーバ１０２に送信して解析結果として音源による小節時間変換表を取得し、演奏データと楽譜データとの同期を管理する同期管理モジュール２０３および現在演奏されている譜面上の位置を、端末に表示された楽譜のどこに対応するかを算出して表示させたり、譜めくりして次のページを表示させたりする譜面表示モジュール２０４を備える。
FIG. 2 is a functional block diagram of the server according to the embodiment of the present invention. The musical
また、音源解析サーバ１０２は、端末１１１で表示されている楽譜に基づいた演奏をマイクロフォン等で録音した演奏データを受信し、楽譜管理サーバ１０１から楽譜データを受信する楽譜データ受信モジュール２０５、演奏データと楽譜データとの同期を本実施形態の同期取得方法によりとる同期取得モジュール２０６および同期をとった結果、音源による小節時間変換表を作成して楽譜管理サーバ１０１に出力する変換表出力モジュール２０７を備える。ここで、音源解析サーバ１０２に送られる楽譜データと演奏データとは何らかの付加データ等で紐づけがなされており、音源解析サーバ１０２で２つのデータを紐づけて音源解析が適切にできるようになっている。例えば、演奏データには演奏者や使用した装置の情報のほかに、どの楽譜データに基づいた演奏かを示す楽譜データの識別コードも付加されて演奏データとともに送られるなど、本技術分野で知られた方法で、データ間の紐づけを行うことができる。また、同期取得や譜めくり等の処理は基本的に楽譜管理サーバ１０１が、楽譜端末１１１を介した演奏者や操作者の指示をもって管理するが、これに限らず本実施形態の処理が達成されるなら、別のサーバや端末を追加し、あるいは音源解析サーバ１０２を楽譜管理サーバ１０１に統合するなど、種々のシステム構成とすることができる。
Further, the sound
（第１実施形態）
本実施形態では、本発明の演奏データと楽譜データとの同期を予めとっておいて、その結果に基づき譜面の自動譜めくりを実現する。一般に、演奏者が同じでも演奏のたびに演奏態様は異なるから、ある演奏に合わせて譜めくりしても、次に演奏するときの譜めくりのタイミングには合わない可能性がある。しかし、通常譜めくりが必要な本番等の演奏は、事前に練習を重ねて本番前には演奏態様が一定してくるものだから、ある段階まで練習した後の演奏で譜めくりタイミングを取れば、本番の演奏でも大きくタイミングがずれることはない。(First embodiment)
In the present embodiment, the performance data of the present invention is synchronized with the score data in advance, and the automatic score turning is realized based on the result. In general, even if the performers are the same, the performance mode is different each time the performance is performed. Therefore, even if the score is turned in accordance with a certain performance, there is a possibility that it will not match the timing of turning the score in the next performance. However, for performances such as performances that normally require page turning, practice is repeated in advance and the performance pattern will be constant before the performance. Even in the real performance, the timing does not change significantly.
本実施形態では、以上の知見から、演奏者が本番の演奏会等で演奏する前に予め演奏を録音し演奏データを取得しておき、演奏データとその演奏に用いられた楽譜データとの同期をとって、その同期に基づき譜めくりを自動で行う。 In the present embodiment, based on the above knowledge, the performance is recorded in advance and the performance data is acquired before the performer performs at the performance concert or the like, and the performance data and the score data used for the performance are synchronized. Then, the page turning is automatically performed based on the synchronization.
（小節時間変換表の作成）
以下に、図３〜図５を参照して本発明の同期取得処理を説明する。(Creation of bar time conversion table)
The synchronization acquisition process of the present invention will be described below with reference to FIGS.
図３は、本発明の一実施形態の音源と楽譜データとの同期をとって小節時間変換表を作成する方法を説明するための図であり、図４ＡないしＣは、本実施形態で譜面上の小節とそれに対応する再生位置の関連付けを示す図である。図５は、本実施形態の音源と楽譜データとの同期をとって小節時間変換表を作成する処理を示すフローチャートである。 FIG. 3 is a diagram for explaining a method of creating a bar time conversion table in synchronization with a sound source and musical score data according to an embodiment of the present invention, and FIGS. It is a figure which shows the correlation of the bar of and the reproduction position corresponding to it. FIG. 5 is a flowchart showing a process of creating a bar time conversion table in synchronization with the sound source and the score data according to this embodiment.
本実施形態では、図３に示すように端末１１１に、楽譜データ送信モジュール２０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示すると（ステップ３０１）表示された譜面を見て演奏者が演奏を行い、それをマイクロフォンで録音し、得られた演奏データをその他の付随データとともに、音源解析サーバ１０２に送る（ステップ３０２）一方、楽譜管理サーバ１０１からは演奏データに対応する楽譜データにより生成されるＭＩＤＩ音源及び小節時間変換表を送信する（ステップ３０３）。音源解析サーバ１０２では、受信したデータを解析して、録音された演奏についての小節時間変換表を作成する。
In the present embodiment, as shown in FIG. 3, when the musical score
ここで、小節時間変換表は図４ＡおよびＢに示す小節時間変換表４０１または４０２のように、小節と演奏または再生の時間進行とを対応付けたもので、例えば第１小節の再生時間または演奏時間は（ｔ２−ｔ１）または（ｔ２’−ｔ１’）で、第４小節までの時間は（ｔ５−ｔ１）または（ｔ５’−ｔ１’）となる。譜面ごとにこれらの値が分かれば、譜面ごとに最後の小節を基準に自動的に譜めくりして、演奏者の実際の演奏時に近い感覚で譜めくりが可能になるのである。 Here, the bar time conversion table is a table in which the bar and the time progress of the performance or reproduction are associated with each other, as in the bar time conversion table 401 or 402 shown in FIGS. 4A and 4B. For example, the reproduction time or the performance of the first bar. The time is (t2-t1) or (t2'-t1'), and the time to the fourth measure is (t5-t1) or (t5'-t1'). If these values are known for each musical score, it is possible to automatically turn over each musical score based on the last measure, and to turn the musical score with a feeling similar to that when the performer actually performs.
なお、本実施形態で再生時間、演奏時間と分けて記述する場合は、再生時間とは楽譜データのＭＩＤＩ等の再生コードにより再生する時間であり、演奏時間とは演奏者の演奏を録音した演奏データの長さである。また、図３等に例示する譜面は１ページが４段、１段目が４小節からなっているが、これは単なる例示であり、より多くの小節を含むこともできるし、楽器毎の複数の譜面を含むこともできる。 When the playback time and the performance time are described separately in the present embodiment, the playback time is the time to play back by the playback code such as MIDI of the score data, and the performance time is the performance recorded by the performer. This is the length of the data. In the musical score illustrated in FIG. 3 and the like, one page has four bars and the first bar has four bars, but this is merely an example, and it is possible to include more bars and a plurality of bars for each musical instrument. The score of can be included.
図５のフローチャートを参照して、具体的な処理を説明する。まず、楽譜端末１１１は、楽譜管理サーバ１０１から楽譜データを受信して表示する。一般に本発明の同期取得方法では、任意のページの譜面から処理することができるが、実際にはパラメータが多くなり過ぎ非効率なので、楽曲の最初、すなわち１頁の譜面から処理する。したがって、まず１ページ目の譜面が楽譜端末１１１に送信され、表示された譜面を見て演奏者は演奏開始位置を指定して演奏を開始して録音が行われる（ステップ５０１）。
Specific processing will be described with reference to the flowchart in FIG. First, the
次に、楽譜端末１１１は、録音した音源に関する情報、すなわち（ウ）マイク録音の音源（演奏開始から最後まで）および（エ）録音開始位置（小節番号（１））を、音源解析サーバ１０２に送信し、音源解析サーバ１０２は、楽譜データより得られるデータ（ア）ＭＩＤＩデータと（イ）ＭＩＤＩデータについての小節時間変換表とを、楽譜管理サーバ１０１より得る（ステップ５０２、５０３）。音源解析サーバ１０２は、データ（ア）（イ）（ウ）（エ）より、後述する類似検出処理による同期をとり、録音音源による小節単位変換表を生成する（ステップ５０４）。
Next, the
（類似検出処理による同期取得）
図４Ｃを参照して、本発明の、同期取得処理を説明するが、先ず図１３を参照して本実施形態における類似度の検出について説明する。(Synchronous acquisition by similarity detection processing)
The synchronization acquisition processing of the present invention will be described with reference to FIG. 4C. First, the detection of the similarity in the present embodiment will be described with reference to FIG.
本実施形態で同期処理をする対象となるのは、ＭＩＤＩの再生データ、および予め録音された演奏データになるが、図１３に示すように両データとも各々所定の周波数の時間区間フレームで短時間フーリエ変換を行ってパワースペクトルを算出する。短時間フーリエ
変換の分析窓をサンプリング周波数４８ＫＨｚ、８１９２点、５０％オーバーラップという条件で行うと、フレームの間隔は約１７０ｍｓとなるが、これに限られず、システム環境、楽曲、演奏者のタイプなどで最適な数値を用いることができる。In this embodiment, the target of the synchronization processing is the MIDI reproduction data and the prerecorded performance data. Fourier transform is performed to calculate the power spectrum. If the analysis window of the short-time Fourier transform is performed under the conditions of sampling frequency 48 KHz, 8192 points, and 50% overlap, the frame interval will be about 170 ms, but it is not limited to this, but the system environment, music, performer type, etc. The optimum value can be used in.
本同期取得処理の目的は、再生データと演奏データとの同期をとって、演奏データと譜面とを対応付けることである。上述したように一般に同じ譜面に基づいて演奏しても、演奏者により、場合によっては同じ演奏者でも時により演奏テンポや曲の進行は異なる。例えば、図４ＣのＭＩＤＩ音源による波形４１２に示すように、本来であれば小節ごとに一定のテンポで再生されることが期待されるが、通常の演奏者による演奏は、このように機械的な波形とはならず、録音音源による波形４１１に示すように、小節ごとにテンポが揺らぐ。
The purpose of this synchronization acquisition processing is to synchronize the reproduction data with the performance data and associate the performance data with the musical score. As described above, generally, even if the performance is performed based on the same musical score, the performance tempo and the progress of the music are different depending on the performer, and sometimes even the same performer. For example, as shown by the
一方で、本実施形態のように基本的には同じ楽曲に基づいて得られた音源データは、一般に最適な時間区間フレームでパワースペクトルを取ると、譜面上で同一の部分のデータはきわめて類似度が高くなるので、相互に類似度の高くなる時間区間フレームを特定できれば、譜面上の位置を特定することができる。すなわち、図４Ｃに示すような演奏データの波形４１１と再生データの波形４１２は、波形の高さが微妙に異なり、演奏者による演奏ピッチの揺れなどから時間軸に差異が出るが、同じ楽曲に基づいた音源なので全体としては極めて類似した形状をしている。
On the other hand, the sound source data basically obtained based on the same music as in the present embodiment generally takes a power spectrum in the optimum time section frame, and the data of the same portion on the musical score has extremely similarities. Therefore, if it is possible to specify the time interval frame having a high degree of similarity with each other, the position on the musical score can be specified. That is, the
本実施形態で類似度は、代表的な手法である「動的計画法によるマッチング手法（略称ＤＰマッチング）」を用いて、パワースペクトルの距離を算出して判定するので、距離が短いほど、類似度が高いこととなる。なお、時間区間フレームごとのパワースペクトルの具体的な距離の算出としては、本実施形態ではコサイン距離を用いるがこれに限られず、本技術分野で知られたいずれの方法も用いることができる。 In the present embodiment, the similarity is determined by calculating the distance of the power spectrum using a “matching method by dynamic programming (abbreviated as DP matching)” which is a typical method. The degree will be high. It should be noted that the cosine distance is used in the present embodiment to calculate the specific distance of the power spectrum for each time interval frame, but the present invention is not limited to this, and any method known in the present technical field can be used.
ここで、上述したように最適な時間区間フレームでパワースペクトルを取ると、譜面上の同じ位置のフレームのスペクトル同士はきわめて類似度が高くなるので、演奏データの波形４１１と再生データの波形４１２とで、類似度が高いフレームを探索すれば対応するフレームを特定することができる。例えば、図４Ｃを参照すると、波形４１１と４１２とは、時間軸方向で相違するが、波形４１１の時間区間フレームのうちＦ１４−ｗが、波形４１２のＦ１３−ｍに対応しているので、Ｆ１４−ｗとＦ１３−ｍとは類似度を計算すれば最大になる。
Here, as described above, when the power spectrum is taken in the optimum time section frame, the spectra of frames at the same position on the musical score have extremely high similarity, so that the
再生データのあるフレームが譜面上のどこに相当するかは、図４Ｃの再生データの波形４１２と譜面データ４２１のように、楽譜データで特定することができるので、演奏データの波形４１１のあるフレームが譜面のどこに相当するかも特定することができる。以上の原理により、演奏データのどの部分が譜面上の何小節に対応するかを特定することができる。
Where on the musical score the frame with the reproduced data corresponds can be specified by the musical score data like the
ただし、演奏ピッチの揺らぎは、音符単位でみると高精度の検出が必要となり、実際に使用する必要性も低いことから、本実施形態では、音符ごとに波形と対応付けることはせず、少なくとも小節単位で対応を特定するようにする。 However, the fluctuation of the performance pitch requires high-precision detection in terms of notes and is not required to be actually used. Therefore, in the present embodiment, each note is not associated with a waveform, and at least a measure is required. Try to identify the correspondence in units.
ここで、上述のフレームの対応付けを行う際、比較するフレームが楽曲全体に広がると類似度算出処理が煩雑になるため、本実施形態では演奏データの大まかな演奏時間を取得しておいて再生コードの再生ピッチを決めるようにしている。すなわち、演奏データと再生データとが全体としてほぼ同じ程度の長さになるようなピッチで再生したときの再生データの波形を用いて上記の処理を実行するが、これに限られず類似度算出が実質的に実行できるために、事前に波形を処理したり、予測したりするなど、本技術分野で知られたい
ずれの方法も用いることができる。Here, when the above-mentioned frames are associated with each other, the similarity calculation process becomes complicated if the frames to be compared are spread over the entire musical piece. Therefore, in the present embodiment, a rough performance time of the performance data is acquired and reproduced. I try to decide the playback pitch of the chord. That is, the above processing is executed using the waveform of the reproduction data when the reproduction data is reproduced at a pitch such that the reproduction data and the reproduction data have substantially the same length as a whole, but the similarity calculation is not limited to this. Any method known in the art can be used, such as pre-processing and predicting the waveform, as it is substantially executable.
具体的には、図４ＡないしＣに示すように時間区間フレームの対応関係が特定されれば、例えば演奏時間ｔ１’〜ｔ２’の波形が再生時間ｔ１〜ｔ２の波形に対応することが特定されると、再生時間ｔ１〜ｔ２は再生データの小節時間変換表４０１によると小節（１）に対応するから、演奏時間ｔ１’〜ｔ２’に対応する小節は小節（１）となる。以上のようにして、譜面全体について小節の対応を取って、音源の小節時間変換表４０２を作成する。 Specifically, if the correspondence between the time interval frames is specified as shown in FIGS. 4A to 4C, for example, it is specified that the waveform of the playing time t1′ to t2′ corresponds to the waveform of the playing time t1 to t2. Then, the reproduction times t1 to t2 correspond to the bar (1) according to the bar time conversion table 401 of the reproduction data, so that the bar corresponding to the performance times t1' to t2' becomes the bar (1). As described above, the bar time conversion table 402 of the sound source is created by associating the bars with the entire musical score.
ここで、例えばページ単位に同期をとる場合、１ページ分再生データと演奏データの各時間区間フレームの類似度を計算することにより行って、１ページ分の譜面と演奏の同期がとれれば、そこから２ページ目が開始されるとして、２ページ目の再生コードを再生したときの再生データと比較を行って類似度を算出する。これを繰り返すことにより全ページの演奏データを特定し、譜めくりすることもできるが、これに限られず一度に全体の特定をすることもできるし、１ページをいくつかの小節または組段に分けて対応フレームを算出することもできる。 Here, for example, in the case of synchronizing on a page-by-page basis, it is performed by calculating the similarity between each time section frame of the reproduction data for one page and the performance data. It is assumed that the second page is started from, and the similarity is calculated by making a comparison with the reproduction data when the reproduction code of the second page is reproduced. By repeating this, it is possible to specify the performance data of all pages and turn over, but not limited to this, it is also possible to specify the whole at once, divide one page into several bars or columns. It is also possible to calculate the corresponding frame.
以上、ＭｕｓｉｃＸＭＬフォーマットのデータを使用した場合で本発明の原理を説明したが、ＭｕｓｉｃＸＭＬフォーマットのデータを使用しなくても、譜面の楽曲を譜面通りに再生したデータであって、譜面の各単位、例えば各小節との対応が取れている再生データがあれば、本発明は実施することができる。この際、再生データの再生時間は本技術分野で知られた方法で伸縮させて、演奏データに合わせることができる。 The principle of the present invention has been described above in the case of using the Music XML format data. However, even if the Music XML format data is not used, it is data in which the musical composition of the musical score is reproduced as the musical score, and each unit of the musical score, For example, the present invention can be implemented if there is reproduction data that corresponds to each measure. At this time, the reproduction time of the reproduction data can be expanded/contracted by a method known in the art to match the reproduction data.
（自動譜めくり処理）
以下に、まず図６〜図７を参照して本発明の自動譜めくり処理を説明する。(Automatic page turning process)
First, the automatic page-turning process of the present invention will be described below with reference to FIGS.
図６は、本発明の一実施形態の自動譜めくり処理を説明するための図であり、図７は、自動譜めくり処理を示すフローチャートである。 FIG. 6 is a diagram for explaining the automatic page-turning process according to the embodiment of the present invention, and FIG. 7 is a flowchart showing the automatic page-turning process.
本実施形態では、図６に示すように端末１１１に、楽譜データ送信モジュール２０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示され（ステップ６０１）、表示された譜面を見て演奏者は、開始位置を指定するとともに演奏を開始すると、開始位置が楽譜管理サーバ１０１に送られる（ステップ６０２）一方、楽譜管理サーバ１０１は、開始位置を受け取ると、小節時間変換表４０２を用いて予測される演奏時間から現在演奏されている楽譜の位置を楽譜端末１１１に表示する（ステップ６０３）。その後、開始が指定されたページの最終小節を判定すると、この判定に基づいて次のページの譜面データを楽譜端末１１１に送信する。
In the present embodiment, as shown in FIG. 6, the musical score
図７のフローチャートを参照して、具体的な処理を説明する。まず、楽譜管理サーバ１０１から楽譜データを受信して表示されている楽譜端末１１１に対して、演奏者は、例えば図６の指６０４のように譜面６０５上で演奏開始位置（小節番号）を指定する（ステップ７０１）。開始位置を受信した楽譜管理サーバ１０１は、演奏開始位置を起点として、演奏データによる小節時間変換表４０２と、楽譜管理サーバ１０１が持つタイマーとにより、経過時間に応じて、演奏に沿って小節に順にマークを表示し（ステップ７０２）、演奏者はマークを目安に演奏を行う（ステップ７０３）。マークは、ハイライト表示とすることもできるが、あくまで演奏の目安なので演奏の邪魔になる場合は、目立たないマークとすることが好ましい。
Specific processing will be described with reference to the flowchart in FIG. 7. First, with respect to the
このように演奏を続け、最終小節近辺に演奏が差し掛かったことを契機に、楽譜管理サーバ１０１は、次のページの譜面を楽譜端末１１１に送信して表示させることにより自動
で譜めくりする（ステップ７０４）。楽譜端末１１１に予め楽譜データまたは譜面データ全体を送信している場合には、楽譜管理サーバ１０１は譜めくりの指示、あるいはページの指定をするだけで、譜めくり処理をすることができる。In this manner, the musical
ここで、譜めくりのタイミングだが、譜面の最終小節のある最下段を見て演奏している状態から、次ページの譜面の開始小節のある最上段に素早く視線を移すのは容易ではないため、通常は最終小節を一瞬記憶して暗譜で演奏しつつ譜めくり（視線を移動）したり、逆に次ページの先頭の小節を記憶しておき、最終小節を見ながら演奏してから譜めくり（視線を移動）したりするなど、演奏者ごとに工夫をしている。そこで、本実施形態でも、譜めくり、すなわち次ページ表示タイミングを、最終小節が終了した時点、終了する所定の時間前、および終了した後所定の時間後の３つのパターンを演奏者が設定することができるようになっている。 Although it is the timing of turning pages, it is not easy to quickly move the line of sight from the state where you are playing by looking at the bottom bar with the last bar of the score to the top line with the start bar of the score on the next page, Normally, the last measure is memorized for a moment and the page is turned (moving the line of sight) while playing in memory, or conversely, the first measure of the next page is stored and the page is played after watching the last measure. Each player is devised, such as moving his or her line of sight). Therefore, also in the present embodiment, the turnover, that is, the next page display timing is set by the player to set three patterns at the time when the last bar ends, a predetermined time before the end, and a predetermined time after the end. You can do it.
もちろん、所定の時間も変更することができる。このようにすることにより、最終小節を記憶して早目に譜めくりすることを好む演奏者や、先頭小節を記憶しておいて、遅めに譜めくりすることを好む演奏者等に合わせて演奏しやすいように自動譜めくりを用いることができる。なお、これらのタイミングや所定の時間は、本技術分野で知られた設定方法により設定することができる。 Of course, the predetermined time can also be changed. This makes it suitable for performers who like to memorize the last measure and turn early, or performers who like to remember the first measure and turn late. You can use automatic page turning to make it easier to play. The timing and the predetermined time can be set by a setting method known in the technical field.
さらに、次ページの譜面の一部、例えば最上段のみ最下段の下に一時的に表示させ、次ページの譜面の開始がどのような流れになっているかを確認してから譜めくりすることもできる。この際、譜面の表示は全体に上にスクロールして、下部に表示空間を作ってそこに次ページの最上組段を表示することもできるし、全体的に縮小させて表示させることもできる。 In addition, a part of the score on the next page, for example, only the top row is temporarily displayed below the bottom row, and you can check the flow of the start of the score on the next page before turning over. it can. At this time, the display of the musical score can be entirely scrolled upward to create a display space at the bottom to display the uppermost column of the next page, or the entire display can be reduced.
なお、本実施形態は、本発明の小節時間変換表を自動的に取得することにより、これを用いて小節時間変換表を取得して自動譜めくりを実現するものだが、この小節時間変換表は、さらにさまざまな応用分野に使用することができる。例えば、ＭｕｓｉｃＸＭＬフォーマットのデータを楽譜管理サーバ１０１で管理し、端末１１１に送信してブラウザ上で楽譜として表示させる。この際、再生されている画像や音楽に対応する楽譜上の位置を端末１１１でハイライト表示することができ、これにより、現在演奏されている演奏の部分を楽譜の小節単位で知ることができるので、演奏の確認や練習に役立てることもできる。
In the present embodiment, the bar time conversion table of the present invention is automatically acquired, and the bar time conversion table is acquired using this to realize automatic page turning. , Can also be used in various application fields. For example, the music XML format data is managed by the
また、本実施形態のように楽譜データが特定された演奏データ（または動画の音声部分のデータ）があれば、小節時間変換表を作成できるので、これを用いて端末１１１に、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示して再生位置を指定させて、指定された小節をサーバに知らせることによって、サーバはその小節に対応する動画や音楽の再生位置、すなわち再生時間を算出し、その位置から動画や音楽を再生するようにすることができる。 Further, as in the present embodiment, if there is performance data (or data of the audio portion of a moving image) in which the score data is specified, a bar time conversion table can be created. Therefore, using this, the terminal 111 is provided with data in the Music XML format. Is displayed on the browser and the playback position is specified, and the server is notified of the specified measure, and the server calculates the playback position of the video or music corresponding to that measure, that is, the playback time, and It is possible to play a movie or music from a position.
（第２実施形態）
本実施形態では、上述の第１実施形態と同様に演奏中に楽譜端末１１１に表示した楽譜の譜めくりを自動で行うものであるが、本実施形態では予め録音等は行わず、リアルタイムで同期をとって自動譜めくりを実行する。すなわち、第１実施形態では演奏データと楽譜データとの同期を予めとっておいて、その結果に基づき譜面の自動譜めくりを実現したが、本実施形態ではある譜面について演奏が開始されると、その演奏を録音して同期を取りながら、終了時間を予測して自動譜めくりするというものである。これにより、予め録音して音源解析することなく、すなわち一定の準備をすることなくリアルタイムで自動譜めくりが可能となる。(Second embodiment)
In the present embodiment, similar to the first embodiment described above, the turning of the musical score displayed on the
第１実施形態の自動譜めくりは、予め同期をとって小節時間変換表を作成しておくので、例えば、オーケストラなど複数の演奏者で行う場合は、比較的演奏が安定しているので、正確な譜めくりが期待できるが、演奏者が少人数で安定した演奏が期待できない場合、譜めくりのタイミングがずれる可能性もある。一方、本実施形態の自動譜めくりは、譜面の途中までの演奏の進行から予測するので、楽曲の性格などでタイミングがずれることはあっても、演奏者のそのときの演奏テンポにはリアルタイムで合ってくるため、演奏者と楽曲の組み合わせによってはより的確な譜めくりが期待できる。 In the automatic page turning of the first embodiment, since the bar time conversion table is created in synchronization with each other in advance, when a plurality of performers such as an orchestra perform, the performance is relatively stable. It is possible to turn over the pages, but if the number of performers cannot be expected to be stable with a small number of people, the timing for turning the pages may be off. On the other hand, the automatic page turning of the present embodiment predicts from the progress of the performance up to the middle of the score, so the timing of the music may vary, but the performance tempo of the performer at that time is real-time. Because they match, it is possible to expect more accurate page turning depending on the combination of the performer and the music.
以下に、図８〜図１０を参照して本発明の同期取得、自動譜めくり処理を説明する。
図８は、本実施形態の音源と楽譜データとの同期をとる例を説明するための図であり、図９は、本実施形態の自動譜めくりの方法を説明するための図である。図１０は、本実施形態の自動譜めくり処理を示すフローチャートである。The synchronous acquisition and automatic page-turning processing of the present invention will be described below with reference to FIGS.
FIG. 8 is a diagram for explaining an example of synchronizing the sound source and the score data of the present embodiment, and FIG. 9 is a diagram for explaining the automatic page turning method of the present embodiment. FIG. 10 is a flowchart showing the automatic page-turning process of this embodiment.
本実施形態では、図８に示すように端末１１１に、楽譜データ送信モジュール２０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示し（ステップ８０１）、表示された譜面を見て演奏者が演奏を行い、それをマイクロフォンが取得すると、演奏開始位置およびその他の付加データともに、リアルタイムで、あるいは分割して音源解析サーバ１０２に送信する（ステップ８０２）。一方、楽譜管理サーバ１０１は、演奏データに対応する楽譜データにより生成されるＭＩＤＩ音源及びその小節時間変換表を送信する（ステップ８０３）。音源解析サーバ１０２では、受信したデータを解析して、録音された演奏についての小節時間変換表または組段時間変換表を作成するが、詳細は後述する。
In the present embodiment, as shown in FIG. 8, the musical score
本実施形態の自動譜めくり処理は、上述の通りリアルタイムで演奏データと楽譜データとの同期をとりつつ、演奏時間を判定して最終小節まで演奏が進んだと考えられるタイミングで譜めくり処理を行う。同期の取り方は基本的に上述の第１実施形態と同様に、再生データ（正確には、再生コードを再生したときに得られると考えられる音声波形であって、実際に再生する必要はない）と演奏データとの同期を波形の類似度を算出して比較し、類似度の最も高い経路を特定して行うが、波形同士の類似度を算出するなど、具体的な手法は本技術分野で知られたいずれかの方法を用いることができる。 As described above, the automatic page-turning process of the present embodiment performs the page-turning process at the timing when it is considered that the performance has reached the final measure by determining the performance time while synchronizing the performance data and the score data in real time. .. Basically, the method of synchronization is the same as in the first embodiment described above, that is, reproduction data (to be exact, a voice waveform that is considered to be obtained when a reproduction code is reproduced, and does not need to be actually reproduced). ) And performance data are compared by calculating the degree of similarity between waveforms and specifying the path with the highest degree of similarity. However, a specific method such as calculating the degree of similarity between waveforms is Any of the methods known in.
例えば、本実施形態では、譜面に含まれる組段ごとに同期をとっていく。具体的には、演奏者が演奏開始を指示すると、最初の組段について、所定の再生ピッチで再生させた場合の再生データを取得し、楽譜端末から送信された演奏データと類似度を算出し時間区間フレームの対応関係を特定する。ここで、所定の再生ピッチは、予め演奏者に予想される値を入力させてそれを使用するか、本技術分野で知られたいずれかの方法で予測して決定するものとする。 For example, in the present embodiment, synchronization is taken for each of the columns included in the musical score. Specifically, when the performer gives an instruction to start playing, the reproduction data of the first set of columns when reproduced at a predetermined reproduction pitch is acquired, and the similarity with the performance data transmitted from the music score terminal is calculated. The correspondence of the time frame is specified. Here, the predetermined reproduction pitch is determined by allowing the player to input an expected value in advance and using it, or by predicting it by any method known in the art.
同様に、所定の組段まで同様の処理を繰り返し、対応フレームを特定し、その値に基づき残りの組段から譜面の最終組段までの時間を算出し、算出された時間に基づいて譜めくり処理を行う。 Similarly, the same processing is repeated up to a predetermined system, the corresponding frame is specified, the time from the remaining system to the final system of the musical score is calculated based on the value, and the page turning is performed based on the calculated time. Perform processing.
本実施形態では以上の通り、組段ごとに同期をとりつつ、複数の組段を用いて譜面１ページ分の演奏時間を判定する。これは本発明の波形の類似度を用いた同期取得方法は、サンプルが多いほど精度が上がる特性を持っているためであり、例えば図４Ｃの演奏データの波形４１１を見ても理解できるように、小節ごとに同期をとっても揺らぎが大きくて確定ピッチを特定できないが、なるべく多くの組段を用いて同期をとるとより精度の高い演奏時間の判定ができる。ただし、演奏時間を判定してから、譜めくり処理を開始しなければならないので、ぎりぎりまで同期をとっていると譜めくり処理の時間が無くなることから、計算に用いる組段の数は、精度と処理時間のバランスとを考慮して決定するものとする。
In the present embodiment, as described above, the performance time for one page of the musical score is determined by using a plurality of columns while synchronizing with each other. This is because the synchronization acquisition method using the waveform similarity according to the present invention has a characteristic that the accuracy increases as the number of samples increases. For example, as can be understood by looking at the
図１０のフローチャートを参照して、具体的な処理を説明する。まず、楽譜端末１１１は、楽譜管理サーバ１０１から楽譜データを受信して表示し、演奏者は演奏開始位置(小節番号)を指定した後、楽譜端末１１１の内蔵マイク、または外部マイクを用いて、演奏を録音開始する（ステップ１００１）。次に、楽譜端末１１１は、録音した音源、すなわち（ウ）マイク録音の音源（Ｔ１まで）および（エ）録音開始位置（小節番号（１））を、音源解析サーバ１０２に送信する（ステップ１００２）。ここで、Ｔ１は、例えば第１段めについて同期がとれるだけ十分の時間があればよく、システムで予め定めておくことができる。
Specific processing will be described with reference to the flowchart in FIG. 10. First, the
音源解析サーバ１０２は、楽譜データより得られるデータ（ア）ＭＩＤＩ音源と（イ）組段時間変換表とを、楽譜管理サーバ１０１より得る（ステップ１００３）。音源解析サーバ１０２は、データ（ア）（イ）（ウ）（エ）より、類似検出処理による同期取得を行い、次の組段を演奏する時間を予測する（ステップ１００４）。予測の結果、演奏者はページの最終組段を演奏開始するか否かを判定し（ステップ１００５）、演奏が最終組段に入ると判定されると（Ｙｅｓ）、同期取得処理を終了し、譜めくり処理を開始する（ステップ１００７）。
The sound
ここで、上述の第１実施形態のように最終的に演奏データによる小節時間変換表を作成してもよいし、小節単位では同期をとらないので、組段について、再生データの組段時間変換表を用いて同様の変換表を作成することもできる。すなわち、組段について再生データの波形と演奏データの波形との対応関係を取得した後、図示しない演奏データの各組段の波形の開始時間が特定されると、再生データの各組段の波形を用いてそれが何組めであるかを特定し、演奏データの組段時間変換表を作成する。 Here, the bar time conversion table based on the performance data may be finally created as in the above-described first embodiment, or the bar time conversion is not performed in bar units. A similar conversion table can be created using the table. That is, when the start time of the waveform of each group of performance data (not shown) is specified after the correspondence between the waveform of the reproduction data and the waveform of the performance data is obtained for the group, the waveform of each group of the reproduction data is specified. Is used to specify the number of sets, and a performance time conversion table for performance data is created.
演奏が最終組段にまだ入らないと判定されると（Ｎｏ）、次のＴｘ時間で録音したデータ（ウ）（エ）を、音源解析サーバ１０２は取得し（ステップ１００６）、最終組段までステップ１００３〜１００５を繰り返す。このようにして、Ｔ１時間で第１段めの処理が終了して図９に示すように次の組段９１１が推定され、さらにＴ２時間で取得された演奏データから次の組段９１２が推定される。以上を繰り返すことで、より精度を高めることができる。
When it is determined that the performance has not yet reached the final composition (No), the sound
以上のようにして、譜めくり処理を開始することが判定されると、処理を実行するが、具体的な処理は、上述の第１実施形態と同様に、演奏者、楽曲、システムなどに合わせて種々のタイミングで自動譜めくりを行うことができる。すなわち、本実施形態でも、次ページの表示タイミングを、最終組段が終了した時点、終了する所定の時間前、および終了した後所定の時間後の３つのパターンを演奏者が設定することができるようになっている。もちろん、所定の時間も変更することができる。 As described above, when it is determined to start the page-turning process, the process is executed. The specific process is performed in accordance with the performer, the music, the system, etc. as in the first embodiment. It is possible to turn pages automatically at various timings. That is, also in this embodiment, the player can set the display timing of the next page to three patterns at the time when the final stage is finished, a predetermined time before the end, and a predetermined time after the end. It is like this. Of course, the predetermined time can also be changed.
さらに、次ページの譜面の一部、例えば最上組段のみ最下組段の下に一時的に表示させ、次ページの譜面の開始がどのような流れになっているかを確認してから譜めくりすることもできる。この際、譜面の表示は全体に上にスクロールして、下部に表示空間を作ってそこに次ページの最上組段を表示することもできる。 In addition, a part of the musical score on the next page, for example, only the uppermost system is temporarily displayed below the lowermost system, and after checking the flow of the starting of the next system's musical score, turning the page. You can also do it. At this time, the display of the musical score can be scrolled upward as a whole, and a display space can be created in the lower part to display the uppermost column of the next page.
本実施形態では、組段ごとに同期をとるよう説明したが、これに限られず、所定の数の小節ごとに同期をとってもいい。 In the present embodiment, the description is made such that synchronization is performed for each column, but the present invention is not limited to this, and synchronization may be performed for each predetermined number of measures.
（第３実施形態）
本実施形態では、上述の第１および２実施形態とは異なり、自動譜めくりを行うものではないが、同様に本発明の演奏データと再生データの同期取得方法を用いるものである。
すなわち、本発明の同期取得方法を用いて、演奏の一部、例えば冒頭の数小節のデータで、その楽曲の楽譜を検索する。具体的には、演奏の一部を録音して得られた演奏データと、楽譜管理サーバ１０１に格納された楽譜データとを本発明の同期取得方法により同期をとって、最も類似度が高い楽譜データの譜面データを出力する。(Third Embodiment)
Unlike the first and second embodiments described above, this embodiment does not automatically turn pages, but similarly uses the method for synchronously acquiring performance data and reproduction data of the present invention.
That is, using the synchronization acquisition method of the present invention, the musical score of the musical piece is searched for in a part of the performance, for example, the data of several bars at the beginning. Specifically, the performance data obtained by recording a part of the performance and the score data stored in the
以下に、図１１〜図１２を参照して本発明の同期取得、楽曲検索処理を説明する。
図１１は、本発明の一実施形態の音源と楽譜データとの同期をとって、楽曲を検索する例を説明するための図であり、図１２は、本実施形態の楽曲検索処理を示すフローチャートである。The synchronous acquisition and music search processing of the present invention will be described below with reference to FIGS. 11 to 12.
FIG. 11 is a diagram for explaining an example of searching for a music by synchronizing the sound source and the score data according to the embodiment of the present invention, and FIG. 12 is a flowchart showing the music search process of the present embodiment. Is.
本実施形態では、図１１に示すように端末１１１のマイクロフォンが、演奏者の考えた特定の楽曲の一部の演奏の演奏データを取得すると、演奏開始位置とともに、音源解析サーバ１０２に送信する（ステップ１１０２）。一方、楽譜管理サーバ１０１は、検索対象となる複数の楽譜データについて、楽譜データにより生成されるＭＩＤＩ音源及びその小節時間変換表を音源解析サーバ１０２に送信する（ステップ１１０３）。音源解析サーバ１０２では、受信したデータを解析して、録音された演奏についての小節時間変換表が作成される。
In the present embodiment, as shown in FIG. 11, when the microphone of the terminal 111 acquires the performance data of the performance of a part of a specific musical piece considered by the performer, the performance data is transmitted to the sound
以上により、演奏データの一部と楽譜管理サーバ１０１に記憶された複数の楽譜データの各々との同期をとって得られた類似度を評価値として用い、所定の閾値を超えているものがあれば演奏データの楽曲が特定されたとし、なければ検索は失敗したものとする。ここで閾値は、楽曲やシステム構成で最適な値を予め定めておくこととし、またこのような検索を通して学習することもできる。
As described above, the similarity that is obtained by synchronizing a part of the performance data and each of the plurality of score data stored in the
図１２のフローチャートを参照して、具体的な処理を説明する。まず、演奏者は楽曲の先頭から演奏を行い、楽譜端末内蔵マイク、または外部マイクを用いて録音した演奏データを音源解析サーバ１０２に送信する（ステップ１２０１）。次に、音源解析サーバ１０２は、録音データから、所定時間（Ｔ１）のデータを抽出する（ステップ１２０２）。ここで、Ｔ１は、例えば楽曲の特定が可能なだけ十分な時間であればよく、システムで予め定めておくことができる。
Specific processing will be described with reference to the flowchart in FIG. First, the performer plays from the beginning of the music, and transmits the performance data recorded using the score terminal built-in microphone or the external microphone to the sound source analysis server 102 (step 1201). Next, the sound
音源解析サーバ１０２は、楽譜データより得られるデータ（ア）ＭＩＤＩデータと（イ）小節時間変換表とを、楽譜管理サーバ１０１より得る（ステップ１２０３）。音源解析サーバ１０２は、データ（ア）（イ）（ウ）（エ）より、類似度検出処理による同期取得を行い、類似度検出の評価値を生成する（ステップ１２０４）。本発明の同期取得方法で得られる最も高い類似度、すなわち演奏者が演奏した楽曲の一部のデータと、データベースの所定の（例えば、図１１の楽譜Ａ〜Ｚのうちのいずれかの）楽譜データとの同期をとったときの最も高い類似度を所定の楽譜データの評価値とする。評価値が閾値を超えたか否かを判定し（ステップ１２０５）、超えたと判定されたときは（Ｙｅｓ）、楽曲が正しく検索されたと判定し、検索された楽譜を楽譜端末に配信して終了する（ステップ１２０６）。
The sound
閾値を超えないと判定されると（Ｎｏ）、楽譜管理サーバ１０１に格納された全ての楽曲について評価値を算出したか否かを判定し（ステップ１２０７）、完了していないと判定されると（Ｎｏ）、次の楽曲について評価値を同様に算出する（ステップ１２０８）。完了したと判定されたときは（Ｙｅｓ）、録音データから、所定時間（Ｔ１+Ｔ２）のデータを追加するが（ステップ１２０９）、Ｔ１+Ｔ２だけデータがなければ検索できず終了する（ステップ１２１１）。演奏データがあれば、Ｔ１+Ｔ２時間でステップ１２０３以降の処理を行って検索処理を実行し、閾値を超える評価値が得られれば検索が正常になされたと判定する。
If it is determined that the threshold value is not exceeded (No), it is determined whether or not the evaluation values have been calculated for all the songs stored in the score management server 101 (step 1207), and it is determined that the evaluation values have not been completed. (No), similarly, an evaluation value is calculated for the next music piece (step 1208). When it is determined that the recording is completed (Yes), data for a predetermined time (T1+T2) is added from the recorded data (step 1209), but if there is no data for T1+T2, the search cannot be performed and the processing ends (step 1211). ). If there is performance data, the processing from
以上のようにして、楽曲の一部のみ演奏することによって、楽譜管理サーバ１０１から所望の譜面を入手することができるので、例えば出だしや一部は演奏できるが、譜面がないと全曲は演奏できないような場合に、本実施形態のシステムを用いれば必要な譜面を入手してその場で全曲演奏することができる。このように、本実施形態は曲名を検索するのではなく、譜面を直接検索することにより、様々な場面で活用することができる。
As described above, by playing only a part of the musical composition, the desired musical score can be obtained from the musical
Claims (16)
前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データと、前記演奏データとのパワースペクトルを所定の時間区間フレームごとに算出するスペクトル算出ステップと、
前記演奏データのパワースペクトルと、前記再生データのパワースペクトルとの類似度を算出して、対応する時間区間フレームを特定するフレーム特定ステップと、
前記譜面データと前記再生データとの対応関係に基づいて、前記特定された時間区間フレームにより前記演奏データと前記譜面データとの対応関係を特定して前記演奏データの譜面上の演奏位置を取得する演奏位置取得ステップと
を備えることを特徴とする譜面同期方法。A musical score synchronization method for synchronizing musical score data and performance data,
A power spectrum of reproduction data when reproducing the music indicated by the music data, which is associated with a predetermined unit of the music data, and the power spectrum of the performance data is calculated for each predetermined time section frame. Spectrum calculation step,
A frame specifying step of calculating a similarity between the power spectrum of the performance data and the power spectrum of the reproduction data to specify a corresponding time section frame,
Based on the correspondence relation between the musical score data and the reproduction data, the correspondence relation between the musical performance data and the musical score data is specified by the specified time section frame to obtain the musical performance position of the musical performance data. A musical score synchronization method comprising: a playing position acquisition step.
前記再生データは、前記再生コードを、前記算出されたピッチで再生したときのデータであることを特徴とする請求項２ないし４のいずれかに記載の譜面同期方法。The playing time of the musical piece indicated by the musical score data included in the musical score data in the musical performance data is acquired, and a reproducing pitch is calculated so that the reproducing time of the reproducing data when the reproducing code is reproduced becomes substantially the same. Further comprising a pitch calculation step,
5. The musical score synchronization method according to claim 2, wherein the reproduction data is data when the reproduction code is reproduced at the calculated pitch.
前記譜面データに含まれる所定のページの譜面を表示するステップと、
前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データと、該譜面データに基づいて予めなされた演奏を記録した演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて、対応する時間区間フレームを特定して取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの演奏が終了するタイミングで次のページの譜面を表示する譜めくりステップと
を備えたことを特徴とする譜面表示方法。A musical score display method for displaying musical score data,
Displaying a musical score of a predetermined page included in the musical score data,
Playback data when the music indicated by the music score data is reproduced, which is reproduction data associated with a predetermined unit of the music score data, and performance data in which a performance made in advance based on the music score data is recorded. The performance of the predetermined page ends based on the performance position on the music score of the performance data acquired by specifying the corresponding time interval frame using the music score synchronization method according to any one of claims 1 to 5. A music score display method comprising a music-turning step for displaying the music score of the next page at a timing of.
譜面データの所定のページを表示する表示ステップと、
前記表示ステップにより表示された譜面に基づいてなされた演奏の演奏データを記録する演奏記録ステップと、
前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データと、前記演奏記録ステップにより記録された演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて、対応する時間区間フレームを特定して取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの演奏が終了するタイミングで次のページの譜面を表示する譜めくりステップと
を備えたことを特徴とする譜面表示方法。A musical score display method for displaying musical score data,
A display step for displaying a predetermined page of musical score data,
A performance recording step of recording performance data of a performance performed based on the musical score displayed by the display step,
6. Reproduction data when a music piece indicated by the music score data is reproduced, which is associated with a predetermined unit of the music score data, and performance data recorded by the performance recording step. Using the musical score synchronization method according to any one of the above, based on the musical performance position on the musical score of the performance data obtained by specifying the corresponding time interval frame, the following timing is set at the timing when the performance of the predetermined page ends. A music score display method comprising: a music page turning step for displaying a music score of a page.
面を表示することを特徴とする請求項６または７に記載の譜面表示方法。The page turning step displays the musical score of the next page based on the performance position on the musical score of the acquired performance data, a predetermined time before the performance of the last measure of the musical score of the predetermined page ends. The musical score displaying method according to claim 6 or 7, wherein.
前記譜面データおよび前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データを記憶した譜面データ記録手段と、
前記譜面データに基づいて予めなされた演奏を記録した演奏データを記憶した演奏データ記憶手段と、
前記譜面データ記憶手段から前記譜面データを取得して、該譜面データに含まれる所定のページの譜面を表示する表示手段と
を備え
前記譜面データと、前記演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて取得した前記演奏データの譜面上の演奏位置に基づいて、前記所定のページの演奏が終了するタイミングで次のページの譜面を前記表示手段に表示することを特徴とする譜面表示装置。A music score display device for displaying music score data,
Musical score data recording means for storing the musical score data and the reproduced data when the musical composition indicated by the musical score data is reproduced, the reproduced data being associated with a predetermined unit of the musical score data.
Performance data storage means for storing performance data in which a performance performed in advance based on the musical score data is recorded,
Display means for acquiring the musical score data from the musical score data storage means and displaying a musical score of a predetermined page included in the musical score data, wherein the musical score data and the performance data are included. The musical score of the next page is displayed on the display means at the timing when the performance of the predetermined page ends, based on the musical performance position on the musical score of the musical performance data acquired by using the musical score synchronization method described in 1. A music score display device.
前記譜面データおよび前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データを記憶した譜面データ記録手段と、
前記譜面データ記憶手段から前記譜面データを取得して、該譜面データに含まれる所定のページの譜面を表示する表示手段と、
前記表示手段に表示された所定のページの譜面に基づいてなされる演奏の演奏データを記録する演奏記録手段と
を備え、
前記譜面データと、前記演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて取得した前記演奏データの譜面上の演奏位置に基づいて、次のページの譜面を前記表示手段に表示することを特徴とする譜面表示装置。A music score display device for displaying music score data,
Musical score data recording means for storing the musical score data and the reproduced data when the musical composition indicated by the musical score data is reproduced, the reproduced data being associated with a predetermined unit of the musical score data.
Display means for acquiring the music score data from the music score data storage means and displaying a music score of a predetermined page included in the music score data;
Performance recording means for recording performance data of a performance performed based on the musical score of a predetermined page displayed on the display means,
The musical score of the next page is displayed based on the musical performance position on the musical score of the musical performance data obtained by using the musical score synchronizing method according to any one of claims 1 to 5. A musical score display device characterized by displaying on a means.
楽曲の一部の演奏の演奏データを記録する演奏記録ステップと、
前記データベースから前記譜面データおよび前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データを読み出して、該再生データと、前記演奏記録ステップで記録された演奏データとを請求項１ないし５のいずれかに記載の譜面同期方法を用いて類似度を算出する類似度取得ステップと、
前記類似度取得ステップにより、最も高い類似度を取得した譜面データを抽出する最類似抽出ステップと
を備えたことを特徴とする譜面検索方法。A musical score search method for searching musical score data stored in a database,
A performance recording step for recording performance data of a part of the performance of the music,
The reproduction data when the music data indicated by the music score data and the music score data is reproduced from the database, and is reproduced data associated with a predetermined unit of the music score data, and the reproduction data and the performance record are read. A similarity acquisition step of calculating the similarity between the performance data recorded in the step and the musical score synchronization method according to any one of claims 1 to 5;
A most similar similarity extracting step of extracting musical score data for which the highest degree of similarity has been obtained by the degree of similarity obtaining step.
譜面データおよび前記譜面データの示す楽曲を再生したときの再生データであって、前記譜面データの所定の単位と対応付けられた再生データを格納したデータベースと、
楽曲の一部の演奏の演奏データを記録する演奏記録手段と、
前記データベースから再生データを読み出して、前記演奏記録ステップで記録された演奏データと請求項１ないし５のいずれかに記載の譜面同期方法を用いて類似度を算出する類似度取得手段と、
前記類似度取得ステップにより、最も高い類似度を取得した譜面データを抽出する最類似抽出手段と
を備えたことを特徴とする譜面検索装置。A music score search device for searching music score data,
A database that stores music data and reproduction data when a music piece indicated by the music data is reproduced, and stores reproduction data associated with a predetermined unit of the music data,
Performance recording means for recording performance data of a part of performance of a musical composition,
6. Similarity acquisition means for reading the reproduction data from the database and calculating the similarity between the performance data recorded in the performance recording step and the musical score synchronization method according to claim 1.
A music score searching device for extracting music score data having the highest similarity score by the similarity score acquiring step.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017095194 | 2017-05-12 | ||
| JP2017095194 | 2017-05-12 | ||
| PCT/JP2018/018426 WO2018207936A1 (en) | 2017-05-12 | 2018-05-11 | Automatic sheet music detection method and device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2018207936A1 true JPWO2018207936A1 (en) | 2020-07-16 |
Family
ID=64105308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019517731A Pending JPWO2018207936A1 (en) | 2017-05-12 | 2018-05-11 | Automatic musical score detection method and device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2018207936A1 (en) |
| WO (1) | WO2018207936A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6769616B2 (en) * | 2017-12-25 | 2020-10-14 | 株式会社デザインＭプラス | Sheet music provision method and program |
| WO2022070392A1 (en) * | 2020-10-01 | 2022-04-07 | ＡｌｐｈａＴｈｅｔａ株式会社 | Musical composition analysis device, musical composition analysis method, and program |
| CN114639394A (en) * | 2022-03-30 | 2022-06-17 | 三星电子（中国）研发中心 | Method and device for realizing virtual playing partner |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2636685B2 (en) * | 1993-07-22 | 1997-07-30 | 日本電気株式会社 | Music event index creation device |
| JP2000231379A (en) * | 1999-02-12 | 2000-08-22 | Ntt Data Corp | Electronic music stand and display method of electronic music |
| JP2002006835A (en) * | 2000-06-21 | 2002-01-11 | Yamaha Corp | Method and device for displaying data |
| JP2003223166A (en) * | 2002-01-30 | 2003-08-08 | Yamaha Corp | Information processor, musical score page change method therefor, program for musical score display and recording medium |
-
2018
- 2018-05-11 JP JP2019517731A patent/JPWO2018207936A1/en active Pending
- 2018-05-11 WO PCT/JP2018/018426 patent/WO2018207936A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018207936A1 (en) | 2018-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9159338B2 (en) | Systems and methods of rendering a textual animation | |
| US10102834B2 (en) | Method, device and computer program product for scrolling a musical score | |
| KR101521451B1 (en) | Display control apparatus and method | |
| US9601029B2 (en) | Method of presenting a piece of music to a user of an electronic device | |
| CN1937462A (en) | Content-preference-score determining method, content playback apparatus, and content playback method | |
| JPWO2018207936A1 (en) | Automatic musical score detection method and device | |
| JP2009244789A (en) | Karaoke system with guide vocal creation function | |
| JP4479701B2 (en) | Music practice support device, dynamic time alignment module and program | |
| US8530735B2 (en) | System for displaying and scrolling musical notes | |
| JP2004233698A (en) | Device, server and method to support music, and program | |
| JP5012263B2 (en) | Performance clock generating device, data reproducing device, performance clock generating method, data reproducing method and program | |
| JP5092589B2 (en) | Performance clock generating device, data reproducing device, performance clock generating method, data reproducing method and program | |
| JP2008058724A (en) | Lyrics telop display control system of karaoke device | |
| JP2013024967A (en) | Display device, method for controlling the device, and program | |
| JP6177027B2 (en) | Singing scoring system | |
| JP5338312B2 (en) | Automatic performance synchronization device, automatic performance keyboard instrument and program | |
| JP2018155936A (en) | Sound data edition method | |
| KR101790998B1 (en) | Switching Method of music score and device thereof | |
| JP2008040258A (en) | Musical piece practice assisting device, dynamic time warping module, and program | |
| JP4595948B2 (en) | Data reproducing apparatus, data reproducing method and program | |
| JP4238237B2 (en) | Music score display method and music score display program | |
| JP2005107332A (en) | Karaoke machine | |
| JP6144592B2 (en) | Singing scoring system | |
| JP6144593B2 (en) | Singing scoring system | |
| JP2009244790A (en) | Karaoke system with singing teaching function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20200218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200325 |