JP4360000B2 - 演奏データ及び楽譜データの処理装置、方法及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、演奏データと楽譜データのずれを分析、評価したり、演奏データ及び楽譜データに含まれる各音情報の対応付けを行うのに好適な演奏データ及び楽譜データの処理装置、方法及び記録媒体に関する。
【０００２】
【従来の技術】
従来より、例えば、特開平５−２７６７０号公報に示されるように、演奏データと楽譜データとの間の一致／不一致を評価する技術が知られている。この例では、演奏データ及び楽譜データの双方における所定個（例えば、１０個）の音高データを比較し、一致率が所定比率（例えば、８０％）以上なら一致と判断し、そうでなければ不一致と判断している。
【０００３】
このように、従来は、単純に音高一致を判断しているだけなので、時間方向のずれがわからない。また、１音ごとの対応付けはなされていないので、演奏中の音が楽譜上ではどの音なのかが正確にわからない。
【０００４】
【発明が解決しようとする課題】
この発明は、このような従来技術の欠点に鑑み、演奏データと楽譜データのずれを分析、評価することが可能であり、演奏データ側に多少のミスタッチやタイミングずれがあってもマッチングをとることができ、また、両データ間で１音毎に正確に対応付けを行うことができる演奏データ及び楽譜データの処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明の第１の特徴に従うと、楽譜データ（ＭＤ）を取得する楽譜データ取得手段（ＭＳ）と、演奏データ（ＰＤ）を取得する演奏データ取得手段（ＰＳ）と、楽譜データ取得手段（ＭＳ）により取得された楽譜データ（ＭＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（楽譜データＭＤ中の音符を表わす情報）を展開した楽譜分布データ（テンプレートＴＰ）を作成する楽譜分布データ作成手段（ＴＭ）であって、該楽譜分布データ（ＴＰ）は、当該楽譜データ（ＭＤ）に対応する本来のメッシュポイントに所定の重み（「１．０」）が付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重み（時間軸方向：「０．７」，「０．３」、音高軸方向：「０．３」）が付与されたものである（「ボカシ」処理：段落［００３４］、図３）楽譜分布データ作成手段（ＴＭ）と、演奏データ取得手段（ＰＳ）により取得された演奏データ（ＰＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（演奏データＰＤ中のイベントを表わす情報）を展開した演奏分布データ（イベントマップＩＭ）を作成する演奏分布データ作成手段（ＭＭ）であって、該演奏分布データ（ＩＭ）は、当該演奏データ（ＰＤ）に対応する本来のメッシュポイントにのみ所定の重み（「１．０」）が付与されたものである（段落［００３６］、図４）演奏分布データ作成手段（ＭＭ）と、演奏分布データ作成手段（ＭＭ）により作成された演奏分布データ（ＩＭ）に対して楽譜分布データ作成手段（ＴＭ）により作成された楽譜分布データ（ＴＰ）を時間軸方向にずらした複数の位置において、両分布データ（ＩＭ，ＴＰ）間で各メッシュポイント毎にマッチングを演算するマッチング処理手段（ＭＰ）と、マッチング処理手段（ＭＰ）によるマッチング演算の結果（ＭＲ）に基づいて、両分布データ（ＩＭ，ＴＰ）が最もよくマッチングする位置（Ｘｍｅ）を求めるマッチング位置決定手段（ＥＤ）と、マッチング位置決定手段（ＥＤ）により求められた位置（Ｘｍｅ）を演奏データ（ＰＤ）及び楽譜データ（ＭＤ）間のずれ（オフセットＯＳ）として出力するデータ出力手段（ＯＤ）とを具備する演奏データ及び楽譜データの処理装置〔請求項１〕、並びに、 楽譜データ取得手段によって、楽譜データ（ＭＤ）を取得する楽譜データ取得ステップ（ＭＳ）と、演奏データ取得手段によって、演奏データ（ＰＤ）を取得する演奏データ取得ステップ（ＰＳ）と、楽譜分布データ作成手段によって、楽譜データ取得ステップ（ＭＳ）で取得された楽譜データ（ＭＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（楽譜データＭＤ中の音符を表わす情報）を展開した楽譜分布データ（テンプレートＴＰ）を作成する楽譜分布データ作成ステップ（ＴＭ）であって、該楽譜分布データ（ＴＰ）は、当該楽譜データ（ＭＤ）に対応する本来のメッシュポイントに所定の重み（「１．０」）が付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重み（時間軸方向：「０．７」，「０．３」、音高軸方向：「０．３」）が付与されたものである（「ボカシ」処理：段落［００３４］、図３）楽譜分布データ作成ステップ（ＴＭ）と、演奏分布データ作成手段によって、演奏データ取得ステップ（ＰＳ）で取得された演奏データ（ＰＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（演奏データＰＤ中のイベントを表わす情報）を展開した演奏分布データ（イベントマップＩＭ）を作成する演奏分布データ作成ステップ（ＭＭ）であって、該演奏分布データ（ＩＭ）は、当該演奏データ（ＰＤ）に対応する本来のメッシュポイントにのみ所定の重み（「１．０」）が付与されたものである（段落［００３６］、図４）演奏分布データ作成ステップ（ＭＭ）と、マッチング処理手段によって、演奏分布データ作成ステップ（ＭＭ）で作成された演奏分布データ（ＩＭ）に対して楽譜分布データ作成ステップ（ＴＭ）で作成された楽譜分布データ（ＴＰ）を時間軸方向にずらした複数の位置において、両分布データ（ＩＭ，ＴＰ）間で各メッシュポイント毎にマッチングを演算するマッチング処理ステップ（ＭＰ）と、マッチング位置決定手段によって、マッチング処理ステップ（ＭＰ）におけるマッチング演算の結果（ＭＲ）に基づいて、両分布データ（ＩＭ，ＴＰ）が最もよくマッチングする位置（Ｘｍｅ）を求めるマッチング位置決定ステップ（ＥＤ）と、データ出力手段によって、マッチング位置決定ステップ（ＥＤ）で求められた位置（Ｘｍｅ）を演奏データ（ＰＤ）及び楽譜データ（ＭＤ）間のずれ（オフセットＯＳ）として出力するデータ出力ステップ（ＯＤ）とを備える演奏データ及び楽譜データの処理方法〔請求項４〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の記号や用語等であり、以下においても同様である。
【０００６】
また、この特徴に従い、楽譜データ（ＭＤ）を取得する楽譜データ取得ステップ（ＭＳ）と、演奏データ（ＰＤ）を取得する演奏データ取得ステップ（ＰＳ）と、楽譜データ取得ステップ（ＭＳ）で取得された楽譜データ（ＭＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（楽譜データＭＤ中の音符を表わす情報）を展開した楽譜分布データ（テンプレートＴＰ）を作成する楽譜分布データ作成ステップ（ＴＭ）であって、該楽譜分布データ（ＴＰ）は、当該楽譜データ（ＭＤ）に対応する本来のメッシュポイントに所定の重み（「１．０」）が付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重み（時間軸方向：「０．７」，「０．３」、音高軸方向：「０．３」）が付与されたものである（「ボカシ」処理：段落［００３４］、図３）楽譜分布データ作成ステップ（ＴＭ）と、演奏データ取得ステップ（ＰＳ）で取得された演奏データ（ＰＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（演奏データＰＤ中のイベントを表わす情報）を展開した演奏分布データ（イベントマップＩＭ）を作成する演奏分布データ作成ステップ（ＭＭ）であって、該演奏分布データ（ＩＭ）は、当該演奏データ（ＰＤ）に対応する本来のメッシュポイントにのみ所定の重み（「１．０」）が付与されたものである（段落［００３６］、図４）演奏分布データ作成ステップ（ＭＭ）と、演奏分布データ作成ステップ（ＭＭ）で作成された演奏分布データ（ＩＭ）に対して楽譜分布データ作成ステップ（ＴＭ）で作成された楽譜分布データ（ＴＰ）を時間軸方向にずらした複数の位置において、両分布データ（ＩＭ，ＴＰ）間で各メッシュポイント毎にマッチングを演算するマッチング処理ステップ（ＭＰ）と、マッチング処理ステップ（ＭＰ）におけるマッチング演算の結果（ＭＲ）に基づいて、両分布データ（ＩＭ，ＴＰ）が最もよくマッチングする位置（Ｘｍｅ）を求めるマッチング位置決定ステップ（ＥＤ）と、マッチング位置決定ステップ（ＥＤ）で求められた位置（Ｘｍｅ）を演奏データ（ＰＤ）及び楽譜データ（ＭＤ）間のずれ（オフセットＯＳ）として出力するデータ出力ステップ（ＯＤ）とから成る手順をコンピュータに実行させるプログラムを記録している演奏データ及び楽譜データの処理のための記録媒体〔請求項７〕が提供される。
【０００７】
この発明の第２の特徴に従うと、楽譜データ（ＭＤ）を取得する楽譜データ取得手段（ＭＳ）と、演奏データ（ＰＤ）を取得する演奏データ取得手段（ＰＳ）と、楽譜データ取得手段（ＭＳ）により取得された楽譜データ（ＭＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（楽譜データＭＤ中の音符を表わす情報）を展開した楽譜分布データ（テンプレートＴＰ）を作成する楽譜分布データ作成手段（ＴＭ）であって、該楽譜分布データ（ＴＰ）は、当該楽譜データ（ＭＤ）に対応する本来のメッシュポイントに所定の重み（「１．０」）が付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重み（時間軸方向：「０．７」，「０．３」、音高軸方向：「０．３」）が付与されたものである（「ボカシ」処理：段落［００３４］、図３）楽譜分布データ作成手段（ＴＭ）と、演奏データ取得手段（ＰＳ）により取得された演奏データ（ＰＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（演奏データＰＤ中のイベントを表わす情報）を展開した演奏分布データ（イベントマップＩＭ）を作成する演奏分布データ作成手段（ＭＭ）であって、該演奏分布データ（ＩＭ）は、当該演奏データ（ＰＤ）に対応する本来のメッシュポイントにのみ所定の重み（「１．０」）が付与されたものである（段落［００３６］、図４）演奏分布データ作成手段（ＭＭ）と、演奏分布データ作成手段（ＭＭ）により作成された演奏分布データ（ＩＭ）に対して楽譜分布データ作成手段（ＴＭ）により作成された楽譜分布データ（ＴＰ）を時間軸方向にずらした複数の位置において、両分布データ（ＩＭ，ＴＰ）間で各メッシュポイント毎にマッチングを演算するマッチング処理手段（ＭＰ）と、マッチング処理手段（ＭＰ）によるマッチング演算の結果（ＭＲ）に基づいて、両分布データ（ＩＭ，ＴＰ）が最もよくマッチングする位置（Ｘｍｅ）を求めるマッチング位置決定手段（ＥＤ）と、マッチング位置決定手段（ＥＤ）により求められた位置（Ｘｍｅ）から得られる演奏データ（ＰＤ）及び楽譜データ（ＭＤ）間のずれ（オフセットＯＳ）に基づいて演奏データ（ＰＤ）と楽譜データ（ＭＤ）との対応付けを行う対応付け手段（ＬＤ；「個別リンクの決定」処理：段落［００４５］〜［００４９］、図９）とを具備する演奏データ及び楽譜データの処理装置〔請求項２〕、並びに、楽譜データ取得手段によって、楽譜データ（ＭＤ）を取得する楽譜データ取得ステップ（ＭＳ）と、演奏データ取得手段によって、演奏データ（ＰＤ）を取得する演奏データ取得ステップ（ＰＳ）と、楽譜分布データ作成手段によって、楽譜データ取得ステップ（ＭＳ）で取得された楽譜データ（ＭＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（楽譜データＭＤ中の音符を表わす情報）を展開した楽譜分布データ（テンプレートＴＰ）を作成する楽譜分布データ作成ステップ（ＴＭ）であって、該楽譜分布データ（ＴＰ）は、当該楽譜データ（ＭＤ）に対応する本来のメッシュポイントに所定の重み（「１．０」）が付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重み（時間軸方向：「０．７」，「０．３」、音高軸方向：「０．３」）が付与されたものである（「ボカシ」処理：段落［００３４］、図３）楽譜分布データ作成ステップ（ＴＭ）と、演奏分布データ作成手段によって、演奏データ取得ステップ（ＰＳ）で取得された演奏データ（ＰＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（演奏データＰＤ中のイベントを表わす情報）を展開した演奏分布データ（イベントマップＩＭ）を作成する演奏分布データ作成ステップ（ＭＭ）であって、該演奏分布データ（ＩＭ）は、当該演奏データ（ＰＤ）に対応する本来のメッシュポイントにのみ所定の重み（「１．０」）が付与されたものである（段落［００３６］、図４）演奏分布データ作成ステップ（ＭＭ）と、マッチング処理手段によって、演奏分布データ作成ステップ（ＭＭ）で作成された演奏分布データ（ＩＭ）に対して楽譜分布データ作成ステップ（ＴＭ）で作成された楽譜分布データ（ＴＰ）を時間軸方向にずらした複数の位置において、両分布データ（ＩＭ，ＴＰ）間で各メッシュポイント毎にマッチングを演算するマッチング処理ステップ（ＭＰ）と、マッチング位置決定手段によって、マッチング処理ステップ（ＭＰ）におけるマッチング演算の結果（ＭＲ）に基づいて、両分布データ（ＩＭ，ＴＰ）が最もよくマッチングする位置（Ｘｍｅ）を求めるマッチング位置決定ステップ（ＥＤ）と、対応付け手段によって、マッチング位置決定ステップ（ＥＤ）で求められた位置（Ｘｍｅ）から得られる演奏データ（ＰＤ）及び楽譜データ（ＭＤ）間のずれ（オフセットＯＳ）に基づいて演奏データ（ＰＤ）と楽譜データ（ＭＤ）との対応付けを行う対応付けステップ（ＬＤ；「個別リンクの決定」処理：段落［００４５］〜［００４９］、図９）とを備える演奏データ及び楽譜データの処理方法〔請求項５〕が提供される。
【０００８】
また、この特徴に従い、楽譜データ（ＭＤ）を取得する楽譜データ取得ステップ（ＭＳ）と、演奏データ（ＰＤ）を取得する演奏データ取得ステップ（ＰＳ）と、楽譜データ取得ステップ（ＭＳ）で取得された楽譜データ（ＭＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（楽譜データＭＤ中の音符を表わす情報）を展開した楽譜分布データ（テンプレートＴＰ）を作成する楽譜分布データ作成ステップ（ＴＭ）であって、該楽譜分布データ（ＴＰ）は、当該楽譜データ（ＭＤ）に対応する本来のメッシュポイントに所定の重み（「１．０」）が付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重み（時間軸方向：「０．７」，「０．３」、音高軸方向：「０．３」）が付与されたものである（「ボカシ」処理：段落［００３４］、図３）楽譜分布データ作成ステップ（ＴＭ）と、演奏データ取得ステップ（ＰＳ）で取得された演奏データ（ＰＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（演奏データＰＤ中のイベントを表わす情報）を展開した演奏分布データ（イベントマップＩＭ）を作成する演奏分布データ作成ステップ（ＭＭ）であって、該演奏分布データ（ＩＭ）は、当該演奏データ（ＰＤ）に対応する本来のメッシュポイントにのみ所定の重み（「１．０」）が付与されたものである（段落［００３６］、図４）演奏分布データ作成ステップ（ＭＭ）と、演奏分布データ作成ステップ（ＭＭ）で作成された演奏分布データ（ＩＭ）に対して楽譜分布データ作成ステップ（ＴＭ）で作成された楽譜分布データ（ＴＰ）を時間軸方向にずらした複数の位置において、両分布データ（ＩＭ，ＴＰ）間で各メッシュポイント毎にマッチングを演算するマッチング処理ステップ（ＭＰ）と、マッチング処理ステップ（ＭＰ）におけるマッチング演算の結果（ＭＲ）に基づいて、両分布データ（ＩＭ，ＴＰ）が最もよくマッチングする位置（Ｘｍｅ）を求めるマッチング位置決定ステップ（ＥＤ）と、マッチング位置決定ステップ（ＥＤ）で求められた位置（Ｘｍｅ）から得られる演奏データ（ＰＤ）及び楽譜データ（ＭＤ）間のずれ（オフセットＯＳ）に基づいて演奏データ（ＰＤ）と楽譜データ（ＭＤ）との対応付けを行う対応付けステップ（ＬＤ；「個別リンクの決定」処理：段落［００４５］〜［００４９］、図９）とから成る手順をコンピュータに実行させるプログラムを記録している演奏データ及び楽譜データの処理のための記録媒体〔請求項８〕が提供される。
【０００９】
この発明の第３の特徴に従うと、演奏データ及び楽譜データの処理装置において、マッチング処理手段（ＭＰ）は、楽譜データ（ＭＤ）中から繰返し記号の存在を検出する手段と、繰返し記号の存在を検出したとき、繰返しを反映した第１楽譜分布データ及び繰返しを省略した第２楽譜分布データを楽譜分布データ（ＴＰ）として供給する手段と、第１及び第２楽譜分布データに対する演奏分布データ（ＩＭ）のマッチング演算の結果に基づいて、演奏データ（ＰＤ）が繰返し記号を反映させているか否かを判定する手段とを備える（「繰返省略の判定」処理：段落［００５０］〜［００５３］、図１０）〔請求項３〕ように構成され、また、演奏データ及び楽譜データの処理方法において、マッチング処理ステップ（ＭＰ）は、楽譜データ（ＭＤ）中から繰返し記号の存在を検出するステップと、繰返し記号の存在を検出したとき、繰返しを反映した第１楽譜分布データ及び繰返しを省略した第２楽譜分布データを楽譜分布データ（ＴＰ）として供給するステップと、第１及び第２楽譜分布データに対する演奏分布データ（ＩＭ）のマッチング演算の結果に基づいて、演奏データ（ＰＤ）が繰返し記号を反映させているか否かを判定するステップとを含む〔請求項６〕ように構成される。
【００１０】
〔発明の作用〕
この発明の第１の特徴によれば（請求項１，４，７）、楽譜データ（ＭＤ）について、時間軸及び音高軸から成る二次元空間のメッシュポイント上で音情報（楽譜データＭＤ中の音符を表わす情報）を展開して音情報の時間及び音高位置を規定した楽譜分布データ（実施例では「テンプレートＴＰ」と呼ぶ）が作成され（ＴＭ）、この楽譜分布データ（ＴＰ）は、当該楽譜データ（ＭＤ）に対応する本来のメッシュポイントに所定の重み（「１．０」）を付与し、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重み（時間軸方向：「０．７」，「０．３」、音高軸方向：「０．３」）を付与したものとする（「ボカシ」処理：段落［００３４］、図３）。演奏データ（ＰＤ）についても、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報（演奏データＰＤ中のイベントを表わす情報）を展開して音情報の時間及び音高位置を規定した演奏分布データ（実施例では「イベントマップＩＭ」と呼ぶ）が作成されるが（ＭＭ）、この演奏分布データ（ＩＭ）は、当該演奏データ（ＰＤ）に対応する本来のメッシュポイントにのみ所定の重み（「１．０」）を付与したものとする（段落［００３６］、図４）。次いで、演奏分布データ（ＩＭ）に対して楽譜分布データ（ＴＰ）を時間軸方向にずらした複数の位置において、両分布データ（ＩＭ，ＴＰ）間でメッシュポイント毎にマッチングが演算される（ＭＰ）。そして、マッチング演算の結果（ＭＲ）に基づいて、両分布データ（ＩＭ，ＴＰ）が最もよくマッチングする位置（Ｘｍｅ）が求められ（ＥＤ）、求められた位置（Ｘｍｅ）から、演奏データ（ＰＤ）及び楽譜データ（ＭＤ）間のずれ（オフセットＯＳ）が得られる（ＯＤ）。
このように、この発明によると、楽譜データと演奏データのそれぞれについて、時間軸及び音高軸からなる二次元空間のメッシュポイント上に音情報の位置を規定した楽譜分布データ及び演奏分布データを作成し、演奏分布データに対して楽譜分布データを時間軸方向にずらした複数の位置において二次元空間のメッシュポイント毎に両分布データのマッチングを演算し、ずらした位置の中で最もよくマッチする位置を求め、最もよくマッチする位置を演奏データと楽譜データのずれ（オフセット）とするようにしていることで、微妙に「ノリ」や表情が付けられた演奏データと表示に適した標準的な楽譜データとの間のずれを、効果的に分析、評価することが可能となる。
この発明によると、さらに、楽譜分布データについては、二次元空間上での楽譜データ位置に「ボカシ」と呼ぶ処理を施し、楽譜データ本来のメッシュポイントだけでなくその周辺のメッシュポイントまでも考慮して、本来のメッシュポイントに所定の重みを付与すると共に、周辺のメッシュポイントには、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重みを付与し、演奏分布データについては、演奏データ本来のメッシュポイントにのみ所定の重みを付与することで、演奏データ側において多少のミスタッチやタイミングずれがあっても、楽譜データとのマッチングをとることができる。つまり、楽譜分布データの周辺メッシュポイントについてのみ、許容し得るタイミングずれに応じて時間軸方向に所望の重みを付与して時間軸方向に「ボカシ」をとることにより、演奏の微妙なタイミングずれに対応することができ、許容し得るミスタッチに応じて音高軸方向に所望の重みを付与して音高軸方向に「ボカシ」をとることにより、ミスタッチによる音高ずれに対応することができる。また、この重み付け値の設定には、さらに、各分布データにおける各軸方向の最小分解能が考慮される。
【００１１】
この発明の第２の特徴によれば（請求項２，５，８）、この発明の第１の特徴による構成に加えて、さらに、両分布データ（ＩＭ，ＴＰ）が最もよくマッチングする位置（Ｘｍｅ）から得られる演奏データ（ＰＤ）及び楽譜データ（ＭＤ）間のずれ（オフセットＯＳ）に基づいて、演奏データ（ＰＤ）と楽譜データ（ＭＤ）との対応付けが行われる（ＬＤ；「個別リンクの決定」処理：段落［００４５］〜［００４９］、図９）。従って、この発明によると、上述した第１の特徴による諸効果に加えて、さらに、演奏データと楽譜データのずれ（オフセット量又はオフセット）に基づいて、演奏データと楽譜データの間で各データの対応付け（リンク）をするようにしていることで、１音ごとの対応付けを正確に行うことができ、例えば、演奏中の音が楽譜上ではどの音なのかを把握することができる。
【００１２】
この発明の第３の特徴によれば（請求項３，６）、発明の第１或いは第２の特徴による構成に加えて、さらに、マッチング演算の際に（ＭＰ）、楽譜データ（ＭＤ）中から繰返し記号の存在を検出し、繰返し記号の存在を検出したときは、繰返しを反映した第１楽譜分布データ及び繰返しを省略した第２楽譜分布データ（例えば、実施例の小節「Ｏ」，「Ｇ」に対応するテンプレート）を楽譜分布データ（ＴＰ）として供給し、第１及び第２楽譜分布データに対する演奏分布データ（ＩＭ）のマッチング演算の結果に基づいて、演奏データ（ＰＤ）が繰返し記号を反映させているか否かを判定する（「繰返省略の判定」処理：段落［００５０］〜［００５３］、図１０）。従って、この発明によると、上述した第１或いは第２の特徴による諸効果に加えて、さらに、楽譜データ中の繰返し記号の検出に応じて用意された２つの楽譜分布データ（第１及び第２楽譜分布データ）と演奏分布データとのマッチング処理結果に基づいて、演奏データが楽譜データ中の繰返し記号を反映させているか否かを判定することで、楽譜記号が省略された演奏データであっても、演奏データ及び楽譜データ間のずれの分析、評価が可能となり、また、１音ごとの対応付けが可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施例を詳述する。なお、以下の実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００１４】
〔ハードウエア構成〕
図１には、この発明の一実施例による演奏データ及び楽譜データの処理装置のハードウエア構成のブロック図が示されている。この例では、システムは、中央処理装置（ＣＰＵ）１、読出専用メモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３、第１及び第２の検出回路４，５、表示回路６、音源回路７、効果回路８、外部記憶装置９等を備え、これらの装置１〜９は、バス１０を介して互いに接続されており、演奏データ及び楽譜データの処理のためのデータ処理システムを構成している。
【００１５】
システム全体を制御するＣＰＵ１は、テンポクロックや割込みクロックの発生等に利用されるタイマ１１を備え、所定のプログラムに従って種々の制御を行い、特に、後述する演奏データ及び楽譜データの処理の機能を中枢的に遂行する。ＲＯＭ２には、このシステムを制御するための所定の制御プログラムが記憶されており、これらの制御プログラムには、基本的な演奏情報処理と共に、この発明による演奏データ及び楽譜データの処理に関する各種処理プログラムや各種テーブル、各種データを含ませることができる。ＲＡＭ３は、これらの処理に際して必要なデータやパラメータを記憶し、また、各種レジスタやフラグ、処理中の各種データ等を一時記憶するためのワーク領域として用いられる。
【００１６】
第１の検出回路４は鍵盤等の演奏操作子を備えた演奏操作装置１２に接続され、第２の検出回路５に接続される操作スイッチ装置１３は、各種モード・パラメータ・操作の設定を行うための種々の操作子を備える。これらの操作子は、演奏データ及び楽譜データの処理のためのモード指定ボタン、各種データ選択／指定用スイッチ等、操作パネル上に設けられた種々のスイッチや、マウス等のポインチングデバイスを含み、「パネル操作子」と総称される。表示回路６はディスプレイ１４や各種インジケータを備えており、このディスプレイ１４やインジケータは、スイッチ装置１３の操作パネル上の各種操作子に並置することができ、ディスプレイ上にはポインチングデバイス等の操作子で操作可能なボタンを表示することもできる。また、ＤＳＰ等で構成される効果回路８に接続されるサウンドシステム１５は、音源回路７及び効果回路８と共に楽音出力部を構成する。
【００１７】
外部記憶装置９は、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）ドライブ、フロッピィディスクドライブ（ＦＤＤ）、光磁気（ＭＯ）ディスクドライブ、ディジタル多目的ディスク（ＤＶＤ）ドライブ等の記憶装置から成り、各種制御プログラムや各種データを記憶することができる。従って、演奏データ及び楽譜データの処理に必要なプログラムや各種データ（演奏データ、楽譜データ、重みテーブル、等々）は、ＲＯＭ２を利用するだけでなく、外部記憶装置９からＲＡＭ３内に読み込むことができ、必要に応じて、処理結果（オフセットデータ、リンク情報、等々）を外部記憶装置９に記録しておくこともできる。
【００１８】
この例では、バス１０にＭＩＤＩインターフェイス（Ｉ／Ｆ）１６が接続され、システムは他のＭＩＤＩ機器１７と通信することができる。さらに、バス１０には通信インターフェイス１８も接続され、通信ネットワーク１９を介してサーバコンピュータ２０から制御プログラムや各種データを外部記憶装置９にストアすることもできる。
【００１９】
〔システム機能の概略〕
図２は、この発明の一実施例による演奏データ及び楽譜データの処理のためのデータ処理システムの機能を概略的に示す機能ブロック図である。この処理システムでは、端的にいうと、図２に示すように、演奏データＰＤ及び楽譜データＭＤについて、時間軸及び音高軸から成る二次元空間上に音情報を展開したイベントマップＩＭ及びテンプレートＴＰが夫々作成され（ＭＭ，ＴＭ）、両者間には、時間軸方向にずらした複数の位置でマッチング演算がなされ（ＭＰ）、この演算結果ＭＲに基づいて、両者が最もよくマッチングする位置Ｘｍｅが求められる（ＥＤ）。この位置Ｘｍｅに基づいて、演奏データ及び楽譜データ間のずれ（オフセット）ＯＳが出力され（ＯＤ）、また、演奏データと楽譜データとの対応付け（リンク）を行う（ＬＤ）。なお、イベントマップＩＭ及びテンプレートＴＰの少なくとも一方には「ボカシ」処理が施され、マッチング演算処理を容易にする。以下、このデータ処理システムの個々のブロック毎に機能を説明しよう。
【００２０】
楽譜データ供給ブロックＭＳは、楽譜データＭＤをテンプレート作成ブロックＴＭに供給する。ここで、楽譜データＭＤは、楽譜表示に用いられるデータであり、タイミングの揺らぎなどがない正確なデータである。楽譜データＭＤのデータ形式は、種々のものを採用することができるが、一例を挙げると、「音符種類＋音高（或いは休符種類）」を時系列に並べたものがある。楽譜データＭＤは、また、複数の楽器パートに対応した複数トラックのデータから成る。なお、楽譜データＭＤは、通常、外部記憶装置９、或いは、ＲＯＭ２やＲＡＭ３に記憶されているが、インターフェイス１６，１８を介して外部ＭＩＤＩ機器１７やサーバコンピュータ２０から受信してもよい。或いは、パネル操作子１３の操作により楽譜データＭＤを入力してもよい。
【００２１】
テンプレート作成ブロックＴＭにおいては、楽譜データＭＤに基づいて、その各パート毎、各区間（「区間」の単位は、扱い易さの点で、例えば、１小節とされるが、これに限らず、数拍分や数小節等に必要に応じて適宜設定し得る。）毎に、時間とピッチ（音高）の二次元空間上で音符の存在位置を規定した所定時間長（例えば、１小節に相当する時間長）のテンプレートＴＰが、１曲分、作成される。楽譜データＭＤは、時間とピッチ（音高）が正確なデータであるが、後述するように、演奏データとのずれ量を考慮して、音符本来の「時間−ピッチ」ポイントだけでなく、「ボカシ」と呼ばれる処理を施して音符ポイントの周辺をも考慮したテンプレートＴＰを作成するのが好ましい。なお、テンプレートＴＰの最小分解能については、時間軸方向に単位時間としてＮ分音符〔例えば、６４分音符（Ｎ＝６４）〕長をとり、音高軸方向には単位音高として、例えば、半音をとる（全音高は、例えば、１２８半音）。
【００２２】
一方、演奏データ供給ブロックＰＳは、演奏データＰＤをイベントマップ作成ブロックＭＭに供給する。ここで、演奏データＰＤは、楽譜データＭＤに対応したデータであり、楽音発生に用いられ、タイミングの揺らぎ（例えば、演奏者の癖や表情等）やミスタッチによる音高ずれが含まれている。従って、演奏データＰＤは楽譜データとは完全には一致しない。これは、この発明によるマッチング処理が必要となる所以でもある。
【００２３】
ここで、演奏データＰＤは、種々のデータ形式を採用することができるが、一例として、「イベント（オン／オフ＋音高）＋イベント発生タイミング」を時系列に並べたものを挙げることができる。また、演奏データＰＤは、複数の楽器パートに対応した複数トラックのデータからなる。なお、演奏データＰＤは、楽譜データＭＤと同様に、外部記憶装置９、或いは、ＲＯＭ２やＲＡＭ３に記憶されているが、インターフェイス１６，１８を介して外部ＭＩＤＩ機器１７やサーバコンピュータ２０から受信してもよい。この場合、楽譜データと演奏データをセットにして供給してもよいし、別々に供給してもよい。また、演奏操作子１２やパネル操作子１３を操作することにより演奏データＰＤを入力してもよい。
【００２４】
イベントマップ作成ブロックＭＭにおいては、演奏データＰＤに基づいて、時間とピッチ（音高）の二次元空間上でイベントの存在位置を規定したイベントマップＩＭを作成する。この実施例では、イベントマップＩＭにはテンプレートＴＰのように「ボカシ」は付与せず、イベントが存在する「時間−ピッチ」位置に１点を付与するのみとする（もちろん、「ボカシ」を付与してもよい）。また、作成されるイベントマップＩＭは、テンプレートのように所定長のものとせず、１曲を通して連続したものとするのが好ましく、これを全トラック分作成する。なお、イベントマップＩＭの分解能はテンプレートＴＰのものと同等とする。
【００２５】
ブロックＴＭ，ＭＭで夫々作成されたテンプレートＴＰ及びイベントマップＩＭは、マッチング処理ブロックＭＰに手渡され、このブロックでは、各トラックのイベントマップＩＭに対して、これに対応するパートのテンプレートＴＰを順次重ね合わせてマッチング処理を行う。各マッチング処理では、イベントマップＩＭに対して、テンプレートＴＰの時間位置ｘを、基準点Ｘ０から、時間方向に単位音符長即ちＮ分音符（例えば、６４分音符）分ずつ、順次ずらしながら移動してイベントマップＩＭとテンプレートＴＰとのマッチング演算を行い、各移動量毎にマッチング演算値Ｍｘを算出し、演算値Ｍｘが最も高くなるときの基準点Ｘ０からの移動量（オフセット量）Ｘｍを求め、そのときのマッチング演算値Ｍｘをマッチング評価値Ｍとし、この移動量（オフセット量）Ｘｍ及びマッチング評価値Ｍをマッチング処理結果ＭＲとする。
【００２６】
このマッチング処理の際、繰返し省略判定ブロックＲＪにて、楽譜データＭＤ内で繰返し記号が使用されている場合は、繰返しを考慮した位置にも重ねて繰返し省略判定が行われ、その判定機能により繰返し記号が省略されたか否かが分かり、この繰返し省略の有無は、マッチングを取るためのテンプレートＴＰを決定するのに利用される。
【００２７】
マッチング処理ブロックＭＰにおいて、楽譜データＭＤの第ｎ区間（ｎ＝１〜全区間数）における各パートのテンプレートＴＰｎにより、演奏データＰＤの各トラックに対してマッチング処理が行われると、次の有効パート決定ブロックＥＤでは、マッチング処理結果ＭＲ（Ｘｍ，Ｍ）を参照して、全トラックのうちマッチング評価値Ｍが最も高かったトラックの移動量Ｘｍが、楽譜データＭＤの全トラックの移動量（オフセット量）Ｘｍｅとして採用され、当該トラック（最高評価値のトラック）に対応するパートが、複数パートのうち移動量決定に最も有効なパートに決定される。
【００２８】
ブロックＥＤで決定された有効パートに対応するトラックの移動量（オフセット量）Ｘｍｅを基にして、次の第ｎ＋１期間（第ｎ＋１小節）のマッチング処理における基準時間位置Ｘ０を推定する。そして、推定された基準時間位置Ｘ０は、次の第ｎ＋１区間（次小節）におけるマッチング処理において、次のテンプレートＴＰｎ＋１を単位音符長分ずつ移動させる場合の位置基準点として利用される。
【００２９】
ブロックＥＤで有効パートとして決定されたトラックの移動量（オフセット量）Ｘｍｅは、また、オフセット決定ブロックＯＤにおいて、当該第ｎ区間（第ｎ小節）のオフセットＯＳｎを決定するのに用いられる。上述のようにして各区間（小節）のテンプレートＴＰにより順次マッチング処理及び有効パート決定処理が行われ、全テンプレートＴＰについてこれらの処理が終了すると、１曲の全期間について、有効パートとして決定されたトラックの各移動量（オフセット量）Ｘｍｅに基づいて、各区間（小節）のオフセットＯＳｎが決定される。これらのオフセットＯＳｎは、オフセットデータＯＳとして個別リンク決定ブロックＬＤに手渡される。
【００３０】
個別リンク決定ブロックＬＤにおいては、ブロックＯＤで決定された各区間（小節）のオフセットＯＳｎに基づいて、楽譜データＭＤの各音符と、演奏データＰＤの各イベント（ＩＶ）とのリンク（ＬＫ）を決定する。すなわち、演奏データＰＤの各区間（小節）について、オフセットＯＳｎ分だけずらした時間位置に楽譜データＭＤを設定し、音符の位置に対応する同音高のイベントに対してリンクを順次設定する。そして、これを全トラックの全区間（小節）について行い、設定されたリンクは、楽譜データＭＤ及び演奏データＰＤと関連付けられたリンク情報（ＬＫ）として外部記憶装置９等に格納される。
【００３１】
〔テンプレート及びイベントマップの作成〕
この発明の一実施例においては、楽譜データからテンプレートを作成するに際し、テンプレートの「ピッチ（音高）−時間」平面における音符ポイントについて、その周辺をも考慮し「ボカシ」処理を施して、タイミングずれ（時間方向）やミスタッチ（音高方向）に対応するようにしている。図３は、この発明の一実施例によるテンプレートの作成処理の原理を説明するための図である。
【００３２】
楽譜データＭＤは、図３左側に示される例では、楽器パート１〜４に対応した複数トラックのデータから成る。テンプレート作成ブロックＴＭでは、まず、各パート１〜４の楽譜データＭＤを、所定の時間区間毎に、例えば、小節毎に、区切り、各区間（小節）の音符データ（音符の音高及び種類並びに休符の種類）から、音符を時間とピッチ（音高）の二次元空間（「音高−時間」平面）上の位置に変換する。この場合、「音高−時間」平面上の音符位置は符頭を表わすものとするのが好ましい（簡便な処理内容となる）が、音符長に応じた位置を占めるように展開してもよい。
【００３３】
これにより、各音符は、例えば、図示右上に黒塗りの音符ポイントとして示されるように、「音高−時間」平面のメッシュポイント上に展開される。例えば、この「音高−時間」平面の分解能は、縦軸（音高軸）が半音単位（全１２８音高）であり、横軸（時間軸）がＮ分音符（例えば、６４分音符）長である。なお、図３は、原理を示すものであり、従って、或る楽譜データを忠実に展開したものではない。これは、以下のイベントマップＩＭ等についても同様である。
【００３４】
これらの音符には、さらに、各音符の正確な時間と音高の位置を表わす音符ポイントを中心として「ボカシ」処理を施し、図３の右下に斜線格子模様で示すように、方向毎の必要なずれ許容度に応じて、音符ポイント（黒塗り）周辺のメッシュポイントに所要の重みを付与し、これによって、テンプレートＴＰの作成を完了する。例えば、図３（右下）に示されるテンプレートＴＰの例では、重み“１．０”点が付与される音符ポイントに対して、時間方向には、隣接するメッシュポイントに“０．７”点を付与し、更に、その外側には“０．３”点を付与しており、音高方向の隣接メッシュポイントには“０．３”点を付与している。
【００３５】
これに対して、図４は、この発明の一実施例によるイベントマップの作成処理を説明するための図である。イベントマップ作成ブロックＭＭでは、図４に示すように、楽譜データＭＤの各パート１〜４に対応する各トラック１〜４の演奏データＰＤにおけるイベントのノートナンバやタイミング情報等に基づいて、テンプレートＴＰと同等の分解能の「時間−音高」平面上にイベントの存在位置を展開し、各トラック１〜４毎に、１曲を通して連続したイベントマップＩＭを作成する。この場合も、テンプレートＴＰと同様に、「音高−時間」平面上のイベント位置はノートオンタイミングのようなイベント開始時点を表わすものとするのが好ましい（簡便な処理内容となる）が、イベントの長さに応じた位置を占めるように展開してもよい。
【００３６】
また、図示の例では、イベントマップＩＭは、テンプレートＴＰ側で「ボカシ」を付与しているので、イベントが存在する位置にだけ重み“１．０”点を付与する。なお、テンプレートＴＰ側に「ボカシ」を付与せずイベントマップＩＭに「ボカシ」を付与してもよく、また、詳細なマッチング処理結果を得るために、テンプレートＴＰ及びイベントマップＩＭの双方に「ボカシ」を付与してもよいことはもちろんであるが、少なくとも一方では「ボカシ」処理を施しておく必要がある。
【００３７】
〔マッチング処理〕
この発明の一実施例においては、演奏データと楽譜データのそれぞれについて、時間軸及び音高軸からなる二次元空間上で音データの位置を規定したイベントマップ及びテンプレートを作成し、両者のマッチングをとり、両者の位置を時間方向にずらしながら最もよくマッチする位置を求めるようにしている。図５及び図６は、この発明の一実施例によるマッチング処理の原理を説明するための図である。マッチング処理ブロックＭＰでは、先ず、各トラック１〜４のイベントマップＩＭと第ｎ区間のテンプレートＴＰｎを、図５の下部に示されるように、重ね合わせ、イベントマップＩＭに対してテンプレートＴＰの位置を時間方向に最小分解能分のＮ分音符ずつずらした各時間位置ｘにおいて、順次、マッチング演算が行われる。ここで、テンプレートＴＰを重ねるイベントマップＩＭ上の位置は、イベントに対応する区間位置（＝同じ小節）とその前後の所定量（例えば、半小節前から１小節後まで）とする。
【００３８】
マッチング演算処理では、先ず、重ね合わせられたイベントマップＩＭとテンプレートＴＰｎとの間で対応する各メッシュポイント毎に、付与された重み情報（点数）の積を求めるＡＮＤ演算を行い、ＡＮＤ演算で求められた積（ＡＮＤ演算値）ＡＤを全メッシュポイントで加算して合計点数ΣＡＤを求める。次いで、この合計点数ΣＡＤに、重みテーブルを用いて、そのときの移動量に対応する重みｗを乗算することによりマッチング演算値Ｍｘが算出される。
【００３９】
図５の上部には、この重みテーブルによる移動量重みｗを表わす移動量（ｘ）−重み（ｗ）曲線の一例が示されており、この曲線は、時間基準位置Ｘ０（直前の第ｎ−１区間（第ｎ−１小節）の処理結果から予想される）で、最大重みＷｍを与えるように設定される。図示の状態は、テンプレートＴＰｎを当該第ｎ区間（第ｎ小節）の基準位置Ｘ０から時間“−Ｘａ”だけ移動させた状態であり、この時間位置ｘ＝Ｘ０−Ｘａでは、移動量重みｗは“Ｗａ”で与えられる。従って、このときのマッチング演算値Ｍｘは、この時間位置ｘ＝Ｘ０−Ｘａでの合計点数ΣＡＤに、重みＷａを乗算することにより求められる。
【００４０】
図６は、各メッシュポイント毎に計算されたＡＮＤ演算結果ＡＤの一例を示しており、例えば、高密度の斜め格子はＡＮＤ演算値が高く、低密度のものはＡＮＤ演算値が低く、また、空白はＡＮＤ演算値が“０”であることを表わしている。ここで、二次元空間上でのデータの位置規定は、上述のように、「ボカシ」処理により本来の位置の周辺までも考慮したものとするようにしているので、演奏データＰＤ側に多少のミスタッチやタイミングずれがあってもマッチングをとることができる。
【００４１】
そして、算出されたマッチング演算値Ｍｘのうち最も高い値Ｍを、そのときの基準位置Ｘ０からの移動量Ｘｍと共に、マッチング処理結果ＭＲ（Ｘｍ，Ｍ）として出力する。なお、上述した移動量重みｗを用いず、単に、合計点数ΣＡＤをマッチング演算値Ｍｘとしてもよい。
【００４２】
有効パート決定ブロックＥＤでは、マッチング処理結果ＭＲ（Ｘｍ，Ｍ）を受け、各区間（小節）について、全トラック１〜４のうちマッチング評価値Ｍが最も高いトラックの移動量Ｘｍを、全トラック１〜４の移動量（オフセット量）Ｘｍｅとして採用する。例えば、図７（上部）に示すように、第ｎ−１区間（第ｎ−１小節）について（ここでは、ｎ≧２）各トラック１〜４毎にマッチング評価値Ｍ＝３，５，９，２が求められた場合、これらの評価値のうち、最も高い値Ｍ＝９を与えたトラック３に対応するパート３が、複数パート１〜４のうちで移動量決定に最も有効なパートとなり、このトラック３に対するテンプレートＴＰｎ−１の位置Ｂ０は、図７（下部）の破線で示すように、演奏データＰＤ上での当該第ｎ−１区間（第ｎ−１小節）を決定する。
【００４３】
マッチング処理ブロックＭＰでは、また、ブロックＥＤで採用されたトラックの移動量Ｘｍｅに基づいて、次の区間（次小節）における基準位置Ｘ０が推定され、この位置Ｘ０は、テンプレート位置Ｂ０を１区間（１小節）分シフトした次のテンプレートＴＰｎの基準位置Ｂ１を与える。なお、最初の第１区間（第１小節）〔ｎ＝１〕の基準位置Ｘ０については、イベントマップＩＭの開始時点から各トラックに対応する各第１テンプレートＴＰ１によりマッチング演算を行い、“０”以外のマッチング値（ＡＮＤ演算値ＡＤ、合計点数ΣＡＤ又はマッチング評価値Ｍ）が初めて現われる時間位置Ｘｓ（図８参照）を、第１区間（第１小節）の基準位置Ｘ０とする。
【００４４】
〔オフセットの決定〕
有効パート決定ブロックＥＤで区間（小節）毎に有効パートが決定されると、オフセット決定ブロックＯＤでは、各区間（小節）について、有効パートとして決定されたトラックの移動量（オフセット量）Ｘｍｅにより当該区間（小節）のオフセットＯＳｎが決定される。例えば、区間を小節とした場合、図８に示すように、１〜５小節目について有効パートの移動量（オフセット量）Ｘｍｅ１〜Ｘｍｅ５が得られると、これらの移動量に基づいて、全トラックの１〜５小節目の各々について、例えば、演奏データＰＤのデータ開始時点からのオフセットＯＳ１〜ＯＳ６が得られる。この発明の一実施例においては、このように、最もよくマッチする位置を演奏データと楽譜データとの間にずれを与えるオフセットを得るようにしているので、演奏データと楽譜データのずれを分析、評価することが可能となる。
【００４５】
〔個別リンクの決定〕
この発明の一実施例においては、さらに、上述したオフセットに基づいて演奏データと楽譜データの各データを対応付けることにより、両データの対応付けを１音毎に正確に行うことができ、例えば、演奏中の音が楽譜上ではどの音なのかを把握することができる。図９は、或る小節において個別リンクを決定する手法を説明するための図である。同図において、音符マークは楽譜データＭＤの各音符を示し、偏平な六角形は演奏データＰＤの各イベントを示し、それぞれ、左から順に「第１音符」〜「第４音符」及び「第１イベント」〜「第４イベント」と呼ぶものとする。
【００４６】
さて、個別リンク決定ブロックＬＤにおいては、決定された各小節のオフセットＯＳｎに基づいて、楽譜データＭＤの各音符と、演奏データＰＤの各イベントとの個々のリンクを決定する。このリンク決定にあたっては、先ず、図９（１）に示すように、演奏データＰＤの各区間（小節）について、オフセットＯＳｎ分だけずらした位置に楽譜データＭＤを設定し、次に、音符の位置に対応する同音高（ピッチ）のイベントを探索する。その結果、対応イベントを発見すると、図９（２）に示すように、当該音符と対応イベントとの間にリンクを暫定的に設定する。この場合、一方に他方のデータを識別するための情報、例えば、アドレスやデータの内容などを付与する。このような暫定的なリンク設定を全小節について行う（暫定リンクの仮決定）。
【００４７】
暫定リンクの仮決定の際、例えば、図９（２）に示すように、１つのイベント（第４イベント）に対して複数の音符（第２及び第４音符）が対応してしまった場合は、対応している複数の音符のうちの先頭と最後の音符について、それぞれ次に近いイベントを探索する。探索された新たなイベントについて、同様に複数の音符が対応する事態が起きなければ、新たなイベントと先頭又は最後の音符との間にリンクを設定する。図９（２）の例では、図９（３）に示すように、複数音符のうちの先頭音符（第２音符）には、新たなイベント（第２イベント）が発見され、このイベントに他の音符が対応することがないので、このイベントとの間でリンクが設定される。
【００４８】
これでもなお、１つのイベントに複数の音符が対応してしまう場合には、より近い音符を採用し、それ以外の音符はリンク無しとする。また、リンク無しとされた音符については、そのタイミングに近く（例えば、前後のリンク済イベントの間にあるもの）、且つ、音高が異なるリンク未設定のイベントを探し、該当するイベントがあれば、それらにリンクを設定する（ミスタツチ処理）。
【００４９】
ブロックＬＤでは、このような処理を全トラックについて行い、楽譜データＭＤの音符と、対応する演奏データＰＤのイベントとの間に個別リンクを決定し、一方に他方のデータを識別するためのリンク情報（例えば、アドレスやデータの内容など）を付与する個別リンク処理を完了する。なお、リンクが設定されなかった、或いは、リンクは設定されたが音高が異なる等、本来の対応が取れていないイベント又は音符について、警告を出すようにするのがよく、また、リンクが設定されなかった理由などについても報知するのが更によい。この場合、例えば、「時間ずれが一定以上」、「対応する音高のイベントがないため、異なる音高のイベントとリンクした」等、事情に応じた端的な警告乃至報知文にすることが好ましい。
【００５０】
〔繰返し省略の判定〕
楽譜データ内では繰返し記号が使用されていても、演奏データ側では、それに対応していない可能性もある。そこで、この発明の一実施例においては、マッチング処理に用いられるテンプレートを決定するのに、繰返し省略の判定を行い、各データの対応付けに基づいて、演奏データが、楽譜データ中の繰返し記号を反映させているか否かを判定するようにすることにより、楽譜記号が省略された演奏データであっても、１音ごとの対応付けを可能としている。図１０は、この繰返し省略の判定手法を説明するための図である。
【００５１】
繰返し省略判定ブロックＲＪにおいては、演奏データＰＤ側で、楽譜データＭＤ内の繰返し記号に対応していない場合をも想定し、楽譜データＭＤ側の繰返し記号に対応する演奏データＰＤの位置については、繰返し記号を正しく反映させた区間（小節）のテンプレートと、繰返し記号を無視した場合の区間（小節）のテンプレートの双方についてマッチングをとり、よりマッチング評価値Ｍ（又は合計点数ΣＡＤ）の高い方を採用する。このとき、両者の差が所定の閾値以下のときは、１回の判定では結論が出せないので、更に次の区間（小節）についても同様の処理を行い、両者の差が所定の閾値以上になった時点で、マッチング評価値Ｍ（又は合計点数ΣＡＤ）の高い方うを採用する。このような判定処理により、繰り返し記号が省略されたか否かが分かる。ここで判定された繰返し省略の有無は、マッチング処理ブロックＭＰにおいてマッチングを取るテンプレートを決定するのに利用される。
【００５２】
例えば、楽譜データＭＤに、繰返し記号として、図１０の上部に示すように、２つのリピートマーク及び２つのカッコ“１”，“２”が用いられている場合は、各小節Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｏ，Ｐ，Ｑ，Ｒは、Ａ→Ｂ→Ｃ→Ｄ→Ｅ→「Ｆ」→「Ｇ」→Ｈ→Ａ（Ｉ）→Ｂ（Ｊ）→Ｃ（Ｋ）→Ｄ（Ｌ）→Ｅ（Ｍ）→「Ｆ」（Ｎ）→「Ｏ」→Ｐ→Ｑ→Ｒ→Ｒという順序で〔（Ｉ）〜（Ｎ）は、繰返しによる２度目の演奏であることを示す。〕演奏される。これに対して、演奏データ側でこのような繰返し記号が反映されているかのかいないのか不明であると、小節「Ｆ」〔又は「Ｆ」（Ｎ）〕から、小節「Ｇ」へ移行するのか小節「Ｏ」へ移行するのかを予測することができない。
【００５３】
そこで、図１０の下部に示すように、小節「Ｆ」〔又は「Ｆ」（Ｎ）〕の次の小節のマッチング処理に際しては、小節「Ｇ」に対応するテンプレートと、小節「Ｏ」に対応するテンプレートとを用意しておく。そして、例えば、第１のカッコ“１”を表わすデータを検出すると、両テンプレート（Ｇ，Ｏ）についてマッチングをとり、マッチング評価値Ｍ（又は合計点数ΣＡＤ）の高い方を採用する。ここで、両者のマッチング処理による値（点数）の差が所定の閾値以下のときは、更に次の小節「Ｈ」，「Ｐ」についても、同じ処理を行い、両者の差が所定の閾値以上になった時点で、高い値（点数）の方を採用する。
【００５４】
〔リンク済みデータ〕
図１１は、この発明の一実施例におけるリンク設定された楽譜データ及び演奏データの一例を示す図である。この例では、楽譜データＭＤの音符情報（音符種類と音高）と、対応する演奏データＰＤのイベント情報（タイミングＴＭとイベントＩＶ）の間に個別リンクが決定され、演奏データＰＤ側に楽譜データＭＤのデータを識別するためのリンク情報ＬＫが付与されている。このリンク情報ＬＫは、例えば、対応する音符データが記憶されている楽譜データＭＤ側のアドレスや、対応する音符の内容を示す情報（例えば、「何小節目の何番目の音符」、「何小節目の何拍目、音符種類は何、音高は何」、等々）である。しかしながら、このように、演奏データＰＤ側にリンク情報ＬＫを持つものに限らず、楽譜データＭＤ側にリンク情報ＬＫを持たせてもよい。或いは、楽譜データＭＤ、演奏データＰＤとは独立に、リンク情報ＬＫを持たせてもよい。
【００５５】
〔リンク情報及びオフセットデータの活用例〕
この発明の一実施例では、上述のようにリンクが設定された演奏データ及び楽譜データや、楽譜データ及び演奏データの処理の際に得られるオフセットデータ乃至オフセット量情報を利用して、種々の有用なアプリケーションに活用することができる。図１２及び図１３は、リンク情報ＬＫが設定された演奏データＰＤ及び楽譜データＭＤを利用したリンク情報活用例１〜３を示し、図１４は、オフセットデータＯＳ乃至オフセット量情報Ｘｍｅの活用例を示す。
【００５６】
図１２のリンク情報活用例１においては、読出しステージＳ１１にて、外部記憶装置９等に記憶されている演奏データＰＤを読み出し、楽音発生ステージＳ１２にて楽音を発生させる。これに伴い、現在位置標準ステージＳ１３では、読み出されたリンク情報ＬＫに基づいて楽譜上の現在位置を求める。一方、楽譜表示ステージＳ１４では、楽譜データＭＤを読み出してディスプレイ１４上に楽譜を表示する際、ステージＳ１３からの指示に応じて、求められた楽譜上の現在位置をディスプレイ１４の楽譜画面に表示する。
【００５７】
図１３（１）のリンク情報活用例２においては、演奏データ編集ステージＳ２１では演奏データＰＤを編集し、編集位置指示ステージＳ２２ではリンク情報ＬＫに基づき編集位置に対応する楽譜データ上の位置を求め、楽譜データ編集ステージＳ２３にその位置を指示するように構成される。従って、ステージＳ２１で演奏データＰＤを編集すると、その位置に対応する楽譜上の位置がステージＳ２２からステージＳ２３に指示され、ステージＳ２３において、指示された位置に対応する楽譜データＭＤも、例えば、音高や音長の修正、削除等の編集が行われる。また、逆に、ステージＳ２３で楽譜データＭＤを編集すると、その位置に対応する演奏データＰＤ上の位置がステージＳ２２からステージＳ２１に指示され、対応する演奏データＰＤも編集される。
【００５８】
図１３（２）のリンク情報活用例３においては、読出しステージＳ３１で読み出された楽譜データＭＤは、ミスタッチ位置表示ステージＳ３２において、表示編集ステージＳ３３で読み出された演奏データＰＤと比較され、演奏データＰＤ上のミスタッチ位置が検出される。ステージＳ３３では、この比較検出結果に基づいて、ミスタッチ位置がディスプレイ１４上に表示され、また、この表示を参照してミスタッチ位置の演奏データが編集される。
【００５９】
さきに説明した楽譜データ及び演奏データの処理における中間生成物であるオフセットデータＯＳ乃至オフセット量情報Ｘｍｅについては、図１４のステージＳ４０に示すように、各小節のオフセットＯＳｎ或いはオフセット量情報Ｘｍｅに基づいて、演奏データＰＤのタイミングゆれを分析・評価することができる。例えば、曲の進行に従ってどのようにタイミングがずれているかをグラフ等でディスプレイ１４上に表示したり、ずれ具合に応じて演奏を採点したりすることができる。また、ずれ具合を演奏者の癖とみなし、分析した癖を他の演奏データに適用して、表情をつけたりすることもできる。
【００６０】
〔種々の実施態様〕
以上、この発明による楽譜データ及び演奏データの処理を実施例に従って説明してきたが、種々の変更が可能である。例えば、楽譜データのテンプレートは所定長（例えば、１小節）とし、演奏データのイベントマップは曲全体としたが、イベントマップも所定長（テンプレートと同じ長さでもよいし、異なる長さでもよい）としてもよい。また、逆でもよい。
【００６１】
楽譜データのテンプレートには「ボカシ」を付与し、演奏データのイベントマップにはボカシを付与しないとしたが、逆でもよい。また、双方に「ボカシ」を付与してもよい。
【００６２】
システムの形態については、電子楽器の形態に限らず、パソコン＋アプリケーションソフトウェアの形態でもよい。電子楽器の形態を取った場合、その形態は、鍵盤楽器に限らず、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の形態でもよい。さらに、音源装置、自動演奏装置等を１つの電子楽器本体に内蔵したものに限らず、それぞれが別体の装置であり、ＭＩＤＩや各種ネットワーク等の通信手段を用いて各装置を接続するものであってもよい。また、処理プログラムや処理に利用する各種データについては、外部記憶媒体から、或いは、通信インターフェースを介して外部装置から、電子楽器やパソコンに供給するようにしてもよい。
【００６３】
次に、自動演奏に関連していうと、演奏データのフォーマットとしては、演奏イベントの発生時刻を１つ前のイベントからの時間で表した「イベント＋相対時間」、演奏イベントの発生時刻を曲や小節内における絶対時間で表した「イベント＋絶対時間」、音符の音高と符長あるいは休符と休符長で演奏データを表した「音高（休符）＋符長」、演奏の最小分解能毎にメモリの領域を確保し、演奏イベントの発生する時刻に対応するメモリ領域に演奏イベントを記憶した「ベタ方式」等、どのような形式でもよい。なお、上記の実施形態において、演奏イベントには音符イベントと休符イベントがある例を示したが、音符イベントが存在しないことで休符イベントの代わりにすることにより、休符イベントを省略してもよい。
【００６４】
複数チャンネル分の自動演奏データの記憶方法としては、複数のチャンネルのデータが混在記憶された形式でもよいし、各チャンネルのデータがトラック毎に分かれて記憶されている形式でもよい。また、メモリ上において、時系列の演奏データやリンク情報が連続する領域に記憶されていてもよいし、飛び飛びの領域に散在して記憶されているデータを、連続するデータとして別途管理するようにしてもよい（すなわち、時系列的に連続するデータとして管理することができればよく、メモリ上で連続して記憶されているか否かは問題ではない）。
【００６５】
最後に、ＭＩＤＩインターフェースに関連していうと、専用のＭＩＤＩインターフェースに限らず、ＲＳ−２３２Ｃ、ＵＳＢ（ユニバーサル・シリアル・バス）、ＩＥＥＥ１３９４（アイトリプルイー１３９４）等の汎用のインターフェースを用いてＭＩＤＩインターフェースを構成してもよい。この場合、ＭＩＤＩメッセージ以外のデータをも同時に送受信するようにしてもよい。
【００６６】
【発明の効果】
以上説明したように、この発明の第１の特徴によると（請求項１，４，７）、演奏データ及び楽譜データのそれぞれについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した演奏分布データ（イベントマップ）及び楽譜分布データ（テンプレート）を作成し、演奏分布データに対して楽譜分布データを時間軸方向にずらした複数の位置において、両分布データ間でメッシュポイント毎にマッチングを演算し、マッチング演算の結果に基づいて、ずらした位置の中で両分布データが最もよくマッチングする位置を求め、求められた位置を演奏データ及び楽譜データ間のずれとして得るようにすることで、演奏データと楽譜データのずれを効果的に分析、評価することができる。
さらに、楽譜分布データ（テンプレート）を作成する際は、二次元空間上において「ボカシ」処理を施して、楽譜データに対応する本来のメッシュポイントに所定の重みを付与すると共にその周辺のメッシュポイントには時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重みを付与するようにし、楽譜分布データ（イベントマップ）を作成する際は、演奏データ本来のメッシュポイントにのみ所定の重みを付与するようにすることで、演奏データ側において、多少のミスタッチやタイミングずれがあっても、楽譜データとのマッチングをとることができる。
【００６７】
また、この発明の第２の特徴によると（請求項２，５，８）、さらに、演奏データ及び楽譜データ間のずれに基づいて演奏データと楽譜データとの対応付け（リンク設定）を行うようにすることで、上述したこの発明の第１の特徴による諸効果に加えて、さらに、１音ごとの対応付けを正確に行うことができ、演奏中の音が楽譜上ではどの音なのか等を把握することができる。
【００６８】
この発明の第３の特徴によると（請求項３，６）、さらに、マッチング演算処理に際し、楽譜データ中から繰返し記号の存在を検出すると、繰返しを反映した第１楽譜分布データ（テンプレート「Ｏ」）及び繰返しを省略した第２楽譜分布データ（テンプレート「Ｇ」）が、演奏分布データ（イベントマップ）とのマッチング演算に用いられ、その演算結果に基づいて、演奏データが繰返し記号を反映させているか否かを判定するようにすることで、上述したこの発明の第１或いは第２の特徴による諸効果に加えて、さらに、楽譜記号が省略された演奏であっても、演奏データと楽譜データのずれを分析、評価することができ、また、１音ごとの対応付けを行うことができる。
【図面の簡単な説明】
【図１】図１は、この発明の一実施例による演奏データ及び楽譜データの処理装置のハードウエア構成を示すブロック図である。
【図２】図２は、この発明の一実施例による演奏データ及び楽譜データ処理システムの機能の概要を示す機能的ブロック図である。
【図３】図３は、この発明の一実施例によるテンプレートの作成手法を原理的に説明する図である。
【図４】図４は、この発明の一実施例によるイベントマップの作成手法を説明するための図である。
【図５】図５は、この発明の一実施例によるマッチング処理の原理を説明するための図の一部である。
【図６】図６は、この発明の一実施例によるマッチング処理の原理を説明するための図の他部である。
【図７】図７は、この発明の一実施例による有効パートの決定手法を説明するための図である。
【図８】図８は、この発明の一実施例による区間（小節）毎のオフセットの決定手法を説明するための図である。
【図９】図９は、この発明の一実施例による個別リンクの設定手法を説明するための図である。
【図１０】図１０は、この発明の一実施例における繰返し省略の判定手法を説明するための図である。
【図１１】図１１は、この発明の一実施例におけるリンク設定された楽譜データ及び演奏データの一例を示す図である。
【図１２】図１２は、この発明の一実施例によるリンク情報の活用例を示す図の一部である。
【図１３】図１３は、この発明の一実施例によるリンク情報の活用例を示す図の他部である。
【図１４】図１４は、この発明の一実施例によるオフセットデータの活用例を示す図である。
【符号の説明】
ＭＳ 楽譜データＭＤを供給する楽譜データ供給ブロック、
ＰＳ 演奏データＰＤを供給する演奏データ供給ブロック、
ＴＰ，ＴＰｎ テンプレート、
ＩＭ イベントマップ、
ＭＲ マッチング（演算）処理結果、
Ｘｍｅ；Ｘｍｅ１，Ｘｍｅ２，… 有効パート移動量又はオフセット量情報、
ＯＳ；ＯＳｎ，ＯＳ１，ＯＳ２，… オフセットデータ；各区間オフセット、
Ｗ０，Ｗａ 基準位置Ｘ０及び移動量Ｘａだけ移動した位置での重み、
ＡＤ ＡＮＤ演算結果、
Ｍ マッチング評価値（又は合計点数）、
Ｂ０，Ｂ１ 有効パートのテンプレート位置及び次のテンプレート基準位置。

Claims (8)

1. 楽譜データを取得する楽譜データ取得手段と、
   演奏データを取得する演奏データ取得手段と、
   楽譜データ取得手段により取得された楽譜データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した楽譜分布データを作成する楽譜分布データ作成手段であって、該楽譜分布データは、当該楽譜データに対応する本来のメッシュポイントに所定の重みが付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重みが付与されたものである楽譜分布データ作成手段と、
   演奏データ取得手段により取得された演奏データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した演奏分布データを作成する演奏分布データ作成手段であって、該演奏分布データは、当該演奏データに対応する本来のメッシュポイントにのみ所定の重みが付与されたものである演奏分布データ作成手段と、
   演奏分布データ作成手段により作成された演奏分布データに対して楽譜分布データ作成手段により作成された楽譜分布データを時間軸方向にずらした複数の位置において、両分布データ間で各メッシュポイント毎にマッチングを演算するマッチング処理手段と、
   マッチング処理手段によるマッチング演算の結果に基づいて、両分布データが最もよくマッチングする位置を求めるマッチング位置決定手段と、
   マッチング位置決定手段により求められた位置を演奏データ及び楽譜データ間のずれとして出力するデータ出力手段と
   を具備することを特徴とする演奏データ及び楽譜データの処理装置。
2. 楽譜データを取得する楽譜データ取得手段と、
   演奏データを取得する演奏データ取得手段と、
   楽譜データ取得手段により取得された楽譜データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した楽譜分布データを作成する楽譜分布データ作成手段であって、該楽譜分布データは、当該楽譜データに対応する本来のメッシュポイントに所定の重みが付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重みが付与されたものである楽譜分布データ作成手段と、
   演奏データ取得手段により取得された演奏データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した演奏分布データを作成する演奏分布データ作成手段であって、該演奏分布データは、当該演奏データに対応する本来のメッシュポイントにのみ所定の重みが付与されたものである演奏分布データ作成手段と、
   演奏分布データ作成手段により作成された演奏分布データに対して楽譜分布データ作成手段により作成された楽譜分布データを時間軸方向にずらした複数の位置において、両分布データ間で各メッシュポイント毎にマッチングを演算するマッチング処理手段と、
   マッチング処理手段によるマッチング演算の結果に基づいて、両分布データが最もよくマッチングする位置を求めるマッチング位置決定手段と、
   マッチング位置決定手段により求められた位置から得られる演奏データ及び楽譜データ間のずれに基づいて前記演奏データと楽譜データとの対応付けを行う対応付け手段と
   を具備することを特徴とする演奏データ及び楽譜データの処理装置。
3. 前記マッチング処理手段は、
   楽譜データ中から繰返し記号の存在を検出する手段と、
   繰返し記号の存在を検出したとき、繰返しを反映した第１楽譜分布データ及び繰返しを省略した第２楽譜分布データを楽譜分布データとして供給する手段と、
   第１及び第２楽譜分布データに対する演奏分布データのマッチング演算の結果に基づいて、前記演奏データが繰返し記号を反映させているか否かを判定する手段と
   を備えることを特徴とする請求項１又は請求項２に記載の演奏データ及び楽譜データの処理装置。
4. 楽譜データ取得手段によって、楽譜データを取得する楽譜データ取得ステップと、
   演奏データ取得手段によって、演奏データを取得する演奏データ取得ステップと、
   楽譜分布データ作成手段によって、楽譜データ取得ステップで取得された楽譜データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した楽譜分布データを作成する楽譜分布データ作成ステップであって、該楽譜分布データは、当該楽譜データに対応する本来のメッシュポイントに所定の重みが付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重みが付与されたものである楽譜分布データ作成ステップと、
   演奏分布データ作成手段によって、演奏データ取得ステップで取得された演奏データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した演奏分布データを作成する演奏分布データ作成ステップであって、該演奏分布データは、当該演奏データに対応する本来のメッシュポイントにのみ所定の重みが付与されたものである演奏分布データ作成ステップと、
   マッチング処理手段によって、演奏分布データ作成ステップで作成された演奏分布データに対して楽譜分布データ作成ステップで作成された楽譜分布データを時間軸方向にずらした複数の位置において、両分布データ間で各メッシュポイント毎にマッチングを演算するマッチング処理ステップと、
   マッチング位置決定手段によって、マッチング処理ステップにおけるマッチング演算の結果に基づいて、両分布データが最もよくマッチングする位置を求めるマッチング位置決定ステップと、
   データ出力手段によって、マッチング位置決定ステップで求められた位置を演奏データ及び楽譜データ間のずれとして出力するデータ出力ステップと
   を備えることを特徴とする演奏データ及び楽譜データの処理方法。
5. 楽譜データ取得手段によって、楽譜データを取得する楽譜データ取得ステップと、
   演奏データ取得手段によって、演奏データを取得する演奏データ取得ステップと、
   楽譜分布データ作成手段によって、楽譜データ取得ステップで取得された楽譜データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した楽譜分布データを作成する楽譜分布データ作成ステップであって、該楽譜分布データは、当該楽譜データに対応する本来のメッシュポイントに所定の重みが付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重みが付与されたものである楽譜分布データ作成ステップと、
   演奏分布データ作成手段によって、演奏データ取得ステップで取得された演奏データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した演奏分布データを作成する演奏分布データ作成ステップであって、該演奏分布データは、当該演奏データに対応する本来のメッシュポイントにのみ所定の重みが付与されたものである演奏分布データ作成ステップと、
   マッチング処理手段によって、演奏分布データ作成ステップで作成された演奏分布データに対して楽譜分布データ作成ステップで作成された楽譜分布データを時間軸方向にずらした複数の位置において、両分布データ間で各メッシュポイント毎にマッチングを演算するマッチング処理ステップと、
   マッチング位置決定手段によって、マッチング処理ステップにおけるマッチング演算の結果に基づいて、両分布データが最もよくマッチングする位置を求めるマッチング位置決定ステップと、
   対応付け手段によって、マッチング位置決定ステップで求められた位置から得られる演奏データ及び楽譜データ間のずれに基づいて前記演奏データと楽譜データとの対応付けを行う対応付けステップと
   を備えることを特徴とする演奏データ及び楽譜データの処理方法。
6. 前記マッチング処理ステップは、
   楽譜データ中から繰返し記号の存在を検出するステップと、
   繰返し記号の存在を検出したとき、繰返しを反映した第１楽譜分布データ及び繰返しを省略した第２楽譜分布データを楽譜分布データとして供給するステップと、
   第１及び第２楽譜分布データに対する演奏分布データのマッチング演算の結果に基づいて、前記演奏データが繰返し記号を反映させているか否かを判定するステップと
   を含むことを特徴とする請求項４又は請求項５に記載の演奏データ及び楽譜データの処理方法。
7. 楽譜データを取得する楽譜データ取得ステップと、
   演奏データを取得する演奏データ取得ステップと、
   楽譜データ取得ステップで取得された楽譜データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した楽譜分布データを作成する楽譜分布データ作成ステップであって、該楽譜分布データは、当該楽譜データに対応する本来のメッシュポイントに所定の重みが付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重みが付与されたものである楽譜分布データ作成ステップと、
   演奏データ取得ステップで取得された演奏データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した演奏分布データを作成する演奏分布データ作成ステップであって、該演奏分布データは、当該演奏データに対応する本来のメッシュポイントにのみ所定の重みが付与されたものである演奏分布データ作成ステップと、
   演奏分布データ作成ステップで作成された演奏分布データに対して楽譜分布データ作成ステップで作成された楽譜分布データを時間軸方向にずらした複数の位置において、両分布データ間で各メッシュポイント毎にマッチングを演算するマッチング処理ステップと、
   マッチング処理ステップにおけるマッチング演算の結果に基づいて、両分布データが最もよくマッチングする位置を求めるマッチング位置決定ステップと、
   マッチング位置決定ステップで求められた位置を演奏データ及び楽譜データ間のずれとして出力するデータ出力ステップと
   から成る手順をコンピュータに実行させるプログラムを記録していることを特徴とする演奏データ及び楽譜データの処理のための記録媒体。
8. 楽譜データを取得する楽譜データ取得ステップと、
   演奏データを取得する演奏データ取得ステップと、
   楽譜データ取得ステップで取得された楽譜データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した楽譜分布データを作成する楽譜分布データ作成ステップであって、該楽譜分布データは、当該楽譜データに対応する本来のメッシュポイントに所定の重みが付与され、本来のメッシュポイントの周辺にあるメッシュポイントに、時間軸方向及び音高軸方向毎の必要なずれ許容度に応じた所定の重みが付与されたものである楽譜分布データ作成ステップと、
   演奏データ取得ステップで取得された演奏データについて、時間軸及び音高軸から成る二次元空間のメッシュポイント上に音情報を展開した演奏分布データを作成する演奏分布データ作成ステップであって、該演奏分布データは、当該演奏データに対応する本来のメッシュポイントにのみ所定の重みが付与されたものである演奏分布データ作成ステップと、
   演奏分布データ作成ステップで作成された演奏分布データに対して楽譜分布データ作成ステップで作成された楽譜分布データを時間軸方向にずらした複数の位置において、両分布データ間で各メッシュポイント毎にマッチングを演算するマッチング処理ステップと、
   マッチング処理ステップにおけるマッチング演算の結果に基づいて、両分布データが最もよくマッチングする位置を求めるマッチング位置決定ステップと、
   マッチング位置決定ステップで求められた位置から得られる演奏データ及び楽譜データ間のずれに基づいて前記演奏データと楽譜データとの対応付けを行う対応付けステップと
   から成る手順をコンピュータに実行させるプログラムを記録していることを特徴とする演奏データ及び楽譜データの処理のための記録媒体。

Images