JP4225812B2

JP4225812B2 - ディジタル楽譜の音符とその楽譜のリアリゼーションとの間のリンクを生成する方法

Info

Publication number: JP4225812B2
Application number: JP2003082227A
Authority: JP
Inventors: ヴァーナー・クライヒバウム; ゲルハルト・ステンツェル
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2002-04-09
Filing date: 2003-03-25
Publication date: 2009-02-18
Anticipated expiration: 2023-03-25
Also published as: US20030188626A1; US6768046B2; JP2003308067A

Description

【０００１】
【発明の属する技術分野】
本発明は、音楽のディジタル表現の分野、および利用者がその音楽の選択されたリアリゼーションを入力することを可能にする技術に関する。
【０００２】
【従来の技術】
今日のオーディオ・データのほとんどは、専門家レベルにおいても消費者レベルにおいても、ディジタル・フォーマットで配布され、記憶されている。これによって、オーディオ・ファイルの伝送およびオーディオ・ファイルの修正など、録音済みオーディオ材料の一般的な取り扱いが大幅に改善されている。
【０００３】
オーディオ・データ・ファイル間をナビゲートするための技術も開発されている。例えば、コンパクト・ディスク（ＣＤ）のナビゲーション手段として、トラック数および時間が使用されている。プログラム・セグメント間をナビゲートするための、またそれ以外にオーディオ・ファイルを処理するための、様々な高度技術が、従来技術から知られている。
【０００４】
米国特許第６，１９９，０７６号は、動的プログラム選択コントローラを含むオーディオ・プログラム・プレイヤを示している。これは、ホストから受け取ったプログラム・セグメントを再生するための加入者位置にある再生ユニットと、プログラム・セグメント間でインタラクティブにナビゲートするためのメカニズムを含む。
【０００５】
米国特許第５，３９３，９２６号は、仮想音楽システムである。これには、利用者が演奏すると、それに応答して複数の信号を生成するマルチエレメント・アクチュエータが含まれている。このシステムはまた、制御信号に応答してオーディオ・トーンを生成するオーディオ・シンセサイザを備えている。マルチエレメント・アクチュエータのために楽譜を記憶するメモリがあり、記憶された楽譜は、一続きの主音、および関連する一続きの和声音配列を含む。一続きの和声音配列のそれぞれは、主音の異なる１つに対応し、和声音を含まないか、あるいは１つまたは複数の和声音を含む。この楽器はまた、マルチエレメント・アクチュエータから複数の信号を受け取り、それらから第１の制御信号のセットを生成するディジタル・プロセッサも含む。ディジタル・プロセッサは、記憶されている楽譜中の一続きの主音の中から、複数の信号のうち第１の信号に対応する主音を識別するようにプログラムされている。ディジタル・プロセッサはまた、複数の信号の残りのセットを、選択された主音に関連する和声音があるならばどのような和声音にもマップするようにプログラムされている。さらに、ディジタル・プロセッサは、識別した主音、および複数の信号のうちの信号がマップされた前記和声音から、第１の制御信号のセットを生成するようにプログラムされている。この第１の制御信号セットは、シンセサイザに、識別した主音およびマップされた和声音を表すサウンドを生成させる。
【０００６】
米国特許第５，３９０，１３８号は、オーディオ・オブジェクトを様々なマルチメディア・オブジェクトに接続することによって、記憶装置およびディスプレイを備えたコンピュータを用いた、マルチメディア・プレゼンテーションのオブジェクト指向シミュレーションを可能にするためのシステムである。少なくとも１つの接続オブジェクトおよび少なくとも１つのオーディオ・オブジェクトを含む、複数のマルチメディア・オブジェクトがディスプレイ上に作成される。少なくとも１つのオーディオ・オブジェクトを含む、マルチメディア・オブジェクトが表示される。マルチメディア・オブジェクトおよびオーディオ・オブジェクトは、マルチメディア・プレゼンテーションを生成する。
【０００７】
米国特許第５，３８８，２６４号は、ＭＩＤＩ（楽器ディジタル・インターフェース）オブジェクトを様々なマルチメディア・オブジェクトに接続することによって、記憶装置およびディスプレイを備えたコンピュータを用いた、マルチメディア・プレゼンテーションのオブジェクト指向シミュレーションを可能にするためのシステムである。記憶装置中の少なくとも１つの接続オブジェクトおよび少なくとも１つのＭＩＤＩオブジェクトを含む、複数のマルチメディア・オブジェクトがディスプレイ上に作成される。マルチメディア・オブジェクトとＭＩＤＩオブジェクトが接続され、それらの間で情報が送られて、マルチメディア・プレゼンテーションが生成される。
【０００８】
米国特許第５，３１７，７３２号は、データ処理システム中で実行されるプロセスであって、第１のメモリから第２のメモリに再配置すべき、複数のマルチメディア・プレゼンテーションのうちの１つを選択する入力を受け取るステップ、選択されたマルチメディア・プレゼンテーションに対応する複数のリソースを認識するために選択されたマルチメディア・プレゼンテーションのリンクされているデータ構造を走査するステップ、および識別した複数のリソースに対応する選択されたマルチメディア・プレゼンテーション内の名前および位置のリストを生成するステップを含む。このプロセスはまた、生成したリストの上の名前を変えるステップ、選択されたマルチメディア・プレゼンテーション中の識別した複数のリソースの名前を生成したリスト上の新しい名前に変更するステップ、および選択されたマルチメディア・プレゼンテーションと、生成したリスト上で識別したリソースを第２のメモリに移動するステップを含む。
【０００９】
米国特許第５，２６２，９４０号は、ポータブル・オーディオ／オーディオ・ビジュアル媒体追跡デバイスである。
【００１０】
米国特許第５，２４７，１２６号は、画像再生装置、画像情報記録媒体、および伴奏装置である。
【００１１】
米国特許第５，２０８，４２１号は、ＭＩＤＩファイルのオーディオ編集のための方法および装置である。この発明を利用することによって、マッチするノート・オンまたはノート・オフ・メッセージをファイルまたはファイル・セクション中に自動的に挿入して、そのような編集によって生じた不一致を修正することにより、ソースＭＩＤＩファイル、コピーまたは除去されたセクション、またはターゲット・ファイルの完全性を確実にすることができる。さらに、プログラム・ステータス・メッセージが、ソース・ファイル、コピーまたは除去されたセクション、またはターゲット・ファイル中に自動的に挿入されることによって、ディジタル・オーディオ・データを編集することにより得ることができる結果と一致する結果が生み出される。利用者が複雑なＭＩＤＩシーケンサを学ぶ必要なく、ＭＩＤＩファイルを選択的に編集することができるように、タイミング情報が選択的に追加または維持される。
【００１２】
米国特許第５，１５３，８２９号は、情報処理装置である。この発明は、入力される楽譜、キーボード、および楽音時間情報を、画面上に表示するためのユニットを有する。また、キーボードおよび楽音時間情報が、表示ユニット上にそれぞれに表示される位置を指定するためのユニットもある。さらに、この発明は、キーボードおよび楽音時間情報表示が表示ユニット上に表示される位置を指定ユニットが指定することによって生成された音楽情報を記憶するためのユニットを含む。さらに、表示ユニットの画面上で楽譜、キーボード、および楽音時間情報の表示を制御するためのユニットがある。このユニットはまた、楽音のパターン、または表示ユニット上の楽譜の残りの部分の表示を、それぞれ、指定ユニットによって指定されたキーボードおよび楽音時間情報の位置に従って、制御するためのものでもある。最後に、記憶ユニット中に記憶されている音楽情報を読み込むことによって、楽音を生成するためのユニットがある。
【００１３】
米国特許第５，１４２，９６１号は、アコースティック楽器の特性を忠実に再生する、システム制御による楽器上で、音楽を記憶、編曲、操作、および再生するための方法である。このシステムは、音楽源、中央処理装置（ＣＰＵ）、および、任意の数のアコースティックまたはアコースティック・ハイブリッドの楽器という形の、ＣＰＵ制御による複数の楽器トランスデューサを含む。一実施形態では、パフォーマンス情報が、音楽源、ＭＩＤＩコントローラからＣＰＵに送られ、ＣＰＵ中で編集され、電子信号に変換され、トランスデューサ・ドライバによって楽器トランスデューサに送られる。別の実施形態では、ディジタルまたはサウンド・テープ媒体中に記憶されている個々のパフォーマンスが、楽器トランスデューサを通して再生され、または、記憶、編集またはＣＰＵにおけるパフォーマンスのためのピッチ／周波数検出デバイスによって、ＭＩＤＩデータに変換される。さらに別の実施形態では、パフォーマンス情報がピッチ／周波数検出デバイスによって電子記録媒体またはライブ・パフォーマンスから抽出され、ＣＰＵ中で編集され、電子信号に変換され、任意の数の楽器トランスデューサに送られる。このデバイスはまた、アコースティック楽器によくある遅延の問題も解消する。
【００１４】
米国特許第５，０８３，４９１号は、ソレノイド作動のプレイヤ・ピアノ・システム上で再生するために、ＭＩＤＩフォーマットで録音された音楽演奏の中に含まれている表現効果をソレノイド作動の音楽生成器上で再現するための方法および装置である。検出された、ＭＩＤＩ録音中に含まれる打音速度情報は、復号され、制御側マイクロプロセッサ中に記憶されている打音マップと相互に関連付けられる。打音マップは、所望の音楽表現効果に対応するデータを含む。固定された幅および振幅の時間識別パルスが、打音マップ中のデータに従って作動ソレノイドに向けられ、次には作動ソレノイドがピアノ線を打つ。その後、均一の振幅および周波数のパルスが作動ソレノイドに向けられ、音符の終わりまでその打音を維持する。打音マップは、打音が持続している間ずっと、ソレノイドの位置を動的に制御して、ソレノイドの動作およびピアノの鍵盤の動きの非線形特性を補正し、それによって、オリジナルの音楽パフォーマンスの本物通りの再生を提供する。
【００１５】
米国特許第５，０４６，００４号は、音楽を再生し、その音楽の歌詞を表示するための、コンピュータおよびキーボードを用いたシステムである。音楽を再生し、歌詞を表示するためのデータは、バイナリコード化されたディジタル信号で構成されている。このような信号は、公衆通信回線を介してダウンロードされる。あるいは、複数の曲や歌に対応するデータが前もって装置に記憶されていて、その記憶されているデータが、コンピュータの中央処理装置によって選択的に処理される。インストルメンタル音楽データには、歌詞データの処理を促進するためのトリガ信号が存在し、それによって、音楽の再生および歌詞の表示が互いにリンクされる。このようにして再生された音楽は、バックグラウンド・ミュージックとして、または、利用者がそのような音楽の再生と同調して表示される歌詞を見ながら、その伴奏に合わせて歌うことができるようにするために利用される。
【００１６】
米国特許第４，７４４，２８１号は、互いに別々に再生される、少なくとも２つの結合されたパートで構成された、１曲が録音されているメモリ・ディスクを用いるアンサンブル再生動作モードの操作を備えた自動音楽プレイヤ・システムであり、前記パートは少なくとも２つのデータ・サブブロックの形で録音されている。前記自動音楽プレイヤ・システムは、機械的または電子的に起動されると機械的にサウンドを生成する第１のサウンド・ジェネレータと、電子的に起動されると電子的にサウンドを生成する少なくとも１つの第２のサウンド・ジェネレータと、第１および第２のサウンド・ジェネレータに接続されたコントロール・ユニットとを含む。ディスクから読み取られるデータの２つまたはそれ以上のサブブロックのうち１つは別のものとは区別され、データ・サブブロックのその区別された１つは第１のサウンド・ジェネレータに伝送され、別のデータ・サブブロックは第２のサウンド・ジェネレータに伝送される。さらに、第２のサウンド・ジェネレータへのデータの伝送は、継続的に、第１のサウンド・ジェネレータへのデータの伝送より所定の時間だけ遅らされ、そのため、２つのサウンド・ジェネレータは、同時に、かつ互いに呼応してサウンドを生成することが可能になる。
【００１７】
オーディオ・データ間をナビゲートすることは、面倒かつ著しく正確さに欠けるという点が、従来技術の共通する欠点である。
【００１８】
【発明が解決しようとする課題】
したがって、本発明の一態様は、ディジタル楽譜の音符とその楽譜のリアリゼーションの間のリンクを生成するための改良された方法、および対応するコンピュータ・プログラム製品を提供することである。さらに、本発明は、改良されたナビゲーション機能を備えた電子オーディオ・デバイスを提供する。
【００１９】
【課題を解決するための手段】
本発明は、１音楽の表現と、その音楽の録音されているオーディオ・データ（以下、リアリゼーションともいう）の間のリンクを作成することを可能にする。これによって、ディジタル楽譜のある音符を選択することによって、その選択した音符から、リアリゼーションの再生を自動的に開始することができる。
【００２０】
本発明の好ましい実施形態によれば、ディジタル楽譜が、コンピュータのモニタ上で視覚化される。利用者は、グラフィカル・ユーザ・インターフェースを使って、そのディジタル楽譜のある音符を選択することができる。例えば、これは、コンピュータ・マウスを使って、音符の上を「クリックする」ことによって行うことができる。このようにして、その音符に関連付けられたリンクが選択される。このリンクは、利用者が選択した音符に対応する、その音楽の録音リアリゼーションのある位置を示す。さらに、音符を選択することによって、その選択した音符に関連付けられているリンクが示す位置から、リアリゼーションの再生を開始する信号が、自動的に生成される。
【００２１】
本発明のさらなる好ましい実施形態によれば、ディジタル楽譜を分析して、その音楽中の顕著なオーディオ・イベントを決定する。これは、楽譜のすべての音符をその時間単位の整数倍数として表現することを可能にする時間単位を選択することによってなされる。このようにして、時間軸が論理時間間隔に分割される。
【００２２】
時間間隔それぞれにおける、楽譜のオンセットの数を決定する。これによって、長い時間にわたるオンセットの数が得られる。このオンセット曲線をフィルタにかける。オンセット曲線をフィルタにかける一方法は、オンセット曲線に閾値を適用することである。これは、時間間隔のオンセットの合計のうち、事前定義した閾値を超えないものを、オンセット曲線から取り除くことを意味する。このようにして、顕著ではないオーディオ・イベントはフィルタによって除去される。
【００２３】
フィルタにかけたオンセット曲線は、閾値以上のオンセット合計数を有する時間間隔系列を決定する。この時間間隔系列を、音楽の録音リアリゼーション中の同じオーディオ・イベントを表す、対応する時間間隔系列と位置合わせする。
【００２４】
本発明の好ましい一実施形態によれば、録音リアリゼーションのオーディオ信号の信号強度をある閾値と比較することによって、該録音リアリゼーションについての時間間隔系列を決定する。強度が閾値以下に落ちると、対応する時間間隔がその時間間隔系列に選択される。
【００２５】
本発明のさらなる好ましい実施形態によれば、表現およびリアリゼーションの時間間隔系列のマッピングを、その２つ系列の間のハウスドルフ距離を最小にすることによって行う。
【００２６】
フェリックス・ハウスドルフ（Felix Hausdorff）（１８６８〜１９４２）は、距離空間のサブセット間の距離関数を考案した。定義によれば、２つのセットは、一方のセットのいずれかの点がもう一方のセットのある点から距離ｄの範囲内にある場合、互いからハウスドルフ距離ｄの範囲内にある。
【００２７】
２つの点のセットを、Ａ＝｛ａ１，．．．，ａｍ｝、およびＢ＝｛ｂ１，．．．，ｂｎ｝と仮定すると、ハウスドルフ距離は以下のように定義される。
Ｈ（Ａ，Ｂ）＝ｍａｘ（ｈ（Ａ，Ｂ），ｈ（Ｂ，Ａ））（１）
ここで、
【数１】

【００２８】
関数ｈ（Ａ，Ｂ）をＡからＢに向かうハウスドルフ「距離」と呼ぶ（この関数は対称ではなく、したがって真の距離ではない）。それは、Ｂの任意の点から最も遠い点ａ∈Ａを識別し、ａから、Ｂ中の最もａに近い点までの距離を測定する。したがって、ハウスドルフ距離、Ｈ（Ａ，Ｂ）は、Ｂの任意の点から最も遠いＡの点、またＡの任意の点から最も遠いＢの点までの距離を反映するので、２つのセット間のずれの程度を測定する。直感的にわかるように、ハウスドルフ距離がｄの場合、Ａのすべての点はＢのある点から距離ｄの範囲内になければならず、またＢのすべての点はＡのある点から距離ｄの範囲内になければならない。
【００２９】
楽譜の分析およびリアリゼーションの分析によって得られた２つの時間間隔系列を、その２つの時間間隔のセットの間のハウスドルフ距離が最小になるまで、互いに対して移動させる。このようにして、２つの時間系列の時間間隔のペアが決定される。したがって、各ペアについて、特定の時間間隔に属する音符がリアリゼーションのある時点上にマップされて、音符とリアリゼーションの録音の対応する位置との間にリンクが形成される。
【００３０】
マッピング操作を実施するための別の方法は、２つの時間間隔系列を相互相関関数が最大値になるまで互いに対して移動させる方法である。２つの系列が最も一致する位置を見つけるためのその他の数学的方法を使用することができる。
【００３１】
【発明の実施の形態】
図１は、ディジタル楽譜の音符とその楽譜のリアリゼーションの間のリンクを作成するための方法の概略図である。ステップ１で、ディジタル楽譜を入力する。ステップ２で、ディジタル楽譜をフィルタにかけて、その音楽の有意なオンセットを決定する。これは、すべての声部の音符オンセットの回数を合計し、その結果得られた時系列をクリップして、録音中にマスキングされる可能性がある有意ではない音符のオンセットを除外することによって行われることができる。このようにして、ディジタル楽譜は、有意な音符オンセットを有する時間間隔系列に変換される。
【００３２】
一方、ステップ３で、その楽譜によって表される音楽のリアリゼーションのアナログまたはディジタルの録音を入力する。ステップ４で、その録音を変化検出器によって分析する。変化検出器の目的は、録音内のオーディオ信号が有意な変化する時間間隔を識別することである。
【００３３】
一実施形態では、変化検出器が、オーディオ信号の時間領域内で動作する。好ましい一実施形態では、変化検出器が、録音されているオーディオ信号の総合強度に基づいている。信号が事前定義の閾値レベルを超えると、対応する信号ピークがオンセットであるとして定義される。このようにして、有意なオンセットを有する時間間隔系列が作成される。
【００３４】
本発明の別の実施形態では、変化検出器が周波数領域で動作する。これについては、図５に関して詳細に説明する。
【００３５】
ステップ５では、ステップ２および４で決定された時間間隔系列を、互いに対し位置合わせし、録音されているオーディオ信号とディジタル楽譜の中の対応するオンセットを決定する。ステップ６で、その２つの時間間隔系列中の対応するオンセット・イベントのペアを、リンクによって相互に関係付ける。好ましくは、それらのリンクを別々のリンク・ファイル中に記憶する。
【００３６】
図２は、ディジタル楽譜の例（ジョゼフ・ハイドン、交響曲Ｈｏｂ．Ｉ−１）を示す。このディジタル楽譜を、ＭＩＤＩファイルまたは同様のディジタル楽譜フォーマットの形で記憶することができる。利用者がコンピュータ・マウス上をクリックすることによってそのディジタル楽譜の個々の音符を選択できるように、ディジタル楽譜が、グラフィカル・ユーザ・インターフェースを備えたコンピュータ画面上に表示される。
【００３７】
ディジタル楽譜の下に、離散タイム・スケールを有する時間軸７がある。時間軸７は、いくつかの時間間隔に分けられている。好ましくは、時間軸７のスケールを、楽譜のすべての音符がこのような時間間隔の整数倍数として表現され得るように選択する。
【００３８】
この離散時間軸をミリ秒の時間軸に変換するために、楽譜の時間間隔の合計を楽譜のリアリゼーションの継続時間と等しくすることによって、この間隔に倍率をかける。この好ましいケースでは、前述の時間間隔が時点に変換される。ここで考慮している例では、この時間間隔が１６分音符である。
【００３９】
図２の例で示すように、この時間間隔の各倍数について、その時に開始する音符の数が数えられ、累積されて、オンセット曲線を生成する。時間ｔ１において、この時に開始する音符の合計数は、ｎ１＝８である。引き続く時間間隔ｔ２では、次の時間間隔ｔ３と同様、音符オンセット合計数は、ｎ２＝２である。
【００４０】
このようにして、ディジタル楽譜全体を走査して、時間軸７の時間間隔それぞれにおいて開始する楽譜の音符の数を求める。これによって、図２の図に描かれている点によって表されたオンセット曲線が生成される。
【００４１】
図３は、オンセット曲線のさらなる処理を示す。合計オンセット値ｎは、閾値８と比較される。閾値８よりも下の合計オンセット値ｎはすべて廃棄される。曲線の残っている点が、有意なオンセットの系列９を構成するいくつかの時間間隔を決定する。
【００４２】
図４は、対応する流れ図を示す。
【００４３】
ステップ１０で、ディジタル楽譜が入力される。ステップ１１で、楽譜のすべての音符を時間単位の整数倍数として表現することができるように、時間軸に対して適切な時間単位が自動的に選択される。このようにして、時間軸は、いくつかの時間間隔に分けられる。
【００４４】
ステップ１２および１３で、各時間間隔のオンセットをすべての音声部の所与の時間間隔内のオンセットを合計することによって求める。好ましくは、合計プロセスのためのオンセットにそれぞれの動的値で重みを付けて、それらの音符がフォルテで演奏されるようにする。
【００４５】
ステップ１４で、録音中にマスキングされる可能性がある有意ではないオンセット・イベントをフィルタにより除去するために、フィルタ関数が適用される。
【００４６】
ステップ１５で、フィルタにかけたオンセット曲線を、ポイント・プロセス、すなわち、楽譜内の有意なオーディオ・イベントを表す時間間隔系列に変換する。
【００４７】
図５は、周波数領域中の変化検出器（図１のステップ４参照）の一実施形態を示す。
【００４８】
ステップ１６で、そのディジタル楽譜のリアリゼーションが入力される。ステップ１７では、時間周波数分析が実施される。好ましくは、これは、短時間高速フーリエ変換（ＦＦＴ）によって行われる。このようにして、時間軸（図２の時間軸７を参照）の時間間隔のそれぞれについて、周波数スペクトルが得られる。
【００４９】
ステップ１８で、時間周波数分析によって得られた三次元データの「リッジ」又は「クレスト・ライン」が識別される。このような「リッジ」を識別する１つの方法として、従来技術（米国特許第５，４６３，６９８号）や時間周波数分布のクレイジ・クライマ・アルゴリズム（crazy climber algorithms to the time-frequency distribution）［Rene Carmona他、PracticalTime-Frequency Analysis、アカデミック・プレス社、ニューヨーク、１９８８］から知られるように、時間周波数分析によって提供されるデータに対して三次元watershed変換（three dimensional watershed transform）を実施する方法が挙げられる。
【００５０】
ステップ１９で、各リッジの開始点が識別される。各開始点は、時間間隔の１つに属する。このようにして、時間間隔系列が決定される。これを、リアリゼーションのオンセット曲線について説明したように、フィルタにかけることができる。
【００５１】
ステップ２０で、上記に説明したように、リアリゼーションおよび楽譜の間隔の時系列が相互に関連付けられる。ステップ２１で、楽譜の音符からその音楽の録音リアリゼーション内の位置へポインタを使ってリンクを生成し、そして該リンク・データを含むリンク・ファイルが作成される。
【００５２】
図６は、電子デバイス２２のブロック図を示す。電子デバイスは、マルチメディア機能、ＣＤまたはＤＶＤプレイヤ、あるいは別のオーディオ・デバイスを備えたパーソナル・コンピュータであってよい。デバイス２２はプロセッサ２３を備え、リアリゼーション２４、表現２５、およびリンク・ファイル２６を記憶するための記憶手段を有する。
【００５３】
さらに、電子デバイス２２は、グラフィック・ユーザ・インターフェース２７、およびオーディオ出力のためのスピーカ２８を備えている。プロセッサ２３は、表現２５を、グラフィカル・ユーザ・インターフェース２７上に表示される楽譜の形でレンダする役割を果たす。さらに、プロセッサ２３は、楽譜のリアリゼーション２４を再生する役割を果たす。
【００５４】
操作中、利用者はグラフィカル・ユーザ・インターフェース２７を介して、楽譜の音符を選択することができる。プロセッサ２３は、応答して、リンク・ファイル２６にアクセスし、ユーザが選択した音符に関連付けられたリンクを読み込む。このリンクは、リンクによって識別された位置からリアリゼーション２４の再生を開始することを可能にする、リアリゼーション２４へのアクセス・ポイントを提供する。再生は、スピーカ２８から出力される。
【００５５】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００５６】
（１）ディジタル楽譜の音符と前記楽譜のリアリゼーションとの間のリンクを生成する方法であって、
連続する時間間隔で始まる楽譜の音符の数を決定することによって、オンセット曲線を表す第１のデータを生成するステップと、
前記オンセット曲線をフィルタにかけるステップであって、フィルタにかけられた前記オンセット曲線が第１の時間間隔の第１の系列を表し、前記第１の時間間隔のそれぞれは有意な数のオンセットを有する、前記オンセット曲線をフィルタにかけるステップと、
前記リアリゼーションについて第２の時間間隔の第２の系列を生成するステップであって、各第２の時間間隔は前記リアリゼーションの有意な動的変化を有する、前記リアリゼーションについて第２の時間間隔の第２の系列を生成するステップと、
前記リンクを生成するために、前記第１および第２の系列をマッピングするステップと
を含む、方法。
（２）前記ディジタル楽譜の音符のすべてのオンセットが、離散時間間隔の整数倍で表され得るように、離散時間間隔を有する離散時間軸を選択するステップをさらに含む、上記（１）に記載の方法。
（３）前記オンセット曲線をフィルタにかけるステップが、前記第１のデータを閾値と比較するステップを含む、上記（１）または（２）に記載の方法。
（４）前記第２の系列が、前記リアリゼーションの強度がその中において前記閾値よりも上に高まる第２の時間間隔を決定することによって生成される、上記（１）、（２）または（３）に記載の方法。
（５）前記第２の時間間隔の第２の系列の前記決定が、
前記リアリゼーションの時間周波数分析を実施するステップと、
時間周波数領域におけるリッジを識別するステップと、
前記リッジのそれぞれについて開始点を識別するステップと、
前記開始点のそれぞれについて第２の時間間隔を決定するステップと
を含む、上記（１）ないし（４）のいずれか一項に記載の方法。
（６）前記マッピングするステップが、前記第１および第２の系列のハウスドルフ距離を最小にすることによって実施される、上記（１）ないし（５）のいずれか一項に記載の方法。
（７）前記マッピングするステップが、前記第１および第２の系列の相互相関係数を最大にすることによって実施される、上記（１）ないし（５）のいずれか一項に記載の方法。
（８）前記第１のデータが、各音符の終点を表す、上記（５）ないし（７）のいずれか一項に記載の方法。
（９）各リッジの終点が開始点として使用される、上記（５）ないし（８）のいずれか一項に記載の方法。
（１０）上記（１）ないし（９）のいずれか一項に従った方法を実施するためのコンピュータ・プログラム製品。
（１１）ディジタル楽譜のリアリゼーション（２４）および表現（２５）と、前記ディジタル楽譜の表現の音符と前記リアリゼーションとの間のリンクを含むリンク・ファイル（２６）とを処理する手段（２３）を含む電子デバイスであって、前記リンクが、上記（１）ないし（８）のいずれか一項に記載の方法に従って生成される電子デバイス。
（１２）利用者の音符またはリンクあるいはその両方の選択を入力する手段をさらに含む、上記（１１）に記載の電子デバイス。
（１３）前記リアリゼーションの再生を、前記利用者の選択に対応する第２の時間間隔で開始する手段をさらに含む、上記（１１）または（１２）に記載の電子デバイス。
【図面の簡単な説明】
【図１】本発明の方法の好ましい実施形態を示す図である。
【図２】ディジタル楽譜のオンセット曲線がどのように決定されるかを一例として示す図である。
【図３】オンセット曲線の閾値処理、および対応する時間間隔系列の決定を示す図である。
【図４】ディジタル楽譜の表現について時間間隔系列を決定するための好ましい実施形態を示す図である。
【図５】楽譜のリアリゼーションについて時系列を決定するための好ましい実施形態を示す図である。
【図６】電子デバイスの好ましい実施形態のブロック図である。
【符号の説明】
７時間軸
８閾値
９系列
２２電子デバイス
２３プロセッサ
２４リアリゼーション
２５表現
２６リンク・ファイル
２７ユーザ・インターフェース
２８スピーカ

Claims

ディジタル楽譜の音符と前記ディジタル楽譜のリアリゼーションとの間のリンクを生成する方法であって、
コンピュータに、
ディジタル楽譜を走査して、前記ディジタル楽譜の第１の時間間隔それぞれにおいて開始する音符の数を決定することによって、オンセット曲線を表す第１のデータを生成するステップであって、前記オンセット曲線は、時間軸と、前記時間軸の前記第１の時間間隔それぞれにおいて開始する音符の数であるオンセット値とを有する、前記第１のデータを生成するステップと、
前記オンセット曲線上のオンセット値を閾値と比較して、該閾値よりも下のオンセット値を廃棄するフィルタにかけるステップであって、フィルタ後のオンセット曲線は、前記廃棄されなかったオンセット値を有する第２の時間間隔を有する、前記フィルタにかけるステップと、
前記ディジタル楽譜の前記リアリゼーションについて、時間周波数分析を使用して、前記第１の時間間隔のそれぞれにおける周波数スペクトルを生成するステップと、
前記第２の時間間隔の夫々において、前記ディジタル楽譜からのフィルタ後のオンセットを前記リアリゼーションからの周波数スペクトル上のリッジの開始点と関係付けて、リンクを生成するステップであって、前記関連付けは、前記第２の時間間隔と前記リッジの開始点夫々から求められる時間間隔との間のハウスドルフ距離が最小になるように又は前記第２の時間間隔と前記リッジの開始点夫々から求められる時間間隔との間の相互相関関数が最大になるように行われる、前記生成するステップと
を実行させる、前記方法。
ディジタル楽譜の音符と前記ディジタル楽譜のリアリゼーションとの間のリンクを生成するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
コンピュータに、
ディジタル楽譜を走査して、前記ディジタル楽譜の第１の時間間隔それぞれにおいて開始する音符の数を決定することによって、オンセット曲線を表す第１のデータを生成するステップであって、前記オンセット曲線は、時間軸と、前記時間軸の前記第１の時間間隔それぞれにおいて開始する音符の数であるオンセット値とを有する、前記第１のデータを生成するステップと、
前記オンセット曲線上のオンセット値を閾値と比較して、該閾値よりも下のオンセット値を廃棄するフィルタにかけるステップであって、フィルタ後のオンセット曲線は、前記廃棄されなかったオンセット値を有する第２の時間間隔を有する、前記フィルタにかけるステップと、
前記ディジタル楽譜の前記リアリゼーションについて、時間周波数分析を使用して、前記第１の時間間隔のそれぞれにおける周波数スペクトルを生成するステップと、
前記第２の時間間隔の夫々において、前記ディジタル楽譜からのフィルタ後のオンセットを前記リアリゼーションからの周波数スペクトル上のリッジの開始点と関係付けて、リンクを生成するステップであって、前記関連付けは、前記第２の時間間隔と前記リッジの開始点夫々から求められる時間間隔との間のハウスドルフ距離が最小になるように又は前記第２の時間間隔と前記リッジの開始点夫々から求められる時間間隔との間の相互相関関数が最大になるように行われる、前記生成するステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
ディジタル楽譜の音符と前記ディジタル楽譜のリアリゼーションとの間のリンクを生成するコンピュータであって、
ディジタル楽譜を走査して、前記ディジタル楽譜の第１の時間間隔それぞれにおいて開始する音符の数を決定することによって、オンセット曲線を表す第１のデータを生成する手段であって、前記オンセット曲線は、時間軸と、前記時間軸の前記第１の時間間隔それぞれにおいて開始する音符の数であるオンセット値とを有する、前記第１のデータを生成する手段と、
前記オンセット曲線上のオンセット値を閾値と比較して、該閾値よりも下のオンセット値を廃棄するフィルタにかける手段であって、フィルタ後のオンセット曲線は、前記廃棄されなかったオンセット値を有する第２の時間間隔を有する、前記フィルタにかける手段と、
前記ディジタル楽譜の前記リアリゼーションについて、時間周波数分析を使用して、前記第１の時間間隔のそれぞれにおける周波数スペクトルを生成する手段と、
前記第２の時間間隔の夫々において、前記ディジタル楽譜からのフィルタ後のオンセットを前記リアリゼーションからの周波数スペクトル上のリッジの開始点と関係付けて、リンクを生成する手段であって、前記関連付けは、前記第２の時間間隔と前記リッジの開始点夫々から求められる時間間隔との間のハウスドルフ距離が最小になるように又は前記第２の時間間隔と前記リッジの開始点夫々から求められる時間間隔との間の相互相関関数が最大になるように行われる、前記生成する手段と
を含む、前記コンピュータ。