JPH0736455A

JPH0736455A - 音楽イベントインデックス作成装置

Info

Publication number: JPH0736455A
Application number: JP5181475A
Authority: JP
Inventors: Naoki Shibata; 直樹柴多; Andorea Karoini; アンドレアカロイニ
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1993-07-22
Filing date: 1993-07-22
Publication date: 1995-02-07
Anticipated expiration: 2012-07-30
Also published as: JP2636685B2

Abstract

(57)【要約】【目的】マルチメディアソフトウェア制作時に必要と
なる、ＣＤなどに収録された音楽の中での音符などの演
奏時刻と、楽譜上での位置の対応の情報を自動的に作成
する。【構成】スペクトル作成部１３はオーディオの一区間
から音階毎のパワースペクトルを作成し、楽譜窓部１７
は時間方向に展開された楽譜情報の一区間を取りだし、
スペクトル合成部１１０は楽譜データと、楽器・音域別
に用意された倍音スペクトルパターンを用い、該当区間
の予想スペクトルを合成出力し、マッチング部１８は、
スペクトル作成部１３とスペクトル合成部１１０の出力
を比較し、両者の差異が小さくなった場合のセグメント
窓部１２の中心時刻を出力し、マッチング結果記録部１
９はその時刻を楽譜データ入力部１６の対応する音符に
合わせて記録し、マッチング制御部１４はマッチング部
１８の結果がマッチング不十分時にはセグメント窓を時
間軸の増加方向に移動して再度マッチングを試み、また
十分マッチする場合には楽譜窓、セグメント窓を移動さ
せる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＣＤやＤＡＴなどのメ
ディアに記録された演奏と、それに対応する楽譜との間
の、時刻的な対応関係を抽出する装置に関する。

【０００２】

【従来の技術】近年、記録デバイスの高密度大容量化な
どにともなって、コンピュータのマルチメディア化が進
み、テキスト情報の他に音声や動画などをコンピュータ
で取り扱う機会が増えている。それらのメディアを統合
的に使用する際には、時刻進行型のメディア、例えば音
楽や動画などの間で同期をとる場合が多い。

【０００３】その中で、特に音楽については古来よりの
表現として楽譜があり、現代でも広く音楽の情報を記述
する方法として用いられている。表現方法のもう一つの
代表としては演奏のオーディオ信号記録があるが、楽譜
と演奏の間には時間及び時刻についての差が存在する。
楽譜と音声メディアとの間の同期には、楽譜に記述され
ている音楽イベントと演奏の中での位置の対応付けが必
要であるが、現状では、手動で対応する時刻を計測する
ケースが多い。そのため、マルチメディアを有効に用い
た音楽パッケージソフト、特に音楽と譜面をはじめとす
るメディアとを結合したソフトを作成する際に大きな問
題となっている。

【０００４】楽譜上の音楽イベントと演奏の対応を求め
る方法としては高見らの方法（ピアノ演奏における演奏
情報の抽出、電子情報通信学会論文誌Ｄ−ＩＩＶｏ
ｌ．Ｊ７２−Ｄ−ＩＩＮｏ．６，９１７頁から９２６
頁、以下文献１）がある。文献１では、対象をピアノに
限定して、楽譜上の音符表現と演奏における揺らぎの抽
出を行なっており、その副次的な結果として、ある音符
の楽譜上と演奏中の位置の対応が得られている。ただ
し、文献１で用いられている方法では、楽器がピアノに
限定されていること、また音の立ち上がり及び立ち下が
りを求めるための余分な計算時間がかかっていた。

【０００５】対象楽器の単一楽器への限定は、和音が演
奏された時に、個々の音程を同定しやすくするための条
件である。しかし、オーケストラをはじめとして、複数
種類の楽器による演奏も多数存在するために、楽器の限
定は実用性を欠く。また、楽器に依存しない複数音程認
識としては、従来あらかじめ演奏内容が与えられないと
いう前提で得られる精度の低いものしかなく、また、計
算量も多かった。

【０００６】

【発明が解決しようとする課題】本発明の目的は、対象
楽器の範囲をピアノ以外にも拡大し、また、少ない計算
量で楽譜と演奏の対応抽出を行なう装置を提供すること
にある。

【０００７】

【課題を解決するための手段】本発明の音楽イベントイ
ンデックス作成装置は、音楽を記録した録音メディア上
の演奏と該演奏に対応する音譜上の音符の時刻的対応及
びその一を検出する装置であって、演奏のオーディオ信
号を入力するオーディオデータ入力手段と、前記オーデ
ィオデータ入力手段から得られるデータのうちの時間的
に一部を選択出力するセグメント窓部と、前記セグメン
ト窓部の出力するデータから周波数スペクトルを作成す
るスペクトル作成部と、利用者が楽譜を入力する楽譜デ
ータ入力手段と、前記楽譜データ入力手段に与えられる
データから時刻的に一部を選択出力する楽譜窓部と、前
記楽譜窓部が出力する部分楽譜に対応する周波数スペク
トルを合成するスペクトル合成部と、前記スペクトル作
成部が出力する計算スペクトルと前記スペクトル合成部
が出力する合成スペクトルを整合するマッチング部と、
前記マッチング部の整合結果により前記セグメント窓部
と前記楽譜窓部のうち少なくとも一方の窓を移動させる
マッチング制御部と、前記マッチング部が出力する対応
時刻情報を記録するマッチング記録部とを有することを
特徴とする。

【０００８】

【作用】本発明の基本的な原理は、オーディオ記録から
得られた周波数スペクトルと楽譜から求める周波数スペ
クトルを比較することで従来問題であった音程同定問題
を回避して整合させることにある。また、音程同定を行
なわないことで、従来音程同定にかかっていた計算を全
て省略でき、結果として計算時間も短くなる。

【０００９】

【実施例】図１は本発明による音楽インデックス作成装
置の一実施例を示すブロック図である。

【００１０】利用者は、Ａ／Ｄデータ入力手段１１に楽
曲の演奏をデジタイズしたオーディオデータを与え、楽
譜データ生成手段１５には対応する楽譜情報を与える。
与えるべきオーディオデータとしては、例えば、音楽Ｃ
Ｄなどの記録データ、ＤＡＴなどに収録したデータがあ
る。また、与えられるべき楽譜データとしては、反復な
どの記号を含んだ譜面の電子表現やＭＩＤＩデータなど
が考えられる。

【００１１】セグメント窓部１２では、Ａ／Ｄデータ入
力手段１１に与えられたオーディオデータの一区間を取
り出し出力する。

【００１２】スペクトル作成部１３ではセグメント窓部
１２が出力するデータから音階毎のパワースペクトルを
作成する。パワースペクトルを作成する方法としては、
フーリエ変換や自己相関係数など、既知の方法がある。

【００１３】楽譜データ入力部１６では楽譜データ生成
手段１５に与えられた楽譜情報から、反復などの音楽表
現記号を音階・強さ・タイミング・楽器の種類などを時
間方向に展開した表現へ変換する。

【００１４】楽譜窓部１７では楽譜データ入力部１６で
変換した表現のうち、時刻的に一区間を取りだし出力す
る。

【００１５】スペクトル合成部１１０では楽譜窓部１７
から出力される楽譜データと、あらかじめ楽器別・音域
別に用意された倍音スペクトルパターンを用いて、該当
する区間の予想スペクトルパターンを合成して出力す
る。また、倍音スペクトルパターンとして、時刻推移に
伴う倍音構成の変化に対応してスペクトルパターンを用
いることも可能である。

【００１６】マッチング部１８では、スペクトル作成部
１３とスペクトル合成部１１０が出力するスペクトルを
比較し両者の差異があらかじめ定められたより小さくな
った場合を十分マッチングした状態、それ以外の場合を
マッチング不十分な状態と判断する。マッチング十分時
にはセグメント窓部１２で設けたセグメント窓の中心に
相当する時刻を出力する。

【００１７】マッチング結果記録部１９はマッチング部
１８が出力する時刻を楽譜データ入力部の対応する音符
に合わせてメモリあるいは外部記憶装置に記録する。

【００１８】マッチング制御部１４はマッチング部１８
のマッチング結果に従い、マッチング不十分にはセグメ
ント窓を時間軸の増加方向に移動して再度マッチングを
試み、また十分マッチする場合には楽譜窓、セグメント
窓を移動させる。

【００１９】マッチング部１８は、例えば、図２の
（ａ），（ｂ），（ｃ）それぞれに示す構成で実現す
る。

【００２０】（ａ）においては、スペクトル作成部１３
及びスペクトル合成部１１０より得られるスペクトルを
ベクトルとみなした場合の距離、例えばユークリッド距
離を距離比較部２１で計算し、あらかじめ用意されたし
きい値と比較した場合の数値の大小でマッチングを行な
う。

【００２１】（ｂ）においては、スペクトル作成部１３
およびスペクトル合成部１１０それぞれの出力を一定期
間バッファリングするリングバッファとして演奏スペク
トルバッファ２２と楽譜スペクトルバッファ２３が用意
され、その両者を用いてＤＰマッチング部２４でＤＰマ
ッチングを行なうことで両スペクトルのマッチングを取
る。ＤＰマッチングについては、例えば、文献「音声情
報処理の基礎」１８７頁から１９０頁（オーム社刊）に
詳しい。ＤＰマッチングでは標準パターン及び比較する
対象のベクトルの距離関数が必要であるが、これには例
えば両者をそれぞれ正規化したベクトルの内積の絶対値
を単位ベクトルの大きさから引いた数値などを整合のた
めの評価関数として用いる。

【００２２】（ｃ）においては、演奏スペクトルバッフ
ァ２２と同様な演奏スペクトルバッファ２５、および、
楽譜スペクトルバッファ２３と同様な楽譜スペクトルバ
ッファ２７が存在している。音符密度計算部２６は、楽
譜の単位時間あたりの密度に応じてセグメント窓部１２
で求めるスペクトルのセグメント窓の移動長を決定し、
マッチング制御部１４を通じてスペクトルを計算する頻
度を制御し、最終的にはスペクトル作成部１３及びスペ
クトル合成部１１０に接続された両バッファ部を用いて
（ｂ）と同様にＤＰマッチング部２８においてＤＰマッ
チングを用いてマッチングを行なう。

【００２３】次に、動作時の処理の流れについて、図３
に示す波形に対応するディジタル入力と図４に示す楽譜
入力とをマッチングさせる場合について説明する。ここ
で、上記（ａ），（ｂ），（ｃ）のそれぞれを用いた実
施例においては、動作タイミングを制御しているマッチ
ング制御部はマッチング部とインタラクティブな制御関
係にある。そのため、個々の部分の動作は同じでも全体
のタイミングが異なり得るため、以下に（ａ），
（ｂ），（ｃ）を用いた場合それぞれについて全体の動
作タイミングを説明する。

【００２４】まず、マッチング部１８が図２（ａ）の構
成である場合について説明する。

【００２５】１．動作開始時には、使用者はＡ／Ｄデー
タ入力手段１１に、演奏のオーディオ信号を量子化した
データを時刻順に与える。また、使用者は楽譜データ生
成手段１５には、該データとマッチングを取るべき楽譜
情報を与える。与えられた楽譜情報は楽譜データ入力部
１６に与えられた楽譜データを、本装置での処理に適し
た形式に変換する。処理に適した形式とは、すなわち、
与えられた楽譜の情報のうち、少なくとも音程の情報、
発音される絶対または相対的な時刻および時間の情報を
含む形式である。その他の情報、例えば演奏楽器などの
種類は適宜取捨して変換する。具体的な形式の一つとし
ては、たとえば標準ＭＩＤＩファイルフォーマットがあ
げられる。図５に図４を標準ＭＩＤＩファイルフォーマ
ットに変換した例を示す。ただし、図５は、標準ＭＩＤ
Ｉファイルフォーマットのタイプ０またはタイプ１のＭ
Ｔｒｋチャンクのみを示している。ここで、楽器の種類
を指定する場合には、ＭＴｒｋチャンクの先頭にＦＦ０
４より始まるメタイベントとして楽器名を記述すること
ができる。なお、標準ＭＩＤＩファイルフォーマットの
詳細は、株式会社リットーミュージック刊”キーボード
マガジン”誌第１４巻１２号別冊”スタンダードＭＩＤ
Ｉファイル・ハンドブック”に詳しい。

【００２６】２．Ａ／Ｄデータ入力手段１１及び楽譜デ
ータ生成手段１５にデータが揃った後に、マッチング部
１８は、マッチング制御部１４に対し、Ａ／Ｄデータの
最初のセグメントの出力要求、及び楽譜データの最初の
音の出力要求を発行する。

【００２７】３．マッチング制御部１４では、受けとっ
た要求をそれぞれ、セグメント窓部１２、楽譜窓部１７
に送った後、マッチング部１８が出力するマッチング結
果を待つ。

【００２８】４．セグメント窓部１２では、要求に基づ
き、Ａ／Ｄデータ入力手段１１から得られるデータの最
初のセグメントをスペクトル作成部１３へと出力する。
この時のセグメントの大きさは、あらかじめシステム内
で指定しておくか、もしくは使用者が直接または間接的
に装置に指定しておくものとする。スペクトル作成部１
３では、セグメント窓部１２から受け取ったセグメント
についてのパワースペクトルを計算し、マッチング部１
８に出力する。

【００２９】５．一方、楽譜窓部１７では、受けとった
要求に基づき、最初の音について少なくとも、音程のデ
ータを、スペクトル合成部１１０へ出力する。この時に
は、元の楽譜情報または楽譜データ入力部で識別された
音程以外の情報をスペクトル合成部１１０へ適宜取捨出
力する。また、複数パートによる演奏など、一般に和音
として扱われる情報は、同一時刻で鳴っているもの全て
をスペクトル合成部１１０に渡す。スペクトル合成部１
１０では、楽譜窓部１７より得られた音程情報及び付加
的な情報を用いて予想パワースペクトルを合成し、マッ
チング部１８へ出力する。この時、楽譜窓部１７より渡
された付加的な情報が楽器の種類や音色を指定している
場合には、それに応じて倍音スペクトルパターンを用い
て予想スペクトルパターンを作成する。また、この時、
スペクトル合成部１１０は、内部状態として用いたスペ
クトルパターンと、その発音の譜面上での時刻を記録す
る。このタイミングは以降、新たなスペクトルを合成す
る際に用いられる。

【００３０】６．マッチング部１８は、スペクトル作成
部１３とスペクトル合成部１１０からそれぞれパワース
ペクトル、予想パワースペクトルを受け取り、両者のマ
ッチングを行なう。この結果がマッチしない場合には、
マッチング部１８は、マッチング制御部１４にマッチン
グ結果を返し、スペクトル作成部１１０からの新しいデ
ータを持つ。結果がマッチした場合の動作については以
下の８で後述する。

【００３１】７．マッチング制御部１４は、マッチング
結果がマッチしなかった場合には、セグメント窓部１２
に対しセグメント窓移動の要求を出す。セグメント窓部
１２では、あらかじめ設定された移動量だけ、時間軸の
増加方向に移動させて、新しいセグメントをスペクトル
作成部１３に出力する。スペクトル作成部１３では、直
前の場合と同様にパワースペクトルを計算し、新たなパ
ワースペクトルをもとめ、マッチング部１８へと出力す
る。マッチング１８では、新たに得られたパワースペク
トルと、予想スペクトルのマッチングを行なう。この結
果が異なっていた場合は、マッチング制御部１４にマッ
チング結果を返して、スペクトル作成部１１０からの新
しいデータを持ち、７を繰り返す。最終的にはマッチン
グ結果が整合を示すまで、セグメント窓の移動とスペク
トル作成を繰り返す。整合するセグメントが演奏データ
から得られる前に演奏データがなくなる場合には、動作
を終了する。

【００３２】８．結果がマッチした場合には、演奏デー
タ先頭から測った該セグメントの先頭の時刻と、楽譜窓
部１７で扱っている音程データの時刻を元の楽譜情報の
先頭より測った時刻としてマッチング記録部１９に出力
する。出力完了の後、マッチング部１８はマッチング制
御部１４にマッチの結果を返し、新たなパワースペクト
ル及び予想パワースペクトルを要求し、動作は３からの
繰り返しになる。

【００３３】ここで、データが終了して、楽譜窓もしく
はセグメント窓の移動が不可能になった場合には動作を
終了する。データの終了まで、上記の操作を繰り返すこ
とで、マッチング記録部１９には演奏データ中での時刻
と、楽譜上での位置のペアが、次々と得られていくこと
になる。

【００３４】次に、マッチング部１８が図２（ｂ）の構
成である場合について説明する。

【００３５】１．動作開始時には、（ａ）の場合と同様
に、使用者はＡ／Ｄデータ入力手段１１に、演奏のオー
ディオ信号を量子化したデータを時刻順に与える。ま
た、使用者は楽譜データ生成手段１５には、該データと
マッチングを取るべき楽譜情報を与える。与えられた楽
譜情報は楽譜データ入力部１６に与えられた楽譜データ
を、本装置での処理に適した、（ａ）の場合と同様な形
式に変換する。

【００３６】２．Ａ／Ｄデータ入力手段１１及び楽譜デ
ータ生成手段１５にデータが揃った後に、マッチング部
１８は、マッチング制御部１４に対し、Ａ／Ｄデータの
先頭から数セグメント分のセグメントの出力要求、及び
楽譜データの最初からいくつか分の音の出力要求を発行
する。これらのセグメント数及び音数はあらかじめシス
テム内に設定しておくか、ユーザが動作開始時に楽譜デ
ータなどと合わせて入力するものとする。

【００３７】３．マッチング制御部１４では、受けとっ
た要求をそれぞれ、セグメント窓部１２、楽譜窓部１７
に送った後、マッチング部１８が出力するマッチング結
果を待つ。

【００３８】４．セグメント窓部１２では、Ａ／Ｄデー
タ入力手段１１から得られるセグメントを、要求にされ
た数だけ、順にスペクトル作成部１３へと出力する。こ
の時のセグメントの大きさは、あらかじめシステム内に
設定しておくか、もしくは使用者が直接または間接的に
装置に設定しておくものとする。スペクトル作成部１３
では、セグメント窓部１２から受け取ったセグメント毎
にパワースペクトルを計算し、順にマッチング部１８に
出力する。

【００３９】５．一方、楽譜窓部１７では、受けとった
要求に基づき、少なくとも、音程のデータを、スペクト
ル合成部１１０へ出力する。この時には、元の楽譜情報
または楽譜データ入力部で識別された音程以外の情報を
スペクトル合成部１１０へ適宜取捨出力する。また、複
数パートによる演奏など、一般に和音として扱われる情
報は、同一時刻で鳴っているもの全てをスペクトル合成
部１１０に渡す。スペクトル合成部１１０では、楽譜窓
部１７より得られた音毎に、音程情報及び付加的な情報
を用いて予想パワースペクトルを合成し、マッチング部
１８へ順に出力する。この時、楽譜窓部１７より渡され
た付加的な情報が楽器の種類や音色を指定している場合
には、（ａ）の場合に準じて予想スペクトルパターンを
作成する。また、この時、スペクトル合成部１１０は、
内部状態として用いたスペクトルパターンと、その発音
の譜面上での時刻を記録する。このタイミングは以降、
新たな異なる時間タイミングのスペクトルを合成する際
に用いられ、主に時間経過によるパワー減衰を実現する
ために用いられる。

【００４０】６．マッチング部１８は、スペクトル作成
部１３とスペクトル合成部１１０からそれぞれパワース
ペクトル列、予想パワースペクトル列を受け取り、両者
のＤＰマッチングを行なう。この時、あらかじめ定めら
れたセグメント数及び音数がそろうまではマッチング動
作を開始しない。ＤＰマッチングの結果、パワースペク
トル列の末尾二つ以上が予想パワースペクトルの一点に
集中するなど、それぞれのスペクトル列の長さが不足し
ている場合には、マッチング部１８は、マッチング制御
部１４にマッチング結果を返し、パワースペクトルと予
想パワースペクトルの少なくともどちらかについて、少
なくとも一つ以上のデータの追加を要求し、要求データ
の到着を待つ。それ以外の場合の動作については８で後
述する。

【００４１】７．マッチング制御部１４は、マッチング
の結果、それぞれのスペクトル列の長さが不足していた
場合には、マッチング部からの要求に基づき、セグメン
ト窓部１２および楽譜窓部１７に対し、それぞれセグメ
ント窓移動の要求と楽譜窓移動の要求を出す。セグメン
ト窓部１２では、あらかじめ設定された移動量だけ、時
間軸の増加方向に移動させて、新しいセグメントをスペ
クトル作成部１３に出力する。スペクトル作成部１３で
は、直前の場合と同様にパワースペクトルを計算し、新
たなパワースペクトルをもとめ、マッチング部１８へと
出力する。要求があったセグメント数だけ、これら一連
のセグメント窓移動及びパワースペクトルの計算を、要
求数だけ繰り返す。マッチング部１８では、新たに得ら
れたパワースペクトルと、新たに得られた予想パワース
ペクトルを、それまでに受けとっていたそれぞれのスペ
クトル列に付加し、再度ＤＰマッチングを行なう。この
結果、スペクトル列の長さがやはり不足している場合
は、マッチング制御部１４にマッチング結果を返し、さ
らに新しい追加データを持って７を繰り返す。最終的に
はマッチング結果が整合を示すまで、セグメント窓の移
動とスペクトル作成を繰り返す。整合するセグメントが
演奏データから得られる前に演奏データがなくなる場合
には、動作を終了する。

【００４２】８．結果がマッチした場合には、マッチし
たそれぞれペアについて、演奏データ先頭から測った該
セグメントの先頭の時刻と、楽譜窓部１７で扱っている
音程データの時刻を元の楽譜情報の先頭より測った時刻
としてマッチング記録部１９に出力する。出力完了の
後、マッチング部１８は、出力が済んだペアをパワース
ペクトル列と予想パワースペクトル列からそれぞれ取り
除き、その後マッチング制御部１４にマッチの結果を返
し、各パワースペクトル列が、あらかじめ定めた長さよ
り長くなるまで、追加のパワースペクトル及び予想パワ
ースペクトルを要求し、３より繰り返す。

【００４３】ここで、データが終了して、楽譜窓もしく
はセグメント窓の移動が不可能になった場合には動作を
終了する。データの終了まで、上記の操作を繰り返すこ
とで、マッチング記録部１９には演奏データ中での時刻
と、楽譜上での位置のペアが、次々と得られていくこと
になる。

【００４４】次に、マッチング部１８が図２（ｃ）の構
成である場合について説明する。

【００４５】１．動作開始時には、（ａ），（ｂ）の場
合と同様に、使用者はＡ／Ｄデータ入力手段１１に、演
奏のオーディオ信号を量子化したデータを時刻順に与え
る。また、使用者は楽譜データ生成手段１５には、該デ
ータとマッチングを取るべき楽譜情報を与える。与えら
れた楽譜情報は楽譜データ入力部１６に与えられた楽譜
データを、本装置での処理に適した、（ａ）の場合と同
様な形式に変換する。

【００４６】２．Ａ／Ｄデータ入力手段１１及び楽譜デ
ータ生成手段１５にデータが揃った後に、マッチング部
１８は、マッチング制御部１４に対し、Ａ／Ｄデータの
先頭から数セグメント分のセグメントの出力要求、及び
楽譜データの最初からいくつか分の音の出力要求を発行
する。これらのセグメント数及び音数はあらかじめシス
テム内に設定しておくか、ユーザが動作開始時に入力す
るものとする。

【００４７】３．マッチング制御部１４では、受けとっ
た要求をそれぞれ、セグメント窓部１２、楽譜窓部１７
に送った後、マッチング部１８が出力するマッチング結
果を待つ。

【００４８】４．セグメント窓部１２では、要求に基づ
き、Ａ／Ｄデータ入力手段１１から得られるデータのセ
グメントを順にスペクトル作成部１３へと出力する。こ
の時のセグメントの大きさは、あらかじめシステム内で
指定しておくか、もしくは使用者が直接または間接的に
装置に指示しておくものとする。スペクトル作成部１３
では、セグメント窓部１２から受け取ったセグメント毎
にパワースペクトルを計算し、順にマッチング部１８に
出力する。

【００４９】５．一方、楽譜窓部１７では、受けとった
要求に基づき、少なくとも、音程のデータを、スペクト
ル合成部１１０へ出力する。この時には、元の楽譜情報
または楽譜データ入力部で識別された音程以外の情報を
スペクトル合成部１１０へ適宜取捨出力する。また、複
数パートによる演奏など、一般に和音として扱われる情
報は、同一時刻で鳴っているもの全てをスペクトル合成
部１１０に渡す。スペクトル合成部１１０では、楽譜窓
部１７より得られた音毎に、音程情報及び付加的な情報
を用いて予想パワースペクトルを合成し、マッチング部
１８へ順に出力する。この時、楽譜窓部１７より渡され
た付加的な情報が楽器の種類や音色を指定している場合
には、（ａ），（ｂ）の場合に準じて予想スペクトルパ
ターンを作成する。また、この時、スペクトル合成部１
１０は、内部状態として用いたスペクトルパターンと、
その発音の譜面上での時刻を記録する。このタイミング
は以降、新たな異なる時間タイミングのスペクトルを合
成する際に用いられ、主に時間経過によるパワーの減衰
を実現するために用いられる。

【００５０】６．マッチング部１８は、スペクトル作成
部１３とスペクトル合成部１１０からそれぞれパワース
ペクトル列、予想パワースペクトル列を受け取り、両者
のＤＰマッチングを行なう。この時、あらかじめ定めら
れたセグメント数及び音数がそろうまではマッチング動
作を開始しない。ＤＰマッチング結果、パワースペクト
ル列中の一点が予想パワースペクトル列の多点に対応し
ている場合には、該当するパワースペクトル中の点の前
後のフレーム周期を短くして、再度ＤＰマッチングを行
う為に、音符密度計算部２６では、対応している予想パ
ワースペクトル列中の点の数を求め、その数を基に新た
なフレーム周期を求める。例えば、パワースペクトルＣ
（ｔ）と予想パワースペクトルＰ（ｔ），Ｐ（ｔ＋
１），・・・Ｐ（ｔ＋ｎ−１），ｔ，ｎは自然数が対応
しているならば、Ｐ（ｔ−１）及びＰ（ｔ＋１）との間
をそれぞれｎ分割したフレーム周期を用いる。その後、
マッチング部１８は、マッチング制御部１４にマッチン
グ結果を返し、フレーム周期を短くしたデータを要求
し、その到着を待つ。また特に（ｂ）の場合と同様に、
どちらかのパワースペクトル列の末尾で多対一対応して
いた場合には、少なくとも一つ以上のデータの追加を要
求する。

【００５１】それ以外の場合の動作については８で後述
する。

【００５２】７．マッチング制御部１４は、マッチング
の結果、多対一対応、それぞれのスペクトル列の長さが
不足していた場合には、マッチング部からの要求に基づ
き、セグメント窓部１２および楽譜窓部１７に対し、そ
れぞれセグメント窓移動の要求と楽譜窓移動の要求を出
す。セグメント窓部１２では、マッチング部１８からマ
ッチング制御部１４を通して設定された位置で、同じく
指定された移動量だけ、時間軸の増加方向に移動させ
て、フレーム周期を短くしたセグメントをスペクトル作
成部１３に出力する。さらに、追加のセグメントについ
ても同様に処理する。スペクトル作成部１３では、直前
の場合と同様にパワースペクトルを計算し、新たなパワ
ースペクトルをもとめ、マッチング部１８へと出力す
る。要求があったセグメント数だけ、これら一連のセグ
メント窓移動及びパワースペクトル計算を繰り返す。一
方、楽譜窓についても、楽譜窓移動と予想パワースペク
トルの計算を、要求数だけ繰り返す。マッチング部１８
では、新たに得られたパワースペクトルと、新たに得ら
れた予想パワースペクトルを、それまでに受けとってい
たそれぞのスペクトル列の該当部分と置き換え、あるい
は付加し、再度ＤＰマッチングを行なう。この結果、ス
ペクトル列の長さがやはり不足している場合は、あるい
は、多対一対応がみられた場合には、マッチング制御部
１４にマッチング結果を返し、さらに新しい追加データ
を持って７を繰り返す。最終的にはマッチング結果が整
合を示すまで、セグメント窓の移動とスペクトル作成を
繰り返す。整合するセグメントが演奏データから得られ
る前に演奏データがなくなる場合には、動作を終了す
る。

【００５３】８．結果がマッチした場合には、マッチし
たそれぞれのペアについて、演奏データ先頭から測った
該セグメントの先頭の時刻と、楽譜窓部１７で扱ってい
る音程データの時刻を元の楽譜情報の先頭より測った時
刻としてマッチング記録部１９に出力する。出力完了の
後、マッチング部１８は、出力が済んだペアをパワース
ペクトル列と予想パワースペクトル列からそれぞれ取り
除き、その後マッチング制御部１４にマッチの結果を返
し、各パワースペクトル列が、あらかじめ定めた長さよ
り長くなるまで、追加のパワースペクトル及び予想パワ
ースペクトルを要求し、３より繰り返す。

【００５４】ここで、データが終了して、楽譜窓もしく
はセグメント窓の移動が不可能になった場合には動作を
終了する。データの終了まで、上記の操作を繰り返すこ
とで、マッチング記録部１９には演奏データ中での時刻
と、楽譜上での位置のペアが、次々と得られていくこと
になる。

【００５５】

【発明の効果】以上の発明によれば、楽譜と実際の演奏
の記録との間で、時刻的な対応を自動的に作成していく
ことができる。またスペクトルを直接比較することによ
り、複合音の場合にも自動作成ができ、さらに、時間的
対応が分離不十分の部分のみを再計算することにより、
従来よりも高速に計算することができる。

【図面の簡単な説明】

【図１】本発明の音楽インデックス作成装置の一実施例
のブロック図である。

【図２】本発明の実施例としてあげたマッチング部の実
施例のブロック図である。

【図３】本発明の実施例で用いたディジタル入力波形図

【図４】本発明の実施例で用いた楽譜

【図５】本発明の実施例で用いた標準ＭＩＤＩファイル
フォーマット

【符号の説明】

１１Ａ／Ｄデータ入力手段１２セグメント窓部１３スペクトル作成部１４マッチング制御部１５楽譜データ生成手段１６楽譜データ入力部１７楽譜窓部１８マッチング部１９マッチング記録部１１０スペクトル合成部２１距離比較部２２演奏スペクトルバッファ２３楽譜スペクトルバッファ２４ＤＰマッチング部２５演奏スペクトルバッファ２６音符密度計算部２７楽譜スペクトルバッファ２８ＤＰマッチング部

Claims

【特許請求の範囲】

【請求項１】音楽を記録した録音メディア上の演奏と
該演奏に対応する楽譜上の音符の時刻的対応及びその位
置を検出する装置であって、演奏のオーディオ信号を入
力するオーディオデータ入力手段と、前記オーディオデ
ータ入力手段から得られるデータののうちの時間的に一
部を選択出力するセグメント窓部と、前記セグメント窓
部の出力するデータから周波数スペクトルを作成するス
ペクトル作成部と、利用者が楽譜を入力する楽譜データ
入力手段と、前記楽譜データ入力手段に与えられるデー
タから時刻的に一部を選択出力する楽譜窓部と、前記楽
譜窓部が出力する部分楽譜に対応する周波数スペクトル
を合成するスペクトル合成部と、前記スペクトル作成部
が出力する計算スペクトルと前記スペクトル合成部が出
力する合成スペクトルを整合するマッチング部と、前記
マッチング部の整合結果により前記セグメント窓部と前
記楽譜窓部のうち少なくとも一方の窓を移動させるマッ
チング制御部と、前記マッチング部が出力する対応時刻
情報を記録するマッチング記録部とを有することを特徴
とする音楽イベントインデックス作成装置。