JP4203308B2 - 楽曲構造検出装置及び方法 - Google Patents
楽曲構造検出装置及び方法 Download PDFInfo
- Publication number
- JP4203308B2 JP4203308B2 JP2002352865A JP2002352865A JP4203308B2 JP 4203308 B2 JP4203308 B2 JP 4203308B2 JP 2002352865 A JP2002352865 A JP 2002352865A JP 2002352865 A JP2002352865 A JP 2002352865A JP 4203308 B2 JP4203308 B2 JP 4203308B2
- Authority
- JP
- Japan
- Prior art keywords
- chord
- music data
- music
- partial
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
- G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/571—Chords; Chord sequences
- G10H2210/576—Chord progression
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Description
【発明が属する技術分野】
本発明は、楽曲の和音の時系列変化を示すデータに応じてその楽曲の構造を検出する楽曲構造検出装置及び方法に関する。
【0002】
【従来の技術】
ポピュラー音楽の楽曲においては、フレーズ(楽句)がイントロ、Aメロ、Bメロ、サビのように表現され、Aメロ、Bメロやサビの各フレーズは楽曲中で通常何回か繰り返される。楽曲中のいわゆる盛り上がり部分であるサビのフレーズは、ラジオやテレビの音楽番組やコマーシャルで最も演奏されるところである。このようなフレーズは放送する際にその楽曲音を実際に聴取して判断することが一般的である。
【0003】
【発明が解決しようとする課題】
ところで、楽曲のサビ等のフレーズがどのように繰り返されているかなどの楽曲全体の構造を知ることができれば、サビ部分に限らず、他の繰り返しフレーズ部分を容易に選択的に演奏することができる。しかしながら、従来、楽曲全体の構造を自動的に検出する装置はなく、上記したように利用者が実際に聴取して判断するしかなかった。
【0004】
そこで、本発明が解決しようとする課題には、上記の問題点が一例として挙げられ、繰り返し部分を含む楽曲の構造を簡単な構成で適切に検出することができる楽曲構造検出装置及び方法を提供することが本発明の目的である。
【0005】
【課題を解決するための手段】
本発明の楽曲構造検出装置は、楽曲の和音の時系列変化を示す和音進行楽曲データに応じてその楽曲の構造を検出する楽曲構造検出装置であって、前記和音進行楽曲データ中の各和音の位置から連続する所定数の和音からなる部分楽曲データを生成する部分楽曲データ生成手段と、前記部分楽曲データ各々と前記和音進行楽曲データとを前記和音進行楽曲データ中の各和音の位置から和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して前記複数の楽曲毎の類似度を算出する比較手段と、前記部分楽曲データ毎に前記比較手段によって算出された類似度各々に応じて類似度が所定値より高いピーク値となった前記和音進行楽曲データ中の和音の位置を検出する和音位置検出手段と、前記和音進行楽曲データ中の和音の位置毎に前記部分楽曲データ全てについて前記類似度が前記所定値より高いピーク値となった回数を算出し、その和音の位置毎の算出回数に応じて楽曲構造を示す検出出力を生成する出力手段と、を備えたことを特徴としている。
【0006】
本発明の楽曲構造検出装置は、楽曲の和音の時系列変化を示す和音進行楽曲データに応じてその楽曲の構造を検出する楽曲構造検出方法であって、前記和音進行楽曲データ中の各和音の位置から連続する所定数の和音からなる部分楽曲データを生成する部分楽曲データ生成ステップと、前記部分楽曲データ各々と前記和音進行楽曲データとを前記和音進行楽曲データ中の各和音の位置から和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して前記複数の楽曲毎の類似度を算出する比較ステップと、前記部分楽曲データ毎に前記比較ステップにおいて算出された類似度各々に応じて類似度が所定値より高いピーク値となった前記和音進行楽曲データ中の和音の位置を検出する和音位置検出ステップと、前記和音進行楽曲データ中の和音の位置毎に前記部分楽曲データ全てについて前記類似度が前記所定値より高いピーク値となった回数を算出し、その和音の位置毎の算出回数に応じて楽曲構造を示す検出出力を生成する出力ステップと、を備えたことを特徴としている。
【0007】
本発明のプログラムは、楽曲の和音の時系列変化を示す和音進行楽曲データに応じてその楽曲の構造を検出する方法を実行するコンピュータ読取可能なプログラムであって、前記和音進行楽曲データ中の各和音の位置から連続する所定数の和音からなる部分楽曲データを生成する部分楽曲データ生成ステップと、前記部分楽曲データ各々と前記和音進行楽曲データとを前記和音進行楽曲データ中の各和音の位置から和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して前記複数の楽曲毎の類似度を算出する比較ステップと、前記部分楽曲データ毎に前記比較ステップにおいて算出された類似度各々に応じて類似度が所定値より高いピーク値となった前記和音進行楽曲データ中の和音の位置を検出する和音位置検出ステップと、前記和音進行楽曲データ中の和音の位置毎に前記部分楽曲データ全てについて前記類似度が前記所定値より高いピーク値となった回数を算出し、その和音の位置毎の算出回数に応じて楽曲構造を示す検出出力を生成する出力ステップと、を備えたことを特徴としている。
【0008】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図1は本発明を適用した楽曲処理システムを示している。この楽曲処理システムは、楽曲入力装置1、操作入力装置2、和音解析装置3、データ蓄積装置4,5、一時記憶メモリ6、和音進行比較装置7、繰り返し構造検出装置8、表示装置9、楽曲再生装置10、ディジタル/アナログ変換装置11及びスピーカ12を備えている。
【0009】
楽曲入力装置1は和音解析装置3及びデータ蓄積装置5に接続され、ディジタル化されたオーディオ信号(例えば、PCMデータ)を再生する装置であり、例えば、CDプレーヤである。操作入力装置2は本システムに対してユーザが操作してデータや指令を入力するための装置である。操作入力装置2の出力は和音解析装置3、和音進行比較装置7、繰り返し構造検出装置8及び楽曲再生装置10に接続されている。データ蓄積装置4には楽曲入力装置1から供給された楽曲データ(PCMデータ)がファイルとして記憶される。
【0010】
和音解析装置3は、供給された楽曲データの和音を後述する和音解析動作によって解析する。一時記憶メモリ6には和音解析装置3によって解析された楽曲データの各和音が第1及び第2和音候補として一時的に記憶される。データ蓄積装置5には和音解析装置3によって解析されて和音進行楽曲データが楽曲毎にファイルとして記憶される。
【0011】
和音進行比較装置7は、データ蓄積装置5に記憶された和音進行楽曲データとその和音進行楽曲データ中の一部分である部分楽曲データとを後述するように比較して類似度を算出する。繰り返し構造検出装置8は和音進行比較装置7の比較結果を用いて楽曲の繰り返し部分を検出する。
表示装置9には繰り返し構造検出装置8によって検出された繰り返し部分を含む楽曲構造が表示される。
【0012】
楽曲再生装置10は、繰り返し構造検出装置8によって検出された繰り返し部分の楽曲データをデータ蓄積装置4から読み出して再生し、ディジタルオーディオ信号として順次出力する。ディジタル/アナログ変換装置11は楽曲再生装置10によって再生されたディジタルオーディオ信号をアナログオーディオ信号に変換してスピーカ12に供給する。
【0013】
和音解析装置3、和音進行比較装置7、繰り返し構造検出装置8及び楽曲再生装置10各々は操作入力装置2からの指令に応じて動作する。
次に、かかる構成の楽曲処理システムの動作について説明する。
ここでは楽曲入力装置1から出力される楽曲音を示すディジタルオーディオ信号が和音解析装置3に供給されたとする。
【0014】
上記した和音解析動作としては前処理、本処理及び後処理がある。和音解析装置3は前処理として周波数誤差検出動作を行う。
周波数誤差検出動作においては、図2に示すように、時間変数T及び帯域データF(N)が0に初期化され、更に変数Nの範囲が−3〜3の如く初期設定される(ステップS1)。入力ディジタル信号に対してフーリエ変換によって周波数変換を0.2秒間隔で行うことによって周波数情報f(T)が得られる(ステップS2)。
【0015】
今回のf(T)、前回のf(T−1)及び前々回のf(T−2)を用いて移動平均処理が行われる(ステップS3)。この移動平均処理では、0.6秒以内では和音が変化することが少ないという仮定で過去2回分の周波数情報が用いられる。移動平均処理は次式によって演算される。
f(T)=(f(T)+f(T−1)/2.0+f(T−2)/3.0)/3.0……(1)
ステップS3の実行後、変数Nが−3に設定され(ステップS4)、その変数Nは4より小であるか否かが判別される(ステップS5)。N<4の場合には、移動平均処理後の周波数情報f(T)から周波数成分f1(T)〜f5(T)が各々抽出される(ステップS6〜S10)。周波数成分f1(T)〜f5(T)は、(110.0+2×N)Hzを基本周波数とした5オクターブ分の平均律の12音のものである。12音はA,A#,B,C,C#,D,D#,E,F,F#,G,G#である。図3はA音を1.0とした場合の12音及び1オクターブ高いA音各々の周波数比を示している。ステップS6のf1(T)はA音を(110.0+2×N)Hzとし、ステップS7のf2(T)はA音を2×(110.0+2×N)Hzとし、ステップS8のf3(T)はA音を4×(110.0+2×N)Hzとし、ステップS9のf4(T)はA音を8×(110.0+2×N)Hzとし、ステップS10のf5(T)はA音を16×(110.0+2×N)Hzとしている。
【0016】
ステップS6〜S10の実行後、周波数成分f1(T)〜f5(T)は1オクターブ分の帯域データF'(T)に変換される(ステップS11)。帯域データF'(T)は、
F'(T)=f1(T)×5+f2(T)×4+f3(T)×3+f4(T)×2+f5(T)……(2)
の如く表される。すなわち、周波数成分f1(T)〜f5(T)各々は個別に重み付けされた後、加算される。1オクターブの帯域データF'(T)は、帯域データF(N)に加算される(ステップS12)。その後、変数Nには1が加算され(ステップS13)、そして、ステップS5が再度実行される。
【0017】
ステップS6〜S13の動作は、ステップS5においてNが4より小、すなわち−3〜+3の範囲であると判断される限り繰り返される。これによって音成分F(N)は−3〜+3の範囲の音程誤差を含む1オクターブ分の周波数成分となる。
ステップS5においてN≧4と判別された場合には、変数Tが所定値Mより小であるか否かが判別される(ステップS14)。T<Mの場合には、変数Tに1が加算され(ステップS15)、ステップS2が再度実行される。M回分の周波数変換による周波数情報f(T)に対して変数N毎の帯域データF(N)が算出される。
【0018】
ステップS14においてT≧Mと判別された場合には、変数N毎の1オクターブ分の帯域データF(N)のうちの各周波数成分の総和が最大値となるF(N)が検出され、その検出F(N)のNが誤差値Xとして設定される(ステップS16)。この前処理によって誤差値Xを求めることによってオーケストラの演奏音等の楽曲音全体の音程が平均律と一定の差をもっている場合に、それを補償して後述の和音解析の本処理を行うことができる。
【0019】
前処理の周波数誤差検出動作が終了すると、和音解析動作の本処理が行われる。なお、誤差値Xが既に分かっている場合やその誤差を無視できる場合には、前処理は省略しても良い。本処理では楽曲全部について和音解析が行われるために楽曲の最初の部分から入力ディジタル信号は和音解析装置3に供給されるとする。
【0020】
本処理おいては、図4に示すように、入力ディジタル信号に対してフーリエ変換によって周波数変換を0.2秒間隔で行うことによって周波数情報f(T)が得られる(ステップS21)。このステップS21が周波数変換手段に対応する。そして、今回のf(T)、前回のf(T−1)及び前々回のf(T−2)を用いて移動平均処理が行われる(ステップS22)。ステップS21及びS22は上記したステップS2及びS3と同様に実行される。
【0021】
ステップS22の実行後、移動平均処理後の周波数情報f(T)から周波数成分f1(T)〜f5(T)が各々抽出される(ステップS23〜S27)。上記したステップS6〜S10と同様に、周波数成分f1(T)〜f5(T)は、(110.0+2×N)Hzを基本周波数とした5オクターブ分の平均律の12音A,A#,B,C,C#,D,D#,E,F,F#,G,G#である。ステップS23のf1(T)はA音を(110.0+2×N)Hzとし、ステップS24のf2(T)はA音を2×(110.0+2×N)Hzとし、ステップS25のf3(T)はA音を4×(110.0+2×N)Hzとし、ステップS26のf4(T)はA音を8×(110.0+2×N)Hzとし、ステップS27のf5(T)はA音を16×(110.0+2×N)Hzとしている。ここで、NはステップS16で設定されたXである。
【0022】
ステップS23〜S27の実行後、周波数成分f1(T)〜f5(T)は1オクターブ分の帯域データF'(T)に変換される(ステップS28)。このステップS28も上記のステップS11と同様に式(2)を用いて実行される。帯域データF'(T)は各音成分を含むことになる。ステップS23〜S28が成分抽出手段に相当する。
【0023】
ステップS28の実行後、帯域データF'(T)中の各音成分のうちの強度レベルが大きいものから6音が候補として選択され(ステップS29)、その6音候補から2つの和音M1,M2が作成される(ステップS30)。候補の6音のうちから1つの音を根音(ルート)として3音からなる和音が作成される。すなわち6C3通りの組み合わせの和音が考慮される。各和音を構成する3音のレベルが加算され、その加算結果の値が最大となった和音が第1和音候補M1とされ、加算結果の値が2番目に大きい和音が第2和音候補M2とされる。
【0024】
帯域データF'(T)の各音成分が図5に示すように12音に対する強度レベルを示す場合には、ステップS29ではA,E,C,G,B,Dの6音が選択される。その6音A,E,C,G,B,Dのうちの3音から作成される3和音は、(A,C,E)からなる和音Am、(音C,E,G)からなる和音C、(音E,B,G)からなる和音Em、(音G,B,D)からなる和音G、……の如くである。和音Am(音A,C,E)の合計強度レベルは12、和音C(音C,E,G)の合計強度レベルは9、和音Em(音E,B,G)の合計強度レベルは7、和音G(音G,B,D)の合計強度レベルは4である。よって、ステップS30では和音Amの合計強度レベル12が最大となるので、第1和音候補M1として和音Amが設定され、和音Cの合計強度レベル7が2番目に大きいので、第2和音候補M2として和音Cが設定される。
【0025】
また、帯域データF'(T)の各音成分が図6に示すように12音に対する強度レベルを示す場合には、ステップS29ではC,G,A,E,B,Dの6音が選択される。その6音C,G,A,E,B,Dのうちの3音から作成される3和音は、(音C,E,G)からなる和音C、(A,C,E)からなる和音Am、(音E,B,G)からなる和音Em、(音G,B,D)からなる和音G、……の如くである。和音C(音C,E,G)の合計強度レベルは11、和音Am(音A,C,E)の合計強度レベルは10、和音Em(音E,B,G)の合計強度レベルは7、和音G(音G,B,D)の合計強度レベルは6である。よって、ステップS30では和音Cの合計強度レベル11が最大となるので、第1和音候補M1として和音Cが設定され、和音Amの合計強度レベル10が2番目に大きいので、第2和音候補M2として和音Amが設定される。
【0026】
和音を構成する音は3音に限らず、セブンスやディミニッシュセブンス等の4音もある。4音からなる和音に対しては図7に示すように3音からなる2つ以上の和音に分類されるとしている。よって、4音からなる和音に対しても3音からなる和音と同様に、帯域データF'(T)の各音成分の強度レベルに応じて2つの和音候補を設定することができる。
【0027】
ステップS30の実行後、ステップS30において設定された和音候補数があるか否かが判別される(ステップS31)。ステップS30では少なくとも3つの音を選択するだけの強度レベルに差がない場合には和音候補が全く設定されないことになるので、ステップS31の判別が行われる。和音候補数>0である場合には、更に、その和音候補数が1より大であるか否かが判別される(ステップS32)。
【0028】
ステップS31において和音候補数=0と判別された場合には前回T−1(約0.2秒前)の本処理において設定された和音候補M1,M2が今回の和音候補M1,M2として設定される(ステップS33)。ステップS32において和音候補数=1と判別された場合には今回のステップS30の実行では第1和音候補M1だけが設定されたので、第2和音候補M2は第1和音候補M1と同一の和音に設定される(ステップS34)。ステップS29〜S34が和音候補検出手段に相当する。
【0029】
ステップS32において和音候補数>1と判別された場合には今回のステップS30の実行では第1及び第2和音候補M1,M2の両方が設定されたので、時刻、第1及び第2和音候補M1,M2が一時記憶メモリ6に記憶される(ステップS35)。一時記憶メモリ6には図8に示すように時刻、第1和音候補M1、第2和音候補M2が1組となって記憶される。時刻は0.2秒毎に増加するTで表される本処理実行回数である。そのTの順に第1及び第2和音候補M1,M2が記憶される。
【0030】
具体的には、一時記憶メモリ6に各和音候補を図8に示したように1バイトで記憶させるために、基本音(根音)とその属性との組み合わせが用いられる。基本音には平均律の12音が用いられ、属性にはメジャー{4,3}、マイナー{3,4}、セブンス候補{4,6}及びディミニッシュセブンス(dim7)候補{3,3}の和音の種類が用いられる。{ }内は半音を1とした場合の3音の差である。本来、セブンス候補は{4,3,3}及びディミニッシュセブンス(dim7)候補{3,3,3}であるが、3音で示すために上記のように表示している。
【0031】
基本音の12音は図9(a)に示すように16ビット(16進表記)で表され、属性の和音の種類は同様に図9(b)に示すように16ビット(16進表記)で表される。その基本音の下位4ビットと属性の下位4ビットがその順に連結されて図9(c)に示すように8ビット(1バイト)として和音候補として用いられる。ステップS35はステップS33又はS34を実行した場合にもその直後に実行される。
【0032】
ステップS35の実行後、楽曲が終了したか否かが判別される(ステップS36)。例えば、ディジタルオーディオ信号の入力がなくなった場合、或いは操作入力装置2からの楽曲の終了を示す操作入力があった場合には楽曲が終了したと判断される。これによって本処理が終了する。
楽曲の終了が判断されるまでは変数Tに1が加算され(ステップS37)、ステップS21が再度実行される。ステップS21は上記したように0.2秒間隔で実行され、前回の実行時から0.2秒が経過して再度実行される。
【0033】
後処理においては、図10に示すように、一時記憶メモリ6から全ての第1及び第2和音候補がM1(0)〜M1(R)及びM2(0)〜M2(R)として読み出される(ステップS41)。0は開始時刻であり、開始時刻の第1及び第2和音候補がM1(0)及びM2(0)である。Rは最終時刻であり、最終時刻の第1及び第2和音候補がM1(R)及びM2(R)である。読み出された第1和音候補M1(0)〜M1(R)及び第2和音候補M2(0)〜M2(R)について平滑化が行われる(ステップS42)。この平滑化は和音の変化時点とは関係なく0.2秒間隔で和音候補を検出したことにより和音候補に含まれるノイズによる誤差を除去するために行われる。平滑化の具体的方法としては、3つの連続する第1和音候補M1(t−1),M1(t),M1(t+1)についてM1(t−1)≠M1(t)かつM1(t)≠M1(t+1)の関係が成立するか否かが判別され、その関係が成立する場合には、M1(t+1)にM1(t)は等しくされる。この判別は第1和音候補毎に行われる。第2和音候補についても同様の方法により平滑化は行われる。なお、M1(t+1)にM1(t)を等しくするのではなく、逆に、M1(t+1)をM1(t)に等しくしても良い。
【0034】
平滑化後、第1及び第2和音候補の入れ替え処理が行われる(ステップS43)。一般的に0.6秒のような短い期間には和音が変化する可能性は低い。しかしながら、信号入力段の周波数特性及び信号入力時のノイズによって帯域データF'(T)中の各音成分の周波数が変動することによって第1及び第2和音候補が0.6秒以内に入れ替わることが起きることがあり、これに対処するためにステップS43は行われる。第1及び第2和音候補が入れ替えの具体的方法としては、5つの連続する第1和音候補M1(t−2),M1(t−1),M1(t),M1(t+1),M1(t+2)及びそれに対応する5つの連続する第2和音候補M2(t−2),M2(t−1),M2(t),M2(t+1),M2(t+2)についての次の如き判別が実行される。すなわち、M1(t−2)=M1(t+2),M2(t−2)=M2(t+2),M1(t−1)=M1(t)=M1(t+1)=M2(t−2)及びM2(t−1)=M2(t)=M2(t+1)=M1(t−2)の関係が成立するか否かが判別される。この関係が成立する場合には、M1(t−1)=M1(t)=M1(t+1)=M1(t−2)及びM2(t−1)=M2(t)=M2(t+1)=M2(t−2)が定められ、M1(t−2)とM2(t−2)と間で和音の入れ替えが行われる。なお、M1(t−2)とM2(t−2)との間で和音の入れ替えに代えてM1(t+2)とM2(t+2)との間で和音の入れ替えを行っても良い。また、M1(t−2)=M1(t+1),M2(t−2)=M2(t+1),M1(t−1)=M1(t)=M1(t+1)=M2(t−2)及びM2(t−1)=M2(t)=M2(t+1)=M1(t−2)の関係が成立するか否かが判別される。この関係が成立する場合には、M1(t−1)=M1(t)=M1(t−2)及びM2(t−1)=M2(t)=M2(t−2)が定められ、M1(t−2)とM2(t−2)との間で和音の入れ替えが行われる。なお、M1(t−2)とM2(t−2)との間で和音の入れ替えに代えてM1(t+1)とM2(t+1)との間で和音の入れ替えを行っても良い。
【0035】
ステップS41において読み出された第1和音候補M1(0)〜M1(R)及び第2和音候補M2(0)〜M2(R)の各和音が、例えば、図11に示すように時間経過と共に変化する場合には、ステップS42の平均化を行うことによって図12に示すように修正される。更に、ステップS43の和音の入れ替えを行うことによって第1及び第2和音候補の和音の変化は図13に示すように修正される。なお、図11〜図13は和音の時間変化を折れ線グラフとして示しており、縦軸は和音の種類に対応した位置となっている。
【0036】
ステップS43の和音の入れ替え後の第1和音候補M1(0)〜M1(R)のうちの和音が変化した時点tのM1(t)及び第2和音候補M2(0)〜M2(R)のうちの和音が変化した時点tのM2(t)が各々検出され(ステップS44)、その検出された時点t(4バイト)及び和音(4バイト)が第1及び第2和音候補毎にデータ蓄積装置5に記憶される(ステップS45)。ステップS45で記憶される1楽曲分のデータが和音進行楽曲データである。かかるステップS41〜S45が平滑化手段に相当する。
【0037】
ステップS43の和音の入れ替え後の第1和音候補M1(0)〜M1(R)及び第2和音候補M2(0)〜M2(R)の和音が図14(a)に示すように時間経過と共に変化する場合には、変化時点の時刻と和音とがデータとして抽出される。図14(b)が第1和音候補の変化時点のデータ内容であり、F,G,D,B♭,Fが和音であり、それらは16進データとして0x08,0x0A,0x05,0x01,0x08と表される。変化時点tの時刻はT1(0),T1(1),T1(2),T1(3),T1(4)である。また、図14(c)が第2和音候補の変化時点のデータ内容であり、C,B♭,F#m,B♭,Cが和音であり、それらは16進データとして0x03,0x01,0x29,0x01,0x03と表される。変化時点tの時刻はT2(0),T2(1),T2(2),T2(3),T2(4)である。図14(b)及び図14(c)に示したデータ内容は楽曲の識別情報と共にデータ蓄積装置5には、ステップS45においては図14(d)に示すような形式で1ファイルとして記憶される。
【0038】
異なる楽曲音を示すオーディオ信号について上記した和音分析動作を繰り返すことによりデータ蓄積装置5には複数の楽曲毎のファイルとして和音進行楽曲データが蓄積されることになる。なお、データ蓄積装置4にはデータ蓄積装置5の和音進行楽曲データに対応したPCM信号からなる楽曲データが蓄積される。
ステップS44において第1和音候補のうちの和音が変化した時点の第1和音候補及び第2和音候補のうちの和音が変化した時点の第2和音候補が各々検出され、それが最終的な和音進行楽曲データとなるので、MP3のような圧縮データに比べても1楽曲当たりの容量を小さくすることができ、また、各楽曲のデータを高速処理することができる。
【0039】
また、データ蓄積装置5に書き込まれた和音進行楽曲データは、実際の楽曲と時間的に同期した和音データとなるので、第1和音候補のみ、或いは第1和音候補と第2和音候補との論理和出力を用いて実際に和音を楽曲再生装置10によって生成すれば、楽曲の伴奏が可能となる。
次に、データ蓄積装置5に和音進行楽曲データとして蓄積された楽曲の構造を検出する楽曲構造検出動作について説明する。楽曲構造検出動作は和音進行比較装置7及び繰り返し構造検出装置8によって実行される。
【0040】
楽曲構造検出動作においては、図15に示すように、楽曲構造検出対象の楽曲の第1和音候補M1(0)〜M1(a-1)及び第2和音候補M2(0)〜M2(b-1)が蓄積手段であるデータ蓄積装置5から読み出される(ステップS51)。その楽曲構造検出対象の楽曲は例えば、操作入力装置2の操作によって指定される。aは第1和音候補の総数であり、bは第2和音候補の総数である。また、仮想データとして各々K個の第1和音候補M1(a)〜M1(a+K-1)及び第2和音候補M2(b)〜M2(b+K-1)が用意される(ステップS52)。ここで、a<bのとき仮想データの第1及び第2和音候補各々の和音総数Pはaに等しく、a≧bのとき和音総数Pはbに等しい。仮想データは第1和音候補M1(0)〜M1(a-1)及び第2和音候補M2(0)〜M2(b-1)の後に付加される。
【0041】
読み出された第1和音候補M1(0)〜M1(P-1)に対して第1和音差分値MR1(0)〜MR1(P-2)が計算される(ステップS53)。第1和音差分値は、MR1(0)=M1(1)−M1(0),MR1(1)=M1(2)−M1(1),……,MR1(P-2)=M1(P-1)−M1(P-2)の如く計算される。この計算では第1和音差分値MR1(0)〜MR1(P-2)各々が0より小であるか否かを判別し、0より小の第1和音差分値には12を加算することが行われる。また、第1和音差分値MR1(0)〜MR1(P-2)各々には和音変化後の和音属性MA1(0)〜MA1(P-2)が付加される。読み出された第2和音候補M2(0)〜M2(P-1)に対しても第2和音差分値MR2(0)〜MR2(P-2)が計算される(ステップS54)。第2和音差分値は、MR2(0)=M2(1)−M2(0),MR2(1)=M2(2)−M2(1),……,MR2(P-2)=M2(P-1)−M2(P-2)の如く計算される。この計算においても第2和音差分値MR2(0)〜MR2(P-2)各々が0より小であるか否かを判別し、0より小の第2和音差分値には12を加算することが行われる。また、第2和音差分値MR2(0)〜MR2(P-2)各々には和音変化後の和音属性MA2(0)〜MA2(P-2)が付加される。なお、和音属性MA1(0)〜MA1(P-2),MA2(0)〜MA2(P-2)には図9(b)に示した数値が用いられる。
【0042】
図16はステップS53及びS54の動作例を説明している。すなわち、和音候補がAm7,Dm,C,F,Em,F,B♭#の列である場合に、和音差分値は5,10,5,11,1,5となり、和音変化後の和音属性は0x02,0x00,0x00,0x02,0x00,0x00となる。なお、和音変化後の和音属性がセブンスの場合にはそれに代えてメジャーとしている。セブンスを用いてもそれの比較演算結果への影響が小さいので、演算量を削減するためである。
【0043】
ステップS54の実行後、カウンタ値cが0に初期化される(ステップS55)。そして、第1和音候補M1(0)〜M1(P-1)及び第2和音候補M2(0)〜M2(P-1)各々のうちのc番目からK個(例えば、20)の和音候補(部分楽曲データ)が抽出される(ステップS56)。すなわち、第1和音候補M1(c)〜M1(c+K-1)及び第2和音候補M2(c)〜M2(c+K-1)が抽出される。M1(c)〜M1(c+K-1)=U1(0)〜U1(K-1)とし、M2(c)〜M2(c+K-1)=U2(0)〜U2(K-1)とする。図17は処理対象の和音進行データのM1(0)〜M1(P-1),M2(0)〜M21(P-1)及び仮想データに対するU1(0)〜U1(K-1),U2(0)〜U2(K-1)の関係を示している。
【0044】
ステップS56の実行後、部分楽曲データの第1和音候補U1(0)〜U1(K-1)に対して第1和音差分値UR1(0)〜UR1(K-2)が計算される(ステップS57)。ステップS57の第1和音差分値は、UR1(0)=U1(1)−U1(0),UR1(1)=U1(2)−U1(1),……,UR1(K-2)=U1(K-1)−U1(K-2)の如く計算される。この計算では第1和音差分値UR1(0)〜UR1(K-2)各々が0より小であるか否かを判別し、0より小の第1和音差分値には12を加算することが行われる。また、第1和音差分値UR1(0)〜UR1(K-2)各々には和音変化後の和音属性UA1(0)〜UA1(K-2)が付加される。また、部分楽曲データの第2和音候補U2(0)〜U2(K-1)に対しても第2和音差分値UR2(0)〜UR2(K-2)が計算される(ステップS58)。第2和音差分値は、UR2(0)=U2(1)−U2(0),UR2(1)=U2(2)−U2(1),……,UR2(K-2)=U2(K-1)−U2(K-2)の如く計算される。この計算においても第2和音差分値UR2(0)〜UR2(K-2)各々が0より小であるか否かを判別し、0より小の第2和音差分値には12を加算することが行われる。また、第2和音差分値UR2(0)〜UR2(K-2)各々には和音変化後の和音属性UA2(0)〜UA2(K-2)が付加される。
【0045】
ステップS53にて得られた第1和音差分値MR1(0)〜MR1(K-2)及び和音属性MA1(0)〜MA1(K-2)と、ステップS57にて得られたc番目からK個の第1和音候補UR1(0)〜UR1(K-2)及び和音属性UA1(0)〜UA1(K-2)と、ステップS58にて得られたc番目からK個の第2和音候補UR2(0)〜UR2(K-2)及び和音属性UA2(0)〜UA2(K-2)とに応じて相互相関演算が行われる(ステップS59)。相互相関演算では相関係数COR(t)が次式(3)の如く算出される。相関係数COR(t)が小さいほど類似姓が高いことを示す。
COR(t)=Σ10(|MR1(t+k)-UR1(k')|+|MA1(t+k)-UA1(k')|
+|WM1(t+k+1)/WM1(t+k)-WU1(k'+1)/WU1(k')|)
+Σ10(|MR1(t+k)-UR2(k')|+|MA1(t+k)-UA2(k')|
+|WM1(t+k+1)/WM1(t+k)-WU2(k'+1)/WU2(k')|) ……(3)
ただし、WU1(),WM1(),WU2()は各和音が維持される時間幅、t=0〜P−1、Σ演算はk=0〜K−2及びk'=0〜K−2である。
【0046】
ステップS59の相関係数COR(t)はtが0〜P−1の範囲で各々算出される。また、ステップS59の相関係数COR(t)の演算では飛び越し処理が行われる。飛び越し処理においては、(MR1(t+k+k1)−UR1(k'+k2))又は(MR1(t+k+k1)−UR2(k'+k2))の最小値が検出される。k1及びk2各々は0〜2までのいずれかの整数である。すなわち、k1及びk2各々を0〜2までの範囲で変化させて(MR1(t+k+k1)−UR1(k'+k2))又は(MR1(t+k+k1)−UR2(k'+k2))の最小値となるときが検出される。そのときのk+k1が新たなkに、k'+k2が新たなk'とされる。その後、式(3)に応じて相関係数COR(t)が算出される。
【0047】
更に、各時点の和音から変化後の和音が処理対象の和音進行楽曲データ及びその和音進行楽曲データのc番目からK個の部分楽曲データがC及びAmのいずれであっても、或いはCm及びE♭のいずれであっても同一とみなす。すなわち、変化後の和音が関係調の和音であれば、上記の式の|MR1(t+k)-UR1(k')|+|MA1(t+k)-UA1(k')|=0又は|MR1(t+k)-UR2(k')|+|MA1(t+k)-UA2(k')|=0である。例えば、和音Fから一方のデータが7度差でメジャーに変化し、他方のデータが4度差でマイナーに変化した場合には同一とし、また和音Fから一方のデータが7度差でマイナーに変化し、他方のデータが10度差でメジャーに変化した場合にも同一として処理される。
【0048】
更に、ステップS54にて得られた第2和音差分値MR2(0)〜MR2(K-2)及び和音属性MA2(0)〜MA2(K-2)と、ステップS57にて得られたc番目からK個の第1和音候補UR1(0)〜UR1(K-2)及び和音属性UA1(0)〜UA1(K-2)と、ステップS58にて得られたc番目からK個の第2和音候補UR2(0)〜UR2(K-2)及び和音属性UA2(0)〜UA2(K-2)とに応じて相互相関演算が行われる(ステップS60)。相互相関演算では相関係数COR'(t)が次式(4)の如く算出される。相関係数COR'(t)が小さいほど類似性が高いことを示す。
COR'(t)=Σ10(|MR2(t+k)-UR1(k')|+|MA2(t+k)-UA1(k')|
+|WM2(t+k+1)/WM2(t+k)-WU1(k'+1)/WU1(k')|)
+Σ10(|MR2(t+k)-UR2(k')|+|MA2(t+k)-UA2(k')|
+|WM2(t+k+1)/WM2(t+k)-WU2(k'+1)/WU2(k')|) ……(4)
ただし、WU1(),WM2(),WU2()は各和音が維持される時間幅、t=0〜P−1、Σ演算はk=0〜K−2及びk'=0〜K−2である。
【0049】
ステップS60の相関係数COR'(t)はtが0〜P−1の範囲で各々算出される。また、ステップS60の相関係数COR(t)の演算では上記のステップS59と同様に飛び越し処理が行われる。飛び越し処理においては、(MR2(t+k+k1)−UR1(k'+k2))又は(MR2(t+k+k1)−UR2(k'+k2))の最小値が検出される。k1及びk2各々は0〜2までのいずれかの整数である。すなわち、k1及びk2各々を0〜2までの範囲で変化させて(MR2(t+k+k1)−UR1(k'+k2))又は(MR2(t+k+k1)−UR2(k'+k2))の最小値となるときが検出される。そのときのk+k1が新たなkに、k'+k2が新たなk'とされる。その後、式(4)に応じて相関係数COR'(t)が算出される。
【0050】
更に、各時点の和音から変化後の和音が処理対象の和音進行楽曲データ及び部分楽曲データがC及びAmのいずれであっても、或いはCm及びE♭のいずれであっても同一とみなす。すなわち、変化後の和音が関係調の和音であれば、上記の式の|MR2(t+k)-UR1(k')|+|MA2(t+k)-UA1(k')|=0又は|MR2(t+k)-UR2(k')|+|MA2(t+k)-UA2(k')|=0である。
【0051】
図18(a)は処理対象の和音進行楽曲データとその部分楽曲データとの関係を示している。部分楽曲データはtの進行に従って処理対象の和音進行楽曲データとの比較部分が変化する。図18(b)は相関係数COR(t)又はCOR'(t)の変化を示している。ピーク波形部分が類似性が高い部分である。
図18(c)は処理対象の和音進行楽曲データとその部分楽曲データとの相互相関演算における、各和音が維持される時間幅WU(1)〜WU(5)、飛び越し処理部分及び関係調の部分を示している。処理対象の和音進行楽曲データと部分楽曲データとの間の矢印線は同一和音を示している。その矢印線のうちの同一時間にない傾いた矢印線で結ばれた和音は、飛び越し処理で検出された和音である。また、矢印線が波線になっているものは関係調の和音である。
【0052】
ステップS59及びS60で算出された相関係数COR(t)及びCOR'(t)は加算されて合計相関係数COR(c,t)が算出される(ステップS61)。すなわち、COR(c,t)は次式(5)に示すように算出される。
COR(c,t)=COR(t)+COR'(t) t=0〜P−1 ……(5)
図19(a)〜(f)は処理対象の和音進行楽曲データが示す楽曲中のフレーズ(和音進行列)と、部分楽曲データが示すフレーズと、合計相関係数COR(c,t)との関係を示している。和音進行楽曲データが示す楽曲中のフレーズは図示しないイントロIの後の曲の流れ順にA,B,C,A',C',D,C”であり、AとA'とが同一フレーズ、またCとC'とC”とが同一フレーズとする。図19(a)では、部分楽曲データの先頭にフレーズAが位置している場合にであり、COR(c,t)は和音進行楽曲データのフレーズAとA'とに対応した時点で□で示すピーク値を生成する。図19(b)では、部分楽曲データの先頭にフレーズBが位置している場合にであり、COR(c,t)は和音進行楽曲データのフレーズBだけに対応した時点で×で示すピーク値を生成する。図19(c)では、部分楽曲データの先頭にフレーズCが位置している場合にであり、COR(c,t)は和音進行楽曲データのフレーズC,C',C”の各々に対応した時点で○で示すピーク値を生成する。図19(d)では、部分楽曲データの先頭にフレーズA'が位置している場合にであり、COR(c,t)は和音進行楽曲データのフレーズA,A'の各々に対応した時点で□で示すピーク値を生成する。図19(e)では、部分楽曲データの先頭にフレーズC'が位置している場合にであり、COR(c,t)は和音進行楽曲データのフレーズC,C',C”の各々に対応した時点で○で示すピーク値を生成する。図19(f)では、部分楽曲データの先頭にフレーズC”が位置している場合にであり、COR(c,t)は和音進行楽曲データのフレーズC,C',C”の各々に対応した時点で○で示すピーク値を生成する。
【0053】
ステップS61の実行後、カウンタ値cに1が加算され(ステップS62)、そのカウンタ値cがP−1より大であるか否かが判別される(ステップS63)。c≦P−1であるならば、処理対象の和音進行楽曲データ全てに亘って相関係数COR(c,t)が算出されていない。よって、ステップS56に戻って上記のステップS56〜S63の動作が繰り返される。
【0054】
c>P−1であるならば、COR(c,t)、すなわちCOR(0,0)〜COR(P-1,P-1)のピーク値が検出され、そのピーク値の検出時のc,tについてCOR_PEAK(c,t)=1が設定され、ピーク値でないときのc,tについてCOR_PEAK(c,t)=0が設定される(ステップS64)。COR(c,t)が所定値を越えた部分の最高値をピーク値とする。ステップ64によってCOR_PEAK(c,t)の列が形成される。次に、このCOR_PEAK(c,t)列において、tが0〜P−1の各々のCOR_PEAK(c,t)の合計値がピーク数PK(t)として算出される(ステップS65)。PK(0)=COR_PEAK(0,0)+COR_PEAK(1,0)+……COR_PEAK(P-1,0),PK(1)=COR_PEAK(0,1)+COR_PEAK(1,1)+……COR_PEAK(P-1,1),………,PK(P-1)=COR_PEAK(0,P-1)+COR_PEAK(1,P-1)+……COR_PEAK(P-1,P-1)である。ピーク数PK(0)〜PK(P-1)のうちの連続する2以上の同一数の範囲が同一フレーズ範囲として区分けされ、それに基づいて楽曲構造データがデータ蓄積装置5に保存される(ステップS66)。例えば、ピーク数PK(t)が2である場合には、楽曲中で2回繰り返しが行われるフレーズとなり、ピーク数PK(t)が3である場合には、楽曲中で3回繰り返しが行われるフレーズとなる。同一フレーズの範囲のピーク数PK(t)は同一値となる。ピーク数PK(t)が1である場合には、繰り返しがないフレーズを示すことになる。
【0055】
図20は図19(a)〜(f)に示したフレーズI,A,B,C,A',C',D,C”を有する楽曲についてのピーク数PK(t)と、相関係数COR(c,t)の算出結果からピーク値が得られた位置COR_PEAK(c,t)とを示している。COR_PEAK(c,t)はマトリックスで表示しており、横軸が和音数t=0〜P−1であり、縦軸が部分楽曲データの開始位置であるc=0〜P−1を示している。ドット部分がCOR(c,t)がピーク値を得たCOR_PEAK(c,t)=1に対応した位置である。対角線上は同一データ同士の自己相関をとったことになるので、ドット列となる。対角線以外の部分に現れるドット列が繰り返しの和音進行によるフレーズに対応する。図19(a)〜(f)に対応して×は1回だけのフレーズI,B,Dに対応し、〇は3回の繰り返しフレーズC,C',C”に対応し、□は2回の繰り返しフレーズA,A'に対応する。ピーク数PK(t)はフレーズI,A,B,C,A',C',D,C”に対応して1,2,1,3,2,3,1,3となる。これが結果として楽曲構造を示すことになる。
【0056】
楽曲構造データは図21に示すようなフォーマットを有している。各フレーズの開始時刻情報及び終了時刻情報には図14(c)に示した和音進行楽曲データT(t)が用いられる。
また、楽曲構造検出結果が表示装置9に表示される(ステップS67)。楽曲構造検出結果の表示画面は図22に示すように楽曲中の各繰り返しフレーズ部分の選択ができるようにされている。この表示画面によって選択された繰り返しフレーズ部分又は繰り返し回数が最も多いフレーズ部分に対応する楽曲データがデータ蓄積装置4から読み出されて楽曲再生装置10に供給される(ステップS68)。これにより、楽曲再生装置10は供給された楽曲データを順次再生し、それがディジタル信号としてディジタル/アナログ変換装置11に供給される。ディジタル/アナログ変換装置11においてアナログオーディオ信号に変換された後、スピーカ15から繰り返しフレーズ部分の再生音が出力されることになる。
【0057】
よって、利用者は処理対象の楽曲の構造を表示画面から知ることができると共に、その楽曲のうちの選択した繰り返しフレーズ部分又は繰り返し回数が最も多いフレーズ部分を容易に聴取することができる。
上記の楽曲構造検出動作のステップS56が部分楽曲データ生成手段に対応し、ステップS57〜S63が類似度(相関係数COR(C,t))を算出する比較手段に相当し、ステップS64が和音位置検出手段に相当し、ステップS65〜S68が出力手段に相当する。
【0058】
上記した飛び越し処理及び関係調処理は、和音の変化前後の差分値の演算の際に処理対象の和音進行楽曲データがアナログ信号に基づいて作成された場合における外部雑音や入力装置の周波数特性の影響を排除するため、或いは1番と2番とでは同一フレーズであってもリズムや旋律の変化があったり、又は転調が行われている場合にはデータ間の和音の位置や属性が完全に一致しないことが起きるので、それを防止するために行われる。すなわち、一時的に和音進行が異なっても一定時間幅内で和音進行の傾向が類似していることを検出することができるので、リズムや旋律の変化があったり、又は転調が行われている場合でもその影響を受けることなく、同一フレーズであるか否かを正確に判別することができる。更に、飛び越し処理及び関係調処理を施すことによってその施した部分以外の相互相関演算においても正確な類似度を求めることができる。
【0059】
また、上記した実施例においては、PCMデータ形式の楽曲データに対して作用することを前提としているが、ステップS28の処理において楽曲に含まれる音符列が分かっていれば、楽曲データとしてMIDIデータを用いることもできる。更に、上記した実施例のシステムを応用すれば、楽曲を構成する繰り返し回数の多いフレーズ部分だけを順に再生する、例えば、ハイライト再生システムを実現することも容易に可能である。
【0060】
図23は本発明の他の実施例を示している。図23の楽曲処理システムにおいては、図1のシステム中の和音解析装置3、一時記憶メモリ6、和音進行比較装置7及び繰り返し構造検出装置8がコンピュータ21によって形成されている。コンピュータ21は記憶装置22に記憶されたプログラムに応じて上記の和音解析動作及び楽曲構造検出動作を実行する。記憶装置22はハードディスクドライブに限らず、記録媒体のドライブ装置でも良い。その記録媒体のドライブ装置の場合には記録媒体に和音進行楽曲データを書き込むようにしても良い。
【0061】
以上のように、本発明によれば、和音進行楽曲データ中の各和音の位置から連続する所定数の和音からなる部分楽曲データを生成する部分楽曲データ生成手段と、部分楽曲データ各々と和音進行楽曲データとを和音進行楽曲データ中の各和音の位置から和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して複数の楽曲毎の類似度を算出する比較手段と、部分楽曲データ毎に比較手段によって算出された類似度各々に応じて類似度が所定値より高いピーク値となった和音進行楽曲データ中の和音の位置を検出する和音位置検出手段と、和音進行楽曲データ中の和音の位置毎に部分楽曲データ全てについて類似度が所定値より高いピーク値となった回数を算出し、その和音の位置毎の算出回数に応じて楽曲構造を示す検出出力を生成する出力手段と、を備えたことにより、繰り返し部分を含む楽曲の構造を簡単な構成で適切に検出することができる。
【図面の簡単な説明】
【図1】本発明を適用した楽曲処理システムの構成を示すブロック図である。
【図2】周波数誤差検出動作を示すフローチャートである。
【図3】A音を1.0とした場合の12音及び1オクターブ高いA音各々の周波数比を示す図である。
【図4】和音解析動作の本処理を示すフローチャートである。
【図5】帯域データの各音成分の強度レベル例を示す図である。
【図6】帯域データの各音成分の強度レベル例を示す図である。
【図7】4音からなる和音に対する3音からなる和音への変換を示す図である。
【図8】一時記憶メモリへの記録フォーマットを示す図である。
【図9】基本音及び和音の属性の表記方法、並びに和音候補の表記方法を示す図である。
【図10】和音解析動作の後処理を示すフローチャートである。
【図11】平滑化処理前の第1及び第2和音候補の時間変化を示す図である。
【図12】平滑化処理後の第1及び第2和音候補の時間変化を示す図である。
【図13】入れ替え処理後の第1及び第2和音候補の時間変化を示す図である。
【図14】和音進行楽曲データの作成方法及びそのフォーマットを示す図である。
【図15】楽曲構造検出動作を示すフローチャートである。
【図16】和音変化の和音差分値及び変化後の属性の例を示す図である。
【図17】仮想データを含む和音進行楽曲データと部分楽曲データとの関係を示す図である。
【図18】相互相関演算時の和音進行楽曲データと部分楽曲データとの関係、相関係数COR(c,t)の変化、並びに各和音が維持される時間幅、飛び越し処理部分及び関係調の部分を示している。
【図19】部分楽曲データに含まれるフレーズと和音進行楽曲データに含まれるフレーズ列とに応じた相関係数COR(c,t)の変化を示す図である。
【図20】図19に示したフレーズ列を有する楽曲についてのピーク数PK(t)と、ピーク値が得られた位置COR_PEAK(c,t)とを示す図である。
【図21】楽曲構造データのフォーマットを示す図である。
【図22】表示装置の表示例を示す図である。
【図23】本発明の他の実施例として楽曲処理システムの構成を示すブロック図である。
【符号の説明】
3 和音解析装置
4,5 データ蓄積装置
7 和音進行比較装置
8 繰り返し構造検出装置
10 楽曲再生装置
21 コンピュータ
Claims (10)
- 楽曲の和音の時系列変化を示す和音進行楽曲データに応じてその楽曲の構造を検出する楽曲構造検出装置であって、
前記和音進行楽曲データ中の各和音の位置から連続する所定数の和音からなる部分楽曲データを生成する部分楽曲データ生成手段と、
前記部分楽曲データ各々と前記和音進行楽曲データとを前記和音進行楽曲データ中の各和音の位置から和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して前記複数の楽曲毎の類似度を算出する比較手段と、
前記部分楽曲データ毎に前記比較手段によって算出された類似度各々に応じて類似度が所定値より高いピーク値となった前記和音進行楽曲データ中の和音の位置を検出する和音位置検出手段と、
前記和音進行楽曲データ中の和音の位置毎に前記部分楽曲データ全てについて前記類似度が前記所定値より高いピーク値となった回数を算出し、その和音の位置毎の算出回数に応じて楽曲構造を示す検出出力を生成する出力手段と、を備えたことを特徴とする楽曲構造検出装置。 - 前記比較手段は、前記部分楽曲データ各々と前記和音進行楽曲データとを前記和音進行楽曲データ中の各和音の位置から和音変化時の和音の根音変化量と変化後の和音の属性とに加えて和音変化前後の和音の時間的長さの比について比較して前記複数の楽曲毎の類似度を算出することを特徴とする請求項1記載の楽曲構造検出装置。
- 前記比較手段は、前記部分楽曲データ各々と前記和音進行楽曲データとを時間的に前後に飛び越して比較することを特徴とする請求項1記載の楽曲構造検出装置。
- 前記比較手段は、前記部分楽曲データ各々が示す和音変化後の和音と前記和音進行楽曲データが示す和音変化後の和音とが関係調にあるときその双方の和音変化後の和音を同一の和音とみなすことを特徴とする請求項1記載の楽曲構造検出装置。
- 前記部分楽曲データ各々と前記和音進行楽曲データとは和音変化時点毎に2つの和音を第1及び第2和音候補として有し、
前記比較手段は、前記部分楽曲データ各々の第1及び第2和音候補と前記和音進行楽曲データの第1及び第2和音候補とを相互に比較することを特徴とする請求項1記載の楽曲構造検出装置。 - 楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換手段と、
前記周波数変換手段によって得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出手段と、
前記成分抽出手段によって抽出された各音に対応した周波数成分のうちのレベル合計が大となる3つの周波数成分の組によって各々形成される2つの和音を前記第1及び第2和音候補として検出する和音候補検出手段と、
前記和音候補検出手段によって繰り返し検出された前記第1及び第2和音候補各々の列を平滑化処理して前記蓄積手段に記憶させるべき前記和音進行楽曲データを生成する平滑化手段と、を備えたことを特徴とする請求項5記載の楽曲構造検出装置。 - 前記比較手段は、前記和音進行楽曲データの終了部分に前記所定数の仮想和音だけの仮想データを付加して前記部分楽曲データ各々との比較に用いることを特徴とする請求項1記載の楽曲構造検出装置。
- 前記出力手段は、前記和音進行楽曲データ中の和音の位置毎の算出回数が最高回数の部分の楽曲音を再生して出力する請求項1記載の楽曲構造検出装置。
- 楽曲の和音の時系列変化を示す和音進行楽曲データに応じてその楽曲の構造を検出する楽曲構造検出方法であって、
前記和音進行楽曲データ中の各和音の位置から連続する所定数の和音からなる部分楽曲データを生成する部分楽曲データ生成ステップと、
前記部分楽曲データ各々と前記和音進行楽曲データとを前記和音進行楽曲データ中の各和音の位置から和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して前記複数の楽曲毎の類似度を算出する比較ステップと、
前記部分楽曲データ毎に前記比較ステップにおいて算出された類似度各々に応じて類似度が所定値より高いピーク値となった前記和音進行楽曲データ中の和音の位置を検出する和音位置検出ステップと、
前記和音進行楽曲データ中の和音の位置毎に前記部分楽曲データ全てについて前記類似度が前記所定値より高いピーク値となった回数を算出し、その和音の位置毎の算出回数に応じて楽曲構造を示す検出出力を生成する出力ステップと、を備えたことを特徴とする楽曲構造検出方法。 - 楽曲の和音の時系列変化を示す和音進行楽曲データに応じてその楽曲の構造を検出する方法を実行するコンピュータ読取可能なプログラムであって、
前記和音進行楽曲データ中の各和音の位置から連続する所定数の和音からなる部分楽曲データを生成する部分楽曲データ生成ステップと、
前記部分楽曲データ各々と前記和音進行楽曲データとを前記和音進行楽曲データ中の各和音の位置から和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して前記複数の楽曲毎の類似度を算出する比較ステップと、
前記部分楽曲データ毎に前記比較ステップにおいて算出された類似度各々に応じて類似度が所定値より高いピーク値となった前記和音進行楽曲データ中の和音の位置を検出する和音位置検出ステップと、
前記和音進行楽曲データ中の和音の位置毎に前記部分楽曲データ全てについて前記類似度が前記所定値より高いピーク値となった回数を算出し、その和音の位置毎の算出回数に応じて楽曲構造を示す検出出力を生成する出力ステップと、を備えたことを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002352865A JP4203308B2 (ja) | 2002-12-04 | 2002-12-04 | 楽曲構造検出装置及び方法 |
EP03027490A EP1435604B1 (en) | 2002-12-04 | 2003-12-01 | Music structure detection apparatus and method |
DE60303993T DE60303993T2 (de) | 2002-12-04 | 2003-12-01 | Musikstrukturerkennungsgerät und -verfahren |
US10/724,896 US7179981B2 (en) | 2002-12-04 | 2003-12-02 | Music structure detection apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002352865A JP4203308B2 (ja) | 2002-12-04 | 2002-12-04 | 楽曲構造検出装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004184769A JP2004184769A (ja) | 2004-07-02 |
JP4203308B2 true JP4203308B2 (ja) | 2008-12-24 |
Family
ID=32500756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002352865A Expired - Fee Related JP4203308B2 (ja) | 2002-12-04 | 2002-12-04 | 楽曲構造検出装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7179981B2 (ja) |
EP (1) | EP1435604B1 (ja) |
JP (1) | JP4203308B2 (ja) |
DE (1) | DE60303993T2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7934580B2 (en) | 2006-04-12 | 2011-05-03 | Ocv Intellectual Capital, Llc | Long fiber thermoplastic composite muffler system |
US7942237B2 (en) | 2006-04-12 | 2011-05-17 | Ocv Intellectual Capital, Llc | Long fiber thermoplastic composite muffler system with integrated reflective chamber |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4302967B2 (ja) * | 2002-11-18 | 2009-07-29 | パイオニア株式会社 | 楽曲検索方法、楽曲検索装置及び楽曲検索プログラム |
JP4244133B2 (ja) * | 2002-11-29 | 2009-03-25 | パイオニア株式会社 | 楽曲データ作成装置及び方法 |
DE102004047068A1 (de) * | 2004-09-28 | 2006-04-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Gruppieren von zeitlichen Segmenten eines Musikstücks |
JP4650270B2 (ja) * | 2006-01-06 | 2011-03-16 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
DE102006008260B3 (de) * | 2006-02-22 | 2007-07-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Analyse eines Audiodatums |
DE102006008298B4 (de) * | 2006-02-22 | 2010-01-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Notensignals |
JP4489058B2 (ja) * | 2006-07-13 | 2010-06-23 | アルパイン株式会社 | 和音判定方法および装置 |
JP4301270B2 (ja) * | 2006-09-07 | 2009-07-22 | ヤマハ株式会社 | オーディオ再生装置およびオーディオ再生方法 |
US7541534B2 (en) * | 2006-10-23 | 2009-06-02 | Adobe Systems Incorporated | Methods and apparatus for rendering audio data |
WO2009059300A2 (en) * | 2007-11-02 | 2009-05-07 | Melodis Corporation | Pitch selection, voicing detection and vibrato detection modules in a system for automatic transcription of sung or hummed melodies |
JPWO2009101703A1 (ja) * | 2008-02-15 | 2011-06-02 | パイオニア株式会社 | 楽曲データ分析装置及び楽器種類検出装置、楽曲データ分析方法並びに楽曲データ分析用プログラム及び楽器種類検出用プログラム |
JP4973537B2 (ja) * | 2008-02-19 | 2012-07-11 | ヤマハ株式会社 | 音響処理装置およびプログラム |
US8779268B2 (en) * | 2009-06-01 | 2014-07-15 | Music Mastermind, Inc. | System and method for producing a more harmonious musical accompaniment |
US8785760B2 (en) | 2009-06-01 | 2014-07-22 | Music Mastermind, Inc. | System and method for applying a chain of effects to a musical composition |
US9257053B2 (en) | 2009-06-01 | 2016-02-09 | Zya, Inc. | System and method for providing audio for a requested note using a render cache |
CN102576524A (zh) * | 2009-06-01 | 2012-07-11 | 音乐策划公司 | 接收、分析并编辑音频来创建音乐作品的系统和方法 |
US9177540B2 (en) | 2009-06-01 | 2015-11-03 | Music Mastermind, Inc. | System and method for conforming an audio input to a musical key |
US9310959B2 (en) | 2009-06-01 | 2016-04-12 | Zya, Inc. | System and method for enhancing audio |
US9251776B2 (en) | 2009-06-01 | 2016-02-02 | Zya, Inc. | System and method creating harmonizing tracks for an audio input |
JP5659648B2 (ja) * | 2010-09-15 | 2015-01-28 | ヤマハ株式会社 | コード検出装置およびコード検出方法を実現するためのプログラム |
US9613605B2 (en) * | 2013-11-14 | 2017-04-04 | Tunesplice, Llc | Method, device and system for automatically adjusting a duration of a song |
JP6586514B2 (ja) * | 2015-05-25 | 2019-10-02 | ▲広▼州酷狗▲計▼算机科技有限公司 | オーディオ処理の方法、装置及び端末 |
JP6500870B2 (ja) * | 2016-09-28 | 2019-04-17 | カシオ計算機株式会社 | コード解析装置、方法、及びプログラム |
JP6500869B2 (ja) * | 2016-09-28 | 2019-04-17 | カシオ計算機株式会社 | コード解析装置、方法、及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5440756A (en) * | 1992-09-28 | 1995-08-08 | Larson; Bruce E. | Apparatus and method for real-time extraction and display of musical chord sequences from an audio signal |
US5760325A (en) * | 1995-06-15 | 1998-06-02 | Yamaha Corporation | Chord detection method and apparatus for detecting a chord progression of an input melody |
JP3196604B2 (ja) * | 1995-09-27 | 2001-08-06 | ヤマハ株式会社 | 和音分析装置 |
US6057502A (en) * | 1999-03-30 | 2000-05-02 | Yamaha Corporation | Apparatus and method for recognizing musical chords |
-
2002
- 2002-12-04 JP JP2002352865A patent/JP4203308B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-01 EP EP03027490A patent/EP1435604B1/en not_active Expired - Fee Related
- 2003-12-01 DE DE60303993T patent/DE60303993T2/de not_active Expired - Lifetime
- 2003-12-02 US US10/724,896 patent/US7179981B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7934580B2 (en) | 2006-04-12 | 2011-05-03 | Ocv Intellectual Capital, Llc | Long fiber thermoplastic composite muffler system |
US7942237B2 (en) | 2006-04-12 | 2011-05-17 | Ocv Intellectual Capital, Llc | Long fiber thermoplastic composite muffler system with integrated reflective chamber |
Also Published As
Publication number | Publication date |
---|---|
DE60303993T2 (de) | 2006-11-16 |
JP2004184769A (ja) | 2004-07-02 |
EP1435604A1 (en) | 2004-07-07 |
US20040255759A1 (en) | 2004-12-23 |
DE60303993D1 (de) | 2006-05-11 |
EP1435604B1 (en) | 2006-03-15 |
US7179981B2 (en) | 2007-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4203308B2 (ja) | 楽曲構造検出装置及び方法 | |
JP4313563B2 (ja) | 楽曲検索装置及び方法 | |
JP4823804B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
JP4672613B2 (ja) | テンポ検出装置及びテンポ検出用コンピュータプログラム | |
JP4767691B2 (ja) | テンポ検出装置、コード名検出装置及びプログラム | |
JP4465626B2 (ja) | 情報処理装置および方法、並びにプログラム | |
JP4244133B2 (ja) | 楽曲データ作成装置及び方法 | |
US8492637B2 (en) | Information processing apparatus, musical composition section extracting method, and program | |
JP3293745B2 (ja) | カラオケ装置 | |
US7582824B2 (en) | Tempo detection apparatus, chord-name detection apparatus, and programs therefor | |
US7189912B2 (en) | Method and apparatus for tracking musical score | |
JP4640407B2 (ja) | 信号処理装置、信号処理方法及びプログラム | |
US20100126331A1 (en) | Method of evaluating vocal performance of singer and karaoke apparatus using the same | |
JP2008275975A (ja) | リズム検出装置及びリズム検出用コンピュータ・プログラム | |
JP4932614B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
JP5005445B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
JP5153517B2 (ja) | コード名検出装置及びコード名検出用コンピュータ・プログラム | |
JP2014109603A (ja) | 演奏評価装置、演奏評価方法 | |
JP2000330580A (ja) | カラオケ装置 | |
JP2002268637A (ja) | 拍子判定装置、及びプログラム | |
JPH0744163A (ja) | 自動採譜装置 | |
JP3788096B2 (ja) | 波形圧縮方法及び波形生成方法 | |
KR20050083394A (ko) | 노래 교정 기능을 갖춘 노래반주장치 및 그 방법 | |
JP2015082092A (ja) | 電子弦楽器、楽音制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081010 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |