JP4244133B2

JP4244133B2 - 楽曲データ作成装置及び方法

Info

Publication number: JP4244133B2
Application number: JP2002348313A
Authority: JP
Inventors: 真一莪山
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2002-11-29
Filing date: 2002-11-29
Publication date: 2009-03-25
Anticipated expiration: 2022-11-29
Also published as: EP1569199A4; DE60315880D1; HK1082586A1; CN1717716B; DE60315880T2; AU2003280741A1; JP2004184510A; US20060070510A1; WO2004051622A1; EP1569199B1; CN1717716A; EP1569199A1; US7335834B2

Description

【０００１】
【発明が属する技術分野】
本発明は、楽曲を示すデータを作成する楽曲データ作成装置に関する。
【０００２】
【従来の技術】
楽曲の和音を認識して楽曲を和音の変化、すなわち和音進行としてデータ化する装置としては、次の特許文献１に示されたものがある。
【０００３】
【特許文献１】
特開平５−２８９６７２号公報
この公報に示された装置においては、予め音符化された楽曲情報（楽譜の音符情報）に基づいて拍子毎に含まれる音符成分から、或いはその音符成分から非和声音の音符を取り除いた後の音符成分から和音を判断してその楽曲の和音進行を示すデータを作成することが行われる。
【０００４】
【発明が解決しようとする課題】
しかしながら、かかる従来の楽曲データ作成装置においては、和音を解析できる拍子が予め知られた楽曲だけに限られ、また拍子が不明の楽曲音からその和音進行を示すデータを作成することはできないという欠点があった。
また、楽曲の和音をその楽曲音を示すオーディオ信号から解析して和音進行としてデータ化することは従来の楽曲処理装置では不可能であった。
【０００５】
本発明が解決しようとする課題には、上記の問題点が一例として挙げられ、楽曲音を示すオーディオ信号に基づいて楽曲の和音進行を検出してそれをデータ化する楽曲データ作成装置及び方法を提供することが本発明の目的である。
【０００６】
【課題を解決するための手段】
本発明の楽曲データ作成装置は、楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換手段と、前記周波数変換手段によって得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出手段と、前記成分抽出手段によって抽出された各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出する和音候補検出手段と、前記和音候補検出手段によって繰り返し検出された第１及び第２和音候補各々の列を平滑化処理する平滑化手段と、前記平滑化手段によって平滑化処理された前記第１及び第２和音候補の列各々において同一の和音候補が連続的に配置されるように前記第１及び第２和音候補の列間で同一時点での前記第１及び第２和音候補を入れ替えて前記楽曲データを生成する入替手段と、を備えたことを特徴としている。
【０００７】
本発明の楽曲データ作成方法は、楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換し、前記周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出し、その抽出した各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出し、前記第１及び第２和音候補各々の列を平滑化処理し、前記平滑化処理後の前記第１及び第２和音候補の列各々において同一の和音候補が連続的に配置されるように前記第１及び第２和音候補の列間で同一時点での前記第１及び第２和音候補を入れ替えて前記楽曲データを生成することを特徴としている。
【０００８】
本発明のプログラムは、楽曲を示す入力オーディオ信号に応じて楽曲データを作成する方法をコンピュータに実行させるプログラムであって、前記入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換ステップと、前記周波数変換ステップによって得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出ステップと、前記成分抽出ステップによって抽出された各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出する和音候補検出ステップと、前記和音候補検出ステップによって繰り返し検出された第１及び第２和音候補各々の列を平滑化処理する平滑化ステップと、前記平滑化処理後の前記第１及び第２和音候補の列各々において同一の和音候補が連続的に配置されるように前記第１及び第２和音候補の列間で同一時点での前記第１及び第２和音候補を入れ替えて前記楽曲データを生成する入替ステップと、を備えたことを特徴としている。
【０００９】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図１は本発明を適用した楽曲処理システムを示している。この楽曲処理システムは、マイク入力装置１、ライン入力装置２、楽曲入力装置３、操作入力装置４、入力切替スイッチ５、アナログ／ディジタル変換装置６、和音解析装置７、データ蓄積装置８，９、一時記憶メモリ１０、和音進行比較装置１１、表示装置１２、楽曲再生装置１３、ディジタル／アナログ変換装置１４及びスピーカ１５を備えている。
【００１０】
マイク入力装置１は、楽曲音をマイクロホンで集音可能にされ、その集音した楽曲音を示すアナログのオーディオ信号を出力する。ライン入力装置２には、例えば、ディスクプレーヤやテープレコーダが接続され、楽曲音を示すアナログのオーディオ信号を入力できるようにされている。楽曲入力装置３は和音解析装置７及びデータ蓄積装置８に接続され、ディジタル化されたオーディオ信号（例えば、ＰＣＭデータ）を再生する装置であり、例えば、ＣＤプレーヤである。操作入力装置４は本システムに対してユーザが操作してデータや指令を入力するための装置である。操作入力装置４の出力は入力切替スイッチ５、和音解析装置７、和音進行比較装置１１及び楽曲再生装置１３に接続されている。
【００１１】
入力切替スイッチ５は、マイク入力装置１及びライン入力装置２のうちのいずれか１の出力信号を選択的にアナログ／ディジタル変換装置６に供給する。入力切替スイッチ５の切替動作は操作入力装置４からの指令に応じて実行される。
アナログ／ディジタル変換装置６は、和音解析装置７及びデータ蓄積装置８に接続され、アナログのオーディオ信号をディジタル化し、ディジタル化オーディオ信号を楽曲データとしてデータ蓄積装置８に供給する。データ蓄積装置８にはアナログ／ディジタル変換装置６及び楽曲入力装置３供給された楽曲データ（ＰＣＭデータ）がファイルとして記憶される。
【００１２】
和音解析装置７は、供給された楽曲データの和音を後述する和音解析動作によって解析する。一時記憶メモリ１０には和音解析装置７によって解析された楽曲データの各和音が第１及び第２和音候補として一時的に記憶される。データ蓄積装置９には和音解析装置７によって解析されて和音進行楽曲データが楽曲毎にファイルとして記憶される。
【００１３】
和音進行比較装置１１は、検索対象の和音進行楽曲データとデータ蓄積装置９に記憶された和音進行楽曲データとを比較し、検索対象の和音進行楽曲データと類似性の高い和音進行楽曲データを検出する。表示装置１２には和音進行比較装置１１による比較結果が楽曲リストとして表示される。
楽曲再生装置１３は、和音進行比較装置１１によって類似性が最も高いとして検出された楽曲のデータファイルをデータ蓄積装置８から読み出して再生し、ディジタルオーディオ信号として順次出力する。ディジタル／アナログ変換装置１４は楽曲再生装置１３によって再生されたディジタルオーディオ信号をアナログオーディオ信号に変換する。
【００１４】
和音解析装置７、和音進行比較装置１１及び楽曲再生装置１３各々は操作入力装置４からの指令に応じて動作する。
次に、かかる構成の楽曲処理システムの動作について説明する。
ここでは楽曲音を示すアナログオーディオ信号がライン入力装置２から入力切替スイッチ５を介してアナログ／ディジタル変換装置６に供給され、そこでディジタル信号に変換された後、和音解析装置７に供給されたとする。
【００１５】
上記した和音解析動作としては前処理、本処理及び後処理がある。和音解析装置７は前処理として周波数誤差検出動作を行う。
周波数誤差検出動作においては、図２に示すように、時間変数Ｔ及び帯域データＦ(Ｎ)が０に初期化され、更に変数Ｎの範囲が−３〜３の如く初期設定される（ステップＳ１）。入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ２）。
【００１６】
今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ３）。この移動平均処理では、０.６秒以内では和音が変化することが少ないという仮定で過去２回分の周波数情報が用いられる。移動平均処理は次式によって演算される。
ｆ(Ｔ)＝(ｆ(Ｔ)＋ｆ(Ｔ−１)／２.０＋ｆ(Ｔ−２)／３.０)／３.０……(1)
ステップＳ３の実行後、変数Ｎが−３に設定され（ステップＳ４）、その変数Ｎは４より小であるか否かが判別される（ステップＳ５）。Ｎ＜４の場合には、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ６〜Ｓ１０）。周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は、(１１０.０＋２×Ｎ)Hzを基本周波数とした５オクターブ分の平均律の１２音のものである。１２音はＡ，Ａ＃，Ｂ，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃である。図３はＡ音を１.０とした場合の１２音及び１オクターブ高いＡ音各々の周波数比を示している。ステップＳ６のｆ１(Ｔ)はＡ音を(１１０.０＋２×Ｎ)Hzとし、ステップＳ７のｆ２(Ｔ)はＡ音を２×(１１０.０＋２×Ｎ)Hzとし、ステップＳ８のｆ３(Ｔ)はＡ音を４×(１１０.０＋２×Ｎ)Hzとし、ステップＳ９のｆ４(Ｔ)はＡ音を８×(１１０.０＋２×Ｎ)Hzとし、ステップＳ１０のｆ５(Ｔ)はＡ音を１６×(１１０.０＋２×Ｎ)Hzとしている。
【００１７】
ステップＳ６〜Ｓ１０の実行後、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ１１）。帯域データＦ'(Ｔ)は、
Ｆ'(Ｔ)＝ｆ１(Ｔ)×５+ｆ２(Ｔ)×４+ｆ３(Ｔ)×３+ｆ４(Ｔ)×２+ｆ５(Ｔ)……(2)
の如く表される。すなわち、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)各々は個別に重み付けされた後、加算される。１オクターブの帯域データＦ'(Ｔ)は、帯域データＦ(Ｎ)に加算される（ステップＳ１２）。その後、変数Ｎには１が加算され（ステップＳ１３）、そして、ステップＳ５が再度実行される。
【００１８】
ステップＳ６〜Ｓ１３の動作は、ステップＳ５においてＮが４より小、すなわち−３〜＋３の範囲であると判断される限り繰り返される。これによって音成分Ｆ(Ｎ)は−３〜＋３の範囲の音程誤差を含む１オクターブ分の周波数成分となる。
ステップＳ５においてＮ≧４と判別された場合には、変数Ｔが所定値Ｍより小であるか否かが判別される（ステップＳ１４）。Ｔ＜Ｍの場合には、変数Ｔに１が加算され（ステップＳ１５）、ステップＳ２が再度実行される。Ｍ回分の周波数変換による周波数情報ｆ(Ｔ)に対して変数Ｎ毎の帯域データＦ(Ｎ)が算出される。
【００１９】
ステップＳ１４においてＴ≧Ｍと判別された場合には、変数Ｎ毎の１オクターブ分の帯域データＦ(Ｎ)のうちの各周波数成分の総和が最大値となるＦ(Ｎ)が検出され、その検出Ｆ(Ｎ)のＮが誤差値Ｘとして設定される（ステップＳ１６）。
この前処理によって誤差値Ｘを求めることによってオーケストラの演奏音等の楽曲音全体の音程が平均律と一定の差をもっている場合に、それを補償して後述の和音解析の本処理を行うことができる。
【００２０】
前処理の周波数誤差検出動作が終了すると、和音解析動作の本処理が行われる。なお、誤差値Ｘが既に分かっている場合やその誤差を無視できる場合には、前処理は省略しても良い。本処理では楽曲全部について和音解析が行われるために楽曲の最初の部分から入力ディジタル信号は和音解析装置７に供給されるとする。
【００２１】
本処理おいては、図４に示すように、入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ２１）。このステップＳ２１が周波数変換手段に対応する。そして、今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ２２）。ステップＳ２１及びＳ２２は上記したステップＳ２及びＳ３と同様に実行される。
【００２２】
ステップＳ２２の実行後、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ２３〜Ｓ２７）。上記したステップＳ６〜Ｓ１０と同様に、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は、(１１０.０＋２×Ｎ)Hzを基本周波数とした５オクターブ分の平均律の１２音Ａ，Ａ＃，Ｂ，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃である。ステップＳ２３のｆ１(Ｔ)はＡ音を(１１０.０＋２×Ｎ)Hzとし、ステップＳ２４のｆ２(Ｔ)はＡ音を２×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２５のｆ３(Ｔ)はＡ音を４×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２６のｆ４(Ｔ)はＡ音を８×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２７のｆ５(Ｔ)はＡ音を１６×(１１０.０＋２×Ｎ)Hzとしている。ここで、ＮはステップＳ１６で設定されたＸである。
【００２３】
ステップＳ２３〜Ｓ２７の実行後、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ２８）。このステップＳ２８も上記のステップＳ１１と同様に式(2)を用いて実行される。帯域データＦ'(Ｔ)は各音成分を含むことになる。ステップＳ２３〜Ｓ２８が成分抽出手段に相当する。
【００２４】
ステップＳ２８の実行後、帯域データＦ'(Ｔ)中の各音成分のうちの強度レベルが大きいものから６音が候補として選択され（ステップＳ２９）、その６音候補から２つの和音Ｍ１，Ｍ２が作成される（ステップＳ３０）。候補の６音のうちから１つの音を根音（ルート）として３音からなる和音が作成される。すなわち₆Ｃ₃通りの組み合わせの和音が考慮される。各和音を構成する３音のレベルが加算され、その加算結果の値が最大となった和音が第１和音候補Ｍ１とされ、加算結果の値が２番目に大きい和音が第２和音候補Ｍ２とされる。
【００２５】
帯域データＦ'(Ｔ)の各音成分が図５に示すように１２音に対する強度レベルを示す場合には、ステップＳ２９ではＡ，Ｅ，Ｃ，Ｇ，Ｂ，Ｄの６音が選択される。その６音Ａ，Ｅ，Ｃ，Ｇ，Ｂ，Ｄのうちの３音から作成される３和音は、(Ａ，Ｃ，Ｅ)からなる和音Ａｍ、(音Ｃ，Ｅ，Ｇ)からなる和音Ｃ、(音Ｅ，Ｂ，Ｇ)からなる和音Ｅｍ、(音Ｇ，Ｂ，Ｄ)からなる和音Ｇ、……の如くである。和音Ａｍ(音Ａ，Ｃ，Ｅ)の合計強度レベルは１２、和音Ｃ(音Ｃ，Ｅ，Ｇ)の合計強度レベルは９、和音Ｅｍ(音Ｅ，Ｂ，Ｇ)の合計強度レベルは７、和音Ｇ(音Ｇ，Ｂ，Ｄ)の合計強度レベルは４である。よって、ステップＳ３０では和音Ａｍの合計強度レベル１２が最大となるので、第１和音候補Ｍ１として和音Ａｍが設定され、和音Ｃの合計強度レベル７が２番目に大きいので、第２和音候補Ｍ２として和音Ｃが設定される。
【００２６】
また、帯域データＦ'(Ｔ)の各音成分が図６に示すように１２音に対する強度レベルを示す場合には、ステップＳ２９ではＣ，Ｇ，Ａ，Ｅ，Ｂ，Ｄの６音が選択される。その６音Ｃ，Ｇ，Ａ，Ｅ，Ｂ，Ｄのうちの３音から作成される３和音は、(音Ｃ，Ｅ，Ｇ)からなる和音Ｃ、(Ａ，Ｃ，Ｅ)からなる和音Ａｍ、(音Ｅ，Ｂ，Ｇ)からなる和音Ｅｍ、(音Ｇ，Ｂ，Ｄ)からなる和音Ｇ、……の如くである。和音Ｃ(音Ｃ，Ｅ，Ｇ)の合計強度レベルは１１、和音Ａｍ(音Ａ，Ｃ，Ｅ)の合計強度レベルは１０、和音Ｅｍ(音Ｅ，Ｂ，Ｇ)の合計強度レベルは７、和音Ｇ(音Ｇ，Ｂ，Ｄ)の合計強度レベルは６である。よって、ステップＳ３０では和音Ｃの合計強度レベル１１が最大となるので、第１和音候補Ｍ１として和音Ｃが設定され、和音Ａｍの合計強度レベル１０が２番目に大きいので、第２和音候補Ｍ２として和音Ａｍが設定される。
【００２７】
和音を構成する音は３音に限らず、セブンスやディミニッシュセブンス等の４音もある。４音からなる和音に対しては図７に示すように３音からなる２つ以上の和音に分類されるとしている。よって、４音からなる和音に対しても３音からなる和音と同様に、帯域データＦ'(Ｔ)の各音成分の強度レベルに応じて２つの和音候補を設定することができる。
【００２８】
ステップＳ３０の実行後、ステップＳ３０において設定された和音候補数があるか否かが判別される（ステップＳ３１）。ステップＳ３０では少なくとも３つの音を選択するだけの強度レベルに差がない場合には和音候補が全く設定されないことになるので、ステップＳ３１の判別が行われる。和音候補数＞０である場合には、更に、その和音候補数が１より大であるか否かが判別される（ステップＳ３２）。
【００２９】
ステップＳ３１において和音候補数＝０と判別された場合には前回Ｔ−１（約０.２秒前）の本処理において設定された和音候補Ｍ１，Ｍ２が今回の和音候補Ｍ１，Ｍ２として設定される（ステップＳ３３）。ステップＳ３２において和音候補数＝１と判別された場合には今回のステップＳ３０の実行では第１和音候補Ｍ１だけが設定されたので、第２和音候補Ｍ２は第１和音候補Ｍ１と同一の和音に設定される（ステップＳ３４）。ステップＳ２９〜Ｓ３４が和音候補検出手段に相当する。
【００３０】
ステップＳ３２において和音候補数＞１と判別された場合には今回のステップＳ３０の実行では第１及び第２和音候補Ｍ１，Ｍ２の両方が設定されたので、時刻、第１及び第２和音候補Ｍ１，Ｍ２が一時記憶メモリ１０に記憶される（ステップＳ３５）。一時記憶メモリ１０には図８に示すように時刻、第１和音候補Ｍ１、第２和音候補Ｍ２が１組となって記憶される。時刻は０.２秒毎に増加するＴで表される本処理実行回数である。そのＴの順に第１及び第２和音候補Ｍ１，Ｍ２が記憶される。
【００３１】
具体的には、一時記憶メモリ１０に各和音候補を図８に示したように１バイトで記憶させるために、基本音とその属性との組み合わせが用いられる。基本音には平均律の１２音が用いられ、属性にはメジャー｛４，３｝、マイナー｛３，４｝、セブンス候補｛４，６｝及びディミニッシュセブンス（ｄｉｍ７）候補｛３，３｝の和音の種類が用いられる。｛｝内は半音を１とした場合の３音の差である。本来、セブンス候補は｛４，３，３｝及びディミニッシュセブンス（ｄｉｍ７）候補｛３，３，３｝であるが、３音で示すために上記のように表示している。
【００３２】
基本音の１２音は図９(a)に示すように１６ビット（１６進表記）で表され、属性の和音の種類は同様に図９(b)に示すように１６ビット（１６進表記）で表される。その基本音の下位４ビットと属性の下位４ビットがその順に連結されて図９(c)に示すように８ビット（１バイト）として和音候補として用いられる。ステップＳ３５はステップＳ３３又はＳ３４を実行した場合にもその直後に実行される。
【００３３】
ステップＳ３５の実行後、楽曲が終了したか否かが判別される（ステップＳ３６）。例えば、入力アナログオーディオ信号の入力がなくなった場合、或いは操作入力装置４からの楽曲の終了を示す操作入力があった場合には楽曲が終了したと判断される。これによって本処理が終了する。
楽曲の終了が判断されるまでは変数Ｔに１が加算され（ステップＳ３７）、ステップＳ２１が再度実行される。ステップＳ２１は上記したように０.２秒間隔で実行され、前回の実行時から０.２秒が経過して再度実行される。
【００３４】
後処理おいては、図１０に示すように、一時記憶メモリ１０から全ての第１及び第２和音候補がＭ１(0)〜Ｍ１(R)及びＭ２(0)〜Ｍ２(R)として読み出される（ステップＳ４１）。０は開始時刻であり、開始時刻の第１及び第２和音候補がＭ１(0)及びＭ２(0)である。Ｒは最終時刻であり、最終時刻の第１及び第２和音候補がＭ１(R)及びＭ２(R)である。読み出された第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)について平滑化が行われる（ステップＳ４２）。この平滑化は和音の変化時点とは関係なく０.２秒間隔で和音候補を検出したことにより和音候補に含まれるノイズによる誤差を除去するために行われる。平滑化の具体的方法としては、３つの連続する第１和音候補Ｍ１(t−１)，Ｍ１(t)，Ｍ１(t＋１)についてＭ１(t−１)≠Ｍ１(t)かつＭ１(t)≠Ｍ１(t＋１)の関係が成立するか否かが判別され、その関係が成立する場合には、Ｍ１(t＋１)にＭ１(t)は等しくされる。この判別は第１和音候補毎に行われる。第２和音候補についても同様の方法により平滑化は行われる。なお、Ｍ１(t＋１)にＭ１(t)を等しくするのではなく、逆に、Ｍ１(t＋１)をＭ１(t)に等しくしても良い。
【００３５】
平滑化後、第１及び第２和音候補の入れ替え処理が行われる（ステップＳ４３）。一般的に０．６秒のような短い期間には和音が変化する可能性は低い。しかしながら、信号入力段の周波数特性及び信号入力時のノイズによって帯域データＦ'(Ｔ)中の各音成分の周波数が変動することによって第１及び第２和音候補が０．６秒以内に入れ替わることが起きることがあり、これに対処するためにステップＳ４３は行われる。第１及び第２和音候補が入れ替えの具体的方法としては、５つの連続する第１和音候補Ｍ１(t−２)，Ｍ１(t−１)，Ｍ１(t)，Ｍ１(t＋１)，Ｍ１(t＋２)及びそれに対応する５つの連続する第２和音候補Ｍ２(t−２)，Ｍ２(t−１)，Ｍ２(t)，Ｍ２(t＋１)，Ｍ２(t＋２)についての次の如き判別が実行される。すなわち、Ｍ１(t−２)＝Ｍ１(t＋２)，Ｍ２(t−２)＝Ｍ２(t＋２)，Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ２(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ１(t−２)の関係が成立するか否かが判別される。この関係が成立する場合には、Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ１(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ２(t−２)が定められ、Ｍ１(t−２)とＭ２(t−２)と間で和音の入れ替えが行われる。なお、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えに代えてＭ１(t＋２)とＭ２(t＋２)との間で和音の入れ替えを行っても良い。また、Ｍ１(t−２)＝Ｍ１(t＋１)，Ｍ２(t−２)＝Ｍ２(t＋１)，Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ２(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ１(t−２)の関係が成立するか否かが判別される。この関係が成立する場合には、Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t−２)が定められ、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えが行われる。なお、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えに代えてＭ１(t＋１)とＭ２(t＋１)との間で和音の入れ替えを行っても良い。
【００３６】
ステップＳ４１において読み出された第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)の各和音が、例えば、図１１に示すように時間経過と共に変化する場合には、ステップＳ４２の平均化を行うことによって図１２に示すように修正される。更に、ステップＳ４３の和音の入れ替えを行うことによって第１及び第２和音候補の和音の変化は図１３に示すように修正される。なお、図１１〜図１３は和音の時間変化を折れ線グラフとして示しており、縦軸は和音の種類に対応した位置となっている。
【００３７】
ステップＳ４３の和音の入れ替え後の第１和音候補Ｍ１（０）〜Ｍ１（Ｒ）のうちの和音が変化した時点ｔのＭ１（ｔ）及び第２和音候補Ｍ２（０）〜Ｍ２（Ｒ）のうちの和音が変化した時点ｔのＭ２（ｔ）が各々検出され（ステップＳ４４）、その検出された時点ｔ（４バイト）及び和音（４バイト）が第１及び第２和音候補毎にデータ蓄積装置９に記憶される（ステップＳ４５）。ステップＳ４５で記憶される１楽曲分のデータが和音進行楽曲データである。かかるステップＳ４２が平滑化手段に相当する。
【００３８】
ステップＳ４３の和音の入れ替え後の第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)の和音が図１４(a)に示すように時間経過と共に変化する場合には、変化時点の時刻と和音とがデータとして抽出される。図１４(b)が第１和音候補の変化時点のデータ内容であり、Ｆ，Ｇ，Ｄ，Ｂ♭，Ｆが和音であり、それらは１６進データとして０ｘ０８，０ｘ０Ａ，０ｘ０５，０ｘ０１，０ｘ０８と表される。変化時点ｔの時刻はＴ１(0)，Ｔ１(1)，Ｔ１(2)，Ｔ１(3)，Ｔ１(4)である。また、図１４(c)が第２和音候補の変化時点のデータ内容であり、Ｃ，Ｂ♭，Ｆ＃ｍ，Ｂ♭，Ｃが和音であり、それらは１６進データとして０ｘ０３，０ｘ０１，０ｘ２９，０ｘ０１，０ｘ０３と表される。変化時点ｔの時刻はＴ２(0)，Ｔ２(1)，Ｔ２(2)，Ｔ２(3)，Ｔ２(4)である。図１４(b)及び図１４(c)に示したデータ内容は楽曲の識別情報と共にデータ蓄積装置９には、ステップＳ４５においては図１４(d)に示すような形式で１ファイルとして記憶される。
【００３９】
異なる楽曲音を示すアナログオーディオ信号について上記した和音分析動作を繰り返すことによりデータ蓄積装置９には複数の楽曲毎のファイルとして和音進行楽曲データが蓄積されることになる。また、楽曲入力装置４から出力される楽曲音を示すディジタルオーディオ信号について上記した和音分析動作を行うことによりデータ蓄積装置９には和音進行楽曲データが蓄積されることになる。なお、データ蓄積装置８にはデータ蓄積装置９の和音進行楽曲データに対応したＰＣＭ信号からなる楽曲データが蓄積される。
【００４０】
ステップＳ４４において第１和音候補のうちの和音が変化した時点の第１和音候補及び第２和音候補のうちの和音が変化した時点の第２和音候補が各々検出され、それが最終的な和音進行楽曲データとなるので、ＭＰ３のような圧縮データに比べても１楽曲当たりの容量を小さくすることができ、また、各楽曲のデータを高速処理することができる。
【００４１】
また、データ蓄積装置９に書き込まれた和音進行楽曲データは、実際の楽曲と時間的に同期した和音データとなるので、第１和音候補のみ、或いは第１和音候補と第２和音候補との論理和出力を用いて実際に和音を楽曲再生装置１３によって生成すれば、楽曲の伴奏が可能となる。
図１５は本発明の他の実施例を示している。図１５の楽曲処理システムにおいては、図１のシステム中の和音解析装置７、一時記憶メモリ１０及び和音進行比較装置１１がコンピュータ２１によって形成されている。コンピュータ２１は記憶装置２２に記憶されたプログラムに応じて上記の和音解析動作を実行する。記憶装置２２はハードディスクドライブに限らず、記録媒体のドライブ装置でも良い。その記録媒体のドライブ装置の場合には記録媒体に和音進行楽曲データを書き込むようにしても良い。
【００４２】
上記した実施例においては、ライン入力装置２に入力されたアナログオーディオ信号を和音進行楽曲データに変換する場合について説明したが、楽曲入力装置３から出力されるディジタルオーディオ信号或いはマイク入力装置１に入力される演奏音を和音進行楽曲データに変換する場合についても上記の実施例の場合と同様である。また、ディジタルオーディオ信号はＰＣＭ信号に限らず、ＭＰ３のような圧縮されたファイルに応じた信号でも良い。圧縮ファイルの復号化に際して平均律周波数幅を満たす周波数分解能を有する周波数領域の情報が得られるならば、フーリエ変換等の周波数変換を省略することができる。
【００４３】
以上のように、本発明によれば、周波数変換手段と、成分抽出手段と、和音候補検出手段と、平滑化手段とを備えたことにより、楽曲音を示すオーディオ信号に基づいて楽曲の和音進行を検出することができ、それに応じて容易に和音進行によって特徴付けられたデータを得ることができる。
【図面の簡単な説明】
【図１】本発明を適用した楽曲処理システムの構成を示すブロック図である。
【図２】周波数誤差検出動作を示すフローチャートである。
【図３】Ａ音を１.０とした場合の１２音及び１オクターブ高いＡ音各々の周波数比を示す図である。
【図４】和音解析動作の本処理を示すフローチャートである。
【図５】帯域データの各音成分の強度レベル例を示す図である。
【図６】帯域データの各音成分の強度レベル例を示す図である。
【図７】４音からなる和音に対する３音からなる和音への変換を示す図である。
【図８】一時記憶メモリへの記録フォーマットを示す図である。
【図９】基本音及び和音の属性の表記方法、並びに和音候補の表記方法を示す図である。
【図１０】和音解析動作の後処理を示すフローチャートである。
【図１１】平滑化処理前の第１及び第２和音候補の時間変化を示す図である。
【図１２】平滑化処理後の第１及び第２和音候補の時間変化を示す図である。
【図１３】入れ替え処理後の第１及び第２和音候補の時間変化を示す図である。
【図１４】和音進行楽曲データの作成方法及びそのフォーマットを示す図である。
【図１５】本発明の他の実施例として楽曲処理システムの構成を示すブロック図である。
【符号の説明】
６アナログ／ディジタル変換装置
７和音解析装置
８，９データ蓄積装置
１１和音進行比較装置
１３楽曲再生装置
１４ディジタル／アナログ変換装置
２１コンピュータ

Claims

楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換手段と、
前記周波数変換手段によって得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出手段と、
前記成分抽出手段によって抽出された各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出する和音候補検出手段と、
前記和音候補検出手段によって繰り返し検出された第１及び第２和音候補各々の列を平滑化処理して楽曲データを生成する平滑化手段と、
前記平滑化手段によって平滑化処理された前記第１及び第２和音候補の列各々において同一の和音候補が連続的に配置されるように前記第１及び第２和音候補の列間で同一時点での前記第１及び第２和音候補を入れ替えて前記楽曲データを生成する入替手段と、を備えたことを特徴とする楽曲データ作成装置。
前記周波数変換手段は、前記周波数信号を移動平均処理して出力することを特徴とする請求項１記載の楽曲データ作成装置。
前記成分抽出手段は、複数オクターブ分の前記平均律の各音に対応した周波数成分を各々抽出するフィルタ手段と、
前記フィルタ手段から出力される各オクターブの前記平均律の各音に対応した周波数成分のレベルに対して個別に重み付けをした後、互いに加算する重み付け加算して１オクターブ分の前記平均律の各音に対応した周波数成分を出力する手段と、を備えたことを特徴とする請求項１記載の楽曲データ作成装置。
前記入力オーディオ信号の平均律の各音に対応した周波数成分に対する周波数誤差を検出する周波数誤差検出手段を有し、
前記成分抽出手段は、前記平均律の各音の周波数を前記周波数誤差を加えることによって補正し、その補正後の周波数成分を抽出することを特徴とする請求項１記載の楽曲データ作成装置。
前記周波数誤差検出手段は、前記入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する第２周波数変換手段と、
前記第２周波数変換手段によって所定の回数だけ周波数変換が行われる毎に複数の周波数誤差のうちの１の周波数誤差を指定する手段と、
複数オクターブ分の前記平均律の各音に対応した周波数と前記１の周波数誤差とを含む周波数成分を各々抽出するフィルタ手段と、
前記フィルタ手段から出力される各オクターブの前記平均律の各音に対応した周波数成分のレベルに対して個別に重み付けをした後、互いに加算する重み付け加算して１オクターブ分の前記平均律の各音に対応した周波数成分を出力する手段と、
前記複数の周波数誤差毎に前記１オクターブ分の各周波数成分のレベルの合計を算出する加算手段と、を備え、
前記加算手段によってレベルが最大となった周波数誤差を検出周波数誤差とすることを特徴とする請求項４記載の楽曲データ作成装置。
前記和音候補検出手段は、前記レベル合計が最大となる３つの周波数成分の組によって形成される和音を前記第１和音候補とし、前記レベル合計がその次に大となる３つの周波数成分の組によって形成される和音を前記第２和音候補とすることを特徴とする請求項１記載の楽曲データ作成装置。
前記平滑化手段は、前記第１和音候補の列のうちの連続する所定数の第１和音候補が互いに等しく、前記第２和音候補の列のうちの連続する前記所定数の第２和音候補が互いに等しくなるように前記第１和音候補又は前記第２和音候補の内容を変更することを特徴とする請求項１記載の楽曲データ作成装置。
前記平滑化手段は、前記第１及び第２和音候補各々の列のうちの和音が変化した時点の和音候補だけにすることを特徴とする請求項１記載の楽曲データ作成装置。
前記平滑化手段は、前記第１和音候補の列のうちの連続する３つの前記第１和音候補のうちの先頭の第１和音候補と中間の第１和音候補とが等しくなくかつ前記中間の第１和音候補と最後の第１和音候補とが等しくないときには、前記中間の第１和音候補を前記先頭の第１和音候補又は前記最後の第１和音候補と等しくさせ、前記第２和音候補の列のうちの連続する３つの前記第２和音候補のうちの先頭の第２和音候補と中間の第２和音候補とが等しくなくかつ中間の第２和音候補と最後の第２和音候補とが等しくないときには、前記中間の第２和音候補を前記先頭の第２和音候補又は前記最後の第２和音候補と等しくさせ、
前記入替手段は、前記第１和音候補の列のうちの連続する５つの前記第１和音候補と前記第２和音候補の列のうちの連続する５つの前記第２和音候補とのうちの１番目の第１和音候補が５番目の第１和音候補に等しく、１番目の第２和音候補が５番目の第２和音候補に等しく、２番目の第１和音候補と３番目の第１和音候補と４番目の第１和音候補と前記５番目の第２和音候補とが等しく、かつ２番目の第２和音候補と３番目の第２和音候補と４番目の第２和音候補と前記５番目の第１和音候補とが等しいときには、前記１番目の第１和音候補又は前記５番目の第１和音候補を前記２番目ないし前記第４番目の第１和音候補と等しくさせ、かつ前記１番目の第２和音候補又は前記５番目の第２和音候補を前記２番目ないし前記第４番目の第２和音候補と等しくさせ、
前記第１和音候補の列のうちの連続する前記１番目ないし４番目の第１和音候補と前記第２和音候補の列のうちの連続する前記１番目ないし４番目の第２和音候補とのうちの前記１番目の第１和音候補と前記４番目の第１和音候補とが等しく、前記１番目の第２和音候補と前記４番目の第２和音候補とが等しく、前記２番目の第１和音候補と前記３番目の第１和音候補と前記１番目の第２和音候補とが等しく、かつ前記２番目の第２和音候補と前記３番目の第２和音候補と前記１番目の第１和音候補とが等しいときには、前記１番目の第１和音候補又は前記４番目の第１和音候補を前記２番目及び前記第３番目の第１和音候補と等しくさせ、かつ前記１番目の第２和音候補又は前記４番目の第２和音候補を前記２番目及び前記第３番目の第２和音候補と等しくさせることを特徴とする請求項１記載の楽曲データ作成装置。
前記楽曲データは、前記第１及び第２和音候補の列各々の和音変化時点と和音とを示すことを特徴とする請求項１記載の楽曲データ作成装置。
前記楽曲データは、前記第１和音候補の列、又は前記第１及び第２和音候補の列の論理和出力であることを特徴とする請求項１記載の楽曲データ作成装置。
楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換し、
前記周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出し、
その抽出した各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出し、
前記第１及び第２和音候補各々の列を平滑化処理し、
前記平滑化処理後の前記第１及び第２和音候補の列各々において同一の和音候補が連続的に配置されるように前記第１及び第２和音候補の列間で同一時点での前記第１及び第２和音候補を入れ替えて前記楽曲データを生成することを特徴とする楽曲データ作成方法。
楽曲を示す入力オーディオ信号に応じて楽曲データを作成する方法をコンピュータに実行させるプログラムであって、
前記方法は、
前記入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換ステップと、
前記周波数変換ステップによって得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出ステップと、
前記成分抽出ステップによって抽出された各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出する和音候補検出ステップと、
前記和音候補検出ステップによって繰り返し検出された第１及び第２和音候補各々の列を平滑化処理する平滑化ステップと、
前記平滑化処理後の前記第１及び第２和音候補の列各々において同一の和音候補が連続的に配置されるように前記第１及び第２和音候補の列間で同一時点での前記第１及び第２和音候補を入れ替えて前記楽曲データを生成する入替ステップと、を備えたことを特徴とするプログラム。