WO2004051622A1

WO2004051622A1 - 楽曲データ作成装置及び方法

Info

Publication number: WO2004051622A1
Application number: PCT/JP2003/014365
Authority: WO
Inventors: Shinichi Gayama
Original assignee: Pioneer Corporation
Priority date: 2002-11-29
Filing date: 2003-11-12
Publication date: 2004-06-17
Also published as: US20060070510A1; HK1082586A1; US7335834B2; JP2004184510A; DE60315880D1; DE60315880T2; CN1717716A; AU2003280741A1; EP1569199B1; JP4244133B2; EP1569199A4; EP1569199A1; CN1717716B

Abstract

楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換し、その周波数信号から平均律の各音に対応した周波数成分を所定の時間毎に抽出し、抽出した各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出し、検出した第１及び第２和音候補各々の列を平滑化処理して楽曲データを生成する楽曲データ作成装置及び方法。

Description

明細書楽曲データ作成装置及ぴ方法技術分野

本発明は、楽曲を示すデータを作成する楽曲データ作成装置及び方法に関する。背景技術

楽曲の和音を認識して楽曲を和音の変化、すなわち和音進行としてデータ化する装置としては、特開平 5— 2 8 9 6 7 2号公報に示されたものがある。

この公報に示された装置においては、予め音符化された楽曲情報（楽譜の音符情報）に基づいて拍子毎に含まれる音符成分から、或いはその音符成分から非和声音の音符を取り除いた後の音符成分から和音を判断してその楽曲の和音進行を示すデータを作成することが行われる。

しかしながら、かかる従来の楽曲データ作成装置においては、和音を解析できる拍子が予め知られた楽曲だけに限られ、また拍子が不明の楽曲音からその和音進行を示すデータを作成することはできないという欠点があった。

また、楽曲の和音をその楽曲音を示すオーディオ信号から解析して和音進行としてデータ化することは従来の楽曲処理装置では不可能であった。

発明の開示

本発明が解決しょうとする課題には、上記の問題点が一例として挙げられ、楽曲音を示すオーディオ信号に基づいて楽曲の和音進行を検出してそれをデータ化する楽曲データ作成装置及び方法を提供することが本発明の目的である。本発明の楽曲データ作成装置は、楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換手段と、前記周波数変換手段によつて得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出手段と、前記成分抽出手段によって抽出された各音に対応した周波数成分のうちのレベル合計が大となる 3つの周波数成分の組によって各々形成される 2つの和音を第 1及び第 2和音候補として検出する和音候補検出手段と、前記和音候補検出手段によって繰り返し検出された第 1及び第 2和音候補各々の列を平滑化処理して楽曲データを生成する平滑化手段と、を備えたことを特徴としている。

本発明の楽曲データ作成方法は、楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換し、前記周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出し、その抽出した各音に対応した周波数成分のうちのレベル合計が大となる 3つの周波数成分の組によつて各々形成される 2つの和音を第 1及び第 2和音候補として検出し、前記第 1及ぴ第 2和音候捕各々の列を平滑化処理して楽曲データを生成することを特徴としている。

本発明のプログラムは、楽曲を示す入力オーディォ信号に応じて楽曲データを作成する方法を実行するコンピュータ読取可能なプログラムであって、前記入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換ステツプと、前記周波数変換ステップによって得られた周波数信号から平均章の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出ステップと、前記成分抽出ステツプによって抽出された各音に対応した周波数成分のうちのレベル合計が大となる 3つの周波数成分の組によって各々形成される 2つの和音を第 1及び第 2和音候補として検出する和音候補検出ステップと、前記和音候補検出ステツプによって繰り返し検出された第 1及び第 2和音候補各々の列を平滑化処理して楽曲データを生成する平滑化ステップと、を備えたことを特徴としている。

図面の簡単な説明

図 1は本発明を適用した楽曲処理システムの構成を示すプロック図である。図 2は周波数誤差検出動作を示すフローチヤ一トである。

図 3は A音を 1 . 0とした場合の 1 2音及び 1オクターブ高い A音各々の周波数比を示す図である。

図 4は和音解析動作の本処理を示すフローチャートである。

図 5は帯域データの各音成分の強度レベル例を示す図である。

図 6は帯域データの各音成分の強度レベル例を示す図である。

図 7は 4音からなる和音に対する 3音からなる和音への変換を示す図である。図 8は一時記憶メモリへの記録フォーマツトを示す図である。

図 9 A〜図 9 Cは基本音及び和音の属性の表記方法、並びに和音候捕の表記方法を示す図である。

図 1 0は和音解析動作の後処理を示すフローチヤ一トである。

図 1 1は平滑化処理前の第 1及び第 2和音候補の時間変化を示す図である。図 1 2は平滑化処理後の第 1及び第 2和音候補の時間変化を示す図である。図 1 3は入れ替え処理後の第 1及び第 2和音候補の時間変化を示す図である。図 1 4 〜図1 4 Dは和音進行楽曲データの作成方法及びそのフォーマツトを示す図である。

図 1 5は本発明の他の実施例として楽曲処理システムの構成を示すプロック図である。

発明を実施するための形態

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図 1は本発明を適用した楽曲処理システムを示している。この楽曲処理システムは、マイク入力装置 1、ライン入力装置 2、楽曲入力装置 3、操作入力装置 4、. 入力切替スィッチ 5、アナログ Zディジタル変換装置 6、和音解析装置 7、データ蓄積装置 8 , 9、一時記憶メモリ 1 0、和音進行比較装置 1 1、表示装置 1 2、楽曲再生装置 1 3、ディジタル/アナログ変換装置 1 4及びスピーカ 1 5を備えている。

マイク入力装置 1は、楽曲音をマイクロホンで集音可能にされ、その集音した楽曲音を示すアナログのオーディオ信号を出力する。ライン入力装置 2には、例えば、ディスクプレーヤやテープレコーダが接続され、楽曲音を示すアナログのオーディオ信号を入力できるようにされている。楽曲入力装置 3は和音解析装置 7及びデータ蓄積装置 8に接続され、ディジタル化されたオーディオ信号（例えば、' P CMデータ）を再生する装置であり、例えば、 C Dプレーヤである。操作入力装置 4は本システムに対してユーザが操作してデータや指令を入力するための装置である。操作入力装置 4の出力は入力切替スィッチ 5、和音解析装置 7、和音進行比較装置 1 1及び楽曲再生装置 1 3に接続されている。

入力切替スィツチ 5は、マイク入力装置 1及びライン入力装置 2のうちのいずれか 1の出力信号を選択的にアナログ Zディジタル変換装置 6に供給する。入力切替スィツチ 5の切替動作は操作入力装置 4からの指令に応じて実行される。アナログ/ディジタル変換装置 6は、和音解析装置 7及びデータ蓄積装置 8に接続され、アナログのオーディオ信号をディジタル化し、ディジタル化オーディォ信号を楽曲データとしてデータ蓄積装置 8に供給する。データ蓄積装置 8にはアナログ Zディジタル変換装置 6及び楽曲入力装置 3供給された楽曲データ（P C Mデータ）がファイルとして記憶される。

和音解析装置 7は、供給された楽曲データの和音を後述する和音解析動作によつて解析する。一時記憶メモリ 1 0には和音解析装置 7によって解析された楽曲データの各和音が第 1及び第 2和音候補として一時的に記憶される。データ蓄積装置 9には和音解析装置 7によって解析されて和音進行楽曲データが楽曲毎にフアイノレとして記'慮される。

和音進行比較装置 1 1は、検索対象の和音進行楽曲データとデータ蓄積装置 9 に記憶された和音進行楽曲データとを比較し、検索対象の和音進行楽曲データと類似性の高い和音進行楽曲データを検出する。表示装置 1 2には和音進行比較装置 1 1による比較結果が楽曲リストとして表示される。

楽曲再生装置 1 3は、和音進行比較装置 1 1によって類似性が最も高いとして検出された楽曲のデータファイルをデータ蓄積装置 8から読み出して再生し、ディジタルオーディォ信号として順次出力する。ディジタル/アナログ変換装置 1 4は楽曲再生装置 1 3によって再生されたディジタルオーディォ信号をアナログオーディオ信号に変換する。

和音解析装置 7、和音進行比較装置 1 1及び楽曲再生装置 1' 3各々は操作入力装置 4からの指令に応じて動作する。次に、かかる構成の楽曲処理システムの動作について説明する。

ここでは楽曲音を示すアナログオーディォ信号がライン入力装置 2から入力切替スィッチ 5を介してアナ口グノデイジタル変換装置 6に供給され、そこでディジタル信号に変換された後、和音解析装置 7に供給されたとする。

上記した和音解析動作としては前処理、本処理及び後処理がある。和音解析装置 7は前処理として周波数誤差検出動作を行う。

' 周波数誤差検出動作においては、図 2に示すように、時間変数 T及び帯域データ F (N)が 0に初期化され、更に変数 Nの範囲が一 3〜 3の如く初期設定される (ステップ S 1)。入力ディジタル信号に対してフーリエ変換によって周波数変換を 0. 2秒間隔で行うことによつて周波数情報 f (T )が得られる（ステップ S 2)。

今回の f (T)、前回の f (T_ 1)及び前々回の f (T— 2)を用いて移動平均処理が行われる（ステップ S 3)。この移動平均処理では、 0. 6秒以内では和音が変化することが少ないという仮定で過去 2回分の周波数情報が用いられる。移動平均処理は次式によつて演算される。

f (T) = ( f (T)+ f (T- 1)/2.0 + f (T - 2)/3.0)/3.0

……（1) ステップ S 3の実行後、変数 Nがー 3に設定され (ステップ S 4)、その変数 Nは 4より小であるか否かが判別される（ステップ S 5)。 N< 4の場合には、移動平均処理後の周波数情報 f (T)から周波数成分 f 1 (T)〜f 5 (T)が各々抽出される（ステップ S 6〜S 1 0)。周波数成分 f 1 (T)〜 f 5 (T)は、（1 1 0.0 + 2 ΧΝ)Ηζを基本周波数とした 5オクターブ分の平均律の 1 2音のものである。 12音は A, A#， B, C, C#， D， D#, E， F, F#， G， G#である。図 3は A音を 1. 0とした場合の 1 2音及ぴ 1オクターブ高い A音各々の周波数比を示している。ステップ S 6の f 1 (T)は A音を（1 10.0 + 2 XN)H zとし、ステップ S 7の f 2 (T)は A音を 2 X (1 1 0.0 + 2 XN)Hzとし、ステップ S 8の f 3 (T)は A音を 4 X (1 10. 0 + 2 XN)Hzどし、ステップ S 9の f 4 (T)は A音を 8 X (1 1 0. 0 + 2 XN)Hzとし、ステップ S 1 0の f 5 (T) は A音を 1 6 X (1 1 0. 0 + 2 XN)Hzとしている。

ステップ S 6〜S 10の実行後、周波数成分 f 1 (T)〜 f 5 (T)は 1ォクターブ分の帯域データ F' (Τ)に変換される（ステップ S 1 1)。帯域データ F' (T) は、

F' (T)= f 1 (T) X 5 + f 2 (T) X 4 + f 3 (T) X 3 + f 4 (T) X 2+f 5 (T)

…… (2) の如く表される。すなわち、周波数成分 f l (T)〜f 5 (T)各々は個別に重み付けされた後、加算される。 1オクターブの帯域データ F' (Τ)は、帯域データ F (Ν) に加算される（ステップ S 1 2)。その後、変数 Νには 1が加算され（ステップ S 13)、そして、ステップ S 5が再度実行される。

ステップ S 6〜S 1 3の動作は、ステップ S 5において Nが 4より小、すなわち一 3〜+ 3の範囲であると判断される限り繰り返される。これによつて音成分 F (N)は一 3〜十 3の範囲の音程誤差を含む 1オクターブ分の周波数成分となる。

ステップ S 5において N≥ 4と判別された場合には、変数 Tが所定値 Mより小であるか否かが判別される（ステップ S 14)。 T<Mの場合には、変数 Tに 1 が加算され（ステップ S I 5 )、ステップ S 2が再度実行される。 M回分の周波数変換による周波数情報 f (T)に対して変数 N毎の帯域データ F (N)が算出される。

ステップ S 1 4において T≥Mと判別された場合には、変数 N毎の 1オタターブ分の帯域データ F (N)のうちの各周波数成分の総和が最大値となる F (N)が検出され、その検出 F (N)の Nが誤差値 Xとして設定される（ステップ S 1 6 )。この前処理によって誤差値 Xを求めることによってォーケストラの演奏音等の楽曲音全体の音程が平均律と一定の差をもっている場合に、それを捕償して後述の和音解析の本処理を行うことができる。

前処理の周波数誤差検出動作が終了すると、和音解析動作の本処理が行われる。なお、誤差値 Xが既に分かっている場合やその誤差を無視できる場合には、前処理は省略しても良い。本処理では楽曲全部について和音解析が行われるために楽曲の最初の部分から入力ディジタル信号は和音解析装置 7に供給されるとする。本処理おいては、図 4に示すように、入力ディジタル信号に対してフーリエ変換によって周波数変換を 0 . 2秒間隔で行うことによって周波数情報 f (T)が得られる（ステップ S 2 1 )。このステップ S 2 1が周波数変換手段に対応する。そして、今回の f (T)、前回の f (T一 1 )及び前々回の f (T一 2 )を用いて移動平均処理が行われる（ステップ S 2 2 )。ステップ S 2 1及び S 2 2は上記したステップ S 2及び S 3と同様に実行される。

ステップ S 2 2の実行後、移動平均処理後の周波数情報 f (T)から周波数成分 f 1 (T)〜 f 5 (T)が各々抽出される（ステップ S 2 3〜S 2 7 )。上記したステツプ S 6〜S 1 0と同様に、周波数成分 f 1 (T)〜f 5 (T)は、（1 1 0 . 0 + 2 XN) Hzを基本周波数とした 5オクターブ分の平均律の 1 2音 A, A#， B， C， C#， D， D#， E, F, F#， G， G#である。ステップ S 23の f 1 (T) は A音を（1 10.0 + 2 XN)Hzとし、ステップ S 24の f 2 (T)は A音を 2 X (1 1 0. 0 + 2 XN)Hzとし、ステップ S 25の f 3 (T)は A音を 4 X (1 1 0. 0 + 2 XN)Hzとし、ステップ S 26の f 4 (T)は A音を 8 X (1 10. 0 + 2 X N)Hzとし、ステップ S 27の f 5 (T)は A音を 16 X (1 10.0 + 2 XN)Hzとしている。ここで、 Nはステップ S 16で設定された Xである。

ステップ S 23〜S 27の実行後、周波数成分 f 1 (T)〜 f 5 (T)は 1ォクターブ分の帯域データ F，（Τ)に変換される（ステップ S 28)。このステップ S 28も上記のステップ S I 1と同様に式 (2)を用いて実行される。帯域データ F' (T)は各音成分を含むことになる。ステップ S 23〜S 28が成分抽出手段に相当する。

ステップ S 28の実行後、帯域データ F' (T)中の各音成分のうちの強度レべルが大きいものから 6音が候補として選択され（ステップ S 29)、その 6音候補から 2つの和音 Ml, M2が作成される（ステップ S 30)。候捕の 6音のうちから 1つの音を根音（ルート）として 3音からなる和音が作成される。すなわち ₆ C ₃通りの組み合わせの和音が考慮される。各和音を構成する 3音のレベルが加算され、その加算結果の値が最大となった和音が第 1和音候補 Mlとされ、加算結果の値が 2番目に大きい和音が第 2和音候補 M 2とされる。

帯域データ F' (T)の各音成分が図 5に示すように 1 2音に対する強度レベルを示す場合には、ステップ S 29では A, E, C, G, B， Dの 6音が選択される。その 6音 A, E, C, G, B, Dのうちの 3音から作成される 3和音は、（A, C, E)からなる和音 Am、（音 C, E, G)からなる和音 C、（音 E, B, G)からなる和音 Em、（音 G, B， D)からなる和音 G、 ……の如くである。和音 Am (音 A, C， E)の合計強度レベルは 1 2、和音 C (音 C, E, G)の合計強度レべルは 9、和音 Em (音 E， B, G)の合計強度レベルは 7、和音 G (音 G， B, D) の合計強度レベルは 4である。よって、ステップ S 30では和音 Amの合計強度レベル 12が最大となるので、第 1和音候補 Mlとして和音 Amが設定され、和音 Cの合計強度レベル 7が 2番目に大きいので、第 2和音候補 M 2として和音 C が設定される。

また、帯域データ F' (T)の各音成分が図 6に示すように 1 2音に対する強度レベルを示す場合には、ステップ S 29では C， G, A, E, B， Dの 6音が選択される。その 6音 C， G, A, E, B， Dのうちの 3音から作成される 3和音は、（音 C， E, G)からなる和音 C、 (A, C， E)からなる和音 Am、（音 E， B， G)からなる和音 Em、（音 G， B， D)からなる和音 G、 ……の如くである。和音 C (音 C， E, G)の合計強度レベルは 1 1、和音 Am (音 A, C, E)の合計強度レベルは 10、和音 Em (音 E， B, G)の合計強度レベ/レは 7、和音 G (音 G, B, D)の合計強度レベルは 6である。よって、ステップ S 30では和音 C の合計強度レベル 1 1が最大となるので、第 1和音候補 Mlとして和音 Cが設定され、和音 Amの合計強度レベル 1 0が 2番目に大きいので、第 2和音侯補 M2 として和音 Amが設定される。

和音を構成する音は 3音に限らず、セブンスゃディミニッシュセブンス等の 4 音もある。 4音からなる和音に対しては図 7に示すように 3音からなる 2つ以上の和音に分類されるとしている。よって、 4音からなる和音に対しても 3音からなる和音と同様に、帯域データ F' (T)の各音成分の強度レベルに応じて 2つの和音候補を設定することができる。

ステップ S 30の実行後、ステップ S 30において設定された和音候補数があるか否かが判別される（ステップ S 3 1)。ステップ S 30では少なくとも 3つの音を選択するだけの強度レベルに差がない場合には和音候補が全く設定されないことになるので、ステップ S 3 1の判別が行われる。和音候補数 > 0である場合には、更に、その和音候補数が 1より大であるか否かが判別される（ステップ S 32)₀

ステップ S 31において和音候補数 = 0と判別された場合には前回 T一 1 (約

0. 2秒前）の本処理において設定された和音候補 Ml， M2が今回の和音候補 Ml, M2として設定される（ステップ S 33)。ステップ S 32において和音候補数 = 1と判別された場合には今回のステップ S 30の実行では第 1和音候補 M 1だけが設定されたので、第 2和音候補 M 2は第 1和音候補 M 1と同一の和音に設定される（ステップ S 34)。ステップ S 29〜S 34が和音候補検出手段に相当する。

ステップ S 32において和音候補数 > 1と判別された場合には今回のステップ S 30の実行では第 1及ぴ第 2和音候補 M 1， M 2の両方が設定されたので、時刻、第 1及び第 2和音候補 Ml， M2がー時記憶メモリ 1 0に記憶される（ステップ S 35 )。一時記憶メモリ 1 0には図 8に示すように時刻、第 1和音候補 M

1、第 2和音候補 M2が 1組となって記憶される。時刻は 0. 2秒毎に増加する Tで表される本処理実行回数である。その Tの順に第 1及び第 2和音候補 M 1 , M 2が記憶される。具体的には、一時記憶メモリ 10に各和音候補を図 8に示したように 1パイトで記憶させるために、基本音とその属性との組み合わせが用いられる。基本音には平均律の 12音が用いられ、属性にはメジャー {4, 3}、マイナー {3， 4}、セブンス候補 { 4 , 6}及ぴディミニッシュセブンス（ d i m 7 ) 候補 { 3， 3} の和音の種類が用いられる。 { } 内は半音を 1とした場合の 3音の差である。本来、セブンス候補は {4， 3, 3} 及ぴディミニッシュセブンス（d i m7) 候補 {3， 3， 3} であるが、 3音で示すために上記のように表示している。基本音の 12音は図 9 Aに示すように 16ビット（1 6進表記）で表され、属性の和音の種類は同様に図 9 Bに示すように 16ビット（ 1 6進表記）で表される。その基本音の下位 4ビットと属性の下位 4ビットがその順に連結されて図 9 Cに示すように 8ビット（1バイト）として和音候補として用いられる。

ステップ S 35はステップ S 33又は S 34を実行した場合にもその直後に実行される。

ステップ S 35の実行後、楽曲が終了したか否かが判別される（ステップ S 3 6)。例えば、入力アナログオーディオ信号の入力がなくなった場合、或いは操作入力装置 4からの楽曲の終了を示す操作入力があった場合には楽曲が終了したと判断される。これによつて本処理が終了する。

楽曲の終了が判断されるまでは変数 Tに 1が加算され（ステップ S 37)、ステツプ S 21が再度実行される。ステップ S 21は上記したように 0. 2秒間隔で実行され、前回の実行時から 0. 2秒が経過して再度実行される。

後処理おいては、図 10に示すように、一時記憶メモリ 10から全ての第 1及ぴ第 2和音候補が Ml (0)〜M1 (R)及び M2 (0)〜M 2 (R)として読み出される (ステップ S 41 )。 0は開始時刻であり、開始時刻の第 1及ぴ第 2和音候補が M 1 (0)及び M 2 (0)である。 Rは最終時刻であり、最終時刻の第 1及ぴ第 2和音候捕が M 1 (R)及び M 2 (R)である。読み出された第 1和音候捕 M 1 (0)〜M 1 (R) 及び第 2和音候補 M 2 (0)〜M 2 (R)について平滑化が行われる（ステップ S 4 2)。この平滑化は和音の変化時点とは関係なく 0. 2秒間隔で和音候補を検出したことにより和音候補に含まれるノイズによる誤差を除去するために行われる。平滑化の具体的方法としては、 3つの連続する第 1和音候補 Ml (t— 1), Ml (t)， Ml (t+ 1)について Ml (t- 1)≠M1 (t)かつ M 1 (t)≠Ml (t+ 1) の関係が成立するか否かが判別され、その関係が成立する場合には、 Ml (ΐ+ 1) に Ml (t)は等しくされる。この判別は第 1和音候補毎に行われる。第 2和音候補についても同様の方法により平滑化は行われる。なお、 Ml (t+ 1)に Ml (t) を等しくするのではなく、逆に、 Ml (t+ 1)を Ml (t)に等しくしても良い。平滑化後、第 1及ぴ第 2和音候補の入れ替え処理が行われる（ステップ S 43)。一般的に 0. 6秒のような短い期間には和音が変化する可能性は低い。しかしながら、信号入力段の周波数特性及び信号入力時のノィズによつて帯域データ F ' (T)中の各音成分の周波数が変動することによって第 1及び第 2和音候補が 0. 6秒以内に入れ替わることが起きることがあり、これに対処するためにステップ S 43は行われる。第 1及び第 2和音候補が入れ替えの具体的方法としては、 5 つの連続する第 1和音候補 Ml (t— 2), Ml (t- 1), M 1 (t) , Ml (t+ 1), Ml (t+ 2)及びそれに対応する 5つの連続する第 2和音候補 M 2 (t— 2)， M2 (t一 1)， M2 (t), M2 (t+ 1)， M2 (t+ 2 )についての次の如き判別が実行される。すなわち、 Ml (t— 2)=M1 (t+ 2), M2 (t- 2)=M2 (t+ 2), Ml (t- 1)=M1 (t) =M 1 (t+ 1)=M2 (t一 2)及び M2 (t- 1)=M2 (t)= 2 (t+ 1)=M1 (t一 2)の関係が成立するか否かが判別される。この関係が成立する場合には、 Ml (t— 1)=M1 (t)=Ml (t+ 1)=M1 (t一 2)及ぴ M2 (t— 1 ) =M2 (t)=M2 (t+ 1)=M2 (t— 2)が定められ、 M 1 (t— 2 )と M 2 (t— 2 ) と間で和音の入れ替えが行われる。なお、 Ml (t— 2)と M2 (t— 2)との間で和音の入れ替えに代えて Ml (t+ 2)と M2 (t+ 2)との間で和音の入れ替えを行つても良い。また、 Ml (t_2)=Ml (t+ 1)， M2 (t- 2)=M2 (t+ l), Ml (t一 1)=M1 (t)=Ml (t+ 1)=M2 (t_ 2)及び M2 (t- 1)=M2 (t)=M2 (t+ 1)=M1 (t一 2)の関係が成立するか否かが判別される。この関係が成立する場合には、 M 1 (t— 1 ) =M 1 (ΐ) =Μ 1 (t一 2)及ぴ M 2 (t— 1) =M 2 (t) = M2 (t一 2)が定められ、 Ml (t— 2)と M2 (t_ 2 )との間で和音の入れ替えが行われる。なお、 Ml (t_ 2)と M2 (t— 2)との間で和音の入れ替えに代えて M 1 (t+ 1)と M2 (t+ 1)との間で和音の入れ替えを行っても良い。

ステップ S 41において読み出された第 1和音候補 Ml (0)〜M1 (R)及び第 2 和音候補 M 2 (0)〜M 2 (R)の各和音が、例えば、図 1 1に示すように時間経過と共に変化する場合には、ステップ S 42の平均化を行うことによって図 1 2に示すように修正される。更に、ステップ S 43の和音の入れ替えを行うことによつて第 1及び第 2和音候補の和音の変化は図 1 3に示すように修正される。なお、図 1 1〜図 1 3は和音の時間変化を折れ線グラフとして示しており、縦軸は和音の種類に対応した位置となっている。

ステップ S 43の和音の入れ替え後の第 1和音候補 Ml (0)〜M1 (R)のうちの和音が変化した時点 tの M 1 (t)及ぴ第 2和音候補 M 2 (0)〜M 2 (R)のうちの和音が変化した時点 tの M2 (t)が各々検出され（ステップ S 44)、その検出された時点 t (4バイト）及び和音（4バイト）が第 1及び第 2和音候補毎にデータ蓄積装置 9に記憶される（ステップ S 45)。ステップ S 45で記憶される 1 楽曲分のデータが和音進行楽曲データである。かかるステップ S 41〜S 45が平滑化手段に相当する。

ステップ S 43の和音の入れ替え後の第 1和音候補 Ml (0)〜M1 (R)及び第 2 和音候補 M 2 (0)〜M 2 (R)の和音が図 14 Aに示すように時間経過と共に変化する場合には、変化時点の時刻と和音とがデータとして抽出される。図 14Bが第 1和音候捕の変化時点のデータ内容であり、 F, G, D， Bに Fが和音であり、それらは 1 6進データとして 0 X 08, 0 X 0 A, 0 05, 0 x 01, 0 x 0 8と表される。変化時点 tの時刻は T 1 (0)， T 1 (1), T 1 (2) , T 1 (3), T 1 (4)である。また、図 14 Cが第 2和音候捕の変化時点のデータ内容であり、 C, B F#m, B Cが和音であり、それらは 1 6進データとして 0 X 03， 0 x 01, 0 x 29, 0 x 01, 0 x 03と表される。変化時点 tの時刻は T 2 (0)， T 2 (1), T 2 (2) , T 2 (3), T 2 (4)である。図 14B及び図 14Cに示したデータ内容は楽曲の識別情報と共にデータ蓄積装置 9には、ステップ S 45 においては図 14 Dに示すような形式で 1ファイルとして記憶される。

異なる楽曲音を示すアナログオーディオ信号について上記した和音分析動作を繰り返すことによりデータ蓄積装置 9には複数の楽曲毎のファイルとして和音進行楽曲データが蓄積されることになる。また、楽曲入力装置 3から出力される楽曲音を示すディジタルオーディオ信号について上記した和音分析動作を行うことによりデータ蓄積装置 9には和音進行楽曲データが蓄積されることになる。なお、データ蓄積装置 8にはデータ蓄積装置 9の和音進行楽曲データに対応した P C M 信号からなる楽曲データが蓄積される。

ステップ S 4 4において第 1和音候補のうちの和音が変化した時点の第 1和音候補及び第 2和音候補のうちの和音が変化した時点の第 2和音候補が各々検出され、それが最終的な和音進行楽曲データとなるので、 MP 3のような圧縮データに比べても 1楽曲当たりの容量を小さくすることができ、また、各楽曲のデータを高速処理することができる。

また、データ蓄積装置 9に書き込まれた和音進行楽曲データは、実際の楽曲と時間的に同期した和音データとなるので、第 1和音候捕のみ、或いは第 1和音候補と第 2和音候補との論理和出力を用いて実際に和音を楽曲再生装置 1 3によつて生成すれば、楽曲の伴奏が可能となる。

図 1 5は本発明の他の実施例を示している。図 1 5の楽曲処理システムにおいては、図 1のシステム中の和音解析装置 7、一時記憶メモリ 1 0及び和音進行比較装置 1 1がコンピュータ 2 1によって形成されている。コンピュータ 2 1は記憶装置 2 2に記憶されたプログラムに応じて上記の和音解析動作を実行する。記憶装置 2 2はハードディスクドライブに限らず、記録媒体のドライブ装置でも良い。その記録媒体のドライブ装置の場合には記録媒体に和音進行楽曲データを書き込むようにしても良い。

上記した実施例においては、ライン入力装置 2に入力されたアナログオーディォ信号を和音進行楽曲データに変換する場合について説明したが、楽曲入力装置 3から出力されるディジタルオーディオ信号或いはマイク入力装置 1に入力される演奏音を和音進行楽曲データに変換する場合についても上記の実施例の場合と同様である。また、ディジタルオーディオ信号は P CM信号に限らず、 M P 3のような圧縮されたフアイルに応じた信号でも良い。圧縮ファィルの復号化に際して平均律周波数幅を満たす周波数分解能を有する周波数領域の情報が得られるならば、フーリェ変換等の周波数変換を省略することができる。

以上のように、本発明によれば、周波数変換手段と、成分抽出手段と、和音候補検出手段と、平滑化手段とを備えたことにより、楽曲音を示すオーディオ信号に基づいて楽曲の和音進行を検出することができ、それに応じて容易に和音進行によって特徴付けられたデータを得ることができる。

Claims

請求の範囲

1 . 楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換手段と、

前記周波数変換手段によつて得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出手段と、

前記成分抽出手段によつて抽出された各音に対応した周波数成分のうちのレべル合計が大となる 3つの周波数成分の組によって各々形成される 2つの和音を第 1及び第 2和音候補として検出する和音候補検出手段と、

前記和音候補検出手段によって繰り返し検出された第 1及び第 2和音候補各々の列を平滑化処理して楽曲データを生成する平滑化手段と、を備えたことを特徴とする楽曲データ作成装置。

2 . 前記周波数変換手段は、前記周波数信号を移動平均処理して出力することを特徴とする請求項 1記載の楽曲データ作成装置。

3 . 前記成分抽出手段は、複数ォクターブ分の前記平均律の各音に対応した周波数成分を各々抽出するフィルタ手段と、

前記フィルタ手段から出力される各オタターブの前記平均律の各音に対応した周波数成分のレベルに対して個別に重み付けをして互いに加算する重み付け加算して 1オクターブ分の前記平均律の各音に対応した周波数成分を出力する手段と、を備えたことを特徴とする請求項 1記載の楽曲データ作成装置。

4 . 前記入力オーディオ信号の平均律の各音に対応した周波数成分に対する周波数誤差を検出する周波数誤差検出手段を有し、

前記成分抽出手段は、前記平均律の各音の周波数を前記周波数誤差を加えることによって補正し、その補正後の周波数成分を抽出することを特徴とする請求項

1記載の楽曲データ作成装置。

5 . 前記周波数誤差検出手段は、前記入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する第 2周波数変換手段と、

前記第 2周波数変換手段が所定の回数だけ周波数変換を行う毎に複数の周波数誤差のうちの 1の周波数誤差を指定する手段と、

複数オクターブ分の前記平均律の各音に対応した周波数と前記 1の周波数誤差とを含む周波数成分を各々抽出するフィルタ手段と、

前記フィルタ手段から出力される各オクターブの前記平均律の各音に対応した周波数成分のレベルに対して個別に重み付けをして互いに加算する重み付け加算して 1オクターブ分の前記平均律の各音に対応した周波数成分を出力する手段と、

前記複数の周波数誤差毎に前記 1オクターブ分の各周波数成分のレベルの合計を算出する加算手段と、

前記加算手段によってレベルが最大となった周波数誤差を検出周波数誤差とすることを特徴とする請求項 4記載の楽曲データ作成装置。

6 . 前記和音候捕検出手段は、前記レベル合計が最大となる 3つの周波数成分の組によって形成される和音を前記第 1和音候補とし、前記レベル合計がその次に大となる 3つの周波数成分の組によつて形成される和音を前記第 2和音候補とすることを特徴とする請求項 1記載の楽曲データ作成装置。

7 . 前記平滑化手段は、前記第 1和音候補の列のうちの連続する所定数の第 1 和音候補が互いに等しく、前記第 2和音候補の列のうちの連続する前記所定数の第 2和音候捕が互いに等しくなるように前記第 1和音候補又は前記第 2和音候補の内容を変更することを特徴とする請求項 1記載の楽曲データ作成装置。

8 . 前記平滑化手段は、前記第 1及び第 2和音候補各々の列のうちの和音が変化した時点の和音候補だけにすることを特徴とする請求項 1記載の楽曲データ作成装置。

9 . 前記平滑化手段は、前記第 1和音候補の列のうちの連続する 3つの前記第 1和音候補のうちの先頭の第 1和音候補と中間の第 1和音候捕とが等しくなくかつ前記中間の第 1和音候補と最後の第 1和音候補とが等しくないときには、前記中間の第 1和音候補を前記先頭の第 1和音候補又は前記最後の第 1和音候補と等しくさせ、前記第 2和音候捕の列のうちの連続する 3つの前記第 2和音候捕のうちの先頭の第 2和音候補と中間の第 2和音候補とが等しくなくかつ中間の第 2和音候補と最後の第 2和音候捕とが等しくないときには、前記中間の第 2和音候補を前記先頭の第 2和音候補又は前記最後の第 2和音候補と等しくさせる誤差除去手段と、

前記第 1和音候補の列のうちの連続する 5つの前記第 1和音候補と前記第 2和音候補の列のうちの連続する 5つの前記第 2和音候補とのうちの 1番目の第 1和音候補が 5番目の第 1和音候補に等しく、 1番目の第 2和音候補が 5番目の第 2 和音候補に等しく、 2番目の第 1和音候補と 3番目の第 1和音候補と 4番目の第 1和音候補と前記 5番目の第 2和音候補とが等しく、かつ 2番目の第 2和音候補と 3番目の第 2和音候補と 4番目の第 2和音候補と前記 5番目の第 1和音候補とが等しいときには、前記 1番目の第 1和音候補又は前記 5番目の第 1和音候補を前記 2番目ないし前記第 4番目の第 1和音候補と等しくさせ、かつ前記 1番目の第 2和音候補又は前記 5番目の第 2和音候補を前記 2番目ないし前記第 4番目の第 2和音候補と等しくさせ、

前記第 1和音候補の列のうちの連続する前記 1番目ないし 4番目の第 1和音候補と前記第 2和音候補の列のうちの連続する前記 1番目ないし 4番目の第 2和音候補とのうちの前記 1番目の第 1和音候補と前記 4番目の第 1和音候補とが等しく、前記 1番目の第 2和音候補と前記 4番目の第 2和音候補とが等しく、前記 2 番目の第 1和音候補と前記 3番目の第 1和音候補と前記 1番目の第 2和音候補とが等しく、かつ前記 2番目の第 2和音候補と前記 3番目の第 2和音候補と前記 1 番目の第 1和音候補とが等しいときには、前記 1番目の第 1和音候補又は前記 4 番目の第 1和音候補を前記 2番目及び前記第 3番目の第 1和音候補と等しくさせ、かつ前記 1番目の第 2和音候補又は前記 4番目の第 2和音候補を前記 2番目及び前記第 3番目の第 2和音候補と等しくさせる入れ替え手段と、を備えたことを特徴とする請求項 1記載の楽曲データ作成装置。

1 0 . 前記楽曲データは、前記第 1及び第 2和音候補の列各々の和音変化時点と和音とを示すことを特徴とする請求項 1記載の楽曲データ作成装置。

1 1 . 楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換し、

前記周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出し、

その抽出した各音に対応した周波数成分のうちのレベル合計が大となる 3つの周波数成分の組によって各々形成される 2つの和音を第 1及び第 2和音候補として検出し、前記第 1及び第 2和音候補各々の列を平滑化処理して楽曲データを生成することを特徴とする楽曲データ作成方法。

1 2 . 楽曲を示す入力オーディオ信号に応じて楽曲データを作成する方法を実行するコンピュータ読取可能なプログラムであって、

前記入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換ステツプと、

前記周波数変換ステップによつて得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出ステップと、

前記成分抽出ステップによって抽出された各音に対応した周波数成分のうちのレベル合計が大となる 3つの周波数成分の組によって各々形成される 2つの和音を第 1及び第 2和音候補として検出する和音候補検出ステップと、

前記和音候補検出ステップによって繰り返し検出された第 1及び第 2和音候補各々の列を平滑化処理して楽曲データを生成する平滑化ステツプと、を備えたことを特徴とするプログラム。