JP4313563B2 - 楽曲検索装置及び方法 - Google Patents
楽曲検索装置及び方法 Download PDFInfo
- Publication number
- JP4313563B2 JP4313563B2 JP2002352864A JP2002352864A JP4313563B2 JP 4313563 B2 JP4313563 B2 JP 4313563B2 JP 2002352864 A JP2002352864 A JP 2002352864A JP 2002352864 A JP2002352864 A JP 2002352864A JP 4313563 B2 JP4313563 B2 JP 4313563B2
- Authority
- JP
- Japan
- Prior art keywords
- chord
- music
- data
- change
- music data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/632—Query formulation
- G06F16/634—Query by example, e.g. query by humming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/571—Chords; Chord sequences
- G10H2210/576—Chord progression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
- G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Acoustics & Sound (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は、検索対象の楽曲に対応した楽曲を検索する楽曲検索装置及び方法に関する。
【０００２】
【従来の技術】
テレビやラジオで放送中に流れる楽曲音の楽曲名や歌手名が分からず、その楽曲音を改めて聞くために楽曲情報が知りたいことがある。そのようなときに楽曲名等の楽曲情報を検索するものとして楽曲検索装置が知られている。
従来の楽曲検索装置においては、特許文献１及び２に示されたように、各楽曲の楽曲データに基づいて楽曲のテンポ、楽器パターン、音程、拍子毎の和音、特定の和音の頻度及びリズムパターン等の特徴パラメータを検出してそれらのインデックスとして格納した記憶手段が備えられ、所望の楽曲について同様に特徴パラメータを検出してそれらのインデックスを抽出インディクスとし、抽出インディクスと格納されたインデックスとを比較して所望の楽曲についての情報を表示することが行われる。
【０００３】
【特許文献１】
特開平１０−１３４５４９号公報
【０００４】
【特許文献２】
特開平６−２９０５７４号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の楽曲検索装置においては、所望の楽曲についての情報を正確に検索するためには楽曲毎に多種の特徴パラメータを抽出して記憶手段に予め格納しておく必要があるので、構成が複雑になるという問題点があった。
本発明が解決しようとする課題には、上記の問題点が一例として挙げられ、所望の楽曲に対応した楽曲について簡単な構成で正確に検索することができる楽曲検索装置及び方法を提供することが本発明の目的である。
【０００６】
【課題を解決するための手段】
本発明の楽曲検索装置は、楽曲の和音の時系列変化を示す和音進行楽曲データを複数の楽曲分蓄積した蓄積手段と、オーディオ信号データとして入力された楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成手段と、各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較手段と、前記比較手段によって算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力手段と、を備えたことを特徴としている。
【０００７】
本発明の楽曲検索方法は、楽曲の和音の時系列変化を示す和音進行楽曲データを複数の楽曲分蓄積した蓄積手段を備えた楽曲検索装置の楽曲検索方法であって、検索対象データ生成手段がオーディオ信号データとして入力された楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成ステップと、比較手段が各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較ステップと、出力手段が前記比較ステップによって算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力ステップと、を備えたことを特徴としている。
【０００８】
本発明のプログラムは、オーディオ信号データとして入力された楽曲を検索するためのプログラムであって、コンピュータに、楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成ステップと、各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと蓄積手段に蓄積された複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較ステップと、前記比較ステップにおいて算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力ステップと、を実行させることを特徴としている。
【０００９】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図１は本発明を適用した楽曲処理システムを示している。この楽曲処理システムは、マイク入力装置１、ライン入力装置２、楽曲入力装置３、操作入力装置４、入力切替スイッチ５、アナログ／ディジタル変換装置６、和音解析装置７、データ蓄積装置８，９、一時記憶メモリ１０、和音進行比較装置１１、表示装置１２、楽曲再生装置１３、ディジタル／アナログ変換装置１４及びスピーカ１５を備えている。
【００１０】
マイク入力装置１は、楽曲音をマイクロホンで集音可能にされ、その集音した楽曲音を示すアナログのオーディオ信号を出力する。ライン入力装置２には、例えば、ディスクプレーヤやテープレコーダが接続され、楽曲音を示すアナログのオーディオ信号を入力できるようにされている。楽曲入力装置３は和音解析装置７及びデータ蓄積装置８に接続され、ディジタル化されたオーディオ信号（例えば、ＰＣＭデータ）を再生する装置であり、例えば、ＣＤプレーヤである。操作入力装置４は本システムに対してユーザが操作してデータや指令を入力するための装置である。操作入力装置４の出力は入力切替スイッチ５、和音解析装置７、和音進行比較装置１１及び楽曲再生装置１３に接続されている。
【００１１】
入力切替スイッチ５は、マイク入力装置１及びライン入力装置２のうちのいずれか１の出力信号を選択的にアナログ／ディジタル変換装置６に供給する。入力切替スイッチ５の切替動作は操作入力装置４からの指令に応じて実行される。
アナログ／ディジタル変換装置６は、和音解析装置７及びデータ蓄積装置８に接続され、アナログのオーディオ信号をディジタル化し、ディジタル化オーディオ信号を楽曲データとしてデータ蓄積装置８に供給する。データ蓄積装置８にはアナログ／ディジタル変換装置６及び楽曲入力装置３供給された楽曲データ（ＰＣＭデータ）がファイルとして記憶される。
【００１２】
和音解析装置７は、供給された楽曲データの和音を後述する和音解析動作によって解析する。一時記憶メモリ１０には和音解析装置７によって解析された楽曲データの各和音が第１及び第２和音候補として一時的に記憶される。データ蓄積装置９には和音解析装置７によって解析されて和音進行楽曲データが楽曲毎にファイルとして記憶される。
【００１３】
和音進行比較装置１１は、検索対象の和音進行楽曲データとデータ蓄積装置９に記憶された和音進行楽曲データとを比較し、検索対象の和音進行楽曲データと類似性の高い和音進行楽曲データを検出する。表示装置１２には和音進行比較装置１１による比較結果が楽曲リストとして表示される。
楽曲再生装置１３は、和音進行比較装置１１によって類似性が最も高いとして検出された楽曲のデータファイルをデータ蓄積装置８から読み出して再生し、ディジタルオーディオ信号として順次出力する。ディジタル／アナログ変換装置１４は楽曲再生装置１３によって再生されたディジタルオーディオ信号をアナログオーディオ信号に変換する。
【００１４】
和音解析装置７、和音進行比較装置１１及び楽曲再生装置１３各々は操作入力装置４からの指令に応じて動作する。
次に、かかる構成の楽曲処理システムの動作について説明する。
ここでは楽曲音を示すアナログオーディオ信号がライン入力装置２から入力切替スイッチ５を介してアナログ／ディジタル変換装置６に供給され、そこでディジタル信号に変換された後、和音解析装置７に供給されたとする。
【００１５】
上記した和音解析動作としては前処理、本処理及び後処理がある。和音解析装置７は前処理として周波数誤差検出動作を行う。
周波数誤差検出動作においては、図２に示すように、時間変数Ｔ及び帯域データＦ(Ｎ)が０に初期化され、更に変数Ｎの範囲が−３〜３の如く初期設定される（ステップＳ１）。入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ２）。
【００１６】
今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ３）。この移動平均処理では、０.６秒以内では和音が変化することが少ないという仮定で過去２回分の周波数情報が用いられる。移動平均処理は次式によって演算される。
ｆ(Ｔ)＝(ｆ(Ｔ)＋ｆ(Ｔ−１)／２.０＋ｆ(Ｔ−２)／３.０)／３.０……(1)
ステップＳ３の実行後、変数Ｎが−３に設定され（ステップＳ４）、その変数Ｎは４より小であるか否かが判別される（ステップＳ５）。Ｎ＜４の場合には、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ６〜Ｓ１０）。周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は、(１１０.０＋２×Ｎ)Hzを基本周波数とした５オクターブ分の平均律の１２音のものである。１２音はＡ，Ａ＃，Ｂ，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃である。図３はＡ音を１.０とした場合の１２音及び１オクターブ高いＡ音各々の周波数比を示している。ステップＳ６のｆ１(Ｔ)はＡ音を(１１０.０＋２×Ｎ)Hzとし、ステップＳ７のｆ２(Ｔ)はＡ音を２×(１１０.０＋２×Ｎ)Hzとし、ステップＳ８のｆ３(Ｔ)はＡ音を４×(１１０.０＋２×Ｎ)Hzとし、ステップＳ９のｆ４(Ｔ)はＡ音を８×(１１０.０＋２×Ｎ)Hzとし、ステップＳ１０のｆ５(Ｔ)はＡ音を１６×(１１０.０＋２×Ｎ)Hzとしている。
【００１７】
ステップＳ６〜Ｓ１０の実行後、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ１１）。帯域データＦ'(Ｔ)は、
Ｆ'(Ｔ)＝ｆ１(Ｔ)×５+ｆ２(Ｔ)×４+ｆ３(Ｔ)×３+ｆ４(Ｔ)×２+ｆ５(Ｔ)……(2)
の如く表される。すなわち、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)各々は個別に重み付けされた後、加算される。１オクターブの帯域データＦ'(Ｔ)は、帯域データＦ(Ｎ)に加算される（ステップＳ１２）。その後、変数Ｎには１が加算され（ステップＳ１３）、そして、ステップＳ５が再度実行される。
【００１８】
ステップＳ６〜Ｓ１３の動作は、ステップＳ５においてＮが４より小、すなわち−３〜＋３の範囲であると判断される限り繰り返される。これによって音成分Ｆ(Ｎ)は−３〜＋３の範囲の音程誤差を含む１オクターブ分の周波数成分となる。
ステップＳ５においてＮ≧４と判別された場合には、変数Ｔが所定値Ｍより小であるか否かが判別される（ステップＳ１４）。Ｔ＜Ｍの場合には、変数Ｔに１が加算され（ステップＳ１５）、ステップＳ２が再度実行される。Ｍ回分の周波数変換による周波数情報ｆ(Ｔ)に対して変数Ｎ毎の帯域データＦ(Ｎ)が算出される。
【００１９】
ステップＳ１４においてＴ≧Ｍと判別された場合には、変数Ｎ毎の１オクターブ分の帯域データＦ(Ｎ)のうちの各周波数成分の総和が最大値となるＦ(Ｎ)が検出され、その検出Ｆ(Ｎ)のＮが誤差値Ｘとして設定される（ステップＳ１６）。この前処理によって誤差値Ｘを求めることによってオーケストラの演奏音等の楽曲音全体の音程が平均律と一定の差をもっている場合に、それを補償して後述の和音解析の本処理を行うことができる。
【００２０】
前処理の周波数誤差検出動作が終了すると、和音解析動作の本処理が行われる。なお、誤差値Ｘが既に分かっている場合やその誤差を無視できる場合には、前処理は省略しても良い。本処理では楽曲全部について和音解析が行われるために楽曲の最初の部分から入力ディジタル信号は和音解析装置７に供給されるとする。
【００２１】
本処理おいては、図４に示すように、入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ２１）。このステップＳ２１が周波数変換手段に対応する。そして、今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ２２）。ステップＳ２１及びＳ２２は上記したステップＳ２及びＳ３と同様に実行される。
【００２２】
ステップＳ２２の実行後、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ２３〜Ｓ２７）。上記したステップＳ６〜Ｓ１０と同様に、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は、(１１０.０＋２×Ｎ)Hzを基本周波数とした５オクターブ分の平均律の１２音Ａ，Ａ＃，Ｂ，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃である。ステップＳ２３のｆ１(Ｔ)はＡ音を(１１０.０＋２×Ｎ)Hzとし、ステップＳ２４のｆ２(Ｔ)はＡ音を２×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２５のｆ３(Ｔ)はＡ音を４×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２６のｆ４(Ｔ)はＡ音を８×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２７のｆ５(Ｔ)はＡ音を１６×(１１０.０＋２×Ｎ)Hzとしている。ここで、ＮはステップＳ１６で設定されたＸである。
【００２３】
ステップＳ２３〜Ｓ２７の実行後、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ２８）。このステップＳ２８も上記のステップＳ１１と同様に式(2)を用いて実行される。帯域データＦ'(Ｔ)は各音成分を含むことになる。ステップＳ２３〜Ｓ２８が成分抽出手段に相当する。
【００２４】
ステップＳ２８の実行後、帯域データＦ'(Ｔ)中の各音成分のうちの強度レベルが大きいものから６音が候補として選択され（ステップＳ２９）、その６音候補から２つの和音Ｍ１，Ｍ２が作成される（ステップＳ３０）。候補の６音のうちから１つの音を根音（ルート）として３音からなる和音が作成される。すなわち6Ｃ3通りの組み合わせの和音が考慮される。各和音を構成する３音のレベルが加算され、その加算結果の値が最大となった和音が第１和音候補Ｍ１とされ、加算結果の値が２番目に大きい和音が第２和音候補Ｍ２とされる。
【００２５】
帯域データＦ'(Ｔ)の各音成分が図５に示すように１２音に対する強度レベルを示す場合には、ステップＳ２９ではＡ，Ｅ，Ｃ，Ｇ，Ｂ，Ｄの６音が選択される。その６音Ａ，Ｅ，Ｃ，Ｇ，Ｂ，Ｄのうちの３音から作成される３和音は、(Ａ，Ｃ，Ｅ)からなる和音Ａｍ、(音Ｃ，Ｅ，Ｇ)からなる和音Ｃ、(音Ｅ，Ｂ，Ｇ)からなる和音Ｅｍ、(音Ｇ，Ｂ，Ｄ)からなる和音Ｇ、……の如くである。和音Ａｍ(音Ａ，Ｃ，Ｅ)の合計強度レベルは１２、和音Ｃ(音Ｃ，Ｅ，Ｇ)の合計強度レベルは９、和音Ｅｍ(音Ｅ，Ｂ，Ｇ)の合計強度レベルは７、和音Ｇ(音Ｇ，Ｂ，Ｄ)の合計強度レベルは４である。よって、ステップＳ３０では和音Ａｍの合計強度レベル１２が最大となるので、第１和音候補Ｍ１として和音Ａｍが設定され、和音Ｃの合計強度レベル７が２番目に大きいので、第２和音候補Ｍ２として和音Ｃが設定される。
【００２６】
また、帯域データＦ'(Ｔ)の各音成分が図６に示すように１２音に対する強度レベルを示す場合には、ステップＳ２９ではＣ，Ｇ，Ａ，Ｅ，Ｂ，Ｄの６音が選択される。その６音Ｃ，Ｇ，Ａ，Ｅ，Ｂ，Ｄのうちの３音から作成される３和音は、(音Ｃ，Ｅ，Ｇ)からなる和音Ｃ、(Ａ，Ｃ，Ｅ)からなる和音Ａｍ、(音Ｅ，Ｂ，Ｇ)からなる和音Ｅｍ、(音Ｇ，Ｂ，Ｄ)からなる和音Ｇ、……の如くである。和音Ｃ(音Ｃ，Ｅ，Ｇ)の合計強度レベルは１１、和音Ａｍ(音Ａ，Ｃ，Ｅ)の合計強度レベルは１０、和音Ｅｍ(音Ｅ，Ｂ，Ｇ)の合計強度レベルは７、和音Ｇ(音Ｇ，Ｂ，Ｄ)の合計強度レベルは６である。よって、ステップＳ３０では和音Ｃの合計強度レベル１１が最大となるので、第１和音候補Ｍ１として和音Ｃが設定され、和音Ａｍの合計強度レベル１０が２番目に大きいので、第２和音候補Ｍ２として和音Ａｍが設定される。
【００２７】
和音を構成する音は３音に限らず、セブンスやディミニッシュセブンス等の４音もある。４音からなる和音に対しては図７に示すように３音からなる２つ以上の和音に分類されるとしている。よって、４音からなる和音に対しても３音からなる和音と同様に、帯域データＦ'(Ｔ)の各音成分の強度レベルに応じて２つの和音候補を設定することができる。
【００２８】
ステップＳ３０の実行後、ステップＳ３０において設定された和音候補数があるか否かが判別される（ステップＳ３１）。ステップＳ３０では少なくとも３つの音を選択するだけの強度レベルに差がない場合には和音候補が全く設定されないことになるので、ステップＳ３１の判別が行われる。和音候補数＞０である場合には、更に、その和音候補数が１より大であるか否かが判別される（ステップＳ３２）。
【００２９】
ステップＳ３１において和音候補数＝０と判別された場合には前回Ｔ−１（約０.２秒前）の本処理において設定された和音候補Ｍ１，Ｍ２が今回の和音候補Ｍ１，Ｍ２として設定される（ステップＳ３３）。ステップＳ３２において和音候補数＝１と判別された場合には今回のステップＳ３０の実行では第１和音候補Ｍ１だけが設定されたので、第２和音候補Ｍ２は第１和音候補Ｍ１と同一の和音に設定される（ステップＳ３４）。ステップＳ２９〜Ｓ３４が和音候補検出手段に相当する。
【００３０】
ステップＳ３２において和音候補数＞１と判別された場合には今回のステップＳ３０の実行では第１及び第２和音候補Ｍ１，Ｍ２の両方が設定されたので、時刻、第１及び第２和音候補Ｍ１，Ｍ２が一時記憶メモリ１０に記憶される（ステップＳ３５）。一時記憶メモリ１０には図８に示すように時刻、第１和音候補Ｍ１、第２和音候補Ｍ２が１組となって記憶される。時刻は０.２秒毎に増加するＴで表される本処理実行回数である。そのＴの順に第１及び第２和音候補Ｍ１，Ｍ２が記憶される。
【００３１】
具体的には、一時記憶メモリ１０に各和音候補を図８に示したように１バイトで記憶させるために、基本音（根音）とその属性との組み合わせが用いられる。基本音には平均律の１２音が用いられ、属性にはメジャー｛４，３｝、マイナー｛３，４｝、セブンス候補｛４，６｝及びディミニッシュセブンス（ｄｉｍ７）候補｛３，３｝の和音の種類が用いられる。｛ ｝内は半音を１とした場合の３音の差である。本来、セブンス候補は｛４，３，３｝及びディミニッシュセブンス（ｄｉｍ７）候補｛３，３，３｝であるが、３音で示すために上記のように表示している。
【００３２】
基本音の１２音は図９(a)に示すように１６ビット（１６進表記）で表され、属性の和音の種類は同様に図９(b)に示すように１６ビット（１６進表記）で表される。その基本音の下位４ビットと属性の下位４ビットがその順に連結されて図９(c)に示すように８ビット（１バイト）として和音候補として用いられる。ステップＳ３５はステップＳ３３又はＳ３４を実行した場合にもその直後に実行される。
【００３３】
ステップＳ３５の実行後、楽曲が終了したか否かが判別される（ステップＳ３６）。例えば、入力アナログオーディオ信号の入力がなくなった場合、或いは操作入力装置４からの楽曲の終了を示す操作入力があった場合には楽曲が終了したと判断される。これによって本処理が終了する。
楽曲の終了が判断されるまでは変数Ｔに１が加算され（ステップＳ３７）、ステップＳ２１が再度実行される。ステップＳ２１は上記したように０.２秒間隔で実行され、前回の実行時から０.２秒が経過して再度実行される。
【００３４】
後処理においては、図１０に示すように、一時記憶メモリ１０から全ての第１及び第２和音候補がＭ１(0)〜Ｍ１(R)及びＭ２(0)〜Ｍ２(R)として読み出される（ステップＳ４１）。０は開始時刻であり、開始時刻の第１及び第２和音候補がＭ１(0)及びＭ２(0)である。Ｒは最終時刻であり、最終時刻の第１及び第２和音候補がＭ１(R)及びＭ２(R)である。読み出された第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)について平滑化が行われる（ステップＳ４２）。この平滑化は和音の変化時点とは関係なく０.２秒間隔で和音候補を検出したことにより和音候補に含まれるノイズによる誤差を除去するために行われる。平滑化の具体的方法としては、３つの連続する第１和音候補Ｍ１(t−１)，Ｍ１(t)，Ｍ１(t＋１)についてＭ１(t−１)≠Ｍ１(t)かつＭ１(t)≠Ｍ１(t＋１)の関係が成立するか否かが判別され、その関係が成立する場合には、Ｍ１(t＋１)にＭ１(t)は等しくされる。この判別は第１和音候補毎に行われる。第２和音候補についても同様の方法により平滑化は行われる。なお、Ｍ１(t＋１)にＭ１(t)を等しくするのではなく、逆に、Ｍ１(t＋１)をＭ１(t)に等しくしても良い。
【００３５】
平滑化後、第１及び第２和音候補の入れ替え処理が行われる（ステップＳ４３）。一般的に０．６秒のような短い期間には和音が変化する可能性は低い。しかしながら、信号入力段の周波数特性及び信号入力時のノイズによって帯域データＦ'(Ｔ)中の各音成分の周波数が変動することによって第１及び第２和音候補が０．６秒以内に入れ替わることが起きることがあり、これに対処するためにステップＳ４３は行われる。第１及び第２和音候補が入れ替えの具体的方法としては、５つの連続する第１和音候補Ｍ１(t−２)，Ｍ１(t−１)，Ｍ１(t)，Ｍ１(t＋１)，Ｍ１(t＋２)及びそれに対応する５つの連続する第２和音候補Ｍ２(t−２)，Ｍ２(t−１)，Ｍ２(t)，Ｍ２(t＋１)，Ｍ２(t＋２)についての次の如き判別が実行される。すなわち、Ｍ１(t−２)＝Ｍ１(t＋２)，Ｍ２(t−２)＝Ｍ２(t＋２)，Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ２(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ１(t−２)の関係が成立するか否かが判別される。この関係が成立する場合には、Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ１(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ２(t−２)が定められ、Ｍ１(t−２)とＭ２(t−２)と間で和音の入れ替えが行われる。なお、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えに代えてＭ１(t＋２)とＭ２(t＋２)との間で和音の入れ替えを行っても良い。また、Ｍ１(t−２)＝Ｍ１(t＋１)，Ｍ２(t−２)＝Ｍ２(t＋１)，Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ２(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ１(t−２)の関係が成立するか否かが判別される。この関係が成立する場合には、Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t−２)が定められ、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えが行われる。なお、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えに代えてＭ１(t＋１)とＭ２(t＋１)との間で和音の入れ替えを行っても良い。
【００３６】
ステップＳ４１において読み出された第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)の各和音が、例えば、図１１に示すように時間経過と共に変化する場合には、ステップＳ４２の平均化を行うことによって図１２に示すように修正される。更に、ステップＳ４３の和音の入れ替えを行うことによって第１及び第２和音候補の和音の変化は図１３に示すように修正される。なお、図１１〜図１３は和音の時間変化を折れ線グラフとして示しており、縦軸は和音の種類に対応した位置となっている。
【００３７】
ステップＳ４３の和音の入れ替え後の第１和音候補Ｍ１(0)〜Ｍ１(R)のうちの和音が変化した時点ｔのＭ１(t)及び第２和音候補Ｍ２(0)〜Ｍ２(R)のうちの和音が変化した時点ｔのＭ２(t)が各々検出され（ステップＳ４４）、その検出された時点ｔ（４バイト）及び和音（４バイト）が第１及び第２和音候補毎にデータ蓄積装置９に記憶される（ステップＳ４５）。ステップＳ４５で記憶される１楽曲分のデータが和音進行楽曲データである。かかるステップＳ４１〜Ｓ４５が平滑化手段に相当する。
【００３８】
ステップＳ４３の和音の入れ替え後の第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)の和音が図１４(a)に示すように時間経過と共に変化する場合には、変化時点の時刻と和音とがデータとして抽出される。図１４(b)が第１和音候補の変化時点のデータ内容であり、Ｆ，Ｇ，Ｄ，Ｂ♭，Ｆが和音であり、それらは１６進データとして０ｘ０８，０ｘ０Ａ，０ｘ０５，０ｘ０１，０ｘ０８と表される。変化時点ｔの時刻はＴ１(0)，Ｔ１(1)，Ｔ１(2)，Ｔ１(3)，Ｔ１(4)である。また、図１４(c)が第２和音候補の変化時点のデータ内容であり、Ｃ，Ｂ♭，Ｆ＃ｍ，Ｂ♭，Ｃが和音であり、それらは１６進データとして０ｘ０３，０ｘ０１，０ｘ２９，０ｘ０１，０ｘ０３と表される。変化時点ｔの時刻はＴ２(0)，Ｔ２(1)，Ｔ２(2)，Ｔ２(3)，Ｔ２(4)である。図１４(b)及び図１４(c)に示したデータ内容は楽曲の識別情報と共にデータ蓄積装置９には、ステップＳ４５においては図１４(d)に示すような形式で１ファイルとして記憶される。
【００３９】
異なる楽曲音を示すアナログオーディオ信号について上記した和音分析動作を繰り返すことによりデータ蓄積装置９には複数の楽曲毎のファイルとして和音進行楽曲データが蓄積されることになる。また、楽曲入力装置４から出力される楽曲音を示すディジタルオーディオ信号について上記した和音分析動作を行うことによりデータ蓄積装置９には和音進行楽曲データが蓄積されることになる。なお、データ蓄積装置８にはデータ蓄積装置９の和音進行楽曲データに対応したＰＣＭ信号からなる楽曲データが蓄積される。
【００４０】
ステップＳ４４において第１和音候補のうちの和音が変化した時点の第１和音候補及び第２和音候補のうちの和音が変化した時点の第２和音候補が各々検出され、それが最終的な和音進行楽曲データとなるので、ＭＰ３のような圧縮データに比べても１楽曲当たりの容量を小さくすることができ、また、各楽曲のデータを高速処理することができる。
【００４１】
また、データ蓄積装置９に書き込まれた和音進行楽曲データは、実際の楽曲と時間的に同期した和音データとなるので、第１和音候補のみ、或いは第１和音候補と第２和音候補との論理和出力を用いて実際に和音を楽曲再生装置１３によって生成すれば、楽曲の伴奏が可能となる。
上記した実施例においては、ライン入力装置２に入力されたアナログオーディオ信号を和音進行楽曲データに変換する場合について説明したが、楽曲入力装置３から出力されるディジタルオーディオ信号或いはマイク入力装置１に入力される演奏音を和音進行楽曲データに変換する場合についても上記の実施例の場合と同様である。また、ディジタルオーディオ信号はＰＣＭ信号に限らず、ＭＰ３のような圧縮されたファイルに応じた信号でも良い。圧縮ファイルの復号化に際して平均律周波数幅を満たす周波数分解能を有する周波数領域の情報が得られるならば、フーリエ変換等の周波数変換を省略することができる。
【００４２】
次に、マイク入力装置２に入力される楽曲音に対応する和音進行楽曲データを検索対象のデータとしてデータ蓄積装置９を検索する楽曲検索動作について説明する。楽曲検索動作は入力楽曲音に応じて検索対象の和音進行楽曲データを作成するデータ入力処理と、その検索対象の和音進行楽曲データの楽曲をデータ蓄積装置９に蓄積された和音進行楽曲データに応じて検索してその楽曲音を再生する検索再生処理とからなる。データ入力処理は和音解析装置７によって実行され、検束再生処理は和音進行比較装置１１及び楽曲再生装置１３によって実行される。
【００４３】
楽曲検索動作のデータ入力処理においては、図１５及び図１６に示すように、マイク入力装置１の出力とアナログディジタル変換装置６とが入力切替スイッチ５によって接続され（ステップＳ５１）、マイク入力装置２から出力されるアナログオーディオ信号が入力切替スイッチ５を介してアナログディジタル変換装置６へ供給される。アナログディジタル変換装置６はアナログオーディオ信号をディジタルオーディオ信号に変換して和音解析装置７に供給する。このステップＳ５１は、ライン入力装置２からのオーディオ信号をアナログディジタル変換装置６に供給する場合には必要ない。
【００４４】
和音候補総数ｈが０に設定され（ステップＳ５２）、周波数誤差検出動作が実行される（ステップＳ５３）。周波数誤差検出動作は上記したステップＳ１〜Ｓ１６の動作である。
周波数誤差検出動作後、入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ５４）。そして、今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ５５）。そして、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ５６〜Ｓ６０）。その周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ６１）。帯域データＦ'(Ｔ)中の各音成分のうちの強度レベルが大きいものから６音が候補として選択され（ステップＳ６２）、その６音候補から２つの和音Ｍ１，Ｍ２が作成される（ステップＳ６３）。ステップＳ６３において設定された和音候補数があるか否かが判別される（ステップＳ６４）。和音候補数＞０である場合には、更に、その和音候補数が１より大であるか否かが判別される（ステップＳ６５）。ステップＳ６４において和音候補数＝０と判別された場合には前回Ｔ−１（約０.２秒前）において設定された和音候補Ｍ１，Ｍ２が今回の和音候補Ｍ１，Ｍ２として設定される（ステップＳ６６）。
【００４５】
ステップＳ６５において和音候補数＝１と判別された場合には今回のステップＳ６３の実行では第１和音候補Ｍ１だけが設定されたので、第２和音候補Ｍ２は第１和音候補Ｍ１と同一の和音に設定される（ステップＳ６７）。ステップＳ６５において和音候補数＞１と判別された場合には時刻、第１及び第２和音候補Ｍ１，Ｍ２が一時記憶メモリ１０に記憶される（ステップＳ６８）。
【００４６】
ステップＳ６８はステップＳ６６又はＳ６７を実行した場合にもその直後に実行される。
ステップＳ５４〜Ｓ６８は和音解析動作の本処理のステップＳ２１〜Ｓ３５と同一である。
ステップＳ６８の実行後、和音候補総数ｈが所定数Ｈより大であるか否かが判別される（ステップＳ６９）。所定数Ｈは楽曲を検索するために必要な和音数である。ｈ≦Ｈの場合には第１和音候補Ｍ１が変化したか否かが判別される（ステップＳ７０）。すなわち、前回の第１和音候補Ｍ１(t-1)と今回の第１和音候補Ｍ１(t)とが異なるか否かが判別される。Ｍ１(t-1)＝Ｍ１(t)であるならば、同一の和音であるので、変数Ｔに１が加算され（ステップＳ７１）、ステップＳ５４が再度実行される。ステップＳ５４は上記したように０.２秒間隔で実行され、前回の実行時から０.２秒が経過して再度実行される。Ｍ１(t-1)≠Ｍ１(t)であるならば、和音が変化したので、和音候補総数ｈに１が加算され（ステップＳ７２）、その後、ステップＳ７１が実行される。
【００４７】
ステップＳ６９においてｈ＞Ｈであると判別された場合には、和音解析動作の後処理が実行される（ステップＳ７３）。このステップＳ７３は図１０に示したステップＳ４１〜Ｓ４５と同一の動作である。ステップＳ５１〜Ｓ７３がデータ入力処理である。この結果、検索対象の和音進行楽曲データが作成される。この検索対象の和音進行楽曲データは所定数Ｈの和音を含んでおり、楽曲全てのデータではない。
【００４８】
かかるデータ入力処理が検索対象データ生成手段に相当する。
データ入力処理後、楽曲検索動作の検索再生処理が行われる。検索再生処理においては、図１７に示すように、入力楽曲音のオーディオ信号についての第１和音候補Ｍ１(0)〜Ｍ１(a-1)及び第２和音候補Ｍ２(0)〜Ｍ２(b-1)が蓄積手段であるデータ蓄積装置９から読み出される（ステップＳ８１）。ａは第１和音候補の総数であり、ｂは第２和音候補の総数である。読み出された第１和音候補Ｍ１(0)〜Ｍ１(a-1)に対して第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)が計算される（ステップＳ８２）。第１和音差分値は、ＭＲ１(0)＝Ｍ１(1)−Ｍ１(0)，ＭＲ１(1)＝Ｍ１(2)−Ｍ１(1)，……，ＭＲ１(a-2)＝Ｍ１(a-1)−Ｍ１(a-2)の如く計算される。この計算では第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)各々が０より小であるか否かを判別し、０より小の第１和音差分値には１２を加算することが行われる。また、第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)各々には和音変化後の和音属性ＭＡ１(0)〜ＭＡ１(a-2)が付加される。読み出された第２和音候補Ｍ２(0)〜Ｍ２(b-1)に対しても第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)が計算される（ステップＳ８３）。第２和音差分値は、ＭＲ２(0)＝Ｍ２(1)−Ｍ２(0)，ＭＲ２(1)＝Ｍ２(2)−Ｍ２(1)，……，ＭＲ２(b-2)＝Ｍ２(b-1)−Ｍ２(b-2)の如く計算される。この計算においても第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)各々が０より小であるか否かを判別し、０より小の第２和音差分値には１２を加算することが行われる。また、第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)各々には和音変化後の和音属性ＭＡ２(0)〜ＭＡ２(b-2)が付加される。なお、和音属性ＭＡ１(0)〜ＭＡ１(a-2)，ＭＡ２(0)〜ＭＡ２(b-2)には図９(b)に示した数値が用いられる。
【００４９】
図１８はステップＳ８２及びＳ８３の動作例を説明している。すなわち、和音候補がＡｍ７，Ｄｍ，Ｃ，Ｆ，Ｅｍ，Ｆ，Ｂ♭＃の列である場合に、和音差分値は５，１０，５，１１，１，５となり、和音変化後の和音属性は０ｘ０２，０ｘ００，０ｘ００，０ｘ０２，０ｘ００，０ｘ００となる。なお、和音変化後の和音属性がセブンスの場合にはそれに代えてメジャーとしている。セブンスを用いてもそれの比較演算結果への影響が小さいので、演算量を削減するためである。
【００５０】
ステップＳ８３の実行後、データ蓄積装置９に和音進行楽曲データとして蓄積されている楽曲の総楽曲数がＺとして取得され（ステップＳ８４）、カウンタ値Ｃが０に初期化される（ステップＳ８５）。
データ蓄積装置９からＣ番目の和音進行楽曲データの第１和音候補がＵ１(0)〜Ｕ１(ua-1)として、第２和音候補がＵ２(0)〜Ｕ２(ub-1)として各々読み出される（ステップＳ８６）。ｕａはＣ番目の和音進行楽曲データの第１和音候補の総数、ｕｂはＣ番目の和音進行楽曲データの第２和音候補の総数である。
【００５１】
読み出された第１和音候補Ｕ１(0)〜Ｕ１(ua-1)に対して第１和音差分値ＵＲ１(0)〜ＵＲ１(ua-2)が計算される（ステップＳ８７）。ステップＳ８７の第１和音差分値は、ＵＲ１(0)＝Ｕ１(1)−Ｕ１(0)，ＵＲ１(1)＝Ｕ１(2)−Ｕ１(1)，……，ＵＲ１(ua-2)＝Ｕ１(ua-1)−Ｕ１(ua-2)の如く計算される。この計算では第１和音差分値ＵＲ１(0)〜ＵＲ１(ua-2)各々が０より小であるか否かを判別し、０より小の第１和音差分値には１２を加算することが行われる。また、第１和音差分値ＵＲ１(0)〜ＵＲ１(ua-2)各々には和音変化後の和音属性ＵＡ１(0)〜ＵＡ１(ua-2)が付加される。読み出された第２和音候補Ｕ２(0)〜Ｕ２(ub-1)に対しても第２和音差分値ＵＲ２(0)〜ＵＲ２(ub-2)が計算される（ステップＳ８８）。第２和音差分値は、ＵＲ２(0)＝Ｕ２(1)−Ｕ２(0)，ＵＲ２(1)＝Ｕ２(2)−Ｕ２(1)，……，ＵＲ２(ub-2)＝Ｕ２(ub-1)−Ｕ２(ub-2)の如く計算される。この計算においても第２和音差分値ＵＲ２(0)〜ＵＲ２(ub-2)各々が０より小であるか否かを判別し、０より小の第２和音差分値には１２を加算することが行われる。また、第２和音差分値ＵＲ２(0)〜ＵＲ２(ub-2)各々には和音変化後の和音属性ＵＡ２(0)〜ＵＡ２(ub-2)が付加される。
【００５２】
入力楽曲音についてのステップＳ８２にて得られた第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)及び和音属性ＭＡ１(0)〜ＭＡ１(a-2)並びにステップＳ８３にて得られた第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)及び和音属性ＭＡ２(0)〜ＭＡ２(b-2)と、ステップＳ８７にて得られた蓄積されたＣ番目の和音進行楽曲データについての第１和音差分値ＵＲ１(0)〜ＵＲ１(ua-2)及び和音属性ＵＡ１(0)〜ＵＡ１(ua-2)とに応じて相互相関演算が行われる（ステップＳ８９）。相互相関演算では相関係数ＣＯＲ(t)が次式(3)の如く算出される。相関係数ＣＯＲ(t)が小さいほど類似性が高いことを示す。
ＣＯＲ(t)＝Σ10(|ＵＲ１(t+n)-ＭＲ１(n')|+|ＵＡ１(t+n)-ＭＡ１(n')|
+|ＷＵ１(t+n+1)/ＷＵ１(t+n)-ＷＭ１(n'+1)/ＷＭ１(n')|)
+Σ10(|ＵＲ１(t+m)-ＭＲ２(m')|+|ＵＡ１(t+m)-ＭＡ２(m')|
+|ＷＵ１(t+m+1)/ＷＵ１(t+m)-ＷＭ２(m'+1)/ＷＭ２(m')|) ……(3)
ただし、ＷＵ１()，ＷＭ１()，ＷＭ２()は各和音が維持される時間幅、ｔ＝０〜ｕａ−２、Σ演算はｎ＝０〜ａ−２及びｎ'＝０〜ａ−２，ｍ＝０〜ｂ−２及びｍ'＝０〜ｂ−２である。
【００５３】
ステップＳ８９の相関係数ＣＯＲ(t)はｔが０〜ｕａ−２の範囲で各々算出される。また、ステップＳ８９の相関係数ＣＯＲ(t)の演算では飛び越し処理が行われる。飛び越し処理においては、(ＵＲ１(t+n+n1)−ＭＲ１(n'+n2))の最小値が検出される。n1及びn2各々は０〜２までのいずれかの整数である。すなわち、n1及びn2各々を０〜２までの範囲で変化させて(ＵＲ１(t+n+n1)−ＭＲ１(n'+n2))の最小値となるときが検出される。そのときのｎ＋ｎ１が新たなｎに、ｎ'＋ｎ２が新たなｎ'とされる。また、(ＵＲ１(t+m+m1)−ＭＲ２(m'+m2))の最小値が検出される。ｍ１及びｍ２各々は０〜２までのいずれかの整数である。すなわち、ｍ1及びｍ2各々を０〜２までの範囲で変化させて(ＵＲ１(t+m+m1)−ＭＲ２(m'+m2))の最小値となるときが検出される。そのときのｍ＋ｍ１が新たなｍに、ｍ'＋ｍ２が新たなｍ'とされる。その後、式(3)に応じて相関係数ＣＯＲ(t)が算出される。
【００５４】
更に、各時点の和音から変化後の和音が検索対象の和音進行楽曲データ及びＣ番目の和音進行楽曲データがＣ及びＡｍのいずれであっても、或いはＣｍ及びＥ♭のいずれであっても同一とみなす。すなわち、変化後の和音が関係調の和音であれば、上記の式の|ＵＲ１(t+n)−ＭＲ１(n')|+|ＵＡ１(t+n)−ＭＡ１(n')|＝０或いは|ＵＲ１(t+m)−ＭＲ２(m')|+|ＵＡ１(t+m)−ＭＡ２(m')|＝０である。例えば、和音Ｆから一方のデータが７度差でメジャーに変化し、他方のデータが４度差でマイナーに変化した場合には同一とし、また和音Ｆから一方のデータが７度差でマイナーに変化し、他方のデータが１０度差でメジャーに変化した場合にも同一として処理される。
【００５５】
図１９(a)はＣ番目の和音進行楽曲データと検索対象の和音進行楽曲データとの関係を示している。検索対象の和音進行楽曲データはｔの進行に従ってＣ番目の和音進行楽曲データとの比較部分が変化する。図１９(b)は相関係数ＣＯＲ(t)の変化を示している。
図１９(c)はＣ番目の和音進行楽曲データと検索対象の和音進行楽曲データとの相互相関演算における、各和音が維持される時間幅ＷＵ(1)〜ＷＵ(5)、飛び越し処理部分及び関係調の部分を示している。Ｃ番目の和音進行楽曲データと検索対象の和音進行楽曲データとの間の矢印線は同一和音を示している。その矢印線のうちの同一時間にない傾いた矢印線で結ばれた和音は、飛び越し処理で検出された和音である。また、矢印線が波線になっているものは関係調の和音である。
【００５６】
算出された相関係数ＣＯＲ(0)〜ＣＯＲ(ua-2)のうちから最小値がＭＩＮ[ＣＯＲ(t)]として検出され、それがそのままＣＯＲ＿ＭＩＮ(Ｃ)としてされる（ステップＳ９０）。
更に、ステップＳ８２にて得られた第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)及び和音属性ＭＡ１(0)〜ＭＡ１(a-2)並びにステップＳ８３にて得られた第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)及び和音属性ＭＡ２(0)〜ＭＡ２(b-2)と、ステップＳ８８にて得られた蓄積されたＣ番目の和音進行楽曲データについての第１和音差分値ＵＲ２(0)〜ＵＲ２(ub-2)及び和音属性ＵＡ２(0)〜ＵＡ２(ub-2)とに応じて相互相関演算が行われる（ステップＳ９１）。この相互相関演算では相関係数ＣＯＲ(t)が次式(4)の如く算出される。
ＣＯＲ(t)＝Σ10(|ＵＲ２(t+n)-ＭＲ１(n')|+|ＵＡ２(t+n)-ＭＡ１(n')|
+|ＷＵ２(t+n+1)/ＷＵ２(t+n)-ＷＭ１(n'+1)/ＷＭ１(n')|)
+Σ10(|ＵＲ２(t+m)-ＭＲ２(m')|+|ＵＡ２(t+m)-ＭＡ２(m')|
+|ＷＵ２(t+m+1)/ＷＵ２(t+m)-ＷＭ２(m'+1)/ＷＭ２(m')|) ……(4)
ただし、ＷＵ２()，ＷＭ１()，ＷＭ２()は各和音が維持される時間幅、ｔ＝０〜ｕｂ−２、Σ演算はｎ＝０〜ａ−２及びｎ'＝０〜ａ−２，ｍ＝０〜ｂ−２及びｍ'＝０〜ｂ−２である。
【００５７】
ステップＳ９１の相関係数ＣＯＲ(t)はｔが０〜ｕb−２の間で変化する範囲で各々算出される。また、ステップＳ９１の相関係数ＣＯＲ(t)の演算では、先ず(ＵＲ２(t+n+n1)−ＭＲ１(n'+n2))の最小値が検出される。ｎ１及びｎ２各々は０〜２までのいずれかの整数である。すなわち、ｎ１及びｎ２各々を０〜２までの範囲で変化させて(ＵＲ２(t+n+n1)−ＭＲ１(n'+n2))の最小値となるときのｎ＋ｎ１が新たなｎに、ｎ'＋ｎ２が新たなｎ'とされる。また、(ＵＲ２(t+m+m1)−ＭＲ２(m'+m2))の最小値が検出される。ｍ１及びｍ２各々は０〜２までのいずれかの整数である。すなわち、ｍ１及びｍ２各々を０〜２までの範囲で変化させて(ＵＲ２(t+m+m1)−ＭＲ２(m'+m2))の最小値となるときのｍ＋ｍ１が新たなｍに、ｍ'＋ｍ２が新たなｍ'とされる。その後、式(4)に応じて相関係数ＣＯＲ(t)が算出される。
【００５８】
更に、各時点の和音から変化後の和音が検索対象の和音進行楽曲データ及びＣ番目の和音進行楽曲データがＣ及びＡｍのいずれであっても、或いはＣｍ及びＥ♭のいずれであっても同一とみなす。すなわち、変化後の和音が関係調の和音であれば、上記の式の|ＵＲ２(t+n)−ＭＲ１(n')|+|ＵＡ２(t+n)−ＭＡ１(n')|＝０或いは|ＵＲ２(t+m)−ＭＲ２(m')|+|ＵＡ２(t+m)−ＭＡ２(m')|＝０である。
【００５９】
算出された相関係数ＣＯＲ(0)〜ＣＯＲ(ub-2)のうちから最小値がＭＩＮ[ＣＯＲ(t)]として検出され、それがＣＯＲ＿ＭＩＮ(Ｃ)に加算される（ステップＳ９２）。
ステップＳ９２の実行後、カウンタ値Ｃに１が加算され（ステップＳ９３）、そのカウンタ値ＣがステップＳ８４のＺ−１より大であるか否かが判別される（ステップＳ９４）。Ｃ≦Ｚ−１であるならば、データ蓄積装置９に和音進行楽曲データとして蓄積されている全ての楽曲に対して相関係数ＣＯＲ(t)が算出されていない。よって、ステップＳ８６に戻って上記のステップＳ８６〜Ｓ９４の動作が繰り返される。
【００６０】
Ｃ＞Ｚ−１であるならば、全ての楽曲各々の相関係数最小値ＣＯＲ＿ＭＩＮ(0)〜ＣＯＲ＿ＭＩＮ(Z-1)を小さい順に楽曲名、ファイル名等の楽曲情報を結果表示装置１２にリスト表示させる（ステップＳ９５）。また、そのリストの第１番目の楽曲の楽曲データがデータ蓄積装置８から読み出されて楽曲再生装置１３に供給される（ステップＳ９６）。これにより、楽曲再生装置１３は供給された楽曲データを順次再生し、それがディジタル信号としてディジタル／アナログ変換装置１４に供給される。ディジタル／アナログ変換装置１４においてアナログオーディオ信号に変換された後、スピーカ１５から再生音が出力されることになる。この再生音は検索対象の和音進行楽曲データの楽曲音として可能性が最も高い楽曲音である。
【００６１】
上記の検索再生処理のステップＳ８１〜Ｓ９４が類似度（相関係数ＣＯＲ(t)）を算出する比較手段に相当し、ステップＳ９５及びＳ９６は検索出力を生成する出力手段に相当する。
かかる楽曲検索動作においては、検索対象の和音進行楽曲データと蓄積された複数の楽曲の和音進行楽曲データ各々とを和音変化時の和音の根音変化量（差分値）と変化後の和音の属性とについて比較するので、原曲に対して転調や編曲されたカバー曲やＢＧＭ曲のような楽曲を正確に検索することができる。
【００６２】
また、テレビドラマやコマーシャルに用いられる楽曲のタイトルや歌手名が分からない場合には、上記の楽曲検索動作によって所望の楽曲についてのタイトルや歌手名等の楽曲情報を容易に入手することができる。
更に、検索対象の和音進行楽曲データと蓄積された複数の楽曲の和音進行楽曲データ各々とを和音変化時の和音の根音変化量と変化後の和音の属性とに加えて和音変化前後の和音の時間的長さの比について比較することにより、所望の楽曲をより正確に検索することができる。これは、楽曲全体の速度が編曲等によって変わっても全体的な各和音の時間的長さの比率に変化はなく、同一楽曲であれば互いに一致することに基づいている。
【００６３】
また、上記した飛び越し処理及び関係調処理は、和音の変化前後の差分値の演算の際に入力楽曲音がアナログ信号である場合における外部雑音や入力装置の周波数特性の影響を排除するため、或いは入力楽曲音がデータ蓄積装置９に蓄積されている楽曲と編曲が異なるものであった場合にデータ蓄積装置９に蓄積されている楽曲と曲調がほぼ一致するものであっても和音進行データの和音の位置や属性が完全に一致しないことが起きるので、それを防止するために行われる。すなわち、一時的に和音進行が異なっても一定時間幅内で和音進行の傾向が類似していることを検出することができるので、比較する楽曲の編曲が互いに異なっていても同一楽曲であるか否かを正確に判別することができる。更に、飛び越し処理及び関係調処理を施すことによってその施した部分以外の相互相関演算においても正確な類似度を求めることができる。
【００６４】
なお、上記した実施例においては、データベースを形成するデータ蓄積装置８，９が入力装置１〜４、和音解析装置７、和音進行比較装置１１及び表示装置１２等の装置と同一の位置に設けられているが、データ蓄積装置８，９及び和音進行比較装置１１はそれ以外の装置とは異なる位置にサーバとして設けられてネットワークで入力装置１〜４、和音解析装置７及び表示装置１２等の装置を含むクライアントと接続されるようにしても良い。この場合に、和音進行楽曲データは１楽曲当たり例えば、５Ｋバイトのように比較的小さいデータであるので、低速のネットワーク回線を利用してもクライアント側で入力された楽曲音に対してサーバ側で楽曲検索し、その検索結果をクライアント側で直ちに表示することができる。また、そのサーバはクライアント側で入力された楽曲の一部分に対応する楽曲部分だけの楽曲データをデータ蓄積装置８から読み出してクライアントに送信することによりクライアントでは検索結果をより早急に得ることができる。
【００６５】
また、入力される検索対象の楽曲を示すオーディオ信号はビデオ信号を含んだ信号でも良い。データ蓄積装置８には楽曲データだけでなくそのビデオ信号をディジタル化したデータも記憶され、検索結果の楽曲の再生音と共に対応する映像が表示されるようにしても良い。
図２０は本発明の他の実施例を示している。図２０の楽曲処理システムにおいては、図１のシステム中の和音解析装置７、一時記憶メモリ１０及び和音進行比較装置１１がコンピュータ２１によって形成されている。コンピュータ２１は記憶装置２２に記憶されたプログラムに応じて上記の和音解析動作及び楽曲検索動作を実行する。記憶装置２２はハードディスクドライブに限らず、記録媒体のドライブ装置でも良い。その記録媒体のドライブ装置の場合には記録媒体に和音進行楽曲データを書き込むようにしても良い。
【００６６】
以上のように、本発明によれば、和音進行楽曲データを複数の楽曲分蓄積した蓄積手段と、検索対象の和音進行楽曲データを生成する検索対象データ生成手段と、検索対象の和音進行楽曲データとその複数の楽曲の和音進行楽曲データ各々とを和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して複数の楽曲毎の類似度を算出する比較手段と、その類似度の算出結果に応じた検索出力を生成する出力手段とを備えたことにより、複数の楽曲の中から所望の楽曲に対応した楽曲について簡単な構成で正確に検索することができる。
【図面の簡単な説明】
【図１】本発明を適用した楽曲処理システムの構成を示すブロック図である。
【図２】周波数誤差検出動作を示すフローチャートである。
【図３】Ａ音を１.０とした場合の１２音及び１オクターブ高いＡ音各々の周波数比を示す図である。
【図４】和音解析動作の本処理を示すフローチャートである。
【図５】帯域データの各音成分の強度レベル例を示す図である。
【図６】帯域データの各音成分の強度レベル例を示す図である。
【図７】４音からなる和音に対する３音からなる和音への変換を示す図である。
【図８】一時記憶メモリへの記録フォーマットを示す図である。
【図９】基本音及び和音の属性の表記方法、並びに和音候補の表記方法を示す図である。
【図１０】和音解析動作の後処理を示すフローチャートである。
【図１１】平滑化処理前の第１及び第２和音候補の時間変化を示す図である。
【図１２】平滑化処理後の第１及び第２和音候補の時間変化を示す図である。
【図１３】入れ替え処理後の第１及び第２和音候補の時間変化を示す図である。
【図１４】和音進行楽曲データの作成方法及びそのフォーマットを示す図である。
【図１５】楽曲検索動作のデータ入力処理を示すフローチャートである。
【図１６】図１５のデータ入力処理の続き部分を示すフローチャートである。
【図１７】楽曲検索動作の検索再生処理を示すフローチャートである。
【図１８】和音変化の和音差分値及び変化後の属性の例を示す図である。
【図１９】Ｃ番目の和音進行楽曲データと検索対象の和音進行楽曲データとの関係、相関係数ＣＯＲ(t)の変化、並びに各和音が維持される時間幅、飛び越し処理部分及び関係調の部分を示している。
【図２０】本発明の他の実施例として楽曲処理システムの構成を示すブロック図である。
【符号の説明】
６ アナログ／ディジタル変換装置
７ 和音解析装置
８，９ データ蓄積装置
１１ 和音進行比較装置
１３ 楽曲再生装置
１４ ディジタル／アナログ変換装置
２１ コンピュータ
【発明が属する技術分野】
本発明は、検索対象の楽曲に対応した楽曲を検索する楽曲検索装置及び方法に関する。
【０００２】
【従来の技術】
テレビやラジオで放送中に流れる楽曲音の楽曲名や歌手名が分からず、その楽曲音を改めて聞くために楽曲情報が知りたいことがある。そのようなときに楽曲名等の楽曲情報を検索するものとして楽曲検索装置が知られている。
従来の楽曲検索装置においては、特許文献１及び２に示されたように、各楽曲の楽曲データに基づいて楽曲のテンポ、楽器パターン、音程、拍子毎の和音、特定の和音の頻度及びリズムパターン等の特徴パラメータを検出してそれらのインデックスとして格納した記憶手段が備えられ、所望の楽曲について同様に特徴パラメータを検出してそれらのインデックスを抽出インディクスとし、抽出インディクスと格納されたインデックスとを比較して所望の楽曲についての情報を表示することが行われる。
【０００３】
【特許文献１】
特開平１０−１３４５４９号公報
【０００４】
【特許文献２】
特開平６−２９０５７４号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の楽曲検索装置においては、所望の楽曲についての情報を正確に検索するためには楽曲毎に多種の特徴パラメータを抽出して記憶手段に予め格納しておく必要があるので、構成が複雑になるという問題点があった。
本発明が解決しようとする課題には、上記の問題点が一例として挙げられ、所望の楽曲に対応した楽曲について簡単な構成で正確に検索することができる楽曲検索装置及び方法を提供することが本発明の目的である。
【０００６】
【課題を解決するための手段】
本発明の楽曲検索装置は、楽曲の和音の時系列変化を示す和音進行楽曲データを複数の楽曲分蓄積した蓄積手段と、オーディオ信号データとして入力された楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成手段と、各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較手段と、前記比較手段によって算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力手段と、を備えたことを特徴としている。
【０００７】
本発明の楽曲検索方法は、楽曲の和音の時系列変化を示す和音進行楽曲データを複数の楽曲分蓄積した蓄積手段を備えた楽曲検索装置の楽曲検索方法であって、検索対象データ生成手段がオーディオ信号データとして入力された楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成ステップと、比較手段が各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較ステップと、出力手段が前記比較ステップによって算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力ステップと、を備えたことを特徴としている。
【０００８】
本発明のプログラムは、オーディオ信号データとして入力された楽曲を検索するためのプログラムであって、コンピュータに、楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成ステップと、各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと蓄積手段に蓄積された複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較ステップと、前記比較ステップにおいて算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力ステップと、を実行させることを特徴としている。
【０００９】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図１は本発明を適用した楽曲処理システムを示している。この楽曲処理システムは、マイク入力装置１、ライン入力装置２、楽曲入力装置３、操作入力装置４、入力切替スイッチ５、アナログ／ディジタル変換装置６、和音解析装置７、データ蓄積装置８，９、一時記憶メモリ１０、和音進行比較装置１１、表示装置１２、楽曲再生装置１３、ディジタル／アナログ変換装置１４及びスピーカ１５を備えている。
【００１０】
マイク入力装置１は、楽曲音をマイクロホンで集音可能にされ、その集音した楽曲音を示すアナログのオーディオ信号を出力する。ライン入力装置２には、例えば、ディスクプレーヤやテープレコーダが接続され、楽曲音を示すアナログのオーディオ信号を入力できるようにされている。楽曲入力装置３は和音解析装置７及びデータ蓄積装置８に接続され、ディジタル化されたオーディオ信号（例えば、ＰＣＭデータ）を再生する装置であり、例えば、ＣＤプレーヤである。操作入力装置４は本システムに対してユーザが操作してデータや指令を入力するための装置である。操作入力装置４の出力は入力切替スイッチ５、和音解析装置７、和音進行比較装置１１及び楽曲再生装置１３に接続されている。
【００１１】
入力切替スイッチ５は、マイク入力装置１及びライン入力装置２のうちのいずれか１の出力信号を選択的にアナログ／ディジタル変換装置６に供給する。入力切替スイッチ５の切替動作は操作入力装置４からの指令に応じて実行される。
アナログ／ディジタル変換装置６は、和音解析装置７及びデータ蓄積装置８に接続され、アナログのオーディオ信号をディジタル化し、ディジタル化オーディオ信号を楽曲データとしてデータ蓄積装置８に供給する。データ蓄積装置８にはアナログ／ディジタル変換装置６及び楽曲入力装置３供給された楽曲データ（ＰＣＭデータ）がファイルとして記憶される。
【００１２】
和音解析装置７は、供給された楽曲データの和音を後述する和音解析動作によって解析する。一時記憶メモリ１０には和音解析装置７によって解析された楽曲データの各和音が第１及び第２和音候補として一時的に記憶される。データ蓄積装置９には和音解析装置７によって解析されて和音進行楽曲データが楽曲毎にファイルとして記憶される。
【００１３】
和音進行比較装置１１は、検索対象の和音進行楽曲データとデータ蓄積装置９に記憶された和音進行楽曲データとを比較し、検索対象の和音進行楽曲データと類似性の高い和音進行楽曲データを検出する。表示装置１２には和音進行比較装置１１による比較結果が楽曲リストとして表示される。
楽曲再生装置１３は、和音進行比較装置１１によって類似性が最も高いとして検出された楽曲のデータファイルをデータ蓄積装置８から読み出して再生し、ディジタルオーディオ信号として順次出力する。ディジタル／アナログ変換装置１４は楽曲再生装置１３によって再生されたディジタルオーディオ信号をアナログオーディオ信号に変換する。
【００１４】
和音解析装置７、和音進行比較装置１１及び楽曲再生装置１３各々は操作入力装置４からの指令に応じて動作する。
次に、かかる構成の楽曲処理システムの動作について説明する。
ここでは楽曲音を示すアナログオーディオ信号がライン入力装置２から入力切替スイッチ５を介してアナログ／ディジタル変換装置６に供給され、そこでディジタル信号に変換された後、和音解析装置７に供給されたとする。
【００１５】
上記した和音解析動作としては前処理、本処理及び後処理がある。和音解析装置７は前処理として周波数誤差検出動作を行う。
周波数誤差検出動作においては、図２に示すように、時間変数Ｔ及び帯域データＦ(Ｎ)が０に初期化され、更に変数Ｎの範囲が−３〜３の如く初期設定される（ステップＳ１）。入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ２）。
【００１６】
今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ３）。この移動平均処理では、０.６秒以内では和音が変化することが少ないという仮定で過去２回分の周波数情報が用いられる。移動平均処理は次式によって演算される。
ｆ(Ｔ)＝(ｆ(Ｔ)＋ｆ(Ｔ−１)／２.０＋ｆ(Ｔ−２)／３.０)／３.０……(1)
ステップＳ３の実行後、変数Ｎが−３に設定され（ステップＳ４）、その変数Ｎは４より小であるか否かが判別される（ステップＳ５）。Ｎ＜４の場合には、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ６〜Ｓ１０）。周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は、(１１０.０＋２×Ｎ)Hzを基本周波数とした５オクターブ分の平均律の１２音のものである。１２音はＡ，Ａ＃，Ｂ，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃である。図３はＡ音を１.０とした場合の１２音及び１オクターブ高いＡ音各々の周波数比を示している。ステップＳ６のｆ１(Ｔ)はＡ音を(１１０.０＋２×Ｎ)Hzとし、ステップＳ７のｆ２(Ｔ)はＡ音を２×(１１０.０＋２×Ｎ)Hzとし、ステップＳ８のｆ３(Ｔ)はＡ音を４×(１１０.０＋２×Ｎ)Hzとし、ステップＳ９のｆ４(Ｔ)はＡ音を８×(１１０.０＋２×Ｎ)Hzとし、ステップＳ１０のｆ５(Ｔ)はＡ音を１６×(１１０.０＋２×Ｎ)Hzとしている。
【００１７】
ステップＳ６〜Ｓ１０の実行後、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ１１）。帯域データＦ'(Ｔ)は、
Ｆ'(Ｔ)＝ｆ１(Ｔ)×５+ｆ２(Ｔ)×４+ｆ３(Ｔ)×３+ｆ４(Ｔ)×２+ｆ５(Ｔ)……(2)
の如く表される。すなわち、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)各々は個別に重み付けされた後、加算される。１オクターブの帯域データＦ'(Ｔ)は、帯域データＦ(Ｎ)に加算される（ステップＳ１２）。その後、変数Ｎには１が加算され（ステップＳ１３）、そして、ステップＳ５が再度実行される。
【００１８】
ステップＳ６〜Ｓ１３の動作は、ステップＳ５においてＮが４より小、すなわち−３〜＋３の範囲であると判断される限り繰り返される。これによって音成分Ｆ(Ｎ)は−３〜＋３の範囲の音程誤差を含む１オクターブ分の周波数成分となる。
ステップＳ５においてＮ≧４と判別された場合には、変数Ｔが所定値Ｍより小であるか否かが判別される（ステップＳ１４）。Ｔ＜Ｍの場合には、変数Ｔに１が加算され（ステップＳ１５）、ステップＳ２が再度実行される。Ｍ回分の周波数変換による周波数情報ｆ(Ｔ)に対して変数Ｎ毎の帯域データＦ(Ｎ)が算出される。
【００１９】
ステップＳ１４においてＴ≧Ｍと判別された場合には、変数Ｎ毎の１オクターブ分の帯域データＦ(Ｎ)のうちの各周波数成分の総和が最大値となるＦ(Ｎ)が検出され、その検出Ｆ(Ｎ)のＮが誤差値Ｘとして設定される（ステップＳ１６）。この前処理によって誤差値Ｘを求めることによってオーケストラの演奏音等の楽曲音全体の音程が平均律と一定の差をもっている場合に、それを補償して後述の和音解析の本処理を行うことができる。
【００２０】
前処理の周波数誤差検出動作が終了すると、和音解析動作の本処理が行われる。なお、誤差値Ｘが既に分かっている場合やその誤差を無視できる場合には、前処理は省略しても良い。本処理では楽曲全部について和音解析が行われるために楽曲の最初の部分から入力ディジタル信号は和音解析装置７に供給されるとする。
【００２１】
本処理おいては、図４に示すように、入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ２１）。このステップＳ２１が周波数変換手段に対応する。そして、今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ２２）。ステップＳ２１及びＳ２２は上記したステップＳ２及びＳ３と同様に実行される。
【００２２】
ステップＳ２２の実行後、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ２３〜Ｓ２７）。上記したステップＳ６〜Ｓ１０と同様に、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は、(１１０.０＋２×Ｎ)Hzを基本周波数とした５オクターブ分の平均律の１２音Ａ，Ａ＃，Ｂ，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃である。ステップＳ２３のｆ１(Ｔ)はＡ音を(１１０.０＋２×Ｎ)Hzとし、ステップＳ２４のｆ２(Ｔ)はＡ音を２×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２５のｆ３(Ｔ)はＡ音を４×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２６のｆ４(Ｔ)はＡ音を８×(１１０.０＋２×Ｎ)Hzとし、ステップＳ２７のｆ５(Ｔ)はＡ音を１６×(１１０.０＋２×Ｎ)Hzとしている。ここで、ＮはステップＳ１６で設定されたＸである。
【００２３】
ステップＳ２３〜Ｓ２７の実行後、周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ２８）。このステップＳ２８も上記のステップＳ１１と同様に式(2)を用いて実行される。帯域データＦ'(Ｔ)は各音成分を含むことになる。ステップＳ２３〜Ｓ２８が成分抽出手段に相当する。
【００２４】
ステップＳ２８の実行後、帯域データＦ'(Ｔ)中の各音成分のうちの強度レベルが大きいものから６音が候補として選択され（ステップＳ２９）、その６音候補から２つの和音Ｍ１，Ｍ２が作成される（ステップＳ３０）。候補の６音のうちから１つの音を根音（ルート）として３音からなる和音が作成される。すなわち6Ｃ3通りの組み合わせの和音が考慮される。各和音を構成する３音のレベルが加算され、その加算結果の値が最大となった和音が第１和音候補Ｍ１とされ、加算結果の値が２番目に大きい和音が第２和音候補Ｍ２とされる。
【００２５】
帯域データＦ'(Ｔ)の各音成分が図５に示すように１２音に対する強度レベルを示す場合には、ステップＳ２９ではＡ，Ｅ，Ｃ，Ｇ，Ｂ，Ｄの６音が選択される。その６音Ａ，Ｅ，Ｃ，Ｇ，Ｂ，Ｄのうちの３音から作成される３和音は、(Ａ，Ｃ，Ｅ)からなる和音Ａｍ、(音Ｃ，Ｅ，Ｇ)からなる和音Ｃ、(音Ｅ，Ｂ，Ｇ)からなる和音Ｅｍ、(音Ｇ，Ｂ，Ｄ)からなる和音Ｇ、……の如くである。和音Ａｍ(音Ａ，Ｃ，Ｅ)の合計強度レベルは１２、和音Ｃ(音Ｃ，Ｅ，Ｇ)の合計強度レベルは９、和音Ｅｍ(音Ｅ，Ｂ，Ｇ)の合計強度レベルは７、和音Ｇ(音Ｇ，Ｂ，Ｄ)の合計強度レベルは４である。よって、ステップＳ３０では和音Ａｍの合計強度レベル１２が最大となるので、第１和音候補Ｍ１として和音Ａｍが設定され、和音Ｃの合計強度レベル７が２番目に大きいので、第２和音候補Ｍ２として和音Ｃが設定される。
【００２６】
また、帯域データＦ'(Ｔ)の各音成分が図６に示すように１２音に対する強度レベルを示す場合には、ステップＳ２９ではＣ，Ｇ，Ａ，Ｅ，Ｂ，Ｄの６音が選択される。その６音Ｃ，Ｇ，Ａ，Ｅ，Ｂ，Ｄのうちの３音から作成される３和音は、(音Ｃ，Ｅ，Ｇ)からなる和音Ｃ、(Ａ，Ｃ，Ｅ)からなる和音Ａｍ、(音Ｅ，Ｂ，Ｇ)からなる和音Ｅｍ、(音Ｇ，Ｂ，Ｄ)からなる和音Ｇ、……の如くである。和音Ｃ(音Ｃ，Ｅ，Ｇ)の合計強度レベルは１１、和音Ａｍ(音Ａ，Ｃ，Ｅ)の合計強度レベルは１０、和音Ｅｍ(音Ｅ，Ｂ，Ｇ)の合計強度レベルは７、和音Ｇ(音Ｇ，Ｂ，Ｄ)の合計強度レベルは６である。よって、ステップＳ３０では和音Ｃの合計強度レベル１１が最大となるので、第１和音候補Ｍ１として和音Ｃが設定され、和音Ａｍの合計強度レベル１０が２番目に大きいので、第２和音候補Ｍ２として和音Ａｍが設定される。
【００２７】
和音を構成する音は３音に限らず、セブンスやディミニッシュセブンス等の４音もある。４音からなる和音に対しては図７に示すように３音からなる２つ以上の和音に分類されるとしている。よって、４音からなる和音に対しても３音からなる和音と同様に、帯域データＦ'(Ｔ)の各音成分の強度レベルに応じて２つの和音候補を設定することができる。
【００２８】
ステップＳ３０の実行後、ステップＳ３０において設定された和音候補数があるか否かが判別される（ステップＳ３１）。ステップＳ３０では少なくとも３つの音を選択するだけの強度レベルに差がない場合には和音候補が全く設定されないことになるので、ステップＳ３１の判別が行われる。和音候補数＞０である場合には、更に、その和音候補数が１より大であるか否かが判別される（ステップＳ３２）。
【００２９】
ステップＳ３１において和音候補数＝０と判別された場合には前回Ｔ−１（約０.２秒前）の本処理において設定された和音候補Ｍ１，Ｍ２が今回の和音候補Ｍ１，Ｍ２として設定される（ステップＳ３３）。ステップＳ３２において和音候補数＝１と判別された場合には今回のステップＳ３０の実行では第１和音候補Ｍ１だけが設定されたので、第２和音候補Ｍ２は第１和音候補Ｍ１と同一の和音に設定される（ステップＳ３４）。ステップＳ２９〜Ｓ３４が和音候補検出手段に相当する。
【００３０】
ステップＳ３２において和音候補数＞１と判別された場合には今回のステップＳ３０の実行では第１及び第２和音候補Ｍ１，Ｍ２の両方が設定されたので、時刻、第１及び第２和音候補Ｍ１，Ｍ２が一時記憶メモリ１０に記憶される（ステップＳ３５）。一時記憶メモリ１０には図８に示すように時刻、第１和音候補Ｍ１、第２和音候補Ｍ２が１組となって記憶される。時刻は０.２秒毎に増加するＴで表される本処理実行回数である。そのＴの順に第１及び第２和音候補Ｍ１，Ｍ２が記憶される。
【００３１】
具体的には、一時記憶メモリ１０に各和音候補を図８に示したように１バイトで記憶させるために、基本音（根音）とその属性との組み合わせが用いられる。基本音には平均律の１２音が用いられ、属性にはメジャー｛４，３｝、マイナー｛３，４｝、セブンス候補｛４，６｝及びディミニッシュセブンス（ｄｉｍ７）候補｛３，３｝の和音の種類が用いられる。｛ ｝内は半音を１とした場合の３音の差である。本来、セブンス候補は｛４，３，３｝及びディミニッシュセブンス（ｄｉｍ７）候補｛３，３，３｝であるが、３音で示すために上記のように表示している。
【００３２】
基本音の１２音は図９(a)に示すように１６ビット（１６進表記）で表され、属性の和音の種類は同様に図９(b)に示すように１６ビット（１６進表記）で表される。その基本音の下位４ビットと属性の下位４ビットがその順に連結されて図９(c)に示すように８ビット（１バイト）として和音候補として用いられる。ステップＳ３５はステップＳ３３又はＳ３４を実行した場合にもその直後に実行される。
【００３３】
ステップＳ３５の実行後、楽曲が終了したか否かが判別される（ステップＳ３６）。例えば、入力アナログオーディオ信号の入力がなくなった場合、或いは操作入力装置４からの楽曲の終了を示す操作入力があった場合には楽曲が終了したと判断される。これによって本処理が終了する。
楽曲の終了が判断されるまでは変数Ｔに１が加算され（ステップＳ３７）、ステップＳ２１が再度実行される。ステップＳ２１は上記したように０.２秒間隔で実行され、前回の実行時から０.２秒が経過して再度実行される。
【００３４】
後処理においては、図１０に示すように、一時記憶メモリ１０から全ての第１及び第２和音候補がＭ１(0)〜Ｍ１(R)及びＭ２(0)〜Ｍ２(R)として読み出される（ステップＳ４１）。０は開始時刻であり、開始時刻の第１及び第２和音候補がＭ１(0)及びＭ２(0)である。Ｒは最終時刻であり、最終時刻の第１及び第２和音候補がＭ１(R)及びＭ２(R)である。読み出された第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)について平滑化が行われる（ステップＳ４２）。この平滑化は和音の変化時点とは関係なく０.２秒間隔で和音候補を検出したことにより和音候補に含まれるノイズによる誤差を除去するために行われる。平滑化の具体的方法としては、３つの連続する第１和音候補Ｍ１(t−１)，Ｍ１(t)，Ｍ１(t＋１)についてＭ１(t−１)≠Ｍ１(t)かつＭ１(t)≠Ｍ１(t＋１)の関係が成立するか否かが判別され、その関係が成立する場合には、Ｍ１(t＋１)にＭ１(t)は等しくされる。この判別は第１和音候補毎に行われる。第２和音候補についても同様の方法により平滑化は行われる。なお、Ｍ１(t＋１)にＭ１(t)を等しくするのではなく、逆に、Ｍ１(t＋１)をＭ１(t)に等しくしても良い。
【００３５】
平滑化後、第１及び第２和音候補の入れ替え処理が行われる（ステップＳ４３）。一般的に０．６秒のような短い期間には和音が変化する可能性は低い。しかしながら、信号入力段の周波数特性及び信号入力時のノイズによって帯域データＦ'(Ｔ)中の各音成分の周波数が変動することによって第１及び第２和音候補が０．６秒以内に入れ替わることが起きることがあり、これに対処するためにステップＳ４３は行われる。第１及び第２和音候補が入れ替えの具体的方法としては、５つの連続する第１和音候補Ｍ１(t−２)，Ｍ１(t−１)，Ｍ１(t)，Ｍ１(t＋１)，Ｍ１(t＋２)及びそれに対応する５つの連続する第２和音候補Ｍ２(t−２)，Ｍ２(t−１)，Ｍ２(t)，Ｍ２(t＋１)，Ｍ２(t＋２)についての次の如き判別が実行される。すなわち、Ｍ１(t−２)＝Ｍ１(t＋２)，Ｍ２(t−２)＝Ｍ２(t＋２)，Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ２(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ１(t−２)の関係が成立するか否かが判別される。この関係が成立する場合には、Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ１(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ２(t−２)が定められ、Ｍ１(t−２)とＭ２(t−２)と間で和音の入れ替えが行われる。なお、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えに代えてＭ１(t＋２)とＭ２(t＋２)との間で和音の入れ替えを行っても良い。また、Ｍ１(t−２)＝Ｍ１(t＋１)，Ｍ２(t−２)＝Ｍ２(t＋１)，Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t＋１)＝Ｍ２(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t＋１)＝Ｍ１(t−２)の関係が成立するか否かが判別される。この関係が成立する場合には、Ｍ１(t−１)＝Ｍ１(t)＝Ｍ１(t−２)及びＭ２(t−１)＝Ｍ２(t)＝Ｍ２(t−２)が定められ、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えが行われる。なお、Ｍ１(t−２)とＭ２(t−２)との間で和音の入れ替えに代えてＭ１(t＋１)とＭ２(t＋１)との間で和音の入れ替えを行っても良い。
【００３６】
ステップＳ４１において読み出された第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)の各和音が、例えば、図１１に示すように時間経過と共に変化する場合には、ステップＳ４２の平均化を行うことによって図１２に示すように修正される。更に、ステップＳ４３の和音の入れ替えを行うことによって第１及び第２和音候補の和音の変化は図１３に示すように修正される。なお、図１１〜図１３は和音の時間変化を折れ線グラフとして示しており、縦軸は和音の種類に対応した位置となっている。
【００３７】
ステップＳ４３の和音の入れ替え後の第１和音候補Ｍ１(0)〜Ｍ１(R)のうちの和音が変化した時点ｔのＭ１(t)及び第２和音候補Ｍ２(0)〜Ｍ２(R)のうちの和音が変化した時点ｔのＭ２(t)が各々検出され（ステップＳ４４）、その検出された時点ｔ（４バイト）及び和音（４バイト）が第１及び第２和音候補毎にデータ蓄積装置９に記憶される（ステップＳ４５）。ステップＳ４５で記憶される１楽曲分のデータが和音進行楽曲データである。かかるステップＳ４１〜Ｓ４５が平滑化手段に相当する。
【００３８】
ステップＳ４３の和音の入れ替え後の第１和音候補Ｍ１(0)〜Ｍ１(R)及び第２和音候補Ｍ２(0)〜Ｍ２(R)の和音が図１４(a)に示すように時間経過と共に変化する場合には、変化時点の時刻と和音とがデータとして抽出される。図１４(b)が第１和音候補の変化時点のデータ内容であり、Ｆ，Ｇ，Ｄ，Ｂ♭，Ｆが和音であり、それらは１６進データとして０ｘ０８，０ｘ０Ａ，０ｘ０５，０ｘ０１，０ｘ０８と表される。変化時点ｔの時刻はＴ１(0)，Ｔ１(1)，Ｔ１(2)，Ｔ１(3)，Ｔ１(4)である。また、図１４(c)が第２和音候補の変化時点のデータ内容であり、Ｃ，Ｂ♭，Ｆ＃ｍ，Ｂ♭，Ｃが和音であり、それらは１６進データとして０ｘ０３，０ｘ０１，０ｘ２９，０ｘ０１，０ｘ０３と表される。変化時点ｔの時刻はＴ２(0)，Ｔ２(1)，Ｔ２(2)，Ｔ２(3)，Ｔ２(4)である。図１４(b)及び図１４(c)に示したデータ内容は楽曲の識別情報と共にデータ蓄積装置９には、ステップＳ４５においては図１４(d)に示すような形式で１ファイルとして記憶される。
【００３９】
異なる楽曲音を示すアナログオーディオ信号について上記した和音分析動作を繰り返すことによりデータ蓄積装置９には複数の楽曲毎のファイルとして和音進行楽曲データが蓄積されることになる。また、楽曲入力装置４から出力される楽曲音を示すディジタルオーディオ信号について上記した和音分析動作を行うことによりデータ蓄積装置９には和音進行楽曲データが蓄積されることになる。なお、データ蓄積装置８にはデータ蓄積装置９の和音進行楽曲データに対応したＰＣＭ信号からなる楽曲データが蓄積される。
【００４０】
ステップＳ４４において第１和音候補のうちの和音が変化した時点の第１和音候補及び第２和音候補のうちの和音が変化した時点の第２和音候補が各々検出され、それが最終的な和音進行楽曲データとなるので、ＭＰ３のような圧縮データに比べても１楽曲当たりの容量を小さくすることができ、また、各楽曲のデータを高速処理することができる。
【００４１】
また、データ蓄積装置９に書き込まれた和音進行楽曲データは、実際の楽曲と時間的に同期した和音データとなるので、第１和音候補のみ、或いは第１和音候補と第２和音候補との論理和出力を用いて実際に和音を楽曲再生装置１３によって生成すれば、楽曲の伴奏が可能となる。
上記した実施例においては、ライン入力装置２に入力されたアナログオーディオ信号を和音進行楽曲データに変換する場合について説明したが、楽曲入力装置３から出力されるディジタルオーディオ信号或いはマイク入力装置１に入力される演奏音を和音進行楽曲データに変換する場合についても上記の実施例の場合と同様である。また、ディジタルオーディオ信号はＰＣＭ信号に限らず、ＭＰ３のような圧縮されたファイルに応じた信号でも良い。圧縮ファイルの復号化に際して平均律周波数幅を満たす周波数分解能を有する周波数領域の情報が得られるならば、フーリエ変換等の周波数変換を省略することができる。
【００４２】
次に、マイク入力装置２に入力される楽曲音に対応する和音進行楽曲データを検索対象のデータとしてデータ蓄積装置９を検索する楽曲検索動作について説明する。楽曲検索動作は入力楽曲音に応じて検索対象の和音進行楽曲データを作成するデータ入力処理と、その検索対象の和音進行楽曲データの楽曲をデータ蓄積装置９に蓄積された和音進行楽曲データに応じて検索してその楽曲音を再生する検索再生処理とからなる。データ入力処理は和音解析装置７によって実行され、検束再生処理は和音進行比較装置１１及び楽曲再生装置１３によって実行される。
【００４３】
楽曲検索動作のデータ入力処理においては、図１５及び図１６に示すように、マイク入力装置１の出力とアナログディジタル変換装置６とが入力切替スイッチ５によって接続され（ステップＳ５１）、マイク入力装置２から出力されるアナログオーディオ信号が入力切替スイッチ５を介してアナログディジタル変換装置６へ供給される。アナログディジタル変換装置６はアナログオーディオ信号をディジタルオーディオ信号に変換して和音解析装置７に供給する。このステップＳ５１は、ライン入力装置２からのオーディオ信号をアナログディジタル変換装置６に供給する場合には必要ない。
【００４４】
和音候補総数ｈが０に設定され（ステップＳ５２）、周波数誤差検出動作が実行される（ステップＳ５３）。周波数誤差検出動作は上記したステップＳ１〜Ｓ１６の動作である。
周波数誤差検出動作後、入力ディジタル信号に対してフーリエ変換によって周波数変換を０.２秒間隔で行うことによって周波数情報ｆ(Ｔ)が得られる（ステップＳ５４）。そして、今回のｆ(Ｔ)、前回のｆ(Ｔ−１)及び前々回のｆ(Ｔ−２)を用いて移動平均処理が行われる（ステップＳ５５）。そして、移動平均処理後の周波数情報ｆ(Ｔ)から周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)が各々抽出される（ステップＳ５６〜Ｓ６０）。その周波数成分ｆ１(Ｔ)〜ｆ５(Ｔ)は１オクターブ分の帯域データＦ'(Ｔ)に変換される（ステップＳ６１）。帯域データＦ'(Ｔ)中の各音成分のうちの強度レベルが大きいものから６音が候補として選択され（ステップＳ６２）、その６音候補から２つの和音Ｍ１，Ｍ２が作成される（ステップＳ６３）。ステップＳ６３において設定された和音候補数があるか否かが判別される（ステップＳ６４）。和音候補数＞０である場合には、更に、その和音候補数が１より大であるか否かが判別される（ステップＳ６５）。ステップＳ６４において和音候補数＝０と判別された場合には前回Ｔ−１（約０.２秒前）において設定された和音候補Ｍ１，Ｍ２が今回の和音候補Ｍ１，Ｍ２として設定される（ステップＳ６６）。
【００４５】
ステップＳ６５において和音候補数＝１と判別された場合には今回のステップＳ６３の実行では第１和音候補Ｍ１だけが設定されたので、第２和音候補Ｍ２は第１和音候補Ｍ１と同一の和音に設定される（ステップＳ６７）。ステップＳ６５において和音候補数＞１と判別された場合には時刻、第１及び第２和音候補Ｍ１，Ｍ２が一時記憶メモリ１０に記憶される（ステップＳ６８）。
【００４６】
ステップＳ６８はステップＳ６６又はＳ６７を実行した場合にもその直後に実行される。
ステップＳ５４〜Ｓ６８は和音解析動作の本処理のステップＳ２１〜Ｓ３５と同一である。
ステップＳ６８の実行後、和音候補総数ｈが所定数Ｈより大であるか否かが判別される（ステップＳ６９）。所定数Ｈは楽曲を検索するために必要な和音数である。ｈ≦Ｈの場合には第１和音候補Ｍ１が変化したか否かが判別される（ステップＳ７０）。すなわち、前回の第１和音候補Ｍ１(t-1)と今回の第１和音候補Ｍ１(t)とが異なるか否かが判別される。Ｍ１(t-1)＝Ｍ１(t)であるならば、同一の和音であるので、変数Ｔに１が加算され（ステップＳ７１）、ステップＳ５４が再度実行される。ステップＳ５４は上記したように０.２秒間隔で実行され、前回の実行時から０.２秒が経過して再度実行される。Ｍ１(t-1)≠Ｍ１(t)であるならば、和音が変化したので、和音候補総数ｈに１が加算され（ステップＳ７２）、その後、ステップＳ７１が実行される。
【００４７】
ステップＳ６９においてｈ＞Ｈであると判別された場合には、和音解析動作の後処理が実行される（ステップＳ７３）。このステップＳ７３は図１０に示したステップＳ４１〜Ｓ４５と同一の動作である。ステップＳ５１〜Ｓ７３がデータ入力処理である。この結果、検索対象の和音進行楽曲データが作成される。この検索対象の和音進行楽曲データは所定数Ｈの和音を含んでおり、楽曲全てのデータではない。
【００４８】
かかるデータ入力処理が検索対象データ生成手段に相当する。
データ入力処理後、楽曲検索動作の検索再生処理が行われる。検索再生処理においては、図１７に示すように、入力楽曲音のオーディオ信号についての第１和音候補Ｍ１(0)〜Ｍ１(a-1)及び第２和音候補Ｍ２(0)〜Ｍ２(b-1)が蓄積手段であるデータ蓄積装置９から読み出される（ステップＳ８１）。ａは第１和音候補の総数であり、ｂは第２和音候補の総数である。読み出された第１和音候補Ｍ１(0)〜Ｍ１(a-1)に対して第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)が計算される（ステップＳ８２）。第１和音差分値は、ＭＲ１(0)＝Ｍ１(1)−Ｍ１(0)，ＭＲ１(1)＝Ｍ１(2)−Ｍ１(1)，……，ＭＲ１(a-2)＝Ｍ１(a-1)−Ｍ１(a-2)の如く計算される。この計算では第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)各々が０より小であるか否かを判別し、０より小の第１和音差分値には１２を加算することが行われる。また、第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)各々には和音変化後の和音属性ＭＡ１(0)〜ＭＡ１(a-2)が付加される。読み出された第２和音候補Ｍ２(0)〜Ｍ２(b-1)に対しても第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)が計算される（ステップＳ８３）。第２和音差分値は、ＭＲ２(0)＝Ｍ２(1)−Ｍ２(0)，ＭＲ２(1)＝Ｍ２(2)−Ｍ２(1)，……，ＭＲ２(b-2)＝Ｍ２(b-1)−Ｍ２(b-2)の如く計算される。この計算においても第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)各々が０より小であるか否かを判別し、０より小の第２和音差分値には１２を加算することが行われる。また、第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)各々には和音変化後の和音属性ＭＡ２(0)〜ＭＡ２(b-2)が付加される。なお、和音属性ＭＡ１(0)〜ＭＡ１(a-2)，ＭＡ２(0)〜ＭＡ２(b-2)には図９(b)に示した数値が用いられる。
【００４９】
図１８はステップＳ８２及びＳ８３の動作例を説明している。すなわち、和音候補がＡｍ７，Ｄｍ，Ｃ，Ｆ，Ｅｍ，Ｆ，Ｂ♭＃の列である場合に、和音差分値は５，１０，５，１１，１，５となり、和音変化後の和音属性は０ｘ０２，０ｘ００，０ｘ００，０ｘ０２，０ｘ００，０ｘ００となる。なお、和音変化後の和音属性がセブンスの場合にはそれに代えてメジャーとしている。セブンスを用いてもそれの比較演算結果への影響が小さいので、演算量を削減するためである。
【００５０】
ステップＳ８３の実行後、データ蓄積装置９に和音進行楽曲データとして蓄積されている楽曲の総楽曲数がＺとして取得され（ステップＳ８４）、カウンタ値Ｃが０に初期化される（ステップＳ８５）。
データ蓄積装置９からＣ番目の和音進行楽曲データの第１和音候補がＵ１(0)〜Ｕ１(ua-1)として、第２和音候補がＵ２(0)〜Ｕ２(ub-1)として各々読み出される（ステップＳ８６）。ｕａはＣ番目の和音進行楽曲データの第１和音候補の総数、ｕｂはＣ番目の和音進行楽曲データの第２和音候補の総数である。
【００５１】
読み出された第１和音候補Ｕ１(0)〜Ｕ１(ua-1)に対して第１和音差分値ＵＲ１(0)〜ＵＲ１(ua-2)が計算される（ステップＳ８７）。ステップＳ８７の第１和音差分値は、ＵＲ１(0)＝Ｕ１(1)−Ｕ１(0)，ＵＲ１(1)＝Ｕ１(2)−Ｕ１(1)，……，ＵＲ１(ua-2)＝Ｕ１(ua-1)−Ｕ１(ua-2)の如く計算される。この計算では第１和音差分値ＵＲ１(0)〜ＵＲ１(ua-2)各々が０より小であるか否かを判別し、０より小の第１和音差分値には１２を加算することが行われる。また、第１和音差分値ＵＲ１(0)〜ＵＲ１(ua-2)各々には和音変化後の和音属性ＵＡ１(0)〜ＵＡ１(ua-2)が付加される。読み出された第２和音候補Ｕ２(0)〜Ｕ２(ub-1)に対しても第２和音差分値ＵＲ２(0)〜ＵＲ２(ub-2)が計算される（ステップＳ８８）。第２和音差分値は、ＵＲ２(0)＝Ｕ２(1)−Ｕ２(0)，ＵＲ２(1)＝Ｕ２(2)−Ｕ２(1)，……，ＵＲ２(ub-2)＝Ｕ２(ub-1)−Ｕ２(ub-2)の如く計算される。この計算においても第２和音差分値ＵＲ２(0)〜ＵＲ２(ub-2)各々が０より小であるか否かを判別し、０より小の第２和音差分値には１２を加算することが行われる。また、第２和音差分値ＵＲ２(0)〜ＵＲ２(ub-2)各々には和音変化後の和音属性ＵＡ２(0)〜ＵＡ２(ub-2)が付加される。
【００５２】
入力楽曲音についてのステップＳ８２にて得られた第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)及び和音属性ＭＡ１(0)〜ＭＡ１(a-2)並びにステップＳ８３にて得られた第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)及び和音属性ＭＡ２(0)〜ＭＡ２(b-2)と、ステップＳ８７にて得られた蓄積されたＣ番目の和音進行楽曲データについての第１和音差分値ＵＲ１(0)〜ＵＲ１(ua-2)及び和音属性ＵＡ１(0)〜ＵＡ１(ua-2)とに応じて相互相関演算が行われる（ステップＳ８９）。相互相関演算では相関係数ＣＯＲ(t)が次式(3)の如く算出される。相関係数ＣＯＲ(t)が小さいほど類似性が高いことを示す。
ＣＯＲ(t)＝Σ10(|ＵＲ１(t+n)-ＭＲ１(n')|+|ＵＡ１(t+n)-ＭＡ１(n')|
+|ＷＵ１(t+n+1)/ＷＵ１(t+n)-ＷＭ１(n'+1)/ＷＭ１(n')|)
+Σ10(|ＵＲ１(t+m)-ＭＲ２(m')|+|ＵＡ１(t+m)-ＭＡ２(m')|
+|ＷＵ１(t+m+1)/ＷＵ１(t+m)-ＷＭ２(m'+1)/ＷＭ２(m')|) ……(3)
ただし、ＷＵ１()，ＷＭ１()，ＷＭ２()は各和音が維持される時間幅、ｔ＝０〜ｕａ−２、Σ演算はｎ＝０〜ａ−２及びｎ'＝０〜ａ−２，ｍ＝０〜ｂ−２及びｍ'＝０〜ｂ−２である。
【００５３】
ステップＳ８９の相関係数ＣＯＲ(t)はｔが０〜ｕａ−２の範囲で各々算出される。また、ステップＳ８９の相関係数ＣＯＲ(t)の演算では飛び越し処理が行われる。飛び越し処理においては、(ＵＲ１(t+n+n1)−ＭＲ１(n'+n2))の最小値が検出される。n1及びn2各々は０〜２までのいずれかの整数である。すなわち、n1及びn2各々を０〜２までの範囲で変化させて(ＵＲ１(t+n+n1)−ＭＲ１(n'+n2))の最小値となるときが検出される。そのときのｎ＋ｎ１が新たなｎに、ｎ'＋ｎ２が新たなｎ'とされる。また、(ＵＲ１(t+m+m1)−ＭＲ２(m'+m2))の最小値が検出される。ｍ１及びｍ２各々は０〜２までのいずれかの整数である。すなわち、ｍ1及びｍ2各々を０〜２までの範囲で変化させて(ＵＲ１(t+m+m1)−ＭＲ２(m'+m2))の最小値となるときが検出される。そのときのｍ＋ｍ１が新たなｍに、ｍ'＋ｍ２が新たなｍ'とされる。その後、式(3)に応じて相関係数ＣＯＲ(t)が算出される。
【００５４】
更に、各時点の和音から変化後の和音が検索対象の和音進行楽曲データ及びＣ番目の和音進行楽曲データがＣ及びＡｍのいずれであっても、或いはＣｍ及びＥ♭のいずれであっても同一とみなす。すなわち、変化後の和音が関係調の和音であれば、上記の式の|ＵＲ１(t+n)−ＭＲ１(n')|+|ＵＡ１(t+n)−ＭＡ１(n')|＝０或いは|ＵＲ１(t+m)−ＭＲ２(m')|+|ＵＡ１(t+m)−ＭＡ２(m')|＝０である。例えば、和音Ｆから一方のデータが７度差でメジャーに変化し、他方のデータが４度差でマイナーに変化した場合には同一とし、また和音Ｆから一方のデータが７度差でマイナーに変化し、他方のデータが１０度差でメジャーに変化した場合にも同一として処理される。
【００５５】
図１９(a)はＣ番目の和音進行楽曲データと検索対象の和音進行楽曲データとの関係を示している。検索対象の和音進行楽曲データはｔの進行に従ってＣ番目の和音進行楽曲データとの比較部分が変化する。図１９(b)は相関係数ＣＯＲ(t)の変化を示している。
図１９(c)はＣ番目の和音進行楽曲データと検索対象の和音進行楽曲データとの相互相関演算における、各和音が維持される時間幅ＷＵ(1)〜ＷＵ(5)、飛び越し処理部分及び関係調の部分を示している。Ｃ番目の和音進行楽曲データと検索対象の和音進行楽曲データとの間の矢印線は同一和音を示している。その矢印線のうちの同一時間にない傾いた矢印線で結ばれた和音は、飛び越し処理で検出された和音である。また、矢印線が波線になっているものは関係調の和音である。
【００５６】
算出された相関係数ＣＯＲ(0)〜ＣＯＲ(ua-2)のうちから最小値がＭＩＮ[ＣＯＲ(t)]として検出され、それがそのままＣＯＲ＿ＭＩＮ(Ｃ)としてされる（ステップＳ９０）。
更に、ステップＳ８２にて得られた第１和音差分値ＭＲ１(0)〜ＭＲ１(a-2)及び和音属性ＭＡ１(0)〜ＭＡ１(a-2)並びにステップＳ８３にて得られた第２和音差分値ＭＲ２(0)〜ＭＲ２(b-2)及び和音属性ＭＡ２(0)〜ＭＡ２(b-2)と、ステップＳ８８にて得られた蓄積されたＣ番目の和音進行楽曲データについての第１和音差分値ＵＲ２(0)〜ＵＲ２(ub-2)及び和音属性ＵＡ２(0)〜ＵＡ２(ub-2)とに応じて相互相関演算が行われる（ステップＳ９１）。この相互相関演算では相関係数ＣＯＲ(t)が次式(4)の如く算出される。
ＣＯＲ(t)＝Σ10(|ＵＲ２(t+n)-ＭＲ１(n')|+|ＵＡ２(t+n)-ＭＡ１(n')|
+|ＷＵ２(t+n+1)/ＷＵ２(t+n)-ＷＭ１(n'+1)/ＷＭ１(n')|)
+Σ10(|ＵＲ２(t+m)-ＭＲ２(m')|+|ＵＡ２(t+m)-ＭＡ２(m')|
+|ＷＵ２(t+m+1)/ＷＵ２(t+m)-ＷＭ２(m'+1)/ＷＭ２(m')|) ……(4)
ただし、ＷＵ２()，ＷＭ１()，ＷＭ２()は各和音が維持される時間幅、ｔ＝０〜ｕｂ−２、Σ演算はｎ＝０〜ａ−２及びｎ'＝０〜ａ−２，ｍ＝０〜ｂ−２及びｍ'＝０〜ｂ−２である。
【００５７】
ステップＳ９１の相関係数ＣＯＲ(t)はｔが０〜ｕb−２の間で変化する範囲で各々算出される。また、ステップＳ９１の相関係数ＣＯＲ(t)の演算では、先ず(ＵＲ２(t+n+n1)−ＭＲ１(n'+n2))の最小値が検出される。ｎ１及びｎ２各々は０〜２までのいずれかの整数である。すなわち、ｎ１及びｎ２各々を０〜２までの範囲で変化させて(ＵＲ２(t+n+n1)−ＭＲ１(n'+n2))の最小値となるときのｎ＋ｎ１が新たなｎに、ｎ'＋ｎ２が新たなｎ'とされる。また、(ＵＲ２(t+m+m1)−ＭＲ２(m'+m2))の最小値が検出される。ｍ１及びｍ２各々は０〜２までのいずれかの整数である。すなわち、ｍ１及びｍ２各々を０〜２までの範囲で変化させて(ＵＲ２(t+m+m1)−ＭＲ２(m'+m2))の最小値となるときのｍ＋ｍ１が新たなｍに、ｍ'＋ｍ２が新たなｍ'とされる。その後、式(4)に応じて相関係数ＣＯＲ(t)が算出される。
【００５８】
更に、各時点の和音から変化後の和音が検索対象の和音進行楽曲データ及びＣ番目の和音進行楽曲データがＣ及びＡｍのいずれであっても、或いはＣｍ及びＥ♭のいずれであっても同一とみなす。すなわち、変化後の和音が関係調の和音であれば、上記の式の|ＵＲ２(t+n)−ＭＲ１(n')|+|ＵＡ２(t+n)−ＭＡ１(n')|＝０或いは|ＵＲ２(t+m)−ＭＲ２(m')|+|ＵＡ２(t+m)−ＭＡ２(m')|＝０である。
【００５９】
算出された相関係数ＣＯＲ(0)〜ＣＯＲ(ub-2)のうちから最小値がＭＩＮ[ＣＯＲ(t)]として検出され、それがＣＯＲ＿ＭＩＮ(Ｃ)に加算される（ステップＳ９２）。
ステップＳ９２の実行後、カウンタ値Ｃに１が加算され（ステップＳ９３）、そのカウンタ値ＣがステップＳ８４のＺ−１より大であるか否かが判別される（ステップＳ９４）。Ｃ≦Ｚ−１であるならば、データ蓄積装置９に和音進行楽曲データとして蓄積されている全ての楽曲に対して相関係数ＣＯＲ(t)が算出されていない。よって、ステップＳ８６に戻って上記のステップＳ８６〜Ｓ９４の動作が繰り返される。
【００６０】
Ｃ＞Ｚ−１であるならば、全ての楽曲各々の相関係数最小値ＣＯＲ＿ＭＩＮ(0)〜ＣＯＲ＿ＭＩＮ(Z-1)を小さい順に楽曲名、ファイル名等の楽曲情報を結果表示装置１２にリスト表示させる（ステップＳ９５）。また、そのリストの第１番目の楽曲の楽曲データがデータ蓄積装置８から読み出されて楽曲再生装置１３に供給される（ステップＳ９６）。これにより、楽曲再生装置１３は供給された楽曲データを順次再生し、それがディジタル信号としてディジタル／アナログ変換装置１４に供給される。ディジタル／アナログ変換装置１４においてアナログオーディオ信号に変換された後、スピーカ１５から再生音が出力されることになる。この再生音は検索対象の和音進行楽曲データの楽曲音として可能性が最も高い楽曲音である。
【００６１】
上記の検索再生処理のステップＳ８１〜Ｓ９４が類似度（相関係数ＣＯＲ(t)）を算出する比較手段に相当し、ステップＳ９５及びＳ９６は検索出力を生成する出力手段に相当する。
かかる楽曲検索動作においては、検索対象の和音進行楽曲データと蓄積された複数の楽曲の和音進行楽曲データ各々とを和音変化時の和音の根音変化量（差分値）と変化後の和音の属性とについて比較するので、原曲に対して転調や編曲されたカバー曲やＢＧＭ曲のような楽曲を正確に検索することができる。
【００６２】
また、テレビドラマやコマーシャルに用いられる楽曲のタイトルや歌手名が分からない場合には、上記の楽曲検索動作によって所望の楽曲についてのタイトルや歌手名等の楽曲情報を容易に入手することができる。
更に、検索対象の和音進行楽曲データと蓄積された複数の楽曲の和音進行楽曲データ各々とを和音変化時の和音の根音変化量と変化後の和音の属性とに加えて和音変化前後の和音の時間的長さの比について比較することにより、所望の楽曲をより正確に検索することができる。これは、楽曲全体の速度が編曲等によって変わっても全体的な各和音の時間的長さの比率に変化はなく、同一楽曲であれば互いに一致することに基づいている。
【００６３】
また、上記した飛び越し処理及び関係調処理は、和音の変化前後の差分値の演算の際に入力楽曲音がアナログ信号である場合における外部雑音や入力装置の周波数特性の影響を排除するため、或いは入力楽曲音がデータ蓄積装置９に蓄積されている楽曲と編曲が異なるものであった場合にデータ蓄積装置９に蓄積されている楽曲と曲調がほぼ一致するものであっても和音進行データの和音の位置や属性が完全に一致しないことが起きるので、それを防止するために行われる。すなわち、一時的に和音進行が異なっても一定時間幅内で和音進行の傾向が類似していることを検出することができるので、比較する楽曲の編曲が互いに異なっていても同一楽曲であるか否かを正確に判別することができる。更に、飛び越し処理及び関係調処理を施すことによってその施した部分以外の相互相関演算においても正確な類似度を求めることができる。
【００６４】
なお、上記した実施例においては、データベースを形成するデータ蓄積装置８，９が入力装置１〜４、和音解析装置７、和音進行比較装置１１及び表示装置１２等の装置と同一の位置に設けられているが、データ蓄積装置８，９及び和音進行比較装置１１はそれ以外の装置とは異なる位置にサーバとして設けられてネットワークで入力装置１〜４、和音解析装置７及び表示装置１２等の装置を含むクライアントと接続されるようにしても良い。この場合に、和音進行楽曲データは１楽曲当たり例えば、５Ｋバイトのように比較的小さいデータであるので、低速のネットワーク回線を利用してもクライアント側で入力された楽曲音に対してサーバ側で楽曲検索し、その検索結果をクライアント側で直ちに表示することができる。また、そのサーバはクライアント側で入力された楽曲の一部分に対応する楽曲部分だけの楽曲データをデータ蓄積装置８から読み出してクライアントに送信することによりクライアントでは検索結果をより早急に得ることができる。
【００６５】
また、入力される検索対象の楽曲を示すオーディオ信号はビデオ信号を含んだ信号でも良い。データ蓄積装置８には楽曲データだけでなくそのビデオ信号をディジタル化したデータも記憶され、検索結果の楽曲の再生音と共に対応する映像が表示されるようにしても良い。
図２０は本発明の他の実施例を示している。図２０の楽曲処理システムにおいては、図１のシステム中の和音解析装置７、一時記憶メモリ１０及び和音進行比較装置１１がコンピュータ２１によって形成されている。コンピュータ２１は記憶装置２２に記憶されたプログラムに応じて上記の和音解析動作及び楽曲検索動作を実行する。記憶装置２２はハードディスクドライブに限らず、記録媒体のドライブ装置でも良い。その記録媒体のドライブ装置の場合には記録媒体に和音進行楽曲データを書き込むようにしても良い。
【００６６】
以上のように、本発明によれば、和音進行楽曲データを複数の楽曲分蓄積した蓄積手段と、検索対象の和音進行楽曲データを生成する検索対象データ生成手段と、検索対象の和音進行楽曲データとその複数の楽曲の和音進行楽曲データ各々とを和音変化時の和音の根音変化量と変化後の和音の属性とについて比較して複数の楽曲毎の類似度を算出する比較手段と、その類似度の算出結果に応じた検索出力を生成する出力手段とを備えたことにより、複数の楽曲の中から所望の楽曲に対応した楽曲について簡単な構成で正確に検索することができる。
【図面の簡単な説明】
【図１】本発明を適用した楽曲処理システムの構成を示すブロック図である。
【図２】周波数誤差検出動作を示すフローチャートである。
【図３】Ａ音を１.０とした場合の１２音及び１オクターブ高いＡ音各々の周波数比を示す図である。
【図４】和音解析動作の本処理を示すフローチャートである。
【図５】帯域データの各音成分の強度レベル例を示す図である。
【図６】帯域データの各音成分の強度レベル例を示す図である。
【図７】４音からなる和音に対する３音からなる和音への変換を示す図である。
【図８】一時記憶メモリへの記録フォーマットを示す図である。
【図９】基本音及び和音の属性の表記方法、並びに和音候補の表記方法を示す図である。
【図１０】和音解析動作の後処理を示すフローチャートである。
【図１１】平滑化処理前の第１及び第２和音候補の時間変化を示す図である。
【図１２】平滑化処理後の第１及び第２和音候補の時間変化を示す図である。
【図１３】入れ替え処理後の第１及び第２和音候補の時間変化を示す図である。
【図１４】和音進行楽曲データの作成方法及びそのフォーマットを示す図である。
【図１５】楽曲検索動作のデータ入力処理を示すフローチャートである。
【図１６】図１５のデータ入力処理の続き部分を示すフローチャートである。
【図１７】楽曲検索動作の検索再生処理を示すフローチャートである。
【図１８】和音変化の和音差分値及び変化後の属性の例を示す図である。
【図１９】Ｃ番目の和音進行楽曲データと検索対象の和音進行楽曲データとの関係、相関係数ＣＯＲ(t)の変化、並びに各和音が維持される時間幅、飛び越し処理部分及び関係調の部分を示している。
【図２０】本発明の他の実施例として楽曲処理システムの構成を示すブロック図である。
【符号の説明】
６ アナログ／ディジタル変換装置
７ 和音解析装置
８，９ データ蓄積装置
１１ 和音進行比較装置
１３ 楽曲再生装置
１４ ディジタル／アナログ変換装置
２１ コンピュータ
Claims (10)
- 楽曲の和音の時系列変化を示す和音進行楽曲データを複数の楽曲分蓄積した蓄積手段と、
オーディオ信号データとして入力された楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成手段と、
各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較手段と、
前記比較手段によって算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力手段と、を備えたことを特徴とする楽曲検索装置。 - 前記比較手段は、前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々の比較開始位置を逐次変化させて前記複数の楽曲の和音進行楽曲データ各々と前記検索対象の和音進行楽曲データとを比較することを特徴とする請求項１記載の楽曲検索装置。
- 前記比較手段は、前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々とを和音変化時の和音の根音変化量と和音変化後の和音の種類を示す属性とに加えて和音変化前後の和音の時間的長さの比について比較して前記複数の楽曲毎の類似度を算出することを特徴とする請求項１記載の楽曲検索装置。
- 前記比較手段は、前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々とを時間的に前後に飛び越して比較することを特徴とする請求項１記載の楽曲検索装置。
- 前記比較手段は、前記検索対象の和音進行楽曲データが示す和音変化後の和音と前記蓄積手段に蓄積された前記和音進行楽曲データが示す和音変化後の和音とが関係調にあるときその双方の和音変化後の和音を同一の和音とみなすことを特徴とする請求項１記載の楽曲検索装置。
- 前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々とは和音変化時点毎に２つの和音を第１及び第２和音候補として有し、
前記比較手段は、前記検索対象の和音進行楽曲データの第１及び第２和音候補と前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々の第１及び第２和音候補とを相互に比較することを特徴とする請求項１記載の楽曲検索装置。 - 前記複数の楽曲毎に、楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換手段と、前記周波数変換手段によって得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出手段と、
前記成分抽出手段によって抽出された各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として検出する和音候補検出手段と、
前記和音候補検出手段によって繰り返し検出された前記第１及び第２和音候補各々の列を平滑化処理して前記蓄積手段に記憶させるべき前記和音進行楽曲データを生成する平滑化手段と、を備えたことを特徴とする請求項１又は６記載の楽曲検索装置。 - 前記検索対象データ生成手段は、楽曲を示す入力オーディオ信号を所定の時間毎に周波数成分の大きさを示す周波数信号に変換する周波数変換手段と、
前記周波数変換手段によって得られた周波数信号から平均律の各音に対応した周波数成分を前記所定の時間毎に抽出する成分抽出手段と、
前記成分抽出手段によって抽出された各音に対応した周波数成分のうちのレベル合計が大となる３つの周波数成分の組によって各々形成される２つの和音を第１及び第２和音候補として所定数だけ検出する和音候補検出手段と、
前記和音候補検出手段によって繰り返し検出された前記第１及び第２和音候補各々の列を平滑化処理して前記検索対象の前記和音進行楽曲データを生成する平滑化手段と、を備えたことを特徴とする請求項１又は６記載の楽曲検索装置。 - 楽曲の和音の時系列変化を示す和音進行楽曲データを複数の楽曲分蓄積した蓄積手段を備えた楽曲検索装置の楽曲検索方法であって、
検索対象データ生成手段がオーディオ信号データとして入力された楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成ステップと、
比較手段が各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと前記蓄積手段に蓄積された前記複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較ステップと、
出力手段が前記比較ステップによって算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力ステップと、を備えたことを特徴とする楽曲検索方法。 - オーディオ信号データとして入力された楽曲を検索するためのプログラムであって、コンピュータに、
楽曲の少なくとも一部分の和音の時系列変化を示す検索対象の和音進行楽曲データを生成する検索対象データ生成ステップと、
各和音変化での和音根音の変化量と各和音変化後の和音の種類を示す属性とに基づいて前記検索対象の和音進行楽曲データと蓄積手段に蓄積された複数の楽曲の和音進行楽曲データ各々との間の類似度を算出する比較ステップと、
前記比較ステップにおいて算出された前記複数の楽曲各々の類似度に応じて前記複数の楽曲のうちの少なくとも１楽曲を示す検索出力を生成する出力ステップと、を実行させることを特徴とするプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002352864A JP4313563B2 (ja) | 2002-12-04 | 2002-12-04 | 楽曲検索装置及び方法 |
| EP03027489A EP1426921B1 (en) | 2002-12-04 | 2003-12-01 | Music searching apparatus and method |
| DE60302420T DE60302420T2 (de) | 2002-12-04 | 2003-12-01 | Musiksuchgerät und -verfahren |
| US10/724,902 US7288710B2 (en) | 2002-12-04 | 2003-12-02 | Music searching apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002352864A JP4313563B2 (ja) | 2002-12-04 | 2002-12-04 | 楽曲検索装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004185432A JP2004185432A (ja) | 2004-07-02 |
| JP4313563B2 true JP4313563B2 (ja) | 2009-08-12 |
Family
ID=32310726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002352864A Expired - Fee Related JP4313563B2 (ja) | 2002-12-04 | 2002-12-04 | 楽曲検索装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7288710B2 (ja) |
| EP (1) | EP1426921B1 (ja) |
| JP (1) | JP4313563B2 (ja) |
| DE (1) | DE60302420T2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4244133B2 (ja) * | 2002-11-29 | 2009-03-25 | パイオニア株式会社 | 楽曲データ作成装置及び方法 |
| GB0230097D0 (en) * | 2002-12-24 | 2003-01-29 | Koninkl Philips Electronics Nv | Method and system for augmenting an audio signal |
| JP2005173938A (ja) * | 2003-12-10 | 2005-06-30 | Pioneer Electronic Corp | 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体 |
| KR20060073100A (ko) * | 2004-12-24 | 2006-06-28 | 삼성전자주식회사 | 특정 패턴 타입의 음원 미디어를 검색하는 음원 검색기 및그 동작방법 |
| JP4650270B2 (ja) | 2006-01-06 | 2011-03-16 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP2007219178A (ja) * | 2006-02-16 | 2007-08-30 | Sony Corp | 楽曲抽出プログラム、楽曲抽出装置及び楽曲抽出方法 |
| US7705231B2 (en) * | 2007-09-07 | 2010-04-27 | Microsoft Corporation | Automatic accompaniment for vocal melodies |
| JP4823804B2 (ja) * | 2006-08-09 | 2011-11-24 | 株式会社河合楽器製作所 | コード名検出装置及びコード名検出用プログラム |
| CN102610222B (zh) | 2007-02-01 | 2014-08-20 | 缪斯亚米有限公司 | 音乐转录的方法，系统和装置 |
| WO2008101130A2 (en) * | 2007-02-14 | 2008-08-21 | Museami, Inc. | Music-based search engine |
| US7528317B2 (en) * | 2007-02-21 | 2009-05-05 | Joseph Patrick Samuel | Harmonic analysis |
| JP4389950B2 (ja) * | 2007-03-02 | 2009-12-24 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US8283546B2 (en) * | 2007-03-28 | 2012-10-09 | Van Os Jan L | Melody encoding and searching system |
| US20080300702A1 (en) * | 2007-05-29 | 2008-12-04 | Universitat Pompeu Fabra | Music similarity systems and methods using descriptors |
| JP5093806B2 (ja) * | 2008-02-11 | 2012-12-12 | 株式会社イクシコム | 類似音楽検索システム |
| US8494257B2 (en) | 2008-02-13 | 2013-07-23 | Museami, Inc. | Music score deconstruction |
| JP5290822B2 (ja) * | 2009-03-24 | 2013-09-18 | 株式会社エクシング | カラオケ装置、カラオケ装置の制御方法、及びカラオケ装置の制御プログラム |
| JP5659648B2 (ja) * | 2010-09-15 | 2015-01-28 | ヤマハ株式会社 | コード検出装置およびコード検出方法を実現するためのプログラム |
| JP5296813B2 (ja) * | 2011-01-19 | 2013-09-25 | ヤフー株式会社 | 楽曲レコメンド装置、方法及びプログラム |
| JP2012194653A (ja) * | 2011-03-15 | 2012-10-11 | Nec Corp | データ処理装置、データ処理システム、データ処理方法およびプログラム |
| GB2560458B (en) * | 2011-05-11 | 2019-01-30 | British Broadcasting Corp | Processing audio data for producing metadata |
| GB2490877B (en) * | 2011-05-11 | 2018-07-18 | British Broadcasting Corp | Processing audio data for producing metadata |
| US20120304062A1 (en) * | 2011-05-23 | 2012-11-29 | Speakertext, Inc. | Referencing content via text captions |
| JP5935503B2 (ja) * | 2012-05-18 | 2016-06-15 | ヤマハ株式会社 | 楽曲解析装置および楽曲解析方法 |
| JP6500870B2 (ja) * | 2016-09-28 | 2019-04-17 | カシオ計算機株式会社 | コード解析装置、方法、及びプログラム |
| JP6500869B2 (ja) * | 2016-09-28 | 2019-04-17 | カシオ計算機株式会社 | コード解析装置、方法、及びプログラム |
| JP6950470B2 (ja) * | 2017-11-07 | 2021-10-13 | ヤマハ株式会社 | 音響装置および音響制御プログラム |
| KR102546902B1 (ko) * | 2021-08-05 | 2023-06-23 | 이유 | 음악 코드 기반 시각적 문서 편집 기능을 제공하는 서비스 제공 장치 및 방법 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2624090B2 (ja) * | 1992-07-27 | 1997-06-25 | ヤマハ株式会社 | 自動演奏装置 |
| US5440756A (en) * | 1992-09-28 | 1995-08-08 | Larson; Bruce E. | Apparatus and method for real-time extraction and display of musical chord sequences from an audio signal |
| JP3433818B2 (ja) | 1993-03-31 | 2003-08-04 | 日本ビクター株式会社 | 楽曲検索装置 |
| US5521323A (en) * | 1993-05-21 | 1996-05-28 | Coda Music Technologies, Inc. | Real-time performance score matching |
| US5760325A (en) * | 1995-06-15 | 1998-06-02 | Yamaha Corporation | Chord detection method and apparatus for detecting a chord progression of an input melody |
| JP3196604B2 (ja) * | 1995-09-27 | 2001-08-06 | ヤマハ株式会社 | 和音分析装置 |
| US5952597A (en) * | 1996-10-25 | 1999-09-14 | Timewarp Technologies, Ltd. | Method and apparatus for real-time correlation of a performance to a musical score |
| JPH10134549A (ja) | 1996-10-30 | 1998-05-22 | Nippon Columbia Co Ltd | 楽曲検索装置 |
| US6166314A (en) * | 1997-06-19 | 2000-12-26 | Time Warp Technologies, Ltd. | Method and apparatus for real-time correlation of a performance to a musical score |
| US5913259A (en) * | 1997-09-23 | 1999-06-15 | Carnegie Mellon University | System and method for stochastic score following |
| US6057502A (en) * | 1999-03-30 | 2000-05-02 | Yamaha Corporation | Apparatus and method for recognizing musical chords |
| JP4389330B2 (ja) * | 2000-03-22 | 2009-12-24 | ヤマハ株式会社 | 演奏位置検出方法および楽譜表示装置 |
-
2002
- 2002-12-04 JP JP2002352864A patent/JP4313563B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-01 DE DE60302420T patent/DE60302420T2/de not_active Expired - Lifetime
- 2003-12-01 EP EP03027489A patent/EP1426921B1/en not_active Expired - Fee Related
- 2003-12-02 US US10/724,902 patent/US7288710B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1426921B1 (en) | 2005-11-23 |
| US7288710B2 (en) | 2007-10-30 |
| DE60302420D1 (de) | 2005-12-29 |
| JP2004185432A (ja) | 2004-07-02 |
| US20040144238A1 (en) | 2004-07-29 |
| EP1426921A1 (en) | 2004-06-09 |
| DE60302420T2 (de) | 2006-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4313563B2 (ja) | 楽曲検索装置及び方法 | |
| JP4203308B2 (ja) | 楽曲構造検出装置及び方法 | |
| JP4244133B2 (ja) | 楽曲データ作成装置及び方法 | |
| JP4199097B2 (ja) | 楽曲自動分類装置及び方法 | |
| US6188010B1 (en) | Music search by melody input | |
| KR100893797B1 (ko) | 콘텐츠 검색 장치 및 방법과 통신 시스템 및 방법 | |
| Marolt | A mid-level representation for melody-based retrieval in audio collections | |
| US20060075883A1 (en) | Audio signal analysing method and apparatus | |
| KR100512143B1 (ko) | 멜로디 기반 음악 검색방법과 장치 | |
| US20070051230A1 (en) | Information processing system and information processing method | |
| KR20060019096A (ko) | 허밍 기반의 음원 질의/검색 시스템 및 그 방법 | |
| JP4202964B2 (ja) | 映像データへの楽曲データ付加装置 | |
| JP2003058147A (ja) | 音楽コンテンツ自動分類装置及び自動分類方法 | |
| JPWO2006062064A1 (ja) | 楽曲処理装置 | |
| JP3934556B2 (ja) | 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間領域信号を参照する方法及びその装置 | |
| KR100468971B1 (ko) | 멜로디 기반 검색이 가능한 음악 재생장치 | |
| JP2014109603A (ja) | 演奏評価装置、演奏評価方法 | |
| JP2012159717A (ja) | 楽曲データの変化点検出装置、楽曲データの変化点検出方法及び楽曲データの変化点検出プログラム | |
| EP2355104A1 (en) | Apparatus and method for processing audio data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4313563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |