JP6549234B2 - 楽曲解析装置、楽曲解析方法、及び楽曲解析プログラム - Google Patents

Description

本発明は、楽曲解析装置、楽曲解析方法、及び楽曲解析プログラムに関する。

従来、楽曲等の音データから自動で拍やテンポ、楽曲のキー、スケール等の楽曲を解析する技術が知られている（例えば、特許文献１参照）。
音データの解析は、ある程度の長さの音データをサンプリングし、入力された波形を、例えば、ＦＦＴ（Fast Fourier Transform）を用いて解析することにより行われる。
このような音データの解析は、ＤＪ関連機器の分野においても、ＢＰＭ（Beats Per Minute）楽曲に関連する技術として利用されている。
ＤＪ関連機器でこのような音データの解析を利用すれば、解析されたテンポ、キー、スケール等により、曲と曲との間を違和感なくつなぐことができるため、パフォーマンスの高いＤＪを提供することができる。

特開２０１０−９７０８４号公報

しかしながら、従来、ＦＦＴの実行間隔は固定されているため、長時間の音データを解析しようとすると、ＦＦＴの実行回数が多くなり、解析に時間を要するという課題がある。

本発明の目的は、音データの時間によらず、解析時間を短縮することのできる楽曲解析装置及び楽曲解析方法、及び楽曲解析プログラムを提供することにある。

本発明に係る楽曲解析装置は、
入力された音データの再生時間を検出する再生時間検出手段と、
前記再生時間検出手段で検出された再生時間に応じて、ＦＦＴ（Fast Fourier Transform）の実行間隔を設定する実行間隔設定手段と、
前記実行間隔設定手段で設定されたＦＦＴの実行間隔に基づいて、ＦＦＴを実行し、入力された音データの解析を行う音データ解析手段と、
を備えていることを特徴とする。

本発明に係る楽曲解析装置は、
入力された音データのデータ長を検出するデータ長検出手段と、
前記データ長検出手段で検出されたデータ長に応じて、ＦＦＴの実行間隔を設定する実行間隔設定手段と、
前記実行間隔設定手段で設定されたＦＦＴの実行間隔に基づいて、ＦＦＴを実行し、入力された音データの解析を行う音データ解析手段と、
を備えていることを特徴とする。

本発明に係る楽曲解析方法は、
入力された音データの再生時間を検出する手順と、
検出された再生時間に応じて、ＦＦＴの実行間隔を設定する手順と、
設定されたＦＦＴの実行間隔に基づいて、ＦＦＴを実行し、入力された音データの解析を行う手順と、
を実行することを特徴とする。

本発明に係る楽曲解析プログラムは、
入力された音データの再生時間を検出する手順と、
検出された再生時間に応じて、ＦＦＴの実行間隔を設定する手順と、
設定されたＦＦＴの実行間隔に基づいて、ＦＦＴを実行し、入力された音データの解析を行う手順と、
をコンピュータに実行させることを特徴とする。

本発明の実施形態に係る楽曲解析装置を示すブロック図。 前記実施形態における音データの複製を説明するための模式図。 前記実施形態における窓関数を説明するための模式図。 前記実施形態におけるＦＦＴの実行間隔を説明するための模式図。 前記実施形態における再生時間の長い音データの実行間隔を説明するための模式図。 前記実施形態における再生時間の短い音データの実行間隔を説明するための模式図。 前記実施形態におけるＦＦＴ実行後のキー判定を説明するための模式図。 前記実施形態におけるＦＦＴ実行後のキー判定を説明するための模式図。 前記実施形態における楽曲解析方法を説明するためのフローチャート。

以下、本発明の実施の一形態について説明する。
図１には、本実施形態に係る楽曲解析装置１が示されている。この楽曲解析装置１は、入力されたＰＣＭデータ等のデジタル化された音データＳＤを解析し、その音データＳＤのキーを判定して、表示装置等の表示画面上に入力された音データのキー表示ＫＤとして表示させる装置である。
楽曲解析装置１は、一般的なコンピュータ、ＯＳ（Operation System）を搭載した携帯情報端末で起動するソフトウェアアプリケーションとして構成され、再生時間検出手段２、音データ判定手段３、音データ複製手段４、音データ解析手段５、実行間隔設定手段６、及びキー判定手段７を備える。

再生時間検出手段２は、入力された音データＳＤの再生時間を検出する。具体的には、再生時間検出手段２は、音データＳＤの始めから最後までのサンプリングの回数をカウントすることにより、再生時間を検出する。再生時間を検出したら、再生時間検出手段２は、音データ判定手段３及び実行間隔設定手段６に、検出した再生時間を出力する。

音データ判定手段３は、再生時間検出手段２で検出された再生時間に基づいて、入力された音データＳＤが所定の再生時間以上を有するか否かを判定する。具体的には、音データＳＤが、後述する音データ解析手段５で解析できるだけの再生時間を有するか否かを判定する。
解析の可否の判定は、音データ解析手段５に適用される窓関数に必要な最短の時間以上の時間を、音データＳＤの再生時間が有しているか否かで判定される。

窓関数の時間窓長は、音データＳＤのサンプリング周波数、検出する下限周波数、周波数分解能により決定される。
例えば、ＢＰＭ２００の通常の４／４拍子の楽曲の場合、１拍は３００ｍｓｅｃとなり、１６分音符は７５ｍｓｅｃとなる。ＦＦＴを実行して、音階のＡ０にあたる２７．５Ｈzの低音の音データＳＤの解析を行う場合、最低でも１．２ｓのデータが必要である。
音データ判定手段３は、音データＳＤが所定の再生時間未満であると判定したら、その旨の判定結果を、音データ複製手段４に出力する。

音データ複製手段４は、音データ判定手段３の判定結果に基づいて、入力された音データＳＤを複製し、前述した所定の時間以上となるように連続させる。具体的には、音データ複製手段４は、図２に示されるように、入力された再生時間ｔ１の音データＳＤを複製し、複製データＣＤを、音データＳＤの後ろに貼り付けて連続させ、再生時間ｔ２の連続した音データＳＤ’を生成する。

例えば、音データＳＤの再生時間ｔ１が前述した例における１．２ｓｅｃより短い場合、音データ複製手段４は、音データＳＤの複製データＣＤを複製して、再生時間ｔ２が１．２ｓｅｃ以上の連続した音データＳＤ’となるまで複製を繰り返す。
なお、複製は、再生時間ｔ２が音データ解析手段５で解析できるだけの再生時間であればよく、複製の回数Ｎは整数でなくてもよい。
音データ複製手段４は、複製により、所定の時間以上とされた音データＳＤ’を音データ解析手段５に出力する。

音データ解析手段５は、音データＳＤ、ＳＤ’の周波数スペクトル解析を行う。解析方法は、本実施形態では、ＦＦＴを用いて解析で行っている。但し、解析方法は、特に限定されるわけでなく、例えば、ＤＣＴ（Discrete Cosine transform）を用いた解析や、時間軸による解析や、信号レベルによる解析、音量感、アタック感による解析を用いることができる。
ＦＦＴには、図３に示すように、通常、窓関数であるハミング窓ＨＭＷが適用されている。ハミング窓ＨＭＷは、ＦＦＴの実行時間中の時間軸上の両端の信号強度の増幅を弱め、ＦＦＴ実行時に、サンプリングされた波形の継ぎ目の不連続部分の影響を少なくするために適用されている。

このため、ＦＦＴを実行したデータの時間軸上の両端部は、信号強度が弱すぎるので、解析データとして使用することができない。
そこで、本実施形態では、解析可能なデータとして、ＦＦＴ実行時間のうち信号強度が弱められない解析期間Ｔ０の信号強度を用いて、周波数スペクトル解析を行っている。解析期間Ｔ０は、任意に定めうるが、本実施形態では、ハミング窓ＨＭＷの０．７（７０％）値で設定している。
なお、本実施形態では、ハミング窓ＨＭＷを適用しているが、これに限らず、ハニング窓、フラップトップ窓等を窓関数として用いてもよい。

実行間隔設定手段６は、再生時間検出手段２で検出された再生時間に基づいて、音データ解析手段５によるＦＦＴの実行間隔を設定する。
具体的には、実行間隔設定手段６は、図４に示されるように、１回目にＦＦＴ１が実行された後、２回目のＦＦＴ２の実行開始の時間を、実行間隔ＴＩとして設定する。以後、本実施形態では、３回目のＦＦＴ３は、時間２ＴＩ後に開始され、順次ＦＦＴが実行される。

実行間隔ＴＩの設定は、音データＳＤ、ＳＤ’の再生時間によって設定される。
実行間隔設定手段６は、例えば、再生時間が３０ｓｅｃ以上の長い音データＳＤの場合、図５に示されるように、実行間隔ＴＩを大きくし、再生時間が３０ｓ未満の短い音データＳＤの場合、図６に示されるように、実行間隔ＴＩを小さくする。実行間隔ＴＩの下限値は、ＦＦＴ１、ＦＦＴ２・・・の解析期間Ｔ０が連続するような実行間隔ＴＩとする。
実行間隔設定手段６は、設定した実行間隔ＴＩを前述した音データ解析手段５に出力する。
音データ解析手段５は、実行間隔ＴＩに基づいて、ＦＦＴを繰り返し実行し、ＦＦＴの実行の度に解析結果をキー判定手段７に出力する。

キー判定手段７は、音データ解析手段５から出力された解析結果に基づいて、音データＳＤ、ＳＤ’のキー判定を行う。
具体的には、キー判定手段７は、オクターブあたり１２の音階それぞれについて、各音をルートとするマイナーキー及びメジャーキーの２種類、計２４種類の音階の基準周波数を記憶している。
キー判定手段７は、実行間隔ＴＩ毎に入力される解析結果を時間軸方向に合算し、得られた合算値から、信号強度の強い周波数に近い基準周波数を選択し、図７に示されるように、各音階の信号強度を求める。
次に、キー判定手段７は、図８に示されるように、信号強度の強い順番に並べ替え、正規化し、信号強度の強いいくつかの音階を選択して、音データＳＤ、ＳＤ’のキーを判定する。
キー判定手段７は、音データＳＤ、ＳＤ’のキー判定結果をキー表示ＫＤとして、コンピュータのディスプレイや、携帯端末の画面上に表示する。

次に、前述した構成を備えた楽曲解析装置１による音データＳＤのキー判定を、図９に示されるフローチャートに基づいて、説明する。
まず、コンピュータや携帯端末のユーザーが、楽曲解析装置１を画面上で選択し、プログラムを起動し、解析対象である音データＳＤを選択すると、楽曲解析装置１に音データＳＤが入力される（手順Ｓ１）。
音データＳＤが入力されたら、再生時間検出手段２は、音データＳＤの再生時間を検出する（手順Ｓ２）。
音データ判定手段３は、音データＳＤの再生時間が所定の時間以上であるかどうかを判定する（手順Ｓ３）。

音データＳＤの再生時間が所定の時間未満であると判定されたら、音データ複製手段４は、音データＳＤを複製し（手順Ｓ４）複製データＣＤを音データＳＤに貼り付けて、連続した音データＳＤ’を生成する。
はじめから音データＳＤの再生時間が所定の時間以上であるか、音データＳＤ’の再生時間が所定の時間以上となった場合、実行間隔設定手段６は、音データＳＤ、ＳＤ’の再生時間に基づいて、音データ解析手段５の実行間隔ＴＩを設定する（手順Ｓ６）。

音データ解析手段５は、設定された実行間隔ＴＩに基づいて、ＦＦＴを繰り返し、音データＳＤ、ＳＤ’の周波数スペクトル解析を行う（手順Ｓ７）。
音データ解析手段５は、音データＳＤ、ＳＤ’が終了したか否かを判定し（手順Ｓ８）、音データＳＤ、ＳＤ’が終了したと判定されたら、解析結果をキー判定手段に出力する。
キー判定手段７は、解析結果に基づいて、音データＳＤ、ＳＤ’のキー判定を行う（手順Ｓ９）。
キー判定手段７は、判定結果である音データＳＤ、ＳＤ’のキーを、コンピュータや携帯端末の表示画面上に出力する（手順Ｓ１０）。

このような本実施形態によれば、以下のような効果がある。
楽曲解析装置１が音データ複製手段４を備えていることにより、非常に短い音データＳＤであっても、複製により所定時間以上の音データＳＤ’とすることができるため、音データＳＤの再生時間によらず、音データ解析手段５により、ＦＦＴを実行して周波数スペクトル解析を行って、音データＳＤ、ＳＤ’のキー判定を行うことができる。
これにより、音データＳＤの再生時間の長短によらず、ＤＪ関連機器で様々な音データＳＤを利用できるので、パフォーマンスの高いＤＪを提供することができる。

楽曲解析装置１が再生時間検出手段２及び実行間隔設定手段６を備えていることにより、音データＳＤの再生時間に応じて、音データ解析手段５によるＦＦＴの実行間隔ＴＩを変更することができる。従って、再生時間の短い音データＳＤの場合は、実行間隔ＴＩを短くして、ＦＦＴの実行回数を増やして、音データＳＤの解析精度を向上させることができる。
一方、再生時間の長い音データＳＤの場合、実行間隔ＴＩの実行間隔ＴＩを長くして、音データＳＤの再生中のＦＦＴの実行回数を減らして、解析時間を短縮することができる。なお、長い音データＳＤの場合、ＦＦＴの実行回数が相対的に少なくなり、解析が粗くなる傾向があるが、キー判定等の用途には充分な実行回数が得られるため、支障なく良好な結果を得ることができる。

なお、本発明は、前述の実施形態に限定されるものではなく、以下に示すような変形をも含むものである。
前述した実施形態では、楽曲解析装置１は、音データＳＤのキー判定を行うものであったが、本発明はこれに限らず、キー及びスケール判定を行う楽曲解析装置として利用してもよい。
また、前述した実施形態では、実行間隔設定手段６は、音データＳＤ、ＳＤ’の再生時間に基づいて、実行間隔ＴＩを設定していたが、本発明はこれに限られない。入力される音データのデータ長に基づいて、実行間隔を設定してもよい。
その他、本発明の目的を達成できる範囲で他の構成を採用してもよい。

１…楽曲解析装置、２…再生時間検出手段、３…音データ判定手段、４…音データ複製手段、５…音データ解析手段、６…実行間隔設定手段、７…キー判定手段、ＣＤ…複製データ、ＨＭＷ…ハミング窓、ＫＤ…キー表示、Ｓ１…手順、Ｓ２…手順、Ｓ３…手順、Ｓ４…手順、Ｓ６…手順、Ｓ７…手順、Ｓ８…手順、Ｓ９…手順、Ｓ１０…手順、ＳＤ…音データ、Ｔ０…解析期間、ｔ１…再生時間、ｔ２…再生時間、ＴＩ…実行間隔

Claims (6)

1. 入力された音データの再生時間を検出する再生時間検出手段と、
   前記再生時間検出手段で検出された再生時間に応じて、ＦＦＴ（Fast Fourier Transform）の実行間隔を設定する実行間隔設定手段と、
   前記実行間隔設定手段で設定されたＦＦＴの実行間隔に基づいて、ＦＦＴを実行し、入力された音データの解析を行う音データ解析手段と、
   を備えていることを特徴とする楽曲解析装置。
2. 入力された音データのデータ長を検出するデータ長検出手段と、
   前記データ長検出手段で検出されたデータ長に応じて、ＦＦＴの実行間隔を設定する実行間隔設定手段と、
   前記実行間隔設定手段で設定されたＦＦＴの実行間隔に基づいて、ＦＦＴを実行し、入力された音データの解析を行う音データ解析手段と、
   を備えていることを特徴とする楽曲解析装置。
3. 請求項１又は請求項２に記載の楽曲解析装置において、
   前記実行間隔設定手段は、
   入力された音データの再生時間又はデータ長が、所定の時間又は所定のデータ長よりも長い場合、ＦＦＴの実行間隔を通常のＦＦＴの実行間隔よりも長くとり、
   入力された音データの再生時間又はデータ長が所定の時間又は所定のデータ長よりも短い場合、ＦＦＴの実行間隔を通常のＦＦＴの実行間隔よりも短くとること、
   を特徴とする楽曲解析装置。
4. 請求項１又は請求項２に記載の楽曲解析装置において、
   入力された音データの再生時間又はデータ長が、前記ＦＦＴの解析可能な再生時間又はデータ長より短い場合、入力された音データを解析可能な再生時間又はデータ長以上になるまで複製する音データ複製手段を備え、
   前記音データ解析手段は、当該複製した音データを解析対象とすることを特徴とする楽曲解析装置。
5. 入力された音データの再生時間を検出する手順と、
   検出された再生時間に応じて、ＦＦＴの実行間隔を設定する手順と、
   設定されたＦＦＴの実行間隔に基づいて、ＦＦＴを実行し、入力された音データの解析を行う手順と、
   を実行することを特徴とする楽曲解析方法。
6. 入力された音データの再生時間を検出する手順と、
   検出された再生時間に応じて、ＦＦＴの実行間隔を設定する手順と、
   設定されたＦＦＴの実行間隔に基づいて、ＦＦＴを実行し、入力された音データの解析を行う手順と、
   をコンピュータに実行させることを特徴とする楽曲解析プログラム。