JP3775319B2

JP3775319B2 - 音楽波形のタイムストレッチ装置および方法

Info

Publication number: JP3775319B2
Application number: JP2002078271A
Authority: JP
Inventors: 正尋柿下
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-03-20
Filing date: 2002-03-20
Publication date: 2006-05-17
Anticipated expiration: 2022-03-20
Also published as: JP2003280664A

Description

【０００１】
【発明の属する技術分野】
本発明は、演奏時間の圧縮伸張を、音楽波形の音色やピッチを変化させることなく行う、音楽波形のタイムストレッチに関するものである。
例えば、コマーシャル用に演奏された所定の音楽波形を、その音色やピッチを変化させることなく、その演奏時間を任意の時間に正確に合わせ込む必要がある場合に用いることができる。
あるいは、演奏テンポの変更を、音楽波形の音色やピッチを変化させることなく自由に行いたい場合に用いることができる。
【０００２】
【従来の技術】
従来、音楽波形の再生時間だけを、音色やピッチをほぼそのままに、自由に変化させる技術、言い替えれば、テンポのみを変化させる技術として、音楽波形のタイムストレッチ技術が知られている。
従来のタイムストレッチ技術としては、ビート（拍子）抽出型、ボコーダ型が知られている。
【０００３】
ビート抽出型のタイムストレッチは、音楽波形の急峻な立ち上がりを検出して音符に分割し、各音符の時間間隔を縮めたり伸ばしたりすることによって、音楽波形全体の再生時間を変化させるものである。周波数スペクトルの時間変化が大きいリズム系、パーカッシブな音楽のタイムストレッチに関しては、ある程度の品質が得られる。
しかし、この方法は、原音楽波形そのものを音符単位で時間移動しているだけであるので、定常波形部分は途中で打ち切られたり、定常波形部分に無音区間が埋め込まれたりするので、ボーカルやアンサンブル系の音楽に不向きである。
【０００４】
一方、ボコーダ型のタイムストレッチは、音楽波形を周波数分析して得られた主要な周波数成分について、時間軸を縮めたり伸ばしたりした後に、各周波数成分を加算するというものである。ボーカルやアンサンブル系の音楽に関しては、ある程度の品質が得られる。
しかし、全ての周波数成分を全て処理することは困難であるので、多数の倍音周波数成分や、非倍音周波数成分などが含まれたリズム系の音楽には不向きである。
ところが、通常の音楽波形は、リズムやメロディ、さらには、ボーカルも含まれる場合もあるので、いずれを用いてタイムストレッチしても、思うような品質を得ることができないという問題があった。
同様に、ソロ楽器であっても、ピアノのように、アタック音（ハンマー音など）の後に緩やかな減衰振動を伴うような楽音の演奏波形を高品位にタイムストレッチすることは困難であった。
【０００５】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、音楽波形の高品位な時間軸圧縮伸張を実現できる音楽波形のタイムストレッチ装置および音楽波形のタイムストレッチ方法を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
本発明は、請求項１に記載の発明においては、音楽波形のタイムストレッチ装置において、原音楽波形に対して所定の時間間隔で短時間スペクトル分析が行われて得られた、スペクトルのピーク点データと、該スペクトルのピーク点データからは正弦波合成できない残差波形とを入力する短時間スペクトル分析結果の入力手段と、前記残差波形の振幅に基づいて第１のビート開始タイミングを抽出するビート開始タイミング抽出手段と、前記第１のビート開始タイミングを、所定のタイムストレッチ率に応じて再配置して第２のビート開始タイミングを決定するとともに、前記残差波形を、前記第１のビート開始タイミング毎に分割し、分割された前記残差波形を前記第２のビート開始タイミングの位置に再配置する残差波形のタイムストレッチ手段と、前記スペクトルのピーク点データを前記第１のビート開始タイミング毎に分割し、分割された各区間の前記スペクトルのピーク点データを、前記第２のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成する正弦波合成波形のタイムストレッチ手段と、前記残差波形のタイムストレッチ手段の出力および前記正弦波合成波形のタイムストレッチ手段の出力とを加算する加算手段を有するものである。
したがって、音楽波形の２種類の音楽成分別にその音楽成分に適した時間軸圧縮伸張を行った上で、両者を同期して合成することが可能となり、音楽波形を高品位に時間軸圧縮伸張することができる。
【０００７】
請求項２に記載の発明においては、音楽波形のタイムストレッチ装置において実行されるタイムストレッチ方法であって、原音楽波形に対して所定の時間間隔で短時間スペクトル分析が行われて得られた、スペクトルのピーク点データと、該スペクトルのピーク点データからは正弦波合成できない残差波形とを入力する短時間スペクトル分析結果の入力ステップと、該短時間スペクトル分析結果の入力ステップにより入力された残差波形の振幅に基づいて第１のビート開始タイミングを抽出するビート開始タイミング抽出ステップと、前記第１のビート開始タイミングを、所定のタイムストレッチ率に応じて再配置して第２のビート開始タイミングを決定するとともに、前記短時間スペクトル分析結果の入力ステップにより入力された残差波形を、前記第１のビート開始タイミング毎に分割し、分割された前記残差波形を前記第２のビート開始タイミングの位置に再配置する残差波形のタイムストレッチステップと、前記短時間スペクトル分析結果の入力ステップにより入力されたスペクトルのピーク点データを前記第１のビート開始タイミング毎に分割し、分割された各区間の前記スペクトルのピーク点データを、前記第２のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成する正弦波合成波形のタイムストレッチステップと、前記残差波形のタイムストレッチステップの出力および前記正弦波合成波形のタイムストレッチステップの出力とを加算する加算ステップを有するものである。
したがって、請求項１に記載の発明と同様の作用を奏する。CPUやDSPを用いて実現することができる。
【０００８】
【発明の実施の形態】
本発明は、原音楽波形を、上述したビート法に適した音楽成分および上述したボコーダ法に適した音楽成分に分離し、後で加算可能な形で個別にタイムストレッチ（時間軸圧縮伸張）を行うものである。
具体的には、音楽波形の分析合成ツールを用いて行う。例えば、音楽波形に含まれる基音周波数成分、倍音周波数成分、非倍音周波数成分に対応する線スペクトル成分を抽出する。
通常、分析窓（ウインドウ）を用いたフーリエ変換（短時間フーリエ変換、STFFT:Short-Time Fast Fourier Transform）による短時間スペクトル分析を行う。この短時間スペクトル分析自体は、特開２０００−１０５６７号公報等で知られている。
【０００９】
音楽波形の分析としては、音楽波形をサンプリングし、１フレーム（分析フレーム）サイズの複数サンプルポイントに対して窓関数を掛け算し、その出力レベルから周波数成分を分析する。この１回の処理を１フレームの処理単位として、上述した分析窓を１ホップサイズだけ移動させて、順次、次のフレームに対して同様の処理を行う。
１つのフレームと次のフレームとは、ホップサイズ分だけ時間がずれている。ホップサイズは、サンプルポイント数で表現される。これを時間に換算したものをフレームタイムと定義すると、（フレームタイム）＝（ホップサイズ）／（サンプリング周波数）である。通常、ホップサイズは、ウインドウサイズよりも小さくするので、フレーム期間および分析窓は複数サンプルポイントにわたってオーバラップすることになる。
【００１０】
各フレームにおける分析結果から、周波数成分のピーク点を順次検出する。
ここで、各周波数成分のピーク点は、周波数データ（f_x）、位相データ（各周波数成分の基準位相２πf_xtに対する位相差p_x）、および振幅データ、という３つのデータを有している。
各フレーム単位で、各周波数成分の振幅データからピークを成す周波数位置を検出することにより、ピーク点を抽出する。ピークを成すものを全て検出してもよいが、処理量を減らすため、ピークの振幅が所定の閾値以下のものを切り捨ててもよい。あらかじめ複数のフレームにわたってピーク点の軌跡を追跡することにより、所定のフレーム数以上継続するピーク点のみを出力するなど、これらのクリーニング処理をしてピーク点を出力してもよい。
【００１１】
次に、各ピーク点軌跡に対応する正弦波信号の周波数、位相、振幅を、各フレーム単位で得られたスペクトルのピーク点データに基づいて設定し、複数フレームにわたって、この正弦波信号の周波数、位相、振幅を制御する。得られた複数の正弦波信号を、複数フレームにわたって加算合成することにより、正弦波合成された合成音楽波形が生成される。
原音楽波形からこの合成音楽波形を減算すれば、ピーク点データSTFDATAからは正弦波合成できない音楽波形が出力される。この波形は、残差波形と呼ばれている。
場合によって、最初のスペクトル分析で得られた残差波形を更にスペクトル分析して、正弦波合成波形の精度を上げることが行われる。この場合でも、前回よりも小さくなるが残差波形が残る。
【００１２】
図１は、本発明のタイムストレッチ装置のブロック構成図である。
図中、１はSTFFT分析部、２はビート抽出部、３は正弦波合成できない波形のタイムストレッチ部、４は正弦波合成できる波形のタイムストレッチ部、５は加算器である。
STFFT（Short-Time Fast Fourier Transform）分析部１は、対象とする原音楽波形を短時間高速フーリエ変換し、ピーク点データSTFDATAと、ピーク点データに基づいて正弦波合成できなかった波形（Xesidual：残差波形）とを出力する。
【００１３】
図２は、ピアノ演奏波形の波形図である。
図２（ａ）は原音楽波形、図２（ｂ）は残差波形、図２（ｃ）は残差波形のエンベロープ波形を示す波形図である。
各波形図において横軸は時間、縦軸は波形振幅である。各波形図の時間軸は同じになるように合わせているが、波形振幅のスケールは異なっている。
ビートに対してＡ，Ｂ，Ｃ，……の符号を付している。
図３は、ピアノ演奏波形をSTFFT分析したときのピーク点データを示す分析図である。横軸はフレーム番号で表した時間、縦軸は周波数である。原音楽波形が、図２（ａ）に示した音楽波形の場合のピーク点データSTFDATAを、クリーニング処理したものを示す。
【００１４】
図３に示すように、各フレームにおいて、ピーク点が複数個検出される。これらのピーク点は、元のサンプリング波形の基音周波数成分、倍音周波数成分、非倍音成分、ノイズ成分等に対応して検出されるようになる。このため、ピーク点は、フレーム毎に離散した点状であるが、フレーム間で短い連続性を有するもの、フレーム間で長い連続性を有するものなど、種々のピーク点の態様がある。
図３では、ある程度の長さの軌跡をなすピーク点について図示している。
また、残差波形Xesidualは図２（ｂ）のようになる。図２（ａ）に示したピアノの演奏波形であれば、残差波形Xesidualは、アタックのカチッという打弦音である。したがって、アタックタイミング毎に大きな残差波形Xesidualがある。残差波形Xesidualは、リズム＋ボーカルの音楽波形であれば、パーカッシブなリズム音、ボーカルの子音、あるいは、ノイズである。
【００１５】
図１に示したビート抽出部２は、残差波形から、原音楽波形のビート（拍子）開始タイミングを抽出する。抽出方法は任意でよいが、以下の例では、エンベロープレベルを検出する方法を示す。
まず、図２（ｃ）のような残差波形のエンベロープを計算する。次に、所定のスレッショルドレベルVthと残差波形のエンベロープとの交点を、波形のアタックポイントとし、そこから時間の過去側へ数msの所定時間Δだけ戻した時点ａ，ｂ，ｃ，……をビートの切れ目（ビート開始タイミング）とする。
【００１６】
スレッショルドレベルVthは、所定値か、残差波形のエンベロープのピーク値の所定数分の１の値とすればよい。音楽波形の立上りはノイズ成分が多く不確定であるので、スレッショルドレベルVthをあまり下げることはできない。これに対し、上述した方法では、スレッショルドレベルVthをあまり下げなくてもビートの切れ目を精度良く検出できる。
ビート開始タイミングの抽出は、この他にも、残差波形をノイズ除去フィルタを通してからその振幅レベルをゼロクロス検出する方法などがある。
【００１７】
正弦波合成できない波形のタイムストレッチ部３は、ビート抽出部２から出力される、原音楽波形（正確には、その残差波形）のビート開始タイミングの情報を入力する。
このビート開始タイミングの間隔（ビート周期）を、ユーザ操作により設定される任意のタイムストレッチ率に比例して変化させることにより、タイムストレッチ後の新たなビート周期を決定し、ビート開始タイミングを再配置する。
同時に、残差波形を、原音楽波形のビート抽出部２から出力されるビート開始タイミング毎に分割し、分割された残差波形の先頭が、再配置後のビート開始タイミングの位置になるように、分割された残差波形を再配置することにより、タイムストレッチされた残差波形を生成する。
なおタイムストレッチ率は、ビート開始タイミングの間隔を単位として、時間的に変化させることができる。
【００１８】
図４は、正弦波合成できない残差波形のタイムストレッチ処理の説明図である。
図４（ａ）はタイムストレッチ前の残差波形、図４（ｂ）はタイムストレッチ後の残差波形である。横軸は時間、縦軸は振幅である。
図示の例では、説明を簡単化するために、タイムストレッチ率を一定値「２倍」とした具体例について説明する。
まず、原音楽波形のビート開始タイミングａ，ｂ，ｃ，ｄ，ｅ，ｆ，…を、２倍のタイムストレッチ率に応じて再配置して、再配置後のビート開始タイミングａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’，…を決定する。
一方、残差波形Xesidualを、元のビート開始タイミングごとに、ビート周期Ta，Tb，Tc，……の期間に分割し、分割された残差波形を再配置後のビート開始タイミングａ，ｂ，ｃ，ｄ，ｅ，ｆ，…で区切られた、ビート周期Ta'，Tb'，Tc'，……の区間の先頭、すなわち、再配置後のビート開始タイミングの位置に再配置する。
【００１９】
単に再配置しただけでは、再配置後の隣接する残差波形の間がゼロレベルのままである。ゼロレベルのままでもよいが、この残差波形の間の区間を何らかの方法で埋めることもできる。
埋める方法は何でもよい。例えば、ビート抽出部２において作成されたエンベロープの情報から、あるスレッショルドレベル（上述したスレッショルドレベルVthとは独立して決められる）以下に減衰した区間では、ホワイトノイズ等のノイズ信号にクロスフェードし、かつ、滑らかに減衰させればよい。
あるいは、上述したスレッショルドレベル以下に減衰した区間を繰り返しループさせ、かつ、滑らかに減衰させればよい。
逆に、タイムストレッチ率を１未満にしたときに、そのままでは、切り出された残差波形が重なることになってしまう。この場合は、ビートの切れ目で、前の残差波形を切り捨ててから、後の残差波形につなげばよい。もともと残差波形の振幅レベルは小さいので切り捨ての影響は小さい。
【００２０】
一方、正弦波合成できる波形のタイムストレッチ部４は、STFFT分析部１から出力されたピーク点データを、ビート抽出部２から出力される原音楽波形のビート開始タイミングの情報を用いて、残差波形のビート開始タイミング毎に分割する。次に、正弦波合成できない波形のタイムストレッチ部３から出力される再配置後のビート開始タイミングの情報を用いて、分割された各期間のスペクトルのピーク点データを、再配置後のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成することにより、再配置された正弦波合成波形を出力する。
【００２１】
なお、再配置は、タイムストレッチ率に比例したものであるから、残差波形のビート開始タイミング毎に分割することなく、対象とする原音楽波形全体を一括して再配置することも可能である。しかし、この場合、再配置後の正弦波合成波形と再配置後の残差波形とが、わずかなタイミングの計算誤差によって時間経過とともにずれてゆくおそれがある。
これに対し、原音楽波形のビート開始タイミング毎に分割することによって、再配置後の残差波形と、再配置後のビート開始タイミングごとに正確に同期させることができる。
【００２２】
正弦波合成は、処理タイミングにおける正弦波信号の周波数、位相、振幅の値を、再配置されたフレームポイントにおける値に基づいて補間演算する。
まず、ピーク点の周波数データのタイムストレッチについて説明する。
図５は、正弦波合成できる波形のタイムストレッチ処理の第１の説明図である。
図５（ａ）はタイムストレッチ前のピーク点の軌跡、図５（ｂ）はタイムストレッチ後のピーク点の軌跡を示す線図である。横軸はフレームポイントのフレームで表した時間、縦軸は周波数である。
説明を簡単にするために、３本のピーク点軌跡のみを模式的に示している。また、タイムストレッチ率の値は一定で、「２倍」としている。原音楽波形のビート開始タイミングおよび再配置後のビート開始タイミングは、フレームポイント上にあるものとして説明する。
【００２３】
図５（ａ）に示すように、ピーク点データSTFDATAが計算されたときの原フレームポイントを、各ビート開始タイミングａ，ｂ，ｃ，…から、ビート周期T_a，T_b，T_c，……の期間毎に分割し、図５（ｂ）に示すように、再配置後の各ビート開始タイミングａ’，ｂ’，…からの再配置後のビート周期T_a’，T_b’，……にわたって再配置する。このようにして得られた新たなピーク点データSTFDATAに基づいて正弦波合成を行う。
再配置後のフレームポイント間は、線形補間（一次補間）する。補間は、前値ホールドや、２次以上の補間公式を用いてもよい。
なお、ピーク開始タイミングａ，ｂ，ｃ，…は、残差波形から抽出されたものであるので、必ずしもフレームポイント上にあるとは限らない。しかし、このような場合でも、再配置後のビート周期T_a’，T_b’，……にわたって補間することができる。
再配置後のピーク点の振幅データについても、上述した周波数データと同様に再配置して補間すればよい。
【００２４】
位相データについては、位相データの再配置をして、さらに、位相の変化量を補正する。すなわち、ビート開始タイミングａ，ｂ，ｃ，…から、ビート開始タイミングで区切られた期間T_a，T_b，T_c，……の位相データを、再配置後のビート開始タイミングａ’，ｂ’，…から、再配置後のビート開始タイミングで区切られた期間T_a’，T_b’，……にわたって再配置するとともに、再配置によってタイムストレッチされた割合T_a’/T_a，T_b’/T_b，……（原理的には、タイムストレッチ率に等しいので、以下、タイムストレッチ率というが、両者の間には計算誤差による微差がある）を、初期位相からの位相の変化量に乗算して補正する。
この補正は、期間の増減に比例して、位相変化量が変化するために行う。
【００２５】
図６は、正弦波合成できる波形のタイムストレッチ処理の第２の説明図である。図６（ａ）は原音楽波形のピーク位相を模式的に示し、図６（ｂ）はタイムストレッチ後のピーク位相を模式的に示す説明図である。
図５に示した、３本のピーク点軌跡に対応する位相データを、ビート開始タイミングａからビート開始タイミングｂの直前までの期間T_aについて、模式的に示している。タイムストレッチ率の値は「２倍」としている。初期位相を各ピーク点軌跡とも０としているが、初期位相が互いに異なっていてもよい。
ここでいう位相データは、各ピーク軌跡に対応する正弦波信号自体の位相を意味する。すなわち、ある周波数f_xの周波数成分の軌跡の位相は、（基準位相＋位相差）＝２πf_xt＋p_xである。時間tの進行とともに正弦波信号の位相が回転する。
【００２６】
図６（ａ）に示す位相データを、ビート開始タイミングａ，ｂ，…で区切られた期間T_a，T_b，……毎に、タイムストレッチ率に従って期間T_a’，T_b’，……に再配置する。このままでは、周波数データが１／２になる。
そこで、さらに、初期位相（ビート開始タイミングａにおける位相）からの位相変化量を、縦軸方向にタイムストレッチ率に従い、拡大あるいは縮小することによって、図６（ｂ）に示された位相データが得られる。
このとき、位相は初期位相からの位相変化量がタイムストレッチ率に従い、拡大あるいは縮小している。しかし、位相の微分値に相当する周波数は、図５（ｂ）に示した周波数と一致する。
このように、位相データについては、再配置をし、さらに、位相の変化量をタイムストレッチ率に比例して補正すればよい。
【００２７】
上述した説明では、タイムストレッチ率を整数値としたが、補間をするので、整数値でなくても正弦波合成する上で問題とならない。
一方、タイムストレッチ率を１未満にしたときは、再配置後のピーク点同士の間隔がフレームポイントの間隔（ホップサイズ）よりも短くなるが、補間をするので、正弦波合成する上で問題とならない。
図１に示した加算器５は、再配置された残差波形および再配置され正弦波合成波形を加算して所望のタイムストレッチ率の音楽波形を生成する。タイムストレッチ率が１を超えるときは原音楽波形の伸張となり、タイムストレッチ率が１未満のときは原音楽波形の圧縮となる。
【００２８】
上述した説明では、ピアノ演奏音楽波形を実例にしたので、音符の開始（ノートオンタイミング）を区切りとして再配置が行われることになる。リズムやボーカルが混在している一般音楽波形については、リズムを演奏する楽器あるいは音声のアタック部分に発生する残差波形からビートが抽出されて、このアタック部分を区切りとして再配置されることになる。
ホップサイズは、楽曲のテンポや構成などに応じて変えてもよい。テンポの速い曲や、短時間に押鍵，離鍵が繰り返されるような楽曲では小さくする。ホップサイズを楽曲の演奏部分毎に変えて、最適化を図ってもよい。
また、ビート抽出のための閾値等の判定基準は、例えば経験的，実験的に定め、対象楽器，楽曲，演奏者，演奏環境などによって調整する。
タイムストレッチの対象とする音楽波形は、マイクロホンで拾ったものがリアルタイムにサンプリングされＡ／Ｄ変換されたものでもよいし、一旦記録装置にアナログ記録された後に読み出され、サンプリングされＡ／Ｄ変換されたものでもよい。また、音楽波形があらかじめサンプリングされＡ／Ｄ変換されて記録装置に一旦デジタル記録された後に、読み出されたものでもよい。
【００２９】
図１に示した、各ブロックの機能は、CPU（Central Processing Unit）に記憶装置に記憶されたプログラムを実行させることによって実現できる。あるいは、全部あるいは一部のブロックを、信号処理プロセッサDSP（Digital Signal Processor）にプログラムを実行させることによって実現してもよい。
STFFT部１は、楽音分析や、楽音合成のために使用される汎用性のある処理であるので、本発明のタイムストレッチ装置に対して外付けの処理装置から分析結果を入力してもよい。
ビート抽出部２は、音楽波形のエンベロープ検出技術を用いればよい。
正弦波合成できない波形のタイムストレッチ部３は、バッファメモリを用いて信号処理をすればよい。
正弦波合成できる波形のタイムストレッチ部４は、ピーク点データをバッファメモリに入れて再配置し補間値を計算した後に、正弦波波形サンプル値が記憶されたROM（Read Only Memory）を読み出す。その際、出力正弦波信号の周波数、位相、振幅を再配置後のピーク点データに基づいて制御し、複数のピーク点軌跡に対応した出力正弦波信号を加算合成すればよい。
【００３０】
【発明の効果】
本発明は、上述した説明から明らかなように、対象とする音楽波形が、リズムやメロディ、ボーカル等が混在するようなものであっても、高品位な時間軸圧縮伸張を実現できるという効果がある。
音楽波形がどのような楽器音色であるのか、どのようなジャンルの音楽であるのかによる影響を受けにくく、高品位のタイムストレッチを実現できるという効果がある。
【図面の簡単な説明】
【図１】本発明のタイムストレッチ装置のブロック構成図である。
【図２】ピアノ演奏波形の波形図である。
【図３】ピアノ演奏波形のピーク点データを示す分析図である。
【図４】正弦波合成できない波形のタイムストレッチ処理の説明図である。
【図５】正弦波合成できる波形のタイムストレッチ処理の第１の説明図である。
【図６】正弦波合成できる波形のタイムストレッチ処理の第２の説明図である。
【符号の説明】
１…STFFT分析部、２…ビート抽出部、３…正弦波合成できない波形のタイムストレッチ部、４…正弦波合成できる波形のタイムストレッチ部、５…加算器

Claims

原音楽波形に対して所定の時間間隔で短時間スペクトル分析が行われて得られた、スペクトルのピーク点データと、該スペクトルのピーク点データからは正弦波合成できない残差波形とを入力する短時間スペクトル分析結果の入力手段と、
前記残差波形の振幅に基づいて第１のビート開始タイミングを抽出するビート開始タイミング抽出手段と、
前記第１のビート開始タイミングを、所定のタイムストレッチ率に応じて再配置して第２のビート開始タイミングを決定するとともに、前記残差波形を、前記第１のビート開始タイミング毎に分割し、分割された前記残差波形を前記第２のビート開始タイミングの位置に再配置する残差波形のタイムストレッチ手段と、
前記スペクトルのピーク点データを前記第１のビート開始タイミング毎に分割し、分割された各区間の前記スペクトルのピーク点データを、前記第２のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成する正弦波合成波形のタイムストレッチ手段と、
前記残差波形のタイムストレッチ手段の出力および前記正弦波合成波形のタイムストレッチ手段の出力とを加算する加算手段、
を有することを特徴とする音楽波形のタイムストレッチ装置。
音楽波形のタイムストレッチ装置において実行されるタイムストレッチ方法であって、
原音楽波形に対して所定の時間間隔で短時間スペクトル分析が行われて得られた、スペクトルのピーク点データと、該スペクトルのピーク点データからは正弦波合成できない残差波形とを入力する短時間スペクトル分析結果の入力ステップと、
該短時間スペクトル分析結果の入力ステップにより入力された残差波形の振幅に基づいて第１のビート開始タイミングを抽出するビート開始タイミング抽出ステップと、
前記第１のビート開始タイミングを、所定のタイムストレッチ率に応じて再配置して第２のビート開始タイミングを決定するとともに、前記短時間スペクトル分析結果の入力ステップにより入力された残差波形を、前記第１のビート開始タイミング毎に分割し、分割された前記残差波形を前記第２のビート開始タイミングの位置に再配置する残差波形のタイムストレッチステップと、
前記短時間スペクトル分析結果の入力ステップにより入力されたスペクトルのピーク点データを前記第１のビート開始タイミング毎に分割し、分割された各区間の前記スペクトルのピーク点データを、前記第２のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成する正弦波合成波形のタイムストレッチステップと、
前記残差波形のタイムストレッチステップの出力および前記正弦波合成波形のタイムストレッチステップの出力とを加算する加算ステップ、
を有することを特徴とする音楽波形のタイムストレッチ方法。