JP3465628B2 - オーディオ信号の時間軸圧伸方法及び装置 - Google Patents
オーディオ信号の時間軸圧伸方法及び装置Info
- Publication number
- JP3465628B2 JP3465628B2 JP12635699A JP12635699A JP3465628B2 JP 3465628 B2 JP3465628 B2 JP 3465628B2 JP 12635699 A JP12635699 A JP 12635699A JP 12635699 A JP12635699 A JP 12635699A JP 3465628 B2 JP3465628 B2 JP 3465628B2
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- time axis
- section
- companding
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 39
- 230000005236 sound signal Effects 0.000 title claims description 35
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/375—Tempo or beat alterations; Music timing control
- G10H2210/385—Speed change, i.e. variations from preestablished tempo, tempo change, e.g. faster or slower, accelerando or ritardando, without change in pitch
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
- G10H2250/135—Autocorrelation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、原オーディオ信
号のピッチ及び音質を変えずに原オーディオ信号を所望
とする圧伸率で時間軸圧伸するディジタル信号の時間軸
圧伸装置に関する。
号のピッチ及び音質を変えずに原オーディオ信号を所望
とする圧伸率で時間軸圧伸するディジタル信号の時間軸
圧伸装置に関する。
【０００２】
【従来の技術】ディジタル・オーディオ信号のピッチを
変えずにその時間軸を圧縮又は伸長する時間軸圧伸技術
は、例えば、収録されたディジタルオーディオ信号の全
体的な収録時間を所定の時間に合わせ込む、いわゆる
「尺合わせ」や、カラオケ装置等のテンポ変換等に利用
される。この種の時間軸圧伸技術として、原オーディオ
信号の波形相関の最も高い隣接した同じ長さの２つの区
間を抽出し、これら区間の信号を重複加算し、この重複
加算された信号を元の２つの区間と入れ換えたり、元の
２つの区間の間に挿入することで全体的な時間を短くし
たり長くする手法が知られている（“ポインター移動量
制御による重複加算法を用いた音声の時間積での伸長圧
縮とその評価”；森田、板倉、昭和61年10月；日本音響
学会秋期大会講演論文集1-4-14，PP149）。
変えずにその時間軸を圧縮又は伸長する時間軸圧伸技術
は、例えば、収録されたディジタルオーディオ信号の全
体的な収録時間を所定の時間に合わせ込む、いわゆる
「尺合わせ」や、カラオケ装置等のテンポ変換等に利用
される。この種の時間軸圧伸技術として、原オーディオ
信号の波形相関の最も高い隣接した同じ長さの２つの区
間を抽出し、これら区間の信号を重複加算し、この重複
加算された信号を元の２つの区間と入れ換えたり、元の
２つの区間の間に挿入することで全体的な時間を短くし
たり長くする手法が知られている（“ポインター移動量
制御による重複加算法を用いた音声の時間積での伸長圧
縮とその評価”；森田、板倉、昭和61年10月；日本音響
学会秋期大会講演論文集1-4-14，PP149）。
【０００３】図５及び図６は、この時間軸圧伸手法を説
明するための図であり、図５は圧縮処理、図６は伸長処
理をそれぞれ示している。まず、同図（ａ）に示すよう
に、原オーディオデータの時間軸方向の隣接波形区間の
類似性判定処理を行って基本周期Ｌｐを抽出する。具体
的には、区間長の初期値を最小値Ｌminに設定して隣接
する区間長Ｌminの波形の類似度を判定する。これを区
間長が最大値Ｌmaxとなるまで繰り返し、最も類似して
いると判定された区間長を、同図（ｂ）のように基本周
期Ｌｐと決定する。次に、決定された基本周期Ｌｐの隣
接する２つの波形に、同図（ｃ）に示すような窓関数を
掛けて、これらを同図（ｄ），（ｅ），（ｆ）に示すよ
うに重ね合わせる。図５（ｆ）のように、重ね合わせた
波形を２つの基本周期の波形と置き換えれば時間軸圧縮
となり、図６（ｆ）のように、重ね合わせた波形を２つ
の基本周期の波形の間に挿入すれば時間軸伸長となる。
明するための図であり、図５は圧縮処理、図６は伸長処
理をそれぞれ示している。まず、同図（ａ）に示すよう
に、原オーディオデータの時間軸方向の隣接波形区間の
類似性判定処理を行って基本周期Ｌｐを抽出する。具体
的には、区間長の初期値を最小値Ｌminに設定して隣接
する区間長Ｌminの波形の類似度を判定する。これを区
間長が最大値Ｌmaxとなるまで繰り返し、最も類似して
いると判定された区間長を、同図（ｂ）のように基本周
期Ｌｐと決定する。次に、決定された基本周期Ｌｐの隣
接する２つの波形に、同図（ｃ）に示すような窓関数を
掛けて、これらを同図（ｄ），（ｅ），（ｆ）に示すよ
うに重ね合わせる。図５（ｆ）のように、重ね合わせた
波形を２つの基本周期の波形と置き換えれば時間軸圧縮
となり、図６（ｆ）のように、重ね合わせた波形を２つ
の基本周期の波形の間に挿入すれば時間軸伸長となる。
【０００４】
【発明が解決しようとする課題】しかしながら、従来の
上述した時間軸圧伸方式では、原オーディオ信号から基
本周期を抽出するための類似性判定の処理量が多いとい
う問題がある。即ち、従来の類似性判定処理において
は、ＬminからＬmaxまで繰り返される各区間の類似性判
定に際して、その区間に含まれる全てのサンプル値をそ
の評価対象として計算しているので、サンプリング周波
数が高くなるにつれ、その判定処理に費やされる処理量
は増大する。
上述した時間軸圧伸方式では、原オーディオ信号から基
本周期を抽出するための類似性判定の処理量が多いとい
う問題がある。即ち、従来の類似性判定処理において
は、ＬminからＬmaxまで繰り返される各区間の類似性判
定に際して、その区間に含まれる全てのサンプル値をそ
の評価対象として計算しているので、サンプリング周波
数が高くなるにつれ、その判定処理に費やされる処理量
は増大する。
【０００５】
【表１】
【０００６】表１は、類似性判定区間の最大値及び最小
値として５０Ｈｚから２００Ｈｚを想定したときの類似
性判定に要する積及び和演算の総数を示したものであ
る。この表１から明らかなように、サンプリング周波数
の上昇に伴う処理量の増加が著しいことが分かる。
値として５０Ｈｚから２００Ｈｚを想定したときの類似
性判定に要する積及び和演算の総数を示したものであ
る。この表１から明らかなように、サンプリング周波数
の上昇に伴う処理量の増加が著しいことが分かる。
【０００７】この発明は、このような問題点に鑑みなさ
れたもので、最終出力の品質を殆ど低下させずに、全体
的な処理量を削減することができるオーディオ信号の時
間軸圧伸方法及び装置を提供することを目的とする。
れたもので、最終出力の品質を殆ど低下させずに、全体
的な処理量を削減することができるオーディオ信号の時
間軸圧伸方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】この発明に係るオーディ
オ信号の時間軸圧伸方法は、原オーディオ信号の処理す
べき現在点から所定長さの区間長とされた第１の区間
と、これに隣接する同一の所定長さの区間長とされた第
２の区間について前記区間長を変化させて前記第１及び
第２の区間の時間軸方向の波形の類似性を判定して原オ
ーディオ信号の基本周期を抽出し、原オーディオ信号か
ら基本周期分の波形を削除又は挿入することにより、指
定された圧伸率で時間軸圧伸された、ピッチ変動のない
出力信号を生成するオーディオ信号の時間軸圧伸方法に
おいて、前記波形の類似性を判定するに際し、比較する
２つの区間の波形のデータの時間軸方向のサンプル数を
所定の間引き数で間引きしてデータ量を削減した状態で
波形の類似性を判定するようにしたことを特徴とする。
オ信号の時間軸圧伸方法は、原オーディオ信号の処理す
べき現在点から所定長さの区間長とされた第１の区間
と、これに隣接する同一の所定長さの区間長とされた第
２の区間について前記区間長を変化させて前記第１及び
第２の区間の時間軸方向の波形の類似性を判定して原オ
ーディオ信号の基本周期を抽出し、原オーディオ信号か
ら基本周期分の波形を削除又は挿入することにより、指
定された圧伸率で時間軸圧伸された、ピッチ変動のない
出力信号を生成するオーディオ信号の時間軸圧伸方法に
おいて、前記波形の類似性を判定するに際し、比較する
２つの区間の波形のデータの時間軸方向のサンプル数を
所定の間引き数で間引きしてデータ量を削減した状態で
波形の類似性を判定するようにしたことを特徴とする。
【０００９】また、この発明に係るオーディオ信号の時
間軸圧伸装置は、時間軸圧伸すべき原ディジタル信号の
波形を記憶する波形記憶手段と、この波形記憶手段に記
憶された原オーディオ信号の処理すべき現在点から所定
長さの区間長とされた第１の区間と、これに時間軸方向
に隣接する同一の所定長さの区間長とされた第２の区間
の波形をその区間長を順次変えながら読み出す隣接波形
読出制御手段と、この隣接波形読出制御手段の制御に基
づいて前記波形記憶手段から読み出された隣接する前記
第１及び第２の区間の波形の類似性を判定する類似性判
定手段と、この類似性判定手段で最も類似性が高いと判
定された区間長を前記原オーディオ信号の基本周期とし
て抽出し、この基本周期分だけずれた波形のデータを前
記波形記憶手段からそれぞれ読み出す波形読出制御手段
と、この波形読出制御手段の制御に基づいて前記波形記
憶手段から読み出された基本周期分の波形のデータを削
除又は挿入することにより、指定された圧伸率で時間軸
圧伸された、ピッチ変動のない出力信号を生成する時間
軸圧伸手段とを備えたオーディオ信号の時間軸圧伸装置
において、前記隣接波形読出制御手段は、比較する２つ
の区間の波形のデータの時間軸方向のサンプル数を所定
の間引き数で間引きして前記波形記憶手段から読み出す
ものであることを特徴とする。
間軸圧伸装置は、時間軸圧伸すべき原ディジタル信号の
波形を記憶する波形記憶手段と、この波形記憶手段に記
憶された原オーディオ信号の処理すべき現在点から所定
長さの区間長とされた第１の区間と、これに時間軸方向
に隣接する同一の所定長さの区間長とされた第２の区間
の波形をその区間長を順次変えながら読み出す隣接波形
読出制御手段と、この隣接波形読出制御手段の制御に基
づいて前記波形記憶手段から読み出された隣接する前記
第１及び第２の区間の波形の類似性を判定する類似性判
定手段と、この類似性判定手段で最も類似性が高いと判
定された区間長を前記原オーディオ信号の基本周期とし
て抽出し、この基本周期分だけずれた波形のデータを前
記波形記憶手段からそれぞれ読み出す波形読出制御手段
と、この波形読出制御手段の制御に基づいて前記波形記
憶手段から読み出された基本周期分の波形のデータを削
除又は挿入することにより、指定された圧伸率で時間軸
圧伸された、ピッチ変動のない出力信号を生成する時間
軸圧伸手段とを備えたオーディオ信号の時間軸圧伸装置
において、前記隣接波形読出制御手段は、比較する２つ
の区間の波形のデータの時間軸方向のサンプル数を所定
の間引き数で間引きして前記波形記憶手段から読み出す
ものであることを特徴とする。
【００１０】この発明によれば、原オーディオ信号の隣
接する区間について区間長を変化させて該区間の時間軸
方向の波形の類似性を判定するに際し、比較する隣接波
形を時間軸方向に間引きして、評価対象のサンプル数を
削減するようにしているので、類似性判定に費やされる
処理量を削減することが可能になる。また、類似性判定
処理は、基本波周期の判定処理と等価であることから、
間引き処理を行って評価対象のサンプル数を削減したと
しても、基本波の概形は保持されるため、結果に与える
影響は殆どない。このため、出力信号の品質を何ら低下
させることなく、処理速度を向上させることができる。
接する区間について区間長を変化させて該区間の時間軸
方向の波形の類似性を判定するに際し、比較する隣接波
形を時間軸方向に間引きして、評価対象のサンプル数を
削減するようにしているので、類似性判定に費やされる
処理量を削減することが可能になる。また、類似性判定
処理は、基本波周期の判定処理と等価であることから、
間引き処理を行って評価対象のサンプル数を削減したと
しても、基本波の概形は保持されるため、結果に与える
影響は殆どない。このため、出力信号の品質を何ら低下
させることなく、処理速度を向上させることができる。
【００１１】なお、時間軸方向にデータを間引く間隔
は、隣接する2つの区間の波形の時間軸方向の参照長さ
（区間長）に応じて変動させるようにすることもできる
し、前回決定された区間長に基づいて決定するようにし
ても良い。
は、隣接する2つの区間の波形の時間軸方向の参照長さ
（区間長）に応じて変動させるようにすることもできる
し、前回決定された区間長に基づいて決定するようにし
ても良い。
【００１２】
【発明の実施の形態】以下、図面を参照して、この発明
の好ましい実施の形態について説明する。図１は、この
発明の一実施例に係るオーディオ信号の時間軸圧伸装置
の構成を示すブロック図である。時間軸圧伸すべき原デ
ィジタル・オーディオ信号は、遅延バッファ１に順次格
納される。遅延バッファ１は、少なくとも波形の時間軸
伸長処理及びピッチ抽出処理等に必要なデータ量が格納
されるリングバッファである。遅延バッファ１に格納さ
れたオーディオ信号は、隣接波形読出制御部２の制御に
基づき、種々の区間長で切り出され、隣接波形のデータ
として順次読み出される。隣接波形読出制御部２は、こ
のとき時間軸方向のサンプル数を間引いて読み出す。類
似度計算部３は、隣接波形読出制御部２の制御のもとで
読み出された隣接波形のデータの類似度を計算する。制
御部４は、求められた類似度から隣接波形が最も類似す
る区間長を求め、これを基本周期Ｌｐとして波形読出部
５に与える。波形読出部５は、与えられた基本周期Ｌｐ
だけ離れた２つのデータを遅延バッファ１から読み出
す。遅延バッファ１から読み出された２つのデータＤ
１，Ｄ２は、波形窓掛け・加算部６，圧伸率制御部７及
び出力バッファ８からなる圧伸処理制御手段に供給され
る。波形窓掛け・加算部６に供給されたデータＤ１，Ｄ
２は、ここで所定の時間窓関数を乗算されて加算され
る。また、一方のデータＤ２は、圧伸率制御部７にも供
給されている。圧伸率制御部７は、制御部４から与えら
れる圧伸処理の対象長さＬの情報に基づいて原オーディ
オデータから波形を切り出す。圧伸処理の対象長さＬ
は、予め設定された圧伸率Ｒと抽出された基本周期Ｌｐ
とに基づき制御部４で算出される。そして、波形窓掛け
・加算部６で加算された波形と、圧伸率制御部７で切り
出された原波形とが出力バッファ８において合成されて
時間軸圧伸された出力信号が生成される。
の好ましい実施の形態について説明する。図１は、この
発明の一実施例に係るオーディオ信号の時間軸圧伸装置
の構成を示すブロック図である。時間軸圧伸すべき原デ
ィジタル・オーディオ信号は、遅延バッファ１に順次格
納される。遅延バッファ１は、少なくとも波形の時間軸
伸長処理及びピッチ抽出処理等に必要なデータ量が格納
されるリングバッファである。遅延バッファ１に格納さ
れたオーディオ信号は、隣接波形読出制御部２の制御に
基づき、種々の区間長で切り出され、隣接波形のデータ
として順次読み出される。隣接波形読出制御部２は、こ
のとき時間軸方向のサンプル数を間引いて読み出す。類
似度計算部３は、隣接波形読出制御部２の制御のもとで
読み出された隣接波形のデータの類似度を計算する。制
御部４は、求められた類似度から隣接波形が最も類似す
る区間長を求め、これを基本周期Ｌｐとして波形読出部
５に与える。波形読出部５は、与えられた基本周期Ｌｐ
だけ離れた２つのデータを遅延バッファ１から読み出
す。遅延バッファ１から読み出された２つのデータＤ
１，Ｄ２は、波形窓掛け・加算部６，圧伸率制御部７及
び出力バッファ８からなる圧伸処理制御手段に供給され
る。波形窓掛け・加算部６に供給されたデータＤ１，Ｄ
２は、ここで所定の時間窓関数を乗算されて加算され
る。また、一方のデータＤ２は、圧伸率制御部７にも供
給されている。圧伸率制御部７は、制御部４から与えら
れる圧伸処理の対象長さＬの情報に基づいて原オーディ
オデータから波形を切り出す。圧伸処理の対象長さＬ
は、予め設定された圧伸率Ｒと抽出された基本周期Ｌｐ
とに基づき制御部４で算出される。そして、波形窓掛け
・加算部６で加算された波形と、圧伸率制御部７で切り
出された原波形とが出力バッファ８において合成されて
時間軸圧伸された出力信号が生成される。
【００１３】次に、このように構成されたこの実施例の
装置の動作を説明する。図２は、この装置の時間軸圧伸
処理の手順を示すフローチャートである。原ディジタル
・オーディオ信号からなる入力信号は、必要な量がまず
遅延バッファ１に格納される（Ｓ１）。このバッファ１
は、最低でも２×Ｌmaxサンプルの容量が必要である。
次に、類似性判定のための区間長Ｌｐの初期値として最
小値Ｌminが与えられ、類似度Ｓとして最大値Ｓmaxが与
えられる（Ｓ２）。そして類似度Ｓが計算されると共に
（Ｓ３）、区間長Ｌｐを１つずつ増やして（Ｓ４）、Ｌ
ｐが最大値Ｌmaxに達するまで、類似度Ｓを計算して
（Ｓ５，Ｓ３）、最も類似性の高かった区間長（＝基本
周期）Ｌｐを求める（Ｓ３）。ここで図５及び図６を参
照して明らかなように、類似性判定は、現在点Ｔ0から
Ｔ0＋Ｌｐ−１間での区間の波形Wave Aと、Ｔ0＋Ｌｐか
らＴ0＋２Ｌｐまでの区間の波形Wave Bとの類似度演算
となる。いま、これら区間の対応する各時間軸方向の位
置をｔx，ｔx＋Ｌｐとすると、類似度Ｓは、下記数１の
ように二乗誤差によって求めることができる。
装置の動作を説明する。図２は、この装置の時間軸圧伸
処理の手順を示すフローチャートである。原ディジタル
・オーディオ信号からなる入力信号は、必要な量がまず
遅延バッファ１に格納される（Ｓ１）。このバッファ１
は、最低でも２×Ｌmaxサンプルの容量が必要である。
次に、類似性判定のための区間長Ｌｐの初期値として最
小値Ｌminが与えられ、類似度Ｓとして最大値Ｓmaxが与
えられる（Ｓ２）。そして類似度Ｓが計算されると共に
（Ｓ３）、区間長Ｌｐを１つずつ増やして（Ｓ４）、Ｌ
ｐが最大値Ｌmaxに達するまで、類似度Ｓを計算して
（Ｓ５，Ｓ３）、最も類似性の高かった区間長（＝基本
周期）Ｌｐを求める（Ｓ３）。ここで図５及び図６を参
照して明らかなように、類似性判定は、現在点Ｔ0から
Ｔ0＋Ｌｐ−１間での区間の波形Wave Aと、Ｔ0＋Ｌｐか
らＴ0＋２Ｌｐまでの区間の波形Wave Bとの類似度演算
となる。いま、これら区間の対応する各時間軸方向の位
置をｔx，ｔx＋Ｌｐとすると、類似度Ｓは、下記数１の
ように二乗誤差によって求めることができる。
【００１４】
【数１】
【００１５】この場合、類似度Ｓが小さいほど類似性が
高いことを示すことになる。勿論、これは一例であっ
て、このような二乗誤差の他に、誤差の絶対値和や自己
相関関数を用いることもできる。この装置で特徴的な点
は、この類似度判定に際して、全てのデータを評価対象
とするのではなく、時間軸方向に間引きして評価対象と
なるデータ数を削減している点にある。
高いことを示すことになる。勿論、これは一例であっ
て、このような二乗誤差の他に、誤差の絶対値和や自己
相関関数を用いることもできる。この装置で特徴的な点
は、この類似度判定に際して、全てのデータを評価対象
とするのではなく、時間軸方向に間引きして評価対象と
なるデータ数を削減している点にある。
【００１６】図３は、この類似性判定処理（Ｓ３）の詳
細を示すフローチャートである。まず、時間パラメータ
ｔxをＴ0に初期化すると共に、二乗誤差累積値ｄを０に
リセットする（Ｓ１１）。次に、ｄ＝ｄ＋[Ｄ(ｔx)−Ｄ
(ｔx＋Ｌｐ)]2の計算を行って、時間パラメータｔxをｔ
x＋Δｔに更新する（Ｓ１３）。ここで、Δｔは、時間
軸方向の間引き数＋１で与えられる。ｔxがＴ0＋Ｌｐを
超えるまで値ｄに二乗誤差が累積され（Ｓ１２〜Ｓ１
４）、ｔxがＴ0＋Ｌｐを超えたら、累積値ｄと類似度Ｓ
とを比較する（Ｓ１５）。そして、Ｓ＞ｄであったら、
Ｓにｄを代入して更新し、かつその区間長Ｌｐを保存す
る（Ｓ１６）。
細を示すフローチャートである。まず、時間パラメータ
ｔxをＴ0に初期化すると共に、二乗誤差累積値ｄを０に
リセットする（Ｓ１１）。次に、ｄ＝ｄ＋[Ｄ(ｔx)−Ｄ
(ｔx＋Ｌｐ)]2の計算を行って、時間パラメータｔxをｔ
x＋Δｔに更新する（Ｓ１３）。ここで、Δｔは、時間
軸方向の間引き数＋１で与えられる。ｔxがＴ0＋Ｌｐを
超えるまで値ｄに二乗誤差が累積され（Ｓ１２〜Ｓ１
４）、ｔxがＴ0＋Ｌｐを超えたら、累積値ｄと類似度Ｓ
とを比較する（Ｓ１５）。そして、Ｓ＞ｄであったら、
Ｓにｄを代入して更新し、かつその区間長Ｌｐを保存す
る（Ｓ１６）。
【００１７】この処理を、図２に示すように、区間長Ｌ
ｐがＬmaxを超えるまで継続することにより（Ｓ３〜Ｓ
５）、最終的に類似度Ｓの最小値及びそのときの区間長
Ｌｐ（＝基本周期）がそれぞれ求まることになる。そし
て、求められた基本周期Ｌｐに基づいて波形読出制御部
５での波形読出が開始され（Ｓ６）、図５及び図６に示
したような、時間軸圧伸処理が実行される（Ｓ７）。具
体的には、波形窓掛け・加算部６で基本周期Ｌｐの隣接
区間に窓掛け処理が実行されて同図（ｄ），（ｅ）に示
す波形が得られると共に、これらが加算されて同図
（ｆ）に“Wave A+Wave B”で示した波形が得られ、圧
伸率制御部７で波形の一部をこの合成波形に置き換えた
り、隣接波形の間に合成波形を挿入することにより、時
間軸圧伸された出力を得る。また、圧伸処理の対象波形
の長さをＬ、圧伸率をＲとすると、
ｐがＬmaxを超えるまで継続することにより（Ｓ３〜Ｓ
５）、最終的に類似度Ｓの最小値及びそのときの区間長
Ｌｐ（＝基本周期）がそれぞれ求まることになる。そし
て、求められた基本周期Ｌｐに基づいて波形読出制御部
５での波形読出が開始され（Ｓ６）、図５及び図６に示
したような、時間軸圧伸処理が実行される（Ｓ７）。具
体的には、波形窓掛け・加算部６で基本周期Ｌｐの隣接
区間に窓掛け処理が実行されて同図（ｄ），（ｅ）に示
す波形が得られると共に、これらが加算されて同図
（ｆ）に“Wave A+Wave B”で示した波形が得られ、圧
伸率制御部７で波形の一部をこの合成波形に置き換えた
り、隣接波形の間に合成波形を挿入することにより、時
間軸圧伸された出力を得る。また、圧伸処理の対象波形
の長さをＬ、圧伸率をＲとすると、
【００１８】
【数２】
（１）圧縮の場合（Ｒ＜１．０，Ｌｐ≦Ｌ／２）
Ｒ＝（Ｌ−Ｌｐ）／Ｌ
（２）伸長の場合（Ｒ＞１．０）
Ｒ＝（Ｌ＋Ｌｐ）／Ｌ
【００１９】で表されるので、対象長さＬは、
【００２０】
【数３】（１）圧縮の場合
Ｌ＝Ｌｐ／（１−Ｒ）
（２）伸長の場合
Ｌ＝Ｌｐ／（Ｒ−１）
【００２１】と表すことができるので、制御部４は、圧
伸率Ｒと基本周期Ｌｐとから、対象長さＬを求めて、圧
伸率制御部７に送る。圧伸率制御部７では、基本周期Ｌ
ｐと対象長さＬとから必要な原波形部分を切り出して出
力バッファ８に送る。これにより出力バッファ８で波形
が合成されて所望とする圧伸率の出力信号が得られるこ
とになる。この処理は、全データがなくなるまで続行さ
れる（Ｓ８）。
伸率Ｒと基本周期Ｌｐとから、対象長さＬを求めて、圧
伸率制御部７に送る。圧伸率制御部７では、基本周期Ｌ
ｐと対象長さＬとから必要な原波形部分を切り出して出
力バッファ８に送る。これにより出力バッファ８で波形
が合成されて所望とする圧伸率の出力信号が得られるこ
とになる。この処理は、全データがなくなるまで続行さ
れる（Ｓ８）。
【００２２】この実施例によれば、各区間長Ｌｐでの類
似度Ｓを求めるのに、時間軸方向のサンプル数を間引く
ようにしているので、類似度Ｓの計算が高速になる。図
４（ａ）は間引きなし、同図（ｂ）は間引き数１（Δｔ
＝２）、同図（ｃ）は間引き数２（Δｔ＝３）の例を示
している。波形の相関演算の場合、このように間引き処
理を行っても結果に大きな差は現れない。このため、最
終出力の精度は間引かない場合と殆ど変わらない。
似度Ｓを求めるのに、時間軸方向のサンプル数を間引く
ようにしているので、類似度Ｓの計算が高速になる。図
４（ａ）は間引きなし、同図（ｂ）は間引き数１（Δｔ
＝２）、同図（ｃ）は間引き数２（Δｔ＝３）の例を示
している。波形の相関演算の場合、このように間引き処
理を行っても結果に大きな差は現れない。このため、最
終出力の精度は間引かない場合と殆ど変わらない。
【００２３】ちなみに、表２は、間引き処理を行った場
合と行わない場合の処理量比較を示したものである。こ
の表から明らかなように、間引き処理を行うことによ
り、演算処理数が大幅に減少することが分かる。
合と行わない場合の処理量比較を示したものである。こ
の表から明らかなように、間引き処理を行うことによ
り、演算処理数が大幅に減少することが分かる。
【００２４】
【表２】
【００２５】なお、間引き数は、固定的に与える方法の
他、例えば演算時点毎の区間長Ｌｐの長さに応じて増
加させていく方法、前回求められた基本周期の区間長
Ｌｐの長さに対応した間引き数とする方法、等が考えら
れる。
他、例えば演算時点毎の区間長Ｌｐの長さに応じて増
加させていく方法、前回求められた基本周期の区間長
Ｌｐの長さに対応した間引き数とする方法、等が考えら
れる。
【００２６】
【発明の効果】以上述べたように、この発明によれば、
原オーディオ信号の隣接する区間について区間長を変化
させて該区間の時間軸方向の波形の類似性を判定するに
際し、比較する隣接波形を時間軸方向に間引きして、評
価対象のサンプル数を削減するようにしているので、類
似性判定に費やされる処理量を削減することが可能にな
る。また、類似性判定処理は、基本波周期の判定処理と
等価であることから、間引き処理を行って評価対象のサ
ンプル数を削減したとしても、基本波の概形は保持され
るため、結果に与える影響は殆どない。このため、出力
信号の品質を何ら低下させることなく、処理速度を向上
させることができるという効果を奏する。
原オーディオ信号の隣接する区間について区間長を変化
させて該区間の時間軸方向の波形の類似性を判定するに
際し、比較する隣接波形を時間軸方向に間引きして、評
価対象のサンプル数を削減するようにしているので、類
似性判定に費やされる処理量を削減することが可能にな
る。また、類似性判定処理は、基本波周期の判定処理と
等価であることから、間引き処理を行って評価対象のサ
ンプル数を削減したとしても、基本波の概形は保持され
るため、結果に与える影響は殆どない。このため、出力
信号の品質を何ら低下させることなく、処理速度を向上
させることができるという効果を奏する。
【図１】 この発明の一実施例に係るオーディオ信号の
時間軸圧伸装置のブロック図である。
時間軸圧伸装置のブロック図である。
【図２】 同装置を使用した時間軸圧伸処理を示すフロ
ーチャートである。
ーチャートである。
【図３】 同処理における類似度判定処理を示すフロー
チャートである。
チャートである。
【図４】 同類似度判定処理における間引き処理を説明
するための図である。
するための図である。
【図５】 ポインター移動量制御による重畳加算法の圧
縮処理を説明するための波形図である。
縮処理を説明するための波形図である。
【図６】 ポインター移動量制御による重畳加算法の伸
長処理を説明するための波形図である。
長処理を説明するための波形図である。
１…遅延バッファ、２…隣接波形読出制御部、３…類似
度計算部、４…制御部、５…波形読出制御部、６…波形
窓掛け・加算部、７…圧伸率制御部、８…出力バッフ
ァ。
度計算部、４…制御部、５…波形読出制御部、６…波形
窓掛け・加算部、７…圧伸率制御部、８…出力バッフ
ァ。
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 21/04
Claims (6)
- 【請求項１】 原オーディオ信号の処理すべき現在点か
ら所定長さの区間長とされた第１の区間と、これに隣接
する同一の所定長さの区間長とされた第２の区間につい
て前記区間長を変化させて前記第１及び第２の区間の時
間軸方向の波形の類似性を判定して原オーディオ信号の
基本周期を抽出し、原オーディオ信号から基本周期分の
波形を削除又は挿入することにより、指定された圧伸率
で時間軸圧伸された、ピッチ変動のない出力信号を生成
するオーディオ信号の時間軸圧伸方法において、 前記波形の類似性を判定するに際し、比較する２つの区
間の波形のデータの時間軸方向のサンプル数を所定の間
引き数で間引きしてデータ量を削減した状態で波形の類
似性を判定するようにしたことを特徴とするオーディオ
信号の時間軸圧伸方法。 - 【請求項２】 前記類似性を判定する際に、前記比較す
る２つの区間の波形の前記区間長に応じて前記間引き数
を変動させるようにしたことを特徴とする請求項１記載
のオーディオ信号の時間軸圧伸方法。 - 【請求項３】 前記類似性を判定する際に、前回決定さ
れた前記区間長に基づいて前記間引き数を決定するよう
にしたことを特徴とする請求項１記載のオーディオ信号
の時間軸圧伸方法。 - 【請求項４】 時間軸圧伸すべき原ディジタル信号の
波形を記憶する波形記憶手段と、 この波形記憶手段に記憶された原オーディオ信号の処理
すべき現在点から所定長さの区間長とされた第１の区間
と、これに時間軸方向に隣接する同一の所定長さの区間
長とされた第２の区間の波形をその区間長を順次変えな
がら読み出す隣接波形読出制御手段と、 この隣接波形読出制御手段の制御に基づいて前記波形記
憶手段から読み出された隣接する前記第１及び第２の区
間の波形の類似性を判定する類似性判定手段と、 この類似性判定手段で最も類似性が高いと判定された区
間長を前記原オーディオ信号の基本周期として抽出し、
この基本周期分だけずれた波形のデータを前記波形記憶
手段からそれぞれ読み出す波形読出制御手段と、 この波形読出制御手段の制御に基づいて前記波形記憶手
段から読み出された基本周期分の波形のデータを削除又
は挿入することにより、指定された圧伸率で時間軸圧伸
された、ピッチ変動のない出力信号を生成する時間軸圧
伸手段とを備えたオーディオ信号の時間軸圧伸装置にお
いて、 前記隣接波形読出制御手段は、比較する２つの区間の波
形のデータの時間軸方向のサンプル数を所定の間引き数
で間引きして前記波形記憶手段から読み出すものである
ことを特徴とするオーディオ信号の時間軸圧伸装置。 - 【請求項５】 前記隣接波形読出制御手段は、前記比較
する２つの波形の前記区間長に応じて前記間引き数を変
動させるものであることを特徴とする請求項４記載のオ
ーディオ信号の時間軸圧伸装置。 - 【請求項６】 前記隣接波形読出制御手段は、前回決定
された前記区間長に基づいて前記間引き数を決定するよ
うにしたものであることを特徴とする請求項４記載のオ
ーディオ信号の時間軸圧伸装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12635699A JP3465628B2 (ja) | 1999-05-06 | 1999-05-06 | オーディオ信号の時間軸圧伸方法及び装置 |
| US09/564,187 US6519567B1 (en) | 1999-05-06 | 2000-05-04 | Time-scale modification method and apparatus for digital audio signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12635699A JP3465628B2 (ja) | 1999-05-06 | 1999-05-06 | オーディオ信号の時間軸圧伸方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000322099A JP2000322099A (ja) | 2000-11-24 |
| JP3465628B2 true JP3465628B2 (ja) | 2003-11-10 |
Family
ID=14933165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12635699A Expired - Fee Related JP3465628B2 (ja) | 1999-05-06 | 1999-05-06 | オーディオ信号の時間軸圧伸方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6519567B1 (ja) |
| JP (1) | JP3465628B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL130818A (en) | 1999-07-06 | 2005-07-25 | Intercure Ltd | Interventive-diagnostic device |
| DE10006245A1 (de) * | 2000-02-11 | 2001-08-30 | Siemens Ag | Verfahren zum Verbessern der Qualität einer Audioübertragung über ein paketorientiertes Kommunikationsnetz und Kommunikationseinrichtung zur Realisierung des Verfahrens |
| US7711123B2 (en) * | 2001-04-13 | 2010-05-04 | Dolby Laboratories Licensing Corporation | Segmenting audio signals into auditory events |
| US7610205B2 (en) * | 2002-02-12 | 2009-10-27 | Dolby Laboratories Licensing Corporation | High quality time-scaling and pitch-scaling of audio signals |
| US7366659B2 (en) * | 2002-06-07 | 2008-04-29 | Lucent Technologies Inc. | Methods and devices for selectively generating time-scaled sound signals |
| US7676142B1 (en) | 2002-06-07 | 2010-03-09 | Corel Inc. | Systems and methods for multimedia time stretching |
| JP2005535378A (ja) | 2002-08-09 | 2005-11-24 | インターキュア・リミテッド | バイオリズム活動の変更のための一般化されたメトロノーム |
| US8672852B2 (en) | 2002-12-13 | 2014-03-18 | Intercure Ltd. | Apparatus and method for beneficial modification of biorhythmic activity |
| CN1748242B (zh) * | 2003-02-12 | 2010-12-01 | 皇家飞利浦电子股份有限公司 | 音频再现设备、方法、计算机程序 |
| JP2005156641A (ja) * | 2003-11-20 | 2005-06-16 | Sony Corp | 再生態様制御装置及び再生態様制御方法 |
| CN1914668B (zh) * | 2004-01-28 | 2010-06-16 | 皇家飞利浦电子股份有限公司 | 用于信号时间标度的方法及设备 |
| KR20070048201A (ko) | 2004-07-23 | 2007-05-08 | 인터큐어 엘티디 | 비접촉 마이크로폰을 사용한 호흡 패턴 판별 장치 및 방법 |
| TWI235823B (en) * | 2004-09-30 | 2005-07-11 | Inventec Corp | Speech recognition system and method thereof |
| US20070081663A1 (en) * | 2005-10-12 | 2007-04-12 | Atsuhiro Sakurai | Time scale modification of audio based on power-complementary IIR filter decomposition |
| JP2007304515A (ja) * | 2006-05-15 | 2007-11-22 | Sony Corp | オーディオ信号伸張圧縮方法及び装置 |
| JP4952469B2 (ja) * | 2007-09-19 | 2012-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US8041859B2 (en) * | 2007-11-05 | 2011-10-18 | Honywell International Inc. | Apparatus and method for connectivity in networks capable of non-disruptively disconnecting peripheral devices |
| US20090122725A1 (en) * | 2007-11-09 | 2009-05-14 | Honeywell International Inc. | Robust networks for non-disruptively disconnecting peripheral devices |
| CN105931657A (zh) * | 2016-04-19 | 2016-09-07 | 乐视控股（北京）有限公司 | 音频文件的播放方法、装置及移动终端 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5641927A (en) * | 1995-04-18 | 1997-06-24 | Texas Instruments Incorporated | Autokeying for musical accompaniment playing apparatus |
| US6073100A (en) * | 1997-03-31 | 2000-06-06 | Goodridge, Jr.; Alan G | Method and apparatus for synthesizing signals using transform-domain match-output extension |
| JP3546755B2 (ja) * | 1999-05-06 | 2004-07-28 | ヤマハ株式会社 | リズム音源信号の時間軸圧伸方法及び装置 |
-
1999
- 1999-05-06 JP JP12635699A patent/JP3465628B2/ja not_active Expired - Fee Related
-
2000
- 2000-05-04 US US09/564,187 patent/US6519567B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000322099A (ja) | 2000-11-24 |
| US6519567B1 (en) | 2003-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3465628B2 (ja) | オーディオ信号の時間軸圧伸方法及び装置 | |
| US5630013A (en) | Method of and apparatus for performing time-scale modification of speech signals | |
| JP3546755B2 (ja) | リズム音源信号の時間軸圧伸方法及び装置 | |
| JP3430968B2 (ja) | ディジタル信号の時間軸圧伸方法及び装置 | |
| EP0688010A1 (en) | Speech synthesis method and speech synthesizer | |
| CN100555876C (zh) | 声信号处理装置和方法 | |
| EP0726560A2 (en) | Variable speed playback system | |
| EP0939401B1 (en) | Sound processing method, sound processor, and recording/reproduction device | |
| KR100372208B1 (ko) | 음성신호의시간축압축/신장방법 | |
| JP3430974B2 (ja) | ステレオ信号の時間軸圧伸方法及び装置 | |
| JP3402748B2 (ja) | 音声信号のピッチ周期抽出装置 | |
| JP2001051700A (ja) | マルチトラック音源信号の時間軸圧伸方法及び装置 | |
| EP0829851A2 (en) | Voice speed converter | |
| JP2001255876A (ja) | 時間軸方向における楽音波形信号の伸縮方法 | |
| JP4581190B2 (ja) | 音楽信号の時間軸圧伸方法及び装置 | |
| JP2001255882A (ja) | 音声信号処理装置及びその信号処理方法 | |
| JP3162945B2 (ja) | ビデオテープレコーダ | |
| JPS642960B2 (ja) | ||
| JPH1078791A (ja) | ピッチ変換器 | |
| JPH0713596A (ja) | 音声速度変換方法 | |
| JP2002287758A (ja) | 波形編集方法および波形編集装置 | |
| JP2003241800A (ja) | ディジタル信号の時間軸圧伸方法及び装置 | |
| JP2951181B2 (ja) | 音声時間軸圧縮装置及び音声時間軸伸長装置、並びに音声時間軸圧縮伸長装置 | |
| JPH06222794A (ja) | 音声速度変換方法 | |
| JPH06337696A (ja) | 速度変換制御装置と速度変換制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080829 Year of fee payment: 5 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090829 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100829 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100829 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |