JP3871657B2 - 話速変換装置、方法、及びそのプログラム - Google Patents
話速変換装置、方法、及びそのプログラム Download PDFInfo
- Publication number
- JP3871657B2 JP3871657B2 JP2003149034A JP2003149034A JP3871657B2 JP 3871657 B2 JP3871657 B2 JP 3871657B2 JP 2003149034 A JP2003149034 A JP 2003149034A JP 2003149034 A JP2003149034 A JP 2003149034A JP 3871657 B2 JP3871657 B2 JP 3871657B2
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- voice
- inverted
- speech
- pitch period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000006243 chemical reaction Methods 0.000 title claims description 17
- 230000006837 decompression Effects 0.000 claims description 24
- 230000005236 sound signal Effects 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000003071 parasitic effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005311 autocorrelation function Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G19/00—Table service
- A47G19/22—Drinking vessels or saucers used for table service
- A47G19/2205—Drinking glasses or vessels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B82—NANOTECHNOLOGY
- B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
- B82Y30/00—Nanotechnology for materials or surface science, e.g. nanocomposites
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G2400/00—Details not otherwise provided for in A47G19/00-A47G23/16
- A47G2400/02—Hygiene
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Nanotechnology (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Crystallography & Structural Chemistry (AREA)
- Materials Engineering (AREA)
- Composite Materials (AREA)
- General Physics & Mathematics (AREA)
- Electrophonic Musical Instruments (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声信号の話速を変更する話速変換装置に関する。
【０００２】
【従来の技術】
入力された音声の速度変換する一般的な手法として、PICOLA（Pointer Interval Control OverLap and Add）による音声の時間軸上での圧縮・伸長の波形処理方法が知られている。（例えば、非特許文献１参照。）
【０００３】
この話速変換においては、入力された音データをあるフレーム長で切り出し、自己相関関数などを用いてフレームにおけるピッチ周期を求め、圧縮・伸長処理を行なっている。
【０００４】
しかしながら、この方法では、伸長処理において、音声の他に背景音として観衆のざわめきや波の音のようなランダムに近い音があると、波形挿入の周期に対応した不快な寄生音（ミュージカルノイズの一種とも考えられている。）が余分に生成されてしまう。
【０００５】
一方、上述した不快な寄生音を出さない方法として、位相をランダム化して重ね合わせるという方法が知られている。（例えば、特許文献１参照。）
ところが、この方法でもランダム位相化した上、生成されたランダム位相音声素片波形をずらしながら加算もしくは重畳するという複雑な処理が必要で、処理量の負荷が大きく実時間処理が必要な処理系への実装は困難であった。
【０００６】
【非特許文献１】
日本音響学会講演論文集、昭和61年10月、1-4-14、 p.149-150
森田直孝、板倉文忠 著「ポインター移動量制御による重複加算法（ＰＩＣＯＬＡ）を用いた音声の時間軸での伸長圧縮とその評価」
【特許文献１】
特開平５−１０８０９５号公報（段落００１５、図１）
【０００７】
【発明が解決しようとする課題】
上記のように、話速変換の従来の技術においては、背景音としてランダムに近い音があると、波形挿入の周期に対応した不快な音が余分に生成されてしまうという問題があった。
【０００８】
また、この解決法として、ランダム位相化した上、生成されたランダム位相音声素片波形をずらしながら加算もしくは重畳するという方法が知られていたが、複雑な処理が必要で、処理量の負荷が大きく実時間処理が必要な処理系への実装が困難であるいう問題があった。
【０００９】
そこで、本発明は上記のような問題を鑑みてなされたものであって、背景音としてランダムに近い音がある場合の話速変換でも不快な寄生音を生じないのと共に、比較的簡単な処理で音質の良い話速変換装置を実現することを目的とする。
【００１０】
【課題を解決するための手段】
上記目標を達成するために本発明は、入力される音声信号からピッチ周期を算出するピッチ周期算出手段と、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸方向に反転した反転波形のうち始端部分を０から１へ重み付けを乗じた第１の波形を作成し、次の切り出される音声波形のうち始端部分を１から０へ重み付けを乗じた第２の波形を作成し、前記第１の波形と第２の波形を加算した加算波形を作成し、前記反転波形のうち切り出した始端部分に該加算波形を挿入して合成した合成波形を作成し、反転する前の切り出される音声波形と次に切り出される音声波形との間に該合成波形を挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする。
また、入力される音声信号からピッチ周期を算出するピッチ周期算出手段と、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸方向に反転した反転波形のうち終端部分を１から０へ重み付けを乗じた第３の波形を作成し、反転する前の音声波形のうち終端部分を０から１へ重み付けを乗じた第４の波形を作成し、前記第３の波形と第４の波形を加算した加算波形を作成し、前記反転波形のうち切り出した終端部分に該加算波形を挿入して合成した合成波形を作成し、反転する前の切り出される音声波形と次に切り出される音声波形との間に該合成波形を挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする。
【００１１】
これにより比較的簡単に、不快な寄生音を発生することなく音質の良い話速変換を実現することができる。
【００１２】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図１は、本実施の形態における話速変換装置の構成を示すブロック図である。
話速変換装置は、音声波形フレーム抽出部１、ピッチ周期算出部２、時間軸伸長部３から構成される。音声波形フレーム抽出部１は、ピッチ周期を求めるために入力音声信号から予め決められたフレーム長の音声波形を切り出す。ピッチ周期算出部２は、音声波形フレーム抽出部１で切り出された音声信号からピッチ周期Ｔｐを算出し、このピッチ周期Ｔｐを時間軸伸長部３に入力する。
【００１３】
ここで、ピッチ周期の算出方法として自己相関関数を利用したピッチ周期を算出する方法を説明する。自己相関関数を用いたピッチ周期の算出方法には、入力音声信号が時間制限されていると仮定し、フレーム長Ｔｃの区間内（上記フレーム長に該当）だけに信号が存在し、そのフレーム長Ｔｃの区間外では信号は常にゼロとして自己相関を求める。このような、短時間自己相関値Ｒｎ(ｋ)は数１のようになる。
【００１４】
【数１】
【００１５】
Ｔｃは入力音声信号が存在すると仮定した時間区間、ｋは短時間自己相関値Ｒｎ(ｋ)を算出するときに音声波形を遅延させる際の遅延時間であり、Ｔｃ≫ｋの関係にある。そして、上記数２において、短時間自己相関値Ｒｎ(ｋ)が最大となるようなｋの値を求めると、その値がピッチ周期となる。得られたピッチ周期Ｔｐは、時間軸伸長部３へ送られる。時間軸伸長部３では、以下の通り伸長処理される。
【００１６】
伸張処理においては図２に示すように、ピッチ周期算出部２で算出されたピッチ周期をＴｐ、伸張率をＲ（例えば、１＜Ｒ≦２）、フレーム長抽出部より切り出された音声波形をＴｃ＝Ｔｐ／（Ｒ−１）とし、まずピッチ周期分の音声波形を複数切り出す。ここでは、簡単に連続した波形Ａ及び波形Ｂ２つの音声波形をそのまま切り出す。その後、図３に示されるように、切り出された波形Ａの音声波形を時間軸方向に反転して波形Ａ’に変換する。
【００１７】
図４に示すように、波形Ａに対して波形Ｂとの接点（波形Ａの終端）からＬｐ部分に対して０から１へ重み付けを乗じて波形Ｄ１の音声波形を作成する。Ｌｐは予め決められた時間長であり、ピッチ周期Ｔｐよりも小さく、概ねＬｐ＝１／５〜１／６Ｔｐ程度である。同様に波形Ｂに対して波形Ａとの接点（波形Ｂの始端）からＬｐ部分に対して１から０へ、波形Ａ’の始端からＬｐ部分に対して０から１へ、及び波形Ａ’の終端からＬｐ部分に対して１から０へそれぞれ直線的に変化する重み付け係数を乗じて波形Ｃ１、波形Ｃ２、波形Ｄ１の音声波形を作成する。
【００１８】
上記の作成された波形Ｃ１と波形Ｃ２の音声波形、及び波形Ｄ１と波形Ｄ２の音声波形をそれぞれ加算し、波形Ｃ及び波形Ｄの音声波形を作成する（図５）。更に、図６に示すように、波形Ａ’の音声波形の始端及び終端からＬｐ部分を切り出し、その部分にそれぞれ波形Ｃ及び波形Ｄの音声波形を挿入し、波形Ａ’’の音声波形を合成する。
【００１９】
最後に、波形Ａと波形Ｂの音声波形の間に波形Ａ’’を挿入し、Ｔｃ＝Ｔｐ／（Ｒ−１）の波形から伸張率Rを満たすＴｃ＋Ｔｐ＝ＲＴｐ／（Ｒ−１）の波形が作成される（図７）。
【００２０】
上記構成により、入力音声信号を切り出すフレーム毎の周期に対応した余分に生成されてしまう不快な寄生音は、挿入する音声波形を時間軸方向に反転して変換した波形であるので発生しない。また、挿入される音声波形の始端及び終端部分の波形は、０から１又は１から０へ直線的に変化する重み付け係数を乗じた波形を用いたことにより、挿入された波形Ａ’’と波形Ａ及び波形Ｂとの接点が滑らかな波形として接するので、伸長処理しても歪の少ない音声波形となる。更に、挿入される音声波形は、時間軸方向に反転という比較的簡単な処理で実現できる。
【００２１】
ここでは、波形Ａの音声波形を変換した波形Ａ’’を挿入することで伸長処理する実施の形態について説明したが、波形Ｂの音声波形を変換した場合にも同様に適用できる。
【００２２】
以下に、本発明の実施形態における伸長処理の流れを図８のフローチャートを用いて説明する。まず入力された音声信号は予め決められたフレーム長Ｔｃの音声波形を切り出し（Ｓ１）、この切り出されたフレーム長Ｔｃの音声波形から自己相関関数等を用いピッチ周期Ｔｐを求める（Ｓ２）。この求められたピッチ周期Ｔｐから処理対象となる２つのピッチ周期Ｔｐ分の音声波形（波形Ａ、Ｂ）を入力音声信号から切り出した後（Ｓ３）、波形Ａの音声波形を時間軸方向に反転して波形Ａ’に変換する（Ｓ４）。
【００２３】
波形Ａに対して波形Ｂとの端部からＬｐ部分を０から１へ直線的に変化する重み付け係数を乗じて波形Ｄ１を作成する。同様に、波形Ｂに対して波形Ａとの端部からＬｐ部分を１から０へ直線的に変化する重み付け係数を乗じて波形Ｃ１を作成する。更に、波形Ａ’の始端及び終端からＬｐ部分を、０から１、１から０へそれぞれ直線的に変化する重み付け係数を乗じて波形Ｃ２及び波形Ｄ２の音声波形を作成する（Ｓ５）。
【００２４】
波形Ｃ１及び波形Ｃ２の音声波形を加算して波形Ｃの音声波形を作成する（Ｓ６Ａ）。同様に、波形Ｄ１及び波形Ｄ２の音声波形を加算して波形Ｄの音声波形を作成する（Ｓ６Ｂ）。
【００２５】
次に、波形Ａ’の始点及び終点からＬｐ部分の音声波形を切り出し、抜けた部分にそれぞれ波形Ｃ及び波形Ｄの音声波形を挿入することにより、波形Ａ’’が合成される（Ｓ７）。更に、この波形Ａ’’の音声波形を波形Ａと波形Ｂの間に挿入（Ｓ８）して音声波形が伸長される。次のフレームに対しＳ１〜Ｓ８のステップを繰り返し行なわれ、伸長する入力音声信号が入力されなくなると、この伸長処理が終了する（Ｓ９）。
【００２６】
ここでは、図１で構成される話速変換装置で実現される伸長処理について説明してきたが、図１に示されたような伸長処理部３でなくても、ＣＰＵ等の処理装置を搭載したコンピュータで実行されるソフトウェアでも、上述したＳ１〜Ｓ８のステップからなる伸長処理を実現することができる。
【００２７】
【発明の効果】
以上述べてきたように、本発明によれば、比較的簡単な処理で、不快な寄生音を発生させることなく音質の良い話速変換を実現することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態における話速変換装置の構成を表すブロック図。
【図２】 音声信号からピッチ周期分の波形を切り出す内容を説明する説明図。
【図３】 切り出された音声波形を時間軸反転する内容を説明する説明図。
【図４】 音声波形に重み付け係数を乗じる内容を説明する説明図。
【図５】 重み付けされた波形を加算する内容を説明する説明図。
【図６】 挿入する音声波形の合成を説明する説明図。
【図７】 合成した音声波形を挿入して伸長処理を説明する説明図。
【図８】 本発明の実施の形態の伸長処理の流れを示すフローチャート図。
【符号の説明】
１：音声波形フレーム抽出部
２：ピッチ周期算出部
３：時間軸伸長部
【発明の属する技術分野】
本発明は、音声信号の話速を変更する話速変換装置に関する。
【０００２】
【従来の技術】
入力された音声の速度変換する一般的な手法として、PICOLA（Pointer Interval Control OverLap and Add）による音声の時間軸上での圧縮・伸長の波形処理方法が知られている。（例えば、非特許文献１参照。）
【０００３】
この話速変換においては、入力された音データをあるフレーム長で切り出し、自己相関関数などを用いてフレームにおけるピッチ周期を求め、圧縮・伸長処理を行なっている。
【０００４】
しかしながら、この方法では、伸長処理において、音声の他に背景音として観衆のざわめきや波の音のようなランダムに近い音があると、波形挿入の周期に対応した不快な寄生音（ミュージカルノイズの一種とも考えられている。）が余分に生成されてしまう。
【０００５】
一方、上述した不快な寄生音を出さない方法として、位相をランダム化して重ね合わせるという方法が知られている。（例えば、特許文献１参照。）
ところが、この方法でもランダム位相化した上、生成されたランダム位相音声素片波形をずらしながら加算もしくは重畳するという複雑な処理が必要で、処理量の負荷が大きく実時間処理が必要な処理系への実装は困難であった。
【０００６】
【非特許文献１】
日本音響学会講演論文集、昭和61年10月、1-4-14、 p.149-150
森田直孝、板倉文忠 著「ポインター移動量制御による重複加算法（ＰＩＣＯＬＡ）を用いた音声の時間軸での伸長圧縮とその評価」
【特許文献１】
特開平５−１０８０９５号公報（段落００１５、図１）
【０００７】
【発明が解決しようとする課題】
上記のように、話速変換の従来の技術においては、背景音としてランダムに近い音があると、波形挿入の周期に対応した不快な音が余分に生成されてしまうという問題があった。
【０００８】
また、この解決法として、ランダム位相化した上、生成されたランダム位相音声素片波形をずらしながら加算もしくは重畳するという方法が知られていたが、複雑な処理が必要で、処理量の負荷が大きく実時間処理が必要な処理系への実装が困難であるいう問題があった。
【０００９】
そこで、本発明は上記のような問題を鑑みてなされたものであって、背景音としてランダムに近い音がある場合の話速変換でも不快な寄生音を生じないのと共に、比較的簡単な処理で音質の良い話速変換装置を実現することを目的とする。
【００１０】
【課題を解決するための手段】
上記目標を達成するために本発明は、入力される音声信号からピッチ周期を算出するピッチ周期算出手段と、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸方向に反転した反転波形のうち始端部分を０から１へ重み付けを乗じた第１の波形を作成し、次の切り出される音声波形のうち始端部分を１から０へ重み付けを乗じた第２の波形を作成し、前記第１の波形と第２の波形を加算した加算波形を作成し、前記反転波形のうち切り出した始端部分に該加算波形を挿入して合成した合成波形を作成し、反転する前の切り出される音声波形と次に切り出される音声波形との間に該合成波形を挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする。
また、入力される音声信号からピッチ周期を算出するピッチ周期算出手段と、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸方向に反転した反転波形のうち終端部分を１から０へ重み付けを乗じた第３の波形を作成し、反転する前の音声波形のうち終端部分を０から１へ重み付けを乗じた第４の波形を作成し、前記第３の波形と第４の波形を加算した加算波形を作成し、前記反転波形のうち切り出した終端部分に該加算波形を挿入して合成した合成波形を作成し、反転する前の切り出される音声波形と次に切り出される音声波形との間に該合成波形を挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする。
【００１１】
これにより比較的簡単に、不快な寄生音を発生することなく音質の良い話速変換を実現することができる。
【００１２】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図１は、本実施の形態における話速変換装置の構成を示すブロック図である。
話速変換装置は、音声波形フレーム抽出部１、ピッチ周期算出部２、時間軸伸長部３から構成される。音声波形フレーム抽出部１は、ピッチ周期を求めるために入力音声信号から予め決められたフレーム長の音声波形を切り出す。ピッチ周期算出部２は、音声波形フレーム抽出部１で切り出された音声信号からピッチ周期Ｔｐを算出し、このピッチ周期Ｔｐを時間軸伸長部３に入力する。
【００１３】
ここで、ピッチ周期の算出方法として自己相関関数を利用したピッチ周期を算出する方法を説明する。自己相関関数を用いたピッチ周期の算出方法には、入力音声信号が時間制限されていると仮定し、フレーム長Ｔｃの区間内（上記フレーム長に該当）だけに信号が存在し、そのフレーム長Ｔｃの区間外では信号は常にゼロとして自己相関を求める。このような、短時間自己相関値Ｒｎ(ｋ)は数１のようになる。
【００１４】
【数１】
Ｔｃは入力音声信号が存在すると仮定した時間区間、ｋは短時間自己相関値Ｒｎ(ｋ)を算出するときに音声波形を遅延させる際の遅延時間であり、Ｔｃ≫ｋの関係にある。そして、上記数２において、短時間自己相関値Ｒｎ(ｋ)が最大となるようなｋの値を求めると、その値がピッチ周期となる。得られたピッチ周期Ｔｐは、時間軸伸長部３へ送られる。時間軸伸長部３では、以下の通り伸長処理される。
【００１６】
伸張処理においては図２に示すように、ピッチ周期算出部２で算出されたピッチ周期をＴｐ、伸張率をＲ（例えば、１＜Ｒ≦２）、フレーム長抽出部より切り出された音声波形をＴｃ＝Ｔｐ／（Ｒ−１）とし、まずピッチ周期分の音声波形を複数切り出す。ここでは、簡単に連続した波形Ａ及び波形Ｂ２つの音声波形をそのまま切り出す。その後、図３に示されるように、切り出された波形Ａの音声波形を時間軸方向に反転して波形Ａ’に変換する。
【００１７】
図４に示すように、波形Ａに対して波形Ｂとの接点（波形Ａの終端）からＬｐ部分に対して０から１へ重み付けを乗じて波形Ｄ１の音声波形を作成する。Ｌｐは予め決められた時間長であり、ピッチ周期Ｔｐよりも小さく、概ねＬｐ＝１／５〜１／６Ｔｐ程度である。同様に波形Ｂに対して波形Ａとの接点（波形Ｂの始端）からＬｐ部分に対して１から０へ、波形Ａ’の始端からＬｐ部分に対して０から１へ、及び波形Ａ’の終端からＬｐ部分に対して１から０へそれぞれ直線的に変化する重み付け係数を乗じて波形Ｃ１、波形Ｃ２、波形Ｄ１の音声波形を作成する。
【００１８】
上記の作成された波形Ｃ１と波形Ｃ２の音声波形、及び波形Ｄ１と波形Ｄ２の音声波形をそれぞれ加算し、波形Ｃ及び波形Ｄの音声波形を作成する（図５）。更に、図６に示すように、波形Ａ’の音声波形の始端及び終端からＬｐ部分を切り出し、その部分にそれぞれ波形Ｃ及び波形Ｄの音声波形を挿入し、波形Ａ’’の音声波形を合成する。
【００１９】
最後に、波形Ａと波形Ｂの音声波形の間に波形Ａ’’を挿入し、Ｔｃ＝Ｔｐ／（Ｒ−１）の波形から伸張率Rを満たすＴｃ＋Ｔｐ＝ＲＴｐ／（Ｒ−１）の波形が作成される（図７）。
【００２０】
上記構成により、入力音声信号を切り出すフレーム毎の周期に対応した余分に生成されてしまう不快な寄生音は、挿入する音声波形を時間軸方向に反転して変換した波形であるので発生しない。また、挿入される音声波形の始端及び終端部分の波形は、０から１又は１から０へ直線的に変化する重み付け係数を乗じた波形を用いたことにより、挿入された波形Ａ’’と波形Ａ及び波形Ｂとの接点が滑らかな波形として接するので、伸長処理しても歪の少ない音声波形となる。更に、挿入される音声波形は、時間軸方向に反転という比較的簡単な処理で実現できる。
【００２１】
ここでは、波形Ａの音声波形を変換した波形Ａ’’を挿入することで伸長処理する実施の形態について説明したが、波形Ｂの音声波形を変換した場合にも同様に適用できる。
【００２２】
以下に、本発明の実施形態における伸長処理の流れを図８のフローチャートを用いて説明する。まず入力された音声信号は予め決められたフレーム長Ｔｃの音声波形を切り出し（Ｓ１）、この切り出されたフレーム長Ｔｃの音声波形から自己相関関数等を用いピッチ周期Ｔｐを求める（Ｓ２）。この求められたピッチ周期Ｔｐから処理対象となる２つのピッチ周期Ｔｐ分の音声波形（波形Ａ、Ｂ）を入力音声信号から切り出した後（Ｓ３）、波形Ａの音声波形を時間軸方向に反転して波形Ａ’に変換する（Ｓ４）。
【００２３】
波形Ａに対して波形Ｂとの端部からＬｐ部分を０から１へ直線的に変化する重み付け係数を乗じて波形Ｄ１を作成する。同様に、波形Ｂに対して波形Ａとの端部からＬｐ部分を１から０へ直線的に変化する重み付け係数を乗じて波形Ｃ１を作成する。更に、波形Ａ’の始端及び終端からＬｐ部分を、０から１、１から０へそれぞれ直線的に変化する重み付け係数を乗じて波形Ｃ２及び波形Ｄ２の音声波形を作成する（Ｓ５）。
【００２４】
波形Ｃ１及び波形Ｃ２の音声波形を加算して波形Ｃの音声波形を作成する（Ｓ６Ａ）。同様に、波形Ｄ１及び波形Ｄ２の音声波形を加算して波形Ｄの音声波形を作成する（Ｓ６Ｂ）。
【００２５】
次に、波形Ａ’の始点及び終点からＬｐ部分の音声波形を切り出し、抜けた部分にそれぞれ波形Ｃ及び波形Ｄの音声波形を挿入することにより、波形Ａ’’が合成される（Ｓ７）。更に、この波形Ａ’’の音声波形を波形Ａと波形Ｂの間に挿入（Ｓ８）して音声波形が伸長される。次のフレームに対しＳ１〜Ｓ８のステップを繰り返し行なわれ、伸長する入力音声信号が入力されなくなると、この伸長処理が終了する（Ｓ９）。
【００２６】
ここでは、図１で構成される話速変換装置で実現される伸長処理について説明してきたが、図１に示されたような伸長処理部３でなくても、ＣＰＵ等の処理装置を搭載したコンピュータで実行されるソフトウェアでも、上述したＳ１〜Ｓ８のステップからなる伸長処理を実現することができる。
【００２７】
【発明の効果】
以上述べてきたように、本発明によれば、比較的簡単な処理で、不快な寄生音を発生させることなく音質の良い話速変換を実現することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態における話速変換装置の構成を表すブロック図。
【図２】 音声信号からピッチ周期分の波形を切り出す内容を説明する説明図。
【図３】 切り出された音声波形を時間軸反転する内容を説明する説明図。
【図４】 音声波形に重み付け係数を乗じる内容を説明する説明図。
【図５】 重み付けされた波形を加算する内容を説明する説明図。
【図６】 挿入する音声波形の合成を説明する説明図。
【図７】 合成した音声波形を挿入して伸長処理を説明する説明図。
【図８】 本発明の実施の形態の伸長処理の流れを示すフローチャート図。
【符号の説明】
１：音声波形フレーム抽出部
２：ピッチ周期算出部
３：時間軸伸長部
Claims (12)
- 入力される音声信号からピッチ周期を算出するピッチ周期算出手段と、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸方向に反転した反転波形のうち始端部分を０から１へ重み付けを乗じた第１の波形を作成し、次の切り出される音声波形のうち始端部分を１から０へ重み付けを乗じた第２の波形を作成し、前記第１の波形と第２の波形を加算した加算波形を作成し、前記反転波形のうち切り出した始端部分に該加算波形を挿入して合成した合成波形を作成し、反転する前の切り出される音声波形と次に切り出される音声波形との間に該合成波形を挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする話速変換装置。
- 入力される音声信号からピッチ周期を算出するピッチ周期算出手段と、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸方向に反転した反転波形のうち終端部分を１から０へ重み付けを乗じた第３の波形を作成し、反転する前の音声波形のうち終端部分を０から１へ重み付けを乗じた第４の波形を作成し、前記第３の波形と第４の波形を加算した加算波形を作成し、前記反転波形のうち切り出した終端部分に該加算波形を挿入して合成した合成波形を作成し、反転する前の切り出される音声波形と次に切り出される音声波形との間に該合成波形を挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする話速変換装置。
- 更に入力される音声信号から予め決められたフレーム長の音声フレームを抽出する音声フレーム抽出手段を具備し、
前記ピッチ周期算出手段は、前記音声フレームからピッチ周期を算出し、
前記伸長処理手段は、前記音声フレームから前記ピッチ周期分の音声波形を切り出し、反転する前の切り出される音声波形と次に切り出される音声波形との間に前記合成波形を挿入することで伸長処理することを特徴とする請求項１または請求項２記載の話速変換装置。 - 前記伸長処理手段は、前記ピッチ周期分の音声波形を連続して複数切り出し、少なくとも１つ以上の前記合成波形を反転する前の切り出される音声波形と次に切り出される音声波形との間に挿入することで伸長処理することを特徴とする請求項１乃至請求項３いずれか１項に記載の話速変換装置。
- 前記重み付けは直線的に変化する重み付け係数であることを特徴とする請求項１または請求項２記載の話速変換装置。
- 入力される音声信号からピッチ周期を算出するステップと、
前記音声信号から前記ピッチ周期分の音声波形を切り出すステップと、
前記音声波形を時間軸方向に反転した反転波形に変換するステップと、
前記反転波形のうち始端部分を０から１へ重み付けを乗じた第１の波形を作成するステップと、
次の切り出される音声波形のうち始端部分を１から０へ重み付けを乗じた第２の波形を作成するステップと、
前記第１の波形と第２の波形を加算した加算波形を作成するステップと、
前記反転波形のうち切り出した始端部分に前記加算波形を挿入して合成した合成波形を作成するステップと、
反転する前の切り出される音声波形と次に切り出される音声波形との間に前記合成波形を挿入することで伸長処理するステップとを備えたことを特徴とする話速変換方法。 - 入力される音声信号からピッチ周期を算出するステップと、
前記音声信号から前記ピッチ周期分の音声波形を切り出すステップと、
前記音声波形を時間軸方向に反転した反転波形に変換するステップと、
前記反転波形のうち終端部分を１から０へ重み付けを乗じた第３の波形を作成するステップと、
反転する前の音声波形のうち終端部分を０から１へ重み付けを乗じた第４の波形を作成するステップと、
前記第３の波形と第４の波形を加算した加算波形を作成するステップと、
前記反転波形のうち切り出した終端部分に前記加算波形を挿入して合成した合成波形を作成するステップと、
反転する前の切り出される音声波形と次に切り出される音声波形との間に前記合成波形を挿入することで伸長処理するステップとを備えたことを特徴とする話速変換方法。 - 更に入力される音声信号から予め決められたフレーム長の音声フレームを抽出するステップを備え、
前記ピッチ周期を算出するステップは、前記音声フレームからピッチ周期を算出し、
前記伸長処理するステップは、前記音声フレームから前記ピッチ周期分の音声波形を切り出し、反転する前の切り出される音声波形と次に切り出される音声波形との間に前記合成波形を挿入することで伸長処理することを特徴とする請求項６または請求項７記載の話速変換方法。 - 前記伸長処理するステップは、前記ピッチ周期分の音声波形を連続して複数切り出し、少なくとも１つ以上の前記合成波形を反転する前の切り出される音声波形と次に切り出される音声波形との間に挿入することで伸長処理することを特徴とする請求項６乃至請求項８いずれか１項に記載の話速変換方法。
- 前記重み付けは直線的に変化する重み付け係数であることを特徴とする請求項６または請求項７記載の話速変換方法。
- コンピュータ上で実行可能なプログラムであって、
入力される音声信号からピッチ周期を算出するステップと、
前記音声信号から前記ピッチ周期分の音声波形を切り出すステップと、
前記音声波形を時間軸方向に反転した反転波形に変換するステップと、
前記反転波形のうち始端部分を０から１へ重み付けを乗じた第１の波形を作成するステップと、
次の切り出される音声波形のうち始端部分を１から０へ重み付けを乗じた第２の波形を作成するステップと、
前記第１の波形と第２の波形を加算した加算波形を作成するステップと、
前記反転波形のうち切り出した始端部分に前記加算波形を挿入して合成した合成波形を作成するステップと、
反転する前の切り出される音声波形と次に切り出される音声波形との間に前記合成波形を挿入することで伸長処理するステップとを備えたことを特徴とする話速変換プログラム。 - コンピュータ上で実行可能なプログラムであって、
入力される音声信号からピッチ周期を算出するステップと、
前記音声信号から前記ピッチ周期分の音声波形を切り出すステップと、
前記音声波形を時間軸方向に反転した反転波形に変換するステップと、
前記反転波形のうち終端部分を１から０へ重み付けを乗じた第３の波形を作成するステップと、
反転する前の音声波形のうち終端部分を０から１へ重み付けを乗じた第４の波形を作成するステップと、
前記第３の波形と第４の波形を加算した加算波形を作成するステップと、
前記反転波形のうち切り出した終端部分に前記加算波形を挿入して合成した合成波形を作成するステップと、
反転する前の切り出される音声波形と次に切り出される音声波形との間に前記合成波形を挿入することで伸長処理するステップとを備えたことを特徴とする話速変換プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003149034A JP3871657B2 (ja) | 2003-05-27 | 2003-05-27 | 話速変換装置、方法、及びそのプログラム |
| KR1020040037494A KR100656968B1 (ko) | 2003-05-27 | 2004-05-25 | 음속변환장치와 음속변환방법 및 컴퓨터 독출가능기록매체 |
| EP04253085A EP1482483A3 (en) | 2003-05-27 | 2004-05-26 | Speech rate conversion apparatus, method and program thereof |
| US10/853,261 US20050010398A1 (en) | 2003-05-27 | 2004-05-26 | Speech rate conversion apparatus, method and program thereof |
| CNB2004100475810A CN1266675C (zh) | 2003-05-27 | 2004-05-27 | 语音速率变换装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003149034A JP3871657B2 (ja) | 2003-05-27 | 2003-05-27 | 話速変換装置、方法、及びそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004354462A JP2004354462A (ja) | 2004-12-16 |
| JP3871657B2 true JP3871657B2 (ja) | 2007-01-24 |
Family
ID=33128213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003149034A Expired - Fee Related JP3871657B2 (ja) | 2003-05-27 | 2003-05-27 | 話速変換装置、方法、及びそのプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20050010398A1 (ja) |
| EP (1) | EP1482483A3 (ja) |
| JP (1) | JP3871657B2 (ja) |
| KR (1) | KR100656968B1 (ja) |
| CN (1) | CN1266675C (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4550652B2 (ja) * | 2005-04-14 | 2010-09-22 | 株式会社東芝 | 音響信号処理装置、音響信号処理プログラム及び音響信号処理方法 |
| JP5032314B2 (ja) * | 2005-06-23 | 2012-09-26 | パナソニック株式会社 | オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置 |
| JP5011803B2 (ja) | 2006-04-24 | 2012-08-29 | ソニー株式会社 | オーディオ信号伸張圧縮装置及びプログラム |
| JP4985152B2 (ja) * | 2007-07-02 | 2012-07-25 | ソニー株式会社 | 情報処理装置、信号処理方法およびプログラム |
| JP2009048676A (ja) * | 2007-08-14 | 2009-03-05 | Toshiba Corp | 再生装置および方法 |
| JP5346230B2 (ja) * | 2009-03-10 | 2013-11-20 | パナソニック株式会社 | 話速変換装置 |
| JP2010249940A (ja) * | 2009-04-13 | 2010-11-04 | Sony Corp | ノイズ低減装置、ノイズ低減方法 |
| CN101719371B (zh) * | 2009-11-20 | 2012-04-04 | 安凯(广州)微电子技术有限公司 | 一种语音变速的方法 |
| JP2012194417A (ja) * | 2011-03-17 | 2012-10-11 | Sony Corp | 音声処理装置および方法、並びにプログラム |
| CN105788601B (zh) * | 2014-12-25 | 2019-08-30 | 联芯科技有限公司 | VoLTE的抖动隐藏方法和装置 |
| CN106469559B (zh) * | 2015-08-19 | 2020-10-16 | 中兴通讯股份有限公司 | 语音数据的调整方法及装置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR950001070B1 (en) * | 1990-05-28 | 1995-02-08 | Matsushita Electric Ind Co Ltd | Speech signal processing device |
| EP0527527B1 (en) * | 1991-08-09 | 1999-01-20 | Koninklijke Philips Electronics N.V. | Method and apparatus for manipulating pitch and duration of a physical audio signal |
| US5717823A (en) * | 1994-04-14 | 1998-02-10 | Lucent Technologies Inc. | Speech-rate modification for linear-prediction based analysis-by-synthesis speech coders |
| JPH0896514A (ja) * | 1994-07-28 | 1996-04-12 | Sony Corp | オーディオ信号処理装置 |
| US5828995A (en) * | 1995-02-28 | 1998-10-27 | Motorola, Inc. | Method and apparatus for intelligible fast forward and reverse playback of time-scale compressed voice messages |
| US5842172A (en) * | 1995-04-21 | 1998-11-24 | Tensortech Corporation | Method and apparatus for modifying the play time of digital audio tracks |
| CA2242610C (en) * | 1996-11-11 | 2003-01-28 | Matsushita Electric Industrial Co., Ltd. | Sound reproducing speed converter |
| EP0976125B1 (en) * | 1997-12-19 | 2004-03-24 | Koninklijke Philips Electronics N.V. | Removing periodicity from a lengthened audio signal |
| JP3540609B2 (ja) | 1998-06-15 | 2004-07-07 | ヤマハ株式会社 | 音声変換装置及び音声変換方法 |
| JP2000099097A (ja) | 1998-09-24 | 2000-04-07 | Sony Corp | 信号再生装置及び方法、音声信号再生装置、並びに、音声信号の速度変換方法 |
| KR100341197B1 (ko) * | 1998-09-29 | 2002-06-20 | 포만 제프리 엘 | 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템 |
| JP3422716B2 (ja) | 1999-03-11 | 2003-06-30 | 日本電信電話株式会社 | 話速変換方法および装置および話速変換プログラムを格納した記録媒体 |
| JP3546755B2 (ja) * | 1999-05-06 | 2004-07-28 | ヤマハ株式会社 | リズム音源信号の時間軸圧伸方法及び装置 |
| US6842735B1 (en) * | 1999-12-17 | 2005-01-11 | Interval Research Corporation | Time-scale modification of data-compressed audio information |
| EP1143417B1 (en) * | 2000-04-06 | 2005-12-28 | Telefonaktiebolaget LM Ericsson (publ) | A method of converting the speech rate of a speech signal, use of the method, and a device adapted therefor |
| US6718309B1 (en) * | 2000-07-26 | 2004-04-06 | Ssi Corporation | Continuously variable time scale modification of digital audio signals |
| JP4067762B2 (ja) * | 2000-12-28 | 2008-03-26 | ヤマハ株式会社 | 歌唱合成装置 |
| US7094965B2 (en) * | 2001-01-17 | 2006-08-22 | Yamaha Corporation | Waveform data analysis method and apparatus suitable for waveform expansion/compression control |
| KR20030015579A (ko) * | 2001-08-16 | 2003-02-25 | 주식회사 코스모탄 | 지정된 변속율에 정확하게 비례하는 재생시간을 갖도록오디오신호의 시간스케일을 수정하는 방법과 이를 위한장치 |
| US7233832B2 (en) * | 2003-04-04 | 2007-06-19 | Apple Inc. | Method and apparatus for expanding audio data |
-
2003
- 2003-05-27 JP JP2003149034A patent/JP3871657B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-25 KR KR1020040037494A patent/KR100656968B1/ko not_active IP Right Cessation
- 2004-05-26 EP EP04253085A patent/EP1482483A3/en not_active Withdrawn
- 2004-05-26 US US10/853,261 patent/US20050010398A1/en not_active Abandoned
- 2004-05-27 CN CNB2004100475810A patent/CN1266675C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20050010398A1 (en) | 2005-01-13 |
| CN1266675C (zh) | 2006-07-26 |
| KR100656968B1 (ko) | 2006-12-13 |
| EP1482483A3 (en) | 2006-11-02 |
| JP2004354462A (ja) | 2004-12-16 |
| EP1482483A2 (en) | 2004-12-01 |
| KR20040102336A (ko) | 2004-12-04 |
| CN1573931A (zh) | 2005-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3528258B2 (ja) | 符号化音声信号の復号化方法及び装置 | |
| JP3321971B2 (ja) | 音声信号処理方法 | |
| JP3871657B2 (ja) | 話速変換装置、方法、及びそのプログラム | |
| JP4550652B2 (ja) | 音響信号処理装置、音響信号処理プログラム及び音響信号処理方法 | |
| EP1840871B1 (en) | Audio waveform processing device, method, and program | |
| EP2881944B1 (en) | Audio signal processing apparatus | |
| EP1074968B1 (en) | Synthesized sound generating apparatus and method | |
| EP2104097B1 (en) | Voice band expander and expansion method | |
| JP2001255882A (ja) | 音声信号処理装置及びその信号処理方法 | |
| WO2004006425A1 (ja) | 波形生成装置及び方法並びに復号装置 | |
| JPH1078791A (ja) | ピッチ変換器 | |
| JP4868042B2 (ja) | データ変換装置およびデータ変換プログラム | |
| JP2008139573A (ja) | 声質変換方法、声質変換プログラム、声質変換装置 | |
| JPH0777999A (ja) | 音声時間軸圧縮伸長方法 | |
| JP2753716B2 (ja) | 音声変換装置 | |
| JPH06337696A (ja) | 速度変換制御装置と速度変換制御方法 | |
| JP3038755B2 (ja) | 音声合成装置の音源データ生成方法 | |
| JPH06202695A (ja) | 音声信号処理装置 | |
| JP3358720B2 (ja) | ノイズ波形の生成装置及び生成方法 | |
| JP2003295898A (ja) | 音声処理方法、音声処理装置、音声処理プログラム | |
| JPH0365560B2 (ja) | ||
| JP2003241777A (ja) | 楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置 | |
| JP2002041076A (ja) | 音声合成方法、その装置及びそのプログラム記録媒体 | |
| JPH07302097A (ja) | 音声の時間軸圧縮方法、及び伸長方法、並びに音声の時間軸圧縮伸長方法 | |
| WO2000019407A1 (en) | Method and device of sampling pitch period of voice signal and device for time-axis compression/decompression of voice signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061017 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |