JP6321334B2 - 信号処理装置及びプログラム - Google Patents
信号処理装置及びプログラム Download PDFInfo
- Publication number
- JP6321334B2 JP6321334B2 JP2013151972A JP2013151972A JP6321334B2 JP 6321334 B2 JP6321334 B2 JP 6321334B2 JP 2013151972 A JP2013151972 A JP 2013151972A JP 2013151972 A JP2013151972 A JP 2013151972A JP 6321334 B2 JP6321334 B2 JP 6321334B2
- Authority
- JP
- Japan
- Prior art keywords
- background sound
- unit
- sound
- speech
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims description 135
- 238000000605 extraction Methods 0.000 claims description 66
- 238000001228 spectrum Methods 0.000 claims description 66
- 238000000926 separation method Methods 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 47
- 239000000284 extract Substances 0.000 claims description 20
- 238000005311 autocorrelation function Methods 0.000 claims description 13
- 238000004904 shortening Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 38
- 108091006146 Channels Proteins 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008602 contraction Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
Description
まず、実施例1について説明する。前述のとおり、実施例1は、入力信号から音声と背景音とを分離し、音声と背景音とを独立した手法にて、音声の話速変換を行うと共に背景音の速度変換を行い、両音を同期させて混合する場合に、分離した背景音に対し周期性の強弱を判定し、その強弱に応じた手法で周期を求め、背景音の速度変換を行う。
次に、話速変換された音声に混合する背景音の生成処理について説明する。図2は、背景音の生成処理を示すフローチャートである。図2に示す処理は、図1に示した周期性判定部14、スイッチ19、基本周期抽出部15、スペクトル包絡ピーク検出部16及び速度変換部17により行われる処理である。
次に、実施例2について説明する。前述のとおり、実施例2は、入力信号から音声と背景音とを分離し、音声と背景音とを独立した手法にて、音声の話速変換を行うと共に背景音の速度変換を行い、両音を同期させて混合する場合に、分離した背景音を所定数の周波数帯域に分割し、周波数帯域毎に背景音の周期を求めて速度変換し、周波数帯域毎の速度変換後の背景音を加算する。
次に、話速変換された音声に混合する背景音の生成処理について説明する。図4は、背景音の生成処理を示すフローチャートである。図4に示す処理は、図3に示した周波数帯域分割フィルタバンク24、スペクトル包絡ピーク検出部25、速度変換部26及び加算部27により行われる処理である。
11,21 音声/背景音分離部
12,15,22 基本周期抽出部
13,23 話速変換部
14 周期性判定部
16,25 スペクトル包絡ピーク検出部
17,26 速度変換部
18,28 混合部
19 スイッチ
24 周波数帯域分割フィルタバンク
27 加算部
Claims (3)
- 音声に背景音が混在した入力信号を、所定速度に速度変換して出力する信号処理装置において、
前記入力信号から音声と背景音とを分離する音声/背景音分離部と、
前記音声/背景音分離部により分離された音声の音響特徴量として、音声の基本周期を抽出する第1の音響特徴量抽出部と、
前記音声/背景音分離部により分離された背景音の音響特徴量として、背景音の基本周期を抽出する第2の音響特徴量抽出部と、
前記音声/背景音分離部により分離された音声の波形を、前記第1の音響特徴量抽出部により抽出された音声の基本周期を単位としたブロック毎に分割し、前記ブロック単位の波形を繰り返すことで前記音声の伸長を行い、または、前記ブロック単位の波形を間引くことで前記音声の短縮を行い、前記音声を前記所定速度に話速変換する話速変換部と、
前記音声/背景音分離部により分離された背景音の波形を、前記第2の音響特徴量抽出部により抽出された背景音の基本周期を単位としたブロック毎に分割し、前記ブロック単位の波形を繰り返すことで前記背景音の伸長を行い、または、前記ブロック単位の波形を間引くことで前記背景音の短縮を行い、前記背景音を前記所定速度に速度変換する速度変換部と、
前記話速変換部により話速変換された音声と、前記速度変換部により速度変換された背景音とを混合して出力する混合部と、を備え、
前記第2の音響特徴量抽出部は、周期性判定部、基本周期抽出部及び第1のスペクトル包絡ピーク検出部を備え、
前記周期性判定部は、
前記音声/背景音分離部により分離された背景音から、所定時間幅のハミング窓を用いて波形を切り出し、前記切り出した波形から自己相関関数を求め、自己相関関数の最大値を用いて前記背景音の周期性の強さを求め、前記周期性の強さと閾値とを比較して周期性の強弱を判定し、
前記基本周期抽出部は、
前記周期性判定部により背景音の周期性が強いと判定された場合、前記音声/背景音分離部により分離された背景音の基本周期を抽出し、
前記第1のスペクトル包絡ピーク検出部は、
前記周期性判定部により背景音の周期性が弱いと判定された場合、前記音声/背景音分離部により分離された背景音における周波数のスペクトル包絡を求め、前記スペクトル包絡のピークを検出し、前記検出したピークにおける周波数の逆数を前記背景音の擬似基本周期として前記背景音の基本周期に代えて求め、
前記速度変換部は、
前記基本周期抽出部により抽出された背景音の基本周期、または前記第1のスペクトル包絡ピーク検出部により求めた背景音の擬似基本周期に基づいて、前記音声/背景音分離部により分離された背景音を前記所定速度に速度変換する、ことを特徴とする信号処理装置。 - 音声に背景音が混在した入力信号を、所定速度に速度変換して出力する信号処理装置において、
前記入力信号から音声と背景音とを分離する音声/背景音分離部と、
前記音声/背景音分離部により分離された音声の音響特徴量として、音声の基本周期を抽出する第1の音響特徴量抽出部と、
前記音声/背景音分離部により分離された背景音の音響特徴量として、背景音の基本周期を抽出する第2の音響特徴量抽出部と、
前記音声/背景音分離部により分離された音声の波形を、前記第1の音響特徴量抽出部により抽出された音声の基本周期を単位としたブロック毎に分割し、前記ブロック単位の波形を繰り返すことで前記音声の伸長を行い、または、前記ブロック単位の波形を間引くことで前記音声の短縮を行い、前記音声を前記所定速度に話速変換する話速変換部と、
前記音声/背景音分離部により分離された背景音の波形を、前記第2の音響特徴量抽出部により抽出された背景音の基本周期を単位としたブロック毎に分割し、前記ブロック単位の波形を繰り返すことで前記背景音の伸長を行い、または、前記ブロック単位の波形を間引くことで前記背景音の短縮を行い、前記背景音を前記所定速度に速度変換する速度変換部と、
前記話速変換部により話速変換された音声と、前記速度変換部により速度変換された背景音とを混合して出力する混合部と、を備え、
さらに、加算部を備え、
前記第2の音響特徴量抽出部は、周波数帯域分割フィルタバンク及び第2のスペクトル包絡ピーク検出部を備え、
前記周波数帯域分割フィルタバンクは、
前記音声/背景音分離部により分離された背景音を、フィルタバンクを用いて所定数の周波数帯域に分割し、
前記第2のスペクトル包絡ピーク検出部は、
前記周波数帯域分割フィルタバンクにより分割された周波数帯域毎に、前記音声/背景音分離部により分離された背景音における周波数のスペクトル包絡を求め、前記スペクトル包絡のピークを検出し、前記検出したピークにおける周波数の逆数を前記背景音の擬似基本周期として前記背景音の基本周期に代えて求め、
前記速度変換部は、
前記周波数帯域分割フィルタバンクにより分割された周波数帯域毎に、前記第2のスペクトル包絡ピーク検出部により求めた背景音の擬似基本周期に基づいて、前記音声/背景音分離部により分離された背景音を前記所定速度に速度変換し、
前記加算部は、
前記速度変換部により速度変換された、前記周波数帯域分割フィルタバンクにより分割された周波数帯域毎の背景音を加算し、
前記混合部は、
前記話速変換部により話速変換された音声と、前記加算部により加算された背景音とを混合して出力する、ことを特徴とする信号処理装置。 - コンピュータを、請求項1または2に記載の信号処理装置として機能させるための信号処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013151972A JP6321334B2 (ja) | 2013-07-22 | 2013-07-22 | 信号処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013151972A JP6321334B2 (ja) | 2013-07-22 | 2013-07-22 | 信号処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015022236A JP2015022236A (ja) | 2015-02-02 |
JP6321334B2 true JP6321334B2 (ja) | 2018-05-09 |
Family
ID=52486710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013151972A Active JP6321334B2 (ja) | 2013-07-22 | 2013-07-22 | 信号処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6321334B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113311074B (zh) * | 2021-04-26 | 2023-05-09 | 长江存储科技有限责任公司 | 一种薄膜杨氏模量的确定方法、装置及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2905191B1 (ja) * | 1998-04-03 | 1999-06-14 | 日本放送協会 | 信号処理装置、信号処理方法および信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4300641B2 (ja) * | 1999-08-10 | 2009-07-22 | ヤマハ株式会社 | マルチトラック音源信号の時間軸圧伸方法及び装置 |
JP4419249B2 (ja) * | 2000-02-08 | 2010-02-24 | ヤマハ株式会社 | 音響信号分析方法及び装置並びに音響信号処理方法及び装置 |
JP2005031169A (ja) * | 2003-07-08 | 2005-02-03 | Kobe Steel Ltd | 音声信号処理装置,その方法,そのプログラム |
-
2013
- 2013-07-22 JP JP2013151972A patent/JP6321334B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015022236A (ja) | 2015-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6290858B2 (ja) | 発話の入力オーディオエンコーディングを、対象歌曲にリズム的に調和する出力へと自動変換するための、コンピュータ処理方法、装置、及びコンピュータプログラム製品 | |
US20100217584A1 (en) | Speech analysis device, speech analysis and synthesis device, correction rule information generation device, speech analysis system, speech analysis method, correction rule information generation method, and program | |
JP2002515610A (ja) | 位相変化からの雑音寄与度の決定に基づく音声符号化 | |
Mittal et al. | Study of characteristics of aperiodicity in Noh voices | |
US10176824B2 (en) | Method and system for consonant-vowel ratio modification for improving speech perception | |
CN112133277A (zh) | 样本生成方法及装置 | |
JP4217616B2 (ja) | 二段階ピッチ判断方法および装置 | |
JP6321334B2 (ja) | 信号処理装置及びプログラム | |
EP3113180B1 (en) | Method for performing audio inpainting on a speech signal and apparatus for performing audio inpainting on a speech signal | |
Vlaj et al. | Voice activity detection algorithm using nonlinear spectral weights, hangover and hangbefore criteria | |
JP5830364B2 (ja) | 韻律変換装置およびそのプログラム | |
JPH11259066A (ja) | 音楽音響信号分離方法、その装置およびそのプログラム記録媒体 | |
US10354671B1 (en) | System and method for the analysis and synthesis of periodic and non-periodic components of speech signals | |
JP6313619B2 (ja) | 音声信号処理装置及びプログラム | |
JP6213217B2 (ja) | 音声合成装置及び音声合成用コンピュータプログラム | |
KR100359988B1 (ko) | 실시간 화속 변환 장치 | |
KR100452109B1 (ko) | 음성신호 추적장치 및 그 방법 | |
JP3302075B2 (ja) | 合成パラメータ変換方法および装置 | |
KR100322704B1 (ko) | 음성신호의지속시간변경방법 | |
JPH11143460A (ja) | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 | |
JP5677137B2 (ja) | 韻律変換装置およびプログラム | |
JP6371530B2 (ja) | 音声信号処理装置及び音声ピッチ変換プログラム | |
Bartkowiak et al. | Hybrid sinusoidal modeling of music with near transparent audio quality | |
JP2006038956A (ja) | 音声速度遅延装置及び方法 | |
JPH0636157B2 (ja) | 帯域分割型ボコ−ダ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6321334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |