JP6904198B2 - 音声処理プログラム、音声処理方法および音声処理装置 - Google Patents
音声処理プログラム、音声処理方法および音声処理装置 Download PDFInfo
- Publication number
- JP6904198B2 JP6904198B2 JP2017183926A JP2017183926A JP6904198B2 JP 6904198 B2 JP6904198 B2 JP 6904198B2 JP 2017183926 A JP2017183926 A JP 2017183926A JP 2017183926 A JP2017183926 A JP 2017183926A JP 6904198 B2 JP6904198 B2 JP 6904198B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- spectrum
- frequency
- voice
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000001228 spectrum Methods 0.000 claims description 236
- 238000012545 processing Methods 0.000 claims description 194
- 238000000034 method Methods 0.000 claims description 99
- 238000001514 detection method Methods 0.000 claims description 52
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 229940035637 spectrum-4 Drugs 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000005534 acoustic noise Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
- G10L2025/906—Pitch tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Electrophonic Musical Instruments (AREA)
- Artificial Intelligence (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出し、
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定し、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習し、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する
処理を実行させることを特徴とする音声処理プログラム。
入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出し、
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定し、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習し、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する
処理を実行することを特徴とする音声処理方法。
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定する判定部と、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習する学習部と、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する検出部と、
を有することを特徴とする音声処理装置。
120,203 周波数変換部
130,205,320 判定部
140,207,340 学習部
160,209,360 検出部
204 ノイズ推定部
206,330 基音周波数推定部
Claims (13)
- コンピュータに、
入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出し、
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定し、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習し、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する
処理を実行させることを特徴とする音声処理プログラム。 - 前記音声フレームを判定する処理は、前記フレームのスペクトルを周波数方向に平滑化することで、前記スペクトルのスペクトル包絡を算出し、前記スペクトルと前記スペクトル包絡との差分を基にして、前記フレームが音声フレームであるか否かを判定することを特徴とする請求項1に記載の音声処理プログラム。
- 前記スペクトルに基づいてノイズスペクトルを推定する処理を更にコンピュータに実行させ、前記音声フレームを判定する処理は、前記フレームのスペクトルと、前記ノイズスペクトルとの差分に基づいて、前記音声フレームを判定することを特徴とする請求項1に記載の音声処理プログラム。
- 前記音声フレームを判定する処理は、前記フレームのスペクトルの自己相関を基にして、前記音声フレームを判定することを特徴とする請求項1に記載の音声処理プログラム。
- 前記学習値を学習する処理は、前記音声フレームのスペクトルの所定の帯域内に含まれる複数の極大値のうち最大の極大値を探索し、前記複数の極大値のうち、前記最大の極大値と比較した値の大きさが一定範囲内に含まれ、かつ、最も低域側にある極大値を基にして、前記学習値を学習することを特徴とする請求項1〜4のいずれか一つに記載の音声処理プログラム。
- 前記学習値を学習する処理は、複数の前記音声フレームのスペクトルの極大値の平均値または分散を基にして、前記学習値を学習することを特徴とする請求項1〜5のいずれか一つに記載の音声処理プログラム。
- 前記ピッチ周波数を検出する処理は、前記フレームのスペクトルの極大値と、前記学習値との差が所定範囲内の場合に、前記極大値に対応する周波数を、前記フレームのピッチ周波数として検出することを特徴とする請求項1〜6のいずれか一つに記載の音声処理プログラム。
- 前記音声フレームから基音の周波数を推定する処理を更にコンピュータに実行させ、前記学習値を学習する処理は、前記基音の周波数毎に、前記学習値を学習することを特徴とする請求項1〜4のいずれか一つに記載の音声処理プログラム。
- 前記ピッチ周波数を検出する処理は、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームである場合には、前記基音の周波数をピッチ周波数として出力し、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームでない場合には、前記学習値を基にして、前記ピッチ周波数を検出することを特徴とする請求項8に記載の音声処理プログラム。
- 前記音声フレームから基音の周波数を推定する処理を更にコンピュータに実行させ、前記学習値を学習する処理は、前記音声フレームのスペクトルの最大値と、前記基音の周波数に対応する前記スペクトルの大きさとの差分が閾値以上である場合に、前記基音の周波数の整数倍に対応する前記スペクトルのうち、前記最大値に最も近い前記スペクトルのパワーの平均値または分散を前記学習値として学習し、前記学習値に、前記基音の周波数に対する前記学習値の周波数の倍数を対応づけて記憶することを特徴とする請求項1〜4のいずれか一つに記載の音声処理プログラム。
- 前記ピッチ周波数を検出する処理は、前記ピッチ周波数の検出対象となるフレームの極大値が、前記学習値に基づく範囲内に含まれる場合に、前記極大値の周波数を前記倍数で除算することで、前記ピッチ周波数を検出することを特徴とする請求項10に記載の音声処理プログラム。
- コンピュータが実行する音声処理方法であって、
入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出し、
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定し、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習し、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する
処理を実行することを特徴とする音声処理方法。 - 入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出する周波数変換部と、
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定する判定部と、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習する学習部と、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する検出部と、
を有することを特徴とする音声処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183926A JP6904198B2 (ja) | 2017-09-25 | 2017-09-25 | 音声処理プログラム、音声処理方法および音声処理装置 |
US16/137,596 US11004463B2 (en) | 2017-09-25 | 2018-09-21 | Speech processing method, apparatus, and non-transitory computer-readable storage medium for storing a computer program for pitch frequency detection based upon a learned value |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183926A JP6904198B2 (ja) | 2017-09-25 | 2017-09-25 | 音声処理プログラム、音声処理方法および音声処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019060976A JP2019060976A (ja) | 2019-04-18 |
JP6904198B2 true JP6904198B2 (ja) | 2021-07-14 |
Family
ID=65808283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017183926A Active JP6904198B2 (ja) | 2017-09-25 | 2017-09-25 | 音声処理プログラム、音声処理方法および音声処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11004463B2 (ja) |
JP (1) | JP6904198B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6904198B2 (ja) * | 2017-09-25 | 2021-07-14 | 富士通株式会社 | 音声処理プログラム、音声処理方法および音声処理装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2871120B2 (ja) * | 1991-01-07 | 1999-03-17 | ブラザー工業株式会社 | 自動採譜装置 |
AU2001260162A1 (en) * | 2000-04-06 | 2001-10-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Pitch estimation in a speech signal |
AU2001258298A1 (en) * | 2000-04-06 | 2001-10-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Pitch estimation in speech signal |
JP3963850B2 (ja) * | 2003-03-11 | 2007-08-22 | 富士通株式会社 | 音声区間検出装置 |
US20070299658A1 (en) * | 2004-07-13 | 2007-12-27 | Matsushita Electric Industrial Co., Ltd. | Pitch Frequency Estimation Device, and Pich Frequency Estimation Method |
KR101248353B1 (ko) | 2005-06-09 | 2013-04-02 | 가부시키가이샤 에이.지.아이 | 피치 주파수를 검출하는 음성 해석 장치, 음성 해석 방법,및 음성 해석 프로그램 |
KR100724736B1 (ko) * | 2006-01-26 | 2007-06-04 | 삼성전자주식회사 | 스펙트럴 자기상관치를 이용한 피치 검출 방법 및 피치검출 장치 |
KR100735343B1 (ko) * | 2006-04-11 | 2007-07-04 | 삼성전자주식회사 | 음성신호의 피치 정보 추출장치 및 방법 |
JP2008281776A (ja) * | 2007-05-10 | 2008-11-20 | Mitsubishi Electric Corp | 旋律抽出装置及び旋律抽出方法 |
JP2009086476A (ja) | 2007-10-02 | 2009-04-23 | Sony Corp | 音声処理装置、音声処理方法、およびプログラム |
WO2010148141A2 (en) * | 2009-06-16 | 2010-12-23 | University Of Florida Research Foundation, Inc. | Apparatus and method for speech analysis |
JP2011065041A (ja) | 2009-09-18 | 2011-03-31 | Brother Industries Ltd | 基本周波数推定装置、採譜装置、及びプログラム |
US8775179B2 (en) * | 2010-05-06 | 2014-07-08 | Senam Consulting, Inc. | Speech-based speaker recognition systems and methods |
US8447596B2 (en) * | 2010-07-12 | 2013-05-21 | Audience, Inc. | Monaural noise suppression based on computational auditory scene analysis |
US20140006019A1 (en) * | 2011-03-18 | 2014-01-02 | Nokia Corporation | Apparatus for audio signal processing |
CN102842305B (zh) * | 2011-06-22 | 2014-06-25 | 华为技术有限公司 | 一种基音检测的方法和装置 |
US9520144B2 (en) * | 2012-03-23 | 2016-12-13 | Dolby Laboratories Licensing Corporation | Determining a harmonicity measure for voice processing |
US20150058002A1 (en) * | 2012-05-03 | 2015-02-26 | Telefonaktiebolaget L M Ericsson (Publ) | Detecting Wind Noise In An Audio Signal |
US9240193B2 (en) * | 2013-01-21 | 2016-01-19 | Cochlear Limited | Modulation of speech signals |
EP3399522B1 (en) * | 2013-07-18 | 2019-09-11 | Nippon Telegraph and Telephone Corporation | Linear prediction analysis device, method, program, and storage medium |
DE102013224417B3 (de) * | 2013-11-28 | 2015-05-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Hörhilfevorrichtung mit Grundfrequenzmodifizierung, Verfahren zur Verarbeitung eines Sprachsignals und Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens |
FR3014237B1 (fr) * | 2013-12-02 | 2016-01-08 | Adeunis R F | Procede de detection de la voix |
KR101832368B1 (ko) * | 2014-01-24 | 2018-02-26 | 니폰 덴신 덴와 가부시끼가이샤 | 선형 예측 분석 장치, 방법, 프로그램 및 기록 매체 |
US9135923B1 (en) * | 2014-03-17 | 2015-09-15 | Chengjun Julian Chen | Pitch synchronous speech coding based on timbre vectors |
JP6225818B2 (ja) * | 2014-04-30 | 2017-11-08 | ヤマハ株式会社 | ピッチ情報生成装置、ピッチ情報生成方法、及びプログラム |
US10403307B2 (en) * | 2016-03-31 | 2019-09-03 | OmniSpeech LLC | Pitch detection algorithm based on multiband PWVT of Teager energy operator |
JP6996185B2 (ja) * | 2017-09-15 | 2022-01-17 | 富士通株式会社 | 発話区間検出装置、発話区間検出方法及び発話区間検出用コンピュータプログラム |
JP6904198B2 (ja) * | 2017-09-25 | 2021-07-14 | 富士通株式会社 | 音声処理プログラム、音声処理方法および音声処理装置 |
-
2017
- 2017-09-25 JP JP2017183926A patent/JP6904198B2/ja active Active
-
2018
- 2018-09-21 US US16/137,596 patent/US11004463B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11004463B2 (en) | 2021-05-11 |
JP2019060976A (ja) | 2019-04-18 |
US20190096432A1 (en) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5998603B2 (ja) | 音検出装置、音検出方法、音特徴量検出装置、音特徴量検出方法、音区間検出装置、音区間検出方法およびプログラム | |
KR101153093B1 (ko) | 다감각 음성 향상을 위한 방법 및 장치 | |
EP2643981B1 (en) | A device comprising a plurality of audio sensors and a method of operating the same | |
KR101099339B1 (ko) | 복수-감지기형 음성 향상 방법 및 컴퓨터-판독가능 매체 | |
KR20060044629A (ko) | 신경 회로망을 이용한 음성 신호 분리 시스템 및 방법과음성 신호 강화 시스템 | |
WO2013022930A1 (en) | System and method of processing a sound signal including transforming the sound signal into a frequency-chirp domain | |
EP2881948A1 (en) | Spectral comb voice activity detection | |
US9646592B2 (en) | Audio signal analysis | |
JP2014126856A (ja) | 雑音除去装置及びその制御方法 | |
CN106024017A (zh) | 语音检测方法及装置 | |
JP5614261B2 (ja) | 雑音抑制装置、雑音抑制方法、及びプログラム | |
JP6904198B2 (ja) | 音声処理プログラム、音声処理方法および音声処理装置 | |
JP5077847B2 (ja) | 残響時間推定装置及び残響時間推定方法 | |
CN113593604A (zh) | 检测音频质量方法、装置及存储介质 | |
Tian et al. | Spoofing detection under noisy conditions: a preliminary investigation and an initial database | |
JP7000757B2 (ja) | 音声処理プログラム、音声処理方法および音声処理装置 | |
JP6907859B2 (ja) | 音声処理プログラム、音声処理方法および音声処理装置 | |
JP6891736B2 (ja) | 音声処理プログラム、音声処理方法および音声処理装置 | |
KR100931487B1 (ko) | 노이지 음성 신호의 처리 장치 및 그 장치를 포함하는 음성기반 어플리케이션 장치 | |
JP5562451B1 (ja) | エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム | |
JP5203404B2 (ja) | テンポ値検出装置およびテンポ値検出方法 | |
Muzammel et al. | Noise reduction from speech signals using modified spectral subtraction technique | |
JP2019090930A (ja) | 音源強調装置、音源強調学習装置、音源強調方法、プログラム | |
Singh | Noise estimation for real-time speech enhancement | |
JP2005284016A (ja) | 音声信号の雑音推定方法およびそれを用いた雑音除去装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6904198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |