JP7107377B2 - 音声処理装置、音声処理方法、およびプログラム - Google Patents
音声処理装置、音声処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7107377B2 JP7107377B2 JP2020540946A JP2020540946A JP7107377B2 JP 7107377 B2 JP7107377 B2 JP 7107377B2 JP 2020540946 A JP2020540946 A JP 2020540946A JP 2020540946 A JP2020540946 A JP 2020540946A JP 7107377 B2 JP7107377 B2 JP 7107377B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- speaker
- statistic
- feature amount
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 83
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000004364 calculation method Methods 0.000 claims description 72
- 230000005236 sound signal Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000002996 emotional effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 230000008451 emotion Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000000556 factor analysis Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
前記音声統計量の時間変化に基づいて、特定の属性情報を認識するための第二の特徴量を算出する第二の特徴量算出手段と、を備える。
第1の実施形態および他の実施形態にかかる音声処理装置を構成するハードウェアについて説明する。図1は、各実施形態における音声処理装置および音声処理方法を実現するコンピュータ装置10のハードウェア構成を示すブロック図である。なお、各実施形態において、以下に示す音声処理装置の各構成要素は、機能単位のブロックを示している。音声処理装置の各構成要素は、例えば図1に示すようなコンピュータ装置10とソフトウェアとの任意の組み合わせにより実現することができる。
ΔPt(x)=Pt(x)-Pt-1(x)・・・(5)
により算出する。すなわち、第二の特徴量算出部140は、インデックスの隣り合う(少なくとも2つの時点の)音響事後確率間の差分を、音響事後確率差分ΔPt(x)として算出する。そして、第二の特徴量算出部140は、上記の式(2)~(4)におけるAt(x)をΔPt(x)に置き替えて算出した話者特徴ベクトルを、第二の特徴量F2(x)として算出する。ここで、第二の特徴量算出部140は、音響特徴のインデックスtのすべてを用いる代わりに、偶数番号のみや奇数番号のみのように、一部のインデックスを用いるようにしてもよい。
次に、第1の実施形態における音声処理装置100の動作について、図4のフローチャートを用いて説明する。図4は、音声処理装置100の動作の一例を示すフローチャートである。
以上、説明したように、本実施形態にかかる音声処理装置100によれば、音声処理装置100が算出した話者特徴を用いる話者認識の精度を高めることができる。なぜならば、音声処理装置100は、第一の特徴量算出部130が話者の声質を表す第一の特徴量を算出し、第二の特徴量算出部140が話者の話し方を表す第二の特徴量を算出することで、話者の声質と話し方の双方を考慮した特徴ベクトルを特徴量として出力するからである。
図5は、第2の実施形態に係る音声処理装置200の構成を示すブロック図である。図5に示すように、音声処理装置200は、第1の実施形態で説明した音声処理装置100に加えて、さらに属性認識部160を備える。属性認識部160は、音声処理装置100と通信可能な別の装置に設けられていてもよい。属性認識部160は、第二の特徴量に基づいて、音声信号に含まれる特定の属性情報を認識する属性認識手段を担う。
本開示の最小構成の実施形態について説明する。
110 音声区間検出部
120 音声統計量算出部
130 第一の特徴量算出部
140 第二の特徴量算出部
150 音声モデル記憶部
160 属性認識部
Claims (8)
- 音声を表す音声信号に含まれる音の種類のそれぞれの出現度を表す音声統計量を算出する音声統計量算出手段と、
前記音声統計量の時間変化に基づいて、前記音声信号に関する特定の属性情報を認識するための第二の特徴量を算出する第二の特徴量算出手段と、
を備える、音声処理装置。 - 前記音声統計量に基づいて、話者の声質特徴を示す、特定の属性情報を認識するための第一の特徴量を算出する第一の特徴量算出手段をさらに備える、
請求項1記載の音声処理装置。 - 前記第二の特徴量算出手段は、
前記第二の特徴量として、少なくとも2つの時点の前記音声統計量を用いて、前記音声統計量の時間変化を算出する
請求項1または2記載の音声処理装置。 - 前記第二の特徴量算出手段は、
前記音声信号の発話内容を表す記号列であるテキスト情報と、前記音声統計量との対応付けを行い、
前記第二の特徴量として、発話内容を表す各記号の発話時間長を表す値を算出する
請求項1または2記載の音声処理装置。 - 前記第二の特徴量に基づいて、前記音声信号に含まれる特定の属性情報を認識する属性認識手段を、さらに備える、
請求項1乃至4のいずれか1項記載の音声処理装置。 - 前記特定の属性情報は、
前記音声信号を発した話者、前記音声信号を発した話者の性別、前記音声信号を発した話者の年齢、前記音声信号を構成する言語、前記音声信号に含まれる感情表現、前記音声信号から推定される話者の性格、の少なくともいずれかひとつを表す情報である、
請求項1乃至5のいずれか1項記載の音声処理装置。 - 音声を表す音声信号に含まれる音の種類のそれぞれの出現度を表す音声統計量を算出し、
前記音声統計量の時間変化に基づいて、前記音声信号に関する特定の属性情報を認識するための第二の特徴量を算出する
音声処理方法。 - 音声を表す音声信号に含まれる音の種類のそれぞれの出現度を表す音声統計量を算出する処理と、
前記音声統計量の時間変化に基づいて、前記音声信号に関する特定の属性情報を認識するための第二の特徴量を算出する処理と
を、コンピュータに実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/033027 WO2020049687A1 (ja) | 2018-09-06 | 2018-09-06 | 音声処理装置、音声処理方法、およびプログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020049687A1 JPWO2020049687A1 (ja) | 2021-08-12 |
JP7107377B2 true JP7107377B2 (ja) | 2022-07-27 |
Family
ID=69721918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020540946A Active JP7107377B2 (ja) | 2018-09-06 | 2018-09-06 | 音声処理装置、音声処理方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210327435A1 (ja) |
JP (1) | JP7107377B2 (ja) |
WO (1) | WO2020049687A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114974268B (zh) * | 2022-06-08 | 2023-09-05 | 江苏麦克马尼生态科技有限公司 | 一种基于物联网的鸟类鸣声识别监测系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002169592A (ja) | 2000-11-29 | 2002-06-14 | Sony Corp | 情報分類・区分化装置、情報分類・区分化方法、情報検索・抽出装置、情報検索・抽出方法、記録媒体および情報検索システム |
JP2017138509A (ja) | 2016-02-04 | 2017-08-10 | カシオ計算機株式会社 | 感情推定器の個人適応方法、感情推定装置及びプログラム |
WO2018051945A1 (ja) | 2016-09-14 | 2018-03-22 | 日本電気株式会社 | 音声処理装置、音声処理方法、および記録媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006071936A (ja) * | 2004-09-01 | 2006-03-16 | Matsushita Electric Works Ltd | 対話エージェント |
JP4960416B2 (ja) * | 2009-09-11 | 2012-06-27 | ヤフー株式会社 | 話者クラスタリング装置および話者クラスタリング方法 |
WO2015059947A1 (ja) * | 2013-10-22 | 2015-04-30 | 日本電気株式会社 | 音声検出装置、音声検出方法及びプログラム |
KR102188090B1 (ko) * | 2013-12-11 | 2020-12-04 | 엘지전자 주식회사 | 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 |
JP6464650B2 (ja) * | 2014-10-03 | 2019-02-06 | 日本電気株式会社 | 音声処理装置、音声処理方法、およびプログラム |
JP6306071B2 (ja) * | 2016-02-09 | 2018-04-04 | Pst株式会社 | 推定装置、推定プログラム、推定装置の作動方法および推定システム |
KR102394912B1 (ko) * | 2017-06-09 | 2022-05-06 | 현대자동차주식회사 | 음성 인식을 이용한 주소록 관리 장치, 차량, 주소록 관리 시스템 및 음성 인식을 이용한 주소록 관리 방법 |
CN109147800A (zh) * | 2018-08-30 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 应答方法和装置 |
-
2018
- 2018-09-06 US US17/273,360 patent/US20210327435A1/en not_active Abandoned
- 2018-09-06 JP JP2020540946A patent/JP7107377B2/ja active Active
- 2018-09-06 WO PCT/JP2018/033027 patent/WO2020049687A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002169592A (ja) | 2000-11-29 | 2002-06-14 | Sony Corp | 情報分類・区分化装置、情報分類・区分化方法、情報検索・抽出装置、情報検索・抽出方法、記録媒体および情報検索システム |
JP2017138509A (ja) | 2016-02-04 | 2017-08-10 | カシオ計算機株式会社 | 感情推定器の個人適応方法、感情推定装置及びプログラム |
WO2018051945A1 (ja) | 2016-09-14 | 2018-03-22 | 日本電気株式会社 | 音声処理装置、音声処理方法、および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2020049687A1 (ja) | 2020-03-12 |
JPWO2020049687A1 (ja) | 2021-08-12 |
US20210327435A1 (en) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200349956A1 (en) | Word-level blind diarization of recorded calls with arbitrary number of speakers | |
JP7342915B2 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
JP6303971B2 (ja) | 話者交替検出装置、話者交替検出方法及び話者交替検出用コンピュータプログラム | |
Hasan et al. | A study on universal background model training in speaker verification | |
Nayana et al. | Comparison of text independent speaker identification systems using GMM and i-vector methods | |
US11837236B2 (en) | Speaker recognition based on signal segments weighted by quality | |
JP7160095B2 (ja) | 属性識別装置、属性識別方法、およびプログラム | |
Behravan | Dialect and accent recognition | |
Beigi | Speaker recognition: Advancements and challenges | |
US11929058B2 (en) | Systems and methods for adapting human speaker embeddings in speech synthesis | |
KR100682909B1 (ko) | 음성 인식 방법 및 장치 | |
Herbig et al. | Self-learning speaker identification for enhanced speech recognition | |
JP7107377B2 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
JP5091202B2 (ja) | サンプルを用いずあらゆる言語を識別可能な識別方法 | |
Musaev et al. | Advanced feature extraction method for speaker identification using a classification algorithm | |
Fennir et al. | Acoustic scene classification for speaker diarization | |
JP7216348B2 (ja) | 音声処理装置、音声処理方法、および音声処理プログラム | |
JP2013160930A (ja) | 音響モデル適応装置と音声認識装置とそれらの方法と、プログラム | |
Sinha et al. | Exploring the role of pitch-adaptive cepstral features in context of children's mismatched ASR | |
Upadhyay et al. | Analysis of different classifier using feature extraction in speaker identification and verification under adverse acoustic condition for different scenario | |
Viana et al. | Self-organizing speech recognition that processes acoustic and articulatory features | |
Majetniak et al. | Speaker recognition using universal background model on YOHO database | |
JP2020086430A (ja) | 話者識別装置、話者識別方法、及び、プログラム | |
Dhinesh | Unifide framework for speaker-aware isolated word recognition | |
Weiand | Unsupervised Speaker Visualization for Forensic Speaker Comparison |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210205 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220627 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7107377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |