JP2704216B2 - 発音評価法 - Google Patents

発音評価法

Info

Publication number
JP2704216B2
JP2704216B2 JP63246733A JP24673388A JP2704216B2 JP 2704216 B2 JP2704216 B2 JP 2704216B2 JP 63246733 A JP63246733 A JP 63246733A JP 24673388 A JP24673388 A JP 24673388A JP 2704216 B2 JP2704216 B2 JP 2704216B2
Authority
JP
Japan
Prior art keywords
vector
subject
adaptation
codebook
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP63246733A
Other languages
English (en)
Other versions
JPH0293500A (ja
Inventor
洋 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP63246733A priority Critical patent/JP2704216B2/ja
Publication of JPH0293500A publication Critical patent/JPH0293500A/ja
Application granted granted Critical
Publication of JP2704216B2 publication Critical patent/JP2704216B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は外国語等の発音の良さを評価する発音評価
法に関するものである。
〔従来の技術〕
従来は、発音の評価を行う、あるいは、発音の訓練を
行うための装置において、単に教師音声と被験者(被訓
練者)の音声とのスペクトル間の距離を求め、その結果
を発声の良さを表わす値とする方式が取られていた。し
かし、この方式はスペクトル間の距離に含まれる教師の
音声と被験者の音声との様々な違いを一括にして扱うた
め、厳密な評価ができない、発音において何が問題であ
るかが明かでなく被験者に発声の何処に問題点があるか
を指摘できない、などの欠点があった。発音の良さを決
める要因としては、 (1)種々音韻が正しく発音されているか、 (2)音韻のスペクトルが時間的になめらかに変化して
いるか、 (3)発声における音韻の時間長、音声パワー、ピッチ
などの韻律的特徴が正しく発音されているか、の3点が
挙げられる。一方、発声された音声、特に連続に発声さ
れた音声中の音韻は調音結合の影響で変形しており、個
々の音韻を正しく抽出することは非常に困難である。従
って、発音の評価を行うために、また、評価結果から被
験者の発声の問題点を明確に指摘するため、これらの要
因を分離し厳密に評価する方式、しかも、それらの処理
が個々の音韻を抽出することなしに扱える方式の実現が
望まれていた。
〔課題を解決するための手段〕
この発明は被験者の音声をベクトル量子化することに
より得られるコードブックを教師音声のコードブックに
適応化することにより得られる適応化ベクトルの妥当性
を用いて、被験者の音声と教師音声との音韻間の対応が
正しく取られているかを定量的に判定し、上記発音の良
さを決定する要因のうち「種々の音韻が正しく発声され
ているか」を厳密に評価することにある。また、同時に
ベクトル量子化−話者適応化−適応化ベクトルの評価と
いう手順により、音素を抽出することなしに統計的手法
によって発声の良さを評価することにある。
〔実施例〕
以下に、この発明の実施例を図面を用いて詳細に説明
する。
第1図はこの発明の発音評価法の処理を表わすブロッ
ク図である。
まず、コードブック生成部1において教師および被験
者が発声した音声のクラスタ分析を行い教師および被験
者のコードブックを生成する。教師が発声した音声2
を、音声分析部3において音声のスペクトルの特徴を表
わすパラメータに変換する。音声分析の方法としては、
バンドパスフィルタ分析、線形予測分析、FFT分析など
種々の方法が提案されており、そのいずれかの方式を用
いて分析を行えば良い。ここでは、p次のLPC分析によ
り得られるLPCケプストラムを特徴パラメータとする場
合を考える。次に、クラスタリング演算部4において教
師音声の特徴パラメータのクラスタ分析を行い、あらか
じめ定められた数nの代表的なスペクトルパタン(コー
ドブック) t1,t2,・・・,tn を持つ教師音声のコードブック5を生成する。ただし、
tiはp次のLPCケプストラム ti={Vti,1,Vti,2,・・・,Vti,p} により表わされる。クラスタリングの手法については、
Linde,Buzo and Gray“An algorighm for vector quant
izer design"(IEEE Trans.Comm.,vol.COM−28,1980)
に詳しい。
一方、被験者が教師と同じ音声(単語、文章等)を発
声する。被験者の音声6も教師の音声と同様に音声分析
部7でp次のLPCケプストラムに変換された後、クラス
タリング演算部8でクラスタ分析されn個のコードベク
トルを持つ被験者のコードブック9、 s1,s2,・・・,sn が得られる。ただし、siはp次のLPCケプストラムsi ={Vsi,1,Vsi,2,・・・,Vsi,p} により表わされる。
次に、話者適応化部10において、被験者のコードブッ
ク9を教師のコードブック5に適応化する。話者適応化
の手法については種々提案されているが、ここでは鹿野
により提案されたヒストグラムを用いる方法(Shikano,
Lee and Reddy,“Speaker adaptation through vector
quantization"(IEEE,ICASSP86,49.5,1986)参照)を用
いた例を示す。
まず、ベクトル量子化部11において、コードブック生
成部1で作成された被験者のコードブック9を用いて被
験者の音声をベクトル量子化(符号化)する。また、ベ
クトル量子化部12において同様に、教師のコードブック
5を用いて教師の音声をベクトル量子化(符号化)す
る。
次に、マッチング演算部13において、被験者の音声を
表わすベクトルコード例と教師の音声を表わすベクトル
コード列とのマッチング演算を行い、被験者の音声と教
師音声との時間軸上での対応を取る。マッチング演算に
は、DPマッチング法、HMMなどの手法を用いれば良い。
次に、ヒストグラム生成部14においてマッチング演算
部13で得られた被験者のコードベクトルと教師のコード
ベクトルとの対応を表わすヒストグラムを生成する。
最後に、最適化コードブック生成部15において、ヒス
トグラムに従って教師のコードベクトルの線形結合によ
り教師の音声に適応した被験者のコードベクトルを作成
する。具体的には以下の式により教師音声に適応した被
験者のコードブック16を得る。
ただし、aijは被験者のコードベクトルsiに対応す
る教師のコードベクトルtjのヒストグラムの値ai
教師の音声に適応した被験者のコードブック16を構成す
るコードベクトルでai ={Vai,1,Vai,2,・・・,Vai,p} である。
話者適応化の方法についてはこの手法に限らず他の手
法も適用することができる。その場合は、適応化演算部
17をその方式に置き替えれば良い。
以上の一連の処理で得られた被験者のコードブック
9、及び、教師音声に適応化した被験者のコードブック
16を用いて、適応化ベクトル評価部18において適応化ベ
クトルの妥当性を評価し、発音の良さを評価する。
被験者のコードブック9内のコードベクトルおよび教
師のコードブック5内のコードベクトルは、被験者およ
び教師の音韻スペクトルを表わしている。音韻の数は音
素の数よりも通常は多く、その数はnを変えることによ
り自由に決定することができる。nの値としては128や2
56が通常用いられる。また、適応化後のコードブック16
内のコードベクトルは、教師音声のスペクトル空間上に
写像した被験者の音韻スペクトルを表わしている。従っ
て、適応化前の被験者のコードブロックと適応化後のコ
ードブックとの間の関係を表わす適応化ベクトルは被験
者が音韻を正しく発声しているかを表わすベクトルであ
ると考えることができる。第2図に適応化ベクトルの模
式図を示す。第2図(a)は被験者が音韻を誤って発声
している場合で、被験者の音韻と教師の音韻とが異なっ
た対応を示している。第2図(b)は被験者が音韻をは
っきり区別していない場合で、適応化後のコードベクト
ルの分離が非常に悪くなっている。さらに、第2図
(c)は被験者が音韻を区別してはいるが分離が悪い場
合である。一方、正しい発声をした場合は、第2図
(d)に示す場合のように適応化ベクトルが被験者と教
師との声道長などの差に起因する個人性のみを表わして
いるものになり、それぞれの適応化ベクトルは平行に近
いものになる。従って、適応化ベクトルが平行かつベク
トル長が均一であるほどよい発声である。
まず、「適応化ベクトルの各方向成分の分散を用いる
方法」の場合について、以下に第1図に従って手順を示
す。初めに、適応化ベクトル演算部19において被験者の
コードブック9と教師の音声に適応したコードブック16
との間の対応を表わす適応化ベクトル20を求める。適応
化ベクトルは次式により求められる。
aisi ={Vai,1,Vsi,1,・・・,Vsi,2−Vsi,2,・・
・,Vai,p−Vsi,p} ={Ui,1,Ui,2,・・・Ui,p} 次に、得られた適応化ベクトルの各成分ごとの分
散の総和を評価値演算部21において求める。すなわち評
価値EvaLは、 により求められる。ただしUave,jは第j方向成分の平
均値で である。この評価値EvaLが小さいほど適応化ベクトルと
しては平行かつ長さが安定したものであり、良い発音で
あるといえる。最終的に、評価値EvaLをそのままの値、
あるいは、100点満点の評価値、5段階評価等に変換し
て発音評価結果22を出力する。
次に、適応化ベクトルの妥当性を表わす評価値とし
て、平均適応化ベクトルと各適応化ベクトルとの間の角
度を用いる場合について説明する。この場合は、先に述
べた適応化ベクトルの平行性のみについて評価する方法
である。まず、先の場合と同様に適応化ベクトル演算部
19において被験者のコードブックと教師の音声に適応し
たコードブックとの間の対応を表わす適応化ベクトル
を求める。また、適応化ベクトルの平均ベクトル
aveを求める。次に、評価値演算部においてn個の適応
化ベクトルと平均ベクトルとの間の角度θ(i=1,・
・・,n)を次式により求める。
θ=cos-1〔(ave)/ (‖‖・‖ave‖)〕 ただし、(ave)は適応化ベクトルと平
均適応ベクトルaveとの内積を表わし、 である。また‖‖はベクトルのノルムを表わ
し、 である。以上の処理により求められたn個の角度から評
価値EvaLを計算する。評価値としては、角度θの絶対
値の総和 や、角度θの2乗和 を用いればよい。この値が小さいほど良い発音である。
最終的に得られた評価値、あるいは、100点満点の評価
値や5段階評価等に変換して発音評価結果22を出力す
る。
次に、適応化ベクトルの妥当性を表わす評価値とし
て、適応化前のコードブック内のベクトルコードの分散
と適応化後のコードブック内のコードベクトルの分散の
比を用いる場合について説明する。これは、第2図
(b),(c)に示したように被験者が音韻をはっきり
区別していない場合、被験者が音韻を区別してはいるが
分離が悪い場合に、適応化前のコードベクトルの分布範
囲と適応化後のコードベクトルの分布範囲が大きく異な
ることを利用したものである。まず、適応化前のコード
ブック内のコードベクトルの分散 と、適応化後のコードブック内のコードベクトルの分散 を求める。ただしVs ave、Va aveはそれぞれ適応化前、適
応化後のコードベクトルの平均値、dist(i,)は
コードベクトルとコードベクトルとの間のスペ
クトル距離である。スペクトル距離としてはそれぞれの
パラメータにあったものを用いれば良く、LPCケプスト
ラムの場合はユークリッド距離などがよく使われる。評
価値EvaLは以上で求められた分散D0,D1を用いて、例え
ば、 EvaL=min(D0,D1)/max(D0,D1) により求めることができる。評価値の計算はこの式に限
らずD0とD1の等しさを表わすものであれば良い。上の式
を用いた場合は値が1に近い程よい発声である。この場
合も他の適応化ベクトル評価の時と同様、評価値EvaL
そのままの値、あるいは、100点満点の評価値、5段階
評価等に変換して発音評価結果22を出力する。
評価値としては上記3例に限らず、適応化前のコード
ブックと適応化後のコードブックの関係が音韻の対応と
してみた場合に妥当であるか否かを表わしているもので
あれば良い。また、例えば上記3例の評価値の線形和な
ど種々の評価値の組みあわせで最終的な評価値を求めて
も良い。
〔発明の効果〕
以上説明したように、この発明によれば、従来被験者
と教師との音声のスペクトル間距離のみにより行ってい
た発音の良さの評価を、特に音韻が正しく発声されたか
という点に関して厳密に行うことができる。また、ベク
トル量子化の手法を用いてコードブックを作成し、教師
音声に適応化した後、適応化ベクトルを用いて発音の良
さを評価しているため、個々の音韻を抽出する必要がな
く、統計的に処理できるという利点がある。
【図面の簡単な説明】
第1図はこの発明による発音評価法の実施例を示すブロ
ック図、第2図は適応化ベクトルの評価の考え方を表わ
す模式図である。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】発音の標準とされる教師が発声した音声を
    分析した後クラスタリングしコードブックを作成し、 被験者の音声を分析した後クラスタリングしてコードブ
    ックを作成し、 その被験者音声のコードブックと上記教師音声のコード
    ブックとから上記被験者音声から上記教師音声への適応
    化ベクトルを求め、 その得られた適応化ベクトルから上記被験者の音声の発
    声の良さを表わす評価値を求めることを特徴とする発音
    評価法。
JP63246733A 1988-09-29 1988-09-29 発音評価法 Expired - Fee Related JP2704216B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63246733A JP2704216B2 (ja) 1988-09-29 1988-09-29 発音評価法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63246733A JP2704216B2 (ja) 1988-09-29 1988-09-29 発音評価法

Publications (2)

Publication Number Publication Date
JPH0293500A JPH0293500A (ja) 1990-04-04
JP2704216B2 true JP2704216B2 (ja) 1998-01-26

Family

ID=17152837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63246733A Expired - Fee Related JP2704216B2 (ja) 1988-09-29 1988-09-29 発音評価法

Country Status (1)

Country Link
JP (1) JP2704216B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69739545D1 (de) * 1996-10-02 2009-10-01 Stanford Res Inst Int Verfahren und system zur automatischen textunabhängigen bewertung der aussprache für den sprachunterricht
KR100490367B1 (ko) * 2001-08-03 2005-05-17 정택 휴대용 단어학습 장치 및 이를 이용한 단어학습 방법
KR100447371B1 (ko) * 2001-12-29 2004-09-04 주식회사 멀티채널랩스 녹음 비교 기능을 갖는 어학 학습 장치 및 이를 이용한어학학습 방법
JP4775788B2 (ja) * 2005-01-20 2011-09-21 株式会社国際電気通信基礎技術研究所 発音評定装置、およびプログラム
JP5079718B2 (ja) * 2009-01-23 2012-11-21 株式会社日立製作所 外国語学習支援システム、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
電子情報通信学会技術研究報告[音声] SP88−74,P.49〜52 (昭和63年10月)

Also Published As

Publication number Publication date
JPH0293500A (ja) 1990-04-04

Similar Documents

Publication Publication Date Title
US7957959B2 (en) Method and apparatus for processing speech data with classification models
Tiwari MFCC and its applications in speaker recognition
JP3037864B2 (ja) 音声コード化装置及び方法
US5745873A (en) Speech recognition using final decision based on tentative decisions
US8401861B2 (en) Generating a frequency warping function based on phoneme and context
Kumar et al. Design of an automatic speaker recognition system using MFCC, vector quantization and LBG algorithm
Kumar et al. Spoken language identification using hybrid feature extraction methods
US20010010039A1 (en) Method and apparatus for mandarin chinese speech recognition by using initial/final phoneme similarity vector
EP0475759B1 (en) Phoneme discrimination method
Abe et al. Statistical analysis of bilingual speaker’s speech for cross‐language voice conversion
US20030036905A1 (en) Information detection apparatus and method, and information search apparatus and method
JP2704216B2 (ja) 発音評価法
Omer Joint MFCC-and-vector quantization based text-independent speaker recognition system
Koniaris et al. Selecting static and dynamic features using an advanced auditory model for speech recognition
Unnibhavi et al. A survey of speech recognition on south Indian Languages
JPH1097274A (ja) 話者認識方法及び装置
Mengistu et al. Text independent Amharic language dialect recognition: A hybrid approach of VQ and GMM
Mousa MareText independent speaker identification based on K-mean algorithm
CN113611309B (zh) 一种音色转换方法、装置、电子设备及可读存储介质
JP2834471B2 (ja) 発音評価法
Kuah et al. A neural network-based text independent voice recognition system
Chandrasekaram New Feature Vector based on GFCC for Language Recognition
Jenhi et al. Comparative evaluation of different HFCC filter-bank using Vector Quantization (VQ) approach based text dependent speaker identification system
Sangwan Feature Extraction for Speaker Recognition: A Systematic Study
Agarwal et al. Significance of excitation source sequence information for Speaker Verification

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees