JPH0434499A - 発声法指示装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

この発明は、音節認識結果あるいは音韻認識結果に基づ
く音声認識装置におけるユーザ支援装置としての発声法
指示装置に関する。

【従来の技術】

音節認識結果に基づく特定話者用音声認識装置として第
１３図に示すようなものがある。第１３図において、音
響処理部１に入力された音声信号はＡ／Ｄ変換され、パ
ワー、ケプストラム係数等の特徴パラメータが抽出され
る。そしてさらに、この特徴パラメータからパワー変化
やスペクトル変化が算出される。そうすると、音節切出
部２では、パワー変化やスペクトル変化の変化点から音
節境界候補が求められる。そして、上記音節切出部２に
おいて音節候補毎に切り出された入力音声の特徴パラメ
ータの時系列（特徴パターン）と、音節標準パターン格
納部５に格納された音節標準パターンとのマツチングが
音節照合部３によって実施され、その結果複数の音節候
補の時系列から成る音節ラティスが得られる。その際に
、音節ラティスの各音節候補には標準パターンとの類似
度に基づく信頼度が付加され、その信頼度の高い順に音
節候補が配列されているのである。言語処理部４では上
記音節ラティスから順次選出される音節候補の組み合わ
せと単語辞書との照合が行われて、文法的に意味のある
単語候補が認識結果として出力されるのである。 上記音節認識結果に基づく特定話者用音声認識装置にお
いては、音節切出部２で求めた音節境界候補の位置に従
って音節候補毎の特徴パターンを切り出し、この音節候
補毎の特徴パターンに基づいて単語候補を得るので、次
のような問題がある。 すなわち、話者の発声がはっきりしない場合には、明瞭
なパワー変化やスペクトル変化の変化点が得られない場
合がある。その場合には、得られる音節境界候補の位置
がはっきりせず誤った音節境界候補の位置を求めてしま
う。その結果、音節切り出し時において、音節の脱落、
音節の併合、音節の分離誤り等が生じてしまうのである
。 しかしながら、音声認識装置の操作に熟達した人は、経
験によって上述のような切り出し誤りが生じ易い音節や
音節位置（語頭１語中および語尾）をよく知っている。 したかって、その音節や音節位置の際に注意して明瞭に
発声することによって、高い音声認識率を得ることがで
きるのである。 これに対して、初心者は、身近に熟練者やインストラク
タがいない場合には、経験によって上記切り出し誤りが
生じ易い音節や音節位置および明瞭な発声方法を会得し
なければならず、音声認識装置を使いこなすには時間が
掛かるという問題がある。 従来、このような問題に対処するために、入力された音
声信号から発声速度を検出し、この検出された発声速度
がある閾値を越えた場合には、発声速度を低めるような
メツセージを出力するような発声法指示部を備えた音声
認識装置がある。

【発明が解決しようとする課題】

上述のように、音節認識結果に基づく特定話者用音声認
識装置においては、得られる音節境界候補の位置がはっ
きりしない場合には音節の脱落。 音節の併合、音節の分離誤り等が生しる。そこで、高い
認識率を得るためには明瞭な音節境界候補の位置が得ら
れるように発声しなければならない。 ところが、上記発声法指示部を備えた音声認識装置にお
いては、単に発声速度を低めるようなメソセージを出力
するだけである。したがって、そのようなメツセージか
らは具体的にどのように発声すれば明瞭な音節境界候補
の位置が得られるかは不明であり、ユーザがメツセージ
に従って発声しても正しい発声かできないのである。 そこで、この発明の目的は、身近に熟練者やインストラ
クタがいない初心者であっても音声認識装置を短時間の
うちに使いこなせ、かつ高い音声認識率を得ることがで
きるように、ユーザの発声法を訓練するための発声指示
装置を提供することにある。

【課題を解決するための手段】

上記目的を達成するため、この発明の発声法指示装置は
、発声すべき音節の順序を表す発声音節列又は発声音韻
列に従って発声された音声に基づく音声信号から特徴パ
ターンを抽出し、この抽出された特徴パターンに基づい
て上記音声信号を音節単位又は音韻単位で認識して音節
ラティス又は音韻ラティスを生成する音声認識部と、上
記音声認識部によって生成された音節ラティス又は音韻
ラティスと上記発声音節列又は発声音韻列とを取り込ん
で、上記発声音節列の各音節位置と上記音節ラティスの
総ての音節位置との距離あるいは上記発声音韻列の各音
韻位置と上記音韻ラティスの総ての音韻位置との距離を
所定の手順で算出する距離計算部と、上記距離計算部に
よって算出された上記距離を用いて、上記発声音節列と
上記音節ラティスとのＤＰマツチングあるいは上記発声
音韻列と上記音韻ラティスとのＤＰマツチングを行って
、ＤＰパスの終点から始点に向かって上記ＤＰパスを遡
る際における各格子点から次の格子点への方向を表すパ
ス行列を生成するＤＰ部と、上記ＤＰ部によって生成さ
れた上記パス行列で表される上記方向に基づいて、上記
発声音節列の各音節位置と上記音節ラティスの各音節位
置とを対応付けた対応表あるいは上記発声音韻列の各音
韻位置と上記音韻ラティスの各音韻位置とを対応付けた
対応表を作成する対応表作成部と、上記対応表作成部に
よって作成された上記対応表を参照して、上記発声音節
列と音節ラティスとの音節位置対応関係あるいは発声音
韻列と音韻ラティスとの音韻位置対応関係が１対１でな
い箇所を検索し、この検索された箇所とその箇所におけ
る上記音節位置対応関係又は音韻位置対応関係とに従っ
て、上記発声音節列又は発声音韻列をより正しく発声す
るための発声法指示メツセージを生成する発声法指示メ
ツセージ生成部を備えたことを特徴としている。

【作用】

発声音節列又は発声音韻列に従って発声された音声に基
づく音声信号が音声認識部に入力され、音節単位又は音
韻単位で認識されて音節ラティス又は音韻ラティスが生
成される。そして、距離計算部によって、上記音節ラテ
ィス又は音韻ラティスと上記発声音節列又は発声音韻列
とが取り込まれて、上記発声音節列の各音節位置と上記
音韻ラティスの総ての音節位置との距離あるいは上記発
声音韻列の各音韻位置と上記音韻ラティスの総ての音韻
位置との距離が所定の手順で算出される。 そうすると、ＤＰ部は、上記距離計算部によって算出さ
れた上記距離を用いて、上記発声音節列と上記音節ラテ
ィスとのＤＰマツチングあるいは上記発声音韻列と上記
音韻ラティスとのＤＰマツチングを行って、ＤＰババス
終点から始点に向かって上記ＤＰパスを遡る際における
各格子点から次の格子点への方向を表すパス行列を生成
する。そして、対応表作成部によって、上記ＤＰ部で生
成された上記パス行列で表される上記方向に基づいて、
上記発声音節列の各音節位置と上記音節ラティスの各音
節位置とを対応付けた対応表あるいは上記発声音韻列の
各音韻位置と上記音韻ラティスの各音韻位置とを対応付
けた対応表が作成される。 そうすると、発声法指示メツセージ生成部は、上記対応
表作成部によって作成された上記対応表を参照して、上
記発声音節列と音節ラティスとの音節位置対応関係ある
いは上記発声音韻列と音韻ラティスとの音韻位置対応関
係が１対！でない箇所を検索し、この検索された箇所と
その箇所における上記音節位置対応関係又は音韻位置対
応関係とに従って、上記発声音節列又は発声音韻列をよ
り正しく発声するための発声法指示メツセージを生成す
る。 したがって、ユーザは、上記発声法指示メツセージ生成
部によって生成される発声法指示メツセージに従って発
声法を訓練することによって、明瞭な音節境界候補の位
置が得られるような発声法を会得することができるので
ある。

【実施例】

以下、この発明を図示の実施例により詳細に説明する。 第１図はこの発明の発声法指示装置のブロック図である
。第１図は第１３図に示すブロック図と大略同じであり
、発声法指示部１６を備えた点が異なる。 この発声法指示装置は、処理モードを認識モードに切り
替えることによって発声法指示部！６が非動作状態とな
り、音響処理部Ｉｆ、音節切出部１２、音節照合部！３
および言語処理部１４が上述のような特定話者用音声認
識装置として動作して入力音声を認識し、言語処理部１
４から認識結果を出力する。一方、インストモードに切
り替えることによって発声法指示部１６が動作状態とな
り、以下に詳述するように発声法指示装置として動作す
る。 すなわち、予め設定されてメモリ（図示せず）に格納さ
れた発声すべき音節の順序を表す複数の発声音節列のう
ち、一つの発声音節列（例えば、「わらしの」）が表示
画面（図示せず）等に表示される。 そして、ユーザはこの表示された発声音節列と同じ音節
列を発声する。そうすると、ユーザの発声による音声に
基づく音声信号は音響処理部１１に入力されて音声信号
のパワー変化やスペクトル変化が算出され、さらに音節
切出部Ｉ２によって音節境界候補毎の特徴パターンが切
り出される。そして、音節照合部！３によって上記特徴
パターンと音節標準パターン格納部！５に格納された音
節標準パターンとに基づいて音節ラティスが生成される
。 こうして得られた音節ラティスは発声法指示部１６に入
力される。そうすると、発声法指示部Ｉ６は入力された
音節ラティスと上記メモリから読み出された発声音節列
とからユーザに対する発声法指示のメツセージを生成し
て出力するのである。 こうすることによって、ユーザは先程発声した発声音節
列について、どのように発声したら正しい音節境界候補
が得られるかを知ることができるのである。すなわち、
ユーザは、上記発声法指示メツセージに従って発声法を
訓練することによって、音声認識装置を使いこなすため
の発声法を会得することができるのである。 第２図は上記発声法指示部】６の詳細なブロック図であ
る。この発声法指示部１６は、距離計算部２１．ＤＰ部
２２．音節対応表作成部２３および発声法指示メツセー
ジ生成部２４から概略構成される。 上記距離計算部２１は、第１図に示す音節照合部１３か
ら入力される音節ラティス（第４図に例示）とメモリ等
から読み出された発声音節列（第３図に例示）とから、
後に詳述するようにして発声音節列の音節位置と音節ラ
ティスの音節位置との距離を算出して、発声音節列にお
ける音節位置番号を行とし音節ラチスにおける音節位置
番号を列とする距離行列（第５図に例示）を作成する。 ＤＰ部２２は、後に詳述するように動的計画法（ＤＰ）
によって、発声音節列の音節位置番号と音節ラティスの
音節位置番号との最適な対応関係を求めるための累積行
列（第６図に例示）を作成し、さらにこの累積行列から
パス行列（第７図に例示）を作成する。音節対応表作成
部２３は、ＤＰ部２２によって作成されたパス行列の終
点から始点までＤＰパスを逆にたどって、行と列との最
適な対応関係を表す音節対応表（第８図に例示）を作成
する。発声法指示メツセージ生成部２４は、音節対応表
作成部２３によって作成された音節対応表を参照して音
節切り出し誤りの種類と位置とを判定する。そして、再
発声の際に音節切り出し誤りを回避できるように発声法
指示メツセージを生成して出力する。 第５図に例示する距離行列、第６図に例示する累積行列
、第７図に例示するパス行列および第８図に例示する音
節対応表は、第３図に示すような発声音節列「わらじの
」と、ユーザが「わらじの」と発声した際に２音節目が
脱落する一方４音節目が長音化した場合に上記音節照合
部１３によって得られる第４図に示すような音節ラティ
スとに基づいて作成されたものである。但し、第４図に
おいては音節候補「わＪ、ｒＬＪ、ｒの」および「お」
以外の音節候補は省略して表現しである。 第９図は、上記距離計算部２１によって実施される距離
行列作成処理動作のフローチャートである。以下、第９
図に従って距離行列作成処理動作について詳細に説明す
る。 ここで、 ｒｅｒ（ｉ）：発声音節列におけるｉ番目の音節１ｎ（
ｊ、ｋ）：音節ラティスのｊ番目の音節位置における信
頼変事に位の音節候補 ｄ（ｉ、Ｄ：距離行列の要素値 １、Ｊ、に：夫々ｉ、ｊ、にの最大値（但し、本実施例
においてはに＝４） ａ＋：作業用変数 とする。 ステップＳｌで、発声音節列における音節位置番号ｉに
初期値“ビがセットされる。 ステップＳ２で、音節ラティスにおける音節位置番号ｊ
に初期値“ビがセットされる。 ステップＳ３で、作業用変数ｍに初期値“ｌＯ”がセッ
トされ、音節ラティスにおける音節候補の信頼度順位ｋ
に初期値“１”がセットされる。 ステップＳ４で、ｒｅｆ（ｉ）＝　１ｎ（ｊ、ｋ）が成
立するか否かが判定される。その結果成立すればステッ
プＳ５に進み、そうでなければステップＳ５をスキップ
する。 すなわち、発声音節列におけるｉ番目の音節と音節ラテ
ィスにおけるｊ番目の音節候補群中の信頼変事に位の音
節候補とが同じである場合にはステップＳ５を実施する
のである。 ステップＳ５で、作業用変数１の内容が“ｋ＋２”に更
新される。 ステップＳ６で、信頼度順位にの内容がインクリメント
される。 ステップＳ７で、ｋ＞Ｋが成立するか否かが判定される
。その結果、成立すればステップＳ８に進む。一方、成
立しなければステップＳ４に戻って、発声音節列におけ
るｉ番目の音節と音節ラティスのｊ番目の音節候補群中
における次の信頼度順位の音節候補とが比較される。 ステップＳ８で、距離行列の要素値ｄ（ｉ、Ｄの内容が
“−“に更新される。 ステップＳ９で、音節ラティスにおける音節位置番号ｊ
の内容がインクリメントされる。 ステップＳｌＯで、ｊ＞Ｊが成立するか否かが判定され
る。その結果、成立すればステップＳｌｌに進む。一方
、成立しなければステップＳ３に戻って、発声音節列に
おけるｉ番目の音節と音節ラティスにおける次の音節位
置番号の総ての音節候補とが比較される。 ステップＳｌｌで、発声音節列における音節位置番号１
の内容がインクリメントされる。 ステップＳ１２で、ｉ＞１が成立するか否かが判定され
る。その結果、成立しなければステップＳ２に戻って発
声音節列における次の音節位置番号の音節と音節ラティ
スにおける総ての音節候補とが比較される。一方、成立
すれば距離行列作成処理動作を終了する。 こうして、第５図に示すような距離行列が作成される。 この距離行列は発声音節列における音節位置番号ｉを行
とする一方音節ラティスにおける音節位置番号ｊを列と
し、その要素値は音節位置番号ｉに属する音節と音節位
置番号ｊに属する各音節候補との互いの信頼度に基づく
距離（最大値“１０”）の最小値である。すなわち、距
離行列は、発声音声列における音節位置番号ｉと音節ラ
ティスにおける音節位置番号ｊとの距離を表していると
言えるのである。 第１０図は、上記ＤＰ部２２によって実施される累積行
列／パス行列作成処理動作のフローチャートである。以
下、第１０図に従って累積行列／パス行列作成処理動作
について詳細に説明する。 ここで、 ｄ（ｉ、コ）：距離行列の要素値 ｇ（ｉ、ｊ）・累積行列の要素値 ｐｔ（ｉ、ｊ）：パス行列の要素値 １、Ｊ：夫々ｉ、ｊの最大値 ｄｉ、ｄ２．ｄ３．ｍ：作業用変数 とする。 ステップＳ２１で、累積行列の要素値ｄ（１，１）に距
離行列の要素値ｇ（１，１）の要素値がセットされ、パ
ス行列の要素値ｐｔ（ｔ、ｔ）が“０”にセットされる
。 ステップＳ２２で、距離行列、累積行列およびパス行列
の行番号ｉ（発声音節列における音節位置番号ｉに対応
）に°２“がセットさ−れる。 ステップＳ２３で、累積行列における１行１列の要素値
ｇ（ｉ、１）が、累積行列および距離行列に基づいて次
式によって算出される。 ｇ（ｉ、１）＝ｇ（ｉ−１，１）＋ｄ（ｉ、１）また、
パス行列における１行１列の要素値ｐＬ（ｉｌ）が“ビ
にセットされる。 ステップＳ２４で、行番号ｉの内容がインクリメントさ
れる。 ステップＳ２５で、ｉ＞１が成立するか否かが判定され
る。その結果、成立すればステップＳ２６に進む。一方
、成立しなければステップＳ２３に戻って、累積行列の
１列目における次行の要素値が算出される。 こうして、行番号ｉの内容を順次インクリメントしてス
テップＳ２３を繰り返して実行することによって、累積
行列における１列目の各要素値は距離行列における１列
目の各要素値の累積値となる。 また、バス行列の１列目における２行目以降の総ての要
素値は“ビとなるのである。 ステップＳ２６で、距離行列１累積行列およびバス行列
の列番号ｊ（音節ラティスにおける音節位置番号ｊに対
応）に“２“がセットされる。 ステップＳ２７で、累積行列における１行ｊ列の要素ｆ
ｔｉｇ（１，ｊ）が、累積行列および距離行列に基づい
て次式によって算出される。 ｇ（１，ｊ）＝ｇ（１，ｊ−１）＋ｄ（１，ｊ）また、
パス行列における１行ｊ列の要素値ｐｔ（１ｊ）が“３
”にセットされる。 ステップ６２ｇで、列番号ｊの内容がインクリメントさ
れる。 ステップＳ２９で、ｊ＞Ｊが成立するか否かが判定され
る。その結果、成立すればステップＳ３０に進む。一方
、成立しなければステップＳ２７に戻って、累積行列の
１行目における次列の要素値が算出される。 こうして、列番号ｊの内容を順次インクリメントしてス
テップＳ２７を繰り返して実行することによって、累積
行列における１行目の各要素値は距離行列における１行
目の各要素値の累積値となる。 また、バス行列の１行目における２列目以降の総ての要
素値は“３”となるのである。 ステップＳ３０で、上記列番号ｊに“２”がセットされ
る。 ステップＳ３１で、上記行番号１１ご２”がセットされ
る。 ステップＳ３２で、作業変数ｄ１．ｄ２およびｄ３の内
容が次式に従って更新される。 ｄｌ＝ｇ（ｉ−１，ｊ） ｄ２＝ｇ（ｉ−１，ｊ−１） ｄ３＝ｇ（ｉ、ｊ−１） ステップＳ３３で、ｄｌ、ｄ２．ｄ３中において、ｄｌ
の値が最小であるか否かが判定される。その結果最小で
あればステップＳ３４に進み、そうでなければステップ
Ｓ３５に進む。 ステップＳ３４で、累積行列の要素値ｇ（ｉ、Ｄが“ｄ
ｌ”にセットされ、バス行列の要素値ｐｔ（ｉ、ｊ）が
“Ｉ”にセットされてステップ８３８に進む。 ステップＳ３５で、ｄｉ、ｄ２．ｄ３中において、ｄ３
の値が最小であるか否かが判定される。その結果最小で
あればステップＳ３６に進み、そうでなければステップ
Ｓ３７に進む。 ステップＳ３６で、累積行列の要素値ｇ（ｉｊ）が“ｄ
３”にセットされ、パス行列の要素値ｐｔ（ｉ、Ｄが“
３”にセットされてステップＳ３８に進む。 ステップＳ３７で、累積行列の要素値ｇ（ｉ、Ｄが“ｄ
２”にセットされ、バス行列の要素値ｐＬ（ｉ、Ｄが“
２”にセットされる。 ステップＳ３８で、累積行列の要素値ｇ（ｉ、ｊ）の内
容が次式によって更新される。 ｇ（ｉ、ｊ）＝ｇ（ｉ、ｊ）＋ｄ（ｉ、コ）ステップＳ
３９で、行番号ｉの内容がインクリメントされる。 ステップＳ４０で、ｉ＞Ｉが成立するか否かが判定され
る。その結果、成立すればステップＳ４１に進む。一方
、成立しなければステップＳ３２？こ戻って、累積行列
およびパス行列のｊ列における次の行の要素値が求めら
れる。 ステップＳ４１で、列番号ｊの内容がインクリメントさ
れる。 ステップＳ４２で、ｊ＞Ｊが成立するか否かが判別され
る。その結果、成立しなければステップＳ３１に戻って
、累積行列およびパス行列における次の列における２行
目以降の総ての要素値が求められる。一方、成立すれば
累積行列／バス行列作成処理動作を終了する。 こうして、第６図に示すような累積行列と第７図に示す
ようなバス行列が作成される。上記累積行列は、発声音
節列における音節位置番号ｉを行とする一方音節ラティ
スにおける音節位置番号ｊを列とし、その要素値は距離
行列における要素（１，１）から要素（ｉ、ｊ）に至る
経路のうち最短経路における累積距離の値を表している
のである。 一方、パス行列は、発声音節列における音節位置番号ｉ
を行とする一方音節ラティスにおける音節位置番号ｊを
列とし、その要素値はパス行列の終点（第７図において
は要素（４、４））から始点（第７図においては要素（
１，１））に向かって最短経路（すなわち、ＤＰパス）
上を遡る際のある要素から次の要素へ向かう方向を表し
ている。つまり、パス行列における要素値ｐｔ（ｉ、ｊ
）が“３°の場合には要素（ｉ、Ｄから上記ＤＰパス上
を遡る際の次の要素は（ｉ、ｊ（）であり、“２“の場
合には（ｉ−１，ｊ−１）であり、“ｌ”の場合には（
ｉ−１，ｊ）であることを表しているのである。 以上のことから、上記ＤＰパスを遡ると言うことは、発
声音節列における音節位置番号ｉと音節ラティスにおけ
る音節位置番号ｊとを最適に対応付けることであると言
える。 第１！図は、上記音節対応表作成部２３によって実施さ
れる音節対応表作成処理動作のフローチャートである。 ここでは、上述のようにＤＰ行列の終点から始点に向か
ってＤＰパス上を遡りながら、発声音節列における音節
位置番号ｉと音節ラティスにおける音節位置番号ｊとを
最適に対応付ける音節対応表を作成するのである。以下
、第１１図に従りて音節対応表作成処理動作について詳
細に説明する。 ここで、 ｐｔ（ｉ、Ｄ：パス行列の要素値 ＋１１１１）（ｉ、１２）：音節対応表の要素値Ｉ：ｉ
の最大値（発声音節列における 音節長） Ｊ：ｊの最大値（音節ラティスにおけ る音節長） Ｌ：Ｑの最大値（本実施例においては “２“） とする。また、音節対応表の各要素値ｍａｐ（ｉ、Ｉ２
）には初期値として“０“がセットされているものとす
る。 ステップＳ５１で、パス行列における行番号ｉおよび音
節対応表における音節位置番号ｌ（発声音節列における
音節位置番号ｉに対応）に“ビがセットされ、パス行列
の列番号ｊに“Ｊ“がセットされる。 ステップＳ５２で、音節対応表の要素値ｍａｐ（ｉ、１
）が“０″であるか否かが判別される。その結果“０“
であればステップＳ５３に進み、そうでなければステッ
プＳ５４に進む。 ステップＳ５３で、音節対応表の要素値ｍａｐ（ｉ、１
）に“ｊ′がセットされてステップＳ５５に進む。 ステップＳ５４で、音節対応表の要素（ｉ、１）には既
にある値がセットされているので、要素（Ｌ２）の要素
値ａ＋ａｐ（ｉ、ｌ）として“ｊ”がセットされる。 ステップＳ５５で、パス行列の要素値ｐｔ（ｉ、ｊ）が
“０“であるか否かが判別される。その結果“０”でな
ければステップＳ５６に進み、１０”であればパス行列
の終点に至ったので音節対応表作成動作を終了する。 ステップＳ５６で、パス行列の要素値ｐｔ（ｉ、Ｄが“
１“であるか否かが判別される。その結果“１″″であ
ればステップＳ５７に進み、“ビでなければステップＳ
５８に進む。 ステップＳ５７で、パス行列における行番号ｉおよび音
節対応表における音節位置番号ｉの内容がデクリメント
されてステップＳ５２に戻り、次の処理に入る。 ステップ９５８で、パス行列の要素値ｐｔ（ｉ、ｊ）が
°３″であるか否かが判別される。その結果“３″であ
ればステップＳ５９に進み、“３°でなければステップ
Ｓ６０に進む。 ステップＳ５９で、パス行列における列番号ｊの内容が
デクリメントされてステップＳ５２に戻り、次の処理に
入る。 ステップＳ６０で、パス行列における行番号ｉおよび音
節対応表における音節位置番号ｉの内容と、パス行列に
おける列番号ｊの内容とがデクリメントされてステップ
Ｓ５２に戻り、次の処理に入る。 そして、上述にようにステップＳ５５において、パス行
列の要素値ｐｔ（ｉ、Ｄが“０”であると判別されると
、パス行列における終点に至ったとして音節対応表作成
動作を終了するのである。 こうして、パス行列における終点から始点に向かってＤ
Ｐババス上遡りながら音節対応表における要素値を求め
ることによって、第８図に示すような、発声音節列にお
ける音節位置番号ｉと音節ラティスにおける音節位置番
号ｊとの最適な対応関係を表す音節対応表が作成される
のである。 第８図においては次のことを意味する。すなわち、発声
音節列における第１音節（すなわち、音節「わ」）と音
節ラティスにおける第１音節とが対応し、発声音節列に
おける第２．３音節（すなわち、連続した音節「ら−シ
」）と音節ラティスにおける第２音節が対応し、発声音
節列における第４音節（すなわち、音節「の」）と音節
ラティスにおける第３．４音節とが対応することを表し
ているのである。 つまり、この場合には、発声音声列と音節ラティスとの
音節位置対応関係が発声音節列における第２音節および
第４音節の箇所においてＩ対ｌとはならず不自然である
。そこで、発声法指示メツセージ生成部２４は、この発
声音節列と音節ラティスとの音節位置対応関係がｌ対！
ではない箇所を検索して、その音節位置対応関係に応じ
た発声法指示メツセージを生成するのである。 第１２図は、上記発声法指示メツセージ生成部２４によ
って実施される発声法指示メツセージ生成処理動作のフ
ローチャートである。以下、第１２図に従って、発声法
指示メツセージ生成処理動作について詳細に説明する。 ここで、 ｒｅｆ（ｉ）：発声音節列（こおけるｉ番目の音節ｍａ
ｐ（ｉ、１２）：音節対応表の要素値Ｉ：ｉの最大値（
発声音節列Ｊこおける音節長） ＊ｅｓｄ： ａｅｓｏ： ■ｅｓｌ： ｅｓ３ 園ｅｓｈ ｗｅｓｔ： Ｓａ、■ｂ： ｃｈａｒ（ｘ）　： 発声法指示メツセージを表す文字 列 文字列“第” 文字列“音節口の” 文字列“を明瞭に発声して下さい” 文字列“をのばさないで下さい“ 文字列“語頭の” 文字列“語尾の” 作業用変数 数字“Ｘ”を対応する文字コードに 変換する関数 とする。 ステップＳ７１で、発声指示メツセージｍｅｓｓの内容
が空白（スペース）にされる。 ステップＳ？２で、発声音節列における音節位置番号ｉ
および音節対応表における音節位置番号ｉの初期値が“
ピにセットされる。 ステップＳ７３で、音節対応表における要素値５ａｐ（
ｉ、２）が“０”であるか否かが判別される。 すなわち、発声音節列における一つの音節位置番号に対
して、音節ラティスにおける２つの音節位置番号が対応
しているか否かが判別されるのである。 その結果“０”であれば（すなわち、一つの音節位置番
号のみが対応していれば）ステップＳ８１に進み、そう
でなければ（すなわち、２つの音節位置番号が対応して
いれば）ステップＳ７４に進む。 ステップＳ７４で、作業用変数ｍａ、ａ＋ｂの内容が空
白にされる。 ステップＳ７５で、作業用変数ｍａ、ａ＋ｂの内容が次
式によって更新される。 ｒａｎ　←ｍｅｓｄ＋ｃｈａｒ（ｉ）＋ａｅｓ。 ｍｂ　４−　ｒｅｆ（ｉ）＋ｇ＋ｅｓ３その結果、作業
変数ｍａの内容は″第”＋“ｉの内容に対応する数字”
＋“音節口の“となる一方、作業変数ｍｂの内容は“発
声音節列におけるｉ番目の音節°＋“をのばさないで下
さ、い”となる。 ステップＳ７６で、発声音節列における音節位置番号ｉ
の内容が“ビであるか否かが判別される。 その結果“ビであればステップＳ７７に進み、そうでな
ければステップＳ７８に進む。 ステップＳ７７で、作業用変敗ｍａの内容が次式によっ
て再更新されて“語頭の”となり、ステップＳ８０に進
む。 ａｈａ　←　ｍｅｓｈ ステップ５７８で、発声音節列における音節位置番号ｉ
の内容が“ビであるか否かが判別される。 その結果“■“であればステップＳ７９に進み、そうで
なければステップＳ８０に進む。 ステップＳ７９で、作業用変数ｌｌ１ａの内容が次式に
よって再更新されて“語尾の“となる。 ｍａ　←　ｗｅｓｔ ステップＳ８０で、発声法指示メツセージｍｅｓｓの内
容が次式によって更新される。 園ｅｓｓ　　４−　　ｍｅｓｓ＋＋＋ａ＋ｍｂステップ
Ｓ８１で、音節対応表における要素値＠ａｐ（ｉ、ｌ）
と要素値ｍａｐ（ｉ＋１．１）とが等しいか否かが判別
される。すなわち、発声音節列における２つの連続した
音節位置番号が、音節ラティスにおける一つの音節位置
番号に対応しているか否かが判別されるのである。 その結果等しければ（すなわち、２つの音節位置番号が
対応していれば）ステラ７Ｓ　８２に進み、そうでなけ
れば（すなわち、一つの音節位置番号が対応していれば
）ステップＳ８９に進む。 ステップＳ８２で、作業用変数Ｉｌａ、Ｉｌｂの内容が
空白にされる。 ステップ５１１３で、作業用変数ａ＋ａ、ｍｂの内容が
次式によって更新される。 ｓａ　←ｍｅｓｄ＋ｃｈａｒ（ｉ）＋ｓｅｓ。 ｓｂ　　ａ−ｒｅｆ（ｉ）＋ｍｅｓｌ その結果、作業変数ｓａの内容は“第”十“ｉの内容に
対応する数字°＋“音節口の°となる一方、作業変数ｍ
ｂの内容は“発声音節列におけるｉ番目の音節”＋“を
明瞭に発声して下さい”となる。 ステップＳ８４で、発声音節列における音節位置番号ｉ
の内容が“ｌ”であるか否かが判別される。 その結果“ビであればステップＳ８５に進み、そうでな
ければステップＳ８６に進む。 ステップＳ８５で、作業用変数１８の内容が次式によっ
て再更新されて“語頭の“となり、ステップＳ８８に進
む。 ｏｌａ←ｌ１ｅＳｈ ステップＳ８６て、発声音節列における音節位置番号１
の内容が“じであるか否かが判別される。 その結果“ピであればステップＳ８７に進み、そうでな
ければステップＳ８ｇに進む。 ステップＳ８？で、作業用変数＋＋＋ａの内容が次式に
よって再更新されて“語尾の”となる。 ｍａ　４−　　ｗｅｓｔ ステップＳ８ｇで、発声法指示メツセージ＠ｅｓｓの内
容が次式によって更新される。 ｍｅｓｓ　　４−　５ｅｓｓ＋ｍａ＋ｍｂステップＳ８
９で、発声音節列における音節位置番号ｉおよび音節対
応表における音節位置番号ｉの内容がインクリメントさ
れる。 ステップ６９０で、ｉ＞１が成立するか否かが判別され
る。その結果、成立しなければステップ８７３に戻って
、発声音節列および音節対応表における次の音節位置番
号に係る処理が実行される。 方、成立すれば発声法指示メツセージ生成処理動作を終
了する。 こうして音節対応表を参照して、発声音節列における一
つの音節位置番号に音節ラティスにおける２つの連続し
た音節位置番号が対応している場合には、その１音節を
伸ばさないで発声するようにメツセージを出力する。一
方、発声音節列における２つの連続した音節位置番号が
音節ラティスにおける一つの音節位置番号に対応してい
る場合には、その連続する２音節を明瞭に発声するよう
にメツセージを出力するのである。 以下、発声音節列「わらじの」（第３図）とそれに対す
る音節ラティス（第４図）とから得られた第８図に示す
音節対応表に従って、上述の発声法指示メツセージ生成
処理動作について、発声法指示メツセージｍｅｓｓの内
容を例示しながら更に具体的に説明する。 まず、発声法指示メツセージｍｅｓｓの内容が空白に設
定される。 ｍｅｓｓ　　　　　’　　　（空白） ・・・ステップＳ７１ 次に、発声音節列における第１音節「わ」と音節ラティ
スにおける音節位置との対応関係が調べられる。その結
果、音節対応表における要素（１，２）の内容は“０°
であり、かつ、音節対応表における要素（１，１）の内
容“ｌ”と要素（２，１）の内容“２”とは異なる。し
たがって、発声音節列における第１音節「わ」には、音
節対応表における要素（１，１）の値′１°で表現され
た音節ラティスの第１音節が対応していると判定される
。つまり、発声音節列における第１音節「わ」は正しく
発声されていると判定されて発声法指示メツセージ１Ｉ
ｌｅｓｓの内容はスペースのままとなる。 ・・・ステップＳ７３ステツプＳ８１ 次に、発声音節列における第２音節「ら」と音節ラティ
スにおける音節位置との対応関係が調べられる。その結
果、音節対応表における要素（２，２）の内容は１０”
であるが、音節対応表における要素（２，１）の内容“
２”と要素（３，１）の内容“２”とは同じである。し
たがって、発声音節列における第２音節「らＪと第３音
節「シ」とには、音節対応表における要素（２，１）お
よび要素（３，１）の値“２”で表現された音節ラティ
スの第２音節が対応していると判定される。つまり、発
声音節列における第２音節「ら」の発声が明瞭でないた
めに脱落したと判定されるのである。 ・・・ステップＳ７３ステツプＳ８１ そこで、作業用変数１ｌＩａの内容を“第”＋“２　（
＝　ｉ）“＋゛音節目の”とする。一方、作業用変数１
ｌＩｂの内容を“丁ら」”＋“を明瞭に発声して下さい
”とする。 ・・・ステップＳ８３ そして、作業用変数ｆｆ１ａの内容と作業用変数ｍｂの
内容とから、発声法指示メツセージｍｅｓｓの内容はｍ
ｅｓｓ　　“第２音節目の「ら」を明瞭に発声して下さ
い” となる。　　　　　　　　　　　・・・ステップＳ８８
次に、発声音節列における第３音節「シ」と音節ラティ
スにおける音節位置との対応関係が調べられる。その結
果、音節対応表における要素（３，２）の内容は“０”
であり、かつ、音節対応表における要素（３、１）の内
容“２“と要素（４，１）の内容“４”とは異なる。し
たがって、発声音節列における第３音節ｒＬＪには、音
節対応表における要素（３、Ｉ　）の値“２”で表現さ
れた音節ラティスの第２音節か対応していると判定され
る。つまり、発声音節列における第３音節「シ」は正し
く発声されていると判定されて発声法メツセージｍｅｓ
ｓの内容はそのままとなる。　　　・・・ステップＳ７
３．ステップ９８１次に、発声音節列における第４音節
「の」と音節ラティスにおける音節位置との対応関係が
調へられる。その結果、音節対応表における要素（４，
２）の内容が“３”である（と言うことは、当然音節対
応表における要素（４、１）にはある値が与えられてい
る。したがって、発声音節列における第４音範「の」に
は、音節対応表における要素（４、１）の値“４”およ
び要素（４，２）の値“３“で表現された音節ラティス
の２つの連続した第３．４音節が対応していると判定さ
れる。つまり、音節「の」が長音化していると判定され
るのである。 ・・ステップＳ７３ そこで、作業用変数ｌｌ１ａの内容を“第”＋“４（＝
ｉ）”＋“音節目の”とする。一方、作業用変数ｆｆ１
ｂの内容を“「の」”＋“をのばさないで下さい゛とす
る。 ・ステップＳ７５ ここで、発声音節列における音節「の」は４番目（すな
わち、最終音節位置番号“じ）の音節であるから、作業
用変数ｍａの内容を「“語尾の”」に変更する。　　　
　　　　・・・ステップ９７８ステツプＳ７９そして、
作業用変数ｍａの内容と作業用変数ｆｆ１ｂの内容とか
ら、発声法指示メツセージｆｆ１ｅｓｓの内容はｍｅｓ
ｓ　　“第２音節目の「ら」を明瞭に発声して下さい、
“語尾の「の」をのばさないで下さい” となる。　　　　　　　　　　　・・・ステップＳ８０
こうして、発声音節列における音節位置番号１の内容が
１（＝４）より大きくなると、発声法指示メツセージｍ
ｅｓｓの内容が見易（（あるいは聞き易く）編集されて
、例えば以下のように画面表示されて発声法指示メツセ
ージ生成処理が終了されるのである。 くメツセージ〉 ☆第２音節目の「ら」を明瞭に発声して下さい。 ☆語尾の「の」をのばさないで下さい。 ユーザは、こうして表示された発声法指示メツセージに
従って「ら」を明瞭に発声し「の」を伸ばさないで発声
する発声法によって、発声音節列「わらじの」を再度発
声する。そして、発声法指示メツセージが表示されなく
なるまで発声法を練習するのである。 こうして発声音節列の内容を種々変えて発声法を訓練す
ることによって、初心者であっても音声認識装置を操作
する際に正しい発声法によって発声できるのである。し
たがって、処理モードを認識モードに切り替えて本装置
を音声認識装置として使用する場合に、音節切出部１２
によって得られる各音節境界候補がはつきりしないた給
に１音節が２音節に認識されたり音節が脱落して認識さ
れたりすることなく、入力音声が正しく認識されるので
ある。 上述のように、本実施例においては、発声法指示装置を
音響処理部１１．音節切出部１００音節照合部１３およ
び発声法指示部１６て構成する。そして、処理モードを
インストモートに切り替えた際には、予め表示された発
声音節列に従って発声された音声を音響処理部１１によ
って分析し、その分計結果に従って音節切出部１２て音
節候補に切り出し、この切り出された音節候補と音節標
準パターンとの音節照合部１３によるマツチングによっ
て音節ラティスを生成する。こうして生成された音節ラ
ティスと上記発声音節列とか発声法指示部１６に入力さ
れる。 そうすると、発声法指示部１６における距離計算部２１
によって、発声音節列の音節位置番号ｉと音節ラティス
の音節位置番号ｊとの距離を表す距離行列を作成する。 さらに、ＤＰ部２２によって、上記距離行列に基づいて
この距離行列における各要素（ｉ、ｊ）に至る最短累積
距離を表す累積行列と、ＤＰババス終点（発声音節列に
おける最終音節と音節ラティスにおける最終音節との対
応付け）から始点（発声音節列における先頭音節と音節
ラティスにおける先頭音節との対応付け）に向かってＤ
Ｐパス上を遡る際の最適方向を示すパス行列とを作成す
る。そして、音節対応表作成部２３によって、上記パス
行列に従って終点から始点に向かってＤＰババス遡るこ
とによって、発声音節列における音節位置番号ｌと音節
ラティスにおける音節位置番号ｊとを最適に対応付けた
音節対応表を作成する。 そうすると、発声法指示メツセージ生成部２４は、こう
して作成された音節対応表に基づいて、発声音節列にお
ける２音節が音節ラティスにおけるｌ音節に対応付けら
れた（すなわち、音節が脱落した）箇所、あるいは、発
声音節列におけるｌ音節が音節ラティスにおける２音節
に対応付けられた（すなわち、音節が伸ばされた）箇所
を検索して、音節切り出し誤り位置とその種類とを検出
する。そして、検出した音節切り出し誤り位置と音節切
り出し誤りの種類とから発声法指示メツセージを生成し
て出力するようにしている。 こうして出力された発声法指示メツセージ？こ従つた発
声法によって同じ発声音節列を再発声することによって
、当該発声音節列を正しく発声できるようになるのであ
る。したがって、発声音節列を替えて繰り返し発声法を
訓練することによって、処理モードを認識モードに切り
替えて本装置を音声認識装置として動作させる際に、音
声認識装置における発声法として正しい発声法によって
音声入力ができるようになり、高い認識率が得られるの
である。 すなわち、本実施例における発声法指示装置によって発
声法を訓練すれは、身近に熟練者やインストラクタのい
ない初心者であっても、短時間のうちに音声認識装置を
使いこなせるようになるのである。 上記音節ラティスの信頼度順位数および上記音節対応表
におけるＱの数は、上記実施例に限定されるものではな
い。 上記実施例においては、入力音声信号を音節単位で認識
して音節ラティスを作成し、この音節ラティスに基づい
て発声法指示メツセージを生威するようにしている。し
かしながら、この発明はこれに限定されるものではなく
、人力音声信号を音韻単位で認識して音韻ラティスを作
成し、この音韻ラティスに基づいて発声法指示メツセー
ジを生成するようにしてもよい。 この発明における距離行列作成処理動作、累積行列／パ
ス行列作成処理動作、音節対応表作成処理動作および発
声法指示メツセージ生成処理動作のアルゴリズムは、上
記実施例におけるアルゴリズムに限定されるものではな
い。

【発明の効果】

以上より明らかなように、この発明の発声法指示装置は
、音声認識部、距離計算部、ＤＰ部および対応表作成部
によって発声音節列の各音節位置と音節ラティスの各音
節位置とを対応付けた対応表あるいは発声音韻列の各音
韻位置と音韻ラティスの各音韻位置とを対応付けた対応
表を作成する。 そして、この対応表を参照して、発声法指示メツセージ
生成部によって発声法指示メツセージを生成するように
したので、ユーザはこの発声法指示メツセージに従った
発声法を繰り返すことによって、音声認識装置に適応し
た正しい発声法を会得することができる。 したがって、身近に熟練者やインストラクタかいない初
心者であっても、この発明によって発声法の訓練を行な
うことによって、音声認識装置を短時間のうちに使いこ
なせ、かつ、高い認識率を得ることができるのである。

【図面の簡単な説明】

第１図はこの発明の発声法指示装置における一実施例の
ブロック図、第２図は第１図における発声法指示部の詳
細ブロック図、第３図は発声音節列の一例を示す図、第
４図は第３図の発声音節列に基づいて得られた音節ラテ
ィスの一例を示す図、第５図は第３図の発声音節列と第
４図の音節ラティスとに基づいて作成された距離行列の
一例を示す図、第６図は第５図の距離行列に基づいて作
成された累積行列の一例を示す図、第７図は第６図の累
積行列に基づいて作成されたパス行列の一例を示す図、
第８図は第７図のパス行列に基づいて作成された音節対
応表の一例を示す図、第９図は距離行列作成処理動作の
フローチャート、第１０図は累積行列／パス行列作成処
理動作のフローチャート、第１１図は音節対応表作成処
理動作のフローチャート、第１２図は発声法指示メツセ
ージ生成処理動作のフローチャート、第１３図は音節認
識結果に基づく特定話者用音声認識装置の一例を示すブ
ロック図である。 １！・・・音響処理部、 １３・・・音節照合部、 ２１・・・距離計算部、 ２３・・・音節対応表作成部、 ２４・・・発声法指示メツセージ生成部。 １２・・・音節切出部、 ！６・・・発声法指示部、 ２２・・・ＤＰ部、 第２図

Claims (1)

【特許請求の範囲】
1. （１）発声すべき音節の順序を表す発声音節列又は発声
   音韻列に従って発声された音声に基づく音声信号から特
   徴パターンを抽出し、この抽出された特徴パターンに基
   づいて上記音声信号を音節単位又は音韻単位で認識して
   音節ラティス又は音韻ラティスを生成する音声認識部と
   、 上記音声認識部によって生成された音節ラティス又は音
   韻ラティスと上記発声音節列又は発声音韻列とを取り込
   んで、上記発声音節列の各音節位置と上記音節ラティス
   の総ての音節位置との距離あるいは上記発声音韻列の各
   音韻位置と上記音韻ラティスの総ての音韻位置との距離
   を所定の手順で算出する距離計算部と、 上記距離計算部によって算出された上記距離を用いて、
   上記発声音節列と上記音節ラティスとのＤＰマッチング
   あるいは上記発声音韻列と上記音韻ラティスとのＤＰマ
   ッチングを行って、ＤＰパスの終点から始点に向かって
   上記ＤＰパスを遡る際における各格子点から次の格子点
   への方向を表すパス行列を生成するＤＰ部と、 上記ＤＰ部によって生成された上記パス行列で表される
   上記方向に基づいて、上記発声音節列の各音節位置と上
   記音節ラティスの各音節位置とを対応付けた対応表ある
   いは上記発声音韻列の各音韻位置と上記音韻ラティスの
   各音韻位置とを対応付けた対応表を作成する対応表作成
   部と、 上記対応表作成部によって作成された上記対応表を参照
   して、上記発声音節列と音節ラティスとの音節位置対応
   関係あるいは発声音韻列と音韻ラティスとの音韻位置対
   応関係が１対１でない箇所を検索し、この検索された箇
   所とその箇所における上記音節位置対応関係又は音韻位
   置対応関係とに従って、上記発声音節列又は発声音韻列
   をより正しく発声するための発声法指示メッセージを生
   成する発声法指示メッセージ生成部を備えたことを特徴
   とする発声法指示装置。