JPH09330019A - 発声訓練装置 - Google Patents
発声訓練装置Info
- Publication number
- JPH09330019A JPH09330019A JP8150921A JP15092196A JPH09330019A JP H09330019 A JPH09330019 A JP H09330019A JP 8150921 A JP8150921 A JP 8150921A JP 15092196 A JP15092196 A JP 15092196A JP H09330019 A JPH09330019 A JP H09330019A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- teacher
- training
- feature parameter
- learner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
(57)【要約】
【課題】 学習者の発声と教師の発声とを比較して発声
訓練を行うための装置において、学習者のレベルにあっ
た発声訓練方法を自動的に決定し、かつ新たな教師音声
を作成して訓練のバリエーションを高める。 【解決手段】 音声入力端子101からの学習者の音声
と、教師音声記憶部103からの教師音声とを特徴パラ
メータ抽出部102においてそれぞれの特徴パラメータ
を抽出し、特徴比較パラメータ比較部104において両
特徴パラメータを比較する。訓練内容決定部105は比
較結果に基づいて訓練内容を決定し、訓練テキストを作
成する。教師音声生成部106は訓練テキストの教師音
声を教師音声記憶部103から抜き出し、音声出力端子
107から出力する。
訓練を行うための装置において、学習者のレベルにあっ
た発声訓練方法を自動的に決定し、かつ新たな教師音声
を作成して訓練のバリエーションを高める。 【解決手段】 音声入力端子101からの学習者の音声
と、教師音声記憶部103からの教師音声とを特徴パラ
メータ抽出部102においてそれぞれの特徴パラメータ
を抽出し、特徴比較パラメータ比較部104において両
特徴パラメータを比較する。訓練内容決定部105は比
較結果に基づいて訓練内容を決定し、訓練テキストを作
成する。教師音声生成部106は訓練テキストの教師音
声を教師音声記憶部103から抜き出し、音声出力端子
107から出力する。
Description
【0001】
【発明の属する技術分野】本発明は、発声訓練装置に関
し、特に学習者の発声を評価し、学習者のレベルにあっ
た教師音声を提示する機能を有する発声訓練装置に関す
る。
し、特に学習者の発声を評価し、学習者のレベルにあっ
た教師音声を提示する機能を有する発声訓練装置に関す
る。
【0002】
【従来の技術】一般に発声訓練を行う場合には、学習者
が自身の発声(学習者音声)を教師の発声(教師音声)
と比較し、教師の発声に近い発声となるように訓練を行
うことが好ましい。このような発声訓練を行うための訓
練装置としては、例えば特開平2−706号公報に記載
のものが知られている。この訓練装置によれば、学習者
の発声を録音し、教師の発声と学習者の発声を交互に再
生させることができる。又、この装置ではディスプレイ
に教師の発声と学習者の発声の音声波形、ピッチパタ
ン、フォルマントを表示し、学習者にそれらを見せなが
ら発声訓練を行わせることを特徴としている。また、他
の例としては、特開平8−16089号公報に記載され
た発音比較学習装置があり、この装置は、学習者の発声
と教師の発声を音声で提示する時に、2つの音声出力端
子を用いて同時に出力させることを特徴としている。
が自身の発声(学習者音声)を教師の発声(教師音声)
と比較し、教師の発声に近い発声となるように訓練を行
うことが好ましい。このような発声訓練を行うための訓
練装置としては、例えば特開平2−706号公報に記載
のものが知られている。この訓練装置によれば、学習者
の発声を録音し、教師の発声と学習者の発声を交互に再
生させることができる。又、この装置ではディスプレイ
に教師の発声と学習者の発声の音声波形、ピッチパタ
ン、フォルマントを表示し、学習者にそれらを見せなが
ら発声訓練を行わせることを特徴としている。また、他
の例としては、特開平8−16089号公報に記載され
た発音比較学習装置があり、この装置は、学習者の発声
と教師の発声を音声で提示する時に、2つの音声出力端
子を用いて同時に出力させることを特徴としている。
【0003】
【発明が解決しようとする課題】このような従来の発声
訓練装置は、学習者自身に学習者と教師の発声を比較さ
せており、そのために学習者と教師の音声の特徴をディ
スプレイに表示し、学習者と教師の音声を出力する構成
がとられている。したがって学習者はこれらを用いなが
ら自分の発声と教師の発声を比較し、自分の発声の問題
点を見つけ出す必要があった。又、学習者は自分自身で
どこをどうやって訓練するべきかを判断しなければなら
なかった。しかし、訓練が必要な学習者にとって、自分
自身で自分の発声の問題点を見つけ出し、その訓練方法
を決定するのは大変困難である。又、従来例の発声訓練
装置では、訓練方法と教師音声が既に決まっているた
め、学習者のレベルに適した教師音声を提供することは
難しいという問題があった。
訓練装置は、学習者自身に学習者と教師の発声を比較さ
せており、そのために学習者と教師の音声の特徴をディ
スプレイに表示し、学習者と教師の音声を出力する構成
がとられている。したがって学習者はこれらを用いなが
ら自分の発声と教師の発声を比較し、自分の発声の問題
点を見つけ出す必要があった。又、学習者は自分自身で
どこをどうやって訓練するべきかを判断しなければなら
なかった。しかし、訓練が必要な学習者にとって、自分
自身で自分の発声の問題点を見つけ出し、その訓練方法
を決定するのは大変困難である。又、従来例の発声訓練
装置では、訓練方法と教師音声が既に決まっているた
め、学習者のレベルに適した教師音声を提供することは
難しいという問題があった。
【0004】本発明の目的は、このような問題点を解決
し、学習者のレベルにあった訓練内容を自動的に提供す
ることが可能な発声訓練装置を提供することである。
し、学習者のレベルにあった訓練内容を自動的に提供す
ることが可能な発声訓練装置を提供することである。
【0005】
【課題を解決するための手段】本発明の第1の発明は、
学習者音声と教師音声を入力する音声入力手段と、前記
音声入力手段を通して受け取った前記学習者音声と前記
教師音声を出力する音声出力手段とを有する発声訓練装
置において、前記教師音声の音声波形と発声内容を予め
記憶しておく教師音声記憶手段と、前記学習者音声と前
記教師音声の特徴パラメータを求める特徴パラメータ抽
出手段と、前記特徴パラメータ抽出手段によって求めた
前記学習者音声の特徴パラメータと前記教師音声の特徴
パラメータとを比較する特徴パラメータ比較手段と、前
記特徴パラメータ比較手段による比較結果から訓練内容
を決定し、前記決定した訓練内容をもとに前記教師音声
記憶手段に記憶されている教師音声の発声内容から訓練
に用いる教師音声を選択し、訓練テキストを作成する訓
練内容決定手段と、前記訓練テキストにそって前記教師
音声記憶手段に記憶されている教師音声の音声波形を抜
き出す教師音声生成手段を有することを特徴とする。
学習者音声と教師音声を入力する音声入力手段と、前記
音声入力手段を通して受け取った前記学習者音声と前記
教師音声を出力する音声出力手段とを有する発声訓練装
置において、前記教師音声の音声波形と発声内容を予め
記憶しておく教師音声記憶手段と、前記学習者音声と前
記教師音声の特徴パラメータを求める特徴パラメータ抽
出手段と、前記特徴パラメータ抽出手段によって求めた
前記学習者音声の特徴パラメータと前記教師音声の特徴
パラメータとを比較する特徴パラメータ比較手段と、前
記特徴パラメータ比較手段による比較結果から訓練内容
を決定し、前記決定した訓練内容をもとに前記教師音声
記憶手段に記憶されている教師音声の発声内容から訓練
に用いる教師音声を選択し、訓練テキストを作成する訓
練内容決定手段と、前記訓練テキストにそって前記教師
音声記憶手段に記憶されている教師音声の音声波形を抜
き出す教師音声生成手段を有することを特徴とする。
【0006】また、本発明の第2の発明は、前記第1の
発明において、特徴パラメータ抽出手段が求める特徴パ
ラメータが音響的特徴パラメータであり、前記特徴パラ
メータ比較手段は、前記学習者音声と前記教師音声の音
響的特徴パラメータを比較することを特徴とする。ま
た、本発明の第3の発明は、前記第1の発明において、
特徴パラメータ抽出手段が求める特徴パラメータが韻律
的特徴パラメータであり、前記特徴パラメータ比較手段
は、前記学習者音声と前記教師音声の韻律的特徴パラメ
ータを比較することを特徴とする。さらに、第4の発明
は、第1の発明において、特徴パラメータ抽出手段が求
める特徴パラメータが音響的特徴パラメータと韻律的特
徴パラメータであり、前記特徴パラメータ比較手段は、
前記学習者音声と前記教師音声を前記音響的特徴パラメ
ータと前記韻律的特徴パラメータの両方で比較すること
を特徴とする。
発明において、特徴パラメータ抽出手段が求める特徴パ
ラメータが音響的特徴パラメータであり、前記特徴パラ
メータ比較手段は、前記学習者音声と前記教師音声の音
響的特徴パラメータを比較することを特徴とする。ま
た、本発明の第3の発明は、前記第1の発明において、
特徴パラメータ抽出手段が求める特徴パラメータが韻律
的特徴パラメータであり、前記特徴パラメータ比較手段
は、前記学習者音声と前記教師音声の韻律的特徴パラメ
ータを比較することを特徴とする。さらに、第4の発明
は、第1の発明において、特徴パラメータ抽出手段が求
める特徴パラメータが音響的特徴パラメータと韻律的特
徴パラメータであり、前記特徴パラメータ比較手段は、
前記学習者音声と前記教師音声を前記音響的特徴パラメ
ータと前記韻律的特徴パラメータの両方で比較すること
を特徴とする。
【0007】また、本発明の第5の発明は、第1ないし
第4の発明において、教師音声記憶手段は、前記教師音
声の音声波形や発声内容と共に前記教師音声を発声する
時に注意する点(発声時の注意点)を記憶し、前記特徴
パラメータ比較手段は、前記特徴パラメータの比較をす
ると共に前記教師音声記憶手段から発声時の注意点を取
り出し、前記訓練内容決定手段は、前記発声時の注意点
を用いて前記特徴パラメータの比較結果に対し重み付け
をし、前記重み付けをした比較結果を元に訓練内容を決
定することを特徴とする。さらに、本発明の第6の発明
は、前記第2,第4または第5の発明において、訓練内
容決定手段は、前記特徴パラメータ比較手段の比較結果
からある音素を訓練すると決定し、前記訓練すると決定
した音素の前後の音素や前記訓練すると決定した音素が
現れる単語中の位置が異なる全てのエントリを前記教師
音声記憶手段から検索し、訓練テキストを作成すること
を特徴とする。
第4の発明において、教師音声記憶手段は、前記教師音
声の音声波形や発声内容と共に前記教師音声を発声する
時に注意する点(発声時の注意点)を記憶し、前記特徴
パラメータ比較手段は、前記特徴パラメータの比較をす
ると共に前記教師音声記憶手段から発声時の注意点を取
り出し、前記訓練内容決定手段は、前記発声時の注意点
を用いて前記特徴パラメータの比較結果に対し重み付け
をし、前記重み付けをした比較結果を元に訓練内容を決
定することを特徴とする。さらに、本発明の第6の発明
は、前記第2,第4または第5の発明において、訓練内
容決定手段は、前記特徴パラメータ比較手段の比較結果
からある音素を訓練すると決定し、前記訓練すると決定
した音素の前後の音素や前記訓練すると決定した音素が
現れる単語中の位置が異なる全てのエントリを前記教師
音声記憶手段から検索し、訓練テキストを作成すること
を特徴とする。
【0008】さらに、本発明の第7の発明は、前記第
2、第4、第5の発明において、訓練内容決定手段は、
前記特徴パラメータ比較手段の比較結果からある音素を
訓練すると決定し、同時に前記訓練すると決定した音素
を学習者が発声した場合の音に近い音素についても訓練
すると決定し、前記教師音声記憶手段に記憶してある教
師音声のうち、前記訓練する音素を含む教師音声で且つ
前記訓練する音素を学習者が発声した場合の音に近い音
素に置き換えた教師音声が存在するものを選択し、訓練
テキストを作成することを特徴とする。また、第8の発
明は、前記第2、第3、第5の発明において、訓練内容
決定手段は、前記特徴パラメータ比較手段の比較結果か
らある単語のストレスを訓練すると決定し、前記訓練す
る単語に類似したデータを前記教師音声記憶手段から選
択し、訓練テキストを作成することを特徴とする。ま
た、第9の発明は、第1ないし第8の発明のいずれかに
おいて、訓練内容決定手段は、前記特徴パラメータ比較
手段の比較結果から訓練内容を決定し、前記記憶内容を
元に文や単語が記憶されている辞書記憶手段から前記訓
練テキストを作成し、前記教師音声編集手段は、前記教
師音声記憶手段の中に該当する教師音声が存在しない場
合に、前記教師音声記憶手段に記憶してある教師音声を
編集して該当する教師音声を作成することを特徴とす
る。
2、第4、第5の発明において、訓練内容決定手段は、
前記特徴パラメータ比較手段の比較結果からある音素を
訓練すると決定し、同時に前記訓練すると決定した音素
を学習者が発声した場合の音に近い音素についても訓練
すると決定し、前記教師音声記憶手段に記憶してある教
師音声のうち、前記訓練する音素を含む教師音声で且つ
前記訓練する音素を学習者が発声した場合の音に近い音
素に置き換えた教師音声が存在するものを選択し、訓練
テキストを作成することを特徴とする。また、第8の発
明は、前記第2、第3、第5の発明において、訓練内容
決定手段は、前記特徴パラメータ比較手段の比較結果か
らある単語のストレスを訓練すると決定し、前記訓練す
る単語に類似したデータを前記教師音声記憶手段から選
択し、訓練テキストを作成することを特徴とする。ま
た、第9の発明は、第1ないし第8の発明のいずれかに
おいて、訓練内容決定手段は、前記特徴パラメータ比較
手段の比較結果から訓練内容を決定し、前記記憶内容を
元に文や単語が記憶されている辞書記憶手段から前記訓
練テキストを作成し、前記教師音声編集手段は、前記教
師音声記憶手段の中に該当する教師音声が存在しない場
合に、前記教師音声記憶手段に記憶してある教師音声を
編集して該当する教師音声を作成することを特徴とす
る。
【0009】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。図1は、第1の発明による発
声訓練装置の一実施形態を示すブロック図である。第1
の発明では、図1に示すように、音声入力端子101を
通して受け取った学習者の音声と教師音声記憶部103
より選択した教師音声は、特徴パラメータ抽出部102
に入る。教師音声記憶部103は、教師音声の波形と発
声内容をセットで記憶してあり、ここでは、学習者の発
声内容と同じ教師音声を選択し波形データを特徴パラメ
ータ抽出部102へ送る。特徴パラメータ抽出部102
では、教師音声と学習者音声から発声に重要な特徴パラ
メータを抽出し、特徴パラメータ比較部104へ送る。
発声に重要な特徴パラメータの例としては、明瞭性に関
係のある音響的特徴パラメータや自然性に関係ある韻律
的特徴パラメータ等がある。特徴パラメータ比較部10
4では、特徴パラメータ抽出部102で求めた学習者音
声の特徴パラメータと教師音声の特徴パラメータとを比
較する。特徴パラメータの比較は、例えば、分析フレー
ム単位や音素単位で、教師音声と学習者音声の特徴パラ
メータ間の距離を計算することで実現することができ
る。学習者音声と教師音声の特徴パラメータの比較結果
は訓練内容決定部105へ送る。
図面を参照して説明する。図1は、第1の発明による発
声訓練装置の一実施形態を示すブロック図である。第1
の発明では、図1に示すように、音声入力端子101を
通して受け取った学習者の音声と教師音声記憶部103
より選択した教師音声は、特徴パラメータ抽出部102
に入る。教師音声記憶部103は、教師音声の波形と発
声内容をセットで記憶してあり、ここでは、学習者の発
声内容と同じ教師音声を選択し波形データを特徴パラメ
ータ抽出部102へ送る。特徴パラメータ抽出部102
では、教師音声と学習者音声から発声に重要な特徴パラ
メータを抽出し、特徴パラメータ比較部104へ送る。
発声に重要な特徴パラメータの例としては、明瞭性に関
係のある音響的特徴パラメータや自然性に関係ある韻律
的特徴パラメータ等がある。特徴パラメータ比較部10
4では、特徴パラメータ抽出部102で求めた学習者音
声の特徴パラメータと教師音声の特徴パラメータとを比
較する。特徴パラメータの比較は、例えば、分析フレー
ム単位や音素単位で、教師音声と学習者音声の特徴パラ
メータ間の距離を計算することで実現することができ
る。学習者音声と教師音声の特徴パラメータの比較結果
は訓練内容決定部105へ送る。
【0010】訓練内容決定部105は、教師音声と学習
者音声の特徴パラメータの比較結果を元に訓練内容を決
定し、教師音声記憶部103のデータから教師音声を選
択し、訓練テキストを作成する。比較結果を元に訓練内
容を決定する時には、学習者音声の問題の大きいものか
ら順に訓練を行うようにする。例えば、特徴パラメータ
比較部で教師音声と学習者音声の特徴パラメータの距離
による比較を行った場合には、訓練内容決定部では、距
離が大きいパラメータから訓練を行うことを決定し、訓
練テキストを作成する。訓練テキストを作成する際に
は、訓練する音素や単語もしくは文をキーにして、教師
音声記憶部103に記憶されている音声内容を検索し、
訓練内容にあったデータを教師音声として選択する。
者音声の特徴パラメータの比較結果を元に訓練内容を決
定し、教師音声記憶部103のデータから教師音声を選
択し、訓練テキストを作成する。比較結果を元に訓練内
容を決定する時には、学習者音声の問題の大きいものか
ら順に訓練を行うようにする。例えば、特徴パラメータ
比較部で教師音声と学習者音声の特徴パラメータの距離
による比較を行った場合には、訓練内容決定部では、距
離が大きいパラメータから訓練を行うことを決定し、訓
練テキストを作成する。訓練テキストを作成する際に
は、訓練する音素や単語もしくは文をキーにして、教師
音声記憶部103に記憶されている音声内容を検索し、
訓練内容にあったデータを教師音声として選択する。
【0011】例えば、“Where do you like to go ?"と
いう文のイントネーションを訓練する場合には、“Wher
e do you like to go ?"の他に“Where would you like
tosee ?"や、"Where does she live ?" 等、Where で
始まる疑問文を教師音声として選択すれば良い。また、
"saddle"という単語の/dl/音を訓練する場合には、"sad
dle"の他に"middle"、"handle"等、/dl/音を含む単語を
教師音声として選択すれば良い。又、"The boys need m
oney."という文のリズムを訓練する場合には、"The boy
s will need money." の他に、"The boys will need so
me money."や"The boys will need some of their mone
y." 等、類似する文を選択すれば良い。
いう文のイントネーションを訓練する場合には、“Wher
e do you like to go ?"の他に“Where would you like
tosee ?"や、"Where does she live ?" 等、Where で
始まる疑問文を教師音声として選択すれば良い。また、
"saddle"という単語の/dl/音を訓練する場合には、"sad
dle"の他に"middle"、"handle"等、/dl/音を含む単語を
教師音声として選択すれば良い。又、"The boys need m
oney."という文のリズムを訓練する場合には、"The boy
s will need money." の他に、"The boys will need so
me money."や"The boys will need some of their mone
y." 等、類似する文を選択すれば良い。
【0012】教師音声生成部106は、訓練内容決定部
105で作成した訓練テキストにある教師音声を教師音
声記憶部103から抜き出す。抜き出した教師音声は音
声出力端子107を通して出力する。これにより、本発
明は学習者の発声した音声と教師の発声した音声の特徴
パラメータを抽出し、それらを比較して自動的に訓練内
容を決定することができる。したがって、従来の発声訓
練装置のように学習者が自分自身で自分の発声した音と
教師音声とを比較して問題点を見つけ出し訓練内容を決
定する必要がない。また、発声訓練装置が、学習者音声
と教師音声を自動的に比較した結果を元に、学習者毎に
訓練テキストを作成するため、学習者のレベルにあった
訓練内容を提供することができる。
105で作成した訓練テキストにある教師音声を教師音
声記憶部103から抜き出す。抜き出した教師音声は音
声出力端子107を通して出力する。これにより、本発
明は学習者の発声した音声と教師の発声した音声の特徴
パラメータを抽出し、それらを比較して自動的に訓練内
容を決定することができる。したがって、従来の発声訓
練装置のように学習者が自分自身で自分の発声した音と
教師音声とを比較して問題点を見つけ出し訓練内容を決
定する必要がない。また、発声訓練装置が、学習者音声
と教師音声を自動的に比較した結果を元に、学習者毎に
訓練テキストを作成するため、学習者のレベルにあった
訓練内容を提供することができる。
【0013】第2の発明では、図1の特徴パラメータ抽
出部102は、教師音声と学習者音声を分析し、個々の
音素のフォルマントを表す音響的特徴パラメータを求め
る。音響的特徴パラメータとしては、例えば、線形予測
係数やケプストラム係数等を用いることができる。線形
予測係数やケプストラム係数の求め方は、従来法が使え
るため、ここでの説明は省略する。また、第2の発明で
は、特徴パラメータ比較部104は、特徴パラメータ抽
出部102で抽出した教師音声と学習者音声の音響的特
徴パラメータを比較する。音響的特徴パラメータの比較
は、例えば音素単位で行い、比較結果は音素毎に求め
る。例えば、学習者が発声した“slice ”という単語を
第2の発明により教師音声との比較をする場合の音響的
特徴パラメータは、/s/ ,/l/ ,/ai/,/s/ の4種類の
音素である。これら音素毎に教師音声との距離を求め、
距離の最も大きいものから訓練を行うようにする。これ
により、本発明は学習者の個々の音素について比較し、
問題のある音素を優先的に訓練することができる。
出部102は、教師音声と学習者音声を分析し、個々の
音素のフォルマントを表す音響的特徴パラメータを求め
る。音響的特徴パラメータとしては、例えば、線形予測
係数やケプストラム係数等を用いることができる。線形
予測係数やケプストラム係数の求め方は、従来法が使え
るため、ここでの説明は省略する。また、第2の発明で
は、特徴パラメータ比較部104は、特徴パラメータ抽
出部102で抽出した教師音声と学習者音声の音響的特
徴パラメータを比較する。音響的特徴パラメータの比較
は、例えば音素単位で行い、比較結果は音素毎に求め
る。例えば、学習者が発声した“slice ”という単語を
第2の発明により教師音声との比較をする場合の音響的
特徴パラメータは、/s/ ,/l/ ,/ai/,/s/ の4種類の
音素である。これら音素毎に教師音声との距離を求め、
距離の最も大きいものから訓練を行うようにする。これ
により、本発明は学習者の個々の音素について比較し、
問題のある音素を優先的に訓練することができる。
【0014】第3の発明では、図1の特徴パラメータ抽
出部102は、教師音声と学習者音声を分析し、韻律
(リズム、ストレス、イントネーション)を表す韻律的
特徴パラメータを求める。韻律的特徴パラメータとして
は、例えば、個々の音素の音韻継続時間やパワー、ピッ
チ周波数を用いることができる。音韻継続時間長やパワ
ー、ピッチ周波数の求め方は、従来方が使えるため、こ
こでの説明は省略する。又、第3の発明では、特徴パラ
メータ比較部104は特徴パラメータ抽出部102で求
めた学習者音声と教師音声の韻律的特徴パラメータを比
較する。韻律的特徴パラメータの比較は、例えば分析フ
レーム単位で行い、比較結果はリズム、ストレス、イン
トネーション等特徴パラメータ毎に求める。例えば、学
習者が発声した“Mary likes Tom better than Ted."と
いう文を第3の発明により教師音声との比較をする場合
には、リズム、ストレス、イントネーションを教師音声
と比較し、違いの大きいものから訓練を行うようにす
る。これにより、本発明は学習者音声の韻律について比
較し、問題のある韻律を優先的に訓練することができ
る。
出部102は、教師音声と学習者音声を分析し、韻律
(リズム、ストレス、イントネーション)を表す韻律的
特徴パラメータを求める。韻律的特徴パラメータとして
は、例えば、個々の音素の音韻継続時間やパワー、ピッ
チ周波数を用いることができる。音韻継続時間長やパワ
ー、ピッチ周波数の求め方は、従来方が使えるため、こ
こでの説明は省略する。又、第3の発明では、特徴パラ
メータ比較部104は特徴パラメータ抽出部102で求
めた学習者音声と教師音声の韻律的特徴パラメータを比
較する。韻律的特徴パラメータの比較は、例えば分析フ
レーム単位で行い、比較結果はリズム、ストレス、イン
トネーション等特徴パラメータ毎に求める。例えば、学
習者が発声した“Mary likes Tom better than Ted."と
いう文を第3の発明により教師音声との比較をする場合
には、リズム、ストレス、イントネーションを教師音声
と比較し、違いの大きいものから訓練を行うようにす
る。これにより、本発明は学習者音声の韻律について比
較し、問題のある韻律を優先的に訓練することができ
る。
【0015】第4の発明では、図1の特徴パラメータ抽
出部102は、教師音声と学習者音声を分析し、音響的
特徴パラメータと韻律的特徴パラメータの両方を求め
る。又、特徴パラメータ比較部104は、特徴パラメー
タ抽出部で抽出した教師音声と学習者音声の音響的特徴
パラメータや韻律的特徴パラメータの比較を特徴パラメ
ータ別に行い、比較結果を訓練内容決定部104へ送
る。本発明は学習者音声を総合的に比較し、個々の音素
と韻律のうち最も問題のある特徴パラメータから順に訓
練することができる。
出部102は、教師音声と学習者音声を分析し、音響的
特徴パラメータと韻律的特徴パラメータの両方を求め
る。又、特徴パラメータ比較部104は、特徴パラメー
タ抽出部で抽出した教師音声と学習者音声の音響的特徴
パラメータや韻律的特徴パラメータの比較を特徴パラメ
ータ別に行い、比較結果を訓練内容決定部104へ送
る。本発明は学習者音声を総合的に比較し、個々の音素
と韻律のうち最も問題のある特徴パラメータから順に訓
練することができる。
【0016】図2は、第5の発明の発声訓練装置の一実
施形態を示すブロック図である。第5の発明では、図2
に示すように、特徴パラメータ比較部504は、教師音
声記憶部503中のデータに関する発声時の注意点を抜
き出し、評価結果と共に訓練内容決定部505へ送る。
訓練内容決定部505では、特徴パラメータの比較結果
に対して発声時の注意点による重み付けを行い、訓練す
るパラメータと順序を決定する。この重み付けは、発声
時の注意点から訓練を始めるような重みを評価結果に対
しつける。これにより、本発明は訓練内容を決定する際
に、発声時の注意点を考慮することができる。
施形態を示すブロック図である。第5の発明では、図2
に示すように、特徴パラメータ比較部504は、教師音
声記憶部503中のデータに関する発声時の注意点を抜
き出し、評価結果と共に訓練内容決定部505へ送る。
訓練内容決定部505では、特徴パラメータの比較結果
に対して発声時の注意点による重み付けを行い、訓練す
るパラメータと順序を決定する。この重み付けは、発声
時の注意点から訓練を始めるような重みを評価結果に対
しつける。これにより、本発明は訓練内容を決定する際
に、発声時の注意点を考慮することができる。
【0017】図3は、第5の発明の教師音声記憶部50
3の教師音声データの一例を示す図である。図3におい
て、教師音声記憶部503には、教師音声毎に発声内容
と発声時の注意点、波形情報が記憶されている。発声時
の注意点には、そのデータを発声する時に特に注意しな
ければならない点や、多くの学習者が陥り易い間違いを
予め記述しておく。
3の教師音声データの一例を示す図である。図3におい
て、教師音声記憶部503には、教師音声毎に発声内容
と発声時の注意点、波形情報が記憶されている。発声時
の注意点には、そのデータを発声する時に特に注意しな
ければならない点や、多くの学習者が陥り易い間違いを
予め記述しておく。
【0018】図4に、学習者が"play"と発声した場合の
比較結果と重み付けの一例を示す。比較結果は、教師音
声と学習者の特徴パラメータの距離で表すこととし、"p
lay"の発声時の注意点が“/l/ の音”であるとする。重
みは、例えば、“/l/ の音”の評価結果のみ2にし、他
は1にする。得点は、評価結果の良い(この場合は、距
離の小さい)特徴パラメータから順に、1,2,3…と
与えていき、訓練は得点の高い方から順に行うようにす
る。重み付けなしの得点で最も高いのは、/ei/音で、続
いて/l/ 音である。そこで、発声時の注意点を考慮せず
に訓練の順序を決定すると、/ei/音の訓練を行った後に
/l/ 音の訓練を行うことになる。一方、発音時の注意点
を考慮した重み付けありの得点を使って訓練の順序を決
定すると、/l/ 音の得点が/ei/音の得点よりも大きいた
め、/l/ 音の訓練を先に行うことになる。このように、
評価結果に発音時の注意点をを考慮した重み付けをする
ことで、学習者は注意しなければならない点を必ず訓練
することができる。
比較結果と重み付けの一例を示す。比較結果は、教師音
声と学習者の特徴パラメータの距離で表すこととし、"p
lay"の発声時の注意点が“/l/ の音”であるとする。重
みは、例えば、“/l/ の音”の評価結果のみ2にし、他
は1にする。得点は、評価結果の良い(この場合は、距
離の小さい)特徴パラメータから順に、1,2,3…と
与えていき、訓練は得点の高い方から順に行うようにす
る。重み付けなしの得点で最も高いのは、/ei/音で、続
いて/l/ 音である。そこで、発声時の注意点を考慮せず
に訓練の順序を決定すると、/ei/音の訓練を行った後に
/l/ 音の訓練を行うことになる。一方、発音時の注意点
を考慮した重み付けありの得点を使って訓練の順序を決
定すると、/l/ 音の得点が/ei/音の得点よりも大きいた
め、/l/ 音の訓練を先に行うことになる。このように、
評価結果に発音時の注意点をを考慮した重み付けをする
ことで、学習者は注意しなければならない点を必ず訓練
することができる。
【0019】第6の発明では、図1の訓練内容決定部1
05が、ある音素を訓練すると決定した際に、訓練する
音素の位置と前後の音素環境が異なる全てのデータを教
師音声記憶部103から選択し、訓練テキストを作成す
る。
05が、ある音素を訓練すると決定した際に、訓練する
音素の位置と前後の音素環境が異なる全てのデータを教
師音声記憶部103から選択し、訓練テキストを作成す
る。
【0020】図5に第6の発明により作成した訓練テキ
ストの一例を示す。図5の例では"play"の/l/ の音を訓
練する場合に、/l/ が語頭にある"less"や、語尾にある
“wool" や、"play"とは前後の音素環境が異なる"slee
p" 等も教師音声として選択している。このように、あ
る音素について訓練する場合に、その音素が特定の音素
環境や位置にあるデータばかりを選択するのではなく、
他の音素環境や位置にあるデータも教師音声とすること
で、その音素の音素環境や位置が何であろうとも、正確
に発声できるようにするための教師音声を提供すること
ができる。
ストの一例を示す。図5の例では"play"の/l/ の音を訓
練する場合に、/l/ が語頭にある"less"や、語尾にある
“wool" や、"play"とは前後の音素環境が異なる"slee
p" 等も教師音声として選択している。このように、あ
る音素について訓練する場合に、その音素が特定の音素
環境や位置にあるデータばかりを選択するのではなく、
他の音素環境や位置にあるデータも教師音声とすること
で、その音素の音素環境や位置が何であろうとも、正確
に発声できるようにするための教師音声を提供すること
ができる。
【0021】第7の発明では、図1の訓練内容決定部1
05が、音素を訓練すると決定すると共に、その音素を
学習者が発声した場合の音に近い音素についても同時に
訓練することを決定する。訓練内容決定部105は、教
師音声記憶部103のデータの中から、訓練する音素を
含むデータで、且つ訓練する音素を学習者が発声した場
合の音に近い音素に置き換えたデータが存在するものを
教師音声として選択する。訓練テキストは、これら2種
類の単語や文が比較できるような構成にする。
05が、音素を訓練すると決定すると共に、その音素を
学習者が発声した場合の音に近い音素についても同時に
訓練することを決定する。訓練内容決定部105は、教
師音声記憶部103のデータの中から、訓練する音素を
含むデータで、且つ訓練する音素を学習者が発声した場
合の音に近い音素に置き換えたデータが存在するものを
教師音声として選択する。訓練テキストは、これら2種
類の単語や文が比較できるような構成にする。
【0022】図6に第7の発明により作成した訓練テキ
ストの一例を示す。図6は、学習者の発声した/r/ 音が
/l/ 音に近い場合の例である。"ray" の/l/ の音を訓練
する場合には、教師音声記憶部103の中から、"ray"
と"lay" のように、訓練する音素と学習者が発声した音
素のみが異なる単語をペアで選択する。他にも"right"
と"light" や、"rag" と"lag" のように/r/ と/l/ 以外
は同じ音であるデータを教師音声にする。これにより、
本発明では学習者に学習者の発声が、訓練する音素より
も他の音素に近いことを知らせることができる。又学習
者は、両音素を比較しながら訓練することで、両音素を
正しく発声することができるようになる。
ストの一例を示す。図6は、学習者の発声した/r/ 音が
/l/ 音に近い場合の例である。"ray" の/l/ の音を訓練
する場合には、教師音声記憶部103の中から、"ray"
と"lay" のように、訓練する音素と学習者が発声した音
素のみが異なる単語をペアで選択する。他にも"right"
と"light" や、"rag" と"lag" のように/r/ と/l/ 以外
は同じ音であるデータを教師音声にする。これにより、
本発明では学習者に学習者の発声が、訓練する音素より
も他の音素に近いことを知らせることができる。又学習
者は、両音素を比較しながら訓練することで、両音素を
正しく発声することができるようになる。
【0023】第8の発明では、図1の訓練内容決定部1
05が、ある単語についてそのストレスを訓練する場合
に、類似する文字列からなる単語についても訓練するこ
とを決定する。例えば、ある単語を訓練する場合には、
その単語の語尾が変化したものや、接頭語や接尾語がつ
いたものを教師音声として教師音声記憶部103から選
択する。
05が、ある単語についてそのストレスを訓練する場合
に、類似する文字列からなる単語についても訓練するこ
とを決定する。例えば、ある単語を訓練する場合には、
その単語の語尾が変化したものや、接頭語や接尾語がつ
いたものを教師音声として教師音声記憶部103から選
択する。
【0024】図7に第8の発明により作成した教師音声
セットの一実施形態を示す。図7の例では、"system"を
訓練する場合に、"systemize" や"systematic"、"syste
mic"と、"system"と文字列が類似する単語も教師音声と
して選択する。この中で、"system"と"systemize" は第
1 母音の/i/ にストレスがあるが、"systematic"は第3
母音、"systemic"は第2母音にストレスがある。このよ
うに学習者は、類似する単語のストレスについても同時
に訓練することで、訓練が必要であった単語のみもを訓
練するのではなく、バリエーションに富んだ教師音声を
提供することができる。又、文字は類似していてもスト
レスの位置が異なる単語についても訓練することがで
き、それらの韻律についても正しく発声できるようにな
る。
セットの一実施形態を示す。図7の例では、"system"を
訓練する場合に、"systemize" や"systematic"、"syste
mic"と、"system"と文字列が類似する単語も教師音声と
して選択する。この中で、"system"と"systemize" は第
1 母音の/i/ にストレスがあるが、"systematic"は第3
母音、"systemic"は第2母音にストレスがある。このよ
うに学習者は、類似する単語のストレスについても同時
に訓練することで、訓練が必要であった単語のみもを訓
練するのではなく、バリエーションに富んだ教師音声を
提供することができる。又、文字は類似していてもスト
レスの位置が異なる単語についても訓練することがで
き、それらの韻律についても正しく発声できるようにな
る。
【0025】図8は第9の本発明の教師音声生成部の一
実施形態を示すブロック図である。第9の発明では、訓
練内容決定部905は、特徴パラメータ比較部の比較結
果から訓練内容を決定し、教師音声記憶部103の発声
情報を用いて訓練テキストを作成する代わりに、辞書記
憶部908の単語情報を用いて訓練テキストを作成す
る。辞書記憶部908には、訓練する言語の単語や文が
記憶されている。教師音声編集部909は、訓練テキス
ト中のデータが教師音声記憶部903に存在しない場合
に、教師音声記憶部903のデータを編集して該当する
データを合成して教師音声を作成する。これにより、教
師音声記憶部903に記憶されていない単語や教師音声
も提供することができる。
実施形態を示すブロック図である。第9の発明では、訓
練内容決定部905は、特徴パラメータ比較部の比較結
果から訓練内容を決定し、教師音声記憶部103の発声
情報を用いて訓練テキストを作成する代わりに、辞書記
憶部908の単語情報を用いて訓練テキストを作成す
る。辞書記憶部908には、訓練する言語の単語や文が
記憶されている。教師音声編集部909は、訓練テキス
ト中のデータが教師音声記憶部903に存在しない場合
に、教師音声記憶部903のデータを編集して該当する
データを合成して教師音声を作成する。これにより、教
師音声記憶部903に記憶されていない単語や教師音声
も提供することができる。
【0026】
【発明の効果】以上説明したように、本発明による発声
訓練装置は、学習者の発声を評価し、発声訓練方法を決
定することで、個々の学習者に適した発声訓練方法を提
供することができる。又、教師音声を合成することで、
予め記憶していない教師音声も提供することができる。
これにより、従来の発声訓練装置より効率的でバリエー
ションに富んだ発声訓練を行うことができるという効果
がある。
訓練装置は、学習者の発声を評価し、発声訓練方法を決
定することで、個々の学習者に適した発声訓練方法を提
供することができる。又、教師音声を合成することで、
予め記憶していない教師音声も提供することができる。
これにより、従来の発声訓練装置より効率的でバリエー
ションに富んだ発声訓練を行うことができるという効果
がある。
【図1】第1の発明における発声訓練装置の実施形態の
ブロック図である。
ブロック図である。
【図2】第5の発明における発声訓練装置の実施形態の
ブロック図である。
ブロック図である。
【図3】第5の発明における教師音声記憶部の中の教師
音声データの一例を示す図である。
音声データの一例を示す図である。
【図4】第5の発明における訓練内容決定部で求めた各
特徴パラメータの得点の一例を示す図である。
特徴パラメータの得点の一例を示す図である。
【図5】第6の発明における訓練テキストの一例を示す
図である。
図である。
【図6】第7の発明における訓練テキストの一例を示す
図である。
図である。
【図7】第8の発明における訓練テキストの一例を示す
図である。示す図である。
図である。示す図である。
【図8】第9の発明における発声訓練装置の実施形態を
示すブロック図である。
示すブロック図である。
【図9】第9の発明における教師音声の編集方法の一例
を示す図である。
を示す図である。
101 音声入力端子 102 特徴パラメータ抽出部 103 教師音声記憶部 104 特徴パラメータ比較部 105 訓練内容決定部 106 教師音声生成部 107 音声出力端子 503 教師音声記憶部 504 特徴パラメータ比較部 505 訓練内容決定部 903 教師音声記憶部 905 訓練内容決定部 908 辞書記憶部 909 教師音声編集部
Claims (9)
- 【請求項1】 学習者の発声した音声(学習者音声)と
教師の発声した音声(教師音声)を入力する音声入力手
段と、前記音声入力手段を通して受け取った前記学習者
音声と前記教師音声を出力する音声出力手段とを有する
発声訓練装置において、前記教師音声の音声波形と発声
内容を予め記憶しておく教師音声記憶手段と、前記学習
者音声と前記教師音声の特徴パラメータを求める特徴パ
ラメータ抽出手段と、前記特徴パラメータ抽出手段によ
って求めた前記学習者音声の特徴パラメータと前記教師
音声の特徴パラメータとを比較する特徴パラメータ比較
手段と、前記特徴パラメータ比較手段による比較結果か
ら訓練内容を決定し、前記決定した訓練内容をもとに前
記教師音声記憶手段に記憶されている教師音声の発声内
容から訓練に用いる教師音声を選択し、訓練テキストを
作成する訓練内容決定手段と、前記訓練テキストにそっ
て前記教師音声記憶手段に記憶されている教師音声の音
声波形を抜き出す教師音声生成手段を有することを特徴
とする発声訓練装置。 - 【請求項2】 前記特徴パラメータ抽出手段が求める特
徴パラメータが音響的特徴パラメータであり、前記特徴
パラメータ比較手段は、前記学習者音声と前記教師音声
の音響的特徴パラメータを比較することを特徴とする請
求項1に記載の発声訓練装置。 - 【請求項3】 前記特徴パラメータ抽出手段が求める特
徴パラメータが韻律的特徴パラメータであり、前記特徴
パラメータ比較手段は、前記学習者音声と前記教師音声
の韻律的特徴パラメータを比較することを特徴とする請
求項1に記載の発声訓練装置。 - 【請求項4】 前記特徴パラメータ抽出手段が求める特
徴パラメータが音響的特徴パラメータと韻律的特徴パラ
メータであり、前記特徴パラメータ比較手段は、前記学
習者音声と前記教師音声を前記音響的特徴パラメータと
前記韻律的特徴パラメータの両方で比較することを特徴
とする請求項1に記載の発声訓練装置。 - 【請求項5】 前記教師音声記憶手段は、前記教師音声
の音声波形や発声内容と共に前記教師音声を発声する時
に注意する点(発声時の注意点)を記憶し、前記特徴パ
ラメータ比較手段は、前記特徴パラメータの比較をする
と共に前記教師音声記憶手段から発声時の注意点を取り
出し、前記訓練内容決定手段は、前記発声時の注意点を
用いて前記特徴パラメータの比較結果に対し重み付けを
し、前記重み付けをした比較結果を元に訓練内容を決定
することを特徴とする請求項1から4に記載の発声訓練
装置。 - 【請求項6】 前記訓練内容決定手段は、前記特徴パラ
メータ比較手段の比較結果からある音素を訓練すると決
定し、前記訓練すると決定した音素の前後の音素や前記
訓練すると決定した音素が現れる単語中の位置が異なる
全てのエントリを前記教師音声記憶手段から検索し、訓
練テキストを作成することを特徴とする請求項2、又は
4、又は5に記載の発声訓練装置。 - 【請求項7】 前記訓練内容決定手段は、前記特徴パラ
メータ比較手段の比較結果からある音素を訓練すると決
定し、同時に前記訓練すると決定した音素を学習者が発
声した場合の音に近い音素についても訓練すると決定
し、前記教師音声記憶手段に記憶してある教師音声のう
ち、前記訓練する音素を含む教師音声で且つ前記訓練す
る音素を学習者が発声した場合の音に近い音素に置き換
えた教師音声が存在するものを選択し、訓練テキストを
作成することを特徴とする請求項2、又は4、又は5に
記載の発声訓練装置。 - 【請求項8】 前記訓練内容決定手段は、前記特徴パラ
メータ比較手段の比較結果からある単語のストレスを訓
練すると決定し、前記訓練する単語に類似したデータを
前記教師音声記憶手段から選択し、訓練テキストを作成
することを特徴とする請求項2、又は3、又は5に記載
の発声訓練装置。 - 【請求項9】 前記訓練内容決定手段は、前記特徴パラ
メータ比較手段の比較結果から訓練内容を決定し、前記
記憶内容を元に文や単語が記憶されている辞書記憶手段
から前記訓練テキストを作成し、前記教師音声編集手段
は、前記教師音声記憶手段の中に該当する教師音声が存
在しない場合に、前記教師音声記憶手段に記憶してある
教師音声を編集して該当する教師音声を作成することを
特徴とする請求項1から8に記載の発声訓練装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8150921A JP2806364B2 (ja) | 1996-06-12 | 1996-06-12 | 発声訓練装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8150921A JP2806364B2 (ja) | 1996-06-12 | 1996-06-12 | 発声訓練装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09330019A true JPH09330019A (ja) | 1997-12-22 |
JP2806364B2 JP2806364B2 (ja) | 1998-09-30 |
Family
ID=15507323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8150921A Expired - Lifetime JP2806364B2 (ja) | 1996-06-12 | 1996-06-12 | 発声訓練装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2806364B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006251721A (ja) * | 2005-03-14 | 2006-09-21 | Advanced Telecommunication Research Institute International | 音響評定装置、音響出力装置およびそのプログラム |
JP2014215726A (ja) * | 2013-04-24 | 2014-11-17 | カシオ計算機株式会社 | 表示装置及び表示システム |
JP2016045420A (ja) * | 2014-08-25 | 2016-04-04 | カシオ計算機株式会社 | 発音学習支援装置およびプログラム |
JP2016057761A (ja) * | 2014-09-08 | 2016-04-21 | カシオ計算機株式会社 | 音声出力装置およびプログラム、サーバ装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004053652A (ja) * | 2002-07-16 | 2004-02-19 | Asahi Kasei Corp | 発音判定システム、システム管理用サーバ及びプログラム |
JP2005031207A (ja) * | 2003-07-08 | 2005-02-03 | Omron Corp | 発音練習支援システム、発音練習支援方法、発音練習支援プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体 |
-
1996
- 1996-06-12 JP JP8150921A patent/JP2806364B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006251721A (ja) * | 2005-03-14 | 2006-09-21 | Advanced Telecommunication Research Institute International | 音響評定装置、音響出力装置およびそのプログラム |
JP2014215726A (ja) * | 2013-04-24 | 2014-11-17 | カシオ計算機株式会社 | 表示装置及び表示システム |
JP2016045420A (ja) * | 2014-08-25 | 2016-04-04 | カシオ計算機株式会社 | 発音学習支援装置およびプログラム |
JP2016057761A (ja) * | 2014-09-08 | 2016-04-21 | カシオ計算機株式会社 | 音声出力装置およびプログラム、サーバ装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2806364B2 (ja) | 1998-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6865533B2 (en) | Text to speech | |
US6847931B2 (en) | Expressive parsing in computerized conversion of text to speech | |
US7280968B2 (en) | Synthetically generated speech responses including prosodic characteristics of speech inputs | |
JP4189051B2 (ja) | 発音測定装置および方法 | |
US8219398B2 (en) | Computerized speech synthesizer for synthesizing speech from text | |
US7877259B2 (en) | Prosodic speech text codes and their use in computerized speech systems | |
JP2003114693A (ja) | 音声制御情報ストリームに基づいて音声信号を合成する方法 | |
US9798653B1 (en) | Methods, apparatus and data structure for cross-language speech adaptation | |
Bettayeb et al. | Speech synthesis system for the holy quran recitation. | |
JP2806364B2 (ja) | 発声訓練装置 | |
Kayte et al. | A Corpus-Based Concatenative Speech Synthesis System for Marathi | |
JP3050832B2 (ja) | 自然発話音声波形信号接続型音声合成装置 | |
JP2844817B2 (ja) | 発声練習用音声合成方式 | |
JP2975586B2 (ja) | 音声合成システム | |
Aoga et al. | Integration of Yoruba language into MaryTTS | |
JPH08335096A (ja) | テキスト音声合成装置 | |
JP2001117598A (ja) | 音声変換装置及び方法 | |
Qian et al. | HMM-based mixed-language (Mandarin-English) speech synthesis | |
Maia et al. | An HMM-based Brazilian Portuguese speech synthesizer and its characteristics | |
Hofer | Emotional speech synthesis | |
EP1589524B1 (en) | Method and device for speech synthesis | |
Hinterleitner et al. | Speech synthesis | |
JP2001100775A (ja) | 音声合成装置のための音声データ量削減装置及び音声合成装置 | |
EP1640968A1 (en) | Method and device for speech synthesis | |
JPH09292897A (ja) | 音声合成装置 |