JPH065451B2 - 発音訓練装置 - Google Patents

発音訓練装置

Info

Publication number
JPH065451B2
JPH065451B2 JP61303772A JP30377286A JPH065451B2 JP H065451 B2 JPH065451 B2 JP H065451B2 JP 61303772 A JP61303772 A JP 61303772A JP 30377286 A JP30377286 A JP 30377286A JP H065451 B2 JPH065451 B2 JP H065451B2
Authority
JP
Japan
Prior art keywords
flow
pronunciation
voice
training
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP61303772A
Other languages
English (en)
Other versions
JPS63157184A (ja
Inventor
定明 江澤
宏昭 高野
良一 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawai Musical Instrument Manufacturing Co Ltd
Original Assignee
Kawai Musical Instrument Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawai Musical Instrument Manufacturing Co Ltd filed Critical Kawai Musical Instrument Manufacturing Co Ltd
Priority to JP61303772A priority Critical patent/JPH065451B2/ja
Publication of JPS63157184A publication Critical patent/JPS63157184A/ja
Priority to US07/399,388 priority patent/US4969194A/en
Publication of JPH065451B2 publication Critical patent/JPH065451B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/04Speaking

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は、外国語などの発音の訓練を行なう発音訓練装
置に関する。
(従来の技術) 外国語の発音訓練の場合、外国語を母国語とする人(以
下ネイテイブという)に発音評価を頼る方法がある。ま
た、市販されているカセツトテープ、ビデオテープ、レ
コード、本等によつて自己訓練する方法とがある。
(発明が解決しようとする問題点) 上述のネイテイブに発音評価を頼る方法は、ネイテイブ
が訓練者に微妙な発音の違いを説明するのが困難であ
り、また身近にネイテイブがいる場合が少ないという不
都合がある。カセツトテープ等による方法は、いずれも
訓練の主体が聴覚判断にもとづく反復練習であり、ビデ
オテープによる映像は、英文のつづりや発音記号,口の
形,舌の位置等の説明、風景等が主で、発音にとつて付
属的な役割を持つだけであつて、訓練者の聴覚にのみ評
価をたよつている。結局、カセツトテープ等による方法
では、どのようにしたら正確な発音ができるようになる
のかのノウ・ハウについてあまり説明されていず、ま
た、訓練者は自己の発音が正確な発音に近づいているか
どうかを把えることが困難で、学習に不可欠な学ぶ喜び
も起りにくいのが普通であつた。
本発明は、従来の上述のような不都合を解消する発音訓
練装置を提供することをその目的とするものである。
(問題点を解決するための手段) 本発明は、上述の目的を達成するために、学習すべき音
声の音声パラメータのパターン上で前記発音の正確さを
特定付ける要素である着眼点及びその特徴を説明する手
段と、訓練者が発音した音声を分析して音声パラメータ
のパターンを表示する音声分析手段と、訓練者の音声パ
ラメータのパターン上で前記着眼点を数値化して得られ
た発音特徴データと対応する手本の発音に関してあらか
じめ前記着眼点を数値化しておいた手本の発音特徴デー
タとを比較する手段と、該比較手段の結果に応じて発音
を矯正するためのコメントを選択し、表示する手段とか
ら成ることを特徴とする。
(作用) 発音の矯正を効率よく実行するには、日本人の発音の欠
点を熟知した上で、発音訓練の矯正ポイントを明らかに
しておく必要がある。
発音の矯正ポイントは、英語の場合、次のような訓練モ
ードである。
日本語が胸式呼吸なのに対して英語は腹式呼吸を使つて
ストレスアクセント(音の強弱)で発音される。手をお
腹の上に置き、発声するたびに振動が感じられる時は、
腹式呼吸の発声である。主に名詞、動詞、形容詞、副詞
を強く発音する。例えば、下記のようにアクセントマー
ク(′印)が強く発音される。
I fund your pn. 訓練モードE2…イントネーシヨン イントネーシヨンはピツチ(声の高低)の組み合わせで
あり、相互の関係は下記のようになる。
文章においては、下記のように2のレベルで始まり、3
のレベルになり、終りは1のレベルになる。
文章が長くなつてもこの2→3→1というイントネーシ
ヨンのレベル変化となる。疑問文になると下記のように
2のレベルで始まり3のレベルの終りでピツチが持ち上
がる。
訓練モードE3…母音 母音を標準化出来る持続時間、音の強さ(音声のパワー
を意味し、以下では単にパワーという)の特徴をとり出
す。又、この持続時間、パワーに加えるにあごの開閉、
唇の丸み、舌の前後および上下の動きがある。これらは
第1、第2、第3ホルマントの表われ方によつて評価で
きる。この中で特に大切な矯正ポイントは、持続時間で
ある。日本語は音節単位であり、下記のように子音と母
音が一つになつてほとんど同じ持続時間で発音される。
これに対し英語は、下記のように語尾に有声音が来た時
の方が無声音が来た時よりもその前の母音が長く発音さ
れる。
又、語尾が母音で終る場合もその前の母音が長く発音さ
れる。
訓練モードE4…子音 単語の語頭(例part)や語尾(例stop)など位置により
下記のように矯正ポイントが異なつてくる。
子音で無声の破裂音は、帯気が大切で、帯気の持続時間
が長ければ音が強く、短かければ弱く発音されているこ
とになる。
摩擦音に関しては、持続時間が大切である。やはり強く
発音するには持続時間が長い方がよい。
以上説明したような複数の訓練モードのそれぞれについ
て、先ず、学習すべき発音の音声パラメータのパターン
上で前記発音の正確さを特定付ける要素である着眼点
の、帯気の時間等の特徴の説明を表示し、次いで音声分
析手段により訓練者が発音した音声を分析して音声パラ
メータのパターンを表示する。訓練者が、このパターン
上で得られた前記着眼点を数値化した発音特徴データを
入力すると、比較手段は、該発音特徴データと、対応す
る手本の発音に関してあらかじめ前記着眼点を数値化し
ておいた手本の発音特徴データとを比較する。この比較
結果により表示手段は発音を矯正するためのコメントを
選択し表示する。かくて訓練者はこのコメントに基づい
て発音訓練を行なう。
以下本発明の実施例を図面につき説明する。
第1図は、本発明の1実施例のブロツク図を示す。
同図において、ビデオデイスク1には、主に発音の特徴
解説やネイテイブの発音の実演を映像化して格納されて
いる。ビデオデイスクプレーヤ2は、訓練者の進度や目
的に応じてビデオデイスク中に任意の場面をアクセスし
たり、ある場面を繰返して再生するためにバスL1を介
してパーソナルコンピュータ3で制御されるようになつ
ている。
パーソナルコンピュータ3は、画像メモリ311等を有
するコンピュータ本体31、キーボード32及びデイス
プレイ33で精製されている。コンピュータ本体31に
バスL4を介して接続される音声メモリ4は、訓練者が
発声した音声やビデオ音声の録音と再生に使われるもの
で、そのメモリ容量は1サンプル点当り2バイトを使用
すれば、音声帯域6KHzとした時サンプリング周波数1
2KHzで2×12000=24000バイト/秒(12000サンプル
点)となる。10秒間の音声の記録が可能であれば十分
であるので240000バイト(120000サンプル点)を用意す
る。
コンピユータ本体31にバスL4を介して接続される濃
淡画像メモリ5は、サウンドスペクトログラフのような
濃淡画像1画面分をデイスプレイ33に表示するために
使用されるものである。サウンドスペクトログラフは、
後記する第3−2図(B)に示すように、横軸を時間軸と
し、縦軸を周波数軸とした平面上において、周波数強度
が濃淡で表示されたいわゆる声紋であり、ホルマントの
表われ方を見るのに適している。その容量は周波数方向
250点、時間方向1000点、濃淡階調16(4ビツト)
とすれば、(250×1000×4)/8=125000バイトとな
る。
信号制御部6は、各種の訓練を実行する際に信号の流れ
を制御するもので、A−D変換器7及びD−A変換器8
を介して音声メモリ4に接続され、またバスL3を介し
てビデオデイスクプレーヤ2に接続され、更にマイクロ
フオン9及びスピーカ10に接続されており、バスL2
を介してコンピユータ本体31によつて制御される。ビ
デオデイスプレイ11はビデオデイスク1の映像信号を
映像化するもの、ミラー12はビデオデイスプレイ11
に近接配置し、これに映し出されるネイテイブの発音の
際の唇、舌、あごなどの形態と比較するために訓練者が
自己の同様の形態を映し出すためのものである。
前記信号制御部6を更に詳細に説明すると、該信号制御
部6は、第2図示のような回路構成を有し、表1に示す
動作モードを実行する際に信号の流れを制御する。
第2図示の回路において、リレー13、14、15、1
6は、コンピユータ本体31の出力ポートからバスL2
上に動作モードM1〜M4に応じて送出される4ビツト
並列信号で制御される。動作モードM1のときは、リレ
ー13だけが閉となり、マイクロフオン9からの音声信
号は、ローパスフイルタ17、増幅器18を経てA−D
変換器7でデジタル信号化され、音声メモリ4に書き込
まれる。
動作モードM2のときは、リレー14だけが閉となり、
バスL3に送出されるビデオデイスク1の音声信号はロ
ーパスフイルタ17、増幅器18を経てA−D変換器7
でデジタル信号化され、音声メモリ4に書込まれる。
動作モードM3のときは、リレー15だけが閉となり、
音声メモリ4から読出された内容がD−A変換器8でア
ナログ信号化され、ローパスフイルタ19及び増幅器2
0を経てスピーカ10から放音される。
こゝで、音声メモリ4は、バスL4上に、動作モードM
1〜M3に応じてコンピユータ本体31内の中央処理装置
から送出されるアドレスバス信号、データバス信号、書
込み信号及び読出し信号等のバス信号で制御されて書込
まれあるいは読出される。
動作モードM4のときは、リレー16だけが閉となり、
ビデオデイスク1の音声信号がローパスフイルタ19及
び増幅器20を経てスピーカ10から放音される。
動作モードM5のときは、パーソナルコンピユータ3
は、図示しないインターフエース(例えば周知のRS-232
Cを使用する)からバスL1を経てビデオデイスクプレー
ヤ2を制御する。その結果、ビデオデイスク1の映像信
号がビデオデイスプレイ11へ送出され、映像化され
る。ビデオデイスクプレーヤ2に対する代表的な制御命
令コマンドは表2に示す通りである。
動作モードM5は、表2の制御命令コマンドで構成され
る。その内容は表3に示す。
動作モードM55は、指定されたフレーム番号n1から
n2迄を再生してn2で静止画にする制御命令コマンド
である。
動作モードM5を実行する場合、パーソナルコンピユー
タ3の要求に応じてビデオデイスクプレーヤ2から動作
状態、再生中のフレーム番号がバスL1上に送られてく
るので、それらを確認した上で発音矯正過程での訓練内
容に従つて動作モードを表3から選択し、対応する制御
命令コマンドをバスL1上に送り返してビデオデイスク
プレーヤ2を制御していく。
動作モードM6のときは、パーソナルコンピユータ3は
バスL4上のバス信号を介して音声メモリ4から記録し
た音声信号を取り込み、音声分析し、その結果得られた
音声パターンの各音声パラメータをデイスプレイ33上
に表示する。
音声パラメータは、波形、パワー、ピツチ、サウンドス
ペクトログラフの4種類とし、発音矯正の訓練モードに
応じて、そのうちの幾つかの組合せを表示する。表4は
この組合せによつて細分された動作モードM61〜M6
3を示す。
第3−1図、第3−2図及び第3−3図はそれぞれ動作
モードM61,M62及びM63を実行した場合のデイ
スプレイ33の表示例である。
パーソナルコンピユータ3により音声分析された結果得
られたサウンドスペクトログラフの画像データは、バス
4上のバス信号を介して濃淡画像メモリ5に格納し、
波形、パワー、ピツチの画像データは、コンピユータ本
体3内に通常有している画像メモリ311に格納する。
したがつて、第3−2図の(A)と(B)に図示するように
パワーとサウンドスペクトログラフとを同時に表示する
ときは画像メモリ311の画像データと濃淡画像メモリ
5の画像データとを適切切換えてデイスプレイ33へ送
出する。
発音矯正ポイントとして重要なストレスアクセント、イ
ントネーシヨン、持続時間及びホルマントなどを見るた
めには、第3−1図〜第3−3図に示すように、発音の
全体像を把握できるように表示する必要がある。
音声メモリ4は、前述のように、10秒間の音声の記録
が可能で、120000サンプル点を格納する。一方、デイス
プレイ33の時間方向の分解能を前記した濃淡画像メモ
リ5の説明と同様に1000点とすれば、最も全体像を把握
しやすい表示である一段だけの表示のとき全体の1/120
のサンプル点した表示できない。そこでこのような表示
制限を考慮して音声パラメータを処理する必要がある。
以下、音声パラメータの算出法の概要と表示制限を考慮
した音声パラメータ処理法を説明する。
波形処理 波形の全体像を表示するには、音声メモリ4のサンプル
点を間引く必要があり、間引くにしても自然な印象を与
えることが重要である。
第4図は波形間引きのフローチヤート、第5図はその説
明図を示す。
第5図の(A)は、音声メモリ4の初めの部分の内容をア
ナログ信号化して示したものである。
第4図示のフロー(1)において、第5図の(A)に示す音
声メモリ4の内容であるアナログ音声信号を、第5図
(B)に示すようにSi(i=1,2,3…n)のグルー
プに分割する。デイスプレイ33の表示位置に対応して
画像メモリ311のメモリ領域内にX座標、Y座標を設
定するが、フロー(2)では、波形データを格納する時間
方向の範囲を決めるX座標の初期値と終了値を設定す
る。フロー(3)のiはグループ指定を進めるためのカウ
ンタであり、i=1としてS1グループから指定する。
フロー(4)でグループ内の最大値Ri、最小値Qiを求め
る。i=1のときはS1グループのR1,Q1が求められ
る。
フロー(5)、(6)は後で説明する。フロー(7)でR1、Q1
を画像メモリ311のY座標の値R11に変換す
る。フロー(8)で画像メモリ3111の座標(X,1
と(X,1)とを結線するように処理する。これが第
5図(C)におけるLINE1である。フロー(9)でX座標が終
了値に達しているならば波形データの格納を終了する。
終了値でなければフロー(10)でX座標の値を1だけ進
め、フロー(11)でi=2とする。今度はS2グループが
指定され、フロー(4)〜(8)で同様に処理した結果がLINE
2である。
この様にしてフロー(9)でX座標=終了値と判定される
迄グループの処理が続行される。第5図(A)を間引き表
示した結果を第5図(D)に示す。第5図(C)は第5図
(D)の始めの部分を拡大したものに相当する。フロー
(5)、(6)は分割数nが大きくなり間引きの割合いが低下
したとき有効となる。すなわち分割数nが大きくなりグ
ループ内のサンプル点数が少なくなるとS3グループの
3、Q3のように双方が同符号になる場合が数多く発生
する。なにもしないでフロー(8)で結線処理すると中心
線付近が空白となり波形の全体像としては不自然にな
る。そこでフロー(5)でR3、Q3が同符号と判定されれ
ば、フロー(6)で絶対値の小さい方の値を強制的に0に
して、LINE3のように中心線迄結線を延長するように配
慮している。
次に画像メモリ311で波形データを格納するX座標の
範囲をm点としてその一段だけの波形表示可能時間をt
としたとき、分割数nとの関係を求める。音声メモリ4
は10秒間の音声の記録が可能であり、これをn分割し
た各グループは10/n〔秒〕の記録時間に相当する。
これがm点だけ表示可能であるからt〔秒〕=10m/
nとなる。今m=800点とすれば、n=800でt=
10〔秒〕となり、音声メモリ4の全部が表示される。
又、n=1600ならt=5〔秒〕で最初の1/2が表示
され、n=3200ならt=2.5〔秒〕で最初の1/4が表示さ
れる。
以上のように記録した音声の秒数に応じて適宜分割数n
を設定すると、デイスプレイ33上に波形の全体像を良
好に表示することが可能となる。
パワー処理 パワー処理は、第6図示のフローチヤートにより行なわ
れる。
これは、音声メモリ4の全サンプル点を分割数nに従つ
てS1,S2,……,Snのグループに分割し、各グルー
プの平均パワーを求め、その平均パワーを基に表示パワ
ーデータを算出する方式である。
フロー(1)において、第5図に例示したように、音声メ
モリ4の内容である第5図(A)を第5図(B)に示すよう
にグループに分割する。デイスプレイ33の表示位置に
対応して画像メモリ311内にX座標、Y座標を設定す
るが、フロー(2)では表示パワーデータを格納する時間
方向の範囲を決めるX座標の初期値と終了値を設定す
る。フロー(3)におけるiはグループ指定を進めるため
のカウンターであり、i=1としてS1グループから指
定する。jは後記するフロー(7)で求める重み付け平均
パワーPWjのためのカウンターである。このPWjが表示パ
ワーデータとなる。フロー(4)でSiグループの平均パワ
ーPiを求める。Piの算出は次式による。
ここではS1グループのP1が求められる。フロー(5)で
NOとなりF1を回る。フロー(6)でi=2となりフロ
ー(4)でP2が求められる。再びF1を回つてフロー(6)
でi=3となりフロー(4)でP3が求められる。今度はi
=3なのでフロー(5)でYESとなりフロー(7)へ進む。
以後は後記するフロー(11)でYESと判定される迄F2
を回る。フロー(7)では重み付け平均パワーPWjを求め
る。PWjは連続するいくつかのグループの平均パワー
に、さらに重み付けして平均を求めたものであり、表示
上のピツチの影響による目障りな微細な変化分を取り除
き、なめらかな曲線に変換する効果がある。
PWjの算出は次式による。
通常W1=0.2,W2=0.8,W3=1.0,W4=0.8,W5
0.2程度にするとよい。又P1〜Pnの範囲外となる平均
パワーとそれに乗算されるWkはすべて0とする。
ここではj=1なので次式のようにPW1が求められ
る。
フロー(8)でPW1を画像メモリ311のY座標の値▲
1に変換する。
フロー(9)で画像メモリ311の座標(X,▲▼1
に打点処理する。
フロー(10)でj=2とする。フロー(11)でX座標が終了
値に達しているならば、フロー(12)で打点処理した表示
の内側を縦線処理して終了する。終了値でなければフロ
ー(13)へ向かう。フロー(13)ではX座標の値を1だけ進
める。今度はフロー(6)でi=4となり、フロー(4)でP
4が求められる。フロー(7)ではj=2なので次式のよう
にPW2が求められる。
以後フロー(11)でX座標=終了値と判定される迄F2を
回り続け、処理が続行される。その処理推移を表5に示
し、フロー(7)で重み付けする平均パワーの範囲を矢印
で示す。
表5においてPWn-1,PWnを算出するとき、フロー(4)で
はS1〜Snグループの範囲外であるSn+1、Sn+2からP
n+1、Pn+2を求めることになるが、これは実行してもし
なくてもどちらでもよい。どちらにしてもフロー(7)のP
Wjの算出ではP1〜Pnの範囲外として無視される。
画像メモリ311で▲▼jを格納するX座標の範囲
をm点としてその一段だけのパワー表示可能時間をtと
したとき、分割数nとの関係は前記と同様にt〔秒〕=
10m/nとなる。結局、第3−1図のようにパワーと
波形とを同じ時間軸で表示するときはnの値を同じに設
定すればよい。
ピツチ処理 ピツチ処理のフローチヤートを第7図に示す。音声メモ
リの全サンプル点を分割数nに従つてS1、S2、…、S
nのグループに分割し、各グループ毎に有声音ならば平
均ピツチを求めていく方式である。フロー(1)において
第5図に例示したように、音声メモリ4の内容である第
5図(A)を第5図(B)に示すようなグループに分割す
る。デイスプレイ33の表示位置に対応して画像メモリ
311内にX座標、Y座標を設定するが、フロー(2)で
は表示ピツチデータを格納する時間方向の範囲を決める
X座標の初期値と終了値を設定する。フロー(3)におけ
るiはグループ指定を進めるためのカウンターであり、
i=1としてSiグループから指定する。フロー(4)で前
記と同様にSiグループの平均パワーPiを求める。ここ
ではSiグループのPiが求められる。フロー(5)ではPi
により無音か有音かが判定される。Piが一定値以上で
なければ無音とし、ピツチが存在しないので次のグルー
プの処理のために直接フロー(11)へ向かう。一定値以上
であれば有音とし、フロー(6)でグルーフ内での自己相
関値Hiを求める。ここではH1が求められる。フロー
(7)ではH1により無声音か有声音かが判定される。H1
が一定値以上でなければ摩擦音や破裂音のようにピツチ
を有しない無声音とし、次のグループの処理のために直
接フロー(11)へ向かう。一定値以上であれば有声音と
し、フロー(8)で男、女、子供別にピツチ周期の範囲を
仮定して相関をとつてグループ内の平均ピツチPTiを
求める。ここではPT1が求められる。フロー(9)でPT1
を画像メモリ311のY座標の値▲▼1に変換す
る。フロー(10)で画像メモリ311の座標(X,▲
1)に打点処理する。フロー(11)でX座標が終了値に
達しているならばピツチデータの格納を終了する。終了
値でなければフロー(12)でX座標の値を1だけ進め、フ
ロー(13)でi=2とする。今度はS2グループが指定さ
れる。以後フロー(11)でX座標=終了値と判定される
迄、各グループの処理が続行される。画像メモリ311
で▲▼1を格納するX座標の範囲をm点としてその
一段だけのピツチ表示可能時間をtとしたとき、分割数
nとの関係は前記と同様にt〔秒〕=10m/nとな
る。結局、第3−3図のようにパワーとピツチと波形と
を同じ時間軸上で表示するときはnの値をすべて同じに
設定すればよい。
サウンドスペクトログラフ処理 サウンドスペクトログラフ処理のフローチヤートを第8
図に示す。音声メモリの全サンプル点を分割数nに従つ
てS1、S2、…、Snのグループに分割し、各グループ
毎に高速フーリエ変換してパワースペクトルを求めてい
く方式である。フロー(1)において第5図に例示したよ
うに、音声メモリ4の内容である第5図(A)を第5図
(B)に示すようなグループに分割する。デイスプレイ3
3の表示位置に対応して濃淡画像メモリ5内にX座標、
Y座標を設定するが、フロー(2)では表示パワースペク
トルデータを格納する時間方向の範囲を決めるX座標の
初期値と終了値を設定する。フロー(3)におけるiはグ
ループ指定を進めるためのカウンターであり、i=1と
してS1グループから指定する。フロー(4)で高域周波数
を強調するが、これは次のフロー(5)で算出するパワー
スペクトルの高域成分のレベルが低域成分よりも小さく
なるのを防止し、表示が高域迄一様にするためのもので
ある。
フロー(4)で求めたをフロー(5)で高速フーリエ変換
してパワースペクトルPS1(f)を求める。ここではS1
ループのPS1(f)が求められる。フロー(6)でPS1(f)を濃
淡階調に対応した値▲▼(f)に変換する。
フロー(7)で▲▼(f)のスペクトル周波数fを濃淡
画像メモリ5のY座標の値に変換して▲▼
()とする。フロー(8)で濃淡画像メモリ5の座標
(X,▲▼())に濃淡を有する打点処理をす
る。フロー(9)でX座標が終了値に達しているならばパ
ワースペクトルデータの格納を終了する。終了値でなけ
ればフロー(10)でX座標の値を1だけ進め、フロー(11)
でi=2とする。今度はS2グループが指定される。以
後フロー(9)でX座標=終了値と判定される迄、各グル
ープの処理が続行される。
濃淡画像メモリ5で▲▼()を格納するX座標
の範囲をm点としてその一段だけの表示可能時間をtと
したとき、分割数nとの関係は前記と同様にt〔秒〕=
10m/nとなる。結局、第3−2図のようにパワーと
サウンドスペクトログラフとを同じ時間軸上で表示する
ときはnの値を同じに設定すればよい。X座標に時間10
00点、Y座標に周波数250点をとり、堪能階調16
(4ピツト)に対応して変換した▲▼()を、
L4のバス信号を介して濃淡画像メモリ5に格納して表
示した始めの部分が第3−2図のサウンドスペクトログ
ラフである。
次に本発明の1実施例による発音矯正を、第9−1図の
フローチヤートに基づいて説明する。このフローチヤー
トでは、実施例のステツプ(ステツプ(2))の前に、訓
練者がネイテイブと自己の発音とを、“自身の耳”によ
る聴感と、唇、舌、あごなどの“形態”による視覚で比
較・評価するステツプ(1)を行ない、発音の矯正を効率
的に行なうように構成している。
そこで、先ず、ステップ(1)について説明すると、フロ
ー(1)で動作モーダM51を実行してビデオデイスク1
の再生を開始すると、ビデオデイスプレイ11に例えば
導入部のタイトル等の映像が再生される。フロー(2)で
動作モードM54を実行するとビデオデイスプレイ11
の映像は図のフロー(2)の右側に示すように、例えば訓
練モードE1〜E4等の訓練モードを示す静止画が表示
される。
訓練が終了し、上記画像からEXを選択するとフロー
(3)で動作モードM52を実行してビデオデイスク1の
回転が停止して終了する。訓練モードE1〜E4のどれ
かを選択すると、フロー(4)でE1〜E4に応じた映像
が格納されているビデオデイスク1の対応する訓練モー
ドの先頭フレーム番号を選択し、フロー(5)で動作モー
ドM53を実行し選ばれた訓練モードのタイトルが静止
画で表示される。図のモード(5)の右側には、訓練モー
ドE4の子音が選ばれた場合の映像例を示す。フロー
(6)は細分化した訓練項目がある場合に実行し、項目メ
ニューの静止画が表示される。例えばE4の子音のとき
は/p/音、/t/音、/k/音…から1つを選ぶ。フ
ロー(7)で動作モードM4を実行してビデオデイスク1
の音声信号をスピーカから放音するようにセットする。
こゝで、フロー(1)の前に動作モードM4を実行して、
導入部のタイトル等の映像のバツク音楽を流したり、静
止画にする前にその内容を説明したりしてもよい。フロ
ー(8)で動作モードM55を実行し、日本人とネイテイ
ブとの発音の違いを発声の仕方(唇、舌、あご等の形
態)を中心に説明する。このフロー(8)は繰返すことが
できる。フロー(9)でネイテイブの発音の仕方を視聴
し、このフロー(9)は繰返すことができる。こゝで音声
だけならば動作モードM2を実行してネイテイブの発音
を音声メモリ4に格納した御動作モードM3を実行して
音声メモリ4の内容を繰返しスピーカから放音させても
よい。
フロー(10)で訓練者は満足がいくまでミラー12で唇、
舌、あご等の動きを比較し、発音練習を行なう。必要な
らば、フロー(9)を繰返して再度ネイテイブの発音映像
を視聴する。
練習が終了すれば自分の発音を音声メモリ4に格納し、
ネイテイブの発音と比較してみる。そこでフロー(11)で
動作モードM1を実行して訓練者がマイクロフオン9へ
向つて発音した音声信号を音声メモリ4に格納し、フロ
ー(12)で動作モードM3を実行してその訓練者の発音を
スピーカ10から放音する。その後フロー(13)で動作モ
ードM4を実行してビデオデイスク1の音声信号をスピ
ーカ10から放音するようにセツトし、フロー(14)でフ
ロー(9)と同じネイテイブの発音映像を視聴する。フロ
ー(12)〜(14)を繰返せば、訓練者の発音の提示とネイテ
イブの発音映像の提示が交互に実行される。
以上でステツプ(1)の発音診断と矯正が終了する。フロ
ー(15)でステツプ(1)が良いかどうかを判定する。良け
れば本発明のステツプによる発音診断へ向い、良くなけ
れば再度フロー(9)へ向う。
本発明においては、訓練者は、最初に、発音を音声分析
した上での特徴及びネイテイブとの明確な差が表われや
すい着眼点の映像による説明を理解し、次に自己の発音
を音声分析して動作モードM61〜M63により表示さ
れた音声パラメータのパターンを見る。訓練者は、この
パターンから測定した発音特徴データを入力すると、こ
れと手本の発音特徴データとが比較され、その比較結果
より矯正するためのコメントを表示する。そしてコメン
トを参考にして自己の発音を矯正する。
次にその詳細をフローチヤートについて説明する。
まず、フロー(16)で訓練モードE1〜E4のうちのどれ
かを選択する。
次に、音声パラメータの表示を訓練モードM61〜M6
3から選ぶための前準備としてフロー(17)で前記した分
割数nを設定する。訓練モードE1のストレスアクセン
トやE2のイントネーシヨンのように文章を扱う訓練で
は、音声メモリ4への音声記録時間も長めになるので分
割数を小さくし、デイスプレイ33上の一段表示可能時
間tを長めに設定する。その反対に訓練モードE3の母
音やE4の子音のように長くても単語までの訓練ではn
を大きくし、tを短かめにする。このtを音声記録時間
に合わせて可変にすることも考えられるが、表示時間軸
の単位がめまぐるしく変わると訓練者はかえつてとまど
うので好ましくない。
次に、訓練モードE1〜E4のそれぞれについて動作モ
ードM61〜M63を実行する。
今、訓練モードE4を選択したとすると、これをフロー
(18)でE3と分離する。訓練モードE4の子音の発音状態
は主に帯気、摩擦、破裂の持続時間が着眼点であり、フ
ロー(19A)で動作モードM55を実行し、その着眼点を
説明する映像を映し出す。
次いでフロー(19B)で帯気、摩擦破裂の持続時間の特徴
のよく表われるパワーと波形について上述の処理を行な
い、 訓練モードE3を選択したとすると、フロー(20A)で動
作モードM55を実行し、母音の発音パターンの着眼点
であるホルマントの表われ方の特徴、母音を標準化した
持続時間及びパワーの特徴を説明する映像を映し出す。
次いでフロー(20B)で上述の特徴が表われるサウンドス
ペクトログラフとパワーについて上述のような処理を行
う。
尚、訓練モードE4の子音の中にも/m/、/n/、/
r/、…のようにホルマントの表われ方を問題にするも
のがあるが、そのような訓練では例外的にフロー(20A)
を経てフロー(20B)に向かわせ、動作モードM62を実
行させる。
訓練モードE1のストレスアクセント又はE2のイント
ネーシヨンを選択するときは、パワー又はピツチが着眼
点であるから、フロー(21A)で動作モードM55を実行
し、その着眼点を説明する映像を映し出す。そしてフロ
ー(21B)でパワーと波形とピツチについて上述のような
処理を行なう。尚、訓練モードE1のストレスアクセン
トではパワーと波形のみについて処理を行なつてもよ
い。
フロー(19B),(20B),(21B)で処理した結果を、フロー
(22)で動作モードM61,M62,M63に従つてデイ
スプレイ33上に表示する。
例えば子音の訓練モードE4である場合、フロー(19
A),(19B)を経て動作モードM61の実行によりデイス
プレイ33上に訓練者のパワーと波形が第11図(A)
(B)に示すように表示されたとする。訓練者は自分のパ
ワーと波形についてのパターンを見ながら、先にフロー
(19A)で説明された子音の発音状態の着眼点である帯
気、摩擦、破裂パワーなどの注意すべき個所の持続時間
を自分で測定し、その測定値を数値化してフロー(23)に
おいて入力する。
その詳細を第9−2図について説明すると、この入力は
フロー(23A)〜(23D)で行われる。測定値はこの例では、
1,2,3の3段階に数値化して入力する。量的に最も
少ない場合には“1”、多い場合に“3”、その中間の
場合に“2”を各入力する。
訓練者の“pa”の発音に伴なうパワー及び波形の音声パ
ターンが第11図(A)及び(B)に示されたものであると
すると、第10図(A)(B)のネイテイブの音声パターン
例と比べて第11図(B)に示すように注意すべき“p”
音の帯気が全く無いので、フロー(23A)でA=1を入力
し、摩擦や破裂には無関係な発音なので、フロー(23B)
(23C)でそれぞれB=1,C=1を入力し、第11図
(A)に示すように注意すべき“p”音のパワーが全くな
いのでフロー(23D)でD=1を入力する。したがつて最
終的な測定値入力は(A,B,C,D)=(1,1,
1,1)となる。次に、フロー(23E)〜(23H)において、
この測定値入力とあらかじめ数値化しておいた訓練中の
子音に対応するネイテイブの値を比較する。第10図の
(A)及び(B)に示すパワー及び波形のパターンからも明
らかなように、ネイテイブの“p”音はパワーが強く、
帯気が長いことが特徴となつているので、ネイテイブの
発音(A,B,C,D)を(3,1,1,3)と数値化
しておく。もしも測定値入力がネイテイブの数値と完全
に一致すれば注意すべき“p”音の発音は良好なので、
フロー(23E)〜(23H)のすべてでNOと判定されて次の課
題を選ぶためにフロー(1)に向う。一致しなければ発音
に問題があるのでフロー(23E)〜(23H)のどれかでYES
と判定されてフロー(26)のコメントの中の1つがデイス
プレイ33上に表示される。そこでこのコメントを参考
にして発音矯正を実行するためにフロー(9)へ向い、ス
テツプ(1)から再度やり直す。この例ではフロー(23E)で
測定値A=1がネイテイブのA=3と比較されYESと
判定され、A=1に対応するコメントCM1が表示され
る。このコメントCM1は、例えば“帯気が短かすぎ
る。唇を閉じて思い切り息を口の中から外へ出しなさ
い。”である。訓練者はこのコメントCM1に従つてフ
ロー(9)からやり直し、帯気を長くするように矯正す
る。矯正の結果を再び、フロー(19A),(19B)を経てフロ
ー(22)でデイスプレイ33に表示する。このような過程
を経ることにより訓練者の発音は第10図示のネイテイ
ブの発音の音声パラメータに近づけることができる。
尚、A=2に対応するコメントCM2は例えば“帯気の
長短が中途半端である。帯気の長さに注意してネイテイ
ブの発音に従つて練習しなさい”であり、コメントCM
3は、例えば“帯気が長すぎる。唇を閉じて軽く息を口
の中から外へ出しなさい。”である。
今後は訓練者の発音の帯気が長いので、フロー(23A)で
A=3、パワーがまだ弱いので、フロー(23D)でD=2
が入力され、最終的な測定値入力は(A,B,C,D)
=(3,1,1,2)となる。この結果、フロー(23H)
で測定値D=2がネイテイブのD=3と比較されてYE
Sと判定され、D=2に対応するコメントCM5が表示
される。このコメントCM5は、例えば“パワーの強弱
が中途半端である。パワーの強さに注意してネイテイブ
の発音に従つて練習しなさい。”である。訓練者はこの
コメントに従つてフロー(9)からやり直し、パワーを強
くするように発音する必要性を認識し矯正する。発音訓
練の結果、訓練者の発音は第10図のネイテイブの発音
に近づき、今度はフロー(23D)でD=3が入力し、最終
的な測定値入力は(A,B,C,D)=(3,1,1,
3)となり、フロー(23E)〜(23H)のすべてでNOと判定
されてフロー(1)の次の課題の選択へ進む。
結局、フロー(23E)〜う(23H)のすべてのNOと判定され
るまでフロー(9)からフロー(26)までの過程をコメント
を参考にしながら繰返し矯正訓練を行うことになる。
尚、コメントCM4は例えば“パワーが弱すぎる。口の
中から外へ出す息の量を増しなさい。",コメントCM6
は、例えば“パワーが強すぎる。口の中から外へ出す息
の量を減しなさい。”である。
以上ではフロー(23)(26)の詳細を説明したが、フロー(2
4)(27)やフロー(25)(28)も同様な要領で処理される。
上述の実施例では英語を対象としたが、中国語、ドイツ
語、フランス語等の外国語の発音訓練や、発音障害者の
発音訓練、更には外国人のための日本語の発音訓練に対
しても教材を用意すれば適用することが可能である。
(発明の効果) 以上説明したように、本発明によるときは、訓練者は、
自己の発音の音声パラメータのパターンから測定した発
音特徴データと手本の発音特徴データの比較結果よりそ
の結果に対応した矯正のコメントが得られ、能率よくネ
イテイブによる標準の音声パターンに近づく発音訓練を
することができ、また、自己の学習の進行状況をとらえ
やすく、学習意欲を増加させることができる。
【図面の簡単な説明】
第1図は本発明の1実施例のブロツク図、第2図は第1
図示の信号制御部の結線図、第3−1図、第3−2図及
び第3−3図はそれぞれ音声パラメータのパターンを示
す図、第4図は波形処理のフローチヤート、第5図(A)
(B)(C)(D)はそれぞれ波形処理の説明図、第6図はパ
ワー処理のフローチヤート、第7図はピツチ処理のフロ
ーチヤート、第8図はサウンドスペクトログラフ処理の
フローチヤート、第9−1図は本発明の1実施例のフロ
ーチヤート、第9−2図はその要部の詳細なフローチヤ
ート、第10図(A)(B)はネイテイブの音声パラメータ
の1例を示す図、第11図(A)(B)は第10図(A)(B)
に示すネイテイブに対応する訓練者の音声パラメータの
1例を示す図である。 1…ビデオデイスク 2…ビデオデイスクプレ-ヤ 3…パ-ソナルコンピュ-タ 4…音声メモリ 5…濃淡画像メモリ 6…信号制御部 9…マイクロフオン 11…スピーカ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−6732(JP,A) 特開 昭57−96377(JP,A) 特開 昭58−172680(JP,A) 特開 昭60−227284(JP,A)

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】学習すべき発音の音声パラメータのパター
    ン上で前記発音の正確さを特定付ける要素である着眼点
    及びその特徴を説明する手段と、訓練者が発音した音声
    を分析して音声パラメータのパターンを表示する音声分
    析手段と、訓練者の音声パラメータのパターン上で前記
    着眼点を数値化して得られた発音特徴データと対応する
    手本の発音に関してあらかじめ前記着眼点を数値化して
    おいた手本の発音特徴データとを比較する手段と、該比
    較手段の結果に応じて発音を矯正するためのコメントを
    選択し表示する手段とから成ることを特徴とする発音訓
    練装置。
  2. 【請求項2】前記音声分析手段は、発音音声をデイジタ
    ル信号として記憶する音声メモリと、該音声メモリに格
    納された音声信号を分割数に従って複数のグループに分
    割する手段と、該グループ毎に2種類以上の音声パラメ
    ータを抽出して同じ時間軸上に表示する手段と、前記分
    割数を複数の訓練モード別に設定する手段を備えること
    を特徴とする特許請求の範囲第1項記載の発音訓練装
    置。
JP61303772A 1986-12-22 1986-12-22 発音訓練装置 Expired - Lifetime JPH065451B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP61303772A JPH065451B2 (ja) 1986-12-22 1986-12-22 発音訓練装置
US07/399,388 US4969194A (en) 1986-12-22 1989-08-25 Apparatus for drilling pronunciation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP61303772A JPH065451B2 (ja) 1986-12-22 1986-12-22 発音訓練装置

Publications (2)

Publication Number Publication Date
JPS63157184A JPS63157184A (ja) 1988-06-30
JPH065451B2 true JPH065451B2 (ja) 1994-01-19

Family

ID=17925098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP61303772A Expired - Lifetime JPH065451B2 (ja) 1986-12-22 1986-12-22 発音訓練装置

Country Status (2)

Country Link
US (1) US4969194A (ja)
JP (1) JPH065451B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009028298A (ja) * 2007-07-27 2009-02-12 Tokyo Metropolitan Univ 腹式呼吸の評価方法および装置
JP2009163266A (ja) * 2001-12-12 2009-07-23 Gnb Co Ltd 思考単位と連結質問を用いる言語教育方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2232801B (en) * 1989-05-18 1993-12-22 Medical Res Council Apparatus and methods for the generation of stabilised images from waveforms
JPH06195326A (ja) * 1992-12-25 1994-07-15 Canon Inc 文書入力方法及び装置
JPH0541894A (ja) * 1991-01-12 1993-02-19 Sony Corp 電子機器の制御装置
US5313522A (en) * 1991-08-23 1994-05-17 Slager Robert P Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader
US5563358A (en) * 1991-12-06 1996-10-08 Zimmerman; Thomas G. Music training apparatus
US5287789A (en) * 1991-12-06 1994-02-22 Zimmerman Thomas G Music training apparatus
US5393236A (en) * 1992-09-25 1995-02-28 Northeastern University Interactive speech pronunciation apparatus and method
US5562453A (en) * 1993-02-02 1996-10-08 Wen; Sheree H.-R. Adaptive biofeedback speech tutor toy
EP0692135B1 (en) * 1993-03-12 2000-08-16 Sri International Method and apparatus for voice-interactive language instruction
US5675778A (en) * 1993-10-04 1997-10-07 Fostex Corporation Of America Method and apparatus for audio editing incorporating visual comparison
GB9322112D0 (en) * 1993-10-27 1993-12-15 El Houssaini Talal A Language analysis instrument
WO1998014934A1 (en) * 1996-10-02 1998-04-09 Sri International Method and system for automatic text-independent grading of pronunciation for language instruction
US5857173A (en) * 1997-01-30 1999-01-05 Motorola, Inc. Pronunciation measurement device and method
US5857939A (en) * 1997-06-05 1999-01-12 Talking Counter, Inc. Exercise device with audible electronic monitor
US6113393A (en) * 1997-10-29 2000-09-05 Neuhaus; Graham Rapid automatized naming method and apparatus
JP3872210B2 (ja) * 1998-06-17 2007-01-24 株式会社東海理化電機製作所 カテーテル操作シミュレータ及びそれを用いたシミュレーション方法
JP2002156897A (ja) * 2000-11-17 2002-05-31 Fuji Xerox Co Ltd 発音学習装置
US6711544B2 (en) 2001-01-25 2004-03-23 Harcourt Assessment, Inc. Speech therapy system and method
US6714911B2 (en) 2001-01-25 2004-03-30 Harcourt Assessment, Inc. Speech transcription and analysis system and method
US6732076B2 (en) 2001-01-25 2004-05-04 Harcourt Assessment, Inc. Speech analysis and therapy system and method
US20060004567A1 (en) * 2002-11-27 2006-01-05 Visual Pronunciation Software Limited Method, system and software for teaching pronunciation
JP2004246184A (ja) * 2003-02-14 2004-09-02 Eigyotatsu Kofun Yugenkoshi 視覚化された発音の提案を備えた言語学習システム及び方法
US20080027731A1 (en) * 2004-04-12 2008-01-31 Burlington English Ltd. Comprehensive Spoken Language Learning System
WO2005101348A1 (en) * 2004-04-16 2005-10-27 Moe Richard A Timed exercise method and system thereof
WO2007034478A2 (en) * 2005-09-20 2007-03-29 Gadi Rechlis System and method for correcting speech
US11062615B1 (en) 2011-03-01 2021-07-13 Intelligibility Training LLC Methods and systems for remote language learning in a pandemic-aware world
US10019995B1 (en) 2011-03-01 2018-07-10 Alice J. Stiebel Methods and systems for language learning based on a series of pitch patterns
JP5093387B2 (ja) * 2011-07-19 2012-12-12 ヤマハ株式会社 音声特徴量算出装置
US9076347B2 (en) * 2013-03-14 2015-07-07 Better Accent, LLC System and methods for improving language pronunciation
US10586556B2 (en) 2013-06-28 2020-03-10 International Business Machines Corporation Real-time speech analysis and method using speech recognition and comparison with standard pronunciation
JP6256379B2 (ja) * 2015-02-24 2018-01-10 ブラザー工業株式会社 表示制御装置、表示制御方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5028132B1 (ja) * 1969-06-20 1975-09-12
US3676595A (en) * 1970-04-20 1972-07-11 Research Corp Voiced sound display
US3932948A (en) * 1973-04-18 1976-01-20 Eastman Kodak Company Audio-visual learning system
US3881059A (en) * 1973-08-16 1975-04-29 Center For Communications Rese System for visual display of signal parameters such as the parameters of speech signals for speech training purposes
US4276445A (en) * 1979-09-07 1981-06-30 Kay Elemetrics Corp. Speech analysis apparatus
JPS58198087A (ja) * 1982-05-14 1983-11-17 キヤノン株式会社 表示装置
US4627001A (en) * 1982-11-03 1986-12-02 Wang Laboratories, Inc. Editing voice data
US4641343A (en) * 1983-02-22 1987-02-03 Iowa State University Research Foundation, Inc. Real time speech formant analyzer and display
JPS616732A (ja) * 1984-06-21 1986-01-13 Fujitsu Ltd 発声訓練装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163266A (ja) * 2001-12-12 2009-07-23 Gnb Co Ltd 思考単位と連結質問を用いる言語教育方法
JP2009028298A (ja) * 2007-07-27 2009-02-12 Tokyo Metropolitan Univ 腹式呼吸の評価方法および装置

Also Published As

Publication number Publication date
US4969194A (en) 1990-11-06
JPS63157184A (ja) 1988-06-30

Similar Documents

Publication Publication Date Title
JPH065451B2 (ja) 発音訓練装置
US5940797A (en) Speech synthesis method utilizing auxiliary information, medium recorded thereon the method and apparatus utilizing the method
Olson et al. Reading instruction and remediation with the aid of computer speech
Lambacher A CALL tool for improving second language acquisition of English consonants by Japanese learners
US20030182111A1 (en) Speech training method with color instruction
US20070003913A1 (en) Educational verbo-visualizer interface system
JP2003186379A (ja) 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム
US20060053012A1 (en) Speech mapping system and method
Deterding Phonetics and phonology
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
JP3110215B2 (ja) 発音訓練装置
JP2003162291A (ja) 語学学習装置
JP2844817B2 (ja) 発声練習用音声合成方式
WO1999013446A1 (en) Interactive system for teaching speech pronunciation and reading
KR20070103095A (ko) 주파수 대역폭을 이용한 영어 학습 방법
Pouplier et al. The imitation of coarticulatory timing patterns in consonant clusters for phonotactically familiar and unfamiliar sequences
JPH01154189A (ja) 発音訓練装置
JP2012088675A (ja) 音声分析機能を持つ言語発音学習装置及びそのシステム
JP2908720B2 (ja) 合成を基本とした会話訓練装置及び方法
JPS616732A (ja) 発声訓練装置
Puggaard The productive acquisition of dental obstruents by Danish learners of Chinese
JPS58172680A (ja) 発音練習装置
KR102610871B1 (ko) 청각장애인 음성언어훈련 시스템
JP6894081B2 (ja) 語学学習装置
Cheeli Phonological Surveillance of/p/in Comparison with/b/.

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term