JP4048651B2 - 発音採点装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、ＣＤ、ＭＤ、テープなど音声が記録されている語学教材を用いて、学習者の発音を採点することができる発音採点装置に関する。
【０００２】
【従来の技術】
語学教材として、ＣＤ、ＭＤ、テープなどに基本的なフレーズを録音したものがある。学習者はこの教材を再生して、手本の音声を聴きながら同じように発音することで語学の学習をする。この学習は、主として母音、子音の発音、および、語句のアクセントやイントネーションなどの発音について行われる。
【０００３】
【発明が解決しようとする課題】
しかし、学習者は、自分の発音が正しく教材の発音を模倣しているかを確認することができないため、自分が正しく学習できているかどうかを確認することができず不安になるという問題点があった。また、学習を重ねても学習の成果を確認することができないという問題点があった。
【０００４】
一方、学習者が発音した音声を音声認識し発音が正しいかを評価することも考えられる。しかし、音声認識のアルゴリズムは極めて複雑であり、さらに、音声認識したのちに、学習者の発音がその内容の表現として正しいものであるかを採点するためには、膨大なデータを必要とするという問題点があった。
【０００５】
この発明は、従来より普及している教材を利用し、簡略な構成で学習者の発音を採点できる発音採点装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、手本音声の再生を制御するとともに、手本音声の入力と学習者音声の入力処理との切り替え制御を行う制御手段と、前記手本音声と前記学習者音声とのいずれかを前記切り替え制御に準じて切り替えて入力する音声入力手段と、入力した前記手本音声と前記学習者音声とからの発音に関する情報である発音情報をそれぞれ抽出する分析手段と、前記手本音声の発音情報と前記学習者音声の発音情報とを比較して、その類似度に基づく評価を行って採点する採点手段と、を備えた発音採点装置であって、
前記手本音声における再生するフレーズを選択する選択手段と、前記手本音声に対応するテキストデータ、または、前記採点の結果を同一の画面上に切り替えて表示する表示手段と、を備え、
前記制御手段は、前記選択されたフレーズのみの手本音声および当該フレーズに対応するテキストデータを入力し、該テキストデータを前記表示手段に対して表示制御するとともに、前記選択されたフレーズのみの手本音声の自動再生および自動停止を制御し、前記手本音声の停止とともに前記音声入力手段への入力を前記手本音声から前記学習者音声へ切り替え、前記選択手段による新たな選択を受け付けるまで、手本音声の再生停止を維持し、前記採点手段は、前記選択され再生・停止されたフレーズの手本音声の発音情報と、該フレーズの手本音声の停止に引き続き入力された学習者音声の発音情報とを比較し、類似度に基づいて前記選択されたフレーズの採点結果を出力し、前記制御手段は、前記採点結果が得られると、前記表示手段に対して、前記採点結果を、前記選択したフレーズのテキストデータから切り替えて、前記表示手段に表示制御する、ことを特徴とする。
【０００７】
請求項２の発明は、発音情報は、ストレスアクセント、トニックアクセント、イントネーション、周波数スペクトルのうち、少なくとも１つを含み、前記採点手段は、前記発音情報を構成する項目毎に採点を行うことを特徴とする。
【０００８】
この発明の発音採点装置は以下のようなものである。録音教材の再生音声や語学教師の発声など手本となる音声を第１の音声として入力する。この手本となる音声は、通常は１文程度の長さの言葉で構成されるものであり、学習者がこの音声に習ってリピートすることで発音を学習する。第１の音声から第１の発音情報を抽出する。発音情報は、たとえば、音声信号をＦＦＴ解析するなどして求めたストレスアクセント、トニックアクセント、イントネーション、周波数スペクトルの一種であるフォルマントなどが含まれる。また、この発明においては、ディジタル変換された音声波形データそのものも含む。次に学習者が手本に習った音声を第２の音声として入力する。この第２の音声から第２の発音情報を抽出する。そして、第１および第２の発音情報を比較し、その類似度によって学習者の発音の習熟度を評価・採点する。すなわち、学習者の発音が手本の音声の発音に類似していれば上手く発音しているとして高い評価を出力するようにする。
【０００９】
このように、学習者が手本として聴いている教材等の音声をその場で入力してリファレンスデータとして用い、学習者の発音を評価・採点するようにしたことにより、従来から用いられている録音教材等をそのまま用いることができ評価・採点のための情報を特に必要としない。
【００１０】
【発明の実施の形態】
図面を参照してこの発明の実施形態である発音採点装置について説明する。図１は同発音採点装置と接続されるポータブルＭＤプレーヤの使用形態を示す図、図２は同発音採点装置のブロック図、図３は同発音採点装置の押しボタンスイッチおよびディスプレイの構成を示す図、図４は同発音採点装置のメモリ構成図である。図５は語学教材であるＭＤの記憶形態を示す図である。また、図６は分析により抽出される発音情報の例を示す図である。
【００１１】
この実施形態の発音採点装置は、外国語（特に英語）のアクセントやイントネーションの練習に用いられる装置であり、録音教材を再生した音声や教師が発音した手本の音声を分析して記憶し、これに続いて発音される学習者の音声を分析した結果と比較することでその類似度を割り出し、この類似度に基づいて学習者の発音を採点するものである。
【００１２】
この実施形態では、ＭＤ（ミニディスク）の語学教材を用いる例を示している。ＭＤには、図５に示すように英語の練習用のフレーズが順次記憶されており、各フレーズ毎にインデックス（曲番）がふってある。また、ＭＤには、テキストデータを記憶するサブトラックが設けられており、この教材ＭＤの場合には、ディスク教材のタイトルや各フレーズ毎の内容を示すテキストが記憶されている。ディスクのタイトルはディスクをＭＤプレーヤにセットしたとき読み出され、各フレーズの内容を示すテキストはそのフレーズを再生するとき読み出される。この発音採点装置では、入力されたテキストデータを表示するディスプレイ２２を備えている。その表示態様は、例えば図３（Ａ）のようなものである。なお、ＭＤに記録されるフレーズの内容を示すテキストは、たとえば、「ｇｒｅｅｔｉｎｇ」や「ａｔ ｔｈｅ ｓｔａｔｉｏｎ」など場面を示す語句でもよく、また、長文を記録可能な場合には、そのフレーズの文を全部記録するようにしてもよい。
【００１３】
図１（Ａ）において、上記ＭＤの語学教材がセットされたＭＤプレーヤ２はケーブル４を介してこの発明の実施形態である発音採点装置１と接続されている。このケーブル４は図２に示すようにオーディオケーブル４ａと制御ケーブル４ｂとを同軸に被覆したものである。
【００１４】
一般的なポータブルＭＤプレーヤの通常の使用形態は、図１（Ｂ）に示すように、本体２のコネクタにリモコン５を接続し、このリモコンにステレオイヤホン６を接続したものである。リモコン５は、複数のボタンスイッチを備え、ポータブルＭＤプレーヤ２本体の電源オン／オフ、プレイ／ストップ、スキップ／スキップバックなどを制御することができる。また、リモコン５は液晶のディスプレイを備えており、ＭＤから読み出されたテキストを表示するようになっている。このため、ポータブルＭＤプレーヤ２のコネクタ２ａには、オーディオ信号を出力するジャックのほか、制御用信号を入出力するコネクタが形成されている。
【００１５】
図１（Ａ）おいて、発音採点装置１もケーブル４を介してＭＤプレーヤ２のプレイ／ストップ、スキップ／スキップバックなどを制御することができる。学習者が発音採点装置１の操作パネルに設けられている押しボタンスイッチ２１を操作したとき、発音採点装置１は、ケーブル４を介してポータブルＭＤプレーヤ２に対して上記プレイ／ストップ、スキップ／スキップバックなどのコマンドを送信し、ＭＤプレーヤ２の動作を制御する。
【００１６】
学習者が、所定の押しボタンスイッチ２１をオンして、ＭＤプレーヤ２がフレーズを再生すると、そのフレーズ音声がスピーカ１１から出力される。学習者がこれを聴いてこれに習って同じフレーズを発音するとこれがマイク３から入力さされる。内部のＤＳＰ１３（図２参照）が、これら音声を分析してストレスアクセント、トニックアクセント、イントネーションの発音情報を抽出する。これら手本の発音情報（第１の発音情報）および学習者の発音情報（第２の発音情報）を比較してその類似度を割り出すことにより、学習者の発音を採点する。採点結果は、ディスプレイ２２に表示される（図３（Ｂ）参照）。
【００１７】
図２において、オーディオケーブル４ａは採点装置１内でオーディオアンプ１０およびＡ／Ｄコンバータ１２に接続されている。オーディオアンプ１０にはスピーカ１１が接続されている。これにより、ＭＤプレーヤ２が再生した教材ＭＤのフレーズ音声は、アンプ１０で増幅されスピーカ１１から出力される。すなわち、ヘッドホン専用のポータブルＭＤプレーヤ２でもスピーカ１１から音声を出力させることができるようになり、この採点装置１はポータブルＭＤプレーヤのアクティブスピーカを兼ねた構成になっている。
【００１８】
そして、制御ケーブル４ｂはコントローラ２０に接続されている。コントローラ２０はインタフェース等を内蔵した制御用のマイコンであり、この装置の動作およびＭＤプレーヤ２の動作を制御するものである。
【００１９】
このコントローラ２０には、学習者が操作する押しボタンスイッチ群２１、再生中のフレーズの内容や得点などを表示する液晶マトリクスのディスプレイ２２、前記Ａ／Ｄコンバータ１２、入力された音声信号を処理するＤＳＰ１３、処理結果が記憶されるメモリ１４などが接続されている。
【００２０】
Ａ／Ｄコンバータ１２には、ＭＤプレーヤ２のほか学習者が音声を入力するマイク３も接続されている。Ａ／Ｄコンバータ１２はアナログ信号の入力切換スイッチを内蔵しており、コントローラ２０の指示により、ＭＤプレーヤ２またはマイク３のいずれか一方を選択して、そこから入力されるアナログ音声信号をディジタル信号に変換する。変換されたディジタルの音声信号は、ＤＳＰ１３に入力される。
【００２１】
ＤＳＰ１３は、入力された音声信号に対してＦＦＴ解析などの処理を行い、信号レベル、周波数スペクトルなどを時系列に演算して入力された音声の発音を分析する。この分析により抽出される情報は、ストレスアクセント、トニックアクセント、イントネーションなどである。ストレスアクセントとは、フレーズ中の強く発音する箇所（レベルの大きい箇所）であり、そのタイミングやレベルが抽出される（図６（Ａ）参照）。また、トニックアクセントとは、フレーズ中の高く発音する箇所（基本周波数の高い箇所）であり、そのタイミングや周波数が抽出される（図６（Ｂ）参照）。また、イントネーションとは、フレーズの高低（基本周波数）の抑揚であり、その抑揚曲線が分析され関数化される（図６（Ｂ）参照）。なお、基本周波数は、ＦＦＴ解析で求められたピークのうち一番周波数の低いものである。また、周波数スペクトルからフォルマントを抽出し、発音されている母音を分析することも可能である。さらに、周波数スペクトルから倍音構成比が算出される。この時間的変動が一致すれば母音が類似していると評価することができる。
【００２２】
教材の音声および学習者の音声を順次入力して上記分析を行い、抽出された第１の発音情報および第２の発音情報をメモリ１４の手本データ記憶エリア１４１および練習データ記憶エリア１４２に記憶する。
【００２３】
こののち、これら発音情報を比較して得点を決定する。このとき、両方の発音情報が似ていれば学習者の音声が教材の音声に近い発音をしているとして高い得点にする。得点は、上記ストレスアクセント、トニックアクセント、イントネーション毎に個別に算出するとともに、これらを平均した総合得点を算出する。この得点は、ディスプレイ２２に表示されるとともにメモリ１４の得点蓄積エリア１４３に蓄積記憶される。なお、この比較・採点の処理は、ＤＳＰ１３が行ってもよく、コントローラ２０が行ってもよい。
【００２４】
前記押しボタンスイッチ２１は、図３（Ａ）に示すように、「次へ」スイッチ、「もう一度」スイッチ、「戻る」スイッチ、「先頭へ」スイッチ、「集計」スイッチ、「クリア」スイッチを有している。このうち、「次へ」スイッチ、「もう一度」スイッチ、「戻る」スイッチ、および、「先頭へ」スイッチが、プレイスイッチであり、このボタンスイッチが操作されるとＭＤプレーヤ２に対して再生の指示を送る。
【００２５】
発音採点装置１は、ＭＤプレーヤ２に対して１フレーズ（１曲）ずつ手本の発音を再生するように指示する。すなわち、あるフレーズ（曲）の０秒０フレームから再生をスタートし、時間カウンタの値が次のフレーズの０秒０フレームになったとき再生を停止（ポーズ）するようにＭＤプレーヤ２に指示する。
【００２６】
こののち、「次へ」スイッチがオンされた場合には、現在頭出しされているフレーズを再生するようにＭＤプレーヤ２に指示する。また、「もう一度」スイッチがオンされた場合には、先程再生したフレーズに戻って（スキップバックして）もう一度再生するようにＭＤプレーヤ２に指示する。また、「戻る」スイッチがオンされた場合には、２回スキップバックし、先程再生したフレーズのさらに前のフレーズに戻って再生を行うようにＭＤプレーヤ２に指示する。また、「先頭へ」スイッチがオンされた場合には、曲番号１のフレーズを再生するようにＭＤプレーヤ２に指示する。プレイ、ポーズ、スキップバックなどは、全て前記コネクタ２ａを介して入力可能なコマンドである。
【００２７】
上記構成の発音採点装置１の使用の態様および動作について説明する。発音採点装置１にポータブルＭＤプレーヤ２が接続され、学習者がいずれかのプレイスイッチをオンすると、発音採点装置１は、この操作に応じた指示をＭＤプレーヤ２に送信する。ＭＤプレーヤ２は、この指示に応じたフレーズを再生する。図２において、ＭＤプレーヤが再生した教材のフレーズ音声は、発音採点装置１においてオーディオアンプ１０およびＡ／Ｄコンバータ１２に入力される。オーディオアンプ１０は、この手本のフレーズ音声を増幅しスピーカ１１から出力する。同時にこの音声信号は、Ａ／Ｄコンバータ１２でディジタル信号に変換され、ＤＳＰ１３に入力される。ＤＳＰ１３は、この手本の音声信号を分析し、ストレスアクセント、トニックアクセント、イントネーションからなる第１の発音情報を割り出す。割り出された第１の発音情報はメモリ１４の第１発音情報記憶エリア１４１に記憶される。
【００２８】
次に、コントローラ２０はＡ／Ｄコンバータ１２をマイク３側に切り換え、学習者が発音する練習の音声を入力する。学習者は、スピーカ１１から出力される手本のフレーズ音声を聞いてアクセントやイントネーションを確認し、これに習って同じように発音する。この音声はマイク３およびＡ／Ｄコンバータ１２を介してＤＳＰ１３に入力される。ＤＳＰ１３はこの学習者の練習の音声も上記手本の音声と同様に分析し、ストレスアクセント、トニックアクセント、イントネーションを第２の発音情報として割り出す。この第２の発音情報をメモリ１４の第２発音情報記憶エリア１４２に記憶する。
【００２９】
そして、第１および第２の発音情報が記憶されると、これらの類似度を比較する。なお、第１、第２の発音情報とも、フレーズ全体の発音時間、レベルの強弱レンジ、周波数の高低レンジを正規化したのち比較するようにする。そして、その類似度に基づいて得点を算出する。
【００３０】
このとき、類似度の算出は、重ね合わせ法など周知の技術を用いればよい。重ね合わせ法とは、第１の発音情報、第２の発音情報それぞれにデータを曲線（折れ線）化して重ね合わせ、はみ出した部分の面積の大小で類似度を割り出す方式である。また、これ以外にも、前後のデータを比較して値が増加しているか減少しているかのデータに変換し、手本データと練習データとの間の増加中か減少中かの一致率によって類似度を算出する方法などがある。
【００３１】
類似度に基づいて算出された得点は、上記ストレスアクセント、トニックアクセント、イントネーション別に算出するとともに、これらを平均した総合得点を算出し、図３（Ｂ）のように表示するとともに、この得点を上記得点蓄積エリア１４３に蓄積記憶しててゆく。
【００３２】
学習者がプレイボタンをオンするごとに上記のような動作が実行され、その都度そのときの発音に対する得点が表示されるとともに、その得点が得点蓄積エリア１４３に蓄積記憶されてゆく。そして、学習者が集計ボタンをオンすると、それまで蓄積した得点を集計して表示する。集計・表示の態様は、図３（Ｃ）に示すように全得点の平均点を表示する方式、同図（Ｄ）に示すように練習を重ねてゆくにしたがって得点がどのように推移したかを示す折れ線グラフを表示する方式などがある。
【００３３】
図７のフローチャートを参照して前記コントローラ２０の動作を説明する。同図は、押しボタンスイッチ２１が操作された場合の動作を示している。まず、ｓ１〜ｓ３でどのスイッチがオンされたかを検出する。プレイスイッチがオンされた場合には、ｓ１の判断でｓ５以下の動作に進む。ここで、プレイスイッチとは、上述したように「次へ」スイッチ、「もう一度」スイッチ、「戻る」スイッチ、「先頭へ」スイッチの総称である。
【００３４】
プレイスイッチがオンされると、このスイッチ操作で指定されたフレーズの再生をＭＤプレーヤ２に指示する（ｓ５）。ＭＤプレーヤ２が指定されたフレーズの再生をスタートするとき、最初にサブデータとして記憶されているテキストデータを読み出して発音採点装置１に入力する。コントローラ２０は、これを読み取ってディスプレイ２２に表示する（ｓ６）。このテキストデータに続いてＭＤプレーヤ２から手本のフレーズ音声が入力される。コントローラ２０は、Ａ／Ｄコンバータ１２をＭＤプレーヤ２側に切り換えるとともに、ＤＳＰ１３に対してこの音声の分析を指示する。ＤＳＰ１３は入力された音声を分析してストレスアクセント、トニックアクセント、イントネーションからなる第１の発音情報を割り出し（ｓ７）、これを第１発音情報記憶エリア１４１に記憶する（ｓ８）。ＭＤプレーヤ２から入力されるフレーズ番号が次の番号になったとき（ｓ９）、ＭＤプレーヤに対してポーズの指示を出して（ｓ１０）再生を停止させる。
【００３５】
こののち、Ａ／Ｄコンバータ１２をマイク３側に切り換えて学習者の音声の入力を許可する。学習者の練習音声が入力されると、これを分析してストレスアクセント、トニックアクセント、イントネーションを割り出し（ｓ１１）、これを第２の発音情報として第２発音情報記憶エリア１４２に記憶する（ｓ１２）。練習音声の入力が終了するまで（ｓ１３）、これを継続する。練習音声の入力が終了すると、この練習音声の分析結果である第２の発音情報と前記第１の発音情報とを比較し（ｓ１４）、その類似度に基づいて今回の得点を算出する（ｓ１５）。得点は、上記ストレスアクセント、トニックアクセント、イントネーションの各項目についてそれぞれ個別に算出するとともにこれらを平均した総合得点を算出する。そしてこれを図３（Ｂ）のような態様で表示するとともに（ｓ１６）、メモリ１４の得点蓄積エリア１４３に蓄積記憶して（ｓ１７）、動作を終了する。なお、上記ｓ１４，ｓ１５の比較・得点算出の処理は、ＤＳＰ１３に行わせるようにしてもよい。
【００３６】
また、集計スイッチがオンされた場合には（ｓ２）、前記得点蓄積エリア１４３に記憶されている得点を集計する（ｓ２０）。この集計結果をディスプレイ２２に表示する（ｓ２１）。この集計・表示は、たとえば、図３（Ｃ）、（Ｄ）に示す態様で行われる。一方、クリアスイッチがオンされた場合にはメモリ１４の得点記憶エリア１４３をクリアして（ｓ２５）動作を終了する。
【００３７】
上記実施形態では、一般的なポータブルＭＤプレーヤが備える特性を活かして発音採点装置１からＭＤプレーヤ２を制御し、手本のフレーズ音声を１フレーズずつ再生して学習者にも１フレーズずつ発音させ、この発音を採点するようにしているが、この発明はこのような実施形態に限定されるものではない。
【００３８】
たとえば、手本の音声を再生する装置を利用者がマニュアルで操作して手本音声を入力するようにしてもよく、また、手本の音声は録音媒体に限定されず、教師などの生の発音を用いてもよい。このような場合、手本入力スイッチや練習入力スイッチなどのキースイッチを儲け、手本の音声の入力および練習の音声の入力をそれぞれキースイッチ操作で装置に指示するようにすればよい。
【００３９】
また、上記実施形態では、入力された音声のレベル包絡線や周波数スペクトルを分析し、これから抽出したストレスアクセント、トニックアクセント、イントネーションを用いて手本音声と練習音声とを比較するようにしたが、周波数スペクトル（フォルマント）から割り出される母音を比較するようにしてもよく、また、より簡略化する場合には、音声信号波形そのものを比較するようにしてもよい。
【００４０】
【発明の効果】
以上のようにこの発明によれば、手本の音声を入力するとともにこれに習って発音された練習の音声を入力してこれらを比較し、その類似度によって練習の成果を評価するようにしたことにより、特に評価のための情報を持たない一般の音声教材を用いて、評価付きの発音練習をすることができる。
【図面の簡単な説明】
【図１】この発明の実施形態である発音採点装置が接続されるポータブルＭＤプレーヤとその接続形態を示す図
【図２】同発音採点装置のブロック図
【図３】同発音採点装置の押しボタンスイッチおよびディスプレイを示す図
【図４】同発音採点装置のメモリ構成図
【図５】語学教材であるＭＤの記憶形態を説明する図
【図６】同発音採点装置の音声分析の内容を説明する図
【図７】同発音採点装置の動作を示すフローチャート
【符号の説明】
１…発音採点装置、２…ポータブルＭＤプレーヤ、３…マイク、４…ケーブル、４ａ…オーディオケーブル、４ｂ…制御ケーブル、
１０…オーディオアンプ、１１…スピーカ、
１２…Ａ／Ｄコンバータ、１３…ＤＳＰ、１４…メモリ、
１４１…第１発音情報記憶エリア、１４２…第２発音情報記憶エリア、１４３…得点蓄積エリア、
２０…コントローラ、２１…押しボタンスイッチ、２２…ディスプレイ

Claims (2)

1. 手本音声の再生を制御するとともに、手本音声の入力と学習者音声の入力処理との切り替え制御を行う制御手段と、
   前記手本音声と前記学習者音声とのいずれかを前記切り替え制御に準じて切り替えて入力する音声入力手段と、
   入力した前記手本音声と前記学習者音声とからの発音に関する情報である発音情報をそれぞれ抽出する分析手段と、
   前記手本音声の発音情報と前記学習者音声の発音情報とを比較して、その類似度に基づく評価を行って採点する採点手段と、
   を備えた発音採点装置であって、
   前記手本音声における再生するフレーズを選択する選択手段と、
   前記手本音声に対応するテキストデータ、または、前記採点の結果を同一の画面上に切り替えて表示する表示手段と、
   を備え、
   前記制御手段は、前記選択されたフレーズのみの手本音声および当該フレーズに対応するテキストデータを入力し、該テキストデータを前記表示手段に対して表示制御するとともに、前記選択されたフレーズのみの手本音声の自動再生および自動停止を制御し、前記手本音声の停止とともに前記音声入力手段への入力を前記手本音声から前記学習者音声へ切り替え、前記選択手段による新たな選択を受け付けるまで、手本音声の再生停止を維持し、
   前記採点手段は、前記選択され再生・停止されたフレーズの手本音声の発音情報と、該フレーズの手本音声の停止に引き続き入力された学習者音声の発音情報とを比較し、類似度に基づいて前記選択されたフレーズの採点結果を出力し、
   前記制御手段は、前記採点結果が得られると、前記表示手段に対して、前記採点結果を、前記選択したフレーズのテキストデータから切り替えて、前記表示手段に表示制御する、
   発音採点装置。
2. 前記発音情報は、ストレスアクセント、トニックアクセント、イントネーション、周波数スペクトルのうち、少なくとも１つを含み、
   前記採点手段は、前記発音情報を構成する項目毎に採点を行う請求項１に記載の発音採点装置。

Images