JPH04501617A - 言語練習 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 言語練習 本発明は発音を練習する、特に第２または外国の言語の発音を練習する装置およ び方法に関する。

異なる外国語間のスピーチを自動的に翻訳するために使用されるあるタイプのシ ステムは欧州公開特許公報０２８２９３８Ａ号に記載されている。この装置は、 話し手の発声におけるワードを認識するスピーチ認識、発声から意味を抽出する パターン整合技術および外国語でスピーチを生成するスピーチコーディングを使 用する。

本発明は類似した技術を使用するが、しかし異なる方法で外国語を話すことを利 用者に練習させる新しい目的のために構成される。

本発明は話されているワードを認識するだけでなく、発音の一貫性を試験するた めにスピーチ認識を使用する。言語の初心者の傾向として、発音を模倣すること ができるが、忘れやすく、熟練者によって検査されるまで間違ったままである。

誤った発音および翻訳の不正確さを検出することができた機械は、学習者がさら に前進するために通常の言語教師の助けを必要とする前に比較的高い熟練度に到 達することを可能にする。事実、非常に高いレベルの語学力は、短期間の海外旅 行または電話機の使用等の通常の会話タスクには不要であり、これらの場合には コンピュータ補助言語練習だけで十分である。

通常の方法は、高価な熟練した人間の教師または学習者の発音の品質を試験しな い外国スピーチの受動的な記録の使用のいずれかを利用する。

ある自動システムは学習者のスピーチの表現の視覚的表示を与え、この表示が基 準と一致するまで学習者が自分の発音を修正することを期待されている。この技 術は、利用者が自分のスピーチが可視表現にどのように関連しているかを経験し 、理解するのにかなりの時間を費やさなければならないという欠点を有する。

別の方法（例えば、Ｍ、　Ｔ、Ｊａｎｏｔ−Ｇｉｏｒｇｅｔｔ１氏他による文献 ’Ｕｔｉｌｔｓａｔｉｏｎ　ｄ’ｕｎ　ｓｙｓｔｅｍ　ｄｅ　ｒｅｃｏｎｎａｌ ｓｓａｎｃｅ　ｄｅｌａ　ｐａｒｏｌｅ　ｃｏｍｍｅ　ａｌｄｅ　ａ　ｌ’ａｑ ｕｉｓｉｔ１ｏｎ　ｏｒａｌｅ　ｄ’ｕｎｅ　Ｉａｎｇｕｅｅｔｒａｎｇｅｒｅ ”　Ｒｅｖｕｅ　ｄｅ　Ｐｈｙｓｌｑｕｅ　Ａｐｐｌｉｑｕｅｅ　ｖｏｌ　１ｇ 　ｎｏ、９゜１９８３年９月、５９５乃至６１０頁に示されている））は、基準 テンプレートに対して話された発音を一致させるために話し手と独立した認識を 使用する。スコアは学習者に報告され、彼の発音がどの程度理想に一致している かが示される。しかしながら、話し手と独立した認識技術が完成されるまでピッ チのような話し手の音声のある特徴は一致スコアに影響を及ぼす可能性があり、 さらに発音の品質と適切に関連させられない。したがって、学習者は彼のスコア を向上させるために音声のピッチを上げるように勧められるが、重要な誤った発 音を訂正することはできない。

さらに、現在の話し手と独立した認識技術は非常に高いエラー率を生じることな く少量の語紮しか処理することができない。これは、この技術に基づいた練習シ ステムが長い文節および文章を処理して翻訳することができないことを意味する 。聴覚障害のある話し手に対する発声練習方法は、Ｄ、　Ｋｅｖｌｅｙ−Ｐｏｒ ｔ氏他による文献（５ｐｅａｋｅｒ−ｄｅｐｅｎｄａｎｔ　Ｒｅｃｏｇｎｉｔｌ ｏｎ　ａｓ　ｔｈｅ　Ｂａ５ｆｓ　ｆｏｒ　ａ　５ｐｅｅｃｈ　Ｔｒａｌｎｉｎ ｇ　Ａｉｄ’、前のＩＣＡスピーチＰ８７．　ｖｏｌ　１．３７２乃至３７５頁 ）に示されている。この方法において、解析者は最も良く発音された話し手の発 声を選択し、これらはテンプレートに変換される。話し手の次の発音の正確度は 、彼のテンプレートに対する近似性の関数として示される（近ければ近いほど良 い）。

このシステムは２つの欠点を有する。第１にそれは解析者の人的介在に依存し、 第２に話し手は前の最も良い発声以上に自分の発音を向上させることができず、 それに等しくできるに過ぎない。

本発明によると、 発声を生成するスピーチ生成手段と、 練習者の発声において予め定められた選択されたワードの組からのワードを認識 するように構成されたスピーチ認識手段とを具備した発音練習用の装置であって 、スピーチ認識手段はその組の各ワード用のテンプレートと練習者の発声を比較 することによって話し手に依存した認識を使用するように構成され、この装置は 練習者にその組の各ワードを発声させ、このような発声からテンプレートを形成 することによって最初にテンプレートを生成するように構成され、この装置はさ らに練習者の後続する発声のテンプレートからの偏差の増加により発音の向上を 示すように構成される装置が提供される。

以下、図面を参照して本発明の実施例のいくつかの非限定的な例を示す。

図］８は本発明の１つの観点による言語練習方法の段階を示す。

図２は本発明の１つの観点を実行するのに適した装置を概略的に示す。

図３は本発明の他の観点による言語練習用装置の表示を示す。

図１および図２を参照すると、示されたシステムを最初に使用したとき、生徒は どの言語を学習したいか、およびどの項目エリア（例えば電話機動作またはホテ ル予約等）を必要としているのかシステムにより（スクリーンおよびキーボード 、または通常のスピーチシンセサイザおよび話し手と独立した認識装置のいずれ かを使用して）質問される。生徒は、話し手に依存したスピーチ認識装置１が彼 の音声を認識することができるように練習工程を実行しなければならない。外国 語において、生徒はスピーチ生成器３によって予め記録されたネイティブ発声者 の音声を使用して彼の項目エリアに関連した１組のキーワードを復唱するように 促される。同時に、各ワードの原言語翻訳が表示され、生徒に単語を学習する機 会を提供する。この過程は結果として生徒がその発音を練習する受動学習段階と して作用し、生徒が彼の能力を確信するほど正確にその刺激を模倣することに満 足するまで希望に応じてワードを反復することができる。

制御ユニット２は刺激および応答のシーケンスを制御する。

便宜上、制御ユニットはパーソナルコンピュータ（例えばＩＢＭ　ＰＣ）であっ てもよい。

生徒の音声を処理するためにスピーチ認識装置１によって使用されるように、テ ンプレート蓄積器１ａに蓄積された第１組のテンプレートを生成したときあるい は生成するするためにこれらの発声が使用される。テンプレートは記録されたネ イティブ発声者の正確な発音を模倣する生徒の最初の試みを表す。

練習工程の第２の段階は、単にキーワード単語の翻訳および発音を覚える生徒の 能力を試験する。生徒は前段階で練習していたキーワードの翻訳を彼の原言語で 発音するように（スクリーン４上で視覚的に、あるいはスピーチ生成器３により 逐語的に）刺激される。各ワードが発声された後、スピーチ生成器３は認識装置 １によって認識された外国ワードを反復して生徒に戻し、等価な原言語を表示す る。正しくない翻訳は練習サイクルで後に再度刺激するために記録される。

生徒は発音を正確にするか、あるいはマシンの誤認識を正すために希望に応じて ワードを何度も反復することができる。

認識装置１が低い距離スコアのために、あるいは２つのワードがほぼ同じ長さで 認識されたために外国ワードを一貫して（例えば５回以上）誤認識した場合、生 徒は生成器３からのネイティブ発声者の刺激に続いてこのワードを再度（好まし くは数回か）復唱することを要求され、新しいスピーチ認識装置テンプレートが 蓄積器１ａ中の元のテンプレートを置換するために生成されることができる。こ のような動作は事実生徒が刺激を何度か聞いた後彼の発音を変更したことを示し 、ネイティブ発声者のさらに正確な模倣に集中する。この方法は、練習者の進歩 がネイティブ発声者のテンプレートへの集中によってではなく、彼の元の（およ び／または更新された）テンプレートからの偏差によって測定される従来技術に まさる利点を有し、したがってピッチその他の２つの音声間の相違による問題を 回避する。生徒がキーワード単語を習得したことに満足すると、生徒は第３の練 習段階に移る。

生徒は彼自身の言語で（スクリーン４上で視覚的にまたは生成器３を介して逐語 的に）刺激され、ワードの逐語的翻訳を行うか、あるいは彼の興味のある項目ユ 、リアに関連した語句を完成することを要求される。その代りとして、これらの 刺激は生徒が応答しなければならない外国語の対話形態を取ってもよい。１つの 有効な刺激方法はいくつかのワードをミスしているテキストの一部分のスクリー ン表示を使用した“ストーリイボード“練習であり、生徒がミスしたワードと考 えたものを発声することによって完成するように刺激される。システムは、語句 ベースの言語翻訳システム（欧州公開特許出願０２６２９３８号）と同じ方法で 動作し、発声された語句を識別するために予め練習されたキーワードを認識する ことが好ま［２い。システムはネイティブ発声者の音声で正しい応答／翻訳を生 徒に対して発音し、それが正しくない場合、生徒が発音に満足していない場合、 あるいは認識装置１が正しい外国の語句を識別することができなかった場合、生 徒の翻訳を反復する機会を彼に与える。認識装置１が生徒の意図した意味を同化 したか否かを生徒が決定することができない場合には、認識された外国語句の原 言語形態が同時に表示されることができる。正しくなく翻訳された語句は別の翻 訳を試みるため練習サイクルで後に生徒に（視覚的または逐語的に）再表示され る。

認識装置１が不十分なキーワード認識およびドリフトする生徒の発音のために正 しい語句を反復的に識別することができない場合、生徒は分離認識のために正し い翻訳で与えられた各キーワードを復唱することを要求される。１つ以上のこれ らのキーワードが一貫して誤って認識された場合、新しいテンプレートが上記に 論じられたように生成される。

語句は関心のあるドメインにおけるそれらの使用頻度に関連した順序で生徒に翻 訳として与えられる。システムは、練習者が希望に応じて速くまたはゆっくり進 むことができるように彼が任意の点で練習を保留し、後で模倣するすることがで きるようにすることが好ましい。

好ましいタイプの語句認識（欧州公開特許出願０２６２９３８号およびＭａｃｈ ｉｎｅ　Ｔｒａｎｓｓｌａｔｉｏｎ　ｏｆ　５ｐｅｅｃｈ　”　、５ｔｅｎｔｉ ｆｏｒｄ　＆　５ｔｅｅｒ、Ｂｒ１ｔｉｓｈ　Ｔｅ！ｅｃｏｉ　Ｔｅｃｈｎｏｌ ｏｇｙ　Ｊｏｕｒｎａｌ　Ｖｏｌ　８　Ｎｏ、２　、１９８８年４月、　ｉｔｅ 乃至１２３頁に示されている）において、日付、時間、場所または他のサブ語句 等の可変パラメータを持つ語句が階級的に処理されることが必要である。語句形 態は最初にキーワード全体の組を使用して識別される。これが一度付われると、 語句中にあるパラメ−タのタイプは減少されることができ、特別な組のキーワー ドがパラメータ内容を識別するために提供される。パラメータは他のパラメータ 内に収容されることができる。簡単な例として、パラメータは特別なキーワード が首部だけから成る場合には首部を示す。生徒が翻訳を練習している間にパラメ ータ内容の中のエラーはまた階級的に処理されることができる。システムが生徒 によって話された正しい形態の語句を識別したが、正しくないパラメータ翻訳を 生成した場合、生徒は完成した語句に戻る必要なく単独にパラメータの正しい翻 訳を生成するように指導されることができる。

パラメータは、広範囲の語句にわたる生成のために通常会話ドメインにおいて選 択される。したがって、生徒がこれらの項目に関して問題を有している場合には 、それらに関して特定の練習を受けることが当然である。

キーワードはそれらが生じた情報およびそれらが各項目エリアにおいて使用され る語句をどの程度良く区別するかにしたがって選択される。これは、システムが 話されている語句を識別するために全ワードを認識する必要がないことを意味す る。これは、多数のスピーチ認識エラーが語句識別が失われる前に許容されると いう利点を有する。さらに、正しい語句は初心者によって生成されるワード中の エラーにかかわらず識別されることができる。システムが正しい変形に試みられ た翻訳を適合させることができるならば、これらの発声は内容を認識しているネ イティブ発声者に対処した場合に実際に理解されなければならないと考えられる のは当然である。

これは、システムが外国語の中で最も曖昧な生徒の語法の部分に練習を集中する 傾向があることを意味する。これは重要なキーワードの悪い発音またはそれらの 単なる削除のためである。

したがって、記載されたシステムは生徒の語学力を最小レベルの知識まで急速に 向上させることができる自動学習スキムを提供し、特に業務を単に迅速に処理す る多忙なビジネスマンおよび文法的な正確さにそれほど心配しなくてもよい観光 客に有効である。

正しい語句の発音は、適切なイントネーションおよびワード間の調音（ｃｏ−ａ ｒｔｉｃｕｌａｔｉｏｎ　）を提供するネイティブ発声者の記録音声によって与 えられる。上級者は同様に話すことを勧められ、システムは各発声を連続的に検 査し、使用されるワードスポツティング技術を提供することにより次第に流暢な スピーチを可能にする。

図３を参照すると、本発明の別の観点においてネイティブ発声者の口の視覚的表 示がそれぞれ話された語句の文節を示すように設けられている。この表示は、前 の欧州公開特許出願０２２５７２９号に示されたように１組の定量化された口の 形状を使用して都合よ＜ＣＲＴ表示上に設けられている。また顔全体の表示が使 用されてもよい。

簡単な１実施例において、表示は加入者がネイティブ発声者を模倣できるように ミラーと共に取付けられてもよい。

第２の実施例において、前の欧州公開特許出願０２２５７２９号に示されたタイ プのビデオ電話コーディング装置は、生徒がネイティブ発声者の口と彼の口を正 確に比較することができるように生徒の口の対応した表示を生成するために使用 されてもよい。２つの表示は、表示を整列するために時間ワーブ方法を使用して 生徒によって−づつまたは重ねられて（この場合、異なる色が使用されてもよい ）同時に再生されてもよい。

国際調査報告 Ｉ剛・ｍ＠＋−・Ｍ１ム帥−ｋｌむ・−−１１−、ＰＣτ、／ＧＢ８９１０ＯＢ ４６国際調査報告

Claims (13)

【特許請求の範囲】
1. （１）発声を生成するスピーチ生成手段と、練習者の発声においてワードの予め 定められた選択された組からのワードを認識するように構成されたスピーチ認識 手段とを具備した発音練習用の装置において、スピーチ認識手段はその組の各ワ ード用のテンプレートと練習者の発声を比較することによって話し手に依存した 認識を使用するように構成され、この装置は練習者にその組の各ワードを発声さ せ、このような発声からテンプレートを形成することによって最初にテンプレー トを生成するように構成され、この装置はさらに練習者の次の発声のテンプレー トからの偏差の増加により発音の向上を示すように構成されている装置。
2. （２）さらに、前記偏差が予め定められたしきい値を越えたとき前記次の発声か らテンプレートを更新するように構成されている請求項１記載の発音練習用装置 。
3. （３）スピーチ生成手段およびスピーチ認識手段に接続された制御手段を具備し ており、使用の際に装置は練習者が話すことによって応答する刺激を生成するよ うに構成され、スピーチ認識手段は練習者の応答において前記組からのワードの 存在を認識するように構成され、スピーチ生成手段がスピーチ認識手段が認識し たものに応じて発声を生成するように構成されている請求項１または２記載の発 音練習用装置。
4. （４）さらに、予め定められた選択された組からのワードの組合せおよび順序に よって語句を識別する語句認識手段を具備しており、 使用の際に練習者は語句を発声することによって応答するように刺激され、語句 認識手段は語句を認識し、それによってスピーチ生成手段によって生成された発 声は語句に対する応答として選択される請求項３記載の発音練習用装置。
5. （５）刺激はスピーチ生成手段によって生成された発声である請求項３または４ 記載の発音練習用装置。
6. （６）発声を生成するスピーチ生成手段と、練習者を刺激して前記発声の正しい 発音を模倣させるように口の対応したビデオ画像を生成するビデオ生成手段とを 具備している発音練習装置。
7. （７）さらに練習者の口の動きを分析し、対応した合成され分析された口の動き を表示するように構成されているビデオ分析手段を具備している請求項６記載の 装置。
8. （８）スピーチ生成手段は、その言語のネイティブ発声者のアクセントで言語の 発声を生成するように構成されている請求項１乃至７のいずれか１項記載の装置 。
9. （９）発声を話すように練習者を刺激し、話し手に依存したスピーチ認識を使用 して発声を分析し、練習者の前の発声から得られたテンプレートを使用する発音 練習方法において、 発音の向上は発声とテンプレートとの間の距離を測定することによって評価され 、この評価は距離の増加が発音の向上に対応することで行われる発音練習方法。
10. （１０）さらに、前記距離が予め定められたしきい値を越えたときに前記テンプ レートを更新するステップを含む請求項９記載の発音練習方法。
11. （１１）請求項１乃至６のいずれか１項にしたがった装置を使用する発音練習方 法。
12. （１２）図１、図２または図３を参照して実質的にここに記載されているような 発音練習装置。
13. （１３）図１または図３を参照して実質的にここに記載されているような発音練 習方法。