JP5079718B2 - 外国語学習支援システム、及びプログラム - Google Patents

Description

本発明は外国語学習支援システム、及びプログラムに関し、例えば、外国語の発音を学習する際に、韻律を含めた発音の誤りを自動判定し、矯正方法の自動提示などを行う技術に関する。

近年、国際間の交流が盛んになった影響で、多言語コミュニケーションのための外国語学習の必要性が増大している。近年、計算機の処理能力の向上と大容量データベースの利用が可能となったために、音声信号分析技術、特に音声認識技術及び自然言語処理技術の高速化及び高精度化などが進んでいる。そのため、外国語の学習支援を実現する手段として音声認識、音声合成などの音声技術を利用することが期待されている。

このような音声技術を利用した従来の外国語学習支援装置では、発音の正確さを判定するため、標準的な音韻特徴パターンに基づいて、入力された学習者の音声の音韻特徴パターンと、学習言語の音韻特徴パターンとを比較し、差分を計算して提示するという手段を有している。

「ディジタル音声処理」（古井貞熙著、東海大学出版会、１９８５年９月発行）

ところで、前述した学習支援システムでは、入力されたユーザ音声の音韻特徴パターンと、その対応する標準音声の音韻特徴パターンとの差分を計測し、その差分によって入力音声の品質を判定し、その判定結果に基づいて外国語学習時の発音誤りを矯正する仕方などを提示する手段が有効である。

しかしながら、従来の学習支援システムでは、学習者の発音の誤りを矯正する仕方を適切に提示する技術は存在していない。

本発明はこのような状況に鑑みてなされたものであり、学習者にとってより分かりやすい矯正情報の提示を実現するものである。

上記の課題を解決するために、本発明は、第２言語（例えば、中国語）に精通した学習者による第１言語（例えば、日本語）の学習を支援するための外国語学習支援システムを提供する。当該外国語学習支援システムは、音声分析処理部と、問題分析処理部と、検索処理部と、解決方法提示処理部と、を有している。音声分析処理部は、学習対象である第１言語のテキストに従って入力された音声を分析して入力音声の特徴ベクトルを生成する。また、問題分析処理部は、入力音声に対応する第１言語のテキストの標準的な特徴ベクトルを格納する原言語標準音声データベース（コーパス）を参照して、同一テキストについての入力音声の特徴ベクトルと標準的な特徴ベクトルとを比較して、入力音声の問題点（発音の問題点）を抽出する。検索処理部は、入力音声に問題があると判断された場合に、第１言語の標準的な特徴ベクトルとベクトル距離が最小であるとして音韻的に類似する第２言語の特徴ベクトルを、第１言語の標準的な特徴ベクトルと対応させて格納する変換ルールデータベースを参照して、第２言語の特徴ベクトルを検索する。そして、解決方法提示処理部は、検索処理部によって得られた第２言語の特徴ベクトルに対応する第２言語での表現を解決方法として提示する。

変換ルールデータベースは、基本周波数と継続長とパワーの情報を含む音の韻律情報について、前記第１言語の語彙と前記第２言語の語彙を対応付けて登録している。この場合、検索処理部は、発音の問題点が発見された入力音声に対応するテキストに基づいて、変換ルールデータベースに登録されている第２言語の語彙を抽出する。

また、解決方法提示処理部は、第２言語の特徴ベクトルに対応する第２言語の語彙の発音と同じように、発音に問題点のある部分を発音するようアドバイスを提示する。

当該システムは、さらに、テキスト表示欄と、音声の特徴表示欄と、問題点表示欄と、を有するＧＵＩを表示画面上に表示するＧＵＩ表示部を備える。このＧＵＩ表示部は、テキスト表示欄に第１言語のテキストを表示し、入力音声の特徴ベクトルを音声の特徴表示欄に表示し、問題点表示欄に抽出された問題点の情報と共に解決方法としてのアドバイスを表示する。

さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。

本発明によれば、従来手法と比べてより分かりやすい形態で、学習者の発音における問題点、および改善方法を提示することができるようになる。

本発明の実施形態による発音矯正支援装置（外国語学習支援システム）の概略構成を示す図である。 発音矯正支援装置の外観例を示す図である。 本発明の実施形態の各構成の処理の関係を説明する図である。 本発明の実施形態の入力分析処理を説明するための図である。 本発明の実施形態の問題分析判断処理を説明するための図である。 本発明の実施形態の変換ルールデータベースの作成処理の手順を示すフローチャートである。 本発明の実施形態の音韻特徴ベクトル（入力音声のベクトル）の構成を示す図である。 本発明の実施形態の変換ルールデータベースの構成の一例を示す図である。 発音矯正支援装置（ＧＵＩ）の入出力画面の一例を示す図である。 本発明の実施形態による外国語音声学習処理の全体の手順を示すフローチャートである。

本発明は、学習者自身の母語に関する情報を援用して矯正方法を提示することが、学習者にとって理解を容易にするという観点に基づいてなされたものである。

以下、添付図面を参照して本発明の実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。

＜発音矯正支援装置（外国語学習支援システム）の構成＞
図１は、本発明の実施形態による発音矯正支援装置１の概略構成を示す図である。発音矯正支援装置１は、発音すべきテキストが画面に表示され、学習者がそれを発音し、発音が不適切な場合には、その不適切箇所の矯正方法を提示する。また、図２は、発音矯正支援装置１の外観を示す図である。

発音矯正支援装置１は、プロセッサ２と、主メモリ３と、記憶部４と、入力部５と、出力部６と、を備えている。なお、本発明の実施の形態では、全ての機能が発音矯正支援装置１で処理される構成となっているが、発音矯正支援システムとして、機能ごとに別の計算機で処理させる構成としてもよいし、記憶部４に格納されるデータを格納するために別途ストレージ装置を含む構成としてもよい。

プロセッサ２は、主メモリ３に記憶されているプログラムを処理することによって、各種処理を実行する。

入力部５は、例えば、マイク、マウスやキーボード等によって構成される。
出力部６は、例えば、スピーカー、表示装置やプリンタ等によって構成される。

また、主メモリ３は、それぞれソフトウェアプログラム（ドライバ等）として実現される音声入力処理部１０と、音声分析部２０と、問題判断処理部３０と、解決方法選択処理部４０と、出力部５０と、を含んでいる。

さらに、記憶部４は、標準音声コーパス（データベース）６０と、変換ルールデータベース（図７参照）７０と、を備えている。

＜発音矯正支援装置の処理内容＞
図３は、本発明の実施形態による発音矯正支援装置１の発音矯正支援処理の概略を説明するための処理手順図である。

本発明の実施形態による発音矯正支援処理では、まず、発音矯正支援装置１のプロセッサ２が音声入力処理部１０を実行することによって、原言語入力音声の分析処理を実行する。音声入力処理部１０では、入力部５から入力された音声を受け付け、入力された音声を解析しやすいデータ形式に変換する。具体的には、学習者が学習対象言語の学習対象文章を読み上げるなどして、対応する学習対象言語の音声をシステムに対して入力する。

なお、入力部５は、学習者に対して、原言語音声、すなわち学習者が読み上げて発音矯正支援装置に入力されるべき音声を入力するマイクで構成され、出力部６は文章に対応する発音情報などの補助情報を提示するための汎用ディスプレイなどで構成される。

原言語音声入力処理が終了すると、プロセッサ２は、音声分析処理部２０を実行することによって、入力された原言語音声の音韻特徴情報を抽出する。具体的には、原言語テキスト文情報、すなわち学習者が読み上げた原言語音声に対応する文章テキストに対して音声認識技術を適用して、入力された原言語音声の音声信号に含まれる各音素の境界を自動判定する。ここで認識される単位は音素でもよく、また音節、もしくは句、フレーズなどのより長い単位でも構わない。以下では音素として代表させる。

さらに、入力された音声信号の音韻特徴（ピッチ、パワー、継続長など）パターンを抽出する。最後に、各音素に対応して抽出された特徴パラメータを用いて、音韻特徴ベクトルを生成する。音声信号から音韻特徴ベクトルを生成する技術は、既存の技術を利用することができる。たとえば、非特許文献１に記述されている音声分析手法などを用いて音韻特徴ベクトルは生成可能である。

図４は、入力音声分析処理の詳細を示す図である。まず、原言語音声、および原言語テキスト文情報を入力し、音声認識部２２０によって、入力された原言語音声のテキスト及び音素セグメンテーション認識結果を取得する。音素セグメンテーションとは、入力された音声を音素ごとに分割する処理である。言語解析部２３０が音声認識部２２０で取得された言語テキストを解析する。解析方法としては、例えば、形態素解析、構文解析、意味解析処理などがある。一方、音声特徴抽出部２１０によって、入力された原言語の音声データから原言語の韻律特徴パターンを抽出する。韻律特徴パターンは、具体的には、ピッチパターン、パワー、アクセント、継続長（音の長さ）、又は音素間の無声区間の長さなどである。

音韻特徴ベクトル生成部２４０は、音声特徴抽出部２１０によって抽出された原言語の韻律特徴パターンと言語解析部２３０による言語テキストの解析結果から音素ごとの音韻特徴ベクトルを生成する。音韻特徴ベクトルの一例は図７で示されるようなものである。

図３に戻って説明を続ける。原言語音声入力処理及び分析処理が終了すると、プロセッサ２は、問題判断処理部３０を実行することによって、入力した学習者の音声における発音の問題点を判定する。

図５は、問題判断処理の詳細示す図である。問題判断処理部の処理では、まず、特徴ベクトル差分計算部３１０が、原言語、すなわち学習対象言語の標準音声データベース６１０に基づいて、音声分析処理部２０で生成された入力音声の音韻特徴ベクトルと標準音声データベース中の同じ発話の音韻特徴ベクトルの差分ベクトルを計算する。

そして、差分ベクトル外れ特徴量判断部３２０が、標準音声の音韻特徴ベクトルに基づいて、解析された差分ベクトルにおける外れ特徴項目を判定する。これはすなわち、差分ベクトル（音韻特徴ベクトル）におけるどの音韻特徴量が原言語の標準音声から外れているかを、例えば予め設定された閾値に基づいて判定する処理である。

続いて、外れ特徴量による問題点判断部３３０が、その外れ特徴項目に基づいて、学習者の発音における問題点を決定する。これは、学習者の発音における外れ特徴項目、すなわちどの音韻特徴量が標準音声から離れているかに関する情報に基づいて、人間にとってより理解しやすい問題点情報へと抽象化する処理である。具体的には、差分ベクトルの外れ特徴量が「音素Ａのピッチが＋１５Ｈｚだった」という場合に、「音素Ａの高さがやや高い」などの表現に変換することを行う。この変換には、簡単な変換テーブルなどを用いることで対応は容易にできる。

原言語音声の発音問題抽出処理が終了すると、プロセッサ２は、解決方法選択処理部４０を実行することによって、ユーザに対して分かりやすい表現での解決案を選択する。解決方法選択処理部４０の処理は、問題判断処理部３０で判定された学習者の入力音声の発音に関する問題点に対して、変換ルールデータベース７０と出力言語標準音声データベース６２０を用いて、適切な解決方法を選択する処理である。例えば、発音単語（例：こんにちは）における問題部分（例：こん）に対応する学習者の母国語（例：中国語）の語彙（例：孔（ｋｏｎ））を、変換ルールデータベース７０を参照して取得する。

図８は、変換ルールデータベース７０の一例を示す図である。韻律変換ルールデータベース７０は、第一言語音韻特長ベクトルを入力項目として、それに対応する検索結果である第２言語音韻特徴ベクトルを出力とする。音韻特徴ベクトルとは、韻律特徴パターンを構成する各項目を数値化し、これらの数値を要素としたベクトルである。例えば、外れ特徴量による問題点判断部３３０で、中国人の日本語学習者が「こんにちは」という音声が入力されたときに、その音の「こん」の部分の発音が悪かったということが判定されたとする。すると、この韻律変換ルールデータベース７０から、入力音声「こんにちは」に対して、図８に示される韻律変換ルールが検索される。そして、対応する出力項目である「孔（孔子）」が得られる。この変換ルールは、中国語における単語「孔子」の「孔」の部分の発音が、日本語の「こんにちは」の「こん」の音声と発音的に近いという意味を示すものである。そして、出力された解決情報「孔（孔子）」は、出力処理部５０に渡される。

最後に、プロセッサ２は、選択された解決方法を出力処理部５０によって、ユーザに表示する。具体的には、最適な解決方法結果、及び、音声情報を出力するスピーカーなどを表示する汎用ディスプレイなどが含まれる。この出力において、韻律変換ルールデータベース７０の出力結果である、例えば「孔（孔子）」という情報はそのままでは、学習者にとって理解しづらいため、なんらかの文字列変換、またはパターン変換ルールを利用して、学習者に理解しやすい表現で提示されることになる。例えば、解決情報「孔（孔子）」は、「孔子の孔の部分の発音に近い」などの表現（ただし中国語）に変換して出力されることになる。

＜変換ルールデータベースの作成処理＞
次に、本発明の実施形態で用いられる韻律変換ルールデータベース７０の作成処理について説明する。図６は、その作成手順を説明するための図である。

まず、第１言語標準音声データベース６１０から、音声分析処理部２０によって、データベース中に含まれるすべての音素の音韻特徴ベクトルを抽出する。次に、全ての種類の音素に対し、応用分野、文型、前後音韻情報などを利用してクラスタリングを行う。これは、図１には図示しないクラスタリング手段８０によって、第１言語のテンプレート・パターンを生成することで行われる。

続いて、第２言語の標準音声データベース６２０から、前述手法と同じように、第２言語のテンプレート・パターンが生成される。その後、図１には図示しない特徴テンプレートマッピングとインデックス付き手段９０が、第１言語のクラスタリングしたテンプレート・パターンと第２言語のテンプレート・パターン中の応用分野、文型、前後音韻情報を含めた特徴ベクトル間で、ベクトル距離が最小となる第１言語音韻特徴ベクトルに対応する第２言語音韻特徴ベクトルを検索する。こうして、音響的・音韻的に近い第１言語音韻特徴ベクトルと第２言語音韻特徴ベクトルの対応データが大量に得られることとなる。これらの対応データをデータベース化したものが、韻律変換ルールデータベース７０となる。

＜ＧＵＩ＞
図９は、本発明の発音矯正支援装置に適用されるＧＵＩ（Graphical User Interface）の例を示す図である。

図９において、画面には、原言語、すなわち学習対象となる言語を示すメニュー５１０、および目的言語、すなわち学習者の母語となる言語を示すメニュー５２０が含まれる。学習者は、このメニュー５１０と５２０を切り替えることで、自分の母語、およびこれから学習する言語をシステムに指定する。自分の母語をメニュー５２０で切り替えることにより、画面内の表示情報の言語自体もその言語に翻訳して表示されるなどすることも考えられる。

また、画面内には少なくとも、学習者が読み上げる学習言語の文章を表示する表示領域５３０と、読み上げた音声内の問題点及び解決方法を学習者にとって分かりやすい形態で表示する表示領域５５０が含まれる。加えて、学習者が発声した音声の様子（波形や韻律のパターンなど）をグラフィカルに表示する表示領域５４０を持っても構わない。

＜発音正矯正支援処理の詳細＞
図１０は、本発明の発音矯正支援装置において学習者が発音してから解決方法の提示までの処理内容を説明するためのフローチャートである。

まず、学習者は自分の母語（第２言語）、および学習対象の言語（第１言語）をメニュー５１０、メニュー５２０で指定する。以下の説明では、中国語を母語とする学習者が日本語を学習する場合の設定で説明する。

学習者は、メニュー５１０に「日本語」を、メニュー５２０に「中国語」を指定する。メニュー５２０に「中国語」を指定することで、この画面内のすべての表示テキストが中国語に翻訳されて表示される。

また、学習者が日本語の学習を始めた際には、図９に示されるＧＵＩの表示領域５３０に、次に学習すべき日本語文章が表示される。例えば、日本語学習の初期の時点だとし、表示領域５３０に「こんにちは」が表示されたとする。この表示の手段は、従来の語学学習システムで開示されている技術を用いることで容易に実現できるため、詳細な説明は省略する。

表示領域５３０に「こんにちは」が表示されると、学習者はその文章を日本語で発声する。こうして、発音矯正支援装置に対して音声「こんにちは」が入力（入力部５が使用される）されることになる。

そして、入力原言語（日本語）の音韻特徴が音声分析処理部２０の音声特徴抽出部２１０によって抽出される（ステップＳ１）。また、音韻特徴ベクトル生成部２４０によって、入力原言語の特徴ベクトルが計算される（ステップＳ２）。

さらに、計算された入力原言語の特徴ベクトルと、現言語標準音声コーパス６１０に格納されている正しい原言語（入力原言語と同じもの）の特徴ベクトルとの差分が、問題判断処理部３０の特徴ベクトル差分計算部３１０によって算出される（ステップＳ３）。

続いて、算出された差分情報において特徴量が所定の閾値以上ずれた部分があるか否か差分ベクトルはずれ特徴量判断部３２０によって判断され、問題点判断部３３０によってその外れ特徴量に基づいて問題点が抽出される（ステップＳ４）。問題点が見つからなかった場合には処理は終了し、見たかった場合には処理はステップＳ５に移行する。

そして、解決方法選択処理部４０によって、入力言語発音問題点に対する目的言語の解決方法が、図８の変換ルールデータベース７０を参照して検索される（ステップＳ５）。解決方法が見つからなかった場合には、処理はステップＳ８に移行し、エラー処理（エラー表示等）の後、終了する。解決方法が見つかった場合には、処理はステップＳ６に移行する。

さらに、解決方法選択処理部４０によって、目的言語標準音声コーパス(例えば、変換ルールデータベース７０の第２言語音韻特徴ベクトルに対応するもの）６２０が参照され、目的言語おける対応する語彙の発音内容が解決方法として検索される（ステップＳ６）。

最後に、出力処理部５０によって、解決方法の提示処理が実行される（ステップＳ７）。

例えば、学習者の音声「こんにちは」における発音上の問題点が、学習者の母語である中国語の音声として説明した解決情報が出力される。この解決情報は、例えば、「こんにちは」の「こん」の部分の発音の問題を矯正するための解決情報として「孔子の孔に近い」（ただし中国語で）という情報となる。この解決情報は、表示領域５５０に問題点リストとして、列挙されることになる。もちろん、ここでの表示方法は、問題点を文章として列挙する以外にも、表示領域５４０に表示されている学習者自身の音声波形、および韻律パターンのグラフィックの上に、その問題箇所に対応させる形で表示することも可能である。この際、その問題箇所の位置を、学習者音声のどの部分であるかを判定する必要があるが、これは音声分析処理部２０における音声認識処理２２０の結果、学習者音声に含まれる音素、および、その開始・終了時刻は求められているため、容易に実現できる。

また、表示領域５５０に列挙された解決情報を、学習者がクリックするなどすることで、発音が悪いと判定された部分の自分の音声、および学習対象言語の標準音声の対応部分を音声再生して聞くということも可能である。この場合も、入力音声、および標準音声のどの部分がこの問題点箇所に対応しているかを判定する必要がある。ただし、韻律変換ルールデータベースの作成処理（図６）においては、第１及び第２言語に対しては、ともに音声分析処理２０が実施されている。よって、音声データベース内の音声すべてにおいて、どの音素がどの文章のどの時刻に存在しているかという情報は、システムにとって既知となっているため、問題点箇所の対応を判定するのは容易である。

＜実施形態のまとめ＞
本発明は、外国語学習システムとして、利用できる。近年、外国語の学習ニーズは大きくなってきており、英語に限らず、中国語やその他の言語など、様々な言語を学習する機会が増えてきている。その際、自分の発音が悪い点を自分の母語に照らし合わせて提示することで、学習者はより簡便に発音矯正が可能になるという利点がある。従って、実施形態では第１言語を日本語、第２言語を中国語として説明しているが、これに限らず、如何なる言語の組合せでも本発明の基本的考え方は適用可能である。

本実施形態では、第２言語（例えば、中国語）に精通した学習者による第１言語（例えば、日本語）の学習を支援するための外国語学習支援システムが提供されている。音声分析処理では、学習対象である第１言語のテキストに従って入力された音声を分析して入力音声の特徴ベクトルが生成される。また、問題分析処理では、入力音声に対応する第１言語のテキストの標準的な特徴ベクトルを格納する原言語標準音声データベース（コーパス）を参照して、同一テキストについての入力音声の特徴ベクトルと標準的な特徴ベクトルとを比較して、入力音声の問題点（発音の問題点）が抽出される。検索処理では、入力音声に問題があると判断された場合に、第１言語の標準的な特徴ベクトルとベクトル距離が最小であるとして音韻的に類似する第２言語の特徴ベクトルを、第１言語の標準的な特徴ベクトルと対応させて格納する変換ルールデータベースを参照して、第２言語の特徴ベクトルが検索される。そして、解決方法提示処理は、検索処理によって得られた第２言語の特徴ベクトルに対応する第２言語での表現が解決方法として提示される。また、変換ルールデータベースは、基本周波数と継続長とパワーの情報を含む音の韻律情報について、前記第１言語の語彙と前記第２言語の語彙を対応付けて登録している。この場合、検索処理部は、発音の問題点が発見された入力音声に対応するテキストに基づいて、変換ルールデータベースに登録されている第２言語の語彙を抽出する。さらに、解決方法提示処理部は、第２言語の特徴ベクトルに対応する第２言語の語彙の発音と同じように、発音に問題点のある部分を発音するようアドバイスを提示する。このようにすることにより、外国語学習において、発音に問題がある場合でも、学習者の母国語で発音の矯正の仕方を理解することができる。よって、外国語学習における発音の習得が容易になるという利点がある。

さらに、ＧＵＩのグラフィカル表示により問題点を学習者に提示する。これにより、学習者は自分の発音の悪い箇所をグラフィカルに知ることが可能となる。

なお、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

また、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ-ＲＷ、ＣＤ-Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はＣＰＵやＭＰＵ)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

１・・・発音矯正支援装置（外国語学習支援システム）、２・・・プロセッサ、３・・・主メモリ、４・・・記憶部、５・・・入力部、６・・・出力部、
１０・・・音声入力処理部、２０・・・音声分析処理部、３０・・・問題判断処理部、
４０・・・解決方法選択処理部、５０・・・出力処理部、
６０・・・標準音声コーパス（データベース）、７０・・・変換ルールデータベース、
８０・・・音韻パターンのテンプレートクラスタリング処理、
９０・・・特徴テンプレートマッピングとインデックス処理、
２１０・・・音声特徴抽出部、２２０・・・音声認識部、２３０・・・言語解析部、
２４０・・・音韻特徴ベクトル生成部、３１０・・・特徴ベクトル差分計算部、
３２０・・・差分ベクトル外れ特徴量判断部、３３０・・・問題点判断部、
５１０・・・原言語種類選択ボタン、５２０・・・目的言語種類選択ボタン
５３０・・・原言語の入力テキスト表示欄、
５４０・・・原言語入力音声の解析結果表示欄、
５５０・・・原言語入力音声の問題点とその対応する解決方法リスト表示欄
６１０・・・原言語（入力言語）標準音声コーパス（データベース）
６２０・・・目的言語（出力言語）標準音声コーパス（データベース）

Claims (5)

1. 第２言語に精通した学習者による第１言語の学習を支援するための外国語学習支援システムであって、
   学習対象である第１言語のテキストに従って入力された音声を分析して入力音声の特徴ベクトルを生成する音声分析処理部と、
   前記入力音声に対応する前記第１言語のテキストの標準的な特徴ベクトルを格納する原言語標準音声データベースを参照して、同一テキストについての前記入力音声の特徴ベクトルと前記標準的な特徴ベクトルとを比較して、前記入力音声の問題点（発音の問題点）を抽出する問題分析処理部と、
   前記問題分析処理部によって前記入力音声に問題があると判断された場合に、前記第１言語の標準的な特徴ベクトルとベクトル距離が最小であるとして音韻的に類似する第２言語の特徴ベクトルを、前記第１言語の標準的な特徴ベクトルと対応させて格納する変換ルールデータベースを参照して、前記第２言語の特徴ベクトルを検索する検索処理部と、
   前記検索処理部によって得られた前記第２言語の特徴ベクトルに対応する第２言語での表現を解決方法として提示する解決方法提示処理部と、
   を備えることを特徴とする外国語学習支援システム。
2. 前記変換ルールデータベースは、基本周波数と継続長とパワーの情報を含む音の韻律情報について、前記第１言語の語彙と前記第２言語の語彙を対応付けて登録しており、
   前記検索処理部は、前記発音の問題点が発見された入力音声に対応するテキストに基づいて、前記変換ルールデータベースに登録されている前記第２言語の語彙を抽出することを特徴とする請求項１に記載の外国語学習支援システム。
3. 前記解決方法提示処理部は、前記第２言語の特徴ベクトルに対応する前記第２言語の語彙の発音と同じように、前記発音に問題点のある部分を発音するようアドバイスを提示することを特徴とする請求項２に記載の外国語学習支援システム。
4. さらに、テキスト表示欄と、音声の特徴表示欄と、問題点表示欄と、を有するＧＵＩを表示画面上に表示するＧＵＩ表示部を備え、
   前記ＧＵＩ表示部は、前記テキスト表示欄に前記第１言語のテキストを表示し、前記入力音声の特徴ベクトルを前記音声の特徴表示欄に表示し、前記問題点表示欄に前記抽出された問題点の情報と共に前記解決方法としての前記アドバイスを表示することを特徴とする請求項３に記載の外国語学習支援システム。
5. コンピュータを請求項１乃至４の何れか１項に記載の外国語学習支援システムとして機能させるためのプログラム。

Images