JP3520022B2 - 外国語学習装置、外国語学習方法および媒体 - Google Patents
外国語学習装置、外国語学習方法および媒体Info
- Publication number
- JP3520022B2 JP3520022B2 JP2000078578A JP2000078578A JP3520022B2 JP 3520022 B2 JP3520022 B2 JP 3520022B2 JP 2000078578 A JP2000078578 A JP 2000078578A JP 2000078578 A JP2000078578 A JP 2000078578A JP 3520022 B2 JP3520022 B2 JP 3520022B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- phoneme
- sentence
- information
- learner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、音声認識システ
ムを用いて外国語学習を行うための外国語学習装置およ
び外国語学習方法ならびにこのような外国語学習方法を
コンピュータに実行させるためのプログラムを記録した
コンピュータ読取り可能な媒体に関する。
ムを用いて外国語学習を行うための外国語学習装置およ
び外国語学習方法ならびにこのような外国語学習方法を
コンピュータに実行させるためのプログラムを記録した
コンピュータ読取り可能な媒体に関する。
【０００２】
【従来の技術】近年、音声認識システムを外国語の学習
に利用する試みが盛んに行われている。すなわち、この
ような外国語学習装置においては、学習者は、一つまた
は複数の外国語の文章を読み上げ、パーソナルコンピュ
ータ（計算機）の音声入力機能を利用して自分の発音し
た文章をパーソナルコンピュータに入力する。そして、
上記パーソナルコンピュータに搭載された当該外国語に
対応した音声認識システムが、学習者が読み上げた文章
をどの程度正しく認識したかを判定し、その結果を学習
者へのフィードバックとして表示するという方式であ
る。
に利用する試みが盛んに行われている。すなわち、この
ような外国語学習装置においては、学習者は、一つまた
は複数の外国語の文章を読み上げ、パーソナルコンピュ
ータ（計算機）の音声入力機能を利用して自分の発音し
た文章をパーソナルコンピュータに入力する。そして、
上記パーソナルコンピュータに搭載された当該外国語に
対応した音声認識システムが、学習者が読み上げた文章
をどの程度正しく認識したかを判定し、その結果を学習
者へのフィードバックとして表示するという方式であ
る。
【０００３】
【発明が解決しようとする課題】しかしながら、従来の
外国語学習装置においては、利用する音声認識システム
が、もともとパーソナルコンピュータへのキーボード入
力を音声入力に置き換えることを目的としたものであっ
て、学習者が発音した文章単位で認識が行われ、その認
識結果と本来期待される文章との比較結果が出力される
に過ぎない。このため、学習者は、このような文章全体
として自分の発音が評価された結果しか知ることができ
ない。
外国語学習装置においては、利用する音声認識システム
が、もともとパーソナルコンピュータへのキーボード入
力を音声入力に置き換えることを目的としたものであっ
て、学習者が発音した文章単位で認識が行われ、その認
識結果と本来期待される文章との比較結果が出力される
に過ぎない。このため、学習者は、このような文章全体
として自分の発音が評価された結果しか知ることができ
ない。
【０００４】しかしながら、実際には、文章単位全体に
わたって評価が平均していることはまれであって、文章
中のある特定の部分では評価が高く、別の部分では評価
が低いということの方が一般的である。
わたって評価が平均していることはまれであって、文章
中のある特定の部分では評価が高く、別の部分では評価
が低いということの方が一般的である。
【０００５】したがって、文章全体での包括的な評価点
を用いていたのでは、特に、学習者に対して表示された
評価点が低かった際に、その文章単位中のどの部分の発
音が悪かったのかを学習者が知ることができない。この
結果、学習者は、評価点が上がるまでやみくもに文章全
体の発音をやり直すことになり、学習効率を妨げてしま
うという問題点があった。
を用いていたのでは、特に、学習者に対して表示された
評価点が低かった際に、その文章単位中のどの部分の発
音が悪かったのかを学習者が知ることができない。この
結果、学習者は、評価点が上がるまでやみくもに文章全
体の発音をやり直すことになり、学習効率を妨げてしま
うという問題点があった。
【０００６】この発明は、上記のような問題点を解決す
るためになされたものであって、その目的は、学習者の
発音した外国語の文章に対する評価結果を、効率的な外
国語発音練習ができるように提示することが可能な外国
語学習装置を提供することである。
るためになされたものであって、その目的は、学習者の
発音した外国語の文章に対する評価結果を、効率的な外
国語発音練習ができるように提示することが可能な外国
語学習装置を提供することである。
【０００７】この発明の他の目的は、学習者の発音した
外国語の文章に対する発音の評価結果を学習者の外国語
発音練習に対して効率的にフィードバックすることが可
能な外国語学習方法を提供することである。
外国語の文章に対する発音の評価結果を学習者の外国語
発音練習に対して効率的にフィードバックすることが可
能な外国語学習方法を提供することである。
【０００８】この発明のさらに他の目的は、学習者の発
音した外国語の文章に対する発音の評価結果を学習者の
外国語発音練習に対して効率的にフィードバックするこ
とが可能な外国語学習方法を、コンピュータに実行させ
るためのプログラムを記録したコンピュータ読取り可能
な媒体を提供することである。
音した外国語の文章に対する発音の評価結果を学習者の
外国語発音練習に対して効率的にフィードバックするこ
とが可能な外国語学習方法を、コンピュータに実行させ
るためのプログラムを記録したコンピュータ読取り可能
な媒体を提供することである。
【０００９】
【課題を解決するための手段】請求項１記載の外国語学
習装置は、学習者が発音するべきモデル文章と対応する
モデル音韻情報および対応するモデル音韻配列情報とを
保持する記憶手段と、学習者の発音した文章に対応する
文章音声情報を受けて、文章に含まれる単語毎の単語音
声情報に分離する単語分離手段とを備え、単語分離手段
は、文章音声情報を音韻情報毎に認識する音韻認識手段
と、分離された音韻情報とモデル音韻配列情報とに基づ
いて、単語毎の単語音声情報を認識する単語音声認識手
段とを含み、音韻認識手段は、外国語に含まれ得る音韻
のそれぞれに対する、文章音声情報中の各音韻情報の尤
度を判定する音韻尤度決定手段を有し、単語音声情報ご
とにモデル音声との一致の程度を評価する尤度判定手段
をさらに備え、尤度判定手段は、モデル音韻情報に基づ
いて、モデル文章に対応した間違いやすい音素列の候補
に対する尤度分布平面上において、モデル音韻配列情報
どおりの音韻配列で発音したとした場合の経路に沿って
求めた各単語尤度と、尤度分布平面上において学習者の
発音した音声波形から最も尤度の高い候補の経路に沿っ
て求めた各単語尤度とを照合することで、単語毎の一致
の程度を評価し、尤度判定手段の判定結果を単語毎に表
示する表示手段をさらに備える。
習装置は、学習者が発音するべきモデル文章と対応する
モデル音韻情報および対応するモデル音韻配列情報とを
保持する記憶手段と、学習者の発音した文章に対応する
文章音声情報を受けて、文章に含まれる単語毎の単語音
声情報に分離する単語分離手段とを備え、単語分離手段
は、文章音声情報を音韻情報毎に認識する音韻認識手段
と、分離された音韻情報とモデル音韻配列情報とに基づ
いて、単語毎の単語音声情報を認識する単語音声認識手
段とを含み、音韻認識手段は、外国語に含まれ得る音韻
のそれぞれに対する、文章音声情報中の各音韻情報の尤
度を判定する音韻尤度決定手段を有し、単語音声情報ご
とにモデル音声との一致の程度を評価する尤度判定手段
をさらに備え、尤度判定手段は、モデル音韻情報に基づ
いて、モデル文章に対応した間違いやすい音素列の候補
に対する尤度分布平面上において、モデル音韻配列情報
どおりの音韻配列で発音したとした場合の経路に沿って
求めた各単語尤度と、尤度分布平面上において学習者の
発音した音声波形から最も尤度の高い候補の経路に沿っ
て求めた各単語尤度とを照合することで、単語毎の一致
の程度を評価し、尤度判定手段の判定結果を単語毎に表
示する表示手段をさらに備える。
【００１０】請求項２記載の外国語学習装置は、請求項
１記載の外国語学習装置の構成に加えて、予め学習者に
モデル文章を提示するための出力手段をさらに備える。
１記載の外国語学習装置の構成に加えて、予め学習者に
モデル文章を提示するための出力手段をさらに備える。
【００１１】
【００１２】請求項３記載の外国語学習方法は、学習者
の発音した文章に対応する文章音声情報を受けて、文章
に含まれる単語毎の単語音声情報に分離するステップを
備え、単語音声情報に分離するステップは、文章音声情
報を音韻情報毎に認識するステップと、学習者に提示さ
れたモデル文章に対応するモデル音韻配列情報と分離さ
れた音韻情報とに基づいて、単語毎の単語音声情報を認
識するステップとを含み、音韻情報毎に認識するステッ
プは、外国語に含まれ得る音韻のそれぞれに対する、文
章音声情報中の各音韻情報の尤度を判定するステップを
有し、モデル文章に対応した間違いやすい音素列の候補
に対する尤度分布平面上において、モデル音韻配列情報
どおりの音韻配列で発音したとした場合の経路に沿って
求めた各単語尤度と、尤度分布平面上において学習者の
発音した音声波形から最も尤度の高い候補の経路に沿っ
て求めた各単語尤度とを照合することで、単語毎の一致
の程度を評価して、単語音声情報ごとにモデル音声との
一致の程度を評価するステップと、単語音声情報ごとの
評価結果を単語毎に表示するステップとをさらに備え
る。
の発音した文章に対応する文章音声情報を受けて、文章
に含まれる単語毎の単語音声情報に分離するステップを
備え、単語音声情報に分離するステップは、文章音声情
報を音韻情報毎に認識するステップと、学習者に提示さ
れたモデル文章に対応するモデル音韻配列情報と分離さ
れた音韻情報とに基づいて、単語毎の単語音声情報を認
識するステップとを含み、音韻情報毎に認識するステッ
プは、外国語に含まれ得る音韻のそれぞれに対する、文
章音声情報中の各音韻情報の尤度を判定するステップを
有し、モデル文章に対応した間違いやすい音素列の候補
に対する尤度分布平面上において、モデル音韻配列情報
どおりの音韻配列で発音したとした場合の経路に沿って
求めた各単語尤度と、尤度分布平面上において学習者の
発音した音声波形から最も尤度の高い候補の経路に沿っ
て求めた各単語尤度とを照合することで、単語毎の一致
の程度を評価して、単語音声情報ごとにモデル音声との
一致の程度を評価するステップと、単語音声情報ごとの
評価結果を単語毎に表示するステップとをさらに備え
る。
【００１３】請求項４記載の外国語学習方法は、請求項
３記載の外国語学習方法の構成に加えて、予め学習者に
モデル文章を提示するステップをさらに備える。
３記載の外国語学習方法の構成に加えて、予め学習者に
モデル文章を提示するステップをさらに備える。
【００１４】
【００１５】請求項５記載の外国語学習方法は、請求項
４記載の外国語学習方法の構成に加えて、学習者が発す
るモデル文章中の音韻毎および単語ごとに発音練習結果
を評価するステップをさらに備える。
４記載の外国語学習方法の構成に加えて、学習者が発す
るモデル文章中の音韻毎および単語ごとに発音練習結果
を評価するステップをさらに備える。
【００１６】請求項６記載の外国語学習方法は、請求項
５記載の外国語学習方法の構成に加えて、発音練習結果
を評価するステップは、学習者に対して、表示装置を介
して、音韻毎に声道形状モデルを表示するステップを含
む。
５記載の外国語学習方法の構成に加えて、発音練習結果
を評価するステップは、学習者に対して、表示装置を介
して、音韻毎に声道形状モデルを表示するステップを含
む。
【００１７】請求項７記載の外国語学習方法は、請求項
５記載の外国語学習方法の構成に加えて、発音練習結果
を評価するステップは、学習者に対して、表示装置を介
して、モデル声紋と学習者の発音に対する声紋とを対比
表示するステップを含む。
５記載の外国語学習方法の構成に加えて、発音練習結果
を評価するステップは、学習者に対して、表示装置を介
して、モデル声紋と学習者の発音に対する声紋とを対比
表示するステップを含む。
【００１８】請求項８記載の外国語学習方法は、請求項
５記載の外国語学習方法の構成に加えて、発音練習結果
を評価するステップは、学習者に対して、表示装置を介
して、学習者の発音のフォルマント平面上の位置を表示
するステップを含む。
５記載の外国語学習方法の構成に加えて、発音練習結果
を評価するステップは、学習者に対して、表示装置を介
して、学習者の発音のフォルマント平面上の位置を表示
するステップを含む。
【００１９】請求項９記載の外国語学習装置は、学習者
が発音するべきモデル文章と対応するモデル音韻情報お
よび対応するモデル音韻配列情報とを保持する記憶手段
と、予め学習者にモデル文章を提示するための出力手段
と、学習者の発音した文章に対応する文章音声情報を受
けて、文章に含まれる単語毎の単語音声情報に分離する
単語分離手段と、単語音声情報ごとにモデル音声との一
致の程度を評価する尤度判定手段と、尤度判定手段の判
定結果を音韻毎および単語毎に表示する表示手段とを備
え、単語分離手段は、文章音声情報を音韻情報毎に認識
する音韻認識手段と、分離された音韻情報とモデル音韻
配列情報とに基づいて、単語毎の単語音声情報を認識す
る単語音声認識手段とを含み、音韻認識手段は、外国語
に含まれ得る音韻のそれぞれに対する、文章音声情報中
の各音韻情報の尤度を判定する音韻尤度決定手段を有
し、尤度判定手段は、モデル音韻情報に基づいて、モデ
ル文章に対応した間違いやすい音素列の候補に対する尤
度分布平面上において、モデル音韻配列情報どおりの音
韻配列で発音したとした場合の経路に沿って求めた各単
語尤度と、尤度分布平面上において学習者の発音した音
声波形から最も尤度の高い候補の経路に沿って求めた各
単語尤度とを照合することで、単語毎の一致の程度を評
価し、発音練習期間中において、学習者が発するモデル
文章中の音韻毎および単語ごとに発音練習結果を評価す
る発音評価手段をさらに備える。
が発音するべきモデル文章と対応するモデル音韻情報お
よび対応するモデル音韻配列情報とを保持する記憶手段
と、予め学習者にモデル文章を提示するための出力手段
と、学習者の発音した文章に対応する文章音声情報を受
けて、文章に含まれる単語毎の単語音声情報に分離する
単語分離手段と、単語音声情報ごとにモデル音声との一
致の程度を評価する尤度判定手段と、尤度判定手段の判
定結果を音韻毎および単語毎に表示する表示手段とを備
え、単語分離手段は、文章音声情報を音韻情報毎に認識
する音韻認識手段と、分離された音韻情報とモデル音韻
配列情報とに基づいて、単語毎の単語音声情報を認識す
る単語音声認識手段とを含み、音韻認識手段は、外国語
に含まれ得る音韻のそれぞれに対する、文章音声情報中
の各音韻情報の尤度を判定する音韻尤度決定手段を有
し、尤度判定手段は、モデル音韻情報に基づいて、モデ
ル文章に対応した間違いやすい音素列の候補に対する尤
度分布平面上において、モデル音韻配列情報どおりの音
韻配列で発音したとした場合の経路に沿って求めた各単
語尤度と、尤度分布平面上において学習者の発音した音
声波形から最も尤度の高い候補の経路に沿って求めた各
単語尤度とを照合することで、単語毎の一致の程度を評
価し、発音練習期間中において、学習者が発するモデル
文章中の音韻毎および単語ごとに発音練習結果を評価す
る発音評価手段をさらに備える。
【００２０】請求項１０記載の外国語学習装置は、請求
項８記載の外国語学習装置の構成に加えて、発音評価手
段は、学習者に対して、表示装置を介して、音韻毎に声
道形状モデルを表示する。
項８記載の外国語学習装置の構成に加えて、発音評価手
段は、学習者に対して、表示装置を介して、音韻毎に声
道形状モデルを表示する。
【００２１】請求項１１記載の外国語学習装置は、請求
項９記載の外国語学習装置の構成に加えて、発音評価手
段は、学習者に対して、表示装置を介して、モデル声紋
と学習者の発音に対する声紋とを対比表示する。
項９記載の外国語学習装置の構成に加えて、発音評価手
段は、学習者に対して、表示装置を介して、モデル声紋
と学習者の発音に対する声紋とを対比表示する。
【００２２】請求項１２記載の外国語学習装置は、請求
項９記載の外国語学習装置の構成に加えて、発音評価手
段は、学習者に対して、表示装置を介して、学習者の発
音のフォルマント平面上の位置を表示する。
項９記載の外国語学習装置の構成に加えて、発音評価手
段は、学習者に対して、表示装置を介して、学習者の発
音のフォルマント平面上の位置を表示する。
【００２３】請求項１３記載の外国語学習方法をコンピ
ュータに実行させるためのプログラムを記録したコンピ
ュータ読取り可能な媒体において、外国語学習方法は、
学習者の発音した文章に対応する文章音声情報を受け
て、文章に含まれる単語毎の単語音声情報に分離するス
テップを備え、単語音声情報に分離するステップは、文
章音声情報を音韻情報毎に認識するステップと、学習者
に提示されたモデル文章に対応するモデル音韻配列情報
と分離された音韻情報とに基づいて、単語毎の単語音声
情報を認識するステップとを含み、音韻情報毎に認識す
るステップは、外国語に含まれ得る音韻のそれぞれに対
する、文章音声情報中の各音韻情報の尤度を判定するス
テップを有し、モデル文章に対応した間違いやすい音素
列の候補に対する尤度分布平面上において、モデル音韻
配列情報どおりの音韻配列で発音したとした場合の経路
に沿って求めた各単語尤度と、尤度分布平面上において
学習者の発音した音声波形から最も尤度の高い候補の経
路に沿って求めた各単語尤度とを照合することで、単語
毎の一致の程度を評価して、単語音声情報ごとにモデル
音声との一致の程度を評価するステップと、単語音声情
報ごとの評価結果を単語毎に表示するステップとを有す
る。
ュータに実行させるためのプログラムを記録したコンピ
ュータ読取り可能な媒体において、外国語学習方法は、
学習者の発音した文章に対応する文章音声情報を受け
て、文章に含まれる単語毎の単語音声情報に分離するス
テップを備え、単語音声情報に分離するステップは、文
章音声情報を音韻情報毎に認識するステップと、学習者
に提示されたモデル文章に対応するモデル音韻配列情報
と分離された音韻情報とに基づいて、単語毎の単語音声
情報を認識するステップとを含み、音韻情報毎に認識す
るステップは、外国語に含まれ得る音韻のそれぞれに対
する、文章音声情報中の各音韻情報の尤度を判定するス
テップを有し、モデル文章に対応した間違いやすい音素
列の候補に対する尤度分布平面上において、モデル音韻
配列情報どおりの音韻配列で発音したとした場合の経路
に沿って求めた各単語尤度と、尤度分布平面上において
学習者の発音した音声波形から最も尤度の高い候補の経
路に沿って求めた各単語尤度とを照合することで、単語
毎の一致の程度を評価して、単語音声情報ごとにモデル
音声との一致の程度を評価するステップと、単語音声情
報ごとの評価結果を単語毎に表示するステップとを有す
る。
【００２４】請求項１４記載の媒体においては、請求項
１３記載の媒体の構成に加えて、外国語学習方法は、予
め学習者にモデル文章を提示するステップをさらに備え
る。
１３記載の媒体の構成に加えて、外国語学習方法は、予
め学習者にモデル文章を提示するステップをさらに備え
る。
【００２５】
【００２６】請求項１５記載の媒体においては、請求項
１４記載の媒体の構成に加えて、外国語学習方法は、学
習者が発するモデル文章中の音韻毎および単語ごとに発
音練習結果を評価するステップをさらに備える。
１４記載の媒体の構成に加えて、外国語学習方法は、学
習者が発するモデル文章中の音韻毎および単語ごとに発
音練習結果を評価するステップをさらに備える。
【００２７】請求項１６記載の媒体においては、請求項
１５記載の媒体の構成に加えて、外国語学習方法におい
て、発音練習結果を評価するステップは、学習者に対し
て、表示装置を介して、音韻毎に声道形状モデルを表示
するステップを含む。
１５記載の媒体の構成に加えて、外国語学習方法におい
て、発音練習結果を評価するステップは、学習者に対し
て、表示装置を介して、音韻毎に声道形状モデルを表示
するステップを含む。
【００２８】請求項１７記載の媒体においては、請求項
１５記載の媒体の構成に加えて、外国語学習方法におい
て、発音練習結果を評価するステップは、学習者に対し
て、表示装置を介して、モデル声紋と学習者の発音に対
する声紋とを対比表示するステップを含む。
１５記載の媒体の構成に加えて、外国語学習方法におい
て、発音練習結果を評価するステップは、学習者に対し
て、表示装置を介して、モデル声紋と学習者の発音に対
する声紋とを対比表示するステップを含む。
【００２９】請求項１８記載の媒体においては、請求項
１５記載の媒体の構成に加えて、外国語学習方法におい
て、発音練習結果を評価するステップは、学習者に対し
て、表示装置を介して、学習者の発音のフォルマント平
面上の位置を表示するステップを含む。
１５記載の媒体の構成に加えて、外国語学習方法におい
て、発音練習結果を評価するステップは、学習者に対し
て、表示装置を介して、学習者の発音のフォルマント平
面上の位置を表示するステップを含む。
【００３０】
【発明の実施の形態】［実施の形態１］図１は、本発明
に係る外国語学習装置１００の構成を説明するための概
略ブロック図である。
に係る外国語学習装置１００の構成を説明するための概
略ブロック図である。
【００３１】なお、以下の説明では、外国語として、英
語を例として説明するが、以下の説明で明らかとなるよ
うに、本発明はこのような場合に限定されることなく、
母国語以外の言語を学習者が学習する際に一般的に適用
可能なものである。
語を例として説明するが、以下の説明で明らかとなるよ
うに、本発明はこのような場合に限定されることなく、
母国語以外の言語を学習者が学習する際に一般的に適用
可能なものである。
【００３２】図１を参照して、外国語学習装置１００
は、学習者２が発声した音声を取得するためのマイクロ
フォン１０２と、マイクロフォン１０２からの出力を受
けて、学習者２が発音した文章に対応する音声情報を処
理して、この文章中に含まれる単語毎に、期待される発
音に基づいた学習者の発音の評価点を求めるためのマイ
クロコンピュター１１０と、マイクロコンピュータ１１
０から与えられる学習者２が発音するべき文章を表示
し、単語毎に求められた学習者の発音に対する評価点
を、単語毎に表示するための表示装置（ディスプレイ）
１２０とを備える。
は、学習者２が発声した音声を取得するためのマイクロ
フォン１０２と、マイクロフォン１０２からの出力を受
けて、学習者２が発音した文章に対応する音声情報を処
理して、この文章中に含まれる単語毎に、期待される発
音に基づいた学習者の発音の評価点を求めるためのマイ
クロコンピュター１１０と、マイクロコンピュータ１１
０から与えられる学習者２が発音するべき文章を表示
し、単語毎に求められた学習者の発音に対する評価点
を、単語毎に表示するための表示装置（ディスプレイ）
１２０とを備える。
【００３３】なお、学習者２に対して、発音するべき文
章（以下、「モデル文章」と呼ぶ）を提示する方法とし
ては、上述のとおり、表示装置１２０を介して文字情報
として提示してもよいし、スピーカ１０４から音声とし
て学習者２に提示してもよい。また、後に説明する単語
毎の発音練習においては、スピーカ１０４から手本とな
る発音を音声として出力することも可能である。
章（以下、「モデル文章」と呼ぶ）を提示する方法とし
ては、上述のとおり、表示装置１２０を介して文字情報
として提示してもよいし、スピーカ１０４から音声とし
て学習者２に提示してもよい。また、後に説明する単語
毎の発音練習においては、スピーカ１０４から手本とな
る発音を音声として出力することも可能である。
【００３４】マイクロコンピュータ１１０は、マイクロ
フォン１０２からの音声信号を受け、また、スピーカ１
０４に対して音声信号を与えるためのインターフェース
である音声入出力部１１２と、後に説明するように音声
入出力部１１２からの信号に基づいて、マイクロフォン
１０２に与えられた文章に対応する音声情報（以下、
「文章音声情報」と呼ぶ）をそれに含まれる音韻情報に
分離解析する音声認識部１１４と、前記文章音声情報を
一時的に格納し、かつ前記モデル文章およびこれに対応
する音韻情報と単語境界に対する情報とを保持するため
のデータ記憶部１１８と、音声認識部１１４の解析結果
と、前記データ記憶部１１８に格納され学習者２に対し
て発音を促すために与えられたモデル文章に対する情報
等とに基づいて、このモデル文章に含まれる単語毎に、
モデル文章に対する音韻情報（モデル音韻情報）に対す
る学習者２の発音の評価点を求める演算処理部１１６と
を備える。
フォン１０２からの音声信号を受け、また、スピーカ１
０４に対して音声信号を与えるためのインターフェース
である音声入出力部１１２と、後に説明するように音声
入出力部１１２からの信号に基づいて、マイクロフォン
１０２に与えられた文章に対応する音声情報（以下、
「文章音声情報」と呼ぶ）をそれに含まれる音韻情報に
分離解析する音声認識部１１４と、前記文章音声情報を
一時的に格納し、かつ前記モデル文章およびこれに対応
する音韻情報と単語境界に対する情報とを保持するため
のデータ記憶部１１８と、音声認識部１１４の解析結果
と、前記データ記憶部１１８に格納され学習者２に対し
て発音を促すために与えられたモデル文章に対する情報
等とに基づいて、このモデル文章に含まれる単語毎に、
モデル文章に対する音韻情報（モデル音韻情報）に対す
る学習者２の発音の評価点を求める演算処理部１１６と
を備える。
【００３５】［文章音声情報の構成］図２は、モデル文
章のうちの１つについての文章音声情報の構成を説明す
るための概念図である。
章のうちの１つについての文章音声情報の構成を説明す
るための概念図である。
【００３６】図２に示した例では、"I have a red pen"
というモデル文章を例として挙げている。
というモデル文章を例として挙げている。
【００３７】音声言語は、図２に示すように階層性を有
しており、文章は、単語、音節（母音と子音とで形成す
る単位で、日本語では通常１つの仮名で表記される単
位）、音韻（各子音、各母音）という風に細分化され
る。
しており、文章は、単語、音節（母音と子音とで形成す
る単位で、日本語では通常１つの仮名で表記される単
位）、音韻（各子音、各母音）という風に細分化され
る。
【００３８】ただし、言語によってこの細分化の過程に
は多少の相違があり、また、文章と単語の中間層とし
て、いわゆる「フレーズ」を形成する場合もある。
は多少の相違があり、また、文章と単語の中間層とし
て、いわゆる「フレーズ」を形成する場合もある。
【００３９】図３は、図１に示した外国語学習装置１０
０により実現される外国語学習のフローを説明するため
のフローチャートである。
０により実現される外国語学習のフローを説明するため
のフローチャートである。
【００４０】図３において明らかとなるように、外国語
学習装置１００により実現される外国語学習において
は、音声言語の階層性を利用して、文章単位の発音に対
して包括的な評価ばかりでなく、単語単位さらには音韻
単位での学習者の発音の評価を学習者にフィードバック
し、学習者はこの評価結果に基づいて、不得意であると
判定された単語毎または音韻毎に発音練習を行うことが
可能な構成となっている。特に、単語毎に評価点を表示
することで、個々の音韻に対する測定誤差の影響が軽減
されるだけでなく、学習者が発音練習をしやすい単位で
ある単語ごとに発音練習を行うことが可能で、発音練習
を効率的に行うことができる。
学習装置１００により実現される外国語学習において
は、音声言語の階層性を利用して、文章単位の発音に対
して包括的な評価ばかりでなく、単語単位さらには音韻
単位での学習者の発音の評価を学習者にフィードバック
し、学習者はこの評価結果に基づいて、不得意であると
判定された単語毎または音韻毎に発音練習を行うことが
可能な構成となっている。特に、単語毎に評価点を表示
することで、個々の音韻に対する測定誤差の影響が軽減
されるだけでなく、学習者が発音練習をしやすい単位で
ある単語ごとに発音練習を行うことが可能で、発音練習
を効率的に行うことができる。
【００４１】図３を参照して、外国語学習が開始される
と（ステップＳ１００）、まず、表示装置１２０により
学習者２に対し、発音するべきモデル文章が提示される
（ステップＳ１０２）．つづいて、学習者２がこのモデ
ル文章を発音すると、マイクロフォン１０２および音声
入出力部１１２を介して、モデル文章に対応した音声情
報（文章音声情報）が取得される（ステップS１０
４）。
と（ステップＳ１００）、まず、表示装置１２０により
学習者２に対し、発音するべきモデル文章が提示される
（ステップＳ１０２）．つづいて、学習者２がこのモデ
ル文章を発音すると、マイクロフォン１０２および音声
入出力部１１２を介して、モデル文章に対応した音声情
報（文章音声情報）が取得される（ステップS１０
４）。
【００４２】つぎに、音声認識部１１４は、音声入出力
部１１２から出力される信号に基づいて、文章音声情報
を音韻ごとに対応する音声情報として認識する（ステッ
プS１０６）。
部１１２から出力される信号に基づいて、文章音声情報
を音韻ごとに対応する音声情報として認識する（ステッ
プS１０６）。
【００４３】演算処理部１１６は、音声認識部１１４で
音韻に分離された音声情報と、データ記憶部１１８に格
納されたモデル文章に対するモデル音韻情報との比較に
より、単語毎の音声情報を認識する（ステップＳ１０
８）。
音韻に分離された音声情報と、データ記憶部１１８に格
納されたモデル文章に対するモデル音韻情報との比較に
より、単語毎の音声情報を認識する（ステップＳ１０
８）。
【００４４】つづいて、演算処理部１１６は、文章音声
情報について単語毎に、データ記憶部１１８に格納され
たモデル文章に対するモデル音韻情報を参照すること
で、単語毎の発音の評価点を求め、表示装置１２０に対
して出力する（ステップＳ１０８）。なお、このとき、
各単語に含まれる音韻毎の評価点を併せて出力してもよ
い。
情報について単語毎に、データ記憶部１１８に格納され
たモデル文章に対するモデル音韻情報を参照すること
で、単語毎の発音の評価点を求め、表示装置１２０に対
して出力する（ステップＳ１０８）。なお、このとき、
各単語に含まれる音韻毎の評価点を併せて出力してもよ
い。
【００４５】つづいて、学習者２は、上記単語毎または
音韻毎の評価点に基づいて、自分の不得手な単語毎、ま
たは音韻毎に発音練習を行う（ステップＳ１１２）。
音韻毎の評価点に基づいて、自分の不得手な単語毎、ま
たは音韻毎に発音練習を行う（ステップＳ１１２）。
【００４６】発音練習が終了したと判断すると、学習者
２によりパーソナルコンピュータ１１０の入力装置（キ
ーボードまたは音声入力装置）を介して、モデル文章の
発音を再度試みるか否かの指示が与えられる（ステップ
Ｓ１１４）。再度試みることが指示されると、処理はス
テップS１０４に復帰し、再度試みることが指示されな
いと、処理は次のステップＳ１１６に移行する。
２によりパーソナルコンピュータ１１０の入力装置（キ
ーボードまたは音声入力装置）を介して、モデル文章の
発音を再度試みるか否かの指示が与えられる（ステップ
Ｓ１１４）。再度試みることが指示されると、処理はス
テップS１０４に復帰し、再度試みることが指示されな
いと、処理は次のステップＳ１１６に移行する。
【００４７】次に、学習者２によりパーソナルコンピュ
ータ１１０の入力装置を介して、他のモデル文章につい
ての発音練習を試みるか否かの指示が与えられる（ステ
ップＳ１１６）。試みることが指示されると、処理はス
テップS１０２に復帰し、試みることが指示されない
と、処理は終了する（ステップＳ１２０）。
ータ１１０の入力装置を介して、他のモデル文章につい
ての発音練習を試みるか否かの指示が与えられる（ステ
ップＳ１１６）。試みることが指示されると、処理はス
テップS１０２に復帰し、試みることが指示されない
と、処理は終了する（ステップＳ１２０）。
【００４８】［単語毎の評価点を求める方法］以下で
は、単語毎の発音の評価点を求める方法について、さら
に詳しく説明する。
は、単語毎の発音の評価点を求める方法について、さら
に詳しく説明する。
【００４９】図４は、音声認識部１１４の動作を説明す
るための概念図である。学習者２の発した音声波形は、
データ記憶部１１８に一時的に格納することで録音され
る。音声認識部１１４は、録音した音声波形を、図４に
示すように、Ａ区間、Ｂ区間、Ｃ区間等の一定の長さの
区間毎に区切り、区間毎に音韻としての尤度（確からし
さ：likelihood）を求める。この区間毎の尤度は、予め
設定した全ての音韻、たとえば、英語としての発音に出
現し得る可能性のある全ての音韻についてそれぞれ求め
られる。言換えると、一つの区間から、英語の音韻の全
てに対する尤度が求められることになる。
るための概念図である。学習者２の発した音声波形は、
データ記憶部１１８に一時的に格納することで録音され
る。音声認識部１１４は、録音した音声波形を、図４に
示すように、Ａ区間、Ｂ区間、Ｃ区間等の一定の長さの
区間毎に区切り、区間毎に音韻としての尤度（確からし
さ：likelihood）を求める。この区間毎の尤度は、予め
設定した全ての音韻、たとえば、英語としての発音に出
現し得る可能性のある全ての音韻についてそれぞれ求め
られる。言換えると、一つの区間から、英語の音韻の全
てに対する尤度が求められることになる。
【００５０】つまり、音声認識部１１４は、予め複数の
話者の音声サンプルから作成された各音韻の音響的特徴
ベクトルの集合体であるモデルと、録音した音声の特定
の区間の音響的特徴ベクトルの集合とを照合し、すでに
周知の最尤推定法を用いて、各区間毎に尤度を求める。
話者の音声サンプルから作成された各音韻の音響的特徴
ベクトルの集合体であるモデルと、録音した音声の特定
の区間の音響的特徴ベクトルの集合とを照合し、すでに
周知の最尤推定法を用いて、各区間毎に尤度を求める。
【００５１】このような最尤推定法は、たとえば、文献
「Probability, Random Variables,and Stochastic Pro
cesses(Third Edition)", Ed.Athanasios Papoulis,McG
raw-Hill.Inc. NewYork, Tokyo(1991)に開示されてい
る。
「Probability, Random Variables,and Stochastic Pro
cesses(Third Edition)", Ed.Athanasios Papoulis,McG
raw-Hill.Inc. NewYork, Tokyo(1991)に開示されてい
る。
【００５２】すなわち、図５に示すような英語中に出現
し得る各音韻（縦軸）と各区間（横軸）についての尤度
の分布を示す尤度分布平面上において、最適の音韻の経
路を選択し、音声認識の結果とする。
し得る各音韻（縦軸）と各区間（横軸）についての尤度
の分布を示す尤度分布平面上において、最適の音韻の経
路を選択し、音声認識の結果とする。
【００５３】最適（最も尤度の高い）音韻クラスが時間
経過に従って移行することにより、次の音韻に移行した
ことが判定され、音韻の境界が認識される。
経過に従って移行することにより、次の音韻に移行した
ことが判定され、音韻の境界が認識される。
【００５４】図５中においては、間違いやすい音素列の
候補中で、このような最適音韻が時間経過とともにたど
る経路を太線で示している。
候補中で、このような最適音韻が時間経過とともにたど
る経路を太線で示している。
【００５５】図６は、以上のようにしてもとめられた録
音した音声の各区間ごとの音韻音声情報に基づき、演算
処理部１１６が、録音した音声の各音韻に対応する尤度
および単語に対応する尤度を求める手続きを示す概念図
である。
音した音声の各区間ごとの音韻音声情報に基づき、演算
処理部１１６が、録音した音声の各音韻に対応する尤度
および単語に対応する尤度を求める手続きを示す概念図
である。
【００５６】すなわち、まず、演算処理部１１６は、録
音した音声から認識した音韻についての尤度の区間平均
をとることで、それぞれの音韻に対する尤度を求める。
音した音声から認識した音韻についての尤度の区間平均
をとることで、それぞれの音韻に対する尤度を求める。
【００５７】さらに、演算処理部１１６は、録音した音
声波形から各単語において図５に示した間違いやすい候
補のパスに従った各音韻尤度に基づいて、これらの各単
語ごとの音韻尤度の総和または平均として、各単語毎の
単語尤度を求める。
声波形から各単語において図５に示した間違いやすい候
補のパスに従った各音韻尤度に基づいて、これらの各単
語ごとの音韻尤度の総和または平均として、各単語毎の
単語尤度を求める。
【００５８】すなわち、演算処理部１１６は、予め与え
られた内容記述情報、たとえば、"Ihave a red pen"と
いうモデル文章であれば、/ai : h ae v : a : r e d :
p en/というこのモデル文章に対する音声表記情報と単
語境界に対する情報（音声表記情報中の“：”の位置に
関する情報）とに基づき、上記の間違いやすい候補のパ
スにそって、各単語ごとに含まれる音韻についての尤度
（以下、「音韻尤度」と呼ぶ）の総和または平均とし
て、各単語についての尤度（以下、「単語尤度」と呼
ぶ）を求める。以下では、モデル文章についての音韻の
配列についての情報および単語境界についての情報とを
総称して、「モデル音韻配列情報」と呼ぶことにする。
られた内容記述情報、たとえば、"Ihave a red pen"と
いうモデル文章であれば、/ai : h ae v : a : r e d :
p en/というこのモデル文章に対する音声表記情報と単
語境界に対する情報（音声表記情報中の“：”の位置に
関する情報）とに基づき、上記の間違いやすい候補のパ
スにそって、各単語ごとに含まれる音韻についての尤度
（以下、「音韻尤度」と呼ぶ）の総和または平均とし
て、各単語についての尤度（以下、「単語尤度」と呼
ぶ）を求める。以下では、モデル文章についての音韻の
配列についての情報および単語境界についての情報とを
総称して、「モデル音韻配列情報」と呼ぶことにする。
【００５９】図７は、図５に示した尤度分布平面上にお
いて、モデル文章どおりに発音がされた場合の音韻の時
間変化の経路と発音評価のための尤度を求める手順とを
説明するための図である。
いて、モデル文章どおりに発音がされた場合の音韻の時
間変化の経路と発音評価のための尤度を求める手順とを
説明するための図である。
【００６０】すなわち、図７を参照して、演算処理部１
１６は、図５および図６において説明した手順と同様に
して、予め与えられた内容記述情報に基づき、内容記述
情報どおりの音韻配列で発音したとした場合のこの音韻
配列に対応するパスにそって、各単語ごとに含まれる音
韻に対する音韻尤度の総和または平均として、各単語に
ついての単語尤度を求める。
１６は、図５および図６において説明した手順と同様に
して、予め与えられた内容記述情報に基づき、内容記述
情報どおりの音韻配列で発音したとした場合のこの音韻
配列に対応するパスにそって、各単語ごとに含まれる音
韻に対する音韻尤度の総和または平均として、各単語に
ついての単語尤度を求める。
【００６１】演算処理部１１６は、以上のようにして求
められた、内容記述情報どおりの音韻配列（モデル音韻
配列情報どおりの音韻配列）で発音したとした場合のパ
スに沿って求めた各単語尤度と、録音した音声波形から
各単語において間違いやすい候補のパスに沿って求めた
各単語尤度とを照合することで、その相対的な関係から
評価点を求める。
められた、内容記述情報どおりの音韻配列（モデル音韻
配列情報どおりの音韻配列）で発音したとした場合のパ
スに沿って求めた各単語尤度と、録音した音声波形から
各単語において間違いやすい候補のパスに沿って求めた
各単語尤度とを照合することで、その相対的な関係から
評価点を求める。
【００６２】特に限定はされないが、たとえば、内容記
述情報どおりの音韻配列で発音したとした場合のパスに
沿って求めた各単語尤度を「理想経路単語尤度」と呼
び、録音した音声波形から各単語において最適パスに沿
って求めた各音韻尤度の合計を「間違候補経路単語尤
度」と呼ぶこととすると、単語毎の評価点は以下のよう
にして求めることが可能である。（単語評価点）＝（理
想経路単語尤度）／（理想経路単語尤度＋間違候補経路
単語尤度）×１００このような一連の手続きにより、学
習者が発音した文章につき、各単語毎の評価点を求め、
単語毎に評価点を表示することができる。
述情報どおりの音韻配列で発音したとした場合のパスに
沿って求めた各単語尤度を「理想経路単語尤度」と呼
び、録音した音声波形から各単語において最適パスに沿
って求めた各音韻尤度の合計を「間違候補経路単語尤
度」と呼ぶこととすると、単語毎の評価点は以下のよう
にして求めることが可能である。（単語評価点）＝（理
想経路単語尤度）／（理想経路単語尤度＋間違候補経路
単語尤度）×１００このような一連の手続きにより、学
習者が発音した文章につき、各単語毎の評価点を求め、
単語毎に評価点を表示することができる。
【００６３】また、これも特に限定はされないが、たと
えば、内容記述情報どおりの音韻配列で発音したとした
場合のパスに沿って求めた各音韻尤度を「理想経路音韻
尤度」と呼び、録音した音声波形から間違いやすい候補
のパスに沿って求めた各音韻尤度の合計を「間違候補経
路音韻尤度」と呼ぶこととすると、音韻毎の評価点も以
下のようにして求めることも可能である。 （音韻評価点）＝（理想経路音韻尤度）／（理想経路音
韻尤度＋間違候補経路音韻尤度）×１００ したがって、学習者が発音した文章につき、各単語毎の
評価点に加えて、単語毎に含まれる各音韻についての評
価点を表示することができる。
えば、内容記述情報どおりの音韻配列で発音したとした
場合のパスに沿って求めた各音韻尤度を「理想経路音韻
尤度」と呼び、録音した音声波形から間違いやすい候補
のパスに沿って求めた各音韻尤度の合計を「間違候補経
路音韻尤度」と呼ぶこととすると、音韻毎の評価点も以
下のようにして求めることも可能である。 （音韻評価点）＝（理想経路音韻尤度）／（理想経路音
韻尤度＋間違候補経路音韻尤度）×１００ したがって、学習者が発音した文章につき、各単語毎の
評価点に加えて、単語毎に含まれる各音韻についての評
価点を表示することができる。
【００６４】なお、以上の説明では、文章音声情報を一
度音韻情報にまで細分化したうえで、単語毎の音声情報
を得る構成として本願発明を説明したが、文章音声情報
を直接、単語毎の音声情報に分離する構成としてもよ
い。
度音韻情報にまで細分化したうえで、単語毎の音声情報
を得る構成として本願発明を説明したが、文章音声情報
を直接、単語毎の音声情報に分離する構成としてもよ
い。
【００６５】［実施の形態２］実施の形態１において
は、学習者の発声した外国の文章を認識して、単語ごと
あるいは音韻ごとにその評価点を表示することで、学習
効率を高める外国語学習装置の構成について説明した。
は、学習者の発声した外国の文章を認識して、単語ごと
あるいは音韻ごとにその評価点を表示することで、学習
効率を高める外国語学習装置の構成について説明した。
【００６６】実施の形態２においては、上述したような
単語ごと（あるいは音韻ごと）に示された評価点に基づ
いて、学習者が効率よく発音練習を行なうことが可能な
外国語学習装置および外国語学習方法の構成について説
明する。
単語ごと（あるいは音韻ごと）に示された評価点に基づ
いて、学習者が効率よく発音練習を行なうことが可能な
外国語学習装置および外国語学習方法の構成について説
明する。
【００６７】図８は、実施の形態２の外国語学習装置２
００の構成を説明するための概略ブロック図である。
００の構成を説明するための概略ブロック図である。
【００６８】外国語学習装置２００の構成は、基本的に
は、実施の形態１の外国語学習装置１００の構成と同様
である。
は、実施の形態１の外国語学習装置１００の構成と同様
である。
【００６９】すなわち、図８を参照して、外国語学習装
置２００は、学習者が発声した音声を取得するための音
声入力装置（たとえばマイクロフォン）１０２と、音声
入力装置１０２からの出力を受けて、学習者が発声した
文章に対する音声情報を処理して、この文章中に含まれ
る単語ごとに期待される発音に基づいた学習者の発音の
評価点を求めるためのＭＰＵ１１６と、ＭＰＵ１１６か
ら与えられる学習者が発音するべき文章を表示し、単語
ごとに求められた学習者の発音に対する評価点を、単語
ごとに表示するためのＣＲＴディスプレイ１２０と、学
習者からの外国語学習装置２００へのデータ入力を受け
るためのキーボードマウス１２２とを備える。
置２００は、学習者が発声した音声を取得するための音
声入力装置（たとえばマイクロフォン）１０２と、音声
入力装置１０２からの出力を受けて、学習者が発声した
文章に対する音声情報を処理して、この文章中に含まれ
る単語ごとに期待される発音に基づいた学習者の発音の
評価点を求めるためのＭＰＵ１１６と、ＭＰＵ１１６か
ら与えられる学習者が発音するべき文章を表示し、単語
ごとに求められた学習者の発音に対する評価点を、単語
ごとに表示するためのＣＲＴディスプレイ１２０と、学
習者からの外国語学習装置２００へのデータ入力を受け
るためのキーボードマウス１２２とを備える。
【００７０】外国語学習装置２００は、さらに、外国語
学習装置の動作全体を制御するための学習制御装置１０
１と、学習制御装置１０１により制御されて、音声入力
装置から与えられた文章情報についての音声認識処理を
行なうための音声認識部１１４と、学習制御装置１０１
に制御されて、外国語学習処理のために必要なデータを
記憶保持するためのデータ記憶部１１８とを備える。
学習装置の動作全体を制御するための学習制御装置１０
１と、学習制御装置１０１により制御されて、音声入力
装置から与えられた文章情報についての音声認識処理を
行なうための音声認識部１１４と、学習制御装置１０１
に制御されて、外国語学習処理のために必要なデータを
記憶保持するためのデータ記憶部１１８とを備える。
【００７１】音声認識部１１４は、音声入力装置１０２
から与えられた音声データを元に、音声スペクトル包絡
を抽出した上で、音声信号のセグメンテーションを行な
うための自動音声セグメント装置１４０．２と、単位言
語音の音韻識別のために、音声尤度を計算するための音
声尤度演算装置１４０．４と、音声尤度演算装置１４
０．４の演算結果に基づいて、文章中の音韻や単語を分
解抽出するための文章・単語・音韻分解装置１４０．１
と、文章単語音韻分解装置１４０．１の分解結果に基づ
いて、構文解析等に基づいて、文音声の認識処理を行な
うための音声認識装置１４０．３とを含む。
から与えられた音声データを元に、音声スペクトル包絡
を抽出した上で、音声信号のセグメンテーションを行な
うための自動音声セグメント装置１４０．２と、単位言
語音の音韻識別のために、音声尤度を計算するための音
声尤度演算装置１４０．４と、音声尤度演算装置１４
０．４の演算結果に基づいて、文章中の音韻や単語を分
解抽出するための文章・単語・音韻分解装置１４０．１
と、文章単語音韻分解装置１４０．１の分解結果に基づ
いて、構文解析等に基づいて、文音声の認識処理を行な
うための音声認識装置１４０．３とを含む。
【００７２】一方、データ記憶部１１８は、学習者に対
して提示するための文章データを保持する文章データベ
ース１１８．６と、この文章データを構成する単語につ
いての単語データベース１１８．５と、単語データベー
ス１１８．５に含まれる音韻に関するデータを保持する
音韻データベース１１８．４とを含む。
して提示するための文章データを保持する文章データベ
ース１１８．６と、この文章データを構成する単語につ
いての単語データベース１１８．５と、単語データベー
ス１１８．５に含まれる音韻に関するデータを保持する
音韻データベース１１８．４とを含む。
【００７３】データ記憶部１１８は、さらに、学習者の
学習履歴を保持するための学習者学習履歴データ保磁部
１１８．１と、文章データベース１１８．６中に保持さ
れるデータに対応したネイティブスピーカーの発音によ
る教師音声を保持するための教師音声ファイル１１８．
２と、当該教師音声ファイル中の音声に対して、音声認
識部１１４が算出する尤度データを保持するための教師
音声尤度データベース１１８．３とを含む。
学習履歴を保持するための学習者学習履歴データ保磁部
１１８．１と、文章データベース１１８．６中に保持さ
れるデータに対応したネイティブスピーカーの発音によ
る教師音声を保持するための教師音声ファイル１１８．
２と、当該教師音声ファイル中の音声に対して、音声認
識部１１４が算出する尤度データを保持するための教師
音声尤度データベース１１８．３とを含む。
【００７４】図９は、図８に示した外国語学習装置２０
０による外国語学習処理を説明するためのフローチャー
トである。
０による外国語学習処理を説明するためのフローチャー
トである。
【００７５】図９を参照して、まず、外国語学習装置２
００の処理が開始されると（ステップＳ２００）、学習
者に文章データベース１１８．６中に保持された文章デ
ータに基づいて、ＣＲＴディスプレイ１２０上にモデル
文章が提示される（ステップＳ２０２）。
００の処理が開始されると（ステップＳ２００）、学習
者に文章データベース１１８．６中に保持された文章デ
ータに基づいて、ＣＲＴディスプレイ１２０上にモデル
文章が提示される（ステップＳ２０２）。
【００７６】続いて、学習者が提示されたモデル文章に
応じて、発話を行なうと、この学習者の発話したモデル
文章に対応する音声情報が音声入力装置１０２を介して
取得される（ステップＳ２０４）。
応じて、発話を行なうと、この学習者の発話したモデル
文章に対応する音声情報が音声入力装置１０２を介して
取得される（ステップＳ２０４）。
【００７７】続いて、自動音声セグメント装置１４０．
２および文章、単語、音韻分解装置１４０．１の処理に
より、文章に対応する音声情報を音韻ごとに対応する音
声情報として認識する処理が行なわれる（ステップＳ２
０６）。
２および文章、単語、音韻分解装置１４０．１の処理に
より、文章に対応する音声情報を音韻ごとに対応する音
声情報として認識する処理が行なわれる（ステップＳ２
０６）。
【００７８】続いて、音声認識装置１４０．３におい
て、音韻データベース１１８．４中に保持されたデータ
に基づいて、取得した音韻に対する音声情報とモデル音
韻との比較により単語ごとの音声情報の認識が行なわれ
る（ステップＳ２０８）。
て、音韻データベース１１８．４中に保持されたデータ
に基づいて、取得した音韻に対する音声情報とモデル音
韻との比較により単語ごとの音声情報の認識が行なわれ
る（ステップＳ２０８）。
【００７９】さらに、このようにして認識された音声常
法について、音声尤度演算装置１４０．４において演算
された尤度情報と、教師音声尤度データベース１１８．
３中に保持されたデータとに基づいて、ＭＰＵ１１６が
単語ごとの評価点を算出し、その算出結果をＣＲＴディ
スプレイ１２０を介して、学習者に対して提示する（ス
テップＳ２１０）。
法について、音声尤度演算装置１４０．４において演算
された尤度情報と、教師音声尤度データベース１１８．
３中に保持されたデータとに基づいて、ＭＰＵ１１６が
単語ごとの評価点を算出し、その算出結果をＣＲＴディ
スプレイ１２０を介して、学習者に対して提示する（ス
テップＳ２１０）。
【００８０】これに応じて、学習者は、単語ごとあるい
は音韻ごとに発音練習を行なう（ステップＳ２１２）。
は音韻ごとに発音練習を行なう（ステップＳ２１２）。
【００８１】続いて、ＣＲＴディスプレイ１２０を介し
て、学習者に対して、他のモデル文章に対する練習を行
なうか否かが質問され、学習者がキーボード・マウス１
２２を介して、他のモデル文章の練習を行なうことを選
択した場合は、処理はステップＳ２０２に復帰し、練習
の終了を選択した場合は、処理が終了する（ステップＳ
２１６）。
て、学習者に対して、他のモデル文章に対する練習を行
なうか否かが質問され、学習者がキーボード・マウス１
２２を介して、他のモデル文章の練習を行なうことを選
択した場合は、処理はステップＳ２０２に復帰し、練習
の終了を選択した場合は、処理が終了する（ステップＳ
２１６）。
【００８２】図１０は、図９に示した処理のうち、単語
ごとの評価点の算出および表示を行なうステップＳ２１
０と、単語ごと・音韻ごとに発音練習を行なうステップ
Ｓ２１２における処理をより詳しく説明するためのフロ
ーチャートである。
ごとの評価点の算出および表示を行なうステップＳ２１
０と、単語ごと・音韻ごとに発音練習を行なうステップ
Ｓ２１２における処理をより詳しく説明するためのフロ
ーチャートである。
【００８３】すなわち、学習者に各単語のスコアが提示
されると（ステップＳ３０２）、学習者は、キーボード
・マウス１２２を介して、訓練する単語を選択する（ス
テップＳ３０４）。
されると（ステップＳ３０２）、学習者は、キーボード
・マウス１２２を介して、訓練する単語を選択する（ス
テップＳ３０４）。
【００８４】これに応じて、学習者が発音した単語発音
が録音され（ステップＳ３０６）、学習者に単語内の各
音韻のスコアが表示される（ステップＳ３０８）。
が録音され（ステップＳ３０６）、学習者に単語内の各
音韻のスコアが表示される（ステップＳ３０８）。
【００８５】続いて、音韻レベルのトレーニングを学習
者が行ない（ステップＳ３１０）、音韻レベル訓練をク
リアしたか否かの判断が行なわれ（ステップＳ３１
２）、音韻レベル訓練をクリアした場合は処理は次のス
テップＳ３１４に移行し、音韻レベル訓練をクリアした
と判断されない場合は、再び処理はステップＳ３１０に
復帰する。
者が行ない（ステップＳ３１０）、音韻レベル訓練をク
リアしたか否かの判断が行なわれ（ステップＳ３１
２）、音韻レベル訓練をクリアした場合は処理は次のス
テップＳ３１４に移行し、音韻レベル訓練をクリアした
と判断されない場合は、再び処理はステップＳ３１０に
復帰する。
【００８６】音韻レベル訓練をクリアした場合、続いて
単語レベルのトレーニングに処理が移行する（ステップ
Ｓ３１４）。
単語レベルのトレーニングに処理が移行する（ステップ
Ｓ３１４）。
【００８７】単語レベルのトレーニングが終了すると、
続いて、ＣＲＴディスプレイ１２０を介して、学習者に
対し別の単語の訓練を行なうか否かが質問され、キーボ
ード・マウス１２２から学習者により入力される情報に
基づいて、別の単語を訓練する場合は処理がステップＳ
３０４に復帰し、単語訓練を終了させる場合は、処理が
次のステップＳ３１８に移行する。
続いて、ＣＲＴディスプレイ１２０を介して、学習者に
対し別の単語の訓練を行なうか否かが質問され、キーボ
ード・マウス１２２から学習者により入力される情報に
基づいて、別の単語を訓練する場合は処理がステップＳ
３０４に復帰し、単語訓練を終了させる場合は、処理が
次のステップＳ３１８に移行する。
【００８８】単語レベルでの訓練が終了すると、続いて
文章レベルのトレーニングが行なわれる（ステップＳ３
１８）。
文章レベルのトレーニングが行なわれる（ステップＳ３
１８）。
【００８９】続いて、文章レベル訓練をクリアしたか否
かの判断が行なわれ（ステップＳ３２０）、文章レベル
の訓練をクリアしていない場合は、処理は再びステップ
Ｓ３０２に復帰する。
かの判断が行なわれ（ステップＳ３２０）、文章レベル
の訓練をクリアしていない場合は、処理は再びステップ
Ｓ３０２に復帰する。
【００９０】一方、文章レベルの訓練がクリアしたと判
断された場合は、処理が終了する（ステップＳ３２
２）。
断された場合は、処理が終了する（ステップＳ３２
２）。
【００９１】図１１は、図１０に示した音韻レベルのト
レーニング、単語レベルのトレーニングあるいは文章レ
ベルのトレーニングを行なう際の評価点の算出を行なう
にあたり、音声認識処理を行なうための隠れマルコフモ
デル（ＨＭＭ：Hidden Markov Model）に対する学習処
理を予め行なうための処理を説明するためのフローチャ
ートである。
レーニング、単語レベルのトレーニングあるいは文章レ
ベルのトレーニングを行なう際の評価点の算出を行なう
にあたり、音声認識処理を行なうための隠れマルコフモ
デル（ＨＭＭ：Hidden Markov Model）に対する学習処
理を予め行なうための処理を説明するためのフローチャ
ートである。
【００９２】図１１を参照して、学習処理が開始される
と（ステップＳ４００）、トレーニングを行なう語彙に
対応して隠れマルコフモデル（ＨＭＭ）が作成される
（ステップＳ４０２）。
と（ステップＳ４００）、トレーニングを行なう語彙に
対応して隠れマルコフモデル（ＨＭＭ）が作成される
（ステップＳ４０２）。
【００９３】続いて、学習者の発音に基づいて、まず明
瞭度の高い音声収集が行なわれる（ステップＳ４０
４）。
瞭度の高い音声収集が行なわれる（ステップＳ４０
４）。
【００９４】学習者の発声した音声に基づいてメウケブ
ストラム係数またはＬＰＣ(LinearPredictive Coding)
ケプストラム等を使用して、音声の特徴を数値データ
（特徴ベクトル）として求める（ステップＳ４０６）。
ストラム係数またはＬＰＣ(LinearPredictive Coding)
ケプストラム等を使用して、音声の特徴を数値データ
（特徴ベクトル）として求める（ステップＳ４０６）。
【００９５】このようにして求められた音声特徴ベクト
ルに基づいて、隠れマルコフモデルのＨＭＭ係数のトレ
ーニングが行なわれる（ステップＳ４０８）。
ルに基づいて、隠れマルコフモデルのＨＭＭ係数のトレ
ーニングが行なわれる（ステップＳ４０８）。
【００９６】以上のような学習のために必要なすべての
音声の処理を行なったかの判断が行われ（ステップＳ４
１０）、すべての音声に対する処理が行なわれていない
場合には、処理はステップＳ４０６に復帰し、すべての
音声に対するトレーニング処理が終わっている場合は、
処理が終了する（ステップＳ４１２）。
音声の処理を行なったかの判断が行われ（ステップＳ４
１０）、すべての音声に対する処理が行なわれていない
場合には、処理はステップＳ４０６に復帰し、すべての
音声に対するトレーニング処理が終わっている場合は、
処理が終了する（ステップＳ４１２）。
【００９７】図１２は、図１１のようにして予め学習処
理が行なわれた隠れマルコフモデルに基づいて、各単語
における音韻ごとの評価点を算出するためのフロー（図
１０のステップＳ３０８）の処理を説明するためのフロ
ーチャートである。
理が行なわれた隠れマルコフモデルに基づいて、各単語
における音韻ごとの評価点を算出するためのフロー（図
１０のステップＳ３０８）の処理を説明するためのフロ
ーチャートである。
【００９８】図１２を参照して、評価点算出処理が開始
されると（ステップＳ５００）、音声が入力され（ステ
ップＳ５０２）、サンプリングを行なう各フレームごと
に特徴ベクトルの算出が行なわれる（ステップＳ５０
４）。
されると（ステップＳ５００）、音声が入力され（ステ
ップＳ５０２）、サンプリングを行なう各フレームごと
に特徴ベクトルの算出が行なわれる（ステップＳ５０
４）。
【００９９】続いて、隠れマルコフモデルを使用して、
ビタビスコアリングを行なうことにより、最適な音韻の
変遷を導出するための当てはめ計算が行なわれる（ステ
ップＳ５０６）。
ビタビスコアリングを行なうことにより、最適な音韻の
変遷を導出するための当てはめ計算が行なわれる（ステ
ップＳ５０６）。
【０１００】続いて、可能性のあるすべての組合せにつ
いて音韻変遷の経路の計算が行なわれたかの判断が行な
われ（ステップＳ１０８）、すべての組合せが終了して
いない場合は、処理はステップＳ５０６に復帰し、すべ
ての処理が終了している場合は、次のステップＳ５１０
に移行する。
いて音韻変遷の経路の計算が行なわれたかの判断が行な
われ（ステップＳ１０８）、すべての組合せが終了して
いない場合は、処理はステップＳ５０６に復帰し、すべ
ての処理が終了している場合は、次のステップＳ５１０
に移行する。
【０１０１】続いて、隠れマルコフモデルによりセグメ
ントされた有効なフレームあたりのスコアの平均値が求
められる（ステップＳ５１０）。
ントされた有効なフレームあたりのスコアの平均値が求
められる（ステップＳ５１０）。
【０１０２】次に、評価点を算出するために、たとえば
音韻ごとに、以下の演算により評価点が計算される。
音韻ごとに、以下の演算により評価点が計算される。
【０１０３】（評価点）＝（正解を発音したとした場合
の当該音韻に対するスコア）／（すべての可能な（確率
が０でない）音韻についての組合せのスコアの総和）×
１００ 以上のようにして評価点を算出して処理が終了する（ス
テップＳ５１４）。
の当該音韻に対するスコア）／（すべての可能な（確率
が０でない）音韻についての組合せのスコアの総和）×
１００ 以上のようにして評価点を算出して処理が終了する（ス
テップＳ５１４）。
【０１０４】続いて、音韻ごとの練習を行なう場合に、
学習者に対して適切な情報を提示することで、学習効果
を上げるための提示される情報の例について説明する。
学習者に対して適切な情報を提示することで、学習効果
を上げるための提示される情報の例について説明する。
【０１０５】図１３および図１４は、このようにして提
示される情報の１つとして、［Ｌ］を発音する際に、声
道（声門から唇に至る音声の共鳴口）の形状を示す図で
ある。
示される情報の１つとして、［Ｌ］を発音する際に、声
道（声門から唇に至る音声の共鳴口）の形状を示す図で
ある。
【０１０６】一方、図１５および図１６は、［Ｒ］を発
音する際の共鳴口の形状を提示するためのコンピュータ
グラフィックス例である。
音する際の共鳴口の形状を提示するためのコンピュータ
グラフィックス例である。
【０１０７】すなわち上述したような声道の形状によ
り、各音韻の特徴を持った音声が生成される。しかしな
がら、この声道の形状や動きは通常学習者は見ることが
できない。
り、各音韻の特徴を持った音声が生成される。しかしな
がら、この声道の形状や動きは通常学習者は見ることが
できない。
【０１０８】特に、音韻特徴に大きく関係し、また学習
者が自ら運動を制御することのできる口腔内の器官（舌
や口蓋など）の形状や相対的位置関係、動きなどを、３
次元コンピュータグラフィックスを用いて頚部を透明に
するなどの処置を施すことで、わかりやすく可視化する
ことができる。このような可視化処理により、学習者に
各音韻を発声する場合の各器官の動かし方を知識として
伝えることができる。
者が自ら運動を制御することのできる口腔内の器官（舌
や口蓋など）の形状や相対的位置関係、動きなどを、３
次元コンピュータグラフィックスを用いて頚部を透明に
するなどの処置を施すことで、わかりやすく可視化する
ことができる。このような可視化処理により、学習者に
各音韻を発声する場合の各器官の動かし方を知識として
伝えることができる。
【０１０９】図１７は、音韻練習の際に、学習者に提示
される情報の他の例の共振周波数パターンの時間的変動
（声紋）を示す図である。
される情報の他の例の共振周波数パターンの時間的変動
（声紋）を示す図である。
【０１１０】図１７においては、教師音声と学習者音声
の声紋表示を対比させて行なう。学習者は、発音を繰返
しながら、声紋のパターンを教師音声に近づけていく。
の声紋表示を対比させて行なう。学習者は、発音を繰返
しながら、声紋のパターンを教師音声に近づけていく。
【０１１１】声紋表示とは、高速フーリエ変換（ＦＦ
Ｔ）を用いて音声の共振周波数パターンの時間的変動を
可視化したものである。
Ｔ）を用いて音声の共振周波数パターンの時間的変動を
可視化したものである。
【０１１２】母音や一部の子音（［ｒ］、［ｌ］、
［ｗ］、［ｙ］など）の声道の振動を伴った音韻では、
音声が周期性を持っており、スペクトルのピーク（フォ
ルマントと呼ぶ）に一定のパターンが見られる。各音韻
は、このフォルマントのパターンにより特徴づけられる
ことになる。そこで、これらの音の場合には、線形予測
法（ＬＰＣ）により、スペクトルのピークを推定し、そ
のピークを声紋の上に重ねて表示（図中黒丸）すること
により、音韻の特徴を明示的に示すことができる。
［ｗ］、［ｙ］など）の声道の振動を伴った音韻では、
音声が周期性を持っており、スペクトルのピーク（フォ
ルマントと呼ぶ）に一定のパターンが見られる。各音韻
は、このフォルマントのパターンにより特徴づけられる
ことになる。そこで、これらの音の場合には、線形予測
法（ＬＰＣ）により、スペクトルのピークを推定し、そ
のピークを声紋の上に重ねて表示（図中黒丸）すること
により、音韻の特徴を明示的に示すことができる。
【０１１３】図１８は、音韻練習時に、学習者に対して
示されるさらに他の情報としてフォルマントの位置を表
示する画面を示す図である。
示されるさらに他の情報としてフォルマントの位置を表
示する画面を示す図である。
【０１１４】図１８においては、フォルマントの位置を
リアルタイムで確認しながら、発音の矯正を行なう。母
音や一部の子音（［ｒ］、［ｌ］、［ｗ］、［ｙ］な
ど）では、上記の方法でフォルマントを計算し、実施時
間で画面上に表示する。
リアルタイムで確認しながら、発音の矯正を行なう。母
音や一部の子音（［ｒ］、［ｌ］、［ｗ］、［ｙ］な
ど）では、上記の方法でフォルマントを計算し、実施時
間で画面上に表示する。
【０１１５】その際に、音韻を決定づける上で重要であ
る、低い方から３つのフォルマント（第１、第２、第３
フォルマント）位置の相対関係を、３つのフォルマント
を２つずつ組合せて２次元的に表示している。図１８に
おいては、第２フォルマント（Ｆ２）を横軸に、第３フ
ォルマント（Ｆ３）を縦軸としている。Ｌ音は、Ｆ３＝
２８００Ｈｚ付近に分布しているのに対し、Ｒ音は、Ｆ
３＝１６００Ｈｚ付近に分布している。学習者の発音し
ている音のフォルマントが黒丸で示され、Ｆ２−Ｆ３平
面では、Ｒ音の領域にあることがわかる。
る、低い方から３つのフォルマント（第１、第２、第３
フォルマント）位置の相対関係を、３つのフォルマント
を２つずつ組合せて２次元的に表示している。図１８に
おいては、第２フォルマント（Ｆ２）を横軸に、第３フ
ォルマント（Ｆ３）を縦軸としている。Ｌ音は、Ｆ３＝
２８００Ｈｚ付近に分布しているのに対し、Ｒ音は、Ｆ
３＝１６００Ｈｚ付近に分布している。学習者の発音し
ている音のフォルマントが黒丸で示され、Ｆ２−Ｆ３平
面では、Ｒ音の領域にあることがわかる。
【０１１６】学習者は、自分の高音器官の形状とそれが
適切だったかどうかを実時間で確認しながら、音韻の発
音学習を進めることが可能となる。
適切だったかどうかを実時間で確認しながら、音韻の発
音学習を進めることが可能となる。
【０１１７】なお、以上の説明では、図１３〜図１８で
示される３つの表示画面をそれぞれ別々のものとして説
明したが、上記の表示画面を適宜組合せることで、より
効率的に発音練習を行なうことが可能である。
示される３つの表示画面をそれぞれ別々のものとして説
明したが、上記の表示画面を適宜組合せることで、より
効率的に発音練習を行なうことが可能である。
【０１１８】さらに、図１３から図１６の声道形状のモ
デル表示や、図１７の声紋表示、図１８のフォルマント
表示は、音韻ごとに表示されるものとしたが、単語とし
て音韻が連続的に発音される場合に、画面上に一連のも
のとして表示されていく構成とすることも可能である。
デル表示や、図１７の声紋表示、図１８のフォルマント
表示は、音韻ごとに表示されるものとしたが、単語とし
て音韻が連続的に発音される場合に、画面上に一連のも
のとして表示されていく構成とすることも可能である。
【０１１９】なお、以上の説明では、外国語学習装置と
しての構成を説明したが、本発明はこのような場合に限
定されることなく、以上説明したような外国語学習方法
を実行するためのソフトウェアを記録した記録媒体を用
いることで、音声入出力機能を備えたパーソナルコンピ
ュータ等によりこのソフトウェアを実行させることによ
り実現可能である。
しての構成を説明したが、本発明はこのような場合に限
定されることなく、以上説明したような外国語学習方法
を実行するためのソフトウェアを記録した記録媒体を用
いることで、音声入出力機能を備えたパーソナルコンピ
ュータ等によりこのソフトウェアを実行させることによ
り実現可能である。
【０１２０】さらに、以上説明したような外国語学習方
法を実行するためのソフトウェアは、記録媒体としてパ
ーソナルコンピュータ等にインストールされる場合だけ
でなく、インターネット等の電気通信回線を通じて、音
声入出力機能を備えたパーソナルコンピュータ等にこの
ソフトウェアをインストールすることによっても実現可
能である。
法を実行するためのソフトウェアは、記録媒体としてパ
ーソナルコンピュータ等にインストールされる場合だけ
でなく、インターネット等の電気通信回線を通じて、音
声入出力機能を備えたパーソナルコンピュータ等にこの
ソフトウェアをインストールすることによっても実現可
能である。
【０１２１】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【０１２２】
【発明の効果】以上説明したとおり、本願発明に係る外
国語学習装置または外国語学習方法によれば、学習者に
自分の発音した文章について、各単語毎に評価点が示さ
れるので、学習者の発音した外国語の文章に対する発音
の評価結果を学習者の外国語発音練習に対して効率的に
フィードバックすることが可能である。
国語学習装置または外国語学習方法によれば、学習者に
自分の発音した文章について、各単語毎に評価点が示さ
れるので、学習者の発音した外国語の文章に対する発音
の評価結果を学習者の外国語発音練習に対して効率的に
フィードバックすることが可能である。
【図１】 本発明に係る外国語学習装置１００の構成を
説明するための概略ブロック図である。
説明するための概略ブロック図である。
【図２】 モデル文章のうちの１つについての文章音声
情報の構成を説明するための概念図である。
情報の構成を説明するための概念図である。
【図３】 図１に示した外国語学習装置１００により実
現される外国語学習のフローを説明するためのフローチ
ャートである。
現される外国語学習のフローを説明するためのフローチ
ャートである。
【図４】 音声認識部１１４の動作を説明するための概
念図である。
念図である。
【図５】 各区間毎の尤度をもとに、録音された文章に
対する音声情報から音韻音声情報を抽出する方法を示す
概念図である。
対する音声情報から音韻音声情報を抽出する方法を示す
概念図である。
【図６】 演算処理部１１６が、録音した音声の各音韻
に対応する尤度および単語に対応する尤度を求める手続
きを示す概念図である。
に対応する尤度および単語に対応する尤度を求める手続
きを示す概念図である。
【図７】 モデル文章どおりに発音がされた場合の音韻
の時間変化の経路と発音評価のための尤度を求める手順
とを説明するための図である。
の時間変化の経路と発音評価のための尤度を求める手順
とを説明するための図である。
【図８】 実施の形態２の外国語学習装置２００の構成
を説明するための概略ブロック図である。
を説明するための概略ブロック図である。
【図９】 図８に示した外国語学習装置２００による外
国語学習処理を説明するためのフローチャートである。
国語学習処理を説明するためのフローチャートである。
【図１０】 単語ごとの評価点の算出および表示を行な
うステップと、単語ごと・音韻ごとに発音練習を行なう
ステップにおける処理をより詳しく説明するためのフロ
ーチャートである。
うステップと、単語ごと・音韻ごとに発音練習を行なう
ステップにおける処理をより詳しく説明するためのフロ
ーチャートである。
【図１１】 音声認識処理を行なうための隠れマルコフ
モデルに対する学習処理を予め行なうための処理を説明
するためのフローチャートである。
モデルに対する学習処理を予め行なうための処理を説明
するためのフローチャートである。
【図１２】 各単語における音韻ごとの評価点を算出す
るためのフローの処理を説明するためのフローチャート
である。
るためのフローの処理を説明するためのフローチャート
である。
【図１３】 ［Ｌ］を発音する際の声道の形状を示す第
１の図である。
１の図である。
【図１４】 ［Ｌ］を発音する際の声道の形状を示す第
２の図である。
２の図である。
【図１５】 ［Ｒ］を発音する際の声道の形状を示す第
１の図である。
１の図である。
【図１６】 ［Ｒ］を発音する際の声道の形状を示す第
２の図である。
２の図である。
【図１７】 音韻練習の際に、学習者に提示される情報
の他の例の共振周波数パターンの時間的変動を示す図で
ある。
の他の例の共振周波数パターンの時間的変動を示す図で
ある。
【図１８】 音韻練習時に、学習者に対して示されるさ
らに他の情報としてフォルマントの位置を表示する画面
を示す図である。
らに他の情報としてフォルマントの位置を表示する画面
を示す図である。
２ 学習者、１００ 外国語学習装置、１０２ マイク
ロフォン、１０４ スピーカ、１１０ マイクロコンピ
ュータ、１１２ 音声入出力部、１１４ 音声認識部、
１１６ 演算処理部、１１８ データ記憶部、１２０
表示装置。
ロフォン、１０４ スピーカ、１１０ マイクロコンピ
ュータ、１１２ 音声入出力部、１１４ 音声認識部、
１１６ 演算処理部、１１８ データ記憶部、１２０
表示装置。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ
Ｇ１０Ｌ 15/22 Ｇ１０Ｌ 3/00 ５６１Ｃ
(72)発明者 コンスタンティン マルコフ
京都府相楽郡精華町大字乾谷小字三平谷
５番地 株式会社国際電気通信基礎技術
研究所内
(72)発明者 片桐 滋
京都府相楽郡精華町大字乾谷小字三平谷
５番地 株式会社エイ・ティ・アール人
間情報通信研究所内
(72)発明者 エリック マクダモト
京都府相楽郡精華町大字乾谷小字三平谷
５番地 株式会社エイ・ティ・アール人
間情報通信研究所内
(56)参考文献 特開 平11−143346（ＪＰ，Ａ)
特開 平６−110494（ＪＰ，Ａ)
特開 平11−202889（ＪＰ，Ａ)
特開 平５−165494（ＪＰ，Ａ)
特開 平９−259226（ＪＰ，Ａ)
特開 平１−156800（ＪＰ，Ａ)
特開2001−159865（ＪＰ，Ａ)
特開 平３−226785（ＪＰ，Ａ)
実開 平１−173768（ＪＰ，Ｕ)
特表 平11−513144（ＪＰ，Ａ)
米国特許5487671（ＵＳ，Ａ)
特許2757356（ＪＰ，Ｂ２)
特許3099845（ＪＰ，Ｂ２)
Ｃ．− Ｈ． Ｊｏ ｅｔ ａｌ，Ｊ
ａｐａｎｅｓｅ Ｐｒｏｎｕｃｉａｔｉ
ｏｎ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｙｓ
ｔｅｍ Ｕｓｉｎｇ Ｓｐｅｅｃｈ Ｒ
ｅｃｏｇｎｉｔｉｏｎ Ｍｅｔｈｏｄ
ｓ，ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏ
ｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ
ａｎｄ Ｓｙｓｔｅｍｓ，日本，2000年
11月25日，Ｖｏｌ．Ｅ83−Ｄ， Ｎｏ.
11，Ｐａｇｅｓ 1960−1968
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 15/00 - 15/28
G09B 7/02
G09B 19/00
G09B 19/06
Claims (18)
- 【請求項１】 外国語学習装置であって、 学習者が発音するべきモデル文章と対応するモデル音韻
情報および対応するモデル音韻配列情報とを保持する記
憶手段と、 前記学習者の発音した文章に対応する文章音声情報を受
けて、前記文章に含まれる単語毎の単語音声情報に分離
する単語分離手段とを備え、 前記単語分離手段は、 前記文章音声情報を音韻情報毎に認識する音韻認識手段
と、 分離された前記音韻情報と前記モデル音韻配列情報とに
基づいて、前記単語毎の単語音声情報を認識する単語音
声認識手段とを含み、 前記音韻認識手段は、前記外国語に含まれ得る音韻のそ
れぞれに対する、前記文章音声情報中の各音韻情報の尤
度を判定する音韻尤度決定手段を有し、 前記単語音声情報ごとにモデル音声との一致の程度を評
価する尤度判定手段をさらに備え、 前記尤度判定手段は、前記モデル音韻情報に基づいて、
前記モデル文章に対応した間違いやすい音素列の候補に
対する尤度分布平面上において、前記モデル音韻配列情
報どおりの音韻配列で発音したとした場合の経路に沿っ
て求めた各単語尤度と、前記尤度分布平面上において学
習者の発音した音声波形から最も尤度の高い前記候補の
経路に沿って求めた各単語尤度とを照合することで、前
記単語毎の一致の程度を評価し、 前記尤度判定手段の判定結果を前記単語毎に表示する表
示手段をさらに備える、外国語学習装置。 - 【請求項２】 予め前記学習者に前記モデル文章を提示
するための出力手段をさらに備える、請求項１記載の外
国語学習装置。 - 【請求項３】 外国語学習方法であって、 学習者の発音した文章に対応する文章音声情報を受け
て、前記文章に含まれる単語毎の単語音声情報に分離す
るステップを備え、 前記単語音声情報に分離するステップは、 前記文章音声情報を音韻情報毎に認識するステップと、 前記学習者に提示されたモデル文章に対応するモデル音
韻配列情報と分離された前記音韻情報とに基づいて、前
記単語毎の単語音声情報を認識するステップとを含み、 前記音韻情報毎に認識するステップは、前記外国語に含
まれ得る音韻のそれぞれに対する、前記文章音声情報中
の各音韻情報の尤度を判定するステップを有し、前記モデル文章に対応した間違いやすい音素列の候補に
対する 尤度分布平面上において、前記モデル音韻配列情
報どおりの音韻配列で発音したとした場合の経路に沿っ
て求めた各単語尤度と、前記尤度分布平面上において学
習者の発音した音声波形から最も尤度の高い前記候補の
経路に沿って求めた各単語尤度とを照合することで、前
記単語毎の一致の程度を評価するステップと、 前記単語音声情報ごとの評価結果を前記単語毎に表示す
るステップとをさらに備える、外国語学習方法。 - 【請求項４】 予め前記学習者にモデル文章を提示する
ステップをさらに備える、請求項３記載の外国語学習方
法。 - 【請求項５】 前記学習者が発する前記モデル文章中の
前記音韻毎および前記単語ごとに発音練習結果を評価す
るステップをさらに備える、請求項４記載の外国語学習
方法。 - 【請求項６】 前記発音練習結果を評価するステップ
は、 前記学習者に対して、前記表示装置を介して、前記音韻
毎に声道形状モデルを表示するステップを含む、請求項
５記載の外国語学習方法。 - 【請求項７】 前記発音練習結果を評価するステップ
は、 前記学習者に対して、前記表示装置を介して、モデル声
紋と学習者の発音に対する声紋とを対比表示するステッ
プを含む、請求項５記載の外国語学習方法。 - 【請求項８】 前記発音練習結果を評価するステップ
は、 前記学習者に対して、前記表示装置を介して、学習者の
発音のフォルマント平面上の位置を表示するステップを
含む、請求項５記載の外国語学習方法。 - 【請求項９】 外国語学習装置であって、 学習者が発音するべきモデル文章と対応するモデル音韻
情報および対応するモデル音韻配列情報とを保持する記
憶手段と、 予め前記学習者に前記モデル文章を提示するための出力
手段と、 前記学習者の発音した文章に対応する文章音声情報を受
けて、前記文章に含まれる単語毎の単語音声情報に分離
する単語分離手段と、 前記単語音声情報ごとにモデル音声との一致の程度を評
価する尤度判定手段と、 前記尤度判定手段の判定結果を音韻毎および前記単語毎
に表示する表示手段とを備え、 前記単語分離手段は、 前記文章音声情報を音韻情報毎に認識する音韻認識手段
と、 分離された前記音韻情報と前記モデル音韻配列情報とに
基づいて、前記単語毎の単語音声情報を認識する単語音
声認識手段とを含み、 前記音韻認識手段は、前記外国語に含まれ得る音韻のそ
れぞれに対する、前記文章音声情報中の各音韻情報の尤
度を判定する音韻尤度決定手段を有し、 前記尤度判定手段は、前記モデル音韻情報に基づいて、
前記モデル文章に対応した間違いやすい音素列の候補に
対する尤度分布平面上において、前記モデル音韻配列情
報どおりの音韻配列で発音したとした場合の経路に沿っ
て求めた各単語尤度と、前記尤度分布平面上において学
習者の発音した音声波形から最も尤度の高い前記候補の
経路に沿って求めた各単語尤度とを照合することで、前
記単語毎の一致の程度を評価し、 発音練習期間中において、前記学習者が発する前記モデ
ル文章中の前記音韻毎および前記単語ごとに発音練習結
果を評価する発音評価手段をさらに備える、外国語学習
装置。 - 【請求項１０】 前記発音評価手段は、 前記学習者に対して、前記表示装置を介して、前記音韻
毎に声道形状モデルを表示する、請求項８記載の外国語
学習装置。 - 【請求項１１】 前記発音評価手段は、 前記学習者に対して、前記表示装置を介して、モデル声
紋と学習者の発音に対する声紋とを対比表示する、請求
項９記載の外国語学習装置。 - 【請求項１２】 前記発音評価手段は、 前記学習者に対して、前記表示装置を介して、学習者の
発音のフォルマント平面上の位置を表示する、請求項９
記載の外国語学習装置。 - 【請求項１３】 学習者の発音した文章に対応する文章
音声情報を受けて、前記文章に含まれる単語毎の単語音
声情報に分離するステップを備え、 前記単語音声情報に分離するステップは、 前記文章音声情報を音韻情報毎に認識するステップと、 前記学習者に提示されたモデル文章に対応するモデル音
韻配列情報と分離された前記音韻情報とに基づいて、前
記単語毎の単語音声情報を認識するステップとを含み、 前記音韻情報毎に認識するステップは、前記外国語に含
まれ得る音韻のそれぞれに対する、前記文章音声情報中
の各音韻情報の尤度を判定するステップを有し、前記モデル文章に対応した間違いやすい音素列の候補に
対する 尤度分布平面上において、前記モデル音韻配列情
報どおりの音韻配列で発音したとした場合の経路に沿っ
て求めた各単語尤度と、前記尤度分布平面上において学
習者の発音した音声波形から最も尤度の高い前記候補の
経路に沿って求めた各単語尤度とを照合することで、前
記単語毎の一致の程度を評価して、前記単語音声情報ご
とにモデル音声との一致の程度を評価するステップと、 前記単語音声情報ごとの評価結果を前記単語毎に表示す
るステップとを有する外国語学習方法をコンピュータに
実行させるためのプログラムを記録したコンピュータ読
取り可能な媒体。 - 【請求項１４】 予め前記学習者にモデル文章を提示す
るステップをさらに備える、外国語学習方法をコンピュ
ータに実行させるためのプログラムを記録したコンピュ
ータ読取り可能な、請求項１３記載の媒体。 - 【請求項１５】 前記学習者が発する前記モデル文章中
の前記音韻毎および前記単語ごとに発音練習結果を評価
するステップをさらに備える、外国語学習方法をコンピ
ュータに実行させるためのプログラムを記録したコンピ
ュータ読取り可能な、請求項１６記載の媒体。 - 【請求項１６】 前記発音練習結果を評価するステップ
は、 前記学習者に対して、前記表示装置を介して、前記音韻
毎に声道形状モデルを表示するステップを含む、外国語
学習方法をコンピュータに実行させるためのプログラム
を記録したコンピュータ読取り可能な、請求項１５記載
の媒体。 - 【請求項１７】 前記発音練習結果を評価するステップ
は、 前記学習者に対して、前記表示装置を介して、モデル声
紋と学習者の発音に対する声紋とを対比表示するステッ
プを含む、外国語学習方法をコンピュータに実行させる
ためのプログラムを記録したコンピュータ読取り可能
な、請求項１５記載の媒体。 - 【請求項１８】 前記発音練習結果を評価するステップ
は、 前記学習者に対して、前記表示装置を介して、学習者の
発音のフォルマント平面上の位置を表示するステップを
含む、外国語学習方法をコンピュータに実行させるため
のプログラムを記録したコンピュータ読取り可能な、請
求項１５記載の媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000078578A JP3520022B2 (ja) | 2000-01-14 | 2000-03-21 | 外国語学習装置、外国語学習方法および媒体 |
| US09/936,365 US7401018B2 (en) | 2000-01-14 | 2000-12-11 | Foreign language learning apparatus, foreign language learning method, and medium |
| PCT/JP2000/008762 WO2001052237A1 (fr) | 2000-01-14 | 2000-12-11 | Appareil, methode et support d'apprentissage de langues etrangeres |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000006696 | 2000-01-14 | ||
| JP2000-6696 | 2000-01-14 | ||
| JP2000078578A JP3520022B2 (ja) | 2000-01-14 | 2000-03-21 | 外国語学習装置、外国語学習方法および媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001265211A JP2001265211A (ja) | 2001-09-28 |
| JP3520022B2 true JP3520022B2 (ja) | 2004-04-19 |
Family
ID=26583564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000078578A Expired - Fee Related JP3520022B2 (ja) | 2000-01-14 | 2000-03-21 | 外国語学習装置、外国語学習方法および媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7401018B2 (ja) |
| JP (1) | JP3520022B2 (ja) |
| WO (1) | WO2001052237A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140074636A (ko) * | 2012-12-10 | 2014-06-18 | 한국전자통신연구원 | 발음 평가 장치 |
Families Citing this family (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100355072B1 (ko) * | 2000-07-06 | 2002-10-05 | 한상종 | 멀티미디어 분할페이지 및 이를 이용한 언어학습방법과언어학습시스템 |
| US7752045B2 (en) * | 2002-10-07 | 2010-07-06 | Carnegie Mellon University | Systems and methods for comparing speech elements |
| WO2004049283A1 (en) * | 2002-11-27 | 2004-06-10 | Visual Pronunciation Software Limited | A method, system and software for teaching pronunciation |
| JP3814575B2 (ja) * | 2002-11-27 | 2006-08-30 | 研一郎 中野 | 語学学習コンピュータシステム |
| US20040176960A1 (en) * | 2002-12-31 | 2004-09-09 | Zeev Shpiro | Comprehensive spoken language learning system |
| DE10304229A1 (de) * | 2003-01-28 | 2004-08-05 | Deutsche Telekom Ag | Kommunikationssystem, Kommunikationsendeinrichtung und Vorrichtung zum Erkennen fehlerbehafteter Text-Nachrichten |
| JP2004246184A (ja) * | 2003-02-14 | 2004-09-02 | Eigyotatsu Kofun Yugenkoshi | 視覚化された発音の提案を備えた言語学習システム及び方法 |
| US20040166481A1 (en) * | 2003-02-26 | 2004-08-26 | Sayling Wen | Linear listening and followed-reading language learning system & method |
| KR100548604B1 (ko) * | 2003-05-06 | 2006-01-31 | 엘지전자 주식회사 | 어학 학습 기능을 갖는 영상표시기기 및 그 학습방법 |
| US7407384B2 (en) | 2003-05-29 | 2008-08-05 | Robert Bosch Gmbh | System, method and device for language education through a voice portal server |
| DE10360044B3 (de) * | 2003-12-18 | 2005-05-25 | T-Mobile Deutschland Gmbh | Verfahren zur Ermittlung der sprachlichen Fähigkeiten von Probanden |
| US20050181336A1 (en) * | 2004-02-17 | 2005-08-18 | Bakalian Kalust C. | System and method for learning letters and numbers of a foreign language |
| US20050197837A1 (en) * | 2004-03-08 | 2005-09-08 | Janne Suontausta | Enhanced multilingual speech recognition system |
| WO2005099414A2 (en) * | 2004-04-12 | 2005-10-27 | Burlingtonspeech Limited | Comprehensive spoken language learning system |
| US7640159B2 (en) * | 2004-07-22 | 2009-12-29 | Nuance Communications, Inc. | System and method of speech recognition for non-native speakers of a language |
| US20060053012A1 (en) * | 2004-09-03 | 2006-03-09 | Eayrs David J | Speech mapping system and method |
| JP2006084966A (ja) * | 2004-09-17 | 2006-03-30 | Advanced Telecommunication Research Institute International | 発話音声の自動評定装置およびコンピュータプログラム |
| JP2006184813A (ja) * | 2004-12-28 | 2006-07-13 | Advanced Telecommunication Research Institute International | 外国語学習装置 |
| US8478597B2 (en) * | 2005-01-11 | 2013-07-02 | Educational Testing Service | Method and system for assessing pronunciation difficulties of non-native speakers |
| JP4775788B2 (ja) * | 2005-01-20 | 2011-09-21 | 株式会社国際電気通信基礎技術研究所 | 発音評定装置、およびプログラム |
| JP5007401B2 (ja) * | 2005-01-20 | 2012-08-22 | 株式会社国際電気通信基礎技術研究所 | 発音評定装置、およびプログラム |
| JP4753412B2 (ja) * | 2005-01-20 | 2011-08-24 | 株式会社国際電気通信基礎技術研究所 | 発音評定装置、およびプログラム |
| JP4669989B2 (ja) * | 2005-01-28 | 2011-04-13 | 株式会社国際電気通信基礎技術研究所 | 言語学習装置 |
| JP4669988B2 (ja) * | 2005-01-28 | 2011-04-13 | 株式会社国際電気通信基礎技術研究所 | 言語学習装置 |
| US20080280269A1 (en) * | 2005-05-27 | 2008-11-13 | Minerva Yeung | A Homework Assignment and Assessment System for Spoken Language Education and Testing |
| US20070048697A1 (en) * | 2005-05-27 | 2007-03-01 | Du Ping Robert | Interactive language learning techniques |
| JP2006337667A (ja) * | 2005-06-01 | 2006-12-14 | Ntt Communications Kk | 発音評価方法、音素列モデル学習方法、これらの方法を用いた装置、プログラム、および記録媒体。 |
| JP2007017733A (ja) * | 2005-07-08 | 2007-01-25 | Sharp Corp | 入力装置、入力システム、入力方法、入力処理プログラム、および、プログラム記録媒体 |
| JP4811993B2 (ja) * | 2005-08-23 | 2011-11-09 | 株式会社国際電気通信基礎技術研究所 | 音声処理装置、およびプログラム |
| JP5120826B2 (ja) * | 2005-09-29 | 2013-01-16 | 独立行政法人産業技術総合研究所 | 発音診断装置、発音診断方法、記録媒体、及び、発音診断プログラム |
| JP5066668B2 (ja) * | 2005-11-08 | 2012-11-07 | 株式会社国際電気通信基礎技術研究所 | 音声認識装置、およびプログラム |
| US20070168187A1 (en) * | 2006-01-13 | 2007-07-19 | Samuel Fletcher | Real time voice analysis and method for providing speech therapy |
| JP4812010B2 (ja) * | 2006-05-16 | 2011-11-09 | 株式会社国際電気通信基礎技術研究所 | 音声処理装置、およびプログラム |
| JP4716125B2 (ja) * | 2006-08-04 | 2011-07-06 | 株式会社国際電気通信基礎技術研究所 | 発音評定装置、およびプログラム |
| JP4859125B2 (ja) * | 2007-02-07 | 2012-01-25 | 株式会社国際電気通信基礎技術研究所 | 発音評定装置、およびプログラム |
| TWI336880B (en) * | 2007-06-11 | 2011-02-01 | Univ Nat Taiwan | Voice processing methods and systems, and machine readable medium thereof |
| US20090007256A1 (en) * | 2007-06-28 | 2009-01-01 | Microsoft Corporation | Using a trusted entity to drive security decisions |
| US8103503B2 (en) * | 2007-11-01 | 2012-01-24 | Microsoft Corporation | Speech recognition for determining if a user has correctly read a target sentence string |
| JP2009128675A (ja) * | 2007-11-26 | 2009-06-11 | Toshiba Corp | 音声を認識する装置、方法およびプログラム |
| US8271281B2 (en) * | 2007-12-28 | 2012-09-18 | Nuance Communications, Inc. | Method for assessing pronunciation abilities |
| US9192773B2 (en) * | 2009-07-17 | 2015-11-24 | Peter Forsell | System for voice control of a medical implant |
| WO2011037587A1 (en) * | 2009-09-28 | 2011-03-31 | Nuance Communications, Inc. | Downsampling schemes in a hierarchical neural network structure for phoneme recognition |
| US8744856B1 (en) * | 2011-02-22 | 2014-06-03 | Carnegie Speech Company | Computer implemented system and method and computer program product for evaluating pronunciation of phonemes in a language |
| US9704413B2 (en) | 2011-03-25 | 2017-07-11 | Educational Testing Service | Non-scorable response filters for speech scoring systems |
| US8990082B2 (en) * | 2011-03-25 | 2015-03-24 | Educational Testing Service | Non-scorable response filters for speech scoring systems |
| US20130059276A1 (en) * | 2011-09-01 | 2013-03-07 | Speechfx, Inc. | Systems and methods for language learning |
| US8784108B2 (en) | 2011-11-21 | 2014-07-22 | Age Of Learning, Inc. | Computer-based language immersion teaching for young learners |
| US9058751B2 (en) * | 2011-11-21 | 2015-06-16 | Age Of Learning, Inc. | Language phoneme practice engine |
| US8740620B2 (en) | 2011-11-21 | 2014-06-03 | Age Of Learning, Inc. | Language teaching system that facilitates mentor involvement |
| US9679496B2 (en) | 2011-12-01 | 2017-06-13 | Arkady Zilberman | Reverse language resonance systems and methods for foreign language acquisition |
| US20140272820A1 (en) * | 2013-03-15 | 2014-09-18 | Media Mouth Inc. | Language learning environment |
| KR20150001189A (ko) * | 2013-06-26 | 2015-01-06 | 한국전자통신연구원 | 음성인식을 이용한 외국어 말하기 능력의 훈련 및 평가 방법과 그 장치 |
| US8825492B1 (en) * | 2013-10-28 | 2014-09-02 | Yousef A. E. S. M. Buhadi | Language-based video game |
| US9984585B2 (en) * | 2013-12-24 | 2018-05-29 | Varun Aggarwal | Method and system for constructed response grading |
| US9613638B2 (en) * | 2014-02-28 | 2017-04-04 | Educational Testing Service | Computer-implemented systems and methods for determining an intelligibility score for speech |
| EP2924676A1 (en) * | 2014-03-25 | 2015-09-30 | Oticon A/s | Hearing-based adaptive training systems |
| JP2016045420A (ja) * | 2014-08-25 | 2016-04-04 | カシオ計算機株式会社 | 発音学習支援装置およびプログラム |
| US10546582B2 (en) * | 2014-12-26 | 2020-01-28 | Sony Corporation | Information processing device, method of information processing, and program |
| CN111279404B (zh) | 2017-10-05 | 2022-04-05 | 弗伦特永久公司 | 语言流利系统 |
| JP7135358B2 (ja) * | 2018-03-22 | 2022-09-13 | カシオ計算機株式会社 | 発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム |
| CN112262430A (zh) | 2018-08-23 | 2021-01-22 | 谷歌有限责任公司 | 自动确定经由自动助理界面接收到的口头话语的语音识别的语言 |
| US10930274B2 (en) * | 2018-11-30 | 2021-02-23 | International Business Machines Corporation | Personalized pronunciation hints based on user speech |
| CN111640452A (zh) * | 2019-03-01 | 2020-09-08 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
| US11410642B2 (en) * | 2019-08-16 | 2022-08-09 | Soundhound, Inc. | Method and system using phoneme embedding |
| WO2021152786A1 (ja) * | 2020-01-30 | 2021-08-05 | 日本電信電話株式会社 | 訓練装置、その方法、およびプログラム |
| KR102591045B1 (ko) * | 2022-01-10 | 2023-10-19 | (주)프로젝트레인보우 | 발음 교정 시스템 및 이의 수행 방법 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60163078A (ja) * | 1984-02-03 | 1985-08-24 | 工業技術院長 | 発話訓練装置 |
| JP2757356B2 (ja) | 1986-12-12 | 1998-05-25 | 株式会社日立製作所 | 単語音声認識方法および装置 |
| JPS6433831A (en) | 1987-07-28 | 1989-02-03 | Mitsubishi Electric Corp | Picture tube |
| JP2790808B2 (ja) | 1987-12-15 | 1998-08-27 | 株式会社リコー | 音声認識装置 |
| JP2651172B2 (ja) | 1987-12-28 | 1997-09-10 | 東陶機器株式会社 | アクチュエータ |
| JP2834471B2 (ja) | 1989-04-17 | 1998-12-09 | 日本電信電話株式会社 | 発音評価法 |
| JPH03226785A (ja) | 1990-01-31 | 1991-10-07 | Oki Techno Syst Lab:Kk | 音声認識装置付き語学用教育装置 |
| JPH05165494A (ja) | 1991-12-13 | 1993-07-02 | Osaka Gas Co Ltd | 音声認識装置 |
| JP3099845B2 (ja) | 1992-05-07 | 2000-10-16 | 日本電信電話株式会社 | パターン認識後処理方式 |
| JPH06110494A (ja) | 1992-09-08 | 1994-04-22 | Osaka Gas Co Ltd | 発音学習装置 |
| US5487671A (en) * | 1993-01-21 | 1996-01-30 | Dsp Solutions (International) | Computerized system for teaching speech |
| EP0692135B1 (en) | 1993-03-12 | 2000-08-16 | Sri International | Method and apparatus for voice-interactive language instruction |
| US6006175A (en) * | 1996-02-06 | 1999-12-21 | The Regents Of The University Of California | Methods and apparatus for non-acoustic speech characterization and recognition |
| JP2983897B2 (ja) | 1996-03-19 | 1999-11-29 | 三洋電機株式会社 | 認識結果の評価方法および認識装置 |
| US6029131A (en) * | 1996-06-28 | 2000-02-22 | Digital Equipment Corporation | Post processing timing of rhythm in synthetic speech |
| US5766015A (en) | 1996-07-11 | 1998-06-16 | Digispeech (Israel) Ltd. | Apparatus for interactive language training |
| WO1998014934A1 (en) * | 1996-10-02 | 1998-04-09 | Sri International | Method and system for automatic text-independent grading of pronunciation for language instruction |
| US6064957A (en) * | 1997-08-15 | 2000-05-16 | General Electric Company | Improving speech recognition through text-based linguistic post-processing |
| JPH11143346A (ja) | 1997-11-05 | 1999-05-28 | Seiko Epson Corp | 語学練習用発話評価方法およびその装置並びに発話評価処理プログラムを記憶した記憶媒体 |
| JP4267101B2 (ja) | 1997-11-17 | 2009-05-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音声識別装置、発音矯正装置およびこれらの方法 |
| US6085160A (en) * | 1998-07-10 | 2000-07-04 | Lernout & Hauspie Speech Products N.V. | Language independent speech recognition |
| US6224383B1 (en) * | 1999-03-25 | 2001-05-01 | Planetlingo, Inc. | Method and system for computer assisted natural language instruction with distracters |
| JP3669869B2 (ja) * | 1999-06-28 | 2005-07-13 | 株式会社サン・フレア | 最適テンプレートパターンを用いた評価方法、評価装置および記録媒体 |
| US6505152B1 (en) * | 1999-09-03 | 2003-01-07 | Microsoft Corporation | Method and apparatus for using formant models in speech systems |
| US7149690B2 (en) | 1999-09-09 | 2006-12-12 | Lucent Technologies Inc. | Method and apparatus for interactive language instruction |
| EP1139318A4 (en) * | 1999-09-27 | 2002-11-20 | Kojima Co Ltd | PRONUNCIATION EVALUATION SYSTEM |
| JP3717730B2 (ja) * | 1999-11-02 | 2005-11-16 | セイコーインスツル株式会社 | 電子辞書 |
| US6438524B1 (en) * | 1999-11-23 | 2002-08-20 | Qualcomm, Incorporated | Method and apparatus for a voice controlled foreign language translation device |
-
2000
- 2000-03-21 JP JP2000078578A patent/JP3520022B2/ja not_active Expired - Fee Related
- 2000-12-11 WO PCT/JP2000/008762 patent/WO2001052237A1/ja active Application Filing
- 2000-12-11 US US09/936,365 patent/US7401018B2/en not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| Ｃ．− Ｈ． Ｊｏ ｅｔ ａｌ，Ｊａｐａｎｅｓｅ Ｐｒｏｎｕｃｉａｔｉｏｎ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｙｓｔｅｍ Ｕｓｉｎｇ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｅｔｈｏｄｓ，ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍｓ，日本，２０００年１１月２５日，Ｖｏｌ．Ｅ８３−Ｄ， Ｎｏ．１１，Ｐａｇｅｓ １９６０−１９６８ |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140074636A (ko) * | 2012-12-10 | 2014-06-18 | 한국전자통신연구원 | 발음 평가 장치 |
| KR101697650B1 (ko) * | 2012-12-10 | 2017-01-18 | 한국전자통신연구원 | 발음 평가 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020160341A1 (en) | 2002-10-31 |
| US7401018B2 (en) | 2008-07-15 |
| WO2001052237A1 (fr) | 2001-07-19 |
| JP2001265211A (ja) | 2001-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3520022B2 (ja) | 外国語学習装置、外国語学習方法および媒体 | |
| USRE37684E1 (en) | Computerized system for teaching speech | |
| Gruhn et al. | Statistical pronunciation modeling for non-native speech processing | |
| US6134529A (en) | Speech recognition apparatus and method for learning | |
| JP5120826B2 (ja) | 発音診断装置、発音診断方法、記録媒体、及び、発音診断プログラム | |
| US20070239455A1 (en) | Method and system for managing pronunciation dictionaries in a speech application | |
| KR20010096490A (ko) | 이동통신을 위한 철자 음성인식장치 및 방법 | |
| EP1606793A1 (en) | Speech recognition method | |
| JP2002520664A (ja) | 言語に依存しない音声認識 | |
| KR20160122542A (ko) | 발음 유사도 측정 방법 및 장치 | |
| JP2002040926A (ja) | インターネット上での自動発音比較方法を用いた外国語発音学習及び口頭テスト方法 | |
| US11676572B2 (en) | Instantaneous learning in text-to-speech during dialog | |
| Tsubota et al. | Practical use of English pronunciation system for Japanese students in the CALL classroom | |
| JP5105943B2 (ja) | 発話評価装置及び発話評価プログラム | |
| WO2019075828A1 (zh) | 一种语音评价方法及装置 | |
| Pucher et al. | Modeling and interpolation of Austrian German and Viennese dialect in HMM-based speech synthesis | |
| KR100362292B1 (ko) | 음성인식 기술을 이용한 영어 발음 학습 방법 및 시스템 | |
| Peabody et al. | Towards automatic tone correction in non-native mandarin | |
| JP2006084966A (ja) | 発話音声の自動評定装置およびコンピュータプログラム | |
| Al-Bakeri et al. | ASR for Tajweed rules: integrated with self-learning environments | |
| JP3378547B2 (ja) | 音声認識方法及び装置 | |
| JP3621624B2 (ja) | 外国語学習装置、外国語学習方法および媒体 | |
| JP2007071904A (ja) | 地域別発音学習支援装置 | |
| CN111508523A (zh) | 一种语音训练提示方法及系统 | |
| KR102610871B1 (ko) | 청각장애인 음성언어훈련 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3520022 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090206 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090206 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100206 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110206 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110206 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |