WO2001024139A1 - Systeme d'evaluation de la prononciation - Google Patents

Description

明 細 書

発音判定シス テ ム

技術分野

こ の発明は、 特に英会話をは じめ と する外国語等の言語の 発音の練習のための音声認識機能を応用 した発音判定システ ム、 お よびその ソ フ ト ウ ア を格納する記録媒体に関する。

背景技術

従来か ら、 英会話等の練習のための語学学習 シス テ ムは多 数開発 されて い る ： 一般的なシス テ ム と し て は、 コ ン ビ タ と 対話する も の力 Sあ る。 こ こ では、 コ ン ピ ュータ が一方の 話者 と な り 、 画面に相手の顔等が表示 され、 コ ン ピ ュータ が 発声する 問いかけに対 してユーザが返事をする。 こ のユーザ の返答音声が コ ン ピ ュータ に入力 され、 音声認識される。 そ して、 正 しい返事の内容 と 一致する と 、 画面上の相手を示す 人間が頷 く 等の所定の表示がな され、 次の問いかけに進み、 会話が進行する仕組み と なっ ている。

し力 し、 こ のシステムは、 返事の内容も考える必要があ り 単なる発音の繰 り 返 し練習には向かないシス テ ム と なっ てい る。 すなわち、 返事の内容が違っ てレ、る と 、 会話が進ま ない が、 こ の場合、 ユーザは内容 自 体が間違っ ていた のカ 発音 が悪かっ たのか判断でき ない。 また、 ユーザは正 しい返事を する こ と に気を取 られ、 発音の練習に専念でき ないき らいが ある。 さ らに、 正 しい返事の内容 と 一致 したか否かの判定は 返事の内容を示す一種類の基準音声データ と の比較であ り 、 判定が固定的であ り 、 内容は一致 してお り 発音だけが一致 し ない場合、 どの程度発音が悪かっ たの か分か らず、 自 分の発 音が どの程度外国人に伝わる のかを客観的に認識する こ と が でき ない _c さ ら に、 基準音声データ の レベルが高すぎる と 、 何度試 して も合格せず、 ユーザのやる気をな く すこ と になる _t 本発明の 目 的は、 自 分の発音が相手に認識 される か ど う か が客観的に分かる発音判定シス テ ム 、 お よびその ソ フ ト ウ ェ ァ を格納する記録媒体を提供する こ と であ る。

本発明の他の 目 的は、 同 じテキス ト を何度 も繰 り 返 して発 音練習でき 、 その都度、 基準の発音 と どの程度似ている かを 表示する ので、 所定の類似度が得 られる ま で効果的に発音の 練習ができ る発音判定システ ム、 およびその ソ フ ト ウ エア を 格納する記録媒体を提供する こ と であ る。

発明の開示

本発明に よ る発音判定シス テ ムは、 基準発音データ を記憶 する デー タベース と 、 基準発音デー タ に基づいて基準音声を 出力する 基準音声再生手段 と 、 基準音声に対応 して入力 され たユーザの発音デー タ と 基準発音デー タ と を比較する類似度 判定手段 と 、 類似度判定手段が両デー タ が一致 した こ と を判 定する と 、 その 旨をユーザに報知する手段 と を具備する も の でめる。

好ま しい態様に よれば、 データベー ス は、 同一の言語に対 して、 発音の流暢さ の レベルに応 じた複数の基準発音データ を記憶 して も よ い。 基準音声再生手段は、 レベルを選択する ためのユーザ操作部材を具備 し、 報知手段が両データ が一致 した こ と をユーザに報知する ま で、 選択 された レベルの基準 音声を出力 して も よ い。 デー タベース は多数の文章毎に複数 の レベルの基準発音データ を記憶 し、 基準音声再生手段は、 文章、 レベルを選択する ためのユーザ操作部材を具備 し、 報 知手段が両データ が一致 した こ と をユーザに報知する まで、 選択 された文章の選択 された レベルの基準音声を出力 して も よ い。 基準発音データ に対応する 文章を表示する手段を さ ら に具備 して も よい。

本発明によ る コ ン ピ ュ ー タ に実行させる ためのプロ グラ ム を記録する コ ン ピ ュータ 読み取 り 可能な記録媒体は、 デー タ ベー ス か ら基準発音データ を読み出すステ ッ プ と 、 読み出 し た基準発音データ に基づいて基準音声を出力する基準音声再 生ス テ ッ プ と 、 基準音声に対応 して入力 されたユーザの発音 データ と 基準発音データ と を比較する類似度判定ステ ッ プと 類似度判定ス テ ッ プに よ り 両デー タ の一致が判定 される と 、 その 旨をユーザに報知する報知ステ ッ プと を コ ン ピュータ に 実行 させる ためのプロ グラ ムを記録する ものである。

好ま しい態様に よれば、 データベー ス は、 同一の言語に対 して、 発音の流暢さ の レベルに応 じた複数の基準発音デー タ を記憶 して も よ い：. 基準音声再生ス テ ッ プは、 報知ステ ツ プ が両デー タ の一致をユーザに報知する ま で、 ユーザに よ り 選 択 された レベルの基準音声を出力 して も よ い。 データべ一ス は多数の文章毎に複数の レベルの基準発音データ を記憶 し、 基準音声再生ス テ ッ プは、 報知ス テ ッ プが両デー タ の一致を ユーザに報知する ま で、 ユーザに よ り 選択された文章のユ ー ザに よ り 選択 された レベルの基準音声を出力 して も よ い。 プ ロ グラ ムは コ ン ピュ ータ に基準発音データ に対応する 文章を 表示する ステ ッ プも実行させて も よい。

こ の発明に よれば、 自 分の発音が相手に認識 される レベル に達 している か否かの判定が出来、 こ の練習 を繰 り 返 し行 う こ と に よ り 、 語学学習 （発音学習） の学習効果が向上する。

図面の簡単な説明

第 1 図は本発明に よ る発音判定シス テ ム の実施形態の構成 を示すブロ ッ ク 図、

第 2 図は本実施形態に よ る発音練習時の流れを示すフ ロ ー チ ャ ー ト 、

第 3 図は レ ッ ス ン画面の一例を示す図であ る。

発明 を実施する ための最良の形態

以下、 図面を参照 して本発明によ る発音判定シス テ ム の実 施例を説明する。

第 1 図はシス テ ム全体の構成を示すブロ ッ ク 図であ る。 C P U 1 0 、 C D — R 〇 M ド ラ イ ブ 1 2 が シス テ ムノく ス 1 4 に 接続される 。 こ の シ ス テ ム は、 C D — R O M に格納 された ソ フ ト ウ ユ ア を C P じ 1 0 が実行する こ と に よ り 実現される。 発音練習の手本 と な る基準の発音データ を、 初級、 中級、 上 級の レベル毎に格納するデータベー ス 1 6 、 データベー ス 1 6 の レベルを選択する レベル選択部 1 8 も シス テ ムノく ス 1 4 に接続される。 デー タベー ス 1 6 は多数人 （数十万人） の発 音信号 （波形信号） を収集 して、 それをスぺ ク ト ル分析 した 結果の発音データ を平均化 して作成する。 なお、 デー タべ一 ス 1 6 は発音練習 ソ フ ト ウ ェ ア内に含まれてお り 、 C D — R O M内にあっ て、 その都度、 シス テ ム に取 り 込まれて も よい _c 初級 レベルは 日 本人の英語教師の発音、 上級は欧米人の中で も流暢な人 の発音、 中級 レベルはそれ程発音が流暢ではない 欧米人の発音に相当 している。 データベースは物理的に 3 つ に分かれている必要は無 く 、 機能的に分かれている だけでよ い。

ユーザが発音する音声波形を入力するマ イ ク ロ フ ォ ン 2 0 が音声認識部 2 2 を介 してシス テ ムバス 1 4 に接続される 。 音声認識部 2 2 は入力音声波形をス ぺク トル分析 して、 発音 デー タ を得る ： こ の音声認識部 2 2 は、 デー タベー ス の発音 データ を得る時に使われたの と 同 じスペク トル分析を行 う 必 要が あ る つ シス テ ムノく ス 1 4 に はデ ィ ス プ レイ コ ン ト ロ ー ラ 2 4 を介 して C R 丁 2 6 が接続され、 1 / 0 3 2 を介 してマ ウ ス 2 8 、 キーボー ド 3 0 が接続される と と も に、 音声合成 部 3 4 を介 してス ピー カ 3 6 も接続される。

本実施例の動作を第 2 図に示 したフ ロ ーチャー ト を参照 し て説明する。 こ のフ ロ ーチャー ト は C P U 1 0 に よ り 実行 さ れ、 C D — R O Mに格納 されて レ、る ソ フ ト ウ エ アの処理の流 れを示すものであ る。 動作開始される と 、 第 3 図に示すよ う な レ ッ ス ン画面が表示 される。 本実施例は例えば中学校の英 語の教科書に準拠 してお り 、 教科書のテ キス ト の発音練習用 のシ ス テ ムであ る と する： レ ッ ス ン画面は レ ッ ス ン章の表示 部 5 0 、 レ ッ ス ン章に関する画像の表示部 5 2 、 テ キ ス ト の 表示部 5 4 、 発音 レベルの表示部 5 6 、 テキス ト 毎の練習回 数を示す表示部 5 8 カゝら な る。 レ ッ ス ン章の表示部 5 0 には 左右向き の三角形のアイ コ ンも表示 され、 これ ら をマ ウ ス 2 8 で操作する こ と に よ り レ ッ ス ン章を選択する こ と ができ る _c テ キ ス ト表示部 5 4 は複数のテ キ ス ト を表示 し、 各テ キ ス ト の左側にはテ キス ト の選択状況を示す正方形のアイ コ ンが、 右側には発音 レベルの判定結果が良好な こ と を示すハ ー トマ ーク アイ コ ンが表示 される。 ハ ー トマーク アイ コ ンは生徒が 手本の発音 （ 3 つの レベルに分け られている が） と 良 く 似た 発音が出来た場合、 表示 される合格マーク であ る。 レベル表 示部 5 6 には各 レベルに点数 （ 1 0 点満点） も表示 されてい る が、 こ の点数は各 レベルの難易度を示す単な る 目 安である _c 第 3 図 の例では、 初級 レベルが選択 されている。

ステ ッ プ S 1 0 で、 レ ッ ス ン章を選択する。 ステ ッ プ S 1 2 で、 レベルを選択する。 レベル選択はマ ウ ス でいずれかの レベルの行を選択する こ と に よ り 行われる。 こ こ では、 初級 レベルが選択されている。 ステ ッ プ S 1 4 で、 テ キス ト を選 択する ： 第 3 図の例では、 3 番 目 の〃 I am f i n e . A n d y o u ? " が選択 されている：

ス テ ッ プ S 1 6 で、 こ の選択 されたテ キ ス ト の初級 レベル の基準発音データ をデータべ一ス 1 6 か ら読み出 し、 音声合 成部 3 4 で音声合成 し、 ス ビーカ 3 6 カゝ ら手本の発音 と して 出力する： 手本の発声は 1 回だけではな く 、 数回発声 させて も よ く 、 さ ら に数回の発声の際に速 さ を変えて も よ い。

ステ ッ プ S 1 8 で、 ユーザは こ の手本の音声を真似て発音 する - こ のユーザに よ る音声波形はマイ ク ロ フ ォ ン 2 0 を介 して音声認識部 2 2 に入力 される。 音声認識部 2 2 は こ の音 声信号をス ぺ ク ト ル分析 して、 発音データ を得る。

ステ ッ プ S 2 0 で、 ユーザの発音に よ る発音データ と 、 デ ータベー ス 1 6 に格納 されている基準発音データ と を比較 し . 類似度を求め る。 こ の類似度が高い程、 ユーザの発音が基準 音声に近い、 すなわち上手であ り 、 自 分の発音が相手にき ち ん と 伝わ り 、 正 し く 認識される 可能性が高い こ と を示す。

ステ ッ プ S 2 2 で、 こ の類似度が所定の類似度以上かど う か、 すなわち こ のテ キ ス ト の発音に合格点を あげられる か否 かが判定 される。 合格点に達 しない場合、 ス テ ッ プ S 1 6 に 戻 り 、 再度、 同 じテ キ ス ト の基準音声をス ピーカ 3 6 力ゝら発 音 させ、 ユーザが発音練習を繰 り 返す。

1 つのテ キ ス ト について合格する と 、 ス テ ッ プ S 2 4 で 1 章の全テ キ ス ト が合格 したか否か判定される。 未だ、 合格 し ていないテキス ト がある場合は、 ステ ッ プ S 1 4 に戻 り 、 別 のテ キ ス ト を選択 し、 発音練習を繰 り 返す。

全テキス ト が合格 した場合、 ステ ッ プ S 2 6 で他の レベル も合格 したか否か判定される。 未だ、 合格 していない レベル があ る場合は、 ステ ッ プ S 1 2 に戻 り 、 別の レベルを選択 し 当該 レベルの全テキス ト について発音練習 を繰 り 返す。

全レベルが合格 した場合、 ステ ッ プ S 2 8 で他の章も合格 したか否か判定される。 未だ、 合格 していない章がある場合 は、 ステ ッ プ S 1 0 に戻 り 、 別の章を選択 し、 当該章の全 レ ベル、 全テキス ト について発音練習を繰 り 返す。

以上の よ う に、 本実施例は、 コ ン ピュータ を用いてテキス ト を表示 して基準 と なる発音を発声 し、 生徒がその発音を真 似てマイ ク ロ フォ ン 2 0 力 ら入力する ものである。 そ して、 コ ン ピュータ 内で基準の音声データ と 生徒の入力音声データ と の類似度が判定され、 類似度が所定の基準値以下の場合は - 発音練習を繰 り 返 し行わせ、 基準値以上になる と 、 合格マ ー ク を表示する。 こ の よ う に、 同 じテキス ト を繰 り 返 し発音練 習でき 、 その都度、 発音 レベルの良 し悪 しの判定結果が表示 される ので、 発音練習を何回 も繰 り 返 して効率的に行 う こ と が出来る： また、 基準音声データ は 1 種類だけでな く 、 日 本 人教師の発音であ る 初級 レベルの発音データ 、 ネィ テ ィ ブス ピー力 の中でも特に流暢な人の発音である上級 レベルの発音 データ 、 それ程発音が流暢ではない外国人の発音であ る 中級 レベルの発音データ の 3 種類が用意 されている ので、 発音を 初級、 中級、 上級 と 段階的に向上させる こ と が出来、 レベル が高すぎて何度試 して も合格 しない と レ、 う こ と が無く 、 ュ一 ザがやる気をな く すこ と がない。

本発明は上述 した実施例に限定されず、 種々 変形 して実施 可能であ る。 例えば、 レ ッ ス ン画面の構成は最低限、 合格マ ーク の表示 さ えあれば良 く 、 その他の表示は全く 任意である さ ら に、 単に合格マーク を表示する だけでな く 、 不合格の場 合でも 、 基準発音 と の類似度を点数と して表示 して も よい。 基準の発音 と ユーザの発音を交互に行わせたが、 初心者に と つては基準の発音を聞き なが ら 同時にユーザに発音 させる こ と も好ま しい。 基準音声データベース は多数人の音声データ (スぺク トル分析後のデータ ） の平均的なデータ ではな く 、 特定の話者の音声波形信号をそのま ま記憶 しておいて も よい こ の場合、 ス ピーカ 3 6 の前段の音声合成部 3 4 は不要であ る。 その代わ り 、 データベースから読み出 した音声波形信号 をマ イ ク ロ フ ォ ン 2 0 から のユーザ入力に よ る音声信号と 同 様に音声認識部 2 2 でスぺ ク ト ル分析 して、 ユーザの入力音 声デー タ と 比較する必要があ る。 ま た、 練習の对象 と しては 英語に限 らず中国語等でも よ く 、 さ ら に外国語に限 らず 日 本 語 （ 自 国語） 等であっ て も よ い。 ま た、 英語のテ キス ト表示 の下に対応する 日 本語も併せて表示 して も 良い。 さ ら に、 デ ー タ ベース は 3 つの レベル毎に設け る の ではな く 、 1 つのデ ータベース と して、 レベルだけ変え られる構造に しておいて も 良い。 ま た、 本発明は繰 り 返 し学習の効果があればよ いの であ り 、 必ず し も基準発音が複数の レベルに分かれている必 要はない。

産業上の利用可能性

以上の よ う に本発明に よれば、 自 分の発音が相手に認識さ れる かど う かの判定ができ る発音判定シス テ ムお よびそのプ ロ グラ ム を格納する記録媒体を提供する こ と ができ る。 ま た 同 じテ キ ス ト を何度 も繰 り 返 して発音練習でき 、 その都度、 基準音声 と 比較 し、 基準と 一致する か否かを判定 し、 基準の 発音 と どの程度似ている かを表示する こ と に よ り 、 所定の類 似度が得 られる ま で一人で効果的に発音の練習ができ る発音 判定システム、 お よびそのブ ロ グラ ム を格納する記録媒体を 提供する こ と ができ る。

Claims

請 求 の 範 固

1 . 基準発音データ を記憶するデータベー ス と 、

前記基準発音デー タ に基づいて基準音声を出力する基準音 声再生手段 と 、

前記基準音声に対応 して入力 されたユーザの発音データ と 前記基準発音データ と を比較する類似度判定手段 と 、

前記類似度判定手段の判定結果をユーザに報知する手段 と を具備する発音判定シ ス テ ム 。

2 . 前記デー タベー ス は、 同一の言語に対 して、 発音の流 暢さ の レベルに応 じた複数の基準発音データ を記憶する こ と を特徴 と する請求の範囲第 1 項記載の発音判定シ ス テ ム 。

3 . 前記基準音声再生手段は、 レベルを選択する ため のュ 一ザ操作部材を具備 し、 前記類似度判定手段が両データ が一 致 した こ と を検出する まで、 選択さ れた レベル の基準音声を 出力する こ と を特徴 と する請求の範囲第 2 項記載の発音判定 シ ス テ ム ：，

4 . 前記データベー ス は多数の文章毎に複数の レベルの基 準発音データ を記憶 し、 前記基準音声再生手段は、 文章、 レ ベルを選択する ため のユーザ操作部材を具備 し、 前記類似度 判定手段が両データ が一致 した こ と を検出する ま で、 選択 さ れた文章の選択 された レベル の基準音声を出力する こ と を特 徴と する請求の範囲第 1 項記載の発音判定シ ス テ ム -

5 . 基準発音データ に対応する 文章を表示する手段を さ ら に具備する こ と を特徴 と する請求の範囲第 1 項記載の発音判 定 シ ス テ ム

6 . 前記報知手段は両データ が一致 した一致 した こ と を報 知する こ と を特徴 と する請求の範囲第 1 項記載の発音判定シ ス テ ム。

7 . データベースか ら基準発音データ を読み出すステ ッ プ と 、

読み出 した基準発音データ に基づいて基準音声を出力する 基準音声再生ステ ッ プと 、

前記基準音声に対応 して入力 されたユーザの発音データ と 前記基準発音デー タ と を比較する類似度判定ス テ ッ プ と 、 前記類似度判定ス テ ッ プの判定結果をユーザに報知する報 知ステ ツ ブ と を コ ン ピュータ に実行 させる ためのプロ グラ ム を記録する コ ン ピュータ読み取 り 可能な記録媒体。

8 . 前記データベースは、 同一の言語に対 して、 発音の流 暢さ の レベルに応 じた複数の基準発音データ を記憶 している こ と を特徴 と する請求の範囲第 7 項記載の記録媒体。

9 . 前記基準音声再生ス テ ッ プは、 前記類似度判定ステ ツ プが両データ が一致 した こ と を検出する ま で、 ユーザによ り 選択 された レベルの基準音声を出力する こ と を特徴 と する請 求の範囲第 7 項記載の記録媒体。

1 0 . 前記デー タべ一ス は多数の文章毎に複数の レベルの 基準発音データ を記憶 し、 前記基準音声再生ス テ ッ プは、 前 記類似度判定ス テ ッ プが両データ が一致 した こ と を検出する ま で、 ユーザに よ り 選択 された文章のユーザに よ り 選択され た レベルの基準音声を出力する こ と を特徴 と する請求の範囲 第 7 項記載の記録媒体。

1 1 . 前記プロ グラ ムはコ ン ピュータ に基準発音データ に 対応する 文章を表示する ス テ ッ プも実行 させる こ と を特徴 と する請求の範囲第 7 項記載の記録媒体。

1 2 . 前記報知ステ ッ プは両データ が一致 した こ と を報知 する こ と を特徴と する請求の範囲第 7 項記載の記録媒体。