JP5335668B2

JP5335668B2 - 多種類言語に適用可能なコンピュータ使用による聾唖者の発音学習支援方法

Info

Publication number: JP5335668B2
Application number: JP2009510256A
Authority: JP
Inventors: 黄中偉
Original assignee: 深チン大学
Priority date: 2006-05-16
Filing date: 2006-07-31
Publication date: 2013-11-06
Anticipated expiration: 2026-07-31
Also published as: JP2009537850A; CN1851779A; WO2007134494A1; CN1851779B

Description

本発明は、コンピュータを利用して発音習得を行なう方法に関する。とくに、異なる母国語を有する聾唖者に適用する発音習得のためのコンピュータの補助的使用方法に関する。

聾唖者は障害者の中でも特別な部類の人達である。というのは、外観から見ると、彼等は普通の人と特別な相違が見えないが、単に正常な発声の機能を失ったことで、社会環境との交流に越え難い障害が生じ、そのため、結局彼等の大部分が社会の最低層に落ちてしまい、生活状況も苦しく、しかも長い人生の中に状況の改善があまり見受けられない。聾唖者の現状を根本から改善するには、彼等は、受動的に社会からの理解と国政府からの支援を受けるのみではなく、積極的に人々と交流する能力を学び、それを身につける必要がある。当面、数多くの聾唖者は手話ができるが、聾唖者以外の一般人の中にそれを理解し且つ使用できる者の数が非常に少ない。手話の使用は現に聾唖者間の交流に限られている。従って、聾唖者の現状を改善するには、かれらに正常な発声能力を身につけさせ、よって一般健康人と同じ生活と仕事の能力取得を可能にすることが絶対必要である。

数多くの聾唖者のうち、その大部分は健全な発声器官を持つ「聾者」である。彼等は発声の生理条件を完全に有するが、先天的或いは後天的な原因で聴力を失っており、聴覚系統を利用して自分の発声器官からの声を是正することができない。そして発声器官が次第に退化し、ついには話す能力を失って、聾唖人になってしまう。経験によれば、これらの「聾者」に対して、有効な方法でその発音が正しいか否かの情報を常にフィードバックし、且つ継続的訓練を行い、彼等の話す能力を回復させる可能性が充分にある。報道によれば、中国の或る「聾唖児童訓練センター」の耳が不自由な児童は、教師の熱心な指導のもとでの数年間の努力を通じて、健康人と同様に話せるようになったのみならず、漫才や早口言葉もできるようになったという事例がある。発音のフィードバックと矯正の伝統的な手法は人間同士によって行うものである。これには、両親や教師が聾唖者に対して一対一の教育を数年間続けて行う必要がある。そうしないと、よい効果が収められない。

本発明の目的は多種類言語に適用可能なコンピュータ使用による聾唖者の発音学習支援方法を提供する。その解決せんとする技術的課題は、いかにして聾唖児童の両親と教師を助けて彼らを反複する骨の折れる言語教育の活動より解放して、且つ聾唖児童にその発音を矯正するチャンスをより容易に与え、より早く彼等を健常者なみに話せるようにすることである。

本発明は、多種類言語に適用可能なコンピュータ使用による聾唖者の発音学習支援方法に関し、以下の工程を含む。すなわち、（１）ユーザーに需要に応じて習得の必要がある言語の種類を選択させ、（２）ユーザーに学習の必要がある発音の単位を選択且つ確定させ、（３）コンピュータのディスプレイに学習の必要がある発音と注意すべき要点を表示させ、（４）コンピュータの発音受信装置を始動してユーザーによる発音信号の入力を可能にし、（５）発音受信装置を操作してユーザーからの発音信号を受信してアナログ／ディジタルの転換を行わせ、（６）コンピュータの中央プロセッサーを操作してアナログ／ディジタル転換装置から必要な発音の特徴を抽出し、（７）コンピュータの中央プロセッサーはユーザーの発音の正確性についての判別を行い、（８）ディスプレイにユーザーの発音の正確性の程度を示すことである。

また、中央プロセッサーはアナログ／ディジタル転換装置から必要な発音の特徴を抽出するとき、端末での検知測定を通じてユーザーの発音と関連するデジタルの発音データを取得する。

ユーザーが単音節の発音を学習するとき、前記中央プロセッサーは連続する短時間の発音区分に対してμ音律のケプストラム分析に基づいたMFCCパラメーターの計算を行い、この場合それぞれのパラメーター・ベクトルの中に信号の短時間エネルギーとパラメーターの１階／２階差分の分量を含んでおり、ＤＨＭＭモデルパラメーターを基礎にして、Ｖｉｔｅｒｂｉ算法を通じて発音の正確度について判別する。また、ユーザーが多音節、単語及びセンテンスを学習するとき、中央プロセッサーは伝統的なHMM方法を通じてユーザーの連続する発音過程に対しその発音の正確度について判別する。

発音受信装置を始動すると同時に、映像収録装置を始動して、発音時ユーザーの口形の細部特徴を記録する。

ディスプレイは、ユーザーに学習の必要がある発音と注意すべき要点を示すとき、文字と動画映像を用いて発音と口形の特徴を表示する。

ディスプレイは、ユーザーに動画映像を用いて発音と口形の特徴を表示するとき、口形の変化と呼気の特徴に関する正面動画、側面動画と発声器官の解剖図で示された発音過程の動画などの映像を用いて、発音器官の協同運動を表示する。

中央プロセッサーは必要な発音の単位を抽出するとき、端末での検知測定の方法を用い、信号のエネルギーとゼロクロッシング率の計算によって、発音信号入力の開始と終了の位置に対し一次的判断を実現する。

発音受信装置はユーザーからの発音信号を受信するとき、ソフトウェアの前処理ディジタル濾波器を通じて、周辺のノイズを抑えて高周波の信号分量を事前加重する。

ディスプレイにおいてユーザー発音の正確度を示すとき、百分率でそれを示し、同時にユーザーの発声時の映像情報を再生し、それと標準的発音映像動画とを比較する。

最後に、ユーザーは必要な発音の単位を音声記号、単語或いはセンテンスとして選択し確定する。

従来の技術と比べて、本発明はマルチメディア・コンピュータの各ハードウェアを用い、コンピュータのグラフィック技術とマルチメディア・コンピュータの発音技術を効果的に結びつけて、ユーザーがそれぞれ違う母国語を有することに注目し、教育の過程において違う教育言語を用いることにより、英国、米国、日本、フランス、ドイツ、ロシア及びスペインなどの聾唖者をその母国語の発音習得について効果的に支援し、発音習得の需要を満足するようにさせる。

図１は本発明における実施例の学習システムの主界面図。
図２は本発明における実施例１の英語発音学習の機能選択の界面図。
図３は本発明における実施例１の国際音声記号選択の界面図。
図４は本発明における実施例１の国際音声記号

発音指導の界面図。
図５は本発明における実施例１の国際音声記号

の検知測定結果とフィードバックの図面。
図６は本発明における実施例２の英語単語car入力の界面図。
図７は本発明における実施例２の英語単語carの発音学習の界面図。
図８は本発明における実施例３の英語センテンス「This is my car」の発音指導の界面図。
図９は本発明における実施例４の日本語発音学習の機能選択の界面図。
図１０は本発明における実施例４の日本語平仮名「き」の選択の界面図。
図１１は本発明における実施例４の日本語平仮名「き」の発音指導の界面図。
図１２は本発明における実施例４の日本語平仮名「き」の検知測定結果とフィードバックの図面。
図１３は本発明における実施例５のフランス語発音学習の機能選択の界面図。
図１４は本発明における実施例５のフランス語単語

の入力の界面図。
図１５は本発明における実施例５のフランス語単語

の発音学習の界面図。
図１６は本発明における実施例５のフランス語単語

の検知測定結果とフィードバックの図面。
図１７は本発明における実施例６のフランス語

の発音学習の界面図。

以下、図面と実施例を合わせて本発明をより詳細に説明する。

本発明の多種類言語に適用可能なコンピュータ使用による聾唖者の発音学習支援方法は、以下の工程を含む。すなわち、（１）ユーザーに需要に応じて学習の必要がある言語の種類を選択させ、（２）ユーザーに学習の必要がある発音の単位を選択且つ確定させ（発音の単位とは音声記号、単語或いはセンテンスを指す）、（３）コンピュータのディスプレイにユーザーに学習の必要がある発音と注意すべき要点を表示させ、文字と動画映像を用いて発音と口形の特徴を表示し、また、口形の変化と呼気の特徴に関する正面動画、側面動画と発声器官の解剖図で示された発音過程の動画などの映像を用いて発音器官の協同運動を表示させ、（４）コンピュータの発音受信装置を始動しユーザーの発音信号入力を可能にし、それと同時に映像収録装置を始動し、発音時ユーザーの口形の細部特徴を検知し；（５）発音受信装置はユーザーからの発音信号を受信し、ソフトウェアの前処理ディジタル濾波器を通じて、周辺のノイズを抑制して高周波の信号分量を事前加重し、アナログ／ディジタルの転換を行い、（６）コンピュータの中央プロセッサーはアナログ／ディジタル転換装置から必要な発音の特徴を抽出し、端末での検知測定を通じてユーザーの発音と関連するデジタルの発音データを獲得し、また、端末検知測定の方法で信号のエネルギーとゼロクロッシング率を計算し、発音信号入力の開始と終了の位置について一次的判断を実現すること；（７）コンピュータの中央プロセッサーはユーザーの発音の正確度について判別する。ユーザーが単音節を学習するときは、中央プロセッサーは連続する短時間の発音区分に対してμ音律のケプストラム分析に基づいたMFCCパラメーターの計算を行い、ここにおいてそれぞれのパラメーター・ベクトルの中に信号の短時間エネルギーとパラメーターの１階／２階差分の分量を含んでおり、ビタビ（Ｖｉｔｅｒｂｉ）法を通じて発音の正確度について判別し、また、ユーザーが多音節、単語及びセンテンスを学習するときは、中央プロセッサーは伝統的なHMM方法を通じてユーザーの連続する発音過程に対しその発音正確度について判別し、（８）ディスプレイに百分率でユーザー発音の正確度を示し、同時にユーザーの発声時の映像情報を再生し、それと標準的発音映像動画とを比較する工程である。
実施例１は、英語系国の聾唖者が国際音声記号

の発音を学習するものである。本実施例で用いるコンピュータのCPUはAMD 2500+、内部メモリは1GB、ハードディスクは160GB SATA Seagate、ディスプレイはBenq FP71G+、サウンドカードはAC97集積サウンドカード、マルチメディア・スピーカーはXfree XE233、発音受信装置はVoiceao VA-800MV、映像収録装置は良田ブランドのCamera-168型のビデオカメラ、操作システムはMicrosoft Window XP Professional、Version 2002、Service Pack 2である。また、聾唖者発音学習のコンピュータ支援ソフトウェアとしては、本発明方法に基づいてプログラミングしたソフトウェア：Audio-Video Bimodal Pronunciation Learning System for Deaf-Mute，Version 1.0を用いる。

まず、本発明に基づいてプログラミングしたソフトウェアを設けたマルチメディアコンピュータを始動して、本学習支援のソフトウェアシステムを始動する。図１に示すように、各必要なハードウェアが既に正確に装着されたことを学習支援システムで検知確認した後、本学習支援システムの主界面に入る。主界面の使用言語は英語である。主界面が言語の選択肢を提供し、ユーザーは当該選択肢を通じてその発音を学習する言語の種類と指導過程中に用いられる指導言語を選ぶことができる。

本実施例はユーザーが英語系国の聾唖者であり、学習対象の言語が英語、使用する指導言語も英語なので、ユーザーはEnglishを選ぶ。その後、本システムは英語発音指導のステップに入り、使用する指導言語も英語である。

図２に示すように、Englishを選んだ後、ユーザーはPhonetic Symbol、Common Word、Common Sentenceという三つの英語選択肢を見ることができる。本実施例において学習するものが国際音声記号

の発音であるので、ユーザーはコンピュータのスクリーンにおいてマウスの左キーでPhonetic Symbolの選択肢をクリックする。図３に示すように、当該選択肢を選択した後、ユーザーはスクリーン上に全部で48個の国際音声記号を見ることができる。

図4に示すように、ユーザーはマウスの左キーで国際音声記号

をクリックすると、

の学習界面に入る。そして、コンピュータのスクリーン上に、国際音声記号

とその発音方法が示される。つまり、Open your mouth naturally and let your tongue off to pronounce. Bear in mind to lay your tongue as low as possible and keep the tip of your tongue away from teeth. Remember to low your Chin and relax your tongue then you can pronounce smoothly.である。それと同時に、スクリーン上に、標準発音の模範例が

の音声を発音する時の口形の変化と呼気の特徴に関する正面動画、側面動画と発声器官の解剖図で示された発音過程の動画などの映像が現れる。

ユーザーがスクリーンの右下側にあるボタンPrepare for testをクリックすると、スクリーンは映像収録装置の録取したリアルタイム画面を示し、且つPlease adjust the position of your head correctlyという語を表示する。そして、ユーザーは自分の頭部の位置と角度を調整して、映像収録装置にその発音時の口形と顔面の特徴をしっかり且つはっきり把握させることができる。調整後、ユーザーは再び当該ボタンをクリックする。ユーザーが当該ボタンをクリックした時より、発音受信装置と映像収録装置はそれぞれ10秒間の音声周波数と映像周波数の信号を記録し、且つコンピュータのスクリーン上に10秒間のカウントダウンを示す。10秒間以内に、ユーザーは発音受信装置に対して

を発音する。10秒後、発音受信装置と映像収録装置は音声周波数と映像周波数の信号の記録を停止する。

英語の国際音声記号の発音を学習する過程において、発音の特徴を正確に把握するため、一般には音節の発音の継続時間を意図的に長くする。したがって、本システムは、発音の継続時間に関する統計情報を含んだDHMMモデル（Duration HMM）を採用して、学習者の発音に対して判別と評価を行う。DHMMモデルは発音状態の１階／２階の統計特徴の描写のみならず、継続時間にわたる発音状態の統計特徴の描写も含む。従って、DHMMをもって当面の音声記号発音の正確度を有効に評価することができる。

システムが発音を判別する過程において、CPUはエネルギー判断に基づいた端末での検知測定の方法を通じて、ユーザー発音の開始時間の位置と終了時間の位置に関する情報を取得する。また、当面の連続的ディジタル音声周波数データ流れに対して短時間毎の発音分画を行い、連続する短時間のディジタル発音区分の間に一定量の交錯を保つ。本システムはディジタル音声周波数データに対しハミング（hamming）ウインドーでウィンドー化の処理を行った後、ソフトウェアの前処理ディジタル濾波器を通じて、周辺のノイズに対するコントロールと高周波信号分量に対する事前加重を実現する。発音の特徴を効果的に表すため、連続する短時間の発音区分に対してμ音律のケプストラム分析に基づきMFCC（メル周波数ケプストラム係数）パラメーターの計算を行い、ここにおいて、それぞれのパラメーター・ベクトルの中に信号短時間エネルギーとパラメーターの１階／２階差分の分量を含む。本発明は学習支援システムにおいて英語音声記号の発音学習のDHMMモデルバンクを設け、中央プロセッサーは内臓するモデルパラメーターに基づいて、ビタビ（Viterbi）法を通じてユーザーの発音に対し発音状態の還移径路の捜索を行なう。捜索の過程において、各状態の活動継続時間を統計し、DHMMモデル中の状態継続時間に関する統計情報を用いて、状態転移と状態出力の確率を結合して、ユーザーの発音の正確さについて判別を行なう。本発明において、百分率を用いて被訓練者に評価点を付与する。

図5に示すように、発音に対する評価の後、コンピュータのスクリーンの上方にパーセントで各回の発音の得点を示す。当該パーセントはユーザーの発音と標準発音との相似の程度を表し、発音の正確性を定量的に評価するものである。それと同時に、コンピュータのスクリーンは映像収録装置が記録したユーザーの

発音過程における口形と顔面の変化特徴に関する映像ビデオを反覆再生する。また、ユーザーはスクリーンの右側にあるStandard Videoのキーをクリックすることもできる。当該キーをクリックした後、ディスプレイにおいて、標準発音モデルの

発音の標準発音口形のビデオを表示する。ユーザーは自分の発音口形と標準発音口形とを比べて、これらのフィードバック情報に基づいて自分の発音を矯正することができる。

この時、スクリーン下部に三つの選択肢が示される。すなわち、Try again、Choose new sectionとQuitである。ユーザーがTry againを選んだ場合は、システムは改めて国際音声記号

の発音指導訓練を行なう。ユーザーがChoose new sectionを選んだ場合は、システムは機能選択の界面に戻り、ユーザーが新たな発音訓練内容を選ぶことが可能になる。また、ユーザーがQuitを選んだ場合は、システムは各プログラムを終了して、操作システムの界面に戻る。

実施例２は、英語系国の聾唖者が英語単語carの発音を学習する場合に関する。その使用するソフトウェア、ハードウェア及びコンピュータ学習支援ソフトウェアは実施例１のと同じで、学習システムの始動方式も実施例１と同じである。図1に示すように、まずシステムの主界面に入って、そこでEnglishを選ぶ。図2に示すように、ユーザーは Phonetic Symbol、Common Word、Common Sentenceの三つの選択肢中の Common Word をマウスの左キーでクリックする。図6に示すように、当該選択肢に入った後、コンピュータのスクリーンは一つのダイアローグウィンドウを開く。そのダイアローグウィンドウの下方に、Please input the word という英文表示がある。ユーザーはキーボードでダイアローグウィンドウの中に car を入力し且つリターンキーをクリックして、英語単語 car の発音学習の界面に入る。

また、図7に示すように、単語 car の発音学習界面に入った後、ユーザーはスクリーンの上部に表示される単語 car とその国際音声記号

を見ることができる。スクリーンの中央部に低速で人が発音する時の正面と側面の口形のビデオを表示する。

単語carの発音特徴を学習した後、ユーザーがスクリーンの右下側にあるボタン Prepare for testをクリックすると、スクリーンは映像収録装置の録取したリアルタイム画面が示され、且つ Please adjust the position of your head correctlyが表示される。そして、ユーザーは自分の頭部の位置と角度を調整し、映像収録装置にその発音時の口形と顔面の特徴をしっかり且つはっきり録取させることができる。調整後、ユーザーは再び当該ボタンをクリックする。ユーザーが当該ボタンをクリックした時より、発音受信装置と映像収録装置はそれぞれ10秒間の音声周波数と映像周波数の信号を記録し、且つコンピュータのスクリーン上に10秒間のカウントダウンを示す。10秒間以内に、ユーザーは発音受信装置に対して

を発音する。10秒間の後、発音受信装置と映像収録装置は音声周波数と映像周波数の信号の記録を停止する。

英語単語の発音が多数の音節によって構成されるので、本発明の方法は状態継続時間の統計情報を含んでいない連続HMM方法に基づいて単語発音の正確さについて評価を与える。発音信号はサウンドカードによってアナログ／ディジタルの転換を実現する。CPUはまず収録したディジタル音声周波数データ流れに対して短時間の分画を行なう。発音信号が短時間安定特性を有するので、連続する短時間の発音区分の間に一定量の交錯を保つ。また、本システムはディジタル音声周波数データに対し、ハミング（hamming）ウインドーでウィンドー化の処理を行った後、ソフトウェアの前処理ディジタル濾波器を通じて、周辺のノイズに対するコントロールと高周波信号の分量に対する事前加重を実現する。連続する短時間の発音区分の中に、信号のエネルギーとゼロクロッシング率などのパラメーターの計算によって、発音信号入力の開始と終了の位置に対し一次的判断を行う。一次的確認を経たディジタル化発音流れの中に、連続する短時間の発音区分についてμ音律のケプストラム分析に基づきMFCCパラメーターの計算を行う。それぞれのパラメーター・ベクトルの中に信号短時間エネルギーとパラメーターの１階／２階差分の分量を含む。本発明の学習支援システムは全部の訓練シーンをカバーする非特定の人の隠れマルコフモデルHMM集合をメモリーに保存している。CPUは当該集合を基礎に、特徴の抽出で得た特徴ベクトル序列に対してビタビ（Viterbi）の最適化法を適用する。既知の発音の内容により、ビタビ法を通じて被訓練者の発音の最良状態の還移径路を探し出して、該最適還移径路に対応する連続HMMモデルの出力確率を基礎に、百分率で被訓練者に評価の成績を与える。その後の操作は実施例１と同じである。

実施例３は、英語系国の聾唖者が常用センテンスThis is my carの発音を学習する場合に関する。本実施例に使用するソフトウェア、ハードウェア、コンピュータ学習支援ソフトウェアは実施例１のものと同じである。また、学習支援システムの始動方式も実施例１のものと同じである。図１に示すように、まずシステムの主界面に入って、そこでEnglishを選ぶ。次に、ユーザーは Phonetic Symbol、Common Word、Common Sentenceの三つの選択肢中の Common Sentence をマウスの左キーでクリックする。図９に示すように、当該選択肢に入った後、コンピュータのスクリーンは一つのダイアローグウインドを開く。そのダイアローグウインドの下側に、Please input the sentence という英語の指示がある。ユーザーはキーボードでダイアローグウインドの中に This is my car を入力し且つリターンキーをクリックして、英語の常用センテンス This is my car の発音学習の界面に入る。

図８に示すように、常用センテンスThis is my carの発音学習の界面に入った後、ユーザーはコンピュータのスクリーンの上部にあるセンテンス This is my car とその国際音声記号

を見ることができる。スクリーンの中央部に人が発音する時の口形のビデオ映像が示される。その後の操作は実施例２と同じである。

実施例４は、日本語系の聾唖者が日本語平仮名「き」の発音を学習する場合を示す。本実施例に使用するソフトウェア、ハードウェア、コンピュータ学習支援ソフトウェアは実施例１のものと同じである。また、学習支援システムの始動方式も実施例１のものと同じである。

図１に示すように、まずシステムの主界面に入って、そこでJapanese を選ぶ。次に、図９に示すように、ユーザーは「平仮名ひらがな」、「片仮名かたかな」、「語彙」、「連語」及び「センテンス」という五つの選択肢から、「平仮名ひらがな」をマウスの左キーでクリックする。図１０に示すように、当該選択肢に入った後、コンピュータのスクリーンは日本語の平仮名五十音図を示す。該図は日本語の全部で５１個の平仮名を提示す。

図１１に示すように、ユーザーはマウスの左キーで平仮名「き」をクリックすると、平仮名「き」の学習界面に入る。そして、コンピュータのスクリーンに平仮名「き」とその発音方法が示される。すなわち、「口を少し開けて、口元を後ろに広げ、舌先を下前歯を押しながら、息を吹き出す」という表示が出る。それと同時に、スクリーン上に標準発音の示範者が「き」の音声を発音する時の口形の変化と呼気の特徴に関する正面動画、側面動画、発声器官の解剖図で示される発音過程の動画などの映像が現れる。

ユーザーがスクリーンの右下側にあるボタン「良く準備しておいてください」をクリックすると、スクリーンは映像収録装置の録取したリアルタイム画面を示す。そして、ユーザーは自分の頭部の位置と角度を調整して、映像収録装置にその発音時の口形と顔面の特徴をしっかり且つはっきり収録させることができる。調整後、ユーザーは再び当該ボタンをクリックする。ユーザーが当該ボタンをクリックした時より、発音受信装置と映像収録装置はそれぞれ10秒間の音声周波数と映像周波数の信号を記録し、且つコンピュータのスクリーンに10秒間のカウントダウンを示す。10秒間以内に、ユーザーは発音受信装置に対して「き」を発音する。10秒間の後、発音受信装置と映像収録装置は音声周波数と映像周波数の信号の記録を停止する。

日本語の平仮名と片仮名の発音の正確さについて、本発明の方法は状態継続時間の統計情報を含むDHMM（継続時間長HMM）方法に基づいて判別と評価を与える。具体的な判別と評価の過程は実施例１中の過程と同じである。

図１２に示すように、発音に対する評価の後、コンピュータのスクリーンの上方においてパーセントで今回発音の得点を示す。当該パーセントはユーザーの発音と標準発音との相似性の程度を表し、発音の正確度について定量的に評価する。それと同時に、コンピュータのスクリーンは何度も映像収録装置が記録したユーザーの「き」の発音過程における口形と顔面の変化特徴に関する映像ビデオを再生する。また、ユーザーはスクリーンの右側にある「標準動作」のキーをクリックすることもできる。当該キーをクリックした後、ディスプレイにおいて、標準発音示範者の「き」発音の標準発音口形のビデオ映像を表示する。ユーザーは自分の発音口形と標準発音口形とを比べて、これらのフィードバック情報に基づいて自分の発音を矯正することができる。

今回の検知測定が終わった後、スクリーンの下部に、「前回テストを繰り返す」、「新しい内容」、「終了」という三つの選択肢が示される。ユーザーが「前回テストを繰り返す」を選んだ場合は、システムは改めて平仮名「き」の発音支援訓練を行なう。ユーザーが「新しい内容」を選んだ場合は、システムは主界面に戻り、ユーザーが新たな発音訓練内容を選ぶことを可能にする。また、ユーザーがQuitを選んだ場合は、システムは各プログラムを終了して、操作システムの界面に戻る。

実施例５はフランス語系国の聾唖者がフランス語単語

の発音を学習するものである。本実施例の使用するソフトウェア、ハードウェア、コンピュータ学習支援ソフトウェアは実施例１のものと同じである。また、学習支援システムの始動方式も実施例１のものと同じである。

図１に示すように、まずシステムの主界面に入って、そこでFrench を選ぶ。次に、図１３に示すように、ユーザーは

という三つの選択肢から、

をマウスの左キーでクリックする。図１４に示すように、当該選択肢に入った後、コンピュータのスクリーンは一つのダイアローグウインドを開く。そのダイアローグウインドの下側に、Importer le Mot というフランス語の表示がある。ユーザはキーボードでダイアローグウインドの中に

を入力し且つリターンキーをクリックして、フランス語単語

の発音学習の界面に入る。

また、図１５に示すように、単語

の発音学習界面に入った後、ユーザーはスクリーンの上部にある単語

とその国際音声記号

を見ることができる。スクリーンの中央部に低速で人が発音する時の正面と側面の口形のビデオを表示する。単語

の発音特徴を学習した後、ユーザーがスクリーンの右下側にあるボタン

を押すと、スクリーンは映像収録装置の録取したリアルタイム画面を示し、且つ

を表示する。そして、ユーザーは自分の頭部の位置と角度を調整して、映像収録装置にその発音時の口形と顔面の特徴をしっかり且つはっきり録取させることができる。調整後、ユーザーは再び当該ボタンをクリックする。ユーザーが当該ボタンをクリックした時より、発音受信装置と映像収録装置はそれぞれ10秒間の音声周波数と映像周波数の信号を記録し、且つコンピュータのスクリーン上に10秒間のカウントダウンを示す。10秒間以内に、ユーザーは発音受信装置に対して

フランス単語の発音が一般の場合多数の音素によって構成されるので、本発明の方法は状態継続時間の統計情報を含んでいない連続HMM方法に基づいて単語発音の正確さについて評価を与える。その具体的な判別評価の過程は実施例２と同じである。

発音に対する評価の後、コンピュータのスクリーンの上方においてパーセントで発音の得点を示し、当該パーセントはユーザーの発音と標準発音との相似性の程度を表し、発音の正確性について定量的評価を行う。それと同時に、コンピュータのスクリーンは映像収録装置が記録したユーザーの

の発音過程における口形と顔面の変化特徴に関する映像ビデオを反復再送する。また、ユーザーはスクリーンの右側にある

のキーをクリックすることもできる。当該キーをクリックした後、ディスプレイにおいて、標準発音示範者の

図１６に示すように、今回の検知測定が終わった後、スクリーンの一番下側に、

とquitter という三つの選択肢が示される。ユーザーが

を選んだ場合は、システムは改めて

の発音支援訓練を行なう。ユーザーが

を選んだ場合は、システムは主界面に戻り、ユーザーが新たな発音訓練内容を選ぶことを可能にする。また、ユーザーが quitter を選んだ場合は、システムは各プログラムを終了して、操作システムの界面に戻る。

実施例６はフランス語系国の聾唖者がフランス語常用センテンス

の発音を勉強する場合に関する。本実施例の使用するソフトウェア、ハードウェア、コンピュータ学習支援ソフトウェアは実施例１のものと同じである。また、学習支援システムの始動方式も実施例１のものと同じである。

という三つの選択肢から、

をマウスの左キーでクリックする。当該選択肢に入った後、コンピュータのスクリーンは一つのダイアローグウインドを開く。そのダイアローグウインドの下側に、Importer la Phrase というフランス語の表示がある。ユーザはキーボードでダイアローグウインドの中に

を入力し且つリターンキーをクリックして、フランス語常用センテンス

の発音学習の界面に入る。

また、図１７に示すように、常用センテンス

の発音学習界面に入った後、ユーザーはスクリーンの上部にある常用センテンス

とその国際音声記号

を見ることができる。スクリーンの中央部に低速で人が発音する時の口形のビデオを表示する。その後の操作過程は実施例５と同じである。

本発明は、マルチメディア・コンピュータの発音受信装置、映像収録装置及びディスプレイなど多数のハードウェアを用い、静態グラフィック技術と動画技術を含むコンピュータのグラフィック技術と、発音識別と発音評定の技術を含むマルチメディア・コンピュータの発音技術を有機的に結びつけて、ユーザーのそれぞれ国籍が違い、母国語も違うという場合に、支援指導の過程において異なる指導言語を用いることにより、英国、米国、日本、フランス、ドイツ、ロシア、スペインなど多数の国の聾唖者をその母国語の発音学習について効果的に支援し、異なる母国語を有する聾唖者の発音学習の需要を満足させる。

本発明の聾唖者発音学習用のコンピュータ学習支援方法は使用が簡便で、ユーザーは発音受信装置と映像収録装置を設けたいかなるコンピュータにおいても当該学習支援方法を用いることができる。また、本発明では、ユーザーの発音の正確性について百分率で正確に定量的評価を行なって、且つ検知測定による評価、映像などの手段をもってユーザーにその発音と、対照標準発音との相違を存分にフィードバックすることができる。

Claims

コンピュータによって実行される多種類言語に適用可能な聾唖者の発音学習支援方法であって、前記コンピュータは、発音受信装置および映像収録装置を少なくとも備え、前記方法は、
（１）ユーザーによって選択された言語の種類と、ユーザーによって前記コンピュータのキーボードから入力された常用語または常用センテンスとに基づいて、前記コンピュータのディスプレイに前記常用語または常用センテンスの発音を表示する工程と、
（２）前記発音受信装置によりユーザーの発音信号を受信して、前記発音信号をディジタル信号に変換し、前記ディジタル信号に基づいて、ユーザーの発音の特徴を抽出する工程と、
（３）ユーザーの発音の正確性を判別して、ユーザーの発音の正確度を前記ディスプレイに表示する工程と、
を含み、
前記工程（１）において、ユーザーによって入力された前記常用語または常用センテンスと、前記常用語または常用センテンスの国際音声記号と、前記常用語または常用センテンスの標準発音口形の正面動画および側面動画とを前記ディスプレイの同一画面上に表示し、
前記工程（２）において、前記発音受信装置によりユーザーの発音信号を受信すると同時に、前記映像収録装置により発音時のユーザーの口形の細部特徴を録取し、
前記工程（３）において、ユーザーの発音の正確度を百分率で前記ディスプレイに表示し、同時に、ユーザーの発声時の動画または標準的発音動画を再生して比較することを特徴とする多種類言語に適用可能な聾唖者の発音学習支援方法。
請求項１記載の発音学習支援方法において、ユーザーの発音の特徴を抽出するとき、端末での検知測定を通じてユーザーの発音と関連するディジタルの発音データを取得することを特徴とする多種類言語に適用可能な聾唖者の発音学習支援方法。
請求項２記載の発音学習支援方法において、隠れマルコフモデルを用いてユーザーの連続する発音過程に対しその発音の正確度について判別することを特徴とする多種類言語に適用可能な聾唖者の発音学習支援方法。
請求項３記載の発音学習支援方法において、ユーザーの発音の特徴を抽出するとき、端末での検知測定の方法を用いて、信号のエネルギーとゼロクロッシング率を計算し、発音信号入力の開始と終了の位置に対し一次的判断を実現することを特徴とする多種類言語に適用可能な聾唖者の発音学習支援方法。
請求項４記載の発音学習支援方法において、前記発音受信装置がユーザーの発音信号を受信するとき、ディジタル濾波の前処理を行って、周辺のノイズを抑制して高周波の信号分量を事前加重することを特徴とする多種類言語に適用可能な聾唖者の発音学習支援方法。
コンピュータによって実行される英語、フランス語、ドイツ語、ロシア語、およびスペイン語に適用可能な聾唖者の発音学習支援方法であって、前記コンピュータは、発音受信装置および映像収録装置を少なくとも備え、前記方法は、
（１）ユーザーによって選択された言語の種類と、ユーザーによって前記コンピュータのキーボードから入力された常用語または常用センテンスとに基づいて、前記コンピュータのディスプレイに前記常用語または常用センテンスの発音を表示する工程と、
（２）前記発音受信装置によりユーザーの発音信号を受信して、前記発音信号をディジタル信号に変換し、前記ディジタル信号に基づいて、ユーザーの発音の特徴を抽出する工程と、
（３）ユーザーの発音の正確性を判別して、ユーザーの発音の正確度を前記ディスプレイに表示する工程と、
を含み、
前記工程（１）において、ユーザーによって入力された前記常用語または常用センテンスと、前記常用語または常用センテンスの国際音声記号と、前記常用語または常用センテンスの標準発音口形の正面動画および側面動画とを前記ディスプレイの同一画面上に表示し、
前記工程（２）において、前記発音受信装置によりユーザーの発音信号を受信すると同時に、前記映像収録装置により発音時のユーザーの口形の細部特徴を録取し、
前記工程（３）において、ユーザーの発音の正確度を百分率で前記ディスプレイに表示し、同時に、ユーザーの発声時の動画または標準的発音動画を再生して比較することを特徴とする英語、フランス語、ドイツ語、ロシア語、およびスペイン語に適用可能な聾唖者の発音学習支援方法。
コンピュータによって実行される聾唖者の日本語発音学習支援方法であって、前記コンピュータは、発音受信装置および映像収録装置を少なくとも備え、前記方法は、
（１）ユーザーによって前記コンピュータのキーボードから入力された連語またはセンテンスに基づいて、前記コンピュータのディスプレイに前記連語またはセンテンスの発音を表示する工程と、
（２）前記発音受信装置によりユーザーの発音信号を受信して、前記発音信号をディジタル信号に変換し、前記ディジタル信号に基づいて、ユーザーの発音の特徴を抽出する工程と、
（３）ユーザーの発音の正確性を判別して、ユーザーの発音の正確度を前記ディスプレイに表示する工程と、
を含み、
前記工程（１）において、ユーザーによって入力された前記連語またはセンテンスと、前記連語またはセンテンスの国際音声記号と、前記連語またはセンテンスの標準発音口形の正面動画および側面動画とを前記ディスプレイの同一画面上に表示し、
前記工程（２）において、前記発音受信装置によりユーザーの発音信号を受信すると同時に、前記映像収録装置により発音時のユーザーの口形の細部特徴を録取し、
前記工程（３）において、ユーザーの発音の正確度を百分率で前記ディスプレイに表示し、同時に、ユーザーの発声時の動画または標準的発音動画を再生して比較することを特徴とする聾唖者の日本語発音学習支援方法。