JP7376071B2 - コンピュータプログラム、発音学習支援方法及び発音学習支援装置 - Google Patents

Description

本発明は、学習者の発音学習を支援するためのコンピュータプログラム、発音学習支援方法及び発音学習支援装置に関する。

英語の発音学習を支援する技術として、学習者の発音を記録し、音声データの周波数分析により、その母音の種類を判定して表示するコンピュータプログラムが実用化されている。また、学習者の発音動作を可視化する技術が開示されている（例えば、特許文献１）。学習者は自身が発した音声の母音の種類、あるいは発音動作を確認し、矯正すべき発音を認識することができる。

特許第６２０６９６０号公報

しかしながら、学習者は、自身の発音が、学習対象の外国語を母国語とする話者によってどのような単語として認識され、コミュニケーション上、どの発音に問題があるのかを具体的に認識することができないという問題があった。

本開示の目的は、外国語の学習者自身の発音が、当該外国語を母国語とする話者によってどのような単語として認識され、コミュニケーション上、どの発音に問題があるのかを当該学習者に提示することを可能にするコンピュータプログラム、外国語学習支援方法及び外国語学習支援装置を提供することにある。

本開示に係るコンピュータプログラムは、外国語の学習者によって発音された学習対象の単語の音声データを取得し、取得した前記学習者の音声データを該音声データに対応する綴りデータに変換し、前記外国語の単語の綴りデータと、該単語の発音を記号で表した発音データとを対応付けて記憶する発音辞書を用いて、前記学習者の音声データから変換された前記綴りデータの発音データを特定し、前記学習者の音声データから変換された前記綴りデータの発音データと、前記学習対象の単語の発音データとを比較し、比較結果を前記学習者に提供する処理をコンピュータに実行させる。

本開示によれば、外国語の学習者自身の発音が、当該外国語を母国語とする話者によってどのような単語として認識され、コミュニケーション上、どの発音に問題があるのかを当該学習者に提示することができる。

発音学習支援システムの構成例を示す模式図である。 学習管理装置の構成例を示すブロック図である。 携帯通信機の構成例を示すブロック図である。 発音辞書及び訓練動画ＤＢのレコードレイアウトを示す概念図である。 発音学習支援に係る処理手順を示すフローチャートである。 問題表示画面の一例を示す模式図である。 学習者の発音評価画面の一例を示す模式図である。 文章を用いて行う問題表示画面の他の例を示す模式図である。 学習者の発音評価画面の他の例を示す模式図である。 学習すべき発音の検索画面の一例を示す模式図である。 発音学習画面の一例を示す模式図である。 ゲーム画面の一例を示す模式図である。

以下、本発明をその実施形態を示す図面に基づいて詳述する。
図１は、発音学習支援システムの構成例を示す模式図である。発音学習支援システムは、学習管理装置１、携帯通信機（発音学習支援装置）２及び音声認識装置３を備える。携帯通信機２は学習者が外国語、例えば英語の発音学習に利用するスマートフォン、タブレット端末等であり、通信網Ｎを介して学習管理装置１及び音声認識装置３と通信を行う。

図２は、学習管理装置１の構成例を示すブロック図である。学習管理装置１は、学習者のメールアドレス、パスワード、学習履歴等の情報を管理し、学習者に適した発音の練習問題を提供するサーバ装置である。学習管理装置１は、例えば、該学習管理装置１の各構成部の動作を制御するＣＰＵ等のサーバ制御部１１を備えたコンピュータである。サーバ制御部１１には、バスを介して、主記憶部１２、通信部１３及び補助記憶部１４が接続されている。

主記憶部１２は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static RAM）等のメモリであり、サーバ制御部１１の演算処理を実行する際に補助記憶部１４から読み出されたサーバプログラム（不図示）、サーバ制御部１１の演算処理によって生ずる各種データを一時記憶する。
通信部１３は、通信網Ｎを介して、携帯通信機２との間で各種情報を送受信するための通信機である。通信部１３による各種情報の送受信はサーバ制御部１１によって制御される。
補助記憶部１４は、ハードディスク、ＥＥＰＲＯＭ等の不揮発性メモリであり、ユーザＤＢ１４ａ、問題ＤＢ１４ｂを記憶している。ユーザＤＢ１４ａは、ユーザのメールアドレス、氏名、連絡先、パスワード、発音の学習履歴、学習レベル等を記憶している。問題ＤＢ１４ｂは、学習レベル毎に学習対象の単語及び難易度を対応付けて記憶している。なお、問題ＤＢ１４ｂは、複数の単語からなるフレーズ又は文章、及びこれらの難易度を問題として記憶するようにしても良い。

図３は、携帯通信機２の構成例を示すブロック図、図４は、発音辞書２１ｂ及び発音訓練動画ＤＢ２１ｄのレコードレイアウトを示す概念図である。携帯通信機２は、例えばスマートフォン、携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistant）等の可搬型の無線通信装置である。携帯通信機２は、該携帯通信機２の各構成部の動作を制御する制御部２０を備える。

制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース等を有するマイクロコンピュータである。制御部２０の入出力インタフェースには、記憶部２１、無線通信部２２、表示部２３、操作部２４、スピーカ２５及びマイク２６等が接続されている。
ＲＯＭはコンピュータの初期動作に必要なプログラムを記憶している。ＲＡＭは、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）等のメモリであり、制御部２０の演算処理を実行する際に記憶部２１から読み出された後述のコンピュータプログラム２１ａ、又は制御部２０の演算処理によって生ずる各種データを一時記憶する。ＣＰＵはコンピュータプログラム２１ａを実行することにより、各構成部の動作を制御し、発音学習支援方法を実施する。

記憶部２１は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の不揮発性メモリであり、本実施形態に係る外国語の発音学習支援に係る処理に必要なコンピュータプログラム２１ａを記憶している。当該コンピュータプログラム２１ａは、通信網Ｎに接続された図示しない外部コンピュータからダウンロードしたものである。また、記憶部２１は、本実施形態に係る発音辞書２１ｂ、係数テーブル２１ｃ及び発音訓練動画ＤＢ２１ｄを記憶している。
図４Ａは発音辞書２１ｂを示す概念図である。発音辞書２１ｂは、「Ｎｏ」列、「単語綴り・音節」列、「発音データ（発音記号）」列を有する。各フィールド列に学習対象の単語の情報が格納されている。「単語綴り・音節」列は、学習対象の単語の綴りと、当該単語の音節を示す情報を格納している。音節を示す情報は、例えば単語の綴り文字の途中に挿入された「・」などの記号である。音節を示す情報の形式は特に限定されるものではなく、少なくとも音節の数を示す情報であれば良い。発音データは、単語の発音を発音記号で表したものである。
係数テーブル２１ｃは、学習者の発音を評価するための情報を格納している。具体的には、係数テーブル２１ｃは、複数の発音記号と、各発音記号の重要度、発音の難易度等を示す係数とを対応付けて格納している。係数は１以下の正の数で表される。
図４Ｂは発音訓練動画ＤＢ２１ｄを示す概念図である。発音訓練動画ＤＢ２１ｄは、「Ｎｏ」列、「発音記号」列、「動画ファイル名」列を有する。「発音記号」列は、学習対象の発音記号を格納している。「動画ファイル列」は、当該発音記号の発音、特に日本語にない発音の練習方法を説明する動画データのファイル名を格納している。

なお、本実施形態に係るコンピュータプログラム２１ａは、記録媒体にコンピュータ読み取り可能に記録されている態様でも良い。記憶部２１は、図示しない読出装置によって記録媒体から読み出されたコンピュータプログラム２１ａを記憶する。記録媒体はフラッシュメモリ等の半導体メモリである。また、記録媒体はＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＢＤ（Blu-ray(登録商標) Disc）等の光ディスクでも良い。更に、記録媒体は、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク等であっても良い。

無線通信部２２は、基地局を介して他の携帯通信機２、通信網Ｎに接続された外部の通信装置等との間で各種情報を送受信するための通信機である。無線通信部２２は、例えば、３Ｇ（Generation）回線、４Ｇ回線、ＬＴＥ（Long Term Evolution）回線等を用いて、通話音声及び各種データの送受信を行う。なお、無線通信部２２は、ＩＥＥＥ８０２．１１、ＷｉＦｉ等の規格準拠した無線ＬＡＮ通信を行う通信機であっても良い。

表示部２３は、液晶パネル、有機ＥＬディスプレイ、電子ペーパ、プラズマディスプレイ等である。表示部２３は、制御部２０から与えられた映像データに応じた各種情報を表示する。

操作部２４は、例えば表示部２３の表面又は内部に設けられたタッチセンサ、機械式操作ボタン等である。制御部２０は操作部２４にて学習者の操作を受け付けることができる。

スピーカ２５は、制御部２０から与えられた音声データを音波に変換して出力する。
マイク２６は、音波を音声データに変換し、変換した音声データを制御部２０に与える。例えば、マイク２６は、学習者が発した音声を音声データに変換して制御部２０に与える。つまり制御部２０は、学習対象の単語を発音した学習者の音声を、マイク２６に音声データに変換して取得する。

図１に示す音声認識装置３は、学習管理装置１と同様のハードウェア構成を有し、音声データが入力された場合、当該音声データに対応する単語の綴りを示す綴りデータが出力されるように学習された学習済モデル３１を備える。学習済モデル３１は、音声データが入力される入力層と、該入力層に入力された音声データに対して学習済みの重み係数に基づく演算を行う中間層と、音声データに対応する綴りデータを出力する出力層とを有する。学習済モデル３１は、学習対象の外国語を母国語とする話者による単語の発音と、当該単語の綴りとを用いて、ディープニューラルネットワークを機械学習させたものである。

図５は、発音学習支援に係る処理手順を示すフローチャート、図６は、問題表示画面の一例を示す模式図、図７は、学習者の発音評価画面の一例を示す模式図である。携帯通信機２は本実施形態に係るコンピュータプログラム２１ａを起動し、学習管理装置１にログインしている状態にあるものとして説明する。

学習管理装置１のサーバ制御部１１は、学習対象である複数の単語の中から、学習対象の単語を選択し、選択された単語の綴りデータ、難易度等を含む問題データを携帯通信機２へ送信する（ステップＳ１１）。綴りデータは、単語の綴りを示すデータである。具体的には、サーバ制御部１１は、学習者のメールアドレス等のログイン情報に基づいて、ユーザＤＢ１４ａからユーザ情報を読み出して学習者の学習レベルを判定し、判定された学習ベルに適した単語を選択すれば良い。

携帯通信機２の制御部２０は、学習管理装置１から送信された問題データを無線通信部２２にて受信する（ステップＳ１２）。そして、制御部２０は、発音辞書２１ｂを用いて、問題データに含まれる綴りデータと、発音辞書２１ｂとに基づいて、当該単語の発音を記号で表した発音データを特定する（ステップＳ１３）。次いで、制御部２０は、図６に示すように、学習対象の単語の綴りを表した綴り画像４１と、難易度を表した難易度表示画像４３と、発音記号を表した発音記号画像４２とを表示部２３に表示する（ステップＳ１４）。また、制御部２０は、問題の単語の発音を再生するための再生ボタン４４、「音声認識開始」ボタン５を表示する。

制御部２０は携帯通信機２の操作部２４の操作状態を監視しており、学習者によって再生ボタン４４がタップ操作された場合、携帯通信機２の制御部２０は学習対象の単語の発音データに基づいて、当該単語の音声をスピーカ２５から出力する。記憶部２１は、各発音記号に対応する音声を再生するためのデータを記憶しており、制御部２０は、当該データを用いて単語の発音を再生する。

学習者によって「音声認識開始」ボタン５が操作れた場合、制御部２０は、学習者によって発音された学習対象の単語の音声データをマイク２６にて取得する（ステップＳ１５）。制御部２０は、取得した音声データを記憶部２１に記憶する。

次いで、制御部２０は、取得した記学習者の音声データを音声認識装置３へ送信し、音声データを当該音声データに対応する綴りデータに変換させる処理を実行する（ステップＳ１６）。

音声認識装置３は、携帯通信機２から送信された音声データを受信し、受信した音声データを学習済モデル３１に入力させ、当該学習済モデル３１から出力された綴りデータを携帯通信機２へ返信する（ステップＳ１７）。

制御部２０は、ステップＳ１６の処理で変換された綴りデータと、発音辞書２１ｂとを用いて、学習者の音声データから変換された綴りデータの発音データ（発音記号）を特定する（ステップＳ１８）。

次いで、制御部２０は、ステップＳ１６～ステップＳ１８の処理によって学習者の音声データから変換され、特定された綴りデータの発音データと、ステップＳ１３の処理で特定された学習対象の単語の発音データとを比較する（ステップＳ１９）。

また、制御部２０は、ステップＳ１９の比較結果に基づいて、学習者の発音のスコアを演算する（ステップＳ２０）。スコアは、例えば下記式（１）を用いて演算すると良い。
スコア＝（１－（０．７５×Ａ＋０．９５×Ｂ）／Ｔ）×１００…（１）
ただし、
Ａ：発音すべきでなく、学習者によって余分に発音された発音記号の数
Ｂ：発音すべきであるが、学習者によって発音されなかった発音記号の数
Ｔ：学習対象である正解の単語の発音記号の数

また、発音すべきであるが、学習者によって発音されなかった発音記号については、その重要度ないし難易度に応じた係数を用いてスコアを演算しても良い。例えば、制御部２０は、各発音記号に対応する係数を係数テーブル２１ｃから読み出し、下記式（２）を用いてスコアを演算すると良い。
スコア＝（１－（０．７５×Ａ＋Σ（０．９５×α））／Ｔ）×１００…（２）
ただし、
α：学習者によって発音されなかった発音の重要度に応じた係数

更に、単語の音節数が多い程、発音が難しくなるため、学習対象である単語の発音数を考慮してスコアを演算するように構成しても良い。例えば、音節数が多い程、減点項（０．７５×Ａ＋０．９５×Ｂ）／Ｔの数値を小さくするようにしても良い。

上記スコアの演算方法は一例であり、発音の強勢位置、発音記号の並び方、その他の要素を加味して、学習者の発音のスコアを演算するように構成しても良い。

次いで、制御部２０は、図７に示すように、ステップＳ１９の比較結果と、ステップＳ２０で演算したスコアを表示部２３に表示させる（ステップＳ２１）。具体的には、制御部２０は、問題の単語の綴り画像４１、発音記号画像４２、難易度表示画像４３，再生ボタン４４と共に、ステップＳ１６で、学習者の音声データから変換された単語の綴り６１と、当該綴りに対応する発音記号画像６２と、スコア６３とを表示部２３に表示する。また制御部２０は、学習者の生の音声を再生するための再生ボタン６４を表示する。
制御部２０は携帯通信機２の操作部２４の操作状態を監視しており、学習者によって再生ボタン６４がタップ操作された場合、携帯通信機２の制御部２０は、ステップＳ１５で取得して記憶した音声データを再生し、学習者の音声をスピーカ２５から出力する。設問の単語が学習者によって発音されたとき、携帯通信機２は学習者が発した音声を集音して記録しており、再生ボタン６４がタップ操作された場合、記録された学習者の音声が再生される。

また、制御部２０は、学習対象である問題の単語の発音記号と、学習者の発音から認識される単語の発音記号との一致点及び不一致点とを異なる態様で表示すると良い。制御部２０は、一致している発音記号、例えば図７中「ａ」、「ｉ」、「ｔ」の発音記号を、灰色で表示する。また、制御部２０は、発音すべきでないにも拘わらず、学習者によって余分に発音された発音記号、例えば「ｒ」を黒文字で表示する。更に、制御部２０は、発音すべきであるにも拘わらず、学習者によって発音されなかった発音記号「ｌ」を赤文字で表示する。
なお、単純に学習対象である問題の単語の発音記号と、学習者の発音から認識される単語の発音記号とが一致していない発音記号を赤文字で表示するように構成しても良い。

また、制御部２０は、比較結果及びスコアを通信部１３にて学習管理装置１へ送信する（ステップＳ２２）。学習管理装置１は、携帯通信機２から送信された比較結果及びスコアを受信し（ステップＳ２３）、受信した情報をユーザＤＢ１４ａに学習履歴として格納し（ステップＳ２４）、処理を終える。以下、学習管理装置１及び携帯通信機２は、同様の処理を繰り返すことによって、他の単語を問題として学習者に提供し、発音の学習を支援することができる。
なお、携帯通信機２は、学習者が発音を誤った箇所、つまり発音すべきであるにも拘わらず発音できなかった発音記号に対応する動画データを、記憶部２１から読み出し、表示部２３に表示すると良い。動画データの再生及び提供タイミングは特に限定されるものではない。

このように構成された携帯通信機２（発音学習支援装置）、コンピュータプログラム２１ａ、発音学習支援方法によれば、外国語の学習者自身の発音が、当該外国語を母国語とする話者によってどのような単語として認識され、コミュニケーション上、どの発音に問題があるのかを当該学習者に提示することができる。
具体的には、学習対象の単語の綴りと、音声認識された単語の綴りと、各単語の発音記号とを表示部２３に表示することができ、学習者は、自身の発音が、学習対象の外国語を母国語とする話者によってどのような単語として認識されるのかを確認することができる。また、学習者は、誤認識された場合、どの発音が問題であったのか、具体的な問題点を確認することができる。

また、学習対象の外国語を母国語とする話者の音声データを用いて深層学習された学習済モデル３１を用いて、学習者の音声を認識させる構成であるため、学習者の発音からネイティブスピーカが認識する単語をより正確に判別することができる。

更に、携帯通信機２は、学習対象の単語の発音記号と、学習者の発音から認識される単語の発音記号とを比較して表示することができる。学習者は、自身の不適切な発音箇所を認識して、発音矯正を行うことができる。

更にまた、携帯通信機２は、学習対象である問題の単語の発音記号と、学習者の発音から認識される単語の発音記号との一致点及び不一致点とを異なる態様で表示することができる。学習者は、発音に問題がない箇所、発音すべきでないにも拘わらず余分に発音された箇所、発音すべきであるにも拘わらず発音されなかった箇所を、容易に確認することができる。

更にまた、携帯通信機２は学習者の発音をスコア表示することができる。学習者は、自身の発音の適否をスコアで確認することができ、発音の問題の大きさを数値で認識することができる。

なお、本実施形態では、主に英語の発音学習を例示したが、中国語、韓国語、その他の任意の外国語の発音を学習する目的で本発明を適用することができる。

また、学習対象として、外国語の単語を例示したが、複数の単語からなるフレーズ、文章を問題として表示し、同様にして、当該フレーズ又は文章の綴り及び発音記号を認識比較し、表示するように構成しても良い。

（変形例１）
上記実施形態では、同音異義語を考慮せず、音声認識装置３によって認識された綴りをそのまま表示する例を説明したが、学習者の発音が問題の単語と異なる同音異義語として認識された場合、当該同音異義語に代えて、学習対象である問題の単語の綴りを表示部２３に表示すると良い。
具体的には、携帯通信機２の制御部２０は、ステップＳ１３及びステップＳ１８にて特定された音声データが一致し、かつステップＳ１６の処理で特定された綴りと、学習対象の単語の綴りとが異なるか否かを判定する。音声データが一致しているにも拘わらず、単語の綴りが異なると判定された場合、制御部２０は、ステップＳ２１の処理で比較結果を表示する際、ステップＳ１６で認識された綴りに代えて、学習対象の単語の綴りを、学習者の発音によって認識された単語の綴りとして表示部２３に表示する。
なお、発音データが一致しているか否かの判定は、変形例２で説明するように、強勢位置の情報を除外して判定すると良い。つまり、強勢位置を考慮せず、音素が一致しているか否かを判定するようにすると良い。

（変形例２：発音データ比較処理方法）
学習対象の単語の発音記号と、学習者の発音から認識される単語の発音記号との比較処理及び表示処理の具体例を説明する。

図５に示すように、ステップＳ１３において制御部２０は、問題データに含まれる綴りデータと、発音辞書２１ｂとに基づいて、当該単語の発音を記号で表した発音データを特定する。英語の発音を構成する音素及び強勢位置は、例えば「Arpabet」と呼ばれる表記法により、アスキー文字で表される。音素及び強勢位置は１～３文字のアルファベット文字及びアラビア数字で表される。例えば、「dictionary」の単語の場合、発音データ「D IH1 K SH AH0 N EH2 R IY0」が得られる。アラビア数字「１」は第１強勢が置かれる音素であることを示している。無強勢の発音「I（小型大文字のI）」のコードは「IH」又は「IH0」、第１強勢が置かれた発音「I（小型大文字のI）」のコードは「IH1」、第２強勢が置かれた発音「I（小型大文字のI）」のコードは「IH2」である。同様に、アラビア数字「２」は第２強勢が置かれる音素であることを示している。無強勢の発音「e」のコードは「EH」又は「EH0」、第１強勢が置かれた発音「e」のコードは「EH1」、第２強勢が置かれた発音「e」のコードは「EH2」である。

本実施形態に係る学習管理装置１及び携帯通信機２は、主に音素の発音練習を支援するものであるため、学習対象の単語の発音と、学習者の発音から認識される単語の発音とを比較する際、強勢位置を無視し、音素の一致及び不一致を特定する。学習の進捗も音素単位で管理される。
もちろん、英語の発音において強勢位置は非常に重要であるため、携帯通信機２は、単語の発音記号を表示する際、強勢位置を表示することが望ましい。

そこで、携帯通信機２の制御部２０は、学習対象の単語の発音と学習者の発音を比較する際、音声データから強勢位置に係るコードを削除すると共に、発音記号を表示する際に強勢位置を再現できるように強勢位置情報を保存する。強勢位置情報は、強勢位置が前から何番目の位置にあるかを示す番号と、第１強勢か第２強勢かを示す情報を含む。

例えば、学習対象の単語が「light」であり、学習者の発音から認識される単語が「right」である場合を説明する。制御部２０は、綴り「light」に対応する発音データ「L AY1 T」と、綴り「right」に対応する発音データ「R AY1 T」を発音辞書２１ｂから取得する。制御部２０は、各音素を示すコードから強勢位置の情報を削除する。具体的には、制御部２０は、発音データ「L AY1 T」から強勢位置の情報を削除した「L AY T」を得る。制御部２０は、２番目の音素に第１強勢があることを示す情報を保存する。同様に、制御部２０は発音データ「R AY1 T」から強勢位置の情報を削除した発音データ「R AY T」を得る。制御部２０は、２番目の音素に第１強勢があることを示す情報を保存する。

次に制御部２０は、強勢位置の情報が削除された発音データを比較し、発音の差分情報を得る。制御部２０は、例えば各音素の発音データをそれぞれ配列データとする。配列データは、学習対象の単語の発音と学習者の発音との差分を示す情報を含む。配列データは、例えば、音素を示すコードと、学習対象の単語にある発音であって、学習者の発音に無い音素であることを示す情報と、学習対象の単語に無い発音であって、学習者の発音にある音素であることを示す情報とを含む。

以下に配列データの一例を示す。「removed」は、学習対象の単語にある発音であって、学習者の発音に無い音素であることを示す情報を示している。つまり、「removed」=trueは、学習者が発音できなかった音素を示している。「added」=trueは、学習対象の単語に無い発音であって、学習者の発音にある音素であることを示している。つまり、「added」は、学習者によって余分に又は誤って発音された音素であることを示している。
Ｌ（removed: true, added: null）
Ｒ（removed: null, added: true）
ＡＹ（removed: null, added: null）
Ｔ（removed: null, added: null）

制御部２０は、学習対象の単語の発音データに、上記「removed」が「true」の音素に係る情報を付加することにより、差分情報付きの発音データを作成する。例えば、単語の発音データ「L AY T」に、Ｌ（removed: true, added: null）の情報を付加することにより、差分情報付きの発音データ「L(removed) AY T」を作成する。

制御部２０は、学習者の発音に対応する単語の発音データに、上記「added」が「true」の音素に係る情報を付加することにより、差分情報付きの発音データを作成する。例えば、学習者の発音データ「R AY T」に、Ｒ（removed: null, added: true）の情報を付加することにより、差分情報付きの発音データ「R(added) AY T」を作成する。

制御部２０は、学習対象の単語の発音データを表示する場合、差分情報付きの上記発音データと、先に保存しておいた強勢位置情報とに基づいて、強勢記号付きの発音記号を整形表示すると共に、「removed」情報を有する音素を強調表示する。例えば、差分情報付きの発音データ「L(removed) AY T」により図６又は図７に示すような発音記号が表示される。
同様に、制御部２０は、学習者の発音データを表示する場合、差分情報付きの上記発音データ「R(added) AY T」と、先に保存しておいた強勢位置情報とに基づいて、強勢記号付きの発音記号を整形表示すると共に、「added」情報を有する音素を強調表示する。例えば、差分情報付きの発音データ「R(added) AY T」により図７に示すような発音記号が表示される。

変形例２によれば、強勢位置を無視し、学習者が学習対象の単語の音素を正しく発音できているか否かを評価することができる。強勢位置の情報を除去せずに発音データを比較した場合、音素が正しく発音されていても強勢位置が異なるために、当該音素が正しく発音されていないと評価される。学習者の発音から認識される単語が、学習対象の単語と異なる場合、通常、発音記号が異なることになる。この場合、強勢位置も異なる可能性があり、正しく発音されている音素まで、発音されていないと評価されることになる。変形例２ではこのような問題を解決することができ、学習者の発音の適否を適切に評価することができる。

（変形例３：文章を用いた発音チェック）
上記の例では、主に単語単位で行う発音練習を例示したが、文章で発音練習を行っても良い。
図８は、文章を用いて行う問題表示画面の他の例を示す模式図である。学習管理装置１のサーバ制御部１１は、学習対象である複数の文章の中から、学習対象の文章を選択し、選択された文章を構成する単語それぞれの綴りデータ、文章の難易度等を含む問題データを携帯通信機２へ送信する。

携帯通信機２の制御部２０は、学習管理装置１から送信された問題データを無線通信部２２にて受信する。そして、制御部２０は、発音辞書２１ｂを用いて、問題データに含まれる複数の単語の綴りデータと、発音辞書２１ｂとに基づいて、各単語の発音を記号で表した発音データを特定する。次いで、制御部２０は、図８に示すように、学習対象の文章を構成する複数の単語それぞれの綴りを表した綴り画像４１と、発音記号を表した発音記号画像４２と、難易度を表した難易度表示画像４３と、学習対象の文章の発音を再生するための再生ボタン４４と、再生速度調整バー４５とを表示部２３に表示する。学習者は、再生速度調整バー４５のスライダを移動させることによって、再生速度を調整することができる。制御部２０は、再生ボタン４４が操作された場合、再生速度調整バー４５で調整された速度で学習対象の文章の音声を再生する。

変形例３では、制御部２０は問題を表示した場合、音声認識中であることを示すアイコン５１を表示して自動的に音声認識を開始し、学習者によって発音された学習対象の単語の音声データをマイク２６にて取得する。なお、再生ボタン４４が操作され、学習対象の音声を再生する際は、アイコン５１の表示を「待機中」に変更し、音声データの取得を一時停止する。音声の再生を終えた場合、制御部２０は音声の取得を再開する。なお、音声データの取得を自動的に開始する構成は、上記実施形態及び他の変形例にも適用することができる。
以下の処理は、上記実施形態と同様であり、学習対象の文章を構成する複数の単語の発音記号を並べたものを発音データとして取り扱えば良い。
文章を読み上げた学習者の音声データは、音声認識装置３によって、当該音声データに対応する複数の単語の綴りデータに変換される。制御部２０は、複数の単語それぞれの綴りデータと、発音辞書２１ｂとを用いて発音データに変換する。ここでも複数の単語の発音記号を並べたものを学習者の発音データとして取り扱えば良い。
以下、上記実施形態と同様にして、学習対象の文章を表す一連の発音記号を表した発音データと、学習者の発音データから変換された一連の発音記号を表した発音データとを比較する。

図９は、学習者の発音評価画面の他の例を示す模式図である。制御部２０は、学習対象である文章を構成する単語の綴り画像４１、発音記号画像４２、難易度表示画像４３と共に、学習者の音声データから変換された文章を構成する単語の綴りを表した綴り画像６１と、当該綴りに対応する発音記号を表した発音記号画像６２と、再生ボタン６４とを表示部２３に表示する。再生ボタン６４が操作された場合、制御部２０は、学習者の音声を再生する。

変形例３では、図９に示すように比較結果を表示した後も、制御部２０は、継続的に音声データを取得する。制御部２０は、認識可能な音声データを取得する都度、上記発音データの特定及び比較処理を実行する。ただし、再生ボタン６４が操作され、学習者の音声を再生する場合、アイコン５１の表示を「待機中」に変更し、音声データの取得を一時停止する。音声の再生を終えた場合、制御部２０は音声の取得を再開する。

また、制御部２０は、発音記号のタップ操作、クリック操作を受け付け、操作された発音を練習するための発音学習画面（図１１参照）へ遷移させる。なお、表示された発音記号がマウスオーバされた場合、学習者の指が発音記号に近づいた場合、当該発音記号の表示サイズを大きくしたり、表示位置を変更したりするように構成しても良い。学習対象の発音記号の選択が容易になる。

変形例３によれば、学習者は文章を用いて発音練習を行うことができる。

（変形例４：学習すべき発音の検索）
学習者が学習すべき発音の検索方法を説明する。
図１０は、学習すべき発音の検索画面７の一例を示す模式図である。学習管理装置１のサーバ制御部１１は、学習者が学習すべき発音の検索画面７を表示するための画面データを携帯通信機２へ送信する。携帯通信機２の制御部２０は、受信した画面データに基づいて、図１０に示すような検索画面７を表示する。

音素の数は学説によって異なるが、学習対象である英語の音素には、２６個の母音と、２４個の子音があると言われている。母音には、短母音、長母音、二重母音などがある。
検索画面７は、学習すべき音素を選択するための検索操作部７１を含む。検索操作部７１は、「子音編」ボタン７１ａ、「母音編」ボタン７１ｂ、及びテキスト入力部７１ｃを含む。「子音編」ボタン７１ａが操作された場合、学習管理装置１のサーバ制御部１１は、複数の子音それぞれに対応した複数の学習メニュー画像７３を携帯通信機２に提供する。「母音編」ボタン７１ｂが操作された場合、学習管理装置１のサーバ制御部１１は、複数の母音それぞれに対応した複数の学習メニュー画像７３を携帯通信機２に提供する。テキスト入力部７１ｃに単語又は文章が入力された場合、学習管理装置１のサーバ制御部１１は、入力された単語の綴りデータと、発音辞書２１ｂとに基づいて、当該単語の発音データを特定する。サーバ制御部１１は、特定された発音データと、当該発音データが示す発音を構成する複数の音素に対応した学習メニュー画像７３を携帯通信機２に提供する。携帯通信機２は、図１０に示すように、発音データに基づく発音記号と、学習メニュー画像７３を表示する。例えば、「my dog」がテキスト入力部７１ｃに入力された場合、音素「ｍ」、「ｄ」、「ｇ」…等の学習メニュー画像７３が表示される。なお、携帯通信機２の制御部２０が、複数の学習メニュー画像７３を学習管理装置１から取得する処理と、上記発音データを特定する処理と、該発音データが示す発音を構成する複数の音素に対応した学習メニュー画像７３を選択及び表示する処理とを実行しても良い。

学習メニュー画像７３は、音素を示す発音記号画像７３ａを中央に含む。また、学習メニュー画像７３は、音素の種類として、母音又は子音の種別を示すカテゴリ画像７３ｂと、当該音素の練習の進捗を示す進捗メータ画像７３ｃを表示する。進捗メータ画像７３ｃは、正しく発音できた練習問題の単語の数を、当該練習問題の単語の数で割った値をパーセント表示したものである。

携帯通信機２は、学習メニュー画像７３が選択された場合、選択された音素を示す情報を学習管理装置１へ送信する。学習管理装置１は、当該情報を受信し、選択された音素の発音を練習するための発音学習画面（図１１参照）を携帯通信機２へ送信する。学習者は、発音学習画面を通じて、所望の音素の発音練習を行うことができる。

変形例によれば、学習対象の音素を絞り込み、学習すべき音素を選択することができる。また学習者は、各音素の学習の進捗を参考にして学習対象の音素を選択することができる。

（変形例５：発音学習画面）
図１１は、発音学習画面８の一例を示す模式図である。学習管理装置１は、変形例３で説明したように、発音記号の画像が操作された場合、又は変形例４で説明した学習メニュー画像７３が操作された場合、選択された音素の発音を練習するための発音学習画面８を携帯通信機２に提供する。図１１は、音素「ｍ」の学習画面である。

発音学習画面８は、練習動画表示部８１と、撮影動画表示部８２とを含む。練習動画表示部８１は、練習対象の音素を発音する様子、当該音素を発音するための口及び舌の体操方法を説明するための動画を表示する。携帯通信機２の制御部２０は、動画データを学習管理装置１から取得し、取得した動画データを練習動画表示部８１に表示する。撮影動画表示部８２は、撮像された学習者の顔の動画を表示する。制御部２０は、携帯通信機２が備える図示しないカメラで学習者を撮影し、撮影して得た動画を撮影動画表示部８２に表示する。

学習対象の音素を含む複数の単語は、当該音素の出現位置によって分類される。発音学習画面８は、音素の出現位置によって分類された練習問題を選択するための練習問題選択部８３を含む。練習問題選択部８３には、学習対象の音素が語頭にくる単語を用いた練習問題、音素が語中にくる単語を用いた練習問題、音素が末尾にくる単語を用いた練習問題、学習対象の音素を含む文章を用いた練習問題を選択するためのものがある。練習問題選択部８３は、当該音素の練習の進捗を示す進捗メータ画像８３ａを表示する。進捗メータ画像８３ａは、正しく発音できた練習問題の単語の数を、当該練習問題の単語の数で割った値をパーセント表示したものである。

学習者によって例えば、図１１中左端にある練習問題選択部８３が操作された場合、学習対象の音素が語頭に現れる単語を用いた複数の練習問題パネル画像８４が表示される。

練習問題パネル画像８４は、学習対象の単語の綴り画像８４ａを中央に含む。また、練習問題パネル画像８４は、当該単語を発音する難易度を示す難易度表示部８４ｂを含む。更に、練習問題パネル画像８４は、当該単語の発音を行ったことがあるか否か、行ったことがある場合、発音の評価点数等を表示する習得状況表示部８４ｃを含む。習得状況表示部８４ｃは、例えば、評価点数をバーで表示すれば良い。

（変形例６：ゲーム）
発音練習にゲーム要素を付加しても良い。
図１２は、ゲーム画面９の一例を示す模式図である。学習管理装置１は、ゲーム情報を携帯通信機２へ提供する。携帯通信機２は、受信したゲーム情報に基づいて、図１２に示すゲーム画面９を表示する。ゲームの開始操作を受け付けた携帯通信機２の制御部２０は、練習問題の単語又は複数の単語からなる句を表した問題画像９１を表示部２３の上部に表示し、一定速度で下方へ移動させる。制御部２０は、複数の異なる問題画像９１を所定の時間間隔を空けて順に表示し、上方から下方へ落下させるように移動させる。つまり、問題画像９１が次々と上から落下してくるように表示される。

携帯通信機２の制御部２０は、ステップＳ１５－１６と同様の処理にして、学習者の音声データを取得し、当該音声データを綴りデータに変換する。そして、制御部２０は、学習者の発音から認識された単語又は句の綴りを発音画像表示部９２に表示する。図１２の例では「fewer」の綴りが表示されている。

次いで制御部２０は、表示部２３に表示されている問題画像９１に係る一又は複数の単語又は句それぞれの発音データと、学習者の発音データとを比較し、スコアを算出する。制御部２０は、算出されたスコアのうち、最も高いスコアを、学習者が発音した単語又は句として特定する。そして、制御部２０は、当該単語又は句の下部に算出されたスコアを示すスコアバー９１ａを表示する。スコアが１００点である場合、当該練習問題の単語をゲーム画面９から消去する。制御部２０は、算出されたスコアを積算し、積算されたスコアの値をスコア画像９３として表示部２３に表示する。学習者が単語又は句を正しく発音できる程、スコアの値が増加する。

また制御部２０は、いわば学習者の体力値を示す体力ゲージ画像９４を表示する。スコアが１００点に達すること無く、問題画像９１が表示部２３の下方、所定位置まで移動した場合、当該問題画像９１を表示部２３のゲーム画面９から消去すると共に、学習者の体力値から所定値を減算し、減算後の体力値を体力ゲージ画像９４に表示する。体力値がゼロになった場合、ゲームは終了する。また、用意されている練習問題が全てクリアされた場合、ゲームは終了する。
変形例６によれば、ゲーム感覚で発音を学習することができる。

このように構成することによって、正しい発音を行った学習者に無用な混乱を与えることを防ぐことができる。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 学習管理装置
２ 携帯通信機
３ 音声認識装置
３１ 学習済モデル
１１ サーバ制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
１４ａ ユーザＤＢ
１４ｂ 問題ＤＢ
２０ 制御部
２１ 記憶部
２１ａ コンピュータプログラム
２１ｂ 発音辞書
２１ｃ 係数テーブル
２１ｄ 発音訓練動画ＤＢ
２２ 無線通信部
２３ 表示部
２４ 操作部
２５ スピーカ
２６ マイク
Ｎ 通信網

Claims (5)

1. 外国語の学習者によって発音された学習対象の単語の音声データを取得し、
   取得した前記学習者の音声データを該音声データに対応する綴りデータに変換し、
   前記外国語の単語の綴りデータと、該単語の発音を記号で表した発音データとを対応付けて記憶する発音辞書を用いて、前記学習者の音声データから変換された前記綴りデータの発音データを特定し、
   前記学習者の音声データから変換された前記綴りデータの発音データと、前記学習対象の単語の発音データとを比較し、
   前記学習対象の単語の綴りと、前記学習対象の単語の発音データが示す記号と、前記学習者の音声データから変換された綴りデータが示す単語の綴りと、前記学習者の音声データから変換された前記綴りデータの発音データが示す記号とを表示し、
   特定された発音データと、前記学習対象の単語の発音データとが一致し、かつ変換された綴りデータ及び前記学習対象の単語の綴りデータが異なる場合、前記学習者の音声データから変換された綴りデータが示す単語の綴りに代えて、前記学習対象の単語の綴りを表示し、
   前記学習者の音声データから変換された前記綴りデータの発音データと、前記学習対象の単語の発音データとが一致している発音の記号、各発音データが一致していない発音の記号、前記学習対象の単語の発音データに比して前記学習者の音声データから変換された前記綴りデータの発音データが有する余分な発音の記号、不足している発音の記号の少なくとも一つを他の記号と異なる態様で、発音データの比較結果を表示する
   処理をコンピュータに実行させるためのコンピュータプログラム。
2. 音声データが入力された場合、該音声データに対応する単語の綴りを示す綴りデータが出力されるように学習された学習済モデルを用いて、前記学習者の音声データを該音声データに対応する綴りデータに変換する
   処理をコンピュータに実行させるための請求項１に記載のコンピュータプログラム。
3. 少なくとも余分な発音の記号の数と、不足している発音の記号の数とに基づいて、前記学習者の発音のスコアを算出し、
   算出されたスコアを前記学習者に提供する
   処理をコンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。
4. 外国語の学習者によって発音された学習対象の単語の音声データを取得し、
   取得した前記学習者の音声データを該音声データに対応する綴りデータに変換し、
   前記外国語の単語の綴りデータと、該単語の発音を記号で表した発音データとを対応付けて記憶する発音辞書を用いて、前記学習者の音声データから変換された前記綴りデータの発音データを特定し、
   前記学習者の音声データから変換された前記綴りデータの発音データと、前記学習対象の単語の発音データとを比較し、
   前記学習対象の単語の綴りと、前記学習対象の単語の発音データが示す記号と、前記学習者の音声データから変換された綴りデータが示す単語の綴りと、前記学習者の音声データから変換された前記綴りデータの発音データが示す記号とを表示し、
   特定された発音データと、前記学習対象の単語の発音データとが一致し、かつ変換された綴りデータ及び前記学習対象の単語の綴りデータが異なる場合、前記学習者の音声データから変換された綴りデータが示す単語の綴りに代えて、前記学習対象の単語の綴りを表示し、
   前記学習者の音声データから変換された前記綴りデータの発音データと、前記学習対象の単語の発音データとが一致している発音の記号、各発音データが一致していない発音の記号、前記学習対象の単語の発音データに比して前記学習者の音声データから変換された前記綴りデータの発音データが有する余分な発音の記号、不足している発音の記号の少なくとも一つを他の記号と異なる態様で、発音データの比較結果を表示する
   発音学習支援方法。
5. 外国語の学習者によって発音された学習対象の単語の音声データを取得する取得部と、
   取得した前記学習者の音声データを該音声データに対応する綴りデータに変換する変換処理部と、
   前記外国語の単語の綴りデータと、該単語の発音を記号で表した発音データとを対応付けて記憶する発音辞書を用いて、前記学習者の音声データから変換された前記綴りデータの発音データを特定する特定部と、
   該特定部にて特定された音声データと、前記学習対象の単語の発音データとを比較する比較部と、
   比較結果を前記学習者に表示する表示部と
   を備え、
   前記表示部は、
   前記学習対象の単語の綴りと、前記学習対象の単語の発音データが示す記号と、前記学習者の音声データから変換された綴りデータが示す単語の綴りと、前記学習者の音声データから変換された前記綴りデータの発音データが示す記号とを表示し、
   特定された発音データと、前記学習対象の単語の発音データとが一致し、かつ変換された綴りデータ及び前記学習対象の単語の綴りデータが異なる場合、前記学習者の音声データから変換された綴りデータが示す単語の綴りに代えて、前記学習対象の単語の綴りを表示し、
   前記学習者の音声データから変換された前記綴りデータの発音データと、前記学習対象の単語の発音データとが一致している発音の記号、各発音データが一致していない発音の記号、前記学習対象の単語の発音データに比して前記学習者の音声データから変換された前記綴りデータの発音データが有する余分な発音の記号、不足している発音の記号の少なくとも一つを他の記号と異なる態様で、発音データの比較結果を表示する
   発音学習支援装置。

Images