JP4840051B2

JP4840051B2 - 音声学習支援装置及び音声学習支援プログラム

Info

Publication number: JP4840051B2
Application number: JP2006263808A
Authority: JP
Inventors: 宗之小川
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2006-09-28
Filing date: 2006-09-28
Publication date: 2011-12-21
Anticipated expiration: 2026-09-28
Also published as: JP2008083434A

Description

本発明は、音声の学習を支援する音声学習支援装置及び音声学習支援プログラムに関する。

従来、音声出力の可能な電子辞書装置などの音声学習支援装置では、内部に記憶した模範音声と、ユーザによる発声音声とを比較して評価することにより、学習効果を高めるようになっている（例えば、特許文献１参照）。

ところで、近年、音声学習の手法として、シャドーイングやラギングなど、模範音声から所定のタイミングだけ遅れて復唱する手法が注目されている。なお、シャドーイングとは、いわゆる逐次リピーティングであり、直前に模範音声で発声された単語や文章を復唱する手法である。また、ラギングとは、いわゆる時差リピーティングであり、複数個だけ前に模範音声で発声された単語や文章を復唱する手法である。
特開平１１−２９６０６０号公報

しかしながら、従来の音声学習支援装置を用いてシャドーイングやラギングをしようとしても、初学者のユーザにとっては、どのタイミングで復唱すれば良いのかが分からず、音声学習について所望の学習効果を得ることは難しい。また、単純に復唱タイミングを表示することとしても、ラギングをする場合には、文中の何れの部分を復唱すれば良いのかが分からず、やはり所望の学習効果を得ることは難しい。

本発明の課題は、音声学習について所望の学習効果を得ることができる音声学習支援装置及び音声学習支援プログラムを提供することである。

請求項１記載の発明は、
記憶された各学習対象語句の模範音声を所定の順番で音声出力する音声出力手段を有し、この音声出力手段による模範音声の出力より所定の遅れ量だけ遅れたタイミングで前記各学習対象語句をユーザが復唱するための音声学習支援装置（例えば、図１の電子辞書装置１）であって、
前記各学習対象語句の少なくとも一部を表示する学習対象語句表示手段（例えば、図２の表示部２；図６のステップＳ３）と、
前記学習対象語句表示手段により表示されている前記各学習対象語句のうち、前記模範音声が出力されている順番の前記学習対象語句の対応位置を表示する模範音声部分表示手段（例えば、図２の表示部２；図６のステップＳ７）と、
前記学習対象語句表示手段により表示されている前記各学習対象語句のうち、前記模範音声の出力よりも前記所定の遅れ量だけ遅れたタイミングで、ユーザが復唱すべき順番の前記学習対象語句の対応位置を表示する復唱部分表示手段（例えば、図２の表示部２；図６のステップＳ７）と、
ユーザ操作により、前記所定の遅れ量を設定する復唱タイミング設定手段（例えば、図２のＣＰＵ６及び音声学習支援プログラム８４；図６のステップＳ６）と、
を備えることを特徴とする。

ここで、学習対象語句は、単語でも良いし、成句や複合語などの複数語でも良いし、文章でも良い。
また、各学習対象語句とは、学習対象語句を１つのみ有していても良いし、複数有していても良い。更に、各学習対象語句が学習対象語句を複数有している場合には、これらの学習対象語句は意味的に連続しなくても良いし、連続して物語等を構成していても良い。
また、各学習対象語句が記憶されるとは、例えばＲＯＭ等の不揮発性メモリに記録されることとしても良いし、ＲＡＭ等の揮発性メモリに一時保存されることとしても良い。

請求項２記載の発明は、請求項１記載の音声学習支援装置において、
ユーザによる復唱音声を取り込む復唱音声入力手段（例えば、図２の録音部４；図６のステップＳ１１）と、
前記復唱音声入力手段によって取り込まれた復唱音声の発音及び発声タイミングを評価する復唱音声評価手段（例えば、図２のＣＰＵ６及び音声学習支援プログラム８４；図７のステップＳ１３）と、
前記復唱音声評価手段による評価結果を表示する評価結果表示手段（例えば、図２の表示部２；図７のステップＳ１９）と、
を備えることを特徴とする。

請求項３記載の発明は、請求項２記載の音声学習支援装置において、
前記復唱音声入力手段は、
外部で伝播している外部音声を取り込む外部音声入力手段（例えば、図２の録音部４；図６のステップＳ１１）と、
前記外部音声入力手段によって取り込まれた外部音声から前記音声出力手段による出力音声を除去してユーザによる復唱音声を抽出するマスク手段（例えば、図２のＣＰＵ６及び音声学習支援プログラム８４；図７のステップＳ１２）と、
を有することを特徴とする。

請求項４記載の発明は、請求項１〜３の何れか一項に記載の音声学習支援装置において、
前記模範音声部分表示手段は、
前記学習対象語句表示手段に前記各学習対象語句のうち、前記模範音声が出力されている順番の前記学習対象語句を識別表示させる模範音声部分識別表示制御手段（例えば、図２のＣＰＵ６及び音声学習支援プログラム８４；図６のステップＳ７）を有し、
前記復唱部分表示手段は、
前記学習対象語句表示手段に前記各学習対象語句のうち、ユーザが復唱すべき順番の前記学習対象語句を識別表示させる復唱部分識別表示制御手段（例えば、図２のＣＰＵ６及び音声学習支援プログラム８４；図６のステップＳ７）を有することを特徴とする。

請求項５記載の発明は、請求項１〜４の何れか一項に記載の音声学習支援装置において、
前記学習対象語句表示手段は、
前記各学習対象語句を文字で表示することを特徴とする。

請求項６記載の発明は、請求項１〜４の何れか一項に記載の音声学習支援装置において、
前記学習対象語句表示手段は、
前記各学習対象語句の各文字を所定の記号に置換した状態で、当該各学習対象語句を表示することを特徴とする。

請求項１記載の発明によれば、各学習対象語句のうち、模範音声の出力よりも所定の遅れ量だけ遅れたタイミングで、ユーザが復唱すべき順番の学習対象語句の対応位置が表示されるので、どのタイミングで、どの部分を復唱すれば良いのかを、確実に把握することができる。また、各学習対象語句のうち、模範音声が出力されている順番の学習対象語句の対応位置が表示されるので、当該学習対象語句との関係により、どのタイミングで、どの部分を復唱すれば良いのかを、より確実に把握することができる。従って、シャドーイングやラギングにより、音声学習について所望の学習効果を得ることができる。またユーザ操作により前記所定の遅れ量が設定されるので、ユーザの学習レベルに応じて復唱タイミングを設定することができる。従って、音声学習について、より確実に所望の学習効果を得ることができる。

請求項２記載の発明によれば、ユーザによる復唱音声の評価結果が表示されるので、自己の学習レベルを把握することができる。

請求項３記載の発明によれば、取り込まれた外部音声からユーザによる復唱音声が抽出されるので、復唱音声の正確な評価結果を得ることができる。従って、自己の学習レベルを正確に把握することができる。

請求項４記載の発明によれば、表示される各学習対象語句のうち、模範音声が出力されている順番の学習対象語句と、ユーザが復唱すべき順番の学習対象語句とがそれぞれ識別表示されるので、どの部分を復唱すれば良いのかを、より確実に把握することができる。従って、音声学習について、より確実に所望の学習効果を得ることができる。

請求項６記載の発明によれば、各学習対象語句の各文字が所定の記号に置換された状態で、当該各学習対象語句が表示されるので、各学習対象語句が文字で表示される場合と比較して、ユーザによる模範音声の学習効果を高めることができる。

以下、図面を参照して、本発明に係る音声学習支援装置を適用した電子辞書装置の実施形態について説明する。

［外観構成］
図１（ａ）は本実施形態における電子辞書装置１の斜視外観図である。
この図に示すように、電子辞書装置１は、ディスプレイ１０、スピーカ１１、マイク１２及びキー群１３を備えている。

ディスプレイ１０は、ユーザによるキー群１３の操作に応じた文字や符号等、各種データを表示する部分であり、ＬＣＤ（Liquid Crystal Display）やＥＬＤ（Electronic Luminescent Display）等によって構成されている。

スピーカ１１は、ユーザによるキー群１３の操作に応じた見出語や例文の音声を出力する部分である。
マイク１２は、スピーカ１１による出力音声やユーザによる復唱音声など、外部で伝播している外部音声を取り込む部分であり、本実施の形態においてはスピーカ１１と一体化されている。

キー群１３は、ユーザが電子辞書装置１を操作するための各種キーを有している。具体的には、図１（ｂ）に示すように、キー群１３は、訳／決定キー１３ｂと、文字キー１３ｃと、カーソルキー１３ｅと、シフトキー１３ｆと、戻るキー１３ｇと、音声出力キー１３ｈと、録音キー１３ｉと、音声学習キー１３ｊ等とを有している。

訳／決定キー１３ｂは、検索の実行や、見出語の決定等に使用されるキーである。文字キー１３ｃは、ユーザによる文字の入力等に使用されるキーであり、本実施の形態においては“Ａ”〜“Ｚ”キーを備えている。

カーソルキー１３ｅは、ディスプレイ１０内で反転表示等により示されるカーソルの移動に使用されるキーである。シフトキー１３ｆは、日本語の語句を検索対象に設定するとき等に使用されるキーである。戻るキー１３ｇは、前回表示した画面に戻るとき等に使用されるキーである。

音声出力キー１３ｈは、スピーカ１１に見出語や例文を音声出力させるとき等に使用されるキーである。録音キー１３ｉは、マイク１２を介して外部音声を録音させるとき等に使用されるキーである。

音声学習キー１３ｊは、ユーザがシャドーイングやラギング等の音声学習をする場合などに使用されるキーである。

［内部構成］
図２は、電子辞書装置１の概略構成を示すブロック図である。
この図に示すように、電子辞書装置１は、表示部２、音声出力部３、録音部４、入力部５、ＣＰＵ６、フラッシュＲＯＭ８、ＲＡＭ７及びレジスタ９を備えている。

表示部２は、上述のディスプレイ１０を備えており、ＣＰＵ６から入力される表示信号に基づいて各種情報をディスプレイ１０に表示するようになっている。

音声出力部３は、上述のスピーカ１１を備えており、ＣＰＵ６から入力される音声出力信号に基づいて音声データをスピーカ１１に再生させるようになっている。

録音部４は、上述のマイク１２を備えており、マイク１２で取り込まれる外部音声をＣＰＵ６から入力される録音信号に基づいて録音し、音声データを作成するようになっている。

入力部５は、上述のキー群１３を備えており、押下されたキーに対応する信号をＣＰＵ６に出力するようになっている。

ＣＰＵ６は、入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、電子辞書装置１を統括的に制御するようになっている。具体的には、ＣＰＵ６は、入力部５から入力される操作信号等に応じてフラッシュＲＯＭ８に格納された各種プログラムを読み出し、当該プログラムに従って処理を実行する。そして、ＣＰＵ６は、処理結果をＲＡＭ７に保存するとともに、当該処理結果を表示・音声出力するための信号を表示部２や音声出力部３に適宜出力して、対応した内容を表示・音声出力させる。

フラッシュＲＯＭ８は、電子辞書装置１の各種機能を実現するためのプログラムやデータを記憶するメモリである。本実施の形態においては、フラッシュＲＯＭ８は、辞書検索プログラム８１と、音声合成プログラム８２と、音声認識プログラム８３と、本発明に係る音声学習支援プログラム８４と、辞書データベース群８５と、テキストデータ群８６と、単語帳テーブル８７等とを記憶している。

辞書検索プログラム８１は、従来より公知の辞書検索処理、即ち、ユーザ操作で指定された指定見出語に対応する説明情報を検索して表示する処理をＣＰＵ６に実行させるためのプログラムである。

音声合成プログラム８２は、例文などのテキストを音声データ化する処理をＣＰＵ６に実行させるプログラムである。なお、このような処理としては、従来より公知のＴＴＳ（Text to Speech）処理を用いることができる。

音声認識プログラム８３は、音声データで表現された各単語を認識してテキスト化する処理をＣＰＵ６に実行させるためのプログラムである。なお、このような処理としては、従来より公知の処理を用いることができる。

音声学習支援プログラム８４は、後述の音声学習支援処理（図６〜図７参照）をＣＰＵ６に実行させるためのプログラムである。

辞書データベース群８５は、少なくとも１種類の辞書データベースを有しており、本実施の形態においては、英和辞書の辞書データベース８５ａを有している。

この辞書データベース８５ａは、例えば図３に１例を示すように、複数の見出語と、この見出語を詳細に説明する説明情報とを対応付けて格納している。ここで、説明情報には、見出語のアクセントや、見出語を含む例文が含まれる。なお、これらの見出語や例文は、後述の音声学習支援処理（図６〜図７参照）において、音声の学習対象語句として用いられるようになっている。

また、この辞書データベース８５ａには、見出語や例文の模範音声についての音声データと、見出語や例文の属性を示す属性情報とが格納されている。更に、この属性情報としては、見出語の品詞や、難易度レベル、例文カテゴリが用いられている。

なお、本実施の形態における難易度レベルは、「０」〜「３」の４段階となっている。また、例文カテゴリとは例文の使用場面であり、例文の使用場面としては、例えば日常会話などがある。

テキストデータ群８６は、少なくとも１種類のテキストデータを有しており、本実施の形態においては、「o○ford Bookworms Library」のテキストデータ８６ａを有している。なお、このテキストデータ８６ａで表される物語中の各文章は、後述の音声学習支援処理（図６〜図７参照）において、音声の学習対象語句として用いられるようになっている。

単語帳テーブル８７には、説明情報の表示中に訳／決定キー１３ｂ等の操作により単語帳登録された見出語が、出典元の辞書種別と対応付けられて蓄積記憶されている。

また、上述の図２に示すように、ＲＡＭ７は、ＣＰＵ６が実行する各種プログラムや、これらプログラムの実行に係るデータ等を一時的に保持するメモリであり、本実施の形態においては、音声学習条件記憶領域７０と、学習対象語句記憶領域７１とを備えている。

音声学習条件記憶領域７０には、後述の音声学習支援処理（図６〜図７参照）においてユーザに設定される音声学習条件が記憶されるようになっており、より詳細には、図４に示すように、音声学習の条件として、「復唱レベル」、「学習対象語句のカテゴリ」、「発声速度」、「品詞」、「例文カテゴリ」、「難易度レベル」、「やり直しの有無」、「文字隠しの有無」、「発音記号表示の有無」、「インジケータ表示の有無」及び「出題数」が２進数で記憶されるようになっている。

ここで、「復唱レベル」とは、ユーザによる復唱の難易度レベルであり、本実施の形態においては、同一の学習対象語句についてのスピーカ１１による音声出力タイミングから、ユーザによる復唱タイミングまでの遅れ量を示している。具体的には、この「復唱レベル」は、シャドーイングを表すレベル「０」と、１語句遅れのラギングを表すレベル「１」と、２語句遅れのラギングを表すレベル「２」と、３語句遅れのラギングを表すレベル「３」と、の何れかとなっている。

また、「学習対象語句のカテゴリ」とは、学習対象語句のカテゴリとして、「単語」と「例文」と「物語」（物語中の文章）との何れかを示している。

また、「発声速度」とは、スピーカ１１による出力音声及びユーザによる復唱音声の発声速度を示している。

また、「品詞」とは、学習対象語句としての単語の品詞を示しており、「例文カテゴリ」とは、学習対象語句としての例文のカテゴリを示している。

また、「難易度レベル」とは、学習対象語句の難易度レベルを示しており、辞書データベース８５ａに属性情報として格納された難易度レベルと対応している。

また、「やり直しの有無」とは、同一の学習対象語句について音声学習を繰り返すか否かを示している。

また、「文字隠しの有無」とは、各学習対象語句を文字で表示するか、或いは、各文字を所定の記号に置換して間接的に表示するかを示している。

また、「発音記号表示の有無」とは、学習対象語句についての発音記号の表示の有無を示している。

また、「インジケータ表示の有無」とは、後述の図８に示すように、所定の順番で音声出力される各学習対象語句のうち、音声出力部３により模範音声が出力されている順番の学習対象語句（以下、模範音声部分とする）と、ユーザが復唱すべき順番の学習対象語句（以下、復唱部分とする）との相対的な位置関係を模式的に表す復唱インジケータＦの表示の有無を示している。ここで、復唱インジケータＦにおける「□」，「■」及び「★」の記号は表示中の学習対象語句全体における各学習対象語句の位置を示しており、このうち「■」の記号は音声出力部３による模範音声部分、「★」の記号はユーザが復唱すべき復唱部分を示している。

また、「出題数」とは、模範音声の出力によって出題される学習対象語句の個数を示している。

学習対象語句記憶領域７１には、音声学習条件記憶領域７０内の情報に基づいて辞書データベース８５ａ等から抽出された学習対象語句がそれぞれ記憶されるようになっており、より詳細には、図５に示すように、学習対象語句と、当該学習対象語句の属性情報、音声データ及び模範音声情報とが、データ番号に対応付けて記憶されるようになっている。なお、本実施の形態においては、模範音声情報として発音記号が用いられているが、予め模範音声について測定された音声波形を用いても良い。

レジスタ９には、後述の音声学習支援処理（図６〜図７参照）において、各学習対象語句の音声データが発声順序に従って記憶されるようになっている。

［音声学習支援処理］
続いて、電子辞書装置１の動作について説明する。図６〜図７は、ＣＰＵ６がフラッシュＲＯＭ８から音声学習支援プログラム８４を読み出して実行する音声学習支援処理の動作を説明するためのフローチャートである。

まず、図６に示すように、ユーザにより音声学習キー１３ｊが操作された後、キー群１３を介して音声学習条件が設定されると（ステップＳ１）、ＣＰＵ６は、当該音声学習条件を音声学習条件記憶領域７０に記憶させた後、この音声学習条件に基づいて辞書データベース８５ａやテキストデータ８６ａから学習対象語句を抽出して学習対象語句記憶領域７１に記憶させるとともに、各学習対象語句の音声データを発声順序に従ってレジスタ９に記憶させる（ステップＳ２）。但し、これらの処理においては、単語帳テーブル８７に記憶された見出語をＣＰＵ６が学習対象語句として抽出することとしても良いし、ユーザがキー群１３を介して各学習対象語句を指定することとしても良い。

なお、本実施の形態においては、ＣＰＵ６は、音声学習条件記憶領域７０内の「学習対象語句のカテゴリ」が「単語」または「例文」である場合には、各学習対象語句の発声順序をランダムに決定し、「物語」である場合には、当該物語中の順序に従って発声順序を決定するようになっている。また、音声学習条件記憶領域７０内の「学習対象語句のカテゴリ」が「物語」の場合など、電子辞書装置１内に学習対象語句の音声データがない場合には、ＣＰＵ６は、音声合成プログラム８２を実行することにより各学習対象語句のテキストデータから音声データを作成し、レジスタ９に記憶させるようになっている。

次に、ＣＰＵ６は、各学習対象語句を発声順序に従ってディスプレイ１０に表示させるとともに（ステップＳ３）、先頭の学習対象語句、つまり、レジスタ９に音声データの記憶された先頭の学習対象語句を模範音声部分として指定する（ステップＳ４）。なお、このとき、ＣＰＵ６は、音声学習条件記憶領域７０内の「文字隠しの有無」の情報に基づいて各学習対象語句を文字または所定の記号で表示させるとともに、「発音記号表示の有無」，「インジケータ表示の有無」の情報に基づいて発音記号や復唱インジケータＦを表示させる。

次に、ＣＰＵ６は、レジスタ９内の情報に基づいて、指定された学習対象語句を音声出力した後（ステップＳ５）、音声学習条件記憶領域７０における「復唱レベル」の情報に基づいて、表示中の学習対象語句全体における復唱部分と、その復唱タイミングとを設定する（ステップＳ６）。

なお、本実施の形態においては、「復唱レベル」が「１」以上であり、当該「復唱レベル」に対応する語句分だけ模範音声部分の学習対象語句よりも後（レジスタ９の先頭側）の学習対象語句がレジスタ９に記憶されていない場合には、ＣＰＵ６は、先頭の学習対象語句を復唱部分に設定する。例えば、「復唱レベル」が「１」であり、模範音声部分の学習対象語句よりも１語句分後の学習対象語句がレジスタ９に記憶されていない場合には、ＣＰＵ６は、先頭の学習対象語句を復唱部分に設定する。

次に、ＣＰＵ６は、ディスプレイ１０に表示されている学習対象語句全体において、スピーカ１１による模範音声部分と、ユーザが復唱すべき復唱部分とをそれぞれ識別表示させる（ステップＳ７）。また、ディスプレイ１０に復唱インジケータＦが表示されている場合には、当該復唱インジケータＦ内で、模範音声部分と復唱部分とをそれぞれ識別表示させる。但し、これら復唱部分の識別表示については、ＣＰＵ６は、ステップＳ６で設定された復唱タイミングで識別表示を行わせる。なお、この復唱部分の識別表示タイミングで、ユーザが復唱すべき旨の報知音をスピーカ１１に出力させることとしても良い。

次に、ＣＰＵ６は、音声学習条件記憶領域７０内の「復唱レベル」が「０」であるか否か、つまり、シャドーイングが設定されているか否かを判定し（ステップＳ８）、シャドーイングが設定されていると判定した場合（ステップＳ８；Ｙｅｓ）には、ステップＳ５で音声出力した学習対象語句についてのユーザの復唱タイミングまで待機した後（ステップＳ９）、後述のステップＳ１１の処理を行う。

また、ステップＳ８においてシャドーイングが設定されていないと判定した場合（ステップＳ８；Ｎｏ）には、ＣＰＵ６は、現時点がユーザの復唱タイミングであるか否かを判定し（ステップＳ１０）、復唱タイミングでないと判定した場合（ステップＳ１０；Ｎｏ）には後述のステップＳ１６の処理に移行する。

一方、ステップＳ１０において復唱タイミングであると判定した場合（ステップＳ１０；Ｙｅｓ）には、ＣＰＵ６は、外部で伝播している外部音声をマイク１２で取り込む（ステップＳ１１）。

次に、図７に示すように、ＣＰＵ６は、スピーカ１１の出力音声に起因する外部音声をマスクして、外部音声からユーザの復唱音声を抽出する（ステップＳ１２）。なお、このとき、ＣＰＵ６は、音声認識プログラム８３を実行してユーザの復唱音声のテキストデータと、学習対象語句記憶領域７１における復唱部分のテキストデータとを比較することにより、復唱部分に対応する復唱音声のみを抽出することとしても良い。

次に、ＣＰＵ６は、学習対象語句記憶領域７１内の「模範音声情報」や、音声学習条件記憶領域７０内の「復唱レベル」及び「発声速度」に基づいてユーザの復唱音声の発音及び発声タイミングを評価する（ステップＳ１３）。なお、この評価には任意の基準を用いることができる。

次に、ＣＰＵ６は、ステップＳ１３での評価結果が所定の許容範囲内に収まるか否かを判定し（ステップＳ１４）、収まらないと判定した場合（ステップＳ１４；Ｎｏ）には、発声をやり直すべき旨（本実施の形態においては、「No Good! Again!」）を表示させるとともに、評価の悪かった学習対象語句の復唱タイミングまで模範音声部分の指定を戻し（ステップＳ１５）、図６に示すように、上述のステップＳ５の処理に移行する。

一方、図７に示すように、ステップＳ１４において評価結果が許容範囲内に収まると判定した場合（ステップＳ１４；Ｙｅｓ）には、ＣＰＵ６は、次の学習対象語句があるか否か、つまり、レジスタ９に次の学習対象語句の音声データが記憶されているか否かを判定し（ステップＳ１６）、記憶されていると判定した場合（ステップＳ１６；Ｙｅｓ）には、当該学習対象語句を模範音声部分に指定し（ステップＳ１７）、図６に示すように、上述のステップＳ５の処理に移行する。

また、図７に示すように、ステップＳ１６において次の学習対象語句が記憶されていないと判定した場合（ステップＳ１６；Ｎｏ）には、ＣＰＵ６は、全ての学習対象語句の発音及び発声タイミングを評価したか否かを判定し（ステップＳ１８）、評価していないと判定した場合（ステップＳ１８；Ｎｏ）には、図６に示すように、上述のステップＳ６の処理に移行する。

そして、図７に示すように、ステップＳ１８において全ての学習対象語句の発音及び発声タイミングを評価したと判定した場合（ステップＳ１８；Ｙｅｓ）には、ＣＰＵ６は、各学習対象語句についてのユーザの復唱音声の評価結果を表示し（ステップＳ１９）、音声学習支援処理を終了する。

なお、上記のステップＳ１９の処理において、ＣＰＵ６は、評価結果とともにカーソルを表示させ、当該カーソルで選択された学習対象語句については、模範音声とユーザの復唱音声とをそれぞれスピーカ１１に音声出力させるようになっている。

また、以上の音声学習支援処理においては、所定のユーザ操作に基づいて、直前に音声出力された学習対象語句を再度音声出力させることや、音声学習支援処理を強制終了させることが可能となっている。

［動作例］
続いて、上記の音声学習支援処理を具体的に説明する。

（動作例（１））
まず、図８（ａ）に示すように、ユーザにより音声学習条件の「復唱レベル」が「１」に、「学習対象語句のカテゴリ」が「単語」に、「文字隠し」が「なし」に、「発声速度」が「低速」に設定されると（ステップＳ１）、辞書データベース８５ａから学習対象語句（本動作例では「apple」、「melon」、「orange」，…）が抽出されてランダムな順序でレジスタ９に記憶される（ステップＳ２）。なお、図８（ａ）では、「復唱レベル」の「１」が選択されている状態を示しており、「復唱レベル」の「１」に対応する説明文がディスプレイ１０の下端に表示されている。

次に、図８（ｂ）に示すように、学習対象語句が発声順序に従って「melon」、「orange」、「apple」，…の順に表示されるとともに（ステップＳ３）、復唱インジケータＦが表示された後、先頭の学習対象語句「melon」が模範音声部分として指定され（ステップＳ４）、音声出力される（ステップＳ５）。

また、ユーザが復唱すべき復唱部分が先頭の学習対象語句「melon」に設定されるとともに、その復唱タイミングが１語句先の学習対象語句「orange」の音声出力タイミングに設定される（ステップＳ６）。

次に、表示されている学習対象語句「melon」、「orange」、「apple」，…における模範音声部分「melon」が表示エリア右端の識別記号Ｋ１によって識別表示されるとともに、復唱インジケータＦ内で「■」の記号により識別表示される（ステップＳ７）。なお、この時点では、復唱部分「melon」は復唱タイミングとなっていないため、識別表示されない。

次に、現時点がユーザの復唱タイミングでないと判定され（ステップＳ１０；Ｎｏ）、レジスタ９に次の学習対象語句「orange」の音声データが記憶されていると判定されると（ステップＳ１６；Ｙｅｓ）、当該学習対象語句「orange」が模範音声部分に指定され（ステップＳ１７）、図８（ｃ）に示すように、音声出力される（ステップＳ５）。

また、ユーザが復唱すべき復唱部分が模範音声部分「orange」よりも１語句後の学習対象語句「melon」に設定されるとともに、その復唱タイミングが学習対象語句「orange」の音声出力タイミングに設定される（ステップＳ６）。

次に、表示されている学習対象語句「melon」、「orange」、「apple」，…における模範音声部分「orange」が表示エリア右端の識別記号Ｋ１によって識別表示されるとともに、復唱インジケータＦ内で「■」の記号により識別表示される（ステップＳ７）。また、復唱部分「melon」の復唱タイミングで、表示中の学習対象語句「melon」、「orange」、「apple」，…における復唱部分「melon」が表示エリア左端の識別記号Ｋ２によって識別表示されるとともに、復唱インジケータＦ内で「★」の記号により識別表示される。

次に、現時点がユーザの復唱タイミングであると判定された後（ステップＳ１０；Ｙｅｓ）、外部音声がマイク１２で取り込まれ（ステップＳ１１）、取り込まれた外部音声からユーザの復唱音声が抽出される（ステップＳ１２）。

次に、ユーザの復唱音声の発音及び発声タイミングが評価され（ステップＳ１３）、評価結果が許容範囲内に収まると判定された後（ステップＳ１４；Ｙｅｓ）、レジスタ９に次の学習対象語句「apple」の音声データが記憶されていると判定され（ステップＳ１６；Ｙｅｓ）、模範音声部分に指定される（ステップＳ１７）。

以降、図８（ｄ）に示すように、上記と同様の処理が繰り返される。なお、図８（ｄ）では、ユーザによる復唱が復唱タイミングよりも遅れた状態を示している。

そして、次の学習対象語句がレジスタ９に記憶されておらず（ステップＳ１６；Ｎｏ）、全ての学習対象語句の発音及び発声タイミングが評価されたと判定されると（ステップＳ１８；Ｙｅｓ）、図８（ｅ）に示すように、ユーザの復唱音声の評価結果が表示され（ステップＳ１９）、音声学習支援処理が終了する。

なお、以上の動作例（１）においては、「学習対象語句のカテゴリ」が「単語」に設定された場合について説明したが、「例文」に設定された場合には、例えば図９（ａ）に示すように、学習対象語句「What’s the matter?」、「I lost my credit card.」、「there’s been an accident.」，…について、同様の処理が行われる。

また、「発音記号表示」が「なし」に設定された場合について説明したが、「あり」に設定された場合には、例えば図９（ｂ）に示すように、各学習対象語句について発音記号が表示された状態で、同様の処理が行われる。

（動作例（２））
まず、ユーザにより音声学習条件の「復唱レベル」が「２」に、「学習対象語句のカテゴリ」が「物語」に、「文字隠し」が「なし」に設定され（ステップＳ１）、テキストデータ８６ａの「o○ford Bookworms Library」の各文章が学習対象語句に指定されると、テキストデータ８６ａから学習対象語句としての文章「Tom and his friends」、「Tom! Tom! Where are you?」、「No answer」，…）が抽出されてレジスタ９に記憶される（ステップＳ２）。

次に、図１０（ａ）に示すように、各学習対象語句が発声順序、本動作例では物語中の順序に従って「Tom and his friends」、「Tom! Tom! Where are you?」、「No answer」，…の順に表示されるとともに（ステップＳ３）、先頭の学習対象語句「Tom and his friends」が模範音声部分として指定され（ステップＳ４）、音声出力される（ステップＳ５）。

また、ユーザが復唱すべき復唱部分が先頭の学習対象語句「Tom and his friends」に設定されるとともに、その復唱タイミングが２語句先の学習対象語句「No answer」の音声出力タイミングに設定される（ステップＳ６）。

次に、表示されている学習対象語句「Tom and his friends」、「Tom! Tom! Where are you?」、「No answer」，…における模範音声部分「Tom and his friends」が網掛けＫ３によって識別表示される（ステップＳ７）。なお、この時点では、復唱部分「Tom and his friends」は復唱タイミングとなっていないため、識別表示されない。

次に、現時点がユーザの復唱タイミングでないと判定され（ステップＳ１０；Ｎｏ）、レジスタ９に次の学習対象語句「Tom! Tom! Where are you?」の音声データが記憶されていると判定されると（ステップＳ１６；Ｙｅｓ）、図１０（ｂ）に示すように、当該学習対象語句「Tom! Tom! Where are you?」が模範音声部分に指定され（ステップＳ１７）、音声出力される（ステップＳ５）。

次に、表示されている学習対象語句「Tom and his friends」、「Tom! Tom! Where are you?」、「No answer」，…における模範音声部分「Tom! Tom! Where are you?」が網掛けＫ３によって識別表示される（ステップＳ７）。なお、この時点では、復唱部分「Tom and his friends」は復唱タイミングとなっていないため、識別表示されない。

次に、現時点がユーザの復唱タイミングでないと判定され（ステップＳ１０；Ｎｏ）、レジスタ９に次の学習対象語句「No answer」の音声データが記憶されていると判定されると（ステップＳ１６；Ｙｅｓ）、当該学習対象語句「No answer」が模範音声部分に指定され（ステップＳ１７）、図１０（ｃ）に示すように、音声出力される（ステップＳ５）。

また、ユーザが復唱すべき復唱部分が先頭の学習対象語句、つまり、模範音声部分「No answer」よりも２語句後の学習対象語句「Tom and his friends」に設定されるとともに、その復唱タイミングが学習対象語句「No answer」の音声出力タイミングに設定される（ステップＳ６）。

次に、表示されている学習対象語句「Tom and his friends」、「Tom! Tom! Where are you?」、「No answer」，…における模範音声部分「No answer」が下線Ｋ４によって識別表示される。また、復唱部分「Tom and his friends」の復唱タイミングで、学習対象語句「Tom and his friends」、「Tom! Tom! Where are you?」、「No answer」，…における復唱部分「No answer」が下線Ｋ４によって識別表示される。

次に、現時点がユーザの復唱タイミングであると判断された後（ステップＳ１０；Ｙｅｓ）、外部音声がマイク１２で取り込まれ（ステップＳ１１）、取り込まれた外部音声からユーザの復唱音声が抽出される（ステップＳ１２）。

次に、ユーザの復唱音声の発音及び発声タイミングが評価され（ステップＳ１３）、評価結果が許容範囲内に収まると判定された後（ステップＳ１４；Ｙｅｓ）、レジスタ９に次の学習対象語句「Where is that boy?」の音声データが記憶されていると判定され（ステップＳ１６；Ｙｅｓ）、模範音声部分に指定される（ステップＳ１７）。

以降、図１０（ｄ）に示すように、同様の処理が繰り返された後、次の学習対象語句がレジスタ９に記憶されておらず（ステップＳ１６；Ｎｏ）、全ての学習対象語句の発音及び発声タイミングが評価されたと判定されると（ステップＳ１８；Ｙｅｓ）、ユーザの復唱音声の評価結果が表示され（ステップＳ１９）、音声学習支援処理が終了する。

なお、以上の動作例（２）においては、「文字隠しの有無」が「なし」に設定された場合について説明したが、「あり」に設定された場合には、例えば図１１に示すように、各学習対象語句「Tom and his friends」、「Tom! Tom! Where are you?」、「No answer」，…の各文字が「＊」の記号に置換された状態で、同様の処理が行われる。

以上の電子辞書装置１によれば、図６のステップＳ５，ステップＳ７や、図８〜図１１に示したように、各学習対象語句のうちの復唱部分が当該復唱部分の復唱タイミングで識別記号Ｋ２や復唱インジケータＦ、下線Ｋ４等で表示されるので、どのタイミングで、どの部分を復唱すれば良いのかを、確実に把握することができる。また、各学習対象語句のうちの模範音声部分が識別記号Ｋ１や復唱インジケータＦ、網掛けＫ３等で表示されるので、当該模範音声部分との関係により、どのタイミングで、どの部分を復唱すれば良いのかを、より確実に把握することができる。従って、シャドーイングやラギングにより、音声学習について所望の学習効果を得ることができる。

また、図６のステップＳ７や、図８〜図１１に示したように、表示される学習対象語句全体における模範音声部分及び復唱部分がそれぞれ識別記号Ｋ１，Ｋ２や網掛けＫ３、下線Ｋ４等で識別表示されるので、どの部分を復唱すれば良いのかを、より確実に把握することができる。従って、音声学習について、より確実に所望の学習効果を得ることができる。

また、図６のステップＳ１，ステップＳ６や図８に示したように、ユーザ操作により音声出力タイミングから復唱タイミングまでの遅れ量が「復唱レベル」として入力され、この遅れ量に基づいて復唱タイミングが設定されるので、ユーザの学習レベルに応じて復唱タイミングを設定することができる。従って、音声学習について、より確実に所望の学習効果を得ることができる。

また、図１１に示したように、各学習対象語句の各文字が「＊」の記号に置換された状態で当該各学習対象語句が表示されるので、各学習対象語句が文字で表示される場合と比較して、ユーザによる模範音声の学習効果を高めることができる。

また、図７のステップＳ１３，ステップＳ１９や、図８に示したように、ユーザによる復唱音声の評価結果が表示されるので、自己の学習レベルを把握することができる。

また、図７のステップＳ１２に示したように、マイク１２で取り込まれた外部音声からユーザによる復唱音声が抽出されるので、復唱音声の正確な評価結果を得ることができる。従って、自己の学習レベルを正確に把握することができる。

なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、ＣＰＵ６は学習対象語句を辞書データベース８５ａや単語帳テーブル８７、テキストデータ８６ａから抽出することとして説明したが、以前に抽出した学習対象語句をユーザ操作に基づいて所定の記憶領域に記憶しておき、この記憶領域から学習対象語句を抽出することとしても良い。ここで、学習対象語句を記憶領域に記憶させるタイミングとしては、復唱音声について評価結果が表示されたときや、スピーカ１１により模範音声が音声出力されたとき、ユーザにより復唱音声が発声されたとき等が考えられる。

本発明に係る音声学習支援装置を適用した電子辞書装置の概略構成を示す図であり、（ａ）は概観図であり、（ｂ）は部分平面図である。本発明に係る音声学習支援装置を適用した電子辞書装置の概略構成を示すブロック図である。辞書データベースのデータ構造を示す図である。音声学習条件記憶領域のデータ構造を示す図である。学習対象語句記憶領域のデータ構造を示す図である。音声学習支援処理を示すフローチャートである。音声学習支援処理を示すフローチャートである。ディスプレイの表示内容を示す図である。ディスプレイの表示内容を示す図である。ディスプレイの表示内容を示す図である。ディスプレイの表示内容を示す図である。

符号の説明

１電子辞書装置（音声学習支援装置）
２表示部（模範音声部分表示手段、復唱部分表示手段、評価結果表示手段、
学習対象語句表示手段）
４録音部（復唱音声入力手段、外部音声入力手段）
６ＣＰＵ（復唱タイミング設定手段、復唱音声評価手段、マスク手段、
模範音声部分識別表示制御手段、復唱部分識別表示制御手段）
８４音声学習支援プログラム

Claims

記憶された各学習対象語句の模範音声を所定の順番で音声出力する音声出力手段を有し、この音声出力手段による模範音声の出力より所定の遅れ量だけ遅れたタイミングで前記各学習対象語句をユーザが復唱するための音声学習支援装置であって、
前記各学習対象語句の少なくとも一部を表示する学習対象語句表示手段と、
前記学習対象語句表示手段により表示されている前記各学習対象語句のうち、前記模範音声が出力されている順番の前記学習対象語句の対応位置を表示する模範音声部分表示手段と、
前記学習対象語句表示手段により表示されている前記各学習対象語句のうち、前記模範音声の出力よりも前記所定の遅れ量だけ遅れたタイミングで、ユーザが復唱すべき順番の前記学習対象語句の対応位置を表示する復唱部分表示手段と、
ユーザ操作により、前記所定の遅れ量を設定する復唱タイミング設定手段と、
を備えることを特徴とする音声学習支援装置。
請求項１記載の音声学習支援装置において、
ユーザによる復唱音声を取り込む復唱音声入力手段と、
前記復唱音声入力手段によって取り込まれた復唱音声の発音及び発声タイミングを評価する復唱音声評価手段と、
前記復唱音声評価手段による評価結果を表示する評価結果表示手段と、
を備えることを特徴とする音声学習支援装置。
請求項２記載の音声学習支援装置において、
前記復唱音声入力手段は、
外部で伝播している外部音声を取り込む外部音声入力手段と、
前記外部音声入力手段によって取り込まれた外部音声から前記音声出力手段による出力音声を除去してユーザによる復唱音声を抽出するマスク手段と、
を有することを特徴とする音声学習支援装置。
請求項１〜３の何れか一項に記載の音声学習支援装置において、
前記模範音声部分表示手段は、
前記学習対象語句表示手段に前記各学習対象語句のうち、前記模範音声が出力されている順番の前記学習対象語句を識別表示させる模範音声部分識別表示制御手段を有し、
前記復唱部分表示手段は、
前記学習対象語句表示手段に前記各学習対象語句のうち、ユーザが復唱すべき順番の前記学習対象語句を識別表示させる復唱部分識別表示制御手段を有することを特徴とする音声学習支援装置。
請求項１〜４の何れか一項に記載の音声学習支援装置において、
前記学習対象語句表示手段は、
前記各学習対象語句を文字で表示することを特徴とする音声学習支援装置。
請求項１〜４の何れか一項に記載の音声学習支援装置において、
前記学習対象語句表示手段は、
前記各学習対象語句の各文字を所定の記号に置換した状態で、当該各学習対象語句を表示することを特徴とする音声学習支援装置。
表示手段と、各学習対象語句の模範音声を記憶する記憶手段と、この記憶された各学習対象語句の模範音声を所定の順番で音声出力する音声出力手段と、を備えた電子機器のコンピュータを制御するための音声学習支援プログラムであって、
前記各学習対象語句の少なくとも一部を表示する学習対象語句表示機能と、
前記学習対象語句表示機能により表示されている前記各学習対象語句のうち、前記模範音声が出力されている順番の前記学習対象語句の対応位置を表示する模範音声部分表示機能と、
前記学習対象語句表示機能により表示されている前記各学習対象語句のうち、前記模範音声の出力よりも所定の遅れ量だけ遅れたタイミングで、ユーザが復唱すべき順番の前記学習対象語句の対応位置を表示する復唱部分表示機能と、
ユーザ操作により、前記所定の遅れ量を設定する復唱タイミング設定機能と、
を前記コンピュータに実現させるための音声学習支援プログラム。