JP5057764B2 - 音声合成装置及び音声合成プログラム - Google Patents

Description

本発明は、英文などの外国語の文章をリスニングして学習するのに便利な音声合成装置及び音声合成プログラムに関する。

従来、文書を記憶する文書データベースと、文書データベースに記憶された文書中の語句より、音声出力された場合に同定し難い語句を判別し、同定し難いと判別された語句を、同定し易い同意の語句に置換する置換部と、置換後の文書を合成音声により読み上げる音声合成部と、音声出力部とを備えた文書処理装置が提案されている（例えば、特許文献１参照）。

すなわち、この文書処理装置は、読み出した文章を読み上げる場合に、音声出力された情報を聞いているユーザがその意味を理解できない語句を自動的に判定して、理解し易い語句に置き換えて、文章を読み上げるようになっている。例えば、「企業は利潤を追求して」という箇所があり、「追求する」が置換語辞書に置換対象語として登録されていた場合、「追求する」を置換語の「追い求める」に置換する。ここで「追求する」は活用語なので、置換語を同じ活用形である連用形に変換して「追い求め（て）」とし、「企業は利潤を追い求めて」と読み上げるようになっている。また、難語については、解析辞書中にマークを付けておくことで、難語でない語と置き換えるようになっている。さらに、外国語の単語の場合には、対訳辞書を用意しておき、その語の訳語を求め、それを読み上げるようにしたり、置き換えるのでなく原語の単語に訳語を追加する形で読み上げるようになっている。

また、機密を要する内容の受信時には、特定の単語を別の単語に読みかえるようにした音声合成装置も提案されている（例えば、特許文献２参照）。
特開平７−１２１５３７号公報 特開平６−２１６８３１号公報

上記特許文献１の文書処理装置では、ユーザがその意味を理解できない語句を自動的に判定して、理解し易い語句に自動的に置き換えるようになっているが、ユーザがその意味を理解できない語句は、ユーザの習熟度により異なるものであり、あるユーザが一つの語句を理解できないからといって、別のユーザも同じ語句が理解できないというものではない。そのため、別のユーザにとっては、このように語句を置き換えられても何ら意味を持たないことになる。特に、上記特許文献１の文書処理装置は日本語がベースであるが、外国語の場合には、本来理解可能な語句を別の語句に置き換えてしまうことによって、リスニングの学習という意味ではむしろマイナス効果となってしまうといった問題があった。また、外国語のリスニングの学習という観点からすれば、置き換える語句の内容や置き換えるタイミング等を充分に考慮しなければならないが、上記特許文献１の文書処理装置はそのような外国語のリスニングの学習といったことには全く対応していないため、置き換える語句の内容や置き換えるタイミング等は全く考慮されていない。

また、上記特許文献２の音声合成装置は、機密を要する内容の受信時には、特定の単語を別の単語に読みかえることによって、通信内容の機密保持を図ったものであり、外国語のリスニングの学習といったことには全く対応していない。

一方、大学入試試験では、２００６年よりリスニングテストが実施され、リスニングによる学習は、今後重要になると考えられる。そのリスニングの学習において、従来は、リスニング中に難しい語句があり理解できない場合は、それをメモって、辞書などで調べる必要があった。また、難しい語句であるとの判断は、ユーザの習熟度により千差万別であり、全てのユーザに対して的確に難しい語句を理解できる語句に置き換えることは困難である。

本発明はかかる問題点を解決すべく創案されたもので、その目的は、英文などの文章をリスニングして学習するときに、聞き取れない語句や解らない語句の位置をユーザが指示することによって、次の音声出力時にはその語句を理解し易い語句に置き換えて文章を読み上げるようにした音声合成装置及び音声合成プログラムを提供することにある。

上記課題を解決するため、本発明の音声合成装置は、文章を記憶する文章記憶手段と、前記文章記憶手段から任意の文章を読み出す読出し手段と、前記文章を音声で出力する音声合成手段とを備え、前記読出し手段により読み出された文章を前記音声合成手段により音声で出力する音声合成装置において、前記文章を音声合成で音声出力中に語句を指示する指示手段と、前記指示手段により指示された語句を特定する語句特定手段と、前記語句特定手段で特定された語句を他の語句に置き換える置換手段と、を備え、前記指示手段により指示された語句を前記置換手段によって置き換えた他の語句に置き換えて音声出力することを特徴とするものである。

前記指示手段は、読み上げられている語句が解らないとき、ユーザがすぐに決定キーを押下することにより、その語句を指示（以下、マーキングともいう）する。また、マーキングは、表示された文章から解らない語句をペンなどで選択するようにしてもよい。さらに、文章のカンマや段落などの区切った一文単位でマーキングするようにしてもよい。

前記語句特定手段は、文章を読み上げる開始の時間と、マーキングされた時間を記憶し、経過した時間と読み上げる時間によりマーキングされた語句を特定する。また、実際に経過した時間より若干短くするように補正した時間で語句を特定してもよい。さらに、読み上げが終わった時点でマーキングされる場合があるので、マーキングされた１つ前の語句を特定するようにしてもよい。

前記置換手段は、類義語辞書や英英辞書で検索した結果、一致した言葉に置き換える。

前記制御切換手段は、マーキングされた難しい語句を見出し語にして、類義語辞書や英英辞書のデータを検索した結果、一致した語句に置き換える。そして、置き換えられた語句で表示する。この場合、マーキングされた語句を含んだ一文単位を置き換えてもよい。

この場合、文章中の置き換えられた語句の位置から再度音声出力を開始することを特徴とする。なお、置き換えて読み上げる（表示する場合も含む）のは、マーキングされた直後に行ってもよいし、マーキングした後に再度音声出力したときに行ってもよい。

具体的には、前記指示された語句が含まれる一文章を音声出力後に、文章中の置き換えられた語句の位置から再度音声出力を開始するように構成してもよい。

また、前記指示された語句が含まれる一文章を音声出力後に、文章中の置き換えられた語句の位置から再度音声出力を開始するとともに、指示された語句を含まない文については音声出力しないように構成してもよい。

また、本発明の音声合成装置は、習熟度レベルを設定する設定手段をさらに備え、前記置換手段は、前記語句特定手段で特定された語句を他の語句に置き換えるとき、設定された習熟度レベルに応じた語句に置き換えるように構成してもよい。例えば、習熟度レベルとして上級、中級、初級の３段階のレベルを用意し、上級に設定された場合には、単なる語句の置き換えのみとし、中級に設定された場合には、語句の置き換えに加え、語句の例文を併せて表示及び音声出力し、初級に設定された場合には、特定された語句をその日本語の翻訳文に置き換えて表示及び音声出力する。

また、本発明の音声合成装置は、語句ごとに指示した回数、または前記文章を読み出して音声出力した回数を記憶する回数記憶手段をさらに備え、前記回数記憶手段に記憶された回数に応じた語句に置き換えるように構成してもよい。このような構成とすれば、例えば同じ語句を３回マーキングすると、その時点で初めて語句を置き換えるように構成することができる。

また、本発明の音声合成装置は、語句ごとに指示した回数、または前記文章を読み出して音声出力した回数を記憶する回数記憶手段と、語句の難易度を記憶する難易度レベル記憶手段とをさらに備え、前記回数記憶手段に記憶された回数に応じて、難易度レベルの低い語句に置き換えるように構成してもよい。

具体的には、ある語句が１回マーキングされた場合、その語句の難易度レベルが例えば（４）であった場合には、その語句を難易度レベル（３）の語句に置き換え、置き換えた後の語句が再度マーキングされると、その語句を難易度レベル（２）の語句に置き換える。このように、同じ部分の語句をマーキングするたびに語句のレベルを順次下げていくことで、ユーザの学習レベルに合わせたリスニング学習を行うことができる。

また、本発明の音声合成装置は、前記音声出力する回数を任意に設定する音声出力回数設定手段をさらに備え、前記文章の音声出力回数が前記音声出力回数設定手段の設定回数を超えた場合、元の語句に戻す置き換えを行うように構成してもよい。

本発明の音声合成プログラムは、読出し手段により文章記憶手段から文章を読み出すステップと、音声合成手段により読み出した文章を音声で出力するステップと、前記文章を音声合成で音声出力中の語句が指示されると、該指示された語句を特定するステップと、置換手段により特定した語句を他の語句に置き換えるステップと、前記音声合成手段により置き換えた語句を音声出力するステップと、を実行することを特徴とするものである。

本発明によれば、英文などの文章をリスニングして学習するときに、音声出力が聞きとれない語句や解らない語句をユーザが指示すると、次に聞くときにはその聞きとれない語句等を理解し易い語句に置き換えて文章を読み上げるように構成したので、ユーザのレベルに合わせたリスニング学習が可能となり、学習するときの理解度を高めることができる。

以下、本発明の実施の形態について図面を参照して説明する。

図１は本実施形態の音声合成装置の構成例を示す機能ブロック図である。

本実施形態の音声合成装置は、大別すると、装置全体の動作制御を司る制御部１を中心として、各種キーを備えたキー入力部２、分離情報検出部３、表示部４、音声出力部５、制御データ記憶部１１、プログラム記憶部１２、辞書データ記憶部１３、テキストデータ記憶部１４、及び音声データ記憶部１５から構成されている。

キー入力部２は、表示指示を行う検索キー２１、リスニング中に聞きとれない語句や理解できない語句を指示（マーキング）する決定キー２２、電源のオン／オフを兼用するメニューキー２３、画面上のカーソルを左右に移動させたり、画面に表示された文章及び表示された文章の音声出力を前文章または次文章に移動させる左右キー２４（２４ａ，２４ｂ）、画面上のカーソルを上下に移動させたり、出力音声の音声量を調整する上下キー２５（２５ａ，２５ｂ）、プレイ／ポーズキー２６などを備えている。

分離情報検出部３は、文章と文章の間、及びこの文章に対応する音声データと音声データの間にそれぞれ区切りとして挿入されている分離情報を検出する。

表示部４は、ＬＣＤパネル４２と、このＬＣＤパネル４２を駆動して各種文章の表示や各種操作画面を表示する表示コントローラ４１とからなる。

音声出力部５は、内蔵のスピーカ５２と、このスピーカ５２から出力する音声を合成する音声デコーダ５１とからなる。音声出力は、例えばＴＴＳ（Ｔｅｘｔ Ｔｏ Ｓｐｅａｃｈ）機能を用いて行う。

制御データ記憶部１１は、文章を各単語に分離したときの分離数をカウントする分離数カウンタ、決定キー２２による指示された単語や語句の指示回数をカウントする単語数カウンタ、指示された単語や語句の難易度を記憶する難易度記憶部などを備えている。

プログラム記憶部１２は、本装置によるリスニング処理動作全般を制御する制御プログラムを格納している。

辞書データ記憶部１３は、類義語辞書や英英辞書などを記憶している。また、後述する各単語や語句の難易度レベルも記憶している。

テキストデータ記憶部１４は、リスニング用の各種文書データを格納している。文書データは、例えばＴＯＥＩＣ用のコンテンツや、音声用電子辞書で使用される英語の例文のコンテンツなどが使用可能である。ＴＯＥＩＣ(Test of English for International Communication)は、英語によるコミュニケーション能力を定量的に評価する世界共通のテストのことである。音声データ記憶部１５は、例えば英語の各文章の音声データを格納している。

図２は、テキストデータ記憶部１４に格納されているテキストデータ、及び音声データ記憶部１５に格納されている前記テキストデータに対応した音声データのデータ構成例を示している。

すなわち、音声データ及びテキストデータには、それぞれ各文章Ａ，Ｂ，Ｃの間に分離情報が配置されており、文章Ｃの最後に終了情報が配置されている。文章データが例えば「Ｔｈｅ ＸＹＺ ｓｐａｃｅ ｐｌａｎ ｓｕｃｃｅｅｄ ｔｈｉｒｄ ｒｏｕｎｄ ｏｆ ｒｏｃｋｅｔ ｌａｕｎｃｈ ｙｅｒｓｔｅｒｄａｙ．Ｒｅｓｔｏｒｅ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｉｄｅｎｃｅ ｉｎ Ｊａｐａｎｅｓｅ ｒｏｃｋｅｔｓ．Ａｃｃｏｒｄｉｎｇ ｔｏ ＡＢＣ ｎｅｗｓ．」であった場合、文章Ａは「Ｔｈｅ ＸＹＺ ｓｐａｃｅ ｐｌａｎ ｓｕｃｃｅｅｄ ｔｈｉｒｄ ｒｏｕｎｄ ｏｆ ｒｏｃｋｅｔ ｌａｕｎｃｈ ｙｅｒｓｔｅｒｄａｙ．」であり、文章Ｂは、「Ｒｅｓｔｏｒｅ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｉｄｅｎｃｅ ｉｎ Ｊａｐａｎｅｓｅ ｒｏｃｋｅｔｓ．」であり、文章Ｃは、「Ａｃｃｏｒｄｉｎｇ ｔｏ ＡＢＣ ｎｅｗｓ．」である。ここで、例えば文章Ｃを語句単位に分割すると、「Ａｃｃｏｒｄｉｎｇ ｔｏ」、「ＡＢＣ ｎｅｗｓ」となる。

図３は、上記構成の音声合成装置の外観図である。この音声合成装置は、縦長の装置本体の上部側に表示部４が配置され、下部側に入力部２の各キー２１〜２６が配置されている。

図４は、辞書データ記憶部１３に記憶されている辞書データの構成例を示している。

この辞書データは、本発明の特徴である語句の置き換えを行うときに使用される辞書データであり、置き換える前の元となる語句または単語と、その元となる語句または単語の難易度と、属性（品詞）と、置き換え用の語句または単語と、その語句または単語の難易度と、置き換える前の元となる語句または単語を使用した例文とで構成されている。例えば、置き換える前の元となる単語が「Ａｃｃｏｒｄ」であった場合、その難易度は（４）であり、属性は「動詞」と「名詞」であり、属性が「動詞」の場合の置き換え用の単語は「ａｇｒｅｅ」であり、その難易度は（４）であり、そのときの例文は「Ｈｉｓ ｗｏｒｄｓ ａｎｄ ａｃｔｉｏｎｓ ｄｏ ｎｏｔ・・・Ａｃｃｏｒｄ・・・」である。また、属性が「名詞」の場合の置き換え用の単語は「ｈａｒｍｏｎｙ」であり、その難易度は（４）であり、そのときの例文は「ｒｅａｃｈ ａｃｃｏｒｄ ｏｎ ａ ｂｕｉｌｄｉｎｇ・・・Ａｃｃｏｒｄ・・・」である。ここで、難易度は、数字が大きい方が難易度が高く、数字の小さい方が難易度が低いことを示している。ただし、単語（語句）の中には例文の無いものもある。

以下同様にして、頭文字順にａからｚまでのすべての単語（語句）について、上記の辞書データが格納されている。

次に、上記構成の音声合成装置によるリスニング学習中の処理、特に語句または単語の置き換え処理動作について、具体的に実施例を上げて説明する。

本実施例１は、リスニング学習中に聞き取れない語句や理解できない語句があった場合に、その語句を理解できる他の語句に置き換える最も基本的な置き換え処理動作の実施例である。図５は、本実施例１による語句の置き換え例を示す説明図、図６は置き換え処理動作を示すフローチャートである。以下、図６に示すフローチャートに従い、図５に示す説明図を参照しつつ本実施例１の語句置き換え処理動作を説明する。

まず、入力部２のメニュー２３を押して電源をオンし（ステップＳ１）、メニュー画面から今回リスニング用の文章を選択すると（ステップＳ２）、図５（ａ）に示すように、表示部４にリスニング用の文章が表示される。この状態でプレイ／ポーズキー２６が押されると（ステップＳ３）、表示文章の左上から音声出力されてリスニングが開始される（ステップＳ４）。

この音声出力中において、制御部１は、入力部２の決定キー２２が押されたか否かを常に監視する（ステップＳ５）。ここで、リスニング途中において、ユーザは、聞き取りにくい語句や理解できない語句があると、その時点で決定キー２２を押す。例えば、図５（ａ）に示す文章において、画面下から１行目の「Ａｃｃｏｒｄｉｎｇ ｔｏ」が聞こえたときにユーザが決定キー２２を押したとすると、制御部１は音声出力を停止し、図５（ｂ）に示すように、表示画面上の文章の「Ａｃｃｏｒｄｉｎｇ ｔｏ」のところに下線を引く（ステップＳ６）。これを見たユーザが、この下線の個所で正しいことを確認後、プレイ／ポーズキー２６を押すと、制御部１は、辞書データ記憶部１３に記憶されている図４に示す辞書データから、「Ａｃｃｏｒｄｉｎｇ ｔｏ」の置き換え語句の候補の絞り込みを開始し（ステップＳ７）、置き換え語句として「Ｓａｉｄ ｂｙ」を確定すると（ステップＳ８）、図５（ｃ）に示すように、「Ａｃｃｏｒｄｉｎｇ ｔｏ」を「Ｓａｉｄ ｂｙ」に置き換えた文章を画面に表示し、かつ、その置き換えた語句から再度音声出力を開始する（ステップＳ９）。ここで、ステップＳ８の置き換え語句の確定は、置き換える前の語句（単語）の属性（品詞）を判別し、同じ品詞の語句を選択する。すなわち、置き換える前の語句（単語）が名詞である場合には置き換え後の単語も名詞を選択し、形容詞のときには形容詞を選択し、副詞のときには副詞を選択する。

制御部１は、最初にリスニング用に選択された文章の最後まで音声出力するまで（ステップＳ１０でＹｅｓと判断されるまで）の間、決定キー２２が押されるたびに、上記ステップＳ４〜ステップＳ１０の処理を繰り返し、文章の最後まで音声出力すると（ステップＳ１０でＹｅｓと判断されると）、音声出力を終了する。このように、本実施例１では、ユーザが決定キー２２を押すたびに、その押された語句を別の語句に置き換えてそこから音声出力を再度開始するようになっている。

上記実施例１では、リスニング途中において、例えば「Ａｃｃｏｒｄｉｎｇ ｔｏ」が聞こえたときにユーザが決定キー２２を押すと、当該「Ａｃｃｏｒｄｉｎｇ ｔｏ」が選択されるようになっているが、ユーザが決定キー２２を押すタイミングは一定ではないので、いつもこのタイミングで押せるとは限らない。タイミングがずれた場合には、別の語句が選択される場合もある。本実施例２は、このような場合に、選択する語句をユーザが確定するための実施例である。

すなわち、本実施例２では、リスニング途中において、「Ａｃｃｏｒｄｉｎｇ ｔｏ」が聞こえたときにユーザが決定キー２２を押したつもりであったが、実際には図７（ａ）に示すように、「ＡＢＣ ｎｅｗｓ」に下線が引かれた場合、左右キー２４（２４ａ，２４ｂ）を用いて画面上のカーソル（図示省略）を「Ａｃｃｏｒｄｉｎｇ ｔｏ」の位置まで移動させる。これにより、図７（ｂ）に示すように、「Ａｃｃｏｒｄｉｎｇ ｔｏ」に下線が引かれることになる。そして、下線の位置を確認したユーザがプレイ／ポーズキー２６を押すことで、上記実施例１と同様、「Ａｃｃｏｒｄｉｎｇ ｔｏ」を「Ｓａｉｄ ｂｙ」に置き換えた文章を画面に表示し、かつ、その置き換えた語句から再度音声出力を開始する。

このように、確定したい語句が違っていた場合には、左右キー２４によって確定したい語句を選択することで、ユーザの所望する語句を簡単に確定することが可能となる。

上記実施例２では、決定キー２２を押すタイミングのずれにより、ユーザが聞き取れなかった語句の位置と、実際に文章中に引かれた下線の位置とが異なっていた場合に、単純に左右キー２４を操作して１単語ずつ下線を移動させて、聞き取れなかった語句に下線を引く構成としているが、本実施例３では、決定キー２２が押されたとき、その押された時点から一定時間前までの単語を候補範囲として選択し、その中から聞き取れなかった語句（本実施例３では単語）を選択する実施例である。

すなわち、本実施例３では、決定キー２４が押された時点から例えば３秒前までの単語を候補単語として選択する。具体的には、例えば図８（ａ）に示すように、「Ｔｈｅ ＸＹＺ ｓｐａｃｅ ｐｌａｎ ｓｕｃｃｅｅｄ ｔｈｉｒｄ ｒｏｕｎｄ ｏｆ ｒｏｃｋｅｔ ｌａｕｎｃｈ ｙｅｒｓｔｅｒｄａｙ．・・・」と音声出力された文章において、「ｓｕｃｃｅｅｄ」が聞き取れなかったために、「ｙｅｒｓｔｅｒｄａｙ」が発音される直前にユーザが決定キー２２を押したとすると、この「ｙｅｒｓｔｅｒｄａｙ」が発音される直前の時点ｔ１から３秒前までの単語は、図８（ｂ）に示すように、「ｌａｕｎｃｈ」、「ｒｏｃｋｅｔ」、「ｏｆ」、「ｒｏｕｎｄ」、「ｔｈｉｒｄ」、「ｓｕｃｃｅｅｄ」、「ｐｌａｎ」、「ｓｐａｃｅ」、「ＸＹＺ」の９単語であり、その次の「Ｔｈｅ」は、ｔ１から３．２秒後となるため、対象外となる。

図９は、上記で説明した候補単語をリストアップする処理手順を示すフローチャートである。候補単語をリストアップするため、制御部１の図示しないメモリ部には候補単語リストを格納する領域が設けられている。

すなわち、制御部１は、まずこの候補単語リストをクリアする（ステップＳ１１）。そして、リスニング学習中において決定キー２２か押されると、その押された時点ｔ１の直前の再生単語を取得し（ステップＳ１２）、これを候補単語リストに追加する（ステップＳ１３）。上記の例で言えば、「ｌａｕｎｃｈ」を取得し、これを候補単語リストに追加する（ステップＳ１３）。

次に制御部１は、その一つ前の単語を取得し（ステップＳ１４）、取得した単語が時点ｔ１から３秒前以内に発音されたか否かを判断し（ステップＳ１５）、３秒以内に発音された単語である場合（ステップＳ１５でＹｅｓと判断された場合）には、ステップＳ１３に戻ってその単語を候補単語リストに追加する。

このようなステップＳ１３〜ステップＳ１５の処理を、ステップＳ１５で取得した単語が時点ｔ１から３秒を超えていると判断されるまで繰り返して、処理を終了する。これにより、候補単語リストには、図８（ｂ）に示す９個の単語がリストアップされることになる。

ここで、このリストアップされた図８（ｂ）に示す候補単語リストを表示部４にそのまま表示して、その中からユーザが聞き取れなかった単語を直接選択するようにしてもよいが、本実施例３では、さらに、このリストアップされた候補単語リストをもとに、図１０（ａ）に示すように候補絞り込みテーブルを作成する。この候補絞り込みテーブルは、各候補の単語と、その単語の発音された時間（時点ｔ１の何秒前に発音されたかを示す時間）と、各単語に予め設定されている難易度と、属性とからなっている。ここで、制御部１は、これら９個の単語を難易度別にソートして、図１０（ｂ）に示すように、上位に難易度の高い単語がくるように並べ替えを行って表示部４に表示する。ユーザの学習レベルにもよるが、通常は難易度の高い単語に下線が引かれる場合が多いので、このように難易度順にソートして表示することで、ユーザの選択したい単語が上位にきている可能性が高く、より選び易い表示形態とすることができる。

上記実施例２では、語句を選択する場合に、ユーザ自身が左右キー２４を操作して選択する実施例であった。また、上記実施例３も、候補単語リストの中から選択する実施例であったが、本実施例４では、最初の単語の選択を自動的に行う実施例である。

すなわち、本実施例４では、リスニング途中において、例えば「ｒｏｕｎｄ」が聞こえたときにユーザが決定キー２２を押したつもりであったが、実際には図１１（ａ）に示すように、「ｏｆ」に下線が引かれた場合、制御部１は、前置詞である「ｏｆ」を選択するケースは少ないと判断し、この場合には一つ前の単語である「ｒｏｕｎｄ」を自動的に選択する。なお、一つ前の単語も前置詞や代名詞であった場合にはさらにもう一つ前の単語を選択する。すなわち、選択する単語が前置詞や代名詞以外の単語のところまで戻るようになっている。これにより、決定キー２２の押すタイミングが多少遅れた場合でも、ユーザが選択した単語に下線を引ける可能性が高くなる。

なお、このようにして単語を選択しても、それがユーザの選択した単語でなかった場合には、上記実施例２と同様に、その後は左右キー２４の操作によって所望する単語を選択できるようにすればよい。

そして、下線の位置を確認したユーザがプレイ／ポーズキー２６を押すことで、辞書データ記憶部１３に記憶されている辞書データから、「ｒｏｕｎｄ」の置き換え単語の候補の絞り込みを行う。絞り込みは、文章中の「ｒｏｕｎｄ」の属性（品詞）を判別し、置き換え単語として同じ属性の単語、ここでは「ｃｙｃｌｅ」を確定すると、図１１（ｃ）に示すように、「ｒｏｕｎｄ」を「ｃｙｃｌｅ」に置き換えた文章を画面に表示し、かつ、その置き換えた単語から再度音声出力を開始する。

このように、確定したい単語が違っていた場合には、装置側で自動的に判断して適当な単語を選択することで、ユーザの聞きとれなかった単語等を簡単に確定することが可能となる。

本実施例５は、選択した置き換え用の単語が複数個ある場合に、その中から一つの単語を確定する実施例である。

例えば、上記実施例４のケースの「ｒｏｕｎｄ」は、辞書データ記憶部１３に記憶されている辞書データによれば、属性の同じ名詞では、「ｓｐｈｅｒｅ」と「ｓｅｔ」と「ｔｉｅｍ」の３個がある。従って、本実施例５では、図１２に示すように、これらを斜線で区切って併記する形で置き換えて表示する。そして、その置き換えた単語から再度音声出力を開始する。すなわち、この場合には、併記した「ｓｐｈｅｒｅ」、「ｓｅｔ」、「ｔｉｍｅ」を順次音声出力する。これにより、ユーザは、この文章で使われている「ｒｏｕｎｄ」の意味が、「ｓｐｈｅｒｅ」または「ｓｅｔ」または「ｔｉｍｅ」と置き換えたときと同じ意味であることを認識できるので、リスニング学習をより効果的に行うことができる。

本実施例６は、選択した置き換え用の単語が複数個ある場合に、上記実施例５のようにそれらを併記して表示し、かつ読み上げるのではなく、その中から一つの単語を確定する実施例である。以下、図１３に示すフローチャートを参照して説明する。

例えば、上記実施例４のケースの「ｒｏｕｎｄ」は、辞書データ記憶部１３に記憶されている辞書データによれば、属性の同じ名詞では、「ｓｐｈｅｒｅ」、「ｓｅｔ」、「ｔｉｍｅ」の３個存在する。従って、ステップＳ２１で示すように、解らない単語として「ｒｏｕｎｄ」が選択された場合、属性判断の結果、名詞と判断された場合には、次のステップＳ２２での判断がＹｅｓとなり、ステップＳ２３の構文解析を行って、３個の単語から１個の単語に絞ることになる。

ここで、構文解析自体は従来から行われている手法であるが、最も簡単な手法としては、１つ前の単語を参照して構文解析を行うことが考えられる。そして、１つ前の単語まで含めて構文解析しても置き換え単語の候補が絞れなかった場合には、さらに１つ前の単語まで含めて構文解析する。このようにして何個か前の単語まで含めて構文解析しても候補が絞れなかった場合には、次に１つ後ろの単語まで含めて構文解析を行い、それでも置き換え単語の候補が絞れなかった場合には、さらに１つ後ろの単語まで含めて構文解析を行う。このような手法により構文解析を行うことで、３個の単語「ｓｐｈｅｒｅ」、「ｓｅｔ」、「ｔｉｍｅ」の中から最終的に１個の単語を置き換え単語として確定する。図１３のステップＳ２１において示している例文の場合、「ｒｏｕｎｄ」の前の単語が「ｔｈｉｒｄ」という数詞であるので、置き換え単語として「ｓｅｔ」を選択し、ステップＳ２４で示すように、「ｒｏｕｎｄ」を「ｓｅｔ」に置き換えて表示し、その置き換えた単語から再度音声出力を開始する。これにより、ユーザは、この文章で使われている「ｒｏｕｎｄ」の意味が、「ｓｅｔ」と置き換えたときと同じ意味であることを認識できるので、リスニング学習をより効果的に行うことができる。

なお、ステップＳ２２での判断の結果がＮｏ、すなわち置き換え単語の候補が１個しかなかった場合には、構文解析を行うことなく、その単語に置き換えて表示し（ステップＳ２５）、その単語から再度音声出力を開始することになる。

本実施例７は、選択した置き換え用の単語が複数個ある場合に、上記実施例６のように構文解析を行うのではなく、難易度レベルによってその中から一つの単語を確定する実施例である。以下、図１４に示すフローチャートを参照して説明する。

例えば、上記実施例４のケースの「ｒｏｕｎｄ」は、辞書データ記憶部１３に記憶されている辞書データによれば、属性の同じ名詞では、「ｓｐｈｅｒｅ」、「ｓｅｔ」、「ｔｉｍｅ」の３個存在する。従って、ステップＳ３１で示すように、解らない単語として「ｒｏｕｎｄ」が選択された場合、属性判断の結果、名詞と判断された場合には、次のステップＳ３２での判断がＹｅｓとなり、ステップＳ３３に進む。

ステップＳ３３では、３個の単語から１個の単語に絞るのに、辞書データ記憶部１３に記憶されている辞書データの難易度レベルを利用する。具体的には、辞書データより、「ｒｏｕｎｄ」の難易度レベルが（４）であるので、これより低い難易度レベルの単語を選択する。この場合、本実施例７では、「ｓｅｔ」の難易度レベルが（３）、「ｔｉｍｅ」の難易度レベルが（２）であり、両方とも「ｒｏｕｎｄ」の難易度レベルより低い。従って、この場合には一つ下の難易度レベルを選択する。すなわち、置き換え単語として「ｓｅｔ」を選択し、ステップＳ３４で示すように、「ｒｏｕｎｄ」を「ｓｅｔ」に置き換えて表示し、その置き換えた単語から再度音声出力を開始する。これにより、ユーザは、この文章で使われている「ｒｏｕｎｄ」の意味が、「ｓｅｔ」と置き換えたときと同じ意味であることを認識できる。

なお、このような単語の置き換えによってもユーザが理解できず、「ｓｅｔ」のところで再び決定キー２２を押した場合には、上記ステップＳ３１〜ステップＳ３３の処理を再度実行し、ステップＳ３３では、「ｓｅｔ」の難易度レベル（３）より一つ下の難易度レベルである「ｔｉｍｅ」を選択し、ステップＳ３４′で示すように、「ｒｏｕｎｄ」を「ｔｉｍｅ」に置き換えて表示し、その置き換えた単語から再度音声出力を開始する。

なお、ステップＳ３２での判断の結果がＮｏ、すなわち置き換え単語の候補が１個しかなかった場合には、難易度レベルを参照することなく、その単語に置き換えて表示し（ステップＳ３５）、その単語から再度音声出力を開始することになる。

本実施例８は、上記実施例６に上記実施例７をさらに組み合わせた実施例である。以下、図１５に示すフローチャートを参照して説明する。

例えば、「ｒｏｕｎｄ」は、辞書データ記憶部１３に記憶されている辞書データによれば、属性の同じ名詞では、「ｓｐｈｅｒｅ」、「ｓｅｔ」、「ｔｉｍｅ」の３個存在する。従って、解らない単語として「ｒｏｕｎｄ」が選択された場合、ステップＳ４１における属性判断の結果、名詞と判断された場合には、次のステップＳ４２での判断がＹｅｓとなり、ステップＳ４３の構文解析を行って、３個の単語から１個の単語に絞ることになる。

そして、構文解析を行った結果、３個の単語「ｓｐｈｅｒｅ」、「ｓｅｔ」、「ｔｉｍｅ」の中から最終的に１個の単語を置き換え単語として選択できた場合（ステップＳ４４でＹｅｓと判断された場合）には、「ｒｏｕｎｄ」をその選択した単語に置き換えて表示し（ステップＳ４７）、その置き換えた単語から再度音声出力を開始する。

一方、構文解析を行っても、３個の単語から１個の単語に絞ることができなかった場合（ステップＳ４４でＮｏと判断された場合）には、置き換え候補の単語の難易度レベルが置き換え前の単語の難易度レベルより下か否かを判断し（ステップＳ４５）、難易度レベルが下である場合（ステップＳ４５でＹｅｓと判断された場合）には、上記実施例７と同様にして難易度の低い単語を選択し（ステップＳ４６）、「ｒｏｕｎｄ」をその選択した単語に置き換えて表示し（ステップＳ４７）、その置き換えた単語から再度音声出力を開始する。

また、ステップＳ４５において、置き換え候補の単語の難易度レベルが置き換え前の単語の難易度レベルと同じレベルである場合には、その同じ難易度レベルの単語に置き換えて表示し（ステップＳ４７）、その単語から再度音声出力を開始する。ただし、置き換え候補の単語の難易度レベルが置き換え前の単語の難易度レベルより上である場合も、その単語に置き換えて表示し、その単語から再度音声出力を開始するようにしてもよい。または、この場合には単語の置き換えを行わないようにしてもよい。

なお、ステップＳ４２での判断の結果がＮｏ、すなわち置き換え単語の候補が１個しかなかった場合には、構文解析や難易度レベルによる判断を行うことなく、その単語に置き換えて表示し（ステップＳ４７）、その単語から再度音声出力を開始することになる。

上記実施例１〜実施例８は、基本的に語句または単語の置き換えによる音声出力時の読み替え手法に関する実施例であったが、本実施例９は、このような語句または単語の置き換えによる読み替え時に、表示部４への文章表示の表示形態を工夫した実施例である。すなわち、本実施例９では、予めユーザが設定した習熟度レベル（上級、中級、初級）に応じて、置き換え語句または単語（ただし、本実施例９では語句）の表示形態を異ならせている。ここで、上級は例えば大学生以上のレベル、中級は高校生レベル、初級は中学生レベルに対応させることができる。ただし、このような対応関係に限定されるものではない。習熟度レベルの設定は、メニューキー２３を操作して習熟度レベルの選択画面を表示し、その中から所望するレベルを選択することで設定するようにすればよい。

そして、習熟度レベルとして上級が設定された場合には、図１６に符号６１で例文を示すように、上記実施例１〜実施例８の場合と同様、語句のみを置き換えた文章を表示する。この例では、「Ａｃｃｏｒｄｉｎｇ ｔｏ」を単に「Ｓａｉｄ ｂｙ」に置き換えている。

また、習熟度レベルとして中級が設定された場合には、符号６２ａで示すように、置き換えた語句「Ｓａｉｄ ｂｙ」を含む文章と、置き換え前の語句を使用した例文「Ａｃｃｏｒｄｉｎｇ ｔｏ Ｍａｃｋ，ｉｔ’ｓ ａ ｇｒｅａｔ ｍｏｖｉｅ」とを表示する。

また、習熟度レベルとして初級が設定された場合には、符号６３で示すように、置き換える前の語句を直接日本語に訳し、その日本語訳「〜によりますと」に置き換えて表示する。

なお、習熟度レベルとして中級が設定された場合には、符号６２ｂで示すように、置き換えた語句「Ｓａｉｄ ｂｙ」を含む文章と、その置き換え語句を使用した例文「Ｓａｉｄ ｂｙ Ｍａｃｋ，ｉｔ’ｓ ａ ｇｒｅａｔ ｍｏｖｉｅ」とを表示するようにしてもよい。

このように、表示形態をユーザが選択できるようにすることで、ユーザの習熟度レベルに合わせたリスニング学習を行うことができる。

上記実施例１〜９は、マーキングされた時点で、その語句または単語を他の語句または単語に置き換えてそこから再度音声再生を開始する実施例であるが、本実施例１０は、マーキングされてもその時点では語句または単語の置き換えをせず、一文章を読み上げた後、マーキングのところに戻り、その語句または単語を他の語句または単語に置き換えて再度音声再生する実施例である。

今回リスニング用の文章データが、例えば図５（ａ）に示す文章であったとし、この文章の左上から音声出力されてリスニングが開始されている途中において、ユーザが「ｒｏｕｎｄ」のところとを音声出力中に決定キー２２を押した場合、制御部１は、決定キー２２によりマーキングされた単語「ｒｏｕｎｄ」を一旦内部メモリに保存するとともに、そのまま音声出力を継続し、次にユーザが「Ａｃｃｏｒｄｉｎｇ ｔｏ」のところを音声出力中に決定キー２２を押した場合、制御部１は、決定キー２２によりマーキングされた語句「Ａｃｃｏｒｄｉｎｇ ｔｏ」を一旦内部メモリに保存するとともに、そのまま音声出力を継続する。そして、「ＡＢＣ ｎｅｗｓ」まで音声出力し終わると（すなわち、一文章の読み上げを終了すると）、制御部１は、内部メモリに保存しておいた「ｒｏｕｎｄ」と「Ａｃｃｏｒｄｉｎｇ ｔｏ」を他の単語または語句に置き換える。例えば「ｒｏｕｎｄ」を「ｓｅｔ」に置き換え、「Ａｃｃｏｒｄｉｎｇ ｔｏ」を「Ｓａｉｄ ｂｙ」に置き換える。そして、この場合には最初にマーキングされて置き換えられた「ｓｅｔ」に戻って、その文章の最後まで再度音声出力を開始する。ただし、置き換えられた単語の前後の文章のみを再度音声出力するようにしてもよい。例えば、「ｒｏｕｎｄ」の場合には、その前後の単語を含めて「ｔｈｉｒｄ ｒｏｕｎｄ ｏｆ」と読み上げ、次に「Ｓａｉｄ ｂｙ」のところまでスキップし、「Ｓａｉｄ ｂｙ」については、その後の語句を含めて「Ｓａｉｄ ｂｙ ＡＢＣ ｎｅｗｓ」と読み上げてもよい。

上記実施例１０は、一文章を読み上げた後に、マーキングのところに戻る実施例であったが、本実施例１０では、複数文章を読み上げた後で、マーキングのところに戻る実施例である。

例えば、複数文章を図１７に示すように、文章１、文章２、文章３の３文章とし、文章１では単語ａのところと単語ｂのところにマーキングされ、文章２についてはマーキングがなく、文章３では単語ｃのところにマーキングされたとする。この場合、制御部１は、上記実施９と同様、各マーキングされた語句または単語「ａ」，「ｂ」，「ｃ」を一旦内部メモリに保存し、文章３の最後まで読み上げを終了すると、内部メモリに保存しておいた「ａ」，「ｂ」，「ｃ」を他の語句または単語（例えば、「ａ′」，「ｂ′」，「ｃ′」に置き換える。そして、この場合には最初にマーキングされて置き換えられた「ａ′」に戻って、その文章１の最後まで再度音声出力を行い、次にマーキングされていない文章２をスキップし、文章３のマーキングされて置き換えられた「ｃ′」からその文章３の最後まで再度音声出力する。ただし、置き換えられた語句または単語の前後の文章のみを再度音声出力するようにしてもよい。例えば、「ａ′」の場合には、その前後の単語を含めて「・・ａ′・・」と読み上げ、次に「ｂ′」のところまでスキップし、その前後の単語を含めて「・・ｂ′・・」と読み上げ、次に「ｃ′」のところまでスキップし、その前後の単語を含めて「・・ｃ′・・」と読み上げてもよい。

上記各実施例１〜１１では、決定キー２２が１回押されると、その時点で次に読み上げるときに他の語句または単語に置き換えているが、最初の１回目、または２回目までは語句または単語を置き換えることなく、ただ単に再度の読み直しを行うだけとし、同じ語句または単語の位置で決定キー２２が例えば３回押されたときに、その３回目で初めて、他の語句または単語と置き換えるようにしてもよい。すなわち、その語句または単語が単に聞きとれなかっただけであった場合に、再度の読み上げで聞きとれる場合もあるため、このような場合は語句または単語の置き換えが不要だからである。

例えば、上記実施例７では、難易度レベルに応じて、同じ単語の位置で決定キー２２が押されるたびに、難易度レベルの低い単語に順次置き換えてきく構成であったが、本実施例１２では、このように同じ単語を何度もマーキングした場合に、例えば４回マーキングすると、その時点で元の単語に戻すようにした実施例である。

すなわち、実施例７を例にとると、ユーザが、決定キー２２を押して（１回目）、「ｒｏｕｎｄ」を選択した場合、次の音声出力では、この「ｒｏｕｎｄ」を「ｓｅｔ」に置き換えて音声出力し、このときにユーザが決定キー２２を押して（２回目）、「ｓｅｔ」を選択した場合、次の音声出力では、この「ｓｅｔ」を「ｔｉｍｅ」に置き換えて音声出力し、このときにユーザが決定キー２２を押して（３回目）、「ｔｉｍｅ」を選択した場合、難易度（１）の単語がある場合には、「ｔｉｍｅ」をその難易度（１）の単語に置き換えて音声出力する。そして、このときにユーザが決定キー２２を押して（４回目）、難易度（１）の単語を選択した場合、制御部１は、同じ単語の位置で４回決定キー２２が押されたと判断し、この時点で元の単語、すなわち「ｒｏｕｎｄ」に戻して音声出力する。

このように、同じ単語が何度がマーキングされて他の単語に置き換えられた場合に、そのマーキング回数が予め設定された回数になると、選択された単語を元々の単語に戻して音声出力するようにしてもよい。

本発明の音声合成装置の構成例を示す機能ブロック図である。 テキストデータ記憶部に格納されているテキストデータ、及び音声データ記憶部に格納されている前記テキストデータに対応した音声データのデータ構成例を示す説明図である。 本発明の音声合成装置の外観図である。 辞書データ記憶部に記憶されている辞書データの構成例を示す説明図である。 実施例１による語句の置き換え例を示す説明図である。 実施例１の語句置き換え処理動作を示すフローチャートである。 実施例２の語句置き換え処理動作によるマーキング位置の修正処理を説明する図である。 実施例３の候補単語リストを作成する手順を示す説明図である。 実施例３の候補単語リストを作成する手順を示すフローチャートである。 実施例３の候補単語リストを難易度順にソートする例を示す説明図である。 実施例４の置き換え処理動作によるマーキング位置の修正処理を説明する図である。 実施例５の置き換え処理動作を説明する図である。 実施例６の置き換え処理動作の手順を示すフローチャートである。 実施例７の置き換え処理動作の手順を示すフローチャートである。 実施例８の置き換え処理動作の手順を示すフローチャートである。 実施例９の置き換え処理による表示形態の例を示す説明図である。 実施例１１の複数文章を読み上げた後で、マーキングのところに戻る実施例を説明する図である。

符号の説明

１ 制御部
２ 入力部
３ 分離情報検出部
４ 表示部
５ 音声出力部
１１ 制御データ記憶部
１２ プログラム記憶部
１３ 辞書データ記憶部
１４ テキストデータ記憶部
１５ 音声データ記憶部
２１ 検索キー
２２ 決定キー
２３ メニューキー
２４ 左右キー２４
２５ 上下キー２５
２６ プレイ／ポーズキー
４１ 表示コントローラ
４２ ＬＣＤパネル
５１ 音声デコーダ
５２ 内部スピーカ

Claims (9)

1. 文章を記憶する文章記憶手段と、前記文章記憶手段から任意の文章を読み出す読出し手段と、前記文章を音声で出力する音声合成手段と、を備え、前記読出し手段により読み出された文章を前記音声合成手段により音声で出力する音声合成装置において、
   前記文章を音声合成で音声出力中に語句を指示する指示手段と、
   前記指示手段により指示された語句を特定する語句特定手段と、
   語句ごとに指示した回数、または前記文章を読み出して音声出力した回数を記憶する回数記憶手段と、
   前記語句特定手段で特定された語句を前記回数記憶手段に記憶された回数に応じた語句に置き換える置換手段と、
   を備え、
   前記指示手段により指示された語句を前記置換手段によって置き換えた語句に置き換えて音声出力することを特徴とする音声合成装置。
2. 語句の難易度を記憶する難易度レベル記憶手段をさらに備え、
   前記置換手段は、前記回数記憶手段に記憶された回数に応じて、難易度レベルの低い語句に置き換えることを特徴とする請求項１に記載の音声合成装置。
3. 文章中の置き換えられた語句の位置から再度音声出力を開始することを特徴とする請求項１または請求項２に記載の音声合成装置。
4. 前記指示された語句が含まれる一文章を音声出力後に、文章中の置き換えられた語句の位置から再度音声出力を開始することを特徴とする請求項１または請求項２に記載の音声合成装置。
5. 前記指示された語句が含まれる一文章を音声出力後に、文章中の置き換えられた語句の位置から再度音声出力を開始するとともに、指示された語句を含まない文については音声出力しないことを特徴とする請求項１または請求項２に記載の音声合成装置。
6. 習熟度レベルを設定する設定手段をさらに備え、
   前記置換手段は、前記語句特定手段で特定された語句を前記記憶手段に記憶された回数に応じた語句に置き換えるとき、さらに、設定された習熟度レベルにも応じた語句に置き換えることを特徴とする請求項１または請求項２に記載の音声合成装置。
7. 前記音声出力する回数を任意に設定する音声出力回数設定手段をさらに備え、
   前記文章の音声出力回数が前記音声出力回数設定手段の設定回数を超えた場合、元の語句に戻す置き換えを行うことを特徴とする請求項１または請求項２に記載の音声合成装置。
8. 読出し手段により文章記憶手段から文章を読み出すステップと、
   音声合成手段により読み出した文章を音声で出力するステップと、
   前記文章を音声合成で音声出力中の語句が指示手段により指示されると、該指示された語句を特定するステップと、
   語句ごとに指示した回数、または前記文章を読み出して音声出力した回数を回数記憶手段に記憶するステップと、
   前記指示手段により指示された語句を、前記回数記憶手段に記憶された回数に応じた語句に置換手段によって置き換えるステップと、
   前記音声合成手段により前記置き換えた語句を音声出力するステップと、
   を実行することを特徴とするコンピュータ読み取り可能な音声合成プログラム。
9. 難易度レベル記憶手段により語句の難易度を記憶するステップをさらに備え、
   前記置換手段は、前記回数記憶手段に記憶された回数に応じて、難易度レベルの低い語句に置き換えること、
   を特徴とする請求項８に記載のコンピュータ読み取り可能な音声合成プログラム。

Images