JP6156349B2 - 音声画像出力制御装置、プログラム及び音声画像出力方法 - Google Patents

Description

本発明は、データ処理能力の小さな電子機器等での単語の学習に好適な音声画像出力制御装置およびその制御プログラムに関する。

従来、単語の学習をどこでも容易に行うことができる電子機器として電子単語帳が考えられている。

この電子単語帳は、表示部と操作部を備えた小型な電子機器からなり、学習対象となる多数の単語を、それぞれその単語と訳とを対応付けて記憶しておき、当該単語の表示とその訳の表示とをキー操作に応じて順次切り替えることで、旧来の紙による単語帳と同様にその紙をめくる感覚で単語の学習ができるものである。

さらに、従来の電子単語帳において、前記多数の単語と訳とに、その発音の音声も対応付けて記憶しておき、当該単語や訳を表示させるのと共にその発音の音声も出力させることで、各単語をその発音も含めて覚え易くした音声出力機能付きの電子単語帳も考えられている。

そして、単語の発音をリズムやメロディに合わせて唱えると、当該単語がより覚え易くなることは知られている。

言葉や文章等のテキストの表示に当該表示に対応する音声を合わせて出力する装置としてカラオケ装置がある。このカラオケ装置では、ＭＰ３形式の音声データの各部分に歌詞のテキストデータを対応付けて記憶しており、当該ＭＰ３データの再生によってカラオケの音声データと歌詞のテキストデータとが同期して出力される（例えば、特許文献１参照。）。

特開２０００−３３８９８４号公報

前記ＭＰ３形式の音声データにテキストデータを対応付けて記憶させ当該音声データとテキストデータとを同期して再生する方式では、データ処理量が大きく高性能なＣＰＵが必要になるため、製品コスト等の関係から処理能力の小さなＣＰＵを使用せざるを得ない電子機器には利用することができない。
このため、処理能力の小さなＣＰＵを使用せざるを得ない電子機器においては、音声データに含まれるテキストデータの全体を表示してから、テキストデータを対応付けられた音声データを出力するようにしている。例えば、テキストデータとして、複数の単語が含まれる場合、どの単語が音声出力中か分かりづらい。また表示が小さくテキストデータ全体を表示できない場合等、音声データに対応するテキストデータを適切に表示できない問題があった。

本発明は、このような課題に鑑みなされたもので、処理能力の小さな電子機器であっても、テキストと音声を円滑に同期させて出力することが可能になる音声画像出力制御装置およびその制御プログラムを提供することを目的とする。

本発明に係る音声画像出力制御装置は、複数の語句の音声を含む音声データを記憶している音声データ記憶手段と、前記複数の各語句を表示するための各時間情報を前記複数の語句の語句毎に記憶している語句出力時間記憶手段と、前記複数の語句それぞれのテキスト画像を記憶している語句画像記憶手段と、テキストの各文字の各フォントデータを記憶しているフォントデータ記憶手段と、ユーザ操作に応じて第１モードが選択された場合に、前記音声データ記憶手段により記憶された音声データを音声出力する音声出力制御手段と、前記音声出力制御手段による前記音声データの音声出力に伴い、前記音声出力の開始からの時間データと前記語句出力時間記憶手段により記憶されている前記複数の各語句を表示するための各時間情報とに基づいて、前記語句画像記憶手段に記憶された当該各語句のテキスト画像を表示させる語句画像表示制御手段と、ユーザ操作に応じて第２モードが選択された場合に、前記複数の各語句のいずれかをユーザ操作に応じて指定する語句指定手段と、前記語句指定手段により指定された語句に対応するテキストの各文字の各フォントデータを前記フォントデータ記憶手段からそれぞれ読み出して語句テキストとして表示させる語句テキスト表示制御手段と、前記語句テキスト表示制御手段により語句テキストが表示された後に、前記指定の語句に対応する音声データを音声出力する指定語句音声出力制御手段と、を備えたことを特徴としている。

本発明によれば、処理能力の小さな電子機器であっても、テキストと音声を円滑に同期させて出力することが可能になる。

本発明の音声画像出力制御装置の実施形態に係る電子単語帳１０の電子回路の構成を示すブロック図。 前記電子単語帳１０の外観構成を示す正面図。 前記電子単語帳１０のメモリ１２に記憶される各種単語情報の内容を示す図。 前記電子単語帳１０による音声画像出力制御処理（その１）を示すフローチャート。 前記電子単語帳１０による音声画像出力制御処理（その２）を示すフローチャート。 前記電子単語帳１０の音声画像出力制御処理（その１）に従った前記単語集Ａ（ユメタンゴ）１２ｃのリスニング（ｃｈａｎｔ）学習に伴うユーザ操作に応じた表示動作を示す図。 前記電子単語帳１０の音声画像出力制御処理（その１）に従った前記単語集Ａ（ユメタンゴ）１２ｃのめくって覚える学習に伴うユーザ操作に応じた表示動作を示す図。 前記電子単語帳１０の音声画像出力制御処理（その２）に従った前記ミニ英和単語帳１２ｈの学習に伴うユーザ操作に応じた表示動作を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の音声画像出力制御装置の実施形態に係る電子単語帳１０の電子回路の構成を示すブロック図である。

図２は、前記電子単語帳１０の外観構成を示す正面図である。

図３は、前記電子単語帳１０のメモリ１２に記憶される各種単語情報の内容を示す図である。

この電子単語帳１０は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)１１が備えられる。

前記ＣＰＵ１１は、メモリ１２内に予め記憶された装置制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれた装置制御プログラム、あるいはインターネットＮ上のＷｅｂサーバ（この場合は教育サーバ）２０からダウンロードされて前記メモリ１２に読み込まれた装置制御プログラムに応じて、回路各部の動作を制御する。

前記メモリ１２に記憶された装置制御プログラムは、キー入力部１６からのユーザ操作に応じた入力信号、あるいは外部接続される前記Ｗｅｂサーバ２０や電子辞書装置３０との通信信号、あるいは記録媒体読取部１４を介して外部接続されるＥＥＰＲＯＭ，ＲＡＭ，ＲＯＭなどの外部記録媒体１３との接続通信信号に応じて起動される。

前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、通信部（無線接続／ＵＳＢ接続）１５、キー入力部１６、液晶表示部１７、音声出力部１８などが接続される。また前記ＣＰＵ１１は、処理を進めるためのクロックを備えている。このクロックによりプログラムが１ステップずつ処理される。またこのクロックは、音声出力開始からの時間データをカウントして取得する為にも用いられる。そして後述の図３の再生時間データＴ（ここでは１秒＝２０カウント（Ｔ））に対応して、クロックにより取得された時間データとの対応がチェックされて、音声データ出力中の適切なタイミングでテキスト画像を表示するようになっている。

前記メモリ１２に記憶される装置制御プログラムとしては、当該電子単語帳１０の全体の動作を司るシステムプログラム、外部接続されるインターネットＮ上の各Ｗｅｂサーバ２０や電子辞書装置３０などとデータ通信するための通信プログラムが記憶される。

また、表示対象となる複数の単語情報の単語と訳のテキスト画像を連続的に切り替えながらその一連のリズム付き音声データを同期させて出力したり、前記単語情報の単語と訳の個々のテキストデータをユーザ操作に応じて切り替えながらその音声データを同期させて出力したりするための音声画像出力制御プログラム１２ａが記憶される。

前記メモリ１２には、前記装置制御プログラム（１２ａ）の他に、文字フォントデータ１２ｂ、単語集Ａ（ユメタンゴ）データ１２ｃ、単語集Ｂ（キクタンゴ）データ１２ｄ、単語集Ｃ（英単語ゲット）データ１２ｅ、ミニ英和辞書データ１２ｆが記憶される。

前記文字フォントデータ１２ｂには、各国言語に対応したアルファベット、漢字、ひらがな等の文字フォントのデータが該当する文字コードに従い変換可能に記憶されている。

前記単語集Ａ（ユメタンゴ）データ１２ｃ（図３（Ａ）参照）には、例えば大学受験に必要な各語句情報（単語情報又は句情報）が、当該各語句（単語又は句）と訳（又は説明）のテキストデータおよび音声データとして記憶されている。

前記単語集Ｂ（キクタンゴ）データ１２ｄ（図３（Ｂ）参照）には、各語句情報（単語情報又は句情報）の語句（単語又は句）と訳（又は説明）とを順次めくりながら学習するための当該各語句（単語又は句）と訳（又は説明）のテキストデータを記憶するめくり用テキストデータエリア１２ｄｔｅｘと、前記各語句情報（単語情報又は句情報）の語句（単語又は句）と訳（又は説明）とを予め設定された単元としての複数の単語情報（ここでは１６単語）ずつ連続的に聞きながら学習するためのデータを記憶するリスニング用データエリア１２ｄｐｉｃが確保される。以下の説明においては、語句である単語を例示して説明する。

前記めくり用テキストデータエリア１２ｄｔｅｘに記憶される各単語と訳のテキストデータは、前記予め設定された単元としての毎日の学習に適切な複数の単語情報ずつＤａｙ１単語情報，Ｄａｙ２単語情報，…に分けられて記憶されている。

前記リスニング用データエリア１２ｄｐｉｃには、前記Ｄａｙ１単語情報，Ｄａｙ２単語情報，…と同じ単語情報（単元）毎に、各単語情報の単語と訳のテキスト画像Ｐ、当該テキスト画像Ｐとしての各単語と訳に対応するリズム付き音声データＳ、前記テキスト画像Ｐ（画像Ｂ０００１，画像Ｂ０００２，…）の表示開始のタイミングを前記リズム付き音声データＳの再生時間データＴ（ここでは１秒＝２０カウント（Ｔ））に対応付けた単語表示（開始）時間データテーブルＴが記憶されている。

なお、前記単語表示（開始）時間データテーブルＴは、これに替えて、前記テキスト画像Ｐ（画像Ｂ０００１，画像Ｂ０００２，…）の表示切り替えのタイミングを当該各画像Ｂ０００１，画像Ｂ０００２，…の表示時間Ｔとして前記リズム付き音声データＳの再生時間に対応付けた単語表示時間データテーブルＴ´（図３（Ｂ´）参照）としてもよい。

前記単語集Ｃ（英単語ゲット）データ１２ｅ（図３（Ｃ）参照）には、例えば英語の実力検定に必要な各単語情報が、当該各英単語と訳のテキストデータおよび音声データとして記憶されている。

前記ミニ英和辞書データ１２ｆには（図３（Ｄ）参照）には、英和辞書に集録されている各英単語（見出し語）の説明情報をその用例や解説等を省いて主要な訳だけに簡略化してなる各英単語情報が、各単語と訳のテキストデータおよび単語音声データとして記憶されている。

また、前記メモリ１２には、ミニ英和ヒストリーデータエリア１２ｇ、ミニ英和単語帳データエリア１２ｈ、単語集Ａ（ユメタンゴ）チェック単語データエリア１２ｉ、単語集Ｂ（キクタンゴ）チェック単語データエリア１２ｊ等が確保されている。

前記ミニ英和ヒストリーデータエリア１２ｇには、前記ミニ英和辞書データ１２ｆに対する英単語の検索履歴がその見出し語１，見出し語２，…として記憶される。

前記ミニ英和単語帳データエリア１２ｈには、前記ミニ英和辞書データ１２ｆに対する英単語の検索に伴いユーザ登録された英単語がその見出し語１，見出し語２，…として記憶される。

前記単語集Ａ（ユメタンゴ）チェック単語データエリア１２ｉには、前記単語集Ａ（ユメタンゴ）１２ｃの学習に伴い例えばユーザが覚えた単語情報としてチェックマークを付加した単語がそのチェック単語１，チェック単語２，…として記憶される。

前記単語集Ｂ（キクタンゴ）チェック単語データエリア１２ｊには、前記単語集Ｂ（キクタンゴ）１２ｄの学習に伴い例えばユーザが覚えた単語情報としてチェックマークを付加した単語がそのチェック単語１，チェック単語２，…として記憶される。

また、前記電子単語帳１０の本体ケースは、図２に示すように、ユーザが片手で軽く把持できるサイズで構成され、キー入力部１６には、［メニュー／戻る］キー１６ａ、カーソル［↑］［↓］［←］［→］キー１６ｂ、［決定／チェック］キー１６ｃ、［音声／ポーズ］キー１６ｄが設けられている。

なお、前記各単語集Ａ（ユメタンゴ）１２ｃ〜Ｃ（英単語ゲット）１２ｅやミニ英和辞書データ１２ｆは、外部のＷｅｂサーバ（教育サーバ）２０からダウンロードして前記メモリ１２に記憶してもよいし、外部の電子辞書装置３０から取り込んで前記メモリ１２に記憶してよい。また、単語の学習を行なう際に、その都度必要なデータを前記Ｗｅｂサーバ（教育サーバ）２０からダウンロードして前記メモリ１２に記憶してもよい。

このように構成された電子単語帳（音声画像出力制御装置）１０は、前記ＣＰＵ１１が前記音声画像出力制御プログラム１２ａに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる単語学習制御機能を実現する。

次に、前記構成による電子単語帳（音声画像出力制御装置）１０の動作について説明する。

図４は、前記電子単語帳１０による音声画像出力制御処理（その１）を示すフローチャートである。

図５は、前記電子単語帳１０による音声画像出力制御処理（その２）を示すフローチャートである。

図６は、前記電子単語帳１０の音声画像出力制御処理（その１）に従った前記単語集Ａ（ユメタンゴ）１２ｃのリスニング（ｃｈａｎｔ）学習に伴うユーザ操作に応じた表示動作を示す図である。

前記電子単語帳１０の電源がＯＮにされると、図６（Ａ）に示すように、学習対象の単語集を指定するためのメニュー画面Ｇ１が表示部１７に表示される。

前記メニュー画面Ｇ１において、カーソルキー１６ｂのユーザ操作に応じて移動表示されるカーソルＣｕにより「キクタンゴ」（単語集Ｂ（キクタンゴ）データ１２ｄ）が指定され［決定］キー１６ｃが操作されると（ステップＳ１（Ｙｅｓ））、図６（Ｂ）に示すように、当該単語集Ｂ（キクタンゴ）データ１２ｄ（図３（Ｂ）参照）の単元（Ｄａｙｎ）を指定するための単元指定画面Ｇ２が表示される。

前記単元指定画面Ｇ２において、ユーザ任意の単元（ここでは「Ｄａｙ１」）が指定され［決定］キー１６ｃが操作されると（ステップＳ２）、図６（Ｃ）に示すように、リスニング（ｃｈａｎｔ）学習かまたはめくって覚える学習かを指定するための学習手法指定ウインドウＷ１が表示される。

前記学習手法指定ウインドウＷ１において、リスニング（ｃｈａｎｔ）学習が指定されると（ステップＳ３（Ｙｅｓ））、図６（Ｄ）に示すように、前記指定の単元「Ｄａｙ１」を１回だけ学習する「リピートＯＦＦ」、前記指定の単元「Ｄａｙ１」を繰り返し学習する「１Ｄａｙリピート」、前記指定の単元「Ｄａｙ１」〜「Ｄａｙ７」を繰り返し学習する「Ｗｅｅｋ内リピート」の何れかを指定するためのリピート指定ウインドウＷ２が表示される。

前記リピート指定ウインドウＷ２において、「リピートＯＦＦ」が指定されると（ステップＳ４）、前記指定の単元「Ｄａｙ１」に対応するリズム付き音声データＳが前記単語集Ｂ（キクタンゴ）データ１２ｄのリスニング用データエリア１２ｄｐｉｃ（図３（Ｂ）参照）から読み出され、図６（Ｅ）に示すように、前記音声出力部１８からの音声出力が開始される（ステップＳ５）。

すると、前記リズム付き音声データＳの再生時間のカウントが開始され、前記リスニング用データエリア１２ｄｐｉｃの単語表示（開始）時間データテーブルＴに従い、先ず再生時間データＴ＝０に対応付けられた単語テキスト画像Ｂ０００１「ｍｅａｎ 〜を意味する」が読み出され、単語／訳テキスト画像画面ＧＴ１として表示される（ステップＳ６（Ｙｅｓ）→Ｓ７）。

具体的には、前記リズム付き音声データＳのリズム付き音声“ｍｅａｎ 意味する ｍｅａｎ”と再生される部分で前記単語テキスト画像Ｂ０００１「ｍｅａｎ 〜を意味する」が表示される。

そして、前記単語表示（開始）時間データテーブルＴに従い、前記カウントされるリズム付き音声データＳの再生時間Ｔ＝２６１に一致したと判断されると（ステップＳ６（Ｙｅｓ））、図６（Ｆ）に示すように、次の単語テキスト画像Ｂ０００２「ｄｅｖｅｌｏｐ 〜を発達させる」が読み出され、単語／訳テキスト画像画面ＧＴ２として表示される（ステップＳ７）。

具体的には、前記リズム付き音声データＳのリズム付き音声“ｄｅｖｅｌｏｐ を発達させる ｄｅｖｅｌｏｐ”と再生される部分で前記単語テキスト画像Ｂ０００２「ｄｅｖｅｌｏｐ 〜を発達させる」が表示される。

この後、前記同様に、前記音声出力されているリズム付き音声データＳの再生時間Ｔが次の単語表示開始時間と一致する毎に、図６（Ｇ）〜（Ｋ）に示すように、該当する単語テキスト画像Ｂ０００３「ｌｅａｄ 〜を導く」，Ｂ０００４「ｉｎｃｌｕｄｅ 〜を含む」，…，「ａｐｐｅａｒ ｏｆｆｅｒ ｄｅａｌ ｆｏｌｌｏｗ」が順次読み出され、単語／訳テキスト画像画面ＧＴ３，ＧＴ４，…，ＧＴｎとして表示される（ステップＳ６，Ｓ７）。

なお、前記単語集Ｂ（キクタンゴ）データ１２ｄを指定したリスニング（ｃｈａｎｔ）学習の実施形態では、４つの単語情報を順番に再生する毎に当該４つの単語情報の各単語を並べて再生するように前記リズム付き音声データＳと前記単語テキスト画像Ｂ０…が構成されている。

このように、前記単語集Ｂ（キクタンゴ）データ１２ｄを指定したリスニング（ｃｈａｎｔ）学習の実施形態では、学習対象として指定した各単語情報の単語と訳のリズム付き音声データＳを連続的に再生するのに伴い、当該音声データＳの再生時間Ｔに対応付けて該当する単語テキスト画像Ｂ０…を順番に表示出力するようにしたので、例えば当該単語と訳のテキストをその文字コードからフォントに変換して表示させる必要なく、処理能力の小さなＣＰＵ１１であっても、前記各単語情報のテキストと音声を円滑に同期させて出力することが可能になる。

図７は、前記電子単語帳１０の音声画像出力制御処理（その１）に従った前記単語集Ａ（ユメタンゴ）１２ｃのめくって覚える学習に伴うユーザ操作に応じた表示動作を示す図である。

前記ステップＳ１，Ｓ２に従い、「キクタンゴ」（単語集Ｂ（キクタンゴ）データ１２ｄ）が指定され、図７（Ａ）に示すように、単元指定画面Ｇ２にてユーザ任意の単元「Ｄａｙ１」が指定された後の学習手法指定ウインドウＷ１において、めくって覚える学習が指定されると（ステップＳ３（Ｎｏ））、図７（Ｂ）に示すように、めくり順をおもて（訳）→裏（単語）の日英順とするか又はおもて（単語）→裏（訳）の英日順とするかを指定するためのめくり順指定ウインドウＷ３が表示される（ステップＳ９）。

前記めくり順指定ウインドウＷ３において、めくり順（ここでは、日英順「日本語→英語の順で表示」）が指定されると（ステップＳ９）、図７（Ｃ）に示すように、前記指定の単元「Ｄａｙ１」の表示対象単語情報のうち全てを表示「全て表示」させるか、チェック無し（覚えていない）のみを表示「チェック無のみ表示」させるか、チェック付き（覚えている単語）のみをシャッフルして表示「チェック有のみシャッフル」させるかを指定するための表示対象指定ウインドウＷ４が表示される（ステップＳ１０）。

前記表示対象指定ウインドウＷ４において、「全て表示」が指定された場合は、前記めくり用テキストデータエリア１２ｄｔｅｘに記憶されている前記指定の単元「Ｄａｙ１」に対応する全ての単語情報のテキストデータについて、そのままの並びで前記メモリ１２内のワークエリアに一次保存される（ステップＳ１１）。

また、前記表示対象指定ウインドウＷ４において、「チェック無のみ表示」が指定された場合は、前記めくり用テキストデータエリア１２ｄｔｅｘに記憶されている前記指定の単元「Ｄａｙ１」に対応する各単語情報のうちチェック無し（覚えていない）の各単語情報のテキストデータについて、そのままの並びで前記メモリ１２内のワークエリアに一次保存される（ステップＳ１１）。

また、前記表示対象指定ウインドウＷ４において、「チェック有のみシャッフル」が指定された場合は、前記めくり用テキストデータエリア１２ｄｔｅｘに記憶されている前記指定の単元「Ｄａｙ１」に対応する各単語情報のうちチェック付き（覚えている単語）の各単語情報のテキストデータについて、シャッフルして並び替えた順番として前記メモリ１２内のワークエリアに一次保存される（ステップＳ１１）。

すると、前記ワークエリアに一次保存された各単語情報の先頭の単語情報が指定され（ステップＳ１２）、当該指定の単語情報の単語と訳のテキストデータのうち、図７（Ｄ）に示すように、前記指定のめくり順（日英順／英日順）に応じたおもて（日英順の場合は「日本語訳」／英日順場合は「英単語」）のテキストデータ（ここでは、日本語訳「〜を意味する」）が、前記文字フォントデータ１２ｂから読み出された文字フォントで、おもて（訳）テキスト画面Ｇｔａとして表示される（ステップＳ１３）。

そして、図７（Ｅ）に示すように、カーソルキー［→］１６ｂが操作されると（ステップＳ１４（Ｙｅｓ））、現在おもて（訳／単語）の表示中である場合には（ステップＳ１５（Ｙｅｓ））、裏（単語／訳）のテキストデータ（ここでは、英単語「ｍｅａｎ」）が前記文字フォントデータ１２ｂから読み出された文字フォントで、裏（単語）テキスト画面Ｇｔｂとして表示される（ステップＳ１６）。

そして、図７（Ｆ）に示すように、［音声］キー１６ｄが操作されると（ステップＳ１９（Ｙｅｓ））、単語表示中である場合には（ステップＳ２０（Ｙｅｓ））、前記ミニ英和辞書データ１２ｆに記憶されている辞書用の音声データから、該当単語（ここでは、「ｍｅａｎ」）の音声データが検索され、音声出力部１８から音声出力される（ステップＳ２１）。

続いて、図７（Ｇ）に示すように、カーソルキー［→］１６ｂが操作されると（ステップＳ１４（Ｙｅｓ））、現在おもて（訳／単語）の表示中でない場合には（ステップＳ１５（Ｎｏ））、前記ワークエリアに一次保存された表示対象の各単語情報に次の単語情報があるか否か判断される（ステップＳ１７）。

ここでは、前記ワークエリアに一次保存された表示対象の各単語情報に次の単語情報「ｄｅｖｅｌｏｐ／〜を発達させる」があると判断され（ステップＳ１７（Ｙｅｓ））、当該次の単語情報が指定される（ステップＳ１８）。

すると、前記指定の単語情報「ｄｅｖｅｌｏｐ／〜を発達させる」について、前記指定のめくり順（日英順）に応じたおもて「日本語訳」のテキストデータ「〜を発達させる」）が、前記文字フォントデータ１２ｂから読み出された文字フォントで、おもて（訳）テキスト画面Ｇｔａとして表示される（ステップＳ１３）。

ここで、図７（Ｈ）に示すように、［音声］キー１６ｄが操作された場合は（ステップＳ１９（Ｙｅｓ））、単語表示中でない（訳表示中）と判断され（ステップＳ２０（Ｎｏ））、当該音声キー無効として処理される（ステップＳ２２）。

続いて、図７（Ｉ）に示すように、カーソルキー［→］１６ｂが操作されると（ステップＳ１４（Ｙｅｓ））、現在おもて（訳「〜を発達させる」）の表示中であると判断され（ステップＳ１５（Ｙｅｓ））、裏（単語「ｄｅｖｅｌｏｐ」）のテキストデータが前記文字フォントデータ１２ｂから読み出された文字フォントで、裏（単語）テキスト画面Ｇｔｂとして表示される（ステップＳ１６）。

そして、図７（Ｊ）に示すように、［音声］キー１６ｄが操作されると（ステップＳ１９（Ｙｅｓ））、単語表示中であると判断され（ステップＳ２０（Ｙｅｓ））、前記同様に前記ミニ英和辞書データ１２ｆに記憶されている辞書用の音声データから、該当単語「ｄｅｖｅｌｏｐ」の音声データが検索され、音声出力部１８から音声出力される（ステップＳ２１）。

そして、図７（Ｋ）に示すように、現在表示中の単語情報「ｄｅｖｅｌｏｐ／〜を発達させる」について、［チェック］キー１６ｃが操作されると（ステップＳ２３（Ｙｅｓ））、そのチェックボックスｃｈにチェックマークが付加されていない場合は、チェックマーク付きに変更され、チェック単語ｎとして前記単語集Ｂ（キクタンゴ）チェック単語データエリア１２ｊに記憶され、また、チェックマークが付加されている場合は、チェックマーク無しに変更され、前記単語集Ｂ（キクタンゴ）チェック単語データエリア１２ｊから消去される（ステップＳ２４）。

そしてまた、図７（Ｌ）に示すように、カーソルキー［→］１６ｂが操作されると（ステップＳ１４（Ｙｅｓ））、現在おもて（訳）の表示中でないと判断された後（ステップＳ１５（Ｎｏ））、前記ワークエリアに一次保存された表示対象の各単語情報に次の単語情報「ｌｅａｄ／〜を導く」があると判断され（ステップＳ１７（Ｙｅｓ））、前記同様に、当該次の単語情報が指定され（ステップＳ１８）、そのおもて「日本語訳」のテキストデータ「〜を導く」が、前記文字フォントデータ１２ｂから読み出された文字フォントで、おもて（訳）テキスト画面Ｇｔａとして表示される（ステップＳ１３）。

このように、前記単語集Ｂ（キクタンゴ）データ１２ｄを指定しためくって覚える学習の実施形態では、学習対象として指定した各単語情報の単語と訳のテキストデータをカーソルキー［→］１６ｂのユーザ操作により順次めくりながら表示させると共に、その単語のテキストデータの表示の際には、［音声］キー１６ｄのユーザ操作に応じて該当単語の音声データを辞書用音声データ（ミニ英和辞書データ１２ｆ）から検索して音声出力するようにしたので、紙の単語帳をめくるようにその単語→訳または訳→単語の順で表示を切り替えながら、当該単語の発音音声を必要に応じて出力させることができる。

図８は、前記電子単語帳１０の音声画像出力制御処理（その２）に従った前記ミニ英和単語帳１２ｈの学習に伴うユーザ操作に応じた表示動作を示す図である。

図８（Ａ）に示すように、電源のＯＮに応じて表示されたメニュー画面Ｇ１において、ミニ英和単語リスト（ミニ英和単語帳データエリア１２ｈ）が指定されると（ステップＳ２６（Ｙｅｓ））、当該ミニ英和単語帳データエリア１２ｈに記憶されて登録されている単語帳データの先頭の単語情報（ここでは、「ｖｏｔｅ／投票、…」）が指定される（ステップＳ２７）。

そして、図８（Ｂ）に示すように、前記指定の単語情報のおもて（単語）のテキストデータ「ｖｏｔｅ」が文字フォントデータ１２ｂから読み出された文字フォントで、おもて（単語）テキスト画面Ｇｔａとして表示部１７に表示される（ステップＳ２８）。

ここで、図８（Ｃ）に示すように、［音声］キー１６ｄが操作されると（ステップＳ３４（Ｙｅｓ））、単語表示中であると判断され（ステップＳ３５（Ｙｅｓ））、前記同様に前記ミニ英和辞書データ１２ｆに記憶されている辞書用の音声データから、該当単語「ｖｏｔｅ」の音声データが検索され、音声出力部１８から音声出力される（ステップＳ３６）。

続いて、図８（Ｄ）に示すように、カーソルキー［→］１６ｂが操作されると（ステップＳ２９（Ｙｅｓ））、現在おもて（単語）の表示中である場合には（ステップＳ３０（Ｙｅｓ））、裏（訳）のテキストデータ（ここでは、日本語訳（説明情報）「ｖｏｔｅ(1)投票、票…」）が前記ミニ英和辞書データ１２ｆから読み出され、前記文字フォントデータ１２ｂから読み出された文字フォントで、裏（訳）テキスト画面Ｇｔｂとして表示される（ステップＳ３１）。

なお、前記指定の単語情報の裏（訳）のテキストデータ「ｖｏｔｅ(1)投票、票…」が表示された裏（訳）テキスト画面Ｇｔｂの表示状態で、［音声］キー１６ｄが操作された場合は（ステップＳ３４（Ｙｅｓ））、単語表示中でない（訳表示中）と判断され（ステップＳ３５（Ｎｏ））、当該音声キー無効として処理される（ステップＳ３７）。

そしてまた、カーソルキー［→］１６ｂが操作されると（ステップＳ２９（Ｙｅｓ））、現在おもて（単語）の表示中でないと判断された後（ステップＳ３０（Ｎｏ））、前記ミニ英和単語帳データエリア１２ｈに記憶されて登録されている各単語情報に次の単語情報があると判断された場合は（ステップＳ３２（Ｙｅｓ））、当該次の単語情報が指定され（ステップＳ３３）、そのおもて（単語）のテキストデータが、前記文字フォントデータ１２ｂから読み出された文字フォントで、おもて（単語）テキスト画面Ｇｔａとして表示される（ステップＳ２８）。

このように、前記ミニ英和単語帳データ１２ｈを指定しためくり学習の実施形態では、学習対象として指定した各登録単語情報の単語と訳のテキストデータをカーソルキー［→］１６ｂのユーザ操作により順次めくりながら表示させると共に、その単語のテキストデータの表示の際には、［音声］キー１６ｄのユーザ操作に応じて該当単語の音声データを辞書用音声データ（ミニ英和辞書データ１２ｆ）から検索して音声出力するようにしたので、当該英和単語帳データ（１２ｈ）でも勿論、紙の単語帳をめくるようにその単語→訳（説明情報）または訳（説明情報）→単語の順で表示を切り替えながら、単語の発音音声を必要に応じて出力させることができる。

したがって、前記構成の電子単語帳（音声画像出力制御装置）１０によれば、前記単語集Ｂ（キクタンゴ）データ１２ｄを指定してリスニング（ｃｈａｎｔ）学習を行なう場合には、学習対象として指定した各単語情報の単語と訳のリズム付き音声データＳを連続的に再生するのに伴い、当該音声データＳの再生時間Ｔに対応付けて該当する単語テキスト画像Ｂ０…を順番に表示出力するようにした。

これにより、例えば当該単語と訳のテキストをその文字コードからフォントに変換して表示させる必要なく、処理能力の小さなＣＰＵ１１であっても、前記各単語情報のテキストと音声を円滑に同期させて出力することが可能になる。

また、前記構成の電子単語帳（音声画像出力制御装置）１０によれば、前記単語集Ｂ（キクタンゴ）データ１２ｄを指定してめくって覚える学習を行なう場合には、学習対象として指定した各単語情報の単語と訳のテキストデータをカーソルキー［→］１６ｂのユーザ操作により順次めくりながら文字フォントデータ１２ｂとして表示させると共に、その単語のテキストデータの表示の際には、［音声］キー１６ｄのユーザ操作に応じて該当単語の音声データを辞書用音声データ（ミニ英和辞書データ１２ｆ）から検索して音声出力するようにした。

これにより、紙の単語帳をめくるようにその単語→訳または訳→単語の順でテキスト表示を切り替えながら、当該単語の発音音声を必要に応じて出力させることができる。

さらに、前記構成の電子単語帳（音声画像出力制御装置）１０によれば、前記単語集Ｂ（キクタンゴ）データ１２ｄを指定してめくって覚える学習を行なう場合に、ユーザ操作に応じてめくって表示させる各単語情報には、例えばその単語情報を覚えたか否かを示すチェックマークをユーザ操作に応じて付加したり消去したりすることができる。そして、当該めくって覚える学習を行なう際には、前記単語集Ｂ（キクタンゴ）データ１２ｄの全ての単語情報を順番にめくって表示させるか、または前記チェックマーク無しの各単語情報のみを順番にめくって表示させるか、または前記チェックマーク付きの各単語情報のみをシャッフルして（ランダムに）表示させるかを指定できる。

これにより、ユーザが未だ覚えていない各単語情報を集中して学習できるのは勿論、ユーザが一旦覚えてチェックマークを付加した各単語情報についても、その出力順を変えてなお覚えているかどうかを学習できる。

なお、前記実施形態の電子単語帳（音声画像出力制御装置）１０に記憶されている単語集Ａ（ユメタンゴ）データ１２ｃ、単語集Ｂ（キクタンゴ）データ１２ｄ、単語集Ｃ（英単語ゲット）データ１２ｅ、ミニ英和辞書データ１２ｆ等の学習対象の各データは、前記一連の音声画像出力制御処理の過程において必要に応じて外部のＷｅｂサーバ２０から取得しながら表示出力あるいは音声出力する構成としてもよい。

前記各実施形態において記載した電子単語帳（音声画像出力制御装置）１０による各処理の手法、すなわち、図４のフローチャートに示す音声画像出力制御処理（その１）、図５のフローチャートに示す音声画像出力制御処理（その２）等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録装置の媒体に格納して配布することができる。そして、電子機器（１０）のコンピュータ（制御装置）は、この外部記憶装置の媒体に記憶されたプログラムを記憶装置に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した各単語情報の単語と音声の同期出力制御機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（Ｎ）上を伝送させることができ、この通信ネットワーク（Ｎ）に接続されたコンピュータ装置（プログラムサーバ）から前記プログラムのデータを、前記電子機器（１０）に取り込んで記憶装置に記憶させ、前述した各単語情報の単語と音声の同期出力制御機能を実現することもできる。

本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［１］
複数の語句の音声を含む音声データを記憶する音声データ記憶手段と、
前記音声データ記憶手段により記憶された音声データの音声出力に伴う時間情報を前記複数の語句の語句毎に記憶している語句出力時間記憶手段と、
前記音声データ記憶手段により記憶された音声データを音声出力する音声出力制御手段と、
前記音声出力制御手段による前記音声データの音声出力中の時間データを取得する時間取得手段と、
前記音声出力制御手段による前記音声データの音声出力に伴い、前記時間取得手段により取得される当該音声出力中の時間データと前記語句出力時間記憶手段により記憶されている前記語句毎の音声出力に伴う時間情報とに基づいて、当該各語句のテキスト画像を表示させる語句画像表示制御手段と、
を備えたことを特徴とする音声画像出力制御装置。

［２］
前記複数の語句それぞれのテキスト画像を記憶する語句画像記憶手段を備え、
前記語句画像表示制御手段は、前記音声出力制御手段による前記音声データの音声出力に伴い、前記時間取得手段により取得される当該音声出力中の時間データと前記語句出力時間記憶手段により記憶されている前記語句毎の音声出力に伴う時間情報とに基づいて、前記語句画像記憶手段により記憶されている各語句それぞれのテキスト画像を読み出して表示させる、
ことを特徴とする［１］に記載の音声画像出力制御装置。

［３］
見出し語とその説明情報を複数組記憶している辞書記憶手段と、
前記辞書記憶手段により記憶された各見出し語それぞれの音声データを記憶している辞書音声記憶手段と、
前記音声データ記憶手段により記憶されている各語句の音声データに対応する何れかの語句をユーザ操作に応じて指定した際に、当該指定の語句に対応するテキストを表示させる語句テキスト表示制御手段と、
前記指定の語句に対応する音声データを前記辞書音声記憶手段により記憶されている各見出し語それぞれの音声データの中から読み出して音声出力する指定語句音声出力制御手段と、
を備えたことを特徴とする［１］または［２］に記載の音声画像出力制御装置。

［４］
テキストをフォントデータとして記憶するフォントデータ記憶手段を備え、
前記語句テキスト表示制御手段は、前記音声データ記憶手段により記憶されている各語句の音声データに対応する何れかの語句をユーザ操作に応じて指定した際に、当該指定の語句に対応するテキストを前記フォントデータ記憶手段により記憶されているフォントデータの中から読み出して表示させる、
ことを特徴とする［３］に記載の音声画像出力制御装置。

［５］
前記音声データ記憶手段により記憶されている各語句の音声データに対応する当該各語句のテキストを記憶する語句テキスト記憶手段を備え、
前記語句テキスト表示制御手段は、前記語句テキスト記憶手段により記憶されている各語句の何れかをユーザ操作に応じて指定した際に、当該指定の語句に対応するテキストを表示させる、
ことを特徴とする［３］または［４］に記載の音声画像出力制御装置。

［６］
前記語句テキスト表示制御手段により表示された語句のテキストに対応付けてユーザ操作に応じてチェックデータを付加して記憶するチェック語句記憶手段を備え、
前記語句テキスト表示制御手段は、
前記語句テキスト記憶手段により記憶されている各語句のうち、前記チェック語句記憶手段によりチェックデータが付加されて記憶されている語句かまたはチェックデータが付加されていない語句を、ユーザ操作に応じて表示対象に指定する表示対象指定手段を有し、前記表示対象指定手段により指定されたチェックデータが付加されている語句かまたはチェックデータが付加されていない語句に対応するテキストをユーザ操作に応じて順次表示させる、
ことを特徴とする［５］に記載の音声画像出力制御装置。

［７］
前記音声データ記憶手段は、複数の語句の音声を含む音声データを、予め設定された数の語句の音声データ毎に当該設定数の各語句を纏めた音声データを挟んで記憶し、
前記語句画像記憶手段は、複数の語句それぞれのテキスト画像を、予め設定された数の語句のテキスト画像毎に当該設定数の各語句を纏めたテキスト画像を挟んで記憶する、
ことを特徴とする［２］ないし［６］の何れかに記載の音声画像出力制御装置。

［８］
表示部と、
音声出力部とを備え、
前記音声出力制御手段は、前記音声データ記憶手段により記憶された音声データを前記音声出力部から音声出力させ、
前記語句画像表示制御手段は、前記音声出力制御手段による前記音声データの音声出力に伴い、前記時間取得手段により取得される当該音声出力中の時間データと前記語句出力時間記憶手段により記憶されている前記語句毎の音声出力に伴う時間情報とに基づいて、当該各語句のテキスト画像を前記表示部に表示させる、
ことを特徴とする［１］ないし［７］の何れかに記載の音声画像出力制御装置。

［９］
複数の語句の音声を含む音声データを取得する音声データ取得手段と、
前記音声データ取得手段により取得される音声データの音声出力に伴う時間情報を前記複数の語句の語句毎に記憶している語句出力時間テーブルを取得する語句出力時間テーブル取得手段と、
前記音声データ取得手段により取得された音声データを音声出力する音声出力制御手段と、
前記音声出力制御手段による前記音声データの音声出力中の時間データを取得する時間取得手段と、
前記音声出力制御手段による前記音声データの音声出力に伴い、前記時間取得手段により取得される当該音声出力中の時間データと前記語句出力時間テーブルに記憶されている前記語句毎の音声出力に伴う時間情報とに基づいて、当該各語句のテキスト画像を表示させる語句画像表示制御手段と、
を備えたことを特徴とする音声画像出力制御装置。

［１０］
電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の語句の音声を含む音声データを記憶する音声データ記憶手段、
前記音声データ記憶手段により記憶された音声データの音声出力に伴う時間情報を前記複数の語句の語句毎に記憶している語句出力時間記憶手段、
前記音声データ記憶手段により記憶された音声データを音声出力する音声出力制御手段、
前記音声出力制御手段による前記音声データの音声出力中の時間データを取得する時間取得手段、
前記音声出力制御手段による前記音声データの音声出力に伴い、前記時間取得手段により取得される当該音声出力中の時間データと前記語句出力時間記憶手段により記憶されている前記語句毎の音声出力に伴う時間情報とに基づいて、当該各語句のテキスト画像を表示させる語句画像表示制御手段、
として機能させるためのコンピュータ読み込み可能なプログラム。

１０ …電子単語帳（音声画像出力制御装置）
１１ …ＣＰＵ
１２ …メモリ
１２ａ…音声画像出力制御プログラム
１２ｂ…文字フォントデータ
１２ｃ…単語集Ａ（ユメタンゴ）データ
１２ｄ…単語集Ｂ（キクタンゴ）データ
１２ｅ…単語集Ｃ（英単語ゲット）データ
１２ｆ…ミニ英和辞書データ
１２ｇ…ミニ英和ヒストリーデータエリア
１２ｈ…ミニ英和単語帳データエリア
１２ｉ…単語集Ａ（ユメタンゴ）チェック単語データエリア
１２ｊ…単語集Ｂ（キクタンゴ）チェック単語データエリア
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …通信部
１６ …キー入力部
１７ …液晶表示部
１８ …音声出力部
２０ …教育サーバ（Ｗｅｂサーバ）
３０ …電子辞書装置

Claims (7)

1. 複数の語句の音声を含む音声データを記憶している音声データ記憶手段と、
   前記複数の各語句を表示するための各時間情報を前記複数の語句の語句毎に記憶している語句出力時間記憶手段と、
   前記複数の語句それぞれのテキスト画像を記憶している語句画像記憶手段と、
   テキストの各文字の各フォントデータを記憶しているフォントデータ記憶手段と、
   ユーザ操作に応じて第１モードが選択された場合に、前記音声データ記憶手段により記憶された音声データを音声出力する音声出力制御手段と、
   前記音声出力制御手段による前記音声データの音声出力に伴い、前記音声出力の開始からの時間データと前記語句出力時間記憶手段により記憶されている前記複数の各語句を表示するための各時間情報とに基づいて、前記語句画像記憶手段に記憶された当該各語句のテキスト画像を表示させる語句画像表示制御手段と、
   ユーザ操作に応じて第２モードが選択された場合に、前記複数の各語句のいずれかをユーザ操作に応じて指定する語句指定手段と、
   前記語句指定手段により指定された語句に対応するテキストの各文字の各フォントデータを前記フォントデータ記憶手段からそれぞれ読み出して語句テキストとして表示させる語句テキスト表示制御手段と、
   前記語句テキスト表示制御手段により語句テキストが表示された後に、前記指定の語句に対応する音声データを音声出力する指定語句音声出力制御手段と、
   を備えたことを特徴とする音声画像出力制御装置。
2. 前記音声データ記憶手段により記憶されている各語句の音声データに対応する当該各語句のテキストを記憶する語句テキスト記憶手段と、
   前記語句テキスト表示制御手段により表示された語句のテキストに対応付けてユーザ操作に応じてチェックデータを付加して記憶するチェック語句記憶手段を備え、
   前記語句テキスト表示制御手段は、
   前記語句テキスト記憶手段により記憶されている各語句のうち、前記チェック語句記憶手段によりチェックデータが付加されて記憶されている語句かまたはチェックデータが付加されていない語句を、ユーザ操作に応じて表示対象に指定する表示対象指定手段を有し、前記表示対象指定手段により指定されたチェックデータが付加されている語句かまたはチェックデータが付加されていない語句に対応するテキストをユーザ操作に応じて順次表示させる、
   ことを特徴とする請求項１に記載の音声画像出力制御装置。
3. 前記音声データ記憶手段は、複数の語句の音声を含む音声データを、予め設定された数の語句の音声データ毎に当該設定数の各語句を纏めた音声データを挟んで記憶し、
   前記語句画像記憶手段は、複数の語句それぞれのテキスト画像を、予め設定された数の語句のテキスト画像毎に当該設定数の各語句を纏めたテキスト画像を挟んで記憶する、
   ことを特徴とする請求項１又は請求項２に記載の音声画像出力制御装置。
4. 表示部と、
   音声出力部とを備え、
   前記音声出力制御手段は、前記音声データ記憶手段により記憶された音声データを前記音声出力部から音声出力させ、
   前記語句画像表示制御手段は、前記音声出力制御手段による前記音声データの音声出力に伴い、前記音声出力の開始からの時間データと前記語句出力時間記憶手段により記憶されている前記複数の各語句を表示するための各時間情報とに基づいて、当該各語句のテキスト画像を前記表示部に表示させる、
   ことを特徴とする請求項１ないし請求項３の何れか１項に記載の音声画像出力制御装置。
5. 複数の語句の音声を含む音声データを取得する音声データ取得手段と、
   前記複数の各語句を表示するための各時間情報を前記複数の語句の語句毎に記憶している語句出力時間テーブルを取得する語句出力時間テーブル取得手段と、
   前記複数の語句それぞれのテキスト画像を記憶する語句画像記憶手段からテキスト画像を取得する語句画像取得手段と、
   テキストの各文字の各フォントデータを取得するフォントデータ取得手段と、
   ユーザ操作に応じて第１モードが選択された場合に、前記音声データ取得手段により取得された音声データを音声出力する音声出力制御手段と、
   前記音声出力制御手段による前記音声データの音声出力に伴い、前記音声出力の開始からの時間データと前記語句出力時間テーブルの前記複数の各語句を表示するための各時間情報とに基づいて、前記語句画像取得手段により取得された各語句のテキスト画像を表示させる語句画像表示制御手段と、
   ユーザ操作に応じて第２モードが選択された場合に、前記複数の各語句のいずれかをユーザ操作に応じて指定した際に、当該指定された語句に対応して前記語句画像取得手段により取得されたテキスト画像の各文字の各フォントデータを、前記フォントデータ取得手段によりそれぞれ取得して語句テキストとして表示させる語句テキスト表示制御手段と、
   前記語句テキスト表示制御手段により語句テキストが表示された後に、前記指定の語句に対応する音声データを音声出力する指定語句音声出力制御手段と、
   を備えたことを特徴とする音声画像出力制御装置。
6. 電子機器のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   複数の語句の音声を含む音声データを記憶している音声データ記憶手段、
   テキストの各文字の各フォントデータを記憶するフォントデータ記憶手段、
   前記複数の各語句に対応するテキスト画像を複数組記憶している語句画像記憶手段、
   前記複数の各語句を表示するための各時間情報を前記複数の語句の語句毎に記憶している語句出力時間記憶手段、
   ユーザ操作に応じて第１モードが選択された場合に、前記音声データ記憶手段により記憶された音声データを音声出力する音声出力制御手段、
   前記音声出力制御手段による前記音声データの音声出力に伴い前記音声出力の開始からの時間データと前記語句出力時間記憶手段により記憶されている前記複数の各語句を表示するための各時間情報とに基づいて、前記語句画像記憶手段に記憶された当該各語句のテキスト画像を表示させる語句画像表示制御手段、
   ユーザ操作に応じて第２モードが選択された場合に、前記複数の各語句のいずれかをユーザ操作に応じて指定する語句指定手段、
   前記語句指定手段により指定された語句に対応するテキストの各文字の各フォントデータを前記フォントデータ記憶手段からそれぞれ読み出して語句テキストとして表示させる語句テキスト表示制御手段、
   前記語句テキスト表示制御手段により語句テキストが表示された後に、前記指定の語句に対応する音声データを音声出力する指定語句音声出力制御手段、
   として機能させるためのコンピュータ読み込み可能なプログラム。
7. 電子機器の音声画像出力方法であって、
   複数の語句の音声を含む音声データを記憶している音声データ記憶ステップと、
   前記複数の各語句を表示するための各時間情報を前記複数の語句の語句毎に記憶している語句出力時間記憶ステップと、
   前記複数の語句それぞれのテキスト画像を記憶する語句画像記憶ステップと、
   テキストの各文字の各フォントデータを記憶するフォントデータ記憶ステップと、
   ユーザ操作に応じて第１モードが選択された場合に、前記音声データ記憶ステップにより記憶された音声データを音声出力する音声出力制御ステップと、
   前記音声出力制御ステップによる前記音声データの音声出力に伴い、前記音声出力の開始からの時間データと前記語句出力時間記憶ステップにより記憶されている前記複数の各語句を表示するための各時間情報とに基づいて、前記語句画像記憶ステップにより記憶された当該各語句のテキスト画像を表示させる語句画像表示制御ステップと、
   ユーザ操作に応じて第２モードが選択された場合に、前記複数の各語句のいずれかをユーザ操作に応じて指定する語句指定ステップと、
   前記語句指定ステップにより指定された語句に対応するテキストの各文字の各フォントデータを前記フォントデータ記憶ステップによる記憶データからそれぞれ読み出して語句テキストとして表示させる語句テキスト表示制御ステップと、
   前記語句テキスト表示制御ステップにより語句テキストが表示された後に、前記指定の語句に対応する音声データを音声出力する指定語句音声出力制御ステップと、
   からなる音声画像出力方法。

Images