JP4087101B2 - 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体及び情報記録装置のデータ記録方法 - Google Patents
情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体及び情報記録装置のデータ記録方法 Download PDFInfo
- Publication number
- JP4087101B2 JP4087101B2 JP2001353361A JP2001353361A JP4087101B2 JP 4087101 B2 JP4087101 B2 JP 4087101B2 JP 2001353361 A JP2001353361 A JP 2001353361A JP 2001353361 A JP2001353361 A JP 2001353361A JP 4087101 B2 JP4087101 B2 JP 4087101B2
- Authority
- JP
- Japan
- Prior art keywords
- text data
- data
- meaning
- word
- sentences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体及び情報記録装置のデータ記録方法に関し、例えば携帯型の学習装置により英会話の教材を提供する場合に適用することができる。本発明は、テキストデータに設定された時間情報を基準にして音声データの再生に同期して２種類の文章を対比可能に表示し、さらにはユーザーによる操作に応動して何れかの文章の表示を中止することにより、音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができるようにする。
【０００２】
【従来の技術】
従来、英会話等の個人語学学習においては、テープカセット、コンパクトディスク等に記録された音声を確認しながら、書籍により提供される英文、日本語訳文を見て内容を確認して進められるようになされている。
【０００３】
このためこの種の音声を再生するテープレコーダ、コンパクトディスクプレイヤー等の再生装置においては、いわゆるリピート機能により、同一個所を繰り返し再生して音声を確認できるようになされ、またマーカー等を用いた頭出しにより所望する個所を再生して確認できるようになされている。
【０００４】
【発明が解決しようとする課題】
ところでこのような語学学習において、音声を確認しながら書籍を見て学習する場合、結局、再生装置で再生される音声を聞きながら、書籍に記録された多数の文章の中から対応個所を見つけ出して確認することになる。また意味が判らない場合には、このようにして英文を確認しながら、同様に、書籍に記録された多数の文章の中から対応個所を見つけ出して確認することになる。
【０００５】
このようなユーザーの作業の負担を軽減することができれば、この種の語学学習の効率を一段と向上できると考えられる。また語学学習だけでなく、種々のコンテンツの提供等にも広く適用できると考えられる。
【０００６】
本発明は以上の点を考慮してなされたもので、音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができる情報処理装置、情報処理装置の制御方法、情報記録装置のデータ記録方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体を提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため請求項１の発明においては、記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置において、前記会話学習用のファイルは、ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、前記音声データは、複数文による会話の一場面毎に区分され、各区分に、それぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、前記ブロックは、それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、前記表示開始の時間の順序で対応する前記区分に設けられ、前記情報処理装置は、音声信号を出力する音声信号出力手段と、前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力手段に供給する音声データ処理手段と、前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示手段と、前記会話学習用のファイルを解析して、前記音声信号出力手段、音声データ処理手段、表示手段の動作を制御する制御手段とを備え、前記制御手段は、操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の前記音声信号出力手段からの出力を開始した後、前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記表示部で前記第１及び第２の文章を同時に表示することにより、前記音声信号出力手段より出力される音声信号に同期して、前記第１及び第２の文章を同時に表示し、操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記表示部の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える。
【０００８】
また請求項２の発明においては、記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御方法において、前記会話学習用のファイルは、ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、前記音声データは、複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、前記ブロックは、それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、前記表示開始の時間の順序で対応する前記区分に設けられ、前記制御方法は、音声信号を出力する音声信号出力のステップと、前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップとを備え、操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える。
【０００９】
また請求項３の発明においては、記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御プログラムにおいて、前記会話学習用のファイルは、ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、前記音声データは、複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、前記ブロックは、それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、前記表示開始の時間の順序で対応する前記区分に設けられ、前記制御プログラムは、音声信号を出力する音声信号出力のステップと、前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップと、前記音声出力のステップ、前記音声データ処理のステップ、前記表示のステップを制御する制御ステップとを備え、前記制御ステップは、操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える。
【００１０】
また請求項４の発明においては、記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御プログラムを記録した記録媒体において、前記会話学習用のファイルは、ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、前記音声データは、複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、前記ブロックは、それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、前記表示開始の時間の順序で対応する前記区分に設けられ、前記制御プログラムは、音声信号を出力する音声信号出力のステップと、前記記録手段より音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップと、前記音声出力のステップ、前記音声データ処理のステップ、前記表示のステップを制御する制御ステップとを備え、前記制御ステップは、操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える。
【００１４】
請求項１、請求項２、請求項３、又は請求項４の構成によれば、例えば英会話の音声を再生しながら、この音声に対応する第１及び第２の文章が対比可能に、かつ音声に同期して表示される。これにより音声を聞き取りながら文章を確認して語学学習等する場合に、多数の文章の中から該当個所を見つけ出す作業を省略して、対応文章を確認することができる。また例えば原文による文章と翻訳による文章とを対比し、さらには選択的に表示して確認することもでき、これらにより音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができる。
【００１９】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００２０】
（１）実施の形態の構成
図１は、本発明の実施の形態に係る情報処理装置である情報携帯端末装置を示す平面図（図１（Ａ）及び側面図（図１（Ｂ））である。この情報携帯端末装置１は、片手により把持可能な平板形状により構成され、携帯して種々の用途に使用できるように構成される。すなわち情報携帯端末装置１は、表面が操作面及び画像表示面に設定され、下面側の端面にコネクタ２が配置される。情報携帯端末装置１は、矢印Ａにより示すように、パーソナルコンピュータ、携帯電話等に接続した専用の置台３に載置することにより、必要に応じてこのコネクタ２を介して充電用電源を入力できるようになされ、また置台３に載置した状態で置台３の操作子３Ａを操作することにより、このコネクタ２を介してパーソナルコンピュータ、携帯電話等との間で種々のデータを交換できるようになされている。
【００２１】
また情報携帯端末装置１は、側面に押圧操作可能な回転操作子（以下ジョグダイヤルと呼ぶ）４、イヤホンジャック５が配置され、矢印Ｂにより示すように、このジョグダイヤル４を回転操作して画像表示面の表示をスクロールできるようになされ、また矢印Ｃにより示すように、このジョグダイヤル４を押圧操作してスクロールにより切り換えたメニューを選択できるようになされている。またイヤホンジャック５にイヤホンを接続して音楽等を試聴できるようになされ、またこのイヤホンのケーブルに設けられたリモコンを操作して各種操作を実行できるようになされている。
【００２２】
また情報携帯端末装置１は、正面側より見た上端面の左側に、赤外線を送受する窓６が配置され、この窓６を介して実行される赤外線の送受により、対応する赤外線通信装置との間で種々のデータを送受できるようになされている。
【００２３】
また情報携帯端末装置１は、正面側より見た上端面の中央に、メモリカード７を挿入する挿入口８が配置され、矢印Ｄにより示すように、メモリカード７をこの挿入口８に差し込んでセットすることにより、種々のアプリケーションプログラムをロードして動作モードを切り換えることができるようになされ、さらにはこのメモリカード７を介してパーソナルコンピュータ等との間で種々のデータを交換できるようになされ、また語学学習用のデータ、音楽データを取得できるようになされている。
【００２４】
また情報携帯端末装置１は、正面側より見た上端面の右側に、ペンＰの収納穴９が配置され、矢印Ｅにより示すように、タッチパネルを操作するためのペンＰをこの収納穴９に差し込んで収納できるようになされている。また情報携帯端末装置１は、この収納穴９の手前側に、押圧操作に係る電源スイッチ１０が配置され、この電源スイッチ１０の押圧操作により電源を立ち上げ、また電源を立ち下げることができるようになされている。
【００２５】
また情報携帯端末装置１は、表面に大画面による液晶表示パネル１５、透明シート材によるタッチパネル１６が順次配置されてペンＰにより入力可能に画像表示面が形成され、さらにこの画像表示面の下側に押しボタン式の操作子１７Ａ〜１７Ｅが配置される。これらにより情報携帯端末装置１は、画像表示面に表示したメニュー画面をペンＰにより操作して、また操作子１７Ａ〜１７Ｅを操作して、種々に動作を切り換えることができるようになされている。なおここでタッチパネル１６は、押圧位置を検出できるように構成された透明シート材による座標入力手段である。
【００２６】
図２は、この液晶表示パネル１５及びタッチパネル１６の詳細を示す平面図である。この情報携帯端末装置１は、液晶表示パネル１５に対してタッチパネル１６が下側に飛び出すように形成され、この下側に飛び出した部位に、印刷により入力用の手書き文字入力用のエリアＭ１１及びＭ１２、各種操作用のメニューＭ１３、１４等が表示されるようになされている。情報携帯端末装置１においては、後述する中央処理ユニットの処理により、これら手書き文字入力用のエリアＭ１１及びＭ１２、各種操作用のメニューＭ１３、１４等が操作されると、対応する処理を実行するようになされ、これにより文字入力し、さらには全体動作等を切り換えることができるようになされている。
【００２７】
これに対して液晶表示パネル１５及びタッチパネル１６が重なり合う部位Ｍ２には、液晶表示パネル１５の駆動により種々のメニュー等が表示され、タッチパネル１６等の操作によりこれらメニューの選択を受け付け、さらにはこのようなユーザーによる選択によりテキスト等を表示できるようになされている。
【００２８】
図３は、情報携帯端末装置１を示すブロック図である。情報携帯端末装置１において、ビデオランダムアクセスメモリ（ＶＲＡＭ）２２は、バスＢＵＳを介して液晶表示パネル（ＬＣＤ：Liquid Crystal Display）１５の表示に供する画像データを取得して展開し、この画像データを図示しないドライバに出力する。液晶表示パネル１５は、このドライバにより駆動されるようになされ、これによりビデオランダムアクセスメモリ２２に展開された画像データにより各種表示画面を形成する。
【００２９】
タッチパネル１６は、図示しない検出回路によりペンＰ等による操作が検出され、インターフェース（ＩＦ）２３は、この検出結果を押圧位置の座標情報としてバスＢＵＳに出力する。またインターフェース２３は、ジョグダイヤル４の回転操作、押圧操作、操作子１７Ａ〜１７Ｅの操作、イヤホン３０のケーブルに設けられたリモコン３１の操作を検出し、検出結果をバスＢＵＳに出力する。
【００３０】
インターフェース（ＩＦ）２４は、メモリカード７とバスＢＵＳとの間のインターフェースを構成する。これに対してインターフェース（ＩＦ）２５は、情報携帯端末装置１の下側端面に配置されたコネクタ２に接続される機器と、バスＢＵＳとの間のインターフェースを構成する。赤外線通信部２７は、情報携帯端末装置１の上側端面に配置された窓６を介して赤外線を送受することにより、赤外線による通信機器との間で種々のデータを送受する通信回路であり、インターフェース（ＩＦ）２６は、この赤外線通信部２７に対するコマンド、ステータス、さらにはこの赤外線通信部２７より送受するデータ等のインターフェースを構成する。
【００３１】
ディジタルアナログ変換回路（Ｄ／Ａ）３２は、中央処理ユニット２８で復号化されて出力される音声データをディジタルアナログ変換処理し、音声信号を出力する。増幅回路３３は、このディジタルアナログ変換回路３２から出力される音声信号を増幅し、コネクタに接続されたイヤホン３４に出力する。これによりこの情報携帯端末装置１においては、各種音声信号を試聴できるようになされている。
【００３２】
中央処理ユニット（ＣＰＵ）２８は、この情報携帯端末装置１全体の動作を制御するコントローラであり、メモリ２９の記録されたプログラムに従って所定の処理手順を実行することにより、バスＢＵＳを介してビデオランダムアクセスメモリ２２に画像データを出力し、これにより液晶表示パネル１５に表示画面を形成する。またバスＢＵＳを介して検出されるジョグダイヤル４による操作、操作子１７Ａ〜１７Ｅの操作、タッチパネル１６の操作、リモコン３１の操作等に応動して表示画面を切り換え、また全体の動作を切り換える。
【００３３】
すなわち中央処理ユニット２８は、電源が立ち上げられると、さらにはジョグダイヤル４による操作、操作子１７Ａ〜１７Ｅの操作、タッチパネル１６の操作、リモコン３１の操作を介して検出されるユーザーの操作により、所定のメインメニュー画面を表示する。ここでこのメインメニュー画面には、メモリ２９に格納された各種アプリケーションプログラムによる処理メニューが表示される。中央処理ユニット２８は、このメニューの選択により、ユーザーが語学学習のメニューを選択すると、メモリ２９に記録された対応するアプリケーションプログラムを実行することにより、全体の動作を英会話の学習装置の動作に切り換える。これによりこの情報携帯端末装置１は、英会話の学習装置として動作するようになされている。
【００３４】
中央処理ユニット２８は、このようにして英会話の学習装置として全体の動作を立ち上げると、インターフェース２４を介してメモリカード７をアクセスし、メモリカード７に形成されたファイル管理領域の記録より、実行中のアプリケーションプログラムにより再生可能な音声データのファイルを検索する。さらに中央処理ユニット２８は、このようにして検索した音声データのファイルを液晶表示パネル１５に表示する。
【００３５】
ここで図４（Ａ）は、このファイル名の表示を示す平面図である。中央処理ユニット２８は、液晶表示パネル１５による表示画面の最上段に、このアプリケーションプログラムの名称が反転表示により表示される。またこの名称の表示の下に、検索された再生可能なファイル名が一覧表示される。
【００３６】
中央処理ユニット２８は、ジョグダイヤル４、タッチパネル１６、リモコン３１等の操作によりこれら一覧表示に係るファイルが選択されると、矢印Ａに示すように、液晶表示パネル１５の表示を切り換える。
【００３７】
ここでこの表示においては（図４（Ｂ））、最上段のアプリケーションプログラムの名称の表示に、選択されたファイル名が併せて表示される。また表示画面の最下段に、選択されたファイル再生用の各種メニューが表示される。ここでこのメニューにおいては、左端に、直前の画面に戻るのメニューＭ３１が表示され、中央処理ユニット２８は、このメニューＭ３１の操作により、矢印Ｂにより示すように、直前の状態に表示を戻すようになされている。
【００３８】
またこのメニューＭ３１の右側には、順次、戻る方向へのスキップのメニューＭ３２、進む方向へのスキップのメニューＭ３３、再生のメニューＭ３４、停止のメニューＭ３５、リピートのメニューＭ３６、音量操作のメニューＭ３７が表示されるようになされている。中央処理ユニット２８は、再生のメニューＭ３４がユーザーにより操作されると、選択されたファイルの再生を開始するのに対し、戻る方向へのスキップのメニューＭ３２、進む方向へのスキップのメニューＭ３３が操作されると、それぞれ再生方向とは逆方向及び再生方向に、再生個所をスキップさせる。また停止のメニューＭ３５が操作されると、再生を停止するのに対し、リピートのメニューＭ３６が操作されると、リピート再生の処理を実行する。また音量操作のメニューＭ３７が操作されると、音量調整用のサブメニューを表示し、この表示におけるユーザーの操作により音量の設定を受け付ける。
【００３９】
またこれらメニューＭ３１〜Ｍ３７の上側には、横方向にスライダＭ３８が表示され、中央処理ユニット２８は、このスライダＭ３８のつまみＭ３９がタッチペンＰにより押圧されて横方向にスライドされると、このタッチペンＰによる押圧位置の移動に追従させて、つまみＭ３９を横方向に移動させる。またこのように横方向の移動による移動先の位置に対応するように、再生個所を切り換える。なお中央処理ユニット２８は、これらメニューＭ３１〜Ｍ３９の表示のうち、主たるメニューＭ３１〜Ｍ３６については、リモコン３１の操作によっても、操作を受け付けるようになされている。
【００４０】
また表示画面の中央の残った部分は、上下に２分割され、それぞれ英語及び日本語による文章の表示領域に割り当てられる。図５（Ａ）に示すように、中央処理ユニット２８は、再生の指示がユーザーにより得られると、ユーザーにより選択されたファイルの再生により音声信号を再生し、この音声信号に同期して、対応する英語及び日本語の文章をこれら２つの表示領域にそれぞれ表示する。
【００４１】
またこれらの表示領域の左端には、これら各領域に対応して、それぞれアルファベットの先頭文字、日本語、仮名文字の先頭文字が表示され、タッチパネル１６を介して各文字の選択が検出されると、中央処理ユニット２８は、矢印Ｃ及びＤにより示すように、対応する文章の表示を停止し、また停止した表示を再開する（図５（Ａ１）及び（Ａ２））。これらによりこの情報携帯端末装置１では、音声により英会話を聞きながら、対応する英語による文章、日本語による文章を対比可能に表示するようになされている。
【００４２】
また中央処理ユニット２８は、このようにして再生する音声データに対して補助データが設定されている場合に、再生動作を一時停止して、タッチパネル１６により所定のメニューの選択が検出されると、矢印Ｅにより示すように（図５（Ｂ））、テキストデータによる補助データの表示に切り換えると共に、対応する音声データによる補助データを再生する。ここでこの学習用ファイルにおいては、先に表示した英語による文章に関連する事項がこの補助データにより割り当てられるようになされている。
【００４３】
具体的に、この実施の形態においては、英語による文章中に含まれる重要な単語、この単語の発音、この単語の日本語による意味が、この関連する事項に設定されるようになされ、中央処理ユニット２８は、このテキストデータよる補助データの内容についても、英語及び日本語の文章の表示と同様に、単語と意味とに分けて、対比可能に表示する。
【００４４】
また中央処理ユニット２８は、再生中に、又は再生を停止した状態で、タッチパネル１６によりフォント切り換えのメニューの選択が検出されると、図５（Ｃ）により示すように、フォント切り換えのサブメニューを表示し、フォントの切り換えを受け付ける。
【００４５】
図６は、メモリカード７に記録されてなるこの情報携帯端末装置１の再生対象のファイル構造を示す略線図である。メモリカード７は、記録領域が管理用領域とデータ領域とに区分され、各種ファイルによるユーザーデータがデータ領域に記録され、このデータ領域に記録したファイルのアドレス情報、ファイル名、著作権保護のための情報等が管理用領域に記録されるようになされている。
【００４６】
この情報携帯端末装置１の再生対象のファイルは、英会話学習用のファイルであり、例えば英会話の会話による主の音声データが、内容に応じて区分されて順次記録されるようになされ、これら区分の間に、音声データによる補助データ、文章用のテキストデータ、テキストデータによる補助データ、所定のタグ（ＩＤ３ｖ１）が記録される。これら主の音声データの区分の間に記録される音声データによる補助データ、文章用のテキストデータ、テキストデータによる補助データは、直前の音声データに対応する内容であり、これによりこの英会話学習用ファイルは、タグ（ＩＤ３ｖ１）を単位にしたフィールドにより区切られて記録されるようになされ、これにより図６（Ａ）は、この１つのフィールドについて、音声データ及びテキストデータによる補助データが設定されていない状態を示し、図６（Ｂ）は、この１つのフィールドについて、音声データ及びテキストデータによる補助データの双方が設定された状態を示すようになされている。
【００４７】
ここでタグ（ＩＤ３ｖ１）は、各フィールドの区切りであり、各フィールドの情報を３０バイトによる固定長により記録できるようになされている。これに対して主及び補助の音声データは、音声信号をアナログディジタル変換処理して得られるディジタル音声信号をデータ圧縮してなるデータであり、この実施の形態では、このデータ圧縮の形態としてＭＰ３（ＭＰＥＧ（Moving Picture Experts Group） ａｕｄｉｏ Ｌａｙｅｒ３）のフォーマットが適用されるようになされている。これに対して文章用及び補助データのテキストデータは、スクリプト言語による時間情報が併せて記録され、これにより対応する音声データと同期して表示できるようになされている。
【００４８】
このようにして構成されるファイルにおいて、この実施の形態に係る英会話学習用のファイルにおいては、学習の単位である、複数文による英会話の一場面により区切りが形成されるようになされている。
【００４９】
図７は、このテキストデータの記述を具体的に示す図表である。各テキストデータは、各フィールドの先頭に、各フィールドの名称等を示すタグ<CHP=n,mmm> が記述される。ここでこのタグ<CHP=n,mmm> におけるｎは、章の番号であり、ｍｍｍは、章の名称であり、これによりこの図７の例では、<CHP= 1,1st Day>により、このフィールドの内容が第１章、１日目のレッスンであることが示されるようになされている。
【００５０】
続いてテキストデータは、主の音声データに対応する時間情報を示すタグ<TIME=mm:nn.ds> が設定され、それぞれ対応する内容が示されるようになされている。ここでこの時間情報のタグ<TIME=mm:ss.ds> におけるｍｍ及びＳＳは、分及び秒であり、ｄｓは、１／１０秒である。この時間情報は、各フィールドにおける主の音声データの先頭を基準にして設定される。これにより図７の例では、<TIME=00:00.0>により、主の音声データの先頭で、続くスクリプトの内容を実行し、また続く<TIME=00;05.9>、<TIME=00:07.8>、<TIME=00:10.9>、……の記述により、この先頭よりそれぞれ５．９秒後、７．８秒後、１０．９秒後、……に順次対応するスクリプトを実行するようになされている。
【００５１】
これに対してタグ<TIME=00:00.0>に続くタグ<ORG> は、<\ORG>と対をなし、この<\ORG>との間のテキストデータが英語の文章として表示すべき文字列であることを示すようになされている。これにより<ORG> 1st Week<\ORG>により、図５について上述した英語による文章の表示領域に「1st Week」の文章を表示するようになされている。また続く段落の<ORG>1st Day<\ORG>では、同様に、「1st Day 」を表示するようになされている。
【００５２】
続く<TRL> は、<\TRL>と対をなし、この<\TRL>との間のテキストデータが翻訳文の文章であることを示すようになされている。これらによりこの図７に示す例では、タグ<TIME=00:00.0>、<ORG>1st Week<\ORG> 、<TRL><\TRL> によるスクリプトにより、主の音声データの再生を開始すると、英文の表示領域に「1st Week」を表示し、翻訳文の表示領域には何ら表示しないようになされている。
【００５３】
また続く<TIME=00;05.9>、<ORG>1st Day<\ORG>、<TRL><\TRL> のスクリプトにより、主の音声データの再生を開始して５．９秒後には、英文の表示領域に「1st Day 」を表示し、翻訳文の表示領域には何ら表示しないようになされている。また続く<TIME=00:07.8>、<ORG>24 WORDS FOR LISTENING<\ORG> 、<TRL><\TRL> のスクリプトにより、主の音声データの再生を開始して７．８秒後には、英文の表示領域に「24 WORDS FOR LISTENING」を表示し、翻訳文の表示領域には何ら表示しないようになされている。
【００５４】
これに対してタグ<TIME=00:10.9>のスクリプトのタグ<TRL> は、<\TRL>と対をなし、この<\TRL>との間のテキストデータが翻訳文の文章として表示すべき文字列であることを示すようになされている。
【００５５】
また<VOC> は、<\VOC>と対をなし、補助データを示すようになされている。すなわち<VOC> は、<VOC><mm1:ss1,ds1><mm2:ss2,ds2>mmm<\VOC>により使用され、<mm1:ss1,ds1> 及び <mm2:ss2,ds2>による対応する音声データによる補助データの開始位置、終了位置を示すようになされている。なおこの時間情報においても、音声データのフィールド先頭を基準にして示されるようになされている。またmmm は、補助データのテキストデータを示すようになされている。
【００５６】
これにより図７の場合、<TIME=00:10.9>、<ORG>How do you happen to know Mr.Slater?<\ORG> 、<TRL> どのようにしてスレーター氏を知ったのですか。<\TRL>、<VOC>happen □（偶然に）起こる，《不定詞とともに》たまたま［偶然] 〜する<\VOC>のスクリプトにより、このフィールドの再生を開始して１０．９秒後に、英文の表示領域及び日本語の表示領域にそれぞれ「How do you happen to know Mr.Slater?」及び「どのようにしてスレーター氏を知ったのですか。」を表示し、ユーザーにより補助データの表示が指示されると英文の表示領域及び日本語の表示領域にそれぞれ「happen」及び「（偶然に）起こる，《不定詞とともに》たまたま［偶然] 〜する」を表示するようになされている。なお、□は、補助データにおける英文と翻訳文との区切りを示すコードである。
【００５７】
なおこの図７には示されていないが、テキストデータには、これらのタグに加えて、<EOS=mm:ss,ds>のタグが使用され、このタグにより、主の音声データと補助データによる音声データとの区切りを示すようになされている。
【００５８】
このファイルのテキストデータにおいては、このようなスクリプトによる記述により順次記述されるようになされている。また補助の音声データは、このスクリプトに記述された時間情報に対応するように、主の音声データに続いて記録されるようになされている。
【００５９】
これらによりメモリカード７においては、データ圧縮してなる音声データが、順次、音声データの内容に応じた区分により順次記録され、これら音声データの区分間に、少なくとも音声データに対応する時間情報が設定されて、各区分の音声データに対応する第１の文章による第１のテキストデータと、この第１のテキストデータに対応する第２のテキストデータとが介挿されて記録されるようになされている。
【００６０】
中央処理ユニット２８は、これによりこの会話学習に係るアプリケーションプログラムの実行が指示されると、ＭＰ３デコーダのプログラムを立ち上げる。さらにユーザーにより再生が指示されると、ユーザーにより選択されたファイルについて、順次各フレームの音声データをこのＭＰ３デコーダのプログラムに渡す。これにより中央処理ユニット２８は、ユーザーにより再生された音声データを順次再生するようになされ、ユーザーにおいては、イヤホンにより英会話を試聴することができるようになされている。
【００６１】
またつまみＭ３１の操作により、メニューＭ３２、Ｍ３３等の操作により、このＭＰ３デコーダにより再生する音声ファイルを切り換え、これによりユーザーの操作に応動して、再生個所を変更し、さらにはリピート再生の処理を実行する。
【００６２】
中央処理ユニット２８は、このようにして音声データをＭＰ３デコーダにより再生しながら、同一フィールドに設定されたテキストファイルのタグを監視し、各タグによりテキストデータに設定された時間情報を基準にして、テキストデータによるフォントをビデオランダムアクセスメモリ２２に展開する。これにより中央処理ユニット２８は、図８に示すように、矢印Ｆにより示す音声データの再生に対して同期させて、矢印Ｇにより示すように、順次、英語、日本語による文章を対比して表示するようになされている。
【００６３】
また中央処理ユニット２８は、ユーザーの操作により、このビデオランダムアクセスメモリ２２の内容を更新し、これによりユーザーの操作に応動して英語による文章の表示を中止し、また中止した表示を再開する。また同様にして、日本語による文章の表示を中止し、また中止した表示を再開する。
【００６４】
また中央処理ユニット２８は、このようにして英語及び日本語による文章を表示した状態で、文章が長く、表示領域をはみ出してしまう場合、ユーザーによるジョグダイヤル４等の操作に応動して、このはみ出した文章の表示をスクロールさせる。このとき中央処理ユニット２８は、英語及び日本語の双方が表示領域をはみ出している場合、ユーザーによる操作に応動して、これら双方の表示を同時にスクロールさせる。
【００６５】
これに対してユーザーにより一時停止が指示されると、ＭＰ３デコーダの動作を一時停止し、またユーザーにより補助データの再生が指示されると、対応するタグ<VOC> <\VOC>により指示される文章を表示する。またこのときこのタグ<VOC> <\VOC>により音声データによる補助データが指示されている場合には、図８（Ｂ）において矢印Ｈにより示すように、この指示された個所の音声データをＭＰ３デコーダに渡し、この音声データによる補助データを再生する。
【００６６】
これらによりこの実施の形態において、増幅回路３３は、音声信号をイヤホン３４に出力する音声信号出力手段を構成し、インターフェース２４、中央処理ユニット２８、ディジタルアナログ変換回路３２は、記録手段であるメモリカード７から音声データを取得して音声信号に変換し、音声信号出力手段に供給する音声データ処理手段を構成するようになされている。またインターフェース２４、中央処理ユニット２８、ビデオランダムアクセスメモリ２２、液晶表示パネル１５は、記録手段であるメモリカード７からテキストデータを取得し、このテキストデータによる文章を表示する表示手段を構成し、このテキストデータにタグにより設定された時間情報を基準にして、音声信号出力手段より出力される音声信号に同期して、このテキストデータによる第１及び第２の文章を対比可能に表示し、さらに操作子の操作に応動して、第１又は第２の文章の表示を中止し、また中止した表示を再開するようになされている。
【００６７】
また補助データを示すタグ<VOC> <\VOC>は、これら第１及び又は第２の文章中関連する事項である、第１の文章中の単語を詳細に説明する補助データを示す識別コードを構成するようになされ、この実施の形態では、この識別コードによる補助データの内容が、単語を説明する文章に設定されるようになされている。
【００６８】
（２）実施の形態の動作
以上の構成において、この情報携帯端末装置１は、電源スイッチ１０の押圧操作により電源が立ち上がって中央処理ユニット２８が動作を開始し（図１及び図３）、選択可能な各種のメニューが液晶表示パネル１５の表示画面Ｍ１に表示される。情報携帯端末装置１は、ジョグダイヤル４の操作により、さらにはタッチペンＰの操作により、何れかのメニューが選択されると、対応するアプリケーションプログラムを立ち上げ、各種の処理を実行する。
【００６９】
このような一連の処理において、ユーザーにより英会話学習のメニューが選択されると、情報携帯端末装置１では、この英会話学習のアプリケーションプログラムが立ち上がり、このアプリケーションプログラムによりメモリカード７の内容が検索され、対応するファイルの一覧が表示される（図４（Ａ））。ここでこの一覧よりファイルが選択されると、情報携帯端末装置１では、対応するファイルの音楽データがデコーダであるＭＰ３デコーダにより順次再生され、その結果得られる音声信号がイヤホン３４から出力される（図８）。これにより情報携帯端末装置１では、メモリカード７により提供される英会話の音声がユーザーに提供される。
【００７０】
情報携帯端末装置１では、このようにして音声データを再生してユーザーへの提供を開始すると、中央処理ユニット２８によりテキストデータに設定されたタグが順次解析され（図７）、このタグにより時間情報が設定されている場合には、音声データの各フィールドの再生開始より、対応する時間が経過すると、このタグにより指定されるテキストが液晶表示パネル１５により表示される（図５）。これにより情報携帯端末装置１では、テキストデータに設定された時間情報を基準にして、音声信号に同期して、テキストデータによる文章が表示される。
【００７１】
このとき情報携帯端末装置１では、タグの解析により英語によるテキスト、日本語によるテキストが識別されて、対応する部位に、対比可能に表示される。これにより情報携帯端末装置１では、音声データに対応する第１及び第２の文章が対比可能に表示される。これによりユーザーにおいては、イヤホンより流れる音声を聞きながら、液晶表示パネル１５の画面を目視するだけで、発音と原文とを比較し、さらには日本語による内容を確認することができ、従来の書籍によりこれらの原文、日本語による内容を確認する場合のような、音声の内容に応じて多数の文書から対応個所を見つけ出す作業を省略することができ、その分、ユーザーの負担を軽減し、学習に集中させて効率を向上することができる。
【００７２】
また情報携帯端末装置１では、ユーザーの操作に応動して、このような第１又は第２の文章の表示を中止し、また中止した表示が再開され、これにより学習の進捗状況、学習のレベルに応じて、必要に応じてこれらの文書を選択的に表示して内容を確認することができ、これにより使い勝手を向上することができる。
【００７３】
また情報携帯端末装置１では、このような音声に同期したテキストの表示が、テキストデータに設定された時間情報を基準にして実行されることにより、音声データについては、従来構成のデコーダと同一構成によるデコーダを使用して既存のフォーマットによりこの種の教材を提供することができ、これにより情報携帯端末装置１の構成を簡略化し、さらにはこの種の教材の開発環境を簡易に構成することができ、さらにはこのような開発環境によりこの種の教材を簡易に作成することができる。
【００７４】
またこのようにしてファイルを構成することにより、必要に応じて、フィールドによる区分を種々の長さに設定することができ、これによりこの種のデータを提供する伝送路の特性、伝送対象の特性等に対応してこれらの区分を種々に設定して使い勝手を向上することができる。因みに、例えば情報携帯端末装置側において、バッファリングの容量が小さい場合には、区分を短くして伝送することにより、少ないバッファリングの容量を補うことができる。
【００７５】
情報携帯端末装置１では、さらにこのようなタグの解析により、補助データが設定されており、かつユーザーにより所定の操作が実行されると、このタグにより示されるテキストが表示される。またこの補助データに音声データの記録位置が示されている場合には、主の音声データに続く補助データによる音声データより、対応個所が再生されてユーザーに提供される。これによりこの情報携帯端末装置１では、必要に応じて、重要な単語の発音、意味、綴りを確認することができ、これによっても使い勝手を向上し、学習の効率を向上することができる。
【００７６】
この情報携帯端末装置１では、この補助データについても、テキストデータ側に設定された時間情報により対応する音声データによる補助データが再生され、これにより音声データについては、既存のフォーマットを利用することができる。
【００７７】
（３）実施の形態の効果
以上の構成によれば、テキストデータに設定された時間情報を基準にして音声データの再生に同期して２種類の文章を対比可能に表示し、ユーザーによる操作に応動して何れかの文章の表示を中止することにより、音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができる。その結果、この情報携帯端末装置１では、学習の効率を向上することができる。
【００７８】
すなわちこの音声信号が、会話の音声信号であり、第１の文章が、この会話を記述した文章であり、第２の文章が、第１の文章を所定の言語に翻訳した文章であることにより、英会話等の語学学習に役立てることができる。
【００７９】
また操作子の操作に応動して、テキストデータに設定された識別コードを基準にして、第１及び又は第２の文章中の事項に関連する事項を表示することにより、例えば必要に応じて単語の発音、綴り、意味等を確認して使い勝手を向上することができる。
【００８０】
またデータ圧縮してなる音声データを、順次、音声データの内容に応じた区分により記録し、この音声データの区分間に、少なくとも、音声データに対応する時間情報を設定して、各区分の音声データに対応する第１の文章による第１のテキストデータと、第１のテキストデータに対応する第２のテキストデータとを介挿して記録することにより、この種の教材等を簡易な設備により提供することができる。また提供する対象に応じて、適切に区分を設定して使い勝手を向上することができる。
【００８１】
（４）他の実施の形態
なお上述の実施の形態においては、単に補助データが存在する場合に、ユーザーの操作により補助データを表示し、また再生する場合について述べたが、本発明はこれに限らず、文章中の対応する単語の表示を反転表示する等により、対応する補助データの存在をユーザーに告知するようにしてもよい。
【００８２】
また上述の実施の形態においては、メモリカード７により学習教材であるファイルを提供する場合について述べたが、本発明はこれに限らず、パーソナルコンピュータ、携帯電話を介してダウンロードによりこの種の教材を提供する場合にも広く適用することができる。
【００８３】
また上述の実施の形態においては、英会話の音声に対して、英語による文章と日本語による文章とを提供する場合について述べたが、本発明はこれに限らず、例えば韓国語、中国語等による第３、第４の文章を提供できるようにテキストデータを構成し、これらを日本語と共に、又は日本語に代えて、表示するようにしてもよい。
【００８４】
また上述の実施の形態においては、補助データとして音声データ、テキストデータを設定する場合について述べたが、本発明はこれに限らず、これらに加えて例えば画像データを提供するようにしてもよい。
【００８７】
【発明の効果】
上述のように本発明によれば、テキストデータに設定された時間情報を基準にして音声データの再生に同期して２種類の文章を対比可能に表示し、さらにはユーザーによる操作に応動して何れかの文章の表示を中止することにより、音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る情報携帯端末装置を示す平面図及び側面図である。
【図２】図１の情報携帯端末装置の表示部を詳細に示す平面図である。
【図３】図１の情報携帯端末装置を示すブロック図である。
【図４】図１の情報携帯端末装置において語学学習プログラムを選択した状態を示す平面図である。
【図５】図４の表示画面における表示を示す平面図である。
【図６】語学学習プログラムに適用されるファイル構造を示す図表である。
【図７】図６のファイル構造に適用されるテキストデータを示す図表である。
【図８】音声と表示との同期の説明に供する図表である。
【符号の説明】
１……情報携帯端末装置、７……メモリカード、１５……液晶表示パネル、１６……タッチパネル、１７Ａ〜１７Ｅ……操作子、２８……中央処理ユニット
【発明の属する技術分野】
本発明は、情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体及び情報記録装置のデータ記録方法に関し、例えば携帯型の学習装置により英会話の教材を提供する場合に適用することができる。本発明は、テキストデータに設定された時間情報を基準にして音声データの再生に同期して２種類の文章を対比可能に表示し、さらにはユーザーによる操作に応動して何れかの文章の表示を中止することにより、音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができるようにする。
【０００２】
【従来の技術】
従来、英会話等の個人語学学習においては、テープカセット、コンパクトディスク等に記録された音声を確認しながら、書籍により提供される英文、日本語訳文を見て内容を確認して進められるようになされている。
【０００３】
このためこの種の音声を再生するテープレコーダ、コンパクトディスクプレイヤー等の再生装置においては、いわゆるリピート機能により、同一個所を繰り返し再生して音声を確認できるようになされ、またマーカー等を用いた頭出しにより所望する個所を再生して確認できるようになされている。
【０００４】
【発明が解決しようとする課題】
ところでこのような語学学習において、音声を確認しながら書籍を見て学習する場合、結局、再生装置で再生される音声を聞きながら、書籍に記録された多数の文章の中から対応個所を見つけ出して確認することになる。また意味が判らない場合には、このようにして英文を確認しながら、同様に、書籍に記録された多数の文章の中から対応個所を見つけ出して確認することになる。
【０００５】
このようなユーザーの作業の負担を軽減することができれば、この種の語学学習の効率を一段と向上できると考えられる。また語学学習だけでなく、種々のコンテンツの提供等にも広く適用できると考えられる。
【０００６】
本発明は以上の点を考慮してなされたもので、音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができる情報処理装置、情報処理装置の制御方法、情報記録装置のデータ記録方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体を提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため請求項１の発明においては、記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置において、前記会話学習用のファイルは、ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、前記音声データは、複数文による会話の一場面毎に区分され、各区分に、それぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、前記ブロックは、それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、前記表示開始の時間の順序で対応する前記区分に設けられ、前記情報処理装置は、音声信号を出力する音声信号出力手段と、前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力手段に供給する音声データ処理手段と、前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示手段と、前記会話学習用のファイルを解析して、前記音声信号出力手段、音声データ処理手段、表示手段の動作を制御する制御手段とを備え、前記制御手段は、操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の前記音声信号出力手段からの出力を開始した後、前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記表示部で前記第１及び第２の文章を同時に表示することにより、前記音声信号出力手段より出力される音声信号に同期して、前記第１及び第２の文章を同時に表示し、操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記表示部の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える。
【０００８】
また請求項２の発明においては、記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御方法において、前記会話学習用のファイルは、ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、前記音声データは、複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、前記ブロックは、それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、前記表示開始の時間の順序で対応する前記区分に設けられ、前記制御方法は、音声信号を出力する音声信号出力のステップと、前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップとを備え、操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える。
【０００９】
また請求項３の発明においては、記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御プログラムにおいて、前記会話学習用のファイルは、ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、前記音声データは、複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、前記ブロックは、それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、前記表示開始の時間の順序で対応する前記区分に設けられ、前記制御プログラムは、音声信号を出力する音声信号出力のステップと、前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップと、前記音声出力のステップ、前記音声データ処理のステップ、前記表示のステップを制御する制御ステップとを備え、前記制御ステップは、操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える。
【００１０】
また請求項４の発明においては、記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御プログラムを記録した記録媒体において、前記会話学習用のファイルは、ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、前記音声データは、複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、前記ブロックは、それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、前記表示開始の時間の順序で対応する前記区分に設けられ、前記制御プログラムは、音声信号を出力する音声信号出力のステップと、前記記録手段より音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップと、前記音声出力のステップ、前記音声データ処理のステップ、前記表示のステップを制御する制御ステップとを備え、前記制御ステップは、操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える。
【００１４】
請求項１、請求項２、請求項３、又は請求項４の構成によれば、例えば英会話の音声を再生しながら、この音声に対応する第１及び第２の文章が対比可能に、かつ音声に同期して表示される。これにより音声を聞き取りながら文章を確認して語学学習等する場合に、多数の文章の中から該当個所を見つけ出す作業を省略して、対応文章を確認することができる。また例えば原文による文章と翻訳による文章とを対比し、さらには選択的に表示して確認することもでき、これらにより音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができる。
【００１９】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００２０】
（１）実施の形態の構成
図１は、本発明の実施の形態に係る情報処理装置である情報携帯端末装置を示す平面図（図１（Ａ）及び側面図（図１（Ｂ））である。この情報携帯端末装置１は、片手により把持可能な平板形状により構成され、携帯して種々の用途に使用できるように構成される。すなわち情報携帯端末装置１は、表面が操作面及び画像表示面に設定され、下面側の端面にコネクタ２が配置される。情報携帯端末装置１は、矢印Ａにより示すように、パーソナルコンピュータ、携帯電話等に接続した専用の置台３に載置することにより、必要に応じてこのコネクタ２を介して充電用電源を入力できるようになされ、また置台３に載置した状態で置台３の操作子３Ａを操作することにより、このコネクタ２を介してパーソナルコンピュータ、携帯電話等との間で種々のデータを交換できるようになされている。
【００２１】
また情報携帯端末装置１は、側面に押圧操作可能な回転操作子（以下ジョグダイヤルと呼ぶ）４、イヤホンジャック５が配置され、矢印Ｂにより示すように、このジョグダイヤル４を回転操作して画像表示面の表示をスクロールできるようになされ、また矢印Ｃにより示すように、このジョグダイヤル４を押圧操作してスクロールにより切り換えたメニューを選択できるようになされている。またイヤホンジャック５にイヤホンを接続して音楽等を試聴できるようになされ、またこのイヤホンのケーブルに設けられたリモコンを操作して各種操作を実行できるようになされている。
【００２２】
また情報携帯端末装置１は、正面側より見た上端面の左側に、赤外線を送受する窓６が配置され、この窓６を介して実行される赤外線の送受により、対応する赤外線通信装置との間で種々のデータを送受できるようになされている。
【００２３】
また情報携帯端末装置１は、正面側より見た上端面の中央に、メモリカード７を挿入する挿入口８が配置され、矢印Ｄにより示すように、メモリカード７をこの挿入口８に差し込んでセットすることにより、種々のアプリケーションプログラムをロードして動作モードを切り換えることができるようになされ、さらにはこのメモリカード７を介してパーソナルコンピュータ等との間で種々のデータを交換できるようになされ、また語学学習用のデータ、音楽データを取得できるようになされている。
【００２４】
また情報携帯端末装置１は、正面側より見た上端面の右側に、ペンＰの収納穴９が配置され、矢印Ｅにより示すように、タッチパネルを操作するためのペンＰをこの収納穴９に差し込んで収納できるようになされている。また情報携帯端末装置１は、この収納穴９の手前側に、押圧操作に係る電源スイッチ１０が配置され、この電源スイッチ１０の押圧操作により電源を立ち上げ、また電源を立ち下げることができるようになされている。
【００２５】
また情報携帯端末装置１は、表面に大画面による液晶表示パネル１５、透明シート材によるタッチパネル１６が順次配置されてペンＰにより入力可能に画像表示面が形成され、さらにこの画像表示面の下側に押しボタン式の操作子１７Ａ〜１７Ｅが配置される。これらにより情報携帯端末装置１は、画像表示面に表示したメニュー画面をペンＰにより操作して、また操作子１７Ａ〜１７Ｅを操作して、種々に動作を切り換えることができるようになされている。なおここでタッチパネル１６は、押圧位置を検出できるように構成された透明シート材による座標入力手段である。
【００２６】
図２は、この液晶表示パネル１５及びタッチパネル１６の詳細を示す平面図である。この情報携帯端末装置１は、液晶表示パネル１５に対してタッチパネル１６が下側に飛び出すように形成され、この下側に飛び出した部位に、印刷により入力用の手書き文字入力用のエリアＭ１１及びＭ１２、各種操作用のメニューＭ１３、１４等が表示されるようになされている。情報携帯端末装置１においては、後述する中央処理ユニットの処理により、これら手書き文字入力用のエリアＭ１１及びＭ１２、各種操作用のメニューＭ１３、１４等が操作されると、対応する処理を実行するようになされ、これにより文字入力し、さらには全体動作等を切り換えることができるようになされている。
【００２７】
これに対して液晶表示パネル１５及びタッチパネル１６が重なり合う部位Ｍ２には、液晶表示パネル１５の駆動により種々のメニュー等が表示され、タッチパネル１６等の操作によりこれらメニューの選択を受け付け、さらにはこのようなユーザーによる選択によりテキスト等を表示できるようになされている。
【００２８】
図３は、情報携帯端末装置１を示すブロック図である。情報携帯端末装置１において、ビデオランダムアクセスメモリ（ＶＲＡＭ）２２は、バスＢＵＳを介して液晶表示パネル（ＬＣＤ：Liquid Crystal Display）１５の表示に供する画像データを取得して展開し、この画像データを図示しないドライバに出力する。液晶表示パネル１５は、このドライバにより駆動されるようになされ、これによりビデオランダムアクセスメモリ２２に展開された画像データにより各種表示画面を形成する。
【００２９】
タッチパネル１６は、図示しない検出回路によりペンＰ等による操作が検出され、インターフェース（ＩＦ）２３は、この検出結果を押圧位置の座標情報としてバスＢＵＳに出力する。またインターフェース２３は、ジョグダイヤル４の回転操作、押圧操作、操作子１７Ａ〜１７Ｅの操作、イヤホン３０のケーブルに設けられたリモコン３１の操作を検出し、検出結果をバスＢＵＳに出力する。
【００３０】
インターフェース（ＩＦ）２４は、メモリカード７とバスＢＵＳとの間のインターフェースを構成する。これに対してインターフェース（ＩＦ）２５は、情報携帯端末装置１の下側端面に配置されたコネクタ２に接続される機器と、バスＢＵＳとの間のインターフェースを構成する。赤外線通信部２７は、情報携帯端末装置１の上側端面に配置された窓６を介して赤外線を送受することにより、赤外線による通信機器との間で種々のデータを送受する通信回路であり、インターフェース（ＩＦ）２６は、この赤外線通信部２７に対するコマンド、ステータス、さらにはこの赤外線通信部２７より送受するデータ等のインターフェースを構成する。
【００３１】
ディジタルアナログ変換回路（Ｄ／Ａ）３２は、中央処理ユニット２８で復号化されて出力される音声データをディジタルアナログ変換処理し、音声信号を出力する。増幅回路３３は、このディジタルアナログ変換回路３２から出力される音声信号を増幅し、コネクタに接続されたイヤホン３４に出力する。これによりこの情報携帯端末装置１においては、各種音声信号を試聴できるようになされている。
【００３２】
中央処理ユニット（ＣＰＵ）２８は、この情報携帯端末装置１全体の動作を制御するコントローラであり、メモリ２９の記録されたプログラムに従って所定の処理手順を実行することにより、バスＢＵＳを介してビデオランダムアクセスメモリ２２に画像データを出力し、これにより液晶表示パネル１５に表示画面を形成する。またバスＢＵＳを介して検出されるジョグダイヤル４による操作、操作子１７Ａ〜１７Ｅの操作、タッチパネル１６の操作、リモコン３１の操作等に応動して表示画面を切り換え、また全体の動作を切り換える。
【００３３】
すなわち中央処理ユニット２８は、電源が立ち上げられると、さらにはジョグダイヤル４による操作、操作子１７Ａ〜１７Ｅの操作、タッチパネル１６の操作、リモコン３１の操作を介して検出されるユーザーの操作により、所定のメインメニュー画面を表示する。ここでこのメインメニュー画面には、メモリ２９に格納された各種アプリケーションプログラムによる処理メニューが表示される。中央処理ユニット２８は、このメニューの選択により、ユーザーが語学学習のメニューを選択すると、メモリ２９に記録された対応するアプリケーションプログラムを実行することにより、全体の動作を英会話の学習装置の動作に切り換える。これによりこの情報携帯端末装置１は、英会話の学習装置として動作するようになされている。
【００３４】
中央処理ユニット２８は、このようにして英会話の学習装置として全体の動作を立ち上げると、インターフェース２４を介してメモリカード７をアクセスし、メモリカード７に形成されたファイル管理領域の記録より、実行中のアプリケーションプログラムにより再生可能な音声データのファイルを検索する。さらに中央処理ユニット２８は、このようにして検索した音声データのファイルを液晶表示パネル１５に表示する。
【００３５】
ここで図４（Ａ）は、このファイル名の表示を示す平面図である。中央処理ユニット２８は、液晶表示パネル１５による表示画面の最上段に、このアプリケーションプログラムの名称が反転表示により表示される。またこの名称の表示の下に、検索された再生可能なファイル名が一覧表示される。
【００３６】
中央処理ユニット２８は、ジョグダイヤル４、タッチパネル１６、リモコン３１等の操作によりこれら一覧表示に係るファイルが選択されると、矢印Ａに示すように、液晶表示パネル１５の表示を切り換える。
【００３７】
ここでこの表示においては（図４（Ｂ））、最上段のアプリケーションプログラムの名称の表示に、選択されたファイル名が併せて表示される。また表示画面の最下段に、選択されたファイル再生用の各種メニューが表示される。ここでこのメニューにおいては、左端に、直前の画面に戻るのメニューＭ３１が表示され、中央処理ユニット２８は、このメニューＭ３１の操作により、矢印Ｂにより示すように、直前の状態に表示を戻すようになされている。
【００３８】
またこのメニューＭ３１の右側には、順次、戻る方向へのスキップのメニューＭ３２、進む方向へのスキップのメニューＭ３３、再生のメニューＭ３４、停止のメニューＭ３５、リピートのメニューＭ３６、音量操作のメニューＭ３７が表示されるようになされている。中央処理ユニット２８は、再生のメニューＭ３４がユーザーにより操作されると、選択されたファイルの再生を開始するのに対し、戻る方向へのスキップのメニューＭ３２、進む方向へのスキップのメニューＭ３３が操作されると、それぞれ再生方向とは逆方向及び再生方向に、再生個所をスキップさせる。また停止のメニューＭ３５が操作されると、再生を停止するのに対し、リピートのメニューＭ３６が操作されると、リピート再生の処理を実行する。また音量操作のメニューＭ３７が操作されると、音量調整用のサブメニューを表示し、この表示におけるユーザーの操作により音量の設定を受け付ける。
【００３９】
またこれらメニューＭ３１〜Ｍ３７の上側には、横方向にスライダＭ３８が表示され、中央処理ユニット２８は、このスライダＭ３８のつまみＭ３９がタッチペンＰにより押圧されて横方向にスライドされると、このタッチペンＰによる押圧位置の移動に追従させて、つまみＭ３９を横方向に移動させる。またこのように横方向の移動による移動先の位置に対応するように、再生個所を切り換える。なお中央処理ユニット２８は、これらメニューＭ３１〜Ｍ３９の表示のうち、主たるメニューＭ３１〜Ｍ３６については、リモコン３１の操作によっても、操作を受け付けるようになされている。
【００４０】
また表示画面の中央の残った部分は、上下に２分割され、それぞれ英語及び日本語による文章の表示領域に割り当てられる。図５（Ａ）に示すように、中央処理ユニット２８は、再生の指示がユーザーにより得られると、ユーザーにより選択されたファイルの再生により音声信号を再生し、この音声信号に同期して、対応する英語及び日本語の文章をこれら２つの表示領域にそれぞれ表示する。
【００４１】
またこれらの表示領域の左端には、これら各領域に対応して、それぞれアルファベットの先頭文字、日本語、仮名文字の先頭文字が表示され、タッチパネル１６を介して各文字の選択が検出されると、中央処理ユニット２８は、矢印Ｃ及びＤにより示すように、対応する文章の表示を停止し、また停止した表示を再開する（図５（Ａ１）及び（Ａ２））。これらによりこの情報携帯端末装置１では、音声により英会話を聞きながら、対応する英語による文章、日本語による文章を対比可能に表示するようになされている。
【００４２】
また中央処理ユニット２８は、このようにして再生する音声データに対して補助データが設定されている場合に、再生動作を一時停止して、タッチパネル１６により所定のメニューの選択が検出されると、矢印Ｅにより示すように（図５（Ｂ））、テキストデータによる補助データの表示に切り換えると共に、対応する音声データによる補助データを再生する。ここでこの学習用ファイルにおいては、先に表示した英語による文章に関連する事項がこの補助データにより割り当てられるようになされている。
【００４３】
具体的に、この実施の形態においては、英語による文章中に含まれる重要な単語、この単語の発音、この単語の日本語による意味が、この関連する事項に設定されるようになされ、中央処理ユニット２８は、このテキストデータよる補助データの内容についても、英語及び日本語の文章の表示と同様に、単語と意味とに分けて、対比可能に表示する。
【００４４】
また中央処理ユニット２８は、再生中に、又は再生を停止した状態で、タッチパネル１６によりフォント切り換えのメニューの選択が検出されると、図５（Ｃ）により示すように、フォント切り換えのサブメニューを表示し、フォントの切り換えを受け付ける。
【００４５】
図６は、メモリカード７に記録されてなるこの情報携帯端末装置１の再生対象のファイル構造を示す略線図である。メモリカード７は、記録領域が管理用領域とデータ領域とに区分され、各種ファイルによるユーザーデータがデータ領域に記録され、このデータ領域に記録したファイルのアドレス情報、ファイル名、著作権保護のための情報等が管理用領域に記録されるようになされている。
【００４６】
この情報携帯端末装置１の再生対象のファイルは、英会話学習用のファイルであり、例えば英会話の会話による主の音声データが、内容に応じて区分されて順次記録されるようになされ、これら区分の間に、音声データによる補助データ、文章用のテキストデータ、テキストデータによる補助データ、所定のタグ（ＩＤ３ｖ１）が記録される。これら主の音声データの区分の間に記録される音声データによる補助データ、文章用のテキストデータ、テキストデータによる補助データは、直前の音声データに対応する内容であり、これによりこの英会話学習用ファイルは、タグ（ＩＤ３ｖ１）を単位にしたフィールドにより区切られて記録されるようになされ、これにより図６（Ａ）は、この１つのフィールドについて、音声データ及びテキストデータによる補助データが設定されていない状態を示し、図６（Ｂ）は、この１つのフィールドについて、音声データ及びテキストデータによる補助データの双方が設定された状態を示すようになされている。
【００４７】
ここでタグ（ＩＤ３ｖ１）は、各フィールドの区切りであり、各フィールドの情報を３０バイトによる固定長により記録できるようになされている。これに対して主及び補助の音声データは、音声信号をアナログディジタル変換処理して得られるディジタル音声信号をデータ圧縮してなるデータであり、この実施の形態では、このデータ圧縮の形態としてＭＰ３（ＭＰＥＧ（Moving Picture Experts Group） ａｕｄｉｏ Ｌａｙｅｒ３）のフォーマットが適用されるようになされている。これに対して文章用及び補助データのテキストデータは、スクリプト言語による時間情報が併せて記録され、これにより対応する音声データと同期して表示できるようになされている。
【００４８】
このようにして構成されるファイルにおいて、この実施の形態に係る英会話学習用のファイルにおいては、学習の単位である、複数文による英会話の一場面により区切りが形成されるようになされている。
【００４９】
図７は、このテキストデータの記述を具体的に示す図表である。各テキストデータは、各フィールドの先頭に、各フィールドの名称等を示すタグ<CHP=n,mmm> が記述される。ここでこのタグ<CHP=n,mmm> におけるｎは、章の番号であり、ｍｍｍは、章の名称であり、これによりこの図７の例では、<CHP= 1,1st Day>により、このフィールドの内容が第１章、１日目のレッスンであることが示されるようになされている。
【００５０】
続いてテキストデータは、主の音声データに対応する時間情報を示すタグ<TIME=mm:nn.ds> が設定され、それぞれ対応する内容が示されるようになされている。ここでこの時間情報のタグ<TIME=mm:ss.ds> におけるｍｍ及びＳＳは、分及び秒であり、ｄｓは、１／１０秒である。この時間情報は、各フィールドにおける主の音声データの先頭を基準にして設定される。これにより図７の例では、<TIME=00:00.0>により、主の音声データの先頭で、続くスクリプトの内容を実行し、また続く<TIME=00;05.9>、<TIME=00:07.8>、<TIME=00:10.9>、……の記述により、この先頭よりそれぞれ５．９秒後、７．８秒後、１０．９秒後、……に順次対応するスクリプトを実行するようになされている。
【００５１】
これに対してタグ<TIME=00:00.0>に続くタグ<ORG> は、<\ORG>と対をなし、この<\ORG>との間のテキストデータが英語の文章として表示すべき文字列であることを示すようになされている。これにより<ORG> 1st Week<\ORG>により、図５について上述した英語による文章の表示領域に「1st Week」の文章を表示するようになされている。また続く段落の<ORG>1st Day<\ORG>では、同様に、「1st Day 」を表示するようになされている。
【００５２】
続く<TRL> は、<\TRL>と対をなし、この<\TRL>との間のテキストデータが翻訳文の文章であることを示すようになされている。これらによりこの図７に示す例では、タグ<TIME=00:00.0>、<ORG>1st Week<\ORG> 、<TRL><\TRL> によるスクリプトにより、主の音声データの再生を開始すると、英文の表示領域に「1st Week」を表示し、翻訳文の表示領域には何ら表示しないようになされている。
【００５３】
また続く<TIME=00;05.9>、<ORG>1st Day<\ORG>、<TRL><\TRL> のスクリプトにより、主の音声データの再生を開始して５．９秒後には、英文の表示領域に「1st Day 」を表示し、翻訳文の表示領域には何ら表示しないようになされている。また続く<TIME=00:07.8>、<ORG>24 WORDS FOR LISTENING<\ORG> 、<TRL><\TRL> のスクリプトにより、主の音声データの再生を開始して７．８秒後には、英文の表示領域に「24 WORDS FOR LISTENING」を表示し、翻訳文の表示領域には何ら表示しないようになされている。
【００５４】
これに対してタグ<TIME=00:10.9>のスクリプトのタグ<TRL> は、<\TRL>と対をなし、この<\TRL>との間のテキストデータが翻訳文の文章として表示すべき文字列であることを示すようになされている。
【００５５】
また<VOC> は、<\VOC>と対をなし、補助データを示すようになされている。すなわち<VOC> は、<VOC><mm1:ss1,ds1><mm2:ss2,ds2>mmm<\VOC>により使用され、<mm1:ss1,ds1> 及び <mm2:ss2,ds2>による対応する音声データによる補助データの開始位置、終了位置を示すようになされている。なおこの時間情報においても、音声データのフィールド先頭を基準にして示されるようになされている。またmmm は、補助データのテキストデータを示すようになされている。
【００５６】
これにより図７の場合、<TIME=00:10.9>、<ORG>How do you happen to know Mr.Slater?<\ORG> 、<TRL> どのようにしてスレーター氏を知ったのですか。<\TRL>、<VOC>happen □（偶然に）起こる，《不定詞とともに》たまたま［偶然] 〜する<\VOC>のスクリプトにより、このフィールドの再生を開始して１０．９秒後に、英文の表示領域及び日本語の表示領域にそれぞれ「How do you happen to know Mr.Slater?」及び「どのようにしてスレーター氏を知ったのですか。」を表示し、ユーザーにより補助データの表示が指示されると英文の表示領域及び日本語の表示領域にそれぞれ「happen」及び「（偶然に）起こる，《不定詞とともに》たまたま［偶然] 〜する」を表示するようになされている。なお、□は、補助データにおける英文と翻訳文との区切りを示すコードである。
【００５７】
なおこの図７には示されていないが、テキストデータには、これらのタグに加えて、<EOS=mm:ss,ds>のタグが使用され、このタグにより、主の音声データと補助データによる音声データとの区切りを示すようになされている。
【００５８】
このファイルのテキストデータにおいては、このようなスクリプトによる記述により順次記述されるようになされている。また補助の音声データは、このスクリプトに記述された時間情報に対応するように、主の音声データに続いて記録されるようになされている。
【００５９】
これらによりメモリカード７においては、データ圧縮してなる音声データが、順次、音声データの内容に応じた区分により順次記録され、これら音声データの区分間に、少なくとも音声データに対応する時間情報が設定されて、各区分の音声データに対応する第１の文章による第１のテキストデータと、この第１のテキストデータに対応する第２のテキストデータとが介挿されて記録されるようになされている。
【００６０】
中央処理ユニット２８は、これによりこの会話学習に係るアプリケーションプログラムの実行が指示されると、ＭＰ３デコーダのプログラムを立ち上げる。さらにユーザーにより再生が指示されると、ユーザーにより選択されたファイルについて、順次各フレームの音声データをこのＭＰ３デコーダのプログラムに渡す。これにより中央処理ユニット２８は、ユーザーにより再生された音声データを順次再生するようになされ、ユーザーにおいては、イヤホンにより英会話を試聴することができるようになされている。
【００６１】
またつまみＭ３１の操作により、メニューＭ３２、Ｍ３３等の操作により、このＭＰ３デコーダにより再生する音声ファイルを切り換え、これによりユーザーの操作に応動して、再生個所を変更し、さらにはリピート再生の処理を実行する。
【００６２】
中央処理ユニット２８は、このようにして音声データをＭＰ３デコーダにより再生しながら、同一フィールドに設定されたテキストファイルのタグを監視し、各タグによりテキストデータに設定された時間情報を基準にして、テキストデータによるフォントをビデオランダムアクセスメモリ２２に展開する。これにより中央処理ユニット２８は、図８に示すように、矢印Ｆにより示す音声データの再生に対して同期させて、矢印Ｇにより示すように、順次、英語、日本語による文章を対比して表示するようになされている。
【００６３】
また中央処理ユニット２８は、ユーザーの操作により、このビデオランダムアクセスメモリ２２の内容を更新し、これによりユーザーの操作に応動して英語による文章の表示を中止し、また中止した表示を再開する。また同様にして、日本語による文章の表示を中止し、また中止した表示を再開する。
【００６４】
また中央処理ユニット２８は、このようにして英語及び日本語による文章を表示した状態で、文章が長く、表示領域をはみ出してしまう場合、ユーザーによるジョグダイヤル４等の操作に応動して、このはみ出した文章の表示をスクロールさせる。このとき中央処理ユニット２８は、英語及び日本語の双方が表示領域をはみ出している場合、ユーザーによる操作に応動して、これら双方の表示を同時にスクロールさせる。
【００６５】
これに対してユーザーにより一時停止が指示されると、ＭＰ３デコーダの動作を一時停止し、またユーザーにより補助データの再生が指示されると、対応するタグ<VOC> <\VOC>により指示される文章を表示する。またこのときこのタグ<VOC> <\VOC>により音声データによる補助データが指示されている場合には、図８（Ｂ）において矢印Ｈにより示すように、この指示された個所の音声データをＭＰ３デコーダに渡し、この音声データによる補助データを再生する。
【００６６】
これらによりこの実施の形態において、増幅回路３３は、音声信号をイヤホン３４に出力する音声信号出力手段を構成し、インターフェース２４、中央処理ユニット２８、ディジタルアナログ変換回路３２は、記録手段であるメモリカード７から音声データを取得して音声信号に変換し、音声信号出力手段に供給する音声データ処理手段を構成するようになされている。またインターフェース２４、中央処理ユニット２８、ビデオランダムアクセスメモリ２２、液晶表示パネル１５は、記録手段であるメモリカード７からテキストデータを取得し、このテキストデータによる文章を表示する表示手段を構成し、このテキストデータにタグにより設定された時間情報を基準にして、音声信号出力手段より出力される音声信号に同期して、このテキストデータによる第１及び第２の文章を対比可能に表示し、さらに操作子の操作に応動して、第１又は第２の文章の表示を中止し、また中止した表示を再開するようになされている。
【００６７】
また補助データを示すタグ<VOC> <\VOC>は、これら第１及び又は第２の文章中関連する事項である、第１の文章中の単語を詳細に説明する補助データを示す識別コードを構成するようになされ、この実施の形態では、この識別コードによる補助データの内容が、単語を説明する文章に設定されるようになされている。
【００６８】
（２）実施の形態の動作
以上の構成において、この情報携帯端末装置１は、電源スイッチ１０の押圧操作により電源が立ち上がって中央処理ユニット２８が動作を開始し（図１及び図３）、選択可能な各種のメニューが液晶表示パネル１５の表示画面Ｍ１に表示される。情報携帯端末装置１は、ジョグダイヤル４の操作により、さらにはタッチペンＰの操作により、何れかのメニューが選択されると、対応するアプリケーションプログラムを立ち上げ、各種の処理を実行する。
【００６９】
このような一連の処理において、ユーザーにより英会話学習のメニューが選択されると、情報携帯端末装置１では、この英会話学習のアプリケーションプログラムが立ち上がり、このアプリケーションプログラムによりメモリカード７の内容が検索され、対応するファイルの一覧が表示される（図４（Ａ））。ここでこの一覧よりファイルが選択されると、情報携帯端末装置１では、対応するファイルの音楽データがデコーダであるＭＰ３デコーダにより順次再生され、その結果得られる音声信号がイヤホン３４から出力される（図８）。これにより情報携帯端末装置１では、メモリカード７により提供される英会話の音声がユーザーに提供される。
【００７０】
情報携帯端末装置１では、このようにして音声データを再生してユーザーへの提供を開始すると、中央処理ユニット２８によりテキストデータに設定されたタグが順次解析され（図７）、このタグにより時間情報が設定されている場合には、音声データの各フィールドの再生開始より、対応する時間が経過すると、このタグにより指定されるテキストが液晶表示パネル１５により表示される（図５）。これにより情報携帯端末装置１では、テキストデータに設定された時間情報を基準にして、音声信号に同期して、テキストデータによる文章が表示される。
【００７１】
このとき情報携帯端末装置１では、タグの解析により英語によるテキスト、日本語によるテキストが識別されて、対応する部位に、対比可能に表示される。これにより情報携帯端末装置１では、音声データに対応する第１及び第２の文章が対比可能に表示される。これによりユーザーにおいては、イヤホンより流れる音声を聞きながら、液晶表示パネル１５の画面を目視するだけで、発音と原文とを比較し、さらには日本語による内容を確認することができ、従来の書籍によりこれらの原文、日本語による内容を確認する場合のような、音声の内容に応じて多数の文書から対応個所を見つけ出す作業を省略することができ、その分、ユーザーの負担を軽減し、学習に集中させて効率を向上することができる。
【００７２】
また情報携帯端末装置１では、ユーザーの操作に応動して、このような第１又は第２の文章の表示を中止し、また中止した表示が再開され、これにより学習の進捗状況、学習のレベルに応じて、必要に応じてこれらの文書を選択的に表示して内容を確認することができ、これにより使い勝手を向上することができる。
【００７３】
また情報携帯端末装置１では、このような音声に同期したテキストの表示が、テキストデータに設定された時間情報を基準にして実行されることにより、音声データについては、従来構成のデコーダと同一構成によるデコーダを使用して既存のフォーマットによりこの種の教材を提供することができ、これにより情報携帯端末装置１の構成を簡略化し、さらにはこの種の教材の開発環境を簡易に構成することができ、さらにはこのような開発環境によりこの種の教材を簡易に作成することができる。
【００７４】
またこのようにしてファイルを構成することにより、必要に応じて、フィールドによる区分を種々の長さに設定することができ、これによりこの種のデータを提供する伝送路の特性、伝送対象の特性等に対応してこれらの区分を種々に設定して使い勝手を向上することができる。因みに、例えば情報携帯端末装置側において、バッファリングの容量が小さい場合には、区分を短くして伝送することにより、少ないバッファリングの容量を補うことができる。
【００７５】
情報携帯端末装置１では、さらにこのようなタグの解析により、補助データが設定されており、かつユーザーにより所定の操作が実行されると、このタグにより示されるテキストが表示される。またこの補助データに音声データの記録位置が示されている場合には、主の音声データに続く補助データによる音声データより、対応個所が再生されてユーザーに提供される。これによりこの情報携帯端末装置１では、必要に応じて、重要な単語の発音、意味、綴りを確認することができ、これによっても使い勝手を向上し、学習の効率を向上することができる。
【００７６】
この情報携帯端末装置１では、この補助データについても、テキストデータ側に設定された時間情報により対応する音声データによる補助データが再生され、これにより音声データについては、既存のフォーマットを利用することができる。
【００７７】
（３）実施の形態の効果
以上の構成によれば、テキストデータに設定された時間情報を基準にして音声データの再生に同期して２種類の文章を対比可能に表示し、ユーザーによる操作に応動して何れかの文章の表示を中止することにより、音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができる。その結果、この情報携帯端末装置１では、学習の効率を向上することができる。
【００７８】
すなわちこの音声信号が、会話の音声信号であり、第１の文章が、この会話を記述した文章であり、第２の文章が、第１の文章を所定の言語に翻訳した文章であることにより、英会話等の語学学習に役立てることができる。
【００７９】
また操作子の操作に応動して、テキストデータに設定された識別コードを基準にして、第１及び又は第２の文章中の事項に関連する事項を表示することにより、例えば必要に応じて単語の発音、綴り、意味等を確認して使い勝手を向上することができる。
【００８０】
またデータ圧縮してなる音声データを、順次、音声データの内容に応じた区分により記録し、この音声データの区分間に、少なくとも、音声データに対応する時間情報を設定して、各区分の音声データに対応する第１の文章による第１のテキストデータと、第１のテキストデータに対応する第２のテキストデータとを介挿して記録することにより、この種の教材等を簡易な設備により提供することができる。また提供する対象に応じて、適切に区分を設定して使い勝手を向上することができる。
【００８１】
（４）他の実施の形態
なお上述の実施の形態においては、単に補助データが存在する場合に、ユーザーの操作により補助データを表示し、また再生する場合について述べたが、本発明はこれに限らず、文章中の対応する単語の表示を反転表示する等により、対応する補助データの存在をユーザーに告知するようにしてもよい。
【００８２】
また上述の実施の形態においては、メモリカード７により学習教材であるファイルを提供する場合について述べたが、本発明はこれに限らず、パーソナルコンピュータ、携帯電話を介してダウンロードによりこの種の教材を提供する場合にも広く適用することができる。
【００８３】
また上述の実施の形態においては、英会話の音声に対して、英語による文章と日本語による文章とを提供する場合について述べたが、本発明はこれに限らず、例えば韓国語、中国語等による第３、第４の文章を提供できるようにテキストデータを構成し、これらを日本語と共に、又は日本語に代えて、表示するようにしてもよい。
【００８４】
また上述の実施の形態においては、補助データとして音声データ、テキストデータを設定する場合について述べたが、本発明はこれに限らず、これらに加えて例えば画像データを提供するようにしてもよい。
【００８７】
【発明の効果】
上述のように本発明によれば、テキストデータに設定された時間情報を基準にして音声データの再生に同期して２種類の文章を対比可能に表示し、さらにはユーザーによる操作に応動して何れかの文章の表示を中止することにより、音声を聞き取りながら文章を確認して語学学習等する場合に、ユーザーの負担を軽減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る情報携帯端末装置を示す平面図及び側面図である。
【図２】図１の情報携帯端末装置の表示部を詳細に示す平面図である。
【図３】図１の情報携帯端末装置を示すブロック図である。
【図４】図１の情報携帯端末装置において語学学習プログラムを選択した状態を示す平面図である。
【図５】図４の表示画面における表示を示す平面図である。
【図６】語学学習プログラムに適用されるファイル構造を示す図表である。
【図７】図６のファイル構造に適用されるテキストデータを示す図表である。
【図８】音声と表示との同期の説明に供する図表である。
【符号の説明】
１……情報携帯端末装置、７……メモリカード、１５……液晶表示パネル、１６……タッチパネル、１７Ａ〜１７Ｅ……操作子、２８……中央処理ユニット
Claims (4)
- 記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置において、
前記会話学習用のファイルは、
ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、
前記音声データは、
複数文による会話の一場面毎に区分され、各区分に、それぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、
前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、
前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、
前記ブロックは、
それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、
識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、
前記表示開始の時間の順序で対応する前記区分に設けられ、
前記情報処理装置は、
音声信号を出力する音声信号出力手段と、
前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力手段に供給する音声データ処理手段と、
前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示手段と、
前記会話学習用のファイルを解析して、前記音声信号出力手段、音声データ処理手段、表示手段の動作を制御する制御手段とを備え、
前記制御手段は、
操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の前記音声信号出力手段からの出力を開始した後、
前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記表示部で前記第１及び第２の文章を同時に表示することにより、前記音声信号出力手段より出力される音声信号に同期して、前記第１及び第２の文章を同時に表示し、
操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、
操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記表示部の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える
ことを特徴とする情報処理装置。 - 記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御方法において、
前記会話学習用のファイルは、
ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、
前記音声データは、
複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、
前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、
前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、
前記ブロックは、
それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、
識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、
前記表示開始の時間の順序で対応する前記区分に設けられ、
前記制御方法は、
音声信号を出力する音声信号出力のステップと、
前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、
前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップとを備え、
操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、
前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、
操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、
操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える
ことを特徴とする情報処理装置の制御方法。 - 記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御プログラムにおいて、
前記会話学習用のファイルは、
ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、
前記音声データは、
複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、
前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、
前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、
前記ブロックは、
それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、
識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、
前記表示開始の時間の順序で対応する前記区分に設けられ、
前記制御プログラムは、
音声信号を出力する音声信号出力のステップと、
前記記録手段より前記音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、
前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップと、
前記音声出力のステップ、前記音声データ処理のステップ、前記表示のステップを制御する制御ステップとを備え、
前記制御ステップは、
操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、
前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、
操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、
操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える
ことを特徴とする情報処理装置の制御プログラム。 - 記録手段に記録された会話学習用のファイルから音声データを再生して会話の音声をユーザーに提供する携帯型の情報処理装置の制御プログラムを記録した記録媒体において、
前記会話学習用のファイルは、
ディジタル音声信号による前記音声データと、前記音声データに対応する会話を記述した第１の文章のテキストデータと、前記第１の文章を所定の言語に翻訳した第２の文章のテキストデータと、前記第１の文章中の単語のテキストデータと、前記所定の言語により前記単語の意味を記述した意味のテキストデータとで形成され、
前記音声データは、
複数文による会話の一場面毎に区分されて、各区分にそれぞれ対応する前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが割り当てられ、
前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータは、
前記各区分において、前記第１の文章のテキストデータによる文章の１文毎に、前記第 １及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータがまとめられて、前記第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータによる複数のブロックが作成され、
前記ブロックは、
それぞれ対応する区分の先頭からの前記音声データの再生時間により、表示開始の時間を示す表示開始時間情報が設けられ、
識別コードの設定により第１及び第２の文章のテキストデータ、前記単語のテキストデータ、前記意味のテキストデータが識別可能に設定され、
前記表示開始の時間の順序で対応する前記区分に設けられ、
前記制御プログラムは、
音声信号を出力する音声信号出力のステップと、
前記記録手段より音声データを取得して前記音声信号に変換し、前記音声信号出力のステップに供給する音声データ処理のステップと、
前記記録手段より前記テキストデータを取得し、前記テキストデータを表示する表示のステップと、
前記音声出力のステップ、前記音声データ処理のステップ、前記表示のステップを制御する制御ステップとを備え、
前記制御ステップは、
操作子の操作に応動して前記会話学習用のファイルのユーザーにより選択された区分の再生を開始して、前記音声データによる音声の出力を開始した後、
前記各ブロックに設定された前記表示開始時間情報を監視して、再生中の音声データの区分先頭からの再生時間により、前記識別コードを基準にして対応するブロックの前記第１及び第２の文章のテキストデータを選択して前記第１及び第２の文章を同時に表示することにより、前記音声信号に同期して、前記第１及び第２の文章を同時に表示し、
操作子の操作に応動して、前記第１又は第２の文章の表示を中止し、また中止した表示を再開し、
操作子の操作に応動して、前記識別コードを基準にして対応するブロックにおける前記単語及び意味のテキストデータを選択し、前記第１及び第２の文章の表示を前記単語及び意味のテキストデータによる単語及び意味の表示に切り換える
ことを特徴とする情報処理装置の制御プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001353361A JP4087101B2 (ja) | 2001-11-19 | 2001-11-19 | 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体及び情報記録装置のデータ記録方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001353361A JP4087101B2 (ja) | 2001-11-19 | 2001-11-19 | 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体及び情報記録装置のデータ記録方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003157091A JP2003157091A (ja) | 2003-05-30 |
| JP4087101B2 true JP4087101B2 (ja) | 2008-05-21 |
Family
ID=19165386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001353361A Expired - Fee Related JP4087101B2 (ja) | 2001-11-19 | 2001-11-19 | 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体及び情報記録装置のデータ記録方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4087101B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2446427A (en) * | 2007-02-07 | 2008-08-13 | Sharp Kk | Computer-implemented learning method and apparatus |
| JP6156349B2 (ja) * | 2014-12-15 | 2017-07-05 | カシオ計算機株式会社 | 音声画像出力制御装置、プログラム及び音声画像出力方法 |
| JP2017199005A (ja) * | 2017-06-06 | 2017-11-02 | カシオ計算機株式会社 | 音声画像出力制御装置、プログラム及び音声画像出力方法 |
| JP7037451B2 (ja) * | 2018-08-02 | 2022-03-16 | シャープ株式会社 | 表示装置、表示制御方法および表示制御プログラム。 |
-
2001
- 2001-11-19 JP JP2001353361A patent/JP4087101B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003157091A (ja) | 2003-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2627096C2 (ru) | Способы изготовления прототипов мультимедиа-презентаций, устройства для изготовления прототипов мультимедиа-презентаций, способы использования устройств для изготовления прототипов мультимедиа-презентаций (варианты) | |
| JP2005189454A (ja) | テキスト同期音声再生制御装置及びプログラム | |
| JP2004527163A5 (ja) | ||
| JP2003307997A (ja) | 語学教育システム、音声データ処理装置、音声データ処理方法、音声データ処理プログラム、及び記憶媒体 | |
| KR101789057B1 (ko) | 시각 장애인을 위한 자동 오디오 북 시스템 및 그 운영 방법 | |
| CN101783864A (zh) | 一种手持式无线多功能播演系统 | |
| US20080300012A1 (en) | Mobile phone and method for executing functions thereof | |
| KR20000012538A (ko) | 동영상에 포함된 외국어 대사의 학습을 위한 캡션제어방법 및 그 기록매체 | |
| JP4087101B2 (ja) | 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム、情報処理装置の制御プログラムを記録した記録媒体及び情報記録装置のデータ記録方法 | |
| EP1648168A4 (en) | DATA RECORDING MEDIUM, DATA RECORDING DEVICE, DATA READING DEVICE AND METHOD, DATA RECORDING / READING DEVICE AND METHOD, COMPUTER CONTROL PROGRAM FOR RECORDING OR READING, AND DATA STRUCTURE CONTAINING A DATA RECORDING DEVICE COMM SIGNAL | |
| KR100372762B1 (ko) | 코란 전용의 멀티미디어 전자책 장치 | |
| KR102088572B1 (ko) | 외국어 학습용 영상 재생 장치, 외국어 학습용 영상 재생 방법, 및 컴퓨터 판독가능한 기록매체 | |
| JP2005326811A (ja) | 音声合成装置および音声合成方法 | |
| JP5765592B2 (ja) | 動画再生装置、動画再生方法、動画再生プログラム、動画再生制御装置、動画再生制御方法及び動画再生制御プログラム | |
| KR200265464Y1 (ko) | 디지털색인코드가 날인된 기록매체의 학습시스템 | |
| KR100473163B1 (ko) | 멀티미디어 컨텐츠가 저장된 기록 매체 및 그 재생을 위한장치와 방법 | |
| KR100742543B1 (ko) | 다국어 지원 독서프로그램이 내장된 이동통신 단말기를이용한 독서방법 | |
| JP3555840B2 (ja) | 音声録音再生機能を有する電子機器 | |
| JP5315775B2 (ja) | 電子辞書装置 | |
| KR20010076136A (ko) | 휴대용 독서기 | |
| JP7327153B2 (ja) | 情報記録装置及びプログラム | |
| KR100374504B1 (ko) | 디지털색인코드가 날인된 기록매체의 학습시스템 | |
| JP2006208514A (ja) | 二ヶ国語で入力し得るカラオケ選曲用キーボードを備えたカラオケ装置及びその装置における選曲方法 | |
| JP5733344B2 (ja) | 電子装置、表示端末および本体装置 | |
| KR200234568Y1 (ko) | 코란 전용의 멀티미디어 전자책 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070817 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |