JP3846416B2 - 再生制御装置および再生制御処理プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声，画像，テキストなどのファイルを再生するための再生制御装置および再生制御処理プログラムに関する。
【０００２】
【従来の技術】
従来、音楽，画像，テキストなどを同時並行して再生する技術としては、例えばMPEG-3により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とそのイメージ画像および歌詞のテキストを同期再生するものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように従来行われているＭＰＥＧファイルの付加データエリアを利用した音声や動画等とテキストの同期再生技術では、同期情報の埋め込みが主たるＭＰ３音声ファイルやＭＰＥＧ動画ファイルの各フレーム毎の付加データエリアに規定されるため、当該ＭＰ３音声ファイルやＭＰＥＧ動画ファイルを再生させない限り同期情報を取り出すことが出来ず、ＭＰ３ファイルやＭＰＥＧ動画ファイルの再生を軸としてしかテキストの同期再生を行うことが出来ない。
【０００４】
このため、例えばＭＰ３音声ファイルの処理ごとに、各フレーム毎の付加データエリアから付加データを読み出し、その付加データの同期情報に応じたテキストの同期処理を行う必要があり、処理の負荷が重いＭＰ３音声ファイルの処理に関連してさらに同期処理を行う必要がある。
【０００５】
従って、従来この音声・動画等とテキストとの同期再生処理は、ＭＰ３ファイルやＭＰＥＧ動画ファイルの再生処理をベースとして行われるため、再生装置のＣＰＵにおける処理の負荷が重くなり、高性能なＣＰＵを備える必要がある。
【０００６】
本発明は、前記のような問題に鑑みてなされたもので、音声や画像データとテキストデータとの同期再生を、小さな処理能力の再生装置で実現することが可能になる再生制御装置および再生制御処理プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
すなわち、本発明の請求項１に係る再生制御装置では、音声データおよび該音声データに同期付けされるテキストデータを記憶するデータ記憶手段と、前記音声データの制御命令と前記音声データと前記テキストデータとが同期再生されるように予め経過時間を設定して配列されたテキストデータの制御命令とを記憶する命令記憶手段と、前記データ記憶手段により記憶された音声データを出力する音声出力手段とを有し、前記命令記憶手段により記憶された音声データの制御命令に応じて前記音声出力手段に対して前記データ記憶手段により記憶された音声データの出力を開始させ、テキストデータの制御命令に応じて前記音声データの出力と同期再生させるようにテキストデータの表示処理が行われる。そして、データＩＤ記憶手段により記憶されたＩＤ番号に対応する再生対象データがデータ記憶手段により記憶された複数種類のデータの中から読み出されて、指定されたデータの再生処理が行われる。
【０００８】
これによれば、命令記憶手段に予め、音声データと同期再生されるように配列されたテキストデータの制御命令を記憶しているので、音声出力手段に対して音声データの出力を開始させて、テキストデータの制御命令に応じて処理をおこなうだけで、音声データの出力と同期再生させるようにテキストデータの表示処理が行われるようになり、簡単な処理で、音声データとテキストデータの同期再生が行われる。
【０００９】
また、前記音声出力手段に対しては音声データの出力の開始の命令だけで、適切に音声データとテキストデータの同期再生が行われる。従って、音声出力手段では開始の命令に応答して音声データの出力を行っていくだけでよく、複雑な同期処理をおこなわなくても、音声データとテキストデータの同期再生が適切に行われる。この際、ＩＤ番号に従って適切かつ迅速に指定のデータを読み出して各データ間の同期再生を行わせることができる。
【００１０】
また、本発明の請求項２に係る再生制御装置では、前記請求項１に係る再生制御装置にあって、音声出力手段を、データ記憶手段により記憶された音声データを順次取り出すデータ取り出し手段と、このデータ取り出し手段により順次取り出された音声データを伸張処理する音声データ伸張処理手段として構成する。
【００１１】
これによれば、音声出力手段に対する音声データの出力開始の指示が成された後は、単にデータ記憶手段により記憶された音声データを順次取り出して伸張処理するだけで音声データの出力が行え、制御に負担無くテキストデータの同期表示を行わせることができる。
【００１２】
また、本発明の請求項３に係る再生制御装置では、前記請求項２に係る再生制御装置にあって、音声データ伸張処理手段を、回路手段として構成する。
【００１３】
これによれば、音声出力手段に対する音声データの出力開始の指示が成された後は、単にデータ記憶手段により記憶された音声データを順次取り出して伸張処理の回路手段に転送するだけで音声データの出力が行え、より制御に負担無くテキストデータの同期表示を行わせることができる。
【００１４】
また、本発明の請求項４に係る再生制御装置では、前記請求項１乃至請求項３の何れか１項に係る再生制御装置にあって、再生制御手段では、命令記憶手段により記憶された予め経過時間を設定して配列されている各制御命令を、当該設定経過時間毎に順に処理することで、音声データの制御命令に応じた当該音声データの出力の開始、テキストデータの制御命令に応じた当該テキストデータの表示処理が行われる。
【００１５】
これによれば、単純な経過時間に応じた制御命令の実行指示を順次行うだけで、音声出力手段により出力される音声データに同期させたテキストデータの表示を行わせることができる。
【００１６】
また、本発明の請求項５に係る再生制御装置では、前記請求項４に係る再生制御装置にあって、さらに、時間を計時する計時手段が備えられ、この計時手段により計時された時間に基づき、命令記憶手段により記憶された予め経過時間を設定して配列されている各制御命令が当該設定経過時間毎に順に処理される。
【００１７】
これによれば、計時に基づく単純な経過時間に応じた制御命令の実行指示を順次行うだけで、音声出力手段により出力される音声データに同期させたテキストデータの表示を行わせることができる。
【００１８】
また、本発明の請求項６に係る再生制御装置では、前記請求項１乃至請求項５の何れか１項に係る再生制御装置にあって、テキストデータの制御命令には、表示対象のテキストデータに含まれる文字列のうち、音声データとの同期付けのために命令で指定された部分だけを表示させる命令が含まれる。
【００１９】
これによれば、音声出力手段により出力される音声データに必然同期表示されるテキストデータを、その同期付けられた文字列部分のみ表示させることができる。
【００２０】
また、本発明の請求項７に係る再生制御装置では、前記請求項１乃至請求項５の何れか１項に係る再生制御装置にあって、テキストデータの制御命令には、表示対象のテキストデータに含まれる文字列のうち、音声データとの同期付けのために命令で指定された部分を他の文字列の部分と異なる表示形態で表示させる命令が含まれる。
【００２１】
これによれば、音声出力手段により出力される音声データに必然同期表示されるテキストデータの文字列部分を、他の文字列の部分と異なる表示形態で表示させることができる。
【００２２】
また、本発明の請求項８に係る再生制御装置では、前記請求項７に係る再生制御装置にあって、テキストデータの制御命令には、表示対象のテキストデータに含まれる文字列のうち、音声データとの同期付けのために命令で指定された部分の文字色または文字サイズまたは文字フォントを他の文字列の部分と異なる表示形態で表示させる命令が含まれる。
【００２３】
これによれば、音声出力手段により出力される音声データに必然同期表示されるテキストデータの文字列部分の文字色または文字サイズまたは文字フォントを容易に他の文字列分と異なる形態で表示させることができる。
【００２４】
また、本発明の請求項９に係る再生制御装置では、前記請求項１乃至請求項５の何れか１項に係る再生制御装置にあって、テキストデータの制御命令には、表示対象のテキストデータに含まれる文字列をスクロール表示させる命令が含まれる。
【００２５】
これによれば、音声出力手段により出力される音声データに必然同期表示されるテキストデータを容易にスクロール表示させることができる。
【００５５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００５６】
図１は本発明の再生制御装置の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００５７】
この携帯機器(ＰＤＡ:personal digital assistants)１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)１１が備えられる。
【００５８】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記憶されたＰＤＡ制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラムは、キーやタッチパネルからなる入力部１７からのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはBluetooth(R)による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ:personal computer）２０からの通信信号に応じて起動される。
【００５９】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７が接続される他に、ＬＣＤからなる表示部１８、ＤＳＰ(digital signal processor)，スピーカを備え音声を出力する音声出力部１９（図８参照）などが接続される。
【００６０】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００６１】
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、FLASHメモリ(EEP-ROM)１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００６２】
ＲＯＭ１２Ａには、当該携帯機器１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種ファイルのデータを同期再生するための再生処理プログラム１２ａなど、種々のＰＤＡ制御プログラムが記憶される。
【００６３】
FLASHメモリ(EEP-ROM)１２Ｂには、前記再生処理プログラム１２ａに基づき再生処理の対象となる暗号化された再生用ファイル（ＣＡＳファイル）１２ｂが記憶される他に、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【００６４】
ここで、前記FLASHメモリ(EEP-ROM)１２Ｂ内に記憶される暗号化再生用ファイル１２ｂは、例えば英会話の練習やカラオケをテキスト・音声・画像の同期再生により行うためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【００６５】
この暗号化再生用ファイル１２ｂは、例えばＣＤ−ＲＯＭに記録されて配布されたり、通信ネットワーク（インターネット）Ｎ上のファイル配信サーバ３０から配信配布されたりするもので、前記ＣＤ−ＲＯＭあるいはネットサーバ（３０）により配布された暗号化再生用ファイル１２ｂは、例えばユーザ自宅ＰＣとしての通信機器（ＰＣ）２０に読み込まれた後、携帯機器（ＰＤＡ）１０の通信部１６を介してFLASHメモリ(EEP-ROM)１２Ｂに転送格納される。
【００６６】
ＲＡＭ１２Ｃには、前記暗号化された再生用ファイル１２ｂを伸張・復号化した解読された再生用ファイル（ＣＡＳファイル）１２ｃが記憶されると共に、この解読再生ファイル１２ｃの中の画像ファイルが展開されて記憶される画像展開バッファ１２ｅが備えられる。解読されたＣＡＳファイル１２ｃは、再生命令の処理単位時間（１２c1a）を記憶するヘッダ情報（１２c1）、および後述するファイルシーケンステーブル（１２c2）、タイムコードファイル（１２c3）、コンテンツ内容データ（１２c4）で構成される。そして、ＲＡＭ１２Ｃには、この画像展開バッファ１２ｅに展開されて記憶された画像ファイルそれぞれの展開済の画像番号を示す画像展開済フラグ１２ｄが記憶される。
【００６７】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【００６８】
図２は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ3を示す図である。
【００６９】
図３は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ2を示す図である。
【００７０】
図４は前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ4を示す図である。
【００７１】
この携帯機器１０の再生対象ファイルとなる再生用ファイル１２ｂ（１２ｃ）は、図２〜図４で示すように、タイムコードファイル１２ｃ3とファイルシーケンステーブル１２ｃ2とコンテンツ内容データ１２ｃ4との組み合わせにより構成される。
【００７２】
図２で示すタイムコードファイル１２ｃ3には、個々のファイル毎に予め設定される一定時間間隔（例えば25ms）で各種ファイル同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるファイル内容（図４参照）を対応付けするためのファイルシーケンステーブル１２ｃ2（図３）の参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００７３】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔は、当該タイムコードファイル１２ｃ3のヘッダ情報１２c1に処理単位時間１２ｃ1aとして記述設定される。
【００７４】
図３で示すファイルシーケンステーブル１２ｃ2は、複数種類のファイル（ＨＴＭＬ／画像／テキスト／音声）の各種類毎に、前記タイムコードファイル１２ｃ3（図２参照）に記述される各コマンドのパラメータデータと実際のファイル内容の格納先（ＩＤ）番号とを対応付けたテーブルである。
【００７５】
図４で示すコンテンツ内容データ１２ｃ4は、前記ファイルシーケンステーブル１２ｃ2（図３参照）により前記各コマンドコードと対応付けされる実際の音声，画像，テキストなどのファイルデータが、そのそれぞれのＩＤ番号を対応付けて記憶される。
【００７６】
図５は前記携帯機器１０のタイムコードファイル１２ｃ3（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび再生処理プログラム１２ａに基づき解析処理される命令内容を対応付けて示す図である。
【００７７】
タイムコードファイル１２ｃ3に使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがあり、拡張コマンドには、ＭＩ（ｉ番目位置にイメージファイル移動）．ＳＩ（ｉ番目サイズにイメージファイル拡大）．ＢＳ（サウンドファイル音量ｉ）．ＳＳ（サウンドファイルスピードｉ）の各コマンドがある。
【００７８】
図６は前記携帯機器１０のタイムコードファイル１２ｃ3（図２参照）にて記述される拡張コマンドに伴うイメージファイルの位置移動形態およびサイズ変更形態を示す図であり、同図（Ａ）は拡張コマンドＭＩに伴うイメージファイルの移動位置を規定する図、同図（Ｂ）は拡張コマンドＳＩに伴うイメージファイルの変更サイズを規定する図である。
【００７９】
例えば拡張コマンドＭＩのパラメータデータ（ｉ＝１）である場合には、イメージファイルは画像表示エリアの左上に移動表示され、パラメータデータ（ｉ＝９）である場合には右下に移動表示される。
【００８０】
また、例えば拡張コマンドＳＩのパラメータデータ（ｉ＝１）である場合には、イメージファイルは標準サイズで表示され、パラメータデータ（ｉ＝２）である場合には２倍サイズで、（ｉ＝３）である場合には３倍サイズでサイズ変更表示される。
【００８１】
すなわち、この携帯機器（ＰＤＡ）１０のＲＯＭ１２Ａに記憶されている再生処理プログラム１２ａを起動させて、FLASHメモリ１２Ｂから解読されＲＡＭ１２ｃに記憶された解読再生用ファイル１２ｃが、例えば図２乃至図４で示したファイル内容であり、一定時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“０１”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝０１からファイルシーケンステーブル１２ｃ2（図３参照）にリンク付けられる画像ファイルのＩＤ番号＝６に従い、コンテンツ内容データ１２ｃ4（図４参照）の画像Ａが読み出されて表示される。
【００８２】
また、例えば同一定時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節が表示される。
【００８３】
さらに、例えば同一定時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００８４】
なお、この図２乃至図４で示したファイル内容の再生用ファイル１２ｂ（１２ｃ）についての詳細な再生動作は、後述にて改めて説明する。
【００８５】
図７は前記携帯機器１０のFLASHメモリ１２Ｂに格納される暗号化再生用ファイル１２ｂの各種ファイル格納状態を示す図である。
【００８６】
暗号化再生用ファイル１２ｂには、HTMLファイル、Image(画像)ファイル、Text(テキスト)ファイル、Sound(音声)ファイルの各種のファイルが纏めて格納され、この暗号化再生用ファイル１２ｂが伸張・復号化されて解読された再生用ファイル１２ｃとしてＲＡＭ１２Ｃに格納され出力され、前記再生処理プログラム１２ａによるタイムコードファイル１２ｃ3（図２参照）の読み込み・コマンド解析に従って、当該各種ファイルの同期再生処理が実行される。
【００８７】
そして、この暗号化再生用ファイル１２ｂは、第１のファイル１２b1(12b1h,12b1i,12b1t,12b1s)に属する第２のファイル１２b2(12b2h,12b2i,12b2t,12b2s)との並列的な組み合わせによりさらに多様なファイルの同期再生処理も実行可能である。
【００８８】
図８は前記携帯機器１０における音声出力部１９の構成を示すブロック図である。
【００８９】
この携帯機器１０の音声出力部１９は、ＤＳＰ(digital signal processor)１９ａ、Ｄ／Ａ変換部１９ｂ、アンプ１９ｃ、スピーカ１９ｄを備えて音声を出力する。
【００９０】
図９は前記携帯機器１０のコンテンツ内容データ１２ｃ4として記憶されるＭＰＥＧ３形式で圧縮された音声ファイルのデータ構成を示す図である。
【００９１】
ＤＳＰ(digital signal processor)１９ａは、ＣＰＵ１１によりフレーム単位で転送されたＭＰＥＧ３形式の圧縮ディジタル音声データを一次バッファリングすると共に、伸張して元のディジタル音声データに変換し、Ｄ／Ａ変換部１９ｂに出力する。
【００９２】
このＤ／Ａ変換部１９ｂは、ＤＳＰ１９ａから入力されたディジタル音声データをアナログ音声信号に変換して出力するもので、このＤ／Ａ変換部１９ｂから出力されたアナログ音声信号はアンプ１９ｃを介して増幅され、スピーカ１９ｄにより音声出力される。
【００９３】
すなわち、再生用ファイル１２ｃが、例えば図２乃至図４で示したファイル内容であり、タイムコードファイル１２ｃ３における一定時間毎のコマンド処理に伴い４番目のコマンドコード“ＰＳ”およびパラメータデータ“０１”が読み込まれた場合には、このコマンド“ＰＳ”はｉ番目のサウンドファイル再生命令であるため、パラメータデータｉ＝０１からファイルシーケンステーブル１２ｃ２（図３参照）にリンク付けられる画像ファイルのＩＤ番号＝３１に従い、コンテンツ内容データ１２ｃ４（図４参照）の英会話音声データ（１）が読み出されて再生される。
【００９４】
この際、ＣＰＵ１１における音声再生処理プログラムでは、前記タイムコードファイル１２ｃ３（図２参照）に基づく音声再生命令（ＰＳ）に従い、ＲＡＭ１２Ｃ内のコンテンツ内容データ１２ｃ4（図４参照）から指定の音声データを所定フレーム分ずつ読み出して音声出力部１９のＤＳＰ１９ａに順次転送するだけで、後は当該ＤＰＳ１９ａによる音声出力処理に応じてＤ／Ａ変換部１９ｂからアンプ１９ｃを介しスピーカ１９ｄから音声出力される。
【００９５】
なお、ＤＳＰ１９ａ自身がＤＡＴＡ・ＣＡＲＤ１３に記憶されている指定の音声データを所定フレーム分ずつ読み出してＤ／Ａ変換部１９ｂからアンプ１９ｃを介しスピーカ１９ｄから音声出力させてもよい。
【００９６】
そして、前記タイムコードファイル１２ｃ3には、個々のファイル毎に予め設定される一定時間間隔（例えば25ms）に従い各種のファイルを同期再生するようにしたコマンド処理のタイムコードが記述配列されているので、前記音声出力部１９により出力される音声データは、ＤＳＰ１９ａの処理による単なる音声再生処理を繰り返し行っているだけで、その後の画像表示命令（ＤＩ）、テキスト表示命令（ＶＤ）、テキストハイライト表示命令（ＨＬ）などと特に同期付けのタイミング合わせ制御を行わなくとも、必然的に同期制御されて再生されることになる。
【００９７】
次に、前記構成の携帯機器１０によるファイル再生機能について説明する。
【００９８】
図１０は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理を示すフローチャートである。
【００９９】
例えば英語の勉強が音声とテキストと画像で行える英語教材再生ファイルやカラオケが音声とテキストと画像で行えるカラオケファイルなどを、ＣＤ−ＲＯＭや通信ネットワーク（インターネット）Ｎ上のサーバ３０から自宅ＰＣである通信機器（ＰＣ）２０に取り込み、携帯機器（ＰＤＡ）１０の通信部１６を介して当該再生用ファイル（ＣＡＳファイル）１２ｂがFLASHメモリ１２Ｂに格納された状態において、入力部１７の操作によりこの再生用ファイル１２ｂの再生が指示されると、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理やフラグリセット処理などのイニシャライズ処理が行われる（ステップＳ１）。
【０１００】
そして、前記FLASHメモリ１２Ｂに格納された再生用ファイル（ＣＡＳファイル）１２ｂが読み込まれ（ステップＳ２）、当該再生用ファイル（ＣＡＳファイル）１２ｂは暗号化ファイルであるか否か判断される（ステップＳ３）。
【０１０１】
ここで、暗号化された再生用ファイル（ＣＡＳファイル）１２ｂであると判断された場合には、当該ＣＡＳファイル１２ｂは解読復号化され（ステップＳ３→Ｓ４）、ＲＡＭ１２Ｃに転送されて格納される（ステップＳ５）。
【０１０２】
すると、このＲＡＭ１２Ｃに格納された解読済の再生用ファイル（ＣＡＳファイル）１２ｃのヘッダ情報１２c1に記述された処理単位時間１２ｃ1a(例えば25ms/50ms/…)が、ＣＰＵ１１による当該解読済再生用ファイル（ＣＡＳファイル）１２ｃの一定時間間隔の読み出し時間として設定される（ステップＳ６）。
【０１０３】
そして、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃの先頭に読み出しポインタがセットされ（ステップＳ７）、当該再生用ファイル１２ｃの再生処理タイミングを計時するためのタイマがスタートされる（ステップＳ８）。
【０１０４】
ここで、図１１における先読み処理が当該再生処理に並行して起動される（ステップＳ９）。この先読み処理については後述にてその詳細処理を説明する。
【０１０５】
前記ステップＳ８において、処理タイマがスタートされると、前記ステップＳ６にて設定された今回の再生対象ファイル１２ｃに応じた処理単位時間毎に、前記ステップＳ７にて設定された読み出しポインタの位置の当該再生用ファイル１２ｃを構成するタイムコードファイル１２ｃ3（図２参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＳ１０）。
【０１０６】
そして、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ3（図２参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＳ１１）、“ＦＮ”と判断された場合には、その時点で当該ファイル再生処理の停止処理が指示実行される（ステップＳ１１→Ｓ１２）。
【０１０７】
一方、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ3（図２参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードが、“ＰＰ”か否か判断され（ステップＳ１１→Ｓ１３）、“ＰＰ”と判断された場合には、その時点で当該ファイル再生処理の一時停止処理（処理タイマストップ）が指示実行される（ステップＳ１３→Ｓ１４）。この停止処理は、ユーザのマニュアル操作に応じてｉ秒間の停止及び停止解除が行われる。
【０１０８】
ここで、入力部１７におけるユーザ操作に基づき一時停止解除の入力が為された場合には、再び処理タイマによる計時動作が開始され、当該タイマによる計時時間が次の処理単位時間１２ｃ1aに到達したか否か判断される（ステップＳ１５→Ｓ１６）。
【０１０９】
一方、前記ステップＳ１３において、前記再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ3（図２参照）から読み出されたコマンドコードが、“ＰＰ”ではないと判断された場合には、図１２における他のコマンド処理へ移行される（ステップＳＡ）。この他のコマンド処理については後述にてその詳細処理を説明する。
【０１１０】
そして、ステップＳ１６において、前記タイマによる計時時間が次の処理単位時間１２ｃ1aに到達したと判断された場合には、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＳ１６→Ｓ１７）、前記ステップＳ１０における当該読み出しポインタの位置のタイムコードファイル１２ｃ3（図２参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＳ１７→Ｓ１０〜Ｓ１６）。
【０１１１】
すなわち、携帯機器１０のＣＰＵ１１は、ＲＯＭ１２Ａに記憶された再生処理プログラムに従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の単位時間毎に、タイムコードファイル１２ｃ3（図２参照）に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２ｃ3に記述された各コマンドに応じた各種ファイルの同期再生処理が実行される。
【０１１２】
図１１は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴い並列起動される先読み処理を示すフローチャートである。
【０１１３】
前記再生用ファイル１２ｃの再生処理に伴いこの先読み処理が並列起動されると、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃのタイムコードファイル１２ｃ3（図２参照）に対する読み出しポインタの現在位置が確認され（ステップＲ１）、この現在のポインタ位置より後にあるコマンドコード“ＤＩ”（画像ファイル表示命令）がサーチされる（ステップＲ２）。
【０１１４】
そして、前記タイムコードファイル１２ｃ3（図２参照）における現在の読み出しポインタのセット位置よりも後に“ＤＩ”コマンドがサーチされた場合には（ステップＲ３）、当該“ＤＩ”コマンドのパラメータデータに基づき指定されている画像ＩＤ番号の画像ファイルが、画像展開バッファ１２ｅに対して展開済であるか否か、つまり直ちに表示出力可能な状態に設定されているか否かが、該当画像ＩＤ番号の画像展開済フラグ１２ｄの有無に基づき判断される（ステップＲ４）。
【０１１５】
そして、タイムコードファイル１２ｃ3（図２参照）における現在の読み出しポインタの位置よりも後のコマンドコードして、“ＤＩ”コマンドがサーチされ、しかも当該“ＤＩ”コマンドのパラメータデータに基づき指定されている画像ＩＤ番号の画像ファイルが、画像展開バッファ１２ｅに対して展開済みでないと判断された場合には、該指定の画像ＩＤ番号の画像ファイルがコンテンツ内容データ１２ｃ4（図４参照）から読み出され、画像展開バッファ１２ｅに対して予め展開される（ステップＲ３→Ｒ４→Ｒ５）。
【０１１６】
つまり、再生用ファイル１２ｃのタイムコードファイル１２ｃ3（図２参照）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“ＤＩ”コマンドがある場合は、予め当該“ＤＩ”コマンドのパラメータデータにより指示される画像ファイルを先読みして展開しておくことで、前記読み出しポインタが実際に後の“ＤＩ”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようになる。
【０１１７】
図１２は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う他のコマンド処理を示すフローチャートである。
【０１１８】
図１３は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う他のコマンド処理それぞれの処理内容を示すフローチャートである。
【０１１９】
この他のコマンド処理において、前記再生用ファイル１２ｃにおける読み出しポインタに従いタイムコードファイル１２ｃ3（図２参照）から読み出されたコマンドコードが“ＮＰ”と判断された場合には、無効処理が指定され現状のファイル出力状態がそのまま維持される（ステップＡ１→ＥＮＤ（Ｓ１６））。
【０１２０】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＬＴ”と判断された場合には、図１３（Ａ）におけるＬＴ処理に移行される（ステップＡ２→ＡＢ）。
【０１２１】
このＬＴ処理（ｉ番目テキストロード）では、当該コマンドコードＬＴと共に読み出されたパラメータデータをテキスト番号ｉとして、解読された再生用ファイル１２ｃのシーケンスファイルテーブル（図３参照）から該テキスト番号ｉのＩＤ番号が読み出される（ステップＢ１）。
【０１２２】
そして、このＩＤ番号に対応付けられてコンテンツ内容データ１２ｃ4（図４参照）から読み出されるテキストデータのＲＡＭ１２Ｃのワークエリアに対するロードが指示される（ステップＢ２）。
【０１２３】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＶＤ”と判断された場合には、図１３（Ｂ）におけるＶＤ処理に移行される（ステップＡ３→ＡＣ）。
【０１２４】
このＶＤ処理（ｉ番目テキスト文節表示）では、前記ＲＡＭ１２Ｃのワークエリアにロードされたｉ番目のテキストデータを、ＨＴＭＬファイルで設定したテキストフレーム内に表示する指示が行われる（ステップＣ１）。
【０１２５】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＢＬ”と判断された場合には、図１３（Ｃ）におけるＢＬ処理に移行される（ステップＡ４→ＡＤ）。
【０１２６】
このＢＬ処理（文字カウンタリセット・ｉ番目文節ブロック指定）では、まず前記ＲＡＭ１２Ｃのワークエリアにロードされたテキストデータに対する文字カウンタがリセットされる（ステップＤ１）。
【０１２７】
そして、当該コマンドコードＢＬと共に読み出されたパラメータデータ（ｉ）に応じて、テキストデータのｉ番目の文節ブロックが指定される（ステップＤ２）。
【０１２８】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＨＮ”と判断された場合には、図１３（Ｄ）におけるＨＮ処理に移行される（ステップＡ５→ＡＥ）。
【０１２９】
このＨＮ処理（ハイライト無し・文字カウンタカウントアップ）では、テキストデータに対する文字カウンタを１カウントアップする指示が行われる（ステップＥ１）。
【０１３０】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＨＬ”と判断された場合には、図１３（Ｅ）におけるＨＬ処理に移行される（ステップＡ６→ステップＡＦ）。
【０１３１】
このＨＬ処理（ｉ番目文字までハイライト・文字カウント）では、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ）に応じて、テキストデータのｉ番目の文字までハイライト表示する指示が行われる（ステップＦ１）。
【０１３２】
そして、文字カウンタをｉ番目の文字までカウントアップする指示が行われる（ステップＦ２）。
【０１３３】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＬＳ”と判断された場合には、図１３（Ｆ）におけるＬＳ処理に移行される（ステップＡ７→ステップＡＧ）。
【０１３４】
このＬＳ処理（１行スクロール・文字カウンタカウントアップ）では、表示中のテキストデータに対する１行スクロールの指示が行われると共に（ステップＧ１）、文字カウンタを１カウントアップする指示が行われる（ステップＧ２）。
【０１３５】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＤＨ”と判断された場合には、図１３（Ｇ）におけるＤＨ処理に移行される（ステップＡ８→ステップＡＨ）。
【０１３６】
このＤＨ処理（ｉ番目ＨＴＭＬファイル表示）では、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ）に応じて、ファイルシーケンステーブル１２ｃ2（図３参照）からＨＴＭＬ番号ｉのＩＤ番号が読み出される（ステップＨ１）。
【０１３７】
そして、このＩＤ番号に対応付けられてコンテンツ内容データ１２ｃ4（図４参照）から読み出されるＨＴＭＬデータの表示部に対する画像表示フレームやテキスト表示フレームの設定が指示される（ステップＨ２）。
【０１３８】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＤＩ”と判断された場合には、図１３（Ｈ）におけるＤＩ処理に移行される（ステップＡ９→ステップＡＩ）。
【０１３９】
このＤＩ処理（ｉ番目イメージファイル表示）では、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ）に応じて、ファイルシーケンステーブル１２ｃ2（図３参照）から画像番号ｉのＩＤ番号が読み出される（ステップＩ１）。
【０１４０】
そして、このＩＤ番号に対応付けられてコンテンツ内容データ１２ｃ4（図４参照）から読み出されて画像展開バッファ１２ｅに展開された画像データを前記ＨＴＭＬファイルで設定された画像表示フレーム内に表示する指示が行われる（ステップＩ２）。
【０１４１】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＰＳ”と判断された場合には、図１３（Ｉ）におけるＰＳ処理に移行される（ステップＡ１０→ステップＡＪ）。
【０１４２】
このＰＳ処理（ｉ番目サウンドファイルプレイ）では、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ）に応じて、ファイルシーケンステーブル１２ｃ2（図３参照）から音声番号ｉのＩＤ番号が読み出される（ステップＪ１）。
【０１４３】
そして、このＩＤ番号に対応付けられてコンテンツ内容データ１２ｃ4（図４参照）から読み出された音声データを音声出力部１９から出力する指示が行われる（ステップＪ２）。
【０１４４】
図１４は前記携帯機器１０の再生処理プログラム１２ａに従ったＣＰＵ１１でのＰＳ処理の指示に伴う音声再生処理を示すフローチャートである。
【０１４５】
すなわち、ＤＡＴＡ・ＣＡＲＤ１３あるいはＦＬＡＳＨ・ＲＯＭ１２Ｂに暗号化された再生用ファイル１２ｂとして管理されているファイルシーケンステーブル１２ｃ２，タイムコードファイル１２ｃ３，音声ファイルを含むコンテンツ内容データ１２ｃ４が、解読された再生用ファイル１２ｃとしてＲＡＭ１２Ｃに転送格納された状態で（ステップＴ１）、前記再生処理プログラム１２ａのＰＳ処理（ステップＡＪ）に伴い音声再生すべき指定の音声データの出力の指示が行われると（ステップＴ２）、当該ＲＡＭ１２Ｃに転送されたコンテンツ内容データ１２ｃ4（図４参照）から指定のＭＰ３音声データが所定フレーム分ずつ読み出され、音声出力部１９のＤＳＰ１９ａに転送される。すると、ＤＰＳ１９ａ自身の音声出力処理に応じて、前記ＣＰＵ１１により転送された指定のＭＰ３音声データが伸張処理された後、Ｄ／Ａ変換部１９ｂにてアナログ音声データに変換され、アンプ１９ｃを介しスピーカ１９ｄから音声出力される（ステップＴ３）。
【０１４６】
このＣＰＵ１１における指定の音声データのＤＳＰ１９ａへの所定フレームずつの転送処理は、当該ＤＳＰ１９ａからの次フレームの転送要求に従い繰り返し行われ、順次音声出力されるもので（ステップＴ５→Ｔ３）、この音声再生処理に伴い、前記タイムコードファイル１２ｃ３に従ったＰＰコマンド（ステップＳ１３）によりポーズ処理の指示が行われると（ステップＳ１４）、音声出力部１９における音声再生の動作全体が一時停止される（ステップＴ６→Ｔ７）。
【０１４７】
そして、ポーズ解除の指示が行われると（ステップＳ１５）、前記音声出力部１９における音声再生の動作が再開される（ステップＴ７→Ｔ３）。
【０１４８】
これにより、ＣＰＵ１１における音声再生処理では、前記タイムコードファイル１２ｃ３（図２参照）に基づく音声再生命令（ＰＳ）に従い、ＲＡＭ１２Ｃ内のコンテンツ内容データ１２ｃ4（図４参照）から指定の音声データを所定フレーム分ずつ読み出して音声出力部１９のＤＳＰ１９ａに順次転送するだけで、後は当該ＤＰＳ１９ａによる音声出力処理に応じた音声出力が成されるもので、この後、コンテンツ内容データ１２ｃ4から読み出された最終フレームのディジタル音声データがＤＳＰ１９ａに転送されて音声出力されると、当該指定の音声データの出力処理が終了となる（ステップＴ４→ＥＮＤ）。
【０１４９】
この際、前記タイムコードファイル１２ｃ3には、個々のファイル毎に、予め設定される一定時間間隔（例えば25ms）に従い、予め各種のファイルを同期再生するようにしたコマンド処理のタイムコードが記述配列されているので、前記音声出力部１９により出力される音声データは、ＤＳＰ１９ａの処理による単なる音声再生処理を繰り返し行っているだけで、その他の、例えば画像表示命令（ＤＩ）、テキスト表示命令（ＶＤ）、テキストハイライト表示命令（ＨＬ）などと特に同期付けの具体的なタイミング合わせ制御処理を行わなくとも、必然的に同期制御されて再生されることになる。
【０１５０】
一方、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＣＳ”と判断された場合には、図１３（Ｊ）におけるＣＳ処理に移行される（ステップＡ１１→ＡＫ）。
【０１５１】
このＣＳ処理（クリアオールファイル）では、出力中の全ファイルをクリアする指示が行われる（ステップＫ１）。
【０１５２】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＭＩ”“ＳＩ”“ＢＳ”“ＳＳ”あるいはその他のコマンドのいずれかであると判断された場合には、図１５における拡張コマンド処理に移行される（ステップＡ１１→ＡＬ）。
【０１５３】
図１５は前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う拡張コマンド処理を示すフローチャートである。
【０１５４】
図１６は前記携帯機器１０の再生処理プログラムに従った再生処理に伴う拡張コマンド処理それぞれの処理内容を示すフローチャートである。
【０１５５】
タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＭＩ”と判断された場合には、図１６（Ａ）におけるＭＩ処理に移行される（ステップＬ１→ＬＭ）。
【０１５６】
このＭＩ処理（ｉ番目位置にイメージファイル移動）では、当該コマンドコードＭＩと共に読み出されたパラメータデータ（ｉ）に応じて、画像表示フレーム上のｉ番目の位置（図６（Ａ）参照）にイメージファイルを移動表示する指示が行われる（ステップＭ１）。
【０１５７】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＳＩ”と判断された場合には、図１６（Ｂ）におけるＳＩ処理に移行される（ステップＬ２→ＬＮ）。
【０１５８】
このＳＩ処理（ｉ番目サイズにイメージファイル拡大）では、当該コマンドコードＳＩと共に読み出されたパラメータデータ（ｉ）に応じて、画像表示フレーム上のイメージファイルをｉ番目のサイズ（図６（Ｂ）参照）に変更して表示する指示が行われる（ステップＮ１）。
【０１５９】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＢＳ”と判断された場合には、図１６（Ｃ）におけるＢＳ処理に移行される（ステップＬ３→ＬＯ）。
【０１６０】
このＢＳ処理（サウンドファイル音量ｉ）では、当該コマンドコードＢＳと共に読み出されたパラメータデータ（ｉ）に応じて、音声出力部１９におけるサウンドファイルの出力音量をｉに変更する指示が行われる（ステップＯ１）。
【０１６１】
また、タイムコードファイル１２ｃ3から読み出されたコマンドコードが“ＳＳ”と判断された場合には、図１６（Ｄ）におけるＳＳ処理に移行される（ステップＬ４→ＬＰ）。
【０１６２】
このＳＳ処理（サウンドファイルスピードｉ）では、当該コマンドコードＳＳと共に読み出されたパラメータデータ（ｉ）に応じて、音声出力部１９におけるサウンドファイルの出力スピードをｉに変更する指示が行われる（ステップＰ１）。
【０１６３】
さらに、タイムコードファイル１２ｃ3から読み出されたコマンドコードがその他の拡張コマンドコードと判断された場合には、当該拡張コマンドに応じた他の処理へ移行される（ステップＬ４→ＬＱ）。
【０１６４】
図１７は前記図２乃至図４における英語教材再生ファイルに基づいた英語テキスト・画像・音声ファイルの同期再生状態を示す図である。
【０１６５】
この英語教材ファイル（１２ｃ）は、そのヘッダ情報（１２c1）に記述設定された処理単位時間(50ms)(図１８；１２c1a)毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｃ3（図２参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ（ステップＫ１）、テキスト・画像・音声ファイルの出力がクリアされる。
【０１６６】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ2（図３参照）からＨＴＭＬ番号１のＩＤ番号＝２が読み出される（ステップＨ１）。
【０１６７】
そして、このＩＤ番号＝２に対応付けられてコンテンツ内容データ１２ｃ4（図４参照）から読み出されるＨＴＭＬデータの英会話テキスト・画像フレームデータに応じて、図１７（Ａ）に示すように、表示部１８に対するテキスト表示フレームＸや画像表示フレームＹが設定される（ステップＨ２）。
【０１６８】
第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ2（図３参照）から画像番号１のＩＤ番号＝６が読み出される（ステップＩ１）。
【０１６９】
そして、このＩＤ番号＝６に対応付けられてコンテンツ内容データ１２ｃ4（図４参照）から読み出されて画像展開バッファ１２ｅに展開された画像データ（画像Ａ）が、前記ＨＴＭＬファイルで設定された画像表示フレームＹ内に表示される（ステップＩ２）。
【０１７０】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ2（図３参照）から音声番号１のＩＤ番号＝３１が読み出される（ステップＪ１）。
【０１７１】
そして、このＩＤ番号＝３１に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出された英会話音声データ（１）が音声出力部１９から出力される（ステップＪ２）。この際、英会話音声データ（１）は、ＣＰＵ１１における音声再生処理（図１４参照）に伴い、音声出力部１９のＤＳＰ１９ａへ所定フレームずつ転送されるだけで、順次音声出力される。
【０１７２】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ2（図３参照）からテキスト番号１のＩＤ番号＝２０が読み出される（ステップＢ１）。
【０１７３】
そして、このＩＤ番号＝２０に対応付けられてコンテンツ内容データ１２ｃ４（図４参照）から読み出された英会話テキストデータ（１）がＲＡＭ１２Ｃのワークエリアにロードされる（ステップＢ２）。
【０１７４】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ファイルシーケンステーブル１２ｃ２（図３参照）からテキスト番号０のＩＤ番号＝１９が読み出され、これに対応付けられてコンテンツ内容データ１２ｃ４（図４参照）にて指定された英会話タイトル文字の文節が、前記ＲＡＭ１２Ｃにロードされた英会話テキストデータ（１）の中から呼び出されて表示画面上のテキスト表示フレームＸ内に表示される（ステップＣ１）。
【０１７５】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記テキスト表示フレームＸで表示中の英会話文節の文字カウンタがリセットされ、０番目のブロックが指定される（ステップＤ１，Ｄ２）。
【０１７６】
第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０４”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝４）に応じて、テキストデータの４番目の文字までハイライト表示（強調表示）される（ステップＦ１）。
【０１７７】
そして、文字カウンタが４番目の文字までカウントアップされる（ステップＦ２）。
【０１７８】
第９コマンドコード“ＮＰ”が読み出されると、現在の画像および英会話テキストデータの同期表示画面および英会話音声データの同期出力状態が維持される。
【０１７９】
このように、前記英会話教材再生ファイル（１２ｃ）におけるタイムコードファイル１２ｃ3（図２参照）・ファイルシーケンステーブル１２ｃ2（図３参照）・コンテンツ内容データ１２ｃ4（図５参照）に従って、当該再生ファイルに予め設定された処理単位時間(25ms)毎のコマンド処理を行うことで、図１７（Ａ）〜（Ｄ）に示すように、表示画面上のテキスト表示フレームＸ内に英会話テキストデータが表示されると共に、画像表示フレームＹ内にその対応画像データが同期表示され、さらに、音声出力部１９から表示中の英会話テキストを読み上げる英会話音声データが同期出力されると共に、当該英会話テキストの読み上げ文節が各文字毎に順次同期ハイライト（強調）表示されるようになる。
【０１８０】
これにより、携帯機器１０のＣＰＵ１１は、再生ファイル１２ｂ（１２ｃ）に予め記述されたコマンド処理の単位時間毎に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を指示するだけで、英会話テキストファイル、英会話画像ファイル、英会話音声ファイルの同期再生処理を行うことができる。
【０１８１】
すなわち、前記タイムコードファイル１２ｃ3には、個々のファイル毎に、予め設定される一定時間間隔（例えば25ms）に従い、予め各種のファイルを同期再生するようにしたコマンド処理のタイムコードが記述配列されているので、例えば音声出力部１９により出力される英会話音声データは、ＤＳＰ１９ａの処理による単なる音声再生処理を繰り返し行っているだけで、その他の、例えば英会話画像の表示命令（ＤＩ）、英会話テキストの表示命令（ＶＤ）、当該英会話テキストのハイライト表示命令（ＨＬ）などと特に同期付けの具体的なタイミング合わせ制御処理を行わなくとも、必然的に同期制御されて再生される。
【０１８２】
従って、ＣＰＵのメイン処理の負担が軽くなり、処理能力の比較的小さいＣＰＵでも容易にテキスト画像音声を含む同期再生処理が行えるので、高性能なＣＰＵを用いない簡単な再生装置でも実現できるようになる。
【０１８３】
次に、前記実施形態同様の複数種類ファイルの同期再生処理として、次の図１８乃至図２１で示すような、楽曲ファイルの再生処理について説明する。
【０１８４】
図１８は前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ3を示す図である。
【０１８５】
図１９は前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ2を示す図である。
【０１８６】
図２０は前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ4を示す図である。
【０１８７】
図２１は前記図１８乃至図２０における楽曲再生用ファイルに基づいた楽曲テキスト・画像・音声ファイルの同期再生状態を示す図である。
【０１８８】
この楽曲再生用ファイル（１２ｃ）は、そのヘッダ情報（１２c1）に記述設定された処理単位時間(50ms)（１２c1a）毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｃ3（図１８参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ（ステップＫ１）、テキスト・画像・音声ファイルの出力がクリアされる。
【０１８９】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ2（図１９参照）からＨＴＭＬ番号１のＩＤ番号＝２が読み出される（ステップＨ１）。
【０１９０】
そして、このＩＤ番号＝２に対応付けられてコンテンツ内容データ１２ｃ4（図２０参照）から読み出されるＨＴＭＬデータの標準テキストフレームデータや音楽画像フレームデータに応じて、図２１（Ａ）に示すように、表示部１８に対するテキスト表示フレームＸや画像表示フレームＹが設定される（ステップＨ２）。
【０１９１】
第３コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ2（図１９参照）から音声番号１のＩＤ番号＝３１が読み出される（ステップＪ１）。
【０１９２】
そして、このＩＤ番号＝３１に対応付けられてコンテンツ内容データ１２ｃ４（図２０参照）から読み出された音楽音声データ（１）が音声出力部１９から出力される（ステップＪ２）。この際、音楽音声データ（１）は、ＣＰＵ１１における音声再生処理（図１４参照）に伴い、音声出力部１９のＤＳＰ１９ａへ所定フレームずつ転送されるだけで、順次音声出力される。この際の出力音量はデフォルト値ｉ＝５として設定される。
【０１９３】
第４コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ2（図１９参照）からテキスト番号１のＩＤ番号＝２０が読み出される（ステップＢ１）。
【０１９４】
そして、このＩＤ番号＝２０に対応付けられてコンテンツ内容データ１２ｃ４（図２０参照）から読み出された音楽歌詞データ（１）がＲＡＭ１２Ｃのワークエリアにロードされる（ステップＢ２）。
【０１９５】
第５コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“０６”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝６）に応じて、前記ＲＡＭ１２Ｃにロードされた音楽歌詞データ（１）のテキストの中から６番目の文節までが呼び出されて表示画面上のテキスト表示フレームＸ内に表示される（ステップＣ１）。
【０１９６】
第６コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２ｃ2（図１９参照）から画像番号１のＩＤ番号＝６が読み出される（ステップＩ１）。
【０１９７】
そして、このＩＤ番号＝６に対応付けられてコンテンツ内容データ１２ｃ4（図２０参照）から読み出されて画像展開バッファ１２ｅに展開された画像データ（画像Ａ）が、前記ＨＴＭＬファイルで設定された画像表示フレームＹ内に表示される（ステップＩ２）。この際の表示位置はデフォルト位置ｉ＝５（中央）として設定される。
【０１９８】
第７コマンドコード“ＬＳ”（１行スクロール・文字カウンタカウントアップ）およびそのパラメータデータ“００”が読み出されると、表示中のテキストデータ（音楽歌詞データ（１））が１行スクロールされて表示されると共に（ステップＧ１）、文字カウンタが１カウントアップされる（ステップＧ２）。
【０１９９】
第８コマンドコード“ＮＰ”が読み出されると、現在の画像および音楽歌詞テキストデータの同期表示画面および音楽音声データの同期出力状態が維持される。
【０２００】
またこの後、第８１コマンドコード“ＬＳ”（１行スクロール・文字カウンタカウントアップ）およびそのパラメータデータ“００”が読み出されると、図２１（Ｂ）で示すように、表示中のテキストデータ（音楽歌詞データ（１））がさらに１行スクロールされて表示されると共に（ステップＧ１）、文字カウンタが１カウントアップされる（ステップＧ２）。
【０２０１】
そして、第８２コマンドコード“ＭＩ”（ｉ番目位置にイメージファイル移動）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＭＩと共に読み出されたパラメータデータ（ｉ＝１）に応じて、画像表示フレームＹ上の１番目の位置（左上：図６（Ａ）参照）にイメージファイル（画像Ａ）が移動表示される（ステップＭ１）。
【０２０２】
そして、第８３コマンドコード“ＢＳ”（サウンドファイル音量ｉ）およびそのパラメータデータ“０７”が読み出されると、当該コマンドコードＢＳと共に読み出されたパラメータデータ（ｉ＝７）に応じて、音声出力部１９におけるサウンドファイル（音楽音声データ（１））の出力音量が“７”に変更される（ステップＯ１）。
【０２０３】
さらにこの後、第１６１コマンドコード“ＬＳ”（１行スクロール・文字カウンタカウントアップ）およびそのパラメータデータ“００”が読み出されると、図２１（Ｃ）で示すように、表示中のテキストデータ（音楽歌詞データ（１））がさらに１行スクロールされて表示されると共に（ステップＧ１）、文字カウンタが１カウントアップされる（ステップＧ２）。
【０２０４】
そして、第１６２コマンドコード“ＭＩ”（ｉ番目位置にイメージファイル移動）およびそのパラメータデータ“０９”が読み出されると、当該コマンドコードＭＩと共に読み出されたパラメータデータ（ｉ＝９）に応じて、画像表示フレームＹ上の９番目の位置（右下：図６（Ａ）参照）にイメージファイル（画像Ａ）が移動表示される（ステップＭ１）。
【０２０５】
そして、第１６３コマンドコード“ＢＳ”（サウンドファイル音量ｉ）およびそのパラメータデータ“０５”が読み出されると、当該コマンドコードＢＳと共に読み出されたパラメータデータ（ｉ＝５）に応じて、音声出力部１９におけるサウンドファイル（音楽音声データ（１））の出力音量が“５”に変更される（ステップＯ１）。
【０２０６】
さらにこの後、第２４１コマンドコード“ＬＳ”（１行スクロール・文字カウンタカウントアップ）およびそのパラメータデータ“００”が読み出されると、図２１（Ｄ）で示すように、表示中のテキストデータ（音楽歌詞データ（１））がさらに１行スクロールされて表示されると共に（ステップＧ１）、文字カウンタが１カウントアップされる（ステップＧ２）。
【０２０７】
そして、第２４２コマンドコード“ＳＩ”（ｉ番目サイズにイメージファイル拡大）およびそのパラメータデータ“０３”が読み出されると、当該コマンドコードＳＩと共に読み出されたパラメータデータ（ｉ＝３）に応じて、画像表示フレーム上のイメージファイル（画像Ａ）が３番目のサイズ（縦最大サイズ：図６（Ｂ）参照）に変更されて表示される（ステップＮ１）。
【０２０８】
そして、第２４３コマンドコード“ＢＳ”（サウンドファイル音量ｉ）およびそのパラメータデータ“０８”が読み出されると、当該コマンドコードＢＳと共に読み出されたパラメータデータ（ｉ＝８）に応じて、音声出力部１９におけるサウンドファイル（音楽音声データ（１））の出力音量が“８”に変更される（ステップＯ１）。
【０２０９】
このように、前記楽曲再生ファイル（１２ｃ）におけるタイムコードファイル１２ｃ3（図１８参照）・ファイルシーケンステーブル１２ｃ2（図１９参照）・コンテンツ内容データ１２ｃ4（図２０参照）に従って、当該再生ファイルに予め設定された処理単位時間(50ms)毎のコマンド処理を行うことで、図２１（Ａ）〜（Ｄ）に示すように、表示画面上のテキスト表示フレームＸ内に音楽歌詞テキストデータが表示されると共に、画像表示フレームＹ内にその対応画像データが同期表示され、さらに、音声出力部１９から表示中の音楽歌詞テキストの楽曲音声データが同期出力されると共に、画像ファイルの位置・サイズ変更や音声ファイルの出力音量変更なども順次同期制御されるようになる。
【０２１０】
これにより、携帯機器１０のＣＰＵ１１は、再生ファイル１２ｂ（１２ｃ）に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を、予め記述されたコマンド処理の単位時間毎に順次指示するだけで、楽曲テキストファイル、楽曲画像ファイル、楽曲音声ファイルの同期再生処理を行うことができる。
【０２１１】
すなわち、前記タイムコードファイル１２ｃ3には、個々のファイル毎に、予め設定される一定時間間隔（例えば50ms）に従い、予め各種のファイルを同期再生するようにしたコマンド処理のタイムコードが記述配列されているので、例えば音声出力部１９により出力される楽曲音声データは、ＤＳＰ１９ａの処理による単なる音声再生処理を繰り返し行っているだけで、その他の、例えば楽曲に合わせた画像の表示命令（ＤＩ）、音楽歌詞テキストの表示命令（ＶＤ）、当該歌詞テキストのスクロール表示命令（ＬＳ）などと特に同期付けの具体的なタイミング合わせ制御処理を行わなくとも、必然的に同期制御されて再生される。
【０２１２】
従って、ＣＰＵのメイン処理の負担が軽くなり、処理能力の比較的小さいＣＰＵでも容易にテキスト画像音声を含む同期再生処理が行えるので、高性能なＣＰＵを用いない簡単な再生装置でも実現できるようになる。
【０２１３】
なお、前記各実施形態におけるテキストファイル・画像ファイル・音声ファイルなどの同期再生処理では、そのテキストファイルの表示において、音声ファイルの出力に合わせた文節ハイライト（強調）表示を行う構成としたが、音声ファイルの出力に合わせたテキスト部分（例えば単語部分）のみの出力表示、あるいは次の図２２に示すように、文字色変更表示や文字サイズ変更表示、文字透明表示、フォント変更表示などによりファイルの再生状況に合わせたテキスト変更表示を行う構成としてもよい。
【０２１４】
また、前記各実施形態におけるテキストファイル・画像ファイル・音声ファイルなどの同期再生処理では、その画像ファイルの表示において、各ファイルの再生状況に合わせたの位置変更表示やサイズ変更表示を行う構成としたが、当該再生状況に合わせた画像ファイルの入れ替え表示を行う構成としてもよい。
【０２１５】
さらに、図２２に示すように、ファイルの再生状況に合わせてＨＴＭＬファイルの入れ替えを行う構成としてもよい。
【０２１６】
図２２は前記携帯機器１０のファイル再生処理に伴うファイルの再生状況に合わせた各種変更再生状態を示す図である。
【０２１７】
すなわち、例えば図２２（Ａ）に示すように、ＨＴＭＬファイル１のテキスト表示フレームＸ１において、ボキャブラリー特訓の音声ファイル出力に合わせてそのテキストデータを青色指定して色変化表示Ｍさせたり、さらに、テキスト表示フレームＸ２において、前記色変化表示Ｍの部分に対応する言語の意味内容の表示を、透明文字による出現表示Ｎやフォント変更表示などにより同期して示したりする構成としてもよい。
【０２１８】
さらに、図２２（Ｂ）に示すように、前記各表示フレームＸ１，Ｘ２共に、ファイルの再生進行状況に合わせてＨＴＭＬファイルの入れ替えを行う構成としてもよい。
【０２１９】
また、前記各実施形態における音声ファイルの再生処理では、音声出力部１９にＤＳＰ１９ａを備え、ＣＰＵ１１内部の音声再生処理では、コンテンツ内容データ１２ｃ４から読み出されたＭＰ３ディジタル音声データを所定フレーム分ずつ当該音声出力部１９のＤＳＰ１９ａに順次転送するだけで、このＤＳＰ１９ａによりＭＰ３音声データを伸張処理し、Ｄ／Ａ変換部１９ｂからアンプ１９ｃを介して音声出力する構成としたが、次の図２３および図２４において説明するように、音声出力部１９にはＤＳＰ１９ａを備えず、ＭＰ３音声データの伸張および音声出力部１９への転送処理を、ＣＰＵ１１内部の音声再生処理にて行う構成としてもよい。
【０２２０】
図２３は前記携帯機器１０における音声出力部１９の他の実施構成を示すブロック図である。
【０２２１】
すなわち、音声出力部１９にはＤＳＰ１９ａを備えず、ＭＰ３音声データの伸張および音声出力部１９への転送処理は、ＣＰＵ１１内部の音声再生処理にて行われる。
【０２２２】
図２４は前記携帯機器１０の音声出力部１９が他の実施構成である場合のＣＰＵ１１でのＰＳ処理の指示に伴う音声再生処理を示すフローチャートである。
【０２２３】
つまり、前記再生処理プログラム１２ａのＰＳ処理（ステップＡＪ）に伴い音声再生すべき指定の音声データの出力の指示が行われると（ステップＴ２）、ＲＡＭ１２Ｃ内のコンテンツ内容データ１２ｃ4（図４参照）から指定のＭＰ３音声データが所定フレーム分ずつ読み出されてＣＰＵ１１に転送される。そして、当該ＣＰＵ１１内部の音声出力タスクにて、前記転送された指定のＭＰ３音声データが伸張処理されて音声出力部１９のＤ／Ａ変換部１９ｂに出力され、これによりアナログ音声データに変換されて、アンプ１９ｃを介しスピーカ１９ｄから音声出力される（ステップＴ３′）。
【０２２４】
このＣＰＵ１１における指定のＭＰ３音声データの音声出力タスクによる伸張・転送処理は、当該音声出力タスクによる次フレームの音声データ要求に従い繰り返し行われ、順次音声出力されるもので（ステップＴ５′→Ｔ３′）、この音声再生処理に伴い、前記タイムコードファイル１２ｃ３に従ったＰＰコマンド（ステップＳ１３）によりポーズ処理の指示が行われると（ステップＳ１４）、当該音声再生処理の動作全体が一時停止される（ステップＴ６→Ｔ７）。
【０２２５】
そして、ポーズ解除の指示が行われると（ステップＳ１５）、当該音声再生処理の動作が再開される（ステップＴ７→Ｔ３′）。
【０２２６】
この場合でも、ＣＰＵ１１における音声再生処理（音声出力タスク）では、前記タイムコードファイル１２ｃ３（図２参照）に基づく音声再生命令（ＰＳ）に従い、ＲＡＭ１２Ｃ内のコンテンツ内容データ１２ｃ4（図４参照）から指定のＭＰ３音声データを所定フレーム分ずつ読み出して伸張処理し音声出力部１９に順次転送するだけで音声出力が成されるもので、この後、コンテンツ内容データ１２ｃ4から読み出された最終フレームのＭＰ３音声データが伸張転送されて音声出力されると、当該指定の音声データの出力処理が終了となる（ステップＴ４→ＥＮＤ）。
【０２２７】
また、前記各実施形態において説明した複数種類のファイルの同期再生機能を適用することにより、次のような処理も容易に実施することができる。
【０２２８】
すなわち、例えば近年ＤＶＤ(digital versatile disk)によって再生される映画などにおいては、動画表示や音声出力に対して字幕表示は適当な一文節ずつ入れ替え表示されるだけで、単語単位あるいは文字単位での同期表示は行われないのが通常である。
【０２２９】
そこで、ＤＶＤ自体の記録データは再構成することなく、その字幕などのテキストデータのみを動画表示や音声出力に合わせるように記述したタイムコードファイル１２ｃ３を予め生成することで、前記各実施形態と同様のファイル再生機能により、高性能なＣＰＵを用いない簡単な再生装置で、ＤＶＤ再生による動画表示と音声出力に合わせた字幕などテキストデータの単語単位あるいは文字単位での同期再生処理を実現することができる。
【０２３０】
つまり、具体的な実施の構成としては、ＤＶＤに記録された動画表示タイミングや音声出力タイミングと合うように、そのテキストデータのみの表示（ＶＤ），ハイライト表示（ＨＬ），スクロール表示（ＬＳ）などを命令するためのコマンドコードおよびパラメータデータからなるタイムコードファイル１２ｃ３を予め生成すると共に、当該テキストデータを指定するファイルシーケンステーブル１２ｃ２、当該テキストデータを記憶するコンテンツ内容データ１２ｃ４を用意する。そして、ＤＶＤ再生装置による動画，音声の再生開始と共に、前記実施形態と同様の再生処理プログラム１２ａによって、タイムコードファイル１２ｃ３に従い、ＤＶＤ再生装置に動画，音声の再生開始を指示し、ＤＶＤ再生装置による動画，音声の再生と同期再生させるようにテキストデータの再生制御をおこなう。これにより、ＤＶＤ再生による動画表示と音声出力に合わせた字幕などテキストデータの単語単位あるいは文字単位での同期再生処理を実現できる。
【０２３１】
したがって、前記構成の携帯機器１０によるファイル再生機能によれば、再生用ファイル１２ｂ（１２ｃ）に予め、音声データと同期再生されるように配列されたテキストデータの制御命令であるコマンドコードおよびそのパラメータデータを記憶しているので、コマンドに対応して音声ドライバに指示するだけで音声ドライバはＤＳＰによる音声データの出力を開始させ、またこのコマンドコードおよびそのパラメータデータを順次読み出し、コマンドに対応するテキストデータの表示処理を行うだけで、音声とテキストとの再生処理が必然的に同期実行される。よって、ＣＰＵ１１の負荷を非常に小さくして、高性能なＣＰＵを用いない簡単な再生装置でも音声とテキストとの同期再生を実現することができる。
【０２３２】
また、音声ドライバとＤＳＰ側では、音声データの出力の開始の命令に応じて音声データの出力を行うだけで、テキストデータの同期再生が行われる。
【０２３３】
また、前記構成の携帯機器１０によるファイル再生機能によれば、テキスト・画像・音声ファイルなどの単なる同期再生処理だけでなく、このファイル再生状況に伴い、テキストの強調表示やスクロール表示、画像の位置変更表示やサイズ変更表示などの各種ファイルの再生効果を組み合わせて行う構成としたので、各種ファイルのより効果的な同期再生を行うことができる。
【０２３４】
さらに、前記構成の携帯機器１０によるファイル再生機能によれば、再生用ファイル１２ｃのタイムコードファイル１２ｃ3に従った現在のコマンド処理位置よりも後に画像ファィル表示のコマンドがある場合には、その画像ファィルを先読みして展開しておく構成としたので、実際の画像表示時点で処理に遅れなく指定の画像ファイルを直ちに表示できるようになる。
【０２３５】
なお、前記実施形態において記載した携帯機器１０による各処理の手法、すなわち、図１０のフローチャートに示すファイル再生処理、図１１のフローチャートに示す前記ファイル再生処理と並列起動されるファイル先読み処理、図１２のフローチャートに示す前記ファイル再生処理に伴う他のコマンド処理、図１３のフローチャートに示す前記ファイル再生処理に伴う他のコマンド処理それぞれの処理、図１４のフローチャートに示す前記ファイル再生処理に従ったＣＰＵ１１でのＰＳ処理の指示に伴う音声再生処理、図１５のフローチャートに示す前記ファイル再生処理に伴う拡張コマンド処理、図１６のフローチャートに示す前記ファイル再生処理に伴う拡張コマンド処理それぞれの処理、図２４のフローチャートに示す前記ファイル再生処理に従ったＣＰＵ１１でのＰＳ処理の指示に伴う他の音声再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード、ＤＡＴＡ・ＣＡＲＤ等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した複数ファイルの同期再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０２３６】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した複数ファイルの同期再生機能を実現することもできる。
【０２３７】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０２３８】
【発明の効果】
以上のように、本発明の請求項１に係る再生制御装置によれば、音声データおよび該音声データに同期付けされるテキストデータを記憶するデータ記憶手段と、前記音声データの制御命令と前記音声データと前記テキストデータとが同期再生されるように予め経過時間を設定して配列されたテキストデータの制御命令とを記憶する命令記憶手段と、前記データ記憶手段により記憶された音声データを出力する音声出力手段とを有し、前記命令記憶手段により記憶された音声データの制御命令に応じて前記音声出力手段に対して前記データ記憶手段により記憶された音声データの出力を開始させ、テキストデータの制御命令に応じて前記音声データの出力と同期再生させるようにテキストデータの表示処理が行われる。そして、データＩＤ記憶手段により記憶されたＩＤ番号に対応する再生対象データがデータ記憶手段により記憶された複数種類のデータの中から読み出されて、指定されたデータの再生処理が行われる。
【０２３９】
これによれば、命令記憶手段に予め、音声データと同期再生されるように配列されたテキストデータの制御命令を記憶しているので、音声出力手段に対して音声データの出力を開始させて、テキストデータの制御命令に応じて処理をおこなうだけで、音声データの出力と同期再生させるようにテキストデータの表示処理が行われるようになり、簡単な処理で、音声データとテキストデータの同期再生が行われる。また、前記音声出力手段に対しては音声データの出力の開始の命令だけで、適切に音声データとテキストデータの同期再生が行われる。従って、音声出力手段では開始の命令に応答して音声データの出力を行っていくだけでよく、複雑な同期処理をおこなわなくても、音声データとテキストデータの同期再生が適切に行われる。この際、ＩＤ番号に従って適切かつ迅速に指定のデータを読み出して各データ間の同期再生を行わせることができる。
【０２４０】
また、本発明の請求項２に係る再生制御装置によれば、前記請求項１に係る再生制御装置にあって、音声出力手段を、データ記憶手段により記憶された音声データを順次取り出すデータ取り出し手段と、このデータ取り出し手段により順次取り出された音声データを伸張処理する音声データ伸張処理手段として構成するので、音声出力手段に対する音声データの出力開始の指示が成された後は、単にデータ記憶手段により記憶された音声データを順次取り出して伸張処理するだけで音声データの出力が行え、制御に負担無くテキストデータの同期表示を行わせることができる。
【０２４１】
また、本発明の請求項３に係る再生制御装置によれば、前記請求項２に係る再生制御装置にあって、音声データ伸張処理手段を、回路手段として構成するので、音声出力手段に対する音声データの出力開始の指示が成された後は、単にデータ記憶手段により記憶された音声データを順次取り出して伸張処理の回路手段に転送するだけで音声データの出力が行え、より制御に負担無くテキストデータの同期表示を行わせることができる。
【０２４２】
また、本発明の請求項４に係る再生制御装置によれば、前記請求項１乃至請求項３の何れか１項に係る再生制御装置にあって、再生制御手段では、命令記憶手段により記憶された予め経過時間を設定して配列されている各制御命令を、当該設定経過時間毎に順に処理することで、音声データの制御命令に応じた当該音声データの出力の開始、テキストデータの制御命令に応じた当該テキストデータの表示処理が行われるので、単純な経過時間に応じた制御命令の実行指示を順次行うだけで、音声出力手段により出力される音声データに同期させたテキストデータの表示を行わせることができる。
【０２４３】
また、本発明の請求項５に係る再生制御装置によれば、前記請求項４に係る再生制御装置にあって、さらに、時間を計時する計時手段が備えられ、この計時手段により計時された時間に基づき、命令記憶手段により記憶された予め経過時間を設定して配列されている各制御命令が当該設定経過時間毎に順に処理されるので、計時に基づく単純な経過時間に応じた制御命令の実行指示を順次行うだけで、音声出力手段により出力される音声データに同期させたテキストデータの表示を行わせることができる。
【０２４４】
また、本発明の請求項６に係る再生制御装置によれば、前記請求項１乃至請求項５の何れか１項に係る再生制御装置にあって、テキストデータの制御命令には、表示対象のテキストデータに含まれる文字列のうち、音声データとの同期付けのために命令で指定された部分だけを表示させる命令が含まれるので、音声出力手段により出力される音声データに必然同期表示されるテキストデータを、その同期付けられた文字列部分のみ表示させることができる。
【０２４５】
また、本発明の請求項７に係る再生制御装置によれば、前記請求項１乃至請求項５の何れか１項に係る再生制御装置にあって、テキストデータの制御命令には、表示対象のテキストデータに含まれる文字列のうち、音声データとの同期付けのために命令で指定された部分を他の文字列の部分と異なる表示形態で表示させる命令が含まれるので、音声出力手段により出力される音声データに必然同期表示されるテキストデータの文字列部分を、他の文字列の部分と異なる表示形態で表示させることができる。
【０２４６】
また、本発明の請求項８に係る再生制御装置によれば、前記請求項７に係る再生制御装置にあって、テキストデータの制御命令には、表示対象のテキストデータに含まれる文字列のうち、音声データとの同期付けのために命令で指定された部分の文字色または文字サイズまたは文字フォントを他の文字列の部分と異なる表示形態で表示させる命令が含まれるので、音声出力手段により出力される音声データに必然同期表示されるテキストデータの文字列部分の文字色または文字サイズまたは文字フォントを容易に他の文字列分と異なる形態で表示させることができる。
【０２４７】
また、本発明の請求項９に係る再生制御装置によれば、前記請求項１乃至請求項５の何れか１項に係る再生制御装置にあって、テキストデータの制御命令には、表示対象のテキストデータに含まれる文字列をスクロール表示させる命令が含まれるので、音声出力手段により出力される音声データに必然同期表示されるテキストデータを容易にスクロール表示させることができる。
【０２６５】
よって、本発明によれば、音声や画像データとテキストデータとの同期再生を、小さな処理能力の再生装置で実現することが可能になる再生制御装置および再生制御処理プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の再生制御装置の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ3を示す図。
【図３】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ2を示す図。
【図４】前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ4を示す図。
【図５】前記携帯機器１０のタイムコードファイル１２ｃ3（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび再生処理プログラム１２ａに基づき解析処理される命令内容を対応付けて示す図。
【図６】前記携帯機器１０のタイムコードファイル１２ｃ3（図２参照）にて記述される拡張コマンドに伴うイメージファイルの位置移動形態およびサイズ変更形態を示す図であり、同図（Ａ）は拡張コマンドＭＩに伴うイメージファイルの移動位置を規定する図、同図（Ｂ）は拡張コマンドＳＩに伴うイメージファイルの変更サイズを規定する図。
【図７】前記携帯機器１０のFLASHメモリ１２Ｂに格納される暗号化再生用ファイル１２ｂの各種ファイル格納状態を示す図。
【図８】前記携帯機器１０における音声出力部１９の構成を示すブロック図。
【図９】前記携帯機器１０のコンテンツ内容データ１２ｃ4として記憶されるＭＰＥＧ３形式で圧縮された音声ファイルのデータ構成を示す図。
【図１０】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理を示すフローチャート。
【図１１】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴い並列起動される先読み処理を示すフローチャート。
【図１２】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う他のコマンド処理を示すフローチャート。
【図１３】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う他のコマンド処理それぞれの処理内容を示すフローチャート。
【図１４】前記携帯機器１０の再生処理プログラム１２ａに従ったＣＰＵ１１でのＰＳ処理の指示に伴う音声再生処理を示すフローチャート。
【図１５】前記携帯機器１０の再生処理プログラム１２ａに従った再生処理に伴う拡張コマンド処理を示すフローチャート。
【図１６】前記携帯機器１０の再生処理プログラムに従った再生処理に伴う拡張コマンド処理それぞれの処理内容を示すフローチャート。
【図１７】前記図２乃至図４における英語教材再生ファイルに基づいた英語テキスト・画像・音声ファイルの同期再生状態を示す図。
【図１８】前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ3を示す図。
【図１９】前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ2を示す図。
【図２０】前記携帯機器１０のメモリ１２に格納された楽曲再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ4を示す図。
【図２１】前記図１８乃至図２０における楽曲再生用ファイルに基づいた楽曲テキスト・画像・音声ファイルの同期再生状態を示す図。
【図２２】前記携帯機器１０のファイル再生処理に伴うファイルの再生状況に合わせた各種変更再生状態を示す図。
【図２３】前記携帯機器１０における音声出力部１９の他の実施構成を示すブロック図。
【図２４】前記携帯機器１０の音声出力部１９が他の実施構成である場合のＣＰＵ１１でのＰＳ処理の指示に伴う音声再生処理を示すフローチャート。
【符号の説明】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＲＯＭ
１２Ｂ…FLASHメモリ
１２Ｃ…ＲＡＭ
１２c1…ヘッダ情報
１２c1a…処理単位時間
１２c2…ファイルシーケンステーブル
１２c3…タイムコードファイル
１２c4…コンテンツ内容データ
１２ａ…再生処理プログラム
１２ｂ…暗号化された再生用ファイル（ＣＡＳファイル）
１２ｃ…解読された再生用ファイル（ＣＡＳファイル）
１２ｄ…画像展開済みフラグ
１２ｅ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ …入力部
１８ …表示部
１９ …音声出力部
１９ａ…ＤＳＰ
１９ｂ…Ｄ／Ａ変換部
１９ｃ…アンプ
１９ｄ…スピーカ
２０ …通信機器（自宅ＰＣ）
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）
Ｘ …テキスト表示フレーム
Ｙ …画像表示フレーム

Claims (13)

1. 音声データおよび該音声データに同期付けされるテキストデータを記憶するデータ記憶手段と、
   前記音声データの制御命令と、前記音声データと前記テキストデータとが同期再生されるように予め経過時間を設定して配列されたテキストデータの制御命令とを記憶する命令記憶手段と、
   前記データ記憶手段により記憶された音声データを出力する音声出力手段と、
   前記命令記憶手段により記憶された音声データの制御命令に応じて、前記音声出力手段に対して前記データ記憶手段により記憶された音声データの出力を開始させ、前記テキストデータの制御命令に応じて、前記音声データの出力と同期再生させるようにテキストデータの表示処理を行わせる再生制御手段と、
   を備え、
   前記命令記憶手段により記憶された制御命令は、その再生対象データの種類と該種類におけるデータの指定情報を含み、
   前記データ記憶手段により記憶された複数種類のデータは、それぞれ対応するＩＤ番号に対応付けられて記憶され、
   さらに、前記データ記憶手段により記憶されたデータの種類別に、個々のデータの指定情報とそのＩＤ番号とを対応付けて記憶するデータＩＤ記憶手段を備え、
   前記再生制御手段は前記命令記憶手段により記憶された再生対象データの制御命令とその指定情報に応じて、前記データＩＤ記憶手段により記憶されたＩＤ番号に対応する再生対象データを前記データ記憶手段により記憶された複数種類のデータの中から読み出し、指定されたデータの再生処理を行わせるようにしたことを特徴とする再生制御装置。
2. 前記音声出力手段は、
   前記データ記憶手段により記憶された音声データを順次取り出すデータ取り出し手段と、
   このデータ取り出し手段により順次取り出された音声データを伸張処理する音声データ伸張処理手段と、
   を有することを特徴とする請求項１に記載の再生制御装置。
3. 前記音声データ伸張処理手段は、回路手段であることを特徴とする請求項２に記載の再生制御装置。
4. 前記再生制御手段は、前記命令記憶手段により記憶された予め経過時間を設定して配列されている各制御命令を当該設定経過時間毎に順に処理することで、音声データの制御命令に応じた当該音声データの出力の開始、テキストデータの制御命令に応じた当該テキストデータの表示処理を行わせる、
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の再生制御装置。
5. さらに、
   時間を計時する計時手段を備え、
   前記再生制御手段は、前記計時手段により計時された時間に基づき、前記命令記憶手段により記憶された予め経過時間を設定して配列されている各制御命令を当該設定経過時間毎に順に処理する、
   ことを特徴とする請求項４に記載の再生制御装置。
6. 前記テキストデータの制御命令は、表示対象のテキストデータに含まれる文字列のうち、前記音声データとの同期付けのため命令で指定された部分だけを表示させる命令を含むことを特徴とする請求項１乃至請求項５の何れか１項に記載の再生制御装置。
7. 前記テキストデータの制御命令は、表示対象のテキストデータに含まれる文字列のうち、前記音声データとの同期付けのため命令で指定された部分を他の文字列の部分と異なる表示形態で表示させる命令を含むことを特徴とする請求項１乃至請求項５の何れか１項に記載の再生制御装置。
8. 前記他の文字列の部分と異なる表示形態で表示させる命令は、文字色または文字サイズまたは文字フォントを他の文字列の部分と異なる表示形態で表示させる命令であることを特徴とする請求項７に記載の再生制御装置。
9. 前記テキストデータの制御命令は、表示対象のテキストデータに含まれる文字列をスクロール表示させる命令を含むことを特徴とする請求項１乃至請求項５の何れか１項に記載の再生制御装置。
10. 前記制御命令は、当該再生対象データが音声データである場合には、その音声データの再生を指定された時間停止させる命令を含むことを特徴とする請求項１乃至請求項５の何れか１項に記載の再生制御装置。
11. 前記制御命令に予め設定した経過時間は、複数種類の時間間隔のうちの１つの基準時間間隔に基づいて設定されることを特徴とする請求項１乃至請求項１０の何れか１項に記載の再生制御装置。
12. 前記命令記憶手段により記憶される制御命令および前記データ記憶手段により記憶される複数種類のデータを１つの再生用ファイルとしてまとめたことを特徴とする請求項１乃至請求項１１の何れか１項に記載の再生制御装置。
13. 再生装置のコンピュータを制御するための再生制御処理プログラムであって、
    前記コンピュータを、
    再生対象データおよび該再生対象データに同期付けされるテキストデータを記憶するデータ記憶手段、
    前記再生対象データの制御命令と、前記再生対象データと前記テキストデータとが同期再生されるように予め経過時間を設定して配列されたテキストデータの制御命令とを記憶する命令記憶手段、
    前記データ記憶手段により記憶された再生対象データを出力するデータ出力手段、
    前記命令記憶手段により記憶された再生対象データの制御命令に応じて、前記データ出力手段に対して前記データ記憶手段により記憶された再生対象データの出力を開始させ、前記テキストデータの制御命令に応じて、前記再生対象データの出力と同期再生させるようにテキストデータの表示処理を行わせる再生制御手段、
    として機能させ、
    前記命令記憶手段により記憶された制御命令は、その再生対象データの種類と該種類におけるデータの指定情報を含み、
    前記データ記憶手段により記憶された複数種類のデータは、それぞれ対応するＩＤ番号に対応付けられて記憶されるようにし、
    さらに、前記データ記憶手段により記憶されたデータの種類別に、個々のデータの指定情報とそのＩＤ番号とを対応付けて記憶するデータＩＤ記憶手段として機能させ、
    前記再生制御手段は前記命令記憶手段により記憶された再生対象データの制御命令とその指定情報に応じて、前記データＩＤ記憶手段により記憶されたＩＤ番号に対応する再生対象データを前記データ記憶手段により記憶された複数種類のデータの中から読み出し、指定されたデータの再生処理を行わせるようにしたことを特徴とする
    コンピュータ読み込み可能な再生制御処理プログラム。

Images