JP4277512B2 - 電子機器及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声データに文字データを同期させるための電子機器およびプログラムに関する。
【０００２】
【従来の技術】
従来、音楽，テキスト，画像などのファイルを同時並行して再生する技術としては、例えばMPEG-3により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とその歌詞のテキストおよびイメージ画像を同期再生するものがある。
【０００３】
また、音声に対する文字の時間的な対応情報が予め用意されていることを前提に、当該音声信号の特徴量を抽出し対応する文字と関連付けて表示する装置も考えられている。（例えば、特許文献１参照。）
【０００４】
【特許文献１】
特公平０６−０２５９０５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、このように従来行われているＭＰＥＧファイルの付加データエリアを利用した複数種類のファイルの同期再生技術では、同期情報の埋め込みが主たるＭＰ３音声ファイルの各フレーム毎の付加データエリアに規定されるため、当該ＭＰ３音声ファイルを再生させない限り同期情報を取り出すことが出来ず、ＭＰ３ファイルの再生を軸としてしか他の種類のファイルの同期再生を行うことが出来ない。
【０００６】
このため、例えばＭＰ３音声ファイルにテキストファイルの同期情報を埋め込んだ場合に、音声ファイルの再生を行わない期間にあっても無音声ファイルとして音声再生処理を継続的に行っていないと同期対象ファイルの再生を行うことが出来ない問題がある。
【０００７】
従って、従来この複数種類ファイルの同期再生処理は、ＭＰ３ファイルの再生処理をベースとして行われるため、再生装置のＣＰＵにおける処理の負荷が重くなる問題がある。
【０００８】
一方、前記特許文献１に記載の装置は、ＭＰＥＧファイルの付加データエリアを利用するものではなく、音声信号の変化を抽出して該音声信号の変化に対応する文字をメモリ上で関連付けて記憶しておくことで、当該音声の出力に伴い対応する文字を表示できるようにしたものであるが、このような音声／文字の関連付け情報は音声信号の時系列情報に対応付けて個々の文字を入力指定して行くことで生成されるので、当該音声／文字の関連付け情報を生成するのが非常に面倒で手間の掛かる問題がある。
【０００９】
本発明は、前記のような問題に鑑みてなされたもので、音声ファイルとテキストファイルを同期再生するための関連付け情報を容易に生成することが可能になる電子機器及びプログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の請求項１に係る電子機器は、文章を読み上げた音声データを記憶する音声記憶手段と、前記文章に対応するテキストデータを記憶するテキスト記憶手段と、前記音声記憶手段により記憶された音声データを再生する音声出力手段と、前記テキスト記憶手段により記憶されたテキストデータを表示するテキスト表示手段と、このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置を検出するテキスト位置検出手段と、前記音声出力手段による音声データの再生に合わせて前記テキスト表示手段が表示したテキストに含まれる各単語を前記テキスト位置検出手段のポインタにより指定されたときの、音声データの再生経過時間を記録する時間データ記録手段と、この時間データ記録手段で記録した各単語までの再生経過時間に基づいて、音声データにテキストを対応付けて同期再生させるためのコマンド列を生成するコマンド生成手段とを備えたことを特徴とする。
【００１１】
これによれば、記憶された音声データを再生しながら、記憶されたテキストデータを表示させ、この表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生に対応するテキスト位置を同期表示で確認しながら対応付けできることになる。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２７】
図１は本発明の電子機器（命令コード作成装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００２８】
この携帯機器(ＰＤＡ:personal digital assistants)１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)１１が備えられる。
【００２９】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記憶されたＰＤＡ（携帯機器）制御プログラム１２ａ、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム１２ａ、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム１２ａに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラム１２ａは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはBluetooth(R)による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ:personal computer）２０からの通信信号に応じて起動される。
【００３０】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、スピーカを備え音声を出力する音声出力部１９ｂなどが接続される。
【００３１】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００３２】
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、FLASHメモリ(EEP-ROM)１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００３３】
ＲＯＭ１２Ａには、当該携帯機器１０のＰＤＡ制御プログラム１２ａとして、その全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種のファイルを同期再生するための再生用ファイル（ＣＡＳファイル）１２ｃ（１２ｂ）を作成する同期コンテンツ作成処理プログラム１２a1、これにより作成された再生用ファイル（ＣＡＳファイル）１２ｃ（１２ｂ）に従い音声・テキスト・画像などの各種のファイルを同期再生するための同期コンテンツ再生処理プログラム１２a2など、種々のＰＤＡ制御プログラム１２anが記憶される。
【００３４】
FLASHメモリ(EEP-ROM)１２Ｂには、前記同期コンテンツ作成処理プログラム１２a1に従い作成され、また前記同期コンテンツ再生処理プログラム１２a2に従い再生処理の対象となる暗号化された再生用ファイル（ＣＡＳファイル）１２ｂが記憶される他に、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【００３５】
ここで、前記FLASHメモリ(EEP-ROM)１２Ｂ内に記憶される暗号化再生用ファイル１２ｂは、例えば英会話の練習やカラオケをテキスト・音声・画像の同期再生により行うためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【００３６】
この作成された暗号化再生用ファイル１２ｂは、例えばＣＤ−ＲＯＭに記録して配布したり、電送制御部１５を介して通信ネットワーク（インターネット）Ｎ上のファイル配信サーバ３０へ転送配布したり、あるいは通信部１６を介して外部の通信機器（ＰＣ）２０へ転送配布したりするもので、この暗号化再生用ファイル１２ｂは、例えば英会話練習用のファイルとして本携帯機器（ＰＤＡ）１０により作成され、英会話練習者の各端末である外部通信機器（ＰＣ）２０や該各端末からアクセス可能なファイル配信サーバ３０へ転送格納される。
【００３７】
ＲＡＭ１２Ｃには、前記暗号化された再生用ファイル１２ｂを伸張・復号化した解読された再生用ファイル（ＣＡＳファイル）１２ｃが記憶されると共に、この解読再生ファイル１２ｃの中の画像ファイルが展開されて記憶される画像展開バッファ１２ｅが備えられる。解読されたＣＡＳファイル１２ｃは、再生命令の処理単位時間（１２c1a）を記憶するヘッダ情報（１２c1）、および後述するファイルシーケンステーブル（１２c2）、タイムコードファイル（１２c3）、コンテンツ内容データ（１２c4）で構成される。
【００３８】
そしてまた、ＲＡＭ１２Ｃには、音声とテキストを同期再生するための再生用ファイル１２ｂ（１２ｃ）を前記同期コンテンツ作成処理プログラム１２a1に従い作成処理する過程において生成される、音声とテキストを同期付けたテキスト音声同期データ１２ｄが記憶される。
【００３９】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【００４０】
図２は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ3を示す図である。
【００４１】
図３は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ2を示す図である。
【００４２】
図４は前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ4を示す図である。
【００４３】
この携帯機器１０の再生対象ファイルとなる再生用ファイル１２ｂ（１２ｃ）は、図２〜図４で示すように、前記同期コンテンツ作成処理プログラム１２a1に従い作成（作成処理については後述する）されるタイムコードファイル１２ｃ3とファイルシーケンステーブル１２ｃ2とコンテンツ内容データ１２ｃ4との組み合わせにより構成される。
【００４４】
図２で示すタイムコードファイル１２ｃ3には、個々のファイル毎に予め設定される一定時間間隔（例えば25ms）で各種ファイル同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるファイル内容（図４参照）を対応付けするためのファイルシーケンステーブル１２ｃ2（図３）の参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００４５】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔は、当該タイムコードファイル１２ｃ3のヘッダ情報１２c1に処理単位時間１２ｃ1aとして記述設定される。
【００４６】
図３で示すファイルシーケンステーブル１２ｃ2は、複数種類のファイル（ＨＴＭＬ／画像／テキスト／音声）の各種類毎に、前記タイムコードファイル１２ｃ3（図２参照）に記述される各コマンドのパラメータデータと実際のファイル内容の格納先（ＩＤ）番号とを対応付けたテーブルである。
【００４７】
図４で示すコンテンツ内容データ１２ｃ4は、前記ファイルシーケンステーブル１２ｃ2（図３参照）により前記各コマンドコードと対応付けされる実際の音声，画像，テキストなどのファイルデータが、そのそれぞれのＩＤ番号を対応付けて記憶される。
【００４８】
図５は前記携帯機器１０のタイムコードファイル１２ｃ3（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期コンテンツ再生処理プログラム１２a2に基づき解析処理される命令内容を対応付けて示す図である。
【００４９】
タイムコードファイル１２ｃ3に使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがある。
【００５０】
すなわち、この携帯機器（ＰＤＡ）１０のＲＯＭ１２Ａに記憶されている同期コンテンツ再生処理プログラム１２a2を起動させて、FLASHメモリ１２Ｂから解読されＲＡＭ１２Ｃに記憶された解読再生用ファイル１２ｃが、例えば図２乃至図４で示したファイル内容であり、一定時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“０２”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝０２からファイルシーケンステーブル１２ｃ2（図３参照）にリンク付けられる画像ファイルのＩＤ番号＝７に従い、コンテンツ内容データ１２ｃ4（図４参照）の画像Ｂが読み出されて表示される。
【００５１】
また、例えば同一定時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節が表示される。
【００５２】
さらに、例えば同一定時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００５３】
なお、この複数種類のコンテンツを同期再生するための図２で示したタイムコードファイル１２c3の作成動作、および図２乃至図４で示したファイル内容の再生用ファイル１２ｂ（１２ｃ）についての詳細な再生動作は、後述にて改めて説明する。
【００５４】
図６は前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従いメモリ１２に記憶されるテキスト音声同期データ１２ｄを示す図である。
【００５５】
このテキスト音声同期データ１２ｄは、音声データにテキストを対応付けて同期再生するための再生用ファイル１２ｂ（１２ｃ）の作成に伴うテキストタッチ音声同期処理（図９参照）において、同期付けすべき音声データを再生しながら表示されているテキストデータを該音声内容に順次対応付けながらマウスカーソルまたはペンタッチにより各文字や単語部分を指定して行くことで、当該テキスト内容の各単語（単語Ｎｏ．）毎に音声データの再生経過時間が対応付けされて生成される。
【００５６】
次に、前記構成の携帯機器１０により各種ファイルの同期再生を図る再生用ファイル（ＣＡＳファイル）１２ｃ（１２ｂ）を作成するための同期コンテンツ作成機能について説明する。
【００５７】
図７は前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従った同期コンテンツ作成処理を示すフローチャートである。
【００５８】
図８は前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従った同期コンテンツ作成処理に伴う各コンテンツ取得保存処置を示すフローチャートである。
【００５９】
図９は前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従った同期コンテンツ作成処理に伴うテキストタッチ音声同期処置を示すフローチャートである。
【００６０】
図１０は前記携帯機器１０の同期コンテンツ作成処理によるテキストタッチ音声同期処置に伴う音声再生中のテキストタッチ表示状態を示す図である。
【００６１】
図１１は前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従った同期コンテンツ作成処理に伴うタイムコードファイル作成処置を示すフローチャートである。
【００６２】
例えば英語の勉強が音声とテキストと画像で行える英語教材再生ファイル１２ｂ（１２ｃ）を作成するために、同期コンテンツ作成処理プログラム１２a1を起動させると、まず、各コンテンツ取得保存処置（図８参照）が実行される（ステップＡＢ）。
【００６３】
この各コンテンツ取得保存処置では、同期コンテンツとして利用するテキスト，音声，画像の各データを入力して保存するもので、まず、入力部１７ａにおけるキー入力操作あるいは電送制御部１５を介したＷｅｂサーバ３０からのダウンロード、あるいは通信部１６を介した外部通信機器（ＰＣ）２０からのダウンロードにより、例えば英語教材のテキストデータが入力される（ステップＢ１）。
【００６４】
入力されたテキストデータは、再生用ファイル１２ｂ（１２ｃ）におけるコンテンツ内容データ１２c4（図４参照）としてＩＤ番号を対応付けて保存され（ステップＢ２）、シーケンシャルファイルテーブル１２c2（図３参照）のテキスト指定情報として追加記憶される（ステップＢ３）。
【００６５】
また、音声入力部１９ａによる音声入力あるいは電送制御部１５を介したＷｅｂサーバ３０からのダウンロード、あるいは通信部１６を介した外部通信機器（ＰＣ）２０からのダウンロードにより、同英語教材のテキストに対応した音声データが入力される（ステップＢ４）。
【００６６】
入力された音声データは、再生用ファイル１２ｂ（１２ｃ）におけるコンテンツ内容データ１２c4（図４参照）としてＩＤ番号を対応付けて保存され（ステップＢ５）、シーケンシャルファイルテーブル１２c2（図３参照）の音声指定情報として追加記憶される（ステップＢ６）。
【００６７】
さらに、デジタルカメラによる各撮影画像を記録したＣＤ−Ｒなどの記録媒体１３を記録媒体読取部１４を介して読み取るか、あるいは電送制御部１５を介したＷｅｂサーバ３０からのダウンロード、あるいは通信部１６を介した外部通信機器（ＰＣ）２０からのダウンロードにより、同英語教材のテキスト・音声に対応した画像データが入力される（ステップＢ７）。
【００６８】
入力された画像データは、再生用ファイル１２ｂ（１２ｃ）におけるコンテンツ内容データ１２c4（図４参照）としてＩＤ番号を対応付けて保存され（ステップＢ８）、シーケンシャルファイルテーブル１２c2（図３参照）の画像指定情報として追加記憶される（ステップＢ９）。
【００６９】
このような、各コンテンツ取得保存処置（ステップＡＢ）により、同期再生の対象となる種々のコンテンツが順次入力され、コンテンツ内容データ１２c4（図４参照）としてＩＤ番号を対応付けて保存されると共に、シーケンシャルファイルテーブル１２c2（図３参照）のコンテンツ指定情報として追加記憶されると、今回作成すべき英語教材再生ファイル１２ｂ（１２ｃ）によって同期再生を図るテキスト、音声、画像が順次指定される（ステップＡ１，Ａ２，Ａ３）。
【００７０】
すると、図９におけるテキストタッチ音声同期処置（ステップＡＣ）に移行される。
【００７１】
このテキストタッチ音声同期処置（ステップＡＣ）では、図１０に示すように、前記ステップＡ１〜Ａ３において指定された音声データを音声出力部１９ｂから再生するのと共に、テキストデータを表示部１８に表示し、このテキスト音声同期表示画面Ｇにおいて、音声出力（単語の読み上げ）に合わせて対応するテキスト中の単語をユーザ操作により指定することで、当該テキスト内容の各単語（単語Ｎｏ．）毎に音声データの再生経過時間をテキスト音声同期データ１２ｄ（図６参照）に対応付けて生成する。図１０に示した携帯機器１０において、前記ステップＡ２において指定された同期再生すべき音声データは、音声出力部１９ｂから出力されるもので、１９bfは音声再生キー、１９bsは音声再生停止キー、１９brは音声巻き戻しキーである。
【００７２】
すなわち、テキスト単語のカウンタｎに“１”がセットされると（ステップＣ１）、同期再生すべき指定の音声の再生が音声出力部１９ｂにより開始されたか判断され（ステップＣ２）、ＣＰＵ１１に内蔵される時間カウントタイマがスタートされる（ステップＣ３）。
【００７３】
ここで、図１０（Ａ）に示すように、テキスト音声同期表示画面Ｇにおいて、音声出力部１９ｂから出力される音声が読み上げる英会話の音声内容に合わせて、マウスカーソルＭあるいはペンタッチによる座標入力装置１７ｂを使用して英会話テキスト上の対応する単語を順次指定操作する。
【００７４】
そして、前記座標入力装置１７ｂにより入力されたユーザ操作に伴うテキスト上での座標位置が、ｎ番目（最初は“１”番目）の単語上にあると判断されると（ステップＣ４）、入力部１７ａにおいて当該テキストタッチ音声同期処理を実行させるための「実行」キーが既に押されていることが判断確認される（ステップＣ５）。
【００７５】
すると、音声再生経過時間に相当する前記時間カウントタイマの現在のカウント値がＴn(n=1)として読み出されると共に（ステップＣ６）、図６に示すように、テキスト音声同期データ１２ｄの単語Ｎｏ．１に対応付けて保存される（ステップＣ７）。
【００７６】
すると、前記英会話の音声内容に合わせて指定された英会話テキスト上の対応するｎ番目(n=1)の単語「What」が反転表示Ｈにより識別表示され（ステップＣ８）、当該ｎ番目の単語が表示中のテキスト内容の最後の単語であるか否か判断される（ステップＣ９）。
【００７７】
この場合、例えばｎ＝１で１番目の単語「What」はテキスト内容の最後の単語ではないと判断されるので、前記カウンタｎが＋１されて“２”にカウントアップされ（ステップＣ１０）、入力部１７ａにおいて本テキストタッチ音声同期処理を中止させるためのストップキーが操作されたか否か判断される（ステップＣ１１）。
【００７８】
ここで、ストップキーが操作されない場合には、前記ステップＣ９においてカウンタｎのカウント値がテキスト内容の最後の単語数に等しいと判断されるまで、前記ステップＣ４〜Ｃ１１の処理が繰り返し実行される。すなわち、図１０（Ａ）および図１０（Ｂ）に示すように、前記テキスト音声同期表示画面Ｇに表示された英会話テキストの音声再生による読み上げに合わせた座標入力装置１７ｂによる対応単語のユーザ指定操作に応じて（ステップＣ４→Ｃ５）、当該指定の単語Ｎｏ．毎に音声再生経過時間Ｔnが対応付けられてテキスト音声同期データ１２ｄ（図６参照）として保存され（ステップＣ６，Ｃ７）、また当該英会話テキスト上の対応する単語までが反転表示Ｈにより識別表示される（ステップＣ８）。
【００７９】
これにより、図１０で示したテキスト音声同期データ１２ｄには、同期再生すべき英会話テキストの各単語Ｎｏ．毎に、順次当該テキストを読み上げる音声再生の経過時間が対応付けられて保存される。
【００８０】
こうして、前記テキストタッチ音声同期処置（ステップＡＣ）が終了すると、これにより生成されたテキスト音声同期データ１２ｄがＲＡＭ１２Ｃ内に保存され（ステップＡ４）、図１１におけるタイムコードファイル作成処置に移行される（ステップＡＤ）。
【００８１】
このタイムコードファイル作成処置が起動されると、まず、これから作成すべきタイムコードファイル１２c3（図２参照）の処理単位時間１２c1aがユーザ操作により基準時間(25ms/50ms/100ms/…)の中から選択され（ステップＤ１）、当該タイムコードファイル１２c3のヘッダ情報１２c1として書き込まれる（ステップＤ２）。
【００８２】
すると、１番目の命令としてクリアスクリーン（全ファイルクリア）の命令が、コマンドコード“ＣＳ”およびパラメータデータ“００”として書き込まれ（ステップＤ３）、また、指定画像の表示命令が、２番目の表示エリア設定命令［コマンドコード“ＤＨ”・パラメータデータ“０２”］、３番目の画像２表示命令［コマンドコード“ＤＩ”・パラメータデータ“０２”］として書き込まれる（ステップＤ４）。
【００８３】
さらに、４番目の命令として指定音声のスタート命令が、コマンドコード“ＰＳ”およびパラメータデータ“０２”として書き込まれ（ステップＤ５）、また、指定テキストの０番目文節の表示命令が、５番目のテキスト指定命令［コマンドコード“ＬＴ”・パラメータデータ“０２”］、６番目のテキスト文節表示命令［コマンドコード“ＶＤ”・パラメータデータ“００”］として書き込まれる（ステップＤ６）。
【００８４】
さらに、７番目の命令として文節中の文字カウンタリセット命令が、コマンドコード“ＢＬ”およびパラメータデータ“００”として書き込まれる（ステップＤ７）。
【００８５】
こうして、タイムコードファイル１２c3の７番目の命令までに、全ファイルクリア、表示エリア設定、指定画像“２”の表示、指定音声“２”の再生開始、指定テキスト“２”の表示、文字カウンタリセットの各コマンドコードおよびそのパラメータデータがセットされると、ＲＡＭ１２Ｃに保存されたテキスト音声同期データ１２ｄが読み出されると共に（ステップＤ８）、指定のテキスト“２”がコンテンツ内容データ１２c4から読み出され（ステップＤ９）、当該テキスト上の単語番号が“１”に指定される（ステップＤ１０）。
【００８６】
すると、当該指定の単語番号“１”に対応する単語「What」までの文字数が“４”としてカウントされると共に（ステップＤ１１）、この指定の単語番号“１”に同期付けられる音声再生時間Ｔn(n=1)（この場合「…00:153」）が読み出される（ステップＤ１２）。
【００８７】
そして、前記指定の単語番号の音声再生時間Ｔnを前記ステップＤ１にて選択された処理単位時間（基準時間）１２c1aで割り算してタイムコードファイルの命令コード番号が求められ（ステップＤ１３）、このコード番号は未使用か否か判断される（ステップＤ１４）。
【００８８】
ここで、ステップＤ１３にて求められた命令コード番号が既に使用されている場合には、その次のコード番号が指定される（ステップＤ１５）。
【００８９】
すなわち、タイムコードファイル１２c3による同期コンテンツの再生処理開始から何番目の命令コードの位置に指定の単語番号に対応する音声再生時間が到達しているか判断され、当該指定の単語までをハイライト（識別）表示させるタイミングの命令コード番号が求められるもので、この求められたコード番号が既に使用されていて次のコード番号が指定された場合に、その命令コード番号のタイミング遅れは、当該タイムコードファイル１２c3自体の処理単位時間（基準時間）１２c1aが例えば［25ms］と極めて短いことから許容値として無視される。
【００９０】
すると、前記ステップＤ１２〜Ｄ１５において求められた命令コード番号の位置に、前記ステップＤ１１にてカウントされた指定の単語までの文字数までをハイライト表示させるための命令が書き込まれる（ステップＤ１６）。例えば指定の単語番号“１”である場合に当該単語「What」までの文字数（４文字）をハイライト表示する命令が、コード番号“８”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“０４”として書き込まれる。
【００９１】
すると、指定されているテキスト上の単語番号が（＋１）されて“２”に指定され（ステップＤ１７）、これに対応する単語「high」のデータ有りと判断されて（ステップＤ１８）、ステップＤ１１に戻り、当該単語番号“２”の単語「high」までの総文字数（９文字：含スペース）がカウントされる。
【００９２】
この後、前記ステップＤ１１〜Ｄ１８の処理が繰り返し実行されると、指定の単語番号“２”である場合に当該単語「high」までの文字数（９文字）をハイライト表示する命令が、コード番号“１２”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“０９”として書き込まれる。
【００９３】
また、指定の単語番号“３”である場合には当該単語「school」までの文字数（１６文字）をハイライト表示する命令が、コード番号“３５”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“１６”として書き込まれる。
【００９４】
さらに、指定の単語番号“４”である場合には当該単語「do」までの文字数（１９文字）をハイライト表示する命令が、コード番号“５８”の命令として、コマンドコード“ＨＬ”およびパラメータデータ“１９”として書き込まれる。
【００９５】
なお、前記テキスト音声同期データ１２ｄに基づいた当該テキスト中の各単語毎のハイライト表示命令“ＨＬ”が書き込まれた命令コード番号以外のコード番号の位置には、何れも無効命令としてのマンドコード“ＮＰ”およびパラメータデータ“００”が書き込まれる。
【００９６】
この後、前記ステップＤ１８において、指定の単語番号に対応する単語のデータ無しと判断されると、次のコード番号の命令として処理終了の命令が、コマンドコード“ＦＮ”およびパラメータデータ“００”として書き込まれる（ステップＤ１９）。
【００９７】
こうして、前記タイムコードファイル作成処置（ステップＡＤ）により、前記テキスト音声同期データ１２ｄに基づいたタイムコードファイル１２c3が作成されると、このタイムコードファイル１２c3はＲＡＭ１２Ｃ内に保存される（ステップＡ５）。
【００９８】
こうして、指定の音声・テキスト・画像の各コンテンツを同期付けて再生するための再生用ファイル（ＣＡＳファイル）１２ｃが、前記同期コンテンツ作成処理に従い、ヘッダ情報１２c1，ファイルシーケンステーブル１２c2，タイムコードファイル１２c3，コンテンツ内容データ１２c4の組み合わせにより容易に作成されてＲＡＭ１２Ｃに保存される。
【００９９】
このメモリ１２に保存された同期コンテンツ再生用ファイル（ＣＡＳファイル）１２ｂ（１２ｃ）は、同期コンテンツ再生処理プログラム１２a2と共に、ＣＤ−Ｒなどの外部記録媒体１３に記録して配布したり、電送制御部１５からネットワークＮを介してＷｅｂサーバ３０…に配信したり、通信部１６を介して外部通信機器（ＰＣ）２０…に配信したりすることで、当該再生用ファイル（ＣＡＳファイル）１２ｂ（１２ｃ）を作成した携帯機器１０自身だけでなく、その他の各コンピュータ端末においても同様にその再生処理を実行することができる。
【０１００】
次に、前記構成の携帯機器１０により各種ファイルの同期再生を図る再生用ファイル（ＣＡＳファイル）１２ｃ（１２ｂ）を再生するための同期コンテンツ再生機能について説明する。
【０１０１】
図１２は前記携帯機器１０の同期コンテンツ再生処理プログラム１２a2に従った同期コンテンツ再生処理を示すフローチャートである。
【０１０２】
前記同期コンテンツ作成処理により作成された再生用ファイル（ＣＡＳファイル）１２ｂがFLASHメモリ１２Ｂに格納された状態において、入力部１７ａの操作によりこの再生用ファイル１２ｂの再生が指示されると、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理やフラグリセット処理などのイニシャライズ処理が行われる（ステップＳ１）。
【０１０３】
そして、FLASHメモリ１２Ｂに格納された再生用ファイル（ＣＡＳファイル）１２ｂが読み込まれ（ステップＳ２）、当該再生用ファイル（ＣＡＳファイル）１２ｂは暗号化ファイルであるか否か判断される（ステップＳ３）。
【０１０４】
ここで、暗号化された再生用ファイル（ＣＡＳファイル）１２ｂであると判断された場合には、当該ＣＡＳファイル１２ｂは解読復号化され（ステップＳ３→Ｓ４）、ＲＡＭ１２Ｃに転送されて格納される（ステップＳ５）。
【０１０５】
すると、このＲＡＭ１２Ｃに格納された解読済の再生用ファイル（ＣＡＳファイル）１２ｃ（図２参照）のヘッダ情報１２c1に記述された処理単位時間１２c1a(例えば25ms)が、ＣＰＵ１１による当該解読済再生用ファイル（ＣＡＳファイル）１２ｃの一定時間間隔の読み出し時間として設定される（ステップＳ６）。
【０１０６】
そして、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃの先頭に読み出しポインタがセットされ（ステップＳ７）、当該再生用ファイル１２ｃの再生処理タイミングを計時するためのタイマがスタートされる（ステップＳ８）。
【０１０７】
ここで、先読み処理が当該再生処理に並行して起動される（ステップＳ９）。
【０１０８】
この先読み処理では、再生用ファイル１２ｃのタイムコードファイル１２c3（図２参照）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“ＤＩ”コマンドがある場合は、予め当該“ＤＩ”コマンドのパラメータデータにより指示される画像ファイルを先読みして画像展開バッファ１２ｅに展開しておくことで、前記読み出しポインタが実際に後の“ＤＩ”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【０１０９】
前記ステップＳ８において、処理タイマがスタートされると、前記ステップＳ６にて設定された今回の再生対象ファイル１２ｃに応じた処理単位時間(25ms)毎に、前記ステップＳ７にて設定された読み出しポインタの位置の当該再生用ファイル１２ｃを構成するタイムコードファイル１２c3（図２参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＳ１０）。
【０１１０】
そして、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図２参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＳ１１）、“ＦＮ”と判断された場合には、その時点で当該ファイル再生処理の停止処理が指示実行される（ステップＳ１１→Ｓ１２）。
【０１１１】
一方、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図２参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードが、“ＰＰ”か否か判断され（ステップＳ１１→Ｓ１３）、“ＰＰ”と判断された場合には、その時点で当該ファイル再生処理の一時停止処理（処理タイマストップ）が指示実行される（ステップＳ１３→Ｓ１４）。この停止処理は、ユーザのマニュアル操作に応じてｉ秒間の停止及び停止解除が行われる。
【０１１２】
ここで、入力部１７ａにおけるユーザ操作に基づき一時停止解除の入力が為された場合には、再び処理タイマによる計時動作が開始され、当該タイマによる計時時間が次の処理単位時間１２c1aに到達したか否か判断される（ステップＳ１５→Ｓ１６）。
【０１１３】
一方、前記ステップＳ１３において、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図２参照）から読み出されたコマンドコードが、“ＰＰ”ではないと判断された場合には、他のコマンド処理へ移行されて各コマンド内容（図５参照）に対応する処理が実行される（ステップＳＥ）。
【０１１４】
そして、ステップＳ１６において、前記タイマによる計時時間が次の処理単位時間１２c1aに到達したと判断された場合には、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＳ１６→Ｓ１７）、前記ステップＳ１０における当該読み出しポインタの位置のタイムコードファイル１２c3（図２参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＳ１７→Ｓ１０〜Ｓ１６）。
【０１１５】
すなわち、携帯機器１０のＣＰＵ１１は、ＲＯＭ１２Ａに記憶された同期コンテンツ再生処理プログラム１２a2に従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の単位時間毎に、タイムコードファイル１２c3（図２参照）に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２c3に記述された各コマンドに応じた各種ファイルの同期再生処理が実行される。
【０１１６】
ここで、前記同期コンテンツ作成処理プログラム１２a1によって作成された図２で示す英語教材再生ファイル１２ｃに基づいた、前記前記同期コンテンツ再生処理プログラム１２a2による音声・テキストファイルの同期再生動作について詳細に説明する。
【０１１７】
この英語教材再生ファイル（１２ｃ）は、そのヘッダ情報（１２c1）に記述設定された処理単位時間(25ms)１２c1a毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２c3（図２参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・画像・音声ファイルの出力がクリアされる。
【０１１８】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２c2（図３参照）からＨＴＭＬ番号２のＩＤ番号＝３が読み出される。
【０１１９】
そして、このＩＤ番号＝３に対応付けられてコンテンツ内容データ１２c4（図４参照）から読み出されるＨＴＭＬデータに応じて、例えば図１０（Ａ）で示したテキスト音声同期表示画面Ｇと同様に、表示部１８に対するテキスト表示エリアや画像表示フレームが設定される。
【０１２０】
第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２c2（図３参照）から画像番号２のＩＤ番号＝７が読み出される。
【０１２１】
そして、このＩＤ番号＝７に対応付けられてコンテンツ内容データ１２c4（図４参照）から読み出されて画像展開バッファ１２ｅに展開された画像データが、前記ＨＴＭＬファイルで設定された画像表示フレーＹ内に表示される。
【０１２２】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２c2（図３参照）から音声番号２のＩＤ番号＝３２が読み出される。
【０１２３】
そして、このＩＤ番号＝３２に対応付けられてコンテンツ内容データ１２c4（図４参照）から読み出された英会話音声データ▲２▼が音声出力部１９ｂから出力される。
【０１２４】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２c2（図３参照）からテキスト番号２のＩＤ番号＝２１が読み出される。
【０１２５】
そして、このＩＤ番号＝２１に対応付けられてコンテンツ内容データ１２c4（図４参照）から読み出された英会話テキストデータ▲２▼がＲＡＭ１２Ｃのワークエリアにロードされる。
【０１２６】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ファイルシーケンステーブル１２c2（図３参照）からテキスト番号０のＩＤ番号＝１９が読み出され、これに対応付けられてコンテンツ内容データ１２c4（図４参照）にて指定された英会話タイトル文字の文節が、前記ＲＡＭ１２Ｃにロードされた英会話テキストデータ▲２▼の中から呼び出されて表示画面上のテキスト表示フレーム内に表示される。
【０１２７】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記表示中の英会話文節の文字カウンタがリセットされ、０番目の文節ブロックが指定される。
【０１２８】
第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０４”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝４）に応じて、テキストデータの４番目の文字「What」までハイライト表示（強調表示）される。
【０１２９】
そして、文字カウンタが４番目の文字までカウントアップされる。
【０１３０】
第９コマンドコード“ＮＰ”が読み出されると、現在の画像および英会話テキストデータの同期表示画面および英会話音声データの同期出力状態が維持される。
【０１３１】
続いて、第１２コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０９”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝９）に応じて、テキストデータの９番目の文字「high」までハイライト表示（強調表示）される。
【０１３２】
また、第３５コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“１６”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝１６）に応じて、テキストデータの１６番目の文字「school」までハイライト表示（強調表示）される。
【０１３３】
このように、前記同期コンテンツ作成処理プログラム１２a1に従い作成された英会話教材再生ファイル（１２ｃ）におけるタイムコードファイル１２c3（図２参照）・ファイルシーケンステーブル１２c2（図３参照）・コンテンツ内容データ１２c4（図５参照）に基づき、当該再生ファイルに予め設定された処理単位時間(25ms)毎のコマンド処理を、同期コンテンツ再生処理プログラム１２a2によって行うことで、表示画面上に英会話テキストデータが表示されると共に、音声出力部１９ｂから表示中の英会話テキストを読み上げる英会話音声データが同期出力され、当該英会話テキストの読み上げ文節が各文字（単語）毎に順次同期ハイライト（強調）表示されるようになる。
【０１３４】
これにより、携帯機器１０のＣＰＵ１１は、再生ファイル１２ｂ（１２ｃ）に予め記述されたコマンド処理の単位時間毎に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を指示するだけで、英会話テキストファイル、英会話画像ファイル、英会話音声ファイルの同期再生処理を行うことができる。
【０１３５】
よって、ＣＰＵのメイン処理の負担が軽くなり、処理能力の比較的小さいＣＰＵでも容易にテキスト・音声・画像を含む同期再生処理が行える。
【０１３６】
したがって、前記構成の携帯機器１０による同期コンテンツ作成機能によれば、同期再生図るべき例えば英会話のテキストを読み上げる音声データとそのテキストデータとをメモリ１２内にコンテンツ内容データ１２c4として保存し、この音声データを音声出力部１９ｂにて再生するのと共に、テキストデータを表示部１８にてテキスト音声同期表示画面Ｇとして表示させ、音声再生によるテキスト音声同期表示画面Ｇ上のテキストの読み上げに合わせて当該テキストの各単語文字をマウスやタブレットの座標入力装置１７ｂによるマウスカーソルＭあるいはペンタッチによって指定すると、音声再生の経過時間Ｔnと座標指定されたテキスト単語のＮｏ．が順次対応付けられてテキスト音声同期データ１２ｄとして記憶される。そして、予め設定したコマンド処理単位時間毎に、前記音声再生のスタートコマンドＰＳやテキスト文節の表示コマンドＶＤを始めとし、前記テキスト音声同期データ１２ｄに基づいて音声再生の経過時間に合わせたテキスト単語（文字）毎のハイライト表示コマンドＨＬを書き込んだタイムコードファイル１２c3を作成でき、このタイムコードファイル１２c3による各コマンド処理の単位時間毎に該コマンドに従った各種処理を指示するだけで、英会話テキスト・音声ファイルの同期再生処理を行うことができる。
【０１３７】
よって、同期再生したい音声データの再生に合わせて、表示されているテキスト文字の対応箇所をポインタで指定するだけで、そのテキスト文字と音声再生時間を同期付けたテキスト音声同期データ１２ｄを生成することができ、このテキスト音声同期データ１２ｄを基にタイムコードファイル１２c3を簡単に作成してその同期再生用ファイル（ＣＡＳファイル）１２ｃを得ることができる。
【０１３８】
なお、前記実施形態において記載した携帯機器１０による各処理の手法、すなわち、図７のフローチャートに示す同期コンテンツ作成処理、図８のフローチャートに示す前記同期コンテンツ作成処理に伴う各コンテンツ取得保存処置、図９のフローチャートに示す前記同期コンテンツ作成処理に伴うテキストタッチ音声同期処理、図１１のフローチャートに示す前記同期コンテンツ作成処理に伴うタイムコードファイル作成処置、そして、図１２のフローチャートに示す同期コンテンツ再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した同期コンテンツ作成機能やその再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１３９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した同期コンテンツ作成機能やその再生機能を実現することもできる。
【０１４０】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施形態ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１４９】
【発明の効果】
よって、本発明によれば、音声ファイルとテキストファイルを同期再生するための関連付け情報を容易に生成することが可能になる。
【図面の簡単な説明】
【図１】本発明の電子機器（命令コード作成装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２ｃ3を示す図。
【図３】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２ｃ2を示す図。
【図４】前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２ｃ4を示す図。
【図５】前記携帯機器１０のタイムコードファイル１２ｃ3（図２参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期コンテンツ再生処理プログラム１２a2に基づき解析処理される命令内容を対応付けて示す図。
【図６】前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従いメモリ１２に記憶されるテキスト音声同期データ１２ｄを示す図。
【図７】前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従った同期コンテンツ作成処理を示すフローチャート。
【図８】前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従った同期コンテンツ作成処理に伴う各コンテンツ取得保存処置を示すフローチャート。
【図９】前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従った同期コンテンツ作成処理に伴うテキストタッチ音声同期処置を示すフローチャート。
【図１０】前記携帯機器１０の同期コンテンツ作成処理によるテキストタッチ音声同期処置に伴う音声再生中のテキストタッチ表示状態を示す図。
【図１１】前記携帯機器１０の同期コンテンツ作成処理プログラム１２a1に従った同期コンテンツ作成処理に伴うタイムコードファイル作成処置を示すフローチャート。
【図１２】前記携帯機器１０の同期コンテンツ再生処理プログラム１２a2に従った同期コンテンツ再生処理を示すフローチャート。
【符号の説明】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＲＯＭ
１２Ｂ…FLASHメモリ
１２Ｃ…ＲＡＭ
１２c1…ヘッダ情報
１２c1a…処理単位時間
１２c2…ファイルシーケンステーブル
１２c3…タイムコードファイル
１２c4…コンテンツ内容データ
１２ａ…携帯機器（ＰＤＡ）制御プログラム
１２a1…同期コンテンツ作成処理プログラム
１２a2…同期コンテンツ再生処理プログラム
１２ｂ…暗号化された再生用ファイル（ＣＡＳファイル）
１２ｃ…解読された再生用ファイル（ＣＡＳファイル）
１２ｄ…テキスト音声同期データ
１２ｅ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力部（マウス／タブレット）
１８ …表示部
１９ａ…音声入力部
１９ｂ…音声出力部
２０ …外部通信機器（ＰＣ）
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）
Ｇ …テキスト音声同期表示画面
Ｈ …反転表示
Ｍ …マウスカーソル

Claims (4)

1. 文章を読み上げた音声データを記憶する音声記憶手段と、
   前記文章に対応するテキストデータを記憶するテキスト記憶手段と、
   前記音声記憶手段により記憶された音声データを再生する音声出力手段と、
   前記テキスト記憶手段により記憶されたテキストデータを表示するテキスト表示手段と、
   このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置を検出するテキスト位置検出手段と、
   前記音声出力手段による音声データの再生に合わせて前記テキスト表示手段が表示したテキストに含まれる各単語を前記テキスト位置検出手段のポインタにより指定されたときの、音声データの再生経過時間を記録する時間データ記録手段と、
   この時間データ記録手段で記録した各単語までの再生経過時間に基づいて、音声データにテキストを対応付けて同期再生させるためのコマンド列を生成するコマンド生成手段と
   を備えたことを特徴とする電子機器。
2. 前記ポインタは表示されたテキストデータをマウスカーソルで指定するポインタであり、前記指定位置はテキストデータの文字位置である、ことを特徴とする請求項１記載の電子機器。
3. 前記ポインタは表示されたテキストデータをペンタッチにより指定するポインタであり、前記指定位置はテキストデータの文字位置である、ことを特徴とする請求項１記載の電子機器。
4. コンピュータを、
   文章を読み上げた音声データを記憶する音声記憶手段、
   前記文章に対応するテキストデータを記憶するテキスト記憶手段、
   前記音声記憶手段により記憶された音声データを再生する音声出力手段、
   前記テキスト記憶手段により記憶されたテキストデータを表示するテキスト表示手段、
   このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置を検出するテキスト位置検出手段、
   前記音声出力手段による音声データの再生に合わせて前記テキスト表示手段が表示したテキストに含まれる各単語を前記テキスト位置検出手段のポインタにより指定されたときの、音声データの再生経過時間を記録する時間データ記録手段、
   この時間データ記録手段で記録した各単語までの再生経過時間に基づいて、音声データにテキストを対応付けて同期再生させるためのコマンド列を生成するコマンド生成手段
   として機能させるためのプログラム。

Images