JP5049960B2

JP5049960B2 - 再生用データ生成装置

Info

Publication number: JP5049960B2
Application number: JP2008509645A
Authority: JP
Inventors: 猛水田
Original assignee: 株式会社アップ
Priority date: 2006-03-31
Filing date: 2006-03-31
Publication date: 2012-10-17
Anticipated expiration: 2026-03-31
Also published as: WO2007116494A1; JPWO2007116494A1

Description

この発明は、再生用データ生成装置、再生用データ生成方法、再生用データ生成・再生システム等に関する。

従来から、例えば数多くの曲などを記録し再生可能な携帯用の装置が商品化されている。又、このような携帯用の装置において、例えば映像データを記録して音声と共に再生可能なものも提案されている。しかし、映像の場合は、音声に比して情報量が多いため、大きな記録容量を有するものが必要である。又、この場合に、例えば映像を圧縮して蓄積することも考えられる。従来の動画の圧縮方法としては、例えばＭＰＥＧ方式のものが知られている。ところが、このＭＰＥＧ方式の圧縮方法は、動画の質の劣化を抑えることを主目的としたもので、極端に圧縮率を上げることができるというものではない。そのため、例えば、ある講義の映像情報を、講師の音声情報と共に再生用に記録する場合、たとえＭＰＥＧ方式の圧縮方法を用いたとしても、相当大きな記録容量を持った携帯用の装置が必要となり、その結果、携帯用の装置の製作コストの上昇の要因になっている。

一方、例えば映像信号の所定時間当たりの画素変化率等が予め設定された値より大きい場合に、映像の切り替わりであるとコンピュータに判定させることによって、映像の切り替わり単位での検索、頭出し等を容易にできるようにしたインデックス自動生成装置（特許文献１参照）が提案されている。
特開平９−１６１４５５号公報

しかしながら、このようにして映像の切り替わりの部分を見つけ出して映像の切り替わり単位での検索、頭出し等をできたとしても、映像を圧縮したものではなく、映像の全体の情報量が変わるものではない。従って、前記文献記載の技術を用いたとしても、前記携帯用の装置に映像情報を記録する場合には、前述と同様に、より大きな記録容量を有するものが必要となるという問題点がある。

この発明は、原板書データの画像情報及び/又は原映像データの映像情報から、重要度の高いものを再生することによって、再生用のデータの情報量を少なくできる再生用データ生成装置等の提供を目的とする。

この発明による再生用データ生成装置は、時刻情報及び音声情報を含む原音声データと、

時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、

再生時刻情報及び再生音声情報を含む再生音声データと、

再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する装置であって、以下の構成を備えた再生用データ生成装置；

前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力するデータ入力部と、

前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なう再生画像決定処理部と、

前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を決定する処理を行なう再生時刻決定処理部と、

前記原音声データの時刻情報及び音声情報をそのまま再生音声データの再生時刻情報及び再生音声情報とし、前記各再生時刻情報に基いて、前記再生音声データの再生音声情報と、前記再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報とを結合して再生用のデータを構築する再生用データ構築処理部。

この発明によるプログラムは、コンピュータを、

時刻情報及び音声情報を含む原音声データと、

再生時刻情報及び再生音声情報を含む再生音声データと、

再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する再生用データ生成装置として機能させるプログラムであって、コンピュータに、以下の処理を行なわせるプログラム；

前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力させ、

前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なわせ、

前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を決定する処理を行なわせ、

前記原音声データと、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報と、前記決定された再生時刻情報とに基いて、再生音声データと、再生板書データ及び/又は再生映像データとの再生用のデータを構築させる。

この発明によるプログラムを記録した記録媒体は、コンピュータを、

時刻情報及び音声情報を含む原音声データと、

再生時刻情報及び再生音声情報を含む再生音声データと、

この発明による再生用データ生成方法は、時刻情報及び音声情報を含む原音声データと、

再生時刻情報及び再生音声情報を含む再生音声データと、

再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する再生用データ生成方法であって、コンピュータに、以下の処理を行なわせる再生用データ生成方法；

前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なわせ、

この発明による再生用データ再生用データ生成・再生システムは、再生用のデータを生成し送信する再生用データ生成装置と、前記再生用データ生成装置から送信された再生用のデータを直接又は間接的に受信して再生するデータ再生用の表示装置とを備えた再生用データ生成・再生システムであって、

前記再生用データ生成装置は、

時刻情報及び音声情報を含む原音声データと、

再生時刻情報及び再生音声情報を含む再生音声データと、

再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成し送信する装置であって、以下の構成を備えたもの；

本発明の特徴は、前記のように広く示すことができるが、その構成や内容は、目的および特徴とともに、図面を考慮に入れた上で、以下の開示によりさらに明らかになるであろう。

この発明の一実施形態による再生用データ生成・再生システム１の構成を示すブロック図である。図１の再生用データ生成・再生システム１を構成する再生用データ生成装置２、受信装置３、データ再生用の表示装置４のハードウェアの構成を示す図面である。講師用の表示装置１００を用いた受講システム１３０の構成を示すブロック図である。再生用データ生成・再生システム１におけるデータの処理の流れを示すフローチャートである。再生板書データリスト１３２を生成する場合の処理の流れの一部を示すフローチャートである。再生板書データリスト１３２を生成する場合の処理の流れの他の一部を示すフローチャートである。再生板書データリスト１３２を生成する場合の処理の流れの更に他の一部を示すフローチャートである。画像音声変化ポイントリスト１３４を生成する場合の処理の流れの示すフローチャートである。画像変化ポイント情報を生成する場合の処理の流れの示すフローチャートである。音声変化ポイント情報を生成する場合の処理の流れの示すフローチャートである。再生板書・映像データリスト１３５を生成する場合の処理の流れの示すフローチャートである。講師用の表示装置１００の一例を示す図面である。原板書データリスト１３１の一部を示す図面である。原板書データリスト１３１の他の一部を示す図面である。決定した再生画像及び再生静止画を、決定した再生時刻に再生する場合の説明面である。講師用の表示装置１００の表示部１０１におけるポインター操作の開始時の状態を示す説明面である。講師用の表示装置１００の表示部１０１におけるポインター操作の終了時の状態を示す説明面である。選択肢表示操作によって講師用の表示装置１００の表示部１０１に選択肢が表示された状態の説明面である。再生用データ生成装置２の自動操作によって講師用の表示装置１００の表示部１０１に受講者反応グラフ１３６が表示された状態の説明面である。再生板書データリスト１３２の一例を示す図面である。画像音声変化ポイントリスト１３４の一例を示す図面である。再生板書・映像データリスト１３５の一例を示す図面である。

図１は、この発明の一実施形態による再生用データ生成・再生システム１の構成を示すブロック図である。この実施形態の再生用データ生成・再生システム１は、再生用データを生成する再生用データ生成装置２と、再生用データ生成装置２と通信網としてのインターネット９及び受信装置３を介して通信可能なデータ再生用の表示装置４とを備えている。

この再生用データ生成装置２は、この実施形態では、原音声データと原板書データと原映像データとから、再生音声データと、再生板書データと、再生映像データとを生成する装置である。この再生音声データは、再生時刻情報及び再生音声情報を含む。又、前記再生板書データは、再生時刻情報及び再生画像情報を含む。前記再生映像データは、再生時刻情報及び再生静止画情報を含むものである。

この実施形態における再生用データ生成装置２は、データ入力部１１と、再生画像決定処理部１２と、再生時刻決定処理部１３と、再生用データ構築処理部１４と、再生用データ登録部1５と、再生用データ登録データベース１６と、送信部１７とを備えている。

データ入力部１１は、原音声データ入力部１１ａと、原板書データ入力部１１ｂと、原映像データ入力部１１ｃとを備えている。

原音声データ入力部１１ａは、原音声データを入力する。この原音声データは、時刻情報及び音声情報を含む。この音声情報は、特に限定されず、例えば人の歌い声或いは人の話し声、楽器などによるメロディー音等を例示できる。この実施形態では、講義を行なう講師がその講義において話した講義内容についてのものから構成されている。

また、時刻情報は、この実施形態では、音声情報の開始時、即ち、講義の開始時を"０"としその時点からの時刻を示す情報である。

原板書データ入力部１１ｂは、原板書データを入力する。原板書データは、画像（静止画）或いは映像（動画）を表示する表示部を有する表示装置における当該表示部の表示を変化させるデータである。この実施形態では、原板書データは、図１２に示す講師が用いる講師用の表示部１０１を有する表示装置１００に対して講師が表示部１０１の表示を変化させる操作に基く原板書データ、及び、表示装置１００が一定のときに自動的に表示部１０１の表示を変化させる自動操作に基く原板書データから構成されている。

ここで、この講師用の表示装置１００について説明する。

この講師用の表示装置１００は、図３に示すようにインターネット等の通信網１２０を介してこの講師用の表示装置１００と通信可能に接続された複数の受講者端末装置１１０とによって、受講システム１３０を構成している。

この受講者端末装置１１０は、映像表示部（図示せず）と画像表示部（図示せず）とを有する表示部１１１を備えている。そして、この受講者端末装置１１０の表示部１１１における映像表示部に、例えば講師の顔の映像を表示するように構成されている。また、前記表示部１１１における画像表示部に、後述の講師用の表示装置１００の表示部１０１で表示されている内容の静止画像情報とほぼ同じ静止画像情報が表示されるように構成されている。

講師用の表示装置１００は、図１２に示すように、ほぼ中央に、表示部１０１が備えられている。例えば講師が専用のペン(図示せず)を用いて表示部１０１に直接、文字を書き、或いは、図形を描く等の描画操作がされると、表示部１０１に、文字、図形等が表示されるように構成されている。

又、表示装置１００は、表示部１０１に文字等を表示すると、その文字等を構成する線分などの描画要素を表示部１０１に表示する描画操作が行なわれた旨の情報、そのペン先の軌跡の座標値等の付属情報、文字等を書きはじめた操作時刻を示す操作時刻情報等が(図１３参照)、講師用の表示装置１００に設けられた記録部（図示せず）に記録する。

又、この表示部１０１は、図１２に示すように、その表示部１０１の右がわに設けられた第１表示部１０２ａから第８表示部１０２ｈのいずれかの表示部が拡大表示された状態になっており、第１表示部１０２ａから第８表示部１０２ｈのいずれかが表示部１０１で使用されている状態になっている。そして、例えば講師によって、表示部の切替操作がされることによって、第１表示部１０２ａから第８表示部１０２ｈにおける他のいずれかのものに切り替えて使用できるように構成されている。

例えば第１表示部１０２ａが表示部１０１に拡大表示されて使用されている状態から、第２表示部１０２ｂが前記ペンで押圧操作されると、第２表示部１０２ｂが表示部１０１で使用され得る状態に切り替わる。

又、表示装置１００は、前記押圧操作されると、表示部切替操作が行なわれた旨の情報、第２表示部１０２ｂが押圧された旨の付属情報、及び押圧操作された時刻を示す操作時刻情報を前記記録部に記録する。

また、講師用の表示装置１００における表示部１０１の下方がわに、表示部１０１の表示を全て消去するための消去部１０３が備えられている。

そして、例えば講師によって、消去部１０３が前記ペンで押圧操作されると、講師用の表示装置１００は、表示消去操作が行なわれた旨の情報、及び押圧された時刻を示す操作時刻情報を前記記録部に記録する。

また、その消去部１０３の右がわに、選択肢表示部１０４・・・１０４が備えられている。これらの選択肢表示部１０４・・・１０４は、例えば予め講師用の表示装置１００の記録部に記録された選択肢の情報を、受講者端末装置１１０に送信してその表示部１１１に表示させる。

前記選択肢として、例えば特定の質問に対する理解度を示す「１．ＹＥＳ」、「２．ＮＯ」、及び「３．半分」の３つからなる選択肢を例示できる。そして、例えば講師によって、選択肢表示部１０４・・・１０４が順次押圧操作されると、前記３つの選択肢の情報が受講者端末装置１１０に送信されてその表示部１１１に順次表示される。

又、選択肢表示部１０４・・・１０４が押圧操作されると、講師用の表示装置１００は、選択肢表示操作が行なわれた旨の情報、「１．ＹＥＳ」等の選択肢についての画像情報等の付属情報、及び押圧操作された時刻を示す操作時刻情報を記録部に記録する。

又、選択肢表示部１０４・・・１０４が押圧操作されると、押圧操作された選択肢が、講師用の表示装置１００の表示部１０１にも、図１８に示すように、現に表示されている文字等の画像の上に、選択肢１０６・・・１０６が重ね合わされるようにして、所定時間、表示されるように構成されている。尚、この図１８では、3つの選択肢表示部１０４・・・１０４が押圧操作された後の状態を表わしている。

又、講師用の表示装置１００は、このようにして受講者端末装置１１０に送信して表示部１１１に表示させた選択肢１０６・・・１０６の情報に対する受講者端末装置１１０からの選択肢回答情報を受信する。そして、受信した選択肢回答情報は、講師用の表示装置１００に設けられた統計処理部（図示せず）によって、選択肢回答情報の受信件数を、選択肢１０６・・・１０６の種類ごとに集計して受講者反応グラフを生成する。

また、生成された受講者反応グラフは、図示しないが、前記質問を識別する質問ＩＤ、受講者反応グラフを生成した時刻を示すグラフ生成時刻情報と関連づけて記録部に記録される。

そして、講師用の表示装置１００は、受講者反応グラフを生成すると、グラフ生成時刻情報に示される時刻に、自動的に受講者反応グラフを表示部１０１に表示するように、予め設定されており、図１９に示すように、表示部１０１に、現に表示されている文字等の上に受講者反応グラフ１３６が重ね合わされるようにして、所定時間、表示される。

又、講師用の表示装置１００は、表示部１０１に受講者反応グラフを表示すると、自動操作により受講者反応グラフの表示を行なった旨の情報、受講者反応グラフの画像情報等の付属情報、及びグラフ生成時刻情報を、自動操作を行なった操作時刻情報として記録部に記録する。

図１２に戻って、講師用の表示装置１００の説明を続けると、表示部１０１の左がわには、ポインターモード切替部１０５が備えられている。このポインターモード切替部１０５は、例えば表示部１０１の所望の一定領域を強調したいような場合に、その一定領域を指し示すポインター操作を行なうモードにするためのものである。

そして、ポインターモード切替操作として、ポインターモード切替部１０５が前記ペンで押圧操作されると、講師用の表示装置１００は、ポインター操作を行ない得るポインターモードに切り替わる。

又、このポインターモードの状態で、ペンを表示部１０１に接触すると、例えば図１６に示すように、その接触した表示部１０１上の位置に、手の指で指し示した状態を模した指示マーク１０５ａが表示される。

そして、その状態から、表示部１０１上を一定の長さ範囲に渡ってペンを滑らせると、ペン先の動きに応じて指示マーク１０５ａが表示部１０１上を移動する。このようにして、表示部１０５における所望の一定領域を指示マーク１０５ａによって指し示す。

又、上述のように、ポインターモードで表示部１０５における所望の一定領域を指示マーク１０５ａによって指し示すと、講師用の表示装置１００は、ポインター操作が行なわれた旨の情報、その一定領域の始端を指し示したポインター操作の開始時における座標値、一定領域の終端を指し示したポインター操作の終了時における座標値、更には、ポインター操作の開始時から終了時までの間の座標値等の付属情報、及び、ポインター操作の開始時の時刻を示す情報を操作時刻情報として記録部に記録する。

尚、上述した描画操作等を行なうモードである非ポインターモードにおいて、例えば描画操作によるペン先の軌跡によって文字等を構成する線分が表示部１０１に表示されるが、このポインターモードでは、表示部１０５に指示マーク１０５ａが表示されて移動するだけでその軌跡は表示されない。

又、ポインターモードから非ポインターモードに切り替える場合は、再度、ポインターモード切替部１０５を前記ペンで押圧操作することにより行なうことができる。

図１に戻って、再生用データ生成装置２の説明を続けると、原板書データ入力部１１ｂに入力される原板書データは、時刻情報としての操作時刻情報と、画像情報と、操作種別情報とを含む。

操作種別情報は、操作種別を示す情報であり、例えば上述の描画操作を表わす操作種別情報、表示部切替操作を表わす操作種別情報、選択肢表示操作を表わす操作種別情報、表示消去操作を表わす操作種別情報、ポインター操作を表わす操作種別情報、或いは、自動操作を表わす操作種別情報等の情報である。

操作時刻情報は、この実施形態では、前記講義（音声情報）の開始時を"０"としその時点からの時刻を示す情報であって、前記描画操作等の操作を行なったときの時刻を示す情報である。

画像情報は、その操作時刻情報に示される時刻における画像情報であって、その時刻に講師用の表示装置１００の表示部１０１に表示されている画像情報である。この画像情報については後述する。

又、この実施形態では、講師用の表示装置１００の記録部に、原板書データリスト１３１として記録された原板書データが板書データ入力部１１ｃに入力される。

この原板書データリスト１３１は、図１３、図１４に示すように、原板書データを識別する原板書データＩＤと、操作種別情報と、付属情報と、操作時刻情報とが、相互に関連づけて記録されている。

この実施形態における原板書データリスト１３１には、原板書データの画像情報は、直接的に明記されていない。例えば図１３に示す原板書データリスト１３１中の原板書データＩＤ＝２の描画操作に基く原板書データに対応する付属情報の座標値等は、その描画要素に関するものであり、前記ＩＤ＝２に対応する操作時刻情報に示される時刻における表示装置１１０の表示部１０１には、原板書データＩＤ＝１の座標値に基く画像に、前記ＩＤ＝２の座標値に基く画像が付加されたものが表示されている。

従って、各操作時刻情報に示される時刻における画像情報は、原板書データリスト１３１中のその時刻における原板書データＩＤの付属情報の座標値等とそれ以前の原板書データＩＤの付属情報の座標値等とを累積的に付加したものから構成される。

ただし、表示消去操作が行なわれた場合は、その時刻における表示装置１１０の表示部１０１は、それまで表示されていた画像が全て消去されて何も表示されていない状態になる。従って、表示消去操作に基く原板書データがある場合は、その次の原板書データから新たに累積したものになる。

例えば原板書データＩＤ＝１６の操作時刻情報に示される時刻"Ｔｄ４"における画像情報は、原板書データＩＤ＝１４〜１６における付属情報に記録された座標値等を累積的に加算したものである。

又、原板書データの操作種別がポインター操作である場合、例えば図１６に示すように、表示部１０１に表示した一つの式の先頭から、図１７に示すように、その式の終りまでを指示マーク１０５ａによって指し示す操作を行なった結果、図1４に示す原板書データリスト１３１の原板書データＩＤ＝２０の付属情報に、式の先頭位置の座標値ａにおける指示マーク１０５ａの画像の情報と、式の終り位置の座標値ｂにおける指示マーク１０５ａの画像の情報と、それらの間の座標値における指示マーク１０５ａの画像の情報とが記録されている場合において、座標値ａにおける指示マーク１０５ａの画像の情報と、それ以前の原板書データＩＤ＝１４〜２０における付属情報に記録された座標値等を加算した情報が、前記式の先頭を指し示したポインター操作の開始時における図１６に示す開始時画像情報となる。

又、座標値ｂにおける指示マーク１０５ａの画像の情報と、それ以前の原板書データＩＤ＝１４〜２０における付属情報に記録された座標値等を加算した情報が、前記式の終りを指し示したポインター操作の終了時における図１７に示す終了時画像情報となる。

尚、原板書データリスト１３１の原板書データの夫々の付属情報として、それまでの原板書データの座標値等を累積的に記録したものを用いても良い。その場合は、原板書データ夫々の操作時刻における画像情報は、夫々の付属情報に対応する。

再度、図1に戻って、原映像データ入力部１１ｄは、原映像データを入力する。原映像データは、時刻情報及び映像情報を含む。

時刻情報は、前記講義（音声情報）の開始時を"０"としその時点からの時刻を示す情報である。

映像情報は、この実施形態では、講義を行なっている講師の顔の映像の情報が用いられている。尚、映像情報は、講師の顔の映像の情報に限らず、例えば表示装置１００及び講師の顔の映像、或いは、講義と無関係な映像等でも良く、適宜変更できる。

再生画像決定処理部１２は、再生板書データ用の再生画像決定処理部１２ａと、再生映像データ用の再生画像決定処理部１２ｂとを備えている。再生板書データ用の再生画像決定処理部１２ａは、原板書データの変化に基いて、再生板書データを構成する再生画像情報を、原板書データの画像情報から決定する処理を行なう。

具体的には、再生板書データ用の再生画像決定処理部１２ａは、原板書データの操作種別が、表示切替操作、選択肢表示操作、自動操作、描画操作、又は、表示消去操作である場合は、それらの操作に基く原板書データと隣接する直後の原板書データとの時間間隔に基いて、再生板書データの再生画像情報を決定する処理を行なう。

また、原板書データの操作種別が、ポインター操作である場合、ポインター操作の開始時における前記開始時画像情報と、ポインター操作の終了時における前記終了時画像情報との二つの画像情報を、再生板書データの再生画像情報として決定する処理を行なう。

再生映像データ用の再生画像決定処理部１２ｂは、前記原音声データの音声情報の音声変化量及び映像データの映像情報の画像変化量に基いて、再生用映像データを構成する再生静止画情報を、原映像データの映像情報から決定する処理を行なう。

又、この実施形態では、再生映像データ用の再生画像決定処理部１２ｂは、講義の始まりから所定の時間間隔（この実施形態では15秒）ごとに設定した設定区間のそれぞれについて、前記再生板書データ用の再生画像決定処理部１２ａによって決定されその設定区間に再生される再生板書データの再生画像情報の件数が、予め設定区間ごとに設定された区間設定件数（この実施形態では、全ての設定区間について１件を設定）より少ない場合に、前記再生板書データの再生画像情報の件数と区間設定件数との差分に相当する数の再生静止画情報を、前記原音声データの音声情報の音声変化量及び映像データの映像情報の画像変化量に基いて決定する処理を行なう。従って、この実施形態では、設定区間において、再生板書データの再生画像情報の件数が、区間設定件数として設定された１件よりも多い場合には、再生静止画情報を決定する処理を行なわない。

再生時刻決定処理部１３は、再生板書データ用の再生時刻決定処理部1３ａと、再生映像データ用の再生時刻決定処理部1３ｂとを備えている。

再生板書データ用の再生時刻決定処理部1３ａは、前記再生板書データ用の再生画像決定処理部１２ａによって決定された再生画像情報を再生する再生時刻を、前記原板書データの操作時刻情報に基いて決定する処理を行なう。

又、この実施形態では、再生板書データ用の再生時刻決定処理部1３ａは、前記再生板書データ用の再生画像決定処理部１２ａとによって、図２０に示す再生板書データリスト１３２を生成する。そして、その生成に際し、再生板書データ用の再生画像決定処理部１２ａは、再生板書データの再生画像情報を決定する処理を行ない、再生板書データ用の再生時刻決定処理部1３ａは、再生板書データの再生時刻情報を決定する処理を行なう。

再生映像データ用の再生時刻決定処理部1３ｂは、前記再生映像データ用の再生画像決定処理部１２ｂによって前記静止画情報が決定された場合に、その決定された静止画情報に対応する原映像データの時刻情報に基いて、その決定された静止画情報を再生する再生時刻を決定する処理を行なう。

再生用データ構築処理部１４と、前記原音声データ入力部１１ａによって入力した原音声データの時刻情報及び音声情報をそのまま再生音声データの再生時刻情報及び再生音声情報とする。そして、この再生音声データの再生時刻情報、生成した再生板書データの再生時刻情報及び再生映像データの再生時刻情報に基いて、再生音声データの再生音声情報と、再生板書データの再生画像情報と、再生映像データの再生静止画情報とを結合して再生用のデータを構築する。

再生用データ登録データベース１６は、再生用データ構築処理部１４によって構築された再生時刻情報及び再生音声情報を含む再生音声データ、再生時刻情報及び再生画像情報を含む再生板書データ、及び再生時刻情報及び再生静止画情報を含む再生映像データから構成された再生用のデータを登録している。

再生用データ登録部1５は、前記再生用データ構築処理部１４によって構築された前記再生用のデータを再生用データ登録データベース１６に登録する処理を行なう。又、この実施形態では、再生音声データの再生音声情報を登録する際、再生音声情報をＭＰＥＧ−１による音声圧縮形式であるＭＰ３ファイルにして登録する処理を行なう。

送信部１７は、例えばデータ再生用の表示装置４に、インターネット９及び受信装置３を介して間接的に、再生用データ登録データベース１６に登録された再生用のデータを送信する処理を行なう。

次に、データ再生用の表示装置４について説明する。

データ再生用の表示装置４は、この実施形態では、音声再生部（図示せず）と、表示部４１とを備えた携帯可能なものから構成されている。

そして、このデータ再生用の表示装置４は、インターネット９及び受信装置３を介して再生用データ生成装置２から、再生時刻情報及び再生音声情報を含む再生音声データ、再生時刻情報及び再生画像情報を含む再生板書データ、及び再生時刻情報及び再生静止画情報を含む再生映像データを受信し、その受信した再生音声データの再生音声情報を再生部によって再生するとともに、前記再生板書データの再生画像情報、及び再生映像データの再生静止画情報を、各再生時刻情報に基いて表示部４１に画像にして表示する。

尚、受信装置３は、この実施形態では、パーソナルコンピュータが用いられる。

図２は、図１に示す再生用データ生成・再生システム１に用いられる再生用データ生成装置２、受信装置３、及びデータ再生用の表示装置４とのハードウェア構成の一例を示す図面である。

再生用データ生成装置２は、記録装置であり本システムのプログラムを記録した記録媒体であるハードディスク５０、ハードディスク５０に記録されたプログラムを実行し制御する装置であるＣＰＵ５１、表示装置であるＣＲＴ５２、入力装置であるキーボード５４及びマウス５５、音声入力データ等を入力するためのデータ入力用インターフェイス５６、受信装置３と通信するための通信インターフェイス５３を備えている。

再生用データ生成装置２のハードディスク５０には、前記プログラムの他、再生用データ登録データベース１６を構成するデータが記録されている。すなわち、ハードディスク５０が図１の再生用データ登録データベース１６に対応する。

また、再生用データ生成装置２のＣＰＵ５１が、図１のデータ入力部１１と、再生画像決定処理部１２と、再生時刻決定処理部１３と、再生用データ構築処理部１４と、再生用データ登録部1５と、送信部１７とに対応する。

図２に示すデータ再生用の表示装置４は、液晶表示部４１、操作部４２、再生用のデータ及びその再生用のデータを再生するプログラム等を記録したハードディスク４３、ハードディスク４３に記録されたプログラム等を実行し制御するＣＰＵ４４、受信装置３から再生用のデータを受信するための受信装置データ受信用インターフェイス４５を備えている。

データ再生用の表示装置４のＣＰＵ４４が、前記データ再生用の表示装置４の再生部に対応する。

尚、図２に示す受信装置３は、表示装置であるＣＲＴ３１、入力装置であるキーボード３２及びマウス３３、インターネット９を介して送信される再生用のデータを受信するプログラム等を記録した記録媒体であるハードディスク３６、ハードディスク３６に記録されたプログラム等を実行するＣＰＵ３４、インターネット９を介して再生用データ生成装置２と通信するための通信インターフェイス３５、データ再生用の表示装置４に再生用のデータを送信するための表示装置送信用インターフェイス３７を備えている。

次に、本実施形態の動作について説明する。図４は、再生用データ生成装置２により再生用のデータを生成しデータ再生用の表示装置４に送信する処理の流れを示すフローチャートである。

まず、再生用データ生成装置２は、原音声データ、原板書データ、及び原映像データが入力される（図1、ステップＳ１）。このステップＳ１が、図1のデータ入力部１１に対応する。

そして、再生用データ生成装置２は、原板書データに基いて、再生板書データリスト１３２を生成する（図1、ステップＳ２）。

この再生板書データリスト１３２は、再生するための再生板書データとして決定したものを複数、リストアップしたもので、図２０に示すように、再生板書データを識別する情報である再生板書データＩＤ、再生画像情報を再生するための時刻を示す再生時刻情報、決定時刻情報、再生画像情報を相互に対応付けて記録したものである。

決定時刻情報は、再生画像情報とするべき原板書データの画像情報に対応する時刻情報であり、再生画像情報は、決定時刻情報に示される時刻における画像情報が該当する。

尚、この図２０に示す再生板書データリスト１３２には、追加再生画像情報が記録されるようになっている。この追加再生画像情報は、原板書データがポインター操作に基くものである場合に、再生画像情報を再生した後、予め設定した点滅用の設定時間間隔Ｔ３をあけて再生するための画像情報である。これについては更に後述する。

この再生板書データリスト１３２は、再生用データ生成装置２によって、原板書データリスト１３１の原板書データに基いて、次のように生成される。図５、図６、及び図７は、再生用データ生成装置２が、前記再生板書データリスト１３２を生成する場合の処理の流れを示すフローチャートである。

まず、再生用データ生成装置２は、図２０に示す再生板書データリスト１３２の再生板書データＩＤ＝１に対応する再生時刻情報及び決定時刻情報を「０」に初期設定する（図５、ステップＳ１００）

次に、再生用データ生成装置２は、図１３、図１４に示す原板書データリスト１３１の原板書データから、再生画像情報とするか否かの決定の処理を行なう処理対象にするデータを一つ、決定処理対象データとして、例えば原板書データＩＤ＝１のものを取り出す（図５、ステップＳ１０１）。

そして、決定処理対象データとしての原板書データＩＤ＝１が、ポインター操作に基く原板書データであるか否かを判定する（図５、ステップＳ１０２）。

ステップＳ１０２において、原板書データＩＤ＝１の操作種別情報が、ポインター操作でないと判定した場合、再生用データ生成装置２は、決定処理対象データである原板書データＩＤ＝１に対応する操作時刻情報に示される時刻"０"（Ｔａ１）と、原板書データＩＤ＝１の直前の原板書データとの時間間隔（この場合は、直前の原板書データが存在しないため、時間間隔は「０」）が、分離用の設定時間間隔Ｔ１以上か否かを判定する（図５、ステップＳ１０３）。

前記ステップＳ１０３において、前記分離用の設定時間間隔Ｔ１以上でないと判定した場合、再生用データ生成装置２は、その原板書データＩＤ＝１の操作種別情報が、表示部切替操作、選択肢表示操作、或いは、自動操作であるか否かを判定する（図５、ステップＳ１０４）。

又、このステップＳ１０４において、いずれのものでもないと判定した場合、再生用データ生成装置２は、その原板書データＩＤ＝１が、描画操作に基く原板書データ、又は、表示消去操作に基く原板書データか否かを判定する（図５、ステップＳ１０５）。

更に、ステップＳ１０５において、決定処理対象データが、描画操作に基く原板書データ、又は、表示消去操作に基く原板書データでないと判定した場合、再生用データ生成装置２は、制御を、後述のステップＳ１１０に移す。

一方、ステップＳ１０５において、決定処理対象データが、描画操作に基く原板書データ、又は、表示消去操作に基く原板書データであると判定した場合、再生用データ生成装置２は、その決定処理対象データに対応する操作時刻情報に示される時刻を、前記再生板書データリスト１３２における再生板書データＩＤ＝１の決定時刻情報として設定（仮決定）し直す（図６、ステップＳ１０８）。

例えば決定処理対象データが原板書データＩＤ＝１である場合は、再生用データ生成装置２は、描画操作に基く原板書データであると判定し、その操作時刻情報に示される時刻"０"（Ｔａ１）を、前記再生板書データリスト１３２における再生板書データＩＤ＝１の決定時刻情報として設定し直す（図６、ステップＳ１０８）。

尚、この例では、再生板書データＩＤ＝１の決定時刻情報がすでに"０"に初期設定されているので、実質的な変更は行なわれない。

次に、再生用データ生成装置２は、原板書データリスト１３１の全ての原板書データについて、前記処理を行なったか否かを判定する（図５、ステップＳ１１０）。

ステップＳ１１０において、再生用データ生成装置２は、全ての原板書データについて、前記処理したと判定した場合、制御を、後述のステップＳ３に移す。

一方、ステップＳ１１０において、再生用データ生成装置２は、全ての原板書データについて、決定処理していないと判定した場合は、制御を、前記ステップＳ１０１に移す。

そして、再生用データ生成装置２は、図１３に示す原板書データリスト１３１から、次の決定処理対象データを取り出し、前記原板書データＩＤ＝１のものと同様に処理する。

例えば原板書データＩＤ＝２を取りだし（ステップＳ１０１）、制御を、上述のステップＳ１０２〜ステップＳ１０５、更に、ステップＳ１０５からステップＳ１０８に戻す。そして、原板書データＩＤ＝２の操作時刻情報に示される時刻"Ｔａ２"を、前記再生板書データリスト１３２における再生板書データＩＤ＝１の決定時刻情報として設定し直す。

その後、制御を、ステップＳ１１０〜ステップＳ１０１に移し、次の決定処理対象データとして、例えば図１３に示す原板書データリスト１３１の原板書データＩＤ＝３〜５を順次取り出し、同様に処理する。そして、原板書データＩＤ＝５のものを処理した時点で、図２０に示す再生板書データリスト１３２における再生板書データＩＤ＝１の決定時刻情報を"Ｔａ５"に設定し直す。

尚、前記の例で、原板書データＩＤ＝２〜５の操作時刻情報に示される時刻"Ｔａ２"・・・"Ｔａ５"がその直前の原板書データＩＤ＝１〜４の夫々の操作時刻情報に示される時刻"Ｔａ１"・・・"Ｔａ４"との時間間隔が分離用の設定時間間隔Ｔ１以上でないとした場合である。

前記ステップＳ１０３において、決定処理対象データの操作時刻情報に示される時刻と、その直前の原板書データの操作時刻情報に示される時刻との時間間隔が分離用の設定時間間隔Ｔ１以上である場合、再生用データ生成装置２は、前記設定し直した図２０に示す再生板書データＩＤ＝１の決定時刻情報に示される時刻を、決定時刻情報として決定（確定）する。そして、その時刻における原板書データの画像情報を、再生板書データＩＤ＝１の再生画像情報として決定する（図６、ステップＳ１０７）。

例えば決定処理対象データが図１３に示す原板書データリスト１３１の原板書データＩＤ＝６である場合、前記ステップＳ１０３において、原板書データＩＤ＝６の操作時刻情報に示される時刻"Ｔｂ１"と、その直前の原板書データＩＤ＝５の操作時刻情報に示される時刻 "Ｔａ５"との時間間隔が分離用の設定時間間隔Ｔ１以上であると判定した場合、再生用データ生成装置２は、前記再生板書データＩＤ＝１の決定時刻情報の時刻"Ｔａ５"における原板書データの画像情報を、図２０に示す再生板書データＩＤ＝１の再生画像情報Ａとして決定する（図６、ステップＳ１０７）。

つまり、原板書データＩＤ＝５を基準にすると、図１３に示す原板書データＩＤ＝５の操作時刻情報に示される時刻 "Ｔａ５"と、その直後の原板書データＩＤ＝６の操作時刻情報に示される時刻"Ｔｂ１"との時間間隔が分離用の設定時間間隔Ｔ１以上である場合、再生用データ生成装置２は、その時刻"Ｔａ５"を決定時刻情報として決定し、その決定時刻情報に示される時刻における原板書データの画像情報を、再生板書データＩＤ＝１の再生画像情報Ａとして決定する。

これにより、再生板書データＩＤ＝１の再生板書データの生成が完了する。その結果、原板書データＩＤ＝５に対応する時刻"Ｔａ５"における原板書データの画像情報Ａのみが再生板書データとして決定処理され、原板書データＩＤ＝１〜４に対応する時刻における画像情報は再生板書データとして決定されない。

又、再生板書データＩＤ＝１の再生時刻情報として初期設定された時刻は、前記再生画像情報Ａが再生される再生時刻として決定されることになる。

以上のことを、図１５に基いて説明すると、原板書データＩＤ＝1〜５が、分離用の設定時間間隔Ｔ１内で連続する一つの描画操作に基く原板書データ群を構成している場合、その原板書データ群における最後の原板書データ（ＩＤ＝５）に対応する時刻"Ｔａ５"が決定時刻情報として決定され、その時刻"Ｔａ５"おける原板書データの画像情報、即ち、図１３に示す原板書データリスト１３１の原板書データＩＤ＝1〜５までの付属情報として記録された座標値を全部加算して得た画像情報が再生板書データの再生画像情報Ａとして決定処理される。そして、その再生画像情報Ａが、前記原板書データ群における最初の原板書データ（ＩＤ＝１）に対応する時刻"０"に再生されるよう決定処理される。

尚、図１５に表わされたＩＤは、原板書データのＩＤであり、図１３に示す原板書データＩＤと対応する。

描画操作として、例えば講師用の表示装置１００の表示部１０１に、一つの文章、或いは一つの図形を描く場合、ペンが表示部１０１から離れると一つの描画操作に基く原板書データとして表示装置１００によって原板書データリストに記録される。

そして、一つの文章等を書き終えるまでには、描画操作に基く原板書データが連続して複数、記録される（例えば図１３、図１５における原板書データＩＤ＝１〜５まで）。又、一つの文章等を書き終えた後、次の文章等を書く場合も、描画操作に基く原板書データが連続して記録される（例えば図１３、図１５における原板書データＩＤ＝６〜８まで）。

ただし、一つの文章等を書き終えた後に、次の文章等を書く場合には、一つの文章等を書き終えた時の描画操作に基く原板書データと次の文章等を書き始めた時の描画操作に基く原板書データとの時間間隔（例えば図１３、図１５における原板書データＩＤ＝５とＩＤ＝６との時間間隔）は、一つの文章等を書いている場合における時間的に連続する前後２つのものの時間間隔（例えば図１３、図１５における原板書データＩＤ＝４とＩＤ＝５との時間間隔）よりも通常短いものとなる。

従って、入力された描画操作に基く原板書データにおいて、時間的に前後に隣接する２つの描画操作に基く原板書データの時間間隔が一定の分離用の設定時間間隔Ｔ１よりも短いものは、一つの文章等を書いている一つの描画操作に基く原板書データ群に属するものである可能性が高いと考えることができる。一方、時間的に前後に隣接する２つの描画操作に基く原板書データの時間間隔が前記分離用の設定時間間隔Ｔ１よりも長い場合は、異なる描画操作に基く原板書データ群に属するものである可能性が高いと考えることができる。

そこで、この実施形態では、複数の描画操作に基く原板書データが連続して入力された場合、時間的に前後に隣接する二つのものの操作時刻情報に示される操作時刻の時間間隔が予め設定した分離用の設定時間間隔Ｔ１よりも長い場合に、前記二つの内の前のものの操作時刻情報に示される時刻における画像情報を、前記原板書データの再生画像情報として決定する処理を行なようにしている。

こうすることにより、一つの文章等を書く描画操作に基く原板書データ群における最後のもの、即ち、一つの文章等を書き終えた時刻における画像情報を再生でき、講義における再生音声情報とともに再生された場合に、再生音声情報により示される内容の理解を容易なものにできる。

尚、例えば描画操作に基く原板書データ群における最初の描画操作に基く原板書データの直前に表示消去操作に基く原板書データがくる場合であって、表示消去操作に基く原板書データと、原板書データ群における最初の描画操作に基く原板書データとの時間間隔が、分離用の設定時間間隔Ｔ１よりも短い場合、再生用データ生成装置２は、原板書データ群の最後の描画操作に基く原板書データの操作時刻情報に示される時刻における画像情報を再生画像情報として決定するとともに、その再生画像情報の再生時刻情報として、表示消去操作に基く原板書データの操作時刻情報に示される時刻を決定する。

例えば図１３に示すように、原板書データリスト１３１の原板書データＩＤ＝１４〜１６の原板書データが互いに分離用の設定時間間隔Ｔ１以内で連続し描画操作に基く原板書データ群を構成し、その原板書データ群における最初の描画操作に基く原板書データ（ＩＤ＝１４）の直前に表示消去操作に基く原板書データ（ＩＤ＝１３）がくる場合であって、その原板書データＩＤ＝１３の操作時刻情報に示される時刻"Ｔｄ１"と、前記最初の原板書データＩＤ＝１４の操作時刻情報に示される時刻"Ｔｄ２"との時間間隔が、分離用の設定時間間隔Ｔ１よりも短い場合である。

この場合は、原板書データ群における最後の描画操作に基く原板書データ（ＩＤ＝１６）の操作時刻情報に示される時刻"Ｔｄ４"における画像情報が再生画像情報Ｅとして決定されるとともに、再生時刻情報として、表示消去操作に基く原板書データ（ＩＤ＝１３）の操作時刻情報に示される時刻"Ｔｄ１"が決定される。

これを、図１５で、説明すると、原板書データ群における最後の描画操作に基く原板書データ（ＩＤ＝１６）の時刻"Ｔｄ４"における再生画像情報Ｅが、原板書データ群における最初の描画操作に基く原板書データ（ＩＤ＝１４）の時刻"Ｔｄ２"よりも前の時刻、具体的には、表示消去操作に基く原板書データ（ＩＤ＝１３）の操作時刻情報に示される時刻"Ｔｄ１"に再生されることになる。

これは、表示消去操作した状態では、表示装置１００の表示部１０１には、何も表示されておらず画像情報が何も無い状態のため、その表示消去操作した時刻における表示部１０１の状態を再生しても情報を何ら提供できない。そのため、この実施形態では、表示消去操作に基く原板書データを再生画像情報として決定しないこととしている。

また、表示消去操作した後、分離用の設定時間間隔Ｔ１（この実施形態では１０秒）以内に描画操作を行なう場合は、その描画操作に基く原板書データ群により表示部１０１に描く内容について、表示消去操作したときから講師が話し始めることが多いため、その原板書データ群の最後の描画操作に基く原板書データ（ＩＤ＝１６）の時刻"Ｔｄ４"における再生画像情報Ｅを、表示消去操作した時刻から再生するようにし、再生音声情報と再生画像情報との食い違いを防止でき、再生音声情報により示される講師の話を違和感なく聴くことができようにしている。

尚、表示消去操作された後、分離用の設定時間間隔Ｔ１以上経ってから描画操作が行なわれたような場合は、表示消去操作した時刻"Ｔｄ１"が再生時刻情報として決定されるとともに、その時刻"Ｔｄ１"における画像情報（実質的に何もない）が再生画像情報として決定されることになる。

しかし、講師が表示消去操作を行なう場合は、通常、異なる次の説明に移る場合であり、その説明の理解のために、表示部１０１に文字等を描く。従って、表示消去操作した時刻"Ｔｄ１"における画像情報が再生画像情報として決定されることはごく稀なケースであり、実際は、上述のように、原板書データ群における最後の描画操作に基く原板書データ（ＩＤ＝１６）の時刻"Ｔｄ４"における画像情報が再生画像情報Ｅとして決定されるとともに、再生画像情報Ｅの再生時刻情報として、表示消去操作した時刻"Ｔｄ１"が決定されることになる。

図６に戻って説明を続けると、再生用データ生成装置２は、ステップＳ１０７において、決定時刻情報等を決定して再生板書データＩＤ＝１を生成し終えると、次に生成する再生板書データとして、例えば図２０に示す再生板書データリスト１３２における再生板書データＩＤ＝２の再生時刻情報、及び決定時刻情報として、現在の決定処理対象データの操作時刻情報に示される時刻を設定する（図６、ステップＳ１０９）。

例えば原板書データリスト１３１（図１３参照）の原板書データＩＤ＝６を、現在の決定処理対象データとしている場合は、その原板書データＩＤ＝６の操作時刻情報に示される時刻"Ｔｂ１"を、図２０に示す再生板書データリスト１３２における再生板書データＩＤ＝２の再生時刻情報、及び決定時刻情報として設定する。

前記ステップＳ１０４に戻って、ステップＳ１０４において、再生用データ生成装置２は、決定処理対象データが、表示部切替操作に基く原板書データ、又は、選択肢表示操作に基く原板書データ、或いは、自動操作に基く原板書データのいずれかのものであると判定した場合、それらに対応する操作時刻情報に示される時刻と、その直前の原板書データに対応する操作時刻情報に示される時刻との時間間隔が予め設定された再生用の設定時間間隔Ｔ２以上か否を判定する（図６、ステップＳ１０６）。

このステップＳ１０６において、再生用データ生成装置２は、前記時間間隔が再生用の設定時間間隔Ｔ２以上であると判定した場合、制御を、前記ステップＳ１０７に移す。

例えば決定処理対象データが、図１３に示す原板書データＩＤ＝９の選択肢表示操作に基くものである場合において、それに対応する操作時刻情報に示される時刻"Ｔｃ１"と、その直前の原板書データＩＤ＝８に対応する操作時刻情報に示される時刻"Ｔｂ３"との時間間隔が再生用の設定時間間隔Ｔ２以上である場合、再生用データ生成装置２は、制御をステップＳ１０７に移す。そして、ステップＳ１０７において、再生板書データＩＤ＝２の生成が終了する。

一方、ステップＳ１０６において、再生用データ生成装置２は、前記時間間隔が再生用再生用の設定時間間隔Ｔ２以上でないと判定した場合、制御を、前記ステップＳ１０８に移す。

例えば決定処理対象データが、図１３に示す原板書データＩＤ＝１０の選択肢表示操作に基くものである場合において、それに対応する操作時刻情報に示される時刻"Ｔｃ２"と、その直前の原板書データＩＤ＝９に対応する操作時刻情報に示される時刻"Ｔｃ１"との時間間隔が再生用の設定時間間隔Ｔ２以上でないと判定した場合、再生用データ生成装置２は、図２０の再生板書データリスト１３２の再生板書データＩＤ＝３の決定時刻情報を、原板書データＩＤ＝１０の操作時刻情報に示される時刻"Ｔｃ２"に設定し直す。

原板書データＩＤ＝１１の場合も同様に、操作時刻情報に示される時刻"Ｔｃ３"と、その直前の原板書データＩＤ＝１０の操作時刻情報に示される時刻"Ｔｃ２"との時間間隔が再生用の設定時間間隔Ｔ２以上でない場合、再生板書データリスト１３２の再生板書データＩＤ＝３の決定時刻情報を、その原板書データＩＤ＝１１の操作時刻情報に示される時刻"Ｔｃ３"に設定し直す。

そして、次の原板書データ、例えば原板書データＩＤ＝１２の処理において、原板書データＩＤ＝１１との時間間隔が再生用の設定時間間隔Ｔ２（この例では、次の原板書データＩＤ＝１２が自動操作に基くものであるため）より長い場合は、再生板書データＩＤ＝３の生成が終了する。

これにより、再生板書データＩＤ＝３の再生時刻情報、決定時刻情報が決定される。その結果、決定時刻情報に示される時刻"Ｔｃ３"における画像情報、例えば図１９に示すように「１．ＹＥＳ」、「２．Ｎｏ」、「３．半分」の３つの選択肢を表示した状態を表わす画像情報のみが再生画像情報Ｃとして決定される。

又、ステップＳ１０６において、例えば決定処理対象データが、図１３に示す原板書データＩＤ＝１２の自動操作に基くものである場合も、前記の選択肢表示操作に基くものと同様に、処理される。

即ち、原板書データＩＤ＝１２の自動操作に基く原板書データの次の原板書データ、例えば原板書データＩＤ＝１３の処理において、原板書データＩＤ＝１２との時間間隔が分離用の設定時間間隔Ｔ１（この例では、次の原板書データＩＤ＝１２が表示消去操作に基くものであるため）より長い場合は、前記ステップＳ１０７に移り、再生板書データＩＤ＝３の生成が終了する。

これにより、再生板書データＩＤ＝３の再生時刻情報として、原板書データＩＤ＝１２の操作時刻情報に示される時刻"Ｔｃ４"が決定されるとともに、原板書データＩＤ＝１２の操作時刻情報に示される時刻"Ｔｃ４"における図１９に示す画像情報が、再生画像情報Ｄとして決定される。

これらのことを、図１５に基いて説明すると、原板書データＩＤ＝８の操作時刻情報に示される時刻"Ｔｂ３"における画像情報が再生画像情報Ｂとして決定され、その再生画像情報Ｂの再生時刻情報として決定された、原板書データＩＤ＝６の操作時刻情報に示される時刻"Ｔｂ１"に再生されることになる。

同様に、原板書データＩＤ＝１１の操作時刻情報に示される時刻"Ｔｃ３"における画像情報が再生画像情報Ｃとして決定され、その再生画像情報Ｃの再生時刻情報として決定された、原板書データＩＤ＝９の操作時刻情報に示される時刻"Ｔｃ１"に再生されることになる。

又、原板書データＩＤ＝１２の操作時刻情報に示される時刻"Ｔｃ４"における画像情報が再生画像情報Ｄとして決定され、その再生画像情報Ｄの再生時刻情報として決定された、原板書データＩＤ＝６の操作時刻情報に示される時刻"Ｔｃ４"に再生されることになる。

尚、ステップＳ１０６において、決定処理対象データが表示部切替操作に基くものである場合も、前記の選択肢表示操作或いは自動表示に基くものの場合と同様に、処理される。

又、前記ステップＳ１０６において、例えば原板書データＩＤ＝１０、１１の選択肢表示操作に基く原板書データとその直前のものとの時間間隔が再生用の設定時間間隔Ｔ２よりも長い場合、再生用データ生成装置２は、制御を、ステップＳ１０７に移し、それぞれの操作時刻情報に示される時刻における画像情報を再生画像情報として決定すれるとともに、それぞれの操作時刻情報に示される時刻が再生時刻情報として決定することになる。

しかし、例えば講師が選択肢表示操作を行なう場合、通常三つの選択肢表示部１０４・・・１０４を再生用の設定時間間隔Ｔ２として設定した１秒以内で連続的に押圧操作する。従って、原板書データＩＤ＝１０、１１の処理において、通常、再生用データ生成装置２は、ステップＳ１０６からステップＳ１０８に制御を移し、上述のように、原板書データＩＤ＝１１の操作時刻情報に示される時刻における画像情報だけが再生画像情報として決定されることになる。

又、前記ステップＳ１０６において、例えば原板書データＩＤ＝１２の自動操作に基く原板書データとその直前のものとの時間間隔が再生用の設定時間間隔Ｔ２よりも短い場合、再生用データ生成装置２は、制御を、ステップＳ１０８に移し、原板書データＩＤ＝１１の操作時刻情報に示される時刻における画像情報は再生画像情報として決定されないことになる。

しかし、講師が三つの選択肢表示部１０４・・・１０４を押圧操作して選択肢表示操作を行なった場合、受講生端末装置１１０から選択肢回答情報を受信しその選択肢回答情報に基いて受講者反応グラフを生成する。そのため、通常、講師用の表示装置１００の表示部１０１に図１９に示すような受講者反応グラフ１０７が表示されるまでには、再生用の設定時間間隔Ｔ２として設定した１秒以上開く。

従って、原板書データＩＤ＝１２を処理する場合、再生用データ生成装置２は、通常は、ステップＳ１０６からステップＳ１０７に制御を移し、原板書データＩＤ＝１１の操作時刻情報に示される時刻"Ｔｃ３"における画像情報を再生画像情報として決定することになる。

次に、図５に示す前記ステップＳ１０２に戻り、前記ステップＳ１０２において、決定処理対象データが、ポインター操作に基く原板書データであると判定した場合、再生用データ生成装置２は、設定（仮決定）しておいた再生板書データの再生時刻情報、決定時刻情報、及び再生画像情報を決定するとともに、再生板書データリスト１３２に新たに再生板書データＩＤを追加する（図７、ステップＳ１１１）。

例えば決定処理対象データが、図１４に示す原板書データリスト１３１の原板書データＩＤ＝２０のポインター操作に基くものである場合、再生用データ生成装置２は、ポインター操作に基く原板書データであると判定し、原板書データＩＤ＝１９の処理において、前記ステップＳ１０８で設定した再生板書データＩＤ＝６の再生時刻情報、決定時刻情報、及び再生画像情報を決定するとともに、再生板書データリスト１３２に新たに再生板書データＩＤ＝４を追加する。

そして、その新たに追加した再生板書データＩＤの再生時刻情報として、ポインター操作の開始時の時刻、即ち、原板書データリスト１３１の操作時刻情報に示される時刻、例えば原板書データＩＤ＝２０の操作時刻情報に示される時刻"Ｔｆ１"を決定するとともに、その操作時刻情報に示される時刻における開始時画像情報を、再生画像情報Ｇ１として決定する（図７、ステップＳ１１２）。

又、再生用データ生成装置２は、ポインター操作の終了時の終了時画像情報を、追加生成画像情報Ｇ２として決定する（図７、ステップＳ１１３）。

そして、再生用データ生成装置２は、新たに追加した再生板書データＩＤの再生時刻情報に示される時刻、即ち原板書データリスト１３１のポインター操作に基く原板書データの操作時刻情報に示される時刻と、その直後の原板書データに対応する操作時刻情報に示される時刻との時間間隔が、予め設定した点滅用の設定時間間隔Ｔ３（この実施形態では、１秒）以上あるかか否かを判定する（図７、ステップＳ１１４）。

例えば原板書データＩＤ＝２０の操作時刻情報に示される時刻"Ｔｆ１"と、その直後の原板書データＩＤ＝２１の操作時刻情報に示される時刻"Ｔｇ１"との時間間隔が、点滅用の設定時間間隔Ｔ３以上あるか否かを判定する。即ち、開始時画像情報を再生した後、次の原板書データに基く再生画像情報が再生されるまでに、終了時画像情報を再生する時間的余裕があるか否かを判定する。

前記ステップＳ１１４において、前記時間間隔が、点滅用の設定時間間隔Ｔ３以上である場合、図２０に示すように再生板書データリスト１３２に新たな再生板書データＩＤ＝１０を更に追加する（図７、ステップＳ１１５）。

そして、再生用データ生成装置２は、その更に追加した再生板書データＩＤ（＝１０）の再生画像情報として前記終了時画像情報Ｇ２を、追加再生画像情報として前記開始時画像情報Ｇ１を、夫々決定する（図７、ステップＳ１１６）。

又、再生用データ生成装置２は、その更に追加した再生板書データＩＤ（＝１０）の再生時刻情報として、前記原板書データリスト１３１のポインター操作に基く原板書データの操作時刻情報に示される時刻に、前記点滅用の設定時間間隔Ｔ３の分の時間を加えた時刻を決定する（図７、ステップＳ１１７）。

例えば前記追加した再生板書データＩＤ＝１０の再生時刻情報として、前記原板書データリスト１３１のポインター操作に基く原板書データＩＤ＝２０の操作時刻情報に示される時刻"Ｔｆ１"に、前記設定時間間隔Ｔ３の分の時間として1秒を加えた時刻"Ｔｆ２"を決定する。

そして、この更に追加した設定再生板書データＩＤ＝１０のものについて、上述のステップＳ１１４〜ステップＳ１１７を繰り返す。

このようにして、ポインター操作を行なった場合、その直後の原板書データまでの時間間隔が点滅用の設定時間間隔Ｔ３よりも長い場合、例えば図１５に示すように、その間に、開始時画像情報Ｇ１と終了時画像情報Ｇ２とが点滅用の設定時間間隔Ｔ３の間隔で点滅させるようにして再生される。これにより、ポインター操作によって指し示した部分を強調できる。

一方、前記ステップＳ１１４において、その直後の原板書データまでの時間間隔が点滅用の設定時間間隔Ｔ３よりも短いと判定した場合は、制御を前記ステップＳ１０９に移す。

すなわち、ポインター操作を行なった場合でも、その直後の原板書データまでの時間間隔が点滅用の設定時間間隔Ｔ３よりも短いような場合には、新たな再生板書データＩＤは追加されない。その結果、開始時画像情報Ｇ１だけが再生されることになり、終了時画像情報Ｇ２は再生されない。

しかし、講師がポインター操作を行なった場合には、通常、その終了時から1秒以上経過後に次の操作を行なうので、開始時画像情報Ｇ１だけが再生されることはごく稀なケースで、実際には、開始時画像情報Ｇ１と終了時画像情報Ｇ２とが、少なくとも１回、再生画像情報として決定されて再生されることになる。

以上のステップＳ１００〜ステップＳ１１７が、原板書データに基く再生板書データリスト１３２の生成の処理であり、図１の再生板書データ用の再生画像決定処理部１２ａ及び再生板書データ用の再生時刻決定処理部1３ａに対応する。

図４に戻り、再生用データ生成装置２は、上述の再生板書データリスト１３１に基いて、再生板書データの再生画像が再生されない設定区間があるか否かを判定する（図４、ステップＳ３）。

この実施形態では、設定区間として、講義(音声情報)の開始から１５秒ごとに区切った区間が設定されている。

この判定は、再生板書データリスト１３１における再生板書データの再生時刻情報に基いて、設定区間に、再生時刻情報に示される時刻を含むか否かについて行なわれる。

ステップＳ３において、再生板書データが再生されない設定区間がないと判定した場合は、制御を、後述するステップＳ５に移す。

一方、ステップＳ３において、前記再生されない設定区間があると判定した場合、再生用データ生成装置２は、前記再生されない設定区間のそれぞれについて、原音声データ及び原映像データに基いて、画像音声ポイントリストを生成する（図４、ステップＳ４）。

この画像音声ポイントリストの生成は、再生用データ生成装置２によって、次のようにして処理される。図８、画像音声ポイントリストを生成する処理の流れを示すフローチャートである。

再生用データ生成装置２は、図２０に示す再生板書データリスト１３１の再生時刻情報に基いて、再生板書データの再生画像が再生されない設定区間、即ち、再生時刻情報に示される時刻を含まない設定区間を一つ、抽出する（図８、ステップＳ１２１）。

次に、再生用データ生成装置２は、その設定区間における原映像データの映像情報の画像変化ポイント情報を生成する（図８、ステップＳ１２２）。

詳しくは、再生用データ生成装置２は、次のようにして、画像変化ポイント情報を生成する。図９は、画像変化ポイント情報を生成する処理の流れを示すフローチャートである。

再生用データ生成装置２は、まず、その設定区間における原映像データから、原映像データを構成する映像フレームを一つ、処理対象映像フレームとして取り出す（図９、ステップＳ２０１）。

そして、処理対象映像フレームに対応する時刻情報を、原映像データから取得する（図９、ステップＳ２０２）。

又、その処理対象映像フレームに含まれる画像情報と、予め設定した比較映像フレームの画像情報との差分画像情報を生成する（図９、ステップＳ２０３）。尚、この実施形態では、比較映像フレームとして、処理対象映像フレームの直前の映像フレームを設定している。

次に、差分画像情報に基いて、差分ピクセル数を生成する（図９、ステップＳ２０４）。

そして、差分ピクセル数に基いて、画像変化ポイント情報を生成する（図９、ステップＳ２０５）。尚、この実施形態では、差分ピクセル数に一定数（例えば２５６）を乗じたものを、前記処理対象映像フレームの画像情報に含まれるピクセル数で除すことにより、画像変化ポイント情報を生成する。

そして、生成した画像変化ポイント情報を、図２１に示す画像音声変化ポイントリスト１３４に、前記取得した時刻情報と関連付けて記録する（図９、ステップＳ２０６）。

次に、再生用データ生成装置２は、比較映像フレームとして、前記処理対象映像フレームを設定し直す（図９、ステップＳ２０７）。

そして、再生用データ生成装置２は、その設定区間における全ての映像フレームについて処理したか否かを判定する（図９、ステップＳ２０８）。

ステップＳ２０８において、その設定区間における全ての映像フレームについて処理していないと判定した場合は、前記ステップＳ２０１〜ステップＳ２０７を繰り返す。

一方、ステップＳ２０８において、その設定区間における全ての映像フレームについて処理していると判定した場合は、制御を、後述のステップＳ１２３に移す。

次に、再生用データ生成装置２は、図８に示すように、その設定区間における音声変化ポイント情報を生成する（図８、ステップＳ１２３）。

この音声変化ポイント情報の生成は、再生用データ生成装置２により、次のようにして処理される。図１０は、音声変化ポイント情報を生成する処理の流れを示すフローチャートである。

再生用データ生成装置２は、図２１に示す画像音声変化ポイントリスト１３４から、処理対象にする処理対象データを一つ、取り出す（図１０、ステップＳ３０１）。

そして、処理対象データの時刻情報に示される時刻における原音声データの音声情報の音声レベル値を、予め音声の大きさに応じて０〜２５６段階のレベル値に設定した音声レベル設定値に基いて生成する（図１０、ステップＳ３０２）。

そして、生成した音声レベル値と、予め設定した比較音声レベル値との差分音声レベル値を生成する（図１０、ステップＳ３０３）。尚、この実施形態では、比較音声レベル値として、処理対象データの直前の時刻情報に示される時刻における原音声データの音声情報の音声レベル値を設定している。

生成した差分音声レベル値に基いて、音声変化ポイント情報を生成する（図１０、ステップＳ３０４）。この実施形態では、差分音声レベル値に一定数を乗じたものを、最大の音声レベル設定値（２５６）で割り算すことにより音声変化ポイント情報を生成している。

そして、生成した音声変化ポイント情報を、画像音声変化ポイントリスト１３４に記録する（図１０、ステップＳ３０５）。

次に、再生用データ生成装置２は、比較音声レベル値を、前記生成した音声レベル値に設定し直す（図１０、ステップＳ３０６）。

又、再生用データ生成装置２は、画像音声変化ポイントリスト１３４に記録されたその設定区間のポイントリストＩＤの全てについて処理したか否かを判定する（図１０、ステップＳ３０７）。

ステップＳ３０７において、前記ポイントリストＩＤの全てについて処理していないと判定した場合、再生用データ生成装置２は、前記ステップＳ３０１〜ステップＳ３０６を繰り返す。

一方、ステップＳ３０７において、前記ポイントリストＩＤの全てについて処理していると判定した場合、再生用データ生成装置２は、制御を、後述のステップＳ１２４に移す。

次に、再生用データ生成装置２は、図８に示すように、その設定区間における画像音声変化ポイント情報を生成する（図８、ステップＳ１２４）。この画像音声変化ポイント情報は、画像音声変化ポイントリスト１３４のポイントリストＩＤに対応する画像変化ポイント情報に示されるポイントと音声変化ポイント情報に示されるポイントとを加算することにより生成される。

そして、前記設定区間の全てについて、前記処理を行なったか否かを判定する（図８、ステップＳ１２５）。

このステップＳ１２５において、前記設定区間の全てについて前記処理を行なっていないと判定した場合は、前記ステップＳ１２１〜ステップＳ１２４を繰り返す。

一方、ステップＳ１２５において、前記設定区間の全てについて前記処理を行なったと判定した場合は、制御を、後述のステップＳ５に移す。

図４に戻って、再生用データ生成装置２は、再生板書・映像データリスト１３５を生成する（図８、ステップＳ５）。この再生板書・映像データリスト１３５は、決定された再生板書データ及び再生映像データがリストアップされたものである。

具体的には、再生板書・映像データリスト１３５は、上述した原板書データに基いて生成された図２０に示す再生板書データリスト１３２と、原音声データ及び原映像データに基いて生成された図２１に示す画像音声変化ポイントリスト１３４とに基いて生成される。

尚、再生板書・映像データリスト１３５は、図２２に示すように、再生板書データリスト１３２と同様に、再生板書データ又は再生映像データを識別する再生板書・映像データＩＤ、決定時刻情報、その決定時刻情報に示される時刻における再生板書データの再生画像情報又は再生映像データの再生静止画情報、その再生画像情報又は再生静止画情報を再生する時刻を示す再生時刻情報を相互に関連付けて記録されている。

この再生板書・映像データリスト１３５の生成は、再生用データ生成装置２により、次のようにして生成処理される。図１１は、再生板書・映像データリスト１３５を生成する処理の流れを示すフローチャートである。

再生用データ生成装置２は、まず、図２０に示す再生板書データリスト１３２に記録した全ての再生板書データについて、そのまま、再生板書・映像データリスト１３５に、そのデータの一部として記録する（図１１、ステップＳ４０１）。

次に、再生用データ生成装置２は、前記生成した図２１に示す画像音声変化ポイントリスト１３４の設定区間の夫々について、最大の画像音声変化ポイントのポイントリストＩＤを抽出する（図１１、ステップＳ４０２）。

そして、再生板書・映像データリスト１３５中に、その抽出したポイントリストＩＤに対応する時刻情報を再生時刻情報とする新たな再生板書・映像データＩＤを、追加する（図１１、ステップＳ４０３）。尚、この新たな再生板書・映像データＩＤを追加する位置は、再生時刻情報に示される時刻が、他の再生時刻情報に示される時刻と時刻順になるような位置とされている。

例えば図２１に示す画像音声変化ポイントリスト１３４の設定区間ＩＤ＝００１０について、ポイントリストＩＤ＝４を抽出すると、図２２に示す再生板書・映像データリスト１３５中に、それに対応する時刻情報に示される時刻Ｔｚ１を再生時刻情報とする再生板書・映像データＩＤ＝６を新たに追加する。

又、追加した再生板書・映像データＩＤの決定時刻情報として、抽出したポイントリストＩＤの時刻情報に示される時刻に抽出用の設定時間間隔Ｔ４（この実施形態では、１秒）の分の時間を加えた時刻（図２２では、Ｔｚ２）を決定するとともに、その決定された時刻における原映像データの映像情報を、再生静止画情報Ｖとして決定する（図１１、ステップＳ４０４）。

前述のステップＳ４０２〜ステップＳ４０４が、図１の再生映像データ用の再生画像決定処理部１２ｂ及び再生映像データ用の再生時刻決定処理部1３ｂに対応する。

また、再生用データ生成装置２は、追加した再生板書・映像データＩＤの再生時刻情報に示される時刻と、図２２に示す再生板書・映像データリスト１３５におけるその直後の再生板書・映像データＩＤの再生時刻情報に示される時刻との時間間隔が、割込用の設定時間間隔Ｔ５（この実施形態では、２秒）以上か否かを判定する（図１１、ステップＳ４０５）。

ステップＳ４０５において、前記時間間隔が割込用の設定時間間隔Ｔ５以上であると判定した場合、再生用データ生成装置２は、図２２に示すように追加した再生板書・映像データＩＤの直後に、更に新たな再生板書・映像データＩＤを追加する（図１１、ステップＳ４０６）。

例えば追加した再生板書・映像データＩＤ＝６の再生時刻情報で示される時刻Ｔｚ１と、その直後の再生板書・映像データＩＤ（この図２２で、ＩＤ＝９で示されているもの）の再生時刻情報に示される時刻Ｔｆ１との時間間隔が、割込用の設定時間間隔Ｔ５として設定した２秒以上である場合、図２２に示すように追加した再生板書・映像データＩＤ＝６の直後に、更に新たな再生板書・映像データＩＤ＝７を追加する。

そして、その更に新たに追加設定した再生板書・映像データＩＤの再生時刻情報として、例えば前記追加した再生板書・映像データＩＤ＝６の再生時刻情報に示される時刻Ｔｚ１に２秒を加えた時刻Ｔｚ３を決定するとともに、決定時刻情報、再生画像情報として、前記追加した再生板書・映像データＩＤ＝６の直前の再生板書・映像データＩＤ＝５に対応するものを決定する（図１１、ステップＳ４０７）。

即ち、追加された再生板書・映像データＩＤ＝６の再生静止画情報Ｖは、図１５に示すように、再生板書データの再生画像情報Ｅが再生されている途中に、割込用の設定時間間隔Ｔ５として設定した２秒だけ割り込むようにして再生される。

これにより、講師の顔の再生静止画情報Ｖを、再生板書データの再生画像情報Ｅの途中に再生でき、臨場感をだすことができる。

又、その際、再生静止画情報Ｖは、最大の画像音声変化ポイントに対応する時刻における原映像データの静止画情報ではなく、抽出用の設定時間間隔Ｔ４を加えた後の時刻における原映像データの静止画情報から構成されるため、変化の落ち着いた後の静止画であって、変化の雰囲気を最も把握しやすい静止画を再生できる。

しかも、その再生静止画情報Ｖを、最大の画像音声変化ポイントに対応する時刻、即ち最も変化の大きいときに再生するため、その変化を理解し易いものにできる。

前記ステップＳ４０５に戻り、前記ステップＳ４０５において、割込用の設定時間間隔Ｔ５以上でないと判断した場合、再生用データ生成装置２は、制御を、後述のステップＳ６に移す。以上が、再生板書・映像データリスト１３５を生成する場合の説明である。

次に、図４に戻って、説明を続けると、再生用データ生成装置２は、再生用データを構築する（図４、ステップＳ６）。

具体的には、前記原音声データの時刻情報及び音声情報をそのまま再生音声データの再生時刻情報及び再生音声情報とする。そして、前記再生音声データの再生時刻情報、再生板書データの再生時刻情報、及び再生映像データの再生時刻情報に基いて、前記再生音声データの再生音声情報と、前記再生板書データの再生画像情報及び再生映像データの再生静止画情報とを結合して再生用データを構築する（図４、ステップＳ６）。

このステップＳ６が、図1の再生用データ構築処理部１４に対応する。

そして、再生用データ生成装置２は、構築した再生用データを再生用データ登録データベース１６に記録する。又、この実施形態では、この登録に際し、再生音声データの再生音声情報を、ＭＰ３ファイルの音声情報にして記録する（図４、ステップＳ７）。

このステップＳ６が、図1の再生用データ登録部１５に対応する。

そして、再生用データ生成装置２は、例えば再生用データの送信を求めるためにアクセスしてきた受信装置３に対し、再生用データ登録データベース１６に記録した再生用データを送信する（図４、ステップＳ８）。

このステップＳ７が、図1の送信部１７に対応する。

受信装置３は、データ再生用の表示装置４に、受信した再生用データを送信する（図４、ステップＳ９）。

データ再生用の表示装置４は、受信装置３から再生用データを受信する（図４、ステップＳ１０）。これにより、データ再生用の表示装置４は、再生音声データの再生音声情報を再生可能になるとともに、再生板書データの再生画像情報及び再生映像データの再生静止画情報を、再生時刻情報に示される時刻に再生可能となる。

尚、この実施形態では、原板書データと原映像データとを用い、再生用データに、再生板書データと再生映像データとを含むようにしているが、この形態のものに限らず、適宜変更し得る。例えば原板書データと原映像データとのいずれか一方のみを用い、再生用データに、再生板書データと再生映像データとのいずれか一方のみを含むものとしても良い。

又、この実施形態では、再生板書データの再生画像情報を再生映像データの再生静止画情報よりも優先して決定処理するようにし、決定した再生板書データの再生画像情報が一定時間ごとに区切った設定区間に再生されない場合に、再生映像データの再生静止画情報を決定して再生するようにしているが、この形態のものに限らず、適宜変更できる。

例えば再生板書データの再生画像情報が前記設定区間に再生される件数が一定件数より少ない場合に再生映像データの再生静止画情報を決定して再生するようにする。又は、講義の開始から終了までの全時間における再生板書データの再生画像情報の決定件数が、一定件数より少ない場合に再生映像データの再生静止画情報を決定して再生するようにする。

或いは、再生映像データの再生静止画情報を再生板書データの再生画像情報との何れかを優先することなく、同程度の数だけ決定し再生するようにしても良い。

又、この実施形態では、前記設定区間において、単位時間あたりの画像変化量及び音声変化量の最も大きいものが再生映像データの再生静止画情報として決定されているが、この形態のものに限らず、適宜変更できる。

例えば画像変化量及び/又は音声変化量の基準値を予め設定しておき、その予め設定した基準値を超える画像変化量及び/又は音声変化量のものを再生映像データの再生静止画情報を決定する等、予め設定した基準値に基いて再生映像データの再生静止画情報を決定するようにしても良い。

又、この実施形態では、一つの原板書データ群における時間的に最後のものに対応する操作時刻情報に示される時刻における画像情報を、再生画像情報として決定し、その再生画像情報を、前記原板書データ群における時間的に最初のものに対応する操作時刻情報に示される時刻に再生する。或いは、その再生画像情報を、それよりも前の時刻に再生する。より具体的には、前記最初のものの直前に表示消去操作に基く原板書データがくる場合であって、前記最初のものと、その表示消去操作に基く原板書データとの時間間隔が、分離用の設定時間間隔Ｔ１よりも短い場合、その表示消去操作に基く原板書データの操作時刻情報に示される時刻に再生するようにしている。

換言すれば、複数の描画操作に基く原板書データ、が連続して入力された場合において、前後に隣接する二つのものの操作時刻情報に示される操作時刻の時間間隔が予め設定した分離用の設定時間間隔Ｔ１よりも長い場合に、前記二つの内の前のものの操作時刻情報に示される時刻における画像情報を、前記原板書データの再生画像情報として決定する。そして、再生時刻決定処理部は、その決定した再生画像情報を、前記前の描画操作に基く原板書データと分離用の設定時間間隔Ｔ１以内で連続する複数の描画操作に基く原板書データ群における時間的に最初のものに対応する操作時刻情報に示される時刻に再生する。或いは、その再生画像情報を、それよりも前の時刻に再生する。より具体的には、前記最初のものの直前に表示消去操作に基く原板書データがくる場合であって、前記最初のものと、その表示消去操作に基く原板書データとの時間間隔が、分離用の設定時間間隔Ｔ１よりも短い場合、その表示消去操作に基く原板書データの操作時刻情報に示される時刻に再生するようにしている。

しかし、前記決定した再生画像情報を再生スル時刻は、この形態のものに限らず、例えば原板書データ群における時間的に最後のもの、即ち、分離用の設定時間間隔Ｔ１よりも長い時間間隔を隔てて前後に隣接する二つのものの内の前のものの操作時刻情報に示される時刻よりも前の時刻であれば良く、適宜変更し得る。

また、この実施形態では、ポインター操作に基く原板書データの場合、開始時画像情報と終了時画像情報との２つを再生画像情報として決定するようにしているが、この形態のものに限らず、３つ以上の再生画像情報を決定するようにしても良く、適宜変更できる。

例えば開始時画像情報と、終了時画像情報と、その間の中間時画像情報との３つを再生画像情報として決定する。そして、それら３つの再生画像情報を順次再生して点滅させるようにしても良い。

また、この実施形態では、ポインター操作に基く原板書データの場合、原板書データリスト１３１には、ポインター操作の開始時の時刻のみが記録されているが、例えばポインター操作の終了時の時刻を記録するようにしても良い。

そして、ポインター操作の開始時の時刻、又はポインター操作の終了時の時刻を基準にして、開始時画像情報と終了時画像情報とを再生する再生時刻を決定する処理を行なうようにしても良い。

例えば、開始時画像情報の再生時刻として、ポインター開始時と同時刻、又は、ポインター開始時よりも前或いは後の時刻に決定する。そして、終了時画像情報の再生時刻として、開始時画像情報の再生時刻より点滅用の設定時間間隔Ｔ３の分の時間だけ後の時刻とする。

或いは、終了時画像情報の再生時刻として、ポインター終了時、又は、ポインター終了時よりも前或いは後の時刻に決定する。そして、開始時画像情報の再生時刻として、終了時画像情報の再生時刻より点滅用の設定時間間隔Ｔ３の分の時間だけ前の時刻とする。

ただし、開始時画像情報の再生時刻をポインター開始時よりも後にすると、再生音声情報によって、講師が一定領域（前記の例では式）を強調していることを再生していても、その強調している一定領域が受講者等に見えず、再生音声情報と再生画像情報とに食い違いを生じ違和感を生じる。従って、開始時画像情報を再生画像情報として再生する再生時刻は、ポインター開始時と同時刻、又は、ポインター開始時よりも前の時刻に決定し、終了時画像情報の再生時刻として、開始時画像情報の再生時刻に点滅用の設定時間間隔Ｔ３の分の時間を加えた後の時刻とするのが好ましい。

又、この実施形態では、原板書データの操作種別として、講師が行なうポインター操作、表示部切替操作、選択肢表示操作、描画操作、及び、表示消去操作と、再生用データ生成装置２が行なう自動操作を挙げ、これらの操作に基いて再生画像情報を決定するようにしているが、これらの操作は例示であり、これらの内の一つ以上の操作に基いて再生画像情報を決定するようにしても良く、適宜変更し得る。

例えば講師が行なうポインター操作、表示部切替操作、選択肢表示操作、描画操作、及び、表示消去操作の内の一つ又は２つ以上に基いて再生画像情報を決定するようにし、或いは、これら例示以外の他の操作に基いて再生画像情報を決定するようにし良く、適宜変更できる。

又、分離用の設定時間間隔Ｔ１、再生用の設定時間間隔Ｔ２、点滅用の設定時間間隔Ｔ３、抽出用の設定時間間隔Ｔ４、及び割込用の設定時間間隔Ｔ５は、適宜変更できる。

また、この実施形態では、最大の画像音声変化ポイントの時刻情報に示される時刻に設定時間間隔Ｔ４の分の時間を加えた時刻、即ち、最大の画像音声変化ポイントの時刻情報に示される時刻に設定時間間隔Ｔ４の分の時間だけ後の時刻における原映像データの映像情報を、再生静止画情報Ｖとして決定しているが、この形態のものに限らず、例えば最大の画像音声変化ポイントの時刻情報に示される時刻における原映像データの映像情報を、再生静止画情報として決定するようにしても良い。

また、この実施形態では、原板書データを用いる場合、原音声データ、原板書データ、又は、原板書データ及び原映像データは、講義に関するものに限らず、例えば各種の会議又は打ち合わせに関するもの、各種の講演又は説明会に関するもの等に適応でき、適宜変更できる。

又、原板書データを用いないで、原音声データと原映像データとから再生用のデータを生成する場合は、特に限定されず、例えばビデオカメラで撮影した映像情報とマイク等を介して採った音声情報から、再生用のデータを生成するようにしても良く、適宜変更できる。

又、この実施形態では、再生用データ生成装置２は、再生用データ登録データベース１６を備えたものとしているが、この形態のものに限らず、適宜変更できる。

例えば再生用データ登録データベースを、再生用データ生成装置２とアクセス可能な再生用データ保持装置に備え、再生用データ生成装置２によって構築された再生用データを再生用データ保持装置で保持し、再生用データを、再生用データ保持装置に送信し再生用データ保持装置からインターネット９、受信装置３を介してデータ再生用の表示装置４に送信するようにしても良い。

また、この実施形態では、再生用データ生成装置２は、再生音声データの再生音声情報を、ＭＰ３ファイル形式に圧縮しているが、この形態のものに限らず、例えば再生用データ生成装置２とは別の装置によってＭＰ３ファイル形式に圧縮するようにし、或いは、圧縮せずに受信装置３に送信しても良い。

又、再生板書データの再生画像情報及び／又は再生映像データの再生静止画情報を、再生用データ生成装置２又は例えばの装置において、ＪＰＥＧで圧縮した後、データ再生用の表示装置４に直接又は間接的に送信するようにしても良い。

また、この実施形態では、データ再生用の表示装置４は、インターネット９、受信装置３を介して再生用データ生成装置２から再生用データを受信するようにしているが、この形態のものに限らず、適宜変更できる。

例えばデータ再生用の表示装置４は、データ再生用の表示装置４に直接又は通信網を介して間接に接続可能なものから構成され、再生用データ生成装置２から再生用データを直接又は通信網を介して間接に受信するものであっても良い。

前記においては、本発明を好ましい実施形態として説明したが、各用語は、限定のために用いたのではなく、説明のために用いたものであって、本発明の範囲および精神を逸脱することなく、添付のクレームの範囲において、更新することができるものである。また、前記においては、本発明のいくつかの典型的な実施形態についてのみ詳細に記述したが、当業者であれば、本発明の新規な教示および利点を逸脱することなしに前記典型的な実施形態において多くの更新が可能であることを、容易に認識するであろう。したがって、そのような更新はすべて、本発明の範囲に含まれるものである。

この発明による再生用データ生成装置、コンピュータ、コンピュータを記録した記録媒体、及び再生用データ生成方法においては、時刻情報及び音声情報を含む原音声データと、時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、再生時刻情報及び再生音声情報を含む再生音声データと、再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する装置であって、前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力するデータ入力部と、前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なう再生画像決定処理部と、前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を決定する処理を行なう再生時刻決定処理部と、前記原音声データの時刻情報及び音声情報をそのまま再生音声データの再生時刻情報及び再生音声情報とし、前記各再生時刻情報に基いて、前記再生音声データの再生音声情報と、前記再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報とを結合して再生用のデータを構築する再生用データ構築処理部を備えている。

これにより、原板書データの画像情報及び/又は原映像データの映像情報の一部を、再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報にするため、再生用のデータ全体の情報量を少なくできる。従って、記録容量の小さい低廉なデータ再生用の装置にも適応でき、利用価値の高いものにできる。

又、原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を決定する処理を行なうため、例えば原板書データの画像情報及び/又は原映像データの映像情報の内から、場面の変わり目となる画像情報又は映像情報、或いは、再生音声情報とともに再生した場合に理解し易い画像情報又は映像情報等、重要度の高い画像情報又は映像情報を、再生画像情報、再生静止画情報として決定できる。従って、再生画像情報及び/又は再生静止画情報を、再生音声データの再生音声情報とともに再生した場合に、全体の内容を容易に把握できる。

又、例えば再生画像情報として決定した原板書データの画像情報に対応する時刻に、常時、その再生画像情報を再生すると、再生音声データの再生音声情報とともに再生した場合に、再生音声情報の内容と再生画像情報とに食い違いを生じるおそれがある。しかし、この発明においては、再生画像情報及び/又は再生静止画情報を再生する再生時刻を、原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて決定するため、再生音声情報とともに再生した場合に、例えば再生画像情報を、その再生画像情報として決定した原板書データの画像情報に対応する時刻よりも前に再生することもできる。従って、再生音声情報と再生画像情報との食い違いを防止することもでき、違和感のないものにできる。

この発明による再生用データ生成装置においては、前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻おける画像情報とを含み、前記操作種別情報は、描画操作を表わす操作種別情報を含み、前記再生画像決定処理部は、複数の描画操作に基く原板書データが連続して入力された場合において、前後に隣接する二つのものの操作時刻情報に示される操作時刻の時間間隔が予め設定した分離用の設定時間間隔よりも長い場合に、前記二つの内の前のものの操作時刻情報に示される時刻における画像情報を、前記原板書データの再生画像情報として決定する処理を行ない、前記再生時刻決定処理部は、前記前の描画操作に基く原板書データに対応する操作時刻情報に示される時刻よりも前の時刻を、前記決定された原板書データの再生画像情報の前記再生時刻として決定する処理を行なう。

これにより、例えば一つの文章等を書く描画操作に基く原板書データ群と、他の文章等を書く描画操作に基く原板書データ群とを時間間隔に基いて分離できる。そして、一つの文章等を書く描画操作に基く原板書データ群における最後のもの、即ち、一つの文章等を書き終えた時刻における画像情報だけを再生できる。従って、一つの文章等を書く操作を行なった場合に最も重要な画像情報を再生画像情報にして再生できる。

又、通常、一つの文章や図絵等を描画する場合には、描画操作を始めると同時にその描画操作を行なう者は、その説明もし始める。従って、一つの文章等を書き終えた時刻における画像情報を、その対応する時刻に再生すると、再生音声情報でその説明が始ってもそれに対応する画像情報は何も無く、音声情報の示す内容と画像情報の示す内容とが整合しない場合も生じる。そこで、この発明では、再生画像情報を、その再生画像情報に対応する時刻よりも前に決定するものとする。これにより、音声情報の示す内容と画像情報の示す内容との不整合を防止でき、再生音声情報により示される内容の理解を容易なものにできる。

この発明による再生用データ生成装置においては、前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻おける画像情報とを含み、前記操作種別情報は、一定の領域を指し示すポインター操作を表わす操作種別情報を含み、前記再生画像決定処理部は、原板書データがポインター操作に基くものである場合に、前記領域の始端を指し示したポインター操作の開始時における開始時画像情報と、前記領域の終端を指し示したポインター操作の終了時における終了時画像情報との少なくとも二つを、前記原板書データの再生画像情報として決定する処理を行ない、前記再生時刻決定処理部は、前記開始時画像情報に対応する操作時刻情報に示される時刻又は前記終了時画像情報に対応する操作時刻情報に示される時刻を基準にして、前記開始時画像情報と前記終了時画像情報とをそれぞれ、少なくとも一回再生するように、前記開始時画像情報を再生する再生時刻、及び前記終了時画像情報を再生する再生時刻を決定する処理を行なうものである。

これにより、開始時画像情報と終了時画像情報との少なくとも二つを、交互に再生して点滅させることができる。従って、一定の領域を強調できる。

この発明による再生用データ生成装置おいては、前記再生画像決定処理部は、原映像データの映像情報の画像変化量に基いて、再生映像データの再生静止画情報を、原映像データの映像情報から決定する処理を行ない、前記再生時刻決定処理部は、前記決定された再生静止画に対応する原映像データの時刻情報に基いて、前記決定された再生静止画を再生する再生時刻を決定する。

これにより、原映像データの映像情報の中から、原映像データの映像情報の画像変化量に基いて、例えば場面の変わり目となる静止画、或いは、重要な場面の静止画の情報を、再生画像情報として決定できる。

この発明による再生用データ生成装置においては、前記再生画像決定処理部は、原音声データの音声情報の音声変化量に基いて、前記再生映像データの再生静止画情報を、原映像データの映像情報から決定する処理を行ない、前記再生時刻決定処理部は、前記決定処理した再生静止画に対応する原映像データの時刻情報に基いて、前記決定された前記再生映像データの再生静止画情報を再生する再生時刻を決定する処理を行なうものである。

これにより、原映像データの映像情報の中から、原音声データの音声情報の音声変化量に基いて、例えば場面の変わり目となる静止画、或いは、重要な場面の静止画の情報を、再生画像情報として決定できる。

又、決定した再生画像情報を再生する再生時刻を、決定された再生静止画に対応する原映像データの時刻情報に基いて決定するため、再生音声情報とともに再生した場合に最も理解し易いときに適宜再生することが可能となる。

この発明による再生用データ生成装置、再生用データ生成方法においては、前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻おける画像情報とを含み、前記再生画像決定処理部は、前記原板書データの変化に基いて、再生板書データの再生画像情報を、原板書データの画像情報から決定する処理を行なう再生板書データ用の再生画像決定処理部と、前記再生板書データ用の再生画像決定処理部によって決定された再生画像情報の決定件数が、所定の件数よりも少ない場合に、前記原音声データの音声情報の音声変化量及び/又は原映像データの映像情報の画像変化量に基いて、再生用映像データを構成する再生静止画情報を原映像データの映像情報から決定する処理を行なう再生映像データ用の再生画像決定処理部とを備え、前記再生時刻決定処理部は、前記再生板書データ用の再生画像決定処理部によって決定された再生画像情報を再生する再生時刻を、前記原板書データの操作時刻情報に基いて決定する処理を行なう再生板書データ用の再生時刻決定処理部と、前記再生映像データ用の再生画像決定処理部によって前記再生静止画情報が決定された場合に、前記決定された再生静止画に対応する原映像データの時刻情報に基いて、前記決定された静止画情報を再生する再生時刻を決定する処理を行なう再生映像データ用の再生時刻決定処理部とを備えている。

表示装置１００の表示部１０１に表示される画像に変化が起きる場合は、表示装置１００に対して、或いは表示装置１００自身が操作を行なった場合であり、そのような操作が行なわれた場合は、その操作種別を示す操作種別情報、その操作時刻情報、その操作時刻情報に示される時刻における画像情報のデータが表示装置１００に記録される。そこで、この発明においては、これらの画像に変化を起こさせたデータである操作種別情報、操作時刻情報、及び画像情報を含む原板書データに基いて、再生画像情報を決定するため、重要度の高い画像情報を、簡単に、しかも、より確実に、再生画像情報として決定できる。

又、決定した再生画像情報の件数が少ない場合に、原映像データに基いて再生静止画情報を決定して再生するようにするため、場面の変わり目となる静止画、或いは、重要な場面の静止画の情報を補充できる。従って、再生音声情報とともに再生した場合に、より理解し易いものにできる。

また、例えば講義における講師の顔などを再生映像データの再生静止画情報とし、講師の顔などから構成された再生静止画情報を、講義に関する原板書データの画像情報に基いて決定した再生画像情報の間に割り込ませるようにして再生することにより、講義の臨場感を出すことも可能となる。

この発明による再生用データ生成装置においては、前記再生映像データ用の再生画像決定処理部は、原音声データの時刻情報に示される開始時刻から終了時刻までの全時間を一定時間ごとに区切った設定区間のそれぞれについて、前記決定された再生用板書データの再生画像情報であって、前記それぞれの設定区間に再生される再生用板書データの再生画像情報の件数が、設定区間ごとに設定された区間設定件数よりも少ない場合に、再生画像情報の件数と前記区間設定件数との差分に相当する数の再生静止画情報を、前記原音声データの音声情報の音声変化量及び/又は原映像データの映像情報の画像変化量の大きいものから順に決定する処理を行なうものである。

これにより、再生用板書データの再生画像情報が再生される件数の少ない設定区間に、原映像データから再生静止画情報を補充できる。従って、同一の再生画像情報が長時間に渡って続くようなことを防止できる。しかも、その設定区間の中で、再生画像変化量が大きく、重要な場面等の静止画と考えられるものを再生できる。

この発明による再生用データ生成・再生システムは、再生用データ生成装置と、前記再生用データ生成装置によって生成された再生用のデータを再生するデータ再生用の表示装置とを備えた再生用データ生成・再生システムであって、前記再生用データ生成装置は、時刻情報及び音声情報を含む原音声データと、時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、再生時刻情報及び再生音声情報を含む再生音声データと、再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データとを生成する再生用データ生成装置であって、時刻情報を含む原音声データを入力するとともに、時刻情報を含む原視覚化可能データを入力するデータ入力部と、前記原音声データ及び/又は原視覚化可能データの変化に基いて、再生用視覚化可能データを構成する再生画像データ及び/又は再生静止画データを決定処理する再生画像決定処理部と、前記原音声データ及び/又は原視覚化可能データの変化に基いて、前記決定処理された再生画像データ及び/又は再生静止画データを再生する再生時刻を示す再生時刻情報を決定処理する再生時刻決定処理部と、前記原音声データと、前記決定処理された再生画像データ及び/又は再生静止画データと、前記決定処理された再生時刻情報とに基いて、再生音声データと、再生板書データ及び/又は再生映像データとの再生用のデータを構築する再生用データ構築処理部と、を備え、前記再生用のデータを、前記データ再生用の表示装置に直接又は間接的に送信し、前記データ再生用の表示装置は、前記再生用のデータを受信する。

これにより、再生用データ生成装置によって、原板書データの画像情報及び/又は原映像データの映像情報の一部を、再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報とするため、再生画像情報或いは再生静止画情報の情報量を少なくできる。従って、データ再生用の表示装置は、記録容量の小さい低廉なものでも良く、再生画像情報或いは再生静止画情報を含む再生用のデータを受信して再生できる。

Claims

時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する装置であって、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力するデータ入力部と、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なう再生画像決定処理部と、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なう再生時刻決定処理部と、
前記原音声データの時刻情報及び音声情報をそのまま再生音声データの再生時刻情報及び再生音声情報とし、前記各再生時刻情報に基いて、前記再生音声データの再生音声情報と、前記再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報とを結合して再生用のデータを構築する再生用データ構築処理部と、
を備えた再生用データ生成装置において、
前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻における画像情報とを含み、
前記操作種別情報は、描画操作を表わす操作種別情報を含み、
前記再生画像決定処理部は、複数の描画操作に基く原板書データが連続して入力された場合において、前後に隣接する二つのものの操作時刻情報に示される操作時刻の時間間隔が予め設定した分離用の設定時間間隔よりも長い場合に、前記二つの内の前のものの操作時刻情報に示される時刻における画像情報を、前記原板書データの再生画像情報として決定する処理を行ない、
前記再生時刻決定処理部は、前記前の描画操作に基く原板書データに対応する操作時刻情報に示される時刻よりも前の時刻を、前記決定された原板書データの再生画像情報の前記再生時刻として決定する処理を行なう、
再生用データ生成装置。
時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する装置であって、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力するデータ入力部と、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なう再生画像決定処理部と、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なう再生時刻決定処理部と、
前記原音声データの時刻情報及び音声情報をそのまま再生音声データの再生時刻情報及び再生音声情報とし、前記各再生時刻情報に基いて、前記再生音声データの再生音声情報と、前記再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報とを結合して再生用のデータを構築する再生用データ構築処理部と、
を備えた再生用データ生成装置において、
前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻における画像情報とを含み、
前記操作種別情報は、一定の領域を指し示すポインター操作を表わす操作種別情報を含み、
前記再生画像決定処理部は、原板書データがポインター操作に基くものである場合に、前記領域の始端を指し示したポインター操作の開始時における開始時画像情報と、前記領域の終端を指し示したポインター操作の終了時における終了時画像情報との少なくとも二つを、前記原板書データの再生画像情報として決定する処理を行ない、
前記再生時刻決定処理部は、前記開始時画像情報に対応する操作時刻情報に示される時刻又は前記終了時画像情報に対応する操作時刻情報に示される時刻を基準にして、前記開始時画像情報と前記終了時画像情報とをそれぞれ、少なくとも一回再生するように、前記開始時画像情報を再生する再生時刻を示す再生時刻情報、及び前記終了時画像情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なう、
再生用データ生成装置。
時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する装置であって、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力するデータ入力部と、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なう再生画像決定処理部と、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なう再生時刻決定処理部と、
前記原音声データの時刻情報及び音声情報をそのまま再生音声データの再生時刻情報及び再生音声情報とし、前記各再生時刻情報に基いて、前記再生音声データの再生音声情報と、前記再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報とを結合して再生用のデータを構築する再生用データ構築処理部と、
を備えた再生用データ生成装置において、
前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻における画像情報とを含み、
前記再生画像決定処理部は、
前記原板書データの変化に基いて、再生板書データの再生画像情報を、原板書データの画像情報から決定する処理を行なう再生板書データ用の再生画像決定処理部と、
前記再生板書データ用の再生画像決定処理部によって決定された再生画像情報の決定件数が、所定の件数よりも少ない場合に、前記原音声データの音声情報の音声変化量及び/又は原映像データの映像情報の画像変化量に基いて、再生映像データを構成する再生静止画情報を原映像データの映像情報から決定する処理を行なう再生映像データ用の再生画像決定処理部と、を備え、
前記再生時刻決定処理部は、
前記再生板書データ用の再生画像決定処理部によって決定された再生画像情報を再生する再生時刻を示す再生時刻情報を、前記原板書データの操作時刻情報に基いて決定する処理を行なう再生板書データ用の再生時刻決定処理部と、
前記再生映像データ用の再生画像決定処理部によって前記再生静止画情報が決定された場合に、前記決定された再生静止画情報に対応する原映像データの時刻情報に基いて、前記決定された再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なう再生映像データ用の再生時刻決定処理部と、を備えた、
再生用データ生成装置。
請求項３記載の再生用データ生成装置において、
前記再生映像データ用の再生画像決定処理部は、原音声データの時刻情報に示される開始時刻から終了時刻までの全時間を一定時間ごとに区切った設定区間のそれぞれについて、前記決定された再生用板書データの再生画像情報であって、前記それぞれの設定区間に再生される再生用板書データの再生画像情報の件数が、設定区間ごとに設定された区間設定件数よりも少ない場合に、再生画像情報の件数と前記区間設定件数との差分に相当する数の再生静止画情報を、前記原音声データの音声情報の音声変化量及び/又は原映像データの映像情報の画像変化量の大きいものから順に決定する処理を行なう、
再生用データ生成装置。
コンピュータを、
時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する再生用データ生成装置として機能させるプログラムであって、コンピュータに、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力させ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なわせ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なわせ、
前記原音声データと、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報と、前記決定された再生時刻情報とに基いて、再生音声データと、再生板書データ及び/又は再生映像データとの再生用のデータを構築させる処理を行なわせる、
プログラムにおいて、
前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻における画像情報とを含み、
前記操作種別情報は、描画操作を表わす操作種別情報を含み、
前記再生画像情報及び/又は再生静止画情報を決定する処理は、複数の描画操作に基く原板書データが連続して入力された場合において、前後に隣接する二つのものの操作時刻情報に示される操作時刻の時間間隔が予め設定した分離用の設定時間間隔よりも長い場合に、前記二つの内の前のものの操作時刻情報に示される時刻における画像情報を、前記原板書データの再生画像情報として決定する処理を含み、
前記再生時刻情報を決定する処理は、前記前の描画操作に基く原板書データに対応する操作時刻情報に示される時刻よりも前の時刻を、前記決定された原板書データの再生画像情報の前記再生時刻として決定する処理を含む、
プログラム。
コンピュータを、
時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する再生用データ生成装置として機能させるプログラムであって、コンピュータに、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力させ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なわせ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なわせ、
前記原音声データと、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報と、前記決定された再生時刻情報とに基いて、再生音声データと、再生板書データ及び/又は再生映像データとの再生用のデータを構築させる処理を行なわせる、
プログラムにおいて、
前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻における画像情報とを含み、
前記操作種別情報は、一定の領域を指し示すポインター操作を表わす操作種別情報を含み、
前記再生画像情報及び/又は再生静止画情報を決定する処理は、原板書データがポインター操作に基くものである場合に、前記領域の始端を指し示したポインター操作の開始時における開始時画像情報と、前記領域の終端を指し示したポインター操作の終了時における終了時画像情報との少なくとも二つを、前記原板書データの再生画像情報として決定する処理を含み、
前記再生時刻情報を決定する処理は、前記開始時画像情報に対応する操作時刻情報に示される時刻又は前記終了時画像情報に対応する操作時刻情報に示される時刻を基準にして、前記開始時画像情報と前記終了時画像情報とをそれぞれ、少なくとも一回再生するように、前記開始時画像情報を再生する再生時刻を示す再生時刻情報、及び前記終了時画像情報を再生する再生時刻を示す再生時刻情報を決定する処理を含む、
プログラム。
コンピュータを、
時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する再生用データ生成装置として機能させるプログラムであって、コンピュータに、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力させ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なわせ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なわせ、
前記原音声データと、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報と、前記決定された再生時刻情報とに基いて、再生音声データと、再生板書データ及び/又は再生映像データとの再生用のデータを構築させる処理を行なわせる、
プログラムにおいて、
前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻における画像情報とを含み、
前記再生画像情報及び/又は再生静止画情報を決定する処理は、
前記原板書データの変化に基いて、再生板書データの再生画像情報を、原板書データの画像情報から決定する処理を行なう再生板書データ用の再生画像決定処理と、
前記再生板書データ用の再生画像決定処理によって決定された再生画像情報の決定件数が、所定の件数よりも少ない場合に、前記原音声データの音声情報の音声変化量及び/又は原映像データの映像情報の画像変化量に基いて、再生映像データを構成する再生静止画情報を原映像データの映像情報から決定する処理を行なう再生映像データ用の再生画像決定処理と、を備え、
前記再生時刻情報を決定する処理は、
前記再生板書データ用の再生画像決定処理によって決定された再生画像情報を再生する再生時刻を示す再生時刻情報を、前記原板書データの操作時刻情報に基いて決定する処理を行なう再生板書データ用の再生時刻決定処理と、
前記再生映像データ用の再生画像決定処理によって前記再生静止画情報が決定された場合に、前記決定された再生静止画情報に対応する原映像データの時刻情報に基いて、前記決定された再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なう再生映像データ用の再生時刻決定処理と、を備えた、
プログラム。
請求項７記載のプログラムにおいて
前記再生映像データ用の再生画像決定処理は、原音声データの時刻情報に示される開始時刻から終了時刻までの全時間を一定時間ごとに区切った設定区間のそれぞれについて、前記決定された再生用板書データの再生画像情報であって、前記それぞれの設定区間に再生される再生用板書データの再生画像情報の件数が、設定区間ごとに設定された区間設定件数よりも少ない場合に、再生画像情報の件数と前記区間設定件数との差分に相当する数の再生静止画情報を、前記原音声データの音声情報の音声変化量及び/又は原映像データの映像情報の画像変化量の大きいものから順に決定する処理を含む、
プログラム。
請求項５ないし８のいずれかに記載のプログラムを記録した記録媒体。
時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する再生用データ生成方法であって、コンピュータに、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力させ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なわせ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なわせ、
前記原音声データと、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報と、前記決定された再生時刻情報とに基いて、再生音声データと、再生板書データ及び/又は再生映像データとの再生用のデータを構築させる処理を行なわせる、
再生用データ生成方法において、
前記原板書データの変化に基いて、再生板書データの再生画像情報を、原板書データの画像情報から決定する処理を行なわせ、
前記決定された再生画像情報の件数が、所定の件数よりも少ない場合に、前記原音声データの音声情報の音声変化量及び/又は原映像データの映像情報の画像変化量に基いて、再生映像データの再生静止画情報を原映像データの映像情報から決定する処理を行なわせ、
前記決定された再生画像情報を再生する再生時刻を示す再生時刻情報を、前記原板書データの操作時刻情報に基いて決定する処理を行なわせ、
前記再生静止画情報が決定された場合に、前記原映像データの時刻情報に基いて、前記決定された再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なわせる、
再生用データ生成方法。
時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する再生用データ生成方法であって、コンピュータに、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力させ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なわせ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なわせ、
前記原音声データと、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報と、前記決定された再生時刻情報とに基いて、再生音声データと、再生板書データ及び/又は再生映像データとの再生用のデータを構築させる処理を行なわせる、
再生用データ生成方法において、
前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻における画像情報とを含み、
前記操作種別情報は、描画操作を表わす操作種別情報を含み、
前記再生画像情報及び/又は再生静止画情報を決定する処理は、複数の描画操作に基く原板書データが連続して入力された場合において、前後に隣接する二つのものの操作時刻情報に示される操作時刻の時間間隔が予め設定した分離用の設定時間間隔よりも長い場合に、前記二つの内の前のものの操作時刻情報に示される時刻における画像情報を、前記原板書データの再生画像情報として決定する処理を含み、
前記再生時刻情報を決定する処理は、前記前の描画操作に基く原板書データに対応する操作時刻情報に示される時刻よりも前の時刻を、前記決定された原板書データの再生画像情報の前記再生時刻として決定する処理を含む、
再生用データ生成方法。
時刻情報及び音声情報を含む原音声データと、
時刻情報及び画像情報を含む原板書データ、及び/又は、時刻情報及び映像情報を含む原映像データとから、
再生時刻情報及び再生音声情報を含む再生音声データと、
再生時刻情報及び再生画像情報を含む再生板書データ、及び/又は、再生時刻情報及び再生静止画情報を含む再生映像データと、を生成する再生用データ生成方法であって、コンピュータに、
前記原音声データと、前記原板書データ及び/又は前記原映像データとを入力させ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記再生板書データの前記再生画像情報及び/又は前記再生映像データの前記再生静止画情報を、前記原板書データの前記画像情報及び/又は前記原映像データの前記映像情報から決定する処理を行なわせ、
前記原音声データと前記原板書データと前記原映像データとの少なくとも一つのデータの変化に基いて、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報を再生する再生時刻を示す再生時刻情報を決定する処理を行なわせ、
前記原音声データと、前記決定された再生板書データの再生画像情報及び/又は再生映像データの再生静止画情報と、前記決定された再生時刻情報とに基いて、再生音声データと、再生板書データ及び/又は再生映像データとの再生用のデータを構築させる処理を行なわせる、
再生用データ生成方法において、
前記原板書データは、操作時刻を示す操作時刻情報と、操作種別を示す操作種別情報と、前記操作時刻情報に示される時刻における画像情報とを含み、
前記操作種別情報は、一定の領域を指し示すポインター操作を表わす操作種別情報を含み、
前記再生画像情報及び/又は再生静止画情報を決定する処理は、原板書データがポインター操作に基くものである場合に、前記領域の始端を指し示したポインター操作の開始時における開始時画像情報と、前記領域の終端を指し示したポインター操作の終了時における終了時画像情報との少なくとも二つを、前記原板書データの再生画像情報として決定する処理を含み、
前記再生時刻情報を決定する処理は、前記開始時画像情報に対応する操作時刻情報に示される時刻又は前記終了時画像情報に対応する操作時刻情報に示される時刻を基準にして、前記開始時画像情報と前記終了時画像情報とをそれぞれ、少なくとも一回再生するように、前記開始時画像情報を再生する再生時刻を示す再生時刻情報、及び前記終了時画像情報を再生する再生時刻を示す再生時刻情報を決定する処理を含む、
再生用データ生成方法。