JPWO2002023350A1 - 表示画面に付加情報を重畳表示する技術 - Google Patents

Abstract

様々なオブジェクトや音声・動画等の付加情報を画面表示する重畳表示方法であって、第１の画面上に仮想的に存在する第２の画面内で、音声又は動画を入力しながら、付加されるべき画像オブジェクトを移動又は配置し、音声ファイル又は動画ファイルおよび上記オブジェクトの第２の画面における位置情報を時間と関連づけて記録した情報ファイルを記録するファイル作成ステップと、前記ファイルを呼び出すことにより、第１の画面を表示させつつ、入力された音声又は動画とリンクして、第２の画面内で上記オブジェクトを経時的に移動又は配置して表示する表示ステップからなる重畳表示方法。

Description

技術分野
本発明は、様々なオブジェクトや音声・動画等の付加情報を表示画面に重畳表示する技術に属し、例えば、インターネットのホームページのコンテンツの表現力を向上させる技術に関する。
背景技術
インターネットの発展により、パーソナルコンピュータが急速に普及した。そして、老若男女を問わず非常に多くの人が、主に、電子メールを送受信したりホームページを閲覧するために利用している。そして、昨今、インターネットの新しい利用法（ビジネスモデル）が次々と誕生しており、無限の可能性を秘めていることから、インターネットは第二の産業革命といわれている。
ところで、そのような新しい利用法が次々と登場する中、既存のファイル、特にインターネットでやりとりをする文書ファイル（典型的にはＨＴＭＬ形式のファイル）は、余りに味気なく面白味に欠ける。他方、何らかのオブジェクトや音声等を載せた文書ファイルもあるが、その作成が素人には難しく、一般的には余り行われていないのが現状である。このような状況下、ファイルに様々な付加情報を簡単に組み込む技術が存在すれば極めて有意義であり、インターネットの利用が益々盛んになることに疑いない。例えば、ホームページを閲覧しているときに、重要な部分や疑問のある部分等に、丸を付けたり音声を入力することができたら便利であろう。また、既存の静止画像のみのホームページに、描画や音声を簡単に組込むことができたら、より魅力的なホームページになるであろう。また、パーソナルコンピュータの操作に不慣れなユーザにとり、例えば、指などのキャラクタの移動に従い、記載内容を音声で説明してくれるホームページがあれば、非常に分かりやすく、親しみが湧くはずである。
しかし、従来のグラフィックツールを用いて、ホームページにこのような書き込みを行ったファイルをサーバに転送する場合、例えばファイル形式が文書ファイルであったときには、文書ファイルの画像上に描画した後、画像ファイルの形式で保存されるので、元の文書ファイル形式に戻すことはできないという問題がある。
本発明は、極めて簡単に、様々なオブジェクトや音声・動画等の付加情報を表示画面に重畳する技術を提供することを目的としている。
発明の開示
本発明は、第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；音声又は動画を入力しながら、上記第１の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを移動又は配置するステップと；上記画像オブジェクトの第２の画面における位置情報を時間と関連づけて得るステップと；入力された音声情報又は動画情報に基づき、音声ファイル又は動画ファイルを作成するステップと；上記画像オブジェクトを特定する情報と上記位置情報と上記時間情報に基づき、オブジェクト情報ファイルを作成するステップと；第１のファイルを、上記音声ファイル又は上記動画ファイル及び上記オブジェクト情報ファイルと関連づけるステップと；第１のファイルを第１の画面で表示させつつ、入力された音声又は動画とリンクして、第２の画面内で上記画像オブジェクトを経時的に移動又は配置して表示するステップとを含む、表示画面に付加情報を重畳表示する方法に関する（１）。
また、本発明は、第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；上記第１の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを移動又は配置するステップと；上記画像オブジェクトの上記第２の画面上における位置の情報を得るステップと；上記画像オブジェクトを特定する情報と上記位置情報に基づき、オブジェクト情報ファイルを作成するステップと；第１のファイルを、上記オブジェクト情報ファイルと関連づけるステップと；第１のファイルを第１の画面で表示させつつ、第２の画面内で上記画像オブジェクトを表示するステップとを含む、表示画面に付加情報を重畳表示する方法に関する（２）。
更に、本発明は、第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；上記第１の画面上に仮想的に存在する上記第２の画面の所定の位置に、音声ファイル又は動画ファイルとリンクした、付加されるべき画像オブジェクトを表示するステップと；上記画像オブジェクトの第２の画面における位置情報を得るステップと；上記音声ファイル又は動画ファイルの出力順序を特定するステップと；特定された出力順序に従い、上記音声ファイル又は動画ファイルを出力しつつ、上記音声ファイル又は動画ファイルとリンクした上記画像オブジェクトを第２の画面内で表示するステップとを含む、表示画面に付加情報を重畳表示する方法に関する（３）。
また、本発明は、第１のファイルにはいかなるリンク情報も付加しない、前記方法（１）ないし（３）に関する（４）。
更に、本発明は、音声又は動画を入力しながら、第１の画面の画面上に仮想的に存在する第２の画面内で、画像オブジェクトを上記第２の画面内で移動又は配置するステップと；上記画像オブジェクトの第２の画面における位置情報を時間と関連づけて得るステップと；入力された音声又は動画に基づき、音声ファイル又は動画ファイルを作成するステップと；上記画像オブジェクトを特定する情報と上記位置情報と上記時間情報とを関連づけて、オブジェクト情報ファイルを作成するステップと；上記第１の画面の上記画面表示にかかるファイルを、上記音声ファイル又は上記動画ファイル及び上記オブジェクト情報ファイルと関連づけるステップとを含む、表示画面に付加情報を重畳表示するソースファイルの作成方法に関する（５）。
また、本発明は、第１の画面の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを上記第２の画面内で移動又は配置するステップと；上記画像オブジェクトの上記第２の画面上における上記位置の情報を得るステップと；上記画像オブジェクトを特定する情報と上記位置情報に基づき、オブジェクト情報ファイルを作成するステップと；上記第１の画面の上記画面表示にかかるファイルを上記オブジェクト情報ファイルと関連づけるステップとを含む、表示画面に付加情報を重畳表示するソースファイルの作成方法に関する（６）。
更に、本発明は、第１の画面上に仮想的に存在する上記第２の画面の所定の位置に、音声ファイル又は動画ファイルとリンクした、付加されるべき画像オブジェクトを表示するステップと；上記画像オブジェクトの第２の画面における位置情報を得るステップと；上記音声ファイル又は動画ファイルの出力順序を特定するステップを含む、表示画面に付加情報を重畳表示するソースファイルの作成方法に関する（７）。
また、本発明は、第１の画面にかかるファイルにはいかなるリンク情報も付加しない、前記方法（５）ないし（７）に関する（８）。
更に、本発明は、前記方法（１）ないし（８）に規定されたステップを実行するプログラムを格納する、磁気記録媒体に関する（９）。
また、本発明は、前記媒体（９）に規定された磁気記録媒体を有する、コンピュータシステムに関する（１０）。
まず、上記及び請求の範囲で用いられる用語につき説明する。「第１のファイル」とは、付加情報が組み込まれるファイル（被処理ファイル）をいう。ファイルの種類は特に限定されず、文書ファイル、表計算ファイル、音声ファイル、画像ファイル、動画ファイルが挙げられる。また、その形式も特に限定されず、文書ファイルであれば、ＨＴＭＬ形式のファイルが例示される。「動画」とは、音声のない動画のみならず、音声のある動画を含む。「仮想的に存在する第２の画面」とは、第１の画面と独立した画面であり、第１の画面上に存在する、透明（第２の画面から第１の画面が透けて見える限り、半透明や有色透明を含む）な仮想画面をいう。「音声ファイル」や「動画ファイル」は、特に限定されず、様々な形式のものを含む。「画像オブジェクト」とは、第１のファイルに付加される画像情報をいう。例えば、静止画像（可動画像）の移動情報、描画情報、テロップ、固定画像等が挙げられる。「音声又は動画を入力しながら」とは、画像オブジェクトの入力の際、音声の録音や動画の録画を行なうことの他、画像オブジェクトの入力の際、既存の音声ファイルや動画ファイルを再生することを含む。「オブジェクト情報ファイル」とは、画像オブジェクトを被処理ファイル画像上に指示通りに表示させるために必要な情報が盛り込まれているファイルをいう。一般的にデータファイルといわれている。「第１のファイルを、上記音声ファイル又は上記動画ファイル及び上記オブジェクト情報ファイルと関連づける」とは、第１のファイルにリンク情報を書き込むことの他、第１のファイルリンク情報を書き込まず、例えば、オブジェクト情報ファイルのＵＲＬと、音声ファイルや動画ファイルのＵＲＬと、被処理ファイルのＵＲＬとを関連づけたデータをデータベースに記録することも含む。「上記音声ファイル又は動画ファイルの出力順序を特定する」とは、音声ファイル又は動画ファイルの出力順序を特定する他、音声ファイル又は動画ファイルとリンクした画像オブジェクトの出力順序を特定することにより、間接的に音声ファイル又は動画ファイルの出力順序を特定することも含む。なお、特定された表示順序に従い、貼付されたパーツ（オブジェクト情報ファイルと画像又は動画ファイルとのセット）を統合することの他、パーツを統合させないで、各パーツの表示順序が記録された管理ファイルが好適には作成される。
発明を実施するための最良の形態
本発明をより詳細に説述するために、添付の図面に従ってこれを説明する。なお、以下では、被処理ファイルとしてＨＴＭＬファイルを用いるが、本発明はこれに限定されるものではない。
図１は、本発明に係る一実施形態のシステム構成図である。図１中、符号１はインターネットであり、符号２はユーザ（操作者）端末（例えば、パーソナルコンピュータ）であり、符号３はサーバである。そして、ユーザ端末及びサーバは、通信回線を介してインターネットに接続している。
図２は、本発明に係る一実施形態のハードウエア構成図であり、基本的には市販のパーソナルコンピュータと同じである。但し、外部の音声を録音するための音声録音部、外部の動画を録画するための動画録画部が設けられている。なお、本図では、被処理ファイル（ＨＴＭＬファイル）及び音声（動画）ファイルは外部にあり、オブジェクト情報やプログラムはローカルにあるものが示されている。但し、本質的には、被処理ファイル、音声（動画）ファイル、オブジェクト情報及びプログラムの所在は、特に限定されるものではない。
本発明は、第一の態様、第二の態様及び第三の態様に大別される。したがって、以下では、それぞれの態様に分けて説明する。
１．第一の態様
本発明の第一の態様は、音声や動画情報とオブジェクト情報とが組み込まれた被処理ファイルを簡単に作成する技術である。作成方式としては、既存の音声ファイルや動画ファイルを用いつつ、オブジェクト情報を入力する方式（以下、方式▲１▼という）、及び、音声や動画を入力しつつ、オブジェクト情報を入力する方式（以下、方式▲２▼という）の二通りある。以下では、第一の態様に係るシステムおける、各機能、操作手順及び内部処理につき説明する。
（ａ）各機能の説明
システムを起動させ、被処理ＨＴＭＬファイルの特定と、方式▲１▼又は▲２▼のいずれにより作成するかの決定を行なった後、オブジェクト情報入力可能状態になる（なお、図１４及び図１５が上記特定及び決定に関連した図であるが、これらの図は、方式▲１▼のみを想定したものであるので、方式▲２▼の場合には、別のパネルが表示されることになる）。その際、画面上に操作パネルが表示される（図１６参照）。操作パネル１０上には、各種入力制御機能（録画ボタン１９、再生ボタン２０、一時停止ボタン２１、停止ボタン２２、削除ボタン等）、各種時間制御機能（時間を制御するためのスライドバー１８、再生速度変更機能２３等）、オブジェクト選択機能（可動な画像の一覧１２、描画可能な基本的な図形の一覧１３、テロップ入力１４、固定画像一覧１５等）、結果物作成支援機能（保存ファイルの保存、プレビュー、再生ボタン配置等）が設けられている。この操作パネルは、常に画面上に表示されている為、入力中の様々なタイミングでこれらの機能を使用することができる。以下、上記各種機能につき説明する。
★各種入力制御機能（図１６参照）
＊録画ボタン１９：このボタンを押すと、方式▲１▼（既存の音声ファイルや動画ファイルを用いる方式）の場合には再生が始まり、方式▲２▼（音声や動画を入力する方式）の場合には録音や録画が始まり、このボタンを押した後に指示されたオブジェクト情報の記録を開始する。
＊再生ボタン２０：このボタンを押すと、記録部より入力済みのオブジェクト情報を読込み、その内容に従い音声又は動画に合わせてオブジェクトを配置、動作させる。
＊一時停止ボタン２１：このボタンを押すと、オブジェクト情報の記録、音声や動画の記録・再生が一時停止する。このボタンはトグルボタンになっており、一度押すと再度押されるまで再開しない。なお、本システムにおいては、一時停止の方法が他に二つある。一つ目は、マウスのキャンセルボタン（右ボタン）を押す方法である。二つ目は、マウスカーソルの位置によって自動的に一時停止・再開させる方法である。例えば、マウスカーソルが被処理ＨＴＭＬファイル画面の表示領域外（ここで、操作パネル上も被処理ＨＴＭＬファイル画面の表示領域外とする）にある場合、音声や動画の記録・再生を一時停止し、被処理ＨＴＭＬファイルの表示領域内にあるときは、音声や動画の記録・再生の一時停止を解除し、記録・再生を再開する。
＊停止ボタン２２：このボタンを押すと、音声や動画の記録・再生を停止し、オブジェクト情報の記録を停止する。なお、方式▲１▼（既存の音声ファイルや動画ファイルを用いる方式）の場合、このボタンを押さなくとも、既存ファイルの再生が終了すると自動的に停止する。
＊削除ボタン（２２の右のボタン）：このボタンを押すと、入力したオブジェクト情報（一時記憶領域に保存されている）が消去される。
★各種時間制御機能（図１６参照）
＊スライドバー１８：これは、操作パネルの時間制御機能の一つで、既存の音声や動画の再生ツールと同じように、ファイルの再生時間を直線で表し、両端が再生開始位置と終了位置であり、現在の再生位置がどのあたりかがつまみで表されている。このつまみをドラッグして変更することにより、入力する時間の位置が変更される。例えば、入力中にオブジェクト情報を挿入する必要のない時間帯がある場合には、不必要な時間帯を飛ばす；入力のタイミングが合わなかった場合に少し時間を戻す；ある時間帯に複数のオブジェクト情報を挿入したい場合に、あるオブジェクト情報を記録した後、再びその時間帯に戻し、別のオブジェクト情報を記録させる、といった使用例が挙げられる。
＊速度変更機能２３：これは、方式▲１▼（既存の音声ファイルや動画ファイルを用いる方式）の場合、これらファイルの再生速度を変更したいときに用いる。例えば、音声ファイルの再生速度を遅く設定することにより時間軸が伸びる結果、余裕を持って入力が可能となり、落ち着いてオブジェクト情報を入力することが可能となる。
★オブジェクト選択機能（図１７〜図２０参照）
＊可動な画像の一覧１２：システムに登録されている「可動な画像」の画像データの一覧が表示されている（図１７の符号２５）。操作者は、この中から使用したい可動な画像を選択する。なお、操作者が、新規な「可動な画像」の画像データをシステムに追加した場合には一覧に追加される。可動な画像の動きは軌跡が残らない為、説明している部分を指したり、動きを表現したい場合に有効である。
＊描画可能な基本的な図形の一覧１３：描画可能な基本的な図形として、自由線、直線、四角形などが登録されている（図１８の符号２６）。この描画図形は軌跡が残るため、強調したい部分にマーカーをいれるときや、お絵かきソフトのように被処理ＨＴＭＬファイル画面上に自由に書き込み・描き込みを行うとき等に有効である。
＊テロップ１４：これを選択すると、操作パネル上の所定部分（符号２７）に文字列を入力することが可能となり、入力された文字列は、被処理ＨＴＭＬファイル画面の指定の場所に貼り付けられる（図１９参照）。補足説明等に利用できる。
＊固定画像１５：システムに記録されている固定画像を選択することにより、シールのように画像内に貼り付けることができる（図２０参照）。
★結果物作成支援機能
＊保存ボタン：このボタンを押すことにより、入力したオブジェクト情報を反映したオブジェクト情報ファイル（データファイル）が作成される。また、同時録音・録画の場合には、それぞれ音声ファイル・動画ファイルが作成される。また、被処理ＨＴＭＬファイルと、オブジェクト情報ファイルと、音声ファイル又は動画ファイルとをリンクさせる作業が行なわれる。
＊再生ボタン配置ボタン：このボタンを押すことにより、ボタン配置ウィンドゥを表示させる。ボタン配置ウインドゥには、複数のボタン候補が一覧になっており、操作者は、この中から好みのボタンを選択し、被処理ＨＴＭＬファイル画像内の希望の場所に配置する。ここで配置した再生ボタンを押すことにより、入力した内容に従って動作させる事ができる。
★オブジェクト情報の入力方法
オブジェクト情報は、記録時（一時停止や停止状態でない場合）、マウスの決定ボタン（左ボタン）が押されている間のみ記録される。なお、オブジェクト情報は、マウスカーソルの位置にあわせて表示される。
★オブジェクト情報の入力可能範囲
被処理ＨＴＭＬファイル画面の左上を基点（０，０）として、正の方向への制限はない（すなわち、右方向、下方向に制限はない）のに対し、上・左方向の負の方向へは制限が設けられており、負の方向への移動は不可能になっている（オブジェクトはそこで止まってしまう）。
（ｂ）操作手順の説明
まず、操作者は、本システムを起動させる。次に、起動後、入力方法選択ウインドウが表示されるので、「既存ファイルを使用し、新しく指示を入力」（方式▲１▼）、「同時入力で、新しく指示を入力」（方式▲２▼）、「既存のファイルに指示を追加」、「ｗｅｂ公開用のＨＴＭＬを作成」のいずれかを選択する（なお、図１４では、方式▲１▼のみの入力を前提としているので、上記の入力方法選択ウインドウとは異なっている）。以下では方式▲１▼又は▲２▼を選択した場合につき詳細に説明し、その他の「既存のファイルに指示を追加」及び「ｗｅｂ公開用のＨＴＭＬを作成」を選択した場合（図１４参照）については、本項の最後で簡単に触れることとする。
方式▲１▼又は▲２▼のいずれを選択した場合でも、被処理ＨＴＭＬファイルのパス・ファイル名を入力する（図１５参照）。または、入力の代わりに、表示されたファイル選択ウインドゥよりファイルを選択してもよい。なお、入力（選択）するＨＴＭＬファイルは、ローカルのコンピュータ上でもインターネット上でもどちらでもよい。また、別の方式として、被処理ＨＴＭＬファイルに本システムを読み込むための指定がされている場合には、被処理ＨＴＭＬファイルを読み込んだ後、本システムは自動的に起動する。（なお、この場合は、予め本システムを呼び出すための行を追加した被処理ＨＴＭＬファイルを作成しておく必要がある）。但し、以下では、エンジン部分のアドレスが指定されていないＨＴＭＬファイルを使用するものとして説明する。
そして、方式▲１▼では、使用する音声ファイル名又は動画ファイル名を入力（または選択）する（なお、図１５では音声ファイルのみを前提としている）。方式▲２▼では、作成される音声ファイルや動画ファイルの名称、作成先のパス、ファイル形式（音声や動画保存形式の細かい設定を含む）を入力する。その後、完了ボタンを押す。
完了ボタンを押した後、画面内に、被処理ＨＴＭＬファイル画像５と操作パネル１０が表示される（図１６参照）。初期表示時、入力されるオブジェクトはデフォルトの設定になっている（符号９で示されるように、画像オブジェクトとして、可動な画像の「指」が選択されている）が、初期設定されているオブジェクトと異なったオブジェクトを入力したい場合には、操作パネル１０より希望のオブジェクトを選択する。
次に、録画ボタン１９を押すことにより、オブジェクト情報の入力を開始する（図２２）。方式▲１▼の場合は、指定した音声又は動画ファイルが再生されるので、この再生された音声や動画に合わせて、マウスを用いて、オブジェクトを表示させたり移動させたりする。例えば、図２２の場合、可動な画像３０を、符号３１で示された方向に移動させる。なお、この方式の場合、既存ファイルの再生が終了すると自動的に停止するので、操作者は終了前に入力を完了させる必要がある。また、方式▲２▼の場合は、録音や録画をしながら、マウスを用いて、オブジェクトを表示させたり移動させたりする。同時入力の場合は、記録部（例えば、補助記憶装置）の容量が許す限り入力が可能である。なお、いずれの方式の場合も、前記のように三通りの一時停止手段があるので、これらを使い分けることにより、落ち着いて入力することができる。
オブジェクト情報の入力が終了したら、操作者は、停止ボタン２２を押す。但し、方式▲１▼の場合は、再生後自動的に停止する（すなわち、スライドバー１８が右端に到達した時）ので、この場合は必ずしも停止ボタン２２を押す必要はない。
次に、操作者は、被処理ＨＴＭＬファイル画面上に、再生時の再生ボタンを配置する。
最後に、保存ボタンを押し、ブラウザを閉じることにより、本操作は終了する。
（ｃ）内部処理の説明
次に、内部処理につき、図３〜図７のフローチャートに従い説明する。
まず、本システム起動後、方式▲１▼又は▲２▼のいずれによりオブジェクト情報を入力するのかの選択指示を出す（ステップ２０２）。
次に、操作者が方式▲１▼を選択した場合（既存の音声ファイル又は動画ファイルを使用する場合）には、ファイル選択ウインドゥ（図１５の符号４）を表示し、被処理ＨＴＭＬファイルのパス・ファイル名と、使用する音声ファイルまたは動画ファイルのパス・ファイル名の入力（選択）指示を出す（ステップ２０４）。また、操作者が方式▲２▼を選択した場合（同時に音声又は動画を入力することを選択した場合）には、被処理ＨＴＭＬファイルのパス・ファイル名と、これから作成される音声ファイルまたは動画ファイルを保存するためのパス・ファイル名・保存形式の入力（選択）指示を出す（ステップ２０７）。
これらのファイルにつき、操作者によりパス・ファイル名等が入力（選択）された後、方式▲１▼の場合は、入力された音声ファイルまたは動画ファイルのパス・ファイル名を音声再生部または動画再生部へ送り、音声再生部または動画再生部は指定されたファイルを読み込む（ステップ２０５）。また、方式▲２▼の場合は、作成される音声ファイルまたは動画ファイルに関し、音声録音部または動画録画部へパス・ファイル名・保存形式を送り、音声録音部または動画録画部は、送られた情報を基に音声ファイルまたは動画ファイル作成の準備をする（ステップ２０８）。
次に、方式▲１▼及び▲２▼のいずれにおいても、入力された被処理ＨＴＭＬファイルを操作者が使用しているブラウザで読み込み表示する（ステップ２０９、図１６参照）。そして、被処理ＨＴＭＬファイル画像５上に操作パネル１０及びプレビューウインドゥを表示する（ステップ２１０）。
操作パネル１０表示後、デフォルトのオブジェクトの識別番号を記録部に送る（ステップ２１１）。なお、図１６の場合、デフォルトとして、可動な画像の「指」が選択されているので、その識別番号を記録部に送る。また、操作者が変更した場合、その変更後のオブジェクトの識別番号を記録部へ送り（ステップ２２０）、その識別番号に対応したオブジェクトを読み込む（ステップ２２１）。この段階で内部での準備が完了し、操作者の指示を待つ。
録画ボタン１９が押されると、ステップ２３２において、方式▲１▼の場合（既存ファイル使用の場合）は、音声再生部は音声再生を開始し（音声ファイルの使用を選択した場合）、動画再生部は動画のプレビューウインドウを開き動画再生を開始する（動画ファイルの使用を選択した場合）。また、方式▲２▼の場合は、ステップ２３３において、音声録音部は録音を開始し（音声を同時録音する場合）、動画録画部は録画を開始する（動画を同時録画する場合）。
再生や録音（録画）と同時に、ポインティングデバイス検出部は、マウスカーソルの位置情報の検出を開始する（ステップ２３４）。以後、マウスカーソルの位置を常に監視する。そして、マウスカーソルがＨＴＭＬファイル画像５の表示領域外（ここで、操作パネル１０上もＨＴＭＬファイル画像の表示領域外である）にあるとき、音声・動画の記録・再生を一時停止する（ステップ２３６）。また、ＨＴＭＬファイル画像５の表示領域内にマウスカーソルが移動したときには、音声・動画の記録・再生の一時停止を解除し、記録・再生を再開する（ステップ２３８）。なお、操作者によりマウスのキャンセルボタン（右ボタン）が押された場合も、音声・動画の記録・再生を一時停止する（ステップ２４３）。そして、再度一時停止が押されたとき、一時停止を解除し、記録・再生を再開する（ステップ２４５）。
そして、録画ボタン１９が押された後停止ボタン２２が押されるまでの間、一時停止状態である場合を除き、マウスの決定ボタン（左ボタン）が押されている場合には、現在選択されているオブジェクトをマウスカーソルの位置に表示する（ステップ２４７）。また、オブジェクトの表示と共に、音声再生部又は動画再生部（方式▲１▼の場合）或いは音声録音部又は動画録画部（方式▲２▼の場合）よりサンプリング周期ごとに一定間隔で現在時刻を取得（具体的には、再生・記録の０秒からの時間軸上のどの位置にいるかで現在の時刻を取得）し、時間情報として記録部へ送ると同時に、現在のマウスカーソルの位置情報を取得（具体的には、被処理ＨＴＭＬファイルの左上を基点としてＸ及びＹ座標を取得し、Ｘ又はＹ座標の値が負になる場合には切り捨てられ０で記録し、他方、正の方向への制限はなくその値を記録する）して記録部へ送る（ステップ２４９）。そして、マウスの決定ボタン（左ボタン）が押され続けている限り、上記の現在時刻及び位置情報の取得を繰り返す。
その後、操作者により停止ボタン２２が押される（ステップ２５０）と、方式▲１▼の場合は音声再生部又は動画再生部は再生を停止し、方式▲２▼の場合は音声録音部又は動画録画部の記録を停止する（ステップ２５１）。また、方式▲１▼の場合は、音声や動画の再生が終了すると、停止ボタン２２が押されていなくとも停止処理を行なう（ステップ２４１）。そして、ポインティングデバイス検出部は、マウスカーソルの位置情報の検出と監視を停止する（ステップ２５２）。停止を解除すると操作者の命令待ちの状態となる。
次に、再生ボタン配置ボタンが操作者によって押される（ステップ２２６）と、ボタン配置ウィンドウを表示し（ステップ２２７）、操作者により再生ボタンの種類や位置が決定された後（ステップ２２８）、オブジェクトの場合と同様に、再生ボタンの種類（識別番号）と位置情報を記録部へ送る（ステップ２２９）。
その後、保存ボタンが押されると（ステップ２２４）、方式▲１▼の場合は、動画録画部が記録した動画（同時録画の場合）または音声録音部が録音した音声（同時録音の場合）につき、ステップ２０８、ステップ２３３、ステップ２３８及びステップ２４５で受け取った情報を基にして、それぞれ動画ファイル又は音声ファイルを作成する。また、ステップ２１２、ステップ２２０、ステップ２２９及びステップ２４９において記録部に書き込まれた情報を基にして、オブジェクト情報ファイル（例えば、ＪＳファイルの形式）を作成する（ステップ２５５）。オブジェクト情報ファイルには、使用された音声ファイル又は動画ファイルのパス及びファイル名（方式▲１▼の場合）或いは作成された音声ファイル又は動画ファイルのパス及びファイル名（方式▲２▼の場合）；入力されたオブジェクトに関する情報｛例えば、オブジェクトの識別番号、オブジェクトに必要な情報（例えば、描画オブジェクトの場合は線の太さや色、テロップの場合はテロップで表示するテキストの内容）、時間軸と対応させた位置情報｝；再生ボタンの識別番号及び位置情報、等を書き込む。このように、入力されたオブジェクトの数だけ、オブジェクト単位でオブジェクト情報ファイルに情報を追加していくため、オブジェクト同士は独立している。なお、ひとつの時間軸（音声ファイル又は動画ファイル）につき作成されるオブジェクト情報ファイル、配置する再生ボタンはひとつである。
次に、被処理ＨＴＭＬファイルに修正を加える。修正内容は、被処理ＨＴＭＬファイルと作成したオブジェクト情報ファイルとをリンクさせる情報（例えば、オブジェクト情報ファイルのパス及びファイル名）と、オブジェクト情報ファイルを読み込むためのエンジン（駆動部分）の場所を特定する情報（例えば、エンジンのパス及びファイル名）の書き込みである（ステップ２６０）。なお、この修正は、被処理ＨＴＭＬファイルのソースに数行追加するのみなので、動作入力後に被処理ＨＴＭＬファイルを修正することも可能である。但し、被処理ＨＴＭＬファイル作成ソフトによっては、本システムで追加した内容を無効にするものもあるため、ソースレベルでの修正が望ましい。なお、被処理ＨＴＭＬファイルを修正しない方式も可能であり（ステップ２５９）、これについての詳細は第二の態様の項目で述べる。更に、時間軸として動画を使用しているか否か判断し（ステップ２５６）、使用している場合は、被処理ＨＴＭＬファイルを修正し、被処理ＨＴＭＬファイル画像を画面に表示させたときに、被処理ＨＴＭＬファイル画像の横の部分に、動画を閲覧できるように配置する（ステップ２５７）。
なお、このステップ２０１からステップ２５７の作業を繰り返しひとつの被処理ＨＴＭＬファイルに対して行うことにより複数の時間軸（音声ファイル又は動画ファイル）を割当てることができるが、この場合はオブジェクト情報ファイル、配置する再生ボタンも複数となる。
ブラウザを閉じる指示入力後、操作パネル１０を閉じ（ステップ２６１）、本プログラムを終了する。
（ｄ）「既存のファイルに指示を追加」及び「ｗｅｂ公開用のＨＴＭＬを作成」に関する説明
最後に、入力方法選択ウインドゥ中の他の選択項目である、「既存のファイルに指示を追加」及び「ｗｅｂ公開用のＨＴＭＬを作成」つき説明する。
★「既存のファイルに指示を追加」
この項目は、本システムにより既にオブジェクト情報が組み込まれた被処理ＨＴＭＬファイルに追加で指示を入力する際に選択する。操作方法は、ファイル選択ウインドウから「既存のファイルに指示を追加」の項目を選択し、次いで、追加入力を行う被処理ＨＴＭＬファイルを選択する。但し、時間軸となる音声ファイルや動画ファイルは既に被処理ＨＴＭＬファイルとリンクしているため、選択する必要はなく、また、同時入力も必要ない。被処理ＨＴＭＬファイルを選択し、そのファイルを読込んだ後、リンクしているオブジェクト情報ファイルを読込み（記録部へ送る）、音声ファイル名や動画ファイル名を音声再生部や動画再生部へ送る。その後ステップ２０９に進み、以降は方式▲１▼の場合と同じである。
★「ｗｅｂ公開用のＨＴＭＬファイルを作成」
通常、被処理ＨＴＭＬファイルに追加されるエンジン部分のファイルの位置指定はＵＲＬで記述される。通常は使用しているローカルマシンのパスが指定されている。そこで、「ｗｅｂ公開用のＨＴＭＬファイルを作成」の項目を選択し、エンジン部分のアドレスをインターネット上のＵＲＬを指定することにより、作成した被処理ＨＴＭＬファイルをｗｅｂ上で使用することができるようになる。なお、以下の第二の態様で用いられるＨＴＭＬファイル（予めエンジンのＵＲＬ指定がなされているもの）も、この項目を選択することにより作成される。
２．第二の態様
本発明の第二の態様は、第一の態様の時間軸をなくしたものである。すなわち、音声ファイルや動画ファイルの使用や作成をせず、オブジェクト情報の書き込みと被処理ファイルとのリンクを行うというものである。以下では、まず、第二の態様に係るシステムにおける、各機能、操作手順及び内部処理につき説明する。
（ａ）各機能の説明
システムを起動させ、被処理ＨＴＭＬファイルの特定を行なった後、オブジェクト情報入力可能状態になる。その際、画面上に操作パネルが表示される。操作パネル上には、各種入力制御機能（削除ボタン等）、オブジェクト選択機能（静止画像、描画可能な基本的な図形の一覧、テロップ入力、動画像等）、結果物作成支援機能（保存ファイルの保存、プレビュー、再生ボタン配置等）が設けられている。以下、上記各種機能につき説明する。
★各種入力制御機能
＊削除ボタン：このボタンを押すと、入力したオブジェクト情報（一時記憶領域に保存されている）が消去される。
＊表示・非表示切替ボタン：被処理ＨＴＭＬファイル画像上に配置したオブジェクトの表示・非表示の切替えを行なう。
★オブジェクト選択機能
＊静止画像の一覧：システムに登録されている「静止画像」の画像データの一覧が表示されている。操作者は、この中から使用したい静止画像を選択する。なお、操作者が、新規な「静止画像」の画像データをシステムに追加した場合には一覧に追加される。操作者は、静止画像を被処理ＨＴＭＬファイル画像にシールのように貼り付ける。
＊描画可能な基本的な図形の一覧：描画可能な基本的な図形として、自由線、直線、四角形などが登録されている。この描画図形は軌跡が残るため、強調したい部分にマーカーをいれるときや、お絵かきソフトのように被処理ＨＴＭＬファイル画面上に自由に書き込み・描き込みを行うとき等に有効である。
＊テロップ：これを選択すると、操作パネル上の所定部分に文字列を入力することが可能となり、入力された文字列は、被処理ＨＴＭＬファイル画面の指定の場所に貼り付けられる。補足説明等に利用できる。
＊動画像：システムに記録されている動画像を選択することにより、シールのように画像内に貼り付けることができる。
★結果物作成支援機能
＊保存ボタン：このボタンを押すことにより、入力したオブジェクト情報を反映したオブジェクト情報ファイル（データファイル）が作成される。また、被処理ＨＴＭＬファイルとオブジェクト情報ファイルとをリンクさせる作業が行なわれる。
＊再生ボタン配置ボタン：このボタンを押すことにより、ボタン配置ウィンドゥを表示させる。ボタン配置ウインドゥには、複数のボタン候補が一覧になっており、操作者は、この中から好みのボタンを選択し、被処理ＨＴＭＬファイル画像内の希望の場所に配置する。
★オブジェクト情報の入力方法
オブジェクト情報は、記録時（保存ボタンが押されるまで）、マウスの決定ボタン（左ボタン）が押されている間のみ記録される。なお、オブジェクト情報は、マウスカーソルの位置にあわせて表示される。
★オブジェクト情報の入力可能範囲
被処理ＨＴＭＬファイル画面の左上を基点（０，０）として、正の方向への制限はない（すなわち、右方向、下方向に制限はない）のに対し、上・左方向の負の方向へは制限が設けられており、負の方向への移動は不可能になっている（オブジェクトはそこで止まってしまう）。
（ｂ）操作手順の説明
まず、操作者は、本システムを起動させる。次に、起動後、被処理ＨＴＭＬファイルのパス・ファイル名を入力する。または、入力の代わりに、表示されたファイル選択ウインドゥよりファイルを選択してもよい。なお、この場合、入力（選択）するＨＴＭＬファイルは、ローカルのコンピュータ上にあることが好ましい。別のシステム起動方法として、被処理ＨＴＭＬファイルをブラウザで読込む際にシステムを自動的に起動することも可能である。この場合、被処理ＨＴＭＬファイルはローカルのコンピュータ上、インターネット上のどちらでもよい。
その後、画面内に、被処理ＨＴＭＬファイル画像と操作パネルが表示される。そして、操作パネルのオブジェクト選択機能により、希望のオブジェクトを選択する。
この段階で、オブジェクト情報の入力待機状態となっている。操作者は、マウスを用いてオブジェクトを希望の位置に配置する。なお、描画オブジェクトを選択した場合には、描画中マウスの左ボタンを押しながらマウスを移動させる（図２７参照、ただし図２７では操作パネルは画面外、または閉じている）。描画オブジェクト以外のオブジェクトを選択した場合には、貼付位置の決定を行なう。
オブジェクト情報の入力が終了したら、被処理ＨＴＭＬファイル画面上に再生時の再生ボタンを配置する。
最後に、保存ボタンを押し、ブラウザを閉じることにより、本操作は終了する。
（ｃ）内部処理の説明
次に、内部処理につき、図８及び図９のフローチャートに従い説明する。なお、以下では、被処理ＨＴＭＬファイルに本システムのＵＲＬが書き込まれている場合の内部処理につき説明する。
まず、操作者がブラウザで被処理ＨＴＭＬファイル画像を画面に表示する（ステップ４０１）と共に、被処理ＨＴＭＬファイルに書き込まれた本システム（エンジン部分）のＵＲＬに従い、本システムを起動し、操作パネルを表示する（ステップ４０２）。この際、操作パネルは、被処理ＨＴＭＬファイル画像に被さらないようにする。
操作パネル表示後、オブジェクトの識別番号を記録部へ送り（ステップ４０７）、その識別番号に対応したオブジェクトを読み込む。
そして、ポインティングデバイス検出部は、マウスカーソルの位置情報の検出を開始する。そして、描画オブジェクトが選択されている場合には、保存ボタンが押されるまでの間、被処理ＨＴＭＬファイル画像内でマウスの左ボタンが押されている場合には、描画オブジェクトの軌跡を画面に表示する（ステップ４１１〜ステップ４１３）と共に、マウスカーソルの位置情報を取得（具体的には、被処理ＨＴＭＬファイルの左上を基点としてＸ及びＹ座標を取得し、Ｘ又はＹ座標の値が負になる場合には切り捨てられ０で記録し、他方、正の方向への制限はなくその値を記録する）して記録部へ送る（ステップ４１２）。そして、マウスの決定ボタン（左ボタン）が押され続けている限り、軌跡の表示と位置情報の取得を繰り返す。また、その他のオブジェクトが選択されている場合には、そのオブジェクトの識別番号やそのオブジェクトに必要な情報（例えば、テロップの場合は表示する文字列の内容）を記録部に送り（ステップ４０７）、カーソルの位置にそのオブジェクトを表示し、決定ボタンが押された場合（ステップ４０９）には、その位置情報を記録部へ送る（ステップ４１０）。
次に、再生ボタン配置ボタンが操作者によって押されると、ボタン配置ウィンドウを表示し、操作者により再生ボタンの種類や位置が決定された後、オブジェクトの場合と同様に、識別番号と位置情報を記録部へ送る（フローチャートには表示せず）。
その後、保存ボタンが押されると、ステップ４０７、ステップ４１０及びステップ４１２において記録部に書き込まれた情報を基にして、オブジェクト情報ファイル（データファイル）を作成する（ステップ４１４）。オブジェクト情報ファイルには、入力されたオブジェクトに関する情報｛例えば、オブジェクトの識別番号、オブジェクトに必要な情報（例えば、描画オブジェクトの場合は線の太さや色、テロップの場合はテロップで表示するテキストの内容）、位置情報｝；再生ボタンの識別番号及び位置情報、等を書き込む。なお、オブジェクト情報ファイルの作成先は、ローカルコンピュータ上でもサーバ上どちらでもよく、用途により適当に指定する。
次に、オブジェクト情報ファイルと被処理ＨＴＭＬファイルとを関連付けたデータ（具体的には、オブジェクト情報ファイルと被処理ＨＴＭＬファイルとのリンク情報、これらのパス・アドレス、必要に応じて操作者を特定する情報）を所定のデータベースに記録する（被処理ＨＴＭＬファイルには修正を加えない）。なお、このデータベースの場所は、本システムが読み込むため、本システムと同じコンピュータ上に存在することが好ましい。この方式を採用することにより、操作者を特定する情報がデータベースに記録されている場合には、本システムで被処理ＨＴＭＬファイルに書き込んだ内容を本人のみに表示可能にしたり、特定の相手に書き込んだ内容を見せたり、不特定多数の相手に見せることも可能となる。
被処理ＨＴＭＬファイルを表示しているブラウザを閉じることにより、操作パネルを閉じ、本プログラムを終了する（ステップ４１６）。
以上、予め被処理ＨＴＭＬファイルにエンジンのＵＲＬ指定を記述している場合について説明したが、それ以外に、ブラウザの機能に本システムを追加（拡張）する方法、プロキシを使用する方法（ＨＴＴＰデーモンに機能を追加する）がある。これらの場合は、被処理ＨＴＭＬ、ファイルに全く修正を加えることなく本システムを使用することが可能となる。
３．第三の態様
第三の態様は、音声ファイル又は動画ファイルとオブジェクト情報ファイルとをセットにし（パーツ化）、被処理ファイル画像にそのパーツを組み込む技術である。
パーツの作成方式は、第一の態様と基本的には同じであり、既存の音声ファイルや動画ファイルを用いつつ、オブジェクト情報を入力する方式、及び、音声や動画を入力しつつ、オブジェクト情報を入力する方式の二通りある。簡略化したフローチャートを図１０及び図１１に示す。但し、パーツ作成の際には、第一の態様と異なり、被処理ＨＴＭＬファイルを入力する必要がなく、雛型のＨＴＭＬファイルを用意し、それをデフォルトの設定にしておき、必要に応じ設定変更を行なえばよい。
そして、パーツ作成後（保存ボタンを押した後）、オブジェクト情報ファイルと音声ファイル又は動画ファイルとは、リンクした状態で（セットで）保存される。また、パーツ再生順表示ウインドゥやパーツ一覧表示ウインドゥに表示されるパーツ指標ファイル｛例えば、そのパーツの最終静止画像、パーツの名称や説明（メモ）｝もこのパーツの構成要素である（図２８参照）。更に、このパーツを特定するＩＤ情報もこのパーツの構成要素である。
以下では、作成された様々なパーツを被処理ＨＴＭＬファイルに組み込むシステムにおける、各機能、操作手順及び内部処理につき説明する。
（ａ）各機能の説明
システムを起動させ、被処理ＨＴＭＬファイルの特定を行なった後、パーツ組込み可能状態になる。その際、画面上に操作パネルが表示される。操作パネル上には、主に、パーツ一覧表示ウインドゥとパーツ再生順表示ウインドゥが備わっている。以下、これらにつき説明する。
★パーツ一覧表示ウインドゥ
パーツ一覧表示ウインドゥには、データベースに記録されているパーツのリスト（パーツの指標）が表示される（図２８参照）。操作者は、このウインドゥで被処理ＨＴＭＬファイル画像に組み込みたいパーツを選択する。
★パーツ再生順表示ウインドゥ
パーツ再生順指定ウインドゥは、被処理ＨＴＭＬファイルの全体の時間を管理する機能を有する。パーツが被処理ＨＴＭＬファイル画像上に配置されると、そのパーツの指標（例えば、そのパーツの最終静止画像）を再生順指定ウインドウに表示する。なお、パーツが配置される度に、このパーツ再生順指定ウインドゥに順番に追加する。但し、表示されたパーツの指標をドラッグさせることにより、パーツ再生順指定ウインドゥ内におけるそのパーツの順番を変更することができる。
（ｂ）操作手順
まず、操作者は、被処理ＨＴＭＬファイルを入力（選択）する。なお、入力（選択）する被処理ＨＴＭＬファイルは、ローカルのコンピュータ上でもインターネット上でもどちらでもよい。
次に、表示された操作パネル上のパーツ一覧ウインドゥ（図２８参照）から、被処理ＨＴＭＬファイル画像に貼付したいパーツを選択する。そして、矩形に表示されたそのパーツのサイズを参考にして、画面からその矩形がはみ出ないようにマウスカーソルで希望の位置まで移動し、貼付位置でマウスの左ボタンを押す。この操作を、貼付を希望するパーツ分繰り返す。
次に、パーツの表示順序を決定する。すべてのパーツを貼付した段階では、貼付順に、各パーツの目印がパーツ再生順表示ウインドゥに並んでいる。そこで、操作者は、順序を変えたいパーツの指標をドラッグし、パーツ再生順表示ウインドゥ内の希望の順番の場所に移動させる。
最後に保存ボタンを押して組込み作業を終了する。
（ｃ）内部処理の説明
パーツ貼り込みの内部処理を、図１２のフローチャートに従い説明する。
まず、入力された被処理ＨＴＭＬファイルをブラウザで読み込み表示する。そして、被処理ＨＴＭＬファイル画像に被さらないように、操作パネルを表示する。
そして、その操作パネル内に、データベースに登録されているパーツにつき、パーツ一覧表示ウインドゥに表示するパーツの指標データ｛例えば、パーツの名称や説明（メモ）｝、パーツ再生順表示ウインドゥに表示するパーツの指標データ（例えば、最終静止画像）、オブジェクト情報ファイル・音声ファイル・動画ファイルのファイル名を記録部に送る（ステップ６４１）。そして、記録部に送られた情報を基に、パーツ一覧をディスプレイ上に表示する（ステップ６４２、図２８参照）。また、パーツ再生順指定ウインドウも表示する（ステップ６４３）。
操作者によりパーツが選択される（ステップ６４４）と、選択されたパーツのオブジェクト情報ファイルを読み込み、そのオブジェクト情報ファイルに書かれている位置情報（Ｘ，Ｙ座標）の最大値に基づきそのパーツのサイズ（動作範囲）を把握し（ステップ６４５）、そのサイズをマウスカーソルの位置に合わせて矩形で表示する（ステップ６４６）。
次に、マウスの左ボタンが押された場合、そのパーツの基点の位置をＨＴＭＬファイルより取得する（ステップ６４８）。また、パーツ再生順表示ウインドゥ内に、このパーツの指標（例えば、最終静止画像）を、現在配置済みのパーツの指標の後に追加する（ステップ６４９）。そして、配置されたパーツを特定する情報（ＩＤ）、基点の位置情報、再生順情報を記録部へ送る。この処理をパーツの数だけ繰り返す。
次に、パーツ再生順の変更があった場合は、変更内容をパーツ再生順表示ウインドゥに反映させる（ステップ６５２）と共に、変更後の再生順を記録部へ送る（ステップ６５１）。
そして、保存ボタンが押されると、時間軸となっているファイル（音声ファイルや動画ファイル）を再生順に合成し、パーツ毎にばらばらになっていたこれらファイルを合成する（ステップ６５５）。具体的には、各パーツの音声ファイルや動画ファイルがもっている時間情報もばらばらのため、再生順に時間情報も再計算を行なう。また、オブジェクト情報ファイルに関しても、記録部のデータ（位置データ）を再計算し、パーツ毎にばらばらになっていたこれらファイルを合成する（ステップ６５４）。具体的には、複数のパーツのオブジェクト情報を、パーツの基点情報を基に、現在のＨＴＭＬファイルのＸＹ軸に変換し、時間情報をパーツ再生順にひとつの時間軸に変換する。
最後に、被処理ＨＴＭＬファイルに修正を加える（ステップ６５６）が、これは第一の態様の場合と同じである。そして、本システムを閉じる指示の後、表示したウインドゥをすべて閉じ（ステップ６５８）、本システムを終了する。
４．本システムの利用例
（１）インターネット学習
教師（クライアント）は、本システムを利用して、ＨＴＭＬ形式で作成した教材に音声や動画を追加した後、サーバ上にアップロードする（なお、このファイル中には、エンジンのＵＲＬが指定されている）。生徒側（クライアント）は、サーバ上のＨＴＭＬファイルを閲覧する。そして、ＨＴＭＬ上の再生ボタンを押すことにより、指定されているエンジンを起動し、オブジェクト情報ファイルに書かれているデータをもとに、音声又は動画に合わせてオブジェクトの動作、配置が行われる。これによれば、例えば、先生が黒板で行うような説明を、時間や物理的な距離に関係無く、何度でも受けることができる。
（２）掲示板、ＨＴＭＬファイル上への書きこみ
インターネット上のＨＴＭＬファイルは、基本的に作成者しか編集できないため、第三者が情報を付加したい場合は、掲示板に書きこみを行う方法が主である。ところが、このシステムを利用することによりＨＴＭＬファイル上に情報（書きこみ、画像の添付）を付加することが可能となる。
システムを利用する手段を説明する。まず、ホームページの制作者が、エンジンのＵＲＬ指定をＨＴＭＬに付加し、ホームページに反映させる。これにより、エンジンのＵＲＬが指定されているＨＴＭＬファイルをブラウザで読込んだ利用者すべてが、そのＨＴＭＬファイルに書きこみを行うことができるようになる。この場合、起動するエンジンが読込むデータベースにＨＴＭＬファイルとリンクしているオブジェクト情報ファイルのＵＲＬも登録されるが、ここでユーザ情報を登録し、管理することにより、書きこんだ内容を不特定多数の人が閲覧が可能であったり、本人のみが閲覧可能であったり、特定の相手のみが閲覧可能といった設定も行うことが可能となる。なお、ユーザを管理することにより、書きこんだ内容を不特定多数の人が閲覧が可能であったり、本人のみが閲覧可能であったり、特定の相手のみが閲覧可能といった設定も行うことが可能となる。
（３）商品説明
Ｗｅｂ上で商品を販売している店が増えているが、当然に、写真と説明のみで、実際に店頭で店員が商品を説明している場合と比べると押しが弱く、顧客側に高い購買意欲がないとなかなか購入には至らない。そこで本システムを利用することにより、販売側が商品のポイント等を詳しく音声付きで説明できるために、より購買意欲を高めることが可能となる。
（４）説明書、ヘルプ
例えば、ビデオの操作や、パソコンの操作等で分からない所があった場合、問題を解決するまで、ユーザは説明書の中から説明されているところを探し出し、さらに対応しているボタンを探し・・・といった大変な作業が必要になる。しかし、本システムを利用することにより、簡単な説明の場合は、ボタンが並んでいる操作部の写真上で「ここを押すと・・・」といった直接画面上を指して説明することが可能になる。また、パソコンのヘルプの場合にも、通常はヘルプの画面を別ウインドウで開いて、そこで画面を表示して説明するが、本システムを利用することにより、別ウインドウを開くことなくユーザの画面上で説明することができる。どちらも、ひとつの画面上で音声付きで説明が可能になるため非常に分かりやすくなる。
（５）動画、ビデオの説明
動画に合わせて説明が可能になるため、映画、ビデオの紹介を行うホームページや、手話の教材、楽器の指の使い方など、今までは動画の中にテキストや絵を含めて（テレビ、ビデオなどで）配信されていたが、本システムを利用することにより、動画とテキストを別に分けての説明が可能となるため、動画を邪魔することなくテキストや、絵を表示し詳しく説明することが可能となる。
（６）音楽教材の説明
音声、動画に合わせて説明が可能なため、実際に音楽を流し、楽譜に書きこみを行いながら説明することができる。
【図面の簡単な説明】
図１は、本発明に係る一実施形態のシステム構成図である。図２は、本発明に係る一実施形態のハードウエア構成図である。図３〜図７は、第一の態様の内部処理フローチャートである。図８及び図９は、第二の態様の内部処理フローチャートである。図１０は、第三の態様の操作フローチャートである。図１１は、第三の態様におけるパーツ作成の内部処理フローチャートである。図１２及び図１３は、第三の態様におけるパーツ組込みの内部処理フローチャートである。図１４は、第一の態様のシステムを起動した後の、入力方法選択ウインドウが表示された状態を示す図である。図１５は、第一の態様において、入力方法選択ウインドウで「新しく指示を入力」が選択された後の、被処理ファイル（対象ＨＴＭＬ）と音声ファイル（対象ｓｏｕｎｄ）の入力指示ウインドウが表示された状態を示す図である。図１６は、第一の態様において、被処理ファイルの画像（符号５）と操作パネル（符号１０）が表示された状態を示す図である。図１７は、画像オブジェクトのうち、可動な画像の一覧が表示された状態を示す図である。図１８は、画像オブジェクトのうち、描画可能な基本的な図形の一覧が表示された状態を示す図である。なお、線の色は符号６で、線の太さは符号７で選択可能である（図１６参照）。図１９は、テロップを示す。テロップとして表示する文字や記号等は、符号２７の枠内に入力する。図２０は、固定画像の一覧が表示された状態を示す図である。本図においては、１２個の固定画像が登録されている（符号２８）。図２１は、制御ボタンが表示された状態を示す図である。図２２は、第一の態様において、音声ファイルを介して音声を入力しながら、可動な画像（指）３０を、線３１の軌跡で移動させている状態を示す図である。図２３は、入力時の音声ファイルの時間軸を変更するために、操作パネルから速度変更一覧３２を表示させた状態を示す図である。図２４は、付加情報が組み込まれた被処理ファイルを再生する前の状態を示す図である。符号３３は再生ボタンを示し、これを押すと再生動作が始まる。図２５は、図２４における再生ボタンを押した後の、可動な画像（指）の動きを示した図である。図中、符号３５は、可動な画像（指）の軌跡を示す。符号３４は、再生時に、早送り、巻き戻し、停止及び一時停止させるための操作ボタンを示す。図２６は、第二の態様において、システムを起動した後に表示される画面を示す図である。符号３６は、被処理ファイルを示す。図２７は、第二の態様において、画像オブジェクト（線）を移動させた後の軌跡を示す図である。符号３７及び３８が、オブジェクト情報として記録される線の軌跡である。図２８は、第三の態様において用いられる、パーツ一覧表を示す。本図では、５個のパーツ（Ｎｏ．１〜５）が表示されている。図２９は、第三の態様における、複数のパーツ（オブジェクト情報ファイルと音声ファイルとの複数のセット）と被処理ファイル（ＨＴＭＬファイル）とがリンクした状態を示す図である。

Claims (10)

1. 第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；
   音声又は動画を入力しながら、上記第１の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを移動又は配置するステップと；
   上記オブジェクトの第２の画面における位置情報を時間と関連づけて得るステップと；入力された音声情報又は動画情報に基づき、音声ファイル又は動画ファイルを作成するステップと；
   上記画像オブジェクトを特定する情報と上記位置情報と上記時間情報に基づき、オブジェクト情報ファイルを作成するステップと；
   第１のファイルを、上記音声ファイル又は上記動画ファイル及び上記オブジェクト情報ファイルと関連づけるステップと；
   第１のファイルを第１の画面で表示させつつ、入力された音声又は動画とリンクして、第２の画面内で上記オブジェクトを経時的に移動又は配置して表示するステップ
   とを含む、表示画面に付加情報を重畳表示する方法。
2. 第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；
   上記第１の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを移動又は配置するステップと；
   上記画像オブジェクトの上記第２の画面上における位置の情報を得るステップと；
   上記画像オブジェクトを特定する情報と上記位置情報に基づき、オブジェクト情報ファイルを作成するステップと；
   第１のファイルを、上記オブジェクト情報ファイルと関連づけるステップと；第１のファイルを第１の画面で表示させつつ、第２の画面内で上記画像オブジェクトを表示するステップ
   とを含む、表示画面に付加情報を重畳表示する方法。
3. 第１のファイルを呼び出し、その画像を第１の画面上に表示するステップと；
   上記第１の画面上に仮想的に存在する上記第２の画面の所定の位置に、音声ファイル又は動画ファイルとリンクした、付加されるべき画像オブジェクトを表示するステップと；
   上記画像オブジェクトの第２の画面における位置情報を得るステップと；
   上記音声ファイル又は動画ファイルの出力順序を特定するステップと；
   特定された出力順序に従い、上記音声ファイル又は動画ファイルを出力しつつ、上記音声ファイル又は動画ファイルとリンクした上記画像オブジェクトを第２の画面内で表示するステップ
   とを含む、表示画面に付加情報を重畳表示する方法。
4. 第１のファイルにはいかなるリンク情報も付加しない、請求の範囲（１）ないし（３）に規定された方法。
5. 音声又は動画を入力しながら、第１の画面の画面上に仮想的に存在する第２の画面内で、画像オブジェクトを上記第２の画面内で移動又は配置するステップと；
   上記画像オブジェクトの第２の画面における位置情報を時間と関連づけて得るステップと；
   入力された音声又は動画に基づき、音声ファイル又は動画ファイルを作成するステップと；
   上記画像オブジェクトを特定する情報と上記位置情報と上記時間情報とを関連づけて、オブジェクト情報ファイルを作成するステップと；上記第１の画面の上記画面表示にかかるファイルを、上記音声ファイル又は上記動画ファイル及び上記オブジェクト情報ファイルと関連づけるステップ
   とを含む、表示画面に付加情報を重畳表示するソースファイルの作成方法。
6. 第１の画面の画面上に仮想的に存在する第２の画面内で、付加されるべき画像オブジェクトを上記第２の画面内で移動又は配置するステップと；
   上記画像オブジエクトの上記第２の画面上における上記位置の情報を得るステップと；
   上記画像オブジェクトを特定する情報と上記位置情報に基づき、オブジェクト情報ファイルを作成するステップと；
   上記第１の画面の上記画面表示にかかるファイルを上記オブジェクト情報ファイルと関連づけるステップ
   とを含む、表示画面に付加情報を重畳表示するソースファイルの作成方法。
7. 第１の画面上に仮想的に存在する上記第２の画面の所定の位置に、音声ファイル又は動画ファイルとリンクした、付加されるべき画像オブジェクトを表示するステップと；
   上記画像オブジェクトの第２の画面における位置情報を得るステップと；
   上記音声ファイル又は動画ファイルの出力順序を特定するステップ
   を含む、表示画面に付加情報を重畳表示するソースファイルの作成方法。
8. 第１の画面にかかるファイルにはいかなるリンク情報も付加しない、請求の範囲（５）ないし（７）に規定された方法。
9. 請求の範囲（１）ないし（８）に規定されたステップを実行するプログラムを格納する、磁気記録媒体。
10. 請求の範囲（９）に規定された磁気記録媒体を有する、コンピュータシステム。

Images