JP3083805B2

JP3083805B2 - ブラウザ操作自動実行システムおよびその方法

Info

Publication number: JP3083805B2
Application number: JP10243854A
Authority: JP
Inventors: 義則青木; 史郎安藤; 周中島
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1998-08-28
Filing date: 1998-08-28
Publication date: 2000-09-04
Anticipated expiration: 2018-08-28
Also published as: JP2000076266A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願は、ウェブブラウザ（Ｗｅｂ
Ｂｒｏｗｓｅｒ）操作自動実行システムおよびその方
法に関し、特に既存のウェブブラウザへの操作イベント
を記録／編集／再生するプログラムによって記録した操
作イベントをウェブブラウザで再生する、自動実行シス
テムおよびその方法に関する。なお、本願明細書中にお
いて、ウェブブラウザとはネットスケープ社のネットス
ケープコミュニケータ（Netscape Communicator）、マ
イクロソフト社のインターネットエクスプローラ（Inte
rnet Explorer）などの典型的なウェブ上のコンテンツ
を見るためのブラウザを指すものとする。

【０００２】

【従来の技術】従来、ウェブ上で操作の記録／再生を行
う技術として、以下のものが知られている。（１）SMIL (Synchronized Multimedia Integration La
nguage) XML1.0を適用した記述言語で、動画、音声、図形、テキ
ストなど異なるメディアのオブジェクトを同期させるこ
とができる。SMILを使用することで、ウェブ上でスライ
ド、音声、ビデオ映像、文書を同期させたマルチメディ
ア・プレゼンテーションを実現することができる。リア
ルシステムＧ２（RealNetworks社のRealSystem G2）
は、SMILに対応したストリーミング・メディア・プレイ
ヤーである。しかしながらこの技術では、コンテンツを
SMILで記述する必要があり、既存のHTML (Hyper Text M
arkup Language) コンテンツがそのままでは使えない。
またコンテンツを表示するウィンドウのサイズ変更、位
置変更などのウィンドウ操作、およびマウスの移動など
を扱えない。さらにコンテンツを表示するウィンドウ上
への任意の図形や文字の表示機能が無い。（２）サイトクルーズ／パーソナル（SiteCruise/Perso
nal） NEC社によるウェブページ自動閲覧ソフトで、URL (Unif
orm Resource Locator)遷移とスクロールの自動実行を
行なう。記録したデータは”シナリオ”と呼ばれ、専用
のエディタによって作成、編集される。このソフトウェ
アでは、ボタン、テキストフィールド、ラジオ・ボタン
などのフォームに対する操作、ウィンドウ操作、および
マウスの動きの記録・再生はできない。また専用のエデ
ィタを用いて”シナリオ”を書く必要があるため、専用
エディタの操作に習熟する必要がある。その他、事前に
ソフトウェアをクライアントにインストールする必要が
あること、図形の描画機能が無いなどの欠点がある。（３）VDOLive3.0 画像にあわせてウェブブラウザにコンテンツをプッシュ
型配信するソフトウェアである。映像に同期してコンテ
ンツを読み込む機能を実現している。このソフトウェア
では、ブラウザ操作を記録してシナリオを記述する機能
が無い点、コンテンツを表示するウィンドウへのウィン
ドウ操作やフォームへの操作を記録・再生する機能が無
い点、図形の描画機能が無い点。また、事前にVDOLive
3.0をシステムにインストールしておく必要がある。（４）ロータス・スクリーンカム画面イメージを、そのままビデオのように記録するソフ
トウェア。このソフトウェアは画面イメージをそのまま
記録するためデータ・サイズが肥大化する。また、実際
にアプリケーションを起動しているわけではないため、
再生を一時停止し、途中からユーザが操作の続きを行な
うといった使い方ができない。図形の描画機能も無い。
記録したデータの編集ができない。また、事前にロータ
ス・スクリーンカムをシステムにインストールしておく
必要がある。（５）マイクロソフトカムコーダー（Mirosoft Camcor
der）画面イメージをそのままビデオのように記録・再生する
ソフトウェア。特徴は、ロータス・スクリーンカムと同
じである。（６）ビジュアルエイジテスト（VisualAge Test） IBM社製のデバッグ・ツールで、GUIアプリケーションの
テストを支援するプログラムである。ビジュアルエイジ
テストにはレコーダーとプレーヤーの機能があり、レコ
ーダーとプレーヤーはユーザのキー操作とマウス操作を
記録し、再生する。操作の記録はレコーダーによりロー
タススクリプト言語で記録され、スクリプト・ファイル
に保管される。プレーヤーは、そのスクリプト・ファイ
ルに従ってユーザーの操作を再現できる。このプログラ
ムはウェブブラウザに対する操作のうち、いくつかの情
報を記録できない。例えば、HTML中に記述されたアンカ
ーをクリックする操作を記録できないため、URLの遷移
を記録できない。これは、ビジュアルエイジテストのレ
コーダーで記録できる情報が、OSが提供する標準のGUI
コンポーネントに対する操作のみに限定されるからであ
る。また、ビジュアルエイジテストのプレーヤーを用い
た再生では、コンテンツの読込み終了を確認しないた
め、再生時にネットワーク環境などによってコンテンツ
の読込みが遅くなった場合などに対応できない。更に、
図形の描画機能が無い。可変速再生や特定の操作のみを
再生するなどの特殊記録・再生ができない。

【０００３】以上のように、従来技術では、既存のHTML
コンテンツをそのまま使用して、ウェブブラウザに対す
る全ての操作を記録・再生する方法を提供しない。

【０００４】

【発明が解決しようとする課題】従って、本発明が解決
しようとする課題は、ウェブブラウザに対する操作(ブ
ラウザ操作とも言う)を記録／再生する自動実行システ
ムおよび方法を提供することである。また別の課題は、
クライアント側にウェブブラウザ以外の特殊なソフトウ
ェアをインストールする必要の無い自動実行システムお
よび方法を提供することである。また別の課題は、再生
時にネットワーク環境の変化に対応できる、ブラウザ操
作自動実行システムおよび方法を供することである。ま
た別の課題は、ウェブ上のコンテンツを用いた自動実行
型プレゼンテーションや、協調作業（コラボレーショ
ン）を実現する方法及びシステムを提供することであ
る。また別の課題は、URLの遷移を記録できる、ブラウ
ザ操作自動実行システムおよび方法を供することであ
る。また別の課題は、図形の描画機能の付加したブラウ
ザ操作自動実行システムおよび方法を提供することであ
る。また別の課題は、可変速再生や特定の操作のみを再
生するなどの特殊記録・再生ができる、ブラウザ操作自
動実行システムおよび方法を供することである。また別
の課題は、操作記録データサイズを従来技術より小さく
する、ブラウザ操作自動実行システムおよび方法を提供
することである。また別の課題は、記録したデータを専
用のエディタを用いず容易に編集できる、ブラウザ操作
自動実行システムおよび方法を提供することである。ま
た別の課題は、ウェブブラウザに対する操作を記録・再
生するためのイベントを発生させるメカニズムを HTML
ファイルに挿入する方法を提供することである。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、まずブラウザにイベント記録／再生プログラムを読
み込み、コンテンツを表示するブラウザを起動する。次
にコンテンツを表示するブラウザに、イベント記録また
は再生に必要な情報を収集するイベントハンドラの埋め
込まれたページを読み込む。そしてコンテンツを表示す
るブラウザにおけるユーザのブラウザ操作に応じて、イ
ベントハンドラに従い、イベントを発生させる。イベン
ト記録／再生プログラムにより前記発生したイベントを
記録し、記録したイベントをイベント記録／再生プログ
ラムにより読み込む。読み込んだイベントに応じて、前
記コンテンツを表示するブラウザを動作させる。

【０００６】なおブラウザを起動する手段は、コンテン
ツを表示するブラウザを起動し、イベント記録／再生プ
ログラムを読み込むブラウザを起動してもよい。またブ
ラウザへイベント記録／再生プログラムを読み込む際、
まずイベント記録プログラムだけを読み込み、再生時に
イベント再生プログラムを読み込むようにしてもよい。
本発明の本質を避けることなく適宜変更可能である。イ
ベントハンドラの埋め込まれたページは、好ましくは、
プロキシ・サーバでHTMLファイルにイベントハンドラを
埋め込むことにより作成される。プロキシ・サーバは、
専用のプロキシサーバでもよいし、通常のプロキシサー
バにイベントハンドラの埋め込みを行わせてもよい。そ
の他、イベントハンドラの埋め込み行う別のプログラム
（アプレット）を用意してもよい。何れにしても本発明
の本質を外すことなく実施可能である。収集した情報
は、好ましくは全て Javaアプレットにより記録され
る。再生は、JavaアプレットとJavaScriptによりウェブ
ブラウザを制御することによって行なう。

【０００７】図８にイベント記録のフローチャートを示
す。ステップ８１０でイベント記録用のプログラムを起
動し、ステップ８２０でイベントハンドラーの埋め込ま
れたページの読み込みを行う。次にステップ８３０でユ
ーザの操作に従い、イベントを発生させる。そしてステ
ップ８４０で発生したイベント記録する。図９に記録し
たイベントを実行するフローチャートを示す。まずステ
ップ９１０で記録されたイベント（イベントシーケン
ス）を読み込み、ステップ９２０で操作イベント（イベ
ントシーケンス）の再生をブラウザに実行させる。

【０００８】イベントを発生させるメカニズムを途中で
HTMLファイルに挿入することにより、記録を考慮（レコ
ーディング・アウェア）していない既存のウェブコンテ
ンツを使った操作の記録・再生が可能となる。また記録
したデータと、記録／再生を行なうソフトウェアの両者
をウェブサーバ上に置くことにより、ウェブブラウザが
利用できる環境であれば、記録／再生が可能である。ユ
ーザの操作を記録するソフトウェア（以降、レコーダ
ー）は全てJavaアプレットとJavaScriptで記述されるた
め、クライアント側では、ウェブブラウザ以外の特殊な
ソフトウェアを必要としない。つまりクライアント側に
ウェブブラウザ以外の特殊なソフトウェアをインストー
ルする必要が無い。さらに、記録したデータには、コン
テンツのURLとユーザが行なった操作に関する情報しか
含んでおらず、従来技術に比べてデータのサイズが小さ
くなる。そして記録するデータをテキストファイルとす
ることで記録データの編集を容易にする。記録・再生す
る操作を選択したり、可変速度再生などの特殊操作も可
能となる。また、複数のウェブブラウザの提供する機能
に対して共通のコードを多く用いて、既存のウェブコン
テンツへの任意の図形や文字の図形描画機能を提供す
る。このような自動実行機能や、図形描画機能により、
ウェブ上のコンテンツを用いた自動実行型プレゼンテー
ションや、協調作業を実現する。

【０００９】記録できる情報はウェブブラウザに対する
操作（URLの遷移、ウェブのコンテンツが提供するテキ
スト・フィールド、ラジオ・ボタン、選択リストなどの
フォームへの操作、ウェブのコンテンツが表示されてい
るウィンドウへのウィンドウ操作、およびポインタ（マ
ウス等）の移動）に対して行われる。さらにウェブのコ
ンテンツが表示されているブラウザ・ウィンドウ上への
任意の図形や文字の描画機能も提供し、この操作も記録
する。

【００１０】再生時は、記録した全ての操作イベントを
再生することができる。この時、ブラウザの動作状況の
確認を取りながら処理を進めることにより、ネットワー
ク環境の違いなどによるコンテンツの読込み時間の変化
に対応する。たとえばウェブブラウザを用いたキオスク
（Kiosk）やホームバンキング（Home Banking）で操作
上のトラブルがあった場合に、それを再生することによ
り問題の再現ができる。

【００１１】さらに記録した操作イベントをネットワー
ク経由でリアルタイムに再生することにより、複数のノ
ードでのウェブブラウザの同期を取ることが可能とな
る。たとえば先生が複数の生徒に対して、同一のコンテ
ンツを表示操作したり、文字図形を描画して教育を行う
などに応用できる。さらに記録したコンテンツの再生速
度、再生する操作イベントの種類などを制御することに
より、より柔軟な再生が可能となる。例えば、URLの遷
移のみを再生することにより、複数のウェブコンテンツ
のキャッシングを行なうことが可能となる。

【００１２】

【発明の実施の形態】以下に本発明のブラウザ操作自動
実行システムの実施例を説明する。（１）操作イベント取得機能（図１〜２）まず、記録の操作を行なうためのレコーダー・ウィンド
ウのページをウェブサーバから読み込む（図１の
(1)）。レコーダー・ウィンドウは、レコーダーのJava
アプレット、通信用のJavaアプレットを含んでいる。こ
れらはイベント記録用のプログラムである。このページ
中のJavaScriptのメソッドでコンテンツ・ウィンドウを
開く（図１の(2)）。コンテンツ・ウィンドウは、ユー
ザが見たいウェブページを表示するためのブラウザウィ
ンドウである。従ってレコーダウインドウとコンテンツ
ウィンドウ２つのブラウザが起動している。なお最初に
イベント記録用プログラムを読み込むブラウザ（レコー
ダウィンドウ）を起動し、コンテンツを表示するブラウ
ザ（コンテンツウィンドウ）を起動するか、逆にコンテ
ンツを表示するブラウザを起動し、イベント記録用プロ
グラムを読み込むブラウザを起動するかは、実装上の自
由選択であり、好ましいほうを選択してよい。コンテン
ツ・ウィンドウがプロキシ・サーバにコンテンツ読込み
を要求すると（図１の(3)）、プロキシ・サーバは指定
されたウェブサーバからコンテンツを読み込み（図１の
(4)）、読み込んだHTMLファイルに埋め込みエンジン
（エンベッディング・エンジン）でイベント・ハンドラ
を埋め込み、コンテンツ・ウィンドウに返す（図１の
(5)）。なおコンテンツウィンドウには URL遷移を容易
にできるようURLの入力フィールド表示しておいてもよ
い。

【００１３】埋め込まれたイベント・ハンドラは、コン
テンツ・ウィンドウで発生したイベントと再生に必要な
情報を、レコーダー・ウィンドウに通知する。図２に、
HTMLファイルにイベント・ハンドラを埋め込んだ様子の
例を示す。この例は、ウェブページの読込みが完了した
ときに、そのイベントをレコーダー・ウィンドウに通知
する例である。図２中、"*"がつけられた行が埋め込ま
れた部分である（bodyタグの行に付いては、onLoad="no
tify"の部分のみ）。図２のHTMLファイル中の"notif
y()"がイベントを通知するメソッドである。この"notif
y()"メソッドが呼ばれると、変数"msg"にイベント情報
（時刻、イベントの種類、読み込んだコンテンツのUR
L、タイトル、および最終更新日）がセットされ、レコ
ーダー・ウィンドウの"record()"メソッドに渡され
る。"recorder()"メソッドでレコーダーのJavaアプレッ
トにイベント情報が渡されて記録される。

【００１４】JavaScriptではこのように、ウィンドウの
サイズ変化、ページの読込み、ボタンなどのクリック、
フォームの内容の変化、フォームのサブミット、マウス
の移動などについて、それぞれonResize、onLoad、onCl
ick、onChange、onSubmit、onMouseMoveなどでイベント
・ハンドラを定義できる。これによって、再生時に必要
な情報の発生をレコーダー・ウィンドウに通知すること
ができる。スクロールに関する情報は、定期的にウェブ
ブラウザのwindow.pageXOffsetプロパティとwindow.pag
eYOffsetプロパティを調べることで変化を通知すること
ができる。

【００１５】イベント・ハンドラの埋め込みをプロキシ
・サーバで自動的に行なうことにより、ユーザがコンテ
ンツに変更を加えることなく既存のコンテンツを利用で
きる。上記のようにJavaScriptでは、onXXXによってイ
ベント・ハンドラを定義できるため、HTMLで書かれたオ
リジナルのコンテンツをパッケージングすることによ
り、適切な位置にそれぞれのイベント・ハンドラを挿入
できる。また、埋め込みエンジンを持つプロキシ・サー
バを置くことができない場合、埋め込みエンジンをもつ
アプレットをウェブサーバからダウンロードし、そのア
プレットをローカル・プロキシ・サーバとして利用する
ことにより、HTMLファイルにイベント・ハンドラを埋め
込むことも可能である。その他、図１の(3)のリクエス
ト時にコンテンツウィンドウからのリクエストであるこ
とを判断することにより、汎用のプロキシサーバにHTML
ファイルにイベント・ハンドラを埋め込む機能をもたせ
るようにしてもよい。

【００１６】（２）操作イベント記録機能（図３）操作イベントの記録は、レコーダー・ウィンドウで走行
するレコーダー・アプレットが行なう。レコーダー・ウ
ィンドウでは、コンテンツ・ウィンドウのイベント・ハ
ンドラから通知されてきた情報の取捨選択と整形を行な
い、必要に応じてローカルファイルやネットワークに送
る。それぞれについて以下に示す。 (a) ネットワークへの送信アプレットの通信機能を用いてネットワークへ送る。ネ
ットワークの先で誰がどのように利用しているかはレコ
ーダーは知る必要が無い。例えば、ウェブサーバ上にお
いてあるプログラムが受け取ってそのままライブラリと
してウェブサーバ上に公開することも可能であるし、他
のノードで走行するプレーヤーが受け取って、リアルタ
イムでのウェブブラウザの同期を行なうことも可能であ
る。ただし、アプレットのセキュリティ上の制限がある
ため、アプレットは、自分がダウンロードされてきたサ
ーバ（以降、自サーバ）としか通信コネクションを張る
ことができない。それ以外のノードと通信コネクション
を張る場合には、自サーバ上に中継をしてくれるプログ
ラムを置くか、もしくはアプレットに電子署名を付与す
ることにより可能となる。 (b) ローカル・ファイルへの記録アプレットに電子署名を付与することによりローカル・
ファイルに記録することができる。

【００１７】（３）図形描画機能（図４）図形描画機能は、DynamicHTMLの機能を用いて実現す
る。本発明の図形描画機能はネットスケープコミュニケ
ータ（Netscape Communicator 以下、NC）とインターネ
ットエクスプローラ（Internet Explorer 以下、IE）で
実現方法が異なる。これは、両者が採用しているDynami
cHTMLに互換性が無いためである。図４（ａ）にNCでの
実現方法を示す。マウス・ポインタの動きにより、コン
テンツ・ウィンドウ上に、小さな正方形のイメージを貼
りつけたレイヤーを１つずつ作っていく。（なお色をつ
けたレイヤーを作成してもよい）レイヤー１上にイメー
ジd1、レイヤー２上にイメージd2を作る。これを続けて
いくことにより、図４（ｂ）のような図形が作成でき
る。マウス・ポインタの動きについては、マウス・イベ
ントによりマウス・ポインタの動きを記録し、コンテン
ツ・ウィンドウ上のマウス・ポインタが通過した場所に
レイヤを作り、マウス・ポインタのイメージを貼ること
により実現する。また、IEはレイヤーをサポートしてい
ないため、マウス・ポインタが通過した場所にIEが提供
するJavaScriptメソッド "insertAdjacentHTML()" によ
りイメージを貼りつけ、スタイル・シートの機能を利用
して位置を調整する。

【００１８】（４）操作イベント読込み機能（図５）操作イベントの読み込みは、ネットワークやローカル・
ファイルから行なう。 (a) ネットワークからの読み込みウェブサーバ上で公開されている操作イベント・シーケ
ンスは、通常のウェブコンテンツと同様にHTTPなどのプ
ロトコルを用いてダウンロードすることができる。 (c) ローカル・ファイルからの読み込み電子署名が付与されたアプレットにより、ローカル・フ
ァイルから読み込むことができる。

【００１９】（５）操作イベント再生機能（図５）コンテンツ・ウィンドウの操作は、レコーダー・ウィン
ドウ上で走行するJavaアプレットとJavaScriptにより行
われる。また、時間管理はJavaアプレットで行なう。

【００２０】（５−１）コンテンツ・ウィンドウの操作レコーダー・ウィンドウがコンテンツ・ウィンドウを開
くときに（図１の(2)）コンテンツ・ウィンドウに名前
を付与することで、レコーダー・ウィンドウからコンテ
ンツ・ウィンドウをJavaScriptのメソッドを用いて制御
できる。レコーダーアプレットは、再生時にレコーダー
・ウィンドウのJavaScriptメソッドを呼び、そこからJa
vaScriptによってコンテンツ・ウィンドウを制御する。
コンテンツ・ウィンドウに"win"という名前が付与され
ている場合、ウィンドウのサイズ変更、移動は、JavaSc
riptのwin.resizeTo(x,y)、win.moveTo(x,y)メソッドで
再生できる。またＵＲＬの遷移はコンテンツウィンド
ウのdocument.location.hrefプロパティに移動先のURL
を代入することで再生できる。しかしブラウザのセキュ
リティのためレコーダウィンドウから直接コンテンツウ
ィンドウのdocument.location.hrefプロパティを変更す
ることはできない。そのため図１の埋め込みエンジンに
よってあらかじめコンテンツウィンドウにdocument.loc
ation.hrefプロパティを変更するメソッドを埋め込んで
おきレコーダからそのメソッドを呼ぶことによってURL
遷移を再生できる。このように、JavaScriptメソッドを
利用することによって、操作イベントを再生することが
できる。

【００２１】（５−２）時間管理（図６）通常の再生時は、各イベント間の時間が記録時と同じよ
うになるようにイベントの再生を行なう。ただし、ネッ
トワークなどの状態によって、ウェブコンテンツの読み
込み時間（Loding Time）は大きく変化する恐れがあ
る。ウェブコンテンツの読み込み時間は、図６（Ａ）に
示すように、load開始イベントからload終了イベントま
での間の時間T₁である。図６（Ｂ）に示すように、再生
時にプレーヤーは、次ページの読み込みをコンテンツ・
ウィンドウに指示したら、記録時の読込み時間T₃に関係
なくコンテンツ・ウィンドウからload終了イベントを受
け取るまで待つ。また、記録時にload終了イベント前に
行なわれた操作Aに関しては、読み込みが終了しないと
操作できない危険性があるので、再生時にはコンテンツ
・ウィンドウからload終了イベントを受け取った直後に
行なう。通常速度再生では、読込み時の表示時間(Brows
ing Time) T₂と同じ長さだけウェブページを表示する。
つまり、図６においてT₄=T₂とする。

【００２２】（５−３）特殊再生 (a) 再生情報の選択再生時に、再生する情報種類を選択できる。これによ
り、URL遷移のみの再生したり、マウスの動作のみ再生
しない、などの設定が可能となる。 (b) 再生開始ポイントの設定任意のウェブページ読み込みイベントから再生させるこ
とが可能。 (c) 可変速再生再生速度を変化させるために、図６の表示時間を調節す
る。2倍速再生の場合、読込み時間(Loading Time)まで
の時間は変更せず、再生時の表示時間（BrowsingTime）
を半分にする。つまり、T₄=T₂/2とする。 (d) リアルタイムでの再生時のQoS制御リアルタイムで再生する場合、ネットワークの遅延など
により、記録側に対して再生側がどんどん遅れていく危
険性がある。そこで、再生側では、再生する情報の種類
ごとに遅延を認める閾値を決めておき、再生時に再生す
るか否かを決定することで、再生の遅延と再生の精度の
バランスを調節できる。記録された情報をすべて再生し
なくても、次のURLの読込みで再生側はすべて同じ状態
になる。

【００２３】図７に、本発明のブラウザ操作自動実行を
行うシステムのハードウェア構成例を示す。システム１
００は、中央処理装置（ＣＰＵ）１とメモリ４とを含ん
でいる。ＣＰＵ１とメモリ４は、バス２を介して、補助
記憶装置としてのハードディスク装置１３（またはＭ
Ｏ、ＣＤ−ＲＯＭ２３、ＤＶＤ等の記憶媒体駆動装置）
とＩＤＥコントローラ２５を介して接続してある。同様
にＣＰＵ１とメモリ４は、バス２を介して、補助記憶装
置としてのハードディスク装置３０（またはＭＯ２８、
ＣＤ−ＲＯＭ２３、ＤＶＤ等の記憶媒体駆動装置）とＳ
ＣＳＩコントローラ２７を介して接続してある。フロッ
ピーディスク装置２０はフロッピーディスクコントロー
ラ１９を介してバス２へ接続されている。

【００２４】フロッピーディスク装置２０には、フロッ
ピーディスクが挿入され、このフロッピーディスク等や
ハードディスク装置１３（またはＭＯ、ＣＤ−ＲＯＭ、
ＤＶＤ等の記憶媒体）、ＲＯＭ１４には、オペレーティ
ングシステムと協働してＣＰＵ等に命令を与え、本発明
を実施するためのコンピュータ・プログラムのコード若
しくはデータを記録することができ、メモリ４にロード
されることによって実行される。該コンピュータ・プロ
グラムにはＯＳ，ブラウザ（NC,IE）等のアプリケーシ
ョン、その他のプログラムからなる。このコンピュータ
・プログラムのコードは圧縮し、または、複数に分割し
て、複数の媒体に記録することもできる。

【００２５】システム１００は更に、ユーザ・インター
フェース・ハードウェアを備え、入力をするためのポイ
ンティング・デバイス（マウス、ジョイスティック等）
７またはキーボード６や、視覚データをユーザに提示す
るためのディスプレイ１２を有することができる。ま
た、パラレルポート１６を介してプリンタを接続するこ
とや、シリアルポート１５を介してモデムを接続するこ
とが可能である。このシステム１００は、シリアルポー
ト１５およびモデムまたは通信アダプタ１８(イーサネ
ットやトークンリング・カード)等を介してネットワー
クに接続し、他のコンピュータ等と通信を行う。たとえ
ばウェブサーバ、プロキシサーバ等とコミュニケーショ
ンする。またシリアルポート１５若しくはパラレルポー
ト１６に、遠隔送受信機器を接続して、赤外線若しくは
電波によりデータの送受信を行うことも可能である。な
おウェブサーバ、プロキシサーバは上記システム１００
と同様の構成としても構わないし、専用のハードウェア
を使用してよい。

【００２６】スピーカ２３は、オーディオ・コントロー
ラ２１によってＤ／Ａ（デジタル／アナログ変換）変換
された音声信号を、アンプ２２を介して受領し、音声と
して出力する。また、オーディオ・コントローラ２１
は、マイクロフォン２４から受領した音声情報をＡ／Ｄ
（アナログ／デジタル）変換し、システム外部の音声情
報をシステムにとり込むことを可能にしている。

【００２７】このように、本発明のシステムは、通常の
パーソナルコンピュータ（ＰＣ）やワークステーショ
ン、ノートブックＰＣ、パームトップＰＣ、ネットワー
クコンピュータ、コンピュータを内蔵したテレビ等の各
種家電製品、通信機能を有するゲーム機、電話、ＦＡ
Ｘ、携帯電話、ＰＨＳ、電子手帳、等を含む通信機能有
する通信端末、または、これらの組合せによって実施可
能であることを容易に理解できるであろう。ただし、こ
れらの構成要素は例示であり、その全ての構成要素が本
発明の必須の構成要素となるわけではない。

【００２８】

【発明の効果】本発明により、既存のウェブブラウザへ
の操作を記録することにより、ウェブコンテンツを用い
た自動実行型のプレゼンテーション・パッケージを容易
に作成することができる。記録を行なうレコーダーは全
てJavaアプレットとJavaScriptで記述されるため、クラ
イアント側では、ウェブブラウザ以外の特殊なソフトウ
ェアを必要としない。再生時にウェブブラウザの動作状
況を確認しながら処理を進めることにより、ネットワー
ク環境の違いなどによるコンテンツの読み込み時間の変
化などに対応できる。ウェブのコンテンツを表示するウ
ィンドウ上への図形描画機能を提供することにより、よ
り柔軟なプレゼンテーションが可能となる。記録した操
作イベントをネットワーク経由でリアルタイムに再生す
ることにより、複数のノードでのウェブブラウザの同期
を取ることが可能となる。記録したコンテンツの再生速
度、再生する操作イベントの種類などを制御することに
より、より柔軟な再生が可能となる。例えば、URLの遷
移のみを再生することにより、複数のウェブコンテンツ
のキャッシングを行なうことが可能となる。

【図面の簡単な説明】

【図１】操作イベントの取得方法を示す図である。

【図２】ＨＴＭＬへのイベントハンドラの埋め込み例を
示す図である。

【図３】操作イベント記録機能を説明する図である。

【図４】図形描画機能を説明する図である。

【図５】操作イベント読込み／再生機能を説明する図で
ある。

【図６】再生時の時間管理を説明する図である。

【図７】本発明の自動実行システムに使用されるハード
ウェアの１実施例を示す図である。

【図８】本発明のイベント記録のフローチャートであ
る。

【図９】本発明の記録イベント実行フローチャートであ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者安藤史郎神奈川県大和市下鶴間1623番地14 日本アイ・ビー・エム株式会社東京基礎研究所内 (72)発明者中島周神奈川県大和市下鶴間1623番地14 日本アイ・ビー・エム株式会社東京基礎研究所内 (56)参考文献特開平５−67150（ＪＰ，Ａ) 特開平５−242166（ＪＰ，Ａ) 「はじめてのＪａｖａＳｃｒｉｐｔ第３回イベントとイベントハンドラ」ＣＭＡＧＡＺＩＮＥ，Ｖｏｌ．８，Ｎｏ．12，1996，ｐ．96−101（平８−12 −１) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 G06F 11/34 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】ブラウザ操作を記録する、操作イベント記
録システムであって、（１）イベント記録プログラムを読み込むブラウザを起
動する手段と、（２）コンテンツを表示するブラウザを起動する手段
と、（３）前記コンテンツを表示するブラウザに、イベント
記録に必要な情報を収集するイベントハンドラの埋め込
まれたページを読み込む手段と、（４）前記コンテンツを表示するブラウザにおけるユー
ザのブラウザ操作に応じて、前記イベントハンドラに従
い、イベントを発生させる手段と、（５）前記イベント記録プログラムにより前記発生した
イベントを記録する手段と、を具備する、操作イベント記録システム。
【請求項２】ブラウザ操作を自動実行する、自動実行シ
ステムであって、（１）ブラウザにイベント記録／再生プログラムを読み
込む手段と、（２）コンテンツを表示するブラウザを起動する手段
と、（３）前記コンテンツを表示するブラウザに、イベント
記録または再生に必要な情報を収集するイベントハンド
ラの埋め込まれたページを読み込む手段と、（４）前記コンテンツを表示するブラウザにおけるユー
ザのブラウザ操作に応じて、前記イベントハンドラに従
い、イベントを発生させる手段と、（５）前記イベント記録／再生プログラムにより前記発
生したイベントを記録する手段と、（６）記録したイベントを前記イベント記録／再生プロ
グラムにより読み込む手段と、（７）前記読み込んだイベントに応じて、前記コンテン
ツを表示するブラウザを動作させる手段と、を具備することを特徴とする、自動実行システム。
【請求項３】前記イベントを記録する手段（５）が、UR
Lの遷移、ポインタの移動、ウェブのコンテンツが提供
するテキストフィールドまたはラジオボタンまたは選択
リストなどのフォームへの操作、前記コンテンツを表示
するブラウザへのウィンドウ操作を含む、操作を記録す
る手段である、請求項１または２の何れかに記載のシス
テム。
【請求項４】前記イベントを記録する手段（５）が、前
記コンテンツを表示するブラウザへの特定の操作のイベ
ントのみを記録する手段である、請求項１または２の何
れかに記載のシステム。
【請求項５】前記イベントを記録する手段（５）が、前
記コンテンツを表示するブラウザへの文字または図形の
描画操作のイベントを記録する手段を含む、請求項１ま
たは２の何れかに記載のシステム。
【請求項６】前記コンテンツを表示するブラウザを動作
させる手段（７）が、可変速再生または特定の操作のみ
の再生を行う手段を含む、請求項２記載のシステム。
【請求項７】前記イベントを記録する手段（５）が、前
記発生したイベントをテキストファイルに記録すること
を特徴とする、請求項１または２の何れかに記載のシス
テム。
【請求項８】前記コンテンツを表示するブラウザを動作
させる手段（７）が、前記テキストファイルを編集し
て、ブラウザの再生動作を変化させる手段を含む、請求
項７記載のシステム。
【請求項９】ブラウザ操作を記録する、操作イベント記
録方法であって、（１）イベント記録プログラムを読み込むブラウザを起
動し、コンテンツを表示するブラウザを起動する段階
と、（２）前記コンテンツを表示するブラウザに、イベント
記録に必要な情報を収集するイベントハンドラの埋め込
まれたページを読み込む段階と、（３）前記コンテンツを表示するブラウザにおけるユー
ザのブラウザ操作に応じて、前記イベントハンドラに従
い、イベントを発生させる段階と、（４）前記イベント記録プログラムにより前記発生した
イベントを記録する段階と、を有することを特徴とする、操作イベント記録方法。
【請求項１０】前記ブラウザを起動する段階（１）が、
コンテンツを表示するブラウザを起動し、イベント記録
プログラムを読み込むブラウザを起動する段階である、
請求項９記載の方法。
【請求項１１】ブラウザ操作を自動実行する、自動実行
方法であって、（１）ブラウザにイベント記録／再生プログラムを読み
込み、コンテンツを表示するブラウザを起動する段階
と、（２）前記コンテンツを表示するブラウザに、イベント
記録または再生に必要な情報を収集するイベントハンド
ラの埋め込まれたページを読み込む段階と、（３）前記コンテンツを表示するブラウザにおけるユー
ザのブラウザ操作に応じて、前記イベントハンドラに従
い、イベントを発生させる段階と、（４）前記イベント記録／再生プログラムにより前記発
生したイベントを記録する段階と、（５）記録したイベントを前記イベント記録／再生プロ
グラムにより読み込む段階と、（６）前記読み込んだイベントに応じて、前記コンテン
ツを表示するブラウザを動作させる段階と、を有することを特徴とする、自動実行方法。
【請求項１２】前記ブラウザを起動する段階（１）が、
コンテンツを表示するブラウザを起動し、イベント記録
／再生プログラムを読み込むブラウザを起動する段階で
ある、請求項１１記載の方法。
【請求項１３】ブラウザ操作を記録するためのプログラ
ムを記録したコンピュータ読み取り可能な記録媒体であ
って、該プログラムがコンピュータに、（１）イベント記録プログラムを読み込むブラウザを起
動し、コンテンツを表示するブラウザを起動する機能
と、（２）前記コンテンツを表示するブラウザに、イベント
記録に必要な情報を収集するイベントハンドラの埋め込
まれたページを読み込む機能と、（３）前記コンテンツを表示するブラウザにおけるユー
ザのブラウザ操作に応じて、前記イベントハンドラに従
い、イベントを発生させる機能と、（４）前記イベント記録プログラムにより前記発生した
イベントを記録する機能、を実現させる、コンピュータ読み取り可能な記録媒体。
【請求項１４】ブラウザ操作を自動実行するためのプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、該プログラムがコンピュータに、（１）ブラウザにイベント記録／再生プログラムを読み
込み、コンテンツを表示するブラウザを起動する機能
と、（２）前記コンテンツを表示するブラウザに、イベント
記録または再生に必要な情報を収集するイベントハンド
ラの埋め込まれたページを読み込む機能と、（３）前記コンテンツを表示するブラウザにおけるユー
ザのブラウザ操作に応じて、前記イベントハンドラに従
い、イベントを発生させる機能と、（４）前記イベント記録／再生プログラムにより前記発
生したイベントを記録する機能と、（５）記録したイベントを前記イベント記録／再生プロ
グラムにより読み込む機能、（６）前記読み込んだイベントに応じて、前記コンテン
ツを表示するブラウザを動作させる機能と、を実現させる、コンピュータ読み取り可能な記録媒体。