JP4496919B2 - Ｗｅｂ閲覧操作の記録・再生装置及びプログラム及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Description

本発明は、Ｗｅｂ上での閲覧作業を実現するソフトウェア、ブラウザにおける、Ｗｅｂ閲覧操作の記録・再生装置及びプログラム及びコンピュータ読み取り可能な記憶媒体に係り、特に、複数の操作対象（Ｗｅｂページ）に対して同様の操作を繰り返すような閲覧作業の効率化を行うためのＷｅｂ閲覧操作の記録・再生装置及びプログラム及びコンピュータ読み取り可能な記憶媒体に関する。

Ｗｅｂ上での閲覧作業、特に、あるポータルサイトにおいて、お店情報、旅行情報、オークション情報などを検索し、その検索結果が一覧表示されたページを起点に、各検索結果が示すＷｅｂページを閲覧するような場合、各Ｗｅｂページでの同様の操作を繰り返すことがしばしば発生する。

例えば、横浜周辺の飲食店を検索し、各店の場所、つまり、地図を取得したい場合、まず、検索結果の一覧から各店の紹介ページにアクセスし、その後、アクセスしたページ内から地図へのリンクを探し出す。そして、その地図へのリンクをクリックすることで、地図画像を表示したページにアクセスする。

ここで、知りたい店が複数ある場合、上記操作を逐次繰り返す必要がある。

利用者のデスクトップ上での作業を記録・再生を実現する方法として、複数のウィンドウ間に跨って任意のイベントを組み合わせてマクロ化を行うソフトウェア（マクロツール）が存在する。この方法は、利用者が行った操作内容、例えば、クリック操作などをデスクトップ上での位置情報と共に時系列で記録する（例えば、特許文献１参照）。
特開平７−３０６７６９号公報「マルチウィンドウ情報処理装置」

上記の従来のソフトウェア（マクロツール）では、操作対象のデスクトップ上での表示位置、または、操作対象の表示内容（レイアウトなど）が変化した場合に、記録した操作を正常に再生できないということがしばしば発生する。

つまり、従来のマクロツールでは、利用者が行った操作をそのまま記録・再生できるのみで、操作対象や操作状況、例えば、Ｗｅｂページの内容などを考慮したものになっていない。

本発明は、上記の点に鑑みなされたもので、利用者の操作に伴い操作対象（Ｗｅｂページ）上で発生するイベント情報をもとにマクロを生成すると共に、操作対象や操作状況（Ｗｅｂページの内容）に適応したマクロ操作の実行を実現することが可能なＷｅｂ閲覧操作の記録・再生装置及びプログラム及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明は、Ｗｅｂ閲覧操作の記録・再生を実現するＷｅｂ閲覧操作記録・再生方法において、
利用者のＷｅｂ閲覧操作に伴い発生するイベント情報を受信し、該利用者が表示装置の閲覧ウィンドウにおいて行った操作内容と実行先オブジェクトの情報を取得し、一連のＷｅｂ閲覧操作のプログラムをマクロとしてマクロ記憶手段に格納するＷｅｂ閲覧操作取得ステップ（ステップ１）と、
表示されるＷｅｂページの内容に合わせ、マクロ記憶手段に格納されたマクロを実行するＷｅｂ閲覧操作再生ステップ（ステップ２）と、
表示装置上に表示されるＷｅｂ閲覧操作の記録・再生に利用するマクロウィンドウを制御する表示制御ステップ（ステップ３）と、を行い、
Ｗｅｂ閲覧操作再生ステップ（ステップ２）において、
Ｗｅｂ閲覧操作の再生実行時、閲覧操作における利用者が行った操作内容と実行先オブジェクトの情報を取得し、当該取得した操作内容とマクロ記憶手段に格納されているマクロが示す操作内容とを照合し、マクロ操作実行の是非を決定すると共に、マクロウィンドウ中に表示されたＷｅｂページを解析し、各マクロ操作の実行対象に適合するオブジェクトを探索するマクロ照合ステップと、
マクロ照合ステップで、利用者の閲覧操作に合致するマクロ操作、並びに、該マクロ操作の実行対象に適合するオブジェクトが導出された場合に、受信した利用者のＷｅｂ閲覧操作を実行すると共に、マクロ照合手段による探索の結果、導出されたオブジェクトに対し、マクロ操作を実行するマクロ実行ステップと、を行い、
マクロ照合ステップでは、
マクロウィンドウ中に表示されたＷｅｂページを解析し、各マクロ操作の実行対象に適合するオブジェクトをマクロ記憶手段から探索する際に、該Ｗｅｂページを解析し、マクロが示す操作内容で記載されるオブジェクトの中で、オブジェクトを表すＤＯＭ（Document Object Model）とＨＴＭＬで用いるタグの種類が一致するオブジェクトのリストを取得するステップと、
マクロが示す操作内容で記載されるオブジェクトとオブジェクトのリスト中の各オブジェクトの類似度を、オブジェクトの表示位置の類似度、ＤＯＭ構造上の類似度、及びリンク先ＵＲＬの類似度を元に算出するステップと、
類似度が算出されたオブジェクト中で最大な類似度となったオブジェクトを適合するオブジェクトとするステップと、を行う。

図２は、本発明の原理構成図である。

本発明（請求項１）は、Ｗｅｂ閲覧操作の記録・再生を実現するＷｅｂ閲覧操作記録・再生装置であって、
利用者のＷｅｂ閲覧操作に伴い発生するイベント情報を受信し、該利用者が表示装置３０の閲覧ウィンドウにおいて行った操作内容と実行先オブジェクトの情報を取得するＷｅｂ閲覧操作記録手段１１と、
Ｗｅｂ閲覧操作記録手段１１で取得した一連のＷｅｂ閲覧操作のプログラムをマクロとして格納するマクロ記憶手段１４と、
表示されるＷｅｂページの内容に合わせ、マクロ記憶手段１４に格納されたマクロを実行するＷｅｂ閲覧操作再生手段１２と、
表示装置３０上に表示されるＷｅｂ閲覧操作の記録・再生に利用するマクロウィンドウを制御する表示制御手段１３と、を有し、
Ｗｅｂ閲覧操作再生手段１２は、
Ｗｅｂ閲覧操作の再生実行時、閲覧操作における利用者が行った操作内容と実行先オブジェクトの情報を取得し、当該取得した操作内容とマクロ記憶手段１４に格納されているマクロが示す操作内容とを照合し、マクロ操作実行の是非を決定すると共に、マクロウィンドウ中に表示されたＷｅｂページを解析し、各マクロ操作の実行対象に適合するオブジェクトを探索するマクロ照合手段と、
マクロ照合手段で、利用者の閲覧操作に合致するマクロ操作、並びに、該マクロ操作の実行対象に適合するオブジェクトが導出された場合に、受信した利用者のＷｅｂ閲覧操作を実行すると共に、マクロ照合手段による探索の結果、導出されたオブジェクトに対し、マクロ操作を実行するマクロ実行手段と、を有し、
マクロ照合手段は、
マクロウィンドウ中に表示されたＷｅｂページを解析し、各マクロ操作の実行対象に適合するオブジェクトをマクロ記憶手段１４から探索する際に、該Ｗｅｂページを解析し、マクロが示す操作内容で記載されるオブジェクトの中で、オブジェクトを表すＤＯＭ（Document Object Model)とＨＴＭＬで用いるタグの種類が一致するオブジェクトのリストを取得する手段と、
マクロが示す操作内容で記載されるオブジェクトと前記オブジェクトのリスト中の各オブジェクトの類似度を、オブジェクトの表示位置の類似度、ＤＯＭ構造上の類似度、及びリンク先ＵＲＬの類似度を元に算出する手段と、
類似度が算出されたオブジェクトの中で最大な類似度となったオブジェクトを適合するオブジェクトとする手段と、から構成される。

本発明（請求項２）は、請求項１に記載のＷｅｂ閲覧操作記録・再生装置を構成する各手段としてコンピュータを機能させるためのＷｅｂ閲覧操作記録・再生プログラムである。

本発明（請求項３）は、請求項２に記載のＷｅｂ閲覧操作記録・再生プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体である。

上記のように、本発明によれば、Ｗｅｂ上での閲覧作業として、複数のＷｅｂページを順次閲覧し、各Ｗｅｂページで同様の操作（操作内容、操作対象が同じ）を繰り返すような場合、特に、閲覧するＷｅｂページのスタイル（構成）が略同じ場合に、あるＷｅｂページ閲覧時の操作を記録し、以降、異なるＷｅｂページを閲覧する際に、その記録した閲覧操作を再生することで、利用者自身が実際に操作を行うことなく、同様の操作を自動的に実行できる。その結果、Ｗｅｂ上での閲覧作業の効率化が可能となる。

以下、図面と共に本発明の実施の形態を説明する。

最初に以下の説明で用いる用語の定義を行う。

・マクロ：特定の操作手順をプログラムとして記述して自動化する機能、または、そのプログラムを指す。

・マクロウィンドウ：Ｗｅｂ閲覧操作の記録・再生が実行されるウィンドウであり、一般的なＷｅｂブラウザが開くウィンドウの一つである。

・マクロコントローラ：Ｗｅｂ閲覧操作の記録・再生要求などをシステムに命令するのに用いられるウィンドウ、または、操作画面をいう。

・ダイアログ：ファイルの保存、読み込み、エラーメッセージの表示などに用いられるウィンドウ、または、操作画面を指す。

・オブジェクト：Ｗｅｂページ中のアンカー（リンク）、画像、テーブル、テキスト文書などＷｅｂページを構成する各要素である。

・タグタイプ、オブジェクトタイプ：＜Ａ＞，＜ＬＩＮＫ＞，＜ＩＭＧ＞，＜ＴＡＢＬＥ＞，＜ＢＯＤＹ＞など、ＨＴＭＬ(Hyper Text Markup Language)で用いるタグの種類である。

・ＤＯＭ(Document Object Model：ＨＴＭＬやＸＭＬで記述された各要素を取り扱うための標準インタフェースである。ＤＯＭパーサと呼ばれるツールでＷｅｂページを処理することで、ＷｅｂページをＤＯＭ構造に変換し、その結果、Ｗｅｂページの各要素（オブジェクト）を簡単に扱うことが可能となる。

・オブジェクトの各種属性(innerText, href, alt, src, id, name, title)：<A href=”aa”, id=”bb”, name=”cc”>DD</A>, <IMG src=”ee”, alt=”ff”>など、各タグの属性情報。ＷｅｂページをＤＯＭ構造に変換した後、A.hrefなどにアクセスすることで、該当する属性の情報を簡単に取得できる。なお、innerText属性はアンカータグ<A></A>で囲まれた文字列であり、この場合は”DD”であり、A.innerTextにアクセスすることで取得できる。

・コメント：<!--- AAA--- >の形でＨＴＭＬ文書内に記述され、ブラウザで表示するときには無視されるが、注釈として記述しておくもの。

・フォーム：Ｗｅｂページ上に表示される入力欄。<FORM>タグを用いて記述し、リスト、テキストボックス、ラジオボタンなど各種存在する。

・イベント：利用者の操作、または、表示状態変化などが発生したときに発せられる信号、また、その発生した現象に関する情報を含む。

・イベントタイプ：利用者が行った操作内容、ここでは、クリック、ダブルクリック、メニュー選択など。

・イベント実行先オブジェクト：利用者が操作を行ったオブジェクトを意味し、例えば、クリックされたアンカーオブジェクト、クリックされた画像オブジェクトなど。

・ポータルサイト：“ｇｏｏ”（登録商標）や“Ｙａｈｏｏ”（登録商標）など各種情報、各種情報へのリンクを集約したサイト。

Ｗｅｂ閲覧操作の記録・再生システムの構成を説明する。

図３は、本発明の一実施の形態におけるＷｅｂ閲覧操作の記録・再生システムの構成を示す。

同図に示すシステムは、Ｗｅｂ閲覧操作記録・再生装置１０、入力装置２０、表示装置３０から構成され、ネットワーク４０、Ｗｅｂサーバ５０が別に存在するものとする。

以下では、本発明の要部であるＷｅｂ閲覧操作記録・再生装置１０について説明する。

Ｗｅｂ閲覧操作記録・再生装置１０は、Ｗｅｂ閲覧操作記録部１１、Ｗｅｂ閲覧操作再生部１２、表示制御部１３、マクロ保管部１４から構成され、Ｗｅｂ閲覧操作記録部１１は、操作受信部１１１、イベント解析部１１２、マクロ生成部１１３、閲覧操作部１１４を含む構成である。

Ｗｅｂ閲覧操作再生部１２は、マクロ照合部１２１、マクロ実行部１２２を含む。

また、操作受信部１１１には、キーボードやマウス等の利用者の入力装置２０が接続され、表示制御部１３には、ディスプレイ等の利用者の表示装置３０が接続される。

閲覧操作部１１４とマクロ実行部１１２では、ネットワーク４０を介してＷｅｂサーバ５０と通信できる。

なお、本発明では、マクロ保管部１４は、Ｗｅｂ閲覧操作記録・再生装置１０内のメモリやハードディスク等の記憶手段に設けられるものとする。

次に、本発明のＷｅｂ閲覧操作記録・再生装置１０の処理を説明する。本発明のシステムでの処理としては大きく、Ｗｅｂ閲覧操作の記録とＷｅｂ閲覧操作の再生が存在する。

図４は、本発明の一実施の形態におけるＷｅｂ閲覧操作記録・再生装置の提示画面を示し、当該提示画面は表示装置３０に出力される。

同図に示す画面には、カーソル２０１、閲覧ウィンドウ３０１、マクロウィンドウ３０２、記録ボタン３１１、再生ボタン３１２、ファイルボタン３１３から構成されるマクロコントローラ３１０を含む構成である。

なお、閲覧ウィンドウ３０１とマクロウィンドウ３０２はＷｅｂブラウザである。

以下、（１）Ｗｅｂ閲覧操作の記録、（２）マクロ操作の実行、（３）適合オブジェクトの探索に分けて説明する。
（１）Ｗｅｂ閲覧操作の記録：
図５は、本発明の一実施の形態におけるＷｅｂ閲覧操作の記録の動作を説明するための図であり、図６は、本発明の一実施の形態におけるＷｅｂ閲覧操作の記録動作のフローチャートである。

利用者は、まず、閲覧ウィンドウ３０１に閲覧操作の始点となる任意のＷｅｂページを表示する。その後、図５（ａ）に示すように、マクロコントローラ３１０の記録ボタン３１１を押すことで、閲覧操作の記録を開始する（ステップ５０１）。

この際、操作受信部１１１は、閲覧操作の記録開始を受信し、図５（ｂ）に示すように、閲覧ウィンドウ３０１の表示中のＷｅｂページを表示装置３０のマクロウィンドウ３０２に表示する（ステップ５０２）。

また、マクロ生成フラグを“ＯＮ”にすると共に、操作カウンタを“０”に初期化する（ステップ５０３）。なお、マクロ生成フラグと操作カウンタは、図３には記載していないが、Ｗｅｂ閲覧操作記録・再生装置１０内のメモリ等の記憶手段で管理する。

そして、利用者の閲覧操作を監視するモードに移行する（ステップ５０４）。

その後、操作受信部１１１で、利用者の閲覧操作に伴いマクロウィンドウ３０２上で発生するイベント情報を受信した場合（ステップ５０５、Ｙｅｓ）、Ｗｅｂ閲覧操作記録部１１のイベント解析部１１２は、受信したイベント情報を元に、利用者が行った操作（イベントタイプ）とイベント実行先オブジェクトの情報を取得し、マクロを保管するマクロ生成部１１３で、マクロとしてマクロ保管部１４に出力する（ステップ５０６）。

図７は、本発明の一実施の形態におけるマクロ保管部の例を示す。マクロ保管部１４は、項目番号（Ｎo.）、イベントタイプ、ＤＯＭ(Document Object Model)、テキスト、表示位置、リンク先ＵＲＬ，ＵＲＬ、コメントからなる。ここで、図７に示すマクロ保管部１４の例では、マクロは１操作を１行で表し、「Ｎｏ．」部分には、操作カウンタの値を記入する。

ここで、利用者の閲覧操作としては、マクロウィンドウ３０２中のＷｅｂページに対する
・クリック操作（OnClick）
・ダブルクリック操作（OnDblClick）
・Ｗｅｂページ中のフォーム（リスト、テキストボックスなど）の選択（OnSelect, OnChange）・入力（OnKeyUP）・送信（OnSubmit）操作
・マクロウィンドウ上でのコピー（onEvent(WM_COPY)）・ペースト（, onEvent(WM_PASTE)操作
・キーボード操作（onEvent(WM_KEYUP)）
・ブラウザのメニューや右クリックメニューでの選択操作（onEvent(WM_MENUSELECT)）
などがある。

なお、実際には、各操作の後に続く括弧内に記されたイベント関数が、操作受信部１１１で受信される。

例えば、利用者がＷｅｂページ中のアンカーをクリックした場合（図５（ｃ）参照）、操作受信部１１１は、OnClick(document.a[10])をイベント関数として受信する。

そして、イベント解析部１１２では、受信したイベント関数の関数名から利用者が行った操作のイベントタイプ（Click）を取得し、その関数の引数からイベント実行先オブジェクト（A[10]）を取得する。

ここで、イベント実行先オブジェクトは、ＤＯＭ(Document Object Model)で表されており、ＤＯＭの各種属性にアクセスすることで、イベント実行先オブジェクトの各種情報を取得し、マクロとして出力する。

例えば、アンカー（Ａ）オブジェクトのテキスト情報は、innerTextや、id、name、title属性、位置情報は、ｘ、ｙ属性、リンク先ＵＲＬ情報は、href属性にアクセスすることで取得する（図７、Ｎｏ．０の行参照）。

他にも、例えば、利用者がＷｅｂページ中の画像をクリックした場合（図５(ｃ)参照）、操作受信部１１１は、OnClick(document.img[3])をイベント関数として受信する。

そして、イベント解析部１１２では、受信したイベント関数の関数名から利用者が行った操作のイベントタイプ（Click）を取得し、その関数の引数からイベント実行先オブジェクト（IMG[3]）を取得する。

この際、画像（IMG）オブジェクトのテキスト情報は、altや、id，name属性、位置情報は、ｘ、ｙ属性にアクセスすることで取得する。また、リンク先情報は、画像オブジェクトの親オブジェクト（IMG[3].parentNode）にアクセスし、その親オブジェクトがアンカー（A）やリンク（LINK）である場合に、その親オブジェクトのリンク先URL情報（href属性）を取得する。さらには、イベント実行先オブジェクトが画像(IMG)オブジェクトの場合、その画像ファイルのURL（src属性）を取得し、マクロ保管部１４のマクロに記述する（図７のNo.1の行参照）。

ここで、イベント実行先オブジェクトの情報として、取得したイベント実行先オブジェクトから別途設定する階層まで親オブジェクトを探索し、コメント（<!-- -- >）が発見された場合に、そのコメント情報を追記したりすることも考えられる（図７参照）。

さらに、例えば、利用者がブラウザのメニューからブックマークやブックマークレット（Java（登録商標）Scriptで記述されたプログラム）を選択した場合（図５（e）参照）、操作受信部１１１は、OnEvent(WM_MENUSELECT)をイベント関数として受信する。

そして、イベント解析部１１２では、受信したイベント関数の引数からイベントタイプ（MENU_SELECT）を取得し、イベント実行先オブジェクトとしてマクロウィンドウ(window)を取得する。

この際、位置情報には選択された項目のメニュー上でのｘ，ｙ座標を記述し、残りの項目は空白とする。なお、リンク先ＵＲＬ情報には選択されたブックマークやブックマークレットが示すＵＲＬを記述するが、実際の処理は後述するステップ５１０で行う。

このように、マクロ生成時の処理、並びに、マクロ保管部１４に記述する内容は、イベントタイプ、イベント実行オブジェクトによって異なる。なお、マクロ保管部１４に記述する内容は図７に示す項目に縛られることなく、新規項目の追加や既存項目の削除など種々変更可能である。

次に、閲覧操作部１１４で、操作受信部１１１で受信した、利用者の閲覧操作を実行する（ステップ５０７）。

そして、操作受信部１１１で、マクロウィンドウ３０２の中のＷｅｂページの更新／読み込みイベント（onLoad()）を受信した場合（ステップ５０８、Ｙｅｓ）、イベント解析部１１２は、マクロ保管部１４にアクセスし、ステップ５０６で生成したマクロのＤＯＭをチェックする。そして、ＤＯＭが“window”、つまり、利用者の閲覧操作がブラウザのメニュー選択操作であった場合（ステップ５０９のＹｅｓ）、windowオブジェクトのｕｒｌ属性にアクセスすることで、マクロウィンドウ３０２中に新たに表示されるＷｅｂページのＵＲＬ、つまり、利用者が選択したブックマークやブックマークレットが示すＵＲＬを取得し、マクロのリンク先のＵＲＬの欄に記入する（ステップ５１０）。

その後、操作受信部１１１では、操作カウンタを１増分し（ステップ５１１）、マクロ生成フラグが“ＯＮ”の場合（ステップ５１２、Ｙｅｓ）、ステップ５０４に戻り、利用者の閲覧操作の監視を継続する。

なお、閲覧操作の記録開始後、図５（ｆ）に示すように、マクロコントローラ３１０の記録ボタン３１１を再度押した場合、操作受信部１１１はこの操作を受信し、マクロ生成フラグを“ＯＦＦ”にする。これにより、閲覧操作の記録終了となる（ステップ５１２、Ｎｏ）。

（２）マクロ操作の実行
次に、Ｗｅｂ閲覧操作の実行における処理について説明する。

図８は、本発明の一実施の形態におけるマクロ操作の実行の動作を説明するための図であり、図９は、本発明の一実施の形態におけるマクロ操作実行の動作のフローチャートである。

利用者は、前述の（１）のＷｅｂ閲覧操作の記録に示す手順に従い、マクロウィンドウ３０２上でＷｅｂ閲覧操作の記録を行った後、図８（ａ）に示すように、マクロコントローラ３１０の再生ボタン３１２を押すことで、マクロ操作の実行を開始する（ステップ８０１）。

この際、操作受信部１１１は、マクロ操作の実行開始を受信し、マクロ実行フラグを“ＯＮ”にする（ステップ８０２）。なお、マクロ実行フラグは、図３には記載していないが、Ｗｅｂ閲覧操作記録・再生装置１０内のメモリ等の記憶手段で管理する。

そして、閲覧ウィンドウ３０１上での利用者の閲覧操作を監視するモードに移行する（ステップ８０３）。

その後、操作受信部１１１で、利用者の閲覧操作に伴い閲覧ウィンドウ３０１上で発生するイベント情報を受信した場合（ステップ８０４、Ｙｅｓ）、イベント解析部１１２は、受信したイベント情報をもとに、利用者が行った操作（イベントタイプ）とイベント実行先オブジェクトの情報を取得する（ステップ８０５）。

なお、ステップ８０５で実行される処理は、（１）のＷｅｂ閲覧操作の記録でのステップ５０６で実行される処理と同一である。

例えば、利用者がＷｅｂページ中のアンカー（Ｗｅｂ閲覧操作の記録時にクリックしたアンカーとは別のアンカー）をクリックした場合（図８（ｂ））、操作受信部１１１は、OnClick(document.a[11])をイベント関数として受信する。

そして、イベント解析部１１２では、受信したイベント関数の関数名から利用者が行った操作のイベントタイプ（Click）を取得し、その関数の引数からイベント実行先オブジェクト（Ａ[11]）を取得する。

また、イベント解析部１１２は、閲覧ウィンドウ３０１に表示中のＷｅｂページのＵＲＬを、例えば、閲覧ウィンドウのlocation属性にアクセスすることで取得し、該Ｗｅｂページをマクロウィンドウ３０２に表示する（ステップ８０６）。

さらに、閲覧ウィンドウ３０１上で行われた利用者の閲覧操作を無効化する（ステップ８０７）。

次に、マクロ照合部１２１で、マクロ保管部１４にアクセスし、マクロウィンドウ３０１に設定されているマクロを読み込むと共に、操作カウンタを０に初期化する（ステップ８０８）。

そして、マクロ保管部１４から読み込んだマクロのNo.0が示す操作（図７のNo.0の行参照）と閲覧ウィンドウ３０１上で行われた利用者の閲覧操作（ステップ８０５で取得）とを照合（ステップ８０９）する。

例えば、両操作のイベントタイプ（操作内容を示す）、並びに、ＤＯＭのタグタイプ（操作対象を示す）を照合することが考えられ、図８（ｂ）に示すように、利用者がＷｅｂページ中のアンカーをクリック（OnClick (document.a[11])した場合、マクロのNo.0が示す操作（図７のＮｏ．０の行参照）と共に利用者が行った操作のイベントタイプが“Click”、ＤＯＭのタグタイプが“Ａ”となり、照合結果は『是』となる（ステップ８１０、Ｙｅｓ）。

その後、照合結果が『是』となった場合（ステップ８１０、Ｙｅｓ）、マクロ実行部１２２は、閲覧ウィンドウ３０１上で行われた利用者の閲覧操作（ステップ８０５で取得）を、マクロウィンドウ３０２上で実行する（ステップ８１１）。

ここでは、利用者がクリックしたアンカーと同じアンカーを、マクロウィンドウ３０２に表示中のＷｅｂページ内で探索し、検出されたアンカーに対してクリック操作を実行する。その結果、図８（ｃ）に示すように、マクロウィンドウ３０２には、閲覧ウィンドウ３０１上で利用者がクリックしたアンカーが示すＷｅｂページ（店の紹介ページ）が表示される。

次に、マクロウィンドウ３０２上での操作の実行に伴うＷｅｂページの更新／読み込み完了後、マクロ照合部１２１では、操作カウンタを１増分すると共に、ステップ８０８で読み込んだマクロを参照し、操作カウンタと一致するＮｏ．が示す操作を取得する（ステップ８１２）。

そして、ステップ８１２で取得した（マクロ）操作が示すイベント実行先オブジェクトに適合するオブジェクトを、マクロウィンドウ３０２に表示中のＷｅｂページで探索する（ステップ８１３）。

（３）適合オブジェクトの探索：
以下では、マクロ照合部１２１における探索処理の手順について、図１０のフローチャートを用いて、操作カウンタが「１」の場合（図７のNo.1の行参照）を例に説明する。

まず、マクロウィンドウ３０２に表示中のＷｅｂページを解析し、ステップ８１２で取得した（マクロ）操作が示すＤＯＭとタグタイプが一致するオブジェクトのリスト（ＤＯＭ［ｎ］、ｎは要素数）、ここでは、画像オブジェクトのリスト（IMG[n]）を取得する（ステップ９０１）。

次に、（マクロ）操作のテキスト情報とリスト中の各オブジェクトのテキスト情報（テキスト情報の取得方法は、（１）Ｗｅｂ閲覧操作の記録での処理と同じ）を照合し（ステップ９０２）、合致したオブジェクトが複数の場合（ステップ９０３の複数）、合致しなかったオブジェクトをリストから削除し（ステップ９０４）、合致したオブジェクトが存在しなかった場合（ステップ９０３のなし）、リストはそのままで次の処理へ移行し、合致したオブジェクトが１つの場合（ステップ９０３の１つ）、そのオブジェクトを適合オブジェクトとし、処理を終了する。

ここでは、画像オブジェクトのリスト（IMG[n]）から、テキスト情報（alt属性）として、“地図”を持つオブジェクトが抽出される。

また、（マクロ）操作のコメント情報とリスト中の各オブジェクトのコメント情報（コメント情報の取得方法は、（１）Ｗｅｂ閲覧操作の記録での処理と同じ）を照合し（ステップ９０５）、合致したオブジェクトが複数の場合（ステップ９０６の複数）、合致しなかったオブジェクトをリストから削除し（ステップ９０７）、合致したオブジェクトが存在しなかった場合（ステップ９０６のなし）、リストはそのままで次の処理へ移行し、合致したオブジェクトが１つの場合（ステップ９０６の１つ）、そのオブジェクトを適合オブジェクトとし、処理を終了する。

ここでは、画像オブジェクトのリスト（IMG[n]）から、コメント情報として

を持つオブジェクトが抽出される。

次に、（マクロ）操作が示すオブジェクトとリスト中に残っている各オブジェクトの類似度を次に示す式により算出し（ステップ９０８）、類似度が最大となったオブジェクトを適合オブジェクトとし（ステップ９０９）、処理を終了する。

この際、類似度に閾値を設け、閾値を越える類似度を持つオブジェクトが存在しなかった場合、適合オブジェクトは“なし”とすることも考えられる。

Ｍ：（マクロ）操作が示すオブジェクト
Ｌ_ｎ：リスト中の各オブジェクト
第１項は、表示位置の類似度（Ｍｘ，Ｍｙ，Ｌ_ｎｘ，Ｌ_ｎｙ：各オブジェクトの表示位置のｘ成分、ｙ成分）、第２項はＤＯＭ構造上の類似度（Ｍnum,L_nnum:各オブジェクトのＤＯＭ［ｎ］のｎ部分）、第３項は、リンク先ＵＲＬ情報の類似度（Ｍlinked，Ｌ_ｎlinked：各オブジェクトのリンク先ＵＲＬの文字列）、第４項はＵＲＬ情報の類似度（Ｍurl，Ｌ_ｎurl：各オブジェクトのＵＲＬの文字列）を表す。なお、ａ，ｂ，ｃ，ｄは、各類似度の優先度を決定する定数であり、別途定義するものとする。

また、ft(Ｍ，Ｌ_ｎ)は、ＵＲＬの類似度を算出する関数であり、例えば、各ＵＲＬを“／”を区切り文字に分割し、一致した部分の割合を算出するものや、各ＵＲＬの末尾部分(http://aa/bb/cc.htmlのｃｃ部分)のみを照合し、１／０で算出するものなどが考えられる。

（２）’Ｗｅｂ閲覧操作の実行（続き）：
ここでは、図９に示すマクロ操作実行のフローチャートのステップ８１３の結果、（マクロ）操作が示すオブジェクトに適合するオブジェクトが導出された場合（ステップ８１４のＹｅｓ）、マクロ実行部１１２は、その導出された適合オブジェクトに対して、（マクロ）操作のイベントタイプが示す操作を実行する（ステップ８１５）。

ここでは、店の紹介ページ中のテキスト情報（alt属性）として、“地図”を持つ画像オブジェクトが導出され、その画像オブジェクトに対して、クリック操作（図７のNo.1の行のイベントタイプを参照）を実行する。その結果、図８（ｄ）に示すように、マクロウィンドウ３０２には、その画像オブジェクトにリンクされたＷｅｂページ（地図ページ）が表示される。

そして、マクロ照合部１２１では、ステップ８０８で読み込んだマクロを参照し、次の（マクロ）操作が存在する場合（ステップ８１６のＮｏ）、ステップ８１２に戻り、操作カウンタを１増分すると共に、操作カウンタと一致するＮｏ．が示す操作、つまり、次の操作を取得する（ステップ８１２）。そして新たに取得した（マクロ）操作を元に、ステップ８１３〜ステップ８１５に示す処理を繰り返す。

ここでは、Ｎｏ．２が示すメニュー選択操作を新たな（マクロ）操作として取得し、ステップ８１３〜ステップ８１５に示す処理を実行する。具体的には、ブラウザのメニューを開き、取得した（マクロ）操作のリンク先ＵＲＬ情報と合致する項目を選択する。その結果、マクロウィンドウ３０２中に表示された地図ページに対して、リンク先ＵＲＬが示すJava（登録商標）Scriptプログラムが実行され、図８（ｅ）に示すように、マクロウィンドウ３０２には、地図画像のみが抜粋して表示される。

その後、ステップ８０８で読み込んだマクロが示すすべての（マクロ）操作を実行し終わった時点（ステップ８１６、Ｎｏ）で、閲覧ウィンドウ３０１上での利用者の閲覧操作を起点とする一連の（マクロ）操作を完了する（図８（ｅ）参照）。

また、操作受信部１１１では、マクロ実行フラグが“ＯＮ”の場合（ステップ８１７、Ｙｅｓ）、ステップ８０３に戻り、閲覧ウィンドウ上での利用者の閲覧操作の監視を継続する。

ここで、例えば、利用者が閲覧ウィンドウ３０１に表示されたＷｅｂページ中の別のアンカーをクリックした場合、ステップ８０５からステップ８１６に示す処理が実行され、クリックされたアンカーが示す店の紹介ページ、地図ページへと移動後、図８（ｆ）に示すように、マクロウィンドウ３０２には、新たにクリックしたアンカーが示す店を表示した地図画像のみが抜粋して表示される。

なお、マクロ操作の実行開始後、図８（ｇ）に示すように、マクロコントローラ３１０の再生ボタン３１２を再度押した場合、操作受信部１１１は、この操作を受信し、マクロ実行フラグを“ＯＦＦ”にする。これにより、マクロ操作の実行終了となる（ステップ８１７のＮｏ）。

以上、マクロ操作の実行時、図８（ｂ）〜（ｅ）に示すように、各（マクロ）操作の実施状況が順次、利用者に提示されるように記述したが、このような実施形態にとらわれることなく、図８（ｆ）に示すように、一連のマクロ操作の実行完了後の状態のみが利用者に提示されるようなことも考えられる。

以下、本発明の実施例を説明する。

［第１の実施例］
上記の実施の形態では、Ｗｅｂ閲覧操作の再生時に実行される（マクロ）操作は、利用者が先に記録したＷｅｂ閲覧操作とした。

ここで、実施例の一つとして、利用者が記録したＷｅｂ閲覧操作、その結果、生成されるマクロをファイルとして保存できると共に、保存されたマクロファイルを呼び出し、マクロウィンドウ３０２に設定可能とすることが考えられる。この際、マクロ保存／読み込みは、図４に示すマクロコントローラ３１０のファイルボタン３１３を用いて実行する。

この場合、利用者は先に記録したＷｅｂ閲覧操作に限定されることなく、任意のＷｅｂ閲覧操作を任意のタイミングで再生することが可能となる。その結果、閲覧ウィンドウ３０１上での利用者の閲覧操作が同じ場合でも、マクロウィンドウ３０２に設定するマクロファイルにより、多種多様な（マクロ）操作を実行することが可能となる。

［第２の実施例］
また、上記の実施の形態では、Ｗｅｂ閲覧操作の再生時、利用者が記録したＷｅｂ閲覧操作がそのまま再生される。

ここで、第２の実施例として、Ｗｅｂ閲覧操作を記録した結果生成されるマクロ、さらには、マクロファイルを編集可能とすることが考えられる。

図１１は、本発明の第２の実施例のマクロの編集画面の例である。

編集したいマクロをマクロテーブル３０３に呼び出し、そのマクロ中の任意の（マクロ）操作が示す各情報を自由に編集することができる。例えば、コメント情報の追記、修正、削除などを行うことができる。

これにより、Ｗｅｂ閲覧操作の再生時に、意図したとおりの操作、つまり、記録したＷｅｂ閲覧操作と同様の操作が実行される確率を高めることが可能となる。

この際、マクロテーブル３０３中の任意の（マクロ）操作をカーソル２０１で選択した場合に、その（マクロ）操作内容、つまり、Ｗｅｂ閲覧操作記録時の状況をマクロウィンドウ３０２中で再現することも考えられる。

例えば、図７に示すマクロ保管部１４のマクロをマクロテーブル３０３に呼び出し、No.1の（マクロ）操作を選択した場合、No.1の（マクロ）操作記録時の状況、つまり、図５（ｄ）から図５（ｅ）へ変化する様子がマクロウィンドウ３０２中で再現される。この際、マクロ操作時のカーソル２０１の状況を、マクロウィンドウ３０２上に表示するプレビュー用カーソル２０２で実現することも考えられる。

他にも、マクロテーブル３０３に呼び出したマクロ中の（マクロ）操作の順番を変更したり、任意の（マクロ）操作を削除したり、例えば、一連の（マクロ）操作の終端を変更可能とすることも考えられる。

さらには、複数のマクロを複数のマクロテーブル３０３に呼び出し、あるマクロ中の任意の（マクロ）操作を、異なるマクロ中の取り込み、マクロの拡張を実現可能とすることも考えられる。

このように、マクロの自由な編集が実現されることで、利用者により記録されたＷｅｂ閲覧操作だけでなく、多種多様なＷｅｂ閲覧操作を再生することが可能となり、システムの機能性を向上させる。

［第３の実施例］
上記の実施の形態では、Ｗｅｂ閲覧操作の再生時、読み込んだマクロのNo.0が示す操作と閲覧ウィンドウ３０１上で行われた利用者の閲覧操作とを照合（ステップ８０９）し、照合結果が『非』となった場合（図９のステップ８１０、Ｎｏ）、（マクロ）操作は『実行しないものとした。

ここで、実施例の１つとして、No.0が示す（マクロ）操作との照合結果が『非』となった場合に（図９のステップ８１０，Ｎｏ）、Ｎｏ．１以降の（マクロ）操作と順次照合し、照合結果が『是』となった場合、そのＮｏ．が示す（マクロ）操作を行い、処理を継続することが考えられる。

図１２は、本発明の第３の実施例のＷｅｂ閲覧操作の再生のフローチャートであり、Ｗｅｂ閲覧操作の再生を行う際に、図９に示すフローチャートに加えられる変更点であり、図９のステップ８０９とステップ８１０の処理に代えて、ステップ１１１０〜ステップ１１４０が組み込まれる。

これにより、例えば、図７に示すマクロがマクロウィンドウ３０２に設定されている状況で、閲覧ウィンドウ３０１に店の紹介ページを表示し、そのページ中の画像（alt=“地図”）をクリックした場合、理想的な実施形態では、図７に示す（マクロ）操作は全く実行されないが、本実施例では、No.1以降の（マクロ）操作が実行されることになる。

つまり、本実施例を用いることでマクロの柔軟な利用が可能となる。

同様に、前述の実施の形態では、Ｗｅｂ閲覧操作の再生時、操作カウンタと一致するNo.の（マクロ）操作が示すイベント実行先オブジェクトに適合するオブジェクトを、マクロウィンドウ３０２に表示中のＷｅｂページで探索し（ステップ８１３）、適合するオブジェクトが導出されなかった場合（ステップ８１４、Ｎｏ）、一連の（マクロ）操作を終了するものとした。

ここで、実施例の１つとして、適合するオブジェクトが導出されなかった場合（ステップ８１４，Ｎｏ）に、ステップ８１２に戻り、次のNo.が示す（マクロ）操作を元にステップ８１３〜ステップ８１５に示す処理を継続することが考えられる。

この場合、Ｗｅｂ閲覧操作の記録時と一連の操作過程は異なるが、Ｗｅｂ閲覧操作の再生による最終結果が一致するといったことを実現可能となる。しかしながら、本実施例を用いた場合、検討違いの操作が実行される可能性があることは否めない。

なお、上記のＷｅｂ閲覧情報記録・再生装置１０における動作をプログラムとして構築し、Ｗｅｂ閲覧情報記録・再生装置として利用されるコンピュータにインストールし、実行させる、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムをＷｅｂ閲覧情報記録・再生装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておくことも可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、Ｗｅｂ閲覧操作の記録・再生を行うシステムに適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態におけるＷｅｂ閲覧操作の記録・再生システムの構成図である。 本発明の一実施の形態におけるＷｅｂ閲覧操作記録・再生装置の提示画面を示す図である。 本発明の一実施の形態におけるＷｅｂ閲覧操作の記録動作を説明するための図である。 本発明の一実施の形態におけるＷｅｂ閲覧操作の記録動作のフローチャートである。 本発明の一実施の形態におけるマクロ保管部の例である。 本発明の一実施の形態におけるマクロ操作の実行の動作のフローチャートである。 本発明の一実施の形態におけるマクロ操作実行の動作のフローチャートである。 本発明の一実施の形態における探索処理のフローチャートである。 本発明の第２の実施例にマクロの編集画面の例である。 本発明の第３の実施例のＷｅｂ閲覧操作の再生のフローチャートである。

符号の説明

１０ Ｗｅｂ閲覧操作記録・再生装置
１１ Ｗｅｂ閲覧操作記録手段、Ｗｅｂ閲覧操作記録部
１２ Ｗｅｂ閲覧操作再生手段、Ｗｅｂ閲覧操作再生部
１３ 表示制御手段、表示制御部
１４ マクロ記憶手段、マクロ保管部
２０ 入力装置
３０ 表示装置
４０ ネットワーク
５０ Ｗｅｂサーバ
１１１ 操作受信部
１１２ イベント解析部
１１３ マクロ生成部
１１４ 閲覧操作部
１２１ マクロ照合部
１２２ マクロ実行部
２０１ カーソル
３０１ 閲覧ウィンドウ
３０２ マクロウィンドウ
３１０ マクロコントローラ
３１１ 記録ボタン
３１２ 再生ボタン
３１３ ファイルボタン

Claims (3)

1. Ｗｅｂ閲覧操作の記録・再生を実現するＷｅｂ閲覧操作記録・再生装置であって、
   利用者のＷｅｂ閲覧操作に伴い発生するイベント情報を受信し、該利用者が表示装置の閲覧ウィンドウにおいて行った操作内容と実行先オブジェクトの情報を取得するＷｅｂ閲覧操作記録手段と、
   前記Ｗｅｂ閲覧操作記録手段で取得した一連のＷｅｂ閲覧操作のプログラムをマクロとして格納するマクロ記憶手段と、
   表示されるＷｅｂページの内容に合わせ、前記マクロ記憶手段に格納されたマクロを実行するＷｅｂ閲覧操作再生手段と、
   表示装置上に表示されるＷｅｂ閲覧操作の記録・再生に利用するマクロウィンドウを制御する表示制御手段と、を有し、
   前記Ｗｅｂ閲覧操作再生手段は、
   Ｗｅｂ閲覧操作の再生実行時、閲覧操作における利用者が行った操作内容と実行先オブジェクトの情報を取得し、当該取得した操作内容と前記マクロ記憶手段に格納されているマクロが示す操作内容とを照合し、マクロ操作実行の是非を決定すると共に、前記マクロウィンドウ中に表示されたＷｅｂページを解析し、各マクロ操作の実行対象に適合するオブジェクトを探索するマクロ照合手段と、
   前記マクロ照合手段で、利用者の閲覧操作に合致するマクロ操作、並びに、該マクロ操作の実行対象に適合するオブジェクトが導出された場合に、受信した前記利用者のＷｅｂ閲覧操作を実行すると共に、前記マクロ照合手段による探索の結果、導出されたオブジェクトに対し、マクロ操作を実行するマクロ実行手段と、を有し、
   前記マクロ照合手段は、
   前記マクロウィンドウ中に表示されたＷｅｂページを解析し、各マクロ操作の実行対象に適合するオブジェクトを前記マクロ記憶手段から探索する際に、該Ｗｅｂページを解析し、マクロが示す操作内容で記載されるオブジェクトの中で、オブジェクトを表すＤＯＭ（Ｄｏｃｕｍｅｎｔ Ｏｂｊｅｃｔ Ｍｏｄｅｌ）とＨＴＭＬで用いるタグの種類が一致するオブジェクトのリストを取得する手段と、
   前記マクロが示す操作内容で記載されるオブジェクトと前記オブジェクトのリスト中の各オブジェクトの類似度を、オブジェクトの表示位置の類似度、ＤＯＭ構造上の類似度、及びリンク先ＵＲＬの類似度を元に算出する手段と、
   類似度が算出されたオブジェクトの中で最大な類似度となったオブジェクトを適合するオブジェクトとする手段と、から構成される
   ことを特徴とするＷｅｂ閲覧操作記録・再生装置。
2. 請求項１に記載のＷｅｂ閲覧操作記録・再生装置を構成する各手段としてコンピュータを機能させるためのＷｅｂ閲覧操作記録・再生プログラム。
3. 請求項２に記載のＷｅｂ閲覧操作記録・再生プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images