JP5612796B1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

ウェブページのレンダリングに時間がかかる場合であっても、ウェブページ内の要素を指し示す操作を行ったユーザが意図した通りの処理が実行されることを可能とする。情報処理装置は、ウェブページの描画が完了する前に、ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、位置を示す座標と、ウェブページのスクリーンショットを取得する。情報処理装置は、スクリーンショットにおいて座標が示す位置にある画像が示す要素を特定する。情報処理装置は、操作のイベントに対応する処理の実行時、特定された要素に対して操作がされた場合に実行される処理を実行させる。

Description

本発明は、ウェブページを構成する要素の中でユーザにより指された要素に対応する処理を実行する技術分野に関する。

例えば、非特許文献１には、ブラウザのレンダリングエンジンは、ＨＴＭＬ文書をネットワークから取得すると、全てのＨＴＭＬが解析されるのを待たずに、ウェブページの描画を開始することが開示されている。

Tali Garsiel & Paul Irish、"How Browsers Work: Behind the scenes of modern web browsers"、［online］、Google Inc.、［平成25年10月28日検索］、インターネット<URL: http://www.html5rocks.com/en/tutorials/internals/howbrowserswork/>

ユーザによっては、ユーザの操作する端末が受信したウェブページをレンダリングが完了するまでにリンクやボタン等の要素を指し示す操作を行う場合がある。このような操作が受け付けられた場合、この操作に対応するイベントがブラウザによって処理される時には、指し示された要素が操作の受け付け時の位置とは異なる位置に存在する場合がある。この場合、ブラウザは、ユーザが指した位置に、操作のイベントの処理時点で存在する要素が指し示されたものとみなして処理を実行する。その結果、ユーザが意図した要素とは異なる要素に対応する処理が実行されてしまうことがあった。

本発明は、以上の点に鑑みてなされたものであり、ウェブページのレンダリングに時間がかかる場合であっても、ウェブページ内の要素を指し示す操作を行ったユーザが意図した通りの処理が実行されることを可能とする情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明はウェブページの描画が完了する前に、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、前記位置を示す座標と、前記ウェブページのスクリーンショットであって、前記操作が受け付けられたタイミングに対応するスクリーンショットと、を取得する取得手段と、前記受け付けられた操作のイベントに対応する処理の実行時、前記取得手段により取得された前記スクリーンショットにおいて、前記取得手段により取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を、前記受け付けられた操作のイベントに対応する処理として実行させる実行制御手段と、を備えることを特徴とする。

この発明によれば、情報処理装置は、操作が受け付けられたタイミングに対応するスクリーンショットにおいて、指し示された位置にある部分画像が示す要素に対応する処理を実行する。そのため、ユーザが意図した要素に対応する処理を実行させることができる。

請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記取得手段は、所定のタイミングごとに、前記ウェブページのスクリーンショットを取得し、前記取得手段により取得された前記スクリーンショットと前記スクリーンショットの取得時間とを対応付けて記憶手段に記憶させる画像記憶制御手段と、前記操作の受付時間を前記記憶手段に記憶させる受付時間記憶制御手段と、前記ウェブページに含まれる各要素の描画が完了するごとに、前記描画の完了時間を前記記憶手段に記憶させる完了時間記憶制御手段と、前記記憶手段に記憶された前記完了時間の中で前記受付時間よりも古い前記完了時間のうち前記受付時間に最も近い特定完了時間から前記受付時間までの経過時間が基準時間未満である場合、前記記憶手段に記憶された前記取得時間の中で前記特定完了時間よりも前記基準時間以上古い前記取得時間のうち前記特定完了時間に最も近い前記取得時間に対応する前記スクリーンショットを前記記憶手段から取得し、前記経過時間が前記基準時間以上である場合、前記記憶手段に記憶された前記取得時間の中で前記特定完了時間以降の前記取得時間のうち前記特定完了時間に最も近い前記取得時間に対応する前記スクリーンショットを前記記憶手段から取得する記憶画像取得手段と、を更に備え、前記実行制御手段は、前記記憶画像取得手段により取得された前記スクリーンショットにおいて、前記取得手段により取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を実行させることを特徴とする。

この発明によれば、ユーザが操作を行った時点でユーザが意図した要素の位置が変わってしまっても、ユーザが意図した要素に対応する処理を実行することができる。

請求項３に記載の発明は、請求項２に記載の情報処理装置において、ウェブページの描画が完了した第１時間と、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた第２時間とを履歴として記憶する履歴記憶手段から取得された前記第１時間及び前記第２時間に基づいて決定された時間であって、前記第１時間から前記第２時間まで経過した時間のうち最短の時間を前記基準時間として取得する時間取得手段を更に備えることを特徴とする。

この発明によれば、適切な時間を基準時間に設定することができる。

請求項４に記載の発明は、請求項１乃至３の何れか１項に記載の情報処理装置において、前記受け付けられた操作のイベントに対応する処理の実行時、前記ウェブページの第２スクリーンショットを取得する画像取得手段と、前記取得手段により取得された前記スクリーンショットと前記画像取得手段により取得された前記第２スクリーンショットとの間で画像差分がない場合、前記実行制御手段は、前記取得手段により取得された前記座標が示す位置に現在表示されている要素に対して前記操作がされた場合の処理を実行させ、前記画像差分がある場合、前記実行制御手段は、前記取得手段により取得されたスクリーンショットにおいて前記取得手段により取得された前記座標が示す位置にある要素の現在位置を、前記画像取得手段により取得された第２スクリーンショットに基づいて特定し、特定された前記位置に現在表示されている要素に対して前記操作がされた場合の処理を実行させることを特徴とする。

この発明によれば、画像差分がない場合、従来と同じ処理で、ユーザが意図した要素に対応する処理を実行することができる。

請求項５に記載の発明は、コンピュータにより実行される情報処理方法であって、ウェブページの描画が完了する前に、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、前記位置を示す座標と、前記ウェブページのスクリーンショットであって、前記操作が受け付けられたタイミングに対応するスクリーンショットと、を取得する取得ステップと、前記受け付けられた操作のイベントに対応する処理の実行時、前記取得ステップにより取得された前記スクリーンショットにおいて、前記取得ステップにより取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を、前記受け付けられた操作のイベントに対応する処理として実行させる実行制御ステップと、を含むことを特徴とする。

請求項６に記載の発明は、コンピュータを、ウェブページの描画が完了する前に、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、前記位置を示す座標と、前記ウェブページのスクリーンショットであって、前記操作が受け付けられたタイミングに対応するスクリーンショットと、を取得する取得手段、及び、前記受け付けられた操作のイベントに対応する処理の実行時、前記取得手段により取得された前記スクリーンショットにおいて、前記取得手段により取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を、前記受け付けられた操作のイベントに対応する処理として実行させる実行制御手段、として機能させることを特徴とする。

請求項７に記載の発明は、コンピュータがブラウザと同時に実行することが可能な情報処理プログラムであって、前記コンピュータを、前記ブラウザによるウェブページの描画が完了する前に、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、前記位置を示す座標と、前記ウェブページのスクリーンショットであって、前記操作が受け付けられたタイミングに対応するスクリーンショットと、を取得する取得手段、前記ウェブページの描画の完了の通知を前記ブラウザから受信する受信手段、及び、前記受信手段により前記通知が受信されたとき、前記取得手段により取得された前記スクリーンショットにおいて、前記取得手段により取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を、前記受け付けられた操作のイベントに対応する処理として実行させる実行制御手段、として機能させることを特徴とする。

この発明によれば、ブラウザの機能を拡張するプログラムによっても、ユーザが意図した要素に対応する処理を実行させることができる。

本発明によれば、情報処理装置は、操作が受け付けられたタイミングに対応するスクリーンショットにおいて、指し示された位置にある部分画像が示す要素に対応する処理を実行する。そのため、ユーザが意図した要素に対応する処理を実行させることができる。

一実施形態に係る情報提供システムＳの概要構成の一例を示す図である。 （ａ）〜（ｄ）は、レンダリング中におけるウェブページの表示領域の表示例を示す図である。 （ａ）は、一実施形態に係るユーザ端末１の概要構成の一例を示すブロック図であり、（ｂ）は、一実施形態に係るユーザ端末１の機能ブロックの一例を示す図である。 （ａ）は、一実施形態に係るユーザ端末１のシステム制御部１６のポイント操作受付処理における処理例を示すフローチャートであり、（ｂ）は、一実施形態に係るユーザ端末１のシステム制御部１６のイベント対応処理実行制御処理における処理例を示すフローチャートであり、（ｃ）は、一実施形態に係るユーザ端末１のシステム制御部１６のポイント操作イベント制御処理における処理例を示すフローチャートである。 一実施形態に係る情報提供システムＳの概要構成の一例を示す図である。 （ａ）〜（ｃ）は、ウェブページの要素の描画の完了時刻、及びスクリーンショットの記憶時刻の一例を時間の経過に従って示す図である。 一実施形態に係るユーザ端末１の機能ブロックの一例を示す図である。 （ａ）は、情報処理サーバ３の概要構成の一例を示すブロック図であり、（ｂ）は、履歴ＤＢ３２ａに登録される内容の一例を示す図である。 一実施形態に係る情報処理システムＳの処理例を示すシーケンス図である。 （ａ）は、一実施形態に係るユーザ端末１のシステム制御部１６の記憶制御処理における処理例を示すフローチャートであり、（ｂ）は、一実施形態に係るユーザ端末１のシステム制御部１６のポイント操作受付処理における処理例を示すフローチャートである。 一実施形態に係るユーザ端末１のシステム制御部１６のポイント操作イベント制御処理における処理例を示すフローチャートである。 （ａ）及び（ｂ）は、画像の差分がない場合におけるウェブページのスクリーンショットの例であり、（ｃ）及び（ｄ）は、画像の差分がある場合におけるウェブページのスクリーンショットの例である。 （ａ）は、一実施形態に係るユーザ端末１の機能ブロックの一例を示す図である。 一実施形態に係るユーザ端末１のシステム制御部１６のポイント操作イベント制御処理における処理例を示すフローチャートである。 （ａ）は、一実施形態に係るユーザ端末１のシステム制御部１６のポイント操作受付処理における処理例を示すフローチャートであり、（ｂ）は、一実施形態に係るユーザ端末１のシステム制御部１６の描画完了通知受信処理における処理例を示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、情報提供システムに対して本発明を適用した場合の実施形態である。

［１．第１実施形態］
［１−１．情報提供システムの構成及び機能概要］
先ず、本実施形態に係る情報提供システムＳの構成について、図１及び図２を用いて説明する。図１は、本実施形態に係る情報提供システムＳの概要構成の一例を示す図である。

図１に示すように、情報提供システムＳは、複数のユーザ端末１と、複数のウェブサーバ２と、を含んで構成されている。そして、ユーザ端末１とウェブサーバ２とは、ネットワークＮＷを介して、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及びゲートウェイ等により構築されている。

ユーザ端末１は、ウェブページを閲覧するユーザが利用する端末装置である。ユーザ端末１としては、例えば、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、スマートフォン等の携帯情報端末、タブレット型コンピュータ、携帯電話機等が用いられる。ユーザ端末１には、ブラウザ等のソフトウェアが組み込まれている。ブラウザを実行することにより、ユーザ端末１は、ユーザからの操作に基づいてウェブサーバ２にアクセスして、ウェブサーバ２からウェブページを受信する。そして、ユーザ端末１は、受信したウェブページを表示する。具体的に、ブラウザ（ブラウザを実行するシステム制御部１６）は、ウェブサーバ２から、例えば、例えばＨＴＭＬ（HyperText Markup Language）文書、ＣＳＳ（Cascading Style Sheets）、画像等のデータを受信する。ブラウザは、例えばＨＴＭＬ文書を解析することにより、ＤＯＭ（Document Object Model）ツリーを構築し、ＤＯＭツリー、ＣＳＳ等に基づいて、レンダーツリーを構築する。ブラウザは、ＨＴＭＬ文書の解析が完了しないうちに、レンダリングを開始する。その理由として、例えば、ウェブページ内の要素が表示されるまでに要する時間を短縮させることが挙げられる。レンダリング時、ブラウザは、構築中のレンダーツリーに基づいて、ウェブページを構成する複数の要素を順次描画する。ウェブページの要素の例として、リンク、ボタン、文字、画像、バー、入力フォーム、テーブル、リスト等が挙げられる。複数の小さい要素で１つの大きな要素が構成されている場合もある。

レンダリングの開始から完了までには時間を要することがある。従って、レンダリングの最中に、ユーザは、ウェブページ内に表示されている要素の位置を指し示す操作を行うことが可能である。要素の位置を指し示す操作を、本実施形態ではポイント操作と呼ぶ。例えば、ユーザがマウスを利用する場合、ポイント操作として、クリック操作等が挙げられる。また例えば、ユーザ端末１がタッチパネルを備えている場合、ポイント操作として、タッチ操作、タップ操作等が挙げられる。レンダリングの最中にポイント操作がされた場合、ポイント操作が行われた時点からポイント操作に対応する処理をブラウザが実行するまでに時間を要することがある。この現象について具体的に説明する。ブラウザは、各種のイベントを処理するために、イベントキューを用いている。ブラウザは、ポイント操作をイベントとして処理する。このイベントをポイント操作イベントという。また、ブラウザは、各要素の描画もイベントとして処理する。このイベントをレンダリングイベントという。ブラウザは、ＨＴＭＬ文書を解析してレンダーツリーを構築しつつ、各要素のレンダリングイベントをイベントキューに追加する。ブラウザは、イベントキューからＦＩＦＯ（First In, First Out）で順次イベントを取り出し、取り出したイベントに対応する処理を実行する。ユーザがポイント操作を行うときには、イベントキューには既に相当数のレンダリングイベントが蓄積されている。そのため、ブラウザがイベントキューからポイント操作イベントを取り出すまでに時間を要するのである。

従来のブラウザの場合、このような現象に伴って、次に説明する問題が生じる。ポイント操作が受け付けられたとき、ブラウザは、ウェブページの表示領域において、ポイント操作により指し示された位置の座標を取得する。この座標をポイント座標という。そして、ブラウザは、ポイント座標をポイント操作イベントのパラメータとして設定して、ポイント操作イベントをイベントキューに追加する。その後、ブラウザは、イベントキューからポイント操作イベントを取得したとき、パラメータとして設定されているポイント座標が示す位置に、ウェブページの表示領域内に現在表示されている要素を特定する。そして、ブラウザは、特定した要素のポイント操作イベントに対応する処理（イベントハンドラやイベントリスナー）を実行する。一方、ポイント操作イベントが受け付けられてから、ポイント操作イベントに対応する処理が実行されるまでの間にも、ウェブページの要素が順次描画される。そのため、ウェブページの表示領域内の要素のレイアウトが変化することがある。この場合、ポイント操作イベントが受け付けられた時点でポイント座標が示す位置にある要素と、ポイント操作イベントに対応する処理が実行される時点でポイント座標が示す位置にある要素とが異なる場合がある。この場合、ブラウザは、ポイント操作イベントに対応する処理が実行される時点でポイント座標が示す位置にある要素に対応する処理を実行する。つまり、ユーザが指した要素とは異なる要素に対応する処理が実行されてしまう。

そこで、本実施形態のブラウザは、ポイント操作が受け付けられた場合、ポイント操作が受け付けられたタイミングに対応するウェブページのスクリーンショットを取得してメモリに記憶させる。スクリーンショットは、画面の全体又は一部を映し出した画像である。また、ブラウザは、ポイント操作で指し示されたポイント座標を取得してメモリに記憶させる。その後、ポイント操作イベントに対応する処理の実行時、ブラウザは、メモリに記憶されているスクリーンショットにおいて、メモリに記憶されているポイント座標が示す位置にある部分の画像が示す要素に対応する処理を、ポイント操作イベントに対応する処理として実行させる。

具体例を示す。図２（ａ）〜図２（ｄ）は、それぞれレンダリング中におけるウェブページの表示領域の表示例を示す図である。例えば、或るウェブページが要素ＣＯ１〜ＣＯ４で構成されているとする。先ず、図２（ａ）に示すように、要素ＣＯ１が描画される。次いで、図２（ｂ）に示すように、要素ＣＯ２が描画される。この時点で、要素ＣＯ３及びＣＯ４のレンダリングイベントはイベントキューに追加されている。このとき、ユーザが、例えばマウスを操作することによりマウスポインタＭＰを動かして、要素ＣＯ２の位置でクリックする。ブラウザは、このタイミングに対応するスクリーンショット、及びポイント座標を取得してメモリに記憶させる。つまり、図２（ｂ）が示す表示領域の画像が記憶される。その後、図２（ｃ）に示すように、要素ＣＯ３が描画される。このとき、要素ＣＯ２の位置が変化して、表示領域外に要素ＣＯ２が移動する。その後、図２（ｄ）に示すように、要素ＣＯ４が描画される。この後で、ポイント操作イベントに対応する処理が実行される。図２（ｄ）の表示領域では、ポイント座標が示す位置には、要素ＣＯ４が表示されている。この場合、従来のブラウザは、要素ＣＯ４に対応する処理を実行させる。これに対し、本実施形態のブラウザは、ポイント操作が受け付けられたタイミングに対応するスクリーンショット（図２（ｂ））から、ポイント座標が示す位置にある要素として、要素ＣＯ２を特定することができる。これにより、ブラウザは、要素ＣＯ２に対応する処理を実行させる。

［１−２．ユーザ端末の構成］
次に、ユーザ端末１の構成について、図３を用いて説明する。

図３（ａ）は、本実施形態に係るユーザ端末１の概要構成の一例を示すブロック図である。図３（ａ）に示すように、ユーザ端末１は、通信部１１と、記憶部１２と、操作部１３と、表示部１４と、入出力インターフェース１５と、システム制御部１６と、を備えている。そして、システム制御部１６と入出力インターフェース１５とは、システムバス１７を介して接続されている。

通信部１１は、ネットワークＮＷに接続して、ウェブサーバ２等との通信状態を制御する。記憶部１２は、例えば、ハードディスクドライブ、フラッシュメモリ等により構成されている。記憶部１２は、本発明における記憶手段の一例である。

記憶部１２には、ＯＳ（Operating System）、ブラウザ等の各種プログラムが記憶されている。ブラウザは、本発明における情報処理プログラムの一例である。なお、ブラウザ等の各種プログラムは、例えば、Ｗｅｂサーバ２等のサーバ装置等からネットワークＮＷを介して取得されるようにしてもよいし、光ディスク、メモリカード等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。また、ブラウザは、予め記憶部１２に記憶されてもよい。また、ブラウザは、プログラム製品であってもよい。

操作部１３は、ポイント操作等のユーザからの操作を受け付ける入力装置である。操作部１３は、ユーザからの操作内容を示す信号をシステム制御部１６へ送信する。操作部１３は、例えば、少なくともキーボード、マウス、タッチパネル又はボタン等により構成されていてもよい。表示部１４は、システム制御部１６の制御に基づいて、映像や文字などの情報を表示する表示装置である。表示部１４は、例えば液晶ディスプレイ等であってもよい。入出力インターフェース１５は、通信部１１〜表示部１４とシステム制御部１６との間のインターフェース処理を行う。

システム制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ等により構成されている。ＲＡＭ１６ｃは、本発明における記憶手段の一例である。ＣＰＵ１６は、プロセッサの一例である。なお、本発明は、ＣＰＵと異なる様々なプロセッサに対しても適用可能である。記憶部１２、ＲＯＭ１６ｂ及びＲＡＭ１６ｃは、それぞれメモリの一例である。なお、本発明は、記憶部１２、ＲＯＭ１６ｂ及びＲＡＭ１６ｃと異なる様々なメモリに対しても適用可能である。

図３（ｂ）は、本実施形態に係るユーザ端末１の機能ブロックの一例を示す図である。システム制御部１６は、ＣＰＵ１６ａが、ブラウザ等のプログラムを実行することにより、図３（ｂ）に示すように、画像記憶制御部１６１、座標記憶制御部１６２、実行制御部１６３等として機能する。画像記憶制御部１６１及び座標記憶制御部１６２の組合せは、本発明における取得手段の一例である。座標記憶制御部１６２は、本発明における座標記憶制御手段の一例である。実行制御部１６３は、本発明における特定手段及び実行制御手段の一例である。

画像記憶制御部１６１は、ポイント操作が受け付けられたタイミングに対応するウェブページのスクリーンショットを取得する。そして、画像記憶制御部１６１は、スクリーンショットをＲＡＭ１６ｃ（または記憶部１２）に記憶させる。例えば、表示部１４の画面全体がウェブページの表示領域である場合、画像記憶制御部１６１は画面全体のスクリーンショットを取得する。また、表示部１４の画面の一部がウェブページの表示領域である場合、画像記憶制御部１６１は、画面全体のスクリーンショットを取得してもよいし、ウェブページの表示領域のみのスクリーンショットを取得してもよい。座標記憶制御部１６２は、ポイント操作が受け付けられたとき、ポイント操作で指し示されたポイント座標を取得する。そして、座標記憶制御部１６２は、ポイント座標をＲＡＭ１６ｃ（または記憶部１２）に記憶させる。実行制御部１６３は、画像記憶制御部１６１により取得されたスクリーンショットにおいて、座標記憶制御部１６２により取得されたポイント座標が示す位置にある部分の画像が示す要素を特定する。そして、実行制御部１６３は、特定した要素がポイント操作された場合に実行すべき処理を、受け付けられたポイント操作イベントに対応する処理として実行させる。

［１−３．ユーザ端末の動作］
次に、ユーザ端末の動作について、図４を用いて説明する。例えば、ユーザ端末１がウェブサーバ２へＨＴＭＬ文書等のリクエストを送信したとき、システム制御部１６は、ポイント操作イベントのイベントリスナーを追加する。これにより、ウェブサーバ２から受信されたＨＴＭＬ文書に基づくレンダリングの最中にポイント操作イベントが受け付けられた場合であっても、イベントリスナーが実行される。また、ウェブページの表示領域内の何れの場所がポイント操作されてもイベントリスナーが実行されるように、システム制御部１６はイベントリスナーを追加する。その後、ウェブページの描画が完了したとき、システム制御部１６は、追加したイベントリスナーを削除する。

図４（ａ）は、本実施形態に係るユーザ端末１のシステム制御部１６のポイント操作受付処理における処理例を示すフローチャートである。レンダリングの最中に、操作部１３によりポイント操作が受け付けられたとき、ポイント操作イベントが発生する。これにより、追加されたイベントリスナーが呼び出される。ポイント操作受付処理は、追加されたイベントリスナーにおいて実行される処理である。

図４（ａ）に示すように、画像記憶制御部１６１は、現在のウェブページの表示領域のスクリーンショットを取得してＲＡＭ１６ｃに記憶させる（ステップＳ１）。次いで、座標記憶制御部１６２は、ポイント操作イベントから、ポイント操作イベントのパラメータの１つであるポイント座標を取得する（ステップＳ２）。次いで、座標記憶制御部１６２は、特別処理イベントを、ＲＡＭ１６ｃに確保されているイベントキューに追加する（ステップＳ３）。特別処理イベントは、ポイント操作によりユーザが指した要素を特定する必要があることを示すイベントである。特別処理イベントのパラメータとして、ポイント操作がある。座標記憶制御部１６２は、取得したポイント座標を特別処理イベントのパラメータとして設定して、特別処理イベントをイベントキューに追加する。ステップＳ３が終わると、システム制御部１６は、ポイント受付処理を終了させる。

図４（ｂ）は、本実施形態に係るユーザ端末１のシステム制御部１６のイベント対応処理実行制御処理における処理例を示すフローチャートである。例えば、ブラウザが起動したとき、システム制御部１６は、イベント対応処理実行制御処理を開始する。図４（ｂ）に示すように、実行制御部１６３は、イベントキューからイベントを１つ取得する（ステップＳ１１）。次いで、実行制御部１６３は、取得したイベントが特別処理イベントであるか否かを判定する（ステップＳ１２）。このとき、実行制御部１６３は、取得したイベントが特別処理イベントではないと判定した場合には（ステップＳ１２：ＮＯ）、ステップＳ１４に進む。一方、実行制御部１６３は、取得したイベントが特別処理イベントであると判定した場合には（ステップＳ１２：ＹＥＳ）、ステップＳ１３に進む。ステップＳ１３において、実行制御部１６３は、ポイント操作イベント制御処理を実行する。

図４（ｃ）は、本実施形態に係るユーザ端末１のシステム制御部１６のポイント操作イベント制御処理における処理例を示すフローチャートである。図４（ｃ）に示すように、実行制御部１６３は、ポイント操作受け付け時のスクリーンショットをＲＡＭ１６ｃから取得するとともに、特別処理イベントからポイント座標を取得する（ステップＳ１６）。次いで、実行制御部１６３は、取得されたスクリーンショットにおいて、ポイント座標が示す位置から上下左右、所定ピクセル数の範囲を部分画像と定める。そして、実行制御部１６３は、例えば公知の文字認識により、部分画像に表示されている一文字以上の文字を認識する（ステップＳ１７）。例えば、図２の例では、要素ＣＯ３に表示されている「詳細画面へ」が認識される。次いで、実行制御部１６３は、ＤＯＭツリーから、認識した文字をテキスト、キャプション等として含むノードを検索する。そして、実行制御部１６３は、検索したノードに対応する要素のＩＤを取得する（ステップＳ１８）。これにより、実行制御部１６３は、ポイント操作により指し示された要素を特定する。次いで、実行制御部１６３は、イベント対応処理実行制御処理で処理される対象のイベントを、特別イベントからポイント操作イベントに変更する（ステップＳ１９）。具体的に、実行制御部１６３は、ポイント操作イベントを生成する。次いで、実行制御部１６３は、実行制御部１６３は、特定した要素をイベントターゲットに設定する（ステップＳ２０）。イベントターゲットは、ポイント操作イベントが発生する要素である。具体的に、ポイント操作イベントのパラメータの１つとしてイベントターゲットのＩＤがある。実行制御部１６３は、取得したＩＤをイベントターゲットのＩＤとして設定する。また、実行制御部１６３は、取得したポイント座標を、ポイント操作イベントのパラメータの１つとして設定してもよい。ステップＳ２０が終わると、システム制御部１６は、ポイント受付処理を終了させる。

ポイント操作イベント制御処理が終わると、実行制御部１６３は、取得したイベントに対応する処理を、例えばＯＳ等により実行させる（ステップＳ１４）。ポイント操作イベント制御処理が実行された場合、実行制御部１６３は、ポイント操作イベント制御処理で生成されたポイント操作イベントに対応する処理を実行させる。例えば、実行制御部１６３は、イベントの種類に対応したＡＰＩ（Application Programming Interface）を呼び出してもよい。ポイント操作イベントの場合、ＯＳ側としてのシステム制御部１６は、イベントに対応する処理を実行するとき、ポイント操作イベントのパラメータとして設定されたＩＤが示すイベントターゲットのポイント操作イベントのイベントハンドラ（または、イベントリスナー）を呼び出す。これにより、システム制御部１６は、ユーザがポイント操作により指し示した要素に対応する処理を実行する。

ステップＳ１４の後、実行制御部１６３は、ユーザ操作によりブラウザが終了するか否かを判定する（ステップＳ１５）。このとき、実行制御部１６３は、ブラウザが終了しないと判定した場合には（ステップＳ１５：ＮＯ）、ステップＳ１１に進む。一方、実行制御部１６３は、ブラウザが終了すると判定した場合には（ステップＳ１５：ＹＥＳ）、イベント対応処理実行制御処理を終了させる。

なお、従来は、ポイント操作イベントのパラメータとしてイベントターゲットのＩＤが設定されていない。この場合、ＯＳ側としてのシステム制御部１６は、ポイント操作イベントに対応する処理の実行時点において、ポイント座標が示す位置にある要素を、イベントターゲットとして特定する。そして、システム制御部１６は、特定した要素に対応する処理を実行する。そのため、前述した問題が生じていた。

以上説明したように、本実施形態によれば、システム制御部１６が、ウェブページの描画が完了する前に、ポイント操作が受け付けられた場合、ポイント座標とポイント操作が受け付けられたタイミングに対応するスクリーンショットを取得する。また、システム制御部１６が、取得されたスクリーンショットにおいてポイント座標が示す位置にある部分画像が示す要素を特定する。また、システム制御部１６が、受け付けられたポイント操作のイベントに対応する処理の実行時、Ｒ特定された要素に対してポイント操作がされた場合に実行される処理を、ポイント操作イベントに対応する処理として実行させる。そのため、ユーザが意図した要素に対応する処理を実行させることができる。

本実施形態において、システム制御部１６は、ポイント操作イベントの実行時に、スクリーンショットにおいてポイント座標が示す位置にある部分の画像が示す要素を特定する処理を行っていた（イベント対応処理実行制御処理のステップＳ１７、Ｓ１８、Ｓ２０）。しかしながら、システム制御部１６は、ポイント操作の受け付け時に、要素を特定してもよい。この場合、ポイント操作受付処理において、システム制御部１６は、特定した要素のＩＤを、ポイント操作イベントのイベントターゲットＩＤとして設定する。そして、システム制御部１６は、特別処理イベントを追加しないで、ポイント操作イベントをイベントキューに追加する。イベント対応処理実行制御処理において、システム制御部１６は、イベントキューに追加されたポイント操作イベントに基づいて処理を行ことにより、ユーザが指した要素に対応する処理を実行させることができる。

［２．第２実施形態］
次に、第２実施形態について、図５乃至図１２を用いて説明する。

［２−１．情報提供システムの構成及び機能概要］
先ず、本実施形態に係る情報提供システムＳの構成について、図５を用いて説明する。図５は、本実施形態に係る情報提供システムＳの概要構成の一例を示す図である。図５において、図１と同様の要素については同様の符号が付されている。図５に示すように、情報提供システムＳは、複数のユーザ端末１と、複数のウェブサーバ２と、情報処理サーバ３とを含んで構成されている。そして、ユーザ端末１とウェブサーバ２と情報処理サーバ３とは、ネットワークＮＷを介して相互にデータの送受信が可能になっている。情報処理サーバ３は、例えばウェブサーバである。情報処理サーバ３は、ユーザ端末１からの要求に応じて、ウェブページをユーザ端末１へ送信する。なお、ユーザ端末１の構成は第１実施形態の場合と同様である。

所望の要素がある位置に対してユーザがポイント操作を行おうと考えてから、ユーザがその位置に対してポイント操作を行うまでには、僅かながらも或る程度の時間がかかる。この時間を反応時間という。レンダリングの最中は、ウェブページを構成する要素が次々と描画されていく。そのため、所望の要素があった位置に対してポイント操作を行った時点では、所望の要素が別の位置に移動してしまっている場合がある。ポイント操作が受け付けられたタイミングで記憶されたスクリーンショットを用いてシステム制御部１６が処理を行った場合であっても、所望の要素とは異なる要素に対応する処理が実行されてしまう。

本実施形態では、システム制御部１６は、レンダリングの最中、所定のタイミングごとにスクリーンショットをＲＡＭ１６ｃに記憶させる。そして、ユーザ端末１は、記憶された複数のスクリーンショットの中から、ポイント操作により指し示された要素を特定するために用いられるスクリーンショットを決定する。

図６（ａ）は、ウェブページの要素の描画の完了時刻、及びスクリーンショットの記憶時刻の一例を時間の経過に従って示す図である。例えば、図２と同様に、ウェブページがコンテンツＣＯ１〜ＣＯ４で構成されているとする。図６（ａ）に示すように、コンテンツＣＯ１〜ＣＯ４の順で描画が行われる。具体的に、時刻ＦＴ１でコンテンツＣＯ１の描画が完了し、時刻ＦＴ２でコンテンツＣＯ２の描画が完了し、時刻ＦＴ３でコンテンツＣＯ３の描画が完了し、時刻ＦＴ４でコンテンツＣＯ４の描画が完了している。一方、システム制御部１６は、レンダリングが開始されてから、例えば所定時間が経過するごとに、スクリーンショットをＲＡＭ１６ｃに記憶させる。例えば、図６（ａ）に示すように、時刻ＭＴ１〜ＭＴ５のそれぞれのタイミングでスクリーンショットが記憶される。ここで、時刻ＣＴで、ポイント操作が受け付けられたとする。タイミングの前後関係は、時刻が早い順に、ＭＴ４、ＦＴ３、ＣＴ、ＭＴ５、ＦＴ４である。従って、要素ＣＯ３の描画が完了した後に、ユーザはポイント操作を行っている。要素ＣＯ３が描画される前は、要素ＣＯ３の位置に要素ＣＯ２が表示されていた。そのため、ポイント座標によっては、ユーザが要素ＣＯ２及びＣＯ３の何れを指定しようとしてポイント操作を行ったかが問題となる。

ユーザがポイント操作をするとき、最低限かかる反応時間がある。例えばこの時間が、基準時間として設定されてもよい。或る要素の描画に対してユーザがポイント操作をするためには、その要素の描画が完了してから基準時間が最低限かかる。システム制御部１６は、要素の描画の完了時間からポイント操作が受け付けられるまでの経過時間と基準時間とに基づいて、ポイント操作により指し示された要素を特定するためのスクリーンショットを決定する。図６（ｂ）に示すように、要素ＣＯ３の描画が完了してからポイント操作が受け付けられるまでの経過時間が基準時間未満である場合、ユーザが要素ＣＯ３を指そうと考えていた蓋然性は低い。そこで、システム制御部１６は、要素ＣＯ３の描画が完了する前のスクリーンショットの中で、時刻ＦＴ３より基準時間以上前に記憶されたスクリーンショットのうち最新の時刻ＭＴ４に記憶されたスクリーンショットを、ポイント操作が受け付けられたタイミングに対応するスクリーンショットとして、要素の特定に用いる。このスクリーンショットには、要素ＣＯ１及びＣＯ２が写っているが、要素ＣＯ３は写っていない。一方、図６（ｃ）に示すように、要素ＣＯ３の描画が完了してからポイント操作が受け付けられるまでの経過時間が基準時間と同一であるか又は基準時間よりも長い場合、ユーザが要素ＣＯ３を指そうと考えていた可能性が生じる。そこで、システム制御部１６は、要素ＣＯ３の描画が完了した後のスクリーンショットのうち最古の時刻ＭＴ５に記憶されたスクリーンショットを、ポイント操作が受け付けられたタイミングに対応するスクリーンショットとして、要素の特定に用いる。このスクリーンショットには、要素ＣＯ１〜ＣＯ３が写っている。

基準時間は予め設定されていてもよい。また、基準時間は、ユーザの操作の履歴に基づいて、ユーザごとに決定されてもよい。例えば、ウェブページの描画が完了した時刻、及び、ポイント操作が受け付けられた時刻が履歴として記憶される。そして、ウェブページの描画が完了した時刻からポイント操作が受け付けられた時刻まで経過した時間のうち、最短の時間が基準時間に決定されてもよい。例えば、情報処理サーバ３が全ユーザの履歴を記憶して、情報処理サーバ３が基準時間を決定してもよい。また例えば、各ユーザ端末が履歴を記憶して、各ユーザ端末が基準時間を決定してもよい。本実施形態では、情報処理サーバ３が基準時間を決定する。

［２−２．システム制御部の機能ブロック］
図７は、本実施形態に係るユーザ端末１の機能ブロックの一例を示す図である。図７において、図３（ｂ）と同様の要素については同様の符号が付されている。図７に示すように、システム制御部１６は、画像記憶制御部１６１、座標記憶制御部１６２、実行制御部１６３、時間記憶制御部１６４、記憶画像取得部１６５等としてとして機能する。画像記憶制御部１６１は、本発明における画像記憶制御手段の一例である。座標記憶制御部１６２は、本発明における受付時間記憶制御手段の一例である。時間記憶制御部１６４は、本発明における完了時間記憶制御手段の一例である。記憶画像取得部１６５は、本発明における記憶画像取得手段及び時間取得手段の一例である。

画像記憶制御部１６１は、所定のタイミングごとに、スクリーンショットとスクリーンショットの記憶時刻とを対応付けてＲＡＭ１６ｃに記憶させる。スクリーンショットの記憶時刻は、画像記憶制御部１６１がスクリーンショットを取得した時刻でもある。座標記憶制御部１６２は、ポイント操作が受け付けられたとき、ポイント座標とポイント操作の受付時刻とをＲＡＭ１６ｃに記憶させる。時間記憶制御部１６４は、ウェブページのレンダリングの最中、ウェブページを構成する各要素の描画が完了するごとに、描画の完了時刻をＲＡＭ１６ｃに記憶させる。記憶画像取得部１６５は、ポイント操作イベントに対応する処理の実行時、ＲＡＭ１６ｃに記憶された完了時刻の中で、ポイント操作の受付時刻よりも古い完了時刻のうち最新の完了時刻を、特定完了時刻として取得する。また、記憶画像取得部１６５は、特定完了時刻から受付時刻までの経過時間を計算する。また、記憶画像取得部１６５は、経過時間が基準時間未満である場合、ＲＡＭ１６ｃに記憶された記憶時刻の中で特定完了時刻よりも基準時間以上古い記憶時刻のうち最新の記憶時刻を取得する。一方、記憶画像取得部１６５は、経過時間が基準時間以上である場合、ＲＡＭ１６ｃに記憶された記憶時刻の中で特定完了時刻以降の記憶時刻のうち最古の記憶時刻を取得する。そして、記憶画像取得部１６５は、取得した記憶時刻に対応するスクリーンショットを、ポイント操作が受け付けられたタイミングに対応するスクリーンショットとしてＲＡＭ１６ｃから取得する。実行制御部１６３は、記憶画像取得部１６５により取得されたスクリーンショットを用いてイベントターゲットを特定する。

［２−３．情報処理サーバの構成］
次に、情報処理サーバ３の構成について、図８を用いて説明する。図８（ａ）は、情報処理サーバ３の概要構成の一例を示すブロック図である。図８（ａ）に示すように、情報処理サーバ３は、通信部３１と、記憶部３２と、入出力インターフェース３３と、システム制御部３４と、を備えている。そして、システム制御部３４と入出力インターフェース３３とは、システムバス３５を介して接続されている。

通信部３１は、ネットワークＮＷに接続して、ユーザ端末１等との通信状態を制御する。 記憶部３２は、例えば、ハードディスクドライブ等により構成されている。記憶部３２は、本発明における履歴記憶手段の一例である。この記憶部３２には、履歴ＤＢ３２ａ等のデータベースが構築されている。「ＤＢ」は、データベースの略語である。

図８（ｂ）は、履歴ＤＢ３２ａに登録される内容の一例を示す図である。履歴ＤＢ３２ａには、ユーザ端末１から情報処理サーバ３へ送信された要求（ＨＴＴＰ（HyperText Transfer Protocol）リクエスト）及び要求に対する情報処理サーバ３からの応答の送信の履歴が登録される。図８（ｂ）に示すように、履歴ＤＢ３２ａには、ユーザＩＤ、履歴種別及び時刻が対応付けて登録される。ユーザＩＤは、ユーザの識別情報である。ユーザＩＤは、情報処理サーバ３へ要求を送信したユーザ端末１を利用するユーザ又は情報処理サーバ３からの応答を受信するユーザ端末１を利用するユーザを示す。履歴種別は、登録されている履歴が、応答の送信履歴及び要求の受信履歴の何れであるかを示す。送信履歴である場合、時刻として、応答の送信時刻が登録される。受信履歴である場合、時刻として、要求の受信時刻が登録される。システム制御部３４は、応答の送信時刻を、応答を受信するユーザ端末１によるウェブページの描画の完了時刻として登録する。また、システム制御部３４は、要求の受信時刻を、要求を送信したユーザ端末１によりポイント操作が受け付けられた時刻として登録する。システム制御部３４は、応答の送信時刻を描画の完了時刻をみなす。そこで、例えば情報量が所定値以下であるウェブページのＨＴＭＬ文書を送信したとき、及び情報量が所定値以下であるウェブページに対するポイント操作による要求を受信したときにのみ、システム制御部３４は履歴を登録してもよい。このようなウェブページが予め定められていてもよい。送信時刻は、本発明の第１時間の一例であり、受信時刻は、本発明の第２時間の一例である。

記憶部１２には、ウェブページを表示するためのＨＴＭＬ（HyperText Markup Language）文書、ＸＭＬ（Extensible Markup Language）文書、画像データ、テキストデータ、電子文書等の各種データも記憶されている。また、記憶部１２には、ＯＳ、ＷＷＷ（World Wide Web）サーバプログラム、ＤＢＭＳ（Database Management System）等の各種プログラムが記憶されている。各種プログラムは、例えば、他のサーバ装置等からネットワークＮＷを介して取得されるようにしてもよいし、光ディスク等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

入出力インターフェース３３は、通信部３１及び記憶部３２とシステム制御部３４との間のインターフェース処理を行うようになっている。システム制御部３４は、ＣＰＵ３４ａ、ＲＯＭ３４ｂ、ＲＡＭ３４ｃ等により構成されている。システム制御部３４は、ＣＰＵ３４ａが、各種プログラムを実行することにより、情報処理サーバ３の各部を制御する。

［２−４．情報提供システムの動作］
次に、情報提供システムＳの動作について、図９乃至図１１を用いて説明する。

図９は、本実施形態に係る情報処理システムＳの処理例を示すシーケンス図である。例えば、ユーザ端末１からの要求に応じて、情報処理サーバ３は、ＨＴＭＬ文書をユーザ端末１へ送信する（ステップＳ２１）。このとき、情報処理サーバ３は、ＨＴＭＬ文書の送信先のユーザ端末１を利用するユーザのユーザＩＤ、ＨＴＭＬ文書の送信時刻を履歴ＤＢ３２ａに登録する（ステップＳ２２）。ＨＴＭＬ文書を受信したユーザ端末１は、ＨＴＭＬ文書に基づいてウェブページを表示する（ステップＳ２３）。その後、ユーザがポイント操作を行い、ユーザ端末１はその操作を受け付ける（ステップＳ２４）。すると、ユーザ端末１は、ポイント操作によって指し示された要素に対応する要求を情報処理サーバ３へ送信する（ステップＳ２５）。この要求は、ユーザ端末１を利用するユーザのユーザＩＤを含む。要求を受信した情報処理サーバ３は、要求に含まれるユーザＩＤ、及び要求の受信時刻を履歴ＤＢ３２ａに登録する（ステップＳ２６）。そして、情報処理サーバ３は、基準時間を決定する（ステップＳ２７）。具体的に、情報処理サーバ３は、履歴ＤＢ３２ａから、要求に含まれるユーザＩＤに対応する送信時刻及び受信時刻のペアを全て取得する。次いで、情報処理サーバ３は、取得したペアごとに、送信時刻から受信時刻を減算して、経過時間を計算する。そして、情報処理サーバ３は、計算した経過時間のうち最短の経過時間を基準時間に決定する。情報処理サーバ３、決定した基準時間をユーザ端末１へ送信する（ステップＳ２８）。例えば、情報処理サーバ３は、要求に対する応答とともに基準時間を送信してもよいし、所定のタイミングで基準時間を送信してもよい。基準時間を受信したユーザ端末１は、基準時間を記憶部１２に記憶させる。

図１０（ａ）は、本実施形態に係るユーザ端末１のシステム制御部１６の記憶制御処理における処理例を示すフローチャートである。例えば、ウェブサーバ２又は情報処理サーバ３から受信されたＨＴＭＬ文書に基づいて、システム制御部１６がウェブページのレンダリングを開始したとき、システム制御部１６は記憶制御処理を実行する。図１０（ａ）に示すように、画像記憶制御部１６１は、スクリーンショットを記憶するためのタイマーをセットする（ステップＳ３１）。次いで、時間記憶制御部１６４は、ウェブページの何れかの要素の描画が完了したか否かを判定する（ステップＳ３２）。このとき、時間記憶制御部１６４は、要素の描画が完了したと判定した場合には（ステップＳ３２：ＹＥＳ）、ステップＳ３３に進む。ステップＳ３３において、時間記憶制御部１６４は、現在時刻を完了時間として取得し、完了時間をＲＡＭ１６ｃに記憶させる。次いで、時間記憶制御部１６４は、ステップＳ３２に進む。

一方、時間記憶制御部１６４は、要素の描画が完了していないと判定した場合には（ステップＳ３２：ＮＯ）、ステップＳ３４に進む。ステップＳ３４において、画像記憶制御部１６１は、タイマーにより設定された時間が経過したか否かを判定する。このとき、画像記憶制御部１６１は、設定された時間が経過したと判定した場合には（ステップＳ３４：ＹＥＳ）、ステップＳ３５に進む。ステップＳ３５において、画像記憶制御部１６１は、現在のウェブページの表示領域のスクリーンショットを取得する。また、画像記憶制御部１６１は、現在時刻を記憶時間として取得する。そして、画像記憶制御部１６１は、取得したスクリーンショットと記憶時間を対応付けてＲＡＭ１６ｃに記憶させる。次いで、画像記憶制御部１６１は、ステップＳ３１に進む。

一方、画像記憶制御部１６１は、設定された時間が経過していないと判定した場合には（ステップＳ３４：ＮＯ）、ステップＳ３６に進む。ステップＳ３６において、時間記憶制御部１６４は、ウェブページの描画が完了したか否かを判定する（ステップＳ３６）。このとき、時間記憶制御部１６４は、ウェブページの描画が完了していないと判定した場合には（ステップＳ３６：ＮＯ）、ステップＳ３２に進む。一方、時間記憶制御部１６４は、ウェブページの描画が完了したと判定した場合には（ステップＳ３６：ＹＥＳ）、記憶制御処理を終了させる。

図１０（ｂ）は、本実施形態に係るユーザ端末１のシステム制御部１６のポイント操作受付処理における処理例を示すフローチャートである。図１０（ｂ）において、図４（ａ）と同様の処理については同様の符号が付されている。図１０（ｂ）に示すように、座標記憶部制御１６２は、現在時刻を受付時刻として取得して、受付時刻をＲＡＭ１６ｃに記憶させる（ステップＳ４）。次いで、座標記憶制御部１６２は、ステップＳ２及び３を実行して、ポイント操作受付処理を終了させる。

図１１は、本実施形態に係るユーザ端末１のシステム制御部１６のポイント操作イベント制御処理における処理例を示すフローチャートである。なお、イベント対応処理実行制御処理は、第１実施形態の場合と同様である。図１１に示すように、記憶画像取得部１６５は、記憶部１２から基準時間を取得する（ステップＳ４２）。次いで、記憶画像取得部１６５は、ポイント操作イベントからポイント座標を取得するとともに、ＲＡＭ１６ｃからポイント操作の受付時刻を取得する（ステップＳ４３）。次いで、記憶画像取得部１６５は、ＲＡＭ１６ｃに記憶されている描画の完了時刻の中で、受付時刻よりも古い完了時刻のうち、受付時刻に最も近い完了時刻を特定完了時刻として取得する（ステップＳ４４）。次いで、記憶画像取得部１６５は、受付時刻から特定完了時刻を減算して、経過時間を計算する（ステップＳ４５）。

次いで、記憶画像取得部１６５は、経過時間が基準時間未満であるか否かを判定する（ステップＳ４６）。このとき、記憶画像取得部１６５は、経過時間が基準時間未満であると判定した場合には（ステップＳ４６：ＹＥＳ）、ステップＳ４７に進む。ステップＳ４７において、記憶画像取得部１６５は、ＲＡＭ１６ｃに記憶されたスクリーンショットの記憶時間の中で、特定完了時間より基準時間以上古い記憶時間のうち、特定完了時間に最も近い記憶時間を取得する。そして、記憶画像取得部１６５は、特定した記憶時間に対応するスクリーンショットをＲＡＭ１６ｃから取得する。次いで、記憶画像取得部１６５は、ステップＳ１７に進む。一方、記憶画像取得部１６５は、経過時間が基準時間未満ではないと判定した場合には（ステップＳ４６：ＮＯ）、ステップＳ４８に進む。ステップＳ４８において、記憶画像取得部１６５は、ＲＡＭ１６ｃに記憶されたスクリーンショットの記憶時間の中で、特定完了時間以降の記憶時間のうち、特定完了時間に最も近い記憶時間を取得する。そして、記憶画像取得部１６５は、特定した記憶時間に対応するスクリーンショットをＲＡＭ１６ｃから取得する。次いで、記憶画像取得部１６５は、ステップＳ１７に進む。システム制御部１６は、ステップＳ１７〜Ｓ２０を実行すると、ポイント操作イベント制御処理を終了させる。

以上説明したように、本実施形態によれば、システム制御部１６が、所定のタイミングごとに、ウェブページのスクリーンショットと記憶時間とを対応付けてＲＡＭ１６ｃに記憶させる。また、システム制御部１６が、ポイント座標とポイント操作の受付時間とをＲＡＭ１６ｃに記憶させる。また、システム制御部１６が、ウェブページに含まれる各要素の描画が完了するごとに、描画の完了時間をＲＡＭ１６ｃに記憶させる。また、システム制御部１６は、特定完了時間から受付時間までの経過時間が基準時間未満である場合、特定完了時間よりも基準時間以上古い記憶時間のうち特定完了時間に最も近い記憶時間に対応するスクリーンショットをＲＡＭ１６ｃから取得する。一方、システム制御部１６は、経過時間が基準時間以上である場合、特定完了時間以降の記憶時間のうち特定完了時間に最も近い記憶時間に対応するスクリーンショットをＲＡＭ１６ｃから取得する。そして、システム制御部１６が、取得されたスクリーンショットにおいて、ポイント座標が示す位置にある部分画像が示す要素に対応する処理を実行させる。そのため、ユーザがポイント操作を行った時点でユーザが意図した要素の位置が変わってしまっても、ユーザが意図した要素に対応する処理を実行することができる。

また、システム制御部１６が、応答の送信時刻から要求の受信時刻まで経過した時間のうち最短の時間を、基準時間として取得してもよい。この場合、適切な時間を基準時間に設定することができる。

［３．第３実施形態］
次に、第３実施形態について、図１２乃至図１４を用いて説明する。なお、情報提供システムＳの構成及びユーザ端末１の構成は、第１実施形態の場合と同様である。

［３−１．情報提供システムの機能概要］
本実施形態において、システム制御部１６は、ポイント操作イベントに対応する処理の実行時におけるスクリーンショットを取得する。システム制御部１６は、ポイント操作が受け付けられたタイミングに対応するスクリーンショットと、ポイント操作イベントに対応する処理の実行時におけるスクリーンショットとで画像の差分があるか否かを判定する。例えば、システム制御部１６は、ウェブページの表示領域全体で差分があるかを判定してもよいし、ポイント座標から上下左右、所定ピクセル数の範囲内で、差分があるかを判定してもよい。画像の差分がある場合、システム制御部１６は、従来の処理と同様の処理を行う。一方、画像の差分がある場合、システム制御部１６は、２つのスクリーンショットに基づいて、ユーザが指した要素の移動先の座標を特定する。システム制御部１６は、特定した座標を、ポイント操作イベントのパラメータであるポイント座標として設定する。そして、システム制御部１６は、ポイント操作イベントに対応する処理を実行させる。

具体例を示す。図１２（ａ）及び（ｂ）は、画像の差分がない場合におけるウェブページのスクリーンショットの例である。レンダリングの途中において、図１２（ａ）に示すように、要素ＣＯ１及びＣＯ４が表示されている。このタイミングで、要素ＣＯ４に対するポイント操作が受け付けられた。その後、図１２（ｂ）に示すように、要素ＣＯ３が更に描画された。しかしながら、要素ＣＯ４の位置は変化していない。この場合、画像差分を判定する範囲を、ポイント座標から所定の範囲である範囲Ｒ１であるとする。範囲Ｒ１では、図１２（ａ）と図１２（ｂ）とで画像差分がない。この場合、システム制御部１６は、ポイント操作受け付け時のポイント座標のままで、ポイント操作イベントを実行させる。図１２（ｂ）の表示領域で、ポイント座標が示す位置には、要素ＣＯ４が表示されている。従って、システム制御部１６は、要素ＣＯ４のポイント操作イベントに対応する処理を実行する。

図１２（ｃ）及び（ｄ）は、画像の差分がある場合におけるウェブページのスクリーンショットの例である。レンダリングの途中において、図１２（ｃ）に示すように、要素ＣＯ１及びＣＯ３が表示されている。このタイミングで、要素ＣＯ３に対するポイント操作が受け付けられた。その後、図１２（ｄ）に示すように、要素ＣＯ４が更に描画された。それに伴って、要素ＣＯ３が移動した。この場合、ポイント座標からの所定の範囲Ｒ２において、図１２（ｃ）と図１２（ｄ）とで画像差分がある。この場合、システム制御部１６は、図１２（ｃ）のスクリーンショットにおける範囲Ｒ２の部分画像が、図１２（ｄ）のスクリーンショットにおいて移動した位置の座標を特定する。なお、ポイント操作によりユーザが指した要素が、ウェブページの表示領域外に移動した場合には、座標を特定することはできない。システム制御部１６は、特定した座標をポイント座標として、ポイント操作イベントを実行させる。この場合、ポイント座標は、図１２（ｄ）において、要素ＣＯ３が表示されている位置を示す。従って、システム制御部１６は、要素ＣＯ３のポイント操作イベントに対応する処理を実行する。

［３−２．システム制御部の機能ブロック］
図１３は、本実施形態に係るユーザ端末１の機能ブロックの一例を示す図である。図１３において、図３（ｂ）と同様の要素については同様の符号が付されている。図１３に示すように、システム制御部１６は、画像記憶制御部１６１、座標記憶制御部１６２、実行制御部１６３、イベント実行画像取得部１６６、座標特定部１６７等としてとして機能する。イベント実行画像取得部１６６は、本発明における画像取得手段の一例である。座標特定部１６７の組合せは、本発明における特定手段の一例である。

イベント実行画像取得部１６６は、ポイント操作イベントに対応する処理の実行時、現時点のウェブページのスクリーンショットを取得する。座標特定部１６７は、ポイント操作が受け付けられたタイミングに対応するスクリーンショットと、ポイント操作イベントに対応する処理の実行時のスクリーンショットとで画像差分がある場合、ポイント操作が受け付けられたタイミングに対応するスクリーンショットにおいて、ＲＡＭ１６ｃに記憶されたポイント座標が示す位置にある部分画像示す要素の現在位置を、ポイント操作イベントに対応する処理の実行時のスクリーンショットに基づいて特定する。

［３−３．ユーザ端末の動作］
次に、ユーザ端末の動作について、図１４を用いて説明する。なお、ポイント操作受付処理は、第１実施形態の場合と同様である。

図１４は、本実施形態に係るユーザ端末１のシステム制御部１６のポイント操作イベント制御処理における処理例を示すフローチャートである。ポイント操作イベント制御処理は、イベント対応処理実行制御処理から呼び出される。イベント対応処理実行制御処理は、実施形態２の場合と同様である。図１４に示すように、イベント実行画像取得部１６６は、現在のウェブページの表示領域のスクリーンショットを取得してＲＡＭ１６ｃに記憶させる（ステップＳ６１）。次いで、実行制御部１６３は、ポイント操作受け付け時のスクリーンショットをＲＡＭ１６ｃから取得するとともに、ポイント操作イベントからポイント座標を取得する（ステップＳ６２）。次いで、実行制御部１６３は、例えば公知の背景差分法により、ポイント操作受け付け時のスクリーンショットと現在のスクリーンショットとで画像差分があるか否かを判定する（ステップＳ６３）。このとき、実行制御部１６３は、画像差分がないと判定した場合には（ステップＳ６３：ＮＯ）、ポイント操作イベント制御処理を終了させる。

一方、実行制御部１６３は、画像差分があると判定した場合には（ステップＳ６３：ＹＥＳ）、ステップＳ６４に進む。ステップＳ６４において、座標特定部１６７は、ポイント操作受け付け時のスクリーンショットから、ポイント座標の上下左右、所定ピクセル数の範囲内にある部分画像を特定する。次いで、座標特定部１６７は、例えば公知の画像マッチング技術により、特定した部分画像を、現在の表示領域のスクリーンショットから探索する（ステップＳ６５）。次いで、座標特定部１６７は、現在の表示領域のスクリーンショットにおける部分画像の座標を算出する（ステップＳ６６）。次いで、実行制御部１６３は、イベント対応処理実行制御処理で処理される対象のイベントを、特別イベントからポイント操作イベントに変更する（ステップＳ６７）。次いで、実行制御部１６３は、算出された座標で、ポイント操作イベントのポイント座標を書き換える（ステップＳ６９８）。実行制御部１６３は、ステップＳ６８を終えると、ポイント操作イベント制御処理を終了させる。ポイント操作イベントのパラメータとしてイベントターゲットのＩＤが設定されていないため、イベント対応処理実行制御処理において、システム制御部１６は、ポイント座標が示す位置に現在表示されているイベントに対応する処理を実行させる。

なお、ポイント操作によりユーザが指した要素がウェブページの表示領域外に移動している場合、部分画像を探索することができない。この場合、実行制御部１６３は、例えばポイント操作イベントに対応する処理を実行させなくてもよい。

以上説明したように、本実施形態によれば、システム制御部１６が、ポイント操作のイベントに対応する処理の実行時、ウェブページのスクリーンショットを取得する。また、システム制御部１６が、ＲＡＭ１６ｃに記憶されたスクリーンショットと取得されたスクリーンショットとの間で画像差分がある場合、記憶されたスクリーンショットにおいてポイント座標が示す位置にある部分画像が示す要素の現在位置を、取得されたスクリーンショットに基づいて特定する。そして、システム制御部１６が、特定された位置に現在表示されている要素に対応する処理を実行させる。一方、画像差分がない場合、ポイント座標が示す位置に現在表示されている要素に対応する処理を実行させる。そのため、画像差分がない場合、従来と同じ処理で、ユーザが意図した要素に対応する処理を実行することができる。また、要素を特定するためにシステム制御部１６がＤＯＭツリーからの検索をしなくてもよい。

なお、システム制御部１６は、第２実施形態の場合と同様に、ＲＡＭ１６ｃに記憶された複数のスクリーンショットの中から、ポイント操作が受け付けられたタイミングに対応するスクリーンショットを取得してもよい。そして、システム制御部１６は、取得したスクリーンショットと、ポイント操作イベントに対応する処理の実行時のスクリーンショットとの画像差分があるか否かを判定してもよい。

［４．第４実施形態］
次に、第４実施形態について、図１５を用いて説明する。なお、情報提供システムＳの構成、ユーザ端末１の構成及びシステム制御部１６の機能ブロックは、第１実施形態の場合と同様である。第１〜第３実施形態においては、ブラウザに本発明の情報処理プログラムが適用されていた。本実施形態は、ブラウザの機能を拡張するプログラム（機能拡張プログラム）に本発明の情報処理プログラムが適用された場合の実施形態である。機能拡張プログラムは、コンピュータがブラウザと同時に実行することが可能なプログラムである。機能拡張プログラムは、本発明における情報処理プログラムの一例である。機能拡張プログラムとして、例えば、アドオン、ツールバーのプログラム等がある。例えば、ユーザ端末１は、ウェブサーバ２等から機能拡張プログラムをダウンロードして記憶部１２に記憶させ、機能拡張プログラムをインストールする。システム制御部１６は、ＣＰＵ１６ａが、機能拡張プログラムを実行することにより、画像記憶制御部１６１、座標記憶制御部１６２、実行制御部１６３等として機能する。

機能拡張プログラム側では、イベントキューからイベントを取り出して、イベントに対応する処理の実行を制御する処理ができない。そのため、例えば、ウェブページの描画が完了したとき、ブラウザから機能拡張プログラムへ、ウェブページの描画の完了を通知する必要がある。

図１５（ａ）は、本実施形態に係るユーザ端末１のシステム制御部１６のポイント操作受付処理における処理例を示すフローチャートである。図１５（ａ）において、図４（ａ）と同様の処理については同様の符号が付されている。機能拡張プログラムの処理において、画像記憶制御部１６１は、ポイント操作イベントのイベントリスナーを追加する。これにより、ポイント操作が受け付けられると、ポイント操作受付処理が実行される。図１５（ａ）に示すように、画像記憶制御部１６１は、現在のウェブページの表示領域のスクリーンショットを取得してＲＡＭ１６ｃに記憶させる（ステップＳ１）。次いで、実行制御部１６３は、ポイント操作イベントからポイント座標を取得する（ステップＳ２）。次いで、座標記憶制御部１６２は、取得したポイント座標をＲＡＭ１６ｃに記憶させて（ステップＳ５）、ポイント操作受付処理を終了させる。このとき、ポイント操作イベントはイベントキューに追加されない。

図１５（ｂ）は、本実施形態に係るユーザ端末１のシステム制御部１６の描画完了通知受信処理における処理例を示すフローチャートである。例えば、ブラウザの起動とともに機能拡張プログラムが起動したとき、システム制御部１６は、描画完了通知受信処理を開始する。図１５（ｂ）に示すように、実行制御部１６３は、ブラウザからウェブページの描画完了の通知を受信したか否かを判定する（ステップＳ８１）。このとき、実行制御部１６３は、通知を受信したと判定した場合には（ステップＳ８１：ＹＥＳ）、ステップＳ８２に進む。ステップＳ８２において、実行制御部１６３は、ポイント操作受け付け時のスクリーンショット及びポイント座標をＲＡＭ１６ｃから取得する。次いで、実行制御部１６３は、スクリーンショットにおいて、ポイント座標が示す位置から上下左右、所定ピクセル数の範囲を部分画像と定める。そして、実行制御部１６３は、部分画像に表示されている一文字以上の文字を認識する（ステップＳ８３）。次いで、実行制御部１６３は、ＤＯＭツリーから、認識した文字をテキスト、キャプション等として含むノードを検索する。そして、実行制御部１６３は、検索したノードに対応する要素のＩＤを取得する（ステップＳ８４）。次いで、実行制御部１６３は、取得したＩＤが示す要素のポイント操作イベントのイベントハンドラを呼び出すことにより、ポイント操作イベントに対応する処理を実行させる（ステップＳ８５）。次いで、実行制御部１６３は、ステップＳ８１に進む。

ステップＳ８１において、実行制御部１６３は、通知を受信していないと判定した場合には（ステップＳ８１：ＮＯ）、ステップＳ８６に進む。ステップＳ８６において、実行制御部１６３は、ユーザ操作によりブラウザが終了するか否かを判定する。このとき、実行制御部１６３は、ブラウザが終了しないと判定した場合には（ステップＳ８６：ＮＯ）、ステップＳ８１に進む。一方、実行制御部１６３は、ブラウザが終了すると判定した場合には（ステップＳ８６：ＹＥＳ）、描画完了通知受信処理を終了させる。

以上説明したように、システム制御部１６が、ウェブページの描画の完了の通知をブラウザから受信されたとき、ＲＡＭ１６ｃに記憶されたスクリーンショットにおいて、ポイント座標が示す位置にある部分画像が示す要素に対応する処理を実行させる。そのため、機能拡張プログラムによっても、ユーザが意図した要素に対応する処理を実行させることができる。

なお、システム制御部１６は、第２実施形態の場合と同様に、ＲＡＭ１６ｃに記憶された複数のスクリーンショットの中から、ポイント操作が受け付けられたタイミングに対応するスクリーンショットを取得してもよい。

また、システム制御部１６は、第３実施形態の場合と同様に、ブラウザからウェブページの描画の完了の通知を受信したとき、その時点のスクリーンショットを取得してもよい。そして、システム制御部１６は、ポイント操作が受け付けられたタイミングに対応するスクリーンショットと、描画の完了の通知を受信したときのスクリーンショットの画像差分があるか否かを判定し、判定結果に基づいて処理を行ってもよい。

１ ユーザ端末
２ ウェブサーバ
３ 情報処理サーバ
１１ 通信部
１２ 記憶部
１３ 操作部
１４ 表示部
１５ 入出力インターフェース
１６ システム制御部
１６ａ ＣＰＵ
１６ｂ ＲＯＭ
１６ｃ ＲＡＭ
１６１ 画像記憶制御部
１６２ 座標記憶制御部
１６３ 実行制御部
１６４ 時間記憶制御部
１６５ 記憶画像取得部
１６６ イベント実行画像取得部
１６７ 座標特定部
１７ システムバス
３１ 通信部
３２ 記憶部
３２ａ 履歴ＤＢ
３３ 入出力インターフェース
３４ システム制御部
３４ａ ＣＰＵ
３４ｂ ＲＯＭ
３４ｃ ＲＡＭ
３５ システムバス
ＮＷ ネットワーク
Ｓ 情報提供システム

Claims (7)

1. ウェブページの描画が完了する前に、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、前記位置を示す座標と、前記ウェブページのスクリーンショットであって、前記操作が受け付けられたタイミングに対応するスクリーンショットと、を取得する取得手段と、
   前記受け付けられた操作のイベントに対応する処理の実行時、前記取得手段により取得された前記スクリーンショットにおいて、前記取得手段により取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を、前記受け付けられた操作のイベントに対応する処理として実行させる実行制御手段と、
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記取得手段は、所定のタイミングごとに、前記ウェブページのスクリーンショットを取得し、
   前記取得手段により取得された前記スクリーンショットと前記スクリーンショットの取得時間とを対応付けて記憶手段に記憶させる画像記憶制御手段と、
   前記操作の受付時間を前記記憶手段に記憶させる受付時間記憶制御手段と、
   前記ウェブページに含まれる各要素の描画が完了するごとに、前記描画の完了時間を前記記憶手段に記憶させる完了時間記憶制御手段と、
   前記記憶手段に記憶された前記完了時間の中で前記受付時間よりも古い前記完了時間のうち前記受付時間に最も近い特定完了時間から前記受付時間までの経過時間が基準時間未満である場合、前記記憶手段に記憶された前記取得時間の中で前記特定完了時間よりも前記基準時間以上古い前記取得時間のうち前記特定完了時間に最も近い前記取得時間に対応する前記スクリーンショットを前記記憶手段から取得し、前記経過時間が前記基準時間以上である場合、前記記憶手段に記憶された前記取得時間の中で前記特定完了時間以降の前記取得時間のうち前記特定完了時間に最も近い前記取得時間に対応する前記スクリーンショットを前記記憶手段から取得する記憶画像取得手段と、
   を更に備え、
   前記実行制御手段は、前記記憶画像取得手段により取得された前記スクリーンショットにおいて、前記取得手段により取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を実行させることを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置において、
   ウェブページの描画が完了した第１時間と、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた第２時間とを履歴として記憶する履歴記憶手段から取得された前記第１時間及び前記第２時間に基づいて決定された時間であって、前記第１時間から前記第２時間まで経過した時間のうち最短の時間を前記基準時間として取得する時間取得手段を更に備えることを特徴とする情報処理装置。
4. 請求項１乃至３の何れか１項に記載の情報処理装置において、
   前記受け付けられた操作のイベントに対応する処理の実行時、前記ウェブページの第２スクリーンショットを取得する画像取得手段と、
   前記取得手段により取得された前記スクリーンショットと前記画像取得手段により取得された前記第２スクリーンショットとの間で画像差分がない場合、前記実行制御手段は、前記取得手段により取得された前記座標が示す位置に現在表示されている要素に対して前記操作がされた場合の処理を実行させ、
   前記画像差分がある場合、前記実行制御手段は、前記取得手段により取得されたスクリーンショットにおいて前記取得手段により取得された前記座標が示す位置にある要素の現在位置を、前記画像取得手段により取得された第２スクリーンショットに基づいて特定し、特定された前記位置に現在表示されている要素に対して前記操作がされた場合の処理を実行させることを特徴とする情報処理装置。
5. コンピュータにより実行される情報処理方法であって、
   ウェブページの描画が完了する前に、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、前記位置を示す座標と、前記ウェブページのスクリーンショットであって、前記操作が受け付けられたタイミングに対応するスクリーンショットと、を取得する取得ステップと、
   前記受け付けられた操作のイベントに対応する処理の実行時、前記取得ステップにより取得された前記スクリーンショットにおいて、前記取得ステップにより取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を、前記受け付けられた操作のイベントに対応する処理として実行させる実行制御ステップと、
   を含むことを特徴とする情報処理方法。
6. コンピュータを、
   ウェブページの描画が完了する前に、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、前記位置を示す座標と、前記ウェブページのスクリーンショットであって、前記操作が受け付けられたタイミングに対応するスクリーンショットと、を取得する取得手段、及び、
   前記受け付けられた操作のイベントに対応する処理の実行時、前記取得手段により取得された前記スクリーンショットにおいて、前記取得手段により取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を、前記受け付けられた操作のイベントに対応する処理として実行させる実行制御手段、
   として機能させることを特徴とする情報処理プログラム。
7. コンピュータがブラウザと同時に実行することが可能な情報処理プログラムであって、
   前記コンピュータを、
   前記ブラウザによるウェブページの描画が完了する前に、前記ウェブページ内の要素の位置を指し示す操作が受け付けられた場合、前記位置を示す座標と、前記ウェブページのスクリーンショットであって、前記操作が受け付けられたタイミングに対応するスクリーンショットと、を取得する取得手段、
   前記ウェブページの描画の完了の通知を前記ブラウザから受信する受信手段、及び、
   前記受信手段により前記通知が受信されたとき、前記取得手段により取得された前記スクリーンショットにおいて、前記取得手段により取得された前記座標が示す位置にある要素に対して前記操作がされるというイベントに予め対応付けられた処理を、前記受け付けられた操作のイベントに対応する処理として実行させる実行制御手段、
   として機能させることを特徴とする情報処理プログラム。

Images