JP5304806B2 - 画像処理プログラム、画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像データを生成するための画像処理プログラム、画像処理方法および画像処理装置に関する。

近年、タブブラウザ機能を備えたブラウザが利用されている。タブブラウザ機能は、１つのウィンドウ上で、１ページ１タブ単位でウェブページにアクセスすることが可能な機能である。そして、一つのアクティブなページが画面上に表示される。また、アクティブなページは、アクセスしている複数のページの内から切替可能とされている。

なお、参考となる先行技術文献としては、特許文献１および２が挙げられる。
特開２００７−２９９３１１号公報 特開２０１０−１８１９７１号公報

画面上に表示されているウェブページから、使用者が所望の範囲を選択（クリップ）し、選択された範囲の画像データを抽出するクリップ処理が知られている。しかし、タブブラウザ機能を備えたブラウザで、複数のページに対してクリップ処理を行う場合には、所望の範囲を選択する作業を複数のページの各々について繰り返し行う必要がある。本明細書では、このような不便性を解消することができる技術を提供する。

本願に記載の画像処理プログラムは、ウェブページデータの提供元から提供される複数のウェブページデータに基づき、当該複数のウェブページデータが表す複数のウェブページを、表示装置の表示画面に同時にまたは切替可能に表示するウェブページ表示手段が機能するコンピュータを、複数のウェブページのうちから特定された１つの特定ウェブページ内の任意の領域を第１特定領域として特定する第１特定手段と、第１特定領域に含まれる、特定ウェブページを構成する第１オブジェクトを取得する第１取得手段と、第１取得手段により取得された第１オブジェクトを特定する特定情報を取得する第２取得手段と、特定ウェブページ以外のウェブページ内において、第１特定領域に対応する第２特定領域を、特定情報に基づいて特定する第２特定手段と、第２特定領域に含まれる第２オブジェクトを取得する第３取得手段と、して機能させることを特徴とする。

このように構成された画像処理プログラムによって、コンピュータを上記各手段として機能させれば、利用者が選択した第１特定領域に含まれる第１オブジェクトと、第１特定領域に対応する第２特定領域に含まれる第２オブジェクトとを、取得することができる。そして、出力手段によって、第１オブジェクトと第２オブジェクトとを対応付けて出力することができる。よって、複数のウェブページのうちから特定された１つの特定ウェブページにおいて、第１特定領域を選択するという操作を利用者が行うことで、他のウェブページにおいても、第１特定領域に対応する第２特定領域を特定することができる。すなわち、所望の範囲の選択操作を１回行うだけで、他のウェブページに対して特定領域を選択する処理を行うことができる。これにより、選択操作を複数のページの各々について繰り返し行うという手間を利用者に発生させないため、利用者の利便性を高めることができる。

また、請求項２に記載の画像処理プログラムでは、ウェブページデータに埋め込まれている付加情報に基づいて、第１特定領域に対応する第２特定領域を特定することができる。よって、第２特定領域をより確実に特定することが可能となる。

また、請求項３に記載の画像処理プログラムにおいて、アクセス情報の一部が一致するウェブページは、同系列のウェブページである。通常、同系列のウェブページでは、ページ内の画面構成が類似しているため、第１特定領域に対応する第２特定領域をより確実に特定することができる。

また、請求項４に記載の画像形成処理プログラムでは、第１特定領域と第２特定領域とが対応しているか否かを、第１オブジェクトの種類と第２オブジェクトの種類とが一致するか否かによって判断することができる。よって、第１特定領域と第２特定領域とが対応している場合のみに、第２オブジェクトを取得することが可能となる。

また、請求項５に記載の画像形成処理プログラムでは、特定ウェブページ内の第１オブジェクトと、特定ウェブページ以外のウェブページ内の第２オブジェクトとの間で、表示態様やレイアウト位置が異なっている場合においても、第１オブジェクトに対応するオブジェクトを探し出すことができる。よって、利用者の利便性を高めることができる。

また、請求項６に記載の画像形成処理プログラムでは、第１オブジェクトに対応するオブジェクトの候補が複数存在する場合には、その旨を利用者に報知することができる。そして、利用者が正しい対応関係を有するオブジェクトを選ぶことなどが可能となる。

また、請求項７に記載の画像形成処理プログラムでは、タブを用いたウェブページ表示手段においても、アクティブなタブに関するウェブページにおいて第１特定領域を選択するという操作を利用者が行うことで、アクティブでないタブに関するウェブページにおいても、第１特定領域に対応する第２特定領域を特定することができる。

また、請求項８に記載の画像形成処理プログラムでは、利用者は、第１特定領域と第２特定領域との対応を容易に認識できるため、利用者の利便性を高めることができる。

通信システムの構成を示すブロック図である。 クリップアプリケーションの動作フロー（その１）である。 クリップアプリケーションの動作フロー（その２）である。 クリップアプリケーションの動作フロー（その３）である。 クリップアプリケーションの動作フロー（その４）である。 第１オブジェクトテーブルの一例である。 第２オブジェクトテーブルの一例（その１）である。 第２オブジェクトテーブルの一例（その２）である。 ウェブページの表示例（その１）である。 ＨＴＭＬデータのソース例である。 ウェブページの表示例（その２）である。 ウェブページの表示例（その３）である。 ウェブページの表示例（その４）である。 ウェブページの表示例（その５）である。 ウェブページの表示例（その６）である。

図１に、本願に係る実施形態として例示される通信システム１のブロック図を示す。通信システム１は、ＰＣ（Personal Computer）１０、ＭＦＰ（Multifunction Peripheral）５１、アクセスポイント６２、ウェブサーバ７１、を備える。ＭＦＰ５１は、プリンタ機能、スキャナ機能、コピー機能、ファクシミリ機能などを備える多機能周辺装置である。アクセスポイント６２は、既知の中継装置である。

ＰＣ１０とアクセスポイント６２とは、無線ＬＡＮ方式により、無線通信を行うことが可能とされている。また、ＭＦＰ５１とアクセスポイント６２とは、無線ＬＡＮ方式により、無線通信を行うことが可能とされている。また、ＰＣ１０とウェブサーバ７１とは、インターネット７０を介して通信可能に接続されている。

ＰＣ１０の構成について説明する。ＰＣ１０は、ＣＰＵ１１、記憶部１２、無線ＬＡＮ送受信部１５、無線ＬＡＮアンテナ部１６、キーボード１７、モニタ１８、マウス１９、ネットワークインターフェース２２、を主に備えている。

ＣＰＵ１１は、記憶部１２に記憶されるプログラムや、無線ＬＡＮ送受信部１５を介して送受信される各種信号などに従って、各機能の制御を行う。なお、記憶部１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（ハードディスク）などが組み合わされて構成されているとしてもよい。

無線ＬＡＮ送受信部１５は、無線ＬＡＮアンテナ部１６を介して無線通信を行う。そして、無線ＬＡＮ送受信部１５により、各種のデータを構成するデジタル信号が送受信される。また、ネットワークインターフェース２２は、インターネット７０を介して、ウェブサーバ７１との間で各種の通信を行う。キーボード１７は、ＰＣ１０の各機能を実行するためのキーである。モニタ１８は、ＰＣ１０の各種機能情報を表示する。マウス１９は、使用者操作を入力するための既知のデバイスである。

記憶部１２は、プログラム２１を記憶する。ＣＰＵ１１は、記憶部１２内のプログラム２１に従って処理を実行する。プログラム２１は、クリップアプリケーション２１ａ、ブラウザアプリケーション２１ｂ、オペレーティングシステム２１ｅを備えている。

クリップアプリケーション２１ａは、後述するクリップ処理などを実行させるためのアプリケーションである。また、クリップアプリケーション２１ａは、ブラウザアプリケーション２１ｂに組み込まれたプラグインにより実現される拡張機能の一部に相当するアプリケーションである。クリップアプリケーション２１ａは、ブラウザアプリケーション２１ｂによって内部的に起動される。

ブラウザアプリケーション２１ｂは、ウェブページをモニタ１８に表示させるためのアプリケーションである。ＣＰＵ１１は、ブラウザアプリケーション２１ｂに従って処理を実行する。この処理では、ウェブサーバ（例えばウェブサーバ７１）からＨＴＭＬ（HyperText Markup Language）データをダウンロードし、ＨＴＭＬデータ内のデータ参照タグで参照されている参照画像データを参照先からダウンロードする。そしてＣＰＵ１１は、ダウンロードしたＨＴＭＬデータや参照画像データ等を、ブラウザアプリケーション記憶領域２３ｂへ記憶させる。またＣＰＵ１１は、ＨＴＭＬデータや参照画像データ等を元にして、ウェブページをモニタ１８に表示させる。

また、ブラウザアプリケーション２１ｂは、タブブラウザ機能を備えている。タブブラウザ機能は、ウェブサーバからダウンロードした複数のＨＴＭＬデータに基づき、複数のＨＴＭＬデータが表す複数のウェブページを、モニタ１８に切替可能に表示する機能である。具体的には、ブラウザアプリケーション２１ｂは、複数のタブを備える。そして、各タブごとに割り当てられたＵＲＬ（Uniform Resource Locator）に基づいて、各タブごとにＨＴＭＬデータをダウンロードする。また、複数のタブのうちの１つが、利用者によって選択可能とされている。ブラウザアプリケーション２１ｂは、選択されたタブ（アクティブなタブ）に関するウェブページをモニタ１８上に表示し、選択されていないタブ（非アクティブなタブ）に関するウェブページはモニタ１８上に表示しない。また、アクティブなタブは、切替可能とされている。

オペレーティングシステム２１ｅは、クリップアプリケーション２１ａおよびブラウザアプリケーション２１ｂに共通して利用される基本的な機能を提供するプログラムである。ＣＰＵ１１は、オペレーティングシステム２１ｅに従って、クリップアプリケーション２１ａおよびブラウザアプリケーション２１ｂの各々の間での、画像データ等の受け渡しを管理する。

また、記憶部１２は、クリップアプリケーション記憶領域２３ａ、ブラウザアプリケーション記憶領域２３ｂ、設定記憶領域２５、第１オブジェクトテーブルＴＢ１、第２オブジェクトテーブルＴＢ２を備える。クリップアプリケーション記憶領域２３ａは、後述する第１オブジェクトや第２オブジェクトなどを記憶する領域である。ブラウザアプリケーション記憶領域２３ｂは、ブラウザアプリケーション２１ｂ用のインターネットの情報（一時ファイル）を記憶する領域である。ウェブページのデータが、ブラウザアプリケーション記憶領域２３ｂにキャッシュデータとして記憶される。設定記憶領域２５は、各種の設定を記憶する領域である。

また、図６に、第１オブジェクトテーブルＴＢ１の一例を示す。第１オブジェクトテーブルＴＢ１は、後述するクリップ処理（Ｓ１１）において取得される第１オブジェクトに関する情報を記憶するテーブルである。第１オブジェクトテーブルＴＢ１は、タブ番号４０１、ＵＲＬ４０２、段落番号４０４、オブジェクト種類４０７、を記憶する。タブ番号４０１は、複数のタブの各々を識別するための番号である。ＵＲＬ４０２は、ＨＴＭＬデータを提供するウェブサーバへアクセスするための情報である。段落番号４０４は、ＨＴＭＬデータ内において、第１オブジェクトが配置されている段落を示す情報である。ＨＴＭＬデータ内の段落は、ＨＴＭＬタグの一種である＜Ｐ＞タグによって決められている。ＨＴＭＬタグは、ウェブページなどの記述に使われるＨＴＭＬにおいて、付加情報を埋め込むための特殊な文字列である。＜Ｐ＞タグを用いることにより、＜Ｐ＞〜＜／Ｐ＞で囲まれた部分が１段落となる。また、ＨＴＭＬデータ内では、複数のオブジェクトが、順番に並んだ状態で配置されている。よって、ＨＴＭＬデータ内の複数のオブジェクトが、＜Ｐ＞タグによって複数の段落に区分けされている場合には、先頭段落から何番目の段落に該当するかを表す数字を段落番号４０４に用いることによって、所定のオブジェクトのＨＴＭＬデータ内での配置位置を特定することが可能となる。なお、１階層目の＜Ｐ＞〜＜／Ｐ＞の範囲内に、２階層目以降の＜Ｐ＞〜＜／Ｐ＞の範囲が含まれることで、複数階層構造を有する段落構造を形成することも可能である。オブジェクト種類４０７は、第１オブジェクトの種類である。オブジェクトの種類の例としては、画像、テキスト、表、などが挙げられる。

また、図７および図８に、第２オブジェクトテーブルＴＢ２の一例を示す。第２オブジェクトテーブルＴＢ２は、タブ番号５０１、ＵＲＬ５０２、段落番号５０４、オブジェクト種類５０７、を記憶する。タブ番号５０１は、複数のタブの各々を識別するための番号である。ＵＲＬ５０２は、ＨＴＭＬデータを提供するウェブサーバへアクセスするための情報である。段落番号５０４は、ＨＴＭＬデータ内において、第２オブジェクトが配置されている段落、および、第２オブジェクトの前後の段落を示す情報である。オブジェクト種類５０７は、第２オブジェクトの種類である。

ウェブサーバ７１の構成について説明する。ウェブサーバ７１は、ＣＰＵ７２、記憶部７３、通信部７４、を主に備えている。ウェブサーバ７１は、ネットワークにおいて、クライアント装置に対し、自身の保持しているＨＴＭＬデータや各種機能を提供する装置である。ＣＰＵ７２は、各機能の制御を行う。記憶部７３は、各種のＨＴＭＬデータ等を記憶する。通信部７４は、様々な情報をＰＣ１０との間で通信する。

本実施形態に係る通信システム１の動作を説明する。図９は、モニタ１８に表示されたウェブブラウザ１００の一例を示した図である。ウェブブラウザ１００には、ウェブページ１０１、タブ１１１ないし１１４が表示されている。図９の例では、タブ１１１が利用者にクリックされ、アクティブとされている状態を説明している。図９に示す状態では、ＣＰＵ１１は、アクティブなタブ１１１に対応するＵＲＬ（http://www.AAA.jp/map/file1.html）に基づいてウェブサーバ７１からＨＴＭＬデータを受信して画像データ化し、ウェブページ１０１としてモニタ１８に表示させている。

図９のウェブページ１０１内には、オブジェクト１３１ないし１３４が表示されている。オブジェクト１３３は、画像オブジェクトである。オブジェクト１３１、１３２、１３４は、テキストオブジェクトである。画像オブジェクトは、ビットマップ形式等の画像データによって表示されている。また、テキストオブジェクトは、テキストデータによって表示されている。

クリップアプリケーション２１ａが起動されることに応じて、図２のフローが開始される。Ｓ１１において、ＣＰＵ１１は、クリップ処理を実行する。Ｓ１３において、ＣＰＵ１１は、反映処理を実行する。Ｓ１５において、ＣＰＵ１１は、出力処理を実行する。以下、各処理について詳細に説明する。

（クリップ処理）
クリップ処理の内容を、図３を用いて説明する。Ｓ１１２において、ＣＰＵ１１は、アクティブ状態のタブに関するウェブページ上で第１特定領域を特定するための、使用者の操作を受け付ける。

Ｓ１１３においてＣＰＵ１１は、第１特定領域に含まれている、第１オブジェクトを取得する。第１オブジェクトを取得する処理の例としては、第１オブジェクトが画像オブジェクトである場合には、オペレーティングシステム２１ｅのＡＰＩに従って、ＣＰＵ１１がモニタ１８に表示されているウェブページ１０１の元となる画像データを取得する処理が挙げられる。また、モニタ１８に画像を表示させるための画像メモリにアクセスし、画像メモリが記憶する画像データのうち、特定領域１２１で囲まれている領域内の画像の元である画像データを読み出して取得する処理が挙げられる。またＳ１１３において、ＣＰＵ１１は、取得した第１オブジェクトのデータを、クリップアプリケーション記憶領域２３ａに記憶する。

Ｓ１１４において、ＣＰＵ１１は、第１オブジェクトの段落番号４０４を取得し、第１オブジェクトテーブルＴＢ１に記憶する。段落番号４０４は、第１オブジェクトの、ウェブページ内での配置位置を特定するための情報である。そしてＳ１１６へ進む。

Ｓ１１６において、ＣＰＵ１１は、第１オブジェクトのオブジェクト種類４０７を取得し、第１オブジェクトテーブルＴＢ１に記憶する。Ｓ１１８において、ＣＰＵ１１は、クリップ処理を実行したタブに対応するＵＲＬ４０２を、第１オブジェクトテーブルＴＢ１に記憶する。Ｓ１２２において、ＣＰＵ１１は、ウェブブラウザ１００にサブウィンドウ１４０を表示する。そして、サブウィンドウ１４０内に、第１オブジェクトのサムネイルを表示する。Ｓ１２４において、ＣＰＵ１１は、クリップボタン１１０の表示形態を、クリップ反映ボタン１１５へ変更する。そしてクリップ処理が終了される。

クリップ処理について、本実施形態での具体例を説明する。図９に示すように、タブ１１１がアクティブとされている状態でのクリップ処理を説明する。また、図９に示すウェブブラウザ１００のように、タブ１１１ないし１１４の４つのタブが使用されている場合を説明する。また、タブ１１１ないし１１３において同系列のウェブページを閲覧しており、タブ１１４において別系列のウェブページを閲覧している場合を説明する。具体的には、タブ１１１ないし１１３において、同一の地図表示サイトを利用して、それぞれ異なる場所の地図を表示している場合を説明する。また、タブ１１１ないし１１４で用いられているＵＲＬの各々が、「http://www.AAA.jp/map/file1.html」、「http://www.AAA.jp/map/file2.html」、「http://www.AAA.jp/map/file3.html」、「http://www.BBB.jp/news/file0.html」、である場合を説明する。

まず、利用者によって、第１特定領域が特定される（Ｓ１１２）。例として、図９に示す第１特定領域１２１を特定する方法を説明する。第１特定領域１２１の特定は、マウス１９などの入力装置を介して行なわれる。使用者がウェブページ１０１上で始点Ｐ１にカーソルを移動させ、マウス１９のボタンを押下し、そのままの状態でカーソルをモニタ１８の右下方向へ移動させる。そして、使用者が終点Ｐ２でマウス１９のボタンを離すことによって、第１特定領域１２１を特定することができる。このとき、ＣＰＵ１１は、利用者が視覚的に認識できるように、第１特定領域１２１を破線の矩形枠で表示する。これにより、第１特定領域１２１の領域内に表示されているオブジェクト１３３が、第１オブジェクトとして選択される。

ＣＰＵ１１は、クリップ処理を実行したタブ１１１のタブ番号４０１＝「１」を、第１オブジェクトテーブルＴＢ１（図６）に記憶する（Ｓ１１３）。また、ＣＰＵ１１は、オブジェクト１３３の画像データを取得し、クリップアプリケーション記憶領域２３ａに記憶する（Ｓ１１３）。

ＣＰＵ１１は、オブジェクト１３３の配置位置を特定するための段落番号４０４を取得する（Ｓ１１４）。図１０に、図９のウェブページ１０１を表示するためのＨＴＭＬデータのソース１０１ｓを示す。図１０において、オブジェクト１３１〜１３４の各々が、＜Ｐ＞タグによって、第１段落〜第４段落に区分けされていることが分かる。また、第１オブジェクトであるオブジェクト１３３が、第３段落に位置していることが分かる。よって、段落番号４０４＝「３」が、第１オブジェクトテーブルＴＢ１に記憶される（図６）。

ＣＰＵ１１は、第１オブジェクトのオブジェクト種類４０７を取得する（Ｓ１１６）。オブジェクト種類の取得方法の一例としては、第１オブジェクトのソースを解析して、オブジェクト種類を表すＨＴＭＬタグが含まれているか否かを判断する方法が挙げられる。例えば、画像を表示するための＜ｉｍｇ＞タグがソースに含まれている場合には、オブジェクト種類４０７＝「画像」が取得される。また、表を作成するための＜ｔａｂｌｅ＞タグがソースに含まれている場合には、オブジェクト種類４０７＝「表」が取得される。また、何れのオブジェクト種類を表すＨＴＭＬタグもソース含まれていない場合には、オブジェクト種類４０７＝「テキスト」が取得される。本実施形態の説明例では、ＨＴＭＬデータのソース１０１ｓ（図１０）において、第１オブジェクトであるオブジェクト１３３のソースに＜ｉｍｇ＞タグが含まれている。よって、ＣＰＵ１１は、オブジェクト１３３のオブジェクト種類４０７＝「画像」を、第１オブジェクトテーブルＴＢ１（図６）に記憶する（Ｓ１１６）。また、ＣＰＵ１１は、クリップ処理を実行したタブ１１１のＵＲＬ４０２＝「http://www.AAA.jp/map/file1.html」を、第１オブジェクトテーブルＴＢ１に記憶する（Ｓ１１８）。図１１に示すように、ＣＰＵ１１は、オブジェクト１３３のサムネイル１４１を、サブウィンドウ１４０内に表示する（Ｓ１２２）。そして、クリップボタン１１０を、クリップ反映ボタン１１５へ変更する。そしてクリップ処理が終了される。

（反映処理）
Ｓ１３（図２）で行われる反映処理の内容を、図４および図５のフローを用いて説明する。図４のＳ２１０において、ＣＰＵ１１は、クリップ反映ボタン１１５（図１１）が所定時間内に利用者によってクリックされたか否かを判断する。クリックされていない場合（Ｓ２１０：ＮＯ）にはＳ２２０へ進み、クリックされた場合（Ｓ２１０：ＹＥＳ）にはＳ２１２へ進む。

Ｓ２１２において、ＣＰＵ１１は、ウェブブラウザ１００に並んで表示されているタブ１１１ないし１１４のうち、１番目のタブ１１１を処理対象として選択する。Ｓ２１４において、ＣＰＵ１１は、１番目のタブ１１１に関するウェブページに対して、クリップ処理が実行済みであるか否かを判断する。実行済みではない場合（Ｓ２１４：ＮＯ）にはＳ２１８へ進み、実行済みの場合（Ｓ２１４：ＹＥＳ）にはＳ２１６へ進む。

Ｓ２１６において、ＣＰＵ１１は、タブ１１１ないし１１４のうちの次のタブを、処理対象として選択する。Ｓ２１７において、ＣＰＵ１１は、選択されたタブに関するウェブページに対して、クリップ処理が実行済みであるか否かを判断する。実行済みの場合（Ｓ２１７：ＹＥＳ）にはＳ２１６へ戻り、実行済みではない場合（Ｓ２１７：ＮＯ）にはＳ２１８へ進む。

Ｓ２１８において、ＣＰＵ１１は、全てのタブ１１１ないし１１４について、クリップ処理の実行の有無を判断したか否かを判断する。全てのタブについて判断を行った場合（Ｓ２１８：ＹＥＳ）にはＳ２２０へ進む。Ｓ２２０において、ＣＰＵ１１は、クリップ反映ボタン１１５の表示を終了する。そして反映処理を終了する。一方、Ｓ２１８において、全てのタブについて判断を行っていない場合（Ｓ２１８：ＮＯ）にはＳ２２２（図５）へ進む。

図５のＳ２２２において、ＣＰＵ１１は、第１オブジェクトを取得したタブに関するＵＲＬと、Ｓ２１２やＳ２１６で選択されたタブに関するＵＲＬとの間で、ファイル名を除いたＵＲＬのパスが一致するか否かを判断する。一致しない場合（Ｓ２２２：ＮＯ）にはＳ２１６へ戻り、次のタブを処理対象として選択する。一方、一致する場合（Ｓ２２２：ＹＥＳ）には、第１オブジェクトを取得したタブに関するウェブページと、現在選択されているタブに関するウェブページとが、同系列のウェブページであると判断され、Ｓ２２４へ進む。

Ｓ２２４において、ＣＰＵ１１は、現在選択されているタブに関するウェブページ内での第２特定領域の配置位置を、段落番号に基づいて特定する。このとき、第１特定領域のウェブページ内配置位置と、第２特定領域のウェブページ内配置位置とが同一となるように、第２特定領域の配置位置が特定される。そしてＣＰＵ１１は、第２特定領域に含まれている第２オブジェクトを特定する。通常、同系列のウェブページでは、ページ内の画面構成が類似しており、各ページの画面構成が同一であるとみなすことが可能である。よって、第１特定領域のウェブページ内配置位置と、第２特定領域のウェブページ内配置位置とを同一とすることによって、第１オブジェクトと密接に関連したオブジェクトを、第２オブジェクトとして選択することが可能となる。

Ｓ２２５において、ＣＰＵ１１は、第２オブジェクトの段落番号５０４およびオブジェクト種類５０７を取得し、第２オブジェクトテーブルＴＢ２に記憶する。また、ＨＴＭＬデータ上において、第２オブジェクトの前後に配置されているオブジェクトの段落番号５０４およびオブジェクト種類５０７を取得し、第２オブジェクトテーブルＴＢ２に記憶する。

Ｓ２２６において、ＣＰＵ１１は、第２オブジェクトのオブジェクト種類５０７と第１オブジェクトのオブジェクト種類４０７とが、一致するか否かを判断する。一致する場合（Ｓ２２６：ＹＥＳ）には、Ｓ２２７へ進み、第２特定領域が利用者に認識できるように、第２特定領域を破線の矩形枠で表示する。Ｓ２２８に進み、ＣＰＵ１１は、第２特定領域に含まれる第２オブジェクトのデータを、クリップアプリケーション記憶領域２３ａに記憶する。Ｓ２３０に進み、ＣＰＵ１１は、サブウィンドウ１４０に、第２オブジェクトのサムネイルを追加表示する。そしてＳ２１６へ戻る。

一方、Ｓ２２６において、第２オブジェクトの種類と第１オブジェクトの種類とが一致しない場合（Ｓ２２６：ＮＯ）には、Ｓ２３２へ進む。Ｓ２３２において、ＣＰＵ１１は、第２オブジェクトの前または後に位置するオブジェクトの何れか一方のみのオブジェクト種類が、第１オブジェクトのオブジェクト種類と一致するか否かを判断する。第２オブジェクトの前に配置されているオブジェクトのオブジェクト種類のみが、第１オブジェクトのオブジェクト種類に一致する場合（Ｓ２３２：ＹＥＳ）には、Ｓ２２７へ進む。また、第２オブジェクトの後に配置されているオブジェクトのオブジェクト種類のみが、第１オブジェクトのオブジェクト種類に一致する場合（Ｓ２３２：ＹＥＳ）にも、Ｓ２２７へ進む。

Ｓ２２７において、ＣＰＵ１１は、第１オブジェクトと同一のオブジェクト種類を有するオブジェクトを、破線の矩形枠で囲って表示する。Ｓ２２８において、ＣＰＵ１１は、第１オブジェクトと同一のオブジェクト種類を有するオブジェクトを、第２オブジェクトとして取得し、クリップアプリケーション記憶領域２３ａに記憶する。

また、Ｓ２３２において、第２オブジェクトの前または後に位置するオブジェクトの何れか一方のみのオブジェクト種類が、第１オブジェクトのオブジェクト種類と一致しない場合（Ｓ２３２：ＮＯ）には、Ｓ２３４へ進む。Ｓ２３４において、ＣＰＵ１１は、第２オブジェクトの前および後に位置するオブジェクトの両方のオブジェクト種類が、第１オブジェクトのオブジェクト種類と一致するか否かを判断する。両方と一致する場合（Ｓ２３４：ＹＥＳ）には、Ｓ２３６へ進む。Ｓ２３６において、ＣＰＵ１１は、取得対象となるオブジェクトが複数ある旨をモニタ１８に表示し、利用者に報知する。そしてＳ２１６へ戻る。

反映処理について、本実施形態での具体例を説明する。図１２は、タブ１１２に関するウェブページ１０２を示す図である。ウェブページ１０２では、オブジェクト２３１ないし２３４の４つのオブジェクトが表示されている。オブジェクト２３１ないし２３４の各々は、段落番号＝「１」〜「４」に対応している。図１３は、タブ１１３に関するウェブページ１０３を示す図である。ウェブページ１０２では、オブジェクト３３１ないし３３５の５つのオブジェクトが表示されている。オブジェクト３３１ないし３３５の各々は、段落番号＝「１」〜「５」に対応している。図１３のウェブページ１０３の段落数は、図９のウェブページ１０１の段落数に対して、１つ多い状態である。図１４は、タブ１１４に関するウェブページ１０４を示す図である。図１４のウェブページは、図９、図１２、図１３のウェブページとは別系統のウェブページである。

利用者によってクリップ反映ボタン１１５（図１１）がクリックされると（Ｓ２１０：ＹＥＳ）、ＣＰＵ１１は、１番目のタブ１１１を処理対象として選択する（Ｓ２１２）。タブ１１１に関するウェブページに対して、クリップ処理が実行済みである（Ｓ２１４：ＹＥＳ）ため、次のタブ１１２が処理対象として選択される（Ｓ２１６）。タブ１１２に関するウェブページに対して、クリップ処理が実行済みでなく（Ｓ２１７：ＮＯ）、全てのタブについてクリップ処理の実行の有無を判断していない（Ｓ２１８：ＮＯ）ため、Ｓ２２２へ進む。

ＣＰＵ１１は、クリップ処理（Ｓ１１）を行ったタブ１１１のウェブページ１０１のＵＲＬ（http://www.AAA.jp/map/file1.html）と、タブ１１２のウェブページ１０２のＵＲＬ（http://www.AAA.jp/map/file2.html）とを比較し、ファイル名を除くパス（http://www.AAA.jp/map/）が一致すると判断する（Ｓ２２２：ＹＥＳ）。ＣＰＵ１１は、ウェブページ１０２内において、第１特定領域１２１に対応する第２特定領域１２２を、段落番号に基づいて特定する（Ｓ２２４）。具体的には、第１オブジェクトテーブルＴＢ１から第１オブジェクトの段落番号４０４＝「３」を読み出し、当該段落番号と同一の段落番号を有するオブジェクトを、ウェブページ１０２内から検索する。そして、段落番号＝「３」であるオブジェクト２３３が、第２オブジェクトとして特定される。また、ＣＰＵ１１は、第２オブジェクトであるオブジェクト２３３の段落番号５０４＝「３」およびオブジェクト種類５０７＝「画像」を、第２オブジェクトテーブルＴＢ２（図７）に記憶する（Ｓ２２５）。また、第２オブジェクトの前に位置するオブジェクト２３２の段落番号＝「２」およびオブジェクト種類５０７＝「テキスト」を、第２オブジェクトテーブルＴＢ２（図７）に記憶する（Ｓ２２５）。また、第２オブジェクトの後に位置するオブジェクト２３４の段落番号＝「４」およびオブジェクト種類５０７＝「テキスト」を、第２オブジェクトテーブルＴＢ２（図７）に記憶する（Ｓ２２５）。第２オブジェクト（オブジェクト２３３）の種類と第１オブジェクト（オブジェクト１３３）の種類とが、共に「画像」で一致するため（Ｓ２２６：ＹＥＳ）、第２特定領域１２２を破線の矩形枠で表示し（Ｓ２２７）、オブジェクト２３３を取得する（Ｓ２２８）。そして、サブウィンドウ１４０に、オブジェクト２３３のサムネイル１４２を追加表示する（Ｓ２３０）。

次に、タブ１１３が処理対象として選択される場合を、図１３を参照して説明する（Ｓ２１６）。Ｓ２２２へ進み、クリップ処理（Ｓ１１）を行ったタブ１１１のウェブページ１０１のＵＲＬ（http://www.AAA.jp/map/file1.html）と、タブ１１３のウェブページ１０３のＵＲＬ（http://www.AAA.jp/map/file3.html）とを比較し、ファイル名を除くパス（http://www.AAA.jp/map/）が一致すると判断する（Ｓ２２２：ＹＥＳ）。そしてＣＰＵ１１は、ウェブページ１０３内において、段落番号＝「３」であるオブジェクト３３３を、第２オブジェクトとして特定する（Ｓ２２４）。また、ＣＰＵ１１は、第２オブジェクトであるオブジェクト３３３の段落番号５０４＝「３」およびオブジェクト種類５０７＝「テキスト」を、第２オブジェクトテーブルＴＢ２（図８）に記憶する（Ｓ２２５）。また、第２オブジェクトの前に位置するオブジェクト３３２の段落番号＝「２」およびオブジェクト種類５０７＝「テキスト」を、第２オブジェクトテーブルＴＢ２（図８）に記憶する（Ｓ２２５）。また、第２オブジェクトの後に位置するオブジェクト３３４の段落番号＝「４」およびオブジェクト種類５０７＝「画像」を、第２オブジェクトテーブルＴＢ２（図８）に記憶する（Ｓ２２５）。

第２オブジェクト（オブジェクト３３３）の種類（テキスト）と第１オブジェクト（オブジェクト１３３）の種類（画像）とが、一致しないと判断される（Ｓ２２６：ＮＯ）。そして、オブジェクト３３３の後に配置されているオブジェクト３３４の種類（画像）のみが、第１オブジェクトの種類（画像）に一致する（Ｓ２３２：ＹＥＳ）と判断される。よってＣＰＵ１１は、枠線１２３をオブジェクト３３４の周囲に破線で表示し（Ｓ２２７）、オブジェクト３３４のデータをクリップアプリケーション記憶領域２３ａに記憶する（Ｓ２２８）。そして、サブウィンドウ１４０に、オブジェクト３３４のサムネイル１４３を追加表示する（Ｓ２３０）。

次に、タブ１１４が処理対象として選択される場合を、図１４を参照して説明する（Ｓ２１６）。Ｓ２２２へ進み、クリップ処理（Ｓ１１）を行ったタブ１１１のウェブページ１０１のＵＲＬ（http://www.AAA.jp/map/file1.html）と、タブ１１４のウェブページ１０４のＵＲＬ（http://www.BBB.jp/news/file0.html）とを比較し、ファイル名を除くパス（http://www.AAA.jp/map/およびhttp://www.BBB.jp/news/）が一致しないと判断する（Ｓ２２２：ＮＯ）。よって、反映処理が終了される。

以上の処理によって、タブ１１１において行われたクリップ処理が、タブ１１２および１１３に反映される。そして図１５に示すように、オブジェクト１３１、２３３、３３４の各々に対応するサムネイル１４１、１４２、１４３が、サブウィンドウ１４０に表示される。

（出力処理）
Ｓ１５（図２）で行われる出力処理の内容を説明する。利用者によって印刷ボタン１１６（図１５）がクリックされると、ＣＰＵ１１は、クリップアプリケーション記憶領域２３ａに記憶されているオブジェクト１３１、２３３、３３４を読み出し、所定のレイアウトに従って合成する。これにより、出力ページデータの作成が完了する。また、ＣＰＵ１１は、出力ページデータを、アクセスポイント６２を介して、無線通信によりＭＦＰ５１へ送信する。ＭＦＰ５１では、出力ページデータが印刷される。これにより、出力処理が完了する。

（効果）
本実施形態に係るクリップアプリケーション２１ａでは、複数のタブ１１１ないし１１４のうちから特定された１つのアクティブなタブに関するウェブページにおいて、第１特定領域を選択するという操作を利用者が行うことで、他の非アクティブなタブに関するウェブページにおいても、第１特定領域に対応する第２特定領域を特定することができる。すなわち、アクティブなタブに関するウェブページ上で所望の範囲の選択操作を１回行うだけで、他の非アクティブなタブに関するウェブページに対しても、特定領域を選択する処理を行うことができる。これにより、選択操作を複数のタブの各々について繰り返し行うという手間を利用者に発生させないため、利用者の利便性を高めることができる。

また、クリップアプリケーション２１ａでは、第１特定領域を特定したウェブページと、第２特定領域を特定したウェブページとが、同系列のウェブページである場合（Ｓ２２２：ＹＥＳ）に、第２オブジェクトを取得する。これにより、アクティブなタブのウェブページで特定した第１オブジェクトと密接に関連している第２オブジェクトのみを、非アクティブなタブのウェブページから、選択的に特定することが可能となる。

また、クリップアプリケーション２１ａでは、第１オブジェクトの種類と第２オブジェクトの種類とが一致する場合（Ｓ２２６：ＹＥＳ）に、第２オブジェクトを取得する。これによっても、アクティブなタブのウェブページで特定した第１オブジェクトと密接に関連している第２オブジェクトのみを、非アクティブなタブのウェブページから、選択的に特定することが可能となる。

また、クリップアプリケーション２１ａでは、第２オブジェクトの前または後に位置するオブジェクトの種類が、第１オブジェクトの種類と一致するか否かを判断する（Ｓ２３２）。これにより、第１特定領域を特定するアクティブなタブのウェブページと、第２特定領域を特定する非アクティブなウェブページとの間で、表示態様やレイアウト位置が異なっている場合においても、第１オブジェクトに対応するオブジェクトを、非アクティブなタブのウェブページから探し出すことができる。よって、利用者の利便性を高めることができる。

また、クリップアプリケーション２１ａでは、第１オブジェクトに対応するオブジェクトの候補が複数存在する場合（Ｓ３４：ＹＥＳ）には、その旨を利用者に報知することができる。よって、利用者が正しい対応関係を有するオブジェクトを選択することなどが可能となる。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

（変形例）
本実施形態では、１つのウェブブラウザ１００における、複数のタブ１１１ないし１１４間において、特定領域を選択する処理を共有する形態を説明したが、この形態に限られない。例えば、複数のウェブブラウザ間において、特定領域を選択する処理を共有する形態であってもよい。この形態は、図４のフローにおいて、タブに関する処理をウェブブラウザに関する処理に変更することによって実施可能となる。

本実施形態のＳ１１４やＳ２２４では、第１オブジェクトや第２特定領域のウェブページ内での配置位置を、段落番号を用いて特定する形態を説明したが、この形態に限られない。例えば、図９のウェブページ１０１において、第１特定領域１２１の始点Ｐ１および終点Ｐ２のイメージ座標（例：ウェブページ１０１の左上隅部を原点とした座標）を用いて、第１オブジェクトのウェブページ内での配置位置を特定するとしてもよい。また、図１２のウェブページ１０２において、第１特定領域１２１のイメージ座標と同一の座標を有する領域を、第２特定領域１２２として特定するとしてもよい。

また本実施形態のＳ２２２では、同系列のウェブページであるか否かを判断するために、ファイル名を除いたＵＲＬのパスが一致するか否かを判断する形態を説明したが、この形態に限られない。ＵＲＬのパスの少なくとも一部が一致すれば、同系列のウェブページであるとみなすことが可能である。

また、本実施形態のＳ１１６では、第１オブジェクトのオブジェクト種類を取得するために、ＨＴＭＬタグを用いる形態を説明したが、この形態に限られない。第１オブジェクトのソースを解析して、オブジェクト種類を表すファイル識別子が含まれているか否かによって、オブジェクト種類を取得してもよい。ファイル識別子の例としては、「画像」の種類を表す「．ｐｎｇ」（Portable Network Graphicsの画像フォーマットを表す識別子）、「．ｊｐｇ」（Joint Photographic Experts Groupの画像フォーマットを表す識別子）などが挙げられる。

本実施形態では、タブ１１１ないし１１４の４つのタブを用いる場合を説明したが、タブの数は４つに限られず、４つより多いまたは少ないタブに対しても本発明を適用することが可能である。

本実施形態では、クリップアプリケーション２１ａが、ブラウザアプリケーション２１ｂにプラグインとして組み込まれる例を示したが、クリップアプリケーション２１ａの機能をブラウザアプリケーション２１ｂ自体で備えていてもよい。

本実施形態の説明例では、クリップアプリケーション２１ａがＰＣ１０で使用されている場合を説明したが、この形態に限られない。クリップアプリケーション２１ａは、携帯電話機や、多機能周辺装置においても使用可能である。

特定領域１２１の入力は、マウス１９などの入力装置を用いる形態に限られない。例えば、モニタ１８をタッチパネルとすることによって、指やペンなどで特定領域１２１を特定してもよい。また、特定領域１２１の形状は、矩形形状に限られず、例えば平行四辺形や円形であってもよい。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

なお、ＰＣ１０はコンピュータの一例である。ウェブサーバ７１はウェブページデータの提供元の一例である。ＨＴＭＬデータはウェブページデータの一例である。ブラウザアプリケーション２１ｂはウェブページ表示手段の一例である。段落番号は特定情報の一例である。＜Ｐ＞タグは付加情報の一例である。ＵＲＬはアクセス情報の一例である。

また、Ｓ１１２を実行する制御部は第１特定手段の一例である。Ｓ１１３を実行する制御部は第１取得手段の一例である。Ｓ１１４、Ｓ１１６を実行する制御部は第２取得手段の一例である。Ｓ２２４を実行する制御部は第２特定手段の一例である。Ｓ２２５、Ｓ２２８、Ｓ２３２を実行する制御部は第３取得手段の一例である。Ｓ２３６を実行する制御部は報知手段の一例である。

１：通信システム、１０：ＰＣ、１１：ＣＰＵ、１２：記憶部、１８：パネル、２１ａ：クリップアプリケーション、２１ｂ：ブラウザアプリケーション、５１：ＭＦＰ、７１：ウェブサーバ、１００：ウェブブラウザ、１１１ないし１１４：タブ、ＴＢ１：第１オブジェクトテーブル、ＴＢ２：第２オブジェクトテーブル

Claims (10)

1. ウェブページデータの提供元から提供される複数のウェブページデータに基づき、当該複数のウェブページデータが表す複数のウェブページを、表示装置の表示画面に同時にまたは切替可能に表示するウェブページ表示手段が機能するコンピュータを、
   前記複数のウェブページのうちから特定された１つの特定ウェブページ内の任意の領域を第１特定領域として特定する第１特定手段と、
   前記第１特定領域に含まれる、前記特定ウェブページを構成する第１オブジェクトを取得する第１取得手段と、
   前記第１取得手段により取得された前記第１オブジェクトを特定する特定情報を取得する第２取得手段と、
   前記特定ウェブページ以外の前記ウェブページ内において、前記第１特定領域に対応する第２特定領域を、前記特定情報に基づいて特定する第２特定手段と、
   前記第２特定領域に含まれる第２オブジェクトを取得する第３取得手段と、
   して機能させることを特徴とする画像処理プログラム。
2. 前記第２取得手段が取得する前記特定情報は、前記ウェブページデータに埋め込まれている、前記ウェブページの前記表示画面への表示態様に関する付加情報であることを特徴とする請求項１に記載の画像処理プログラム。
3. 前記第３取得手段は、前記特定ウェブページの前記ウェブページデータへアクセスするためのアクセス情報の一部と、前記特定ウェブページ以外の前記ウェブページの前記ウェブページデータへアクセスするためのアクセス情報の一部とが一致する場合に、前記第２オブジェクトを取得することを特徴とする請求項１または２に記載の画像処理プログラム。
4. 前記第２取得手段は、前記第１オブジェクトの種類をさらに取得し、
   前記第３取得手段は、前記第２オブジェクトの種類を取得し、取得した前記第２オブジェクトの種類と前記第１オブジェクトの種類とが一致する場合に、前記第２オブジェクトを取得することを特徴とする請求項１ないし３の何れか１項に記載の画像処理プログラム。
5. 前記ウェブページデータには、複数の前記オブジェクトが連続した一連のデータとして配置されており、
   前記第３取得手段は、
   前記ウェブページデータにおいて前記第２オブジェクトの前後に配置されている少なくとも１つの前記オブジェクトの種類をさらに取得し、
   前記第２オブジェクトの種類が前記第１オブジェクトの種類に一致しない場合に、前記第２オブジェクトの前に配置されている前記オブジェクトの種類が前記第１オブジェクトの種類に一致する場合には当該オブジェクトを取得し、前記第２オブジェクトの後に配置されている前記オブジェクトの種類が前記第１オブジェクトの種類に一致する場合には当該オブジェクトを取得することを特徴とする請求項４に記載の画像処理プログラム。
6. 前記第２オブジェクトの種類が前記第１オブジェクトの種類に一致しない場合に、前記第２オブジェクトの前後に配置されている複数の前記オブジェクトのうちの複数が、前記第１オブジェクトの種類に一致する場合には、その旨を報知する報知手段を備えることを特徴とする請求項５に記載の画像処理プログラム。
7. 前記ウェブページ表示手段は、
   １つのウィンドウ内に複数の前記ウェブページをタブを用いて表示する機能を備え、
   アクティブなタブに関する前記ウェブページを前記表示画面に表示し、
   前記特定ウェブページは、アクティブなタブに関する前記ウェブページであり、
   前記特定ウェブページ以外の前記ウェブページは、アクティブでないタブに関する前記ウェブページであることを特徴とする請求項１ないし６の何れか１項に記載の画像処理プログラム。
8. 前記ウェブページ表示手段は、前記特定ウェブページ以外の前記ウェブページにおいて、前記第２特定領域に対応する位置に、前記第２特定領域である旨の表示を行うことを特徴とする請求項１ないし７の何れか１項に記載の画像処理プログラム。
9. ウェブページデータの提供元から提供される複数のウェブページデータに基づき、当該複数のウェブページデータが表す複数のウェブページを、表示装置の表示画面に同時にまたは切替可能に表示するウェブページ表示手段と、
   前記複数のウェブページのうちから特定された１つの特定ウェブページ内の任意の領域を第１特定領域として特定する第１特定手段と、
   前記第１特定領域に含まれる、前記特定ウェブページを構成する第１オブジェクトを取得する第１取得手段と、
   前記第１取得手段により取得された前記第１オブジェクトを特定する特定情報を取得する第２取得手段と、
   前記特定ウェブページ以外の前記ウェブページ内において、前記第１特定領域に対応する第２特定領域を、前記特定情報に基づいて特定する第２特定手段と、
   前記第２特定領域に含まれる第２オブジェクトを取得する第３取得手段と、を備えることを特徴とする画像処理方法。
10. ウェブページデータの提供元から提供される複数のウェブページデータに基づき、当該複数のウェブページデータが表す複数のウェブページを、表示装置の表示画面に同時にまたは切替可能に表示するウェブページ表示手段と、
    前記複数のウェブページのうちから特定された１つの特定ウェブページ内の任意の領域を第１特定領域として特定する第１特定手段と、
    前記第１特定領域に含まれる、前記特定ウェブページを構成する第１オブジェクトを取得する第１取得手段と、
    前記第１取得手段により取得された前記第１オブジェクトを特定する特定情報を取得する第２取得手段と、
    前記特定ウェブページ以外の前記ウェブページ内において、前記第１特定領域に対応する第２特定領域を、前記特定情報に基づいて特定する第２特定手段と、
    前記第２特定領域に含まれる第２オブジェクトを取得する第３取得手段と、を備えることを特徴とする画像処理装置。

Images