JP5860389B2

JP5860389B2 - Ｗｅｂ閲覧履歴取得システム及び方法及びプロキシサーバ及びＷｅｂ閲覧履歴取得プログラム

Info

Publication number: JP5860389B2
Application number: JP2012259134A
Authority: JP
Inventors: 昌宏湯口; 明通田中; 内山　匡; 匡内山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-11-27
Filing date: 2012-11-27
Publication date: 2016-02-16
Anticipated expiration: 2032-11-27
Also published as: JP2014106745A

Description

本発明は、ユーザが閲覧したWebページの閲覧履歴情報を取得するWeb閲覧履歴取得システム及び方法及びプロキシサーバ及びWeb閲覧履歴取得プログラムに係り、特に、ユーザがWebページを閲覧した際に含まれる広告コンテンツに関する情報をプロキシサーバにて取得するためのWeb閲覧履歴取得システム及び方法及びプロキシサーバ及びWeb閲覧履歴取得プログラムに関する。

Webページ中に含まれる広告コンテンツについて、その広告効果を検証するために、ユーザのWeb閲覧行動中に表示された広告コンテンツ情報を収集することが必要となる。

ユーザが閲覧したWebページの閲覧履歴情報を取得するシステムとしては、PC上にWebページの閲覧履歴を収集するソフトウェアをインストールし閲覧履歴情報を取得するものがある（例えば、特許文献1参照）。

また、プロキシサーバ経由でWebページを閲覧する場合において、Web閲覧履歴情報を収集し、プロキシサーバを通過するパケット情報を解析するシステムがある（例えば、特許文献２参照）。

特開2009-289074号公報特開2011-159102号公報

しかしながら、上記特許文献1に示すような、ユーザ端末においてWebページの閲覧履歴情報を取得する方式の場合、Webページ中に含まれる広告コンテンツはWebページを構成する一部として取得される。Webページ中の含まれる広告コンテンツ情報を抽出するためには、取得されたWeb閲覧履歴データを元に広告が掲載されている箇所を抽出し、広告コンテンツを取得する必要があるが、ユーザ端末中で広告情報を抽出する場合、処理性能が低い端末では負荷が高くなってしまうという問題がある。また、広告コンテンツが掲載される場所はWebサイトごとに異なるため、Webページごとに広告掲載箇所の解析も必要となり、解析処理による負荷が発生してしまう。

また、特許文献２のようにプロキシサーバを通過するパケット情報を解析し、広告情報を収集しようとすると、処理速度の速いプロキシサーバが必要となる。

これらから、Web閲覧履歴を収集しながら、効率的に広告コンテンツの情報を取得する方法が必要となっている。

本発明は、上記の点に鑑みなされたもので、プロキシサーバ上でWeb閲覧履歴取得を実施しつつ、Webページ中の広告コンテンツ情報を取得することが可能なWeb閲覧履歴取得システム及び方法及びプロキシサーバ及びWeb閲覧履歴取得プログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、ユーザが閲覧したWebページの閲覧履歴情報を取得するWeb閲覧履歴取得システムであって、
ユーザ端末がプロキシサーバ経由で前記Webページの閲覧を行うものとし、
前記プロキシサーバは、
取得した前記コンテンツのHTMLファイルを解析し、広告コンテンツに該当する履歴情報を抽出し、広告配信履歴記憶手段に格納する手段を含む。

また、本発明（請求項２）は、前記プロキシサーバにおいて、
当該プロキシサーバを経由したWebページ閲覧が行われた際に、当該プロキシサーバでの受信日時、URLを閲覧履歴記憶手段に記録し、受信されたHTMLをHTMLファイルとして閲覧コンテンツ記憶手段に保存するWeb閲覧履歴取得手段と、
前記Web閲覧履歴取得手段にて得られた前記HTMLを解析して広告コンテンツのUTL情報を取得するWebページ解析手段と、
前記閲覧履歴記憶手段を参照し、前記Webページ解析手段で得られた前記広告コンテンツのURL情報を持つ履歴情報を取得し、前記広告配信履歴記憶手段に記録するWeb閲覧履歴解析手段と、を有する。

また、本発明（請求項３）は、前記Web閲覧履歴解析手段において、
前記Webページ解析手段で取得された受信日時よりも遅い中で最も近い時刻に受信された履歴情報を、Webページに含まれる広告コンテンツの配信履歴情報として前記広告配信履歴記憶手段に格納する手段を含む。

本発明を用いることにより、プロキシサーバ上でWeb閲覧履歴取得を実施しつつ、Webページ中の広告コンテンツ情報を取得することが可能となる。また、プロキシサーバでは、WebページのHTMLを解析することなくWebページに関連する広告コンテンツを収集することが可能であるため、プロキシサーバでの処理を軽減することができる。

本発明の第１の実施の形態におけるシステム構成図である。本発明の第１の実施の形態におけるWebページの例である。本発明の第１の実施の形態におけるプロキシサーバ上での通信状況を示す図である。本発明の第１の実施の形態におけるプロキシサーバの構成図である。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態におけるシステム構成を示す。

Web閲覧履歴の収集対象となるユーザ端末１は、プロキシサーバ２を経由してインターネットに接続する。このとき、プロキシサーバ２には拡張機能が組み込まれており、ユーザ端末１がプロキシサーバ２を経由してWebページを閲覧した際のWeb閲覧履歴、及び、広告コンテンツ閲覧履歴を収集し、それぞれWeb閲覧履歴記憶部２００、広告コンテンツ情報記憶部３００に格納する。

図２は、本発明の第１の実施の形態におけるWebページの例である。

Webページ中には、同図に示すように広告コンテンツが様々な箇所に表示されるように構成されている。各広告は、同一ドメインの広告配信サーバや、別ドメインの広告配信サーバにて配信されていることが多く、ユーザ端末１のWebブラウザにて表示されるたびに広告配信サーバ３から広告コンテンツを取得する形式のものなどが存在する。

ユーザ端末１からプロキシサーバ２に対して、Webページの要求が行われた場合、プロキシサーバ２はWebサーバ４に対してWebページの要求を行う。プロキシサーバ２からのWebページの要求に対し、Webサーバ４からプロキシサーバ２にWebページのコンテンツが送信される。プロキシサーバ２は該Webページのコンテンツをユーザ端末１に送信することにより、ユーザ端末１のブラウザ上でWebページが表示される。この際、Webサーバ４からプロキシサーバ２に到着したWebページコンテンツを保存すれば、Web閲覧履歴を収集することが可能となる。

図３は、本発明の第１の実施の形態におけるプロキシサーバ上での通信状況を示す。同図の例は、Webページの要求・応答が行われる際のプロキシサーバ２上での通信状況であり、プロキシサーバ２上での通信では、Webサーバ４に対してWebページ要求が行われた後、Webサーバ４からWebページ応答が行われるが、概ね短い時間内でプロキシサーバ２に到着する。このため、Webページを構成するコンテンツを取得する場合、Webページ要求が発生後、該当Webページが到着した時間を中心として周辺時間で通過したWebコンテンツを確認することで、効率的にWebページの構成コンテンツを取得することができる。

図４は、本発明の第１の実施の形態におけるプロキシサーバの構成を示す。

プロキシサーバ２は、Webページ要求受信部２１、Webページ要求部２２、Webページ提供部２３、Webページ受信部２４に加えて、プロキシサーバ拡張機能として、Webページ解析部２５、Web閲覧履歴取得部２６、Web閲覧履歴解析部２７を有する。

Web閲覧履歴取得部２６では、Webページ受信部２４にて受信した内容をWeb閲覧履歴としてWeb閲覧履歴記憶部２００に保存する。このとき、受信したHTMLや画像データ等は閲覧コンテンツ保存DB２２０にファイルとして保存するとし、受信時の日時、URL、リファラ情報、保存したHTMLや画像データファイルのローカルパス情報を履歴情報保存テーブル２３０に記録する。

Webページ解析部２５では、Web閲覧履歴取得部２６にて取得したWeb閲覧履歴中にHTMLが含まれる場合、該HTMLの受信日時情報の取得、及び、該HTMLの解析を行い、該Webページ中に含まれる広告掲載箇所のURL情報を取得する。広告掲載箇所のURL情報を取得する際に、対象とする広告コンテンツとしては、WebページのHTML中のスクリプトやiframe（inline frame）などで広告配信サーバ３から広告コンテンツを読み込む。このような広告の場合、Webページ用のWebサーバ４と広告配信サーバ３のアドレスが異なることから広告掲載箇所のURLを取得することができる。

Web閲覧履歴解析部２７では、閲覧履歴情報保存テーブル２３０を参照し、該Webページ解析部２５にて取得された広告のURL情報と一致するURLを持つ履歴情報を抽出する。この際、該Webページ解析部２５にて取得された受信日時よりも遅い中で最も近い時刻に受信された履歴情報を、該Webページに含まれる広告コンテンツの配信履歴情報として広告配信履歴保存テーブル２１０に保存するとし、該Webページの受信日時、該広告コンテンツの受信日時、広告URL、受信時のURL、リファラ情報、保存したコンテンツのローカルパス情報、などを広告配信履歴保存テーブル２１０に保存する。

なお、プロキシサーバ２に接続するユーザ端末１が複数存在する場合は、Web閲覧履歴をユーザ別に分類可能とするため、閲覧履歴情報保存テーブル２３０、及び、広告配信履歴保存テーブル２１０にユーザを識別するための情報を記載するとしても良い。

なお、図４のWebページ受信部２４にて受信した内容のうち、Web閲覧履歴情報、及び、広告配信履歴情報として有用な内容のみ、Web閲覧履歴取得部２６にて取得するとしても良い。例えば、ストリーミングコンテンツなどは取得対象から除外するとしても良い。さらに、Webページごとに取得対象を変更するとしても良く、取得対象コンテンツ管理テーブルなどを用いて管理するとしても良い。

［第２の実施の形態］
本実施の形態では、広告配信サーバ情報を考慮した例を説明する。

本実施の形態におけるシステム構成、及び、プロキシサーバの構成は第１の実施の形態と同様である。

Webページへ広告コンテンツを配信するサーバは、広告配信サーバと呼ばれる。広告配信サーバ３のアドレス数は有限のアドレス数でしかないため、広告配信サーバ３のアドレス情報をDBとして蓄積することが可能である。この広告配信サーバ３のアドレス情報を活用することにより、より効率的にWebページ中の広告情報を収集することが可能となる。現実的には、広告配信用サーバ３は管理可能な数のアドレス数でしかないため、事前に広告配信サーバ３のURLのテーブルを作成しておくことにより、当該URLテーブルを参照することにより広告掲載箇所のURLを取得することができる。

そこで、前述の第１の実施の形態では、プロキシサーバ２のWebページ解析部２５においてWeb閲覧履歴取得部２６で取得されたHTMLの広告掲載箇所からURL情報を取得するとしたが、同Webページ解析部２５において解析対象のHTML中に広告配信サーバ３のアドレスが含まれる場合は、閲覧履歴情報保存テーブル２３０中の該HTMLの受信日時周辺から該広告配信サーバアドレスを持つ履歴情報を参照し、受信日時よりも遅い中で最も近い時刻の履歴情報を広告配信履歴情報として広告配信履歴保存テーブル２３０に保存することで、Webページ中に掲載された広告コンテンツ情報を収集することが可能となる。但し、上記の「受信日時よりも遅い中で最も近い時刻」は、ある一定の時間範囲内に含まれる。時間範囲としては、広告配信サーバ３からの到着時間情報を収集し、平均値を求めることで、広告コンテンツが到着完了するまでの平均時間範囲を求めることができる。

なお、広告配信サーバ３からの到着時間情報は、時間帯や曜日によって変動する可能性がある。そこで、時間帯や曜日ごとでの最頻値や平均値を用いるとしても良い。

［第３の実施の形態］
本実施の形態におけるシステム構成、及び、プロキシサーバの構成は第１の実施の形態と同様である。

前述の実施の形態では、広告コンテンツの配信履歴を保存するのみであったが、プロキシサーバ２のWebページ解析部２５において、各Webページの広告掲載箇所の位置情報をXPathとして取得し、広告配信履歴保存テーブル２３０に該XPathを合わせて保存するとしても良い。

これにより、Webページ中のどの位置に掲載される広告コンテンツがユーザ端末１に配信されたのかを記録することが可能となる。

［第４の実施の形態］
本実施の形態におけるシステム構成、及び、プロキシサーバの構成は第１の実施の形態と同様である。

ユーザ端末１のWebブラウザに保存されたキャッシュが閲覧された場合、プロキシサーバ２に対してWebページの要求は発生しないため、プロキシサーバ２上ではWebページを受信しない。しかしながら、広告コンテンツについては、Webブラウザに表示されるごとに広告配信サーバ３に対し、広告コンテンツの要求を行う。この場合、プロキシサーバ上ではWebページは受信されないが、広告コンテンツは受信されることになる。よって、どのWebページに対する広告コンテンツであるか、判別することが困難となる。

そこで、本実施の形態では、ユーザ端末１上でWebブラウザのキャッシュにアクセスされた場合の広告配信履歴の保存方法の例を示す。

まず、ユーザ端末１のWebブラウザに対し、ブラウザキャッシュによるページ遷移のイベントが発生したかを取得するための拡張機能を追加する。ブラウザの拡張機能では、遷移したWebページのURL、及び、表示完了日時を取得し、プロキシサーバ拡張機能にWebブラウザの遷移情報として送信する。

プロキシサーバ拡張機能では、Web閲覧履歴解析部２６にて該Webブラウザの遷移情報を解析し、表示完了日時周辺で取得された閲覧履歴情報を抽出する。この閲覧履歴情報のうち、広告配信サーバ３から配信された広告コンテンツの履歴情報について、広告配信履歴情報として扱うものとする。

なお、Webブラウザの拡張機能については、ブラウザキャッシュが閲覧された場合のみ、Webブラウザ遷移情報を収集するとしても良い。また、対象のWebページに関して、広告掲載箇所のXPath情報が存在する場合はXPathで定義される箇所のURL情報を取得し、Webブラウザ遷移情報に広告URL情報として保存するようにしても良い。プロキシサーバ側に送信されたWebブラウザ遷移情報に基づき、遷移日時周辺に存在する広告URL情報に一致する履歴情報を、広告配信履歴情報として扱うようにしても良い。

なお、本発明は、上記のWeb閲覧履歴取得装置として利用されるプロキシサーバ２の各構成要素の動作をプログラムとして構築し、ネットワークを介して流通させる、または、Web閲覧履歴取得装置として利用されるコンピュータにインストールして実行させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１ユーザ端末
２プロキシサーバ
３広告配信サーバ
４ Webサーバ
２１ Webページ要求受信部
２２ Webページ要求部
２３ Webページ提供部
２４ Webページ受信部
２５ Webページ解析部
２６ Web閲覧履歴取得部
２７ Web閲覧履歴解析部
２００ Web閲覧履歴記憶部
２１０広告配信履歴保存テーブル
２２０閲覧コンテンツ保存ＤＢ
２３０閲覧履歴情報保存テーブル
３００広告コンンテンツ情報記憶部

Claims

ユーザが閲覧したWebページの閲覧履歴情報を取得するWeb閲覧履歴取得システムであって、
ユーザ端末がプロキシサーバ経由で前記Webページの閲覧を行うものとし、
前記プロキシサーバは、
当該プロキシサーバを経由したWebページ閲覧が行われた際に、当該プロキシサーバでの受信日時、URLを閲覧履歴記憶手段に記録し、受信されたHTMLをHTMLファイルとして閲覧コンテンツ記憶手段に保存するWeb閲覧履歴取得手段と、
前記Web閲覧履歴取得手段にて得られた前記HTMLを解析して広告コンテンツのURL情報を取得するWebページ解析手段と、
前記閲覧履歴記憶手段を参照し、前記Webページ解析手段で得られた前記広告コンテンツのURL情報を持つ履歴情報を取得し、広告配信履歴記憶手段に記録するWeb閲覧履歴解析手段とを有する
ことを特徴とするWeb閲覧履歴取得システム。
前記Web閲覧履歴解析手段は、
前記Webページ解析手段で取得された受信日時よりも遅い中で最も近い時刻に受信された履歴情報を、Webページに含まれる広告コンテンツの配信履歴情報として前記広告配信履歴記憶手段に格納する手段を含む
請求項１記載のWeb閲覧履歴取得システム。
ユーザが閲覧したWebページの閲覧履歴情報を取得するWeb閲覧履歴取得方法であって、
ユーザ端末、プロキシサーバ、Webサーバを有するシステムにおいて、
前記ユーザ端末が前記プロキシサーバ経由で前記Webページの閲覧を行うものとし、
前記プロキシサーバにおいて、
当該プロキシサーバを経由したWebページ閲覧が行われた際に、当該プロキシサーバでの受信日時、URLを閲覧履歴記憶手段に記録し、受信されたHTMLをHTMLファイルとして閲覧コンテンツ記憶手段に保存するWeb閲覧履歴取得ステップと、
前記Web閲覧履歴取得ステップにて得られた前記HTMLを解析して広告コンテンツのURL情報を取得するWebページ解析ステップと、
前記閲覧履歴記憶手段を参照し、前記Webページ解析ステップで得られた前記広告コンテンツのURL情報を持つ履歴情報を取得し、広告配信履歴記憶手段に記録するWeb閲覧履歴解析ステップと、
を行うことを特徴とするWeb閲覧履歴取得方法。
前記Web閲覧履歴解析ステップにおいて、
前記Webページ解析ステップで取得された受信日時よりも遅い中で最も近い時刻に受信された履歴情報を、Webページに含まれる広告コンテンツの配信履歴情報として前記広告配信履歴記憶手段に格納する
請求項３記載のWeb閲覧履歴取得方法。
ユーザが閲覧したWebページの閲覧履歴情報を取得するシステムにおけるプロキシサーバであって、
当該プロキシサーバを経由したWebページ閲覧が行われた際に、当該プロキシサーバでの受信日時、URLを閲覧履歴記憶手段に記録し、受信されたHTMLをHTMLファイルとして閲覧コンテンツ記憶手段に保存するWeb閲覧履歴取得手段と、
前記Web閲覧履歴取得手段にて得られた前記HTMLを解析して広告コンテンツのURL情報を取得するWebページ解析手段と、
前記閲覧履歴記憶手段を参照し、前記Webページ解析手段で得られた前記広告コンテンツのURL情報を持つ履歴情報を取得し、広告配信履歴記憶手段に記録するWeb閲覧履歴解析手段と、
を有することを特徴とするプロキシサーバ。
コンピュータを、
請求項５に記載のプロキシサーバを構成する各手段として機能させるためのWeb閲覧履歴取得プログラム。