JP5801218B2 - URL filtering system - Google Patents

URL filtering system Download PDF

Info

Publication number
JP5801218B2
JP5801218B2 JP2012027153A JP2012027153A JP5801218B2 JP 5801218 B2 JP5801218 B2 JP 5801218B2 JP 2012027153 A JP2012027153 A JP 2012027153A JP 2012027153 A JP2012027153 A JP 2012027153A JP 5801218 B2 JP5801218 B2 JP 5801218B2
Authority
JP
Japan
Prior art keywords
url
embedded
connection
server
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012027153A
Other languages
Japanese (ja)
Other versions
JP2013164719A (en
Inventor
隆伸 川邉
隆伸 川邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone West Corp
Original Assignee
Nippon Telegraph and Telephone West Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone West Corp filed Critical Nippon Telegraph and Telephone West Corp
Priority to JP2012027153A priority Critical patent/JP5801218B2/en
Publication of JP2013164719A publication Critical patent/JP2013164719A/en
Application granted granted Critical
Publication of JP5801218B2 publication Critical patent/JP5801218B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、URLフィルタリングによる脅威の遮断によって、利用者により安全なネットワーク利用を提供するシステム、及びシステム制御方法に関する。   The present invention relates to a system and a system control method for providing a user with safe network use by blocking threats by URL filtering.

主にインターネットに代表されるネットワーク上には、利用者にとって好ましくない情報やプログラムが一部に存在している。例えば、利用者の端末にコンピュータウイルスを仕掛けたり、利用者を誤認させてパスワードやクレジットカード番号などの個人情報を入力させるフィッシングを行うといった、悪意を持って作られたページである。これらのページへは、検証目的でも無い限り不用意に接続しないことが推奨される。また、未成年の利用者に対しては、成人向けのコンテンツへ接続しないことが求められるし、業務用の端末からゲームなどの娯楽関連サイトへの接続を行わないように使用者が規制したいと考える場合もある。こういった様々な理由から、規制されたURL(Uniform Resource Locator)へのアクセスを遮断するURLフィルタリングが一般に行われている。   Some information and programs that are undesirable for users exist mainly on networks typified by the Internet. For example, it is a maliciously crafted page where a computer virus is placed on the user's terminal or phishing is performed to misidentify the user and input personal information such as a password or credit card number. It is recommended not to connect to these pages carelessly for verification purposes. In addition, minor users are required not to connect to adult-oriented content, and the user wants to restrict users from connecting to entertainment-related sites such as games from commercial terminals. Sometimes you think. For these various reasons, URL filtering for blocking access to a regulated URL (Uniform Resource Locator) is generally performed.

フィルタリングの方法としては、ブラウザもしくはHTTP−Proxy機能を持つ端末の内部に規制対象となるURLのリストであるデータベースを保持し、HTTPの問い合わせを実施する前にそのデータベースと接続先URLとの対照を行い、接続可否を判断する方法がある。しかし、端末内部にそのデータベースを保持しようとすると、近年の規制対象となるサイトの増加に伴うデータベースの肥大化により、端末に要求されるリソースが大きくなる。   As a filtering method, a database which is a list of URLs to be regulated is held inside a browser or a terminal having an HTTP-Proxy function, and the database and the connection destination URL are compared before executing an HTTP inquiry. There is a method for determining whether connection is possible. However, if an attempt is made to hold the database inside the terminal, resources required for the terminal increase due to the enlargement of the database accompanying an increase in sites to be regulated in recent years.

一方、常時接続回線の普及により家庭用ルータが広く利用されており、これが接続を中継するHTTP−proxy機能を持つプロキシサーバとして、フィルタリングを担う実施形態もある。ただし、このような家庭用ルータなどは比較的処理能力やメモリ容量が小さいものが多く、規制対象となるURLのリストであるデータベースを自前で保持、検索しようとするのは難しい。   On the other hand, home routers are widely used due to the widespread use of always-on lines, and there are also embodiments in which filtering is performed as a proxy server having an HTTP-proxy function for relaying connections. However, many of such home routers have relatively small processing capacity and memory capacity, and it is difficult to maintain and search a database that is a list of URLs to be regulated by itself.

また、接続を規制すべきURLの一覧はサイトの生成や消滅により刻々と変化するため、その一覧を記録する規制対象URLデータベースも随時更新していかなければならない。従って、この規制対象URLデータベースは、端末やフィルタリング装置内に保持するよりも、インターネット上に設けたセキュリティサーバで保持し、端末から接続の可否を問い合わせる方が脅威の発生に対する即応性の点から望ましい。このようにすれば、端末やフィルタリング装置が必要とするリソースは大きく抑制できる。   In addition, since the list of URLs whose connection should be restricted changes every time a site is created or disappears, the URL database to be regulated for recording the list must be updated as needed. Therefore, it is preferable from the standpoint of responsiveness to the occurrence of a threat that the URL database to be regulated is held by a security server provided on the Internet and inquired of whether or not connection is possible from the terminal, rather than being held in the terminal or filtering device . In this way, resources required by the terminal and the filtering device can be greatly suppressed.

ただし、現在のインターネットで使われているHTMLドキュメントやXMLドキュメントの大半には、多数の画像ファイルや動画、アニメーションファイル等が埋め込まれており、一つのページを表示するために必要な規制対象か否かの問い合わせは、その個々のファイルへのHTTP接続ごとに発生するため、ここで生じる通信オーバーヘッドは増大する傾向にあり、利用者にとってはその分インターネットアクセスのレスポンスが下がって見えることになる。また、規制対象URLデータベースは多数の端末から問い合わせを受けることになるため、データベースサーバを運営するセキュリティプラットフォーム側に要求されるサーバ性能も極めて高いものが要求される。   However, most of the HTML documents and XML documents currently used on the Internet include a large number of image files, moving images, animation files, etc., and are not subject to restrictions necessary to display a single page. Since such an inquiry is generated for each HTTP connection to the individual file, the communication overhead generated here tends to increase, and the response of the Internet access appears to the user correspondingly. In addition, since the URL database to be regulated receives inquiries from a large number of terminals, the server performance required for the security platform that operates the database server is required to be extremely high.

これに対して、特許文献1で、その負荷を軽減する方法が提案されている。これはまず、プロキシサーバでもあるフィルタリング装置が、端末の接続要求を中継してダウンロードしたHTMLファイルについて、フィルタリング装置内でHTML構造を解析する。その結果、リンクや画像の指定、インラインフレームなどの形でHTMLファイルに埋め込まれたコンテンツのアドレスである埋込URLについて、規制対象URLデータベース内のURLに該当するかをまとめてチェックする。該当すればそのURLはまとめて、規制対象へのリンクであることを示す安全な画像ファイルを指定するURLに変換する。これにより、HTMLファイルを表示するにあたり個々の埋込URLについて個別に問い合わせをする必要がなくなり、通信オーバーヘッドを抑制できる。   On the other hand, Patent Document 1 proposes a method for reducing the load. First, a filtering device which is also a proxy server analyzes an HTML structure in the filtering device for an HTML file downloaded by relaying a connection request of a terminal. As a result, it is checked collectively whether the embedded URL that is the address of the content embedded in the HTML file in the form of a link, an image designation, an inline frame, or the like corresponds to the URL in the restriction target URL database. If applicable, the URLs are collectively converted into a URL that designates a safe image file indicating a link to a restriction target. Thereby, it is not necessary to individually inquire about each embedded URL when displaying the HTML file, and communication overhead can be suppressed.

特開2011−221616号公報JP 2011-221616 A

しかしながら、特許文献1に記載のシステムでは、プロキシサーバでHTMLの構造解析を行わなければならず、プロキシサーバにブラウザと同様のHTML解析機能を持たせなければならない。しかもそのHTML解析はユーザの端末がドキュメントへアクセスするたびに、利用者にタイムラグを与えないように速やかに行わなければならない。このため、プロキシサーバに要求される処理能力が高く、家庭用インターネットルータなどの比較的低価格低スペックであるプロキシサーバをフィルタリング装置とする場合に利用することが難しかった。   However, in the system described in Patent Document 1, the structure analysis of HTML must be performed by the proxy server, and the proxy server must have the same HTML analysis function as the browser. Moreover, the HTML analysis must be performed promptly so as not to give the user a time lag each time the user's terminal accesses the document. For this reason, it is difficult to use a proxy server having a high processing capacity required for the proxy server and having a relatively low price and low specification such as a home Internet router as a filtering device.

そこでこの発明は、端末やフィルタリング装置に要求される処理性能や消費リソースを低く抑え、なおかつ、インターネット閲覧時の通信オーバーヘッドをも抑えたURLフィルタリングシステムを実現することを目的する。   Therefore, an object of the present invention is to realize a URL filtering system that suppresses processing performance and resource consumption required for a terminal and a filtering device, and also suppresses communication overhead when browsing the Internet.

この発明は、利用者の端末に内蔵又は併設したURLフィルタリング部と、上記URLフィルタリング部と相互に通信する埋込URLサーバ及び規制対象DBサーバとからなるフィルタリングシステムであり、上記埋込URLサーバが、通常時に上記URLフィルタリング部から受け付けるリクエストの処理と、その処理を高速に行うための準備である定期的なバッチ処理とを別個に行うようにしたものである。その内容は次の通りである。
通常時には、利用者のコンテンツ表示用端末が発した接続要求の指定先である接続先URLを含むリクエストを上記URLフィルタリング部から受け取って、その接続先URLを問い合わせの回数カウントとともに問合頻度データベースに記録する頻度更新機能を実行する。一方で、上記問合頻度データベースに記録された直近の問い合わせ頻度が高い一部のURL群について、それらURL群に対応する一連のドキュメントをダウンロードして解析し、当該ドキュメントに埋め込まれた埋込URLを、接続先URLとともに埋込URLデータベースに記録する定期的なバッチ処理を行うバッチ処理実行機能を実行させておく。そのバッチ処理が一回以上された後の通常時のリクエスト処理では、上記バッチ処理により上記埋込URLデータベースに記録された上記接続先URLを含む上記URLフィルタリング部からの上記リクエストに対しては、対応する上記埋込URLを上記埋込URLデータベースから呼び出して、該当URLと上記埋込URLを上記URLフィルタリング部へ返答する埋込URL返答機能を、上記頻度更新機能とともに実行する。上記URLフィルタリング部は、上記埋込URLサーバから返答された接続先URLとそれに対応した上記埋込URLとについて、規制対象ページのアドレスの一覧である規制URL一覧を記録した上記規制対象DBサーバに対して、一括して接続の可否を問い合わせ、その応答可否結果に従って接続先URLと上記埋込URLとに対応したファイルへの接続要求を遮断する。
The present invention is a filtering system comprising a URL filtering unit built in or attached to a user terminal, and an embedded URL server and a regulated DB server that communicate with the URL filtering unit. The request processing received from the URL filtering unit at normal time and the periodic batch processing, which is preparation for performing the processing at high speed, are performed separately. The contents are as follows.
Normally, a request including a connection destination URL, which is a destination of a connection request issued by the user's content display terminal, is received from the URL filtering unit, and the connection destination URL is stored in the inquiry frequency database together with the inquiry count. Execute the frequency update function to record. On the other hand, for a part of URL groups recorded in the inquiry frequency database having a high recent inquiry frequency, a series of documents corresponding to the URL groups are downloaded and analyzed, and an embedded URL embedded in the document A batch process execution function for performing a periodic batch process for recording the URL together with the connection destination URL in the embedded URL database is executed. In the normal request processing after the batch processing is performed once or more, for the request from the URL filtering unit including the connection URL recorded in the embedded URL database by the batch processing, The embedded URL response function for calling the corresponding embedded URL from the embedded URL database and returning the corresponding URL and the embedded URL to the URL filtering unit is executed together with the frequency update function. The URL filtering unit stores the restriction URL list, which is a list of restriction page addresses, for the connection destination URL returned from the embedded URL server and the corresponding embedded URL, in the restriction target DB server. On the other hand, inquiries are made as to whether or not connection is possible, and the connection request to the file corresponding to the connection destination URL and the embedded URL is blocked according to the response availability result.

すなわち、多くのURLフィルタリング部からアクセスのあるURLのドキュメントについて、埋込URLサーバがリクエストのカウントとは別個に定期的なバッチ処理を行い、予めそのドキュメントの埋込URLを解析しておきそのリストを上記埋込URLデータベースに記録しておく。以後に同一URLについてのリクエストがフィルタリング部からあれば、解析するまでもなく上記埋込URLデータベースから接続先URLのドキュメントに埋め込まれた埋込URLのリストを呼び出し、速やかにURLフィルタリング部に返答することができる。   That is, for URL documents accessed from many URL filtering units, the embedded URL server performs periodic batch processing separately from the request count, analyzes the embedded URLs of the documents in advance, and lists them Is recorded in the embedded URL database. After that, if there is a request for the same URL from the filtering unit, the embedded URL list embedded in the document of the connection destination URL is called from the embedded URL database without analysis, and the response is promptly returned to the URL filtering unit. be able to.

より具体的な構成は次のような形態での実施が可能である。
まず、上記URLフィルタリング部は、URL接続可否キャッシュと、中継代理サーバ部と、URL評価部とを有する。
上記URL接続可否キャッシュは、上記接続先URLに埋め込まれた上記埋込URLについての接続の可否を、少なくともそれら一連のURLへの接続要求が完了し得る制限時間付きで一時記憶する一時記憶機能を有する。
上記中継代理サーバ部は、上記接続要求を受信して、上記URL評価部へ問い合わせを送信する要求問合機能と、上記接続の可否の結果を受信してその結果に従い上記接続要求に対する遮断を行う遮断機能とを有する。
上記URL評価部は、上記問い合わせを受けて上記埋込URLサーバへ上記リクエストを送信するリクエスト機能と、上記埋込URLサーバから上記埋込URLの無い返答を受信した場合には接続先URLのみへの接続の可否を上記規制対象DBサーバへ問い合わせる単独可否問合機能と、上記埋込URLサーバから上記埋込URLを受信した場合には上記規制対象DBサーバへ上記接続の可否を問い合わせる一括可否問合機能と、前記一括可否問合機能の返答である上記埋込URLの接続の可否を上記URL接続可否キャッシュへ書き込む第一キャッシュ機能と、接続先URLへの接続の可否の結果を上記中継代理サーバ部へ返答する通常返答機能と、上記接続要求からの問い合わせに対し接続先URLについて上記URL接続可否キャッシュを検索して予め記録された上記埋込URLに該当すれば上記リクエストを送信することなくその可否を上記中継代理サーバ部へ返答する高速返答機能とを有する。
A more specific configuration can be implemented in the following form.
First, the URL filtering unit includes a URL connection availability cache, a relay proxy server unit, and a URL evaluation unit.
The URL connection enable / disable cache has a temporary storage function for temporarily storing connection enable / disable of the embedded URL embedded in the connection destination URL with a time limit at which connection requests to the series of URLs can be completed. Have.
The relay proxy server unit receives the connection request, transmits a request inquiry to the URL evaluation unit, and receives the connection availability result and blocks the connection request according to the result. And has a blocking function.
The URL evaluation unit receives the inquiry and transmits the request to the embedded URL server, and when receiving a reply without the embedded URL from the embedded URL server, only the connection destination URL is received. A single availability inquiry function that inquires the restriction target DB server whether or not the connection is possible, and a collective availability inquiry that inquires the restriction target DB server whether or not the connection is possible when the embedded URL is received from the embedded URL server A first cache function that writes to the URL connection availability cache the connection possibility of the embedded URL, which is a response to the collective availability inquiry function, and the result of the connection proxy to the connection destination URL. A normal reply function for replying to the server part and a URL connection enable / disable cache for the connection destination URL in response to an inquiry from the connection request. If applicable to prerecorded the embedded URL searching for Interview the propriety without transmitting the request and a fast response capability to respond to the relay proxy server unit.

すなわち、URLフィルタリング部が埋込URLについての接続の可否をまとめて規制対象DBサーバに問い合わせ、接続先URLのドキュメントに埋め込まれた一連の画像等のコンテンツを指定する埋込URLへのアクセスが終わるまで上記URL接続可否キャッシュにその接続の可否の情報を記録しておくことで、個々の埋込URLへの接続のたびに規制対象DBサーバへの問い合わせをせずに済むことになる。   That is, the URL filtering unit collectively inquires of the restriction target DB server whether or not the embedded URL can be connected, and the access to the embedded URL specifying the content such as a series of images embedded in the document of the connection destination URL ends. By recording the information on whether or not the connection is possible in the URL connection availability cache, it is not necessary to make an inquiry to the restriction target DB server each time connection to each embedded URL is made.

このURLフィルタリング部は、端末の外部にあってLANで繋がった独立した装置であってもよいし、端末がブラウザの機能やパーソナルファイアウォールの機能として有するソフトウェアであってもよい。この発明ではURLフィルタリング部がHTML解析などの負荷が大きい処理を行わずに済むため、その機能を端末にソフトウェアとして組み込んでも大きな負担とならずに済むためである。   The URL filtering unit may be an independent device connected to the outside of the terminal via a LAN, or may be software that the terminal has as a browser function or a personal firewall function. This is because in the present invention, the URL filtering unit does not need to perform heavy processing such as HTML analysis, so that even if the function is incorporated into the terminal as software, a large burden is not required.

また、そのようなリクエストに対応する上記埋込URLサーバについての具体的構成としては、通常時のリクエストを処理する埋込URLデータベース管理部と、定期的な上記バッチ処理を実行するデータベース更新部と、上記バッチ処理の際に解析を行うコンテンツ解析部と、上記埋込URLデータベースと、上記問合頻度データベースとを有する。
上記データベース更新部は、上記URL群を上記問合頻度データベースから読み出して上記コンテンツ解析部に送る頻度読出機能と、上記埋込URLデータベースに上記URL群とともにそれらそれぞれに対応する上記埋込URLを記録する埋込URL記録機能を有するものとする。
上記コンテンツ解析部は、上記URL群を構成するURLのそれぞれに対応するドキュメントを、接続先URLが示すコンテンツサーバからダウンロードして解析し、そのドキュメントに埋め込まれた埋込URLを求める事前解析機能を有するものとする。
上記埋込URLデータベース管理部は、上記URLフィルタリング部からの上記リクエストを受け取り接続先URLを問い合わせの回数とともに上記問合頻度データベースに記録する上記頻度更新機能と、上記リクエストに含まれる接続先URLについて上記埋込URLデータベースを検索し、該当すれば接続先URLに対応する上記埋込URLを呼び出す埋込URL検索機能と、上記埋込URL及び前記検索で該当があれば上記埋込URLを上記URL評価部へ返答する上記埋込URL返答機能とを有するものとする。
In addition, as a specific configuration of the embedded URL server corresponding to such a request, an embedded URL database management unit that processes a normal request, a database update unit that executes the periodic batch processing, The content analysis unit that performs analysis during the batch processing, the embedded URL database, and the inquiry frequency database.
The database updating unit records a frequency reading function for reading the URL group from the inquiry frequency database and sending the URL group to the content analysis unit, and records the embedded URL corresponding to the URL group together with the URL group in the embedded URL database. It has an embedded URL recording function.
The content analysis unit has a pre-analysis function that downloads and analyzes a document corresponding to each of the URLs constituting the URL group from the content server indicated by the connection destination URL, and obtains an embedded URL embedded in the document. Shall have.
The embedded URL database management unit receives the request from the URL filtering unit, records the connection destination URL in the inquiry frequency database together with the number of inquiries, and the connection destination URL included in the request. The embedded URL database is searched, and if applicable, the embedded URL search function for calling the embedded URL corresponding to the connection destination URL; and the embedded URL and the embedded URL if there is a match in the search, the URL It is assumed that the embedded URL response function for responding to the evaluation unit is included.

すなわち、頻度更新機能により問い合わせ頻度データベースにURLごとにリクエストのあった回数をカウントしておき、その回数が特に多いURLのみを頻度読出機能で読み出して、通常のリクエスト処理とは別に、定期的なバッチ処理としてドキュメントの解析を行う事前解析機能を実行することで、サーバの負荷を抑制しつつ、効率の良い応答が実現できる。このバッチ処理は例えば未明などのリクエストが比較的少ない時間帯に行えばよい。   In other words, the frequency update function counts the number of requests for each URL in the inquiry frequency database, and only the URLs with a particularly large number of times are read out by the frequency reading function, By executing the pre-analysis function for analyzing documents as batch processing, an efficient response can be realized while suppressing the load on the server. This batch processing may be performed during a time period when there are relatively few requests such as unclear.

またこの発明の別の形態として、上記の形態を次の様に変更しても好適なシステムとなる。通常時のリクエストの処理にあたり、上記埋込URLデータベース管理部が、上記埋込URLのリストを上記埋込URLデータベースから読み出した後、そのリストを上記URLフィルタリング部のURL評価部に返答する前に、直接に規制対象DBサーバへまとめて接続の可否を問い合わせて、返って来た接続の可否の結果とともに上記フィルタリング部に返答するようにする。この形態では、上記URLフィルタリング部にかかる負荷は上記の形態よりも少なくなり、上記URLフィルタリング部である家庭用ルータなどから外部へのリクエストを減らすこともできる。さらにこの実施形態において、埋込URLサーバと規制対象DBサーバとのネットワーク上の位置が近いと、ネットワーク全体の負荷をさらに下げることが出来る。   As another form of the present invention, a suitable system can be obtained even if the above form is changed as follows. Before processing the request at the normal time, the embedded URL database management unit reads the list of embedded URLs from the embedded URL database, and then returns the list to the URL evaluation unit of the URL filtering unit. Then, the restriction target DB servers are directly inquired of whether connection is possible, and the result is returned to the filtering unit together with the result of the connection possibility returned. In this mode, the load applied to the URL filtering unit is smaller than that in the above mode, and requests from the home router or the like as the URL filtering unit can be reduced. Further, in this embodiment, when the embedded URL server and the regulated DB server are close to each other on the network, the load on the entire network can be further reduced.

この発明により、家庭用ルータなどの比較的低スペックであるプロキシサーバでも機能拡張を最小限にして、効率の良いフィルタリングが可能となる。また、ドキュメントの解析を受け持つ埋込URLサーバも、接続要求のたびに解析するのではなく、要求頻度の高いものに絞って解析を行うだけで済むため、サーバにかかる負荷も抑えながら速やかな応答が可能となる。これによりネットワーク全体での通信量も削減できる。   According to the present invention, even a proxy server having a relatively low specification such as a home router can perform efficient filtering with minimum function expansion. In addition, the embedded URL server that is responsible for document analysis does not need to analyze every connection request, but only analyzes it with a high frequency of requests, so a quick response while reducing the load on the server. Is possible. This can reduce the amount of communication in the entire network.

この発明の第一の実施形態にかかる構成図The block diagram concerning 1st embodiment of this invention 第一の実施形態における通常時リクエストの処理を示す前半のフロー図Flow chart of the first half showing normal request processing in the first embodiment 第一の実施形態における通常時リクエストの処理を示す後半のフロー図Second half flow chart showing normal request processing in the first embodiment この発明にかかる埋込URLサーバのバッチ処理を示すフロー図The flowchart which shows the batch processing of the embedded URL server concerning this invention (a)URL接続可否キャッシュの例を示すテーブル、(b)問合頻度データベースの例を示すテーブル、(c)埋込URLデータベースの例を示すテーブル、(d)規制対象URLデータベースの例を示すテーブル(A) A table showing an example of a URL connection availability cache, (b) a table showing an example of an inquiry frequency database, (c) a table showing an example of an embedded URL database, and (d) an example of a restriction target URL database. table この発明の第二の実施形態にかかる構成図The block diagram concerning 2nd embodiment of this invention 第二の実施形態における通常時リクエストの処理を示す前半のフロー図Flow chart of the first half showing normal request processing in the second embodiment 第二の実施形態における通常時リクエストの処理を示す後半のフロー図Second half flow chart showing normal request processing in the second embodiment この発明の第三の実施形態にかかる構成図The block diagram concerning 3rd embodiment of this invention

以下、この発明の具体的な実施形態について説明する。この発明にかかるフィルタリングシステムの第一の実施形態は、図1に記載の構成からなる。すなわち、利用者が利用するコンテンツ表示用端末10と、それに併設されるURLフィルタリング装置20と、規制対象となるアドレスの情報を有する規制対象DBサーバ30と、リクエストを処理する埋込URLサーバ40と、コンテンツ自体を有するコンテンツサーバ50である。また、以下に記載の「部」とはハードウェア又はソフトウェアによって実行される処理回路、処理機構又は処理装置であり、「機能」とは「部」又はデータベースで実行されるプログラムである。   Hereinafter, specific embodiments of the present invention will be described. 1st Embodiment of the filtering system concerning this invention consists of a structure as shown in FIG. That is, the content display terminal 10 used by the user, the URL filtering device 20 provided therewith, the restriction target DB server 30 having information on the restriction target address, and the embedded URL server 40 for processing the request A content server 50 having the content itself. In addition, “unit” described below is a processing circuit, processing mechanism, or processing device executed by hardware or software, and “function” is a program executed by “unit” or a database.

上記のコンテンツ表示用端末10は、有線LAN又は無線によるネットワーク接続機能と、インターネットブラウザ機能を発揮するブラウザ処理部11を有するものであれば特に限定されない。具体的にはパソコン、スマートフォン、フィーチャーフォン、ネットワーク対応ゲーム機、ネットワーク対応レコーダなどが挙げられる。上記のURLフィルタリング装置20を介して外部ネットワークに接続する。   The content display terminal 10 is not particularly limited as long as it has a wired LAN or wireless network connection function and a browser processing unit 11 that exhibits an Internet browser function. Specific examples include a personal computer, a smartphone, a feature phone, a network-compatible game machine, and a network-compatible recorder. It connects to an external network via the URL filtering device 20 described above.

上記のURLフィルタリング装置20は、上記コンテンツ表示用端末10がコンテンツサーバ50にアクセスする際の接続要求を中継するプロキシサーバであるとともに、その接続要求が規制対象となるアドレスへのものである場合にはそれを遮断するURLフィルタリング部としての機能を有する装置である。具体的には、家庭用ルータや、比較的小規模なネットワーク向けのルータが挙げられ、上記コンテンツ表示用端末10と同一ネットワーク内にあって併設されている。大規模なネットワーク用の高性能ルータでも本発明を実施できるが、特に処理能力が比較的低いルータで本発明の実施によるメリットが大きくなる。上記のコンテンツ表示用端末10とは、有線LAN又は無線LANにより相互に通信する。   The URL filtering device 20 is a proxy server that relays a connection request when the content display terminal 10 accesses the content server 50, and the connection request is for an address to be regulated. Is a device having a function as a URL filtering unit for blocking it. Specifically, a home router and a router for a relatively small network can be mentioned, and the content display terminal 10 is provided in the same network. Although the present invention can be implemented even with a high-performance router for a large-scale network, the merit of implementing the present invention is increased particularly with a router having a relatively low processing capability. The content display terminal 10 communicates with each other by a wired LAN or a wireless LAN.

上記規制対象DBサーバ30は、各々のコンテンツ表示用端末10からの接続要求を遮断すべき規制対象ページとなるアドレスを記録した規制URL一覧を、規制対象URLデータベース32として保有するサーバである。多数のURLフィルタリング装置20と通信しうるものであり、複数の端末が一つの規制対象DBサーバ30を共有する。具体的には、セキュリティベンダーが運用する公開サーバや、プロバイダが利用者に対して提供するサーバ、企業内で共有するサーバなど、運用形態は特に限定されない。ただし、上記埋込URLサーバ40と同じネットワーク内にあり互いに高速に通信できる環境にあると、後述する第二の実施形態での運用がしやすくなる。なお、この規制対象URLは、リクエストがされた上記コンテンツ表示用端末10及び上記URLフィルタリング装置20ごとに切り替えられるものでもよい。   The restriction target DB server 30 is a server that holds, as the restriction target URL database 32, a restriction URL list in which addresses serving as restriction target pages that should block connection requests from the respective content display terminals 10 are recorded. It can communicate with a large number of URL filtering devices 20, and a plurality of terminals share a single regulated DB server 30. Specifically, the operation mode is not particularly limited, such as a public server operated by a security vendor, a server provided to a user by a provider, or a server shared within a company. However, if the environment is in the same network as the embedded URL server 40 and can communicate with each other at high speed, the operation in the second embodiment to be described later is facilitated. The URL subject to restriction may be switched for each of the content display terminal 10 and the URL filtering device 20 that have been requested.

上記埋込URLサーバ40は、上記URLフィルタリング装置20からのリクエスト頻度をカウントする問合頻度データベース42を有する。また、リクエスト頻度の高いURLについて、リクエストの処理とは別にバッチ処理にて当該URLのコンテンツサーバ50からダウンロードされるドキュメントを解析して埋め込まれた画像等の埋込URLを解析しておき保有する埋込URLデータベース43を有する。すなわち、通常のリクエスト処理と、定期的なバッチ処理とを行う機能を有する。   The embedded URL server 40 has a query frequency database 42 that counts the request frequency from the URL filtering device 20. In addition, URLs with high request frequency are analyzed and stored in an embedded URL such as an image embedded by analyzing a document downloaded from the content server 50 of the URL by batch processing separately from request processing. It has an embedded URL database 43. That is, it has a function of performing normal request processing and periodic batch processing.

上記コンテンツサーバ50は、主にインターネットなどの外部ネットワーク上にあり、HTTPアクセスを受け付けてHTML文書などのファイルをダウンロードさせることが可能なサーバである。図では一つのみ記載しているが、実際には多数のサーバがネットワークで繋がったものであり、個々のサーバ及びドキュメントはURLによって指定される。このうちの一部のアドレスによってダウンロードされるファイルが上記の規制対象に該当し、そのアドレスが上記規制URL一覧に登録されている。   The content server 50 is a server that is mainly on an external network such as the Internet and can accept HTTP access and download a file such as an HTML document. Although only one is shown in the figure, in reality, a large number of servers are connected via a network, and each server and document is designated by a URL. A file downloaded by a part of the addresses corresponds to the restriction target, and the address is registered in the restriction URL list.

上記のフィルタリングシステムが実行するフィルタリング方法を、図2〜4のフローチャートに従って説明する。図2及び図3は利用者のコンテンツ表示用端末10のブラウザ処理部11から通常のリクエストがされた際の処理を示すフローであり、図4は定期的に上記埋込URLサーバ40が実行するバッチ処理を示すフローである。   The filtering method executed by the above filtering system will be described with reference to the flowcharts of FIGS. 2 and 3 are flowcharts showing processing when a normal request is made from the browser processing unit 11 of the user content display terminal 10, and FIG. 4 is periodically executed by the embedded URL server 40. It is a flow which shows batch processing.

まず、図2のフローを説明する(S100)。利用者が操作するコンテンツ表示用端末10において、ブラウザ処理部11に対して所定の接続先URLを指定してコンテンツを要求するブラウザ操作を行い(S101)、接続要求を送信する(S102)。この接続要求は、直接に接続先URLが示すコンテンツサーバ50へ到達するのではなく、プロキシサーバであるURLフィルタリング装置20の中継代理サーバ部21へ送られる(S102)。中継代理サーバ部21は、この接続要求を受信すると、そのままコンテンツサーバ50へ中継するのではなく、同じくURLフィルタリング装置20が有するURL評価部22へ送って接続の可否を問い合わせる要求問合機能60を実行する(S103)。なお、中継代理サーバ部21及びURL評価部22は、URLフィルタリング装置20内にハードウェアとして実装されていてもよいし、ソフトウェアとして実装されていてもよい。それぞれが別の半導体回路である場合は、上記の要求問合機能60の実行は半導体間の送信指示となる。ソフトウェアで実装されている場合は、URLフィルタリング装置20が有する記憶メモリ(図示せず。)内で、URL評価部22として動作するソフトウェアに上記の接続要求のURLを受け渡すこととなる。   First, the flow of FIG. 2 will be described (S100). In the content display terminal 10 operated by the user, the browser processing unit 11 performs a browser operation for requesting content by designating a predetermined connection destination URL (S101), and transmits a connection request (S102). This connection request is not sent directly to the content server 50 indicated by the connection destination URL, but is sent to the relay proxy server unit 21 of the URL filtering device 20 which is a proxy server (S102). When the relay proxy server unit 21 receives this connection request, the relay proxy server unit 21 does not directly relay the request to the content server 50, but sends a request inquiry function 60 that sends a request to the URL evaluation unit 22 of the URL filtering device 20 to inquire whether or not connection is possible. Execute (S103). The relay proxy server unit 21 and the URL evaluation unit 22 may be implemented as hardware in the URL filtering device 20 or may be implemented as software. When each is a separate semiconductor circuit, execution of the request inquiry function 60 is a transmission instruction between semiconductors. When implemented by software, the connection request URL is delivered to the software operating as the URL evaluation unit 22 in a storage memory (not shown) of the URL filtering device 20.

上記の問い合わせを受けたURL評価部22は、まず、URL接続可否キャッシュ23に当該接続要求の接続先URLについて、その接続先URLへの接続の可否が記録されているか否かを検索する高速返答機能68を実行する(S104)。このURL接続可否キャッシュ23のレコードの例を図5(a)に示す。URLと、そのURLへの接続が規制されているか否かを記録したレコードからなる。この記録は後述する処理(S138)による。記録があれば、URLフィルタリング装置20は他にリクエスト等を送るまでもなく対処を決定する。すなわち、その接続先URLへの接続が「可」であるとの記録があれば(S105→S106)、中継代理サーバ部21はプロキシサーバとして、接続先URLから指定されたドキュメントのダウンロードを要求する中継機能61を実行し(S153)、ダウンロードされたドキュメントをコンテンツ表示用端末10に中継送信する(S154)。一方、その接続先URLへの接続が「否」であるとの記録があれば(S105→S107)、その接続要求を遮断する遮断機能62を実行する。遮断するには単純に送信要求を破棄することでも可能だが、ここではその接続先URLへの接続が規制されていることが外見上判別可能なドキュメント又は画像ファイルである接続規制ファイルを、本来指定されたドキュメント等の代わりにコンテンツ表示用端末10に送信する(S152)。この高速返答機能68は、後述するリクエスト頻度の高い一部のドキュメントに引き続いて読み込まれる画像ファイルなどの埋込URLに対して実行される。   Upon receiving the above inquiry, the URL evaluation unit 22 first searches for whether or not the connection destination URL of the connection request is recorded in the URL connection availability cache 23 as to whether or not connection to the connection destination URL is recorded. The function 68 is executed (S104). An example of a record in the URL connection availability cache 23 is shown in FIG. It consists of a URL and a record that records whether or not the connection to the URL is restricted. This recording is performed by processing (S138) described later. If there is a record, the URL filtering device 20 determines the countermeasure without sending another request or the like. That is, if there is a record that the connection to the connection destination URL is “permitted” (S105 → S106), the relay proxy server unit 21 requests a download of the document designated from the connection destination URL as a proxy server. The relay function 61 is executed (S153), and the downloaded document is relayed and transmitted to the content display terminal 10 (S154). On the other hand, if there is a record that the connection to the connection destination URL is “No” (S105 → S107), the blocking function 62 for blocking the connection request is executed. In order to block it, it is possible to simply discard the transmission request, but here we specify the connection restriction file, which is a document or image file that can be visually identified that the connection to the connection destination URL is restricted. Instead of the document etc., it is transmitted to the content display terminal 10 (S152). The high-speed response function 68 is executed for an embedded URL such as an image file that is read subsequently to a part of a document with a high request frequency described later.

一方、高速返答機能68の実行の結果(S104)、その接続先URLへの接続の可否がURL接続可否キャッシュ23に記録されていなければ、URL評価部22は、埋込URLサーバ40が有する埋込URLデータベース管理部41にその接続先URLを含むリクエストを送信するリクエスト機能63を実行する(S111)。   On the other hand, if the result of the execution of the high-speed response function 68 (S104) and whether or not connection to the connection destination URL is recorded in the URL connection enable / disable cache 23, the URL evaluation unit 22 includes the embedded URL server 40. The request function 63 for transmitting a request including the connection destination URL to the embedded URL database management unit 41 is executed (S111).

上記のリクエストを受信する埋込URLサーバ40の埋込URLデータベース管理部41は、埋込URLサーバ40の通常時において受信するリクエストを処理するハードウェア又はソフトウェアである。この埋込URLデータベース管理部41はまず、受信したリクエストに含まれる接続先URLについて、問合頻度データベース42に記録する頻度更新機能81を実行する(S112)。問合頻度データベース42の例を図5(b)に示す。上記接続先URLと、区切られた時期、及びその時期ごとのリクエスト回数とからなる。このとき、既に接続先URLのレコードがあれば、現在実行中の時期に該当するレコードにそのリクエスト回数に+1する。すなわち、問合頻度データベース42は、接続先URLとともに、その接続先URLがリクエストされた回数をカウントするものである。なお、ここの頻度更新を行うURLは、その後に埋込URLを解析するためのものであるため、HTMLファイル、XMLファイルなどをダウンロードさせるアドレス以外は無意味となる。従って、アドレス末尾の拡張子がjpg、png,gif、swf、mpg、mp4などである画像、動画、音声ファイルについては問合頻度データベース42への記録から除外しておくことが好ましい。   The embedded URL database management unit 41 of the embedded URL server 40 that receives the above request is hardware or software that processes a request received at the normal time of the embedded URL server 40. The embedded URL database management unit 41 first executes a frequency update function 81 that records the connection destination URL included in the received request in the inquiry frequency database 42 (S112). An example of the inquiry frequency database 42 is shown in FIG. It consists of the above-mentioned connection destination URL, a divided period, and the number of requests for each period. At this time, if there is already a record of the connection destination URL, the number of requests is incremented by 1 in the record corresponding to the currently executing time. That is, the inquiry frequency database 42 counts the number of times the connection destination URL is requested together with the connection destination URL. Note that the URL for performing frequency update here is for analyzing the embedded URL after that, and is meaningless except for an address for downloading an HTML file, an XML file, or the like. Accordingly, it is preferable to exclude images, moving images, and audio files whose extensions at the end of the address are jpg, png, gif, swf, mpg, mp4, etc. from recording in the inquiry frequency database 42.

それと前後して、埋込URLデータベース管理部41は、埋込URLサーバ40内に設けたもう一つのデータベースである埋込URLデータベース43内を、その接続先URLをキーとして検索する埋込URL検索機能82を実行する(S113)。この埋込URLデータベースの例を図5(c)に示す。接続先URLと、そのURLが示すドキュメントに埋め込まれた画像ファイルなどの複数の埋込URLとを関連づけて記録している。なお、この埋込URLデータベース43への記録は後述するバッチ処理で行われる(S216)。埋込URLデータベース43内に、上記接続先URL及びその接続先URLで指定されるドキュメントに埋め込まれた埋込URLのレコードが存在したら(S114→S115)、その接続先URLと上記埋込URLとをまとめて、上記URLフィルタリング装置20のURL評価部22へ返答する埋込URL返答機能83を実行する。すなわち、上記リクエストに対して、その場でドキュメントの解析作業を行うことなく、接続先URLのドキュメントに含まれる画像等の埋込URLを速やかに返答できる。この返答を受けたURL評価部22は、その接続先URLと上記埋込URLとのURL集合を、規制対象DBサーバ30へ送り、それら全てへの接続の可否をまとめて問い合わせる一括可否問合機能65を実行する(S116)。   Before and after that, the embedded URL database management unit 41 searches the embedded URL database 43, which is another database provided in the embedded URL server 40, by using the connection destination URL as a key. The function 82 is executed (S113). An example of this embedded URL database is shown in FIG. The connection destination URL and a plurality of embedded URLs such as image files embedded in the document indicated by the URL are recorded in association with each other. The recording in the embedded URL database 43 is performed by a batch process described later (S216). If there is a record of the connection destination URL and the embedded URL embedded in the document specified by the connection destination URL in the embedded URL database 43 (S114 → S115), the connection destination URL, the embedded URL, The embedded URL reply function 83 for replying to the URL evaluation unit 22 of the URL filtering device 20 is executed. That is, in response to the request, an embedded URL such as an image included in the document of the connection destination URL can be promptly returned without performing document analysis on the spot. Upon receiving this response, the URL evaluation unit 22 sends the URL set of the connection destination URL and the embedded URL to the restriction target DB server 30 and collectively inquires whether connection to all of them is possible. 65 is executed (S116).

上記の規制対象DBサーバ30は、規制対象ページとして接続を制限、禁止するアドレスの規制URL一覧を記録した規制対象URLデータベース32と、問い合わされたURLについて、規制対象URLデータベース32を検索し、そのURLへの接続の可否を調べる可否判断機能71を実行する接続可否判断部31とを有する。この規制対象URLデータベース32の例を図5(d)に示す。規制対象となるURLが記録されてあり、ドメイン名やファイル名などで検索可能であると望ましい。この内容は、ユーザからの報告などによりサーバが自動的に更新するものであったり、サーバの運営者が独自に登録するものであったりしてよい。   The above-described restriction target DB server 30 searches the restriction target URL database 32 that records a list of restriction URLs of addresses that restrict or prohibit connection as a restriction target page, and the restricted URL database 32 for the inquired URL. A connection determination unit 31 that executes a determination unit 71 for determining whether or not connection to a URL is possible; An example of the restriction target URL database 32 is shown in FIG. It is desirable that URLs to be regulated are recorded and can be searched by domain name or file name. This content may be automatically updated by the server according to a report from the user, or may be registered by the server operator.

この規制対象DBサーバ30への可否判断機能71の実行手順は次の通りである(S131〜S137)。上記のURL集合に含まれるURLのそれぞれについて、規制対象URLデータベース32を検索し(S132)、当該URLが存在していれば接続可否一覧に当該URLを接続「否」として登録する(S133→S134)。存在していなければ、接続可否一覧に接続「可」として登録する(S133→S135)。これを、一括して送られてきた全てのURLについて行う(S136→S131)。なお、この接続可否一覧とは、上記URL集合への一括処理にあたり、一時的にサーバのメモリ上に展開するテーブルで、それぞれのURLについて可否の項目を記録するものであり、URL評価部22への返答後は消去するとよい。一括して問い合わせがあったURLの全てについて上記接続可否一覧の可否が確認できたら、接続可否判断部31は可否判断返答機能72を実行してその結果をまとめて返答する。   The execution procedure of the function 71 for determining whether or not to allow the restriction target DB server 30 is as follows (S131 to S137). For each URL included in the above URL set, the URL database 32 to be regulated is searched (S132), and if the URL exists, the URL is registered as a connection “No” in the connection availability list (S133 → S134). ). If it does not exist, the connection is registered in the connection availability list as “available” (S133 → S135). This is performed for all URLs sent in a batch (S136 → S131). The connectability list is a table that is temporarily expanded on the memory of the server during the batch processing of the URL set, and records whether or not each URL is available. It is good to delete after replying. When it is possible to confirm whether or not the above-described connection availability list is available for all the URLs that have been inquired collectively, the connection availability determination unit 31 executes the availability determination response function 72 and returns the results together.

上記接続可否一覧を受信したURL評価部22は、その内容をURL接続可否キャッシュ23に書き込む第一キャッシュ機能66を実行する(S138)。このURL接続可否キャッシュの内容は、数秒から数分程度の時間が経過すると自動的に消去される一時記憶機能69が実行されるように設定しておく。これは、一つの接続先URLへの接続要求に引き続いて、それに引き続く埋め込まれた画像ファイルや動画ファイル、インラインフレームのHTMLファイルなどの上記埋込URLについての接続要求がされるが、それらの接続要求に対して上記の高速返答機能68が実行される間(S104,S105〜)だけ保持していれば、十分にネットワークへの問い合わせと通信量を削減できるからである。また、キャッシュが肥大化すると応答速度が低下してしまうため、サイズは最小限に留めておくことが望ましい。なお、保持している間に再度同じURLについて書き込みがあれば、その保持時間は延長するとよい。   The URL evaluation unit 22 that has received the connection availability list executes the first cache function 66 that writes the contents in the URL connection availability cache 23 (S138). The contents of the URL connection enable / disable cache are set so that a temporary storage function 69 that is automatically deleted when a time of several seconds to several minutes elapses is executed. This is because, following a connection request to one connection destination URL, a connection request is made for the embedded URL such as an embedded image file, moving image file, HTML file of an inline frame, and the like. This is because, if the high-speed response function 68 is held for the request only during the execution (S104, S105), the network inquiry and the communication amount can be reduced sufficiently. In addition, since the response speed decreases when the cache is enlarged, it is desirable to keep the size to a minimum. If the same URL is written again while it is held, the holding time may be extended.

続いてURL評価部22は、接続先URLについての接続の可否を中継代理サーバ部21に返答する通常返答機能67を実行する。このとき、埋込URLについての接続の可否は返答しない。これを受けた中継代理サーバ部21は、接続先URLへの接続が「否」であれば(S151→S152)、その接続要求を遮断する遮断機能62を実行する。この遮断機能62の内容は上記の通りである。一方、接続先URLへの接続が「可」であれば、その接続要求をコンテンツサーバ50へ中継して当該ドキュメントのダウンロードを要求する中継機能61を実行する(S153,S154)。   Subsequently, the URL evaluation unit 22 executes a normal response function 67 for returning to the relay proxy server unit 21 whether or not the connection destination URL can be connected. At this time, whether or not the embedded URL can be connected is not returned. Receiving this, if the connection to the connection destination URL is “No” (S151 → S152), the relay proxy server unit 21 executes the blocking function 62 that blocks the connection request. The contents of the blocking function 62 are as described above. On the other hand, if the connection to the connection destination URL is “permitted”, the relay function 61 for relaying the connection request to the content server 50 and requesting the download of the document is executed (S153, S154).

一方、埋込URLデータベース43を検索しても(S113)、接続先URLが記録されていなければ(S114)、埋込URLデータベース管理部41は、URL評価部22に、null又は接続先URLのみを返答するゼロ返答機能84を実行する(S118)。この返答を受けたURL評価部22は、接続先URLのみについての接続の可否を、規制対象DBサーバに問い合わせる単独可否問合機能64を実行する(S119)。規制対象DBサーバ30の接続可否判断部31は、上記の場合に問い合わせのあった接続先URLについて、規制対象URLデータベース32を検索する可否判断機能71を実行して(S141)、その結果をURL評価部22へ返答する可否判断返答機能72を実行し(S142)、その接続先URLについての接続の可否をURL接続可否キャッシュ23に書き込む第一キャッシュ機能66を実行する(S138)。ここで接続先URLをキャッシュに保存しておくことにより、接続直後にブラウザ処理部11で「戻る」や「再読込」といった作業を行った際にも速やかに返答が可能となる。また、再読込を繰り返す所謂「F5アタック」がされても、問合頻度データベース42へ無駄なカウントが送られるという事態を防止できる。URL評価部22は、その返答結果に応じて(S151),中継機能61を実行するか(S153、S154),遮断機能62を実行するか(S152)のいずれかを行う。   On the other hand, even if the embedded URL database 43 is searched (S113) and the connection destination URL is not recorded (S114), the embedded URL database management unit 41 sends only the null or the connection destination URL to the URL evaluation unit 22. The zero reply function 84 is returned (S118). Upon receiving this response, the URL evaluator 22 executes the single availability inquiry function 64 that inquires the restriction target DB server about the availability of connection only for the connection destination URL (S119). The connection possibility determination unit 31 of the restriction target DB server 30 executes the restriction determination function 71 for searching the restriction target URL database 32 for the connection destination URL inquired in the above case (S141), and the result is the URL. The availability determination response function 72 for responding to the evaluation unit 22 is executed (S142), and the first cache function 66 for writing the connection availability for the connection destination URL in the URL connection availability cache 23 is executed (S138). Here, by storing the connection destination URL in the cache, it is possible to promptly respond even when the browser processing unit 11 performs operations such as “return” and “re-read” immediately after connection. In addition, even if the so-called “F5 attack” is repeated, the situation that a useless count is sent to the inquiry frequency database 42 can be prevented. The URL evaluation unit 22 performs either the relay function 61 (S153, S154) or the blocking function 62 (S152) according to the response result (S151).

以上が第一の実施形態において通常時に端末からのリクエストに対してフィルタリングシステムが行う処理手順である。そして、埋込URLサーバ40は、上記の手順で実行された頻度更新機能81による問合頻度データベース42のデータを元に次のバッチ処理を定期的に行うことで、上記の処理手順を円滑に行える環境を用意する。このバッチ処理は大量のHTMLファイルの解析を行うためサーバの処理能力を大いに必要とすることから、上記の通常のリクエストが少ない時間帯に自動的に行うように設定しておくとよく、例えば毎日未明などに行うと好ましい。この定期的に実行するよう設定したバッチ処理実行機能86の手順を図4に沿って説明する。   The above is the processing procedure performed by the filtering system in response to a request from the terminal in the normal state in the first embodiment. Then, the embedded URL server 40 performs the next batch processing periodically based on the data in the inquiry frequency database 42 by the frequency update function 81 executed in the above procedure, thereby smoothly performing the above processing procedure. Prepare a working environment. Since this batch processing requires a large amount of processing capacity of the server to analyze a large amount of HTML files, it is better to set the above normal requests to be automatically performed in a time zone with few requests, for example, every day. It is preferable to carry out at dawn. The procedure of the batch process execution function 86 set to be executed periodically will be described with reference to FIG.

まず(S211)、このバッチ処理を統括するデータベース更新部45が、問合頻度データベース42を検索し、直近のリクエスト頻度の高かったURL群を抽出する頻度読出機能87を実行する。例えば、頻度のカウント数の上位何万件分かのURL群を抽出するということである。このカウント数はバッチ処理の度にリセットするか、または図5(b)のように、バッチ処理後にあらたな時期としてカウントし直すことが好ましく、できるだけ直近の一時期、又は限定された数の時期に亘っての問い合わせが多いURL群を抽出することが好ましい。過去にカウント数が多くても現在問い合わせが少ないURLについて処理していたのでは、効率が悪いからである。ただし、リクエスト回数が曜日ごとの周期やさらに長い周期を持って変動していたりする場合もあるため、過去の一定期間の時期のログを残しておき、次に予想される頻度に最適化してURL群を読み出してもよい。   First (S211), the database update unit 45 that supervises this batch processing searches the inquiry frequency database 42, and executes a frequency reading function 87 that extracts the URL group having the most recent request frequency. For example, the URL group corresponding to tens of thousands of the highest frequency count is extracted. This count number is preferably reset every time batch processing is performed, or is preferably re-counted as a new time after batch processing, as shown in FIG. 5 (b), and at the most recent time or a limited number of times as possible. It is preferable to extract a URL group with many inquiries. This is because the efficiency is poor when processing URLs with a small number of inquiries in the past even if the number of counts is large. However, since the number of requests may fluctuate with the period of each day of the week or with a longer period, a log of a certain period in the past is kept, and the URL is optimized to the next expected frequency. A group may be read out.

この抽出したURL群をコンテンツ解析部44に送り、それらのURLが示すドキュメントに埋め込まれた埋込URLを全て解析して埋込URLデータベース43に記録し直す事前解析機能85を実行する(S213〜S217)。なお、埋め込まれた埋込URLとは例えば、HTMLのimgタグやEmbedタグ、iframeタグなど、ドキュメントの読み込み時に同時に表示されるタグのURLである。なお、多くの場合はaタグによるリンク先を含めると、問合頻度データベースへのカウントが正しくされないので、除外する方が望ましい。リンク先への接続要求はどれが指定されるかわからず、先読みを行おうとすると数が多くなりすぎる場合があるためである。また、接続先URLからダウンロード可能となるアーカイブを含めてもよい。具体的には次の手順を前記のURL群を構成する全てのURLについて行う。   The extracted URL group is sent to the content analysis unit 44, and the pre-analysis function 85 is executed to analyze all the embedded URLs embedded in the document indicated by those URLs and rerecord them in the embedded URL database 43 (S213-S S217). The embedded URL is, for example, a URL of a tag that is simultaneously displayed when a document is read, such as an HTML img tag, an Embed tag, or an iframe tag. In many cases, it is desirable to exclude the link destination by the a tag because it is not counted correctly in the inquiry frequency database. This is because the connection request to the link destination does not know which one is specified, and there are cases where the number becomes too large when prefetching is performed. An archive that can be downloaded from the connection destination URL may also be included. Specifically, the following procedure is performed for all URLs constituting the URL group.

まず、コンテンツ解析部44は、当該URLがアドレスとして示すコンテンツサーバ50へドキュメントのダウンロードを要求して受信する(S214)。受信したHTMLファイルやXMLファイルの中身を解析して、ブラウザでそのドキュメントを表示させた際に読み込まれることになる埋込URLを抽出する(S215)。ここで、単にHTMLファイルやXMLファイルに直接記載されているアドレスだけではなく、それらファイルがブラウザの表示時に読み込むCSS(Cascading Style Sheets)ファイルやJS(JavaScript)ファイルなどがさらに読み込むことになるファイルの埋込URLまで解析するように設定しておくことが望ましい。   First, the content analysis unit 44 requests and receives a document download from the content server 50 indicated by the URL as an address (S214). The contents of the received HTML file or XML file are analyzed, and an embedded URL to be read when the document is displayed by the browser is extracted (S215). Here, not only the addresses directly described in the HTML file and the XML file, but also CSS (Cascading Style Sheets) files and JS (Java Script) files that are read when the file is displayed on the browser It is desirable to set to analyze even the embedded URL.

次いで、当該接続先URLと、それから抽出した埋込URLとを、埋込URLデータベース43へ登録する埋込URL記録機能88を実行する(S216)。以上のダウンロード、解析抽出、登録を、抽出したURL群全てに対して行う(S217→S213)。このバッチ処理によって、一部の問い合わせ頻度の高い接続先URLについての埋込URLのリストが用意され、上記の通常時におけるリクエストに対して埋込URL返答機能83、一括可否問合機能65、高速返答機能68が実行できるようになり、高速なフィルタリング処理が可能となる。   Next, the embedded URL recording function 88 for registering the connection destination URL and the embedded URL extracted therefrom in the embedded URL database 43 is executed (S216). The above download, analysis extraction, and registration are performed for all the extracted URL groups (S217 → S213). By this batch processing, a list of embedded URLs for some connection destination URLs with a high inquiry frequency is prepared. An embedded URL reply function 83, a collective availability inquiry function 65, a high-speed response to the above normal request. The reply function 68 can be executed, and high-speed filtering processing is possible.

もし、上記のバッチ処理で解析された後に、当該接続先URLの内容が変更されて、埋め込まれているコンテンツの埋込URLが変更された場合は、その新たに追加された埋込URLについては高速返答機能68によるフィルタリングはできない。しかし、その埋込URLが規制対象に該当するか否かは規制対象URLデータベース32のデータと照らし合わされるので(S104→S111〜S114→S118)、解析とのタイムラグによって安全性が悪化することはない。   If the content of the connection destination URL is changed after the analysis by the batch processing and the embedded URL of the embedded content is changed, the newly added embedded URL Filtering by the fast response function 68 is not possible. However, since whether or not the embedded URL falls under the restriction target is checked against the data in the restriction target URL database 32 (S104 → S111 to S114 → S118), the safety is deteriorated due to the time lag with the analysis. Absent.

次に、この発明の第二の実施形態について説明する。その構成図を図6に、通常時のリクエストの処理フローを図7及び図8に示す。バッチ処理については第一の実施形態と同様である。また、通常時のリクエストについても基本的なフローは第一の実施形態と同じ部分が多いため、第一の実施形態からの変更点を中心に説明する。   Next, a second embodiment of the present invention will be described. The configuration diagram is shown in FIG. 6, and the processing flow of the request at the normal time is shown in FIGS. The batch processing is the same as in the first embodiment. In addition, since the basic flow of the normal request has many parts that are the same as those in the first embodiment, the description will focus on the changes from the first embodiment.

具体的には、規制対象DBサーバ30へのアクセス経路を変更している。第一の実施形態ではURL評価部22との間で応答したが、第二の実施形態では埋込URLサーバ40の埋込URLデータベース管理部41との間で応答する。すなわち、フローの上では、S115及びS116、S118及びS119で一旦URL評価部22が受信してから接続可否判断部31へ問い合わせしていた部分を、S121,S122のように、埋込URLデータベース管理部41が接続可否判断部31へ直接に問い合わせるように変更する。これにより、接続先URL及び埋込URLやnullの結果とともに、それぞれへの接続の可否の判断結果もまとめてURL評価部22に戻ってくるため(S137b,S142a)、URL評価部22が行う処理が減り、URLフィルタリング装置20のURL評価部22にかかる負荷が軽減される。さらに、サーバ側だけで一連の処理をまとめて行えるため、埋込URLサーバ40と規制対象DBサーバ30との通信回線さえ高速であれば、より迅速な応答が可能になる。   Specifically, the access route to the regulated DB server 30 is changed. In the first embodiment, a response is made with the URL evaluation unit 22, but in the second embodiment, a response is made with the embedded URL database management unit 41 of the embedded URL server 40. That is, in the flow, the portion that has been received by the URL evaluation unit 22 once in S115 and S116, S118 and S119 and then inquired to the connection possibility determination unit 31 is embedded URL database management as in S121 and S122. The unit 41 is changed so as to inquire directly to the connection possibility determination unit 31. As a result, the connection destination URL, embedded URL, and null result as well as the determination result of whether or not connection is possible are collectively returned to the URL evaluation unit 22 (S137b, S142a), so the processing performed by the URL evaluation unit 22 And the load on the URL evaluation unit 22 of the URL filtering device 20 is reduced. Furthermore, since a series of processes can be performed together only on the server side, a faster response is possible if only the communication line between the embedded URL server 40 and the regulated DB server 30 is high speed.

上記のフローを実施するために必要な埋込URLデータベース管理部41の機能は次の通りとなる。上記接続先URLについて上記埋込URLデータベース43への埋込URL検索機能82を実行して(S113、S114)、見つかれば、埋込URLを読み出し、接続先URLと埋込URLとのURL集合について接続可否判断部31へ問い合わせる直送一括可否問合機能92を実行する(S121)。それらURL集合についての接続の可否を接続可否判断部31から受信したら(S137a)、それらをまとめてURL評価部22へ返答する一括返答機能94を実行する(S137b)。埋込URL検索機能82を実行して見つからなければ、接続先URLのみについて接続可否判断部31へ問い合わせる直送単独可否問合機能91を実行する(S122)。その接続先URLについての接続の可否を接続可否判断部31から受信したら(S141a)、その接続の可否をURL評価部22へ返答する単独返答機能93を実行し(S142a)、その接続先URLについての接続の可否をURL接続可否キャッシュ23に書き込む第二キャッシュ機能95を実行する(S138)。   The functions of the embedded URL database management unit 41 necessary for carrying out the above flow are as follows. The embedded URL search function 82 to the embedded URL database 43 is executed for the connection destination URL (S113, S114). If found, the embedded URL is read and the URL set of the connection destination URL and the embedded URL is obtained. The direct sending batch availability inquiry function 92 for making an inquiry to the connection availability judgment unit 31 is executed (S121). When the availability of connection for these URL sets is received from the connection availability determination unit 31 (S137a), a collective response function 94 that collectively returns them to the URL evaluation unit 22 is executed (S137b). If it is not found by executing the embedded URL search function 82, the direct sending single availability inquiry function 91 for inquiring the connection availability judgment unit 31 only for the connection destination URL is executed (S122). When the connection possibility for the connection destination URL is received from the connection possibility determination unit 31 (S141a), the single reply function 93 that returns the connection possibility to the URL evaluation unit 22 is executed (S142a). The second cache function 95 for writing the availability of the connection to the URL connection availability cache 23 is executed (S138).

一方、規制対象DBサーバ30は、可否判断返答機能72の返答先が埋込URLデータベース管理部41に変更となる。また、URL評価部22は、第一の実施形態では有していた単独可否問合機能64及び一括可否問合機能65を実行しない。また、埋込URLデータベース管理部41から上記埋込URL及びそれへの接続の可否を受信した段階で、URL接続可否キャッシュ23へ一時的な記録を書き込む第二キャッシュ機能95を実行する(S138)。   On the other hand, in the restriction target DB server 30, the reply destination of the permission determination reply function 72 is changed to the embedded URL database management unit 41. Further, the URL evaluation unit 22 does not execute the single availability inquiry function 64 and the collective availability inquiry function 65 that were provided in the first embodiment. Further, when the embedded URL and the connection possibility to the embedded URL are received from the embedded URL database management unit 41, the second cache function 95 for writing a temporary record in the URL connection availability cache 23 is executed (S138). .

さらに、この発明の第3の実施形態について説明する。その構成図を図9に示す。これは上記の第2の実施形態においてコンテンツ表示用端末10に併設されていたURLフィルタリング装置20の機能を、URLフィルタリング部20aとして、コンテンツ表示用端末10aに内蔵させたものである。このURLフィルタリング部20aは、具体的には、ブラウザがHTMLレンダリング機能とは別に有する通信部に含まれるソフトウェアや、ブラウザとは別にパーソナルファイアウォールとしてコンテンツ表示用端末10aにインストールされるソフトウェアとなる。   Furthermore, a third embodiment of the present invention will be described. The configuration diagram is shown in FIG. In this embodiment, the function of the URL filtering device 20 provided in the content display terminal 10 in the second embodiment is built in the content display terminal 10a as the URL filtering unit 20a. Specifically, the URL filtering unit 20a is software included in a communication unit that the browser has separately from the HTML rendering function, or software installed in the content display terminal 10a as a personal firewall separately from the browser.

この第3の実施形態のフローは、図7及び8と、図4とに示されるフローにおいて、URLフィルタリング装置20をURLフィルタリング部20aに置き換えたものとなる。ただし、ブラウザ処理部11とURLフィルタリング部20aとのデータのやり取りは、LANなどを経由せず、同一端末内でのデータの受け渡しとなる。   The flow of the third embodiment is obtained by replacing the URL filtering device 20 with the URL filtering unit 20a in the flow shown in FIGS. 7 and 8 and FIG. However, the exchange of data between the browser processing unit 11 and the URL filtering unit 20a is a data exchange within the same terminal without going through a LAN or the like.

なお、第一の実施形態における図1に示すURLフィルタリング装置20の機能を、URLフィルタリング部20aとしてコンテンツ表示用端末10aに内蔵させる形態でも本発明は実施可能である。ただし、第一の実施形態(図1)のようにURL評価部22が一旦受信してから問い合わせるよりも、第三の実施形態(図5)のようにURL評価部22を経由することなく埋込URLサーバ40から規制対象DBサーバ30に問い合わせる方が、URLフィルタリング部20aにかかる処理負荷は小さくなるため、コンテンツ表示用端末10aに内蔵させる際に必要なスペックもより小さくできる。   Note that the present invention can also be implemented in a form in which the function of the URL filtering device 20 shown in FIG. 1 in the first embodiment is incorporated in the content display terminal 10a as the URL filtering unit 20a. However, instead of making a query after the URL evaluation unit 22 receives once as in the first embodiment (FIG. 1), it is embedded without going through the URL evaluation unit 22 as in the third embodiment (FIG. 5). Since the processing load applied to the URL filtering unit 20a is smaller when the embedded URL server 40 makes an inquiry to the restriction target DB server 30, the specifications necessary for incorporating into the content display terminal 10a can be made smaller.

10,10a コンテンツ表示用端末
11 ブラウザ処理部
20 URLフィルタリング装置
20a URLフィルタリング部
21 中継代理サーバ部
22 URL評価部
23 URL接続可否キャッシュ
30 規制対象DBサーバ
31 接続可否判断部
32 規制対象URLデータベース
40 埋込URLサーバ
41 埋込URLデータベース管理部
42 問合頻度データベース
43 埋込URLデータベース
44 コンテンツ解析部
45 データベース更新部
50 コンテンツサーバ
60 要求問合機能
61 中継機能
62 遮断機能
63 リクエスト機能
64 単独可否問合機能
65 一括可否問合機能
66 第一キャッシュ機能
67 通常返答機能
68 高速返答機能
69 一時記憶機能
71 可否判断機能
72 可否判断返答機能
81 頻度更新機能
82 埋込URL検索機能
83 埋込URL返答機能
84 ゼロ返答機能
85 事前解析機能
86 バッチ処理実行機能
87 頻度読出機能
88 埋込URL記録機能
91 直送単独可否問合機能
92 直送一括可否問合機能
93 単独返答機能
94 一括返答機能
95 第二キャッシュ機能
10, 10a Content display terminal 11 Browser processing unit 20 URL filtering device 20a URL filtering unit 21 Relay proxy server unit 22 URL evaluation unit 23 URL connection enable / disable cache 30 Restriction target DB server 31 Connection enable / disable determination unit 32 Restriction target URL database 40 embedded Embedded URL server 41 Embedded URL database management unit 42 Query frequency database 43 Embedded URL database 44 Content analysis unit 45 Database update unit 50 Content server 60 Request inquiry function 61 Relay function 62 Blocking function 63 Request function 64 Independent inquiry Function 65 Collective availability inquiry function 66 First cache function 67 Normal response function 68 High-speed response function 69 Temporary storage function 71 Availability determination function 72 Availability determination response function 81 Frequency update function 82 Embedded URL search function 83 Embedded URL reply function 84 Zero reply function 85 Pre-analysis function 86 Batch processing execution function 87 Frequency reading function 88 Embedded URL recording function 91 Direct sending single availability inquiry function 92 Direct sending batch availability inquiry function 93 Single reply function 94 Batch reply Function 95 Second cache function

Claims (6)

利用者が利用するコンテンツ表示用端末のブラウザ処理部から、コンテンツサーバに向けて接続要求が送信された際に、その接続要求先のアドレスが規制対象ページとして予め記録された規制URL一覧に該当する場合には、上記コンテンツ表示用端末に併設又は内蔵したURLフィルタリング部で遮断させる機能を有するURLフィルタリングシステムであって、
上記URLフィルタリング部と、上記URLフィルタリング部と相互に通信する、埋込URLサーバ及び規制対象DBサーバとからなり、
上記埋込URLサーバは、通常時に受け付けるリクエストの処理と、定期的なバッチ処理とを別個に行うものであり、
通常時には、上記URLフィルタリング部から上記接続要求の指定先である接続先URLを含む上記リクエストを受け取って、上記接続先URLを上記リクエストの回数とともに問合頻度データベースに記録する頻度更新機能を有し、
一方で、上記問合頻度データベースに記録された上記接続先URLのうち直近のリクエスト頻度が高い一部のURL群について、接続先URLに対応するドキュメントをダウンロードして解析し、当該ドキュメントに埋め込まれた埋込URLを、接続先URLとともに埋込URLデータベースに記録する定期的なバッチ処理を行うバッチ処理実行機能を有し、
上記バッチ処理後の通常時には、上記バッチ処理により上記埋込URLデータベースに上記埋込URLが記録された上記接続先URLを含む上記URLフィルタリング部からの上記リクエストに対しては、対応する上記埋込URLを上記埋込URLデータベースから呼び出して、該当URLと上記埋込URLを上記URLフィルタリング部へ返答する埋込URL返答機能を有して、上記頻度更新機能とともに実行するものであり、
上記URLフィルタリング部は、上記埋込URLサーバから返答された接続先URLとそれに対応した上記埋込URLとについて、上記規制URL一覧を記録した上記規制対象DBサーバに対して、一括して接続の可否を問い合わせ、その応答可否結果に従って接続先URLと、それに引き続く上記埋込URLへの接続要求を遮断するURLフィルタリングシステム。
When a connection request is transmitted from the browser processing unit of the content display terminal used by the user to the content server, the address of the connection request destination corresponds to a restriction URL list recorded in advance as a restriction target page. In the case, a URL filtering system having a function of blocking by a URL filtering unit provided or built in the content display terminal,
The URL filtering unit and the embedded URL server and the regulated DB server that communicate with the URL filtering unit,
The embedded URL server separately performs a request process that is normally received and a regular batch process.
In normal times, it has a frequency update function for receiving the request including the connection destination URL that is the designation destination of the connection request from the URL filtering unit, and recording the connection destination URL in the inquiry frequency database together with the number of requests. ,
On the other hand, for a part of the URL group with the highest request frequency among the connection destination URLs recorded in the inquiry frequency database, a document corresponding to the connection destination URL is downloaded and analyzed, and embedded in the document. A batch processing execution function for performing periodic batch processing for recording the embedded URL together with the connection destination URL in the embedded URL database;
At the normal time after the batch processing, the request from the URL filtering unit including the connection destination URL in which the embedded URL is recorded in the embedded URL database by the batch processing is not associated with the corresponding embedded processing. A URL is called from the embedded URL database, and the URL and the embedded URL are returned to the URL filtering unit, and an embedded URL response function is executed, together with the frequency update function,
The URL filtering unit collectively connects the connection destination URL returned from the embedded URL server and the embedded URL corresponding to the URL to the restriction target DB server that records the restriction URL list. A URL filtering system that inquires about availability and blocks a connection destination URL and a subsequent connection request to the embedded URL according to a response availability result.
上記URLフィルタリング部は、URL接続可否キャッシュと、中継代理サーバ部と、URL評価部とを有し、
上記URL接続可否キャッシュは、上記接続先URLに埋め込まれた上記埋込URLについての接続の可否を、(少なくともそれら一連のURLへの接続要求が完了し得る)制限時間付きで一時記憶する一時記憶機能を有し、
上記中継代理サーバ部は、上記接続要求を受信して、上記URL評価部へ問い合わせを送信する要求問合機能と、上記接続の可否の結果を受信してその結果に従い上記接続要求に対する遮断を行う遮断機能とを有し、
上記URL評価部は、上記問い合わせを受けて上記埋込URLサーバへ上記リクエストを送信するリクエスト機能と、上記埋込URLサーバから上記埋込URLの無い返答を受信した場合には接続先URLのみへの接続の可否を上記規制対象DBサーバへ問い合わせる単独可否問合機能と、上記埋込URLサーバから上記埋込URLを受信した場合には上記規制対象DBサーバへ上記接続の可否を問い合わせる一括可否問合機能と、前記一括可否問合機能の返答である上記埋込URLの接続の可否を上記URL接続可否キャッシュへ書き込む第一キャッシュ機能と、接続先URLへの接続の可否の結果を上記中継代理サーバ部へ返答する通常返答機能と、上記接続要求からの問い合わせに対し接続先URLについて上記URL接続可否キャッシュを検索して予め記録された上記埋込URLに該当すれば上記リクエストを送信することなくその可否を上記中継代理サーバ部へ返答する高速返答機能とを有する、
請求項1に記載のURLフィルタリングシステム。
The URL filtering unit includes a URL connection availability cache, a relay proxy server unit, and a URL evaluation unit.
The URL connection enable / disable cache temporarily stores connection enable / disable of the embedded URL embedded in the connection destination URL with a time limit (at least a connection request to the series of URLs can be completed). Has function,
The relay proxy server unit receives the connection request, transmits a request inquiry to the URL evaluation unit, and receives the connection availability result and blocks the connection request according to the result. With a blocking function,
The URL evaluation unit receives the inquiry and transmits the request to the embedded URL server, and when receiving a reply without the embedded URL from the embedded URL server, only the connection destination URL is received. A single availability inquiry function that inquires the restriction target DB server whether or not the connection is possible, and a collective availability inquiry that inquires the restriction target DB server whether or not the connection is possible when the embedded URL is received from the embedded URL server A first cache function that writes to the URL connection availability cache the connection possibility of the embedded URL, which is a response to the collective availability inquiry function, and the result of the connection proxy to the connection destination URL. A normal reply function for replying to the server part and a URL connection enable / disable cache for the connection destination URL in response to an inquiry from the connection request. If applicable to prerecorded the embedded URL searching for Interview the propriety without transmitting the request and a fast response capability to respond to the relay proxy server unit,
The URL filtering system according to claim 1.
上記埋込URLサーバは、通常時のリクエストを処理する埋込URLデータベース管理部と、定期的な上記バッチ処理を実行するデータベース更新部と、上記バッチ処理の際に解析を行うコンテンツ解析部と、上記埋込URLデータベースと、上記問合頻度データベースとを有し、
上記データベース更新部は、上記URL群を上記問合頻度データベースから読み出して上記コンテンツ解析部に送る頻度読出機能と、上記埋込URLデータベースに上記URL群とともにそれらそれぞれに対応する上記埋込URLを記録する埋込URL記録機能を有し、
上記コンテンツ解析部は、上記URL群を構成するURLのそれぞれに対応するドキュメントを、接続先URLが示すコンテンツサーバからダウンロードして解析し、そのドキュメントに埋め込まれた埋込URLを求める事前解析機能を有し、
上記埋込URLデータベース管理部は、上記URLフィルタリング部からの上記リクエストを受け取り接続先URLを問い合わせの回数とともに上記問合頻度データベースに記録する上記頻度更新機能と、上記リクエストに含まれる接続先URLについて上記埋込URLデータベースを検索し、該当すれば接続先URLに対応する上記埋込URLを呼び出す埋込URL検索機能と、上記接続先URL及び前記検索で該当があれば上記埋込URLを上記URL評価部へ返答する上記埋込URL返答機能とを有する、
請求項に記載のURLフィルタリングシステム。
The embedded URL server includes an embedded URL database management unit that processes a normal request, a database update unit that performs the periodic batch processing, a content analysis unit that performs analysis during the batch processing, The embedded URL database and the inquiry frequency database;
The database updating unit records a frequency reading function for reading the URL group from the inquiry frequency database and sending the URL group to the content analysis unit, and records the embedded URL corresponding to the URL group together with the URL group in the embedded URL database. Embedded URL recording function
The content analysis unit has a pre-analysis function that downloads and analyzes a document corresponding to each of the URLs constituting the URL group from the content server indicated by the connection destination URL, and obtains an embedded URL embedded in the document. Have
The embedded URL database management unit receives the request from the URL filtering unit, records the connection destination URL in the inquiry frequency database together with the number of inquiries, and the connection destination URL included in the request. Search the embedded URL database and, if applicable, an embedded URL search function for calling up the embedded URL corresponding to the connection destination URL, and the connection URL and the embedded URL if there is a match in the search. The embedded URL reply function for replying to the evaluation unit;
The URL filtering system according to claim 2 .
利用者が利用するコンテンツ表示用端末のブラウザ処理部から、コンテンツサーバに向けて接続要求が送信された際に、その接続要求先のアドレスが規制対象ページとして予め記録された規制URL一覧に該当する場合には、上記コンテンツ表示用端末に併設又は内蔵されたURLフィルタリング部で遮断させる機能を有するURLフィルタリングシステムであって、
上記URLフィルタリング部と、上記URLフィルタリング部と相互に通信する埋込URLサーバと、埋込URLサーバと通信する規制対象DBサーバとからなり、
上記埋込URLサーバは、通常時に受け付けるリクエストの処理と、定期的なバッチ処理とを別個に行うものであり、
通常時には、上記URLフィルタリング部から上記接続要求の指定先である接続先URLを含むリクエストを受け取って、上記接続先URLを上記リクエストの回数とともに問合頻度データベースに記録する頻度更新機能を有し、
一方で、上記問合頻度データベースに記録された直近のリクエスト頻度が高い一部のURL群について、接続先URLに対応するドキュメントをダウンロードして解析し、当該ドキュメントに埋め込まれた埋込URLを、接続先URLとともに埋込URLデータベースに記録する定期的なバッチ処理を行うバッチ処理実行機能を有し、
上記バッチ処理後の通常時には、上記バッチ処理により上記埋込URLデータベースに上記埋込URLが記録された上記接続先URLを含む上記URLフィルタリング部からの上記リクエストに対しては、対応する上記埋込URLを上記埋込URLデータベースから呼び出し、接続先URLとそれに対応した上記埋込URLとについて、上記規制URL一覧を記録した上記規制対象DBサーバに対し、一括して接続の可否を問い合わせた上で、その結果を上記URLフィルタリング部へ返答する一括返答機能を有し、上記頻度更新機能とともに実行するものであり、
上記URLフィルタリング部は、その返答結果に従って接続先URLとそれに引き続く上記埋込URLへの接続要求を遮断するURLフィルタリングシステム。
When a connection request is transmitted from the browser processing unit of the content display terminal used by the user to the content server, the address of the connection request destination corresponds to a restriction URL list recorded in advance as a restriction target page. In the case, a URL filtering system having a function of blocking by a URL filtering unit provided or built in the content display terminal,
The URL filtering unit, an embedded URL server that communicates with the URL filtering unit, and a regulated DB server that communicates with the embedded URL server.
The embedded URL server separately performs a request process that is normally received and a regular batch process.
Usually, it has a frequency update function for receiving a request including a connection destination URL, which is a designation destination of the connection request, from the URL filtering unit and recording the connection destination URL in the inquiry frequency database together with the number of requests.
On the other hand, for a part of the URL group recorded in the inquiry frequency database with a high recent request frequency, the document corresponding to the connection destination URL is downloaded and analyzed, and the embedded URL embedded in the document is A batch processing execution function for performing periodic batch processing to be recorded in the embedded URL database together with the connection destination URL;
At the normal time after the batch processing, the request from the URL filtering unit including the connection destination URL in which the embedded URL is recorded in the embedded URL database by the batch processing is not associated with the corresponding embedded processing. A URL is called from the embedded URL database, and the connection target URL and the corresponding embedded URL are inquired to the restriction target DB server that records the restriction URL list collectively as to whether or not connection is possible. , Having a batch response function for returning the result to the URL filtering unit, and executing it together with the frequency update function,
The URL filtering system, wherein the URL filtering unit blocks a connection request to the connection destination URL and the subsequent embedded URL according to the response result.
上記埋込URLサーバは、通常時のリクエストを処理する埋込URLデータベース管理部と、定期的な上記バッチ処理を実行するデータベース更新部と、上記バッチ処理の際に解析を行うコンテンツ解析部と、上記埋込URLデータベースと、上記問合頻度データベースとを有し、
上記URLフィルタリング部は、URL接続可否キャッシュと、中継代理サーバ部と、URL評価部とを有し、
上記URL接続可否キャッシュは、上記接続先URLに埋め込まれた上記埋込URLについての接続の可否を制限時間付きで一時記憶する一時記憶機能を有し、
上記中継代理サーバ部は、上記接続要求を受信して、上記URL評価部へ問い合わせを送信する要求問合機能と、上記接続の可否の結果を受信してその結果に従い上記接続要求に対する遮断を行う遮断機能とを有し、
上記URL評価部は、上記問い合わせを受けて上記埋込URLサーバへ上記リクエストを送信するリクエスト機能と、上記埋込URLサーバから上記埋込URLとその接続の可否とを含む返答を受信した場合には上記埋込URLの接続の可否を上記URL接続可否キャッシュへ書き込む第二キャッシュ機能と、上記埋込URLデータベース管理部から受信した接続先URLへの接続の可否の結果を上記中継代理サーバ部へ返答する通常返答機能と、上記接続要求からの問い合わせに対し接続先URLについて上記URL接続可否キャッシュを検索して予め記録された上記埋込URLに該当すれば上記リクエストを送信することなくその可否を上記中継代理サーバ部へ返答する高速返答機能とを有し
上記データベース更新部は、上記URL群を上記問合頻度データベースから読み出して上記コンテンツ解析部に送る頻度読出機能と、上記埋込URLデータベースに上記URL群とともにそれらそれぞれに対応する上記埋込URLを記録する埋込URL記録機能を有し、
上記コンテンツ解析部は、上記URL群を構成するURLのそれぞれに対応するドキュメントを、接続先URLが示すコンテンツサーバからダウンロードして解析し、そのドキュメントに埋め込まれた埋込URLを求める事前解析機能を有し、
上記埋込URLデータベース管理部は、上記URLフィルタリング部からの上記リクエストを受け取り接続先URLを問い合わせの回数とともに上記問合頻度データベースに記録する上記頻度更新機能と、上記リクエストに含まれる接続先URLについて上記埋込URLデータベースを検索し、該当すれば接続先URLに対応する上記埋込URLを呼び出す埋込URL検索機能と、上記埋込URL及び前記検索で該当があれば上記埋込URLを上記規制対象DBサーバの接続可否判断部へ送信してそれらの接続の可否を受信する直送一括可否問合機能と、前記接続の可否を一括して上記フィルタリング部の上記URL評価部へ返答する一括返答機能を実行する、
請求項4に記載のURLフィルタリングシステム。
The embedded URL server includes an embedded URL database management unit that processes a normal request, a database update unit that performs the periodic batch processing, a content analysis unit that performs analysis during the batch processing, The embedded URL database and the inquiry frequency database;
The URL filtering unit includes a URL connection availability cache, a relay proxy server unit, and a URL evaluation unit.
The URL connection enable / disable cache has a temporary storage function for temporarily storing the connection enable / disable of the embedded URL embedded in the connection destination URL with a time limit,
The relay proxy server unit receives the connection request, transmits a request inquiry to the URL evaluation unit, and receives the connection availability result and blocks the connection request according to the result. With a blocking function,
When the URL evaluation unit receives a response including the request function for receiving the inquiry and transmitting the request to the embedded URL server, and the embedded URL and whether the connection is possible or not from the embedded URL server. The second cache function for writing the availability of connection of the embedded URL to the URL connection availability cache, and the result of availability of connection to the connection destination URL received from the embedded URL database management unit to the relay proxy server unit A normal reply function for replying, and inquiring from the connection request, the URL connection possibility cache is searched for the connection destination URL, and if it corresponds to the embedded URL recorded in advance, whether or not the request is sent is transmitted. A high-speed response function for replying to the relay proxy server unit ;
The database updating unit records a frequency reading function for reading the URL group from the inquiry frequency database and sending the URL group to the content analysis unit, and records the embedded URL corresponding to the URL group together with the URL group in the embedded URL database. Embedded URL recording function
The content analysis unit has a pre-analysis function that downloads and analyzes a document corresponding to each of the URLs constituting the URL group from the content server indicated by the connection destination URL, and obtains an embedded URL embedded in the document. Have
The embedded URL database management unit receives the request from the URL filtering unit, records the connection destination URL in the inquiry frequency database together with the number of inquiries, and the connection destination URL included in the request. The embedded URL database is searched, and if applicable, an embedded URL search function for calling the embedded URL corresponding to the connection destination URL, and the embedded URL and the embedded URL if there is a match in the search. A direct sending batch availability inquiry function that transmits to the connection availability judgment unit of the target DB server and receives the availability of those connections, and a batch response function that collectively answers the availability to the URL evaluation unit of the filtering unit Run the
The URL filtering system according to claim 4.
利用者が利用するコンテンツ表示用端末のブラウザ処理部から、コンテンツサーバに向けて接続要求が送信された際に、その接続要求先のアドレスが規制対象ページとして予め記録された規制URL一覧に該当する場合には、上記コンテンツ表示用端末に併設又は内蔵されたURLフィルタリング部で遮断させるURLフィルタリング方法であって、
URLフィルタリング部とネットワークで繋がった埋込URLサーバ及び規制対象DBサーバを用い、
通常時には、上記URLフィルタリング部からの接続要求の指定先である接続先URLを含むリクエストを埋込URLサーバで受信し、上記埋込URLサーバに、上記接続先URLをリクエストの回数とともに上記埋込URLサーバが有する問合頻度データベースに予め記録させる頻度更新機能を実行させ、
一方で、上記埋込URLサーバに、上記問合頻度データベースに記録された直近のリクエスト頻度が高い一部のURL群について、接続先URLに対応するドキュメントをダウンロードして解析し、当該ドキュメントに埋め込まれた埋込URLを、接続先URLとともに埋込URLデータベースに記録する定期的なバッチ処理を行うバッチ処理実行機能を実行させ、
上記バッチ処理後の通常時には、上記埋込URLサーバに、上記バッチ処理により上記埋込URLデータベースに上記埋込URLが記録された上記接続先URLを含む上記URLフィルタリング部からの上記リクエストに対して、対応する上記埋込URLを上記埋込URLデータベースから呼び出して、該当URLと上記埋込URLを上記URLフィルタリング部へ返答する埋込URL返答機能を、上記頻度更新機能とともに実行させ、
上記URLフィルタリング部に、上記埋込URLサーバから返答された接続先URLとそれに対応した上記埋込URLとについて、上記規制URL一覧を記録した上記規制対象DBサーバに対して、一括して接続の可否を問い合わさせ、その応答可否結果に従って接続先URLと、それに引き続く上記埋込URLへの接続要求を遮断させるURLフィルタリング方法。
When a connection request is transmitted from the browser processing unit of the content display terminal used by the user to the content server, the address of the connection request destination corresponds to a restriction URL list recorded in advance as a restriction target page. In this case, a URL filtering method for blocking by a URL filtering unit provided or built in the content display terminal,
Using an embedded URL server and a regulated DB server connected to the URL filtering unit via a network,
Normally, the embedded URL server receives a request including a connection destination URL as a connection request designation destination from the URL filtering unit, and the embedded URL server stores the connection destination URL together with the number of requests. Execute a frequency update function that records in advance in the inquiry frequency database of the URL server,
On the other hand, a document corresponding to the connection destination URL is downloaded to the embedded URL server and analyzed with respect to a part of the URL group with the most recent request frequency recorded in the inquiry frequency database, and is embedded in the document. A batch processing execution function for performing periodic batch processing for recording the embedded URL together with the connection destination URL in the embedded URL database;
At the normal time after the batch processing, the request from the URL filtering unit including the connection destination URL in which the embedded URL is recorded in the embedded URL database by the batch processing is sent to the embedded URL server. The embedded URL response function for calling the corresponding embedded URL from the embedded URL database and returning the corresponding URL and the embedded URL to the URL filtering unit is executed together with the frequency update function,
In the URL filtering unit, the connection destination URL returned from the embedded URL server and the embedded URL corresponding thereto are collectively connected to the restriction target DB server in which the restriction URL list is recorded. A URL filtering method for inquiring whether or not connection is possible, and blocking a connection destination URL and a subsequent connection request to the embedded URL according to the response availability result.
JP2012027153A 2012-02-10 2012-02-10 URL filtering system Active JP5801218B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012027153A JP5801218B2 (en) 2012-02-10 2012-02-10 URL filtering system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012027153A JP5801218B2 (en) 2012-02-10 2012-02-10 URL filtering system

Publications (2)

Publication Number Publication Date
JP2013164719A JP2013164719A (en) 2013-08-22
JP5801218B2 true JP5801218B2 (en) 2015-10-28

Family

ID=49176033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012027153A Active JP5801218B2 (en) 2012-02-10 2012-02-10 URL filtering system

Country Status (1)

Country Link
JP (1) JP5801218B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163535A (en) * 2017-03-27 2018-10-18 サクサ株式会社 Web page monitoring device and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788528B2 (en) * 2004-07-13 2014-07-22 Blue Coat Systems, Inc. Filtering cached content based on embedded URLs
JP2011013707A (en) * 2009-06-30 2011-01-20 Hitachi Ltd Web page relay apparatus
US8813232B2 (en) * 2010-03-04 2014-08-19 Mcafee Inc. Systems and methods for risk rating and pro-actively detecting malicious online ads
JP2011221616A (en) * 2010-04-05 2011-11-04 Nec Corp Url filtering system, system control method, and system control program

Also Published As

Publication number Publication date
JP2013164719A (en) 2013-08-22

Similar Documents

Publication Publication Date Title
US10387521B2 (en) Creation and delivery of pre-rendered web pages for accelerated browsing
US9712457B2 (en) Server directed client originated search aggregator
US8788711B2 (en) Redacting content and inserting hypertext transfer protocol (HTTP) error codes in place thereof
US8744988B1 (en) Predicting user navigation events in an internet browser
US8326923B1 (en) Smart prefetching of data over a network
US10261938B1 (en) Content preloading using predictive models
US20160335353A1 (en) Infrastructure enabling intelligent execution and crawling of a web application
US20090327460A1 (en) Application Request Routing and Load Balancing
WO2012162275A2 (en) Improved loading of web resources
US8862675B1 (en) Method and system for asynchronous analysis of URLs in messages in a live message processing environment
US9785710B2 (en) Automatic crawling of encoded dynamic URLs
US20090019151A1 (en) Method for media discovery
EP1955202A1 (en) Processing requests for content pages from deep-linking visitors
JP5801218B2 (en) URL filtering system
CN106919595A (en) A kind of method, device and electronic equipment mapped for Cookie
US20210383023A1 (en) System and method for dynamic management of private data
JP5682181B2 (en) COMMUNICATION DEVICE, METHOD, AND PROGRAM HAVING COMMUNICATION CONTROL FUNCTION
CN113452780A (en) Access request processing method, device, equipment and medium for client
US11159642B2 (en) Site and page specific resource prioritization
CN108124014B (en) Method for intelligently preventing third-party Cookie tracking of browser
JP2004318308A (en) Access management system, and information communication terminal used for access management device and access management system
KR101215184B1 (en) Malicious web and virus scanning system based cloud and Method thereof
JP4542122B2 (en) An apparatus for performing URL filtering by acquiring an original URL of content stored in a cache server or the like
JP6266153B1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
TW595158B (en) Method and system for blocking networked limitative information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140811

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20140811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150826

R150 Certificate of patent or registration of utility model

Ref document number: 5801218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250