JP3977632B2

JP3977632B2 - Information filter URL list expansion method, apparatus, information filter URL list expansion program, and recording medium recording the program

Info

Publication number: JP3977632B2
Application number: JP2001357363A
Authority: JP
Inventors: 俊朗牧野; 正之杉崎; 博人稲垣
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-11-22
Filing date: 2001-11-22
Publication date: 2007-09-19
Anticipated expiration: 2021-11-22
Also published as: JP2003157281A

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータを用いたＷｅｂページへのアクセスをコントロールするための情報フィルタが用いるＵＲＬリストに追加される新たなＵＲＬ（Uniform Resource Locator）リストを作成する情報フィルタ用ＵＲＬリスト拡張方法および装置に関する。
【０００２】
【従来の技術】
近年のインターネットの発達で、多数のＷｅｂページへのアクセスが容易になった。その反面、目的のページを効率的に見つけるのが困難であるという問題がある。また、一方で、インターネット上の情報には、多種多用なものが存在するため、子供がインターネットを使用する場合、不適切な情報にアクセスしないようにするためのアクセス制限が求められている。このように、見たい情報のみに効率的にアクセスしたり、見たくない、見せたくない情報へのアクセスを制限するための技術が求められている。見たいものを探すための技術としては、キーワードによる検索を可能とする検索サイトや、あらかじめＷｅｂページを階層的に分類したディレクトリサービスが存在している。一方、情報へのアクセスを制限するための技術としては、あらかじめアクセスを制限するＵＲＬリストを作成し、そのリスト上のＵＲＬへのアクセスを禁止する方法、Ｗｅｂページ作成者が自主的に付与した分野とその表現内容の程度に基づいてアクセスを禁止する方法、キーワードリストとＷｅｂページの内容を比較してアクセスを制限する方法などがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の方法には、それぞれ以下のような問題がある。
【０００４】
まず、検索サイトの場合は、入力する適切なキーワードを選ぶことが困難なため、うまく目的のページにたどりつけない場合がある。また、ディレクトリサービスに関しては、サービス提供者が提供するディレクトリの構成が、使用者の求めるものと必ずしも一致しないという問題がある。また、ディレクトリは基本的に人手で作成しているため、ディレクトリに登録されているページは、全体のページのごく一部である上、適切に更新されていない場合が多い。
【０００５】
アクセス制限に関しても、アクセスを制限するＵＲＬリストを用いる方法では、やはり人手で作成しているために、十分なリストを作成したり、適切に更新したりすることは困難である。また、Ｗｅｂページ作成者が付与した分野と表現の程度を用いる方法では、そもそも分野や表現の程度の情報が付与されていないページの方が多いため、十分なアクセス制限ができない。また、キーワードリストを用いる方法では、適切なキーワードリストを作成することが困難である。
【０００６】
本発明の目的は、上記の問題を解決し、特定の目的のページのリストやアクセス制限をしたいページのリストを作成することを容易にする情報フィルタ用ＵＲＬリスト拡張方法および装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の情報フィルタ用ＵＲＬリスト拡張装置は、ＨＴＭＬ文書ベースとリンク情報抽出部とリンク情報ベースと基本ＵＲＬリストと共起状態解析部と共起情報メモリと追加ＵＲＬ決定部と追加ＵＲＬ一時保存メモリと追加ＵＲＬリスト生成部と追加ＵＲＬリストを有する。
【０００８】
リンク情報抽出部は、ＨＴＭＬ文書ベースからＨＴＭＬ文書を取り出し、そのＨＴＭＬ文書を解析し、文書中のハイパーリンク先のＵＲＬのリストを作成し、リンク情報ベースに保存する。
【０００９】
共起状態解析部は、リンク情報ベースからＵＲＬリストを１つずつ取りだし、該ＵＲＬリストに基本ＵＲＬリスト中のＵＲＬがあらかじめ設定された個数以上存在するか否かを判定し、存在する場合は、ある評価式に従って、リンク情報ベースから取り出したＵＲＬリスト中の他の各ＵＲＬに対して評価値をつけ、その結果を共起情報メモリに保存する。
【００１０】
追加ＵＲＬ決定部は、共起情報メモリ内の各ＵＲＬに対する評価値を参照し、あらかじめ設定された閾値以上の評価値を持つＵＲＬをその評価値と共に、追加ＵＲＬ一時保存メモリに保存する。
【００１１】
共起状態解析部は、再び、リンク情報ベースからＵＲＬリストを１つずつ取りだし、該ＵＲＬリストに基本ＵＲＬリスト中のＵＲＬあるいは追加ＵＲＬ一時保存メモリ中のＵＲＬがあらかじめ設定した個数以上存在するか否かを判定し、存在する場合は、ある評価式に従って、リンク情報ベースから取り出したＵＲＬリスト中の他の各ＵＲＬに対して評価値をつけ、その結果を共起情報メモリに保存する。
【００１２】
追加ＵＲＬ決定部は、共起情報メモリ内の各ＵＲＬに対する評価値を参照し、あらかじめ設定された閾値以上の評価値を持つＵＲＬをその評価値と共に追加ＵＲＬ一時保存メモリに記録し、追加ＵＲＬ一時保存メモリを更新する。
【００１３】
この追加ＵＲＬ決定部による追加ＵＲＬ一時保存メモリの更新と、共起状態解析部による各ＵＲＬへの評価値の付与を、あらかじめ定めた回数繰り返した後、追加ＵＲＬリスト生成部は、追加ＵＲＬ一時保存メモリ内の各ＵＲＬに対する評価値を参照し、あらかじめ設定された閾値以上の評価値を持つＵＲＬのリストを生成し、追加ＵＲＬリストに出力する。
【００１４】
本発明は、人手で作成した特定の目的のページのサンプルとなるＵＲＬのリストあるいは、アクセス制限をしたいページのサンプルとなるＵＲＬリストを元に、ロボット等で収集した大量のＨＴＭＬ文書のリンク情報を解析し、上記リスト中のＵＲＬとの共起関係を利用することによって、ＵＲＬリストに追加する新たなＵＲＬリストを自動的に作成する。
【００１５】
この自動的に生成された新たなＵＲＬリストと、もともと人手で作成したＵＲＬのリストを用いることによって、この２つのリスト中のＵＲＬのみにアクセスしたり、逆にこの２つのリスト中のＵＲＬへのアクセスを制限することによって、目的に応じたアクセスコントロールが可能となる。
【００１６】
また、本発明では、利用するＨＴＭＬ文書を定期的に更新することにより、ＨＴＭＬ文書内に新たなＵＲＬが出現することが期待できるため、新たに出現したページのＵＲＬを自動的に追加することが可能となる。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１を参照すると、本発明の一実施形態の情報フィルタ用ＵＲＬリスト拡張装置は、ＨＴＭＬ文書ベース１とリンク情報抽出部２とリンク情報ベース３と基本ＵＲＬリスト４と共起状態解析部５と共起情報メモリ６と追加ＵＲＬ決定部７と追加ＵＲＬ一時保存メモリ８と追加ＵＲＬリスト生成部９と追加ＵＲＬリスト１０で構成されている。
【００１９】
ＨＴＭＬ文書ベース１は、ロボット等で収集したインターネット上の大量のＨＴＭＬ文書を保存している。リンク情報抽出部２は、ＨＴＭＬ文書ベース１中の各ＨＴＭＬ文書を解析し、ＨＴＭＬ文書毎のハイパーリンク先のＵＲＬのリストを作成し、リンク情報ベース３に保存する。リンク情報ベース３は、リンク情報抽出部２が作成したＨＴＭＬ文書毎のハイパーリンク先のＵＲＬのリストを保存している。基本ＵＲＬリスト４は、人手であらかじめ作成された特定の目的のページのサンプルとなるＵＲＬのリスト、あるいはアクセス制限をしたいページのサンプルとなるＵＲＬのリストを保存している。共起状態解析部５は、リンク情報ベース３からＵＲＬリストを１つずつ取りだし、基本ＵＲＬリスト４中のＵＲＬあるいは追加ＵＲＬ一時保存メモリ８中のＵＲＬがあらかじめ設定した個数以上存在するか否かを判定し、存在する場合は、ある評価式に従って、リンク情報ベース３から取り出したＵＲＬリスト中の各ＵＲＬに対して評価値をつけ、その結果を共起情報メモリ６に保存する。共起情報メモリ６は、共起状態解析部５が取り出したＵＲＬとその評価値を保存する。追加ＵＲＬ決定部７は、共起情報メモリ６内の各ＵＲＬに対する評価値を参照し、あらかじめ設定された閾値以上の評価値を持つＵＲＬをその評価値と共に、追加ＵＲＬ一時保存メモリ８に記録する。追加ＵＲＬ一時保存メモリ８は、追加ＵＲＬ決定部７が決定したＵＲＬをその評価値と共に保存する。追加ＵＲＬリスト生成部９は、追加ＵＲＬ一時保存メモリ８内の各ＵＲＬに対する評価値を参照し、あらかじめ設定された閾値以上の評価値を持つＵＲＬのリストを生成し、追加ＵＲＬリスト１０に出力する。追加ＵＲＬリスト１０は、追加ＵＲＬリスト生成部９が生成した追加ＵＲＬのリストを保存する。
【００２０】
図２はＨＴＭＬ文書ベース１中のＨＴＭＬ文書の一例を示している。
【００２１】
図３はリンク情報ベース３中のＵＲＬリストの一例を示している。ＨＴＭＬ文書中から抽出したリンク先のＵＲＬを１行に１つ書いたものであり、１ＨＴＭＬ文書に対して１つ存在する。
【００２２】
図４は基本ＵＲＬリスト４中のＵＲＬリスト例の一部を示している。フィルタリング結果として残したい目的のページのサンプルとなるＵＲＬあるいは、規制対象としたいページのサンプルとなるＵＲＬを１行に１つ書いたものである。
【００２３】
図５は共起情報メモリ６中のＵＲＬとその評価値のリスト例の一部を示している。ＵＲＬとその評価値の組で表現してある。追加ＵＲＬ一時保存メモリ８中のＵＲＬとその評価値のリストも同様の形式となる。
【００２４】
図６は追加ＵＲＬリスト１０中のＵＲＬリストの例の一部を示している。最終的に追加することになるＵＲＬを１行に１つ書いたものである。
【００２５】
次に、本情報フィルタ用ＵＲＬリスト拡張装置の動作概要について、図７に示すフローチャートをもとに説明する。
【００２６】
ステップ１０１に、リンク情報抽出部２は、ＨＴＭＬ文書ベース１中の各文書を解析し、各文書毎にリンク先のＵＲＬのリストを作成し、リンク情報ベース３に格納する。
【００２７】
ステップ１０２に、共起状態解析部４は、基本ＵＲＬリスト４中のＵＲＬあるいは追加ＵＲＬ一時保存メモリ８中のＵＲＬがリンク情報ベース３中の各文書毎のＵＲＬリスト中にどのくらい含まれているかを調べ、各ＵＲＬに対して評価値を設定し、共起情報メモリ５に格納する。
【００２８】
ステップ１０３に、追加ＵＲＬ決定部７は、共起情報メモリ５中の各ＵＲＬの評価値を、あらかじめ設定しておいた閾値と比較して、追加ＵＲＬ候補を決定し、追加ＵＲＬ一時保存メモリ８を更新する。
【００２９】
ステップ１０４に、追加ＵＲＬ決定部７は、ステップ１０２、ステップ１０３の処理をあらかじめ設定された回数、実行したか否かを判定する。まだ、実行していない場合は、ステップ１０２へ、実行している場合は、ステップ１０５へ処理が進む。
【００３０】
ステップ１０５に、追加ＵＲＬリスト生成部９は、追加ＵＲＬ一時保存メモリ８を参照し、あらかじめ設定しておいた閾値以上の評価値を持つＵＲＬを選び、リストを生成し、追加ＵＲＬリスト１０に保存する。
【００３１】
次に、本情報フィルタ用ＵＲＬリスト拡張装置の動作の詳細について、図８に示すフローチャートをもとに説明する。
【００３２】
まず、上記ステップ１０１の動作を詳細に説明すると、以下のステップ２０１から２０３のようになる。ステップ２０１に、リンク情報抽出部２が、ＨＴＭＬ文書ベース１より図２に示すようなＨＴＭＬ文書を１つ取り出す。ステップ２０２に、リンク情報抽出部２は、取り出したＨＴＭＬ文書を解析し、〈ＡＨＲＥＦ＝を利用することにより、そのＨＴＭＬ文書のリンク先のＵＲＬを抽出し、抽出したＵＲＬのリストを図３に示すような形式でリンク情報ベース３に保存する。ステップ２０３に、ＨＴＭＬ文書ベース１中に未処理のＨＴＭＬ文書が存在するかどうか判定する。存在する場合は、ステップ２０１へ、すべてのＨＴＭＬ文書について処理を終えた場合は、ステップ２０４に進む。この時点でＨＴＭＬ文書ベース１中の全てのＨＴＭＬ文書からリンク先のＵＲＬの情報を抽出したことになる。
【００３３】
次に、上記ステップ１０２の動作を詳細に説明すると、以下のステップ２０４から２０７のようになる。ステップ２０４に、共起状態解析部５は、リンク情報ベース３よりＵＲＬリストを１つ取り出す。ステップ２０５に、共起状態解析部５は、図４に示すような形式で基本ＵＲＬリスト４内に記録されているＵＲＬか、図５に示すような形式で追加ＵＲＬ一時保存メモリ８内に記録されているＵＲＬが、ステップ２０４で取り出したＵＲＬリスト中に、あらかじめ設定した数以上含まれているか否かを判定する。含まれていない場合は、ステップ２０４へ、含まれている場合はステップ２０６へ進む。
【００３４】
あらかじめ設定した数以上のＵＲＬが含まれている場合、そのＵＲＬリストの抽出元であるＨＴＭＬ文書は、基本ＵＲＬリスト４中のＵＲＬと類似のＵＲＬを集めたリンク集的なものと判断し、同一文書中に出現する他のＵＲＬは、基本ＵＲＬリスト４中のＵＲＬを持つサイトと類似のサイトであるとし、追加ＵＲＬの候補とする。
【００３５】
ステップ２０６に、共起状態解析部５は、ステップ２０４で取り出したＵＲＬリスト中のＵＲＬのうち、基本ＵＲＬリスト４および追加ＵＲＬ一時保存メモリ８に含まれないＵＲＬについて評価値を算出する。ｉ番目のＵＲＬであるＵＲＬｉのこの時点での評価値Ｃ_i,jは、たとえば、次の式で与える。
【００３６】
【数１】

ここで、添字ｊは、ここで処理するＵＲＬリストが、基本ＵＲＬリスト４内に記録されているＵＲＬか、追加ＵＲＬ一時保存メモリ８内に記録されているＵＲＬをあらかじめ設定した数以上含み、かつ、ＵＲＬｉを含むｊ個目のＵＲＬリストであることを表す。また、各ＵＲＬの評価値の初期値Ｃ_i,0は０とする。Ｖ_kは、各ＵＲＬの評価値で、基本ＵＲＬリスト４内のＵＲＬに対しては１、追加ＵＲＬ一時保存メモリ８内のＵＲＬについては、追加ＵＲＬ一時保存メモリ８内に記録されている評価値、それ以外のＵＲＬについては０とする。ｎは、処理中のＵＲＬリスト内のＵＲＬの数とする。
【００３７】
ステップ２０７に、リンク情報ベース３中に未処理のＵＲＬリストが存在するかどうか判定する。存在する場合は、ステップ２０４へ、すべてのＵＲＬリストについて処理を終えた場合は、アクセス２０８に処理が進む。
【００３８】
次に、上記ステップ１０３の動作を詳細に説明すると、以下のステップ２０８から２０９のようになる。
【００３９】
ステップ２０８に、追加ＵＲＬ決定部７は、各ＵＲＬの評価値の正規化を行った後、あらかじめ設定された閾値と比較して、追加ＵＲＬを決定する。ＵＲＬｉの正規化後の評価値Ｖ_iは、例えば次の式で与えられる。
【００４０】
【数２】

ここで、Ｎは、基本ＵＲＬリスト４内に記録されているＵＲＬか、追加ＵＲＬ一時保存メモリ８内に記録されているＵＲＬをあらかじめ設定した数以上含み、かつ、ＵＲＬｉを含むＵＲＬリストの個数である。
【００４１】
ステップ２０９に、追加ＵＲＬ決定部７は、ステップ２０８で決定した追加ＵＲＬをその評価値と共に追加ＵＲＬ一時保存メモリ８に追加し、追加ＵＲＬ一時保存メモリ８を更新する。
【００４２】
このステップ２０４から２０９でＨＴＭＬ文書集合から抽出したＵＲＬリストをもとに追加ＵＲＬ候補を決定する１回の処理を終了したことになる。
【００４３】
次に、上記ステップ１０４の動作は、以下のステップ２１０に対応する。
【００４４】
ステップ２１０に、追加ＵＲＬ決定部７は、指定回数の処理を行ったか否かを判定する。行っていない場合は、ステップ２０４へ、行った場合は、ステップ２１１へ処理が進む。
【００４５】
次に、上記ステップ１０５の動作は、以下のステップ２１１に対応する。
【００４６】
ステップ２１１に、追加ＵＲＬリスト生成部９は、追加ＵＲＬ一時保存メモリ８を参照し、あらかじめ設定しておいた閾値以上のＵＲＬを選び、追加ＵＲＬリスト１０に出力する。
【００４７】
本実施形態によれば、ＨＴＭＬ文書集合とフィルタリング結果として残したい目的のページのサンプルとなるＵＲＬあるいは、規制対象としたいページのサンプルとなるＵＲＬのリストである基本ＵＲＬリストを用意するだけで、追加するＵＲＬを自動的に決定することができる。
【００４８】
なお、以上説明した各部２，５，７，９からなる処理は専用のハードウェアにより実現される以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００４９】
【発明の効果】
以上説明したように本発明は、インターネット上から収集したＨＴＭＬ文書を解析し、各ＨＴＭＬ文書におけるハイパーリンク先のＵＲＬの共起情報を抽出し、あらかじめサンプルとして与えておいたＵＲＬとの共起関係をもとに評価値をつけることにより、サンプルと類似の内容のＵＲＬを自動的に追加でき、ＵＲＬリストを拡張できるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態の情報フィルタ用ＵＲＬリスト拡張装置のブロック図である。
【図２】図１に示したＨＴＭＬ文書ベース１中のＨＴＭＬ文書の一例を示す図である。
【図３】図１に示したリンク情報ベース３中のＵＲＬリストの一例を示す図である。
【図４】図１に示した基本ＵＲＬリスト４中のＵＲＬリストの例の一部を示す図である。
【図５】図１に示した共起情報メモリ６中のＵＲＬとその評価値のリストの例の一部を示す図である。
【図６】図１に示した追加ＵＲＬリスト１０中のＵＲＬリストの例の一部を示す図である。
【図７】図１の情報フィルタ用ＵＲＬリスト拡張装置の動作概要を示すフローチャートである。
【図８】図１の情報フィルタ用ＵＲＬリスト拡張装置の動作の詳細を示すフローチャートである。
【符号の説明】
１ＨＴＭＬ文書ベース
２リンク情報抽出部
３リンク情報ベース
４基本ＵＲＬリスト
５共起状態解析部
６共起情報メモリ
７追加ＵＲＬ決定部
８追加ＵＲＬ一時保存メモリ
９追加ＵＲＬリスト生成部
１０追加ＵＲＬリスト
１０１〜１０５ステップ
２０１〜２１１ステップ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information filter URL list expansion method and apparatus for creating a new Uniform Resource Locator (URL) list to be added to a URL list used by an information filter for controlling access to a Web page using a computer. .
[0002]
[Prior art]
With the recent development of the Internet, access to a large number of Web pages has become easier. On the other hand, there is a problem that it is difficult to find a target page efficiently. On the other hand, there are various types of information on the Internet. Therefore, when a child uses the Internet, access restriction is required to prevent access to inappropriate information. Thus, there is a need for a technique for efficiently accessing only the information that the user wants to see, or for restricting access to information that the user does not want to see or want to see. As a technique for searching for a desired item, there are a search site that enables a search by a keyword and a directory service in which Web pages are hierarchically classified in advance. On the other hand, as a technique for restricting access to information, a method for creating a URL list for restricting access in advance and prohibiting access to URLs on the list, and a field voluntarily given by a Web page creator And a method of prohibiting access based on the degree of expression content and a method of restricting access by comparing the contents of a keyword list and a Web page.
[0003]
[Problems to be solved by the invention]
However, each of the above methods has the following problems.
[0004]
First of all, in the case of a search site, it is difficult to select an appropriate keyword to input, so there are cases where it is difficult to reach the target page. Further, with respect to the directory service, there is a problem that the configuration of the directory provided by the service provider does not necessarily match that required by the user. In addition, since the directory is basically created manually, the pages registered in the directory are only a small part of the entire page and are often not updated properly.
[0005]
Regarding the access restriction, the method using the URL list for restricting access is also created manually, so that it is difficult to create a sufficient list or appropriately update it. In addition, in the method using the field and the degree of expression given by the Web page creator, there are more pages to which information on the field and the degree of expression is not given in the first place, so that sufficient access restriction cannot be performed. Moreover, it is difficult to create an appropriate keyword list by the method using the keyword list.
[0006]
SUMMARY OF THE INVENTION An object of the present invention is to provide an information filter URL list expansion method and apparatus that solves the above-mentioned problems and makes it easy to create a list of pages for a specific purpose or a list of pages for which access is restricted. is there.
[0007]
[Means for Solving the Problems]
An information filter URL list expansion apparatus according to the present invention includes an HTML document base, a link information extraction unit, a link information base, a basic URL list, a co-occurrence state analysis unit, a co-occurrence information memory, an additional URL determination unit, and an additional URL temporary storage memory. And an additional URL list generation unit and an additional URL list.
[0008]
The link information extraction unit extracts an HTML document from the HTML document base, analyzes the HTML document, creates a list of hyperlink destination URLs in the document, and stores the list in the link information base.
[0009]
The co-occurrence state analysis unit takes out one URL list from the link information base and determines whether or not there are more than a preset number of URLs in the basic URL list in the URL list. According to a certain evaluation formula, an evaluation value is assigned to each other URL in the URL list extracted from the link information base, and the result is stored in the co-occurrence information memory.
[0010]
The additional URL determination unit refers to the evaluation value for each URL in the co-occurrence information memory, and stores a URL having an evaluation value equal to or higher than a preset threshold value in the additional URL temporary storage memory together with the evaluation value.
[0011]
The co-occurrence state analysis unit again extracts one URL list from the link information base, and whether there are more URLs in the basic URL list or additional URL temporary storage memory than the preset number in the URL list. If it exists, an evaluation value is assigned to each URL in the URL list extracted from the link information base according to a certain evaluation formula, and the result is stored in the co-occurrence information memory.
[0012]
The additional URL determination unit refers to the evaluation value for each URL in the co-occurrence information memory, records a URL having an evaluation value equal to or higher than a preset threshold value in the additional URL temporary storage memory together with the evaluation value, and temporarily stores the additional URL. Update the storage memory.
[0013]
After the update of the additional URL temporary storage memory by the additional URL determination unit and the assignment of the evaluation value to each URL by the co-occurrence state analysis unit are repeated a predetermined number of times, the additional URL list generation unit stores the additional URL temporarily. By referring to the evaluation value for each URL in the memory, a list of URLs having an evaluation value equal to or greater than a preset threshold value is generated and output to the additional URL list.
[0014]
According to the present invention, link information of a large amount of HTML documents collected by a robot or the like based on a list of URLs that are samples of specific target pages that are manually created or a URL list that is a sample of pages to be restricted. By analyzing and utilizing the co-occurrence relationship with the URLs in the list, a new URL list to be added to the URL list is automatically created.
[0015]
By using this automatically generated new URL list and a list of URLs created manually, only the URLs in the two lists are accessed, or conversely, the URLs in the two lists are accessed. By restricting access, access control according to the purpose can be performed.
[0016]
In the present invention, it is expected that a new URL appears in the HTML document by periodically updating the HTML document to be used. Therefore, the URL of the newly appearing page can be automatically added. It becomes possible.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0018]
Referring to FIG. 1, an information filter URL list expansion apparatus according to an embodiment of the present invention includes an HTML document base 1, a link information extraction unit 2, a link information base 3, a basic URL list 4, a co-occurrence state analysis unit 5, and the like. A co-occurrence information memory 6, an additional URL determination unit 7, an additional URL temporary storage memory 8, an additional URL list generation unit 9, and an additional URL list 10 are configured.
[0019]
The HTML document base 1 stores a large amount of HTML documents on the Internet collected by a robot or the like. The link information extraction unit 2 analyzes each HTML document in the HTML document base 1, creates a list of hyperlink destination URLs for each HTML document, and stores them in the link information base 3. The link information base 3 stores a list of hyperlink destination URLs for each HTML document created by the link information extraction unit 2. The basic URL list 4 stores a list of URLs that are samples of specific target pages created in advance by hand, or a list of URLs that are samples of pages for which access restriction is desired. The co-occurrence state analysis unit 5 extracts URL lists one by one from the link information base 3, and determines whether there are more URLs in the basic URL list 4 or URLs in the additional URL temporary storage memory 8 than a preset number. If it is determined and exists, an evaluation value is assigned to each URL in the URL list extracted from the link information base 3 according to a certain evaluation formula, and the result is stored in the co-occurrence information memory 6. The co-occurrence information memory 6 stores the URL extracted by the co-occurrence state analysis unit 5 and its evaluation value. The additional URL determination unit 7 refers to the evaluation value for each URL in the co-occurrence information memory 6 and records a URL having an evaluation value equal to or higher than a preset threshold value in the additional URL temporary storage memory 8 together with the evaluation value. . The additional URL temporary storage memory 8 stores the URL determined by the additional URL determination unit 7 together with the evaluation value. The additional URL list generation unit 9 refers to the evaluation value for each URL in the additional URL temporary storage memory 8, generates a list of URLs having an evaluation value equal to or greater than a preset threshold value, and outputs it to the additional URL list 10. . The additional URL list 10 stores a list of additional URLs generated by the additional URL list generation unit 9.
[0020]
FIG. 2 shows an example of an HTML document in the HTML document base 1.
[0021]
FIG. 3 shows an example of the URL list in the link information base 3. One link destination URL extracted from an HTML document is written in one line, and one URL exists for one HTML document.
[0022]
FIG. 4 shows a part of a URL list example in the basic URL list 4. A URL that is a sample of a target page that is to be left as a filtering result or a URL that is a sample of a page that is to be restricted is written in one line.
[0023]
FIG. 5 shows a part of a list example of URLs in the co-occurrence information memory 6 and their evaluation values. It is expressed as a set of URL and its evaluation value. The list of URLs in the additional URL temporary storage memory 8 and the evaluation values thereof have the same format.
[0024]
FIG. 6 shows a part of an example of the URL list in the additional URL list 10. The URL to be added finally is written one per line.
[0025]
Next, an outline of the operation of the information filter URL list expansion apparatus will be described with reference to the flowchart shown in FIG.
[0026]
In step 101, the link information extraction unit 2 analyzes each document in the HTML document base 1, creates a list of link destination URLs for each document, and stores it in the link information base 3.
[0027]
In step 102, the co-occurrence state analysis unit 4 determines how much the URL in the basic URL list 4 or the URL in the additional URL temporary storage memory 8 is included in the URL list for each document in the link information base 3. The evaluation value is set for each URL and stored in the co-occurrence information memory 5.
[0028]
In step 103, the additional URL determination unit 7 compares the evaluation value of each URL in the co-occurrence information memory 5 with a preset threshold value to determine additional URL candidates, and the additional URL temporary storage memory 8. Update.
[0029]
In step 104, the additional URL determination unit 7 determines whether or not the processes in

steps

102 and 103 have been executed a preset number of times. If it has not been executed, the process proceeds to step 102. If it has been executed, the process proceeds to step 105.
[0030]
In step 105, the additional URL list generation unit 9 refers to the additional URL temporary storage memory 8, selects a URL having an evaluation value equal to or higher than a preset threshold value, generates a list, and stores it in the additional URL list 10. To do.
[0031]
Next, details of the operation of the information filter URL list expansion device will be described with reference to the flowchart shown in FIG.
[0032]
First, the operation of step 101 will be described in detail as in steps 201 to 203 below. In step 201, the link information extraction unit 2 extracts one HTML document as shown in FIG. 2 from the HTML document base 1. In step 202, the link information extraction unit 2 analyzes the extracted HTML document, extracts URLs of link destinations of the HTML document by using <AHREF =, and FIG. 3 shows a list of the extracted URLs. It is stored in the link information base 3 in such a format. In step 203, it is determined whether or not an unprocessed HTML document exists in the HTML document base 1. If it exists, the process proceeds to step 201, and if all HTML documents have been processed, the process proceeds to step 204. At this point, link destination URL information is extracted from all HTML documents in the HTML document base 1.
[0033]
Next, the operation of step 102 will be described in detail as in steps 204 to 207 below. In step 204, the co-occurrence state analysis unit 5 extracts one URL list from the link information base 3. In step 205, the co-occurrence state analysis unit 5 records the URL recorded in the basic URL list 4 in the format shown in FIG. 4 or the additional URL temporary storage memory 8 in the format shown in FIG. It is determined whether or not the number of URLs included in the URL list extracted in step 204 is greater than or equal to a preset number. If not included, the process proceeds to step 204. If included, the process proceeds to step 206.
[0034]
If more than a preset number of URLs are included, the HTML document from which the URL list is extracted is determined to be a collection of links similar to the URLs in the basic URL list 4 and is the same. Other URLs appearing in the document are sites similar to the site having the URL in the basic URL list 4 and are candidates for additional URLs.
[0035]
In step 206, the co-occurrence state analysis unit 5 calculates evaluation values for URLs not included in the basic URL list 4 and the additional URL temporary storage memory 8 among the URLs in the URL list extracted in step 204. The evaluation value C _{i, j} at this time of the i-th URL _i is given by the following equation, for example.
[0036]
[Expression 1]

Here, the subscript j includes the URL list to be processed here including a URL recorded in the basic URL list 4 or a preset number of URLs recorded in the additional URL temporary storage memory 8, and , The j-th URL list including URLi. The initial value C _{i, 0} of the evaluation value of each URL is set to 0. V _k is an evaluation value of each URL, 1 for the URL in the basic URL list 4, and for the URL in the additional URL temporary storage memory 8, the evaluation value recorded in the additional URL temporary storage memory 8. Other URLs are set to 0. n is the number of URLs in the URL list being processed.
[0037]
In step 207, it is determined whether or not an unprocessed URL list exists in the link information base 3. If it exists, the process proceeds to step 204. If the process is completed for all URL lists, the process proceeds to access 208.
[0038]
Next, the operation of step 103 will be described in detail as in steps 208 to 209 below.
[0039]
In step 208, the additional URL determination unit 7 normalizes the evaluation value of each URL, and then compares it with a preset threshold value to determine an additional URL. Evaluation value V _i after normalization of URLi is given by the following equation, for example.
[0040]
[Expression 2]

Here, N is the number of URLs recorded in the basic URL list 4 or more than a preset number of URLs recorded in the additional URL temporary storage memory 8 and including URLi. is there.
[0041]
In step 209, the additional URL determination unit 7 adds the additional URL determined in step 208 to the additional URL temporary storage memory 8 together with the evaluation value, and updates the additional URL temporary storage memory 8.
[0042]
This means that the one-time process of determining additional URL candidates based on the URL list extracted from the HTML document set in steps 204 to 209 is completed.
[0043]
Next, the operation of step 104 corresponds to step 210 below.
[0044]
In step 210, the additional URL determination unit 7 determines whether or not the specified number of times of processing has been performed. If not, the process proceeds to step 204. If it is performed, the process proceeds to step 211.
[0045]
Next, the operation of Step 105 corresponds to Step 211 below.
[0046]
In step 211, the additional URL list generation unit 9 refers to the additional URL temporary storage memory 8, selects a URL that is equal to or greater than a preset threshold value, and outputs it to the additional URL list 10.
[0047]
According to the present embodiment, it is possible to add a basic URL list that is a list of URLs that are samples of target pages that are to be retained as HTML document sets and filtering results or URLs that are samples of pages that are to be restricted. The URL to be automatically determined.
[0048]
In addition to the above-described processing composed of the

units

2, 5, 7, and 9 being realized by dedicated hardware, a program for realizing the function is recorded on a computer-readable recording medium. The program recorded on the recording medium may be read into a computer system and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in the computer system. Furthermore, a computer-readable recording medium is a server that dynamically holds a program (transmission medium or transmission wave) for a short period of time, as in the case of transmitting a program via the Internet, and a server in that case. Some of them hold programs for a certain period of time, such as volatile memory inside computer systems.
[0049]
【The invention's effect】
As described above, the present invention analyzes HTML documents collected from the Internet, extracts co-occurrence information of URLs of hyperlink destinations in each HTML document, and co-occurrence relations with URLs given as samples in advance. By assigning an evaluation value based on the URL, it is possible to automatically add a URL having a content similar to that of the sample and to expand the URL list.
[Brief description of the drawings]
FIG. 1 is a block diagram of an information filter URL list expansion apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of an HTML document in the HTML document base 1 shown in FIG.
FIG. 3 is a diagram showing an example of a URL list in the link information base 3 shown in FIG. 1;
4 is a diagram showing a part of an example of a URL list in the basic URL list 4 shown in FIG. 1. FIG.
5 is a diagram showing a part of an example of a list of URLs and their evaluation values in the co-occurrence information memory 6 shown in FIG. 1; FIG.
6 is a diagram showing a part of an example of a URL list in the additional URL list 10 shown in FIG. 1. FIG.
7 is a flowchart showing an outline of the operation of the information filter URL list expansion device of FIG. 1; FIG.
FIG. 8 is a flowchart showing details of the operation of the information filter URL list expansion device of FIG. 1;
[Explanation of symbols]
1 HTML document base 2 Link information extraction unit 3 Link information base 4 Basic URL list 5 Co-occurrence state analysis unit 6 Co-occurrence information memory 7 Additional URL determination unit 8 Additional URL temporary storage memory 9 Additional URL list generation unit 10 Additional URL list 101 ~ 105 steps 201 ~ 211 steps

Claims

An information filter URL list expansion method for creating a new URL list to be added to a URL list used by an information filter for controlling access to a Web page,
A first step of extracting a link destination URL appearing in each HTML document base document storing the HTML document by the link information extraction unit, creating a URL list for each document, and storing the URL list in the link information base; ,
In the co-occurrence state analysis unit, the URL in the basic URL list prepared in advance as a sample for access control and the URL in the additional URL temporary storage memory are preset in the URL list for each document in the link information base. If there is more than the number, if it exists, the URL in the basic URL list and the URL other than the URL in the additional URL temporary storage memory in the extracted URL list are recorded in the basic URL list. A second step of calculating an evaluation value based on the URL evaluation value and the URL evaluation value recorded in the additional URL temporary storage memory, and storing the evaluation value together with the URL in the co-occurrence information memory;
Third step of determining an additional candidate URL by updating an additional URL determination unit by comparing an evaluation value for the URL in the co-occurrence information memory with a preset threshold value, and updating the additional URL temporary storage memory When,
Determining whether the processes of the second step and the third step have been performed a predetermined number of times in advance, and if not, a fourth step of returning to the second step;
The additional URL list generation unit refers to the additional URL temporary storage memory, selects a URL having an evaluation value equal to or higher than a preset threshold value, generates a list, and stores the fifth step in the additional URL list. A method for expanding an information filter URL list.

An information filter URL list expansion device for creating a new URL list to be added to a URL list used by an information filter for controlling access to a Web page,
An HTML document base storing HTML documents;
A link information extraction unit that extracts a URL of a link destination that appears for each document in the HTML document stored in the HTML document base;
A link information base for storing a URL list, which is a link destination URL for each document, extracted by the link information extraction unit;
A basic URL list describing a sample URL of a Web page to be accessed, and
An additional URL temporary storage memory for recording the URL of the additional URL candidate and the evaluation value as the candidate;
A URL list for each document is extracted from the link information base one by one, and it is determined whether or not there are more than a preset number of URLs in the basic URL list and the additional URL temporary storage memory in the URL list. If there is, for each other URL in the URL list extracted from the link information base, the URL evaluation value recorded in the basic URL list and the URL recorded in the additional URL temporary storage memory A co-occurrence state analysis unit for assigning an evaluation value based on the evaluation value;
A co-occurrence information memory that stores information on the URL and its evaluation value analyzed by the co-occurrence state analysis unit;
An additional URL determination unit that refers to the co-occurrence information memory and stores a URL having an evaluation value equal to or higher than a preset threshold value in the additional URL temporary storage memory together with the evaluation value;
An information filter URL list expansion device having an additional URL list generation unit for generating a list of URLs to be finally added and an additional URL list for storing a list of URLs to be finally added.

An information filter URL list expansion program for causing a computer to execute the method according to claim 1.

A recording medium recording an information filter URL list expansion program for causing a computer to execute the information filter URL list expansion method according to claim 1.