JPWO2015141628A1 - Url選定方法、url選定システム、url選定装置及びurl選定プログラム - Google Patents

Url選定方法、url選定システム、url選定装置及びurl選定プログラム Download PDF

Info

Publication number
JPWO2015141628A1
JPWO2015141628A1 JP2016508717A JP2016508717A JPWO2015141628A1 JP WO2015141628 A1 JPWO2015141628 A1 JP WO2015141628A1 JP 2016508717 A JP2016508717 A JP 2016508717A JP 2016508717 A JP2016508717 A JP 2016508717A JP WO2015141628 A1 JPWO2015141628 A1 JP WO2015141628A1
Authority
JP
Japan
Prior art keywords
url
urls
priority
unit
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016508717A
Other languages
English (en)
Other versions
JP5986340B2 (ja
Inventor
毅 八木
毅 八木
大紀 千葉
大紀 千葉
和憲 神谷
和憲 神谷
佐藤 徹
徹 佐藤
健介 中田
健介 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Application granted granted Critical
Publication of JP5986340B2 publication Critical patent/JP5986340B2/ja
Publication of JPWO2015141628A1 publication Critical patent/JPWO2015141628A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566URL specific, e.g. using aliases, detecting broken or misspelled links
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/64Hybrid switching systems
    • H04L12/6418Hybrid transport
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本願の開示するURL選定方法は、第1の抽出工程(38a)と、第2の抽出工程(38b)とを含んだことを特徴とする。第1の抽出工程(38a)は、トラヒックログを種別の異なる手法で解析することで特定されたURL群それぞれから、URL群それぞれに設定された優先度の順に、URL数の総数が所定のURL数以内であってURL群それぞれに設定されたURL数の上限値までURLを抽出する。第2の抽出工程(38b)は、第1の抽出工程においてURL群それぞれから抽出したURLの総数が所定のURL数に満たない場合、優先度に基づいて、所定のURL数以内でURLを更に抽出する。

Description

本発明は、URL選定方法、URL選定システム、URL選定装置及びURL選定プログラムに関する。
インターネットの社会インフラ化に伴い、フィッシングやスパム配信などのサイバー攻撃が急増している。サイバー攻撃の多くは、マルウェアと呼ばれる、攻撃者が作成した悪意あるツールを用いて実施される。攻撃者は、ユーザの端末やサーバにマルウェアを配布し、マルウェアをリモート操作することで端末やサーバを不正に制御する。
近年、マルウェアの多くはHTTP(Hypertext Transfer Protocol)経由で配布されている。この主な要因の一つとして、一般のユーザPC(Personal Computer)やWebサイトを踏み台にして攻撃元を隠ぺいする技術の普及が挙げられる。例えば、一般のユーザPCやWebサイトは、OS(Operating System)やWebブラウザ及びそのプラグインや、Webアプリケーションの脆弱性を悪用する攻撃を受けてマルウェアに感染し、踏み台PCや踏み台サイトとして新たな攻撃に利用される。
Webサイトをマルウェアに感染させる攻撃を防御する方式として、IDS(Intrusion Detection System)やIPS(Intrusion Prevention System)又はWAF(Web Application Firewall)などのセキュリティアプライアンスでWebサイトへのアクセスを監視し、特徴情報が攻撃の特徴情報と一致するアクセスをフィルタする方式が適用されている。具体的には、アクセスの宛先URL(Uniform Resource Locator)の宛先パラメータを示す部分が、攻撃に使用される脆弱なプログラムが持つパラメータであるか否かを検査する。また、マルウェア感染時に発生する外部へのアクセスを監視し、宛先URLが攻撃に使用される悪性URLと一致するアクセスをフィルタする方式も検討されている。
悪性URLを発見する手法には、多種多様な手法が存在する。これらの手法は、おとりシステムであるハニーポットなどで、ユーザ環境で悪用される前に発見する手法と、ログ分析技術やアンチウィルスソフトなどで、ユーザ環境で悪用された後に発見する手法に大別できる。ユーザ環境で悪用される前に発見する手法では、攻撃の特性や攻撃発生時のPCやサーバの挙動を捉える機能を具備したハニーポットで、攻撃を高精度に検知することが可能である。ユーザ環境で悪用された後に発見する手法では、過去に観測した攻撃とログとの類似性に基づいて、攻撃を高精度に検知することが可能である。いずれの方式で特定した攻撃において、外部アクセスから宛先URLを抽出することで、悪性URLとすべきURLを特定可能である。なお、以下では、悪性URLを発見する手法のことを、「分析手法」と記載する。
特許第4995170号公報 特許第5411966号公報 特許第5415390号公報
しかしながら、上記の従来技術では、各分析手法で解析した悪性なURLからURL一覧を生成する際に、悪性なURLの検知漏れが生じる場合があるという問題がある。
具体的には、前述のとおり、悪性URLを発見する手法は多種多様であり、各々において検知精度は異なる。一方、悪性URLを用いたフィルタでは、悪性URL一覧をブラックリストとし、IDS、IPS又はWAFなどのセキュリティアプライアンスにフィルタ条件としてインポートする必要があり、インポート可能なURL数には処理性能に起因した上限値がある。この結果、各手法が発見した全悪性URLをセキュリティアプライアンスにインポートすることは困難である。
分析手法は、自身が特定した悪性各URLに、悪性度を示すスコアを付与する可能性もあるし、付与しない可能性もある。また、分析手法間で、悪性URLを発見する検知率に差があるとともに、正規URLを悪性と誤検知する誤検知率にも差がある。また、同一のログを分析したとしても分析手法に応じて発見する悪性URL数は変化する可能性があれば、同一の手法であっても異なるログを分析すれば発見する悪性URL数は変化する。
従来、複数の分析手法によって発見した悪性URLを一つのURL一覧とする場合、手法毎の優先度を決定し、優先度の高い分析手法が発見したURLを優先的にURL一覧に記述した。しかし、この手法では、複数の分析手法を用いた際の多様性が損なわれ、検知率の低下や誤検知率の増加を引き起こす可能性がある。また、最新の発見URLをURL一覧に記述する手法も検討されているが、この手法でも、特定の分析手法が発見した悪性URLがURL一覧に集中的に記述される危険性がある。
このため、複数の分析手法に対して、各手法の出力結果を記述できるとともに、許容される最大数のURLをURL一覧に記述できる、URL選択方式が必要となる。
開示の技術は、上述に鑑みてなされたものであって、各分析手法で解析した悪性なURLからURL一覧を生成する際に、悪性なURLの検知漏れを抑制することを目的とする。
本願の開示するURL選定方法は、第1の抽出工程と、第2の抽出工程とを含んだことを特徴とする。第1の抽出工程は、トラヒックログを種別の異なる手法で解析することで特定されたURL群それぞれから、前記URL群それぞれに設定された優先度の順に、URL数の総数が所定のURL数以内であって前記URL群それぞれに設定されたURL数の上限値までURLを抽出する。第2の抽出工程は、前記第1の抽出工程においてURL群それぞれから抽出したURLの総数が前記所定のURL数に満たない場合、前記優先度に基づいて、前記所定のURL数以内でURLを更に抽出する。
開示するURL選定方法、URL選定システム、URL選定装置及びURL選定プログラムの一つの態様によれば、各分析手法で解析した悪性なURLからURL一覧を生成する際に、悪性なURLの検知漏れを抑制することができるという効果を奏する。
図1は、第1の実施形態に係る情報収集配信サーバを含んだネットワークシステムの構成例を示す図である。 図2は、第1の実施形態に係る情報収集配信サーバの構成例を示す図である。 図3は、第1の実施形態に係る分析機能優先度管理テーブルが記憶するデータ構造の一例を示す図である。 図4は、第1の実施形態に係る分析機能優先度管理テーブルが記憶するデータ構造の他の一例を示す図である。 図5は、第1の実施形態に係る分析部が特定したURL群の一例を示す図である。 図6は、第1の実施形態に係る分析部が特定したURL群の一例を示す図である。 図7は、第1の実施形態に係る分析部が特定したURL群の一例を示す図である。 図8は、第1の実施形態に係るURLリスト生成部により生成されるURL一覧の一例を示す図である。 図9は、第1の実施形態に係るURLリスト生成部により生成されるURL一覧の他の一例を示す図である。 図10は、第1の実施形態に係る外部評価機能連携部の処理動作を説明するための図である。 図11は、第1の実施形態に係る外部評価機能連携部の優先度変更部による優先度変更処理を説明するための図である。 図12は、第1の実施形態に係るURLリスト生成部により生成されるURL一覧の他の一例を示す図である。 図13は、第1の実施形態に係るURLリスト生成部による処理手順を示すフローチャートである。 図14は、第1の実施形態の変形例に係るURLリスト生成部により生成されるURL一覧の一例を示す図である。 図15は、第1の実施形態の変形例に係るURLリスト生成部による処理手順を示すフローチャートである。 図16は、URL選定プログラムを実行するコンピュータを示す図である。
以下に、開示するURL選定方法、URL選定システム、URL選定装置及びURL選定プログラムの実施形態について、図面に基づいて詳細に説明する。なお、本実施形態により開示する発明が限定されるものではない。
(第1の実施形態)
図1は、第1の実施形態に係る情報収集配信サーバ30を含んだネットワークシステムの構成例を示す図である。図1に示すように、第1の実施形態に係る情報収集配信サーバ30は、ネットワーク1を介して、ネットワーク2からネットワーク5に接続される。なお、情報収集配信サーバ30のことを「URL選定装置」とも言う。
ネットワーク1は、インターネットのように広域なネットワーク網であってもよく、また、企業内ネットワークのように比較的狭域なネットワーク網であってもよい。このネットワーク1は、ネットワーク2〜5を収容する。ネットワーク2〜5のそれぞれの間は、後述するパケット転送部6〜9によって互いに通信可能に接続されている。なお以下では、ネットワーク2及びネットワーク3のことを「防御対象ネットワーク」と記載し、ネットワーク4及びネットワーク5のことを「攻撃側ネットワーク」と記載する。
ネットワーク2は、マルウェア感染攻撃を解析するために設けられたネットワークであり、例えば、囮サーバ14、囮端末15、端末型サンドボックス16及びサーバ型サンドボックス17を有する。囮サーバ14や囮端末15としては、ハニーネットプロジェクトが提供しているオープンソースのハニーポットや、独自に開発されたハニーポットが適用できる。また、端末型サンドボックス16及びサーバ型サンドボックス17としては、FireEyeに代表される製品からオープンソースのソフトウェア、または、独自に開発されたサンドボックスが適用できる。
また、図1に示すように、ネットワーク2は、パケット転送部6、パケット転送部10、パケット転送部11、通信監視部22及び通信監視部23を有する。パケット転送部6は、ネットワーク2と他のネットワークとの間のパケットの送受信の制御や、ネットワーク2内のパケットの送受信を制御する。パケット転送部10は、ネットワーク2において、囮サーバ14と囮端末15とを接続するとともに、パケット転送部6を介して囮サーバ14及び囮端末15を、端末型サンドボックス16やサーバ型サンドボックス17及び他のネットワークと接続する。また、パケット転送部11は、ネットワーク2において、端末型サンドボックス16とサーバ型サンドボックス17とを接続するとともに、パケット転送部6を介して端末型サンドボックス16とサーバ型サンドボックス17を、囮サーバ14や囮端末15及び他のネットワークと接続する。なお、パケット転送部6、パケット転送部10及びパケット転送部11としては、スイッチやルータまたはスイッチ機能やルータ機能やポートフォワーディングやハイパーテキスト転送プロトコル(以下、HTTP:Hypertext Transfer Protocol)転送機能など、MAC(Media Access Control)アドレスやIP(Internet Protocol)アドレスやポート番号やHTTPヘッダなどのヘッダの情報を参照して転送先を決定してパケットを出力する機能が該当する。
通信監視部22は、トラヒックログを収集する。通信監視部23は、トラヒックログを収集する。ここで、トラヒックログとしては、各通信監視部が収集可能なログ情報やアラート情報、パケットをキャプチャしたpcap(packet capture)情報やサーバのsyslog情報等、多くの情報が想定できる。囮サーバ14や囮端末15、端末型サンドボックス16やサーバ型サンドボックス17で収集したログ情報は攻撃に関する悪性トラヒックログとして適用できる可能性がある。なお、通信監視部22及び通信監視部23は、転送に用いる情報およびパケットペイロードを監視する機能であり、セキュリティアプライアンスやプロキシやアンチウィルスソフトなどに加え、転送したパケットを装置内外に保存するパケット転送部が該当する。
また、通信監視部22及び通信監視部23は、特定の情報を保有し、当該情報と一致する通信を検知する機能を具備する場合や、当該通信を遮断したり、別の付加機能に転送したりする機能を具備する場合がある。特に、特定の情報として攻撃の特徴を記憶し、当該情報と一致する通信を攻撃とした場合は、攻撃を検知する機能を具備する場合や、当該攻撃を遮断する機能や検疫と呼ばれる別の付加機能に転送する機能を具備する場合がある。
ネットワーク3は、例えば、ユーザサーバ18、ユーザサーバ19、ユーザ端末20及びユーザ端末21を有する。このネットワーク3に配置されているユーザサーバ18、ユーザサーバ19、ユーザ端末20及びユーザ端末21のすべて又は一部は、特定種類の通信の送受信の確認対象となる。
また、図1に示すように、ネットワーク3は、パケット転送部7、パケット転送部12、パケット転送部13を有する。パケット転送部7は、ネットワーク3と他のネットワークとの間のパケットの送受信の制御や、ネットワーク3内のパケットの送受信を制御する。パケット転送部12は、ネットワーク3において、ユーザ端末20とユーザ端末21とを接続するとともに、パケット転送部7を介してユーザ端末20及びユーザ端末21を、ユーザサーバ18やユーザサーバ19及び他のネットワークと接続する。パケット転送部13は、ネットワーク3において、ユーザサーバ18とユーザサーバ19とを接続するとともに、パケット転送部7を介してユーザサーバ18及びユーザサーバ19を、ユーザ端末20やユーザ端末21及び他のネットワークと接続する。
また、パケット転送部7は、通信監視部24を有する。この通信監視部24は、装置としてネットワーク2内に配置される通信監視部22や通信監視部23とは異なり、パケット転送部7内の一機能として配置される。通信監視部24は、トラヒックログを収集する。
また、ユーザ端末20及びユーザ端末21には、端末用攻撃検知ソフトウェア25がインストールされる。また、ユーザサーバ18及びユーザサーバ19には、サーバ用攻撃検知ソフトウェア26がインストールされる。この端末用攻撃検知ソフトウェア25及びサーバ用攻撃検知ソフトウェア26は、例えば、アンチウィルスソフトやホスト型IDS/IPSであり、トラヒックログを収集する。すなわち、端末用攻撃検知ソフトウェア25やサーバ用攻撃検知ソフトウェア26も通信監視部に含まれる。
ここで、トラヒックログとしては、各通信監視部が収集可能なログ情報やアラート情報、パケットをキャプチャしたpcap情報やサーバのsyslog情報等、多くの情報が想定できる。端末用攻撃検知ソフトウェア25やサーバ用攻撃検知ソフトウェア26を含む通信監視部が攻撃だと判定したトラヒックのログも悪性トラヒックログとして適用できる可能性がある。
また、例えばネットワーク3に配置された通信監視部24が攻撃を検知しなかった場合、通信監視部24で収集したトラヒックログは良性トラヒックログとして適用できる可能性がある。なお、通常異なる装置やソフトウェアからトラヒックログやアラートを収集して通信相手や通信内容の情報を抽出する際、装置やソフトウェアに応じて各項目の表記方法が異なる場合があるが、近年ではSIEM(Security Information and Event Management)製品として異なる表記で示されたログ情報を統一的な表記方法に変換して集計する技術が普及している。
ネットワーク4は、特定種類の通信を攻撃する攻撃者端末27を有する。図1に示すように、ネットワーク4は、パケット転送部8を有する。パケット転送部8は、ネットワーク4と他のネットワークとの間のパケットの送受信を制御する。
ネットワーク5は、アクセスしたユーザ端末を攻撃のために他のサーバに転送する悪性サーバ29や、アクセスしたユーザサーバやユーザ端末にマルウェアを配布するマルウェア配布サーバ28を有する。図1に示すように、ネットワーク5は、パケット転送部9を有する。パケット転送部9は、ネットワーク5と他のネットワークとの間のパケットの送受信を制御する。
情報収集配信サーバ30は、トラヒックログを種別の異なる手法で解析することで特定されたURL群それぞれから、所定のURL数のURLを抽出してURL一覧を生成する。また、情報収集配信サーバ30は、アクセスをフィルタすべき宛先URLとして生成したURL一覧を配布する。また、情報収集配信サーバ30は、生成したURL一覧の評価を情報確認サーバ31に依頼する。
情報確認サーバ31は、情報収集配信サーバ30により生成されたURL一覧を評価する。例えば、情報確認サーバ31は、URL一覧を評価し、選定させるべきでないURLを情報収集配信サーバ30へ通知する。例えば、マルウェア感染を引き起こす悪性サイトURLの一覧を生成する場合、情報確認サーバ31は、情報収集配信サーバ30で生成されたURL一覧を、悪性サイトを検知できるハニーポットやアンチウィルスソフトおよびセキュリティ製品で評価し、実際にマルウェア感染を引き起こさないURLを情報収集配信サーバ30に返信する。
図2は、第1の実施形態に係る情報収集配信サーバ30の構成例を示す図である。情報収集配信サーバ30は、ログ収集部32と、分析部33と、分析部34と、分析部35と、URL収集部36と、分析機能優先度管理部37と、URLリスト生成部38と、URLリスト管理部39と、URLリスト配布部40と、外部評価機能連携部41とを有する。なお、本実施形態では分析部を3部保有している。本分析部には、異なる分析機能を搭載してもよいし、複数または全てに同一の分析機能を搭載してもよい。また、分析部は1部のみ保有してもよいし、3部以上を保有してもよい。
ログ収集部32は、外部からログを収集して蓄積する機能を有している。ログは、図1に示すネットワーク上の各機能から定期的に収集してもよいし、オペレータによって入力されてもよい。
分析機能優先度管理部37は、各分析機能の優先度や、各分析機能に割り当てる上限値、URL一覧の最大URL数などを管理する機能を有する。例えば、分析機能優先度管理部37は、分析機能の優先度を管理する分析機能優先度管理テーブル101を有する。分析機能優先度管理テーブル101の詳細について、図3及び図4を用いて説明する。
図3は、第1の実施形態に係る分析機能優先度管理テーブル101が記憶するデータ構造の一例を示す図である。この分析機能優先度管理テーブル101は、「分析手法」と、「優先度」と、「上限値」とを対応付けた情報を記憶し、各分析機能に対する優先度を管理する。
ここで、分析機能優先度管理テーブル101が記憶する「分析手法」は、分析機能の種別を示す。例えば、「分析手法」には、「分析部33」、「分析部34」などのデータ値が格納される。なお、同一の分析手法が複数の分析部に搭載されている場合は、分析手法と分析部の対応関係をテーブルやデータベース等で保有し、対応関係を管理する。また、分析機能優先度管理テーブル101が記憶する「優先度」は、後述するURL一覧を生成する処理において、URLを抽出する優先順序を示す。例えば、「優先度」には、「1」、「2」などのデータ値が格納される。ここで、図3に示す例では、数値が小さい順に優先度が高いこととしている。すなわち、優先度「1」の優先度が最も高く、優先度「2」、優先度「3」の順に優先度が低くなる。
また、分析機能優先度管理テーブル101が記憶する「上限値」は、各分析機能により抽出されるURL数の上限値を示す。例えば、「上限値」には、「4」、「3」などのデータ値が格納される。なお、図3に示す例では、分析機能優先度管理テーブル101が「上限値」を管理する場合について説明するが、「上限値」は、分析機能優先度管理テーブル101以外の別のテーブルで管理されてもよい。
一例をあげると、図3に示す分析機能優先度管理テーブル101は、分析部34が特定したURL群の優先度が1であり、このURL群から抽出するURL数の上限値が4であることを示す。また、図3に示す分析機能優先度管理テーブル101は、分析部33が特定したURL群の優先度が2であり、このURL群から抽出するURL数の上限値が3であることを示す。また、図3に示す分析機能優先度管理テーブル101は、分析部35が特定したURL群の優先度が3であり、このURL群から抽出するURL数の上限値が3であることを示す。
分析機能優先度管理部37は、各分析部33〜35の優先度を設定するとともに、全分析機能が特定した各URL群から、総計が一定数以下となるような最低抽出可能URL数の上限値を設定する。例えば、分析機能優先度管理部37は、URL一覧に記述できる最大URL数を10とする。なお、上限値の合計は、URL一覧に記述できる最大URL数と一致するようにしてもよいし、しなくてもよい。なお、「最大URL数」のことを「所定のURL数」とも言う。
また、分析機能優先度管理部37は、URL一覧に記述できる最大URL数も、分析機能優先度管理テーブル101で管理することも可能であるし、別のテーブルで管理してもよい。また、分析機能優先度管理部37は、上限値を割合で示すようにしてもよい。例えば、分析機能優先度管理部37は、優先度が「1」である分析部34の上限値を「60%」、優先度が「2」である分析部33の上限値を「30%」、優先度が「3」である分析部35の上限値を「10%」に設定する。ここで、URL一覧に記述できる最大URL数を10とする場合、分析部34が特定したURL群から6つのURLが抽出され、分析部33が特定したURL群から3つのURLが抽出され、分析部35が特定したURL群から1つのURLが抽出される。
図4は、第1の実施形態に係る分析機能優先度管理テーブル101が記憶するデータ構造の他の一例を示す図である。なお、図4に示す分析機能優先度管理テーブル101の各項目が示す情報は、図3に示す分析機能優先度管理テーブル101の各項目が示す情報と同様である。
一例をあげると、図4に示す分析機能優先度管理テーブル101は、分析部34が特定したURL群の優先度が1であり、このURL群から抽出するURL数の上限値が8であることを示す。また、図4に示す分析機能優先度管理テーブル101は、分析部33が特定したURL群の優先度が2であり、このURL群から抽出するURL数の上限値が1であることを示す。また、図3に示す分析機能優先度管理テーブル101は、分析部35が特定したURL群の優先度が3であり、このURL群から抽出するURL数の上限値が1であることを示す。
図2に戻る。分析部33、分析部34及び分析部35は、URL群を生成する機能を有する。例えば、分析部33、分析部34及び分析部35は、ログ収集部32が収集して蓄積したログを用いてURL群を特定する。また、例えば、分析部33、分析部34及び分析部35は、既知URL一覧を用いてURL群を特定する。
ここで、本実施形態では、分析部33〜分析部35のそれぞれは、各々異なる分析手法で悪性なURL群を特定する。例えば、分析部33は、ホスト部がIPアドレスで構成されているものを特定し、分析部34は、ログにおける観測頻度が低いURLを特定し、分析部35は、既知URL一覧との類似度が高いURLを特定する。なお、ここで言う「悪性なURL群」とは、アクセスするとマルウェアに感染するURLを示す。
図5から図7を用いて、分析部33〜分析部35が特定したURL群の一例について説明する。図5は、第1の実施形態に係る分析部33が特定したURL群の一例を示す図であり、図6は、第1の実施形態に係る分析部34が特定したURL群の一例を示す図であり、図7は、第1の実施形態に係る分析部35が特定したURL群の一例を示す図である。
図5に示すように、「分析部33が特定したURL群」には、各分析機能が割り当てた「優先順位」が更に対応付けられている。図5の例では、分析部33は、URL「http://host#1/d−A/d−B/d−C/file−a」を優先順位「1」として特定し、URL「http://host#2/d−D/d−E/d−C/file−b?x=12」を優先順位「2」として特定したことを示す。
同様に、図7に示すように、「分析部35が特定したURL群」には、各分析機能が割り当てた「優先順位」が更に対応付けられている。一方で、図6に示すように、「分析部34が特定したURL群」には、「優先順位」が対応付けられていない。このように、分析部33〜分析部35は、特定したURL群の各URLに優先順位を付与してもよいし、しなくてもよい。
ここで、図5から図7に示すように、各分析機能が特定したURL群は、メソッド部分と、ドメイン名やFQDN名と呼ばれる部分と、パス部分と、ファイル名と、変数名と、入力値により構成される。図5中における「優先順位」が「2」であるURL「http://host#2/d−D/d−E/d−C/file−b?x=12」を用いてURLの構成を説明する。
メソッド部分は、「http」などの記述に代表される。ドメイン名やFQDN名と呼ばれる部分は、「host#2」などと記述される。パス部分は、「d−D/d−E/d−C」などと記述される。ファイル名は、「file−b」などと記述される。変数名は、「?」と「=」との間に記述される「x」などである。入力値は、「=」以降に記述される。また、変数名と入力値とがペアとなっており、「&」によって複数のペアを「?」以降に記述できる。
図2に戻る。URL収集部36は、分析部33〜分析部35それぞれが特定したURL群を収集する機能を有する。URL収集部36は、分析部33〜分析部35がURL群を生成した事象を契機にURLを収集してもよいし、定期的に分析部33〜分析部35からURLを収集してもよい。
URLリスト生成部38は、例えば、第1の抽出部38aと、第2の抽出部38bとを備え、URL収集部36が収集したURL群の情報と、分析機能優先度管理部37が保有する管理情報とを用いてURL一覧を生成する機能を有する。
例えば、第1の抽出部38aは、各URL群から各々の分析機能に対応した最低抽出可能URL数に応じてURLを抽出する。第2の抽出部38bは、各URL群から抽出した総URL数が一定値に満たない場合に、優先度が高い分析部が特定したURL群から順に総URL数が一定値に一致するまで又は、総URL数が一定値以内でかつ各分析部により特定された全てのURLを抽出するまでURLを再抽出する。
ここで、第1の実施形態に係るURLリスト生成部38は、URL収集部36が収集したURL群の情報に優先順位が記述されていない場合は記述順に、優先順位が記述されている場合は優先順位の順序に従ってURL群からURLを抽出するものとする。また、URLリスト生成部38は、優先順位に同順位がある場合には、記述順でURLを抽出することとする。なお、URLリスト生成部38は、各URL群からURLを抽出する際に、優先順位が記述されている場合、優先順位に従ってURLを抽出してもよいし、記述順や逆記述順で抽出してもよい。
図3に示す分析機能優先度管理テーブル101を用いてURL一覧を抽出する場合について説明する。まず、第1の抽出部38aは、優先度が「1」である分析部34が特定したURL群から、上限値である4URLの抽出を試行する。ここで、分析部34が特定したURL群の総数は4である。このため、第1の抽出部38aは、分析部34が特定したURL群からURLを4つ抽出する。
そして、第1の抽出部38aは、抽出したURLの総数が所定のURL数に満たないと判定し、優先度が「2」である分析部33が特定したURL群から、上限値である3URLの抽出を試行する。この段階で、URL一覧には7URLが抽出される。次に、第1の抽出部38aは、抽出したURLの総数が所定のURL数に満たないと判定し、優先度が「3」である分析部35が特定したURL群から、上限値である3URLの抽出を試行する。この段階で、URL一覧には10URLが抽出される。
第1の抽出部38aは、優先度に基づいた各URL群からのURL抽出処理の終了後、抽出したURLの総数が所定のURL数と一致するか否かを判定する。なお、ここでは、第1の抽出部38aが、抽出したURLの総数が所定のURL数に一致すると判定する場合について説明する。かかる場合、第1の抽出部38aは、所定のURL数(例えば10URL)で構成されたURL一覧を生成する。本処理によって生成されたURL一覧を図8に示す。
図8は、第1の実施形態に係るURLリスト生成部38により生成されるURL一覧の一例を示す図である。図8に示すように、URL一覧には、優先度が「1」である分析部34が特定したURL群「http://host#7/d−D/d−H/d−E/file−g?y=1」、「http://host#2/d−E/d−J/d−K/file−e」、「http://host#5/d−X/d−O/d−P/file−art?user=1&pw=ad」、「http://host#9/d−H/d−R/file−tmp」が含まれる。また、図8に示すように、URL一覧には、優先度が「2」である分析部33が特定したURL群「http://host#1/d−A/d−B/d−C/file−a」、「http://host#2/d−D/d−E/d−C/file−b?x=12」、「http://host#3/d−A/d−H/d−Z/file−x?d=1224」が含まれる。また、図8に示すように、URL一覧には、優先度が「3」である分析部35が特定したURL群「http://host#4」、「http://host#3/d−R/d−X/d−D/file−i?id=12312」、「http://host#8/d−A/d−B/d−C/file−t」が含まれる。
次に、図4に示す分析機能優先度管理テーブル101を用いてURL一覧を抽出する場合について説明する。まず、第1の抽出部38aは、優先度が「1」である分析部34が特定したURL群から、上限値である8URLの抽出を試行する。しかし、分析部34が特定したURL群の総数は4である。このため、第1の抽出部38aは、分析部34が特定したURL群からURLを4つ抽出する。
そして、第1の抽出部38aは、抽出したURLの総数が所定のURL数に満たないと判定し、優先度が「2」である分析部33が特定したURL群から、上限値である1URLの抽出を試行する。この段階で、URL一覧には5URLが抽出される。次に、第1の抽出部38aは、抽出したURLの総数が所定のURL数に満たないと判定し、優先度が「3」である分析部35が特定したURL群から、上限値である1URLの抽出を試行する。この段階で、URL一覧には6URLが抽出される。
第1の抽出部38aは、優先度に基づいた各URL群からのURL抽出処理の終了後、抽出したURLの総数が所定のURL数と一致するか否かを判定する。なお、ここでは、第1の抽出部38aが、抽出したURLの総数が所定のURL数に満たないと判定する場合について説明する。かかる場合、第2の抽出部38bは、優先度に基づいて、所定のURL数以内でURLを更に抽出する。例えば、第2の抽出部38bは、優先度の高いURL群から順に上限値までURLを更に抽出する処理を、抽出したURLの総数が所定のURL数と一致するまで、又は、所定のURL数以内でURL群に含まれる全URLを抽出するまで繰り返す。
より具体的には、第2の抽出部38bは、優先度が「1」である分析部34に再注目し、URL一覧の最大値の範囲内で、抽出できるすべてのURL抽出を試行する。しかし、第2の抽出部38bは、分析部34が特定したURL群からは既に全URLを抽出済みであると判定し、優先度が「2」である分析部33が特定したURL群から、URL一覧の最大値の範囲内で、抽出できるすべてのURL抽出を試行する。この結果、第2の抽出部38bは、所定のURL数(例えば10URL)で構成されたURL一覧を生成する。本処理によって生成されたURL一覧を図9に示す。
図9は、第1の実施形態に係るURLリスト生成部38により生成されるURL一覧の他の一例を示す図である。図9に示すように、URL一覧には、優先度が「1」である分析部34が特定したURL群「http://host#7/d−D/d−H/d−E/file−g?y=1」、「http://host#2/d−E/d−J/d−K/file−e」、「http://host#5/d−X/d−O/d−P/file−art?user=1&pw=ad」、「http://host#9/d−H/d−R/file−tmp」が含まれる。また、図9に示すように、URL一覧には、優先度が「2」である分析部33が特定したURL群「http://host#1/d−A/d−B/d−C/file−a」が含まれる。また、図9に示すように、URL一覧には、優先度が「3」である分析部35が特定したURL群「http://host#4」が含まれる。更に、図9に示すように、URL一覧には、優先度が「2」である分析部33が特定したURL群「http://host#2/d−D/d−E/d−C/file−b?x=12」、「http://host#3/d−A/d−H/d−Z/file−x?d=1224」、「http://host#4/d−S/d−S/d−D/file−c?a=user1」、「http://host#3/d−M/d−N/d−C/file−w」が含まれる。
なお、第1の抽出部38a及び第2の抽出部38bの少なくともいずれか一方は、抽出の際に、同一URLが既に抽出済みであるか否かを確認し、既に抽出済みのURLについては抽出対象から除外するようにしてもよい。また、第1の抽出部38a及び第2の抽出部38bの少なくともいずれか一方は、抽出済みのURLを抽出した際に、本抽出を1回と計算してもよいし、しなくてもよい。
図2に戻る。URLリスト管理部39は、URLリスト生成部38が生成したURL一覧に記載された各URLについて、情報収集配信サーバ30が保有する情報を関連づけて管理する機能を有する。例えば、URLリスト管理部39は、当該URLを出力した分析機能を管理する機能や、URL一覧に記載された日時などを管理する機能を有する。
また、例えば、URLリスト管理部39は、各分析機能が特定したURL群からURL一覧へ抽出した順序に、URL一覧の各URLにURL一覧内での優先度を付与する。URLリスト管理部39は、URLを抽出する際に、当該URLを特定した分析機能と、当該分析機能が当該URLに優先順位を付与している場合は当該優先順位を抽出したURLに関連付けて管理する。
URLリスト配布部40は、URLリスト生成部38が生成したURL一覧を外部に送信する機能を有している。例えば、URLリスト配布部40は、セキュリティ関連装置に、アクセスをフィルタすべき宛先URLとしてURL一覧を配布する。なお、ここで言う「セキュリティ関連装置」には、ネットワーク2の通信監視部22及び通信監視部23や、ネットワーク3の通信監視部24、端末用攻撃検知ソフトウェア25及びサーバ用攻撃検知ソフトウェア26などが含まれる。また、URLリスト配布部40は、配布方法も、能動的にURL一覧を配布してもよいし、受動的にURL一覧を配布してもよい。なお、URL一覧をオペレータが取得してもよい。また、例えば、URLリスト配布部40は、生成したURL一覧の評価を情報確認サーバ31に依頼する。
外部評価機能連携部41は、URL一覧の評価結果を外部から受信する受信部41aと、受信した結果に応じて、分析機能優先度管理部37が管理している各分析機能の優先度または優先度と上限値を制御する優先度変更部41bと、URLリスト生成部38に最新の情報でURL一覧を生成するよう指示するURL一覧更新指示部41cとを有する。
図10は、第1の実施形態に係る外部評価機能連携部41の処理動作を説明するための図である。図10に示すように、外部評価機能連携部41の受信部41aは、情報確認サーバ31からメッセージ201として評価結果を受信する。なお、図10に示す例では、外部評価機能連携部41の受信部41aは、分析部34が特定したURL群に適切なURLが記載されていなかった旨を通知されたと仮定する(ステップS11)。
かかる場合、外部評価機能連携部41の優先度変更部41bは、分析機能優先度管理部37に対して、分析機能優先度管理テーブル101における優先度の変更を指示する(ステップS12)。例えば、図4に示す分析機能優先度管理テーブル101における優先度を図11に示す分析機能優先度管理テーブル101に示す優先度に変更する場合について説明する。図11は、第1の実施形態に係る外部評価機能連携部41の優先度変更部41bによる優先度変更処理を説明するための図である。
例えば、外部評価機能連携部41の優先度変更部41bは、分析部34が特定したURL群にのみ、悪性なURLが含まれていなかった場合、分析機能優先度管理テーブル101において、分析部34の優先度を低下させる。図11に示す例では、外部評価機能連携部41の優先度変更部41bは、図4において優先度「1」である分析部34の優先度を「2」に変更するとともに、図4において優先度「2」である分析部33の優先度を「1」に変更するように分析機能優先度管理部37に対して指示する。
また、外部評価機能連携部41の優先度変更部41bは、分析機能優先度管理テーブル101において、優先度を変更した際に、当該優先度に対応する形で上限値を変更するように分析機能優先度管理部37に対して指示する。例えば、外部評価機能連携部41の優先度変更部41bは、分析機能優先度管理テーブル101の上限値を変更する場合、以前優先度「1」の分析部34に上限値「8」が、優先度「2」の分析部33に上限値「1」が割り当てられており、優先度「1」の分析部34の優先度を下げる場合、分析部33の優先度を「1」、上限値を「8」に変更し、分析部34の優先度を「2」、上限値を「1」に変更するように分析機能優先度管理部37に対して指示する。なお、外部評価機能連携部41の優先度変更部41bは、分析機能優先度管理テーブル101において、優先度を変更した際に、当該優先度に対応する形で上限値を変更する指示を分析機能優先度管理部37に対してしなくてもよい。
図10に戻る。その後、外部評価機能連携部41のURL一覧更新指示部41cは、URLリスト生成部38に対して、URL一覧の作成を指示する(ステップS13)。言い換えると、外部評価機能連携部41のURL一覧更新指示部41cは、優先度を変更した分析機能優先度管理テーブル101に基づいて、第1の抽出部38a及び第2の抽出部38bにURLの抽出処理の実行を指示する。そして、URLリスト生成部38の第1の抽出部38a及び第2の抽出部38bは、図11に示す分析機能優先度管理テーブル101を用いて抽出処理を行い、新たなURL一覧として例えば図12に示すURL一覧を生成する。なお、外部評価機能連携部41のURL一覧更新指示部41cのことを「抽出指示部」とも言う。
図12は、第1の実施形態に係るURLリスト生成部38により生成されるURL一覧の他の一例を示す図である。図12に示すように、URL一覧には、優先度が「1」である分析部33が特定したURL群「http://host#1/d−A/d−B/d−C/file−a」、「http://host#2/d−D/d−E/d−C/file−b?x=12」、「http://host#3/d−A/d−H/d−Z/file−x?d=1224」、「http://host#4/d−S/d−S/d−D/file−c?a=user1」、「http://host#3/d−M/d−N/d−C/file−w」が含まれる。また、図12に示すように、URL一覧には、優先度が「2」である分析部34が特定したURL群「http://host#7/d−D/d−H/d−E/file−g?y=1」が含まれる。また、図12に示すように、URL一覧には、優先度が「3」である分析部35が特定したURL群「http://host#4」が含まれる。更に、図12に示すように、URL一覧には、優先度が「2」である分析部34が特定したURL群「http://host#2/d−E/d−J/d−K/file−e」、「http://host#5/d−X/d−O/d−P/file−art?user=1&pw=ad」、「http://host#9/d−H/d−R/file−tmp」が含まれる。このように、図12に示すURL一覧は、図9に示すURL一覧と抽出されたURLの内容やURLの記載順序が異なる。
図13を用いて、第1の実施形態に係るURLリスト生成部38による処理手順を説明する。図13は、第1の実施形態に係るURLリスト生成部38による処理手順を示すフローチャートである。
図13に示すように、第1の抽出部38aは、分析機能優先度管理テーブル101を参照して、最も優先度の高いURL群を選択する(ステップS101)。続いて、第1の抽出部38aは、選択したURL群について、所定のURL数以内で上限値までURLを抽出する(ステップS102)。そして、第1の抽出部38aは、抽出したURLの総数が所定のURL数に達したか否かを判定する(ステップS103)。
ここで、第1の抽出部38aは、抽出したURLの総数が所定のURL数に達したと判定した場合(ステップS103、Yes)、処理を終了する。一方、第1の抽出部38aは、抽出したURLの総数が所定のURL数に達したと判定しなかった場合(ステップS103、No)、全てのURL群から抽出処理を行ったか否かを判定する(ステップS104)。第1の抽出部38aは、全てのURL群から抽出処理を行ったと判定しなかった場合(ステップS104、No)、次に優先度の高いURL群を選択し(ステップS105)、ステップS102に移行する。そして、第1の抽出部38aは、全てのURL群から抽出処理を行うまで、或いは、所定のURL数に達するまで、優先度の高いURL群から順に所定のURL数以内で上限値までURLを抽出するステップS102からステップS104までの処理を繰り返し実行する。
第1の抽出部38aが、全てのURL群から抽出処理を行ったと判定した場合(ステップS104、Yes)、第2の抽出部38bは、最も優先度の高いURL群を選択する(ステップS106)。そして、第2の抽出部38bは、所定のURL数以内で抽出可能なURLを抽出する(ステップS107)。
続いて、第2の抽出部38bは、抽出したURLの総数が所定のURL数に達したか否かを判定する(ステップS108)。第2の抽出部38bは、抽出したURLの総数が所定のURL数に達したと判定した場合(ステップS108、Yes)、処理を終了する。一方、第2の抽出部38bは、抽出したURLの総数が所定のURL数に達したと判定しなかった場合(ステップS108、No)、全てのURL群から抽出処理を行ったか否かを判定する(ステップS109)。
第2の抽出部38bは、全てのURL群から抽出処理を行ったと判定しなかった場合(ステップS109、No)、次に優先度の高いURL群を選択し(ステップS110)、ステップS107に移行する。そして、第2の抽出部38bは、全てのURL群から抽出処理を行うまで、或いは、所定のURL数に達するまで、優先度の高いURL群から順に所定のURL数以内で抽出可能なURLを抽出するステップS107からステップS109までの処理を繰り返し実行する。一方、第2の抽出部38bが、全てのURL群から抽出処理を行ったと判定した場合(ステップS109、Yes)、処理を終了する。
上述のように、第1の実施形態に係る情報収集配信サーバ30では、複数の分析機能を用いた際に、優先順位を保持しつつも、各分析機能が特定したURL群から、各分析機能に割り当てられる上限値に従い、かつ、許容される最大数のURLに基づき、URLを抽出してURL一覧を生成する。これにより、第1の実施形態に係る情報収集配信サーバ30は、分析機能を複数用いることでURL一覧に反映できる多視点からのURL一覧生成という特徴を活かし、検知漏れを抑制可能なURL一覧を生成できる。言い換えると、各分析手法で解析した悪性なURLからURL一覧を生成する際に、悪性なURLの検知漏れを抑制することができる。
また、第1の実施形態では、情報収集配信サーバ30は、生成したURL一覧の評価を依頼し、評価結果に応じて優先度を変更する。この結果、第1の実施形態に係る情報収集配信サーバ30は、アクセスするとマルウェア感染を引き起こす悪性サイトのURL一覧を作成する際に、セキュリティ強度を強化するURL一覧を作成することができる。
(第1の実施形態の変形例)
第1の実施形態では、第2の抽出部38bは、優先度を考慮せずに抽出処理を行うものとして説明したが、実施形態はこれに限定されるものではない。例えば、第2の抽出部38bは、優先度を考慮して抽出処理を行うようにしてもよい。
より具体的には、第1の実施形態の変形例に係る第2の抽出部38bは、URL群それぞれから抽出するURLについて、URL群において各URLに優先順位を付与されている場合は、当該優先順位に従ってURLを抽出する。一方、第1の実施形態の変形例に係る第2の抽出部38bは、URL群において各URLに優先順位を付与されていない場合は、所定の順序でURLを抽出する。
なお、第1の実施形態の変形例に係る第1の抽出部38aは、第1の実施形態に係る第1の抽出部38aと同様の処理を行う。すなわち、第1の実施形態の変形例に係る第1の抽出部38aは、アクセスログを種別の異なる手法で解析することで特定されたURL群それぞれから、URL群それぞれに設定された優先度の順に、所定のURL数以内であってURL群それぞれに設定された上限値までURLを抽出する。
第1の実施形態の変形例に係る第1の抽出部38a及び第2の抽出部38bが、図4に示す分析機能優先度管理テーブル101を用いてURL一覧を抽出する場合について説明する。まず、第1の抽出部38aは、優先度が「1」である分析部34が特定したURL群から、上限値である8URLの抽出を試行する。しかし、分析部34が特定したURL群の総数は4である。このため、第1の抽出部38aは、分析部34が特定したURL群からURLを4つ抽出する。
そして、第1の抽出部38aは、抽出したURLの総数が所定のURL数に満たないと判定し、優先度が「2」である分析部33が特定したURL群から、上限値である1URLの抽出を試行する。この段階で、URL一覧には5URLが抽出される。次に、第1の抽出部38aは、抽出したURLの総数が所定のURL数に満たないと判定し、優先度が「3」である分析部35が特定したURL群から、上限値である1URLの抽出を試行する。この段階で、URL一覧には6URLが抽出される。
第1の抽出部38aは、優先度に基づいた各URL群からのURL抽出処理の終了後、抽出したURLの総数が所定のURL数と一致するか否かを判定する。なお、ここでは、第1の抽出部38aが、抽出したURLの総数が所定のURL数に満たないと判定する場合について説明する。かかる場合、第2の抽出部38bは、優先度に基づいて、所定のURL数以内でURLを更に抽出する。例えば、第2の抽出部38bは、URL群それぞれから抽出するURLについて、URL群において各URLに優先順位を付与されている場合は、当該優先順位に従ってURLを抽出する。一方、第1の実施形態の変形例に係る第2の抽出部38bは、URL群において各URLに優先順位を付与されていない場合は、所定の順序でURLを抽出する。
より具体的には、第2の抽出部38bは、優先度が「1」である分析部34に再注目し、上限値である8URLの抽出を試行する。しかし、第2の抽出部38bは、分析部34が特定したURL群からは既に全URLを抽出済みであると判定し、優先度が「2」である分析部33が特定したURL群から、上限値である1URLの抽出を試行する。この段階で、URL一覧には7URLが記述されている。
次に、第2の抽出部38bは、優先度が「3」である分析部35から、上限値である1URLの抽出を試行する。この段階で、URL一覧には8URLが記述されている。次に、第2の抽出部38bは、優先度が「1」である分析部34に再注目し、上限値である8URLの抽出を試行する。しかし、第2の抽出部38bは、分析部34が特定したURL群からは既に全URLを抽出済みであると判定し、優先度が「2」である分析部33が特定したURL群から、上限値である1URLの抽出を試行する。この段階で、URL一覧には9URLが記述されている。次に、第2の抽出部38bは、優先度が「3」である分析部35から、上限値である1URLの抽出を試行する。この結果、10URLで構成されたURL一覧を生成できる。本処理によって生成されたURL一覧を図14に示す。
図14は、第1の実施形態の変形例に係るURLリスト生成部38により生成されるURL一覧の一例を示す図である。図14に示すように、URL一覧には、優先度が「1」である分析部34が特定したURL群「http://host#7/d−D/d−H/d−E/file−g?y=1」、「http://host#2/d−E/d−J/d−K/file−e」、「http://host#5/d−X/d−O/d−P/file−art?user=1&pw=ad」、「http://host#9/d−H/d−R/file−tmp」が含まれる。また、図14に示すように、URL一覧には、優先度が「2」である分析部33が特定したURL群「http://host#1/d−A/d−B/d−C/file−a」が含まれる。また、図14に示すように、URL一覧には、優先度が「3」である分析部35が特定したURL群「http://host#4」が含まれる。更に、図14に示すように、URL一覧には、優先度が「2」である分析部33が特定したURL群と優先度が「3」である分析部35が特定したURL群とが交互に含まれる。すなわち、「http://host#2/d−D/d−E/d−C/file−b?x=12」、「http://host#3/d−R/d−X/d−D/file−i?id=12312」、「http://host#3/d−A/d−H/d−Z/file−x?d=1224」、「http://host#8/d−A/d−B/d−C/file−t」が含まれる。このように、図14に示すURL一覧は、図9に示すURL一覧と抽出されたURLの内容やURLの記載順序が異なる。
図15は、第1の実施形態の変形例に係るURLリスト生成部38による処理手順を説明する。図15は、第1の実施形態の変形例に係るURLリスト生成部38による処理手順を示すフローチャートである。
図15に示すように、第1の抽出部38aは、分析機能優先度管理テーブル101を参照して、最も優先度の高いURL群を選択する(ステップS201)。続いて、第1の抽出部38aは、選択したURL群について、所定のURL数以内で上限値までURLを抽出する(ステップS202)。そして、第1の抽出部38aは、抽出したURLの総数が所定のURL数に達したか否かを判定する(ステップS203)。
ここで、第1の抽出部38aは、抽出したURLの総数が所定のURL数に達したと判定した場合(ステップS203、Yes)、処理を終了する。一方、第1の抽出部38aは、抽出したURLの総数が所定のURL数に達したと判定しなかった場合(ステップS203、No)、全てのURL群から抽出処理を行ったか否かを判定する(ステップS204)。第1の抽出部38aは、全てのURL群から抽出処理を行ったと判定しなかった場合(ステップS204、No)、次に優先度の高いURL群を選択し(ステップS205)、ステップS202に移行する。そして、第1の抽出部38aは、全てのURL群から抽出処理を行うまで、或いは、所定のURL数に達するまで、優先度の高いURL群から順に所定のURL数以内で上限値までURLを抽出するステップS202からステップS204までの処理を繰り返し実行する。
第1の抽出部38aが、全てのURL群から抽出処理を行ったと判定した場合(ステップS204、Yes)、第2の抽出部38bは、最も優先度の高いURL群を選択する(ステップS206)。そして、第2の抽出部38bは、所定のURL数以内で上限値までURLを抽出する(ステップS207)。
続いて、第2の抽出部38bは、抽出したURLの総数が所定のURL数に達したか否かを判定する(ステップS208)。第2の抽出部38bは、抽出したURLの総数が所定のURL数に達したと判定した場合(ステップS208、Yes)、処理を終了する。一方、第2の抽出部38bは、抽出したURLの総数が所定のURL数に達したと判定しなかった場合(ステップS208、No)、全てのURLを抽出したか否かを判定する(ステップS209)。
第2の抽出部38bは、全てのURLを抽出したと判定しなかった場合(ステップS209、No)、次に優先度の高いURL群を選択し(ステップS210)、ステップS207に移行する。なお、第2の抽出部38bは、最も優先度の低いURL群を選択していた場合には、次に優先度の高いURL群として最も優先度の高いURL群を選択する。そして、第2の抽出部38bは、全てのURLを抽出するまで、或いは、所定のURL数に達するまで、優先度の高いURL群から順に所定のURL数以内で上限値までURLを抽出するステップS207からステップS209までの処理を繰り返し実行する。一方、第2の抽出部38bが、全てのURLを抽出したと判定した場合(ステップS209、Yes)、処理を終了する。
なお、第1の抽出部38a及び第2の抽出部38bは、既にURL一覧として抽出されているURLを再抽出してもよいし、しなくてもよい。第1の抽出部38a及び第2の抽出部38bは、既に抽出されているURLを再抽出しない場合には、抽出時にURL一覧に抽出済みか否かを確認する。なお、第1の抽出部38a及び第2の抽出部38bは、抽出済みのURLを抽出した際に、本抽出を1回と計算してもよいし、しなくてもよい。なお、図15に示す処理において、例えば、既に全URLを抽出済みである分析部34からの抽出を毎回試行してもよいし、前回の試行結果に伴い分析機能34からの抽出を省略してもよい。
また、上述した実施形態では、情報収集配信サーバ30は、トラヒックログを種別の異なる手法で解析することで特定されたURL群それぞれから、所定のURL数のURLを抽出してURL一覧を生成し、生成したURL一覧の評価を情報確認サーバ31に依頼するものとして説明したが実施形態はこれに限定されるものではない。例えば、情報収集配信サーバ30は、生成したURL一覧の評価を情報確認サーバ31に依頼する処理を実行しなくてもよい。かかる場合、情報収集配信サーバ30は、外部評価機能連携部41を有さずに構成されてもよい。そして、情報収集配信サーバ30は、図10に示すステップS11からステップS13の処理を実行しなくてもよい。すなわち、情報収集配信サーバ30は、URL群それぞれに設定された優先度を変更する処理を行わない。
また、情報収集配信サーバ30は、変更した優先度に基づいて、第1の抽出部38a及び第2の抽出部38bにURLの抽出処理の実行を指示する処理を実行しなくてもよい。また、情報収集配信サーバ30は、URL一覧の生成のみが必要である場合、URLリスト配布部40を有さずに構成されてもよい。
また、情報収集配信サーバ30と、情報確認サーバ31とが一体化されて構成されてもよい。
(第2の実施形態)
さて、これまで本発明の実施形態について説明したが、本発明は上述した実施形態以外にも、その他の実施形態にて実施されてもよい。そこで、以下では、その他の実施形態を示す。
(システム構成)
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述の文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については(例えば、図1〜図15)、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
(プログラム)
また、上記第1の実施形態に係る情報収集配信サーバ30が実行する処理をコンピュータが実行可能な言語で記述したURL選定プログラムを生成することもできる。この場合、コンピュータがURL選定プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるURL選定プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたURL選定プログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。以下に、図2などに示した情報収集配信サーバ30と同様の機能を実現するURL選定プログラムを実行するコンピュータの一例を説明する。
図16は、URL選定プログラムを実行するコンピュータ1000を示す図である。図16に示すように、コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)などのブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1031に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1041に接続される。ディスクドライブ1041には、例えば、磁気ディスクや光ディスクなどの着脱可能な記憶媒体が挿入される。シリアルポートインタフェース1050には、例えば、マウス1051およびキーボード1052が接続される。ビデオアダプタ1060には、例えば、ディスプレイ1061が接続される。
ここで、図16に示すように、ハードディスクドライブ1031は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093およびプログラムデータ1094を記憶する。上記実施形態で説明したURL選定プログラムは、例えばハードディスクドライブ1031やメモリ1010に記憶される。
また、URL選定プログラムは、例えば、コンピュータ1000によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ1031に記憶される。具体的には、上記実施形態で説明した第1の抽出部38aと同様の情報処理を実行する第1の抽出手順と、第2の抽出部38bと同様の情報処理を実行する第2の抽出手順とが記述されたプログラムモジュール1093が、ハードディスクドライブ1031に記憶される。或いは、上記実施形態で説明した第1の抽出部38aと同様の情報処理を実行する第1の抽出手順と、第2の抽出部38bと同様の情報処理を実行する第2の抽出手順と、優先度変更部41bと同様の情報処理を実行する優先度変更手順と、URL一覧更新指示部41cと同様の情報処理を実行するURL一覧更新指示手順とが記述されたプログラムモジュール1093が、ハードディスクドライブ1031に記憶される。
また、URL選定プログラムによる情報処理に用いられるデータは、プログラムデータ1094として、例えば、ハードディスクドライブ1031に記憶される。そして、CPU1020が、ハードディスクドライブ1031に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した各手順を実行する。
なお、URL選定プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1031に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ1041などを介してCPU1020によって読み出されてもよい。あるいは、URL選定プログラムに係るプログラムモジュール1093やプログラムデータ1094は、LANやWAN(Wide Area Network)などのネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
(その他)
なお、本実施形態で説明したURL選定プログラムは、インターネットなどのネットワークを介して配布することができる。また、特定プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
1〜5 ネットワーク
6〜13 パケット転送部
14 囮サーバ
15 囮端末
16 端末型サンドボックス
17 サーバ型サンドボックス
18〜19 ユーザサーバ
20〜21 ユーザ端末
22〜24 通信監視部
25 端末用攻撃検知ソフトウェア
26 サーバ用攻撃検知ソフトウェア
27 攻撃者端末
28 マルウェア配布サーバ
29 悪性サーバ
30 情報収集配信サーバ
31 情報確認サーバ
32 ログ収集部
33〜35 分析部
36 URL収集部
37 分析機能優先度管理部
38 URLリスト生成部
38a 第1の抽出部
38b 第2の抽出部
39 URLリスト管理部
40 URLリスト配布部
41 外部評価機能連携部
41a 受信部
41b 優先度変更部
41c URL一覧更新指示部
101 分析機能優先度管理テーブル
1000 コンピュータ
1010 メモリ
1011 ROM
1012 RAM
1020 CPU
1030 ハードディスクドライブインタフェース
1031 ハードディスクドライブ
1040 ディスクドライブインタフェース
1041 ディスクドライブ
1050 シリアルポートインタフェース
1051 マウス
1052 キーボード
1060 ビデオアダプタ
1061 ディスプレイ
1070 ネットワークインタフェース
1080 バス
1091 OS
1092 アプリケーションプログラム
1093 プログラムモジュール
1094 プログラムデータ

Claims (9)

  1. URL選定装置で実行されるURL選定方法であって、
    トラヒックログを種別の異なる手法で解析することで特定されたURL群それぞれから、前記URL群それぞれに設定された優先度の順に、URL数の総数が所定のURL数以内であって前記URL群それぞれに設定されたURL数の上限値までURLを抽出する第1の抽出工程と、
    前記第1の抽出工程においてURL群それぞれから抽出したURLの総数が前記所定のURL数に満たない場合、前記優先度に基づいて、前記所定のURL数以内でURLを更に抽出する第2の抽出工程と
    を含んだことを特徴とするURL選定方法。
  2. 前記第1の抽出工程は、
    前記URL群それぞれから抽出するURLについて、前記URL群において各URLに優先順位を付与されている場合は、当該優先順位に従ってURLを抽出し、前記URL群において各URLに優先順位を付与されていない場合は、所定の順序でURLを抽出する
    ことを特徴とする請求項1に記載のURL選定方法。
  3. 前記第2の抽出工程は、
    前記優先度の高いURL群から順に前記上限値までURLを更に抽出する処理を、抽出したURLの総数が前記所定のURL数と一致するまで、又は、前記所定のURL数以内で前記URL群に含まれる全URLを抽出するまで繰り返す
    ことを特徴とする請求項1又は2に記載のURL選定方法。
  4. 前記第2の抽出工程は、
    前記優先度の高いURL群から順に前記上限値を考慮せずにURLを更に抽出する処理を、抽出したURLの総数が前記所定のURL数と一致するまで、又は、前記所定のURL数以内で前記URL群に含まれる全URLを抽出するまで繰り返す
    ことを特徴とする請求項1又は2に記載のURL選定方法。
  5. 前記第2の抽出工程は、
    前記優先度の高いURL群から順に前記上限値までURLを更に抽出する処理を、抽出したURLの総数が前記所定のURL数と一致するまで、又は、前記所定のURL数以内で前記URL群に含まれる全URLを抽出するまで繰り返し、
    前記URL群それぞれに設定された優先度を変更する優先度変更工程と、
    変更した前記優先度に基づいて、前記第1の抽出工程及び前記第2の抽出工程にURLの抽出処理の実行を指示する抽出指示工程と
    を更に含んだことを特徴とする請求項1又は2に記載のURL選定方法。
  6. 前記第2の抽出工程は、
    前記優先度の高いURL群から順に前記上限値を考慮せずにURLを更に抽出する処理を、抽出したURLの総数が前記所定のURL数と一致するまで、又は、前記所定のURL数以内で前記URL群に含まれる全URLを抽出するまで繰り返し、
    前記URL群それぞれに設定された優先度を変更する優先度変更工程と、
    変更した前記優先度に基づいて、前記第1の抽出工程及び前記第2の抽出工程にURLの抽出処理の実行を指示する抽出指示工程と
    を更に含んだことを特徴とする請求項1又は2に記載のURL選定方法。
  7. 端末装置と、URL選定装置とを有するURL選定システムであって、
    前記端末装置は、
    ネットワークにおけるトラヒックログを収集する通信監視部を備え、
    前記URL選定装置は、
    前記通信監視部によって収集されたトラヒックログを種別の異なる手法で解析することで特定されたURL群それぞれから、前記URL群それぞれに設定された優先度の順に、URL数の総数が所定のURL数以内であって前記URL群それぞれに設定されたURL数の上限値までURLを抽出する第1の抽出部と、
    前記第1の抽出部においてURL群それぞれから抽出されたURLの総数が所定のURL数に満たない場合、前記優先度に基づいて、前記所定のURL数以内でURLを更に抽出する第2の抽出部と
    を備えることを特徴とするURL選定システム。
  8. トラヒックログを種別の異なる手法で解析することで特定されたURL群それぞれから、前記URL群それぞれに設定された優先度の順に、URL数の総数が所定のURL数以内であって前記URL群それぞれに設定されたURL数の上限値までURLを抽出する第1の抽出部と、
    前記第1の抽出部においてURL群それぞれから抽出されたURLの総数が所定のURL数に満たない場合、前記優先度に基づいて、前記所定のURL数以内でURLを更に抽出する第2の抽出部と
    を有することを特徴とするURL選定装置。
  9. トラヒックログを種別の異なる手法で解析することで特定されたURL群それぞれから、前記URL群それぞれに設定された優先度の順に、URL数の総数が所定のURL数以内であって前記URL群それぞれに設定されたURL数の上限値までURLを抽出する第1の抽出手順と、
    前記第1の抽出手順においてURL群それぞれから抽出したURLの総数が所定のURL数に満たない場合、前記優先度に基づいて、前記所定のURL数以内でURLを更に抽出する第2の抽出手順と
    をコンピュータに実行させるためのURL選定プログラム。
JP2016508717A 2014-03-19 2015-03-16 Url選定方法、url選定システム、url選定装置及びurl選定プログラム Active JP5986340B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014056663 2014-03-19
JP2014056663 2014-03-19
PCT/JP2015/057702 WO2015141628A1 (ja) 2014-03-19 2015-03-16 Url選定方法、url選定システム、url選定装置及びurl選定プログラム

Publications (2)

Publication Number Publication Date
JP5986340B2 JP5986340B2 (ja) 2016-09-06
JPWO2015141628A1 true JPWO2015141628A1 (ja) 2017-04-06

Family

ID=54144596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508717A Active JP5986340B2 (ja) 2014-03-19 2015-03-16 Url選定方法、url選定システム、url選定装置及びurl選定プログラム

Country Status (3)

Country Link
US (1) US10462158B2 (ja)
JP (1) JP5986340B2 (ja)
WO (1) WO2015141628A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6538618B2 (ja) * 2016-06-27 2019-07-03 日本電信電話株式会社 管理装置及び管理方法
US10540496B2 (en) 2017-09-29 2020-01-21 International Business Machines Corporation Dynamic re-composition of patch groups using stream clustering
JP7020362B2 (ja) * 2018-10-10 2022-02-16 日本電信電話株式会社 探索装置、探索方法及び探索プログラム
EP3683712B1 (en) * 2019-01-16 2021-10-20 Siemens Aktiengesellschaft Protecting integrity of log data

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728704B2 (en) * 2001-08-27 2004-04-27 Verity, Inc. Method and apparatus for merging result lists from multiple search engines
JP2004030286A (ja) * 2002-06-26 2004-01-29 Ntt Data Corp 侵入検知システムおよび侵入検知プログラム
JP2006048546A (ja) * 2004-08-06 2006-02-16 Nippon Telegr & Teleph Corp <Ntt> Urlフィルタリングシステムおよび方法、プログラムおよび記録媒体
US7984039B2 (en) * 2005-07-14 2011-07-19 International Business Machines Corporation Merging of results in distributed information retrieval
US20070204345A1 (en) * 2006-02-28 2007-08-30 Elton Pereira Method of detecting computer security threats
US8739184B2 (en) * 2006-03-16 2014-05-27 Oracle International Corporation System and method for aggregating data from multiple sources to provide a single CIM object
CN101276364B (zh) * 2007-03-30 2010-12-22 阿里巴巴集团控股有限公司 一种分布式计算数据合并方法、系统及其装置
US7873635B2 (en) * 2007-05-31 2011-01-18 Microsoft Corporation Search ranger system and double-funnel model for search spam analyses and browser protection
JP4995170B2 (ja) 2008-10-06 2012-08-08 日本電信電話株式会社 不正検知方法、不正検知装置、不正検知プログラムおよび情報処理システム
US8302191B1 (en) * 2009-03-13 2012-10-30 Symantec Corporation Filtering malware related content
US8180768B2 (en) * 2009-08-13 2012-05-15 Politecnico Di Milano Method for extracting, merging and ranking search engine results
US10397246B2 (en) * 2010-07-21 2019-08-27 Radware, Ltd. System and methods for malware detection using log based crowdsourcing analysis
JP5415390B2 (ja) 2010-10-28 2014-02-12 日本電信電話株式会社 フィルタリング方法、フィルタリングシステム及びフィルタリングプログラム
US8813228B2 (en) * 2012-06-29 2014-08-19 Deloitte Development Llc Collective threat intelligence gathering system
US9228665B2 (en) * 2012-07-02 2016-01-05 3M Innovative Properties Company Pressure fuse or breaker
JP5411966B2 (ja) 2012-07-10 2014-02-12 日本電信電話株式会社 監視装置および監視方法
CN104253785B (zh) * 2013-06-25 2017-10-27 腾讯科技(深圳)有限公司 危险网址识别方法、装置及系统

Also Published As

Publication number Publication date
US10462158B2 (en) 2019-10-29
US20160381052A1 (en) 2016-12-29
JP5986340B2 (ja) 2016-09-06
WO2015141628A1 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
US10721244B2 (en) Traffic feature information extraction method, traffic feature information extraction device, and traffic feature information extraction program
JP5011234B2 (ja) 攻撃ノード群判定装置およびその方法、ならびに情報処理装置および攻撃対処方法、およびプログラム
Lu et al. Clustering botnet communication traffic based on n-gram feature selection
JP6159018B2 (ja) 抽出条件決定方法、通信監視システム、抽出条件決定装置及び抽出条件決定プログラム
KR101391781B1 (ko) 웹 트랜잭션 밀집도 기반 에이치티티피 봇넷 탐지 장치 및 방법
JP5655191B2 (ja) 特徴情報抽出装置、特徴情報抽出方法および特徴情報抽出プログラム
JP6408395B2 (ja) ブラックリストの管理方法
US20110154492A1 (en) Malicious traffic isolation system and method using botnet information
JP5986340B2 (ja) Url選定方法、url選定システム、url選定装置及びurl選定プログラム
KR101188305B1 (ko) 이상 도메인 네임 시스템 트래픽 분석을 통한 봇넷 탐지 시스템 및 그 방법
Hindy et al. A taxonomy of malicious traffic for intrusion detection systems
JP6592196B2 (ja) 悪性イベント検出装置、悪性イベント検出方法および悪性イベント検出プログラム
JP6538618B2 (ja) 管理装置及び管理方法
KR20200109875A (ko) 유해 ip 판단 방법
JP5313104B2 (ja) 転送制御方法、転送制御装置、転送制御システムおよび転送制御プログラム
Prasad et al. Flooding attacks to internet threat monitors (ITM): modeling and counter measures using botnet and honeypots
JP5385867B2 (ja) データ転送装置及びアクセス解析方法
Yong et al. Understanding botnet: From mathematical modelling to integrated detection and mitigation framework
Zeidanloo et al. New approach for detection of irc and p2pbotnets
Mane Detect and deactivate P2P Zeus bot
Vishnevsky et al. A survey of game-theoretic approaches to modeling honeypots
Yadav et al. Botnet: Evolution life cycle architecture and detection techniques
Kassim et al. An analysis on bandwidth utilization and traffic pattern for network security management
KR101156008B1 (ko) 네트워크 트래픽 분석을 통한 시그니쳐 기반 봇넷 탐지 시스템 및 그 방법
JP2008165601A (ja) 通信監視システム、通信監視装置、及び通信制御装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160804

R150 Certificate of patent or registration of utility model

Ref document number: 5986340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150