JP6408395B2 - ブラックリストの管理方法 - Google Patents

ブラックリストの管理方法 Download PDF

Info

Publication number
JP6408395B2
JP6408395B2 JP2015023423A JP2015023423A JP6408395B2 JP 6408395 B2 JP6408395 B2 JP 6408395B2 JP 2015023423 A JP2015023423 A JP 2015023423A JP 2015023423 A JP2015023423 A JP 2015023423A JP 6408395 B2 JP6408395 B2 JP 6408395B2
Authority
JP
Japan
Prior art keywords
information
server
list
url
blacklist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015023423A
Other languages
English (en)
Other versions
JP2016146114A (ja
Inventor
進 芹田
進 芹田
哲郎 鬼頭
哲郎 鬼頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2015023423A priority Critical patent/JP6408395B2/ja
Publication of JP2016146114A publication Critical patent/JP2016146114A/ja
Application granted granted Critical
Publication of JP6408395B2 publication Critical patent/JP6408395B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Description

本発明は、ブラックリストの管理方法に関するものである。
攻撃者は、マルウェアの配布や感染マシンの遠隔操作などの不正活動を行うために、インターネット上のサイト・サーバを利用する。これら不正活動に利用されるサイト・サーバをまとめて悪性サイトと呼ぶ。
組織内のマシンを攻撃者から守るために、ブラックリストを用いた方法が使われる。ブラックリストとは、悪性サイトのURL(悪性URL:Uniform Resource Locator)をリスト化したものである。ブラックリストをファイアウォール、IDS/IPS(Intrusion Detection System/Intrusion Prevention System)、プロキシサーバなどのセキュリティ装置に登録することで、ブラックリストに含まれる外部サーバへのアクセスを検知することができる。悪性サイトへのアクセスを検知した場合、アクセスを中断することで、被害の拡大を防ぐことができる。このような技術は、一般にフィルタリングと呼ばれる。
悪性サイトの数が増加するに従い、ブラックリストの容量も増加する。フィルタリングに登録するブラックリストの容量が増大するとセキュリティ装置の負荷が増大する。その結果、通信遅延などの問題が発生する。そのため、一般にフィルタリングに利用できるブラックリストの容量には上限がある。
これに関連した技術として、特許文献1には、マルウェア配布サイトからダウンロードしたファイルに基づく、ブラックリストの更新技術が開示されている。マルウェア配布サイトからファイルをダウンロードし、過去にダウンロードしたファイルと異なるか判別する。異なる場合は、ダウンロードしたファイルを仮想環境で実行し、その挙動によってマルウェアかどうか判断する。マルウェアではなく正常なファイルと判断した場合は、マルウェア配布サイトのURLをブラックリストから除外する。
特許第5389740号明細書
上述した特許文献1に開示された技術によると、マルウェア配布サイトのURLをブラックリストから削除するかどうか判断することができる。しかしながら、特許文献1に開示された技術は、マルウェア配布サイトのみを対象にしているのに対し、悪性サイトはマルウェア配布サイトだけではない。
他の悪性サイトへ誘導するリダイレクトサイト、ブラウザの脆弱性を探る攻撃サイト、感染したマルウェアに指令を送るC&C(コマンドアンドコントロール)サイトなども、悪性サイトだがマルウェアを直接配布しない。そのため、マルウェア配布サイト以外の悪性サイトに対しては、ブラックリストから除外するかどうかの判断をおこなえない。
そこで、上記の問題点を考慮し、本発明は、悪性サイト一般に対して適用可能な、ブラックリストの管理を目的とする。
本発明の代表的なブラックリストの管理方法は、サーバにおける、ネットワークサイトが登録されるブラックリストの管理方法であって、ネットワークサイトを特定する第1の情報を取得するステップと、前記取得した第1の情報に基づき、前記特定されたネットワークサイトに関する第2の情報を複数の情報源から取得するステップと、前記取得した第2の情報に基づき、前記特定されたネットワークサイトのリスクを算出するステップと、前記算出したリスクに基づき、前記ブラックリストを更新するステップと、を有することを特徴とする。
本発明によれば、悪性サイト一般に対して適用可能な、ブラックリストの管理が可能となる。
システム構成の例を示した図である。 ブラックリスト管理サーバの処理全体の例を示した図である。 リクエスト機能の例を示した図である。 スコアリング機能の例を示した図である。 ブラックリスト選択機能の例を示した図である。 ブラックリスト更新機能の例を示した図である。 ブラックリスト候補の例を示した図である。 URLスコアリストの例を示した図である。 ブラックリストの例を示した図である。 リクエスト定義リストの例を示した図である。 URL属性リストの例を示した図である。 セグメントルールの例を示した図である。 危険度の重み付けルールの例を示した図である。 統合リスクの重み付けルールの例を示した図である。 ブラックリスト選択ルールのホワイトルールの例を示した図である。 ブラックリスト選択ルールのブラックルールの例を示した図である。 スコアリング制御モジュールの処理フローの例を示した図である。 ブラックリスト選択モジュールの処理フローの例を示した図である。
以下、好ましい実施の形態について、適宜図面を参照しつつ、説明する。以下の説明において、テーブルと見える情報やリストという表現の情報を用いて説明するが、これらの情報は、テーブルやリスト以外の他のデータ構造で表現されてもよい。
図1は、システム構成の例を示した図である。図1に示すように、本システムは、悪性サイト111、レピュテーションサイト112、WHOISサイト113と、ファイアウォール130、プロキシサーバ121、ログ解析サーバ122、マルウェア解析サーバ123、ブラックリスト管理サーバ124、管理者用端末125、クライアント126などとを含み、これらの装置はネットワーク101を介して相互に接続されて構成される。
なお、図1に示した各サーバは、複数種類のサーバが1つのサーバであってもよいし、同じ種類のサーバが複数あってもよい。また、管理用端末125は、いずれかのサーバに含まれてもよい。
悪性サイト111は、組織などの図1に示したイントラネット120に対して攻撃を行う者が利用するサイトである。悪性サイト111は、目的や機能により、複数の種類に分類される。例えば、他の悪性サイト111へ誘導するリダイレクトサイト、ブラウザの脆弱性を探る攻撃サイト、マルウェアをクライアント126へダウンロードさせるマルウェア配布サイト、感染したマルウェアに指令を送るC&C(コマンドアンドコントロール)サイト、侵入に成功した組織の情報を収集する情報収集サイトなどがある。悪性サイト111はインターネット上に複数存在する。
レピュテーションサイト112は、悪性サイト111に関する情報を提供するサイトであり、セキュリティベンダや、公共機関により運営される。レピュテーションサイト112は、独自のブラックリストや、マルウェア解析結果を公開している。レピュテーションサイト112の提供する情報を利用することで、あるURLが悪性サイト111に属しているかどうか判定できる。また、悪性サイト111の種別なども提供している。なお、URLを例に説明するが、IP(Internet Protocol)アドレスなどのネットワークアドレスであってもよい。
インターネット上には、複数のレピュテーションサイト112が存在する。悪性サイト111の基準は、レピュテーションサイト112ごとに異なる。一般に、複数のレピュテーションサイト112で悪性サイト111と判定されるサイトほど危険度が高いといえる。
ファイアウォール130は、イントラネット120のローカルエリアネットワークとインターネット110との間で、互いのネットワークを行き来するパケットの中から、特定の条件に合ったパケットを破棄(遮断)あるいは許可(通過)する機能を備える。特にプロキシサーバ121を経由しないパケットを破棄することで、イントラネット120からインターネット110へ向かう全てのアクセスをプロキシサーバ121経由で行うことができる。
プロキシサーバ121は、クライアント126とインターネット110上のサーバ間のパケットのやり取りを中継する。プロキシサーバ121に悪性サイト111のURLを登録しておくことで、悪性サイト111へのアクセスを検知することができる。アクセスを検知した場合、アクセスを中止することで、攻撃者との通信を遮断することができる。この機能を、フィルタリングと呼ぶ。また、プロキシサーバ121は、クライアント126が行ったアクセスを全て記録する機能を備える。この記録をアクセスログと呼ぶ。なお、プロキシサーバ121の代わりに、ファイアウォール130がフィルタリングの機能を有してもよい。
ログ解析サーバ122は、プロキシサーバ121が出力するアクセスログを解析し、悪性サイト111にアクセスしたユーザを検索する機能などを備える。マルウェア解析サーバ123は、仮想環境などでマルウェアを実行し、ネットワークアクセスの振る舞いなどを記録する機能を備える。図1では、マルウェア解析サーバ123は、イントラネット120に接続されているが、インターネット110に接続されてもよい。
マルウェア解析サーバ123の解析対象となるマルウェアを収集する方法は大きく2通りある。一つは、マルウェア解析サーバ123とは別のコンピュータで発見されたマルウェアを、手動操作でマルウェア解析サーバ123へコピーする方法である。もう一つは、マルウェア解析サーバ123を攻撃者が狙いやすい場所に設置し、マルウェアに感染させる方法である。この方法は、一般にハニーポットと呼ばれる。
ブラックリスト管理サーバ124は、組織内外から取得したブラックリストを管理する機能を備える。組織内外のサーバにアクセスし、ブラックリストに関する情報を取得する。取得した情報から、悪性サイト111の危険度、活動度、新鮮度、アクセス可能性などの指標を算出する。算出した結果に基づいて、プロキシフィルタリングやログ解析に利用するブラックリストを決定する。
管理者用端末125は、セキュリティ対策を行う管理者が利用する端末であり、ブラックリスト管理サーバ124へアクセスして、各種の設定を行う機能を備える。クライアント126は、イントラネット120を介してインターネット110にアクセスする機能を備える。クライアント126は、偽造メールに添付された実行ファイルを実行するなどして、マルウェアに感染する可能性がある。マルウェアに感染したクライアント126は、正規のユーザに気づかれずに、攻撃者と通信を行う。
イントラネット120に接続されたこれらの装置は、少なくともCPU(Central Processing Unit)、ハードディスクドライブなどの補助記憶装置、RAM(Random Access Memory)やROM(Read Only Memory)などの主記憶装置、キーボードやマウスといった入力装置と接続されるI(Input)/O(Output)インターフェース、イントラネット120、およびイントラネット120経由でインターネット110に接続するためのネットワークインターフェースなどを備える。
図2を参照して、ブラックリスト管理サーバ124の処理の全体像を説明する。ブラックリスト管理サーバ124は、まず、悪性URLを悪性URL生成元210から取得する。悪性URL生成元210は、悪性サイト111に関する情報を提供する組織や手段の総称である。警察やセキュリティベンダなどのセキュリティ機関211は、独自に収集したマルウェアや悪性サイト111の情報を公開している。セキュリティ機関211に定期的にアクセスすることで、セキュリティ機関211が提供する悪性URLを取得できる。
また、組織内の従業員に届いたスパムメール、フィッシングメールからもブラックリストを生成できる。メールシステム212は、未知のメールを自動抽出し、メールの本文中にリンクとして書かれたURLを抽出することで、悪性URLとして利用できる。組織内で見つかったマルウェアをマルウェア解析システム213で解析した結果から、悪性URLを生成できる。マルウェア解析システム213でマルウェアを動作させることで、マルウェアの通信先が特定できる。特定した通信先のURLを抽出することで、悪性URLとして利用できる。
悪性URL生成元210が生成した悪性URLは、ブラックリスト候補221として、ブラックリスト管理サーバ124へ保存される。ブラックリスト候補221への登録は手動操作あるいは自動で行われる。手動操作で行う場合は、管理者が定期的に悪性URL生成元210を確認し、新たな悪性URLが生成されていた場合は、ブラックリスト候補221に追加する。
自動で行う場合は、ブラックリスト管理サーバ124が定期的に悪性URL生成元210にアクセスし、新たな悪性URLが生成されていた時に、ブラックリスト候補221に追加する。ブラックリスト管理サーバ124は、悪性URLに加え、悪性URLに関連する情報も取得して保存する。例えば、URLを抽出したマルウェアの実行ファイルなどを関連情報として保存する。ブラックリスト候補221の詳細は、図7を用いて後で説明する。
リクエスト機能222は、URL属性取得先240へリクエストを送信し、レスポンスを加工してURL属性を生成する。リクエスト機能222は、あらかじめ設定された時刻や、ブラックリスト候補221に新たなURLが追加された時に処理を行う。URL属性は、悪性URLの危険度、活動度、新鮮度、アクセス可能性などの判断指標を算出するのに利用する属性情報である。例えば、あるレピュテーションサイト112に悪性サイト111として登録されているか否かが、URL属性になる。ひとつの悪性URLに対して、複数のURL属性を取得し、判断指標算出に利用する。リクエスト機能222の詳細は、図3を用いて後で説明する。
なお、悪性URL生成元212はURLを生成し、URL属性取得先240はURLに基づいてサイトの情報を提供するものであるが、悪性URL生成元212の一部または全てとURL属性取得先240の一部または全てとが同じであってもよい。例えば、セキュリティ機関211はレピュテーションサイト112であってもよいし、マルウェア解析システム213はマルウェア解析サーバ123を含んでもよい。
スコアリング機能223は、リクエスト機能222が生成したURL属性から、URLスコアを算出する。URLスコアは、危険度、活動度、新鮮度、アクセス可能性を数値化した判断指標とそれらを統合して算出する統合リスクから構成される。スコアリング機能223の詳細は、図4を用いて後で説明する。
ブラックリスト選択機能224は、スコアリング機能223が算出したURLスコアに基づき、プロキシフィルタリングやログ解析に利用するブラックリストをブラックリスト候補221から選択する。ブラックリスト選択機能224の詳細は、図5を用いて後で説明する。ブラックリストは、悪性URLおよび対策システム230の機器などの情報を含む。ブラックリストの詳細は図9を用いて後で説明する。
ブラックリスト更新機能226は、ブラックリストに基づいて、対策システム230内の機器に設定されたブラックリストを更新する。更新処理には、ブラックリストの追加や削除が含まれる。ブラックリスト更新機能226の詳細は、図6を用いて後で説明する。
なお、リクエスト機能222、スコアリング機能223、ブラックリスト選択機能224、ブラックリスト更新機能226のそれぞれは、ブラックリスト管理サーバ124に含まれるRAMに格納されたプログラムにしたがって、CPUが動作することにより実現されてもよい。このため、各機能は部あるいはモジュールと呼んでもよく、例えばリクエスト機能222はリクエスト部あるいはリクエストモジュールとしてもよい。
対策システム230は、ブラックリストを利用したセキュリティ対策を行う機器全体を示す。例えば、プロキシサーバ121、ファイアウォール130、ログ解析サーバ122などが対策システム230に含まれる。対策システム230の各機器は、内部にブラックリストとしてフィルタリスト231、照合リスト232、フィルタリスト233を保持する。ブラックリスト更新機能226は、対策システム230内のブラックリストの更新を行う。
図3を参照して、リクエスト機能222の詳細を説明する。リクエスト機能222は、リクエスト制御モジュール301、レスポンス整形モジュール302、リクエスト機能設定モジュール303、URL属性取得先情報304、URL属性リスト305、リクエスト定義リスト306、リクエストモジュール307などを備える。リクエスト制御モジュール301は、あらかじめ設定されたタイミングで、リクエストモジュールを呼び出し、URL属性取得先240からレスポンスを取得する。
レスポンス整形モジュール302は、リクエスト制御モジュール301が取得したレスポンスから、スコアリング機能223がスコアリングに利用する情報を抽出し、あらかじめ決めた形式に加工して保存する。例えば、レピュテーションサイト112に対して、URLの情報を問い合わせた場合、レスポンスに含まれる情報や形式は、レピュテーションごとに異なる可能性がある。
そこで、取得したいURL属性ごとに、値の形式が定義されている。例えば、取得したいURL属性がURLを悪性と判定しているかの場合、値の形式が真偽の2値と定義され、取得したいURL属性が悪性サイト111の種類の場合、値の形式が「リダイレクトサイト」、「攻撃サイト」、「マルウェア配布サイト」、「C&Cサイト」、「情報収集サイト」のいずれかと定義される。この処理により、レピュテーションサイト112の種類によらずレスポンスに含まれる情報の形式を統一化できる。整形した結果は、URL属性リスト305して保存される。
リクエスト機能設定モジュール303は、管理者がURL属性取得先情報304や、リクエストモジュール307の設定情報を編集するCUIあるいはGUI機能を提供する。URL属性取得先情報304は、URL属性取得先240のURLや、リクエストを送るタイミングなどリクエスト制御モジュール301がURL属性取得先240からレスポンスを取得するために必要な情報を提供する。
URL属性リスト305は、レスポンス整形モジュール302がレスポンスを整形した結果である。URL属性リスト305の詳細は、図11を用いて後で説明する。リクエスト定義リスト306は、リクエスト制御モジュール301が送信するリクエストの内容と、リクエストによって得られたレスポンスから生成するURL属性を定義したリストである。リクエスト定義リスト306の詳細は、図10を用いて後で説明する。
リクエストモジュール307は、組織外(インターネット110)と組織内(イントラネット120)のリクエスト先にアクセスし、レスポンスを取得する機能を備え、レピュテーション用モジュール308、悪性サーバ用モジュール309、WHOIS用モジュール310などを備える。レピュテーション用モジュール308は、複数種類のレピュテーションサイト112にアクセスし、ブラックリスト候補221のURLに関する情報を取得する。
悪性サーバ用モジュール309は、ブラックリスト候補221のURLで指定されるサーバ・サイトへHTTPリクエストなどを送り、サーバ・サイトのHTTPレスポンスなどを取得する。スコアリング機能223は、取得したHTTPレスポンスの内容により、サーバ・サイトの活動状況を推測する。
WHOIS用モジュール310は、WHOISサイト113へアクセスし、ブラックリスト候補221のURLのドメインに関する情報を取得する。具体的には、ドメイン取得日や更新日などを取得する。ログ解析用モジュール311は、ログ解析サーバ122へアクセスし、クライアント126がアクセスしたURLのログを取得して、ブラックリスト候補221のURLへアクセスしているクライアント126などを検索する。
リクエストモジュール307は、OS(Operating System)の標準機能やリクエスト先が提供するAPI(Application Interface)を用いて実現される。例えば、LINUX(登録商標)が備えるWHOISコマンドを利用することで、WHOISサイト113へのアクセスとレスポンスの取得が実現できる。本実施形態は、リクエストモジュール307の実現方式には依存しない。図3に示したリクエストモジュール307は一例であり、取得したいURL属性に応じて、リクエストモジュール307へモジュールを追加可能である。
図4を参照して、スコアリング機能223の詳細を説明する。スコアリング機能223は、スコアリング制御モジュール401、スコアリング機能設定モジュール402、URLスコアリスト403、判断指標算出モジュール410、セグメントルール420、重み付けルール430などを備える。スコアリング機能223は、決まった時刻、リクエスト結果の更新時、管理者による手動操作などで処理を開始する。
スコアリング制御モジュール401は、URL属性リスト305を読み込み、判断指標算出モジュール410を利用して、悪性URLごとにURLスコアを算出する。算出したURLスコアはURLスコアリスト403に格納される。スコアリング制御モジュール401の詳細は、図15を用いて後で説明する。スコアリング機能設定モジュール402は、セグメントルール420、重み付けルール430などを編集するCUIやGUI機能を提供する。
URLスコアリスト403は、リクエスト結果から判断指標算出ルールに従って算出した各種の判断指標をブラックリストと紐付けて保存されたデータである。URLスコアリスト403の詳細は、図8を用いて後で説明する。
判断指標算出モジュール410は、リクエスト結果から判断指標を算出する機能を備える。算出する判断指標に応じて、危険度算出モジュール411、新鮮度算出モジュール412、活動度算出モジュール413、アクセス可能性算出モジュール414、統合リスク算出モジュール415などを備える。また、各判断指標を算出するためのルールを定義した危険度算出ルール421、431、新鮮度算出ルール422、432、活動度算出ルール423、433、アクセス可能性算出ルール424、434、統合リスク算出ルール435などを利用する。
危険度算出モジュール411は、ブラックリスト候補221のURLで指定される悪性サイト111の危険度を算出するためのモジュールである。悪性サイト111にアクセスした場合に引き起こされる障害の大きさをもとに危険度を算出する。新鮮度算出モジュール412は、ブラックリスト候補221のURLで指定される悪性サイト111の新鮮度を算出するためのモジュールである。悪性サイト111が活動を開始してから経過した日数などをもとに新鮮度を算出する。
活動度算出モジュール413は、ブラックリスト候補221のURLで指定される悪性サイト111の活動度を算出するためのモジュールである。HTTPリクエストに対する悪性サイトの応答の有無などをもとに活動度を算出する。アクセス可能性算出モジュール414は、ブラックリスト候補221のURLで指定される悪性サイト111へ組織内の従業員などがアクセスする可能性を算出するためのモジュールである。同一ドメインへのアクセスの多さなどをもとに、アクセス可能性を算出する。
統合リスク算出モジュール415は、ブラックリスト候補221のURLで指定される悪性サイト111の統合リスクを算出するためのモジュールである。組織のシステム環境や、セキュリティポリシによって、どの判断指標に基づいてブラックリストを決めるかが変わる。そこで、危険度、新鮮度、活動度、アクセス可能性に対して、重み付けを設定し、総合的な指標を算出する。その指標を統合リスクと呼ぶ。
セグメントルール420は、URL属性から判断指標を算出するために、個々のURL属性を数値に置き換えるためのルールである。セグメントルール420の詳細は、図12を用いて後で説明する。重み付けルール430は、URL属性から判断指標および統合スコアを算出するための重み付けを定義したルールである。重み付けルールの詳細は、図13を用いて後で説明する。
図5を参照して、ブラックリスト選択機能224の詳細を説明する。ブラックリスト選択機能224は、ブラックリスト選択モジュール501、ブラックリスト選択機能設定モジュール502、ブラックリスト選択ルール503などをもとに構成される。ブラックリスト選択モジュール501は、URL属性リスト305を読み込み、対策システム230の機器に登録あるいは削除するブラックリストを決定する。ブラックリスト選択モジュール501の詳細は図16で説明する。
ブラックリスト選択機能設定モジュール502は、管理者がブラックリスト選択ルールを編集するCUIあるいはGUI機能を提供する。ブラックリスト選択ルール503は、ブラックリストに登録するあるいは登録しない悪性URLをURL属性の値に基づいて決めるルールである。登録する悪性URLを決めるルールをブラックルール、登録しない悪性URLを決めるルールをホワイトルールと呼ぶ。ブラックリスト選択モジュール501は、ブラックリスト選択ルール503とURL属性リスト305に基づいて、ブラックリストを選定する。ブラックリスト選択ルール503の詳細は図14を用いて後で説明する。
図6を参照して、ブラックリスト更新機能226の詳細を説明する。ブラックリスト更新機能226は、ブラックリスト更新モジュール601、更新レポート602、機器情報603などから構成される。ブラックリスト更新モジュール601は、ブラックリスト選択機能224が決定したブラックリストに応じて、対策機器内のブラックリストを追加あるいは削除する。処理は、決まった時刻、リクエスト結果の更新時、管理者による手動操作などで開始する。更新処理を行った後、その結果をレポートとして更新レポート602へ出力する。
更新レポート602は、ブラックリスト更新モジュール601が行った更新処理が成功したか何らかのエラーにより失敗したかの情報を含む。また、成功した場合は、レポートは、各対策システム230に登録されたブラックリストを含む。管理者は、対策システム230でブラックリストが利用されている内容をレポートにより確認できる。機器情報603は、ブラックリスト更新モジュール601が更新処理を行うのに必要な機器情報を含む。すなわち、機器にアクセスするのに必要なIPアドレス、ポート番号などの情報を含む。
図7を参照して、ブラックリスト候補221の例を説明する。ブラックリスト候補221は悪性URL_ID、URL、取得日時、取得元ソース、関連情報などの項目701を含む。また、悪性URLごとにこれらの項目に対応する値702を格納する。悪性URL_IDは、ブラックリスト管理サーバ124内で、ブラックリスト候補221に含まれるURLを一意に識別するための識別子である。URLは悪性サイト111のURLである。IPアドレスで記述される場合や、ドメインのみで記述される場合もある。
取得日時は、悪性URL生成元210から、ブラックリスト候補221となる悪性URLを取得した日時である。取得元ソースは、ブラックリスト候補221を取得した悪性URL生成元210を識別するための情報である。関連情報は、URL以外のブラックリスト候補221に関する情報である。例えば、マルウェア解析により得られたURLの場合は、そのマルウェアの種別やハッシュ値などを含む。
図8を参照して、URLスコアリスト403の例を説明する。URLスコアリスト403は、悪性URL_ID、URL、危険度、活動度、新鮮度、アクセス可能性、統合リスクなどの項目801を含む。また、悪性URLごとにこれらの項目801に対応する値802を格納する。悪性URL_IDとURLは、図7で説明した項目と同じである。
危険度は、危険度算出モジュール411が算出した値である。活動度は、活動度度算出モジュール413が算出した値である。新鮮度は、新鮮度度算出モジュール412が算出した値である。アクセス可能性は、アクセス可能性算出モジュール414が算出した値である。統合リスクは、統合リスク算出モジュール415が算出した値である。
図9を参照して、ブラックリストの例を説明する。ブラックリストは、ブラックリストID901、対策機器902、対策903、悪性URL_IDリスト904、更新日905などの項目を含む。ブラックリストID901は、ブラックリストを一意に識別するための識別子である。対策機器902は、対策システム230の対象機器を識別する情報である。例えば、プロキシサーバ121、ログ解析サーバ122などがある。
対策903は、ブラックリストを利用した対策の種類である。例えば、リアルタイムで行うフィルタフィルタ、バッチ処理によるアクセスログの照合などがある。悪性URL_IDリスト904は、対策で利用する悪性URL_IDをリスト化したものである。更新日905は、ブラックリストが更新された年月日である。
図10を参照して、リクエスト定義リスト306の例を説明する。リクエスト定義リスト306は、リクエストID1001、リクエスト説明1002、アドレス1003、リクエスト時刻1004、クエリ1005、URL属性1006、利用モジュール1007などの項目を含む。リクエストID1001は、リクエスト機能222の発行するリクエストを一意に識別するための識別子である。リクエスト説明1002は、リクエストの内容を管理者などが理解しやすいようにテキストなどで説明した内容である。
アドレス1003は、URL属性取得先240のサーバやサイトを特定するURLなどの情報である。リクエスト時刻1004は、リクエストを送信する時刻タイミングを定義する情報である。例えば、「毎日0時」に設定する。クエリ1005は、リクエストを送信する際に、URL属性取得先240に渡すデータである。ブラックリスト候補221に含まれるURLなどを設定する。
URL属性1006は、このリクエストにより取得するURL属性の内容の形式を定義した情報である。図10に示した例では、レピュテーションサイト112に悪性サイト111として登録されているかどうかを取得し、登録されている場合は1、登録されていない場合は0として保存することを表す。利用モジュール1007は、リクエストを送信するのに利用するモジュールを表す。
図11を参照して、URL属性リスト305の例を説明する。URL属性リスト305は、リクエストID1101、リクエスト説明1102、URL属性値1103などを含む。悪性URLごとに、これらの項目1101〜1103に対応する値を格納する。リクエストID1101は、リクエスト定義リスト306を識別する識別子である。リクエスト説明1102は、リクエスト定義リスト306に含まれるリクエスト説明1002と同じ内容である。
URL属性値1103は、リクエスト制御モジュール301がリクエスト先から取得したレスポンスを、レスポンス整形モジュール302が整形した後のデータである。例えば、URL属性値1103の一行目(リクエストID1101がR001に対応する行)は、該当する悪性URLがレピュテーションサイト112に登録されていることを示す。
図12を参照して、セグメントルール420の例を説明する。セグメントルール420は、URL属性値1201とスコア1202の対応が定義されて、予め設定されている。図12に示した例は、危険度算出に関するひとつのURL属性のセグメントルールを示しているが、リクエスト定義(リクエストID)ごとに同様の項目が定義される。
図12に示した例では、レピュテーションサイト112へのリクエストで得られた悪性サイト111の種別に関するスコアが定義されており、URL属性のひとつである悪性サイト111の種別が「リダイレクト」の場合は1、「攻撃サイト」の場合は2、といったスコアが定義されている。ここで、スコア1202の数値は危険度を表している。
このように、セグメントルールを定義することで、もともと数値として表されていないURL属性値を数値化できる。この例では文字列からスコアである数値への対応を定義しているが、数値の範囲に対し、スコアとして1つの数値が定義されてもよい。例えば、レピュテーションサイト112の登録数が0から10の場合は1、11から20の場合は2というスコアが定義されてもよい。
図13を参照して、重み付けルール430の例を説明する。重み付けルール430は、リクエストID1301と重み1302などを含む。リクエストID1301は、リクエスト定義リスト306で定義されたリクエストIDである。
重み1302は、各リクエストIDの重要度に応じて割り振られる数値である。図13Aに示した例では、リクエストID1301のR001により得られたURL属性に1、R002により得られたURL属性に3の重みがそれぞれ与えられている。これらの重みは、危険度を算出する際に、R002から得られたURL属性をR001から得られたURL属性より3倍の重要度で評価することを意味する。
図13Bに示した例は、統合リスクを算出する際に利用する重み付けルール430の例である。この例では、危険度に3が、活動度に2が、新鮮度に1が、アクセス可能性に1が、重みとして与えられている。セグメントルール420と重み付けルール430は、URL属性値から評価指標を算出するために利用される。2種類のルールを組み合わせることで、表現可能なルールを増やすことも可能となる。
図14Aと図14Bを参照して、ブラックリスト選択ルール503の例を説明する。ブラックリスト選択ルール503はホワイトルールとブラックルールから構成される。図14Aに示したホワイトルールは、ブラックリストを選択するさいに、URLスコアにかかわらず、優先的にブラックリストから除外する条件を定義したものである。ホワイトルールは、URL属性とその値を指定する形で表現される。図14Aに示した例は、リクエストIDが004のリクエストにより得られるURL属性、すなわちURLに対するHTTPコードが「404」の場合、優先的にブラックリストから除外するというルールを表す。
図14Bに示したブラックルールは、ブラックリストを選択するさいに、URLスコアにかかわらず、優先的にブラックリストに登録する条件を定義したものである。ブラックルールは、URL属性とその値を指定する形で表現される。図14Bに示した例は、リクエストIDが004のリクエストにより得られるURL属性、すなわちURLに対するHTTPコードが「200」の場合は、優先的にブラックリストへ含めるというルールを表す。
図15を参照して、スコアリング制御モジュール401の処理フローの例を説明する。この処理フローは、ひとつの悪性URLに対して、統合リスクを算出するまでの処理を表す。スコアリング制御モジュール401は、ブラックリスト候補221に含まれるすべての悪性URLに対して、図15に示した処理フローを実行する。ステップ1501において、スコアリング制御モジュール401は、URL属性リスト305を検索し、悪性URLに対応するURL属性の集合を読み込む。
ステップ1502において、スコアリング制御モジュール401は、セグメントルール420を参照し、URL属性をスコアに変換する。URL属性が、レピュテーションサイト112の登録の有無(0または1)のようにあらかじめ数値データであり、変換の必要がない場合は、URL属性そのものをスコアとして利用する。一方、悪性サイト111の種別(「リダイレクトサイト」など)のようにカテゴリカルデータの場合などは、セグメントルールに従って、スコアに変換する。
ステップ1503において、スコアリング制御モジュール401は、重み付けルール430を参照し評価指標を算出する。評価指標には、危険度、活動度、新鮮度、アクセス可能性などの種類がある。ここでは、図13Aに示したリクエストID1301のR001の重み1302は1、R002の重み1302は3である例を用いて、危険度の評価指標の算出方法を説明する。
リクエストID1301のR001に対応するスコアが3、R002に対応するスコアが5と仮定すると、危険度は、スコアと重みの乗算値を加算し、各重み1302を考慮した平均として、
(1×3+3×5)÷(1+3)=4.5
となる。評価指標を算出した後、ステップ1504に進む。
ステップ1504において、スコアリング制御モジュール401は、統合リスクを算出する。統合リスクは、各評価指標の値の重みを考慮した平均値として算出される。図13Bに示したように、危険度の重みは3、活動度の重みは2、新鮮度の重み1、アクセス可能性の重みが1であり、危険度の評価指標が4、活動度の評価指標が10、新鮮度の評価指標が3、アクセス可能性の評価指標が2でるとする。
これらの数値に対する統合リスクは、
(3×4+2×10+1×3+1×2)÷(3+2+1+1)=5.3
となる。なお、この例では、危険度の評価指標は小数点以下が切り捨てられ、統合リスクは小数点以下2桁が四捨五入されているが、このような数値の表現に限定されるものではない。そして、スコアリング制御モジュール401は、統合リスクを算出した後、処理を終了する。
図16を参照して、ブラックリスト選択モジュール501の処理フローの例を説明する。この処理の目的は、ブラッククリスト候補221に含まれる悪性URLを、URL属性リスト305、URLスコアリスト403に基き、対策システム230の各対策機器に設定するかどうかを決めることである。ここでは、便宜上、対策機器はプロキシサーバ121とログ解析サーバ122に限定して説明する。ある悪性URLは、フィルタリスト231に登録される第1のパタンか、照合リスト232に登録される第2のパタンか、どちらのリストにも登録されない第3のパタンかのいずれかのパタンに分類される。
ステップ1601において、ブラックリスト選択モジュール501は、ブラックリス候補に含まれるすべての悪性URLに対応するURL属性リスト305とURLスコアリスト403を読み込む。ステップ1602において、ブラックリスト選択モジュール501は、ブラックリスト候補221に含まれる悪性URLのうち、ブラックリスト選択ルール503のいずれかのホワイトルールと一致する悪性URLを除外する。除外された悪性URLは第3のパタンに該当することになる。第3のパタンに該当する悪性URLの除外が完了した後、ステップ1603に進む。
ステップ1603において、ブラックリスト選択モジュール501は、除外後の残りの悪性URLの数が、フィルタリスト231の予め設定された上限値を超えるか判定し、超える場合はステップ1604へ進み、超えない場合はステップ1609へ進む。ステップ1609において、ブラックリスト選択モジュール501は、除外後の残りのブラックリスト候補221内の悪性URLを、フィルタリスト231に設定する。これは第1のパタンに該当する。
ステップ1604において、ブラックリスト選択モジュール501は、ブラックリスト選択ルール503のいずれかのブラックルールに一致する悪性URLを抽出する。ステップ1605において、ブラックリスト選択モジュール501は、ブラックルールに一致し抽出された悪性URLの数が、フィルタリスト231の予め設定された上限値を超えるか判定し、超える場合はステップ1606へ進み、超えない場合はステップ1610へ進む。ステップ1610において、ブラックリスト選択モジュール501は、ブラックリスト候補221からブラックルールに一致して抽出されたすべての悪性URLをフィルタリスト231に設定する。これは、第1のパタンに該当する。
ステップ1606において、ブラックリスト選択モジュール501は、ブラックルールに一致するブラックリスト候補221内の悪性URLを、統合リスクの大きい順にフィルタリスト231へ設定する。これは、第1のパタンに該当する。この設定の過程において、予め設定された上限値を超えた場合、低い統合リスクの悪性URLはフィルタリスト231に登録されない。高い統合リスクの悪性URLをフィルタリスト231に設定した後、ステップ1607に進む。
ステップ1607において、ブラックリスト選択モジュール501は、残りのブラックリスト候補221が照合リスト232の予め設定された上限値を超えるか判定する。すなわち、ステップ1607において、ブラックリスト選択モジュール501は、ブラックルールに一致しなかった悪性URLおよび一致したがフィルタリスト231の上限を超えたためにフィルタリスト231に設定できないブラックリスト候補221内の悪性URLの数が、照合リスト232の予め設定された上限値を超えるかを判定する。その判定の結果として、超える場合はステップ1608へ進み、超えない場合はステップ1611に進む。
ステップ1611において、ブラックリスト選択モジュール501は、残りすべてのブラックリスト候補221を照合リスト232に設定し、処理を終了する。この設定は、第2のパタンに該当する。ステップ1608において、ブラックリスト選択モジュール501は、統合リスクの大きい順に悪性URLを照合リスト232に設定する。この設定は、第2のパタンに該当する。この設定の過程において、予め設定された上限値を超えた場合、低い統合リスクの悪性URLは照合リスト232に登録されない。これは、第3のパタンに該当する。そして、照合リスト232へ設定した後、処理を終了する。
なお、図2と図16を用いた以上の説明では、プロキシサーバ121が有するフィルタリスト231へブラックリストを設定すると説明したが、フィルタリスト231の代わりに、ファイアウォール130が有するフィルタリスト233へブラックリストを設定し、インターネット110とイントラネット120との間の通信をフィルタリングしてもよい。また、悪性サイトを識別するため、URLの代わりにシグネチャを用い、対策システム230においてIDS/IPSが実現されてもよい。
以上で説明したように、悪性URL生成元およびURL属性取得先の複数の情報源から悪性サイトに関する情報を得て、リスクを算出し、ブラックリストを更新できるため、マルウェア配布サイト以外も含めた悪性サイト一般に対して、ブラックリストを管理することができる。また、悪性サイトの種別やURL属性取得先などに応じたリスクの数値化が可能であり、数値化のルールも多様化が可能である。さらに、複数種類の対策システムそれぞれへリスクに応じたブラックリストを提供することが可能になる。
110:インターネット
111:悪性サイト
112:レピュテーションサイト
120:イントラネット
121:プロキシサーバ
124:ブラックリスト管理サーバ
126:クライアント
230:対策システム
240:URL属性取得先

Claims (11)

  1. サーバにおける、ネットワークサイトが登録されるブラックリストの管理方法であって、
    前記サーバは、第2の情報の候補とスコア値とを対応付けて格納するセグメントルールと、複数の情報源それぞれの候補とスコア値に重み付けする値とを格納する重み付けルールと、を有し、
    前記サーバは、ネットワークサイトを特定する第1の情報を取得
    前記サーバは、前記取得した第1の情報に基づき、前記特定されたネットワークサイトに関する第2の情報を前記複数の情報源から取得
    前記サーバは、前記取得した第2の情報に対応する候補を前記セグメントルールの中で特定し、
    前記サーバは、前記特定した候補に対応するスコア値を取得し、
    前記サーバは、前記取得の元となる情報源に対応する候補を前記重み付けルールの中で特定し、
    前記サーバは、前記特定した候補に対応する重み付けする値を前記取得したスコア値へ乗算して、前記特定されたネットワークサイトのリスクを算出し、
    前記サーバは、前記算出したリスクに基づき、前記ブラックリストを更新すること
    特徴とするブラックリストの管理方法。
  2. 前記第1の情報は、URLまたはIPアドレスであること
    を特徴とする請求項1に記載のブラックリストの管理方法。
  3. 前記第2の情報は、前記特定されたネットワークサイトの種別を含むこと
    を特徴とする請求項1に記載のブラックリストの管理方法。
  4. 前記複数の情報源は、複数のネットワークサイトであること
    を特徴とする請求項1に記載のブラックリストの管理方法。
  5. 前記複数の情報源は、1つのネットワークサイトに格納された複数の異なる情報であること
    を特徴とする請求項1に記載のブラックリストの管理方法。
  6. 前記情報源となる複数のネットワークサイトは、レピュテーションサイトを含むこと
    を特徴とする請求項4に記載のブラックリストの管理方法。
  7. 前記サーバは、前記情報源となるネットワークサイトのアドレスと、前記取得した第1の情報とを格納するリクエスト定義リストをさらに有し、
    前記サーバは、前記第2の情報を取得するために、前記リクエスト定義リストに格納された情報源となるネットワークサイトのアドレスへ、前記リクエスト定義リストに格納された第1の情報を送信し、前記第2の情報を取得すること
    を特徴とする請求項1に記載のブラックリストの管理方法。
  8. プロキシサーバと管理サーバを含むシステムにおける、ネットワークサイトが登録されるブラックリストの管理方法であって、
    前記管理サーバは、第2の情報の候補とスコア値とを対応付けて格納するセグメントルールと、複数の情報源それぞれの候補とスコア値に重み付けする値とを格納する重み付けルールと、を有し、
    前記管理サーバは、ネットワークサイトを特定する第1の情報を取得
    前記管理サーバは、前記取得した第1の情報に基づき、前記特定されたネットワークサイトに関する第2の情報を前記複数の情報源から取得
    前記管理サーバは、前記取得した第2の情報に対応する候補を前記セグメントルールの中で特定し、
    前記管理サーバは、前記特定した候補に対応するスコア値を取得し、
    前記管理サーバは、前記取得の元となる情報源に対応する候補を前記重み付けルールの中で特定し、
    前記管理サーバは、前記特定した候補に対応する重み付けする値を前記取得したスコア値へ乗算して、前記特定されたネットワークサイトのリスクを算出し、
    前記管理サーバは、前記算出したリスクに基づき、前記プロキシサーバのフィルタリストをブラックリストとして更新すること
    特徴とするブラックリストの管理方法。
  9. 前記管理サーバは、前記情報源となるネットワークサイトのアドレスと、前記取得した第1の情報とを格納するリクエスト定義リストをさらに有し、
    前記管理サーバは、前記第2の情報を取得するために、前記リクエスト定義リストに格納された情報源となるネットワークサイトのアドレスへ、前記リクエスト定義リストに格納された第1の情報を送信し、前記第2の情報を取得すること
    を特徴とする請求項に記載のブラックリストの管理方法。
  10. 前記管理サーバは、前記ブラックリストとして更新するため、前記算出したリスクの小さいネットワークサイトを含まない第1のブラックリストを前記プロキシサーバへ送信し、
    前記プロキシサーバは、前記第1のブラックリストを受信し、前記フィルタリストへ設定するこ
    を特徴とする請求項に記載のブラックリストの管理方法。
  11. 前記システムは、照合リストに基づきログを解析するログ解析サーバをさらに含み、
    前記管理サーバは、前記第1のブラックリストに含まれないネットワークサイトを含む第2のブラックリストを前記ログ解析サーバへ送信
    前記ログ解析サーバは、前記第2のブラックリストを受信し、前記照合リストへ設定するこ
    を特徴とする請求項10に記載のブラックリストの管理方法。
JP2015023423A 2015-02-09 2015-02-09 ブラックリストの管理方法 Expired - Fee Related JP6408395B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015023423A JP6408395B2 (ja) 2015-02-09 2015-02-09 ブラックリストの管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015023423A JP6408395B2 (ja) 2015-02-09 2015-02-09 ブラックリストの管理方法

Publications (2)

Publication Number Publication Date
JP2016146114A JP2016146114A (ja) 2016-08-12
JP6408395B2 true JP6408395B2 (ja) 2018-10-17

Family

ID=56686385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015023423A Expired - Fee Related JP6408395B2 (ja) 2015-02-09 2015-02-09 ブラックリストの管理方法

Country Status (1)

Country Link
JP (1) JP6408395B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6418423B2 (ja) * 2017-03-23 2018-11-07 日本電気株式会社 通信システム、通信方法及びプログラム
JP2018163535A (ja) * 2017-03-27 2018-10-18 サクサ株式会社 Webページ監視装置および方法
JP6500955B2 (ja) * 2017-08-31 2019-04-17 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法
JP6857627B2 (ja) * 2018-03-07 2021-04-14 株式会社日立製作所 ホワイトリスト管理システム
JP6504300B1 (ja) * 2018-04-19 2019-04-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
US10904283B2 (en) * 2018-06-19 2021-01-26 AO Kaspersky Lab System and method of countering an attack on computing devices of users
JP7020362B2 (ja) * 2018-10-10 2022-02-16 日本電信電話株式会社 探索装置、探索方法及び探索プログラム
JP6614321B2 (ja) * 2018-12-28 2019-12-04 キヤノンマーケティングジャパン株式会社 情報処理システム、アクセス中継装置、その制御方法、及びプログラム
JP2021090106A (ja) * 2019-12-02 2021-06-10 株式会社日立製作所 制御機器ネットワーク用ルール管理装置および制御機器ネットワーク用ルール管理方法
WO2022130544A1 (ja) * 2020-12-16 2022-06-23 日本電信電話株式会社 分類装置、分類方法、および、分類プログラム
CN113395277B (zh) * 2021-06-10 2023-04-07 工银科技有限公司 动态调整准黑名单和黑名单方法、装置、系统及介质
CN113965403B (zh) * 2021-11-02 2023-11-14 北京天融信网络安全技术有限公司 一种ip黑名单的处理方法及装置、存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301891A (ja) * 2004-04-15 2005-10-27 Ntt Docomo Inc アクセス制御装置、情報提供システム及びアクセス制御方法
JP5003556B2 (ja) * 2008-03-28 2012-08-15 富士通株式会社 通信検知装置、通信検知方法、及び通信検知プログラム
US8584233B1 (en) * 2008-05-05 2013-11-12 Trend Micro Inc. Providing malware-free web content to end users using dynamic templates
JP5580261B2 (ja) * 2011-08-12 2014-08-27 株式会社野村総合研究所 セキュリティ評価支援装置、およびセキュリティ評価支援方法
JP5719054B2 (ja) * 2014-03-19 2015-05-13 エヌ・ティ・ティ・コミュニケーションズ株式会社 アクセス制御装置、アクセス制御方法、およびアクセス制御プログラム

Also Published As

Publication number Publication date
JP2016146114A (ja) 2016-08-12

Similar Documents

Publication Publication Date Title
JP6408395B2 (ja) ブラックリストの管理方法
CN110730175B (zh) 一种基于威胁情报的僵尸网络检测方法及检测系统
KR101512253B1 (ko) 링크의 평판을 판정하여 미지의 악성 활동으로부터 보호하는 방법 및 시스템
US11310201B2 (en) Network security system with enhanced traffic analysis based on feedback loop
US20130167236A1 (en) Method and system for automatically generating virus descriptions
RU2677361C1 (ru) Способ и система децентрализованной идентификации вредоносных программ
WO2017160772A1 (en) Using private threat intelligence in public cloud
US20200106790A1 (en) Intelligent system for mitigating cybersecurity risk by analyzing domain name system traffic
CN111600856A (zh) 数据中心运维的安全系统
CN104509034A (zh) 模式合并以识别恶意行为
JP6717206B2 (ja) マルウェア対策装置、マルウェア対策システム、マルウェア対策方法、及び、マルウェア対策プログラム
CN109074454A (zh) 基于赝象对恶意软件自动分组
US11374946B2 (en) Inline malware detection
US20200106791A1 (en) Intelligent system for mitigating cybersecurity risk by analyzing domain name system traffic metrics
JP5739034B1 (ja) 攻撃検知システム、攻撃検知装置、攻撃検知方法および攻撃検知プログラム
CN111510463B (zh) 异常行为识别系统
CN110417578B (zh) 一种异常ftp连接告警处理方法
JP2011193343A (ja) 通信ネットワーク監視システム
JP6294847B2 (ja) ログ管理制御システムおよびログ管理制御方法
JP6106861B1 (ja) ネットワークセキュリティ装置、セキュリティシステム、ネットワークセキュリティ方法、及びプログラム
US10462158B2 (en) URL selection method, URL selection system, URL selection device, and URL selection program
WO2015097889A1 (ja) 情報処理装置及び情報処理方法及びプログラム
TWI640891B (zh) 偵測惡意程式的方法和裝置
KR101267953B1 (ko) P2P 및 웹하드 사이트 모니터링을 통한 악성코드 배포방지 장치 및 DDoS 예방 방법
JP2020129162A (ja) 通信制御装置、通信制御方法及び通信制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180920

R150 Certificate of patent or registration of utility model

Ref document number: 6408395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees