JPWO2018066221A1 - 分類装置、分類方法及び分類プログラム - Google Patents

分類装置、分類方法及び分類プログラム

Info

Publication number
JPWO2018066221A1
JPWO2018066221A1 JP2018543756A JP2018543756A JPWO2018066221A1 JP WO2018066221 A1 JPWO2018066221 A1 JP WO2018066221A1 JP 2018543756 A JP2018543756 A JP 2018543756A JP 2018543756 A JP2018543756 A JP 2018543756A JP WO2018066221 A1 JPWO2018066221 A1 JP WO2018066221A1
Authority
JP
Japan
Prior art keywords
communication
classification
numerical
vectors
communication destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018543756A
Other languages
English (en)
Other versions
JP6674036B2 (ja
Inventor
俊樹 芝原
俊樹 芝原
毅 八木
毅 八木
満昭 秋山
満昭 秋山
雄太 高田
雄太 高田
大紀 千葉
大紀 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2018066221A1 publication Critical patent/JPWO2018066221A1/ja
Application granted granted Critical
Publication of JP6674036B2 publication Critical patent/JP6674036B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/552Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/56Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/567Computer malware detection or handling, e.g. anti-virus arrangements using dedicated hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034Test or assess a computer or a system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

分類装置(1)は、入力された複数の通信における通信先が通信の発生順に記録されている系列データを、特徴が類似する集合に分類する分類装置であって、複数の通信における通信先が通信の発生順に記録されている系列データに基づいて、通信先ごとに通信先の特性を表す数値ベクトルを算出する数値ベクトル算出部(14)と、数値ベクトルの通信先の順序関係に基づいて、系列データを、特徴が類似する集合へ分類する分類部(15)と、を有する。

Description

本発明は、分類装置、分類方法及び分類プログラムに関する。
端末にマルウェアを感染させるドライブバイダウンロード攻撃は、改ざんされた有名サイトにアクセスしたユーザを、リダイレクトやコンテンツの取得による転送を繰り返すことによって、複数のURLを経由して攻撃コードが配置されているURLに誘導する。そして、ドライブバイダウンロード攻撃は、ユーザを攻撃コードが配置されているURLに誘導した後に、ブラウザやプラグインの脆弱性を悪用することによって、マルウェアをユーザにインストールさせる。
従来、悪性サイトを検知するために、ハニークライアントと呼ばれるおとりのシステムが用いられている。ハニークライアントでは、不正なプロセスやファイルシステムへのアクセス(例えば、非特許文献1参照)や、シグネチャやヒューリスティック(例えば、非特許文献2参照)に基づいて悪性サイトを検知している。すなわち、ハニークライアントの目的は、ウェブサイトを解析し悪性サイトを検知することである。
また、通信ログに含まれる悪性サイトへの通信検知に適用可能な手法として、ウェブコンテンツやリダイレクトに着目した手法が多く研究されている(例えば、非特許文献3,4参照)。さらに、攻撃に用いられるコンテンツのリダイレクト元になるURLを特定することによって、効率的にハニークライアントで解析する手法も提案されている(例えば、非特許文献5参照)。これらの手法では、悪性コードの特定や、リダイレクト関係の特定のために、コンテンツの解析が必要となる。
また、悪性ウェブサイトのドメインやURLに着目している研究として、ドメインと対応するIPアドレスの使用方法に着目した手法(例えば、非特許文献6参照)や、フィッシングサイトで用いられるURLに着目した手法(例えば、非特許文献7参照)が提案されている。これらの手法は、一つのドメインやURLに対して、識別を行っている。
M. Akiyama, M. Iwamura, Y. Kawakoya, K. Aoki, and M. Itoh, "Design and Implementation of High Interaction Client Honeypot for Drive-by-Download Attacks", IEICE transactions on communications, Vol. E93-B, pp. 1131-1139, 2010. J. Nazario, "PhoneyC: A Virtual Client Honeypot", LEET, vol. 9, pp. 911-919, 2009. C. Curtsinger, B. Livshits, B. Zorn, and C. Seifert, "ZOZZLE: Fast and Precise In-Browser JavaScript(登録商標) Malware Detection", In Proceedings of the 20th USENIX Security Symposium, pp. 33-48, 2011. J. Zhang, C. Seifert, J. W. Stokes, and W. Lee, "Arrow: Generating Signatures to Detect Drive-By Downloads", In Proceedings of the 20th international conference on World wide web, pp. 187-196, 2011. T. Taylor, K. Z. Snow, N. Otterness, and F. Monrose, "Cache, Trigger, Impersonate: Enabling Context-Sensitive Honeyclient Analysis On-the-Wire", In Proceedings of the 23rd Annual Network and Distributed System Security Symposium, 2016. M. Antonakakis, R. Perdisci, D. Dagon, W. Lee, and N. Feamster, "Building a Dynamic Reputation System for DNS." In Proceedings of the 19th USENIX Security Symposium, pp. 273-290, 2010. J. Ma, L. K. Saul, S. Savage, and G. M. Voelker, "Beyond Blacklists: Learning to Detect Malicious Web Sites from Suspicious URLs", In Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1245-1254, 2009.
従来、悪性サイトによるマルウェア感染を防止するために、悪性URLや悪性ドメインのブラックリストを用いた通信遮断が行われている。これに対し、攻撃者は、ブラックリストを用いた対策を回避するために、悪性サイトに使用するドメインの頻繁な変更や、攻撃コードの隠蔽を実施している。
具体的には、攻撃者は、攻撃対象と一致するブラウザやプラグインの種類やバージョンのユーザにのみ攻撃コードを提示し、その他のユーザには提示しないことによって、攻撃コードの隠蔽を実行している。この結果、ユーザが悪性サイトにアクセスする前に悪性サイトを検知してブラックリストに記載することが困難となっている。
このため、マルウェアに感染した端末を通信ログから検知する対策が注目されている。なお、通信ログから感染端末を検知する方法は、マルウェア感染時の通信を検知する方法と、マルウェアが発生させる通信を検知する方法に大別できる。
ここで、企業のような大規模なネットワークで記録可能な通信ログは、プロキシログのような通信先の系列データである。しかしながら、このログにはコンテンツが含まれないため、コンテンツ解析が必要となるウェブコンテンツやリダイレクトに着目した手法を適用できない。また、URLやドメインに着目して悪性判定を実施する手法も提案されているものの、一つのURLやドメインから得られる情報は少ないため、正確に判定することは困難であると考えられる。
本発明は、上記に鑑みてなされたものであって、通信ログから、攻撃を精度よく検知することができる分類装置、分類方法及び分類プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る分類装置は、複数の通信における通信先が通信の発生順に記録されている系列データに基づいて、通信先ごとに通信先の特性を表す数値ベクトルを算出する数値ベクトル算出部と、数値ベクトルの通信先の順序関係に基づいて、系列データを、特徴が類似する集合へ分類する分類部と、を有する。
本発明によれば、通信ログから、攻撃を精度よく検知することができる。
図1は、実施の形態に係る分類装置の概略構成を示す模式図である。 図2は、図1に示す分類装置に入力される対象通信ログの例を示す図である。 図3は、図1に示す分類装置に入力される既知通信ログの例を示す図である。 図4は、図1に示す通信先系列抽出部の処理を説明する図である。 図5は、図1に示す数値ベクトル算出部の処理を説明する図である。 図6は、数値ベクトルの内容を示す図である。 図7は、図1に示す分類部による数値ベクトルの統合および作成の仕方の一例を示す図である。 図8は、図1に示す分類部による数値ベクトルの統合および作成の仕方の一例を示す図である。 図9は、第1層から第3層に対応させて、分類部による数値ベクトルの統合および作成例を示す図である。 図10は、実際の数値を用いて、分類部による数値ベクトルの統合および作成例を示す図である。 図11Aは、一定範囲内に含まれる複数の数値ベクトルのうちの2つの数値ベクトルからの新たな数値ベクトルの統合例を示す図である。 図11Bは、一定範囲内に含まれる複数の数値ベクトルのうちの2つの数値ベクトルからの新たな数値ベクトルの統合例を示す図である。 図12は、各数値ベクトルの番号と悪性または良性とを示す記号と、各数値ベクトルの通信先と、攻撃に利用されやすいか否かとの対応を示す図である。 図13は、一定範囲内に含まれる複数の数値ベクトルのうちの2つの数値ベクトルからの新たな数値ベクトルの統合例を示す図である。 図14は、本実施の形態に係る分類モデル作成処理の処理手順を示すフローチャートである。 図15は、本実施の形態に係る分類モデルを用いた分類の処理手順を示すフローチャートである。 図16は、プログラムが実行されることにより、分類装置が実現されるコンピュータの一例を示す図である。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[実施の形態]
まず、実施の形態に係る分類装置について、概略構成、分類処理の流れ及び具体例を説明する。攻撃によってマルウェアに感染した端末の通信ログには、この攻撃に関係するURLへの一連のアクセスがアクセスした順番で含まれている。そこで、本実施の形態では、通信ログについて、通信先の系列データに含まれる複数の通信先の関係性に基づいて通信先系列を分類することによって、通信ログからドライブバイダウンロード攻撃を実行する悪性サイトへの通信が含まれているか分類している。
図1は、実施の形態に係る分類装置の概略構成を示す模式図である。図1に示すように、実施の形態に係る分類装置1は、対象通信ログ入力部11、既知通信ログ入力部12、通信先系列抽出部13、数値ベクトル算出部14及び分類部15を有する。
対象通信ログ入力部11は、分類対象の通信ログを入力として許容する。通信ログは、通信先とその順序関係とが記録されたものである。既知通信ログ入力部12は、悪性であることが既知である既知悪性通信ログと、良性であることが既知である既知良性通信ログと、を入力として許容する。
通信先系列抽出部13は、通信ログから、連続する複数の通信の通信先を、分類に用いる系列データとして抽出する。系列データは、複数の通信における通信先が通信の発生順に記録されたものである。
数値ベクトル算出部14は、系列データに基づいて、通信先ごとに通信先の特性を表す数値ベクトルを算出する。
分類部15は、数値ベクトル算出部14によって算出された数値ベクトルの通信先の順序関係に基づいて、系列データを、特徴が類似する集合へ分類する。分類部15は、数値ベクトル算出部14によって算出された数値ベクトルを基に、系列データ中の複数の数値ベクトルを統合して新たな数値ベクトルを算出し、新たに算出された複数の数値ベクトルから数値ベクトルの次元ごとに新たな値を算出することによって、少数の数値ベクトルを作成する。数値ベクトルの統合と作成を複数回繰り返した後に作成された数値ベクトルは、例えば、決定木、サポートベクターマシン、ニューラルネットワーク等の機械学習手法を用いて良性或いは悪性のいずれかに分類される。なお、機械学習手法は、上記に限らない。
[分類対象の通信ログの入力例]
図2は、図1に示す分類装置1に入力される対象通信ログの例を示す図である。図2に示すように、識別対象の通信ログは、通番と通信先の情報とを含む。通番については、同一の通信ログに含まれる通信先には同一の番号が与えられる。また、通信先の情報として、URLが考えられるが、これに限るものではなく、FQDN、ドメイン、ホスト名等でもよい。通信ログは、通信が発生した時刻、送信元等の情報を含んでいてもよい。通信先の情報は、アクセスされた順番に記録されているか、順番が分かる情報が付加されている必要がある。
[既知悪性通信ログと既知良性通信ログとの入力例]
図3は、図1に示す分類装置1に入力される既知通信ログの例を示す図である。既知通信ログは、通番、ラベル、通信先の情報を含む。通番については、同一の通信ログに含まれる通信先には同一の番号が与えられる。また、通信先の情報として、URLが考えられるが、これに限るものではなく、FQDN、ドメイン、ホスト名等でもよい。ラベルは、図3で示した「良性」や「悪性」に限るものではなく、「広告」、「Drive-by-Download」、「Phishing」等でもよい。通信ログは、通信が発生した時刻、送信元等の情報を含んでいてもよい。通信先は、アクセスされた順番に記録されているか、順番が分かる情報が付加されている必要がある。
[通信先系列抽出部の処理]
次に、通信先系列抽出部13の処理について説明する。図4は、図1に示す通信先系列抽出部13の処理を説明する図である。通信先系列抽出部13は、通信ログ(図4の(a)参照)の同一の通番に含まれる通信先から、複数の通信先を抽出して通信先系列(図4の(b)参照)を作成する。このとき、通信先系列抽出部13は、通信先をそのまま抽出してもよいが、通信先の一部のみを抽出してもよい。ただし、通信先系列抽出部13が抽出する通信先の形式は同一である必要がある。
例えば、通信先系列抽出部13は、通信が発生した順番に、通番「1」に含まれる通信先(図4の(a)参照)の中から5つの通信先を抽出する(図4の(b)参照)。具体的には、通信先系列抽出部13は、通番「1」に含まれる通信先(図4の(a)参照)の中から、1行目から5行目の5つの通信先「a.example/index.html」〜「c.example/malware.exe」を抽出する(図4の(b)参照)。このとき、通信先系列抽出部13は、抽出された通信先系列に新たに重複がないように通番を振りなおす。例えば、通信先系列抽出部13は、抽出した5つの通信先「a.example/index.html」〜「c.example/malware.exe」に対し、通番「1」を振り直す(図4の(b)参照)。
続いて、通信先系列抽出部13は、通番「1」に含まれる通信先(図4の(a)参照)の中から、2行目から6行目の5つの通信先「a.example/script.js」〜「d.example/index.html」を抽出する(図4の(b)参照)。そして、通信先系列抽出部13は、抽出したこの通信先「a.example/script.js」〜「d.example/index.html」に対し、通番「2」を振り直す(図4の(b)参照)。
また、通信先系列抽出部13は、通信ログに時刻情報が含まれている場合には、一定時間内に発生した通信を抽出することや、通信の発生間隔から関連の高い通信先を推定しそれらを抽出することもできる。さらに、通信先系列抽出部13は、通信ログに送信元が含まれている場合には、同一である送信元の通信先のみ抽出することもできる。これらの方法によって、分類装置1では、通信先系列に一つのウェブサイトへのアクセスで発生した通信の通信先が含まれるようにすることで、分類が容易になり分類精度を向上させることができる。なお、通信先系列抽出部13は、通信ログにラベルが付与されている場合には、同一のラベルを通信先系列にも付与する。
[数値ベクトル算出部の処理]
次に、数値ベクトル算出部14の処理について説明する。図5は、図1に示す数値ベクトル算出部14の処理を説明する図である。図6は、数値ベクトルの内容を示す図である。
数値ベクトル算出部14は、例えば、図5の(a)に示す通信先の系列データに対し、通信先の系列データから通信先ごとに数値ベクトルを算出し、数値ベクトルの系列データ(例えば、図5の(b)参照)を出力する。数値ベクトルの内容は、図6で示すように、「セカンドレベルドメインが共通なドメインに対応するIPアドレス数」、「セカンドレベルドメインが共通なドメインに対応する国数」、「IPアドレスの運用者が同一のドメインの長さの平均」、「URLの長さ」、「悪性なパターンの出現」、「ポート番号の出現」がある。もちろん、数値ベクトルの内容は、図6に示す内容に限らず、例えば、「ブラックリストへの記載あり」、「IPアドレスの出現」等でもよい。
[分類部の処理]
図7及び図8は、図1に示す分類部15による数値ベクトルの統合および作成の仕方の一例を示す図である。図7では、第1層から第5層に対応する数値ベクトルを丸印で示し、統合に用いる数値ベクトルの結合を示す矢印を破線で示し、作成に用いる数値ベクトルとの結合を示す矢印を実線で示す。
図7の例では、分類部15は、第2層及び第4層において、前層の複数の数値ベクトルを統合し新たな数値ベクトルを算出する。分類部15は、新たな数値ベクトルの各次元の値として、統合に用いる数値ベクトルの全ての値、または、その一部を用いて算出する。なお、新たな数値ベクトルの次元数は、統合前の数値ベクトルと異なっていてもよい。ただし、新たな数値ベクトルの次元数は、各統合で同一でなければならない。
そして、図7の第3層及び第5層において、分類部15は、少数の数値ベクトルを作成する。なお、作成された数値ベクトルの次元は前層の数値ベクトルの次元と同一でなければならない。分類部15は、数値ベクトルの作成において、結合が存在する前層の数値ベクトルを用い、各次元において、最大値、最小値、平均等を算出することで、新たな数値ベクトルを作成する。
分類部15は、図7に示されているように、数値ベクトルの統合と作成とを繰り返し実施する。分類部15は、数値ベクトルの統合と作成とを繰り返し実施することによって、局所的な情報から徐々に系列データ全体の情報を抽出することができる。言い換えると、分類部15は、系列データの局所的な特性を考慮して、系列データ全体の特性を示す数値ベクトルを算出することができる。
具体的には、図7の第3層の一番下の数値ベクトルは、結合を逆にたどると、ハッチングが施された各数値ベクトルの値をもとに算出されていることが分かる。つまり、分類部15は、第3層の一番下の数値ベクトルを作成することによって、第1層の中心の数値ベクトルと第1層の一番下の数値ベクトルとの局所的な情報を抽出している。
同様に、第5層の一番下の数値ベクトルは、図8のハッチングが施された数値ベクトルの値をもとに算出される。つまり、分類部15は、第5層の一番下の数値ベクトルを作成することによって、系列全体の情報を抽出している。
図9及び図10を参照し、より具体的に、分類部15の処理について説明する。図9は、第1層から第3層に対応させて、分類部15による数値ベクトルの統合および作成例を示す図である。図10は、実際の数値を用いて、分類部15による数値ベクトルの統合および作成例を示す図である。
例えば、図9に示すように、分類部15は、第1層から第2層における統合処理を行う。この場合について説明する。この場合、分類部15は、統合処理として、以下の(1)式及び(2)式を基に、隣接する2つの数値ベクトルの全ての次元の値を用いて、新たな数値ベクトルの各次元を算出する。
Figure 2018066221
分類部15は、第1層で示された系列データ中の複数の数値ベクトルに対して統合処理を行うことによって、新たに算出した数値ベクトルを第2層の数値ベクトルとして算出する。具体的には、分類部15は、図10の(a)のマトリックスに示された各数値について、それぞれ(1)式及び(2)式を用いて統合処理を行う。分類部15は、例えば、図10の(b)のマトリックスに示すように、統合処理によって新たに算出した各数値に基づいて、第2層の数値ベクトルを求める。
そして、図9に示すように、分類部15は、第2層から第3層における作成処理を行う。分類部15は、第2層から第3層における作成処理として、隣接する2つの数値ベクトルの各次元において最大値を出力する。分類部15は、例えば、以下の(3)式を用いて、隣接する2つの数値ベクトルの各次元において最大値を算出する。
Figure 2018066221
分類部15は、この処理によって、図10の(b)のマトリックスに示す第2層の数値を基に出力した最大値(例えば、図10の(c)のマトリックスを参照)を用いて第3層の数値ベクトルを求める。
図11A及び図11Bは、一定範囲内に含まれる複数の数値ベクトルのうちの2つの数値ベクトルからの新たな数値ベクトルの統合例を示す図である。図11A及び図11Bに示すように、分類部15は、連続するn個の数値ベクトルから2つの数値ベクトルを選択し、これらを統合することで新たな数値ベクトルを算出する。なお、新たな数値ベクトルの各次元の値は、統合に用いる数値ベクトルの全ての値、またはその一部を用いて算出される。また、新たな数値ベクトルの次元数は、統合前の数値ベクトルと異なっていてもよい。ただし、新たな数値ベクトルの次元数は各統合で同一でなければならない。
分類部15は、2つの数値ベクトルから統合を実施することによって、攻撃に関連しない良性な通信先が混在していた場合であっても、攻撃に関連する通信先が、連続するn個の通信先内に存在すれば、攻撃に関連する通信先の数値ベクトルのみを統合することができる。具体的には、図11A及び図11Bに示す数値ベクトルのうち、黒で塗りつぶした丸に対応する数値ベクトルが悪性な通信先に関するものであり、白抜きの丸に対応する数値ベクトルが良性な通信先に関するものである。そして、統合前(左側)の層において、良性な通信先に関する数値ベクトル(白丸)と2番目の悪性な通信先に関する数値ベクトル(黒丸2)との位置が、図11Aと図11Bのように上下で入れ替わっていた場合を考える。
この図11Aと図11Bとのいずれの場合においても、統合後(右側)の層に示すように、分類部15は、1番目及び2番目の悪性な通信先のみに関する数値ベクトルの統合と、2番目及び3番目の悪性な通信先のみに関する数値ベクトルの統合と、を実施している。したがって、分類部15は、攻撃に関連する通信先が連続するn個の通信先内に存在すれば、攻撃に関連する通信先の数値ベクトルのみを統合することができる。
ここで、分類部15は、n個の通信先から2つの数値ベクトルを選択する際には、全ての組み合わせを選択してもよいし、一部の組み合わせだけ選択してもよい。
また、分類部15は、数値ベクトルの統合時に、攻撃に利用されやすいファイルで異なるドメインの2つの通信先等を選択することで、攻撃に関連する可能性の高い通信先の数値ベクトルのみ選択し、攻撃に関連しない通信先の影響を削減できる。図12は、各数値ベクトルの番号と悪性または良性とを示す記号と、各数値ベクトルの通信先と、攻撃に利用されやすいか否かとの対応を示す図である。図13は、一定範囲内に含まれる複数の数値ベクトルのうちの2つの数値ベクトルからの新たな数値ベクトルの統合例を示す図である。
この場合、分類部15は、攻撃に利用されやすく、異なるドメインの2つの通信先を選択する。具体的には、分類部15は、悪性な通信先(図12の黒丸1及び黒丸2、或いは、図12の黒丸2及び黒丸3)のみから統合を行い(図13参照)、それ以外の通信先の統合を実施しないことを実現することができる。
この結果、分類部15は、悪性である通信先のみから統合を行って、少数の数値ベクトルを作成することを複数回繰り返した後に、作成した数値ベクトルを、機械学習手法で分類する。すなわち、分類部15は、悪性である通信先を含む識別対象通信ログに対しては、攻撃に関連しない通信先の影響を削減した数値ベクトルを機械学習手法に入力することができる。したがって、分類部15は、悪性である通信先を含む識別対象通信ログについて、良性な通信先に影響されずに悪性な通信先の順序関係に基づいて分類することができ、分類の精度を向上させることができる。
[分類モデル作成処理の処理手順]
次に、図14及び図15を参照しながら、分類装置1の動作について、より詳細に説明する。分類部15が分類のために用いる分類モデルの作成処理について説明する。なお、分類モデルとは、入力データ(各系列データの数値ベクトル)を入力したときに、識別結果(良性の識別、悪性の識別等)を出力するものである。図14は、本実施の形態に係る分類モデル作成処理の処理手順を示すフローチャートである。
まず、分類装置1では、既知通信ログ入力部12が、既知悪性通信ログと既知良性通信ログとの入力を受付け(ステップS1)、通信先系列抽出部13が、入力された通信ログから、連続する複数の通信の通信先を、分類に用いる系列データとして抽出する通信先抽出処理を行う(ステップS2)。通信先系列抽出部13は、図4を用いて説明した処理を行うことによって、通信先抽出処理を行う。
そして、数値ベクトル算出部14は、系列データに基づいて、通信先ごとに通信先の特性を表す数値ベクトルを算出する数値ベクトル算出処理を行う(ステップS3)。数値ベクトル算出部14は、図5及び図6を用いて説明した処理を行うことによって、数値ベクトル算出処理を行う。
その後、分類部15は、系列データ中の複数の数値ベクトルの統合と作成とを繰り返した後に機械学習手法を用いて分類を実施する(ステップS4)。機械学手法とは、統合と作成とを繰り返した後の数値ベクトルを入力し、分類結果を出力するものである。ステップS4において、分類部15は、図7〜図13を用いて説明した処理を行うことによって数値ベクトルの統合と作成とを実施する。そして、分類部15は、系列データ全体が統合された数値ベクトルを用いて分類結果を算出する。次に、分類部15は、分類結果とラベルとの誤差が小さくなるように、分類モデル、すなわち、統合の仕方及び機械学習手法のパラメータを変更する(ステップS5)。分類部15は、この処理を十分繰り返す。言い換えると、分類部15は、系列データ中の複数の数値ベクトルを統合して新たな数値ベクトルを算出し、新たに算出された複数の数値ベクトルから数値ベクトルの次元ごとに新たな値を算出することによって、少数の数値ベクトルを作成する。そして、分類部15は、分類結果とラベルとの誤差が小さくなる統合の仕方と、演算式と、機械学習手法のパラメータとを分類モデルとして出力する(ステップS6)。
[分類処理の処理手順]
次に、図15を参照して、分類装置1による分類処理について説明する。図15は、実施の形態に係る分類モデルを用いた分類の処理手順を示すフローチャートである。
まず、分類装置1では、対象通信ログ入力部11が、分類対象である対象通信ログの入力を受付け(ステップS11)、通信先系列抽出部13が、入力された通信ログから、連続する複数の通信の通信先を、分類に用いる系列データとして抽出する通信先抽出処理を行う(ステップS12)。通信先系列抽出部13は、図4を用いて説明した処理を行うことによって、通信先抽出処理を行う。
そして、数値ベクトル算出部14は、系列データに基づいて、通信先ごとに通信先の特性を表す数値ベクトルを算出する数値ベクトル算出処理を行う(ステップS13)。数値ベクトル算出部14は、図5及び図6を用いて説明した処理を行うことによって、数値ベクトル算出処理を行う。
その後、分類部15は、対象通信ログに対応する系列データ中の複数の数値ベクトルの統合と作成を繰り返し実施し、最後に系列データ全体が統合された数値ベクトルを機械学習手法に入力して、対象通信ログの分類を実施する(ステップS14)。言い換えると、分類部15は、数値ベクトルの通信先の順序関係に基づいて、対象通信ログに対応する系列データを、特徴が類似する集合(良性或いは悪性)へ分類する。そして、分類部15は、対象通信ログに対する分類結果、すなわち、対象通信ログに対する識別結果(良性の識別、悪性の識別等)を出力する(ステップS15)。
[実施の形態の効果]
ドライブバイダウンロード攻撃によって、マルウェアに感染した端末の通信ログには、この攻撃に関するURLへの一連のアクセスがアクセスした順で含まれている。ここで、本実施の形態では、複数の通信における通信先が通信の発生順に記録されている系列データに基づいて、通信先ごとに通信先の特性を表す数値ベクトルを算出し、数値ベクトルの通信先の順序関係に基づいて、系列データを、特徴が類似する集合へ分類する。このため、本実施の形態を適用することによって、通信ログに含まれる通信先の系列データからドライブバイダウンロード攻撃によってマルウェアに感染した際の通信が含まれているか分類することが可能である。したがって、本実施の形態によれば、マルウェア感染時の通信を検知することによって、マルウェアによる被害が発生する前に、通信ログから、攻撃を精度よく検知することができる。
また、本実施の形態は、通信先の系列データに含まれるドライブバイダウンロード攻撃に関する複数のURLへのアクセスの順序関係に着目し、ドライブバイダウンロード攻撃で発生する悪質なリダイレクトの特徴を捉えることで分析精度を向上させている。すなわち、本実施の形態では、1つの通信先ではなく、複数の通信先の関係、特性を考慮して分類を行っており、これらの複数の通信先から十分な情報が得られる。このため、本実施の形態は、一つの通信先から情報を得ていた従来手法よりも、分類精度を向上させることができる。実際に、本実施の形態を適用して行った実験では、分類精度の向上が確認できた。
また、本実施の形態では、通信先系列抽出部13が、通信先とその順序関係とが記録されたログから、連続する複数の通信の通信先を系列データとして抽出するため、コンテンツ解析が不要である。したがって、本実施の形態は、コンテンツが記録されていない大規模なネットワークで記録された通信ログに対しても適用可能である。
また、本実施の形態では、分類部15は、系列データ中の複数の数値ベクトルを統合して新たな数値ベクトルを算出することと、新たに算出された複数の数値ベクトルから数値ベクトルの次元ごとに新たな値を算出して少数の数値ベクトルを作成することと、を繰り返している。したがって、本実施の形態によれば、系列データの局所的な特性を考慮して、系列データ全体の特性を示す数値ベクトルを算出することができる。
また、分類部15は、複数の数値ベクトルから新たな数値ベクトルを算出する際に、系列データの一定範囲内に含まれる複数の数値ベクトルから2つの数値ベクトルを統合して新たな数値ベクトルを算出している。したがって、本実施の形態では、攻撃と関係ない通信先が混在していても、攻撃に関連する通信先の数値ベクトルを確実に統合することができ、分類精度を高めることが可能になる。
[他の実施の形態]
[システム構成等]
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
図16は、プログラムが実行されることにより、分類装置1が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、分類装置1の各処理を規定するプログラムは、コンピュータ1000により実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、分類装置1における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN、WAN等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
1 分類装置
11 対象通信ログ入力部
12 既知通信ログ入力部
13 通信先系列抽出部
14 数値ベクトル算出部
15 分類部

Claims (6)

  1. 複数の通信における通信先が通信の発生順に記録されている系列データに基づいて、前記通信先ごとに通信先の特性を表す数値ベクトルを算出する数値ベクトル算出部と、
    前記数値ベクトルの通信先の順序関係に基づいて、前記系列データを、特徴が類似する集合へ分類する分類部と、
    を有することを特徴とする分類装置。
  2. 前記通信先と該通信先の順序関係とが記録されたログから、連続する複数の通信の前記通信先を前記系列データとして抽出する通信先系列抽出部をさらに有することを特徴とする請求項1に記載の分類装置。
  3. 前記分類部は、前記系列データの複数の数値ベクトルを統合して新たな数値ベクトルを算出することと、新たに算出された複数の数値ベクトルから前記数値ベクトルの次元ごとに新たな値を算出して少数の数値ベクトルを作成することと、を繰り返すことを特徴とする請求項1または2に記載の分類装置。
  4. 前記分類部は、前記系列データの一定範囲内に含まれる複数の数値ベクトルから2つの数値ベクトルを選択し、選択した前記2つの数値ベクトルを統合して新たな数値ベクトルを算出することを特徴とする請求項3に記載の分類装置。
  5. 入力された複数の通信における通信先が通信の発生順に記録されている系列データを、特徴が類似する集合に分類する分類装置が実行する分類方法であって、
    前記系列データに基づいて、前記通信先ごとに通信先の特性を表す数値ベクトルを算出する数値ベクトル算出工程と、
    前記数値ベクトルの通信先の順序関係に基づいて、前記系列データを、特徴が類似する集合へ分類する分類工程と、
    を含んだことを特徴とする分類方法。
  6. 複数の通信における通信先が通信の発生順に記録されている系列データに基づいて、前記通信先ごとに通信先の特性を表す数値ベクトルを算出する数値ベクトル算出ステップと、
    前記数値ベクトルの通信先の順序関係に基づいて、前記系列データを、特徴が類似する集合へ分類する分類ステップと、
    をコンピュータに実行させるための分類プログラム。
JP2018543756A 2016-10-03 2017-08-07 分類装置、分類方法及び分類プログラム Active JP6674036B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016196019 2016-10-03
JP2016196019 2016-10-03
PCT/JP2017/028596 WO2018066221A1 (ja) 2016-10-03 2017-08-07 分類装置、分類方法及び分類プログラム

Publications (2)

Publication Number Publication Date
JPWO2018066221A1 true JPWO2018066221A1 (ja) 2019-01-31
JP6674036B2 JP6674036B2 (ja) 2020-04-01

Family

ID=61830854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018543756A Active JP6674036B2 (ja) 2016-10-03 2017-08-07 分類装置、分類方法及び分類プログラム

Country Status (4)

Country Link
US (1) US11270001B2 (ja)
EP (1) EP3486809A4 (ja)
JP (1) JP6674036B2 (ja)
WO (1) WO2018066221A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3258661B1 (en) * 2016-06-16 2020-11-18 ABB Schweiz AG Detection of abnormal configuration changes
US20190141067A1 (en) * 2017-11-09 2019-05-09 Cisco Technology, Inc. Deep recurrent neural network for cloud server profiling and anomaly detection through dns queries
CN110363644A (zh) * 2019-06-17 2019-10-22 深圳壹账通智能科技有限公司 异常信息识别方法、装置、计算机设备及存储介质
US20210390553A1 (en) * 2019-06-23 2021-12-16 Litlingo Technologies Inc. Method for recommending and implementing communication optimizations
JP2021015421A (ja) * 2019-07-11 2021-02-12 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
CN115461765A (zh) * 2020-05-15 2022-12-09 三菱电机株式会社 攻击检测系统、攻击检测方法和攻击检测程序
US12093396B2 (en) * 2020-07-16 2024-09-17 Bank Of America Corporation System and method for associating a common vulnerability and exposures (CVE) with a computing device and applying a security patch
JP2022190920A (ja) * 2021-06-15 2022-12-27 キヤノン株式会社 情報処理装置、クラス判定方法、プログラム
CN113674115B (zh) * 2021-08-24 2023-06-27 南京迪塔维数据技术有限公司 一种基于数据治理技术的高校数据管理辅助系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074339A (ja) * 2005-09-07 2007-03-22 Tohoku Univ 拡散型不正アクセス検出方法および拡散型不正アクセス検出システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004017221A1 (en) * 2002-08-14 2004-02-26 Drs Technical Services, Inc. Method and apparatus for monitoring and controlling the allocation of network bandwidth
US8286239B1 (en) * 2008-07-24 2012-10-09 Zscaler, Inc. Identifying and managing web risks
US20110185428A1 (en) * 2010-01-27 2011-07-28 Mcafee, Inc. Method and system for protection against unknown malicious activities observed by applications downloaded from pre-classified domains
US9838373B2 (en) * 2010-11-29 2017-12-05 Biocatch Ltd. System, device, and method of detecting a remote access user
US9547766B2 (en) * 2010-11-29 2017-01-17 Biocatch Ltd. Device, system, and method of detecting malicious automatic script and code injection
US9690915B2 (en) * 2010-11-29 2017-06-27 Biocatch Ltd. Device, method, and system of detecting remote access users and differentiating among users
US8832836B2 (en) * 2010-12-30 2014-09-09 Verisign, Inc. Systems and methods for malware detection and scanning
US9965937B2 (en) * 2013-03-15 2018-05-08 Palantir Technologies Inc. External malware data item clustering and analysis
EP3145130B1 (en) * 2014-06-18 2019-02-27 Nippon Telegraph and Telephone Corporation Network system, communication control method, and communication control program
US9641542B2 (en) * 2014-07-21 2017-05-02 Cisco Technology, Inc. Dynamic tuning of attack detector performance
US9942250B2 (en) * 2014-08-06 2018-04-10 Norse Networks, Inc. Network appliance for dynamic protection from risky network activities
US9723016B2 (en) * 2015-05-14 2017-08-01 International Business Machines Corporation Detecting web exploit kits by tree-based structural similarity search
US9992217B2 (en) * 2015-12-31 2018-06-05 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for detecting malicious network traffic
WO2017131975A1 (en) * 2016-01-25 2017-08-03 Acalvio Technologies, Inc. Detecting security threats by combining deception mechanisms and data science
WO2017217163A1 (ja) * 2016-06-17 2017-12-21 日本電信電話株式会社 アクセス分類装置、アクセス分類方法及びアクセス分類プログラム
US10230744B1 (en) * 2016-06-24 2019-03-12 EMC IP Holding Company LLC Detecting periodic behavior in a communication session using clustering
JP6793524B2 (ja) * 2016-11-01 2020-12-02 株式会社日立製作所 ログ解析システムおよびその方法
US11146578B2 (en) * 2016-12-16 2021-10-12 Patternex, Inc. Method and system for employing graph analysis for detecting malicious activity in time evolving networks
US10924503B1 (en) * 2018-05-30 2021-02-16 Amazon Technologies, Inc. Identifying false positives in malicious domain data using network traffic data logs
US10970188B1 (en) * 2020-02-11 2021-04-06 HoxHunt Oy System for improving cybersecurity and a method therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074339A (ja) * 2005-09-07 2007-03-22 Tohoku Univ 拡散型不正アクセス検出方法および拡散型不正アクセス検出システム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
久世 尚美、外4名: "複数のハニーポットにおいて観測された情報に基づく通信のネットワーク上の特徴を考慮したぜい弱性スキャン", 電子情報通信学会技術研究報告, vol. 第115巻,第488号, JPN6017034758, 25 February 2016 (2016-02-25), JP, pages 47 - 52, ISSN: 0004111669 *
松本 浩明、外3名: "Drive−by−download攻撃通信の可視化システム", CSS2014 コンピュータセキュリティシンポジウム2014 論文集 合同開催 マルウェア対策研究人, vol. 第2014巻,第2号, JPN6017034766, 24 December 2014 (2014-12-24), JP, pages 9 - 16, ISSN: 0004111673 *
畑田 充弘、外1名: "マルウェアの通信モデルによるクラスタリング精度の評価", 電子情報通信学会技術研究報告, vol. 第116巻,第132号, JPN6017034764, 7 July 2016 (2016-07-07), JP, pages 59 - 64, ISSN: 0004111672 *
足立 大地、外1名: "ホストベースによるRemote Access Trojan(RAT)の早期検知手法", CSS2015 コンピュータセキュリティシンポジウム2015 論文集 合同開催 マルウェア対策研究人, vol. 第2015巻,第3号, JPN6017034762, 4 February 2016 (2016-02-04), JP, pages 1111 - 1118, ISSN: 0004111671 *
進藤 康孝、外3名: "マルウェア感染ステップのファイルタイプ遷移に基づいたDrive−by Download攻撃検知手法", CSS2014 コンピュータセキュリティシンポジウム2014 論文集 合同開催 マルウェア対策研究人, vol. 第2014巻,第2号, JPN6017034760, 24 December 2014 (2014-12-24), JP, pages 575 - 582, ISSN: 0004111670 *

Also Published As

Publication number Publication date
EP3486809A4 (en) 2019-12-25
WO2018066221A1 (ja) 2018-04-12
US11270001B2 (en) 2022-03-08
EP3486809A1 (en) 2019-05-22
US20190180032A1 (en) 2019-06-13
JP6674036B2 (ja) 2020-04-01

Similar Documents

Publication Publication Date Title
JP6674036B2 (ja) 分類装置、分類方法及び分類プログラム
Hong et al. Phishing url detection with lexical features and blacklisted domains
US10721245B2 (en) Method and device for automatically verifying security event
JP6557334B2 (ja) アクセス分類装置、アクセス分類方法、及びアクセス分類プログラム
Wang et al. Machine learning based cross-site scripting detection in online social network
CN110414236B (zh) 一种恶意进程的检测方法及装置
CN108573146A (zh) 一种恶意url检测方法及装置
Hatada et al. Empowering anti-malware research in Japan by sharing the MWS datasets
Malisa et al. Mobile application impersonation detection using dynamic user interface extraction
Lovanshi et al. Comparative study of digital forensic tools
Lamprakis et al. Unsupervised detection of APT C&C channels using web request graphs
Hayatle et al. Dempster-shafer evidence combining for (anti)-honeypot technologies
Sethi et al. A novel malware analysis for malware detection and classification using machine learning algorithms
JP5656266B2 (ja) ブラックリスト抽出装置、抽出方法および抽出プログラム
JP2012088803A (ja) 悪性ウェブコード判別システム、悪性ウェブコード判別方法および悪性ウェブコード判別用プログラム
Vullam et al. Enhancing Intrusion Detection Systems for Secure E-Commerce Communication Networks
Priya et al. A static approach to detect drive-by-download attacks on webpages
Kumar et al. Detection of malware using deep learning techniques
Dadkhah et al. A novel approach to deal with keyloggers
Almarshad et al. Detecting zero-day polymorphic worms with jaccard similarity algorithm
Lee et al. DGA-based malware detection using DNS traffic analysis
Mukesh et al. Real-time framework for malware detection using machine learning technique
JP7180765B2 (ja) 学習装置、判定装置、学習方法、判定方法、学習プログラムおよび判定プログラム
Al Fahdi et al. Towards an automated forensic examiner (AFE) based upon criminal profiling & artificial intelligence
Radha Damodaram et al. Bacterial foraging optimization for fake website detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200305

R150 Certificate of patent or registration of utility model

Ref document number: 6674036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150