JP5970041B2 - イベント分析に基づくサイバー攻撃探知装置及び方法 - Google Patents

イベント分析に基づくサイバー攻撃探知装置及び方法 Download PDF

Info

Publication number
JP5970041B2
JP5970041B2 JP2014211238A JP2014211238A JP5970041B2 JP 5970041 B2 JP5970041 B2 JP 5970041B2 JP 2014211238 A JP2014211238 A JP 2014211238A JP 2014211238 A JP2014211238 A JP 2014211238A JP 5970041 B2 JP5970041 B2 JP 5970041B2
Authority
JP
Japan
Prior art keywords
event
user terminal
web
access
attack detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014211238A
Other languages
English (en)
Other versions
JP2015079512A (ja
Inventor
ソクウ リ
ソクウ リ
サンギュ シム
サンギュ シム
ドクス キム
ドクス キム
Original Assignee
ペンタ・セキュリティ・システムズ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペンタ・セキュリティ・システムズ・インコーポレーテッド filed Critical ペンタ・セキュリティ・システムズ・インコーポレーテッド
Publication of JP2015079512A publication Critical patent/JP2015079512A/ja
Application granted granted Critical
Publication of JP5970041B2 publication Critical patent/JP5970041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/554Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433Vulnerability analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、サイバー保安技術に関し、より詳しくは、ウェブサービスを利用するユーザの動作によってユーザ端末から発生するイベントを分析してサイバー攻撃を探知する装置及び方法(APPARATUSFOR DETECTING CYBER ATTACK BASED ON ANALYSIS OF EVENT AND METHOD THEREOF)に関する。
ネットワーク技術が発達するにつれ、ユーザは多様な情報通信機器を利用して予約、銀行業務、品物の注文及び代金支払いのような多様なサービスをインターネット上で自由に利用するようになった。しかしながら、現代社会におけるインターネットに対する影響力が増加するにつれてサイバー攻撃による被害が拡散している趨勢である。
最近、農協の電算システムを攻撃し、システム障害を発生させたサイバー攻撃はAPT(Advanced Persistent Threat)攻撃であって、攻撃対象の好奇心を刺激する社会工学的技法を用いて攻撃対象のシステムに悪性コードを感染させ、次第に接続権限を上昇させて保安事故を誘発する新種のサイバー攻撃方法である。
APT攻撃は、主に政府や企業の主要情報施設を狙って産業機密、軍事機密及び顧客情報のように保安が維持されなければならない情報を盗むことを目的とする。
このように、最近発生するサイバー攻撃は、組織的なハッカーグループが特定標的を緻密かつ計画的にハッキングして企業の情報を奪取し、制御システムを攻撃して国家安保を脅威する水準となった。
このように、次第に知能化するサイバー攻撃に対処しようと政府や企業としては、ハッカーからのサイバー攻撃を探知し、攻撃から探知されたアクセスを遮断する攻撃探知技術及び侵入探知技術をシステムに適用して保安を強化しようとする。
例えば、防火壁(fire wall)は、ネットワークとの間に位置して許可の侵入に対して接続を遮断する保安技術であって、ネットワークを物理的に分離するという長所を有しているが、サイバー攻撃を探知するためにネットワークトラフィックの流れを抑えるためトラフィック速度を遅延させ、アクセスが許容されたIP(Internet Protocol)を利用するハッカーからの攻撃を探知できないという点で限界があった。
また、システムに対する脆弱性情報とネットワークトラフィック分析情報に基づいたサイバー脅威を事前に感知する保安技術は、予測可能なサイバー攻撃に対しては保安政策設定を介して対応することができるが、予測のつかない攻撃に対しては無防備であるという問題があった。
特に、悪性コードに感染された多数のシステム、すなわち、ゾンビPCによりなされるサイバー攻撃を事前に認知できないという点からアクセスが許容されたユーザによる正常なイベントのように偽装する非正常アクセスに対する攻撃を探知する技術が要求されるのが現状である。
上記のような問題点を解決するために本発明の目的は、ユーザ端末から発生するイベントをリアルタイムでモニタリングして分析することで、多様な形態のサイバー攻撃を迅速かつ正確に探知することができるサイバー攻撃探知装置を提供することにある。
また、本発明の他の目的は、サイバー攻撃を探知する過程で発生するシステムの負荷及び時間を最小化することで、ユーザに提供されるウェブサービスの速度に影響を与えずに、可用性及び信頼性の高い保安サービスを提供するサイバー攻撃探知方法を提供することにある。
上記目的を達成するための本発明の一側面によるサイバー攻撃探知装置は、ウェブページを管理するウェブサーバとウェブページを利用する少なくとも1つのユーザによって運用される少なくとも1つのユーザ端末がネットワークに接続された情報通信システムに実現され、ウェブサーバに接続してウェブページで提供するウェブサービスを利用する少なくとも1つのユーザの動作により少なくとも1つのユーザ端末から発生するイベントを受信するイベント受信部、受信したイベントに基づいてウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントパターンを抽出してイベントモデルを生成するモデル生成部及び生成されたイベントモデルと特定ユーザ端末から受信したイベントとを比較して特定ユーザ端末のウェブサーバに対するアクセスが攻撃であるか否かを探知する攻撃探知部を含む。
ここで、モデル生成部は、ウェブサービスを利用する少なくとも1つのユーザ要請により発生するウェブページ間の移動経路に沿ってイベント受信部から受信したイベントの順序を組み合わせて少なくとも1つのイベントパターンを抽出するパターン抽出モジュールを含む。
ここで、モデル生成部は、少なくとも1つのイベントパターンを収集し、収集したイベントパターンに基づいてウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントの流れを統計的に分析することで、イベントモデルを生成するモデル生成モジュールを含む。
ここで、イベントモデルは、あらかじめ設定されたアクセス頻度閾値よりも高い頻度で発生するイベントパターンを含んで生成する。
ここで、アクセス頻度閾値は、統計的に分析されたイベントモデルから相対的に低い頻度で発生するイベント流れの頻度数に基づいてあらかじめ設定する。
ここで、攻撃探知部は、イベントモデルと特定ユーザ端末から受信したイベントの流れを比較して特定ユーザ端末から受信したイベント流れがイベントモデルの範囲を離脱する場合に対し、特定ユーザ端末のウェブサーバに対するアクセスを攻撃として探知する。
ここで、特定ユーザ端末のウェブサーバに対するアクセスが攻撃として探知されることによって特定ユーザ端末のウェブサーバに対するアクセスを遮断するアクセス制御部をさらに含む。
ここで、ウェブページは、ウェブページを識別するページ識別アドレスに基づいて少なくとも1つのユーザ端末から発生するイベントに相応するウェブページが提供されるように、移動経路を示すことで抽象化される。
また、前記他の目的を達成するために本発明の一側面によるサイバー攻撃探知方法は、ウェブページを管理するウェブサーバとウェブページを利用する少なくとも1つのユーザによって運用される少なくとも1つのユーザ端末がネットワークに接続された情報通信システムのサイバー攻撃探知装置により行われ、ウェブサーバに接続してウェブページで提供するウェブサービスを利用する少なくとも1つのユーザの動作により少なくとも1つのユーザ端末から発生するイベントを受信する段階、受信したイベントに基づいてウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントパターンを抽出してイベントモデルを生成する段階、及び生成されたイベントモデルと特定ユーザ端末から受信したイベントを比較して特定ユーザ端末のウェブサーバに対するアクセスが攻撃であるか否かを探知する段階を含む。
ここで、特定ユーザ端末を利用したウェブサーバのアクセスが攻撃として探知されることで、特定ユーザ端末のウェブサーバに対するアクセスを遮断する段階をさらに含む。
上述のような本発明の実施形態によるサイバー攻撃探知装置及び方法によれば、ユーザ端末から発生するイベントをリアルタイムでモニタリングして分析することで、多様な形態のサイバー攻撃を迅速かつ正確に探知することができる。
また、サイバー攻撃を探知する過程で発生しうるシステムの負荷や時間を最小化することで、ユーザに提供されるウェブサービスの速度に影響を与えず、可用性及び信頼性の高い保安サービスを提供することができる。
本発明の一実施形態によるサイバー攻撃探知装置及び方法の動作環境を示す例示図である。 本発明の一実施形態によるサイバー攻撃探知装置を示すブロック図である。 本発明の一実施形態によるウェブページの構造を示す例示図である。 本発明の一実施形態によるユーザの動作に相応するイベントの流れを示す例示図である。 本発明の一実施形態によるサイバー攻撃探知方法を説明するフローチャートである。 本発明の一実施形態によるイベントモデルを生成することを説明するフローチャートである。 本発明の一実施形態によるユーザ端末のウェブサーバに対するアクセスが攻撃であるか否かを探知する方法を説明するフローチャートである。
本発明は、多様に変更することができ、さまざまな実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳しく説明することにする。しかしながら、これは本発明を特定の実施形態に対して限定しようとするものでなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むこととして理解すべきである。各図面を説明しながら同一の参照符号を同一の構成要素に対して用いられる。
第1、第2、A、Bなどの用語は、多様な構成要素を説明するために用いられるが、上記構成要素は上記用語によって限定されてはいけない。上記用語は1つの構成要素を他の構成要素と区分する目的のみで用いられる。例えば、本発明の権利範囲を逸脱することなく、第1構成要素は第2構成要素に命名されることができ、同様に第2構成要素は第1構成要素と命名することができる。「及び/または」の用語は、複数の関連する記載項目の組み合わせまたは複数の関連する記載項目からいずれかの項目を含む。
ある構成要素が他の構成要素に「連結されて」あるとか、「接続されて」あると言及された場合には、その他の構成要素に直接的に連結されているか、または接続されることができるが、その間に、他の構成要素が存在すると理解すべきである。一方、ある構成要素が他の構成要素に「直接連結されて」あるとか、「直接接続されて」あると言及された場合には、間に他の構成要素が存在しないものと理解すべきである。
本出願で用いる用語は、単に特定の実施形態を説明するために用いるものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上に明白に他の意味を有しない限り、複数の表現を含む。本出願において、「含む」または「有する」との用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはそれらを組み合わせが存在することを指定するものであって、1つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはそれらを組み合わせの存在または付加可能性をあらかじめ排除しないものと理解すべきである。
別途定義しない限り、技術的や科学的な用語を含み、ここで用いるすべての用語は、本発明が属する技術分野で通常の知識を有する者が一般に理解するものと同一の意味を有する。一般的に用いる事前に定義されているもののような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈すべきであり、本出願において明白に定義しない限り、理想的や過度に形式的な意味として解釈しない。
以下、本発明に係る好適な実施形態を添付した図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態によるサイバー攻撃探知装置及び方法の動作環境を示す例示図である。
図1を参照すると、サイバー攻撃探知装置及び方法は、ウェブページを管理するウェブサーバ200とウェブページを利用する少なくとも1つのユーザによって運用される、少なくとも1つのユーザ端末300にネットワークとして接続された情報通信システムで行うことができる。
具体的に、サイバー攻撃探知装置及び方法は、ウェブサーバ200と少なくとも1つのユーザ端末300との間に位置して正常なアクセスとして偽装したユーザ端末300でのサイバー攻撃を探知し、攻撃として探知されたユーザ端末300によるウェブサーバ200へのアクセスを制御することができる。
このとき、サイバー攻撃探知装置及び方法は、ウェブサーバ200と少なくとも1つのユーザ端末300で構成されたサーバクライアントシステムだけでなく、複数のユーザ端末300が有・無線ネットワークに接続されたP2P(Peer−to−Peer network)システムのユーザ端末300との間にも実現できるが、これに限定されなく、装置間に情報通信が必要なすべての通信システムに拡大適用することができる。
ここで、ウェブサーバ200は、インターネット上のテキスト、イメージ、動画のようなマルチメディア情報で構成されたウェブページを保存していて、複数のウェブページはハイパーリンク(hyperlink)に接続されてウェブサイトを構成することができる。
そして、ウェブサイトを利用するユーザによって運用されるユーザ端末300からウェブサービスを受けるためのHTTP要請(Hyper Text Transfer Protocol request)がウェブサーバ200に受信されると、ウェブサーバ200はHTTP要請に相応するウェブサービスをユーザ端末300に提供することができる。
ユーザ端末300は、ウェブサーバ200から提供するウェブサイト及びウェブページを出力できる出力装置及びウェブサービスを要請できる入力装置を備え、ウェブサーバ200または他のユーザ端末300と有無線ネットワークで接続されて情報を交換するサーバ、コンピュータ、ノートパソコン、スマートフォン、タブレットPC及びPDAのような情報処理装置を意味するが、これに限定されない。
ここで、サイバー攻撃探知装置及び方法は、ウェブサーバ200及び少なくとも1つのユーザ端末300とUSB(Universal Serial Bus)、ブルートゥース(bluetooth)、Wi−Fi(Wireless Fidelity)、3G(3Generation)、LTE(Long Term Evolution)のような有無線ネットワークで接続される。
図2は、本発明の一実施形態によるサイバー攻撃探知装置を示すブロック図である。
図2を参照すると、サイバー攻撃探知装置100は、イベント受信部110、モデル生成部120及び攻撃探知部130を含んで実現することができる。さらに、アクセス制御部140を含むことができる。
ここで、サイバー攻撃探知装置100は、ユーザ端末300からのイベントを受信する通信装置と、イベントがサイバー攻撃であることを判断できるように、情報処理装置を備えるサーバ及びコンピュータ、ノートパソコン、スマートフォン、タブレットPC及びPDAのような情報処理装置で実現することができる。
イベント受信部110は、ウェブサーバ200に接続してウェブページから提供するウェブサービスを利用する少なくとも1つのユーザの動作によって少なくとも1つのユーザ端末300から発生するイベントを受信することができる。
ここで、イベント(event)とは、ウェブページから提供するウェブサービスを利用するために、ユーザがユーザ端末300の入力装置を介して発生させる一連のプログラム動作命令を意味するものとする。
例えば、ウェブサーバ200から提供するウェブページを利用中のユーザがハイパーリンク(hyperlink)で表現されたテキストをユーザ端末300のマウスを利用してクリック(click)するイベントを発生させると、ユーザ端末300では関連するウェブページに移動を要請するHTTP requestイベントを生成してウェブサーバ200に伝送し、HTTP requestイベントを受信したウェブサーバ200は関連するウェブページに移動を行うことができる。
このとき、イベント受信部110でユーザ端末300から発生するイベントを受信する理由は、最近になって発生するサイバー犯罪が悪性コードに感染されたゾンビPCによってDDoS(Distributed Denial of Service)攻撃、spam伝送、APT(Advanced Persistent Threat)攻撃の形態として知能化したためである。
したがって、ユーザ端末300からウェブサーバ200に流入されるすべてのイベントを受信してゾンビPCがアクセス権限を有しているユーザからの正常なアクセスであるように偽装してウェブサーバ200の攻撃を監視することができる。
モデル生成部120は、イベント受信部110から受信したイベントに基づいてウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントパターンを抽出してイベントモデルを生成することができる。
ここで、モデル生成部120は、パターン抽出モジュール121及びモデル生成モジュール123を含むことができる。
パターン抽出モジュール121は、ウェブサービスを利用する少なくとも1つのユーザの要請により発生するウェブページ間の移動経路に沿ってイベント受信部110で受信したイベントの順序を組み合わせて少なくとも1つのイベントパターンを抽出することができる。
例えば、電子メールサービスを提供するウェブページで、ユーザ端末300はログイン(login)のためにIDとパスワードを入力するイベントを発生させる。ログイン後にウェブサーバ200から受けた初期ページでユーザの要請に従ってメール作成ページに移動するためのイベントが発生され、メール作成ページに送るメッセージの入力と関連するイベントが発生された後、メール作成ページ上の伝送と関連するイベントが発生される。
そこで、電子メールサービスを利用するユーザの動作によるウェブページ間の移動経路に相応するイベントを発生順序に合うように組み合わせるとメール伝送と関連するイベントパターンを抽出することができる。
このように、イベントパターンは、ウェブページから提供するウェブサービスを利用するユーザの動作に相応するイベントによって抽出することができるので、ユーザによるウェブサービス利用パターンにより多様な形態に抽出することができる。
モデル生成モジュール123は、パターン抽出モジュール121から抽出された少なくとも1つのイベントパターンを収集し、収集したイベントパターンに基づいてウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントの流れを統計的に分析することで、イベントモデルを生成することができる。
ここで、イベントモデルは、類似のイベントパターンを集めるクラスタリング(Clustering)方法またはイベントパターンに対する数値的統計に基づいた密度推定(densityestimation)方法を介して生成することができる。
特に、イベントモデルは、あらかじめ設定されたアクセス頻度閾値よりも高い頻度で発生するイベントパターンを含むことができ、ここで、アクセス頻度閾値とは、統計的に分析されたイベントモデルから相対的に低い頻度で発生するイベント流れの頻度数を基準としてあらかじめ設定することができる。
攻撃探知部130は、モデル生成モジュール123により生成されたイベントモデルとイベント受信部110により受信した特定ユーザ端末300からのイベントとを比較して特定ユーザ端末300のウェブサーバ200に対するアクセスが攻撃であるか否かを探知することができる。
具体的に、攻撃探知部130は、イベントモデルと特定ユーザ端末300から受信したイベントの流れを比較し、特定ユーザ端末300から受信したイベント流れがイベントモデルの範囲を逸脱する場合に対して特定ユーザ端末300のウェブサーバ200に対するアクセスを攻撃として探知することができる。
例えば、特定ユーザ端末300によるイベントの流れがイベントモデルに含まれている場合、特定ユーザ端末300のウェブサーバ200に対するアクセスを正常なアクセスとして探知することができる。
一方、特定ユーザ端末300によるイベントの流れがイベントモデルに含まれないか、範囲を逸脱する場合、特定ユーザ端末300のウェブサーバ200に対するアクセスを攻撃として探知することができる。
アクセス制御部140は、攻撃探知部130により特定ユーザ端末300のウェブサーバ200に対するアクセスが正常なアクセスであるか、攻撃であるかを探知した後、保安政策に基づいて特定ユーザ端末300のウェブサーバ200に対するアクセスを制御することができる。
よって、特定ユーザ端末300のウェブサーバ200に対するアクセスが正常なアクセスとして判別される場合、特定ユーザ端末300のウェブサーバ200に対するアクセスを許容することができる。
一方、特定ユーザ端末300のウェブサーバ200に対するアクセスが攻撃として探知される場合には、特定ユーザ端末300のウェブサーバ200に対するアクセスを遮断することができる。
図3は本発明の一実施形態によるウェブページの構造を示す例示図であり、図4は本発明の一実施形態によるユーザの動作に相応するイベントの流れを示す例示図である。
図3及び図4を参照すると、ウェブページは、テキスト、イメージ、音、映像だけでなく、インターネット上の複数の他のウェブページと接続することができる。
特に、ウェブページは、ウェブページを識別するページ識別アドレスに基づいてユーザ端末から発生するイベントに相応するウェブページがユーザに提供されるように、移動経路を示すことで、抽象化されることができる。
より具体的に、ウェブページはウェブページが識別できる1つのURL(Uniform Resource Locator)と対応することができる。このとき、ウェブページは、インターネット上の複数のウェブページと接続することができるので、ウェブページのURLに基づいてウェブページと接続された複数のウェブページに対するURLを動的に割り当てることができる。
すなわち、ウェブページのURLの後に複数のウェブページから提供するウェブサービスに対するキーワード(keyword)またはイベントのようなURL変数(URL parameter)を追加構成し、ウェブページと接続された複数のウェブページのそれぞれに対応することができる。
このように、動的URL(dynamic URL)方式を利用して抽象化されたウェブページを介してウェブページと接続された複数のウェブページでユーザ端末から発生するイベントに相応するウェブページをユーザに提供することができる。
例えば、図3に示すように、Folder 1は、Page A、Page BとPage Cで構成されたFolder 2、Page D、Page E及びFolder 4で構成されたFolder 3、Page H、Page I及びFolder 6で構成されたFolder 5と接続されて構成されることができる。このとき、Folder 4はPage FとPage Gで構成されることができ、Folder 6はPage Jで構成されることができる。
ここで、Page AないしPage Jは、テキスト、イメージ、音、映像のようなマルチメディア情報だけでなく、インターネット上の複数のウェブページが含まれているウェブページを意味することができ、Folder 1ないしFolder 6は、Page AないしPage Jのような複数のウェブページを含むウェブサイトを意味するが、これに限定されない。また、Page AないしPage J及びFolder 2ないしFolder 6はFolder 1が保存されたウェブサーバ200と相違するサーバに保存される。
Folder 1は、ハイパーリンク(hyperlink)を介してPage A、Folder 2、Folder 3及びFolder 5と接続されることができる。ハイパーリンクとは、ウェブページ内の内容中の他のウェブページと接続されているテキスト要素を下線(under line)で強調するか、異なった色で表示したタッグであって、ユーザからクリックイベントが入力されると関連ウェブページに移動が行われることができる。
具体的に、例えば、Folder 1を、電子メールサービスを提供するウェブサイトとした場合、Folder 1と接続されたPage A、Folder 2、Folder 3及びFolder 5は受信した電子メールを表示する機能、電子メールを伝送する機能、伝送された電子メールの受信可否を確認する機能及び削除した電子メールを表示する機能のうちの少なくとも1つの機能を行うことができるウェブページを意味するが、これに限定されない。
ここで、サイバー攻撃探知装置100は、Folder 1と接続されたPage A、Folder 2、Folder 3及びFolder 5との間に位置してユーザから発生するイベントをリアルタイムでモニタリングしてこれを利用してサイバー攻撃を探知することができる。
サイバー攻撃探知装置100は、ユーザの動作によるウェブページ間の移動経路に相応するイベントを発生順序に合うように組み合わせてウェブサービス利用パターンによるイベントパターンを抽出することができる。
また、抽出されたイベントパターンに基づいてウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントの流れを統計的に分析することで、イベントモデルを生成することができる。
具体的に、図4を参照すると、線の太い矢印は、ウェブページ間の移動可能な連結を示し、点線の矢印はウェブページ間の移動が不可能な連結を示すものである。
ここで、ウェブページを利用するユーザは、ウェブページ間の移動を要請するために、ユーザ端末300を利用してイベントを発生させることになるが、このときに発生されるイベントはウェブページを管理するウェブサーバ200にウェブページの移動を要請するためのHTTP requestを意味するが、これに限定されない。
例えば、Page Aを利用するユーザによってPage AからPage Bにアクセスした後、Page Cに移動するイベントが発生すると、ユーザの動作によるウェブページ間の移動経路に相応するイベントを発生順序に合うように組み合わせることで、イベントパターンを抽出することができる。
その後、抽出されたイベントパターンに対する統計的に分析してPage AからPage Bを通ってPage Cに移動するイベントの流れがあらかじめ設定されたアクセス頻度閾値よりも高い頻度で発生されると、これをイベントモデルとして生成することができる。
次に、サイバー攻撃探知装置100で特定ユーザ端末300によってPage AからPage Bに移動するか、またはPage BからPage Cに移動するイベントが発生した場合、発生したイベント流れがイベントモデルに含まれるので、正常なアクセスと判別して特定ユーザ端末300に対するウェブサーバ200へのアクセスを許容する。
一方、特定ユーザ端末300がPage AからPageBを通ってPage Eに移動するか、Page AからPage Bを通ってPage Cに移動した後、またPage Dに移動するイベントを発生させた場合、イベントモデルに含まないので、攻撃に探知して特定ユーザ端末300からウェブサーバ200へのアクセスを遮断することができる。
図5は本発明の一実施形態によるサイバー攻撃探知方法を説明するフローチャートであり、図6は本発明の一実施形態によるイベントモデルを生成することを説明するフローチャートである。
また、図7は、本発明の一実施形態によるユーザ端末のウェブサーバに対するアクセスが攻撃であるか否かを探知する方法を説明するフローチャートである。
図5ないし図7を参照すると、サイバー攻撃探知方法は、少なくとも1つのユーザ端末300から発生するイベントを受信する段階(S100)、受信したイベントに基づいてイベントモデルを生成する段階(S200)、及び特定ユーザ端末300のウェブサーバ200に対するアクセスが攻撃であるか否か探知する段階(S300)を含むことができる。また、特定ユーザ端末300のウェブサーバ200に対するアクセスが攻撃であるか否か探知した後、特定ユーザ端末300のウェブサーバ200に対するアクセスを制御する段階(S400)をさらに含むことができる。
ここで、サイバー攻撃探知方法は、ウェブページを管理するウェブサーバ200とウェブページを利用する少なくとも1つのユーザによって運用される少なくとも1つのユーザ端末300がネットワークに接続された情報通信システムのサイバー攻撃探知装置100で行われることができる。
サイバー攻撃探知装置100は、ユーザ端末300からのイベントを受信する通信装置と、イベントがサイバー攻撃であることを判断できるように情報処理装置を備えるサーバ及びコンピュータ、ノートパソコン、スマートフォン、タブレットPC及びPDAのような情報処理装置により実現される。
ウェブサーバ200に接続してウェブページから提供するウェブサービスを利用する少なくとも1つのユーザの動作によって少なくとも1つのユーザ端末300から発生するイベントを受信することができる(S100)。
ここで、イベント(event)とは、ウェブページから提供されるウェブサービスを利用するため、ユーザがユーザ端末300の入力装置を介して発生させる一連のプログラム動作命令を意味する。
このとき、ユーザ端末300から発生するイベントを受信する理由は、最近発生するサイバー犯罪が悪性コードに感染されたゾンビPCによってDDoS(Distributed Denialof Service)攻撃、spam伝送、APT(Advanced Persistent Threat)攻撃の形態に知能化されつつ、これに対応するためである。
すなわち、ユーザ端末300からウェブサーバ200に流入されるすべてのイベントを受信することで、ゾンビPCがアクセス権限を有しているユーザからの正常なアクセスであるように偽装し、ウェブサーバ200の攻撃であるか否かを監視することができる。
受信したイベントに基づいてウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントパターンを抽出し、イベントモデルを生成することができる(S200)。
より具体的に、図6に示すようにイベントモデルを生成するためには、ウェブサービスを利用する少なくとも1つのユーザの要請により発生するウェブページ間の移動経路に沿って受信されたイベントの順序を組み合わせて少なくとも1つのイベントパターンを抽出することができる(S210)。ここで、イベントパターンは、ユーザによるウェブサービス利用パターンによって多様な形態に抽出されることができる。
次に、抽出されたイベントパターンを収集し、収集されたイベントパターンに基づいてウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントの流れを統計的に分析することができる(S220)。
このとき、イベントパターンがあらかじめ設定されたアクセス頻度閾値よりも高い頻度で発生するか否かを分析し(S230)、アクセス頻度閾値よりも高い頻度で発生する場合、前記抽出されたイベントパターンを含んでイベントモデルを生成することができる(S240)。
一方、アクセス頻度閾値より低い頻度で発生する場合には、イベントモデルを生成することにおいて前記抽出されたイベントパターンを除去することができる(S250)。
ここで、アクセス頻度閾値とは、所定期間中にユーザのイベントなどを統計的に分析して生成されたイベントモデルで相対的に低い頻度で発生するイベント流れの頻度数に基づいてあらかじめ設定を行うことができる。
生成したイベントモデルと特定ユーザ端末300から受信したイベントとを比較し、特定ユーザ端末300のウェブサーバ200に対するアクセスが攻撃であるか否かを探知することができる(S300)。
図7に示すように、ユーザ端末のウェブサーバ200に対するアクセスが攻撃であるか否かを探知するために、特定ユーザ端末からイベントの流れを受信し(S310)、生成したイベントモデルと特定ユーザ端末から受信したイベントの流れを比較することができる(S320)。
次に、特定ユーザ端末300によるイベントの流れがイベントモデルに含まれているか否かを確認し(S330)、特定ユーザ端末300によるイベントの流れがイベントモデルに含まれている場合、特定ユーザ端末300のウェブサーバ200に対するアクセスを正常なアクセスとして探知することができる(S340)。
一方、特定ユーザ端末300によるイベントの流れがイベントモデルに含まれないか、または範囲を逸脱する場合、特定ユーザ端末300のウェブサーバ200に対するアクセスを攻撃として探知することができる(S350)。
このように、特定ユーザ端末300のウェブサーバ200に対するアクセスが正常なアクセスであるか否か、攻撃であるか否かを探知した後(S300)、保安政策に基づいて特定ユーザ端末300のウェブサーバ200に対するアクセスを制御することができる(S400)。
すなわち、特定ユーザ端末300のウェブサーバ200に対するアクセスが正常なアクセスと判別した場合、特定ユーザ端末300のウェブサーバ200に対するアクセスを許容することができる。
一方、特定ユーザ端末300のウェブサーバ200に対するアクセスが攻撃として探知された場合には、特定ユーザ端末300のウェブサーバ200に対するアクセスを遮断することができる。
上述のような本発明の実施形態によるサイバー攻撃探知装置及び方法によれば、ユーザ端末から発生するイベントをリアルタイムでモニタリングして分析することで、多様な形態のサイバー攻撃を迅速かつ正確に探知することができる。
また、サイバー攻撃を探知する過程で発生するシステムの負荷や時間を最小化することで、ユーザに提供されるウェブサービスの速度に影響を与えず、可用性及び信頼性の高い保安サービスを提供することができる。
上述では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練した当業者は、添付の特許請求範囲に記載された本発明の思想及び領域から逸脱しない範囲で、本発明を多様に修正及び変更させることを理解することができる。
100 サイバー攻撃探知装置
110 イベント受信部
120 モデル生成部
121 パターン抽出モジュール
123 モデル生成モジュール
130 攻撃探知部
140 アクセス制御部
200 ウェブサーバ
300 ユーザ端末

Claims (10)

  1. ウェブページを管理するウェブサーバと前記ウェブページを利用する少なくとも1つのユーザによって運用される少なくとも1つのユーザ端末がネットワークに接続された情報通信システムにおいて、
    前記ウェブサーバに接続し、前記ウェブページで提供するウェブサービスを利用する少なくとも1つのユーザの動作によって前記少なくとも1つのユーザ端末から発生するイベントを受信するイベント受信部と、
    前記受信したイベントに基づいて前記ウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントパターン(pattern)を抽出し、イベントモデルを生成するモデル生成部と、
    前記生成されたイベントモデルと特定ユーザ端末から受信したイベントを比較し、前記特定ユーザ端末の前記ウェブサーバに対するアクセスが攻撃であるか否かを探知する攻撃探知部とを含み、
    前記モデル生成部は、
    前記ウェブサービスを利用する少なくとも1つのユーザの要請により発生する前記ウェブページ間の移動経路に沿って前記イベント受信部で受信したイベントの順序を組み合わせて少なくとも1つのイベントパターンを抽出するパターン抽出モジュールと、
    前記抽出された少なくとも1つのイベントパターンを収集し、前記収集したイベントパターンを統計的に分析してあらかじめ設定されたアクセス頻度閾値よりも高い頻度で発生する前記イベントパターンのみが含まれるようにイベントモデルを生成するモデル生成モジュールと、を含むことを特徴とするサイバー攻撃探知装置。
  2. 前記アクセス頻度閾値は、
    前記統計的に分析されたイベントモデルで相対的に低い頻度で発生するイベント流れの頻度数に基づいてあらかじめ設定されることを特徴とする請求項に記載のサイバー攻撃探知装置。
  3. 前記攻撃探知部は、
    前記イベントモデルと前記特定ユーザ端末から受信したイベントの流れを比較し、前記特定ユーザ端末から受信したイベント流れが前記イベントモデルの範囲を逸脱する場合に対して前記特定ユーザ端末の前記ウェブサーバに対するアクセスを攻撃として探知することを特徴とする請求項に記載のサイバー攻撃探知装置。
  4. 前記特定ユーザ端末の前記ウェブサーバに対するアクセスが攻撃として探知されることで、前記特定ユーザ端末の前記ウェブサーバに対するアクセスを遮断するアクセス制御部をさらに含むことを特徴とする請求項に記載のサイバー攻撃探知装置。
  5. 前記ウェブページは、
    前記ウェブページを識別するページ識別アドレスに基づいて前記少なくとも1つのユーザ端末から発生するイベントに相応するウェブページが提供されるように、移動経路を示すことで、抽象化されることを特徴とする請求項1に記載のサイバー攻撃探知装置。
  6. ウェブページを管理するウェブサーバと前記ウェブページを利用する少なくとも1つのユーザによって運用される少なくとも1つのユーザ端末がネットワークに接続された情報通信システムのサイバー攻撃探知装置で行われる方法において、
    前記ウェブサーバに接続し、前記ウェブページから提供するウェブサービスを利用する少なくとも1つのユーザの動作によって前記少なくとも1つのユーザ端末から発生するイベントを受信する段階と、
    前記受信したイベントに基づいて前記ウェブサービスを利用する少なくとも1つのユーザの動作に相応するイベントパターン(pattern)を抽出してイベントモデルを生成する段階と、
    前記生成されたイベントモデルと特定ユーザ端末から受信したイベントを比較し、前記特定ユーザ端末の前記ウェブサーバに対するアクセスが攻撃であるか否かを探知する段階とを含み、
    前記イベントモデルを生成する段階は、
    前記ウェブサービスを利用する少なくとも1つのユーザの要請により発生する前記ウェブページ間の移動経路に沿って前記受信したイベントの順序を組み合わせて少なくとも1つのイベントパターンを抽出し、
    前記抽出された少なくとも1つのイベントパターンを収集し、前記収集したイベントパターンを統計的に分析して、あらかじめ設定されたアクセス頻度閾値よりも高い頻度で発生する前記イベントパターンのみが含まれるようにイベントモデルを生成することを特徴とするサイバー攻撃探知方法。
  7. 前記アクセス頻度閾値は、
    前記統計的に分析されたイベントモデルで相対的に低い頻度で発生するイベント流れの頻度数に基づいてあらかじめ設定されることを特徴とする請求項に記載のサイバー攻撃探知方法。
  8. 前記攻撃であるか否かを探知する段階は、
    前記イベントモデルと前記特定ユーザ端末から受信したイベントの流れを比較し、前記特定ユーザ端末から受信したイベント流れが前記イベントモデルの範囲を逸脱する場合に対して前記特定ユーザ端末の前記ウェブサーバに対するアクセスを攻撃として探知することを特徴とする請求項に記載のサイバー攻撃探知方法。
  9. 前記特定ユーザ端末を利用した前記ウェブサーバのアクセスが攻撃として探知されることで、前記特定ユーザ端末の前記ウェブサーバに対するアクセスを遮断する段階をさらに含むことを特徴とする請求項に記載のサイバー攻撃探知方法。
  10. 前記ウェブページは、
    前記ウェブページを識別するページ識別アドレスに基づいて前記少なくとも1つのユーザ端末から発生するイベントに相応するウェブページが提供されるように、移動経路を示すことで、抽象化されることを特徴とする請求項に記載のサイバー攻撃探知方法。
JP2014211238A 2013-10-15 2014-10-15 イベント分析に基づくサイバー攻撃探知装置及び方法 Active JP5970041B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0122343 2013-10-15
KR20130122343A KR101388090B1 (ko) 2013-10-15 2013-10-15 이벤트 분석에 기반한 사이버 공격 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2015079512A JP2015079512A (ja) 2015-04-23
JP5970041B2 true JP5970041B2 (ja) 2016-08-17

Family

ID=50658418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014211238A Active JP5970041B2 (ja) 2013-10-15 2014-10-15 イベント分析に基づくサイバー攻撃探知装置及び方法

Country Status (4)

Country Link
US (1) US9817969B2 (ja)
EP (1) EP2863611B1 (ja)
JP (1) JP5970041B2 (ja)
KR (1) KR101388090B1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712549B2 (en) * 2015-01-08 2017-07-18 Imam Abdulrahman Bin Faisal University System, apparatus, and method for detecting home anomalies
US9680646B2 (en) * 2015-02-05 2017-06-13 Apple Inc. Relay service for communication between controllers and accessories
CN106257886B (zh) * 2015-06-17 2020-06-23 腾讯科技(深圳)有限公司 一种信息处理方法、装置、终端及服务器
US11848940B2 (en) * 2015-08-28 2023-12-19 The Boeing Company Cumulative trajectory of cyber reconnaissance indicators
JP6827266B2 (ja) * 2016-01-15 2021-02-10 富士通株式会社 検知プログラム、検知方法および検知装置
US10911482B2 (en) 2016-03-29 2021-02-02 Singapore University Of Technology And Design Method of detecting cyber attacks on a cyber physical system which includes at least one computing device coupled to at least one sensor and/or actuator for controlling a physical process
KR101796205B1 (ko) * 2017-04-17 2017-11-13 주식회사 넷앤드 보안 강화를 위해 입력된 명령어 학습 기반 이상 사용자를 탐지하는 서버 접근 통제 시스템
US10749791B2 (en) 2017-11-15 2020-08-18 Bank Of America Corporation System for rerouting electronic data transmissions based on generated solution data models
US10713224B2 (en) 2017-11-15 2020-07-14 Bank Of America Corporation Implementing a continuity plan generated using solution data modeling based on predicted future event simulation testing
US10496460B2 (en) 2017-11-15 2019-12-03 Bank Of America Corporation System for technology anomaly detection, triage and response using solution data modeling
US10970406B2 (en) 2018-05-08 2021-04-06 Bank Of America Corporation System for mitigating exposure associated with identified unmanaged devices in a network using solution data modelling
US10977283B2 (en) 2018-05-08 2021-04-13 Bank Of America Corporation System for mitigating intentional and unintentional exposure using solution data modelling
US10936984B2 (en) 2018-05-08 2021-03-02 Bank Of America Corporation System for mitigating exposure associated with identified impacts of technological system changes based on solution data modelling
US11023835B2 (en) 2018-05-08 2021-06-01 Bank Of America Corporation System for decommissioning information technology assets using solution data modelling
US10956566B2 (en) * 2018-10-12 2021-03-23 International Business Machines Corporation Multi-point causality tracking in cyber incident reasoning
US11301496B2 (en) * 2018-12-26 2022-04-12 Imperva, Inc. Using access logs for network entities type classification
US20210226969A1 (en) 2020-01-22 2021-07-22 Forcepoint, LLC Determining an Abstraction Level for Contents of an Entity Behavior Catalog
KR102331931B1 (ko) 2020-05-28 2021-11-26 국방과학연구소 사이버 공격에 따른 피해 평가 장치, 방법, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램
KR102658384B1 (ko) 2021-10-12 2024-04-18 한전케이디엔주식회사 사내용 모바일 보안 에이전트 사이버공격 대응 방법 및 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7370357B2 (en) * 2002-11-18 2008-05-06 Research Foundation Of The State University Of New York Specification-based anomaly detection
KR20080029426A (ko) * 2006-09-29 2008-04-03 구본현 웹 보안 시스템 및 방법
KR100894331B1 (ko) * 2006-11-15 2009-04-24 한국전자통신연구원 웹 로그 상호연관분석을 이용한 웹 애플리케이션 공격의침입 탐지 시스템 및 방법
KR100851521B1 (ko) 2007-01-31 2008-08-11 성균관대학교산학협력단 취약점 분석을 위한 사이버 공격 시스템 및 그 공격 방법
US9712560B2 (en) * 2007-11-05 2017-07-18 Cabara Software Ltd. Web page and web browser protection against malicious injections
US8949990B1 (en) * 2007-12-21 2015-02-03 Trend Micro Inc. Script-based XSS vulnerability detection
US9123027B2 (en) * 2010-10-19 2015-09-01 QinetiQ North America, Inc. Social engineering protection appliance
US8347103B2 (en) * 2009-01-13 2013-01-01 Nic, Inc. System and method for authenticating a user using a graphical password
US8356001B2 (en) * 2009-05-19 2013-01-15 Xybersecure, Inc. Systems and methods for application-level security
KR101219538B1 (ko) 2009-07-29 2013-01-08 한국전자통신연구원 비주얼 데이터 분석 기반의 네트워크 공격 탐지 장치 및 그 방법
US8549641B2 (en) * 2009-09-03 2013-10-01 Palo Alto Research Center Incorporated Pattern-based application classification
US8205258B1 (en) * 2009-11-30 2012-06-19 Trend Micro Incorporated Methods and apparatus for detecting web threat infection chains
KR101156005B1 (ko) 2009-12-16 2012-06-18 한전케이디엔주식회사 네트워크 공격 탐지 및 분석 시스템 및 그 방법
SG182716A1 (en) 2010-01-26 2012-08-30 Silver Tail Systems Inc System and method for network security including detection of man-in-the-browser attacks
CN103078864B (zh) * 2010-08-18 2015-11-25 北京奇虎科技有限公司 一种基于云安全的主动防御文件修复方法
US8521667B2 (en) * 2010-12-15 2013-08-27 Microsoft Corporation Detection and categorization of malicious URLs
US8838992B1 (en) * 2011-04-28 2014-09-16 Trend Micro Incorporated Identification of normal scripts in computer systems
KR20130085570A (ko) 2011-12-22 2013-07-30 한국전자통신연구원 단말 중심 사이버 공격 방지 방법 및 그에 따른 단말 장치
US9215248B1 (en) * 2012-08-31 2015-12-15 Fastly Inc. User access rate limiting among content delivery nodes

Also Published As

Publication number Publication date
KR101388090B1 (ko) 2014-04-22
EP2863611A1 (en) 2015-04-22
JP2015079512A (ja) 2015-04-23
EP2863611B1 (en) 2018-02-07
US9817969B2 (en) 2017-11-14
US20150106933A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
JP5970041B2 (ja) イベント分析に基づくサイバー攻撃探知装置及び方法
Karim et al. Botnet detection techniques: review, future trends, and issues
KR101689299B1 (ko) 보안이벤트 자동 검증 방법 및 장치
US9942250B2 (en) Network appliance for dynamic protection from risky network activities
Patsakis et al. Encrypted and covert DNS queries for botnets: Challenges and countermeasures
US20140380478A1 (en) User centric fraud detection
Mahmoud et al. A survey on botnet architectures, detection and defences.
US11258812B2 (en) Automatic characterization of malicious data flows
CN104954384B (zh) 一种保护Web应用安全的url拟态方法
CN111786966A (zh) 浏览网页的方法和装置
Ghafir et al. Malicious file hash detection and drive-by download attacks
CN105915532A (zh) 一种失陷主机的识别方法及装置
Irfan et al. A framework for cloud forensics evidence collection and analysis using security information and event management
CN113518064B (zh) 挑战黑洞攻击的防御方法、装置、计算机设备和存储介质
KR101250899B1 (ko) 응용계층 분산 서비스 거부 공격 탐지 및 차단 장치 및 그 방법
Xue et al. Design and implementation of a malware detection system based on network behavior
Seo et al. A study on efficient detection of network-based IP spoofing DDoS and malware-infected Systems
Girija Devi et al. Security breach and forensics in intelligent systems
Oo et al. Enhancement of preventing application layer based on DDoS attacks by using hidden semi-Markov model
Lu et al. Detecting command and control channel of botnets in cloud
Guarda et al. Botnets the cat-mouse hunting
Paul et al. Fast-flux botnet detection from network traffic
Kang et al. Whitelist generation technique for industrial firewall in SCADA networks
KR101686472B1 (ko) 네트워크 보안 장치, 네트워크 보안 장치에서 수행되는 악성 행위 방어 방법
Vadlamani A survey on detection and defense of application layer DDoS attacks

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160708

R150 Certificate of patent or registration of utility model

Ref document number: 5970041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250