JP6781776B2 - 特徴量生成装置、特徴量生成方法及びプログラム - Google Patents

特徴量生成装置、特徴量生成方法及びプログラム Download PDF

Info

Publication number
JP6781776B2
JP6781776B2 JP2018565943A JP2018565943A JP6781776B2 JP 6781776 B2 JP6781776 B2 JP 6781776B2 JP 2018565943 A JP2018565943 A JP 2018565943A JP 2018565943 A JP2018565943 A JP 2018565943A JP 6781776 B2 JP6781776 B2 JP 6781776B2
Authority
JP
Japan
Prior art keywords
vector
numerical
learning
vectors
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018565943A
Other languages
English (en)
Other versions
JPWO2018142704A1 (ja
Inventor
泰弘 池田
泰弘 池田
中野 雄介
雄介 中野
敬志郎 渡辺
敬志郎 渡辺
石橋 圭介
圭介 石橋
川原 亮一
亮一 川原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2018142704A1 publication Critical patent/JPWO2018142704A1/ja
Application granted granted Critical
Publication of JP6781776B2 publication Critical patent/JP6781776B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、特徴量生成装置、特徴量生成方法及びプログラムに関する。
コンピュータシステムのリアルタイムな異常検知の方法として、システム上の様々なデータを定期的に観測し、データが正常時と異なる傾向を示した場合に「異常」として検知するアルゴリズムが考えられる。
例えば、予め正常時として定義された「学習期間」のデータが教師データとして用いられて学習され、異常検知を行う「テスト期間」においては、観測されたテストデータの傾向と、学習した教師データの傾向との比較が行われる異常検知アルゴリズムが考えられる。
異常検知アルゴリズムとしては様々な手法が提案されているが、その多くにおいて入力されるデータは正規化された数値ベクトルで表現されることが望まれる(例えば、非特許文献1、非特許文献2参照)。
櫻田 麻由,矢入 健久,"オートエンコーダを用いた次元削減による宇宙機の異常検知", 人工知能学会全国大会論文集 28, 1-3, 2014 Banerjee, Amit, Philippe Burlina, and Chris Diehl. "A support vector method for anomaly detection in hyperspectral imagery." IEEE Transactions on Geoscience and Remote Sensing 44.8 (2006): 2282.
ネットワークにおける観測データに基づいて異常検知を行う場合、観測データとしてはホストやフロー毎のトラヒック量のようなデータ(特徴量)が考えられる。このようなデータは様々な属性や値を持ち、単純な数値ベクトルとして表現するためには工夫が必要である。また、トラヒック量のように、長期間での増減(値の変化)のトレンドを持つデータを入力とする場合、学習期間とテスト期間で観測データの分布が大きく異なることがあり、観測データの正規化が困難であるという問題が有る。
本発明は、上記の点に鑑みてなされたものであって、異常の検知対象から収集されるデータについて長期間での変化を考慮した特徴量の生成を行うことを目的とする。
そこで上記課題を解決するため、特徴量生成装置は、異常の検知対象から複数のタイミングで収集される各データの特徴量を要素とする数値ベクトルを生成し、当該数値ベクトルを、所定の数値ベクトルの集合に基づく正規化パラメータ又は標準化パラメータを用いて正規化又は標準化する生成部と、前記所定の数値ベクトルを学習し、学習結果を出力する学習部と、前記生成部によって正規化又は標準化された数値ベクトルごとに、当該数値ベクトルと、前記学習結果とに基づいて異常を検知する検知部とを有し、前記所定の数値ベクトルの集合は、前記検知部によって異常が検知されない数値ベクトルの集合であり、前記検知部によって異常が検知されないことに応じて更新され、前記生成部は、更新後の前記所定の数値ベクトルの集合に基づいて前記正規化パラメータ又は前記標準化パラメータを更新し、前記所定の数値ベクトルの集合が更新された後に収集される各データの特徴量を要素とする数値ベクトルについては、更新後の前記正規化パラメータ又は前記標準化パラメータを用いて正規化又は標準化する

異常の検知対象から収集されるデータについて長期間での変化を考慮した特徴量の生成を行うことができる。
第1の実施の形態におけるシステム構成例を示す図である。 第1の実施の形態における異常検知装置10のハードウェア構成例を示す図である。 第1の実施の形態における異常検知装置10の機能構成例を示す図である。 第1の実施の形態における学習処理の処理手順の一例を説明するためのフローチャートである。 第1の実施の形態における検知処理の処理手順の一例を説明するためのフローチャートである。 オートエンコーダを説明するための図である。
以下、図面に基づいて本発明の実施の形態を説明する。図1は、第1の実施の形態におけるシステム構成例を示す図である。図1において、ネットワークN1は、異常の検知対象とされるネットワークである。ネットワークN1は、ルータやサーバ装置等の複数のノードが相互に接続されることによって構成され、所定のサービスを提供するために任意のノード間においてパケットの送受信が行われる。
ネットワークN1の複数箇所には測定装置20が配置されている。測定装置20は、配置箇所を監視することで得られる観測データを複数のタイミングで採取する。収集される観測データの一例として、MIB(Management Information Base)データ、NetFlowによるフローデータ、CPU使用率等が挙げられる。
MIBは、ネットワーク機器を監視するためのメーカ間の共通ポリシーである。MIBデータは、例えば、5分単位で集約され、「時刻、ホスト名、インターフェース(IF)名、入力データ量(ibps)、出力データ量(obps)」等を含む。
NetFlowは、フロー単位でのネットワーク監視をおこなう技術であり、通信が終了した段階でそのフローに関する情報が出力される。また、フローとは、「何処」と「何処」が「どのような通信」を「どれだけの量」行っているかを把握するための単位をいい、通信の送り手側のIPアドレス(srcIP)、送り手側のポート番号(srcport)、受け手側のIPアドレス(dstIP)、受け手側のポート番号(dstport)、通信プロトコル(proto)の5属性によりまとめられる。フローデータは、「フロー開始時刻、srcIP、srcport、dstIP、dstport、proto、フロー継続時間、総送信パケット数、総送信バイト数」等を含む。
CPU使用率は、例えば、ネットワークN1に含まれるサーバ装置又はルータ等のCPUの使用率である。
測定装置20によって採取された観測データは、異常検知装置10によって収集される。異常検知装置10は、収集された観測データから、正常時の特徴を学習し、学習結果に基づいて、その後に入力される観測データについて、異常の発生を検知する(異常の有無を判定する)コンピュータである。なお、正常時の特徴の学習が行われる処理を「学習処理」という。学習処理において学習された結果に基づいて異常の検知が行われる処理を「テスト処理」という。
図2は、第1の実施の形態における異常検知装置10のハードウェア構成例を示す図である。図2の異常検知装置10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、及びインタフェース装置105等を有する。
異常検知装置10での処理を実現するプログラムは、CD−ROM等の記録媒体101によって提供される。プログラムを記憶した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って異常検知装置10に係る機能を実行する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。
図3は、第1の実施の形態における異常検知装置10の機能構成例を示す図である。図3において、異常検知装置10は、受信部11、学習処理制御部12、前処理部13、学習部14、検知処理制御部15及び検知部16等を有する。これら各部は、異常検知装置10にインストールされた1以上のプログラムが、CPU104に実行させる処理により実現される。異常検知装置10は、また、教師データ記憶部121、パラメータ記憶部122、観測データ記憶部123、学習結果記憶部124及び学習データ記憶部125等を利用する。これら各記憶部は、例えば、補助記憶装置102、又は異常検知装置10にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
教師データ記憶部121には、予め正常時に収集されたことが確認されている観測データが教師データとして記憶されている。但し、教師データは、観測データから選別されるのではなく、人為的に作成されてもよい。
受信部11は、測定装置20から観測データを受信する。受信された観測データは、観測データ記憶部123に記憶される。
学習処理制御部12は、学習処理を制御する。
前処理部13は、教師データの集合、観測データの集合、又は学習データ記憶部125に記憶されている学習データの集合について前処理を実行する。前処理とは、データ集合からの単位時間ごとの特徴量の抽出や、抽出された特徴量の正規化等の処理である。特徴量は、数値ベクトルの形式で表現される。なお、1回目の学習時には、教師データ記憶部121に記憶されている教師データ群が前処理の対象とされる。受信部11によって観測データの受信が開始されると、観測データ群が前処理の対象とされる。更に、検知部16による異常の検知が開始され、正常であると判定され、学習データとして学習データ記憶部125に記憶された観測データが所定数に達すると、当該学習データ群が前処理の対象とされる。
前処理部13は、また、教師データ群又は学習データ群について前処理を実行する際に、観測データ又は学習データを正規化するためのパラメータ(以下、「正規化パラメータ」という。)を生成又は更新し、生成又は更新された正規化パラメータをパラメータ記憶部122に記憶する。
学習部14は、教師データ又は学習データに基づいて学習を実行する。学習部14による学習結果は、学習結果記憶部124に記憶される。
検知処理制御部15は、検知処理を制御する。
検知部16は、観測データ記憶部123に記憶されている観測データが前処理部13によって前処理されることで生成される数値ベクトルと、学習結果記憶部124に記憶されている学習結果とに基づいて異常の発生を検知する。具体的には、検知部16は、前処理された数値ベクトルについて、学習結果との違いを異常度として算出し、当該異常度を閾値と比較することで異常の発生を検知する。異常が検知されなかった数値ベクトルの正規化前の値は、学習データとして学習データ記憶部125に記憶される。
以下、異常検知装置10が実行する処理手順について説明する。図4は、第1の実施の形態における学習処理の処理手順の一例を説明するためのフローチャートである。なお、以下においては、便宜上、フローデータが処理対象である例について示す。
学習処理が開始されると、学習処理制御部12は、教師データ記憶部121から教師データ群を取得し、当該教師データ群を前処理部13へ入力する(S101)。
続いて、前処理部13は、入力された教師データ群を、単位時間ごとの集合に分割する(S102)。なお、教師データ記憶部121には、単位時間×Uの期間(以下、「学習期間」という。)分の教師データが記憶されていることとする。したがって、教師データ群は、U個の集合に分割される。
続いて、前処理部13は、分割された集合ごとに、目的に応じた特徴量を抽出し、抽出された特徴量を各次元の要素とする多次元数値ベクトルを生成する(S103)。
例えば、単位時間が1分で、前処理部13が、1分間ごとの特徴量を抽出するとする。また、特徴量を、各プロトコル(TCP、UDP)の全送信バイト数であるとする。この場合、先頭の教師データのフロー開始時刻が12:00:00であるとすると、前処理部13は、全教師データのうち、フロー開始時刻tが11:59:00<=t<12:00:00であるような教師データ(フローデータ)の集合について、プロトコルがTCPである全フローの全送信バイト数、プロトコルがUDPである全フローの全送信バイト数等を計算し、それらの特徴量を各次元の要素とする2次元数値ベクトルを生成する。(U−1)個の他の集合についても同様に、数値ベクトルが生成される。
なお、特徴量の属性としては、「TCPかつ送信ポート番号が80」のような組合せとして指定することも可能である。また、各フローが「フロー数:1」のような値を持つと見なせば、各属性を持つフローの総フロー数についても同様に計算し、特徴量としてみなすことが可能である。
続いて、前処理部13は、各数値ベクトルにおける各メトリックi(各次元i)の最大値xmax_iを算出し、算出したxmax_iをパラメータ記憶部122に記憶する(S104)。すなわち、第1の実施の形態において、各メトリックiの最大値xmax_iが、正規化パラメータである。
ここで、U=3とする。また、ステップS103において生成された数値ベクトルが{{80,20},{90,35},{100,50}}であるとする。これは、或る3分におけるTCPの総送信バイト数及びUDPの総送信バイト数がそれぞれ「TCP:80byte,UDP:20byte」、「TCP:90byte,UDP:35byte」、「TCP:100byte,UDP:50byte」であったことを示す。この場合、これらの数値ベクトルの各メトリックの最大値xmax_iは、{100,50}である(すなわち、xmax_1=100,xmax_2=50である)。
続いて、前処理部13は、正規化パラメータに基づいて、各数値ベクトルを正規化する(S105)。正規化は、各数値ベクトルのメトリックiの値が最大値xmax_iによって除されることにより行われる。したがって、正規化された数値ベクトルは、{{0.8,0.4},{0.9,0.7},{1,1}}となる。
続いて、学習部14は、当該数値ベクトルについて学習器を利用して学習する(S106)。学習結果は、学習結果記憶部124に記憶される。
続いて、学習処理制御部12は、学習データ記憶部125に、学習期間分の学習データが記憶(蓄積)されるのを待機する(S107)。すなわち、U個の正規化前の数値ベクトルが学習データ記憶部125に記憶されるまで待機が継続する。なお、学習データ記憶部125には、検知部16によって正常である(異常が発生していない)と判定された数値ベクトルが記憶される。
学習期間分の数値ベクトルが学習データ記憶部125に記憶されると(S107でYes)、学習処理制御部12は、学習データ記憶部125から数値ベクトル群を取得し、当該数値ベクトル群を前処理部13へ入力する(S108)。なお、取得された数値ベクトル群は、学習データ記憶部125から削除される。続いて、当該数値ベクトル群について、ステップS104以降が実行される。したがって、次のステップS105では、新たに計算されるxmax_iに基づいて正規化が行われる。
図5は、第1の実施の形態における検知処理の処理手順の一例を説明するためのフローチャートである。図5の処理手順は、図4のステップS106が少なくとも1回実行された後であれば、いつ開始されてもよい。すなわち、図5の処理手順は、図4の処理手順と並行して実行される。
ステップS201において、検知処理制御部15は、単位時間の経過を待機する。当該単位時間は、図4の説明における単位時間と同じ時間長である。この待機中に、リアルタイムに収集され、受信部11によって受信された観測データは観測データ記憶部123に記憶される。
単位時間が経過すると(S201でYes)、検知処理制御部15は、直近の単位時間分の観測データ群を観測データ記憶部123から取得し、当該観測データ群を前処理部13へ入力する(S202)。
続いて、前処理部13は、当該観測データ群から目的に応じた特徴量を抽出し、抽出された特徴量を各次元の要素とする多次元数値ベクトルを生成する(S203)。例えば、プロトコルがTCPである全フローの全送信バイト数、プロトコルがUDPである全フローの全送信バイト数が抽出され、これらを各次元の要素とする2次元数値ベクトルが生成される。ここでは、1つの数値ベクトルが生成される。
続いて、前処理部13は、生成された数値ベクトルを、パラメータ記憶部122に記憶されている最大値xmax_iに基づいて正規化する(S204)。すなわち、当該数値ベクトルの各メトリックiが、最大値xmax_iによって除算される。
例えば、図4のステップS104が上記の教師データに基づいて1回のみ実行されている場合、最大値xmax_iは、{100,50}である。したがって、当該数値ベクトルが{60,40}である場合、当該数値ベクトルは、{0.6,0.8}に正規化される。
続いて、検知部16は、異常判定処理を実行する(S205)。異常判定処理では、正規化された数値ベクトルと、学習結果記憶部124に記憶されている最新の学習結果とに基づいて、ネットワークN1について異常の有無が判定される。
異常が無いと判定された場合(S206でYes)、検知処理制御部15は、当該数値ベクトルの正規化前の数値ベクトルを、学習データとして学習データ記憶部125に記憶する(S207)。異常が有ると判定された場合(S206でNo)、当該数値ベクトルの正規化前の数値ベクトルは、学習データ記憶部125に記憶されない。したがって、学習データ記憶部125には、正常時の数値ベクトルのみが記憶される。
続いて、ステップS201以降が繰り返される。なお、ステップS201以降が繰り返される過程において、ステップS204で利用される正規化パラメータは、並行して実行されている図4のステップS104において随時更新される。その結果、入力される観測データのトレンドを考慮して数値ベクトルを正規化することができる。
例えば、U=3である場合、ステップS207が3回実行されて、{{60,40},{45,20},{30,30}}が学習データ記憶部125に記憶されたとする。この場合、xmax_1=60、xmax_2=40に更新され、更新結果がパラメータ記憶部122に反映される。
なお、上記では、観測データがフローデータである例について説明したが、フローデータ、MIBデータ、及びCPU使用率が並列的に観測データとして受信されてもよい。この場合、図4及び図5の処理手順の各ステップでは、データ種別ごと(フローデータ、MIBデータ、及びCPU使用率ごと)に実行されればよい。
なお、例えば{hostID,interfaceID,ibps,obps}のような形式で与えられるMIBデータについては、「単位時間におけるホストIDaのibps」、「単位時間におけるホストIDaのobps」、「単位時間におけるホストIDbのibps」、「単位時間におけるホストIDbのobps」...「単位時間におけるinterfaceIDxのibps」、「単位時間におけるinterfaceIDxのobps」、「単位時間におけるinterfaceIDyのibps」、「単位時間におけるinterfaceIDyのobps」のように、数値ベクトルを抽出することが可能である。
続いて、図4のステップS106及び図5のステップS205の一例について説明する。ステップS106及びS205では、データ種別がラベルとして付与された数値ベクトル群が学習部14又は検知部16に入力される。本実施の形態において、ラベルは「フローデータ」、「MIBデータ」、及び「CPU使用率」のいずれかである。ラベルは、例えば、測定装置20又は受信部11によって教師データ及び観測データに付与される。すなわち、観測データの採取元に基づいて当該観測データに付与すべきラベルが特定可能である。当該ラベルは、前処理部13によって生成される数値ベクトルに引き継がれる。
図4のステップS106において、学習部14は、データ種別ごとに学習器を生成する。学習部14は、入力される数値ベクトルに付与されているラベルに基づいて数値ベクトルを分類し、分類結果に対応する学習器へ当該数値ベクトルを入力する。本実施の形態では「フローデータの学習器」、「MIBデータの学習器」、「CPU使用率の学習器」が生成される。学習器としては数値ベクトルのメトリック間の相関関係の学習による異常検知を行うオートエンコーダ(非特許文献1)や主成分分析等を用いることができる。主成分分析については、例えば、「Ringberg, Haakon, et al. "Sensitivity of PCA for traffic anomaly detection." ACM SIGMETRICS Performance Evaluation Review 35.1 (2007): 109-120.」に詳しい。本実施の形態では、学習器にオートエンコーダを用いる例について説明する。
図6は、オートエンコーダを説明するための図である。オートエンコーダは、ディープラーニングによる異常検知アルゴリズムである。オートエンコーダは、正常時の入力データがメトリック間で相関関係を持ち、低次元に圧縮可能であることを利用する。異常時には入力データの相関関係が崩れるため、圧縮が正しく行われず入力データと出力データとの差が大きくなる。
図6の(1)に示されるように、学習部14が生成する学習器(オートエンコーダ)は、出力層(Layer L)が入力層(Layer L)に近くなるように学習を行う。具体的には、学習部14は、数値ベクトルを2つに複製し、一方を入力層へ当てはめ、他方を出力層に当てはめて学習を行い、学習結果を出力する。学習結果は、学習結果記憶部124に記憶される。学習結果は、学習器に対するパラメータ群である。なお、学習器は、データ種別ごとに生成されるため、学習結果もデータ種別ごとに出力され、学習結果記憶部124に記憶される。
一方、検知部16も、学習部14と同様に、データ種別ごとに学習器を生成する。当該学習器には、学習部14によって生成される学習器と同様にオートエンコーダ又は主成分分析等のうち、学習部14が生成する学習器に対応する方法を用いることができる。
図5のステップS205において、検知部16は、学習結果記憶部124に記憶されている学習結果に基づいて、「フローデータの学習器」、「MIBデータの学習器」、「CPU使用率の学習器」を生成する。すなわち、検知部16によって生成される学習器は、当該学習結果の出力時において学習部14によって生成された学習器と同じである。検知部16は、図6の(2)に示されるように、ステップS205において入力されたデータ種別ごとの数値ベクトルを当該数値ベクトルのデータ種別に対応する学習器へ入力し、学習器に対する入力データと出力データとの距離(メトリック間の相関関係の崩れの程度を示す指標)を異常度として計算する。本実施の形態ではオートエンコーダの入力層と出力層との距離である平均二乗誤差(MSE:Mean Squared Error)が異常度として計算される。MSEの計算式は、以下の通りである。
Figure 0006781776

本実施の形態では、フローデータのMSE、MIBデータのMSE、CPU使用率のMSEの3種のMSEが得られる。検知部16は、得られたMSEの平均を、最終的な異常度として計算し、最終的な異常度が予め定められた閾値を超えていた場合に異常であると判定する。そうでない場合、検知部16は、正常とであると判定する。
上述したように、第1の実施の形態によれば、観測データの変化に応じて正規化パラメータが更新される。したがって、長期間での増減のトレンドを持つような数値データが異常検知における観測データとして含まれる際に、増減のトレンドを考慮して数値データの正規化を行うことができる。すなわち、異常の検知対象から収集されるデータについて長期間での変化を考慮した特徴量(正規化された数値ベクトル)の生成を行うことができる。
次に、第2の実施の形態について説明する。第2の実施の形態では第1の実施の形態と異なる点について説明する。第2の実施の形態において特に言及されない点については、第1の実施の形態と同様でもよい。
第2の実施の形態では、図4のステップS104において、前処理部13は、数値ベクトル群の各メトリックiの最大値xmax_iではなく、数値ベクトル群の各メトリックiの分布の平均μ_i及び標準偏差σ_iを算出する。
例えば、フローデータである教師データxtrain_{d,i}(d=1,...,D,i=1,...,N,D:教師データの数,N:入力メトリックの次元数)が{{80,20},{90,35},{100,50}}であるとすると、1次元目(=TCPバイト数)の平均μ_1及び標準偏差σ_1はそれぞれ、μ_1=90、σ_1=8.16として算出され、2次元目(=UDPバイト数)については、μ_2=35、σ_2=12.2として算出される。これらの平均μ_i及び標準偏差σ_iは、標準化パラメータとしてパラメータ記憶部122に記憶される。
ステップS105において、前処理部13は、数値ベクトルの各メトリックiの値を、
xtrain'_{d,i}=(xtrain_{d,i}−μ_i)/σ_i
の変換により標準化する。すなわち、各メトリックiの値は、平均μ_i及び標準偏差σ_iに基づいて標準化される。その結果、教師データxtrain_{d、i}は、{{−1.22,−1.22},{0,0},{1.22,1.22}}に標準化される。
教師データに基づく標準化パラメータがパラメータ記憶部122に記憶されている状態において、図5のステップS203において生成される数値ベクトルが{60、40}である場合、当該数値ベクトルの各メトリックiの値は、パラメータ記憶部122に記憶されている、教師データに基づく平均μ_i及び標準偏差σ_iによって、{−3.67,0.41}に標準化される。
その後、標準化パラメータは、学習データの蓄積に応じて、図5のステップS104において更新される。例えば、学習データが、U分間分(ここではU=3)蓄積され、その値が{{60,40},{45,20},{30,30}}であった場合、標準化パラメータは、μ_1=45、σ_1=12.2、μ_2=30、σ_2=8.16に更新され、パラメータ記憶部122に記憶される。
したがって、続いて実行されるステップS105や、その後に実行されるステップS204では、更新された標準化パラメータに基づいて、数値ベクトルの標準化が行われる。
上述したように、第2の実施の形態によっても、第1の実施の形態と同様の効果を得ることができる。
なお、上記各実施の形態は、ネットワーク以外から収集されるデータに関して適用されてもよい。例えば、コンピュータシステムから収集されるデータに関して上記各実施の形態が適用されてもよい。
なお、上記各実施の形態において、異常検知装置10は、特徴量生成装置の一例である。前処理部13は、生成部の一例である。
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本出願は、2017年2月2日に出願された日本国特許出願第2017−017920号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
10 異常検知装置
11 受信部
12 学習処理制御部
13 前処理部
14 学習部
15 検知処理制御部
16 検知部
20 測定装置
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
121 教師データ記憶部
122 パラメータ記憶部
123 観測データ記憶部
124 学習結果記憶部
125 学習データ記憶部
B バス
N1 ネットワーク

Claims (7)

  1. 異常の検知対象から複数のタイミングで収集される各データの特徴量を要素とする数値ベクトルを生成し、当該数値ベクトルを、所定の数値ベクトルの集合に基づく正規化パラメータ又は標準化パラメータを用いて正規化又は標準化する生成部と、
    前記所定の数値ベクトルを学習し、学習結果を出力する学習部と、
    前記生成部によって正規化又は標準化された数値ベクトルごとに、当該数値ベクトルと、前記学習結果とに基づいて異常を検知する検知部とを有し、
    前記所定の数値ベクトルの集合は、前記検知部によって異常が検知されない数値ベクトルの集合であり、前記検知部によって異常が検知されないことに応じて更新され、
    前記生成部は、更新後の前記所定の数値ベクトルの集合に基づいて前記正規化パラメータ又は前記標準化パラメータを更新し、前記所定の数値ベクトルの集合が更新された後に収集される各データの特徴量を要素とする数値ベクトルについては、更新後の前記正規化パラメータ又は前記標準化パラメータを用いて正規化又は標準化する、
    ことを特徴とする特徴量生成装置。
  2. 前記生成部は、生成した数値ベクトルの各メトリックを、前記所定の数値ベクトルの集合における当該メトリックの最大値によって除することで正規化する、
    ことを特徴とする請求項1記載の特徴量生成装置。
  3. 前記生成部は、生成した数値ベクトルの各メトリックを、前記所定の数値ベクトルの集合における当該メトリックの平均及び標準偏差に基づいて標準化する、
    ことを特徴とする請求項1記載の特徴量生成装置。
  4. 異常の検知対象から複数のタイミングで収集される各データの特徴量を要素とする数値ベクトルを生成し、当該数値ベクトルを、所定の数値ベクトルの集合に基づく正規化パラメータ又は標準化パラメータを用いて正規化又は標準化する生成手順と、
    前記所定の数値ベクトルを学習し、学習結果を出力する学習手順と、
    前記生成手順において正規化又は標準化された数値ベクトルごとに、当該数値ベクトルと、前記学習結果とに基づいて異常を検知する検知手順とをコンピュータが実行し、
    前記所定の数値ベクトルの集合は、前記検知手順において異常が検知されない数値ベクトルの集合であり、前記検知手順において異常が検知されないことに応じて更新され、
    前記生成手順は、更新後の前記所定の数値ベクトルの集合に基づいて前記正規化パラメータ又は前記標準化パラメータを更新し、前記所定の数値ベクトルの集合が更新された後に収集される各データの特徴量を要素とする数値ベクトルについては、更新後の前記正規化パラメータ又は前記標準化パラメータを用いて正規化又は標準化する、
    ことを特徴とする特徴量生成方法。
  5. 前記生成手順は、生成した数値ベクトルの各メトリックを、前記所定の数値ベクトルの集合における当該メトリックの最大値によって除することで正規化する、
    ことを特徴とする請求項4記載の特徴量生成方法。
  6. 前記生成手順は、生成した数値ベクトルの各メトリックを、前記所定の数値ベクトルの集合における当該メトリックの平均及び標準偏差に基づいて標準化する、
    ことを特徴とする請求項4記載の特徴量生成方法。
  7. 請求項1乃至3いずれか一項記載の各部としてコンピュータを機能させるためのプログラム。
JP2018565943A 2017-02-02 2017-11-07 特徴量生成装置、特徴量生成方法及びプログラム Active JP6781776B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017017920 2017-02-02
JP2017017920 2017-02-02
PCT/JP2017/040104 WO2018142704A1 (ja) 2017-02-02 2017-11-07 特徴量生成装置、特徴量生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018142704A1 JPWO2018142704A1 (ja) 2019-11-14
JP6781776B2 true JP6781776B2 (ja) 2020-11-04

Family

ID=63040418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565943A Active JP6781776B2 (ja) 2017-02-02 2017-11-07 特徴量生成装置、特徴量生成方法及びプログラム

Country Status (3)

Country Link
US (1) US20190392350A1 (ja)
JP (1) JP6781776B2 (ja)
WO (1) WO2018142704A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954131B2 (en) 2019-06-06 2024-04-09 Nec Corporation Time-series data processing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329329A (ja) * 2006-06-08 2007-12-20 Omron Corp 不良要因抽出装置、不良要因抽出方法、不良要因抽出用プログラム、および不良要因抽出用プログラムを格納した記録媒体
JP5431235B2 (ja) * 2009-08-28 2014-03-05 株式会社日立製作所 設備状態監視方法およびその装置
US8620853B2 (en) * 2011-07-19 2013-12-31 Smartsignal Corporation Monitoring method using kernel regression modeling with pattern sequences
US10069691B2 (en) * 2013-11-26 2018-09-04 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for anomaly detection in a network
US10887786B2 (en) * 2016-10-25 2021-01-05 Extreme Networks, Inc. Near-uniform load balancing in a visibility network via usage prediction

Also Published As

Publication number Publication date
JPWO2018142704A1 (ja) 2019-11-14
US20190392350A1 (en) 2019-12-26
WO2018142704A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
JP6823501B2 (ja) 異常検知装置、異常検知方法及びプログラム
US10728271B2 (en) Bayesian tree aggregation in decision forests to increase detection of rare malware
JP6564799B2 (ja) 閾値決定装置、閾値決定方法及びプログラム
US11374944B2 (en) Instant network threat detection system
US11570166B2 (en) Semi-active probing framework to gather threat intelligence for encrypted traffic and learn about devices
US20200236131A1 (en) Protecting endpoints with patterns from encrypted traffic analytics
US20190102337A1 (en) Scalable training of random forests for high precise malware detection
US10452846B2 (en) OS start event detection, OS fingerprinting, and device tracking using enhanced data features
JP6751168B2 (ja) 異常要因推定装置、異常要因推定方法及びプログラム
US7962611B2 (en) Methods, systems and computer program products for detecting flow-level network traffic anomalies via abstraction levels
US20230129786A1 (en) Correlating endpoint and network views to identify evasive applications
US11201877B2 (en) Detecting encrypted malware with SPLT-based deep networks
US11451561B2 (en) Automated creation of lightweight behavioral indicators of compromise (IOCS)
US10079768B2 (en) Framework for joint learning of network traffic representations and traffic classifiers
US10867036B2 (en) Multiple pairwise feature histograms for representing network traffic
US10999146B1 (en) Learning when to reuse existing rules in active labeling for device classification
US20210027167A1 (en) Model structure extraction for analyzing unstructured text data
US10904271B2 (en) Active prioritization of investigation targets in network security
JP6781776B2 (ja) 特徴量生成装置、特徴量生成方法及びプログラム
JP6858798B2 (ja) 特徴量生成装置、特徴量生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201016

R150 Certificate of patent or registration of utility model

Ref document number: 6781776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150