WO2020031960A1 - 誤り判定装置、誤り判定方法、及びプログラム - Google Patents

誤り判定装置、誤り判定方法、及びプログラム Download PDF

Info

Publication number
WO2020031960A1
WO2020031960A1 PCT/JP2019/030729 JP2019030729W WO2020031960A1 WO 2020031960 A1 WO2020031960 A1 WO 2020031960A1 JP 2019030729 W JP2019030729 W JP 2019030729W WO 2020031960 A1 WO2020031960 A1 WO 2020031960A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
unit
error determination
feature vector
data
Prior art date
Application number
PCT/JP2019/030729
Other languages
English (en)
French (fr)
Inventor
英俊 川口
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/265,867 priority Critical patent/US20210201087A1/en
Publication of WO2020031960A1 publication Critical patent/WO2020031960A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Definitions

  • the present invention relates to a technology for classifying information.
  • a security operator who handles a security system against cyber attacks such as IPS (Intrusion Prevention System) and anti-virus software automatically classifies threat information by machine learning technology or the like.
  • IPS Intrusion Prevention System
  • anti-virus software automatically classifies threat information by machine learning technology or the like.
  • a security operator who handles a security system against cyberattacks collects information on attackers, their actions and tricks, vulnerabilities, etc. as threat information regarding cyberattack activities. Since this threat information needs to be generated every day, the security operator needs to categorize the threat information continuously and sequentially. Examples of threat information include those described in Non-Patent Documents 1 and 2.
  • Non-Patent Document 3 there is a technique of determining whether or not the information should be classified into a predetermined class based on a score for a class obtained by inputting input information to a class classifier ( Patent Document 1).
  • a method of generating a pattern from a pair of the threat information as the learning data and the classification, configuring a classification estimation module, and automatically classifying the data can be considered.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide a technique for accurately determining whether a classification is correct in a technique for classifying information.
  • a classification estimation process observation unit that acquires data of an estimation process from a classification estimation unit that estimates the classification of classification target data, and generates a feature vector based on the data, Inputting the feature vector generated by the classification estimation process observation unit and the classification result output from the classification estimation unit, and determining whether the classification result is correct based on the feature vector and the classification result.
  • An error determination device comprising:
  • FIG. 2 is a functional configuration diagram of the classification device 100 according to the embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the classification device 100. It is a figure for explaining the example of operation (in the case of a neural network) of classification presumption process observation part 121. It is a figure for explaining the example of operation (case of a decision tree) of classification presumption process observation part 121.
  • FIG. 4 is a diagram for describing an outline of the operation of an error determination unit 122.
  • 9 is a flowchart illustrating a processing procedure for generating an error determination unit. It is a figure showing processing of S1. It is a figure showing processing of S2. It is a figure showing processing of S3. It is a figure showing processing of S4.
  • FIG. 1 shows a functional configuration diagram of a classification device 100 according to an embodiment of the present invention.
  • the classification device 100 includes a classification estimation unit 110 and a self-reject unit 120.
  • the self-reject unit 120 includes a classification estimation process observation unit 121 and an error determination unit 122.
  • the classification estimating unit 110 and the self-rejecting unit 120 may be configured as separate devices, and these may be connected via a network.
  • the self-rejecting unit 120 may be referred to as a cell rejecting device or an error determining device.
  • a device including the classification estimating unit 110 and the self-rejecting unit 120 may be referred to as a cell rejecting device or an error determining device.
  • the outline of the operation of the classification device 100 is as follows.
  • classification target data is input to the classification estimation unit 110.
  • the classification target data is data that the user wants to perform some sort of classification using the present system, for example, threat information.
  • the classification estimation unit 110 estimates the classification of the input classification target data.
  • the classification estimation unit 110 itself is a conventional technique, and can be realized using an artificial intelligence-related technique such as an SVM, a neural network, a Bayesian network, and a decision tree.
  • the classification estimation unit 110 outputs the classification result of the classification target data.
  • the classification result is one or more "classifications” or “unknown” in a predetermined classification list. “Unknown” is a result when the classification is estimated by the classification estimating unit 110, but the accuracy of the classification result is doubtful due to low accuracy.
  • the classification estimation process observation unit 121 observes a calculation process when the classification estimation unit 110 estimates the classification of the classification target data, acquires data of the estimation process, converts the data into a feature vector, and Is output to the error determination unit 122.
  • the error determination unit 122 receives the observation data of the estimation process as a feature vector from the classification estimation process observation unit 121, and determines whether the classification estimated by the classification estimation unit 110 is “correct” or “error” based on the observation data. Determine if there is. In the case of “correct”, the classification estimated by the classification estimating unit 110 is used as the classification result, but in the case of “error”, “unknown” is used as the classification result.
  • the above-described classification device 100 (the same applies to the self-reject device and the error determination device) can be realized, for example, by causing a computer to execute a program describing the processing content described in the present embodiment.
  • the classification device 100 can be realized by executing a program corresponding to the processing performed by the classification device 100 using hardware resources such as a CPU and a memory built in the computer.
  • the above-mentioned program can be recorded on a computer-readable recording medium (a portable memory or the like) and can be stored or distributed. Further, it is also possible to provide the above program through a network such as the Internet or e-mail.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the computer according to the present embodiment.
  • the computer in FIG. 2 includes a drive device 150, an auxiliary storage device 152, a memory device 153, a CPU 154, an interface device 155, a display device 156, an input device 157, and the like, which are interconnected by a bus B.
  • the program for realizing the processing in the computer is provided by a recording medium 151 such as a CD-ROM or a memory card.
  • a recording medium 151 such as a CD-ROM or a memory card.
  • the program is installed from the recording medium 151 to the auxiliary storage device 152 via the drive device 150.
  • the program need not always be installed from the recording medium 151, and may be downloaded from another computer via a network.
  • the auxiliary storage device 152 stores installed programs and also stores necessary files and data.
  • the memory device 153 reads the program from the auxiliary storage device 152 and stores it when there is an instruction to start the program.
  • the CPU 154 implements functions related to the classification device 100 according to a program stored in the memory device 153.
  • the interface device 155 is used as an interface for connecting to a network.
  • the display device 156 displays a GUI (Graphical User Interface) or the like by a program.
  • the input device 157 includes a keyboard, a mouse, buttons, a touch panel, and the like, and is used to input various operation instructions.
  • the classification estimation process observation unit 121 configures a feature vector by observing the calculation process when the classification estimation unit 110 estimates the classification of the classification target data.
  • a specific example of a calculation process when the classification estimation process observation unit 121 estimates the classification of the classification target data to be observed will be described using a neural network, a decision tree, and a random forest.
  • the classification estimation process observation unit 121 calculates values output from each node (activation function) of each intermediate layer and output layer of the neural network in the calculation process. It can be used as observation data.
  • Fig. 3 shows an example of a three-layer neural network.
  • values output from each node (activation function) of one intermediate layer and output layer can be used as observation data in the calculation process.
  • the case of three layers as shown in FIG. 3 is an example, and even if the number of layers is four or more, the number of objects to be observed is merely increased, and is essentially unchanged.
  • the shape of the neural network in FIG. 3 is based on the one disclosed in “http://ipr20.cs.ehime-u.ac.jp/column/neural/chapter5.html”.
  • the classification estimation process observation unit 121 acquires a value output from each node (activation function) of the observation point, and configures a feature vector. For example, if the value of each node in the intermediate layer is 0.5, 0.4, 0.7 and the value of each node in the output layer is 0.2, 0.7, 0.1, the feature vector is [0.5 0.4 0.7 0.2 0.7 0.1].
  • the classification estimation process observing unit 121 observes a route leading to a classification and forms a feature vector.
  • FIG. 4 shows an example of a decision tree. This decision tree is a decision tree for estimating any one of the three classes A, B, and C.
  • the feature vector configured by the classification estimation process observation unit 121 that has acquired the classification A as observation data is [1 0]. 1 0 0 1 0 0 0].
  • the subscripts of the elements of the vector correspond to the node numbers of the decision tree. If the node has passed, the element corresponding to the node is set to 1; if not, 0 is set to the element. To form a feature vector.
  • the random forest is a model in which multiple small decision trees are created and classified by majority decision. Therefore, it is possible to generate a feature vector by generating each element of a small-scale decision tree feature vector by the above-described method of forming a feature tree of a decision tree and connecting the elements. In addition, the number of votes of each classification can be linked to the feature vector.
  • the error determination unit 122 receives the classification estimated from the classification estimation unit 110, receives the feature vector of the observation data in the estimation process from the classification estimation process observation unit 121, and based on the observation data, the classification estimation unit 110 It is determined whether the estimated classification is “correct” or “wrong”. If “correct”, the classification estimated by the classification estimating unit 110 is used as the classification result as it is. If “error”, “unknown” is used as the classification result.
  • FIG. 5 shows a specific example.
  • the error determination unit 122 receives the classification A and the feature vector [1 0 1 0 0 1 0 0 0] from the classification estimation unit 110 and the classification estimation process observation unit 121, respectively, and performs classification based on these. It is determined whether A is correct or incorrect.
  • the configuration method of the error determination unit 122 is not limited to a specific method.
  • the error determination unit 122 determines whether the specific value of the feature vector (particularly, the value of the output layer of the neural network or the number of votes of the random forest) exceeds a threshold value, so that the classification is “correct”. Or an "error" can be determined.
  • the error determination unit 122 may be configured by a model often used in the field of machine learning.
  • the error determination unit 122 can be configured by an SVM, a neural network, or the like.
  • the error determination unit 122 can be implemented by performing parameter tuning of the model by supervised learning.
  • a method of creating the error determination unit 122 by machine learning will be described.
  • FIG. 6 is a flowchart illustrating a procedure of a method of creating the error determination unit 122 by machine learning. Hereinafter, each step will be described along the procedure of S1 (step 1) to S4 (step 4) shown in FIG.
  • the classification device 100 may include a learning unit, and the learning unit may perform the processing.
  • the learning unit may be provided in a computer separate from the self-reject device and the error determination device), and the learning unit may execute the learning unit.
  • the substance of the error determination unit 122 to be created is software for calculating a mathematical expression corresponding to the model with parameter tuning.
  • step 1 a learning classification target data list (A) and its correct classification list (B) are prepared.
  • the classification estimation unit 110 is tuned by machine learning, the learning data may be used. Both the learning classification target data list (A) and its correct classification list (B) need to be prepared manually.
  • FIG. 7 shows an example of the learning classification target data list (A) and its correct classification list (B).
  • a learning classification target data list (A) composed of three data and a correct classification classification list (B) of each data (enclosed in parentheses ⁇ >) are shown.
  • Step 2 As shown in FIG. 8, each element of the classification target data list (A) is input to the classification estimation unit 110.
  • the classification estimation process observation unit 121 generates the feature vector of the estimation process by the method described above, and the learning unit acquires the estimation process feature vector list (C) as the list. At the same time, the learning unit acquires the classification result list (D) from the classification estimation unit 110.
  • step 3 the learning unit compares the correct answer classification list (B) with the classification result list (D), and acquires a learning right / wrong list (E) representing the correctness of the automatic classification.
  • the correct answer of the first class is the class O as described in the correct answer class list (B), whereas the first class is the class P in the classification result. Therefore, the first classification becomes an error, and the first element of the learning correct / error list (E) becomes 1 (error). Since the second and third are correct, the learning correct / incorrect list (E) is ⁇ 1 0 0>.
  • step 4 the learning unit receives the estimation process feature vector list (C) as an input of, for example, a neural network (or SVM), and uses the learning correctness / error list (E) as the neural network (or SVM). Machine learning is performed as the output of the correct answer of. As a result, a neural network (or SVM) on which parameter tuning has been performed is obtained as the error determination unit 122.
  • C estimation process feature vector list
  • E learning correctness / error list
  • the estimation process at the time of classification by the classification estimation unit 110 is observed, and an error determination is performed based on the observed data. Can be.
  • the technology according to the present embodiment it is possible to further classify a classification having a high possibility of a correct answer and a classification having a low possibility of a correct answer. For this reason, it is easy to select not to manually confirm a classification having a high possibility of a correct answer, and it is sufficient to manually confirm a classification having a low possibility of a correct answer.
  • the classification estimation process observation unit that acquires the data of the estimation process from the classification estimation unit that estimates the classification of the classification target data and generates a feature vector based on the data. And the feature vector generated by the classification estimation process observation unit, and the classification result output from the classification estimation unit, and based on the feature vector and the classification result, correct or incorrect of the classification result. And an error determination unit for determining the error.
  • the error determination unit for example, when it is determined that the classification result is correct, outputs the classification result by the classification estimating unit, when it is determined that the classification result is incorrect, the classification is unknown. Outputs the indicated information.
  • the data in the estimation process includes output data of a node of an intermediate layer in the neural network, and in the case where the classification estimating unit is configured by a decision tree,
  • the process data may include information on the route of the decision in the decision tree.
  • the error determination unit may be a functional unit generated by machine learning based on the feature vector generated by the classification estimation process observation unit.
  • Reference Signs List 100 Classification device 110 Classification estimation unit 120 Self-rejection unit 121 Classification estimation process observation unit 122 Error determination unit 150 Drive device 151 Recording medium 152 Auxiliary storage device 153 Memory device 154 CPU 155 Interface device 156 Display device 157 Input device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

誤り判定装置において、分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて特徴ベクトルを生成する分類推定過程観測部と、前記分類推定過程観測部により生成された前記特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定部とを備える。

Description

誤り判定装置、誤り判定方法、及びプログラム
　本発明は、情報を分類する技術に関連するものである。本技術の適用分野の例として、ＩＰＳ(Intrusion Prevention System)やアンチウイルスソフトなどのサイバー攻撃に対するセキュリティシステムを扱うセキュリティ運用者が、脅威情報を機械学習技術等で自動的に分類する技術がある。
　サイバー攻撃に対するセキュリティシステムを扱うセキュリティ運用者は、サイバー攻撃活動について攻撃者、攻撃者の行動や手口、脆弱性などについてを脅威情報としてまとめる。この脅威情報は日々生成する必要があるため、セキュリティ運用者は継続的・逐次的に脅威情報の分類を行う必要がある。なお、脅威情報の例として、非特許文献１、２に記載されたものがある。
　分類を行う従来技術として、例えば、機械学習を用いて膨大なデータからパターンを抽出し分析・分類・評価する技術がある（例えば非特許文献３）。また、分類の従来技術として、入力情報がクラス分類器に入力されて得られたクラスに対するスコアに基づいて、当該情報が所定のクラスに分類されるべきものか否かを判別する技術がある（特許文献１）。
特開２０１４－１０２５５５号公報
https://www.ipa.go.jp/security/vuln/STIX.html、平成３０年８月２日検索 https://www.ipa.go.jp/security/vuln/TAXII.html、平成３０年８月２日検索 http://scikit-learn.org/stable/、平成３０年８月２日検索
　上述したとおり、セキュリティ運用者は脅威情報を分類する必要があるが、脅威情報自体の数が膨大になった場合は分類を行いきれなくなる可能性がある。脅威情報を分類できないということは、サイバー攻撃を防ぎきることができない可能性が生じてしまい、運用対象となっている組織にとって望ましくない可能性がある。
　膨大な脅威情報へ全て評価を行いきるには、学習データとなる脅威情報と分類の対からパターンを生成し、分類推定モジュールを構成し、自動で分類するという方法が考えられる。
　しかしながら、分類推定モジュールによる分類だけでは誤った分類を避けることができない。脅威情報はセンシティブに扱う必要があり、結局のところセキュリティ運用者によって正しいか誤りかを判断しなくてはならないという問題がある。また、特許文献１に記載された技術によりクラス分類の正誤を判定することができるが、その精度は低いと考えられる。
　本発明は上記の点に鑑みてなされたものであり、情報を分類する技術において、分類の正誤を精度良く判定するための技術を提供することを目的とする。
　開示の技術によれば、分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて特徴ベクトルを生成する分類推定過程観測部と、
　前記分類推定過程観測部により生成された前記特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定部と
　を備えることを特徴とする誤り判定装置が提供される。
　開示の技術によれば、情報を分類する技術において、分類の正誤を精度良く判定することが可能となる。
本発明の実施の形態における分類装置１００の機能構成図である。 分類装置１００のハードウェア構成の例を示す図である。 分類推定過程観測部１２１の動作例（ニューラルネットワークの場合）を説明するための図である。 分類推定過程観測部１２１の動作例（決定木の場合）を説明するための図である。 誤り判定部１２２の動作概要を説明するための図である。 誤り判定部１２２を生成するための処理手順を示すフローチャートである。 Ｓ１の処理を示す図である。 Ｓ２の処理を示す図である。 Ｓ３の処理を示す図である。 Ｓ４の処理を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　（装置の機能構成）
　図１は、本発明の実施の形態における分類装置１００の機能構成図を示す。図１に示すように、分類装置１００は、分類推定部１１０、及びセルフリジェクト部１２０を有する。セルフリジェクト部１２０は、分類推定過程観測部１２１、及び誤り判定部１２２を有する。
　なお、分類推定部１１０とセルフリジェクト部１２０が別々の装置で構成され、これらがネットワークで接続されていてもよく、その場合、セルフリジェクト部１２０をセルリジェクト装置あるいは誤り判定装置と称してもよい。また、分類推定部１１０とセルフリジェクト部１２０とを含む装置をセルリジェクト装置あるいは誤り判定装置と称してもよい。分類装置１００の動作の概要は下記のとおりである。
　（動作概要）
　まず、分類対象データが分類推定部１１０に入力される。分類対象データは、本システムを使用して何かしらの分類を行いたいデータであり、例えば脅威情報が該当する。
　分類推定部１１０は、入力された分類対象データの分類を推定する。分類推定部１１０自体は従来技術であり、例えば、ＳＶＭ、ニューラルネットワーク、ベイジアンネットワーク、決定木などの人工知能関連の技術を用いて実現できる。
　分類推定部１１０からは分類対象データの分類結果が出力される。分類結果は、予め定められた分類リストの中の一つ以上の「分類」、もしくは「不明」である。「不明」は、分類推定部１１０により分類が推定されたものの、確度が低いために分類結果の正確性が怪しい場合の結果である。
　分類推定過程観測部１２１は、分類推定部１１０が分類対象データの分類を推定する際の計算過程を観測して、推定過程のデータを取得し、当該データを特徴ベクトルへ変換し、当該特徴ベクトルを誤り判定部１２２に出力する。
　誤り判定部１２２は、分類推定過程観測部１２１から、推定過程の観測データを特徴ベクトルとして受け取り、その観測データに基づいて、分類推定部１１０が推定した分類が「正しい」ものか「誤り」であるかを判断する。「正しい」場合は分類推定部１１０が推定した分類をそのまま分類結果とするが、「誤り」の場合は「不明」を分類結果とする。
　分類推定過程観測部１２１と誤り判定部１２２についての詳細は後述する。
　（ハードウェア構成例）
　上述した分類装置１００（セルフリジェクト装置、誤り判定装置も同様）は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
　すなわち、分類装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、分類装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図２は、本実施の形態における上記コンピュータのハードウェア構成例を示す図である。図２のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１５０、補助記憶装置１５２、メモリ装置１５３、ＣＰＵ１５４、インタフェース装置１５５、表示装置１５６、及び入力装置１５７等を有する。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１５１によって提供される。プログラムを記憶した記録媒体１５１がドライブ装置１５０にセットされると、プログラムが記録媒体１５１からドライブ装置１５０を介して補助記憶装置１５２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１５１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１５２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１５３は、プログラムの起動指示があった場合に、補助記憶装置１５２からプログラムを読み出して格納する。ＣＰＵ１５４は、メモリ装置１５３に格納されたプログラムに従って、分類装置１００に係る機能を実現する。インタフェース装置１５５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１５６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１５７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
　（分類推定過程観測部１２１の詳細）
　分類推定過程観測部１２１は、分類推定部１１０が分類対象データの分類を推定する際の計算過程を観測して特徴ベクトルを構成する。分類推定過程観測部１２１の観測対象となる分類対象データの分類を推定する際の計算過程の具体例を、ニューラルネットワーク、決定木、ランダムフォレストを用いて説明する。
　分類推定部１１０がニューラルネットワークを用いて分類を推定する場合、分類推定過程観測部１２１は、ニューラルネットワークの各中間層と出力層の各ノード（活性化関数）から出力される値を計算過程の観測データとして使用することができる。
　図３に３層のニューラルネットワークの例を示す。この例では、１つの中間層と出力層の各ノード（活性化関数）から出力される値を計算過程の観測データとして使用することができる。図３のように３層であることは一例であり、４層以上でも観測対象が増えるだけで本質的には変わらない。なお、図３におけるニューラルネットワークの形状は、「http://ipr20.cs.ehime-u.ac.jp/column/neural/chapter5.html」に開示されたものに基づく。
　図３に示す例において、分類推定過程観測部１２１は、観測箇所の各ノード（活性化関数）から出力される値を取得し、特徴ベクトルを構成する。例えば、中間層の各ノードの値が０．５，０．４，０．７であり、出力層の各ノードの値が０．２，０．７，０．１である場合、特徴ベクトルは［０．５　０．４　０．７　０．２　０．７　０．１］と構成することができる。
　分類推定部１１０が決定木を用いて分類を推定する場合、分類推定過程観測部１２１は、分類が決定に至るルートを観測し特徴ベクトルを構成する。図４に、決定木の例を示す。この決定木は、分類Ａ、分類Ｂ、分類Ｃの３つの分類のうちのいずれかの分類を推定する決定木である。
　図４に示す例では、ノード１－＞ノード３－＞ノード６というルートで分類Ａとなった場合、それを観測データとして取得した分類推定過程観測部１２１により構成される特徴ベクトルは［１　０　１　０　０　１　０　０　０］となる。この例では、ベクトルの要素の添え字と、決定木のノード番号とが対応しており、そのノードを通過したならそのノードに対応する要素に１が入り、通過していないなら０が入るようにして特徴ベクトルを構成している。
　次に、分類推定部１１０がランダムフォレストを用いて分類を推定する場合について説明する。ランダムフォレストとは小規模な決定木を複数作り多数決で分類を行うモデルである。そのため、上述した決定木の特徴ベクトルの構成方法で小規模な決定木の特徴ベクトルの各要素を生成し、それを連結することにより特徴ベクトルを構成することができる。また、それに加えて各分類の得票数も特徴ベクトルへ連結することもできる。
　（誤り判定部１２２の詳細）
　誤り判定部１２２は、分類推定部１１０から推定した分類を受け取るととともに、分類推定過程観測部１２１から、推定過程の観測データの特徴ベクトルを受け取り、その観測データに基づいて、分類推定部１１０が推定した分類が「正しい」ものか「誤り」であるかを判断する。「正しい」場合は分類推定部１１０が推定した分類をそのまま分類結果とするが、「誤り」の場合は「不明」を分類結果とする。
　図５は、具体例を示している。図５の例において、誤り判定部１２２は、分類推定部１１０と分類推定過程観測部１２１からそれぞれ分類Ａ、及び特徴ベクトル［１　０　１　０　０　１　０　０　０］を受け取り、これらに基づいて分類Ａが正しいか誤りかを判定する。
　誤り判定部１２２の構成方法は特定の方法に限定されない。例えば、誤り判定部１２２は、特徴ベクトルの特定の値（特にニューラルネットワークの出力層の値やランダムフォレストの得票数）が閾値を越えているかどうかを判定することでにより、分類が「正しい」ものか「誤り」であるかを判断することができる。
　また、誤り判定部１２２は機械学習分野でよく用いられているモデルで構成することとしてもよい。例えばＳＶＭ、あるいはニューラルネットワークなどで誤り判定部１２２を構成することができる。これらのモデルを用いる場合、教師あり学習でモデルのパラメータチューニングを行なうことで誤り判定部１２２を実装することができる。以下、機械学習による誤り判定部１２２の作成方法を説明する。
　（機械学習による誤り判定部１２２の作成方法）
　図６は、機械学習による誤り判定部１２２の作成方法の手順を示すフローチャートである。以下、図６に示すＳ１（ステップ１）～Ｓ４（ステップ４）の手順に沿って、各ステップを説明する。
　なお、誤り判定部１２２を作成する処理に関しては、分類装置１００（あるいは、セルフリジェクト装置、誤り判定装置）に学習部を備え、当該学習部が実施してもよいし、分類装置１００（あるいは、セルフリジェクト装置、誤り判定装置）とは別のコンピュータに学習部を備え、その学習部が実施することとしてもよい。また、作成される誤り判定部１２２の実体は、パラメータチューニングされたモデルに対応する数式の計算を行うソフトウェアである。
　＜ステップ１＞
　ステップ１では、学習用分類対象データリスト（Ａ）とその正解分類リスト（Ｂ）を用意する。分類推定部１１０を機械学習でチューニングしている場合、その学習データも流用してよい。学習用分類対象データリスト（Ａ）とその正解分類リスト（Ｂ）は両方とも人手で用意する必要がある。
　図７は、学習用分類対象データリスト（Ａ）とその正解分類リスト（Ｂ）の例を示す。この例では、３つのデータからなる学習用分類対象データリスト（Ａ）と、各データの正解分類のリスト（Ｂ）（＜＞の括弧ではさんだもの）が示されている。
　＜ステップ２＞
　ステップ２では、図８に示すとおり、分類推定部１１０に分類対象データリスト（Ａ）の各要素を入力する。分類推定過程観測部１２１は、前述した方法で推定過程の特徴ベクトルを生成し、学習部が、そのリストである推定過程特徴ベクトルリスト（Ｃ）を取得する。それと同時に学習部は、分類推定部１１０から分類結果リスト（Ｄ）を取得する。
　＜ステップ３＞
　ステップ３では、図９に示すように、学習部が、正解分類リスト（Ｂ）と分類結果リスト（Ｄ）を比較し、自動分類の正誤を表した学習用正誤リスト（Ｅ）を取得する。図９の例では、正解分類リスト（Ｂ）に記載のように、一番目の分類の正解が分類Ｏであるのに対し、分類結果では、一番目の分類が分類Ｐとなった。よって、一番目の分類は誤りとなり、学習用正誤リスト（Ｅ）の一番目の要素は１（誤り）になる。２番目と３番目は正しいので、学習用正誤リスト（Ｅ）は＜１　０　０＞となる。
　＜ステップ４＞
　ステップ４では、図１０に示すように、学習部は、推定過程特徴ベクトルリスト（Ｃ）を例えばニューラルネットワーク（あるいはＳＶＭ）の入力とし、学習用正誤リスト（Ｅ）を当該ニューラルネットワーク（あるいはＳＶＭ）の正解の出力として、機械学習を行う。これによりパラメータチューニングのなされたニューラルネットワーク（あるいはＳＶＭ）が、誤り判定部１２２として得られる。
　（実施の形態の効果）
　以上、説明したように、本実施の形態に係る技術によれば、分類推定部１１０の分類時の推定過程を観測し、観測データに基づいて誤り判定を行うので、精度の高い判定を行なうことができる。
　また、本実施の形態に係る技術によれば、正解の可能性が高い分類と、正解の可能性が低い分類をより分けることが可能となる。そのため、正解の可能性が高い分類については人手で確認しないということを選択することが容易となり、正解の可能性が低い分類について人手で確認すれば良いということになる。
　（実施の形態のまとめ）
　以上、説明したように、本実施の形態によれば、分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて特徴ベクトルを生成する分類推定過程観測部と、前記分類推定過程観測部により生成された前記特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定部とを備えることを特徴とする誤り判定装置が提供される。
　前記誤り判定部は、例えば、前記分類結果を正しいと判定した場合に、前記分類推定部による分類結果を出力し、前記分類結果を誤りであると判定した場合に、分類は不明であることを示す情報を出力する。
　前記分類推定部がニューラルネットワークにより構成される場合において、前記推定過程のデータは当該ニューラルネットワークにおける中間層のノードの出力データを含み、前記分類推定部が決定木により構成される場合において、前記推定過程のデータは当該決定木における決定のルートの情報を含むこととしてもよい。
　前記誤り判定部は、前記分類推定過程観測部により生成される特徴べクトルに基づいて、機械学習により生成された機能部であることとしてもよい。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００　分類装置
１１０　分類推定部
１２０　セルフリジェクト部
１２１　分類推定過程観測部
１２２　誤り判定部
１５０　ドライブ装置
１５１　記録媒体
１５２　補助記憶装置
１５３　メモリ装置
１５４　ＣＰＵ
１５５　インターフェース装置
１５６　表示装置
１５７　入力装置

Claims (6)

  1. 　分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて特徴ベクトルを生成する分類推定過程観測部と、
    　前記分類推定過程観測部により生成された前記特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定部と
    　を備えることを特徴とする誤り判定装置。
  2. 　前記誤り判定部は、前記分類結果を正しいと判定した場合に、前記分類推定部による分類結果を出力し、前記分類結果を誤りであると判定した場合に、分類は不明であることを示す情報を出力する
    　ことを特徴とする請求項１に記載の誤り判定装置。
  3. 　前記分類推定部がニューラルネットワークにより構成される場合において、前記推定過程のデータは当該ニューラルネットワークにおける中間層のノードの出力データを含み、前記分類推定部が決定木により構成される場合において、前記推定過程のデータは当該決定木における決定のルートの情報を含む
    　ことを特徴とする請求項１又は２に記載の誤り判定装置。
  4. 　前記誤り判定部は、前記分類推定過程観測部により生成される特徴べクトルに基づいて、機械学習により生成された機能部である
    　ことを特徴とする請求項１ないし３のうちいずれか１項に記載の誤り判定装置。
  5. 　コンピュータが実行する誤り判定方法であって、
    　分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて特徴ベクトルを生成する分類推定過程観測ステップと、
    　前記分類推定過程観測ステップにより生成された前記特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定ステップと
    　を備えることを特徴とする誤り判定方法。
  6. 　コンピュータを、請求項１ないし４のうちいずれか１項に記載の誤り判定装置における分類推定過程観測部及び誤り判定部として機能させるためのプログラム。
PCT/JP2019/030729 2018-08-06 2019-08-05 誤り判定装置、誤り判定方法、及びプログラム WO2020031960A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/265,867 US20210201087A1 (en) 2018-08-06 2019-08-05 Error judgment apparatus, error judgment method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-147838 2018-08-06
JP2018147838A JP7143672B2 (ja) 2018-08-06 2018-08-06 誤り判定装置、誤り判定方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020031960A1 true WO2020031960A1 (ja) 2020-02-13

Family

ID=69415527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030729 WO2020031960A1 (ja) 2018-08-06 2019-08-05 誤り判定装置、誤り判定方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210201087A1 (ja)
JP (1) JP7143672B2 (ja)
WO (1) WO2020031960A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021144852A1 (ja) * 2020-01-14 2021-07-22 日本電信電話株式会社 データ分類装置、データ分類方法、及びプログラム
WO2022219786A1 (ja) * 2021-04-15 2022-10-20 日本電信電話株式会社 ラベル付与装置、ラベル付与方法及びプログラム
WO2022219787A1 (ja) * 2021-04-15 2022-10-20 日本電信電話株式会社 ラベル付与装置、ラベル付与方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078096A1 (ja) * 2007-12-18 2009-06-25 Fujitsu Limited 二クラス分類予測モデルの作成方法、分類予測モデル作成のためのプログラムおよび二クラス分類予測モデルの作成装置
JP2013077194A (ja) * 2011-09-30 2013-04-25 Hiroshi Sugimura 知識を活用する情報システム装置
JP2016192007A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 機械学習装置、機械学習方法、および機械学習プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060295A1 (en) * 2003-09-12 2005-03-17 Sensory Networks, Inc. Statistical classification of high-speed network data through content inspection
US7720771B1 (en) * 2005-06-24 2010-05-18 Hewlett-Packard Development Company, L.P. Method of dividing past computing instances into predictable and unpredictable sets and method of predicting computing value
US7747551B2 (en) * 2007-02-21 2010-06-29 Neurovista Corporation Reduction of classification error rates and monitoring system using an artificial class
WO2012071989A1 (zh) * 2010-11-29 2012-06-07 北京奇虎科技有限公司 基于机器学习的程序识别方法及装置
US8682812B1 (en) * 2010-12-23 2014-03-25 Narus, Inc. Machine learning based botnet detection using real-time extracted traffic features
US8775128B2 (en) * 2012-11-07 2014-07-08 Sensor Platforms, Inc. Selecting feature types to extract based on pre-classification of sensor measurements
JP2014102555A (ja) 2012-11-16 2014-06-05 Ntt Docomo Inc 判別ルール生成装置及び判別ルール生成方法
IL239191A0 (en) * 2015-06-03 2015-11-30 Amir B Geva Image sorting system
EP3475822B1 (en) * 2016-06-22 2020-07-22 Invincea, Inc. Methods and apparatus for detecting whether a string of characters represents malicious activity using machine learning
US10679143B2 (en) * 2016-07-01 2020-06-09 International Business Machines Corporation Multi-layer information fusing for prediction
US10826934B2 (en) * 2017-01-10 2020-11-03 Crowdstrike, Inc. Validation-based determination of computational models
JP6798619B2 (ja) * 2017-07-31 2020-12-09 富士通株式会社 情報処理装置、情報処理プログラム及び情報処理方法
US10796221B2 (en) * 2017-10-19 2020-10-06 General Electric Company Deep learning architecture for automated image feature extraction
US20190147357A1 (en) * 2017-11-16 2019-05-16 Red Hat, Inc. Automatic detection of learning model drift
US11444957B2 (en) * 2018-07-31 2022-09-13 Fortinet, Inc. Automated feature extraction and artificial intelligence (AI) based detection and classification of malware

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078096A1 (ja) * 2007-12-18 2009-06-25 Fujitsu Limited 二クラス分類予測モデルの作成方法、分類予測モデル作成のためのプログラムおよび二クラス分類予測モデルの作成装置
JP2013077194A (ja) * 2011-09-30 2013-04-25 Hiroshi Sugimura 知識を活用する情報システム装置
JP2016192007A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 機械学習装置、機械学習方法、および機械学習プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021144852A1 (ja) * 2020-01-14 2021-07-22 日本電信電話株式会社 データ分類装置、データ分類方法、及びプログラム
WO2022219786A1 (ja) * 2021-04-15 2022-10-20 日本電信電話株式会社 ラベル付与装置、ラベル付与方法及びプログラム
WO2022219787A1 (ja) * 2021-04-15 2022-10-20 日本電信電話株式会社 ラベル付与装置、ラベル付与方法及びプログラム
JP7544260B2 (ja) 2021-04-15 2024-09-03 日本電信電話株式会社 ラベル付与装置、ラベル付与方法及びプログラム
JP7544259B2 (ja) 2021-04-15 2024-09-03 日本電信電話株式会社 ラベル付与装置、ラベル付与方法及びプログラム

Also Published As

Publication number Publication date
JP7143672B2 (ja) 2022-09-29
JP2020024513A (ja) 2020-02-13
US20210201087A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
Do et al. Deep learning for phishing detection: Taxonomy, current challenges and future directions
Choudhury et al. Comparative analysis of machine learning algorithms along with classifiers for network intrusion detection
van Rijn et al. Algorithm selection on data streams
WO2020031960A1 (ja) 誤り判定装置、誤り判定方法、及びプログラム
Abed et al. Applying bag of system calls for anomalous behavior detection of applications in linux containers
WO2020196549A1 (ja) 誤り判定装置、誤り判定方法、及びプログラム
Wasoye et al. Ransomware classification using btls algorithm and machine learning approaches
Meyer et al. Certifying robustness to programmable data bias in decision trees
Gonaygunta et al. Study on Empowering Cyber Security by Using Adaptive Machine Learning Methods
JP7315843B2 (ja) 生成方法、生成プログラム、および情報処理装置
Vert et al. A technology for detection of advanced persistent threat in networks and systems using a finite angular state velocity machine and vector mathematics
Jose et al. DOMAIN-based intelligent network intrusion detection system
Narayanan et al. A novel approach to big data analysis using deep belief network for the detection of android malware
Torres et al. A Malware Detection Approach Based on Feature Engineering and Behavior Analysis
Casanova et al. Malicious Network Traffic Detection for DNS over HTTPS using Machine Learning Algorithms
Huang et al. TWMAN+: A Type-2 fuzzy ontology model for malware behavior analysis
Jaenisch et al. Data models as a general fast framework for converting simulations at all scales into fast real-time approximations
WO2021144852A1 (ja) データ分類装置、データ分類方法、及びプログラム
Yadav et al. Explanation Systems for Influence Maximization Algorithms.
Konda et al. AI and IoT based Intrusion Detection System for Cybersecurity
Mahajan et al. Taxonomy on RapidMiner Using Machine Learning
Mustafar et al. Cyber-attack group representation based on adversary artifacts with machine learning
WO2022259313A1 (ja) 誤り判定装置、誤り判定方法、及びプログラム
Agrawal et al. Masquerade detection on GUI–based Windows systems
Dini et al. Analysis, Design, and Comparison of Machine-Learning Techniques for Networking Intrusion Detection. Designs 2021, 5, 9

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846307

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19846307

Country of ref document: EP

Kind code of ref document: A1