WO2022259313A1 - 誤り判定装置、誤り判定方法、及びプログラム - Google Patents

誤り判定装置、誤り判定方法、及びプログラム Download PDF

Info

Publication number
WO2022259313A1
WO2022259313A1 PCT/JP2021/021569 JP2021021569W WO2022259313A1 WO 2022259313 A1 WO2022259313 A1 WO 2022259313A1 JP 2021021569 W JP2021021569 W JP 2021021569W WO 2022259313 A1 WO2022259313 A1 WO 2022259313A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
unit
probability
data
vector
Prior art date
Application number
PCT/JP2021/021569
Other languages
English (en)
French (fr)
Inventor
英俊 川口
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/021569 priority Critical patent/WO2022259313A1/ja
Priority to JP2023527157A priority patent/JPWO2022259313A1/ja
Publication of WO2022259313A1 publication Critical patent/WO2022259313A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to technology for classifying information.
  • technology for classifying information.
  • IPS Intrusion Prevention System
  • anti-virus software As an example of the application field of this technology, there is a technology that automatically classifies threat information using machine learning technology, etc., by security operators who handle security systems against cyber attacks such as IPS (Intrusion Prevention System) and anti-virus software.
  • IPS Intrusion Prevention System
  • anti-virus software anti-virus software
  • Security operators who handle security systems against cyberattacks compile threat information on cyberattack activities, including attackers, their actions and methods, and vulnerabilities. Since this threat information needs to be generated on a daily basis, security operators need to continuously and sequentially classify threat information.
  • Patent Documents 1 and 2 As conventional techniques for classification, there are conventional techniques disclosed in Patent Documents 1 and 2, for example. In these prior arts, techniques for automatically judging whether data classification is correct or not have been proposed. This makes it possible to semi-automate the data classification work by entrusting the work of classifying data thought to be erroneous to humans. .
  • the present invention has been made in view of the above points, and aims to provide a technique that makes it possible to output the probability of belonging to each class, in addition to the correctness of classification for certain data.
  • a classification estimation process observation unit that acquires data of an estimation process from a classification estimation unit that estimates the classification of data to be classified and generates an estimation process feature vector based on the data; a probability estimating unit that generates an estimated probability vector consisting of a probability of belonging to each class of the data to be classified based on the estimation process feature vector; an error judgment unit that judges whether the classification result by the classification estimation unit is correct or wrong based on the estimated probability vector, and outputs the classification result, the correct/wrong judgment result, and the estimated probability vector.
  • FIG. 9 is a flowchart for explaining a method of generating a classification probability correction vector calculation unit; It is a figure which shows the hardware configuration example of an apparatus.
  • FIG. 1(a) shows an image of the conventional technology, in which only one accuracy rate is output from a function (neural network) for calculating the certainty of classification.
  • the function for calculating the degree of certainty of classification outputs all the probabilities of belonging to each class.
  • FIG. 2 shows an outline of the processing contents of the classification device according to the present embodiment.
  • a classifier (corresponding to the classification estimation unit 110 described later) performs learning using input data and a correct class. During its learning, the classification estimator 110 predicts the class of data many times. The ratio of predicted classes is used as training data for a multi-class certainty calculation function (corresponding to the classification probability correction vector calculation unit 122 described later) in the Rejecter.
  • FIG. 3 shows a functional configuration diagram of the classification device 100 according to the embodiment of the present invention.
  • the classification device 100 has a classification estimation section 110 and an error determination processing section 120 .
  • the error determination processing section 120 has a classification estimation process observation section 121 , a classification probability correction vector calculation section 122 , a classification probability estimation section 123 and an error determination section 124 .
  • the classification device 100 may include a learning unit 130 .
  • the learning unit 130 executes learning operations such as parameter adjustment in supervised learning of the classification estimation unit 110, the classification probability correction vector calculation unit 122, and the like. Note that the learning unit 130 may not be provided in the learned state. Also, a device including the learning unit 130 as shown in FIG. 3 may be called a learning device.
  • the classification estimation unit 110 and the error determination processing unit 120 may be composed of separate devices and connected via a network.
  • the error determination processing unit 120 may be referred to as an error determination device.
  • a device including the classification estimation unit 110 and the error determination processing unit 120 may be called an error determination device.
  • classification target data is input to classification estimation section 110 .
  • Data to be classified is data to be classified in some way using this system, and threat information is applicable, for example.
  • the classification estimation unit 110 estimates the classification of data to be classified.
  • the method/model for estimation is assumed to be artificial intelligence-related technology such as SVM/neural network, but is not limited to these.
  • the classification estimation process observation unit 121 observes the calculation process when the classification estimation unit 110 estimates the classification target data, converts it into a feature vector (feature vector in the estimation process), and outputs the feature vector.
  • the classification probability correction vector calculation unit 122 receives the feature vector of the estimation process from the classification estimation process observation unit 121 and calculates a vector for correcting the classification probability.
  • the classification probability correction vector calculator 122 is generated by machine learning. A method of generating it will be described later.
  • the classification probability correction vector output from the classification probability correction vector calculation unit 122 is a numerical vector used for correcting the classification probability, and is a real-valued vector having a class number dimension. Note that the classification probability correction vector output from the classification probability correction vector calculation unit 122 may be used as a vector of the probability of belonging to each class of data to be classified (estimated probability vector for each class).
  • the classification probability estimation unit 123 receives the feature vector of the estimation process from the classification estimation process observation unit 121, receives the classification probability correction vector from the classification probability correction vector calculation unit 122, and calculates the probability that the data to be classified belongs to each class. .
  • the feature vector in the estimation process, part of the feature vector in the estimation process, or the classification probability correction vector is directly output. That is, the classification probability correction vector calculation unit 122 may be used as the classification probability estimation unit 123 without the classification probability estimation unit 123 .
  • the classification probability correction vector calculation unit 122 and the classification probability estimation unit 123 may be collectively referred to as a "probability estimation unit".
  • a functional unit including the classification probability correction vector calculation unit 122 and the classification probability estimation unit 123 may be called a "probability estimation unit”.
  • the error determination unit 124 receives the classification result, the feature vector of the estimation process, and the estimated probability for each classification from the classification estimation unit 110, the classification estimation process observation unit 121, and the classification probability estimation unit 123, respectively, and performs classification estimation based on them. It determines whether the classification estimated by unit 110 is "correct” or "wrong". Also, the error determination unit 123 outputs the error determination result, the classification result, and the estimated probability vector for each class as the result of the entire system.
  • the classification result is the classification result of the data to be classified, and indicates one or more "classes" determined from a predetermined class (classification) list.
  • the estimated probability vector for each class is the probability value of each class output by the classification probability estimation unit 123. For example, assuming that certain data is classified into classes A, B, and C, the probability that the classification is A is 0%, B is ⁇ %, and C is ⁇ %.
  • the error determination result is a determination result as to whether or not the classification is erroneous.
  • the classification estimation process observation unit 121 observes the calculation process (estimation process data) when the classification estimation unit 110 estimates the classification target data, forms a feature vector (estimation process feature vector), and outputs the characteristic vector.
  • the configured feature vector basically differs depending on the model in the classification estimation unit 110.
  • the following (1), (2), and (3) will be described as examples of representative feature vectors.
  • (1-1) Feature Vector Converting Data to be Classified into Numerical Vector
  • the classification estimation unit 110 is constructed with a machine learning model
  • the data to be classified is internally converted into a feature vector that is a vector of numerical values.
  • the vector of the numerical values is observed and used as the feature vector of the estimation process.
  • classification scoring is performed for each class. By observing the scoring, converting the scoring into probability values and arranging them, an estimated probability vector for each class is obtained, which is used as a feature vector of the estimation process.
  • the classification estimation process observation unit 121 converts the score (real value) for each class obtained by observing the classification estimation unit 110 into a probability vector using a softmax function. That is, in the case of n -class classification, if the scores of each class are a 1 , .
  • the classification estimation unit 110 When the classification estimation unit 110 performs class classification using a neural network, the classification estimation unit 110 basically estimates a probability vector for each classification (class) from the score for each class.
  • the procedure is the same as the "estimated probability vector per class" procedure described above, which applies a softmax function to the scores a 1 , . . . , a n of each class.
  • Classification estimation process observation unit 121 observes a 1 , .
  • the prediction score of any classifier may be used as the feature vector in the estimation process.
  • the classification estimation unit 110 performs class classification using a Support Vector Machine (SVM)
  • SVM Support Vector Machine
  • the distance to the boundary surface can be observed as a prediction score and used as a feature vector in the estimation process.
  • each machine learning model uses the above-described "feature vector obtained by converting the data to be classified into a numerical vector", One or more of the "estimated probability vector for each estimated class” and the “logit vector” can be obtained. A vector obtained by concatenating the vectors of multiple machine learning models can be output as a feature vector in the estimation process.
  • the error determination section 124 receives the classification result, the feature vector of the estimation process, and the estimated probability for each class, and based on these, the classification estimated by the classification estimation unit 110 is "correct.” determine whether it is a thing or "error". Note that only one of the feature vector of the estimation process and the estimated probability for each class may be used.
  • the error determination unit 124 outputs the error determination result, the classification result, and the estimated probability for each class as the result of the entire system.
  • the error determination method executed by the error determination unit 124 is not limited to a specific method, but for example, one of the following methods 1 to 3 can be used. Any two or all of the methods 1 to 3 may be applied in combination. Moreover, the following methods 1 to 3 are examples, and methods other than the following methods 1 to 3 may be used.
  • the error determination unit 124 performs threshold determination on an index called confidence. Specifically, the error determination unit 124 obtains the maximum value of the estimated probabilities for each class, and uses the maximum value as the degree of certainty. If the certainty is equal to or greater than the set threshold, the result of classification into that class is determined to be "correct”, and if it is less than the set threshold, it is determined to be "wrong".
  • the user can arbitrarily set the error determination unit 124 to perform arbitrary calculation using any of the classification result, the feature vector of the estimation process, and the estimated probability for each class for the calculation of the certainty. It is possible.
  • the error determination unit 124 may set the difference (m1-m2) between the maximum value (m1) and the second largest value (m2) of the estimated probability for each class as the certainty.
  • the maximum value, the third value, the fourth value, and so on, and the estimated probability of arbitrary ranks can be similarly calculated.
  • the error determination unit 124 performs threshold determination on an index called uncertainty. Specifically, the error determination unit 124 calculates the average amount of information (entropy) of the estimated probability for each class, and regards that value as uncertainty. If the uncertainty is equal to or greater than the set threshold, the classification result is judged to be "wrong", and if it is less than the threshold, it is judged to be "correct”.
  • the average amount of information can be calculated as follows.
  • the user can arbitrarily set the error determination unit 124 to perform arbitrary calculations using any of the classification result, the feature vector of the estimation process, and the estimated probability for each class for calculating the uncertainty. It is possible.
  • the classification probability estimator 123 receives the feature vector of the estimation process and the classification probability correction vector, and calculates the estimated probability vector for each class.
  • the implementation method is not limited to a particular method, but methods 1 to 3 described below can be used, for example. Note that the methods that can be implemented depend on what is included in the feature vector of the estimation process.
  • the classification probability estimation unit 123 cuts out the "estimated probability for each class” and outputs it as an estimated probability vector for each class.
  • the cut-out "estimated probability for each class” may be output as it is, or may be output after being corrected with a classification probability correction vector.
  • the correction may be, for example, averaging the extracted "estimated probability for each class” and the estimated probability for each class in the classification probability correction vector, or may be obtained by performing other processing. good too.
  • the classification probability estimation unit 123 outputs the classification probability correction vector as it is as an estimated probability vector for each class.
  • the classification probability correction vector calculation unit 122 may be used as the classification probability estimation unit 123 without the classification probability estimation unit 123 .
  • Method 3 In method 3, if the feature vector of the estimation process includes the "logit vector" shown in (2) of the classification estimation process observation unit 121 described above, either method 3-1 or method 3-2 below is used. An estimated probability vector for each class is calculated by either method.
  • classification probability correction vector calculator 122 receives feature vectors in the estimation process, calculates and outputs classification probability correction vectors.
  • the classification probability correction vector is an n-dimensional real-valued vector for n-class classification.
  • the classification probability correction vector calculation unit 122 is constructed with a machine learning model that can estimate multiple real values.
  • the generation method (parameter tuning method) of the classification probability correction vector calculation unit 122 will be described later.
  • classification probability correction vector calculation unit 122 As a machine learning model capable of estimating a plurality of real values, which is used as the classification probability correction vector calculation unit 122, for example, a neural network, logistic regression, support vector regression (SVR), etc. can be used. . and so on.
  • a neural network logistic regression, support vector regression (SVR), etc.
  • SVR support vector regression
  • a single model can estimate multiple real values.
  • logistic regression and SVR alone cannot estimate multiple real values.
  • n machine learning models are prepared, and real numbers corresponding to each class are inferred.
  • Neural network, logistic regression, support vector regression, etc. are just examples, and any machine learning model can be used as long as it has a structure that can estimate multiple real values using the machine learning model. be able to.
  • the learning unit 130 executes the processing related to learning below.
  • the learning unit 130 includes a function of holding learning data, a parameter adjusting function (such as a function of executing error backpropagation), and the like.
  • step 1 (A) a classification target data list for learning and the classification estimation unit 110 before parameter adjustment are prepared and stored in the learning unit 130 .
  • the classification estimation unit 110 is parameter-adjusted by a general supervised learning method.
  • the learning unit 130 acquires (B) a classification ratio list for each piece of classification target data for learning.
  • (B) A classification ratio list for each learning classification target data will be described.
  • Neural networks are a typical example, but in general supervised learning, data is classified many times in the process. Through this repetition, a list of classification ratios for each of the learning classification target data is made into (B) a classification ratio list for each learning classification target data.
  • the neural network classifies data 1 and data 2 100 times in the course of learning when classifying data into three classes.
  • data 1 is classified into class 1 50 times, class 2 30 times, and class 3 20 times.
  • data 2 is classified into class 1 10 times, class 2 70 times, and class 3 20 times.
  • the (B) classification ratio list for each learning classification target data is [[0.5, 0.3, 0.2] T , [0.1, 0.7, 0.2] T ]. .
  • each element of the classification target data list for learning is input to the classification estimation unit 110 whose parameters have been adjusted in S2, and the classification estimation process observation unit 121 acquires the feature vector of the estimation process, and converts it to ( C) The estimation process feature vector list.
  • the vectors added to (B) would be [1/3, 1/3, 1/3] T .
  • the number to be added shall be set by the user of the classification device.
  • S4 is not essential, and S4 may not be performed.
  • ⁇ S5> In S5, the (C) estimation process feature vector list processed in S4 is input, and the (B) classification ratio list for each learning classification target data processed in S4 is output (correct answer), and the classification probability is calculated.
  • the correction vector calculator 122 is generated by supervised learning. In other words, the parameters of the classification probability correction vector calculator 122 are adjusted by supervised learning.
  • the above-described classification device 100 (as well as the error determination device) can be implemented, for example, by causing a computer to execute a program describing the processing details described in this embodiment.
  • This computer may be a physical computer or a virtual machine on the cloud.
  • the classification device 100 can be realized by executing a program corresponding to the processing performed by the classification device 100 using hardware resources such as a CPU and memory built into the computer.
  • the above program can be recorded in a computer-readable recording medium (portable memory, etc.), saved, or distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.
  • FIG. 5 is a diagram showing a hardware configuration example of the computer.
  • the computer of FIG. 5 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., which are interconnected by a bus BS.
  • a program that implements the processing in the computer is provided by a recording medium 1001 such as a CD-ROM or memory card, for example.
  • a recording medium 1001 such as a CD-ROM or memory card
  • the program is installed from the recording medium 1001 to the auxiliary storage device 1002 via the drive device 1000 .
  • the program does not necessarily need to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
  • the auxiliary storage device 1002 stores installed programs, as well as necessary files and data.
  • the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when a program activation instruction is received.
  • the CPU 1004 implements the functions of the light touch maintaining device 100 according to programs stored in the memory device 1003 .
  • the interface device 1005 is used as an interface for connecting to a network, various measuring devices, exercise intervention devices, and the like.
  • a display device 1006 displays a GUI (Graphical User Interface) or the like by a program.
  • An input device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, or the like, and is used to input various operational instructions.
  • the output device 1008 outputs the calculation result.
  • the technology according to the present embodiment makes it possible to output the probability of each class for certain data in addition to correctness determination. For example, assume that some data is classified into classes A, B, and C.
  • the classification device 100 is capable of estimating the probability that the classification is 0%, B is ⁇ %, and C is ⁇ %, and presents them to humans.
  • the ratio of the classification estimated during learning for each piece of learning data is acquired, and is used by the classification probability correction vector calculating unit 122 for learning.
  • the accuracy of correct/incorrect determination is improved compared to the conventional technology, and the accuracy of estimating the probability for each class estimated inside the system is improved.
  • This specification discloses at least an error determination device, an error determination method, and a program for each of the following items.
  • (Section 1) a classification estimation process observation unit that acquires estimation process data from a classification estimation unit that estimates the classification of data to be classified and generates an estimation process feature vector based on the data; a probability estimating unit that generates an estimated probability vector consisting of a probability of belonging to each class of the data to be classified based on the estimation process feature vector; An error judgment device for judging whether the classification result by the classification estimation unit is correct or wrong based on the estimated probability vector, and for outputting the classification result, the judgment result of the correctness or the error, and the estimated probability vector.
  • (Section 2) 2.
  • (Section 5) An error determination method executed by a computer, obtaining estimation process data from a classification estimation unit that estimates the classification of data to be classified, and generating an estimation process feature vector based on the data; a step of generating an estimated probability vector consisting of a membership probability for each class of the data to be classified based on the estimation process feature vector; and determining whether the classification result by the classification estimating unit is correct or wrong based on the estimated probability vector, and outputting the classification result, the correct/wrong decision result, and the estimated probability vector.
  • (Section 6) A program for causing a computer to function as a probability estimator, a classification estimation process observer, and an error determiner in the error determination device according to any one of items 1 to 4.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成する分類推定過程観測部と、前記推定過程特徴ベクトルに基づいて、前記分類対象データのクラス毎の所属確率からなる推定確率ベクトルを生成する確率推定部と、前記推定確率ベクトルに基づいて、前記分類推定部による分類結果の正誤を判定し、前記分類結果、正誤の判定結果、及び前記推定確率ベクトルを出力する誤り判定部とを備える誤り判定装置。

Description

誤り判定装置、誤り判定方法、及びプログラム
　本発明は、情報を分類する技術に関連するものである。本技術の適用分野の一例として、ＩＰＳ(Intrusion Prevention System)やアンチウイルスソフトなどのサイバー攻撃に対するセキュリティシステムを扱うセキュリティ運用者が、脅威情報を機械学習技術等で自動的に分類する技術がある。
　サイバー攻撃に対するセキュリティシステムを扱うセキュリティ運用者は、サイバー攻撃活動について攻撃者、攻撃者の行動や手口、脆弱性などを脅威情報としてまとめる。この脅威情報は日々生成する必要があるため、セキュリティ運用者は継続的・逐次的に脅威情報の分類を行う必要がある。
　分類を行う従来技術として、例えば、特許文献１、２に開示された従来技術がある。これら従来技術では、データ分類の正誤を自動判定する技術が提案されており、これにより、誤りと思われるデータの分類作業を人間に委ねることで、データ分類作業を半自動化することを可能としている。
特開２０２０－０２４５１３号公報 特開２０２０－１６０６４２号公報
　従来技術においては、データ分類を行って、その正誤の判定を高精度に行うことができるが、分類されたクラス毎の所属する確率を出力できないという課題があった。
　本発明は上記の点に鑑みてなされたものであり、あるデータに対する分類の正誤に加えて、クラス毎の所属する確率を出力することを可能とする技術を提供することを目的とする。
　開示の技術によれば、分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成する分類推定過程観測部と、
　前記推定過程特徴ベクトルに基づいて、前記分類対象データのクラス毎の所属確率からなる推定確率ベクトルを生成する確率推定部と、
　前記推定確率ベクトルに基づいて、前記分類推定部による分類結果の正誤を判定し、前記分類結果、正誤の判定結果、及び前記推定確率ベクトルを出力する誤り判定部と
　を備える誤り判定装置が提供される。
　開示の技術によれば、あるデータに対する分類の正誤に加えて、クラス毎の所属する確率を出力することが可能となる。
本発明の実施の形態の概要を説明するための図である。 本発明の実施の形態の概要を説明するための図である。 本発明の実施の形態における分類装置１００の構成図である。 分類確率補正ベクトル算出部の生成方法を説明するためのフローチャートである。 装置のハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　（実施の形態の概要）
　図１を参照して、本実施の形態の概要を説明する。図１（ａ）は、従来技術のイメージを示しており、分類の確信度を算出する関数（ニューラルネットワーク）から正解率１個のみを出力する。
　それに対し、図１（ｂ）に示す本実施の形態に係る技術では、分類の確信度を算出する関数は、各クラスへの所属確率を全て出力する。
　図２は、本実施の形態に係る分類装置の処理内容の概要を示している。Classifier（後述する分類推定部１１０に相当）は、入力データと、正解となるクラスを用いて学習を行う。その学習時に、分類推定部１１０は、何度もデータのクラスを予測する。予測されたクラスの割合をRejecter内の多クラス確信度算出関数（後述する分類確率補正ベクトル算出部１２２に相当）の訓練データとする。
　例えば、例えばあるデータについて、Classifierの教師あり学習の最中にクラスＡと予測した割合が７０回、クラスＢが２０回、クラスＣが１０回の場合は［０．７，０．２，０．１］がラベルになる。
　ここで予測されたクラスの割合（上記ラベル）を正解データとして使用して、多クラス確信度算出関数の学習を行う。これにより、あるデータに対する各クラスへの所属確率を高い精度で予測可能な多クラス確信度算出関数（分類確率補正ベクトル算出部１２２）を得ることができる。
　以下、本実施の形態に係る分類装置の構成と動作を詳細に説明する。
　（装置構成例）
　図３は、本発明の実施の形態における分類装置１００の機能構成図を示す。図１に示すように、分類装置１００は、分類推定部１１０、及び誤り判定処理部１２０を有する。誤り判定処理部１２０は、分類推定過程観測部１２１、分類確率補正ベクトル算出部１２２、分類確率推定部１２３、誤り判定部１２４を有する。
　また、分類装置１００は、学習部１３０を備えてもよい。学習部１３０は、分類推定部１１０、分類確率補正ベクトル算出部１２２等の教師あり学習において、パラメータ調整等の学習動作を実行する。なお、学習済みの状態においては、学習部１３０を備えないこととしてもよい。また、図３のように学習部１３０を含む装置を学習装置と呼んでもよい。
　なお、分類推定部１１０と誤り判定処理部１２０が別々の装置で構成され、これらがネットワークで接続されていてもよく、その場合、誤り判定処理部１２０を誤り判定装置と称してもよい。また、分類推定部１１０と誤り判定処理部１２０を含む装置を誤り判定装置と呼んでもよい。分類装置１００の推論時の各部の動作の概要は下記のとおりである。
　（動作概要）
　まず、分類対象データが分類推定部１１０に入力される。分類対象データは、本システムを使用して何かしらの分類を行いたいデータであり、例えば脅威情報が該当する。
　分類推定部１１０は、分類対象データの分類を推定する。推定するための方式・モデルは、ＳＶＭ・ニューラルネットワークなどの人工知能関連の技術を想定しているが、これらに限定されるわけではない。
　分類推定過程観測部１２１は、分類推定部１１０が分類対象データを推定する際の計算過程を観測し、特徴ベクトル（推定過程の特徴ベクトル）に変換し、当該特徴ベクトルを出力する。
　分類確率補正ベクトル算出部１２２は、分類推定過程観測部１２１から推定過程の特徴ベクトルを受け取り、分類確率を補正するためのベクトルを算出する。この分類確率補正ベクトル算出部１２２は機械学習で生成される。その生成方法は後述する。
　分類確率補正ベクトル算出部１２２から出力される分類確率補正ベクトルは、分類確率を補正するために用いる数値ベクトルであり、クラス数次元を持つ、実数値ベクトルである。なお、分類確率補正ベクトル算出部１２２から出力される分類確率補正ベクトルを、分類対象データの各クラスへの所属確率のベクトル（クラス毎の推定確率ベクトル）として使用してもよい。
　分類確率推定部１２３は、分類推定過程観測部１２１から推定過程の特徴ベクトルを受け取り、分類確率補正ベクトル算出部１２２から分類確率補正ベクトルを受け取り、分類対象データの各クラスへの所属確率を計算する。複数の実施方法があり、詳細は後述する。推定過程の特徴ベクトル、推定過程の特徴ベクトルの一部、又は、分類確率補正ベクトルをそのまま出力とする場合もある。すなわち、分類確率推定部１２３を備えずに、分類確率補正ベクトル算出部１２２を分類確率推定部１２３として使用してもよい。
　分類確率補正ベクトル算出部１２２と分類確率推定部１２３とを総称して「確率推定部」と称してもよい。分類確率補正ベクトル算出部１２２と分類確率推定部１２３とを含む機能部を「確率推定部」と称してもよい。
　誤り判定部１２４は、分類結果、推定過程の特徴ベクトル、分類毎の推定確率をそれぞれ分類推定部１１０、分類推定過程観測部１２１、分類確率推定部１２３から受け取り、それらをもとに、分類推定部１１０が推定した分類が「正しい」ものか「誤り」であるかを判定する。また、誤り判定部１２３は、誤り判定結果と、分類結果と、クラス毎の推定確率ベクトルをシステム全体の結果として出力する。
　分類結果は、分類対象データの分類結果であり、予め定められたクラス（分類）リストの中から決定された一つ以上の「クラス」を示す。
　クラス毎の推定確率ベクトルは、分類確率推定部１２３が出力した、各クラスの確率値である。例えば、あるデータをＡ，Ｂ，Ｃというクラスに分類する場合を想定した場合、分類がＡである確率が〇％、Ｂは□％、Ｃは△％となる。誤り判定結果は、分類が誤りか否かの判定結果である。
　以下、誤り判定処理部１２０における各部の処理動作を詳細に説明する。
　（分類推定過程観測部１２１）
　まず、分類推定過程観測部１２１について説明する。分類推定過程観測部１２１は、分類推定部１１０が分類対象データを推定する際の計算過程（推定過程のデータ）を観測して特徴ベクトル（推定過程の特徴ベクトル）を構成し、出力する。
　構成される特徴ベクトルは、基本的には分類推定部１１０内のモデルによって異なる。ここでは、代表的な特徴ベクトルの例として、下記の（１）、（２）、（３）について説明する。
　（１）任意の分類推定モジュールで共通して構成できる特徴ベクトル
　任意の分類推定モジュールで共通して構成できる特徴ベクトルの例として、下記の（１－１）、（１－２）がある。
　（１－１）分類対象データを数値ベクトルに変換した特徴ベクトル
　分類推定部１１０を機械学習モデルで構築している場合、内部では分類対象データが数値のベクトルである特徴ベクトルに変換されている。その数値のベクトルを観測し、推定過程の特徴ベクトルとする。
　（１－２）推定したクラス毎の推定確率ベクトル
　分類推定部１１０を、多クラス分類を行う機械学習モデルで構築している場合、クラス毎に分類のスコアリングを行っている。そのスコアリングを観測し、そのスコアリングを確率値に変換して並べることで、推定したクラス毎の確率ベクトルとし、これを推定過程の特徴ベクトルとする。
　具体的には、分類推定過程観測部１２１は、分類推定部１１０を観測して得られるクラス毎のスコア（実数値）から、ソフトマックス関数を用いることで確率のベクトルに変換する。すなわち、ｎクラス分類のとき、各クラスのスコアをａ１，・・・，ａｎとすると、クラスｋの確率ｐｋは、以下のように計算できる。
Figure JPOXMLDOC01-appb-M000001
 　（２）ロジットベクトル
　分類推定部１１０がニューラルネットワークによりクラス分類を行う場合、分類推定部１１０は、基本的には、クラス毎のスコアから分類（クラス）毎の確率ベクトルを推定している。その手順は、各クラスのスコアａ１，・・・，ａｎにソフトマックス関数を適用するという、上述した「推定したクラス毎の確率ベクトル」の手順と同じである。分類推定過程観測部１２１は、このａ１，・・・，ａｎを、分類推定部１１０から観測して推定過程の特徴ベクトルとする。
　そのほか、任意の分類器の予測スコアを推定過程の特徴ベクトルとして使用してもよい。例えば、分類推定部１１０がSupport Vector Machine（ＳＶＭ）を用いてクラス分類を行う場合は、境界面との距離を予測スコアとして観測し、これを推定過程の特徴ベクトルとすることができる。
　（３）アンサンブル分類器の特徴ベクトル
　分類推定部１１０を、複数の機械学習モデルで構成している場合、それぞれの機械学習モデルで、上述した「分類対象データを数値ベクトルに変換した特徴ベクトル」、「推定したクラス毎の推定確率ベクトル」、「ロジットベクトル」のいずれか又は複数を取得できる。複数の機械学習モデルのそれぞれのベクトルを連結したベクトルを推定過程の特徴ベクトルとして出力することができる。
　（誤り判定部１２４）
　次に、誤り判定部１２４について説明する。図３に示したように、誤り判定部１２４は、分類結果、推定過程の特徴ベクトル、及びクラス毎の推定確率を受け取り、これらをもとに、分類推定部１１０が推定した分類が「正しい」ものか「誤り」であるかを判定する。なお、推定過程の特徴ベクトルとクラス毎の推定確率のうちの１つのみを使用してもよい。
　また、誤り判定部１２４は、誤り判定結果、分類結果、及びクラス毎の推定確率をシステム全体の結果として出力する。
　誤り判定部１２４が実行する誤り判定方法は、特定の方法に限定されないが、例えば、下記の方法１～３のうちのいずれかの方法を用いることができる。方法１～３のうちのいずれか２つ又は全部を組み合わせて適用してもよい。また、下記の方法１～３は例であり、下記の方法１～３以外の方法を用いてもよい。
　［方法１］
　方法１では、誤り判定部１２４は、確信度と呼ばれる指標を閾値判定する。具体的には、誤り判定部１２４は、クラス毎の推定確率のうちの最大値を取得し、その最大値を確信度とする。確信度が、設定された閾値以上であれば、そのクラスへの分類結果は「正しい」と判定し、設定された閾値未満であれば「誤り」と判定する。
　その他、確信度の計算には、分類結果、推定過程の特徴ベクトル、クラス毎の推定確率のいずれかを使った任意の計算を、使用者が誤り判定部１２４に対して任意に設定することも可能である。
　例えば、誤り判定部１２４は、クラス毎の推定確率の最大値（ｍ１）と、２番目に大きな値（ｍ２）の差分（ｍ１－ｍ２）を確信度とすることとしてもよい。最大値と３番目の値、４番目の値・・・と、任意の順位の推定確率も同様に計算可能である。
　［方法２］
　方法２では、誤り判定部１２４は、不確かさと呼ばれる指標を閾値判定する。具体的には、誤り判定部１２４は、クラス毎の推定確率の平均情報量（エントロピー）を算出し、その値を不確かさとする。不確かさが、設定された閾値以上であれば、分類結果は「誤り」と判定し、閾値未満であれば「正しい」と判定する。
　ｎクラス分類で、クラス毎の確率をｐ１，・・・，ｐｎとすると、平均情報量は以下のように計算することができる。
Figure JPOXMLDOC01-appb-M000002
 　その他、不確かさの計算には、分類結果、推定過程の特徴ベクトル、クラス毎の推定確率のいずれかを使った任意の計算を、使用者が誤り判定部１２４に対して任意に設定することも可能である。
　［方法３］
　特許文献１、２に開示されている従来技術と同じく機械学習により作成した誤り判定部により判定をすることとしてもよい。また、特許文献１、２に開示されている従来技術以外の任意の従来技術を使用して、判定を行うことも可能である。
　（分類確率推定部１２３）
　次に、分類確率推定部１２３について詳細に説明する。図３に示したとおり、分類確率推定部１２３は、推定過程の特徴ベクトルと分類確率補正ベクトルを受け取り、クラス毎の推定確率ベクトルを計算する。その実施方法は特定の方法に限られないが、例えば、以下で説明する方法１～３を使用できる。なお、実施できる方法は、推定過程の特徴ベクトルに何が含まれているかに依存する。
　［方法１］
　推定過程の特徴ベクトルに、「クラス毎の推定確率」が含まれている場合、分類確率推定部１２３は、「クラス毎の推定確率」を切り出し、それをクラス毎の推定確率ベクトルとして出力する。この場合、切り出した「クラス毎の推定確率」をそのまま出力してもよいし、分類確率補正ベクトルで補正をしたものを出力してもよい。補正とは、例えば、切り出した「クラス毎の推定確率」と、分類確率補正ベクトルにおけるクラス毎の推定確率との平均をとることであってもよいし、その他の処理を施したものであってもよい。
　［方法２］
　方法２では、分類確率推定部１２３は、分類確率補正ベクトルをそのままクラス毎の推定確率ベクトルとして出力する。この場合、分類確率推定部１２３を備えずに、分類確率補正ベクトル算出部１２２を分類確率推定部１２３として使用してもよい。
　［方法３］
　方法３では、推定過程の特徴ベクトルに、前述した分類推定過程観測部１２１の（２）で示した「ロジットベクトル」が含まれる場合、以下の方法３－１と方法３－２のうちのいずれかの方法でクラス毎の推定確率ベクトルを算出する。
　［方法３－１］
　ｎクラス分類のとき、ロジットベクトルを［ａ１，・・・，ａｎ］Ｔ、分類確率補正ベクトルを［ｂ１，・・・，ｂｎ］Ｔとした場合、クラスｋの確率ｐｋは、以下のように計算できる。
Figure JPOXMLDOC01-appb-M000003
 　このｐｋをすべてのクラスについて算出し、ベクトル［ｐ１，・・・，ｐｎ］Ｔとしたものをクラス毎の推定確率ベクトルとする。
　［方法３－２］
　ｎクラス分類のとき、ロジットベクトルを［ａ１，・・・，ａｎ］Ｔ、分類確率補正ベクトルを［ｂ１，・・・，ｂｎ］Ｔとする。分類確率補正ベクトル内の要素の最大値ｂｍａｘを取得し、クラスｋの確率ｐｋを、以下のように計算する。
Figure JPOXMLDOC01-appb-M000004
 　このｐｋをすべてのクラスについて算出し、ベクトル［ｐ１，・・・，ｐｎ］Ｔとしたものをクラス毎の推定確率ベクトルとする。
　（分類確率補正ベクトル算出部１２２）
　次に、分類確率補正ベクトル算出部１２２を詳細に説明する。図３に示したとおり、分類確率補正ベクトル算出部１２２は、推定過程の特徴ベクトルを受け取り、分類確率補正ベクトルを算出して出力する。分類確率補正ベクトルは、ｎクラス分類のとき、ｎ次元の実数値ベクトルである。
　分類確率補正ベクトル算出部１２２は、複数の実数値を推定できる機械学習モデルで構築する。分類確率補正ベクトル算出部１２２の生成方法（パラメータのチューニング方法）については後述する。
　分類確率補正ベクトル算出部１２２として使用される、複数の実数値を推定できる機械学習モデルとしては、例えば、ニューラルネットワーク、ロジスティック回帰、サポートベクター回帰（Support Vector Regression，ＳＶＲ）等を使用することができる。
等々である。
　ニューラルネットワークを分類確率補正ベクトル算出部１２２として使用する場合、単一のモデルで複数の実数値を推定できる。しかし、ロジスティック回帰やＳＶＲはそれ単体では複数の実数値を推定できない。そのような場合は、機械学習モデルをｎ個用意し、各クラスに対応する実数値を推論する。
　なお、ニューラルネットワーク、ロジスティック回帰、サポートベクター回帰など、列挙したものはあくまで一例であり、機械学習モデルを用いて複数の実数値を推定することができる構造であれば、任意の機械学習モデルを用いることができる。
　（分類確率補正ベクトル算出部１２２の生成方法）
　次に、分類確率補正ベクトル算出部１２２の生成方法（パラメータ調整方法）について、図４のフローチャートの手順に沿って説明する。ここでの前提として、分類数をｎとする。以下の説明では、説明を分かり易くするために、学習用分類対象データリストに（Ａ）を付し、学習用分類対象データ毎の分類比率リストに（Ｂ）を付し、推定過程特徴ベクトルリストに（Ｃ）を付す。以下の説明では、各部がニューラルネットワークで実装されることを想定しているが、これは一例に過ぎない。
　また、以下の学習に係る処理は、学習部１３０が実行する。学習部１３０は、学習用データを保持する機能、パラメータ調整機能（誤差逆伝搬手法を実行する機能等）等を含んでいる。
　　＜Ｓ１＞
　Ｓ１（ステップ１）において、（Ａ）学習用分類対象データリスト、及び、パラメータ調整前の分類推定部１１０を用意し、学習部１３０に保持する。
　　＜Ｓ２＞
　分類推定部１１０を、一般的な教師あり学習手法でパラメータ調整をする。その過程で、学習部１３０が、（Ｂ）学習用分類対象データ毎の分類比率リストを取得する。（Ｂ）学習用分類対象データ毎の分類比率リストについて説明する。
　ニューラルネットワークが代表例であるが、一般的な教師あり学習では、その過程で、データの分類を何度も行っている。その反復を通して、学習用分類対象データそれぞれに対する分類の比率をリストとして、（Ｂ）学習用分類対象データ毎の分類比率リストとしている。
　例えば、３クラスの分類を行う場合において、学習の過程でニューラルネットワークがデータ１とデータ２を１００回分類したとする。その過程で、データ１はクラス１に５０回、クラス２に３０回、クラス３に２０回分類されたとする。また、データ２はクラス１に１０回、クラス２に７０回、クラス３に２０回分類されたとする。この場合の（Ｂ）学習用分類対象データ毎の分類比率リストは［［０．５，０．３，０．２］Ｔ，［０．１，０．７，０．２］Ｔ］となる。
　　＜Ｓ３＞
　Ｓ３において、（Ａ）学習用分類対象データリストの各要素を、Ｓ２でパラメータ調整された分類推定部１１０に入力し、分類推定過程観測部１２１で推定過程の特徴ベクトルを取得し、それを（Ｃ）推定過程特徴ベクトルリストとする。
　　＜Ｓ４＞
　Ｓ４において、乱数等で生成した擬似的な特徴ベクトルを（Ｃ）推定過程特徴ベクトルリストに複数個追加する。また、全ての要素を１／ｎとするｎ次元ベクトルを、（Ｃ）へ追加した疑似的な特徴ベクトルと同数だけ、（Ｂ）学習用分類対象データ毎の分類比率リストに追加する。
　例えば、３クラスの分類を行う場合、（Ｂ）に追加されるベクトルは［１／３，１／３，１／３］Ｔとなる。いくつ追加するかは、分類装置の利用者が設定するものとする。
　上記のような追加を行うことで、出鱈目な特徴ベクトルに頑強になり、未知の特徴を持つ脅威情報等への分類の精度が向上する。なお、Ｓ４は必須ではなく、Ｓ４を行わないこととしてもよい。
　　＜Ｓ５＞
　Ｓ５において、Ｓ４での処理がなされた（Ｃ）推定過程特徴ベクトルリストを入力、Ｓ４での処理がなされた（Ｂ）学習用分類対象データ毎の分類比率リストを出力（正解）として、分類確率補正ベクトル算出部１２２を教師あり学習で生成する。別の言い方をすれば、分類確率補正ベクトル算出部１２２のパラメータを教師あり学習で調整する。
　（ハードウェア構成例）
　上述した分類装置１００（誤り判定装置も同様）は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
　すなわち、分類装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、分類装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図５は、上記コンピュータのハードウェア構成例を示す図である。図５のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、ライトタッチ維持装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークや各種計測装置、運動介入装置等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
　（実施の形態の効果）
　本実施の形態に係る技術により、正誤の判定に加えて、あるデータに対してクラス毎の確率を出力できるようになる。例えば、あるデータをＡ，Ｂ，Ｃというクラスに分類する場合を想定する。分類装置１００は、分類がＡである確率が〇％，　Ｂは□％，　Ｃは△％というように推定し人間に提示することが可能となる。
　また、本実施の形態に係る技術では、分類推定部１１０の学習中に、学習データ毎に学習中に推定された分類の割合を取得しておき、それを分類確率補正ベクトル算出部１２２の学習に用いている。このような工夫により、従来技術に比べて正誤の判定精度が向上するとともに、システム内部で推定しているクラス毎の確率を推定する精度が向上する。
　（実施の形態のまとめ）
　本明細書には、少なくとも下記各項の誤り判定装置、誤り判定方法、及びプログラムが開示されている。
（第１項）
　分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成する分類推定過程観測部と、
　前記推定過程特徴ベクトルに基づいて、前記分類対象データのクラス毎の所属確率からなる推定確率ベクトルを生成する確率推定部と、
　前記推定確率ベクトルに基づいて、前記分類推定部による分類結果の正誤を判定し、前記分類結果、正誤の判定結果、及び前記推定確率ベクトルを出力する誤り判定部と
　を備える誤り判定装置。
（第２項）
　前記確率推定部は、前記分類推定部の学習中に取得された、学習データ毎の各クラスへの分類の割合を正解データとして用いて学習された機械学習モデルを有する
　第１項に記載の誤り判定装置。
（第３項）
　前記誤り判定部は、前記推定確率ベクトルにおけるクラス毎の推定確率のうちの最大値と閾値とを比較することにより前記分類結果の正誤を判定する
　第１項又は第２項に記載の誤り判定装置。
（第４項）
　前記誤り判定部は、前記推定確率ベクトルにおけるクラス毎の推定確率の平均情報量と閾値とを比較することにより前記分類結果の正誤を判定する
　第１項又は第２項に記載の誤り判定装置。
（第５項）
　コンピュータが実行する誤り判定方法であって、
　分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成するステップと、
　前記推定過程特徴ベクトルに基づいて、前記分類対象データのクラス毎の所属確率からなる推定確率ベクトルを生成するステップと、
　前記推定確率ベクトルに基づいて、前記分類推定部による分類結果の正誤を判定し、前記分類結果、正誤の判定結果、及び前記推定確率ベクトルを出力するステップと
　を備える誤り判定方法。
（第６項）
　コンピュータを、第１項ないし第４項のうちいずれか１項に記載の誤り判定装置における確率推定部、分類推定過程観測部、及び誤り判定部として機能させるためのプログラム。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００　分類装置
１１０　分類推定部
１２０　誤り判定処理部
１２１　分類推定過程観測部
１２２　分類確率補正ベクトル算出部
１２３　分類確率推定部
１２４　誤り判定部
１３０　学習部
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置

Claims (6)

  1. 　分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成する分類推定過程観測部と、
    　前記推定過程特徴ベクトルに基づいて、前記分類対象データのクラス毎の所属確率からなる推定確率ベクトルを生成する確率推定部と、
    　前記推定確率ベクトルに基づいて、前記分類推定部による分類結果の正誤を判定し、前記分類結果、正誤の判定結果、及び前記推定確率ベクトルを出力する誤り判定部と
    　を備える誤り判定装置。
  2. 　前記確率推定部は、前記分類推定部の学習中に取得された、学習データ毎の各クラスへの分類の割合を正解データとして用いて学習された機械学習モデルを有する
    　請求項１に記載の誤り判定装置。
  3. 　前記誤り判定部は、前記推定確率ベクトルにおけるクラス毎の推定確率のうちの最大値と閾値とを比較することにより前記分類結果の正誤を判定する
    　請求項１又は２に記載の誤り判定装置。
  4. 　前記誤り判定部は、前記推定確率ベクトルにおけるクラス毎の推定確率の平均情報量と閾値とを比較することにより前記分類結果の正誤を判定する
    　請求項１又は２に記載の誤り判定装置。
  5. 　コンピュータが実行する誤り判定方法であって、
    　分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成するステップと、
    　前記推定過程特徴ベクトルに基づいて、前記分類対象データのクラス毎の所属確率からなる推定確率ベクトルを生成するステップと、
    　前記推定確率ベクトルに基づいて、前記分類推定部による分類結果の正誤を判定し、前記分類結果、正誤の判定結果、及び前記推定確率ベクトルを出力するステップと
    　を備える誤り判定方法。
  6. 　コンピュータを、請求項１ないし４のうちいずれか１項に記載の誤り判定装置における確率推定部、分類推定過程観測部、及び誤り判定部として機能させるためのプログラム。
PCT/JP2021/021569 2021-06-07 2021-06-07 誤り判定装置、誤り判定方法、及びプログラム WO2022259313A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/021569 WO2022259313A1 (ja) 2021-06-07 2021-06-07 誤り判定装置、誤り判定方法、及びプログラム
JP2023527157A JPWO2022259313A1 (ja) 2021-06-07 2021-06-07

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021569 WO2022259313A1 (ja) 2021-06-07 2021-06-07 誤り判定装置、誤り判定方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022259313A1 true WO2022259313A1 (ja) 2022-12-15

Family

ID=84425026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021569 WO2022259313A1 (ja) 2021-06-07 2021-06-07 誤り判定装置、誤り判定方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022259313A1 (ja)
WO (1) WO2022259313A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161054A (ja) * 1995-12-13 1997-06-20 Nec Corp 指紋分類装置
CN111414946A (zh) * 2020-03-12 2020-07-14 腾讯科技（深圳）有限公司 基于人工智能的医疗影像的噪声数据识别方法和相关装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161054A (ja) * 1995-12-13 1997-06-20 Nec Corp 指紋分類装置
CN111414946A (zh) * 2020-03-12 2020-07-14 腾讯科技（深圳）有限公司 基于人工智能的医疗影像的噪声数据识别方法和相关装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAN HENDRYCKS; KEVIN GIMPEL: "A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 3 October 2018 (2018-10-03), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081418572 *
KAWAGUCHI HIDETOSHI, NAKATANI YUICHI: "Dummy training data generation method towards robust estimation of confidence value of semi- automatic agents for multi-class classification", THE 33RD ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 8 April 2019 (2019-04-08), pages 1 - 3, XP093015049, Retrieved from the Internet <URL:https://www.jstage.jst.go.Jp/article/pjsai/JSAI2019/0/JSAI2019_403J704/_pdf/-char/ja> *
TAKAHASHI KAZUKO, TAKAMURA HIROYA, OKUMURA MANABU: "Estimation of Class Membership Probabilities by Using Multiple Classification Scores", JOURNAL OF NATURAL LANGUAGE PROCESSING, vol. 15, no. 2, 1 April 2008 (2008-04-01), pages 3 - 38, XP093015040 *

Also Published As

Publication number Publication date
JPWO2022259313A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
Wahab Intrusion detection in the iot under data and concept drifts: Online deep learning approach
US10289471B2 (en) Ranking causal anomalies via temporal and dynamical analysis on vanishing correlations
Lerman et al. Power analysis attack: an approach based on machine learning
US10841338B1 (en) Dynamic rule risk score determination in a cybersecurity monitoring system
US9189750B1 (en) Methods and systems for sequential feature selection based on significance testing
JP6509717B2 (ja) 事例選択装置、分類装置、方法、及びプログラム
Maurya et al. Online anomaly detection via class-imbalance learning
Diochnos et al. Lower bounds for adversarially robust pac learning
JP6645441B2 (ja) 情報処理システム、情報処理方法、及び、プログラム
Benaddi et al. Adversarial attacks against iot networks using conditional gan based learning
EP4060572A1 (en) Computer-implemented method for accelerating convergence in the training of generative adversarial networks (gan) to generate synthetic network traffic, and computer programs of same
WO2020031960A1 (ja) 誤り判定装置、誤り判定方法、及びプログラム
Belkhouja et al. Training robust deep models for time-series domain: Novel algorithms and theoretical analysis
Xiao et al. Self-checking deep neural networks for anomalies and adversaries in deployment
He et al. Image-based zero-day malware detection in iomt devices: A hybrid ai-enabled method
US11983249B2 (en) Error determination apparatus, error determination method and program
WO2019215904A1 (ja) 予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラム記録媒体
US20210365771A1 (en) Out-of-distribution (ood) detection by perturbation
WO2022259313A1 (ja) 誤り判定装置、誤り判定方法、及びプログラム
JP7331938B2 (ja) 学習装置、推定装置、学習方法及び学習プログラム
US11699311B2 (en) Storage medium storing anomaly detection program, anomaly detection method, and anomaly detection apparatus
WO2023228290A1 (ja) 学習装置、学習方法、及びプログラム
US20230315839A1 (en) Assessment apparatus, surrogate model generation apparatus, assessment method, and program
Qu et al. A Certified Radius-Guided Attack Framework to Image Segmentation Models
Bhaila et al. Fair collective classification in networked data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944994

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023527157

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21944994

Country of ref document: EP

Kind code of ref document: A1