JP7211196B2 - 誤り判定装置、誤り判定方法、及びプログラム - Google Patents
誤り判定装置、誤り判定方法、及びプログラム Download PDFInfo
- Publication number
- JP7211196B2 JP7211196B2 JP2019057673A JP2019057673A JP7211196B2 JP 7211196 B2 JP7211196 B2 JP 7211196B2 JP 2019057673 A JP2019057673 A JP 2019057673A JP 2019057673 A JP2019057673 A JP 2019057673A JP 7211196 B2 JP7211196 B2 JP 7211196B2
- Authority
- JP
- Japan
- Prior art keywords
- classification
- unit
- estimation process
- feature vector
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
前記分類推定過程観測部により生成された前記推定過程特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記推定過程特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定部とを備え、
前記誤り判定部は、前記分類推定過程観測部により生成された推定過程特徴べクトルリストに、擬似的な特徴ベクトルを追加してできた推定過程特徴ベクトルリストと、当該擬似的な特徴ベクトルに対応する分類が誤りであるとした学習用正誤リストとに基づいて、機械学習により生成された機能部である
ことを特徴とする誤り判定装置が提供される。
図1は、本発明の実施の形態における分類装置100の機能構成図を示す。図1に示すように、分類装置100は、分類推定部110、及びセルフリジェクト部120を有する。セルフリジェクト部120は、分類推定過程観測部121、及び誤り判定部122を有する。
まず、分類対象データが分類推定部110に入力される。分類対象データは、本システムを使用して何かしらの分類を行いたいデータであり、例えば脅威情報が該当する。
上述した分類装置100(セルフリジェクト装置、誤り判定装置も同様)は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
分類推定過程観測部121は、分類推定部110が分類対象データの分類を推定する際の計算過程を観測して特徴ベクトルを構成する。分類推定過程観測部121の観測対象となる分類対象データの分類を推定する際の計算過程の具体例を、ニューラルネットワーク、決定木、ランダムフォレストを用いて説明する。
誤り判定部122は、分類推定部110から推定した分類を受け取るととともに、分類推定過程観測部121から、推定過程の観測データの特徴ベクトルを受け取り、その観測データに基づいて、分類推定部110が推定した分類が「正しい」ものか「誤り」であるかを判断する。「正しい」場合は分類推定部110が推定した分類をそのまま分類結果とするが、「誤り」の場合は「不明」を分類結果とする。
図6は、機械学習による誤り判定部122の作成方法の手順を示すフローチャートである。以下、図6に示すS1(ステップ1)~S5(ステップ5)の手順に沿って、各ステップを説明する。
ステップ1では、学習用分類対象データリスト(A)とその正解分類リスト(B)を用意する。分類推定部110を機械学習でチューニングしている場合、その学習データも流用してよい。学習用分類対象データリスト(A)とその正解分類リスト(B)は両方とも人手で用意する必要がある。
ステップ2では、図8に示すとおり、分類推定部110に分類対象データリスト(A)の各要素を入力する。分類推定過程観測部121は、前述した方法で推定過程の特徴ベクトルを生成し、学習部が、そのリストである推定過程特徴ベクトルリスト(C)を取得する。それと同時に学習部は、分類推定部110から分類結果リスト(D)を取得する。
ステップ3では、図9に示すように、学習部が、正解分類リスト(B)と分類結果リスト(D)を比較し、自動分類の正誤を表した学習用正誤リスト(E)を取得する。図9の例では、正解分類リスト(B)に記載のように、一番目の分類の正解が分類Oであるのに対し、分類結果では、一番目の分類が分類Pとなった。よって、一番目の分類は誤りとなり、学習用正誤リスト(E)の一番目の要素は1(誤り)になる。2番目と3番目は正しいので、学習用正誤リスト(E)は<1 0 0>となる。
ステップ4では、図10に示すように、学習部は、推定過程特徴ベクトルリスト(C)に乱数等で生成した擬似的な特徴ベクトルを追加し、学習用正誤リスト(E)には誤りである「1」を同じ数だけ追加する。図10に示す例において、追加するものには下線を引いた。図10に示すように、2つの擬似的な特徴ベクトルが推定過程特徴ベクトルリスト(C)に追加され、学習用正誤リスト(E)に2つの「1」が追加されている。このような追加を行うことで、出鱈目な特徴べクトルに頑強になり、未知の特徴を持つ脅威情報への正誤の判定精度が向上する。
ステップ5では、図11に示すように、学習部は、推定過程特徴ベクトルリスト(C)を例えばニューラルネットワーク(あるいはSVM)の入力とし、学習用正誤リスト(E)を当該ニューラルネットワーク(あるいはSVM)の正解の出力として、機械学習を行う。これによりパラメータチューニングのなされたニューラルネットワーク(あるいはSVM)が、誤り判定部122として得られる。
以上、説明したように、本実施の形態に係る技術によれば、分類推定部110の分類時の推定過程を観測し、観測データに基づいて誤り判定を行うので、精度の高い判定を行なうことができる。
以上、説明したように、本実施の形態によれば、分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成する分類推定過程観測部と、前記分類推定過程観測部により生成された前記推定過程特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記推定過程特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定部とを備え、前記誤り判定部は、前記分類推定過程観測部により生成された推定過程特徴べクトルリストに、擬似的な特徴ベクトルを追加してできた推定過程特徴ベクトルリストと、当該擬似的な特徴ベクトルに対応する分類が誤りであるとした学習用正誤リストとに基づいて、機械学習により生成された機能部であることを特徴とする誤り判定装置が提供される。
110 分類推定部
120 セルフリジェクト部
121 分類推定過程観測部
122 誤り判定部
150 ドライブ装置
151 記録媒体
152 補助記憶装置
153 メモリ装置
154 CPU
155 インターフェース装置
156 表示装置
157 入力装置
Claims (5)
- 分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成する分類推定過程観測部と、
前記分類推定過程観測部により生成された前記推定過程特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記推定過程特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定部とを備え、
前記誤り判定部は、前記分類推定過程観測部により生成された推定過程特徴べクトルリストに、擬似的な特徴ベクトルを追加してできた推定過程特徴ベクトルリストと、当該擬似的な特徴ベクトルに対応する分類が誤りであるとした学習用正誤リストとに基づいて、機械学習により生成された機能部である
ことを特徴とする誤り判定装置。 - 前記誤り判定部は、前記分類結果を正しいと判定した場合に、前記分類推定部による分類結果を出力し、前記分類結果を誤りであると判定した場合に、分類は不明であることを示す情報を出力する
ことを特徴とする請求項1に記載の誤り判定装置。 - 前記分類推定部がニューラルネットワークにより構成される場合において、前記推定過程のデータは当該ニューラルネットワークにおける中間層のノードの出力データを含み、前記分類推定部が決定木により構成される場合において、前記推定過程のデータは当該決定木における決定のルートの情報を含む
ことを特徴とする請求項1又は2に記載の誤り判定装置。 - コンピュータが実行する誤り判定方法であって、
分類対象データの分類を推定する分類推定部から推定過程のデータを取得し、当該データに基づいて推定過程特徴ベクトルを生成する分類推定過程観測ステップと、
前記分類推定過程観測ステップにより生成された前記推定過程特徴ベクトルと、前記分類推定部から出力された分類結果とを入力し、前記推定過程特徴ベクトルと、前記分類結果とに基づいて、当該分類結果の正誤を判定する誤り判定ステップとを備え、
前記誤り判定ステップを実行する前記コンピュータにおける機能部は、前記分類推定部から取得した推定過程のデータに基づき生成された推定過程特徴べクトルリストに、擬似的な特徴ベクトルを追加してできた推定過程特徴ベクトルリストと、当該擬似的な特徴ベクトルに対応する分類が誤りであるとした学習用正誤リストとに基づいて、機械学習により生成された機能部である
ことを特徴とする誤り判定方法。 - コンピュータを、請求項1ないし3のうちいずれか1項に記載の誤り判定装置における分類推定過程観測部及び誤り判定部として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057673A JP7211196B2 (ja) | 2019-03-26 | 2019-03-26 | 誤り判定装置、誤り判定方法、及びプログラム |
PCT/JP2020/013115 WO2020196549A1 (ja) | 2019-03-26 | 2020-03-24 | 誤り判定装置、誤り判定方法、及びプログラム |
US17/593,398 US11983249B2 (en) | 2019-03-26 | 2020-03-24 | Error determination apparatus, error determination method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057673A JP7211196B2 (ja) | 2019-03-26 | 2019-03-26 | 誤り判定装置、誤り判定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020160642A JP2020160642A (ja) | 2020-10-01 |
JP7211196B2 true JP7211196B2 (ja) | 2023-01-24 |
Family
ID=72608485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019057673A Active JP7211196B2 (ja) | 2019-03-26 | 2019-03-26 | 誤り判定装置、誤り判定方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11983249B2 (ja) |
JP (1) | JP7211196B2 (ja) |
WO (1) | WO2020196549A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7438919B2 (ja) * | 2020-11-18 | 2024-02-27 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
WO2023228290A1 (ja) * | 2022-05-24 | 2023-11-30 | 日本電信電話株式会社 | 学習装置、学習方法、及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05165971A (ja) * | 1991-12-18 | 1993-07-02 | Hitachi Ltd | ニューラルネットを用いたパターン認識の方法および装置 |
JPH0962648A (ja) * | 1995-08-22 | 1997-03-07 | Mitsubishi Electric Corp | パターン認識装置 |
US7747551B2 (en) * | 2007-02-21 | 2010-06-29 | Neurovista Corporation | Reduction of classification error rates and monitoring system using an artificial class |
JP2014102555A (ja) | 2012-11-16 | 2014-06-05 | Ntt Docomo Inc | 判別ルール生成装置及び判別ルール生成方法 |
US20180089581A1 (en) * | 2016-09-27 | 2018-03-29 | Futurewei Technologies, Inc. | Apparatus and method for dataset model fitting using a classifying engine |
KR20190007816A (ko) * | 2017-07-13 | 2019-01-23 | 삼성전자주식회사 | 동영상 분류를 위한 전자 장치 및 그의 동작 방법 |
-
2019
- 2019-03-26 JP JP2019057673A patent/JP7211196B2/ja active Active
-
2020
- 2020-03-24 WO PCT/JP2020/013115 patent/WO2020196549A1/ja active Application Filing
- 2020-03-24 US US17/593,398 patent/US11983249B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2020196549A1 (ja) | 2020-10-01 |
US11983249B2 (en) | 2024-05-14 |
JP2020160642A (ja) | 2020-10-01 |
US20220180130A1 (en) | 2022-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Choudhury et al. | Comparative analysis of machine learning algorithms along with classifiers for network intrusion detection | |
Al-Jarrah et al. | Machine-learning-based feature selection techniques for large-scale network intrusion detection | |
US9521156B2 (en) | Method and product for providing a predictive security product and evaluating existing security products | |
JP7143672B2 (ja) | 誤り判定装置、誤り判定方法、及びプログラム | |
Afifi et al. | DyHAP: dynamic hybrid ANFIS-PSO approach for predicting mobile malware | |
JP2019061565A (ja) | 異常診断方法および異常診断装置 | |
EP3490223A1 (en) | System and method for simulating and foiling attacks on a vehicle on-board network | |
US20150188941A1 (en) | Method and system for predicting victim users and detecting fake user accounts in online social networks | |
US20120159629A1 (en) | Method and system for detecting malicious script | |
WO2009047113A1 (en) | Apparatus for reconfiguration of a technical system based on security analysis and a corresponding technical decision support system and computer program product | |
JP6835703B2 (ja) | サイバー攻撃検知システム、特徴量選定システム、サイバー攻撃検知方法、及びプログラム | |
JP7211196B2 (ja) | 誤り判定装置、誤り判定方法、及びプログラム | |
JP6491356B2 (ja) | 分類方法、分類装置および分類プログラム | |
KR20160119678A (ko) | 기계 학습을 이용한 웹 공격 탐지방법 및 장치 | |
Kamarudin et al. | A new unified intrusion anomaly detection in identifying unseen web attacks | |
Yassin et al. | Signature-Based Anomaly intrusion detection using Integrated data mining classifiers | |
Megantara et al. | Feature importance ranking for increasing performance of intrusion detection system | |
CN113221109A (zh) | 一种基于生成对抗网络的恶意文件智能分析方法 | |
Mohammadi et al. | An efficient hybrid self-learning intrusion detection system based on neural networks | |
JP2017123142A (ja) | フィッシング・スクリプトを検出するためのシステム及び方法 | |
JP2020061007A (ja) | 学習プログラム、学習方法および学習装置 | |
Kordestani et al. | An entice resistant automatic phishing detection | |
JPWO2019138584A1 (ja) | 分類木生成方法、分類木生成装置および分類木生成プログラム | |
Murthy et al. | Hybrid intelligent intrusion detection system using bayesian and genetic algorithm (baga): comparitive study | |
CN110197066B (zh) | 一种云计算环境下的虚拟机监控方法及监控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7211196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |