WO2024252481A1 - 異常パケット生成装置、異常パケット生成方法、及びプログラム - Google Patents

異常パケット生成装置、異常パケット生成方法、及びプログラム Download PDF

Info

Publication number
WO2024252481A1
WO2024252481A1 PCT/JP2023/020847 JP2023020847W WO2024252481A1 WO 2024252481 A1 WO2024252481 A1 WO 2024252481A1 JP 2023020847 W JP2023020847 W JP 2023020847W WO 2024252481 A1 WO2024252481 A1 WO 2024252481A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormal
packet
abnormal packet
packets
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/020847
Other languages
English (en)
French (fr)
Inventor
洋介 高橋
光希 池内
暁 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2025525457A priority Critical patent/JPWO2024252481A1/ja
Priority to PCT/JP2023/020847 priority patent/WO2024252481A1/ja
Publication of WO2024252481A1 publication Critical patent/WO2024252481A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Definitions

  • This disclosure relates to an abnormal packet generating device, an abnormal packet generating method, and a program.
  • ISP Internet service provider
  • Non-Patent Documents 1 and 2 Conventional methods for generating abnormal packets include brute force packet generation, packet generation based on known vulnerabilities, and packet generation using machine learning (e.g., Non-Patent Documents 1 and 2).
  • the present disclosure has been made in consideration of the above points, and provides a technology that can efficiently generate effective abnormal packets.
  • the abnormal packet generation device includes an acquisition unit that acquires packets at the same time as metrics and log data in which the first anomaly score calculated by the learned anomaly detector exceeds a predetermined first threshold, a generation unit that generates abnormal packet candidates from the packets by data expansion, and a selection unit that selects, from the abnormal packet candidates, the top N abnormal packet candidates with the second anomaly scores calculated by the learned classifier as abnormal packets.
  • a technology is provided that can efficiently generate effective abnormal packets.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of a system according to an embodiment of the present invention.
  • 2 is a diagram illustrating an example of a functional configuration of a NW anomaly score calculation server according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of an abnormal packet generating server according to the present embodiment.
  • FIG. 4 is a diagram illustrating an example of a functional configuration of an abnormal packet evaluation server according to the present embodiment.
  • FIG. 13 is a flowchart illustrating an example of an abnormal packet generation and classifier re-learning process.
  • FIG. 2 illustrates an example of a hardware configuration of a computer.
  • Fig. 1 An example of the overall configuration of the system according to this embodiment is shown in Fig. 1.
  • the system according to this embodiment includes a metrics log collection server 10, a traffic capture server 20, a NW anomaly score calculation server 30, an abnormal packet generation server 40, an abnormal packet evaluation server 50, and a user terminal 60.
  • the metrics and log collection server 10 collects metrics data (e.g., CPU (Central Processing Unit) usage, memory usage, network workload, etc.) and log data from network devices and servers within the ISP network 70.
  • metrics data and log data will be collectively referred to as “metrics log data.”
  • the metrics and log collection server 10 collects metrics log data at each time.
  • the traffic capture server 20 collects traffic (packets) within the ISP network 70.
  • the traffic capture server 20 collects packets at each time.
  • the network anomaly score calculation server 30 acquires the metrics log data from the metrics log collection server 10, and calculates the network anomaly score from the vector-format data (hereinafter also referred to as the feature vector) that represents the feature.
  • the network anomaly score is an index value that represents the degree of anomaly in the ISP network 70.
  • the abnormal packet generation server 40 acquires packets from the traffic capture server 20 using the network anomaly scores acquired from the NW anomaly score calculation server 30, generates abnormal packets from those packets, and retrains the classifier.
  • the abnormal packet evaluation server 50 obtains abnormal packets from the abnormal packet generation server 40, and uses these abnormal packets to test network devices in the test environment network 90 to evaluate the abnormal packets.
  • the user terminal 60 transmits packets to the Internet 80 via the ISP network 70.
  • Examples of the user terminal 60 include a PC (personal computer), a smartphone, a tablet terminal, a wearable device, a game device, etc.
  • the overall system configuration shown in FIG. 1 is an example and is not limited to this.
  • two or more of the metrics log collection server 10, traffic capture server 20, NW anomaly score calculation server 30, anomaly packet generation server 40, and anomaly packet evaluation server 50 may be implemented by the same server.
  • Network anomaly score calculation server 30 An example of the functional configuration of the NW anomaly score calculation server 30 according to this embodiment is shown in Fig. 2. As shown in Fig. 2, the NW anomaly score calculation server 30 according to this embodiment has a metrics log acquisition unit 301 and a NW anomaly score calculation unit 302. These units are realized, for example, by a process in which one or more programs installed in the NW anomaly score calculation server 30 are executed by a processor such as a CPU.
  • the metrics log acquisition unit 301 acquires metrics log data from the metrics log collection server 10. For example, the metrics log acquisition unit 301 acquires metrics log data for each time included in a certain time range. Hereinafter, it is assumed that metrics log data for each time t ⁇ T is acquired.
  • T is the time period (which may be a date and time range) for which metrics log data is to be acquired, and is provided to the NW anomaly score calculation server 30.
  • the network anomaly score calculation unit 302 calculates a feature vector from the metrics log data acquired by the metrics log acquisition unit 301, and calculates a network anomaly score from the feature vector using a trained anomaly detector.
  • the network anomaly score calculated from the feature vector of the metrics log data at time t is taken as s(t), and it is assumed that a network anomaly score set ⁇ s(t)
  • t ⁇ T ⁇ is transmitted to the anomaly packet generation server 40.
  • the anomaly detector is a machine learning model that takes a feature vector as input and calculates and outputs a network anomaly score.
  • an autoencoder or the like can be used as the anomaly detector (Reference 1).
  • the anomaly detector is trained in advance by an unsupervised learning method using the feature vector of the metrics log data under normal conditions. This makes it possible for the trained anomaly detector to calculate the deviation from the normal state of the network as the network anomaly score. For example, a value representing the difference between the feature vector input to the anomaly detector and the vector output from the anomaly detector can be calculated as the network anomaly score.
  • any existing feature extraction method can be used to calculate the feature vector from the metrics log data.
  • the abnormal packet generation server 40 includes a packet acquisition unit 401, an abnormal packet candidate generation unit 402, an abnormal packet score calculation unit 403, an abnormal packet selection unit 404, a relearning unit 405, and an end determination unit 406.
  • Each of these units is realized, for example, by a process in which one or more programs installed in the abnormal packet generation server 40 are executed by a processor such as a CPU.
  • the packet acquisition unit 401 acquires from the traffic capture server 20 packets at time t having network anomaly scores exceeding a predetermined threshold th1 among the network anomaly scores included in the network anomaly score set ⁇ s(t)
  • the set of packets acquired by the packet acquisition unit 401 is represented as ⁇ p1 , ..., pn ⁇ , where n is the number of packets acquired by the packet acquisition unit 401.
  • the abnormal packet candidate generation unit 402 uses data expansion technology on the packets acquired by the packet acquisition unit 401 to generate abnormal packet candidates.
  • data expansion technology noise addition, packet synthesis, or both may be used.
  • abnormal packet candidates are generated by adding noise to packets.
  • Noise can be, for example, random changes to the header information of packets.
  • various abnormal packets can be generated. For example, when targeting the TTL (Time to live) field, abnormal packet candidates are created by increasing or decreasing the TTL value.
  • abnormal packet candidates are generated by combining two or more packets. For example, header information is extracted from multiple packets, and abnormal packet candidates are generated by combining the header information of different packets.
  • the set of abnormal packet candidates generated by the abnormal packet candidate generating unit 402 is represented as ⁇ q 1 , ..., q m ⁇ , where m is the number of abnormal packet candidates, and m ⁇ n (it is particularly preferable that m>n).
  • the abnormal packet score calculation unit 403 calculates an abnormal packet score by a learned classifier from the abnormal packet candidates generated by the abnormal packet candidate generation unit 402.
  • the classifier is a machine learning model that receives a packet as input and calculates and outputs the probability that the packet is abnormal as an abnormal packet score.
  • the classifier for example, gradient boosting decision trees (GBDT) or the like can be used.
  • the classifier is trained in advance by a known supervised learning method using packets to which a label indicating either normal or abnormal is assigned, and the label is used as teacher data. This makes it possible for the trained classifier to calculate the probability that an abnormal packet candidate q i is abnormal as an abnormal packet score S i .
  • the label is assumed to take 0 when normal and 1 when abnormal.
  • the abnormal packet selection unit 404 judges whether or not an abnormal packet candidate qi whose abnormal packet score S i exceeds a predetermined threshold th 2 exists in the abnormal packet candidate set ⁇ q 1 , ..., q m ⁇ . If the abnormal packet selection unit 404 judges that such an abnormal packet candidate qi exists, it selects the top N abnormal packet candidates having the highest abnormal packet scores from the abnormal packet candidate set ⁇ q 1 , ..., q m ⁇ as abnormal packets. N is a predetermined integer of 1 or more.
  • the set of abnormal packets is referred to as ⁇ r 1 , ..., r N ⁇ . This abnormal packet set ⁇ r 1 , ..., r N ⁇ is transmitted to the abnormal packet evaluation server 50.
  • each label Li indicates whether the abnormal packet ri is normal or abnormal, taking 0 when it is normal and 1 when it is abnormal.
  • the termination determination unit 406 determines whether or not to terminate the generation of abnormal packets and the relearning of the classifier.
  • ⁇ Abnormal packet evaluation server 50> An example of the functional configuration of the abnormal packet evaluating server 50 according to this embodiment is shown in Fig. 4. As shown in Fig. 4, the abnormal packet evaluating server 50 according to this embodiment has an evaluating unit 501 and a labeling unit 502. These units are realized, for example, by a process in which one or more programs installed in the abnormal packet evaluating server 50 are executed by a processor such as a CPU.
  • the evaluation unit 501 transmits each abnormal packet r i contained in the abnormal packet set ⁇ r 1 , ..., r N ⁇ transmitted from the abnormal packet generation server 40 to a network device in the test environment network 90, and evaluates whether or not an abnormality occurs in the network device.
  • the labeling unit 502 assigns, to each abnormal packet ri, a label L i indicating whether an abnormality occurred in the network device when the abnormal packet ri was sent to the network device, using the evaluation result by the evaluation unit 501 (i.e., whether an abnormality occurred in the network device). This results in a labeled abnormal packet set ⁇ (r 1 , L 1 ), ..., (r N , L N ) ⁇ . This labeled abnormal packet set ⁇ (r 1 , L 1 ), ..., (r N , L N ) ⁇ is sent to the abnormal packet generation server 40. Each label L i is assigned a value of 1 if an abnormality occurred in the network device when the abnormal packet ri was sent to the network device, and a value of 0 if not.
  • the metrics log acquisition unit 301 of the NW anomaly score calculation server 30 acquires metrics log data for each time t ⁇ T from the metrics log collection server 10 (step S101).
  • the NW anomaly score calculation unit 302 of the NW anomaly score calculation server 30 calculates a feature vector from the metrics log data acquired in step S101 above, and calculates a network anomaly score from the feature vector using the trained anomaly detector (step S102). This results in a network anomaly score set ⁇ s(t)
  • the packet acquisition unit 401 of the abnormal packet generation server 40 acquires packets at time t having a network abnormality score exceeding a predetermined threshold th1 from the network abnormality score set ⁇ s(t)
  • the abnormal packet candidate generation unit 402 of the abnormal packet generation server 40 uses a data expansion technique on the set of packets ⁇ p1 , ..., pn ⁇ acquired in step S103 above to generate abnormal packet candidates (step S104). As a result, a set of abnormal packet candidates ⁇ q1 , ..., qm ⁇ is obtained.
  • the abnormal packet score calculation unit 403 of the abnormal packet generation server 40 calculates the abnormal packet score S i of each abnormal packet candidate q i included in the abnormal packet candidate set Q generated in the above step S104 using a trained classifier (step S105).
  • the abnormal packet selection unit 404 of the abnormal packet generation server 40 judges whether or not an abnormal packet candidate qi whose abnormal packet score S i exceeds a predetermined threshold th 2 is present in the abnormal packet candidate set Q (step S106). That is, the abnormal packet selection unit 404 judges whether or not an abnormal packet candidate qi that satisfies S i > th 2 is present in the abnormal packet candidate set Q. This means that it is judged whether or not an abnormal packet candidate qi with a high abnormal packet score S i is present in the abnormal packet candidate set Q. This is because if the abnormal packet scores S i of all the abnormal packet candidates qi are low, all the abnormal packet candidates qi are considered to be normal packets.
  • step S106 If it is determined in step S106 that there is no abnormal packet candidate qi that satisfies S i > th 2 , the abnormal packet generation server 40 ends the generation of abnormal packets and the re-learning process of the classifier. On the other hand, if it is determined in step S106 that there is an abnormal packet candidate qi that satisfies S i > th 2 , the abnormal packet selection unit 404 of the abnormal packet generation server 40 selects the top N abnormal packet candidates with the highest abnormal packet scores from the abnormal packet candidate set Q as abnormal packets (step S107). This results in the abnormal packet set ⁇ r 1 , ..., r N ⁇ .
  • the evaluation unit 501 of the abnormal packet evaluation server 50 transmits each abnormal packet r i included in the abnormal packet set ⁇ r 1 , ..., r N ⁇ to a network device in the test environment network 90 and evaluates whether an abnormality has occurred in the network device (step S108).
  • the evaluation unit 501 can evaluate whether an abnormality has occurred in the network device by, for example, monitoring the state of the network device.
  • the labeling unit 502 of the abnormal packet evaluation server 50 assigns a label L i to each abnormal packet ri using the evaluation result in step S108 (step S109).
  • a labeled abnormal packet set ⁇ (r 1 , L 1 ), ..., (r N , L N ) ⁇ is obtained.
  • the labeling may be performed manually by presenting the evaluation result in step S108 to a person, or may be performed automatically based on the evaluation result.
  • the top N abnormal packet candidates with the highest abnormal packet scores are selected as abnormal packets, and the abnormal packets are actually sent to the network device to evaluate the abnormal packets, and the abnormal packets are labeled based on the evaluation.
  • This utilizes the framework of active learning, which means that only abnormal packet candidates with high learning effects when retraining the classifier are selected as abnormal packets and labeled. This makes it possible to reduce the cost required for labeling while achieving a high learning effect.
  • the re-learning unit 405 of the abnormal packet generating server 40 re-learns the classifier by a known supervised learning method using the labeled abnormal packet set ⁇ (r 1 , L 1 ), ..., (r N , L N ) ⁇ (step S110). This is expected to result in a more accurate classifier.
  • the termination determination unit 406 of the abnormal packet generation server 40 determines whether or not to terminate the generation of abnormal packets and the relearning of the classifier (step S111).
  • the termination determination unit 406 may determine to terminate, for example, when the number of elements in the current abnormal packet candidate set Q is less than N, when a termination instruction is received from a user or the like, or when another termination condition is satisfied.
  • step S111 If it is determined in step S111 that the process is to end, the abnormal packet generation server 40 ends the generation of abnormal packets and the re-learning process of the classifier. On the other hand, if it is not determined in step S111 that the process is to end, the abnormal packet selection unit 404 of the abnormal packet generation server 40 deletes abnormal packets r 1 , ..., r N from the current abnormal packet candidate set Q (step S112) and returns to step S106. As a result, steps S106 to S110 are executed using the new abnormal packet candidate set Q ⁇ Q ⁇ r 1 , ..., r N ⁇ .
  • the metrics log collection server 10, the traffic capture server 20, the NW anomaly score calculation server 30, the abnormal packet generation server 40, the abnormal packet evaluation server 50, and the user terminal 60 are realized, for example, by the hardware configuration of a computer 900 shown in Fig. 6.
  • the computer 900 shown in Fig. 6 includes an input device 901, a display device 902, an external I/F 903, a communication I/F 904, a RAM (Random Access Memory) 905, a ROM (Read Only Memory) 906, an auxiliary storage device 907, and a processor 908.
  • Each of these pieces of hardware is connected to each other via a bus 909 so as to be able to communicate with each other.
  • the input device 901 is, for example, a keyboard, a mouse, a touch panel, a physical button, etc.
  • the display device 902 is, for example, a display, a display panel, etc. Note that the computer 900 does not have to have at least one of the input device 901 and the display device 902, for example.
  • the external I/F 903 is an interface with external devices such as a recording medium 903a.
  • recording media 903a include a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), and a USB (Universal Serial Bus) memory card.
  • the communication I/F 904 is an interface through which the computer 900 communicates with other devices.
  • the RAM 905 is a volatile semiconductor memory (storage device) that temporarily stores programs and data.
  • the ROM 906 is a non-volatile semiconductor memory (storage device) that can store programs and data even when the power is turned off.
  • the auxiliary storage device 907 is a non-volatile storage device such as a HDD (Hard Disk Drive), SSD (Solid State Drive), or flash memory.
  • the processor 908 is a variety of arithmetic devices such as a CPU or a GPGPU (General Purpose computing with Graphic Processing Unit).
  • the hardware configuration shown in FIG. 6 is an example, and the hardware configuration of the computer 900 is not limited to this.
  • the computer 900 may have multiple auxiliary storage devices 907 and multiple processors 908, may not have some of the hardware shown in the figure, or may have various types of hardware other than the hardware shown in the figure.
  • the abnormal packet generation server 40 uses the network anomaly score by the anomaly detector to narrow down the target packets, and then generates abnormal packet candidates by data expansion (noise addition, packet synthesis). Furthermore, the abnormal packet generation server 40 and the abnormal packet evaluation server 50 according to this embodiment utilize an active learning framework to select, from among the abnormal packet candidates, those with high abnormal packet scores by the classifier as abnormal packets, and then evaluate and label these abnormal packets in actual network devices.
  • abnormal packet candidates are generated by data expansion, and abnormal packets are selected from them based on the abnormal packet score, so packets that are likely to actually cause anomalies can be generated more efficiently than with conventional methods.
  • abnormal packets are generated by data expansion using packets that are actually generated by the communication behavior of the user terminal 60, it is expected that abnormal packets that cause unknown vulnerabilities will be generated.
  • the number of evaluations can be reduced and the labeling costs can also be reduced, making it possible to effectively and efficiently learn the classifier.
  • the classifier is repeatedly re-learned, making it possible to adaptively re-learn the classifier even in situations where the characteristics of abnormal packets change, and as a result, it is expected that the performance of detecting abnormal packets will be improved under various conditions.
  • Reference 1 Japanese Patent Application Laidi, Kengo, et al. "Dividing deep learning model for continuous anomaly detection of inconsistent ict systems.” NOMS 2020-2020 IEEE/IFIP Network Operations and Management Symposium. IEEE, 2020.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本開示の一態様による異常パケット生成装置は、学習済み異常検知器によって算出された第１の異常スコアが所定の第１の閾値を超えているメトリクス及びログデータと同一時刻のパケットを取得する取得部と、前記パケットからデータ拡張により異常パケット候補を生成する生成部と、前記異常パケット候補から学習済み分類器によって算出された第２の異常スコアが上位Ｎ件の異常パケット候補を異常パケットとして選択する選択部と、を有する。

Description

異常パケット生成装置、異常パケット生成方法、及びプログラム
　本開示は、異常パケット生成装置、異常パケット生成方法、及びプログラムに関する。
　インターネットサービスプロバイダ（ＩＳＰ）のネットワーク装置は、インターネットの安定性や速度を維持するために極めて重要な役割を担っている。一方で、これらのネットワーク装置は、例えば、ソフトウェアのバグ、設定ミス、ハードウェアの不具合等により、異常パケットをトリガーとして機能停止することがある。このため、異常パケットを事前に生成し、ネットワーク装置のテストに活用することが行われている。
　異常パケットを生成するための従来手法として、総当たりによるパケット生成、既知の脆弱性に基づくパケット生成、機械学習を利用したパケット生成（例えば、非特許文献１及び２）等が知られている。
Cheng, Adriel. "PAC-GAN: Packet generation of network traffic using generative adversarial networks." 2019 IEEE 10th Annual Information Technology, Electronics and Mobile Communication Conference (IEMCON). IEEE, 2019. Nukavarapu, Santosh Kumar, Mohammed Ayyat, and Tamer Nadeem. "MirageNet-towards a GAN-based framework for synthetic network traffic generation." GLOBECOM 2022-2022 IEEE Global Communications Conference. IEEE, 2022.
　しかしながら、異常パケットを生成するための従来手法では、効果的な異常パケットを効率的に生成することができなかった。例えば、総当たりによるパケット生成では試行回数が膨大となり、効率性の点で問題がある。また、例えば、既知の脆弱性に基づくパケット生成では未知の脆弱性に対して効果的な異常パケットを生成することはできない。また、例えば、機械学習を利用したパケット生成では機械学習アルゴリズムにより実際のパケットに類似するパケットを生成するため、事前に大量の異常パケットを準備する必要があり、効率性の点で問題がある。
　本開示は、上記の点に鑑みてなされたもので、効果的な異常パケットを効率的に生成できる技術を提供する。
　本開示の一態様による異常パケット生成装置は、学習済み異常検知器によって算出された第１の異常スコアが所定の第１の閾値を超えているメトリクス及びログデータと同一時刻のパケットを取得する取得部と、前記パケットからデータ拡張により異常パケット候補を生成する生成部と、前記異常パケット候補から学習済み分類器によって算出された第２の異常スコアが上位Ｎ件の異常パケット候補を異常パケットとして選択する選択部と、を有する。
　効果的な異常パケットを効率的に生成できる技術が提供される。
本実施形態に係るシステムの全体構成の一例を示す図である。 本実施形態に係るＮＷ異常スコア算出サーバの機能構成の一例を示す図である。 本実施形態に係る異常パケット生成サーバの機能構成の一例を示す図である。 本実施形態に係る異常パケット評価サーバの機能構成の一例を示す図である。 異常パケットの生成及び分類器の再学習処理の一例を示すフローチャートである。 コンピュータのハードウェア構成の一例を示す図である。
　以下、本発明の一実施形態について説明する。以下の実施形態では、未知の脆弱性に対しても効果的な異常パケットを効率的に生成し、更にその異常パケットを用いてパケットが正常又は異常のいずれであるかを分類する分類器を再学習する場合について説明する。
　＜全体構成例＞
　本実施形態に係るシステムの全体構成例を図１に示す。図１に示すように、本実施形態に係るシステムには、メトリクス・ログ収集サーバ１０と、トラヒックキャプチャサーバ２０と、ＮＷ異常スコア算出サーバ３０と、異常パケット生成サーバ４０と、異常パケット評価サーバ５０と、ユーザ端末６０とが含まれる。
　メトリクス・ログ収集サーバ１０は、ＩＳＰネットワーク７０内のネットワーク装置やサーバ等のメトリクスデータ（例えば、ＣＰＵ（Central Processing Unit）使用率、メモリ使用率、ネットワークワークロード等）とログデータとを収集する。以下、メトリクスデータとログデータとをまとめて「メトリクス・ログデータ」と呼ぶことにする。なお、メトリクス・ログ収集サーバ１０では、各時刻のメトリクス・ログデータが収集される。
　トラヒックキャプチャサーバ２０は、ＩＳＰネットワーク７０内のトラヒック（パケット）を収集する。なお、トラヒックキャプチャサーバ２０では、各時刻のパケットが収集される。
　ＮＷ異常スコア算出サーバ３０は、メトリクス・ログ収集サーバ１０からメトリクス・ログデータを取得し、その特徴量を表すベクトル形式のデータ（以下、特徴量ベクトルともいう。）からネットワーク異常スコアを算出する。ネットワーク異常スコアとは、ＩＳＰネットワーク７０の異常度合いを表す指標値のことである。
　異常パケット生成サーバ４０は、ＮＷ異常スコア算出サーバ３０から取得したネットワーク異常スコアを用いてトラヒックキャプチャサーバ２０からパケットを取得し、それらのパケットから異常パケットを生成すると共に分類器を再学習する。
　異常パケット評価サーバ５０は、異常パケット生成サーバ４０から異常パケットを取得し、それらの異常パケットを用いて試験環境ネットワーク９０内のネットワーク装置でテストして当該異常パケットを評価する。
　ユーザ端末６０は、ＩＳＰネットワーク７０を介してインターネット８０にパケットを送信する。なお、ユーザ端末６０としては、例えば、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末、ウェアラブルデバイス、ゲーム機器等が挙げられる。
　なお、図１に示すシステムの全体構成は一例であって、これに限られるものではない。例えば、メトリクス・ログ収集サーバ１０、トラヒックキャプチャサーバ２０、ＮＷ異常スコア算出サーバ３０、異常パケット生成サーバ４０、及び異常パケット評価サーバ５０のうちの２つ以上のサーバが同一のサーバで実現されていてもよい。
　＜機能構成例＞
　以下、ＮＷ異常スコア算出サーバ３０、異常パケット生成サーバ４０、及び異常パケット評価サーバ５０の機能構成例について説明する。
　　≪ＮＷ異常スコア算出サーバ３０≫
　本実施形態に係るＮＷ異常スコア算出サーバ３０の機能構成例を図２に示す。図２に示すように、本実施形態に係るＮＷ異常スコア算出サーバ３０は、メトリクス・ログ取得部３０１と、ＮＷ異常スコア算出部３０２とを有する。これら各部は、例えば、ＮＷ異常スコア算出サーバ３０にインストールされた１以上のプログラムが、ＣＰＵ等のプロセッサに実行させる処理により実現される。
　メトリクス・ログ取得部３０１は、メトリクス・ログ収集サーバ１０からメトリクス・ログデータを取得する。例えば、メトリクス・ログ取得部３０１は、或る時間幅に含まれる各時刻のメトリクス・ログデータを取得する。以下、各時刻ｔ∈Ｔのメトリクス・ログデータが取得されるものとする。ここで、Ｔはメトリクス・ログデータの取得対象となる時間帯（日時幅であってもよい。）であり、ＮＷ異常スコア算出サーバ３０に与えられる。
　ＮＷ異常スコア算出部３０２は、メトリクス・ログ取得部３０１によって取得されたメトリクス・ログデータから特徴量ベクトルを算出し、その特徴量ベクトルから学習済みの異常検知器によりネットワーク異常スコアを算出する。以下、時刻ｔのメトリクス・ログデータの特徴量ベクトルから算出されたネットワーク異常スコアをｓ（ｔ）とし、ネットワーク異常スコア集合｛ｓ（ｔ）｜ｔ∈Ｔ｝が得られたものとする。このネットワーク異常スコア集合｛ｓ（ｔ）｜ｔ∈Ｔ｝は異常パケット生成サーバ４０に送信される。
　ここで、異常検知器とは、特徴量ベクトルを入力としてネットワーク異常スコアを算出及び出力する機械学習モデルである。異常検知器としては、例えば、自己符号化器（オートエンコーダ）等を用いることができる（参考文献１）。異常検知器として自己符号化器が用いられる場合、異常検知器は、正常時のメトリクス・ログデータの特徴量ベクトルを用いて教師なし学習手法により予め学習される。これにより、学習済みの異常検知器では、ネットワークの正常状態からの乖離度をネットワーク異常スコアとして算出することが可能となる。例えば、異常検知器に入力した特徴量ベクトルと、異常検知器から出力されたベクトルとの差を表す値をネットワーク異常スコアとして算出することができる。なお、メトリクス・ログデータから特徴量ベクトルを算出する方法については、既存の任意の特徴量抽出手法を用いればよい。
　　≪異常パケット生成サーバ４０≫
　本実施形態に係る異常パケット生成サーバ４０の機能構成例を図３に示す。図３に示すように、本実施形態に係る異常パケット生成サーバ４０は、パケット取得部４０１と、異常パケット候補生成部４０２と、異常パケットスコア算出部４０３と、異常パケット選択部４０４と、再学習部４０５と、終了判定部４０６とを有する。これら各部は、例えば、異常パケット生成サーバ４０にインストールされた１以上のプログラムが、ＣＰＵ等のプロセッサに実行させる処理により実現される。
　パケット取得部４０１は、ネットワーク異常スコア集合｛ｓ（ｔ）｜ｔ∈Ｔ｝に含まれるネットワーク異常スコアのうち、予め決められた閾値ｔｈ１を超えているネットワーク異常スコアの時刻ｔのパケットをトラヒックキャプチャサーバ２０から取得する。すなわち、パケット取得部４０１は、ｓ（ｔ）＞ｔｈ１を満たす時刻ｔ∈Ｔのパケットをトラヒックキャプチャサーバ２０から取得する。以下、パケット取得部４０１によって取得されたパケットの集合を｛ｐ１，・・・，ｐｎ｝とする。ここで、ｎはパケット取得部４０１によって取得されたパケットの数である。
　異常パケット候補生成部４０２は、パケット取得部４０１によって取得されたパケットに対してデータ拡張技術を利用し、異常パケット候補を生成する。データ拡張技術としては、ノイズ追加若しくはパケット合成又はその両方を用いればよい。
　ノイズ追加では、パケットにノイズを追加することにより異常パケット候補を生成する。ノイズとしては、例えば、パケットのヘッダ情報にランダムな変更を加えること等とすればよい。ノイズの強度や種類を変えることにより様々な異常パケットを生成することができる。例えば、ＴＴＬ（Time to live）フィールドを対象とする場合、ＴＴＬ値を増減させることにより異常パケット候補を作成する。
　パケット合成では、２つ以上のパケットを組み合わせることにより異常パケット候補を生成する。例えば、複数のパケットからヘッダ情報を抽出し、異なるパケットのヘッダ情報を組み合わせることにより異常パケット候補を生成する。
　以下、異常パケット候補生成部４０２によって生成された異常パケット候補の集合を｛ｑ１，・・・，ｑｍ｝とする。ここで、ｍは異常パケット候補の数であり、ｍ≧ｎ（特に、ｍ＞ｎであることが好ましい。）である。
　異常パケットスコア算出部４０３は、異常パケット候補生成部４０２によって生成された異常パケット候補から学習済みの分類器により異常パケットスコアを算出する。以下、異常パケット候補ｑｉ（ｉ＝１，・・・，ｍ）から算出された異常パケットスコアをＳｉとする。
　ここで、分類器とは、パケットを入力としてそのパケットが異常であるかを表す確率を異常パケットスコアとして算出及び出力する機械学習モデルである。分類器としては、例えば、勾配ブースティング決定木（ＧＢＤＴ：Gradient Boosting Decision Trees）等を用いることができる。分類器は、正常又は異常のいずれかを表すラベルが付与されたパケットを用いて、そのラベルを教師データとして既知の教師あり学習手法により予め学習される。これにより、学習済みの分類器では、異常パケット候補ｑｉが異常である確率を異常パケットスコアＳｉとして算出することが可能となる。以下、一例として、ラベルは、正常であるときは０、異常であるときは１を取るものとする。
　異常パケット選択部４０４は、異常パケットスコアＳｉが予め決められた閾値ｔｈ２を超えている異常パケット候補ｑｉが異常パケット候補集合｛ｑ１，・・・，ｑｍ｝の中に存在するか否かを判定する。そして、異常パケット選択部４０４は、そのような異常パケット候補ｑｉが存在すると判定した場合、異常パケット候補集合｛ｑ１，・・・，ｑｍ｝の中から異常パケットスコアが高い上位Ｎ個の異常パケット候補を異常パケットとして選択する。Ｎは予め決められた１以上の整数である。以下、異常パケットの集合を｛ｒ１，・・・，ｒＮ｝とする。この異常パケット集合｛ｒ１，・・・，ｒＮ｝は異常パケット評価サーバ５０に送信される。
　再学習部４０５は、異常パケット評価サーバ５０から送信されたラベル付き異常パケットの集合｛（ｒ１，Ｌ１），・・・，（ｒＮ，ＬＮ）｝を用いて、分類器を再学習する。すなわち、再学習部４０５は、ｉ＝１，・・・，Ｎに対して、異常パケットｒｉを入力データ、ラベルＬｉを教師データとして、既知の教師あり学習手法により分類器を再学習する。ここで、各ラベルＬｉは、異常パケットｒｉが正常又は異常のいずれであるかを表し、正常であるときは０、異常であるときは１を取る。
　終了判定部４０６は、異常パケットの生成及び分類器の再学習を終了するか否かを判定する。
　　≪異常パケット評価サーバ５０≫
　本実施形態に係る異常パケット評価サーバ５０の機能構成例を図４に示す。図４に示すように、本実施形態に係る異常パケット評価サーバ５０は、評価部５０１と、ラベル付け部５０２とを有する。これら各部は、例えば、異常パケット評価サーバ５０にインストールされた１以上のプログラムが、ＣＰＵ等のプロセッサに実行させる処理により実現される。
　評価部５０１は、異常パケット生成サーバ４０から送信された異常パケット集合｛ｒ１，・・・，ｒＮ｝に含まれる各異常パケットｒｉを試験環境ネットワーク９０内のネットワーク装置に送信し、そのネットワーク装置で異常が発生するか否かを評価する。
　ラベル付け部５０２は、評価部５０１による評価結果（つまり、ネットワークで異常が発生したか否か）を用いて、各異常パケットｒｉに対して、その異常パケットｒｉをネットワーク装置に送信したときに当該ネットワーク装置で異常が発生したか否かを表すラベルＬｉを付与する。これにより、ラベル付き異常パケット集合｛（ｒ１，Ｌ１），・・・，（ｒＮ，ＬＮ）｝が得られる。このラベル付き異常パケット集合｛（ｒ１，Ｌ１），・・・，（ｒＮ，ＬＮ）｝は異常パケット生成サーバ４０に送信される。なお、各ラベルＬｉには、異常パケットｒｉをネットワーク装置に送信したときに当該ネットワーク装置で異常が発生したときは１、そうでないときは０が与えられる。
　＜異常パケットの生成及び分類器の再学習処理＞
　以下、異常パケットを生成し、分類器を再学習する処理について、図５を参照しながら説明する。なお、以下では、メトリクス・ログ収集サーバ１０によって少なくとも時間帯Ｔに含まれる各時刻ｔのメトリクス・ログデータが収集されていると共に、トラヒックキャプチャサーバ２０によって少なくとも時間帯Ｔに含まれる各時刻ｔのパケットが収集されているものとする。
　まず、ＮＷ異常スコア算出サーバ３０のメトリクス・ログ取得部３０１は、各時刻ｔ∈Ｔのメトリクス・ログデータをメトリクス・ログ収集サーバ１０から取得する（ステップＳ１０１）。
　次に、ＮＷ異常スコア算出サーバ３０のＮＷ異常スコア算出部３０２は、上記のステップＳ１０１で取得されたメトリクス・ログデータから特徴量ベクトルを算出し、その特徴量ベクトルから学習済みの異常検知器によりネットワーク異常スコアを算出する（ステップＳ１０２）。これにより、ネットワーク異常スコア集合｛ｓ（ｔ）｜ｔ∈Ｔ｝が得られる。
　次に、異常パケット生成サーバ４０のパケット取得部４０１は、ネットワーク異常スコア集合｛ｓ（ｔ）｜ｔ∈Ｔ｝に含まれるネットワーク異常スコアのうち、予め決められた閾値ｔｈ１を超えているネットワーク異常スコアの時刻ｔのパケットをトラヒックキャプチャサーバ２０から取得する（ステップＳ１０３）。これにより、ｓ（ｔ）＞ｔｈ１を満たす時刻ｔ∈Ｔのパケットの集合｛ｐ１，・・・，ｐｎ｝が得られる。
　次に、異常パケット生成サーバ４０の異常パケット候補生成部４０２は、上記のステップＳ１０３で取得されたパケットの集合｛ｐ１，・・・，ｐｎ｝に対してデータ拡張技術を利用し、異常パケット候補を生成する（ステップＳ１０４）。これにより、異常パケット候補の集合｛ｑ１，・・・，ｑｍ｝が得られる。以下、異常パケット候補集合をＱで表し、Ｑ＝｛ｑ１，・・・，ｑｍ｝とする。
　次に、異常パケット生成サーバ４０の異常パケットスコア算出部４０３は、上記のステップＳ１０４で生成された異常パケット候補集合Ｑに含まれる各異常パケット候補ｑｉの異常パケットスコアＳｉを学習済みの分類器により算出する（ステップＳ１０５）。
　次に、異常パケット生成サーバ４０の異常パケット選択部４０４は、異常パケットスコアＳｉが予め決められた閾値ｔｈ２を超えている異常パケット候補ｑｉが異常パケット候補集合Ｑの中に存在するか否かを判定する（ステップＳ１０６）。すなわち、異常パケット選択部４０４は、Ｓｉ＞ｔｈ２を満たす異常パケット候補ｑｉが異常パケット候補集合Ｑの中に存在するか否かを判定する。これは、異常パケットスコアＳｉが高い異常パケット候補ｑｉが異常パケット候補集合Ｑの中に存在するか否かを判定していることを意味する。すべての異常パケット候補ｑｉの異常パケットスコアＳｉが低い場合、すべての異常パケット候補ｑｉが正常なパケットであると考えられるためである。
　上記のステップＳ１０６でＳｉ＞ｔｈ２を満たす異常パケット候補ｑｉが存在しないと判定された場合、異常パケット生成サーバ４０は、異常パケットの生成及び分類器の再学習処理を終了する。一方で、上記のステップＳ１０６でＳｉ＞ｔｈ２を満たす異常パケット候補ｑｉが存在すると判定された場合、異常パケット生成サーバ４０の異常パケット選択部４０４は、異常パケット候補集合Ｑの中から異常パケットスコアが高い上位Ｎ個の異常パケット候補を異常パケットとして選択する（ステップＳ１０７）。これにより、異常パケット集合｛ｒ１，・・・，ｒＮ｝が得られる。
　次に、異常パケット評価サーバ５０の評価部５０１は、異常パケット集合｛ｒ１，・・・，ｒＮ｝に含まれる各異常パケットｒｉを試験環境ネットワーク９０内のネットワーク装置に送信し、そのネットワーク装置で異常が発生するか否かを評価する（ステップＳ１０８）。なお、評価部５０１は、例えば、当該ネットワーク装置の状態を監視することにより、そのネットワーク装置で異常が発生したか否かを評価することが可能である。
　次に、異常パケット評価サーバ５０のラベル付け部５０２は、上記のステップＳ１０８における評価結果を用いて、各異常パケットｒｉに対してラベルＬｉを付与する（ステップＳ１０９）。これにより、ラベル付き異常パケット集合｛（ｒ１，Ｌ１），・・・，（ｒＮ，ＬＮ）｝が得られる。なお、ラベル付けは、上記のステップＳ１０８における評価結果を人に提示して人手で行われてもよいし、当該評価結果に基づいて自動的に行われてもよい。
　なお、上記のステップＳ１０７～ステップＳ１０９では、異常パケットスコアが高い上位Ｎ件の異常パケット候補を異常パケットとして選択した上で、実際に異常パケットをネットワーク装置に送信してその異常パケットを評価し、その評価から異常パケットのラベル付けを行っている。これは、能動学習（Ａｃｔｉｖｅ　Ｌｅａｒｎｉｎｇ）の枠組みを活用したものであり、分類器を再学習する際の学習効果が高い異常パケット候補のみを異常パケットとして選択してラベル付けを行っていることを意味する。これにより、高い学習効果を実現しつつラベル付けに要するコストを削減することが可能となる。
　次に、異常パケット生成サーバ４０の再学習部４０５は、ラベル付き異常パケット集合｛（ｒ１，Ｌ１），・・・，（ｒＮ，ＬＮ）｝を用いて、既知の教師あり学習手法により分類器を再学習する（ステップＳ１１０）。これにより、より精度の良い分類器が得られることが期待できる。
　次に、異常パケット生成サーバ４０の終了判定部４０６は、異常パケットの生成及び分類器の再学習を終了するか否かを判定する（ステップＳ１１１）。ここで、終了判定部４０６は、例えば、現在の異常パケット候補集合Ｑの要素数がＮ個未満となった場合に終了すると判定してもよいし、ユーザ等から終了指示を受け付けた場合に終了すると判定してもよいし、その他の終了条件を満たした場合に終了すると判定してもよい。
　上記のステップＳ１１１で終了すると判定された場合、異常パケット生成サーバ４０は、異常パケットの生成及び分類器の再学習処理を終了する。一方で、上記のステップＳ１１１で終了すると判定されなかった場合、異常パケット生成サーバ４０の異常パケット選択部４０４は、現在の異常パケット候補集合Ｑの中から異常パケットｒ１，・・・，ｒＮを削除して（ステップＳ１１２）、ステップＳ１０６に戻る。これにより、新たな異常パケット候補集合Ｑ←Ｑ＼｛ｒ１，・・・，ｒＮ｝を用いてステップＳ１０６～ステップＳ１１０が実行される。
　＜ハードウェア構成例＞
　本実施形態に係るメトリクス・ログ収集サーバ１０、トラヒックキャプチャサーバ２０、ＮＷ異常スコア算出サーバ３０、異常パケット生成サーバ４０、及び異常パケット評価サーバ５０、及びユーザ端末６０は、例えば、図６に示すコンピュータ９００のハードウェア構成により実現される。図６に示すコンピュータ９００は、入力装置９０１と、表示装置９０２と、外部Ｉ／Ｆ９０３と、通信Ｉ／Ｆ９０４と、ＲＡＭ（Random Access Memory）９０５と、ＲＯＭ（Read Only Memory）９０６と、補助記憶装置９０７と、プロセッサ９０８とを有する。これらの各ハードウェアは、それぞれがバス９０９を介して通信可能に接続される。
　入力装置９０１は、例えば、キーボード、マウス、タッチパネル、物理ボタン等である。表示装置９０２は、例えば、ディスプレイ、表示パネル等である。なお、コンピュータ９００は、例えば、入力装置９０１及び表示装置９０２のうちの少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ９０３は、記録媒体９０３ａ等の外部装置とのインタフェースである。記録媒体９０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
　通信Ｉ／Ｆ９０４は、コンピュータ９００が他の装置等と通信を行うためのインタフェースである。ＲＡＭ９０５は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ９０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。補助記憶装置９０７は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の不揮発性の記憶装置である。プロセッサ９０８は、例えば、ＣＰＵやＧＰＧＰＵ（General Purpose computing with Graphic Processing Unit）等の各種演算装置である。
　なお、図６に示すハードウェア構成は一例であって、コンピュータ９００のハードウェア構成はこれに限られるものではない。例えば、コンピュータ９００は、複数の補助記憶装置９０７や複数のプロセッサ９０８を有していてもよいし、図示したハードウェアの一部を有していなくてもよいし、図示したハードウェア以外の種々のハードウェアを有していてもよい。
　＜まとめ＞
　以上のように、本実施形態に係る異常パケット生成サーバ４０では、異常検知器によるネットワーク異常スコアを利用して対象のパケットを絞り込んだ上、データ拡張（ノイズ追加、パケット合成）によって異常パケット候補を生成する。また、本実施形態に係る異常パケット生成サーバ４０と異常パケット評価サーバ５０は、能動学習の枠組みを活用し、異常パケット候補のうち、分類器による異常パケットスコアが高いものを異常パケットとして選択した上で、それらの異常パケットを実際のネットワーク装置で評価してラベル付けする。
　このように、対象となるパケットを絞り込んだ上でデータ拡張によって異常パケット候補を生成し、その中から異常パケットスコアにより異常パケットを選択するため、実際に異常を引き起こす可能性が高いパケットを従来手法によりも効率的に生成することができる。また、実際にユーザ端末６０の通信行動によって発生するパケットを利用してデータ拡張により異常パケットを生成するため、未知の脆弱性を引き起こすような異常パケットの生成が期待できる。更に、異常パケットを実際に評価する際には能動学習の枠組みを活用することにより、その評価回数を削減し、またラベル付けのコストも削減できるため、効果的かつ効率的に分類器を学習することもできるようになる。加えて、能動学習の枠組みを活用により、分類器が繰り返し再学習されるため、異常パケットの特徴が変化する状況に対しても適応的に分類器を再学習させることが可能となり、その結果、様々な状況下で異常パケット検出性能の向上が期待できる。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　［参考文献］
　参考文献１：Tajiri, Kengo, et al. "Dividing deep learning model for continuous anomaly detection of inconsistent ict systems." NOMS 2020-2020 IEEE/IFIP Network Operations and Management Symposium. IEEE, 2020.
　１０　　　　メトリクス・ログ収集サーバ
　２０　　　　トラヒックキャプチャサーバ
　３０　　　　ＮＷ異常スコア算出サーバ
　４０　　　　異常パケット生成サーバ
　５０　　　　異常パケット評価サーバ
　６０　　　　ユーザ端末
　７０　　　　ＩＳＰネットワーク
　８０　　　　インターネット
　９０　　　　試験環境ネットワーク
　３０１　　　メトリクス・ログ取得部
　３０２　　　ＮＷ異常スコア算出部
　４０１　　　パケット取得部
　４０２　　　異常パケット候補生成部
　４０３　　　異常パケットスコア算出部
　４０４　　　異常パケット選択部
　４０５　　　再学習部
　４０６　　　終了判定部
　５０１　　　評価部
　５０２　　　ラベル付け部
　９００　　　コンピュータ
　９０１　　　入力装置
　９０２　　　表示装置
　９０３　　　外部Ｉ／Ｆ
　９０３ａ　　記録媒体
　９０４　　　通信Ｉ／Ｆ
　９０５　　　ＲＡＭ
　９０６　　　ＲＯＭ
　９０７　　　補助記憶装置
　９０８　　　プロセッサ
　９０９　　　バス

Claims (7)

  1. 　学習済み異常検知器によって算出された第１の異常スコアが所定の第１の閾値を超えているメトリクス及びログデータと同一時刻のパケットを取得する取得部と、
    　前記パケットからデータ拡張により異常パケット候補を生成する生成部と、
    　前記異常パケット候補から学習済み分類器によって算出された第２の異常スコアが上位Ｎ件の異常パケット候補を異常パケットとして選択する選択部と、
    　を有する異常パケット生成装置。
  2. 　前記異常パケットと、前記異常パケットをネットワーク装置に送信したときに前記ネットワーク装置に異常が発生するか否かを評価することによって付与されたラベルとを用いて、教師あり学習の手法により前記分類器を再学習する再学習部を更に有する請求項１に記載の異常パケット生成装置。
  3. 　前記学習済み分類器は、正常又は異常のいずれかを表すラベルが付与されたパケットを用いて教師あり学習の手法により学習された勾配ブースティング決定木である、請求項２に記載の異常パケット生成装置。
  4. 　前記選択部は、
    　前記第２の異常スコアが所定の第２の閾値を超えている異常パケット候補が存在する場合、前記第２の異常スコアが上位Ｎ件の異常パケット候補を異常パケットとして選択する、請求項１乃至３の何れか一項に記載の異常パケット生成装置。
  5. 　前記生成部は、
    　前記データ拡張としてノイズ追加とパケット合成の少なくとも一方を用いて、前記パケットから前記異常パケット候補を生成する、請求項４に記載の異常パケット生成装置。
  6. 　学習済み異常検知器によって算出された第１の異常スコアが所定の第１の閾値を超えているメトリクス及びログデータと同一時刻のパケットを取得する取得手順と、
    　前記パケットからデータ拡張により異常パケット候補を生成する生成手順と、
    　前記異常パケット候補から学習済み分類器によって算出された第２の異常スコアが上位Ｎ件の異常パケット候補を異常パケットとして選択する選択手順と、
    　をコンピュータが実行する異常パケット生成方法。
  7. 　学習済み異常検知器によって算出された第１の異常スコアが所定の第１の閾値を超えているメトリクス及びログデータと同一時刻のパケットを取得する取得手順と、
    　前記パケットからデータ拡張により異常パケット候補を生成する生成手順と、
    　前記異常パケット候補から学習済み分類器によって算出された第２の異常スコアが上位Ｎ件の異常パケット候補を異常パケットとして選択する選択手順と、
    　をコンピュータに実行させるプログラム。
PCT/JP2023/020847 2023-06-05 2023-06-05 異常パケット生成装置、異常パケット生成方法、及びプログラム Ceased WO2024252481A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025525457A JPWO2024252481A1 (ja) 2023-06-05 2023-06-05
PCT/JP2023/020847 WO2024252481A1 (ja) 2023-06-05 2023-06-05 異常パケット生成装置、異常パケット生成方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/020847 WO2024252481A1 (ja) 2023-06-05 2023-06-05 異常パケット生成装置、異常パケット生成方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024252481A1 true WO2024252481A1 (ja) 2024-12-12

Family

ID=93795138

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020847 Ceased WO2024252481A1 (ja) 2023-06-05 2023-06-05 異常パケット生成装置、異常パケット生成方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2024252481A1 (ja)
WO (1) WO2024252481A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176706A (ja) * 2007-01-22 2008-07-31 Yokogawa Electric Corp アラーム情報処理装置およびアラーム情報処理方法
JP2009020673A (ja) * 2007-07-11 2009-01-29 Sharp Corp 測定装置、制御回路、プログラム及び測定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176706A (ja) * 2007-01-22 2008-07-31 Yokogawa Electric Corp アラーム情報処理装置およびアラーム情報処理方法
JP2009020673A (ja) * 2007-07-11 2009-01-29 Sharp Corp 測定装置、制御回路、プログラム及び測定方法

Also Published As

Publication number Publication date
JPWO2024252481A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
Chen et al. Outage prediction and diagnosis for cloud service systems
US9836952B2 (en) Alarm causality templates for network function virtualization
Meng et al. Device-agnostic log anomaly classification with partial labels
JP3922375B2 (ja) 異常検出システム及びその方法
Kimura et al. Spatio-temporal factorization of log data for understanding network events
US12147893B2 (en) Anomaly detection in network topology
Yuan et al. Automated known problem diagnosis with event traces
Chen et al. Graph-based incident aggregation for large-scale online service systems
US20190095266A1 (en) Detection of Misbehaving Components for Large Scale Distributed Systems
EP3586275B1 (en) Method and system for fault localization in a cloud environment
US20190065738A1 (en) Detecting anomalous entities
JP2019061565A (ja) 異常診断方法および異常診断装置
US20210027167A1 (en) Model structure extraction for analyzing unstructured text data
US9710122B1 (en) Customer support interface
EP2766809A1 (en) Methods and systems for identifying action for responding to anomaly in cloud computing system
WO2017039506A1 (en) Method and network node for localizing a fault causing performance degradation of service
US20250094271A1 (en) Log representation learning for automated system maintenance
CN110825545A (zh) 一种云服务平台异常检测方法与系统
US20200382359A1 (en) Extracting and tagging text about networking entities from human readable textual data sources and using tagged text to build graph of nodes including networking entities
He et al. Large-scale IP network behavior anomaly detection and identification using substructure-based approach and multivariate time series mining
Tao et al. Diagnosing performance issues for large-scale microservice systems with heterogeneous graph
CN119420629A (zh) 一种基于图卷积神经网络的微服务故障根因定位方法
JP6858798B2 (ja) 特徴量生成装置、特徴量生成方法及びプログラム
Wetzig et al. Unsupervised anomaly alerting for iot-gateway monitoring using adaptive thresholds and half-space trees
Jain et al. Extracting the textual and temporal structure of supercomputing logs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940588

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525457

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025525457

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE