WO2023238246A1 - 統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラム - Google Patents

統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラム Download PDF

Info

Publication number
WO2023238246A1
WO2023238246A1 PCT/JP2022/022983 JP2022022983W WO2023238246A1 WO 2023238246 A1 WO2023238246 A1 WO 2023238246A1 JP 2022022983 W JP2022022983 W JP 2022022983W WO 2023238246 A1 WO2023238246 A1 WO 2023238246A1
Authority
WO
WIPO (PCT)
Prior art keywords
integrated model
model generation
participant
integrated
unit
Prior art date
Application number
PCT/JP2022/022983
Other languages
English (en)
French (fr)
Inventor
達也 竹村
駿 飛山
和憲 神谷
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/022983 priority Critical patent/WO2023238246A1/ja
Publication of WO2023238246A1 publication Critical patent/WO2023238246A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures

Definitions

  • the present invention relates to an integrated model generation method, an integrated model generation device, and an integrated model generation program.
  • malware servers which play a commanding role in large-scale attack infrastructure
  • traffic data collected by a single carrier There is a limit to the number of detections.
  • malware data data related to malicious servers included in actual traffic data
  • the performance of the prediction model that can be generated depends on the size of each participant.
  • a model with poor performance may have an adverse effect, making it difficult to detect malicious data without causing false positives or oversights, which is particularly important in the cybersecurity field.
  • the present invention has been made in view of the above, and makes it possible to detect a small amount of data regarding malicious servers with high accuracy by suppressing the influence of models with poor performance when integrating models of each participant.
  • the purpose is to
  • an integrated model generation method is an integrated model generation method executed by an integrated model generation device, and for each model learned by each participant, an evaluation step of evaluating using a predetermined evaluation index, a calculation step of calculating a weight according to the evaluation index for each of the models, and an integration step of integrating each of the models according to the calculated weight, It is characterized by containing.
  • the present invention when integrating the models of each participant, it is possible to suppress the influence of models with poor performance and to detect a small amount of data regarding malicious servers with high accuracy.
  • FIG. 1 is a diagram for explaining an overview of an integrated model generation device.
  • FIG. 2 is a diagram for explaining an overview of the integrated model generation device.
  • FIG. 3 is a diagram for explaining an overview of the integrated model generation device.
  • FIG. 4 is a schematic diagram illustrating a schematic configuration of the integrated model generation device.
  • FIG. 5 is a flowchart showing the integrated model generation processing procedure.
  • FIG. 6 is a diagram for explaining an integrated model generation device according to another embodiment.
  • FIG. 7 is a diagram illustrating a computer that executes the integrated model generation program.
  • each carrier (hereinafter referred to as a participant) that participates in the generation of an integrated model prepares its own traffic data set for learning.
  • each participant uses a flow collection function to collect network flow data from network devices in a network that it manages, and extracts the feature amount of each host from the collected data.
  • a label of either benign or malicious is assigned to the feature data of each host to create a traffic data set for learning.
  • the types of features and the form of the model to be learned are shared in advance among the participants. Then, an initial model whose shape has been determined in advance and whose parameters have been randomized is distributed to each participant. Each participant uses its own traffic data set to learn an initial model and determine parameters so that it outputs a predicted probability that the host is benign or malignant for the input host features.
  • the integrated model generation device then generates an integrated model by combining the models learned by each participant.
  • FIG. 2 illustrates an integrated model generated by conventional Federated Learning.
  • FIG. 3 illustrates an example of an integrated model generated by the integrated model generation device of this embodiment.
  • conventional Federated Learning as illustrated in FIG. 2, a simple average of the parameters of the model learned by each participant is used as the parameter of the integrated model.
  • the average of the parameters of three models m1, m2, and m3 is set as the parameter w11 of the integrated model.
  • the integrated model generation device of this embodiment uses the predicted probability of each model as an evaluation index, and determines the parameters of the integrated model by weighting according to the evaluation index.
  • the parameter w11 is determined according to the average of the predicted probabilities of each model m1, m2, and m3.
  • the integrated model generation device first extracts feature quantities from a public list of malicious servers and malicious servers detected by the participants in cooperation with each other in advance, and prepares a malicious data set for evaluation. Then, the integrated model generation device evaluates each model using this malignant data set for evaluation, and calculates the weights of the parameters of the integrated model. For example, the integrated model generation device determines the weight of each model using a weight determination function based on the average of the predicted probabilities of malignant data of each model. The weight of each model represents the degree to which models with good performance are emphasized or the degree to which models with poor performance are made to cooperate, and can be adjusted by the parameters of the weight determination function.
  • the integrated model generation device generates an integrated model by combining each model based on the determined weights.
  • the integrated model generation device generates an integrated model by repeating the above process a predetermined number of times, using the integrated model generated here as an initial model for the next round.
  • the integrated model generation device of this embodiment it is possible to suppress the influence of models with poor performance and integrate the models of each participant. Therefore, it is possible to detect a small amount of data regarding malicious servers with high accuracy.
  • FIG. 4 is a schematic diagram illustrating a schematic configuration of the integrated model generation device.
  • the integrated model generation device 10 is realized by a general-purpose computer such as a personal computer, and includes an input section 11, an output section 12, a communication control section 13, a storage section 14, and a control section 15.
  • the input unit 11 is realized using an input device such as a keyboard or a mouse, and inputs various instruction information such as starting processing to the control unit 15 in response to an input operation by an operator.
  • the output unit 12 is realized by a display device such as a liquid crystal display, a printing device such as a printer, and the like.
  • the communication control unit 13 is realized by a NIC (Network Interface Card) or the like, and controls communication between the control unit 15 and an external device such as a server via a network.
  • the communication control unit 13 controls communication between the control unit 15 and a server that manages models, traffic data, etc. of each participant used in integrated model generation processing, which will be described later.
  • the storage unit 14 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.
  • a processing program for operating the integrated model generation device 10 data used during execution of the processing program, and the like are stored in advance, or are temporarily stored each time processing is performed.
  • the storage unit 14 may be configured to communicate with the control unit 15 via the communication control unit 13.
  • the storage unit 14 stores a malignant data set 14a used in integrated model generation processing, which will be described later.
  • the malicious data set 14a is data regarding each known malicious server, and is a predetermined feature amount of each malicious server.
  • known malicious server refers to a malicious server on a publicly available list or a malicious server that has been detected by the participants in advance.
  • the control unit 15 is realized using a CPU (Central Processing Unit) or the like, and executes a processing program stored in a memory. Thereby, the control unit 15 functions as a collection unit 15a, an evaluation unit 15b, a calculation unit 15c, an integration unit 15d, and a distribution unit 15e, as illustrated in FIG. 4, and executes an integrated model generation process to be described later. Note that these functional units may be implemented in different hardware. For example, the collection unit 15a and the distribution unit 15e may be implemented in a separate device from other functional units. Further, the control unit 15 may include other functional units.
  • a CPU Central Processing Unit
  • the collection unit 15a collects the models learned by each participant. Specifically, the collection unit 15a collects the models learned by each participant via the input unit 11 or from the server of each participant via the communication control unit 13.
  • the collection unit 15a repeatedly collects the models learned by each participant and transfers them to the subsequent evaluation unit 15b.
  • an initial model in a predetermined format with randomized parameters is distributed to each participant, and each participant collects a trained model using its own traffic dataset. Ru.
  • the integrated model generated by the integrating unit 15d which will be described later, is distributed to each participant, and the model learned by each participant using its own traffic data set is collected, as in the first time.
  • the collection unit 15a may immediately transfer the collected models of each participant to the evaluation unit 15b, or may collect them in advance and store them in the storage unit 14 prior to processing to be described later.
  • the evaluation unit 15b evaluates each model learned by each participant using a predetermined evaluation index. For example, the evaluation unit 15b calculates the predicted probability of malignancy using the malignancy data set 14a, which is information on known malignant servers, as an evaluation index. In the example shown in FIG. 1, averages p 1 , p 2 , and p 3 of predicted probabilities of malignancy are calculated.
  • the calculation unit 15c calculates a weight according to the evaluation index for each model. For example, the calculation unit 15c calculates the weight so that it increases as the predicted probability of malignancy increases. Specifically, the calculation unit 15c calculates the weight for each model using the weight determining function f(p i ) shown in the following equation (1) or the following equation (2).
  • the above equation (2) is called a softmax function with temperature, and can have a greater influence on the parameter T than the above equation (1).
  • T ⁇ 1 it becomes possible to emphasize and weight a model of a participant with a higher malignancy prediction probability as T approaches 0.
  • T>1 the larger T becomes, the more likely the participant's model with a low malignancy prediction probability is emphasized.
  • the integrating unit 15d integrates each model according to the calculated weight. For example, as illustrated in FIG. 1, an integrated model is generated by weighting and integrating each model using f(p i ) calculated by the above equation (1) or (2). Thereby, the integrated model generation device 10 generates an integrated model weighted to emphasize the higher the prediction accuracy of malignancy and the better the performance. Therefore, the integrated model generation device 10 can suppress the influence of the participant's model with poor performance and generate an integrated model that can detect malicious servers with high accuracy.
  • the distribution unit 15e distributes the integrated model to each participant. For example, as illustrated in FIG. 1, the distribution unit 15e distributes the integrated model to each participant as the initial model for the next round. In this way, the integrated model generation device 10 can improve the accuracy of the integrated model by repeating the processes of the collection unit 15a to distribution unit 15e described above a predetermined number of times.
  • FIG. 5 is a flowchart showing the integrated model generation processing procedure.
  • the flowchart in FIG. 5 starts, for example, at the timing when an operation input instructing to start the integrated model generation process is received.
  • the collection unit 15a collects learned models learned by each participant using its own traffic data set from each participant's server, etc. (step S1).
  • the evaluation unit 15b calculates a predetermined evaluation index for each model learned by each participant (step S2). For example, the evaluation unit 15b calculates the predicted probability of malignancy using the malignancy data set 14a, which is information on known malignant servers, as an evaluation index.
  • the calculation unit 15c calculates a weight according to the evaluation index for each model (step S3). For example, the calculation unit 15c uses a weight determination function to calculate a weight for each model so that the higher the predicted probability of malignancy, the more emphasized it is.
  • the integrating unit 15d integrates each model according to the calculated weights (step S4). For example, the integrating unit 15d generates an integrated model that is weighted to emphasize the higher the prediction accuracy of malignancy and the better the performance.
  • the distribution unit 15e distributes the integrated model to each participant (step S5), and returns the process to step S1. As a result, a series of integrated model generation processes are repeated.
  • FIG. 6 is a diagram for explaining an integrated model generation device according to another embodiment.
  • an integrated model is generated with each of a plurality of communication carriers as participants.
  • it is possible to increase the number of malicious servers detected.
  • an integrated model may be generated with multiple regions as participants, targeting edge computing within a single communication carrier.
  • Telecommunications carriers on a global scale need to aggregate traffic data from all over the world to a single location, and there is a risk that the overhead for aggregation will increase as the amount of communication increases in the future.
  • traffic data cannot be directly exported outside the area, making it difficult to aggregate it in one place.
  • a single large-scale communication carrier can generate an integrated model with each region as each participant, making it possible to detect malicious servers with high accuracy.
  • the evaluation unit 15b evaluates each model learned by each participant using a predetermined evaluation index.
  • the calculation unit 15c calculates a weight according to the evaluation index for each model.
  • the integrating unit 15d integrates each model according to the calculated weight.
  • the evaluation unit 15b calculates the predicted probability of malignancy using information on known malicious servers as an evaluation index.
  • the calculation unit 15c calculates the weight so that it increases as the predicted probability of malignancy increases.
  • the integrated model generation device 10 of the present embodiment for example, a model with a high prediction probability of malignancy and good performance in detecting a malicious server is emphasized, and the influence of a model with poor performance is suppressed, and each communication It becomes possible to integrate the models of operators. Therefore, it is possible to detect a small amount of data regarding malicious servers with high accuracy.
  • the distribution unit 15e distributes the integrated model to each participant. This makes it possible to further improve the detection accuracy of malicious servers by having each participant learn the distributed integrated model and repeating the process of integrating the learned integrated models.
  • the integrated model generation device 10 can be implemented by installing an integrated model generation program that executes the above-described integrated model generation process on a desired computer as packaged software or online software. For example, by causing the information processing device to execute the above integrated model generation program, the information processing device can be made to function as the integrated model generation device 10.
  • information processing devices include mobile communication terminals such as smartphones, mobile phones, and PHSs (Personal Handyphone Systems), as well as slate terminals such as PDAs (Personal Digital Assistants).
  • the functions of the integrated model generation device 10 may be implemented in a cloud server.
  • FIG. 7 is a diagram showing an example of a computer that executes the integrated model generation program.
  • Computer 1000 includes, for example, memory 1010, CPU 1020, hard disk drive interface 1030, disk drive interface 1040, serial port interface 1050, video adapter 1060, and network interface 1070. These parts are connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to hard disk drive 1031.
  • Disk drive interface 1040 is connected to disk drive 1041.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1041, for example.
  • a mouse 1051 and a keyboard 1052 are connected to the serial port interface 1050.
  • a display 1061 is connected to the video adapter 1060.
  • the hard disk drive 1031 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. Each piece of information described in the above embodiments is stored in, for example, the hard disk drive 1031 or the memory 1010.
  • the integrated model generation program is stored in the hard disk drive 1031, for example, as a program module 1093 in which commands to be executed by the computer 1000 are written. Specifically, a program module 1093 in which each process executed by the integrated model generation device 10 described in the above embodiment is described is stored in the hard disk drive 1031.
  • data used for information processing by the integrated model generation program is stored as program data 1094 in, for example, the hard disk drive 1031.
  • the CPU 1020 reads out the program module 1093 and program data 1094 stored in the hard disk drive 1031 to the RAM 1012 as necessary, and executes each of the above-described procedures.
  • program module 1093 and program data 1094 related to the integrated model generation program are not limited to being stored in the hard disk drive 1031; for example, they may be stored in a removable storage medium and processed by the CPU 1020 via the disk drive 1041 or the like. May be read.
  • the program module 1093 and program data 1094 related to the integrated model generation program are stored in another computer connected via a network such as a LAN (Local Area Network) or a WAN (Wide Area Network), and It may also be read by the CPU 1020 via the CPU 1020.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

統合モデル生成装置（１０）において、評価部（１５ｂ）が、各参加者によって学習された各モデルについて、所定の評価指標を用いて評価する。算出部（１５ｃ）が、各モデルについて、評価指標に応じた重みを算出する。統合部（１５ｄ）が、算出された重みに応じて各モデルを統合する。

Description

統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラム
　本発明は、統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラムに関する。
　従来、大規模攻撃基盤における指令役であるＣｏｍｍａｎｄ＆Ｃｏｎｔｒｏｌサーバ（以下、悪性サーバ）を検知するシステムにおいて、単一の通信事業者が収集したトラフィックデータを利用するだけでは、世界中に分散する悪性サーバの検知数に限界がある。一方、悪性サーバの検知数を向上させるために複数の通信事業者が協調してデータを交換することは、各通信事業者のプライバシの観点で困難である。そこで、データを交換することなく、参加する通信事業者（以下、参加者）がそれぞれに生成した予測モデルのみを交換して統合することによって、より良い性能のモデルを生成するＦｅｄｅｒａｔｅｄ　Ｌｅａｒｎｉｎｇと呼ばれる技術が知られている（非特許文献１、２参照）。
Zirui　Xu,　et.al.,　"Helios:　Heterogeneity-Aware　Federated　Learning　with　Dynamically　Balanced　Collaboration",　IEEE　2021,　pp.997-1002 Ying　Zhao,　et.al.,　"Multi-Task　Network　Anomaly　Detection　using　Federated　Learning",　SolCT　2019,　pp.273-279
　しかしながら、従来の技術で各参加者のモデルを統合する際には、悪性サーバの検知精度を向上させることが困難な場合がある。例えば、実際のトラフィックデータに含まれる悪性サーバに関するデータ（以下、悪性データ）は、それ以外の良性データと比較して圧倒的に数が少なく、各参加者の規模によって生成できる予測モデルの性能の差が大きい。そのため、Ｆｅｄｅｒａｔｅｄ　Ｌｅａｒｎｉｎｇのモデル統合時には、性能の悪いモデルが悪影響を及ぼす結果、悪性データを誤検知や見逃しを発生させずに検知するという、サイバーセキュリティ分野で特に重要なことが困難な場合がある。
　本発明は、上記に鑑みてなされたものであって、各参加者のモデルを統合する際に、性能の悪いモデルの影響を抑制して、少量の悪性サーバに関するデータを精度高く検出可能とすることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る統合モデル生成方法は、統合モデル生成装置が実行する統合モデル生成方法であって、各参加者によって学習された各モデルについて、所定の評価指標を用いて評価する評価工程と、前記各モデルについて、前記評価指標に応じた重みを算出する算出工程と、算出された前記重みに応じて前記各モデルを統合する統合工程と、を含んだことを特徴とする。
　本発明によれば、各参加者のモデルを統合する際に、性能の悪いモデルの影響を抑制して、少量の悪性サーバに関するデータを精度高く検出することが可能となる。
図１は、統合モデル生成装置の概要を説明するための図である。 図２は、統合モデル生成装置の概要を説明するための図である。 図３は、統合モデル生成装置の概要を説明するための図である。 図４は、統合モデル生成装置の概略構成を例示する模式図である。 図５は、統合モデル生成処理手順を示すフローチャートである。 図６は、他の実施形態の統合モデル生成装置を説明するための図である。 図７は、統合モデル生成プログラムを実行するコンピュータを例示する図である。
　以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［統合モデル生成装置の概要］
　図１～図３は、統合モデル生成装置の概要を説明するための図である。まず、図１に例示するように、統合モデルの生成に参加する通信事業者（以下、参加者）のそれぞれが、学習用の独自のトラフィックデータセットを用意する。例えば、各参加者は、自身が管理するネットワークのネットワーク機器から、フロー収集機能を用いてネットワークフローデータを収集し、収集したデータから各ホストの特徴量を抽出する。そして、悪性ホストの公開リストや過去の検知結果に基づいて、各ホストの特徴量のデータに、良性または悪性のいずれかのラベルを付与して、学習用のトラフィックデータセットとする。
　なお、参加者間で特徴量の種類と学習するモデルの形態とを予め共有する。そして、事前に形態を決定してパラメータをランダム化した初期モデルを各参加者に配布する。各参加者は、独自のトラフィックデータセットを用いて、入力されたホストの特徴量に対して、このホストが良性または悪性の予測確率を出力するように初期モデルを学習し、パラメータを決定する。そして、統合モデル生成装置は、各参加者が学習したモデルを組み合わせて統合モデルを生成する。
　ここで、図２には、従来のＦｅｄｅｒａｔｅｄ　Ｌｅａｒｎｉｎｇにより生成される統合モデルが例示されている。また、図３には、本実施形態の統合モデル生成装置により生成される統合モデルが例示されている。従来のＦｅｄｅｒａｔｅｄ　Ｌｅａｒｎｉｎｇでは、図２に例示するように、各参加者が学習したモデルのパラメータの単純な平均を統合モデルのパラメータとしていた。図２に示す例では、３つのモデルｍ１、ｍ２、ｍ３のパラメータの平均が統合モデルのパラメータｗ１１とされている。
　これに対し、本実施形態の統合モデル生成装置は、図３に例示するように、各モデルの予測確率を評価指標として、評価指標に応じた重み付けにより統合モデルのパラメータを決定する。図３に示す例では、各モデルｍ１、ｍ２、ｍ３の予測確率の平均に応じて、パラメータｗ１１が決定されている。
　具体的には、統合モデル生成装置は、まず、悪性サーバの公開リストや参加者が予め協調して検知した悪性サーバから特徴量を抽出し、評価用の悪性データセットを用意する。そして、統合モデル生成装置は、この評価用の悪性データセットを用いて各モデルを評価して、統合モデルのパラメータの重みを算出する。例えば、統合モデル生成装置は、各モデルの悪性データの予測確率の平均を基に、重み決定関数を利用して各モデルの重みを決定する。各モデルの重みは、性能のよいモデルを強調する度合いや、性能の悪いモデルを協調させる度合いを表し、重み決定関数のパラメータで調整可能である。
　統合モデル生成装置は、決定した重みを基に各モデルを組み合わせて統合モデルを生成する。統合モデル生成装置は、ここで生成した統合モデルを次ラウンドの初期モデルとして、上記の処理を所定の回数繰り返すことにより、統合モデルを生成する。
　このように、本実施形態の統合モデル生成装置によれば、性能の悪いモデルの影響を抑制して、各参加者のモデルを統合することが可能となる。したがって、少量の悪性サーバに関するデータを精度高く検出することが可能となる。
［統合モデル生成装置の構成］
　図４は、統合モデル生成装置の概略構成を例示する模式図である。図４に例示するように、統合モデル生成装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。
　入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。
　通信制御部１３は、ＮＩＣ（Network　Interface　Card）等で実現され、ネットワークを介したサーバ等の外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、後述する統合モデル生成処理に用いられる各参加者のモデルやトラフィックデータ等を管理するサーバ等と、制御部１５との通信を制御する。
　記憶部１４は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、統合モデル生成装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。
　本実施形態において、記憶部１４には、後述する統合モデル生成処理で使用される悪性データセット１４ａが記憶される。悪性データセット１４ａは、既知の悪性サーバのそれぞれに関するデータであって、各悪性サーバの所定の特徴量である。ここで、既知の悪性サーバとは、公開されているリストの悪性サーバ、あるいは参加者が予め協調して検知した悪性サーバを意味する。
　制御部１５は、ＣＰＵ（Central　Processing　Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図４に例示するように、収集部１５ａ、評価部１５ｂ、算出部１５ｃ、統合部１５ｄおよび配布部１５ｅとして機能して、後述する統合モデル生成処理を実行する。なお、これらの機能部は、それぞれが異なるハードウェアに実装されてもよい。例えば、収集部１５ａおよび配布部１５ｅが、他の機能部とは別の装置に実装されていてもよい。また、制御部１５は、その他の機能部を備えてもよい。
　収集部１５ａは、各参加者により学習されたモデルを収集する。具体的には、収集部１５ａは、入力部１１を介して、あるいは各参加者のサーバから通信制御部１３を介して、各参加者により学習されたモデルを収集する。
　なお、収集部１５ａは、後述するように、繰り返し、各参加者により学習されたモデルを収集して後段の評価部１５ｂに転送する。初回には、図１に例示したように、パラメータがランダム化された所定の形態の初期モデルが各参加者に配布され、各参加者が独自のトラフィックデータセットを用いて学習したモデルが収集される。また２回目以降には、後述する統合部１５ｄが生成した統合モデルが各参加者に配布され、初回と同様に、各参加者が独自のトラフィックデータセットを用いて学習したモデルが収集される。
　収集部１５ａは、収集した各参加者のモデルを、直ちに評価部１５ｂに転送してもよいし、後述する処理に先立って予め収集して記憶部１４に記憶させてもよい。
　図４の説明に戻る。評価部１５ｂは、各参加者によって学習された各モデルについて、所定の評価指標を用いて評価する。例えば、評価部１５ｂは、評価指標として、既知の悪性サーバの情報である悪性データセット１４ａを用いて悪性度の予測確率を算出する。図１に示した例では、悪性度の予測確率の平均ｐ１、ｐ２、ｐ３が算出されている。
　図４の説明に戻る。算出部１５ｃは、各モデルについて、評価指標に応じた重みを算出する。例えば、算出部１５ｃは、悪性度の予測確率が高いほど大きくなるように重みを算出する。具体的には、算出部１５ｃは、次式（１）または次式（２）に示す重み決定関数ｆ（ｐｉ）を用いて、各モデルについての重みを算出する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　上記式（２）は、温度付きソフトマックス関数と呼ばれ、上記式（１）よりパラメータＴの影響を大きく与えることが可能である。例えば、Ｔ＜１の場合には、Ｔが０に近づくほど悪性予測確率が高い参加者のモデルを強調して重み付けすることが可能となる。また、Ｔ＞１の場合には、Ｔが大きくなるほど悪性予測確率の低い参加者のモデルも強調されやすくなる。
　統合部１５ｄは、算出された重みに応じて各モデルを統合する。例えば、図１に例示したように、上記式（１）または（２）で算出されたｆ（ｐｉ）を用いて、各モデルを重み付けして統合することにより、統合モデルを生成する。これにより、統合モデル生成装置１０は、悪性度の予測精度が高く性能が良いほど強調するように重み付けした統合モデルを生成する。したがって、統合モデル生成装置１０は、性能の悪い参加者のモデルの影響を抑制して、悪性サーバを精度高く検出可能な統合モデルを生成することが可能となる。
　図４の説明に戻る。配布部１５ｅは、統合された統合モデルを各参加者に配布する。例えば、図１に例示したように、配布部１５ｅは、統合モデルを次回ラウンドの初期モデルとして、各参加者に配布する。このようにして、統合モデル生成装置１０は、上記の収集部１５ａ～配布部１５ｅの処理を所定回数繰り返すことにより、統合モデルの精度を向上させることが可能となる。
［統合モデル生成処理］
　次に、図５を参照して、本実施形態に係る統合モデル生成装置１０による統合モデル生成処理について説明する。図５は、統合モデル生成処理手順を示すフローチャートである。図５のフローチャートは、例えば、統合モデル生成処理の開始を指示する操作入力があったタイミングで開始される。
　まず、収集部１５ａが、各参加者が独自のトラフィックデータセットを用いて学習した学習済みのモデルを、各参加者のサーバ等から収集する（ステップＳ１）。
　次に、評価部１５ｂが、各参加者によって学習された各モデルについて、所定の評価指標を算出する（ステップＳ２）。例えば、評価部１５ｂは、評価指標として、既知の悪性サーバの情報である悪性データセット１４ａを用いて悪性度の予測確率を算出する。
　また、算出部１５ｃが、各モデルについて、評価指標に応じた重みを算出する（ステップＳ３）。例えば、算出部１５ｃは、重み決定関数を用いて、各モデルについて、悪性度の予測確率が高いほど強調するように重みを算出する。
　そして、統合部１５ｄが、算出された重みに応じて各モデルを統合する（ステップＳ４）。例えば統合部１５ｄは、悪性度の予測精度が高く性能が良いほど強調するように重み付けした統合モデルを生成する。
　また、配布部１５ｅは、統合された統合モデルを各参加者に配布して（ステップＳ５）、ステップＳ１に処理を戻す。これにより、一連の統合モデル生成処理が繰り返される。
［他の実施形態］
　図６は、他の実施形態の統合モデル生成装置を説明するための図である。上記の実施形態では、図６（ａ）に示すように、複数の通信事業者のそれぞれを参加者として統合モデルを生成している。この場合には、他の通信事業者と協調することにより、悪性サーバの検出数を増やすことが可能となる。
　ただし、本発明は、これに限定されない。例えば、図６（ｂ）に例示するように、単一の通信事業者内のエッジコンピューティングを対象として、複数の地域を参加者として統合モデルを生成してもよい。世界規模の通信事業者では、各地から一か所にトラフィックデータを集約させる必要があり、今後の通信量の増加により集約のためのオーバヘッドが大きくなる恐れがある。また、同一の組織内であっても、地域ごとの法規制により、トラフィックデータを直接地域外に出せずに、一か所に集約することが困難な場合がある。そのような場合にも、単一の大規模な通信事業者において、各地域を各参加者として統合モデルを生成することにより、悪性サーバを高精度に検出することが可能となる。
［効果］
　以上、説明したように、統合モデル生成装置１０において、評価部１５ｂが、各参加者によって学習された各モデルについて、所定の評価指標を用いて評価する。算出部１５ｃが、各モデルについて、評価指標に応じた重みを算出する。統合部１５ｄは、算出された重みに応じて各モデルを統合する。
　具体的には、評価部１５ｂは、評価指標として、既知の悪性サーバの情報を用いて悪性度の予測確率を算出する。この場合に、算出部１５ｃは、悪性度の予測確率が高いほど大きくなるように重みを算出する。
　このように、本実施形態の統合モデル生成装置１０によれば、例えば悪性度の予測確率が高く悪性サーバ検出の性能の良いモデルを強調し、性能の悪いモデルの影響を抑制して、各通信事業者のモデルを統合することが可能となる。したがって、少量の悪性サーバに関するデータを精度高く検出することが可能となる。
　また、配布部１５ｅが、統合された統合モデルを各参加者に配布する。これにより、各参加者が配布された統合モデルをそれぞれに学習し、学習されたそれぞれの統合モデルを統合する処理を繰り返すことにより、さらに悪性サーバの検出精度を向上させることが可能となる。
［プログラム］
　上記実施形態に係る統合モデル生成装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、統合モデル生成装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の統合モデル生成処理を実行する統合モデル生成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の統合モデル生成プログラムを情報処理装置に実行させることにより、情報処理装置を統合モデル生成装置１０として機能させることができる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。また、統合モデル生成装置１０の機能を、クラウドサーバに実装してもよい。
　図７は、統合モデル生成プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。
　ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
　また、統合モデル生成プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した統合モデル生成装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
　また、統合モデル生成プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
　なお、統合モデル生成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、統合モデル生成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local　Area　Network）やＷＡＮ（Wide　Area　Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
　１０　統合モデル生成装置
　１１　入力部
　１２　出力部
　１３　通信制御部
　１４　記憶部
　１４ａ　悪性データセット
　１５　制御部
　１５ａ　収集部
　１５ｂ　評価部
　１５ｃ　算出部
　１５ｄ　統合部
　１５ｅ　配布部

Claims (5)

  1. 　統合モデル生成装置が実行する統合モデル生成方法であって、
    　各参加者によって学習された各モデルについて、所定の評価指標を用いて評価する評価工程と、
    　前記各モデルについて、前記評価指標に応じた重みを算出する算出工程と、
    　算出された前記重みに応じて前記各モデルを統合する統合工程と、
    　を含んだことを特徴とする統合モデル生成方法。
  2. 　前記評価工程は、前記評価指標として、既知の悪性サーバの情報を用いて悪性度の予測確率を算出し、
    　前記算出工程は、前記悪性度の予測確率が高いほど大きくなるように前記重みを算出する、
    　ことを特徴とする請求項１に記載の統合モデル生成方法。
  3. 　統合された統合モデルを前記各参加者に配布する配布工程を、さらに含むことを特徴とする請求項１に記載の統合モデル生成方法。
  4. 　各参加者によって学習された各モデルについて、所定の評価指標を用いて評価する評価部と、
    　前記各モデルについて、前記評価指標に応じた重みを算出する算出部と、
    　算出された前記重みに応じて前記各モデルを統合する統合部と、
    　を有することを特徴とする統合モデル生成装置。
  5. 　各参加者によって学習された各モデルについて、所定の評価指標を用いて評価する評価ステップと、
    　前記各モデルについて、前記評価指標に応じた重みを算出する算出ステップと、
    　算出された前記重みに応じて前記各モデルを統合する統合ステップと、
    　をコンピュータに実行させるための統合モデル生成プログラム。
PCT/JP2022/022983 2022-06-07 2022-06-07 統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラム WO2023238246A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/022983 WO2023238246A1 (ja) 2022-06-07 2022-06-07 統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/022983 WO2023238246A1 (ja) 2022-06-07 2022-06-07 統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラム

Publications (1)

Publication Number Publication Date
WO2023238246A1 true WO2023238246A1 (ja) 2023-12-14

Family

ID=89118103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/022983 WO2023238246A1 (ja) 2022-06-07 2022-06-07 統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラム

Country Status (1)

Country Link
WO (1) WO2023238246A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257386A (zh) * 2020-09-10 2022-03-29 华为技术有限公司 检测模型的训练方法、系统、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257386A (zh) * 2020-09-10 2022-03-29 华为技术有限公司 检测模型的训练方法、系统、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REYES JONATAN, LISA DI JORIO, LOW-KAM CECILE, KERSTEN-OERTEL MARTA: "Precision-Weighted Federated Learning", ARXIV (CORNELL UNIVERSITY), CORNELL UNIVERSITY LIBRARY, ARXIV.ORG, ITHACA, 20 July 2021 (2021-07-20), Ithaca, XP093113623, Retrieved from the Internet <URL:https://arxiv.org/pdf/2107.09627.pdf> [retrieved on 20231219], DOI: 10.48550/arxiv.2107.09627 *
XU RUITING; FENG XINXIN; ZHENG HAIFENG: "Robust Model Aggregation for Federated Learning with Heterogeneous Clients", 2021 7TH INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATIONS (ICCC), IEEE, 10 December 2021 (2021-12-10), pages 1606 - 1610, XP034068764, DOI: 10.1109/ICCC54389.2021.9674541 *

Similar Documents

Publication Publication Date Title
US20220391771A1 (en) Method, apparatus, and computer device and storage medium for distributed training of machine learning model
US11522873B2 (en) Detecting network attacks
US20160357807A1 (en) Horizontal Decision Tree Learning from Very High Rate Data Streams
JP2020523649A (ja) 処理対象のトランザクションに関するリスクを識別する方法、装置、及び電子機器
US20210216859A1 (en) Interpretability-Aware Adversarial Attack and Defense Method for Deep Learnings
CN110969200A (zh) 基于一致性负样本的图像目标检测模型训练方法及装置
CN110737425B (zh) 一种计费平台系统的应用程序的建立方法及装置
US20220107847A1 (en) Computing system for determining quality of virtual machine telemetry data
CN104077765B (zh) 图像分割装置、图像分割方法
JP2018200524A (ja) 分類装置、分類方法および分類プログラム
WO2023238246A1 (ja) 統合モデル生成方法、統合モデル生成装置および統合モデル生成プログラム
WO2021212753A1 (zh) 计算机性能数据确定方法、装置、计算机设备及存储介质
JP7207530B2 (ja) 情報処理装置、作成方法および作成プログラム
CN110070383B (zh) 基于大数据分析的异常用户识别方法及装置
CN115935265A (zh) 训练风险识别模型的方法、风险识别方法及对应装置
CN114327802B (zh) 区块链访问链外数据的方法、装置、设备和介质
US20200302017A1 (en) Chat analysis using machine learning
US20220300822A1 (en) Forgetting data samples from pretrained neural network models
CN111859985B (zh) Ai客服模型测试方法、装置、电子设备及存储介质
CN114565105A (zh) 处理数据的方法和深度学习模型的训练方法、装置
US20210287131A1 (en) Machine learning model accuracy fairness
CN114519209A (zh) 用于保护数据的方法、设备、装置和介质
CN113935034A (zh) 基于图神经网络的恶意代码家族分类方法、装置和存储介质
CN113435519A (zh) 基于对抗插值的样本数据增强方法、装置、设备及介质
CN111882415A (zh) 一种质量检测模型的训练方法和相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945754

Country of ref document: EP

Kind code of ref document: A1