WO2023162002A1 - ログ解析装置、ログ解析方法、及びプログラム - Google Patents

ログ解析装置、ログ解析方法、及びプログラム Download PDF

Info

Publication number
WO2023162002A1
WO2023162002A1 PCT/JP2022/007263 JP2022007263W WO2023162002A1 WO 2023162002 A1 WO2023162002 A1 WO 2023162002A1 JP 2022007263 W JP2022007263 W JP 2022007263W WO 2023162002 A1 WO2023162002 A1 WO 2023162002A1
Authority
WO
WIPO (PCT)
Prior art keywords
log
inference
models
parsers
log analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/007263
Other languages
English (en)
French (fr)
Inventor
喜恵 森田
敬志郎 渡辺
洋一 松尾
兼悟 田尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2024502257A priority Critical patent/JP7655444B2/ja
Priority to PCT/JP2022/007263 priority patent/WO2023162002A1/ja
Publication of WO2023162002A1 publication Critical patent/WO2023162002A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to the analysis of logs obtained from software in ICT systems, large-scale distributed systems, and the like.
  • Logs which are semi-structured texts output from systems, software, devices, etc., record information at the time of their execution, and are important data that can be used to check the status and operation at the time of execution ( He, S., He, P., Chen, Z., Yang, T., Su, Y., and Lyu, M. R., "A Survey on Automated Log Analysis for Reliability Engineering", arXiv:2009.07237, 2020 .).
  • logs obtained from large-scale and complex systems are often large and complicated, and research into automatic log analysis is underway to improve the efficiency of log analysis.
  • Log analysis after log acquisition from a system or the like consists of a log parser and a log mining process. The results obtained from log analysis are used for system management, monitoring, and troubleshooting.
  • Log parser methods in the process of log analysis include frequent pattern mining (Non-Patent Document 2) for searching for frequent words, clustering for grouping (Non-Patent Document 3), and a method for repeatedly dividing logs (Non-Patent Document 3). There are various methods such as Reference 4).
  • log mining data trends are found in advance through learning, etc., and a model used for log analysis is created.
  • the learning log is passed through a log parser used for log analysis, and the result is used as the input log.
  • the present invention has been made in view of the above points, and aims to provide a technology that enables highly accurate log analysis by applying a parsing method suitable for logs.
  • a log analysis device that analyzes a log obtained from software, a log parsing unit having a plurality of log parsers; an inference unit having a plurality of models for calculating loss from input logs output from each log parser in the plurality of log parsers; a log analysis method determination unit that determines a set of log parsers and models to be used in an inference phase from among the plurality of log parsers and the plurality of models based on the loss output from each model in the plurality of models;
  • a log analysis device is provided.
  • a technology that enables highly accurate log analysis by applying a parsing method suitable for logs.
  • FIG. 4 is a diagram for explaining the flow of log analysis;
  • FIG. 4 is a diagram showing an example of logs and parsing;
  • 1 is a configuration diagram of a log analysis device 100;
  • FIG. 4 is a diagram for explaining the flow of processing executed by the log analysis device 100;
  • FIG. 4 is a diagram for explaining detailed processing of a learning phase and a verification phase;
  • FIG. 10 is a diagram for explaining detailed processing in an inference phase;
  • 2 is a diagram showing a structural example of a model 200;
  • FIG. FIG. 4 is a diagram for explaining an operation example of a log analysis method determination engine 150;
  • FIG. 4 is a diagram showing an example hardware configuration of the log analysis device 100;
  • FIG. 4 is a diagram showing an example hardware configuration of the log analysis device 100;
  • FIG. 1 As described above, log analysis after log acquisition from a system or the like consists of a log parser and a log mining process.
  • Figure 1 shows the flow of log analysis.
  • a log is acquired from the system and parsed by a log parser in S1 (step 1).
  • the semi-structured text of each line log is decomposed into structured and unstructured parts. , into parameter parts where variables, etc. are assigned.
  • FIG. 2 shows an example of parsing a line in the HDFS log (Non-Patent Document 1).
  • the parsing process transforms the log into a shape that can be used as input for the next log mining (for example, the shape of table data).
  • a log that has been parsed and has a shape that can be used as an input for log mining will be referred to as an input log.
  • log mining is performed.
  • the input logs obtained from the log parser are used as input data, and by searching through machine learning, data mining, etc., meaningful patterns and trends are extracted, and the state and behavior of the system, etc., which is the output source of the log. and so on.
  • the results obtained from log analysis are used for system management, monitoring, and troubleshooting.
  • the log text differs depending on the log output source, and the appropriate parsing method differs depending on the log. Therefore, in the conventional technology, there is a problem that a highly accurate model cannot be created, the result of log mining is deteriorated, and tasks such as system management may be affected.
  • the device configuration and device operation for solving such problems will be described below.
  • FIG. 3 shows a block diagram of the log analysis device 100 according to this embodiment.
  • the log analysis device 100 includes a log database 110, a log parser database 120, a trained model database 130, a log parsing engine 140, a log analysis method determination engine 150, a learning engine 160, an inference engine 170, and an integration engine 180.
  • the log database 110 stores logs obtained from systems and the like, and the log parser database 120 stores log parsers (programs) used for log parsing.
  • the trained model database 130 stores trained models.
  • the model of the present embodiment is composed of functions with weight parameters and the like.
  • the model may be a neural network.
  • the model is stored in the database 130, it is stored as data such as weight parameters and function programs.
  • log parsing engine 140 the log analysis method determination engine 150, the learning engine 160, the inference engine 170, and the integration engine 180 are respectively defined as the log parsing unit 140, the log analysis method determination unit 150, the learning unit 160, the inference unit 170, and the integration unit. You can call it 180.
  • the log parsing engine 140, the log analysis method determination engine 150, the learning engine 160, the inference engine 170, and the integration engine 180 may each be a functional unit realized by executing a program on a computer, It may be a hardware circuit (dedicated processor), or a combination of a functional unit and a hardware circuit realized by executing a program on a computer.
  • each database may be provided outside the log analysis device 100 .
  • the log analysis device 100 accesses the database via the network to store data, read data, and the like.
  • FIG. 4 shows the flow of processing executed by log analysis apparatus 100 according to the present embodiment.
  • a log used for learning is expressed as a learning log
  • a log used for verification is expressed as a verification log
  • a log used for inference is expressed as an inference log.
  • the learning process will be referred to as a learning phase
  • the verification process will be referred to as a verification phase
  • the inference process will be referred to as an inference phase.
  • the log analysis device 100 executes log analysis consisting of a learning phase, a verification phase, and an inference phase.
  • the model is learned in the learning phase, and the learned model is stored in the learned model database 130.
  • the inference engine 170 performs inference on the input log using the trained model, and the log analysis technique decision engine 150 decides the log analysis technique using loss on inference results.
  • inference is performed using the log analysis method (pair of log parser and model) determined in the verification phase.
  • one log analysis device 100A may execute the learning phase and the verification phase, and another log analysis device 100B may execute the inference phase using the log analysis technique determined thereby.
  • one log analysis device 100A may execute the learning phase
  • another log analysis device 100B may execute the verification phase and the inference phase using the model learned thereby.
  • the learning phase, verification phase, and inference phase may be executed by separate log analysis devices 100 (eg, log analysis device 100-1, log analysis device 100-2, log analysis device 100-3).
  • log analysis devices 100 eg, log analysis device 100-1, log analysis device 100-2, log analysis device 100-3.
  • ⁇ Learning phase In the learning phase, first, the log parsing engine 140 acquires N train rows of learning logs from the log database 110 . Next, the log parsing engine 140 obtains and retains p train log parsers from the log parsers database 120, and parses N train rows of the training log with each of the p train log parsers.
  • the log parsing engine 140 inputs the input log of N train rows of p train type created by parsing to the learning engine 160 .
  • the learning engine 160 uses each of the p train type N train rows of input logs to create a p train type model to be used in the verification phase, and stores the p train type model in the trained model database 130. .
  • the validation phase first inputs a validation log consisting of N valid rows to the log parsing engine 140 .
  • the log parsing engine 140 uses the same log parser as in the learning phase.
  • the inference engine 170 reads out from the trained model database 130 and holds the p train type model learned in the learning phase.
  • the log parsing engine 140 inputs the input log of N valid rows of p train type produced by parsing to the inference engine 170 which consists of the models of p train type trained in the learning phase.
  • the inference engine 170 calculates the loss (described later) calculated by the model for N valid rows, obtains the average loss for p train types, and inputs it to the log analysis method determination engine 150 .
  • the p test type inference number output from the log analysis method determination engine 150 corresponds to the set number of the log parser and model determined to be used in the inference phase.
  • the log parsing engine 140 reads from the log parser database 120 and holds the p test type log parser identified by the p test type inference number.
  • the inference engine 170 reads from the trained model database 130 and holds the p test type model identified by the p test type inference number.
  • the log parsing engine 140 and inference engine 160 used in the verification phase may be used as they are.
  • the log parsing engine 140 uses only the p test kind of log parsers identified by the p test kind of inference number
  • the inference engine 160 uses only the p test kind of log parsers identified by the p test kind of inference number.
  • an inference log of N test lines is obtained from the log database 110 and input to the log parsing engine 140 .
  • parsing is performed by each log parser to create an input log of N test lines of p test type, and the created input log of N test lines of p test type is input to the inference engine 170 .
  • each model makes inferences from the N test rows of input logs, and outputs p test types of outputs (inference results) obtained from the models to the integration engine 180 .
  • p test types of inference results are input to the function f(X), and the output of N test rows is obtained from the function f(X).
  • the output of this N test line is the log analysis result by the log analysis device 100, and it is assumed that this result will be used later, for example, for the task of checking the state and operation of the system that is the log output source, and the task of detecting anomalies.
  • FIG. 7 shows a structural example of the model 200.
  • the model 200 is input with N rows of input logs obtained by parsing.
  • a data extractor 210 in the model extracts necessary data from the input log and inputs it to the function 220 in the model 200 .
  • Some examples of how to extract the required data from the input log are given below with reference to the input log in FIG. All of the following extraction methods may be implemented, some of the following extraction methods may be implemented, or extraction methods other than the following extraction methods may be implemented.
  • the user of the log analysis device 100 can freely set the extraction of data from the input log by methods other than the above. Since the data extracted here is input to the function 220, it is desirable that the data be numeric data or numeric string data consisting of M columns. In the following description, it is assumed that the extracted data is numerical data of N rows and M columns.
  • the functions 220 in the model 200 include a function 221 with weight parameters, an output calculation function 222, and a loss calculation function 223.
  • the function 221 with weighting parameters includes, for example, a linear function such as ⁇ X obtained by multiplying numerical string data by a matrix ⁇ consisting of weighting parameters, and a nonlinear function that constitutes a neural network.
  • the weight parameter of this function 221 is learned during learning by the learning engine 160 .
  • the output from the function 221 with weighting parameters is to be numeric column data of N rows and R columns.
  • R is set to match the number of columns of the numerical value sequence that is used as an index for comparison when calculating the loss (described later) by the loss calculation function 223 .
  • R Q
  • the output calculation function 222 calculates the calculation result of the function 221 with weighting parameters into a form suitable as an output from the model 200 .
  • an identity function which is often used when resolving a regression problem, or a softmax function, which is often used when resolving a classification problem, is used.
  • the inference engine 170 outputs the calculation result of the output calculation function 222 from the model 200 .
  • the loss calculation function 223 compares the calculation result of the output calculation function 222 with the numerical value string serving as an index in each row using functions such as RMSE and cross-entropy error, and obtains the sum of the comparison results for each row numerical value.
  • this numerical value is called a loss
  • Label data P, numeric string data X, etc. are used as numeric strings that serve as indexes, for example, as described above.
  • the average loss of each row is calculated as the loss L, and the weight parameter of the function 221 with the weight parameter is learned so as to minimize the loss.
  • the inference engine 170 in the verification phase outputs the average loss calculated from the learned model as the loss L from the model.
  • the log analysis method determination engine 150 first sorts the losses in ascending order.
  • the losses after sorting are expressed as L T_1 , L T_2 , . . . in ascending order.
  • subscripts of subscripts are represented using "_", for example, L T_1 .
  • p test is given by specifying in advance an arbitrary integer less than or equal to p train , or by determining it as the maximum n that satisfies L T_n ⁇ L th (L th is a threshold value). Note that p test is assumed to be a number greater than 1, but may be 1.
  • Y T_m is a numeric sequence of N test rows and R columns obtained from the model T m ,
  • Equation 1 corresponds to averaging the outputs from p test models.
  • Equation 2 corresponds to weighting each of the outputs from the p test models and obtaining a weighted average.
  • the method of integrating outputs from a plurality of models is not limited to the above two examples, and methods other than the above two examples may be used.
  • the log analysis device 100 can be implemented, for example, by causing a computer to execute a program.
  • This computer may be a physical computer or a virtual machine on the cloud.
  • the log analysis device 100 can be realized by executing a program corresponding to the processing performed by the log analysis device 100 using hardware resources such as a CPU and memory built into the computer. .
  • the above program can be recorded in a computer-readable recording medium (portable memory, etc.), saved, or distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.
  • FIG. 10 is a diagram showing a hardware configuration example of the computer.
  • the computer of FIG. 10 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., which are interconnected by a bus BS.
  • a program that implements the processing in the computer is provided by a recording medium 1001 such as a CD-ROM or memory card, for example.
  • a recording medium 1001 such as a CD-ROM or memory card
  • the program is installed from the recording medium 1001 to the auxiliary storage device 1002 via the drive device 1000 .
  • the program does not necessarily need to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
  • the auxiliary storage device 1002 stores installed programs, as well as necessary files and data.
  • the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when a program activation instruction is received.
  • the CPU 1004 implements functions related to the log analysis device 100 according to programs stored in the memory device 1003 .
  • the interface device 1005 is used as an interface for connecting to a network or the like.
  • a display device 1006 displays a GUI (Graphical User Interface) or the like by a program.
  • An input device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, or the like, and is used to input various operational instructions.
  • the output device 1008 outputs the calculation result.
  • parsing methods using a plurality of log parsers are evaluated when a log mining model is created, and a parsing method with less loss is selected. This enables parsing according to the log.
  • by integrating the results of multiple log parsers and models to obtain the final output we can expect to improve the accuracy of the inference results.
  • (Appendix) Regarding the above embodiments, the following additional items are disclosed.
  • Each log parser in the multiple log parsers performs log parsing, each model in the plurality of models calculates a loss from input logs output from each log parser in the plurality of log parsers;
  • a log analysis device that determines a set of a log parser and a model to be used in an inference phase from among the plurality of log parsers and the plurality of models based on losses output from each model in the plurality of models.
  • Appendix 2 The log analysis device according to additional item 1, wherein the processor determines a set of a predetermined number of log parsers and models in the order of decreasing loss as a set of log parsers and models to be used in an inference phase.
  • Appendix 3 3. The log analysis device according to claim 2, wherein the processor outputs an inference result obtained by integrating the predetermined number of inference results obtained using the set of the predetermined number of log parsers and models.
  • Appendix 4 4. The log analysis device according to claim 3, wherein the processor outputs an average of the predetermined number of inference results or a weighted average of the predetermined number of inference results as the integrated inference result.
  • a non-transitory storage medium storing a program executable by a computer to perform log analysis processing, The log analysis process includes Each log parser in the multiple log parsers performs log parsing, each model in the plurality of models calculates a loss from input logs output from each log parser in the plurality of log parsers; A non-transitory storage medium that determines a set of log parsers and models to be used in an inference phase from among the plurality of log parsers and the plurality of models based on losses output from each model in the plurality of models.
  • Log analysis device 110 Log database 120 Log parser database 130 Trained model database 140 Log parsing engine 150 Log analysis method determination engine 160 Learning engine 170 Inference engine 180 Integration engine 1000 Drive device 1001 Recording medium 1002 Auxiliary storage device 1003 Memory device 1004 CPU 1005 interface device 1006 display device 1007 input device 1008 output device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

ソフトウェアから得られるログの解析を行うログ解析装置において、複数のログパーサーを有するログパーシング部と、前記複数のログパーサーにおける各ログパーサーから出力される入力ログから損失を計算するモデルを複数個有する推論部と、前記複数のモデルにおける各モデルから出力される損失に基づいて、前記複数のログパーサー及び前記複数のモデルの中から、推論フェーズで使用するログパーサーとモデルの組を決定するログ解析手法決定部とを備える。

Description

ログ解析装置、ログ解析方法、及びプログラム
　本発明は、本発明は、ICTシステム、大規模分散システムなどでソフトウェアから得られるログの分析に関するものである。
　システム、ソフトウェア、機器などから出力された半構造化テキストであるログは、それらの実行時の情報が記録されており、実行時の状態や動作などを確認することができる重要なデータである（He, S., He, P., Chen, Z., Yang, T., Su, Y., and Lyu, M. R., "A Survey on Automated Log Analysis for Reliability Engineering", arXiv:2009.07237 , 2020.）。
　大規模で複雑なシステム等から得られるログは大量で煩雑な場合も多く、ログの解析を効率化するため自動ログ解析の研究が進められている。システム等からログ取得後のログ解析はログパーサー、及びログマイニングの行程によって成り立つ。ログ解析から得られた結果は、システムなどの管理、監視、トラブルシューティングに活かされる。
https://github.com/logpai/loghub/tree/master/HDFS M. Nagappan and M. A. Vouk, "Abstracting log lines to log event types for mining software system logs," 2010 7th IEEE Working Conference on Mining Software Repositories (MSR 2010), 2010, pp. 114-117. Tang, L., Li, T., and Perng, C., "LogSig: Generating system events from raw textual logs", Proceedings of the 20th ACM international conference on Information and knowledge management, 2011, pp. 785-794. A. Makanju, A. N. Zincir-Heywood and E. E. Milios, "A Lightweight Algorithm for Message Type Extraction in System Application Logs," in IEEE Transactions on Knowledge and Data Engineering, vol. 24, no. 11, pp. 1921-1936, Nov. 2012
　ログ解析の行程のログパーサーの手法には、頻出単語を探索する頻出パターンマイニング（非特許文献２）、グループ分けを行うクラスタリング（非特許文献３）、反復してログを分割する手法（非特許文献４）など、様々なものがある。
　ログマイニングでは事前に学習等でデータの傾向を見出し、ログ解析に用いるモデルを作成する。ログマイニングでモデルを作成する際、学習用ログをログ解析に用いるログパーサーに通し、その結果を入力ログとして用いる。
　そのためログマイニングで抽出された傾向はパーシング方法からも影響を受けていると考えられる。しかし、ログのテキストはログの出力源となるシステム等の開発者が指定した形状で作成されることから、ログの出力源によってログのテキストが異なり、ログによって適したパーシング方法が異なる。
　ログパーサーで正しくパーシングできていない場合、精度が高いモデルを作成できず、ログマイニングの結果が悪くなり、システム管理等のタスクに影響が生じる可能性がある。
　本発明は上記の点に鑑みてなされたものであり、ログに適したパーシング方法を適用して、精度の高いログ解析を行うことを可能とする技術を提供することを目的とする。
　開示の技術によれば、ソフトウェアから得られるログの解析を行うログ解析装置であって、
　複数のログパーサーを有するログパーシング部と、
　前記複数のログパーサーにおける各ログパーサーから出力される入力ログから損失を計算するモデルを複数個有する推論部と、
　前記複数のモデルにおける各モデルから出力される損失に基づいて、前記複数のログパーサー及び前記複数のモデルの中から、推論フェーズで使用するログパーサーとモデルの組を決定するログ解析手法決定部と
　を備えるログ解析装置が提供される。
　開示の技術によれば、ログに適したパーシング方法を適用して、精度の高いログ解析を行うことを可能とする技術が提供される。
ログ解析の流れを説明するための図である。 ログとパーシングの例を示す図である。 ログ解析装置１００の構成図である。 ログ解析装置１００が実行する処理の流れを説明するための図である。 学習フェーズ、及び検証フェーズの詳細処理を説明するための図である。 推論フェーズにおける詳細処理を説明するための図である。 モデル２００の構造例を示す図である。 ログ解析手法決定エンジン１５０の動作例を説明するための図である。 関数f(X)の入出力を示す図である。 ログ解析装置１００のハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　（ログ解析の概要）
　まず、ログ解析の概要を図１、図２を参照して説明する。前述したように、システム等からログを取得した後のログ解析はログパーサー、及びログマイニングの行程によって成り立つ。
　図１にログ解析の流れを示す。システムからログを取得し、Ｓ１（ステップ１）において、ログパーサーがパーシングを行う。パーシングでは、各行のログの半構造化テキストを、構造化されている部分、構造化されていない部分に分解し、構造化されていない部分については、その中の固定されたテキストであるテンプレート部分、変数等が充てられるパラメータ部分に分解する。図２にHDFSログ（非特許文献１）のある一行でパーシングをした例を示す。
　パーシングの作業により、次のログマイニングの入力として使用可能な形状（例えばテーブルデータの形状など）にログを変形する。以降、パーシングしログマイニングの入力として使用できる形状になったログを入力ログと表現する。
　図１に示すＳ２において、ログマイニングが実行される。ログマイニングでは、ログパーサーから得た入力ログを入力データとして用い、機械学習、データマイニングなどにより探索することで意味のあるパターンや傾向を抽出し、ログの出力源であるシステム等の状態や動作などを出力する。ログ解析から得られた結果は、システムなどの管理、監視、トラブルシューティングに活かされる。
　前述したとおり、ログの出力源によってログのテキストが異なり、ログによって適したパーシング方法が異なる。そのため、従来技術では、精度が高いモデルを作成できず、ログマイニングの結果が悪くなり、システム管理等のタスクに影響が生じる可能性があるという課題があった。以下、このような課題を解決するための装置構成及び装置動作について説明する。
　（装置構成例）
　図３に、本実施の形態におけるログ解析装置１００の構成図を示す。図３に示すとおり、ログ解析装置１００は、ログデータベース１１０、ログパーサーデータベース１２０、学習済みモデルデータベース１３０、ログパーシングエンジン１４０、ログ解析手法決定エンジン１５０、学習エンジン１６０、推論エンジン１７０、統合エンジン１８０を有する。
　ログデータベース１１０にはシステムなどから得られたログが保存されており、ログパーサーデータベース１２０にはログパーシングに使用するログパーサー（プログラム）が保存されている。
　また、学習済みモデルデータベース１３０には、学習済みモデルが格納されている。なお、後述するように、本実施の形態のモデルは、重みパラメータ付き関数等から構成されるものである。当該モデルはニューラルネットワークであってもよい。当該モデルがデータベース１３０に格納される際には、重みパラメータ、関数のプログラム等のデータとして格納される。
　また、ログパーシングエンジン１４０、ログ解析手法決定エンジン１５０、学習エンジン１６０、推論エンジン１７０、統合エンジン１８０をそれぞれ、ログパーシング部１４０、ログ解析手法決定部１５０、学習部１６０、推論部１７０、統合部１８０と呼んでもよい。
　また、ログパーシングエンジン１４０、ログ解析手法決定エンジン１５０、学習エンジン１６０、推論エンジン１７０、統合エンジン１８０はそれぞれ、プログラムがコンピュータ上で実行されることにより実現される機能部であってもよいし、ハードウェア回路（専用の処理プロセッサ）であってもよいし、プログラムがコンピュータ上で実行されることにより実現される機能部とハードウェア回路との組み合わせであってもよい。
　また、各データベースは、ログ解析装置１００の外部に備えられていてもよい。その場合、ログ解析装置１００は、ネットワークを介してデータベースにアクセスして、データ保存、データ読み出しなどを行う。
　（装置動作の概要）
　本実施の形態におけるログ解析装置１００が実行する処理の流れを図４に示す。図４に示すとおり、ログデータベース１１０から取得するログについて、学習に用いるログは学習用ログ、検証に用いるログは検証用ログ、推論に用いるログは推論用ログと表現する。以降、学習の工程を学習フェーズ、検証の工程を検証フェーズ、推論の工程を推論フェーズと表現する。ログ解析装置１００は、学習フェーズ、検証フェーズ、推論フェーズからなるログ解析を実行する。
　図４に示すように、学習フェーズでモデルが学習され、学習済みモデルが学習済みモデルデータベース１３０に格納される。検証フェーズでは、推論エンジン１７０が、学習済みモデルを用いて入力ログに対する推論を実行し、ログ解析手法決定エンジン１５０が、推論結果に対する損失を用いてログ解析手法を決定する。推論フェーズでは、検証フェーズで決定されたログ解析手法（ログパーサーとモデルの組）を用いて推論を実行する。
　なお、あるログ解析装置１００Ａが学習フェーズと検証フェーズを実行し、これにより決定されたログ解析手法を用いて、別のログ解析装置１００Ｂが推論フェーズを実行してもよい。
　また、あるログ解析装置１００Ａが学習フェーズを実行し、これにより学習されたモデルを用いて、別のログ解析装置１００Ｂが検証フェーズと推論フェーズを実行してもよい。
　また、学習フェーズ、検証フェーズ、推論フェーズを別々のログ解析装置１００（例：ログ解析装置１００－１、ログ解析装置１００－２、ログ解析装置１００－３）が実行してもよい。
　（学習フェーズ、及び検証フェーズの詳細処理）
　学習フェーズ、検証フェーズのそれぞれにおける処理の詳細を、図５を参照して説明する。
　＜学習フェーズ＞
　学習フェーズでは、まず、ログパーシングエンジン１４０が、ログデータベース１１０からNtrain行の学習用ログを取得する。次に、ログパーシングエンジン１４０は、ログパーサーデータベース１２０からptrain個のログパーサーを取得して保持し、Ntrain行の学習用ログを、ptrain個のログパーサーのそれぞれでパーシングする。
　ログパーシングエンジン１４０は、パーシングにより作成されたptrain種類のNtrain行の入力ログを学習エンジン１６０に入力する。学習エンジン１６０は、ptrain種類のNtrain行の入力ログのそれぞれを用いて、検証フェーズで使用するptrain種類のモデルを作成し、当該ptrain種類のモデルを学習済みモデルデータベース１３０に保存する。
　＜検証フェーズ＞
　検証フェーズでは、まず、Nvalid行から成る検証用ログをログパーシングエンジン１４０へ入力する。このときのログパーシングエンジン１４０は学習フェーズと同じログパーサーで構成されているものを使用する。また、推論エンジン１７０は、学習フェーズで学習したptrain種類のモデルを学習済みモデルデータベース１３０から読み出して保持している。
　ログパーシングエンジン１４０は、パーシングにより作成されたptrain種類のNvalid行の入力ログを、学習フェーズで学習したptrain種類のモデルから成る推論エンジン１７０へ入力する。推論エンジン１７０は、モデルで計算されるロス(後述)をNvalid行分計算し、その平均を損失としてptrain種類分求め、ログ解析手法決定エンジン１５０へ入力する。
　ログ解析手法決定エンジン１５０ではptrain種類のログパーサー及びモデルの組のうち、推論フェーズで使用するptest種類を決定し、決定したptest種類のモデルの識別番号（＝ログパーサーの識別番号）を推論番号として出力する。ログ解析手法決定エンジン１５０から出力するptest種類の推論番号は、推論フェーズで使用すると決定されたログパーサーとモデルの組の番号に相当する。
　（推論フェーズの詳細処理）
　ログパーシングエンジン１４０は、ptest種類の推論番号により識別されるptest種類のログパーサーをログパーサーデータベース１２０から読み出して保持する。推論エンジン１７０は、ptest種類の推論番号により識別されるptest種類のモデルを学習済みモデルデータベース１３０から読み出して保持する。
　あるいは、検証フェーズで使用したログパーシングエンジン１４０と推論エンジン１６０をそのまま使用してもよい。この場合、ログパーシングエンジン１４０では、ptest種類の推論番号により識別されるptest種類のログパーサーのみを使用し、推論エンジン１６０では、ptest種類の推論番号により識別されるptest種類のモデルのみを使用する。
　推論フェーズにおける詳細処理を、図６を参照して説明する。推論フェーズでは、Ntest行の推論用ログをログデータベース１１０から取得し、ログパーシングエンジン１４０へ入力する。
　ログパーシングエンジン１４０において、各ログパーサーによりパーシングを実行してptest種類のNtest行の入力ログを作成し、作成されたptest種類のNtest行の入力ログを推論エンジン１７０に入力する。
　推論エンジン１７０において、各モデルがNtest行の入力ログから推論を行って、モデルから得られるptest種類の出力（推論結果）を統合エンジン１８０に入力する。統合エンジン１８０において、ptest種類の推論結果を関数f(X)に入力し、関数f(X)からNtest行の出力を得る。
　このNtest行の出力がログ解析装置１００によるログ解析結果であり、この結果はその後、例えばログ出力源であるシステム等の状態や動作の確認タスクや異常検知タスクに使用することを想定している。
　（モデルの例）
　学習エンジン１６０、及び推論エンジン１７０にあるモデルについて説明する。図７にモデル２００の構造例を示す。モデル２００にはパーシングにより得られるN行の入力ログが入力される。モデル内のデータ抽出部２１０が、入力ログから必要なデータを抽出してモデル２００内の関数２２０へ入力する。入力ログからの必要なデータの抽出方法について、図２の入力ログを参照していくつか例を以下に挙げる。以下の抽出方法の全部を実施してもよいし、以下の抽出方法のうちの一部を実施してもよいし、以下の抽出方法以外の抽出方法を実施してもよい。
　・テンプレート部分を数値ID化し、テンプレート部分のIDを入力データとして抽出する。
　・テンプレート部分を数値ID化し、パラメータ部分の数値にテンプレート部分のIDを付随させたラベル付き入力データとして抽出する。
　・LEVEL、COMPONENT、テンプレート部分を数値ID化し、テンプレート部分のIDにLEVELもしくはCOMPOMENTのIDをラベルとして付随させたラベル付き入力データを抽出する。
　・構造化されていない部分の文字列を文字コードの数値データに変換し入力データとして抽出する。
　・TIMEに与えられる数値データを上記の例に挙げられる入力データに付随させ、時系列データとして抽出する。
　入力ログからのデータの抽出は、上記以外の方法でもログ解析装置１００の使用者が自由に設定できる。なお、ここで抽出したデータは関数２２０へ入力するため、数値データもしくはM列から成る数値列データであることが望ましい。以降、抽出したデータがN行M列の数値列データであるとして説明する。
　この数値列データをX={x1,…,xN}と表す。なお、xn (n=1,…,N)はn行目の数値列であり、各列をxn=[xn,1,…,xn,M]と表現するものとする。また、ラベル付きデータである場合のラベルも数値データもしくは数値列データであることが望ましく、本稿では各行のラベルがQ列から成るものとして、数値列データと同様にラベルデータをP={p1,…,pN}, pn=[pn,1,…,pn,Q] (n=1,…,N)と表現する。
　モデル２００内の関数２２０には重みパラメータ付き関数２２１、出力計算関数２２２、ロス計算関数２２３がある。
　重みパラメータ付き関数２２１には、例えば重みパラメータから成る行列θを数値列データに掛けたθXというような線形関数や、ニューラルネットワークを構成する非線形関数などが挙げられる。学習エンジン１６０での学習時にはこの関数２２１の重みパラメータを学習する。
　重みパラメータ付き関数２２１からの出力はN行R列の数値列データとなるようにする。ここでRはロス計算関数２２３でロス(後述)を求める際に比較する指標となる数値列の列数と合わせるようにする。例えば、ラベルデータPと比較する分類問題を想定する場合R=Qとし、オートエンコーダのように入力された数値列を復元する回帰問題を想定する場合、数値列データXと比較するためそれに合わせてR=Mとする。
　出力計算関数２２２では重みパラメータ付き関数２２１の計算結果をモデル２００からの出力としてふさわしい形状に計算する。出力計算関数２２１には、回帰問題に帰着させる際に使用することが多い恒等関数や、分類問題に帰着させる際に使用することが多いソフトマックス関数などを用いる。推論フェーズの推論エンジン１７０ではモデル２００から出力計算関数２２２の計算結果を出力する。本実施の形態では出力計算関数２２２の計算結果を各行R列であるとし、Y={y1,…,yN}, yn=[yn,1,…,yn,R] (n=1,…,N)と表現する。
　ロス計算関数２２３では、RMSEや交差エントロピー誤差などの関数を用いて、各行で出力計算関数２２２の計算結果と指標となる数値列との比較を行い、その比較結果の合計を各行数値で求める。本実施の形態ではこの数値のことをロスと呼び、n行(n=1,…,N)のロスをlnと表す。指標となる数値列には、例えば上記で挙げたようにラベルデータPや数値列データXなどを用いる。学習エンジン１６０での学習では、各行のロスの平均を損失Lとして計算し、損失を最小化するように重みパラメータ付き関数２２１の重みパラメータを学習する。また検証フェーズの推論エンジン１７０では、学習済みであるモデルから計算されるロスの平均を損失Lとしてモデルから出力する。
　（ログ解析手法決定エンジン１５０の動作例）
　検証フェーズにおけるログ解析手法決定エンジン１５０の動作例を、図８を参照して説明する。ここで推論エンジン１７０のモデルn(n=1,…,ptrain)から得た損失をLnと表す。
　ログ解析手法決定エンジン１５０では、まず損失を小さい順にソートする。以降、ソート後の損失を小さい順にLT_1,LT_2,…と表現する。なお、本明細書のテキストにおいて、下付き文字の下付き文字は、例えば、LT_1のように、"_"を用いて表す。
　ソートした損失のうち、LT_m(m=1,…,ptest)に対応するログパーサー及びモデルを推論フェーズで使用するため、ログ解析手法決定エンジン１５０からはTm(m=1,…,ptest)のptest種類の数値を推論番号として出力する。なお、ptestは事前にptrain以下の任意の整数で事前に指定したり、LT_n≦Lth(Lthはしきい値)を満たす最大のnとして決定したりすることで与える。なお、ptestは１よりも大きな数であることを想定するが、１であってもよい。
　（関数f(X)の例）
　次に、推論フェーズにおける統合エンジン１８０に備えられた関数f(X)について説明する。関数f(X)の入出力を図９に示す。推論エンジン１７０からのptest種類の出力を
Figure JPOXMLDOC01-appb-M000001
 　と表現する。YT_mはモデルTmから得られたNtest行R列の数値列であり、
Figure JPOXMLDOC01-appb-M000002
 と表す。各モデルの出力から成るXを関数f(X)に通し、Ntest行の出力Youtを得る。f(X)は例えば以下の式１あるいは式２のような関数である。なお、以下の例でLT_m(1≦m≦ptest)は数値とする。下記の式１は、ptest個のモデルからの出力の平均をとることに相当する。下記の式２は、ptest個のモデルからの出力のそれぞれに重みをつけて、重み付き平均を求めることに相当する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 　特に上記の２例でptest=1のときf(X)=YT_1となり、検証フェーズで損失が最も小さかったものに対応するログパーサー及びモデルを用いた予測を出力することができる。なお、複数のモデルからの出力を統合する方法は、上記の２例に限られるわけではなく、上記２例以外の方法を用いてもよい。
　（ハードウェア構成例）
　ログ解析装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
　すなわち、ログ解析装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、ログ解析装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図１０は、上記コンピュータのハードウェア構成例を示す図である。図１０のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、ログ解析装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
　（実施の形態の効果）
　以上説明したように、本実施の形態では、ログマイニングのモデル作成時に複数のログパーサーによるパーシング方法を評価して、損失の少ないパーシング方法を選ぶこととした。これにより、ログに合わせたパーシングが可能となる。また、複数のログパーサー、モデルを通した結果を統合して最終的な出力を求めることで、推論結果の精度向上が期待できる。
　（付記）
　以上の実施形態に関し、更に以下の付記項を開示する。
（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　複数のログパーサーにおける各ログパーサーにより、ログのパーシングを実行し、
　複数のモデルにおける各モデルにより、前記複数のログパーサーにおける各ログパーサーから出力される入力ログから損失を計算し、
　前記複数のモデルにおける各モデルから出力される損失に基づいて、前記複数のログパーサー及び前記複数のモデルの中から、推論フェーズで使用するログパーサーとモデルの組を決定する
　ログ解析装置。
（付記項２）
　前記プロセッサは、前記損失が小さい順番における上位の所定数個のログパーサーとモデルの組を、推論フェーズで使用するログパーサーとモデルの組として決定する
　付記項１に記載のログ解析装置。
（付記項３）
　前記プロセッサは、前記所定数個のログパーサーとモデルの組を用いて得られた前記所定数個の推論結果を統合した推論結果を出力する
　付記項２に記載のログ解析装置。
（付記項４）
　前記プロセッサは、前記所定数個の推論結果の平均、又は、前記所定数個の推論結果の重み付き平均を、前記統合した推論結果として出力する
　付記項３に記載のログ解析装置。
（付記項５）
　ソフトウェアから得られるログの解析を行うコンピュータが実行するログ解析方法であって、
　複数のログパーサーにおける各ログパーサーが、ログのパーシングを実行するステップと、
　複数のモデルにおける各モデルが、前記複数のログパーサーにおける各ログパーサーから出力される入力ログから損失を計算するステップと、
　前記複数のモデルにおける各モデルから出力される損失に基づいて、前記複数のログパーサー及び前記複数のモデルの中から、推論フェーズで使用するログパーサーとモデルの組を決定するステップと
　を備えるログ解析方法。
（付記項６）
　ログ解析処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記ログ解析処理は、
　複数のログパーサーにおける各ログパーサーにより、ログのパーシングを実行し、
　複数のモデルにおける各モデルにより、前記複数のログパーサーにおける各ログパーサーから出力される入力ログから損失を計算し、
　前記複数のモデルにおける各モデルから出力される損失に基づいて、前記複数のログパーサー及び前記複数のモデルの中から、推論フェーズで使用するログパーサーとモデルの組を決定する
　非一時的記憶媒体。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００　ログ解析装置
１１０　ログデータベース
１２０　ログパーサーデータベース
１３０　学習済みモデルデータベース
１４０　ログパーシングエンジン
１５０　ログ解析手法決定エンジン
１６０　学習エンジン
１７０　推論エンジン
１８０　統合エンジン
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置

Claims (6)

  1. 　ソフトウェアから得られるログの解析を行うログ解析装置であって、
    　複数のログパーサーを有するログパーシング部と、
    　前記複数のログパーサーにおける各ログパーサーから出力される入力ログから損失を計算するモデルを複数個有する推論部と、
    　前記複数のモデルにおける各モデルから出力される損失に基づいて、前記複数のログパーサー及び前記複数のモデルの中から、推論フェーズで使用するログパーサーとモデルの組を決定するログ解析手法決定部と
    　を備えるログ解析装置。
  2. 　前記ログ解析手法決定部は、前記損失が小さい順番における上位の所定数個のログパーサーとモデルの組を、推論フェーズで使用するログパーサーとモデルの組として決定する
    　請求項１に記載のログ解析装置。
  3. 　前記ログパーシング部と前記推論部により、前記所定数個のログパーサーとモデルの組を用いて得られた前記所定数個の推論結果を入力とし、前記所定数個の推論結果を統合した推論結果を出力する統合部
    　を更に備える請求項２に記載のログ解析装置。
  4. 　前記統合部は、前記所定数個の推論結果の平均、又は、前記所定数個の推論結果の重み付き平均を、前記統合した推論結果として出力する
    　請求項３に記載のログ解析装置。
  5. 　ソフトウェアから得られるログの解析を行うコンピュータが実行するログ解析方法であって、
    　複数のログパーサーにおける各ログパーサーが、ログのパーシングを実行するステップと、
    　複数のモデルにおける各モデルが、前記複数のログパーサーにおける各ログパーサーから出力される入力ログから損失を計算するステップと、
    　前記複数のモデルにおける各モデルから出力される損失に基づいて、前記複数のログパーサー及び前記複数のモデルの中から、推論フェーズで使用するログパーサーとモデルの組を決定するステップと
    　を備えるログ解析方法。
  6. 　コンピュータを、請求項１ないし４のうちいずれか１項に記載のログ解析装置における各部として機能させるためのプログラム。
PCT/JP2022/007263 2022-02-22 2022-02-22 ログ解析装置、ログ解析方法、及びプログラム Ceased WO2023162002A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024502257A JP7655444B2 (ja) 2022-02-22 2022-02-22 ログ解析装置、ログ解析方法、及びプログラム
PCT/JP2022/007263 WO2023162002A1 (ja) 2022-02-22 2022-02-22 ログ解析装置、ログ解析方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/007263 WO2023162002A1 (ja) 2022-02-22 2022-02-22 ログ解析装置、ログ解析方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023162002A1 true WO2023162002A1 (ja) 2023-08-31

Family

ID=87765223

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007263 Ceased WO2023162002A1 (ja) 2022-02-22 2022-02-22 ログ解析装置、ログ解析方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7655444B2 (ja)
WO (1) WO2023162002A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200125954A1 (en) * 2018-10-17 2020-04-23 Capital One Services, Llc Systems and methods for selecting and generating log parsers using neural networks
US20210027185A1 (en) * 2019-07-22 2021-01-28 Chronicle Llc Parsing unlabeled computer security data logs
US20210037032A1 (en) * 2019-07-31 2021-02-04 Secureworks Corp. Methods and systems for automated parsing and identification of textual data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200125954A1 (en) * 2018-10-17 2020-04-23 Capital One Services, Llc Systems and methods for selecting and generating log parsers using neural networks
US20210027185A1 (en) * 2019-07-22 2021-01-28 Chronicle Llc Parsing unlabeled computer security data logs
US20210037032A1 (en) * 2019-07-31 2021-02-04 Secureworks Corp. Methods and systems for automated parsing and identification of textual data

Also Published As

Publication number Publication date
JP7655444B2 (ja) 2025-04-02
JPWO2023162002A1 (ja) 2023-08-31

Similar Documents

Publication Publication Date Title
US20250068400A1 (en) Pruning Engine
Huang et al. Hitanomaly: Hierarchical transformers for anomaly detection in system log
Gao et al. Smartembed: A tool for clone and bug detection in smart contracts through structural code embedding
CN115617614B (zh) 基于时间间隔感知自注意力机制的日志序列异常检测方法
US8495429B2 (en) Log message anomaly detection
Thomas et al. Static test case prioritization using topic models
CN113609488B (zh) 基于自监督学习及多通道超图神经网络的漏洞检测方法与系统
CN113779272A (zh) 基于知识图谱的数据处理方法、装置、设备及存储介质
CN112115326B (zh) 一种以太坊智能合约的多标签分类和漏洞检测方法
CN114218580A (zh) 一种基于多任务学习的智能合约漏洞检测方法
CN111104242A (zh) 基于深度学习的操作系统的异常日志的处理方法及装置
CN120215889A (zh) 一种互联网软件开发管理系统及方法
Zhao et al. Suzzer: A vulnerability-guided fuzzer based on deep learning
Orel et al. Codet-m4: Detecting machine-generated code in multi-lingual, multi-generator and multi-domain settings
Rajbahadur et al. Pitfalls analyzer: quality control for model-driven data science pipelines
Bertalan et al. Using transformer models and textual analysis for log parsing
Alrabaee et al. BinDeep: Binary to source code matching using deep learning
Salman Test case generation from specifications using natural language processing
CN113836005A (zh) 一种虚拟用户的生成方法、装置、电子设备和存储介质
WO2023162002A1 (ja) ログ解析装置、ログ解析方法、及びプログラム
Halepmollasi et al. A Comparison of Source Code Representation Methods to Predict Vulnerability Inducing Code Changes.
CN111881055B (zh) 军用软件评测规范的Simulink模型设计方法
Sun et al. OptimizeLog: Log Anomaly Detection and Localization based on Optimized Log Parsing in Distributed Systems
CN115017015A (zh) 一种边缘计算环境下程序异常行为检测方法及系统
Bubenkova et al. Clone Detection Techniques and Tools in Software Engineering

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22928533

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024502257

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22928533

Country of ref document: EP

Kind code of ref document: A1