JP6630840B2 - ログ分析のためのランドマークデリミタを推定するシステムおよび方法 - Google Patents
ログ分析のためのランドマークデリミタを推定するシステムおよび方法 Download PDFInfo
- Publication number
- JP6630840B2 JP6630840B2 JP2018543265A JP2018543265A JP6630840B2 JP 6630840 B2 JP6630840 B2 JP 6630840B2 JP 2018543265 A JP2018543265 A JP 2018543265A JP 2018543265 A JP2018543265 A JP 2018543265A JP 6630840 B2 JP6630840 B2 JP 6630840B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- ald
- tokenized
- token
- abstract
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/116—Details of conversion of file system types or formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
Description
Claims (20)
- 機械によって生成されたログを分析する方法であって、
ログを分析し、ログのトークン化のためのデリミタを表す1つまたは複数の抽象的なランドマークデリミタ(ALD)を識別し、
前記ログおよびALDから、前記ログをトークン化し、前記ALDで前記パターンを分離して中間のトークン化されたログを形成することによって次第にトークン化されたフォーマットを生成し、
最後の中間のトークン化されたログが最終的なトークン化されたログとして処理されるまで、前記ログのトークン化を反復して繰り返し、
アプリケーションに前記トークン化されたログを適用する、方法。 - それぞれのトークンを抽象的な表現に変換することを含む、請求項1に記載の方法。
- 1つまたは複数の隣接するアルファベットは1文字のアルファベット「A」に置換し、1つまたは複数の隣接する数は1文字のアルファベット「D」に置換する、請求項2に記載の方法。
- アルファベットおよびディジット以外の特殊文字が使用され、隣接する文字が単一の文字に変換される、請求項2に記載の方法。
- 抽象的な形式のトークンの頻度を決定することを含み、それぞれの変換されたトークンに対して、どれだけのラインが前記トークンを含んでいるかを追跡する、請求項1に記載の方法。
- 前記ALDの候補を選択することを含む、請求項5に記載の方法。
- データ品質に応じて、特定の条件に関するポリシをALDの選択に可変的に適用することを含む、請求項5に記載の方法。
- 単語のパターンが1ライン毎に現れる場合、前記単語のパターンが候補として選択される、請求項5に記載の方法。
- コンスタントのパターンを決定することを含み、前記ALDが空でないとき、それぞれのログは、前記ALDを使用することによって、トークン化され、別のログに変換される、請求項1に記載の方法。
- 異なる3つの分析でALDを生成し、特殊文字のALD、単語のALD、およびコンスタントのALDの3つの結果のセットを生成することを含む、請求項1に記載の方法。
- ログを取り扱うシステムであって、
プロセッサと、
前記ログを分析し、ログのトークン化のためのデリミタを表す1つまたは複数の抽象的なランドマークデリミタ(ALD)を識別し、
前記ログおよびALDから、前記ログをトークン化し、前記ALDで前記パターンを分離して中間のトークン化されたログを形成することによって次第にトークン化されたフォーマットを生成し、
最後の中間のトークン化されたログが最終的なトークン化されたログとして処理されるまで、前記ログのトークン化を反復して繰り返し、
アプリケーションに前記トークン化されたログを適用する
コードで前記ログを処理するモジュールと、
を含む、システム。 - それぞれのトークンを抽象的な表現に変換するコードを含む、請求項11に記載のシステム。
- 1つまたは複数の隣接するアルファベットは1文字のアルファベット「A」に置換し、1つまたは複数の隣接する数は1文字のアルファベット「D」に置換する、請求項12に記載のシステム。
- アルファベットおよびディジット以外の特殊文字が使用され、隣接する文字が単一の文字に変換される、請求項12に記載のシステム。
- 抽象的な形式のトークンの頻度を決定するコードを含み、それぞれの変換されたトークンに対して、どれだけのラインが前記トークンを含んでいるかを追跡する、請求項11に記載のシステム。
- 抽象的なランドマークデリミタ(ALD)になるべき候補を選択するコードを含む、請求項15に記載のシステム。
- データ品質に応じて、特定の条件に関するポリシをALDの選択に可変的に適用するコードを含む、請求項15に記載のシステム。
- 単語のパターンが1ライン毎に現れる場合、前記単語のパターンが候補として選択される、請求項15に記載のシステム。
- コンスタントのパターンを決定するコードを含み、前記ALDが空でないとき、それぞれのログは、前記ALDを使用することによって、トークン化され、別のログに変換される、請求項11に記載のシステム。
- 異なる3つの分析でALDを生成し、特殊文字のALD、単語のALD、およびコンスタントのALDの3つの結果のセットを生成するコードを含む、請求項11に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562252683P | 2015-11-09 | 2015-11-09 | |
US62/252,683 | 2015-11-09 | ||
US15/340,341 | 2016-11-01 | ||
US15/340,341 US20170132278A1 (en) | 2015-11-09 | 2016-11-01 | Systems and Methods for Inferring Landmark Delimiters for Log Analysis |
PCT/US2016/060139 WO2017083149A1 (en) | 2015-11-09 | 2016-11-02 | Systems and methods for inferring landmark delimiters for log analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018538646A JP2018538646A (ja) | 2018-12-27 |
JP6630840B2 true JP6630840B2 (ja) | 2020-01-15 |
Family
ID=58667776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018543265A Active JP6630840B2 (ja) | 2015-11-09 | 2016-11-02 | ログ分析のためのランドマークデリミタを推定するシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170132278A1 (ja) |
JP (1) | JP6630840B2 (ja) |
DE (1) | DE112016005141T5 (ja) |
WO (1) | WO2017083149A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11113138B2 (en) * | 2018-01-02 | 2021-09-07 | Carrier Corporation | System and method for analyzing and responding to errors within a log file |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224705A (ja) * | 1999-01-29 | 2000-08-11 | East Japan Railway Co | 車輌用パンタグラフ |
US6738767B1 (en) * | 2000-03-20 | 2004-05-18 | International Business Machines Corporation | System and method for discovering schematic structure in hypertext documents |
US20050138542A1 (en) * | 2003-12-18 | 2005-06-23 | Roe Bryan Y. | Efficient small footprint XML parsing |
US7665015B2 (en) * | 2005-11-14 | 2010-02-16 | Sun Microsystems, Inc. | Hardware unit for parsing an XML document |
US8782061B2 (en) * | 2008-06-24 | 2014-07-15 | Microsoft Corporation | Scalable lookup-driven entity extraction from indexed document collections |
US8301437B2 (en) * | 2008-07-24 | 2012-10-30 | Yahoo! Inc. | Tokenization platform |
US20120239667A1 (en) * | 2011-03-15 | 2012-09-20 | Microsoft Corporation | Keyword extraction from uniform resource locators (urls) |
US8620928B1 (en) * | 2012-07-16 | 2013-12-31 | International Business Machines Corporation | Automatically generating a log parser given a sample log |
US9753928B1 (en) * | 2013-09-19 | 2017-09-05 | Trifacta, Inc. | System and method for identifying delimiters in a computer file |
US9607059B2 (en) * | 2014-01-31 | 2017-03-28 | Sap Se | Intelligent data mining and processing of machine generated logs |
US9626414B2 (en) * | 2014-04-14 | 2017-04-18 | International Business Machines Corporation | Automatic log record segmentation |
US10346358B2 (en) * | 2014-06-04 | 2019-07-09 | Waterline Data Science, Inc. | Systems and methods for management of data platforms |
CN114153701A (zh) * | 2015-04-03 | 2022-03-08 | 甲骨文国际公司 | 用于在日志分析系统中实现日志解析器的方法和系统 |
-
2016
- 2016-11-01 US US15/340,341 patent/US20170132278A1/en not_active Abandoned
- 2016-11-02 JP JP2018543265A patent/JP6630840B2/ja active Active
- 2016-11-02 WO PCT/US2016/060139 patent/WO2017083149A1/en active Application Filing
- 2016-11-02 DE DE112016005141.7T patent/DE112016005141T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
US20170132278A1 (en) | 2017-05-11 |
WO2017083149A1 (en) | 2017-05-18 |
DE112016005141T5 (de) | 2018-07-26 |
JP2018538646A (ja) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6620241B2 (ja) | ログ解析のための高速パターン発見 | |
US20150310335A1 (en) | Determining a performance prediction model for a target data analytics application | |
JP6111543B2 (ja) | 類似サブ時系列の抽出方法及び装置 | |
US9389852B2 (en) | Technique for plagiarism detection in program source code files based on design pattern | |
JP6419667B2 (ja) | テストdbデータ生成方法及び装置 | |
KR102327026B1 (ko) | Gcn 기반의 어셈블리 코드 학습 장치 및 방법과 이를 이용한 보안 약점 탐지 장치 및 방법 | |
JP6662637B2 (ja) | 情報処理システム、情報処理方法およびプログラムを記憶する記録媒体 | |
US9563635B2 (en) | Automated recognition of patterns in a log file having unknown grammar | |
JP6630840B2 (ja) | ログ分析のためのランドマークデリミタを推定するシステムおよび方法 | |
JP2016149123A (ja) | 未知のバイナリモジュールのための有効な入力を決定する方法及び非一時的なコンピュータ可読媒体 | |
Deest et al. | Toward scalable source level accuracy analysis for floating-point to fixed-point conversion | |
US10666255B1 (en) | System and method for compacting X-pessimism fixes for gate-level logic simulation | |
JP6261669B2 (ja) | クエリ校正システムおよび方法 | |
JP7552865B2 (ja) | シンボル絞り込み装置、プログラム解析装置、シンボル抽出方法、プログラム解析方法、及び、プログラム | |
Duy et al. | VulnSense: Efficient Vulnerability Detection in Ethereum Smart Contracts by Multimodal Learning with Graph Neural Network and Language Model | |
JP6547345B2 (ja) | テストケース生成プログラム、テストケース生成方法およびテストケース生成装置 | |
WO2020008632A1 (ja) | 仮説推論装置、仮説推論方法、及びコンピュータ読み取り可能な記録媒体 | |
JP5093508B2 (ja) | ループ最適化システム、ループ最適化方法、及びループ最適化用プログラム | |
JP7156376B2 (ja) | 観測事象判定装置、観測事象判定方法、及びプログラム | |
JP6369102B2 (ja) | ソフトウェア試験支援システム | |
JP7421196B2 (ja) | ログ生成システム、ログ生成方法およびログ生成プログラム | |
KR102557800B1 (ko) | 차분 프라이버시 기반 의사결정 트리 생성 방법 및 장치 | |
CN115470737B (zh) | 生成数据流图的方法、电子设备及存储介质 | |
KR102682877B1 (ko) | Fpga를 활용한 cnn 가속기 하드웨어 설계 | |
JP5516277B2 (ja) | テストケース関係抽出方法、テストケース関係抽出装置及びテストケース関係抽出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6630840 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |