KR101005871B1 - 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반 웹로그 복구방법 - Google Patents
대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반 웹로그 복구방법 Download PDFInfo
- Publication number
- KR101005871B1 KR101005871B1 KR1020100052042A KR20100052042A KR101005871B1 KR 101005871 B1 KR101005871 B1 KR 101005871B1 KR 1020100052042 A KR1020100052042 A KR 1020100052042A KR 20100052042 A KR20100052042 A KR 20100052042A KR 101005871 B1 KR101005871 B1 KR 101005871B1
- Authority
- KR
- South Korea
- Prior art keywords
- log
- web
- indexing
- information
- index
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
로그가 로딩되면, 로그 라인을 추출하고 필드 정보가 있으면 필드 분할을 수행하되, 키워드는 필드의 정보로 하고 데이터는 필드 정보의 인덱스로 지정하여 인덱스를 생성하는 B-트리 인덱싱을 수행하는 제1 단계,
이후 상기 제1 단계에서 로그내 검색시 만약 새로운 키워드가 아니면 인덱스를 획득하고, 인덱싱 로그를 생성하되, 생성된 인덱싱 로그는 인덱싱 로그필드에 저장되도록 하는 제2 단계,
이후 쿼리 입력시, 입력된 쿼리를 분석하여 B-트리와 인덱싱 로그필드와 연계하여 인덱싱 로그를 추출하고, 로그를 복구하는 제3 단계,를
포함하여 이루어진 것을 특징으로 하는 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반의 웹로그 복구방법이 제공된다.
도 2는 종래의 웹 로그 정보 기반 마이닝방법의 일예를 나타내는 개념도이다.
도 3은 종래기술(IIS 6.0)의 W3C확장 로그 포맷을 나타낸 것이다.
도 4는 도 3의 각 필드별 이상행위 고려사항을 나타낸 것이다.
도 5는 종래의 웹 로그 전처리기법의 일예를 나타낸 개념도이다.
도 6은 본 발명에 따른 웹 로그 전처리기법의 개략적인 개념도이다.
도 7은 본 발명에 따른 본 발명에 따른 웹 로그 전처리기법에서의 멀티쓰레드 기반 웹 로그 인덱싱과정을 나타낸 개념도이다.
도 8은 본 발명에 따른 비-트리기인덱싱 벡터기반 웹로그 고속검색방법의 일예를 나타낸 흐름도이다.
도 9는 본 발명에 따른 비-트리기인덱싱 벡터기반 웹로그 고속검색방법에서 비-트리 구조를 나타낸 것이다.
도 10은 본 발명에 따른 비-트리기인덱싱 벡터기반 웹로그 고속검색방법에서의 웹로그 복구방법을 나타낸 개념도이다.
도 11은 본 발명에 따른 비-트리기인덱싱 벡터기반 웹로그 고속검색방법에서의 고속검색방법의 일예를 나타낸 도면이다.
도 12는 본 발명에 비-트리기인덱싱 벡터기반 웹로그 고속검색방법에서의 비-트리 인덱싱 로그프로세서의 개략적인 블록구성도이다.
도 13은 도 12의 흐름도이다.
20: 필드분할모듈
30: 비-트리인덱싱모듈
40: 쿼리프로세서
50: 인덱싱로그추출부
60: 로그복구모듈
100: 비-트리기반 인덱싱로그 프로세서
Claims (1)
- 웹아이디에스 시스템의 공격탐지를 위하여 일정한 포맷으로 구성된 비트리인덱스벡터기반의 구조를 가지는 웹 로그를 복구하는 방법에 있어서,
로그가 로딩되면, 로그 라인을 추출하고 필드 정보가 있으면 필드 분할을 수행하되, 키워드는 필드의 정보로 하고 데이터는 필드 정보의 인덱스로 지정하여 인덱스를 생성하는 B-트리 인덱싱을 수행하는 제1 단계,
이후 상기 제1 단계에서 로그내 검색시 만약 새로운 키워드가 아니면 인덱스를 획득하고, 인덱싱 로그를 생성하되, 생성된 인덱싱 로그는 인덱싱 로그필드에 저장되도록 하는 제2 단계,
이후 쿼리 입력시, 입력된 쿼리를 분석하여 B-트리와 인덱싱 로그필드와 연계하여 인덱싱 로그를 추출하고, 로그를 복구하는 제3 단계,를
포함하여 이루어진 것을 특징으로 하는 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반의 웹로그 복구방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100052042A KR101005871B1 (ko) | 2010-06-01 | 2010-06-01 | 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반 웹로그 복구방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100052042A KR101005871B1 (ko) | 2010-06-01 | 2010-06-01 | 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반 웹로그 복구방법 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080086918A Division KR100989320B1 (ko) | 2008-09-03 | 2008-09-03 | 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반 웹로그 고속검색방법 및 비-트리기반인덱싱로그 프로세서 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100068352A KR20100068352A (ko) | 2010-06-23 |
KR101005871B1 true KR101005871B1 (ko) | 2011-01-06 |
Family
ID=42366714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100052042A KR101005871B1 (ko) | 2010-06-01 | 2010-06-01 | 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반 웹로그 복구방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101005871B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101725395B1 (ko) | 2015-11-03 | 2017-04-26 | 한국인터넷진흥원 | Html5 기반의 악성 스크립트 행위 정보 분석 시스템 및 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205587A (zh) * | 2017-12-28 | 2018-06-26 | 北京九章云极科技有限公司 | 一种日志监测方法及系统 |
CN114020610A (zh) * | 2021-10-28 | 2022-02-08 | 深圳永安在线科技有限公司 | 基于图挖掘的接口分析方法、装置及相关设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060074202A (ko) * | 2004-12-27 | 2006-07-03 | 엘지엔시스(주) | 공격정보 실시간 분석 시스템 및 방법 |
KR20080044145A (ko) * | 2006-11-15 | 2008-05-20 | 한국전자통신연구원 | 웹 로그 상호연관분석을 이용한 웹 애플리케이션 공격의침입 탐지 시스템 및 방법 |
-
2010
- 2010-06-01 KR KR1020100052042A patent/KR101005871B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060074202A (ko) * | 2004-12-27 | 2006-07-03 | 엘지엔시스(주) | 공격정보 실시간 분석 시스템 및 방법 |
KR20080044145A (ko) * | 2006-11-15 | 2008-05-20 | 한국전자통신연구원 | 웹 로그 상호연관분석을 이용한 웹 애플리케이션 공격의침입 탐지 시스템 및 방법 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101725395B1 (ko) | 2015-11-03 | 2017-04-26 | 한국인터넷진흥원 | Html5 기반의 악성 스크립트 행위 정보 분석 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20100068352A (ko) | 2010-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106095979B (zh) | Url合并处理方法和装置 | |
US7827191B2 (en) | Discovering web-based multimedia using search toolbar data | |
Dwivedi et al. | A review paper on data preprocessing: A critical phase in web usage mining process | |
Aye | Web log cleaning for mining of web usage patterns | |
US8185530B2 (en) | Method and system for web document clustering | |
US11263062B2 (en) | API mashup exploration and recommendation | |
KR20110009098A (ko) | 편집 거리 및 문서 정보를 이용한 검색 결과 랭킹 | |
Nalawade et al. | Forensic analysis and evidence collection for web browser activity | |
JP2014502753A (ja) | ウェブページ情報の検出方法及びシステム | |
Sukumar et al. | Review on modern Data Preprocessing techniques in Web usage mining (WUM) | |
CN114528457A (zh) | Web指纹检测方法及相关设备 | |
Singh et al. | A survey on different phases of web usage mining for anomaly user behavior investigation | |
KR101005871B1 (ko) | 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반 웹로그 복구방법 | |
Skopik et al. | Online log data analysis with efficient machine learning: A review | |
KR101631032B1 (ko) | 비정형 데이터 필터링 및 공통형태 변환을 통한 저장 시스템 및 방법 | |
KR100989320B1 (ko) | 대용량 웹로그마이닝 및 공격탐지를 위한 비트리인덱스벡터기반 웹로그 고속검색방법 및 비-트리기반인덱싱로그 프로세서 | |
KR101556714B1 (ko) | 검색결과 제공 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
KR101650316B1 (ko) | 분산 병렬 처리 기반의 html5 문서 수집 및 분석 장치 및 방법 | |
Mary et al. | An efficient approach to perform pre-processing | |
Yevale et al. | Unauthorized terror attack tracking using web usage mining | |
Kankane et al. | A survey paper on: Frequent pattern analysis algorithm from the Web log data | |
KR100914647B1 (ko) | 추천 검색어 생성 방법 및 장치 | |
CN109067696B (zh) | 基于图相似度分析的webshell检测方法及系统 | |
Vemulapalli et al. | Design and Implementation of an Effective Web Server Log Preprocessing System | |
Raju et al. | Preprocessing of Web Usage Data for Application in Prefetching to Reduce Web Latency |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20131031 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20141021 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20151215 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20161213 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20171212 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20191212 Year of fee payment: 10 |