KR20120085375A - 로그데이터 분석시스템 - Google Patents

로그데이터 분석시스템 Download PDF

Info

Publication number
KR20120085375A
KR20120085375A KR1020110006651A KR20110006651A KR20120085375A KR 20120085375 A KR20120085375 A KR 20120085375A KR 1020110006651 A KR1020110006651 A KR 1020110006651A KR 20110006651 A KR20110006651 A KR 20110006651A KR 20120085375 A KR20120085375 A KR 20120085375A
Authority
KR
South Korea
Prior art keywords
log data
module
analysis
hash
storage
Prior art date
Application number
KR1020110006651A
Other languages
English (en)
Inventor
손정욱
Original Assignee
주식회사 옥시젠컴퓨팅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 옥시젠컴퓨팅 filed Critical 주식회사 옥시젠컴퓨팅
Priority to KR1020110006651A priority Critical patent/KR20120085375A/ko
Publication of KR20120085375A publication Critical patent/KR20120085375A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05D—HINGES OR SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS
    • E05D3/00—Hinges with pins
    • E05D3/06—Hinges with pins with two or more pins
    • E05D3/14—Hinges with pins with two or more pins with four parallel pins and two arms
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05D—HINGES OR SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS
    • E05D15/00—Suspension arrangements for wings
    • E05D15/02—Suspension arrangements for wings for revolving wings
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05D—HINGES OR SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS
    • E05D5/00—Construction of single parts, e.g. the parts for attachment
    • E05D5/02—Parts for attachment, e.g. flaps
    • E05D5/04—Flat flaps
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2600/00—Mounting or coupling arrangements for elements provided for in this subclass
    • E05Y2600/40—Mounting location; Visibility of the elements
    • E05Y2600/41—Concealed
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2800/00—Details, accessories and auxiliary operations not otherwise provided for
    • E05Y2800/10—Additional functions
    • E05Y2800/12—Sealing
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2800/00—Details, accessories and auxiliary operations not otherwise provided for
    • E05Y2800/40—Physical or chemical protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명은 로그데이터 분석시스템에 관한 것으로, 데이터마이닝(data mining) 또는 웹로그 분석(weblog analysis)을 위하여 로그데이터들을 분석할 시 상기 로그데이터들의 분석 및 저장성능을 향상시키고, 분석 시 상기 로그데이터가 발생한 시간정보를 이용하여 유효한 로그데이터만을 선별하여 분석할 수 있게 하는 로그데이터 분석시스템에 관한 것이다.

Description

로그데이터 분석시스템{Analysis system for log data}
본 발명은 로그데이터 분석시스템에 관한 것으로, 데이터마이닝(data mining) 또는 웹로그 분석(weblog analysis)을 위하여 로그데이터들을 분석할 시 상기 로그데이터들의 분석 및 저장성능을 향상시키고, 분석 시 상기 로그데이터가 발생한 시간정보를 이용하여 유효한 로그데이터만을 선별하여 분석할 수 있게 하는 로그데이터 분석시스템에 관한 것이다.
일반적으로, 데이터마이닝(data mining)은 데이터베이스에 저장된 정보들 간의 반복되는 패턴 정보 또는 상관관계 정보 등을 이용하여, 실행가능한 정보모델을 추출하여 의사결정에 이용할 수 있게 한 것이며, 웹로그 분석(weblog analysis)은 특정 웹 상에서 유저가 남긴 자료정보(예를 들면, 특정 유저가 읽은 자료의 정보, 경유한 사이트 정보, 사용한 검색엔진 정보 및 키워드 정보 등을 포함하는 로그데이터)를 이용하여, 상기 특정 웹의 방문자 수, 각 페이지별 방문된 횟수 및 시간별 접속통계 등을 분석하거나, 상기 특정 유저의 방문 유형 등을 분석하기 위한 것이다.
또한, 상기 데이터마이닝 또는 상기 웹로그 분석과 같이 웹 상에서 특정 유저의 행동패턴을 분석하거나, 데이터베이스를 분석하여 유효한 상관관계 정보를 추출하기 위해서는, 대용량 및 다수의 로그데이터들과, 상기 로그데이터들을 저장하고 분석하기 위한 여러 대의 서버들이 구비된다.
또한, 상기 로그데이터들은 상기 여러 대의 서버들 내에서 전송되고, 인덱스 테이블에 저장되게 되는데, 상기 인덱스 테이블에 저장된 상기 로그데이터들의 전체항목을 저장하는 관리 데이터 및 상기 로그데이터가 저장된 인덱스 테이블은 서로 동기화되어, 분석, 추출, 조회 등이 가능하게 된다.
한편, 종래에는 상기 로그데이터들이 실시간으로 전송되어 저장되고, 상기 로그데이터들의 분석, 추출 및 조회 또한, 실시간으로 요청되어 실행되므로, 병목현상(bottleneck)의 발생으로 인한 성능저하가 야기되어, 상기 로그데이터의 분석성능이 저하되는 문제점이 발생된다.
또한, 상기 데이터마이닝 또는 상기 웹로그 분석 시 캐쉬(cache)를 이용하여, 상기 병목현상을 감소시킬 수 있으나 상기 캐쉬를 다시 생성하는 간격만큼 상기 로그데이터를 실시간으로 반영할 수 없는 문제점이 있다.
본 발명자들은 데이터마이닝 또는 웹로그 분석 시 로그데이터의 저장 및 분석성능이 향상될 수 있도록 상기 로그데이터가 전송 및 저장되는 서버구조를 개선하고, 상기 로그데이터가 발생한 시간정보를 이용하여 유효한 로그데이터만을 선별하여 분석할 수 있게 하고자 연구 노력한 결과, 로그데이터 분석시스템의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.
따라서, 본 발명의 목적은 실시간으로 전송, 저장 또는 분석되는 로그데이터들이 원활하게 처리될 수 있게 하고, 상기 로그데이터의 실시간 분석성능 및 처리용량을 향상시킬 수 있는 로그데이터 분석시스템을 제공하는 것이다.
또한, 본 발명의 다른 목적은 여러 대의 서버를 이용하여 상기 로그데이터를 전송, 저장 또는 분석할 시 상기 로그데이터의 처리속도를 향상시킬 수 있는 로그데이터 분석시스템을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위하여 본 발명은 데이터마이닝(data mining) 또는 웹로그 분석(weblog analysis)을 위한 로그데이터 분석시스템에 있어서, 인터넷 망을 통해 웹서버나, 클라이언트와 통신하여, 상기 웹서버나 상기 클라이언트의 로그데이터들을 전송받는 복수 개의 서버들로 구성되는 수신모듈; 상기 수신모듈에 전송된 상기 로그데이터들을 해싱(hashing)한 후 각 로그데이터의 각 해시키(hash key)를 생성하며, 상기 해시키를 인덱스 테이블로 저장하는 분석모듈; 상기 수신모듈에 전송된 상기 로그데이터들을 저장하는 저장모듈; 및 상기 분석모듈의 해시키를 입력받아, 상기 해시키와 매칭되는 로그데이터를 상기 저장모듈에서 추출하여 쿼리(query)하는 쿼리모듈;을 포함하는 것을 특징으로 하는 로그데이터 분석시스템을 제공한다.
바람직한 실시예에 있어서, 상기 분석모듈은 복수 개의 분석서버들로 이루어지며, 상기 로그데이터들을 각 분석서버로 균등하게 배분하여 전송하고, 상기 로그데이터들을 상기 각 분석서버로 전송할 시 상기 각 로그데이터를 이전에 전송된 상기 각 분석서버로 다시 전송하도록 구비되는 파티션모듈;을 더 포함한다.
바람직한 실시예에 있어서, 상기 저장모듈은 복수 개의 저장서버들로 이루어지며, 상기 수신모듈의 로그데이터들을 상기 각 저장서버에 저장하고, 각 로그데이터가 저장된 상기 각 저장서버의 주소가 저장되는 마스터 저장모듈;을 더 포함한다.
바람직한 실시예에 있어서, 상기 분석모듈은 블룸필터(bloom filter)를 이용하여, 상기 로그데이터들을 해싱하여 색인화(indexing)하며, 상기 각 해시키는 상기 각 로그데이터를 검색할 수 있는 색인(index)으로 기능한다.
바람직한 실시예에 있어서, 상기 해시키는 상기 로그데이터의 유저식별자, IP주소, 카테고리, 이벤트 그룹, 이벤트 이름 및 이벤트 내용 정보를 포함한다.
바람직한 실시예에 있어서, 상기 로그데이터는 상기 로그데이터가 발생한 시간정보를 더 포함하며, 상기 블룸필터는 해싱 시 상기 각 해시키와 매칭되는 각 시간정보를 더 저장하고, 상기 해시키를 추출할 시 상기 시간정보를 이용하여, 일정한 범위 내의 로그데이터를 선별한다.
바람직한 실시예에 있어서, 상기 블룸필터는 일정한 시간 간격을 임계치로 하여, 상기 임계치 이내의 상기 시간정보를 갖는 상기 해시키를 추출한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
먼저, 본 발명의 일실시예에 따른 로그데이터 분석시스템에 의하면, 상기 분석모듈을 시간정보를 기반으로 하는 블룸필터를 구비하여 상기 로그데이터를 일정한 범위 내의 로그데이터들만 선별하여 분석할 수 있게 하므로, 실시간으로 상기 로그데이터들이 분석되어야 하는 경우 상기 로그데이터의 분석성능 및 처리속도가 향상되는 효과를 얻을 수 있으며, 특히, 대용량의 로그데이터의 분석 시 캐쉬(cache)를 사용하지 않고도 병목현상을 최소화하고 원활하게 분석이 이루어지는 효과를 얻을 수 있다.
또한, 본 발명의 일실시예에 따른 로그데이터 분석시스템에 의하면, 상기 로그데이터를 전송받는 수신모듈, 상기 로그데이터를 분석하는 분석모듈, 상기 로그데이터를 저장하는 저장모듈 및 상기 로그데이터를 쿼리하기 위한 쿼리모듈로 각각 분리된 구조로 이루어지므로, 상기 로그데이터의 전송 및 분석이 효율적으로 이루어지며, 상기 로그데이터의 처리속도를 향상시킬 수 있는 효과를 얻을 수 있다.
도 1은 본 발명의 일실시예에 따른 로그데이터 분석시스템을 나타내는 도면.
도 2는 도 1의 로그데이터 분석시스템을 나타내는 블럭도.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부된 도면에 도시된 바람직한 실시예를 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1은 본 발명의 일실시예에 따른 로그데이터 분석시스템을 나타내는 도면이며, 도 2는 도 1의 로그데이터 분석시스템을 나타내는 블럭도이다.
도 1 내지 도 2를 참조하면, 본 발명의 일실시예에 따른 로그데이터 분석시스템은, 로그데이터를 이용하여 데이터마이닝(data mining) 또는 웹로그 분석(weblog analysis) 시 상기 로그데이터의 처리 및 분석성능을 향상시키기 위한 것으로, 상기 로그데이터를 수신하고, 분석하며, 저장하는 서버가 서로 분리된 구조를 가지며, 상기 로그데이터가 발생한 시간정보를 이용하여 유효한 로그데이터만을 선별하여 분석할 수 있게 한다.
한편, 상기 로그데이터는 XML(extensible markup language) 형식으로 유저식별자, 카테고리, IP주소, 이벤트이름, 이벤트그룹 및 이벤트내용 등의 정보 및 상기 로그데이터가 발생한 시간정보를 포함하며, 인터넷 망을 통해 웹서버나, 클라이언트로부터 전송된다.
또한, 상기 클라이언트는 모바일 플랫폼(mobile platform) 및 퍼스널 컴퓨터(personal computer) 등을 포함한다.
또한, 본 발명의 일실시예에 따른 로그데이터 분석시스템은, 대용량의 로그데이터를 실시간으로 저장 또는 분석할 수 있게 이루어지며, 수신모듈(110), 분석모듈(120), 저장모듈(130), 및 쿼리모듈(140)을 포함한다.
상기 수신모듈(110)은 인터넷 망을 통해 상기 웹서버나, 상기 클라이언트와 통신하여, 상기 웹서버나 상기 클라이언트의 로그데이터들을 전송받기 위한 것으로, 복수 개의 서버(111)(112)(113)들로 이루어지며, 상기 웹서버 또는 상기 클라이언트로부터 상기 로그데이터를 전송받은 이후에, 각 웹서버 또는 각 클라이언트로 HTTP(hypertext transfer protocol) 상태코드 중 하나인 "HTTP 200 Response"를 전송하도록 구비된다.
또한, 상기 수신모듈(110)은 상기 복수 개의 서버(111)(112)(113)가 병렬로 연결되는 구조로 구비되어, 서버 대수 및 대역폭을 증가시키면 처리용량이 선형적으로 증가하는 구조를 가진다.
또한, 상기 수신모듈(110)은 HTTP 프로토콜을 이용하여, 상기 로그데이터를 XML 형식으로 전송받을 수 있는 에이피아이(application programming interface)가 구비되며, 본 발명의 바람직한 실시예에서는, 특정 행동 이벤트를 보고하기 위한 제 1에이피아이, 이벤트 트랜잭션(Transaction)을 시작하기 위한 제 2에이피아이 및 이벤트 트랜잭션의 종료를 위한 제 3에이피아이를 포함한다.
또한, 상기 로그데이터는 상기 제 3에이피아이 단계가 정상적으로 완료된 로그데이터를 남기고, 상기 제 3에이피아이 단계가 정상적으로 완료되지 않은 경우 무시되도록 구비된다.
또한, 상기 수신모듈(110)은 상기 HTTP 프로토콜을 이용하여 상기 로그데이터를 전송받거나, 상기 HTTP 상태코드를 전송하므로, 상기 웹서버 및 상기 클라이언트와 원활하게 통신이 이루어진다.
상기 분석모듈(120)은 상기 수신모듈(110)에 전송된 상기 로그데이터를 분석하기 위한 것으로, 상기 수신모듈(110)에 전송된 상기 로그데이터들을 해싱(hashing)한 후 각 로그데이터의 각 해시키(hash key)를 생성하며, 상기 해시키를 인덱스 테이블(Index table)로 저장한다.
또한, 상기 분석모듈(120)은 복수 개의 분석서버(121)(122)(123)들이 병렬로 연결되게 이루어지고, 본 발명의 바람직한 실시예에서는 제 1분석서버(121), 제 2분석서버(122) 및 제 3분석서버(123)를 포함하는 3개의 서버들로 구비하였으나, 더 많거나, 적은 서버들로 이루어질 수도 있다.
또한, 상기 분석모듈(120)은 상기 로그데이터들을 상기 각 분석서버(121)(122)(123)로 출력하기 위한 파티션모듈(125)을 더 포함하며, 상기 파티션모듈(125)은 상기 로그데이터들을 각 분석서버(121)(122)(123)로 균등하게 배분하여 전송하도록 구비된다.
또한, 상기 파티션모듈(125)은 상기 로그데이터들을 전송할 시 상기 각 로그데이터를 이전에 전송된 상기 각 분석서버(121)(122)(123)로 다시 전송하도록 구비되며, 예를 들어, 특정 유저인 유저A의 로그데이터는 상기 제 1분석서버(121)에 전송되었고, 특정 유저인 유저B의 로그데이터는 상기 제 2분석서버에 전송된 경우에는 이후에 상기 파티션모듈로 입력되는 상기 유저 A의 로그데이터는 상기 제 1분석서버로 전송되며, 상기 유저B의 로그데이터는 상기 제 2분석서버로 전송되는 것이며, 상기 로그데이터들을 상기 각 분석서버(121)(122)(123)로 전송할 시 계산량을 감소시키고, 처리속도를 향상시킬 수 있게 된다.
또한, 상기 분석모듈(120)은 네트워크 소켓 인테페이스(network socket interfaces)를 구비하여, 상기 제 1분석서버(121), 상기 제 2분석서버(122) 및 상기 제 3분석서버(123) 사이에서 전송되는 상기 로그데이터 및 상기 해시키의 전송 또는 처리속도를 향상시킬 수 있다.
또한, 상기 분석모듈(120)에서의 상기 로그데이터들의 해싱은, 블룸필터(bloom filter)를 이용하여 이루어지며, 상기 블룸필터는 많은 양의 데이터들은 빠르게 검색할 수 있게 하는 알고리즘으로, 상기 로그데이터들을 해싱하여 색인화(indexing)한다. 또한, 상기 각 해시키는 상기 각 로그데이터를 검색할 수 있는 색인(index)으로 기능한다.
또한, 상기 블룸필터는 일정한 시간 간격을 임계치로 하여, 상기 임계치 이내의 상기 시간정보를 갖는 상기 해시키를 추출하도록 구비되며, 상기 시간정보는 상기 로그데이터가 발생한 시간을 나타내는 정보이다.
또한, 상기 블룸필터는 후술될 쿼리모듈(140)에서 쿼리명령을 요청받은 경우 상기 블룸필터에 저장된 상기 해시키들 중 상기 시간정보가 상기 임계치 이내의 상기 해시키을 추출하며, 상기 해시키들 중 상기 임계치를 벗어나는 해시키들의 경우에는 추출될 대상에서 미리 제외를 하도록 하여, 상기 쿼리명령에 대응하는 처리속도가 신속하게 이루어질 수 있고, 상기 해시키를 신속하게 추출하여 제공하여 상기 로귿이터들의 분석성능이 향상되게 한다.
즉, 상기 블룸필터는 상기 시간정보를 이용하여, 상기 해시키들 중 상기 임계치에 해당하는 해시키들을 일괄적으로 추출하거나, 제외할 수 있으므로, 상기 쿼리명령을 요청받았을 시 상기 로그데이터들을 전부 검색하지 않고도 상기 처리명령에 대응하는 로그데이터들을 검색하게 하여 처리하여야 하는 처리용량도 미리 감소시킬 수 있고, 많은 양의 상기 로그데이터들을 더 빠르게 검색할 수 있게 되는 것이다.
또한, 상기 블룸필터의 임계치는 일정한 시간을 나타내며, 현재를 기준으로 몇 분, 몇 시간, 혹은 몇 일전으로 설정될 수 있으며, 상기 임계치가 설정됨에 따라 상기 블룸필터는 후술될 쿼리모듈(140)에서 상기 해시키를 요청할 시 전체 해시키를 조회하지 않고도 빠르게 해시키를 검색하여 전송할 수 있게 된다.
또한, 상기 블룸필터는 상기 로그데이터들의 고유키를 해싱한 후 상기 각 로그데이터의 상기 각 해시키를 생성할 수도 있으며, 상기 고유키는 상기 로그데이터에 포함된 정보인 유저식별자, IP주소, 이벤트이름 또는 이벤트그룹 정보 중 어느 하나가 선택되며, 이때, 분석하고자 하는 임의의 데이터를 기준으로 상기 고유키가 설정된다.
또한, 상기 블룸필터에 의해 생성된 상기 해시키는 상기 로그데이터의 유저식별자, IP주소, 카테고리, 이벤트 그룹, 이벤트 이름 및 이벤트 내용 정보를 포함한다.
상기 저장모듈(130)은 상기 수신모듈(110)에 전송된 상기 로그데이터들을 저장하기 위한 것으로, 복수 개의 저장서버(131)(132)(133)들로 이루어지며, 상기 로그데이터 및 상기 로그데이터의 고유키를 저장한다.
또한, 상기 복수 개의 저장서버들(131)(132)(133)은, 본 발명의 바람직한 실시예에서는 제 1저장서버(131), 제 2저장서버(132) 및 제 3저장서버(133)를 포함하는 3개의 서버들로 구비하였으나, 더 많거나, 적은 서버들로 구비할 수도 있다.
또한, 상기 저장모듈(130)은 상기 각 저장서버(131)(132)(133)들로 상기 로그데이터 및 상기 로그데이터의 고유키를 저장하기 위한 마스터 저장모듈(135)을 더 포함한다.
또한, 상기 마스터 저장모듈(135)은 상기 수신모듈(110)의 로그데이터들을 상기 각 저장서버(131)(132)(133)에 저장하고, 각 로그데이터가 저장된 상기 각 저장서버(131)(132)(133)의 주소가 저장되도록 구비된다.
즉, 상기 저장모듈(130)의 각 저장서버(131)(132)(133)에는 상기 로그데이터 및 상기 고유키가 저장되고, 상기 마스터 저장모듈(135)에는 각 로그데이터 및 상기 각 고유키가 저장된 주소가 저장되는 것이며, 상기 복수 개의 저장서버(131)(132)(133)에서 서로 다른 로그데이터 및 고유키를 요청한 후 그 결과를 병합하여 출력할 수도 있게 된다.
상기 쿼리모듈(140)은 상기 로그데이터의 쿼리(query)를 위한 것으로, 상기 분석모듈(120)의 해시키를 입력받아, 상기 해시키와 매칭되는 로그데이터를 상기 저장모듈(130)에서 추출하여 쿼리하도록 구비된다.
또한, 상기 퀴리모듈은 쿼리하고자 하는 대상 로그데이터가 적은 경우에는 상기 저장모듈(130)로 직접 쿼리명령을 출력하여, 상기 로그데이터 및 상기 고유키를 쿼리할 수도 있다.
또한, 상기 쿼리모듈(140)은 쿼리하고자 하는 대상 로그데이터가 실시간으로 쿼리가 이루어져야 하거나, 쿼리하고자 하는 대상 로그데이터가 많은 경우에는 상기 분석모듈(120)로 상기 해시키를 요청하는 쿼리명령을 출력하게 구비된다.
즉, 상기 쿼리모듈(140)은 실시간 처리를 필요로 하거나, 대용량의 처리용량이 필요로 하는 경우에는 상기 해시키와 매칭되는 유효한 로그데이터를 추출할 수 있게 되어 처리속도가 향상될 수 있다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
110 : 수신모듈 120 : 분석모듈
125 : 파티션모듈 130 : 저장모듈
135 : 마스터 저장모듈 140 : 쿼리모듈

Claims (7)

  1. 데이터마이닝(data mining) 또는 웹로그 분석(weblog analysis)을 위한 로그데이터 분석시스템에 있어서,
    인터넷 망을 통해 웹서버나, 클라이언트와 통신하여, 상기 웹서버나 상기 클라이언트의 로그데이터들을 전송받는 복수 개의 서버들로 구성되는 수신모듈;
    상기 수신모듈에 전송된 상기 로그데이터들을 해싱(hashing)한 후 각 로그데이터의 각 해시키(hash key)를 생성하며, 상기 해시키를 인덱스 테이블로 저장하는 분석모듈;
    상기 수신모듈에 전송된 상기 로그데이터들을 저장하는 저장모듈; 및
    상기 분석모듈의 해시키를 입력받아, 상기 해시키와 매칭되는 로그데이터를 상기 저장모듈에서 추출하여 쿼리(query)하는 쿼리모듈;을 포함하는 것을 특징으로 하는 로그데이터 분석시스템.
  2. 제 1항에 있어서,
    상기 분석모듈은 복수 개의 분석서버들로 이루어지며,
    상기 로그데이터들을 각 분석서버로 균등하게 배분하여 전송하고, 상기 로그데이터들을 상기 각 분석서버로 전송할 시 상기 각 로그데이터를 이전에 전송된 상기 각 분석서버로 다시 전송하도록 구비되는 파티션모듈;을 더 포함하는 것을 특징으로 하는 로그데이터 분석시스템.
  3. 제 1항에 있어서,
    상기 저장모듈은 복수 개의 저장서버들로 이루어지며,
    상기 수신모듈의 로그데이터들을 상기 각 저장서버에 저장하고, 각 로그데이터가 저장된 상기 각 저장서버의 주소가 저장되는 마스터 저장모듈;을 더 포함하는 것을 특징으로 하는 로그데이터 분석시스템.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 분석모듈은 블룸필터(bloom filter)를 이용하여, 상기 로그데이터들을 해싱하여 색인화(indexing)하며, 상기 각 해시키는 상기 각 로그데이터를 검색할 수 있는 색인(index)으로 기능하는 것을 특징으로 하는 로그데이터 분석시스템.
  5. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 해시키는 상기 로그데이터의 유저식별자, IP주소, 카테고리, 이벤트 그룹, 이벤트 이름 및 이벤트 내용 정보를 포함하는 것을 특징으로 하는 로그데이터 분석시스템.
  6. 제 4항에 있어서,
    상기 로그데이터는 상기 로그데이터가 발생한 시간정보를 더 포함하며,
    상기 블룸필터는 해싱 시 상기 각 해시키와 매칭되는 각 시간정보를 더 저장하고, 상기 해시키를 추출할 시 상기 시간정보를 이용하여, 일정한 범위 내의 로그데이터를 선별하는 것을 특징으로 하는 로그데이터 분석시스템.
  7. 제 6항에 있어서,
    상기 블룸필터는 일정한 시간 간격을 임계치로 하여, 상기 임계치 이내의 상기 시간정보를 갖는 상기 해시키를 추출하는 것을 특징으로 하는 로그데이터 분석시스템.
KR1020110006651A 2011-01-24 2011-01-24 로그데이터 분석시스템 KR20120085375A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110006651A KR20120085375A (ko) 2011-01-24 2011-01-24 로그데이터 분석시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110006651A KR20120085375A (ko) 2011-01-24 2011-01-24 로그데이터 분석시스템

Publications (1)

Publication Number Publication Date
KR20120085375A true KR20120085375A (ko) 2012-08-01

Family

ID=46871614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110006651A KR20120085375A (ko) 2011-01-24 2011-01-24 로그데이터 분석시스템

Country Status (1)

Country Link
KR (1) KR20120085375A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179116A (zh) * 2013-01-18 2013-06-26 厦门市美亚柏科信息股份有限公司 一种万兆协议解析方法及系统
KR20180061517A (ko) * 2016-11-29 2018-06-08 한국전자통신연구원 모바일 환경 기반 콘텐츠 로그데이터 수집 시스템 및 방법
KR102519006B1 (ko) 2022-11-21 2023-04-07 주식회사 에스티씨랩 디지털 기반 로그 데이터의 조회 속도 향상을 위한 로그 데이터 관리 방법 및 서버

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179116A (zh) * 2013-01-18 2013-06-26 厦门市美亚柏科信息股份有限公司 一种万兆协议解析方法及系统
CN103179116B (zh) * 2013-01-18 2016-02-03 厦门市美亚柏科信息股份有限公司 一种万兆协议解析方法及系统
KR20180061517A (ko) * 2016-11-29 2018-06-08 한국전자통신연구원 모바일 환경 기반 콘텐츠 로그데이터 수집 시스템 및 방법
KR102519006B1 (ko) 2022-11-21 2023-04-07 주식회사 에스티씨랩 디지털 기반 로그 데이터의 조회 속도 향상을 위한 로그 데이터 관리 방법 및 서버

Similar Documents

Publication Publication Date Title
US10812358B2 (en) Performance-based content delivery
KR102133951B1 (ko) 짧은 링크 처리 방법, 디바이스, 및 서버
US11775501B2 (en) Trace and span sampling and analysis for instrumented software
US9183214B2 (en) Method and apparatus for data storage and downloading
CN101902505B (zh) 一种分布式dns查询日志的实时统计装置及方法
CN106682147A (zh) 一种基于海量数据的查询方法及装置
CN106528683B (zh) 一种基于索引分片均衡的大数据云搜索系统及其方法
KR20030048045A (ko) 데이터 네트워크의 정보 검색 및 분석 방법
CN109033206B (zh) 一种规则匹配方法、云服务器及规则匹配系统
CN108228743A (zh) 一种实时大数据搜索引擎系统
CN103034735A (zh) 一种大数据分布式文件导出方法
CN112632129A (zh) 一种码流数据管理方法、装置及存储介质
CN107491463B (zh) 数据查询的优化方法和系统
CN108647266A (zh) 一种异构数据快速分布存储、交互方法
CN108154024B (zh) 一种数据检索方法、装置及电子设备
CN114598597B (zh) 多源日志解析方法、装置、计算机设备及介质
JPWO2013175611A1 (ja) データの分散検索システム、データの分散検索方法及び管理計算機
KR102189127B1 (ko) 행위 기반 룰 처리 장치 및 그 처리 방법
CN113946587A (zh) 句柄标识解析缓存方法、查询方法及其句柄标识解析系统
KR20120085375A (ko) 로그데이터 분석시스템
US20080082516A1 (en) System for and method of searching distributed data base, and information management device
CN108804502A (zh) 大数据查询系统、方法、计算机设备及存储介质
CN107092529B (zh) Olap服务方法、装置及系统
CN112416626B (zh) 一种数据处理方法和装置
CN109408479A (zh) 日志数据添加方法、系统、计算机设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application