KR101112568B1 - 로그 인덱싱 방법 - Google Patents

Abstract

본 발명은 로그 인덱싱 방법에 관한 것이다. 본 발명에 의한 인덱싱 방법은, 테이블 및 시간을 기준으로 로그 데이터를 분류하여 기록하는 제1 단계와, 테이블별로 로그 식별 정보 및 로그 위치 정보를 기록하는 제2 단계와, 로그를 분석하여 획득한 토큰 정보가 포함되는 텀 파일을 생성하여 기록하는 제3 단계와, 토큰 식별 정보와, 상기 토큰이 출연하는 횟수와, 상기 토큰이 출현하는 로그에서의 시작 위치 정보와, 상기 토큰이 출현하는 태블릿의 개수가 포함되는 인덱스 파일을 생성하여 기록하는 제4 단계와, 상기 토큰이 출현하는 시작 위치 정보에 기초하여, 해당하는 태블릿 식별 정보와, 태블릿별 포스팅 횟수 정보와, 상기 토큰이 출현하는 로그 식별 정보를 포함하는 포스팅 파일을 생성하여 기록하는 제5 단계를 포함한다.

Description

로그 인덱싱 방법{Indexing Method of Log}

본 발명은 로그 인덱싱 방법에 관한 것으로서, 보다 자세하게는 빠르고 정확한 검색이 가능하도록 로그에 적용하는 역인덱싱 방법에 관한 것이다.

인터넷이 발달하고 인터넷 등을 이용한 온라인 서비스가 확산될수록, 온라인상의 서비스를 제공하는 서버의 동작 과정에서 일어나는 작업 내력에 대한 기록의 중요성이 대두되고 있다. 이와 같이 서버의 작업 내력에 관한 기록은 로그로서 기록되고 저장된다. 즉 서버에 접속하여 수행한 모든 작업에 대한 기록은 로그에 기록된다. 단순히 특정 작업 요청과 성공 여부에 대한 것뿐만 아니라 특정 작업을 실패했을 때의 해결책에 대한 정보 등도 저장된다.

일반적으로 로그에는 복수 개의 로그라인들이 기록되며, 각 로그라인에는 방문자의 접속 인터넷 프로토콜(IP), 방문 날짜 및 시간, 방문 페이지 정보, 방문 상태 등이 기록된다.

한편, 로그의 분석을 위해서 특정 단어나 문자열을 검색해야 하는 경우가 많다. 로그는 텍스트 파일로 구성되기 때문에, 데이터베이스화하여 검색에 용이하도록 구성하는 기술이 있다. 그런데 로그의 종류가 수백개에 이르며, 로그를 데이터베이스화하는 정규화 과정에서, 로그의 종류에 따라 데이터가 손실될 가능성이 높기 때문에 데이터베이스화 후 검색의 신뢰성을 담보할 수 없다.

본 발명은, 이러한 종래 기술의 문제점을 해결하고, 로그 데이터의 손실없이 안정적인 검색이 가능한 로그의 인덱싱 방법을 제공하는 것을 목적으로 한다. 그리고 실시간으로 로그의 검색이 가능하도록 구성할 수 있는 로그 인덱싱 방법을 제공하는 것을 목적으로 한다.

본 발명에 의한, 컴퓨터가 수행하는 로그 인덱싱 방법은, (1) 테이블 및 시간을 기준으로 로그 데이터를 분류하여 기록하는 제1 단계와, (2) 테이블별로 로그 식별 정보 및 로그 위치 정보를 기록하는 제2 단계와, (3) 로그를 분석하여 획득한 토큰 정보가 포함되는 텀 파일을 생성하여 기록하는 제3 단계와, (4) 토큰 식별 정보와, 상기 토큰이 출연하는 횟수와, 상기 토큰이 출현하는 로그에서의 시작 위치 정보와, 상기 토큰이 출현하는 태블릿의 개수가 포함되는 인덱스 파일을 생성하여 기록하는 제4 단계와, (5) 상기 토큰이 출현하는 시작 위치 정보에 기초하여, 해당하는 태블릿 식별 정보와, 태블릿별 포스팅 횟수 정보와, 상기 토큰이 출현하는 로그 식별 정보를 포함하는 포스팅 파일을 생성하여 기록하는 제5 단계를 포함한다.

본 발명의 양호한 실시예에 의하면, 상기 제1 단계 내지 제5 단계의 기록은 메모리에서 수행되는 것이 바람직하다.

그리고 소정의 조건 충족시 로그 전체 정보 및 로그 위치 정보를 각 테이블별로 압축하여 영구 기록 장치에 기록하는 제2-1 단계를 더 포함한다.

또한, 각 테이블별로 소정의 주기를 기준으로 로그 전체 정보 및 로그 위치 정보에 관한 파일을 생성하고 해당 주기가 종료하는 시점까지 연속하여 기록하는 제2-2 단계를 더 포함할 수 있다.

본 발명에 의하면 로그의 포맷에 상관없이 신뢰도 있는 로그 검색이 가능한 효과가 있다. 그리고 메모리에 기록한 후에 소정 조건 충족시에 디스크에 기록하기 때문에 빠른 검색이 가능한 장점이 있다. 또한, 로그 수집원에 따라 테이블을 분리하여 저장할 수 있기 때문에, 기간별로 전체 로그에 대한 인텍스가 생성되어 검색할 수 있는 효과가 있다.

도 1은 본 발명에 의한 로그 인덱싱 시스템의 구조도.
도 2는 본 발명에 의한 인덱싱 방법의 수행 과정에서 생성되는 파일의 구조도.
도 3은 다수 검색어의 검색 과정의 흐름도.

이하에서는, 첨부 도면을 참조하여 본 발명의 양호한 실시예에 대해서 설명한다.

도 1에는 본 발명에 의한 로그 인덱싱 방법이 수행되는 시스템의 구조 개념도가 도시되어 있다.

도 1에 도시된 바와 같이 상기 시스템은, 로그 테이블 레지스트리(10)와, 로그 아카이브(20)와, 로그 인덱스 엔진(30)과, 풀텍스트 토크나이저(40; Full Text Tokenizer)와, 로그 리더(50)와, 인-메모리 로그 버퍼(60)와, 인-메모리 인덱스 버퍼(70)와, 인-메모리 인덱스 캐시(80)와, 로그 기록부(90)와, 인덱스 파일 기록부(100)와, 인덱스 파일 리더(110)로 구성된다. 상기 시스템의 구성요소는, 범용적인 하드웨어와 그 기능을 수행하는 소프트웨어의 논리적 결합을 의미하는 것으로 해석되어야 한다. 본 명세서에서 “테이블”은 로그 수집원에 따라 나뉘는 개념이며, “태블릿”은 일자 또는 시간별로 수집되는 로그를 의미한다. 태블릿은 테이블의 구성요소가 된다.

로그 아카이브(20)에는 로그가 기록되며, 로그 테이블 레지스트리(10)는 데이터베이스의 메타 데이터를 관리한다. 로그 리더(50)는, 테이블 및 날짜(시간)별로 로그(태블릿)을 생성한다. 인-메모리 로그 버퍼(60)는 태블릿별로 데이터를 메모리에 버퍼링한다. 그리고 로그 기록부(90)는 주기적으로 플러쉬(Flush) 동작을 수행하여 영구 기록 장치에 로그를 기록한다. “영구 기록 장치”라 함은 하드 디스크와 같이 일단 데이터가 기록된 후에는 삭제 명령이나 물리적 파손 등을 제외하고는 전원 공급 여부와 상관없이 기록된 데이터의 기록상태가 유지되는 장치를 의미한다.

로그 인덱스 엔진(30)은, 테이블별 및 시간별로 생성된 태블릿들에 대해서 인덱싱 작업을 수행한다. 인덱싱 방법의 상세 설명은 후술하기로 한다. 토크나이저(40)는, 테이블별 및 시간별로 생성된 태블릿들에 대해서 토큰을 분리한다. 토큰이라 함은, 로그에서 검색어로 지정되는 단어를 의미한다. 본 발명에 의한 토크나이저(40)는 특수 문자로 구성되어 있는 구분자들은 제거하고 단어를 토큰으로 분리한다.

인-메모리 인덱스 버퍼(70)는 테이블별 일자별로 생성된 인덱스 파일을 버퍼링하고, 인덱스 파일 기록부(100)는 주기적으로 플러쉬 동작을 하고 메모리에 인덱스 파일의 내용을 읽어 들인다.

인-메모리 인덱스 캐시(80)는, 인덱스 파일을 LRU 캐싱(Least Recently Used Caching)한다. 인-메모리 인덱스 리더(110)는 검색 요청이 있을 때 인덱스 파일이 캐시되어 있지 않은 경우에 인덱스 파일을 로딩하는 역할을 수행한다.

다음으로 도 2를 참조하여 인덱스 구조에 대해서 설명하기로 한다.

도 2에 도시된 바와 같이 텀 파일(200)은 토큰 식별정보(210)와, 문자열 길이(220)와, 해당 토큰의 문자열(230)이 포함되도록 생성된다. 그리고 인덱스 파일(300)은, 토큰 식별 정보(210)와, 해당 토큰의 출현 횟수(320)와, 해당 토큰이 출현하는 시작 위치 즉 로그의 오프셋(offset)과, 해당 토큰이 출현하는 태블릿의 개수를 포함하도록 생성된다. 후술하는 포스팅 파일(400)에서, 특정 문자열에 대한 포스팅 목록을 읽어 들이면서 루프를 돌 때에, 끝나는 지점을 판단하기 위해서 태블릿의 개수가 필요하다.

포스팅 파일(400)은, 포스팅 그룹으로 구성되어 있는데, 인덱스 파일(300)에서 특정 토큰의 시작 위치 즉, 로그의 오프셋이 결정되면, 각각의 포스팅 그룹은, 태블릿 키(411; 테블릿 식별 정보와 일자를 포함)와 태블릿별 포스팅 개수(412), 그리고 역순으로 정렬된 로그 식별정보 목록(413, 414,…)를 포함하도록 구성된다. 태블릿별 포스팅 개수(412)는, 해당 태블릿에 상기 토큰이 출현하는 횟수를 의미한다.

포스팅 그룹 자체는 물리적으로 파일에 존재하는 것이 아니라, 최하단의 묶음을 표현하기 위한 논리적 개념이다. 인덱스 파일(300)의 시작 위치(330) 즉 파일의 오프셋부터 태블릿의 포스팅 목록을 태블릿별 포스팅 수만큼 읽어 들이면서, 인덱스 파일(300)의 태블릿 개수만큼 반복하여 읽어들인다.

위와 같은 텀 파일(200), 인덱스 파일(300), 포스팅 파일(400)은 일단 메모리에 기록되어 저장된다. 그러다가 일정 주기가 경과하거나 미리 결정되어 있는 소정 개수 이상의 로그가 쌓이면 플러쉬(Flush) 작업을 수행하여 하드디스크와 같은 영구 기록 장치에 실시간으로 압축하여 저장한다. 영구 기록 장치에 로그와 로그 위치 정보를 기록할 때에는, 각 테이블별로 일정한 주기를 기준으로 파일을 생성한 후 주기가 종료되는 시점까지 이어서 연속적으로 저장한다. 이와 같이 이어서 저장하기 때문에 저장과 동시에 파일을 판독하는 것이 가능하다. 인덱스 파일 및 포스팅 파일도 로그와 동일한 주기를 기준으로 폴더를 만들어 오름차순으로 저장한다.

사용자가 특정 문자열을 검색하려고 입력하면, 이 문자열에 대응하는 토큰 식별 정보가 먼저 확인되고, 이 토큰 식별 정보에 기초하여 인덱스 파일로부터 로그의 시작 위치를 파악한 후에, 포스팅 파일을 통해 해당 문자열 즉 토큰이 위치하는 로그 식별정보를 확인하고, 해당 데이터 파일에서 로그를 추출함으로써 검색이 가능해진다. 본 발명에 의하면, 플러쉬되기 전까지는 인덱스 파일 등이 메모리에 기록되기 때문에, 검색시 메모리에 위치한 인덱스 즉 가장 최근 내용을 먼저 검색하고 하드 디스크 혹은 캐시된 인덱스를 검색하므로 로그를 받는 즉시 전체 로그 검색이 가능해진다.

도 3에는 다수 검색어를 검색할 때의 과정의 흐름도가 도시되어 있다. 다수 문자열을 검색어로 입력하면 먼저 일별 역순으로 인덱스 파일을 로딩한다.(단계S100) 메모리에 기록되어 있는 상태면 메모리에서, 그렇지 않으면 하드 디스크나 캐시된 것에서 로딩한다. 단계(S200)에서는, 전체 검색어의 포스팅 스트림을 개방한다. 구체적으로는, 해당 인덱스에서 모든 검색어의 포스팅 시작 위치(330)를 로딩하며, “AND” 검색이므로 검색어의 포스팅이 하나라도 없으면 인덱스를 건너 뛴다. 단계(S300)에서는, 포스팅 스트림 병합 검색을 수행한다. 구체적으로 설명하면, 모든 포스팅 스트림의 현재 위치 값 중 최소값을 선택하고, 최소가 아닌 스트림은 선택된 최소값을 만날 때까지 순차 검색을 진행한다. 그리고 모든 스트림이 현재 선택된 최소값을 발견하면 검색 결과에 추가하고, 선택된 최소값을 발견하지 못하면 검색 결과수 제한을 만족할 때까지 반복한다. 단계(S300)을 좀 더 구체적으로 예를 들어 설명하면 다음과 같다. 검색어가 세개라고 가정하고 검색을 수행한 결과 다음과 같은 포스팅 목록이 추출된 경우를 상정한다. 아래 숫자는 해당 검색어가 존재하는 로그의 로그 식별자를 의미하며, 더 최근에 저장된 로그의 로그 식별자가 더 큰 숫자를 가지며, 내림 차순으로 정렬된다.

검색어 1에 대한 포스팅 목록: 7 5 4 2 1

검색어 2에 대한 포스팅 목록: 5 2 1

검색어 3에 대한 포스팅 목록: 16 11 4 2

이 경우 검색어 1 내지 검색어 3을 모두 포함하고 있는 로그의 식별자는 “2”이다. 검색을 시작하면 초기에 각 스트림별로 한 개씩 읽어 오게 되는데 로그 식별자 7, 5, 16이 읽힌다. 여기서 최소값 즉 저장된지 가장 오래된 로그의 로그 식별자의 값은 “5”이고, 검색어 1에 대한 포스팅 목록과 검색어 3에 대한 포스팅 목록은 한번 더 읽어들이는데, 그러면 로그 식별자 5와 11이 읽힌다. 이때 최소값인 “5”는 앞서 읽힌 검색어 1의 포스팅 목록의 최소값과 일치하므로, 검색어 3을 한번 더 읽는데 그러면 로그 식별자 “4”가 읽힌다. 이 식별자 “4”는 현재 선택된 최소값보다 작고, 다른 값과 공통되지 않기 때문에 식별자 “4”가 새로운 최소값으로 선택되어 전술한 과정을 반복한다. 그러한 과정을 계속하면 최종적으로 검색어 1 내지 검색어 3을 모두 포함하는 로그 식별자인 “2”가 공통으로 매칭되어 검색 결과로 추출된다. 그리고 각 스트림은 다음 태블릿 키를 하나씩 읽어서 같은 방법으로 대조하는 과정을 반복한다.

인덱스 검색 결과는 포스팅 목록으로 되어(단계(S400)), 단계(S500)에서 포스팅을 이용하여 데이터 파일에서 로그를 추출한다.

이상 첨부 도면을 참조하여 본 발명의 양호한 실시예에 대해서 설명하였지만, 본 발명의 권리범위는 후술하는 특허청구범위에 의해 결정되며, 전술한 실시예 및/또는 첨부 도면에 제한되는 것으로 해석되어서는 아니된다. 그리고 특허청구범위에 기재된 발명의, 당업자에게 자명한 개량, 변경 및/또는 수정도 본 발명의 권리범위에 포함됨이 명백하게 이해되어야 한다.

10: 로그 테이블 레지스트리
20: 로그 아카이브
30: 로그 인덱스 엔진
40: 토크나이저

Claims (5)

1. 컴퓨터가 수행하는 로그 인덱싱 방법에 있어서,
   테이블 및 시간을 기준으로 로그 데이터를 분류하여 기록하는 제1 단계와,
   테이블별로 로그 식별 정보 및 로그 위치 정보를 기록하는 제2 단계와,
   로그를 분석하여 획득한 토큰 정보가 포함되는 텀 파일을 생성하여 기록하는 제3 단계와,
   토큰 식별 정보와, 상기 토큰이 출연하는 횟수와, 상기 토큰이 출현하는 로그에서의 시작 위치 정보와, 상기 토큰이 출현하는 태블릿의 개수가 포함되는 인덱스 파일을 생성하여 기록하는 제4 단계와,
   상기 토큰이 출현하는 시작 위치 정보에 기초하여, 해당하는 태블릿 식별 정보와, 태블릿별 포스팅 횟수 정보와, 상기 토큰이 출현하는 로그 식별 정보를 포함하는 포스팅 파일을 생성하여 기록하는 제5 단계를 포함하는,
   로그 인덱싱 방법.
2. 청구항 1에 있어서,
   상기 제1 단계 내지 제5 단계의 기록은 메모리에서 수행되는,
   로그 인덱싱 방법.
3. 청구항 2에 있어서,
   소정의 조건 충족시 로그 전체 정보 및 로그 위치 정보를 각 테이블별로 압축하여 영구 기록 장치에 기록하는 제2-1 단계를 더 포함하는,
   로그 인덱싱 방법.
4. 청구항 3에 있어서,
   각 테이블별로 소정의 주기를 기준으로 로그 전체 정보 및 로그 위치 정보에 관한 파일을 생성하고 해당 주기가 종료하는 시점까지 연속하여 기록하는 제2-2 단계를 더 포함하는,
   로그 인덱싱 방법.
5. 청구항 1 내지 청구항 4 중 어느 하나의 청구항의 로그 인덱싱 방법에 의해 생성된 파일을 이용하여 컴퓨터가 복수 개의 검색어를 로그에 대해서 검색하는 검색 방법에 있어서,
   상기 포스팅 파일 생성시에 최근에 저장되는 로그에 대해 더 큰 로그 식별자를 부여하는 제6 단계와,
   포스팅 파일에서 상기 각각의 검색어의 포스팅 목록을 읽어 오는 제7 단계와,
   상기 각각의 포스팅 목록에 대해서 가장 최근의 로그 식별자를 추출하는 제8 단계와,
   상기 제8 단계에서 추출된 로그 식별자 중 최소값을 선택하고 최소값이 아닌 포스팅 목록에 대해서는 선택된 최소값을 발견할 때까지 순차 검색을 진행하는 제9 단계와,
   선택된 최소값이 모든 포스팅 목록에 존재하면 검색 결과에 해당 최소값의 로그를 추가시키는 제10 단계와,
   선택된 최소값을 발견하지 못하면 검색 결과 수 제한을 만족할 때까지 상기 제9 단계를 반복하는,
   로그에 대한 복수 개의 검색어 검색 방법.

Images