KR102054303B1 - 로그 데이터 처리 장치 및 방법 - Google Patents

Abstract

로그(log) 데이터의 구조를 정의하기 위한 스키마(schema) 데이터의 관리 방법은 상기 스키마 데이터의 변경 여부를 확인하는 단계; 상기 스키마 데이터가 변경된 것으로 확인된 경우, 상기 변경된 스키마 데이터에 대한 스냅샷 데이터를 획득하는 단계; 및 상기 획득한 스냅샷 데이터를 데이터베이스에 저장하는 단계를 포함할 수 있다.

Description

로그 데이터 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING LOG DATA}

아래의 설명은 로그 데이터 처리 장치 및 방법에 관한 것이다.

로그 데이터는 프로그램 실행 중에 발생하는 각종 이벤트 또는 사용자들 사이에 전달된 메시지 정보와 같이 프로그램이 가동 중에 발생하는 각종 상황에 대한 정보를 포함하는 데이터를 의미한다. 로그 데이터는 데이터 사용 주체의 목적에 따라 다양한 형태로 변환되어 분석되고, 다양한 포멧으로 이종의 데이터베이스에 저장될 수 있다. 로그 데이터는 데이터 이용 주체의 목적에 맞는 데이터 구조를 정의하는 메타 데이터인 스키마 데이터를 통해 변환되어 데이터 이용 주체에게 제공될 수 있다.

일 실시예에 따른 스키마 데이터 관리 방법은, 상기 스키마 데이터의 변경 여부를 확인하는 단계; 상기 스키마 데이터가 변경된 것으로 확인된 경우, 상기 변경된 스키마 데이터에 대한 스냅샷 데이터를 획득하는 단계; 및 상기 획득한 스냅샷 데이터를 데이터베이스에 저장하는 단계를 포함할 수 있다.

일 실시예에 따른 스키마 데이터 관리 방법에서, 상기 스냅샷 데이터를 획득하는 단계는, 상기 스키마 데이터에 새로운 항목이 추가됨으로써 상기 스키마 데이터가 변경된 경우, 변경 전 스키마 데이터에 대응되는 스냅샷 데이터에 상기 새로운 항목이 추가된 스냅샷 데이터를 획득할 수 있다.

일 실시예에 따른 스키마 데이터 관리 방법에서, 상기 스냅샷 데이터를 획득하는 단계는 상기 스키마 데이터에 포함된 기존 항목에 대한 데이터 타입(data type)이 수정됨으로써 상기 스키마 데이터가 변경된 경우, 상기 기존 항목에 대한 데이터 타입이 상기 기존 항목에 대한 데이터 타입과 상기 수정된 데이터 타입 모두를 포함하는 데이터 타입으로 수정된 스냅샷 데이터를 획득할 수 있다.

일 실시예에 따른 로그(log) 데이터의 구조를 정의하기 위한 스키마(schema) 데이터를 이용하여 로그 데이터를 처리하는 데이터 처리 방법은 입력 로그 데이터를 수신하는 단계; 상기 입력 로그 데이터를 처리하기 위한 스키마 데이터를 조회하는 단계; 및 상기 조회된 스키마 데이터에 기초하여 상기 입력 로그 데이터를 처리하는 단계를 포함할 수 있다.

일 실시예에 따른 데이터 처리 방법에서, 상기 스키마 데이터를 조회하는 단계는, 상기 입력 로그 데이터에 대응되는 스냅샷 데이터를 획득하는 단계; 상기 획득한 스냅샷 데이터에 기초하여 상기 입력 로그 데이터에 대응되는 스키마 데이터를 획득하는 단계를 포함할 수 있다.

일 실시예에 따른 데이터 처리 방법에서, 상기 스키마 데이터를 조회하는 단계는, 상기 조회된 스키마 데이터의 변경 여부를 확인하는 단계; 상기 조회된 스키마 데이터가 변경된 것으로 확인된 경우, 상기 변경된 스키마 데이터에 대한 스냅샷 데이터를 획득하는 단계; 및 상기 변경된 스키마 데이터에 기초하여 생성된 데이터 테이블을 획득하는 단계를 더 포함하고, 상기 로그 데이터를 처리하는 단계는, 상기 획득한 스냅샷 데이터에 대응되는 변경된 스키마 데이터 및 상기 생성된 데이터 테이블에 기초하여 로그 데이터를 처리할 수 있다.

일 실시예에 따른 데이터 처리 장치는 입력 로그 데이터를 수신하는 수신부; 데이터베이스에 저장된 스냅샷 데이터에 기초하여 입력 로그 데이터를 처리하는 프로세서; 데이터 채널 정보, 날짜 정보, 게임 클라이언트 프로그램의 종류 및 상기 게임 클라이언트 프로그램의 버전에 기초하여 식별되는, 스키마 데이터의 항목에 대한 정보를 포함하는 상기 스냅샷 데이터를 저장하는 데이터베이스를 포함할 수 있다.

일 실시예에 따른 데이터 처리 장치의 프로세서는, 상기 데이터베이스에 저장된 스냅샷 데이터에 기초하여, 상기 수신부를 통해 수신한 상기 입력 로그 데이터에 대응되는 스키마 데이터를 획득하고, 상기 획득한 스키마 데이터에 기초하여, 상기 입력 로그 데이터를 처리하는, 데이터 처리 장치.

일 실시예에 따른 데이터 처리 장치의 프로세서는, 상기 획득한 스키마 데이터가 변경된 것으로 확인된 경우, 상기 변경된 스키마 데이터에 대응되는 스냅샷 데이터를 획득하고, 상기 변경된 스키마 데이터에 기초하여 데이터 테이블을 획득하고, 상기 획득한 스냅샷 데이터 및 데이터 테이블을 상기 데이터베이스에 저장하고, 상기 획득한 스냅샷 데이터에 대응되는 상기 변경된 스키마 데이터 및 상기 데이터 테이블에 기초하여 상기 입력 로그 데이터를 처리할 수 있다.

도 1은 일 실시예에 따른 스냅샷 데이터에 기초한 스키마 데이터 관리 방법의 동작을 설명하기 위한 흐름도이다.
도 2a는 일 실시예에 따른 스키마 데이터의 구조 및 스키마 데이터의 일례를 도시하는 도면이다.
도 2b 및 도 2c는 일 실시예에 따른 스키마 데이터의 스냅샷 데이터의 구조 및 스냅샷 데이터의 일례를 도시하는 도면들이다.
도 3a는 일 실시예에 따른 스키마 데이터를 이용하여 로그 데이터를 처리하는 데이터 처리 방법을 설명하기 위한 흐름도이다.
도 3b는 처리된 로그 데이터가 적재된 데이터 테이블의 일례를 도시하는 도면이다.
도 4는 일실시예에 따른 데이터 처리 장치의 전체적인 구성을 도시하는 도면이다.
도 5는 일 실시예에 따른 데이터 처리 방법의 동작을 데이터 레이크(data lake) 측과 채널 측으로 구분하여 도시한 도면이다.

실시예들에 대한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 본 명세서의 범위는 개시된 실시예들의 특정한 형태로 한정되는 것이 아니라 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

로그 데이터에 대한 스키마 데이터의 스냅샷(snap shot) 데이터에 기반한 로그 데이터 처리 시스템은 다양한 버전의 게임 클라이언트 프로그램에 기초하여 생성되는 다양한 형태의 로그 데이터를 스키마 데이터에 기초하여 처리하고, 게임 서비스에서 생성된 로그 데이터를 개별적인 목적에 따라 처리하는 다양한 데이터 채널에서 요구되는 데이터 포멧의 로그 데이터를 각각의 데이터 채널에 제공할 수 있다.

업데이트 주기가 빠른 모바일 게임 서비스는 모든 게임 클라이언트 프로그램에 강제적으로 적용되는 업데이트가 아닌 자율적인 업데이트에 기인하여, 서로 다른 버전의 게임 클라이언트 프로그램을 통해 각각의 사용자 단말에 제공될 수 있다. 따라서 동일한 게임 서비스에 대해서도 다양한 형태의 로그 데이터가 생성될 수 있고, 다양한 형태의 로그 데이터를 처리하는 방법이 요구된다. 또한, 게임 서비스에서 생성되는 로그 데이터를 통해 작업을 수행하는 데이터 채널이 다양화되고 있고, 각각의 데이터 채널의 요구 사항에 따라 로그 데이터의 구조를 정의하는 스키마 데이터의 변경이 요구된다.

스냅샷 데이터에 기반한 로그 데이터 처리 시스템은 스키마 데이터에 대한 스냅샷 데이터를 날짜, 데이터 채널, 게임 클라이언트 프로그램의 종류, 게임 클라이언트 프로그램의 버전으로 식별하여 관리함으로써, 다양한 버전의 게임 클라이언트 프로그램으로부터 생성되는 로그 데이터를 스냅샷 데이터로부터 획득한 스키마 데이터를 통해 처리하고, 각각의 데이터 채널의 요구 사항을 충족하는 데이터 포멧의 로그 데이터를 각각의 데이터 채널에 제공할 수 있다.

스키마 데이터는 로그 데이터의 구조를 정의하기 위한 데이터로써, 복수의 항목 및 각각의 항목에 대응되는 데이터 타입에 대한 정보를 포함할 수 있다. 로그 데이터는 스키마 데이터에 포함된 복수의 항목 및 각각의 항목에 대한 데이터 타입에 기초하여 변환되어 데이터 채널에 전달될 수 있다. 스키마 데이터의 예시는 도 2a를 통해 제시되며, 이에 대해서는 후술한다.

스냅샷 데이터는 특정한 시점의 스키마 데이터를 저장하고 조회하기 위한 데이터로써, 해당 시점의 스키마 데이터에 대한 정보를 포함할 수 있다. 또한, 스냅샷 데이터는 처리된 로그 데이터가 제공될 데이터 채널 정보, 날짜 정보, 게임 클라이언트 프로그램의 종류 및 게임 클라이언트 프로그램의 버전에 따라 식별된 스키마 데이터에 대한 정보를 포함할 수 있다. 스냅샷 데이터의 예시는 도 2b 및 도 2c를 통해 제시되며, 이에 대해서는 후술한다.

먼저, 도 1은 일 실시예에 따른 스냅샷 데이터에 기초한 스키마 데이터 관리 방법의 동작을 설명하기 위한 흐름도이다.

도 1을 참조하면, 단계(110)에서 스키마 데이터 관리 장치는, 스키마 데이터의 변경 여부를 확인할 수 있다. 스키마 데이터 관리 장치는 입력 로그 데이터에 대응되는 스키마 데이터의 변경 여부를 확인하는 절차를 통해 스키마 데이터의 동질성의 유지가 요구되는 최소 단위의 기간 내에 스키마 데이터의 변경 여부를 확인할 수 있다. 예를 들어, 동질성 유지가 요구되는 최소 단위가 하루인 경우, 하루 동안에 스키마 데이터의 변경 여부가 확인될 수 있다. 동질성 유지가 요구되는 최소 단위가 하루인 경우, 각 일자 별 초기 스냅샷 데이터는 전날의 스냅샷 데이터를 복제한 뒤 현재 스키마 데이터의 정의와 비교를 통해 수정함으로써 생성될 수 있다.

초기 스냅샷 데이터의 생성 방식은 아래에서 설명되는 변경된 스키마 데이터에 대한 스냅샷 획득 방식과 동일한 방식에 따라 수행될 수 있다. 또한, 스키마 데이터의 변경은 기존 스키마 데이터에 새로운 항목이 추가되거나, 기존 항목의 데이터 타입이 변경되는 것일 수 있다. 또한, 스키마 데이터의 변경은 데이터 채널 별로 이루어질 수 있고, 일 데이터 채널 상의 스키마 데이터의 변경은, 다른 데이터 채널의 스키마 데이터에 영향을 미치지 않는다. 일 데이터 채널의 스키마 데이터의 변경이 다른 데이터 채널에 영향을 미치지 않기 때문에, 데이터 채널 별 요구 사항에 기초하여 독립적으로 스키마 데이터가 변경됨으로써, 각각의 채널의 분석 목적에 부합되는 포멧으로 변환된 로그 데이터가 각각의 채널에 제공될 수 있고, 목적에 따라 포멧 변화를 통해 변환된 로그 데이터가 이종의 데이터베이스에 저장될 수 있다. 또한, 일 데이터 채널의 장애가 다른 데이터 채널에 영향을 미치지 않으므로 보다 효과적인 데이터 채널 운용이 가능해질 수 있다.

단계(120)를 통해 스키마 데이터가 변경되지 않은 것으로 확인된 경우, 스키마 데이터 관리 장치는 별도의 동작을 수행하지 않고, 스키마 데이터는 로그 데이터 처리에 사용될 수 있다. 단계(120)를 통해 스키마 데이터가 변경된 것으로 확인된 경우, 스키마 데이터 관리 장치는 단계(130)를 통해 변경된 스키마 데이터에 대한 스냅샷 데이터를 획득할 수 있다.

일 실시예에 따르면, 스키마 데이터가 새로운 항목이 추가됨으로써 변경된 경우, 스키마 데이터 관리 장치는 변경 전 스키마 데이터에 대응하여 데이터베이스에 저장된 스냅샷 데이터에 새로운 항목에 대한 데이터가 추가된 스냅샷 데이터를 획득할 수 있다.

다른 실시예에 따르면, 스키마 데이터에 포함된 기존 항목에 대한 데이터 타입이 수정됨으로써 스키마 데이터가 변경된 경우, 스키마 데이터 관리 장치는 기존 항목에 대한 데이터 타입이 기존 항목에 대한 데이터 타입 및 수정된 데이터 타입 모두를 포함하는 데이터 타입으로 수정된 스냅샷 데이터를 획득할 수 있다. 예를 들어, 기존 스키마 데이터의 일 항목의 데이터 타입이 INT에 해당하는 데이터 타입이었으나, 일 항목의 데이터 타입이 VARCHAR(5)에 해당하는 데이터 타입으로 변경된 경우, 스키마 데이터 관리 장치는 일 항목의 데이터 타입을 INT 및 VARCHAR(5) 모두를 포함하는 데이터 타입인 VARCHAR(11)에 해당하는 데이터 타입으로 변경(즉, VARCHAR(5) + INT → VARCHAR(11)으로 변경)할 수 있다.

단계(140)에서, 스키마 데이터 관리 장치는 단계(130)를 통해 획득한 스냅샷 데이터를 데이터베이스에 저장할 수 있다. 획득한 스냅샷 데이터는 스키마 데이터가 변경되더라도 데이터베이스에서 삭제되지 않고, 입력 로그 데이터를 처리하는 데에 사용될 수 있다. 예를 들어, 과거 시점에 대응되는 로그 데이터가 입력된 경우, 입력된 과거 시점에 대응되는 로그 데이터는 데이터베이스에 저장된 해당 과거 시점에 대응되는 스냅샷 데이터에 기초하여 처리될 수 있다.

도 2a는 일 실시예에 따른 스키마 데이터의 구조 및 스키마 데이터의 일례를 도시하는 도면이다.

도 2a의 파트(210)을 참조하면, 스키마 데이터는 복수의 항목들의 리스트(211)로 구성될 수 있다. 또한, 각각의 항목들은 대응되는 데이터 타입에 대한 정보를 포함할 수 있다. 예를 들어, 도 2a의 파트(212)를 참조하면, 스키마 데이터는 game code, channel ID, character, level 등의 항목들의 리스트(213)로 구성될 수 있고, 각각의 항목들은 대응되는 데이터 타입에 대한 정보를 포함할 수 있다. 예를 들어, game code 항목은 varchar(45) 데이터 타입에 대응될 수 있고, Channel ID는 varchar(45) 데이터 타입에 대응될 수 있다. 또한, 스키마 데이터는 각각의 항목의 순서에 대한 정보를 포함할 수 있다. 예를 들어, 각 항목이 배열된 순서에 따라 game code, channel ID, character, level 순서로 항목에 순서가 부여될 수 있다.

도 2b 및 도 2c는 일 실시예에 따른 스키마 데이터의 스냅샷 데이터의 구조 및 스냅샷 데이터의 일례를 도시하는 도면들이다.

도 2b의 파트(220)를 참조하면, 스냅샷 데이터는 스키마 데이터에 포함된 항목들에 대한 정보(221)를 포함할 수 있다. 스키마 데이터에 포함된 항목들에 대한 정보(221)는 스냅샷 데이터를 식별하는 스냅샷 아이디(Snapshot_ID)에 대한 정보를 포함할 수 있다. 예를 들어, 도 2b의 파트(222)를 참조하면, 정보(223)는 날짜 정보에 해당하는 20170707, 데이터 채널 정보에 해당하는 bigquery, 게임 클라이언트 프로그램 종류에 해당하는 lineageii 및 게임 클라이언트 프로그램의 버전에 해당하는 1.0으로 식별되는 스냅샷 아이디에 대한 정보와 스키마 데이터의 world 항목의 데이터 타입이 varchar(45)임을 나타내는 정보를 포함하고 있다. 또한, 스냅샷 데이터는 도 2c과 같이 표(231)의 형태로 저장될 수 있다.

도 3a는 일 실시예에 따른 스키마 데이터를 이용하여 로그 데이터를 처리하는 데이터 처리 방법을 설명하기 위한 흐름도이다.

도 3a를 참조하면, 단계(310)에서 데이터 처리 장치는 입력 로그 데이터를 수신할 수 있다.

단계(320)에서, 데이터 처리 장치는 수신한 입력 로그 데이터를 처리하기 위한 스키마 데이터를 조회할 수 있다. 스키마 데이터의 조회는 데이터 채널에 따라 개별적으로 수행될 수 있다. 일 실시예에 따르면, 데이터 처리 장치는, 입력 로그 데이터에 대응하는 스냅샷 데이터를 획득하고, 획득한 스냅샷 데이터에 기초하여 입력 로그 데이터에 대응되는 스키마 데이터를 획득함으로써, 스키마 데이터를 조회할 수 있다. 예를 들어, 스냅샷 데이터의 데이터 채널 정보, 날짜 정보, 게임 클라이언트 프로그램의 종류에 대한 정보 및 게임 클라이언트 프로그램의 버전 정보를 포함하는 스냅샷 아이디에 기초하여 입력 로그 데이터에 대응되는 스냅샷 데이터가 획득될 수 있고, 획득한 스냅샷 데이터에 포함된 스키마 데이터의 항목들에 대한 정보에 기초하여 입력 로그 데이터에 대응되는 스키마 데이터가 획득될 수 있다. 스냅샷 데이터에 포함된 스키마 데이터의 항목들에 대한 정보는 각각의 항목들의 등록 시간에 대한 정보를 포함할 수 있고, 각각의 항목들의 등록 시간의 순서에 기초하여 각각의 항목들의 순서가 정렬된 스키마 데이터가 획득될 수 있다.

단계(330)에서는, 단계(320)에서 조회된 스키마 데이터의 변경 여부가 확인될 수 있다. 예를 들어, 각각의 스키마 데이터는 데이터 채널의 요구 사항에 따라 다양한 주체에 의해 임의의 시점에서 변경될 수 있으므로, 스키마 데이터의 변경 내역에 대한 정보가 반영되지 않은 스냅샷 데이터에 기초하여 스키마 데이터가 조회된 경우, 단계(330)의 과정을 통해 조회된 스키마 데이터가 변경된 것으로 확인될 수 있다. 단계(330)를 통해 스키마 데이터의 변경 사항이 빠짐 없이 로그 데이터 처리 과정에 반영될 수 있고, 스키마 데이터 변경에 따른 데이터 처리의 장애가 방지할 수 있다.

단계(330)에서 조회된 스키마 데이터가 변경되지 않은 것으로 확인된 경우, 데이터 처리 장치는 단계(370)를 통해 조회된 스키마 데이터에 기초하여 입력 로그 데이터를 처리할 수 있다. 단일 데이터 테이블 방식에 기초하여 입력 로그 데이터를 처리하는 일 실시예에 따르면, 데이터 처리 장치는 조회된 스키마 데이터에 기초하여 입력 로그 데이터를 변환하고, 조회된 스키마 데이터에 대응하여 데이터베이스에 저장된 데이터 테이블에 변환된 로그 데이터를 적재할 수 있다. 복수의 데이터 테이블을 생성하고 병합하는 방식에 기초하여 입력 로그 데이터를 처리하는 다른 실시예에 따르면, 데이터 처리 장치는 조회된 스키마 데이터에 대응하는 신규 데이터 테이블을 생성하고, 조회된 스키마 데이터에 기초하여 입력 로그 데이터를 변환하고, 변환된 입력 로그 데이터를 생성된 신규 데이터 테이블에 적재할 수 있다. 또한, 복수의 데이터 테이블을 생성하고 병합하는 방식을 따르는 경우, 데이터 처리 장치는 미리 설정된 기간 동안 생성되어 데이터가 적재된 데이터 테이블들을 병합함으로써 단일 데이터 테이블을 생성할 수 있다.

단계(330)에서 조회된 스키마 데이터가 변경된 것으로 확인된 경우, 데이터 처리 장치는 단계(340)에서 변경된 스키마 데이터에 대한 스냅샷 데이터를 획득할 수 있다. 일 실시예에 따르면, 스키마 데이터가 새로운 항목이 추가됨으로써 변경된 경우, 데이터 처리 장치는 변경 전 스키마 데이터에 대응하여 데이터베이스에 저장된 스냅샷 데이터에 새로운 항목에 대한 데이터가 추가된 스냅샷 데이터를 획득할 수 있다. 다른 실시예에 따르면, 스키마 데이터에 포함된 기존 항목에 대한 데이터 타입이 수정됨으로써 스키마 데이터가 변경된 경우, 데이터 처리 장치는 기존 항목에 대한 데이터 타입이 기존 항목에 대한 데이터 타입 및 수정된 데이터 타입 모두를 포함하는 데이터 타입으로 수정된 스냅샷 데이터를 획득할 수 있다. 데이터 타입이 수정된 스냅샷 데이터를 획득하는 과정을 통해, 복수의 데이터 타입으로 로그 데이터가 입력되는 상황에서, 입력되는 복수의 데이터 타입의 로그 데이터가 누락 없이 처리될 수 있다.

단일 데이터 테이블 방식에 기초하여 입력 로그 데이터를 처리하는 일 실시예에 따르면, 단계(350)에서, 데이터 처리 장치는 변경된 스키마 데이터에 기초하여 데이터 테이블을 획득할 수 있다. 일 실시예에 따르면, 스키마 데이터에 새로운 항목이 추가됨으로써 스키마 데이터가 변경된 경우, 데이터 처리 장치는 변경 전 스키마 데이터에 대응되는 데이터 테이블에 상기 새로운 항목을 추가함으로써 생성된 데이터 테이블을 획득할 수 있다. 예를 들어, 데이터 처리 장치는 새로운 항목에 해당하는 컬럼(column)을 기존 데이터 테이블에 추가할 수 있다. 또한 새롭게 추가되는 컬럼은 각 컬럼들의 생성 순서를 고려하여 가장 바깥쪽 열에 생성될 수 있다. 다른 실시예에 따르면, 스키마 데이터에 포함된 기존 항목에 대한 데이터 타입(data type)이 수정됨으로써 스키마 데이터가 변경된 경우, 변경 전 스키마 데이터에 대응되는 데이터 테이블을 백업하고, 변경된 스키마 데이터에 기초하여 생성된 신규 데이터 테이블을 획득할 수 있다. 신규 데이터 테이블에서 데이터 타입이 변경된 항목에 대한 데이터 타입은 기존 데이터 타입 및 변경된 데이터 타입을 모두 포함할 수 있는 데이터 타입으로 결정될 수 있다. 예를 들어, 기존 스키마 데이터의 일 항목의 데이터 타입이 INT에 해당하는 데이터 타입이었으나, 일 항목의 데이터 타입이 VARCHAR(5)에 해당하는 데이터 타입으로 변경된 경우, 데이터 처리 장치는 신규 데이터 테이블의 변경된 일 항목에 대한 데이터 타입을 INT 및 VARCHAR(5) 모두를 포함할 수 있는 VARCHAR(11)에 해당하는 데이터 타입으로 변경(즉, VARCHAR(5) + INT → VARCHAR(11)으로 변경)함으로써 생성된 신규 데이터 테이블을 획득할 수 있다. 데이터 타입이 변경된 데이터 테이블을 통해 데이터 처리 장치는 이종의 데이터 타입의 형태의 로그 데이터를 유실 없이 적재할 수 있고, 데이터 유실로 인한 재처리 시간을 단축시킬 수 있다.

단일 데이터 테이블 방식에 기초하여 입력 로그 데이터를 처리하는 일 실시예에 따르면, 단계(360)에서, 데이터 처리 장치는, 획득한 스냅샷 데이터에 대응하는 변경된 스냅샷 데이터 및 획득한 데이터 테이블에 기초하여 로그 데이터를 처리할 수 있다. 데이터 처리 장치는 변경된 스냅샷 데이터에 기초하여 입력 로그 데이터를 변환하고, 획득한 데이터 테이블에 변환된 입력 로그 데이터 및 변경 전 스키마 데이터에 대응하는 데이터 테이블에 적재된 기존 데이터를 적재할 수 있다. 기존 데이터는 새롭게 획득한 데이터 테이블에 기초하여 재처리가 진행될 수 있다.

복수의 데이터 테이블을 생성하고 병합하는 방식에 기초하여 입력 로그 데이터를 처리하는 다른 실시예에 따르면, 단계(350)에서, 데이터 처리 장치는 변경된 스키마 데이터에 기초하여 신규 데이터 테이블을 획득할 수 있다. 예를 들어, 복수의 데이터 테이블을 생성하고 병합하는 방식은 스키마 데이터의 변경 여부와 관계 없이, 입력 로그 데이터에 대응하는 개별적인 신규 데이터 테이블을 생성하고, 미리 설정된 기간 동안 생성되고 데이터가 적재된 신규 데이터 테이블들을 병합하는 과정을 통해 미리 설정된 기간 별 단일 데이터 테이블을 생성할 수 있다. 예를 들어, 미리 설정된 기간이 하루라면, 하루 동안 생성된 데이터 테이블을 병합함으로써, 일자별 단일 데이터 테이블이 생성될 수 있다.

복수의 데이터 테이블을 생성하고 병합하는 방식에 기초하여 입력 로그 데이터를 처리하는 다른 실시예에 따르면, 단계(360)에서, 데이터 처리 장치는 획득한 스냅샷 데이터에 대응하는 변경된 스냅샷 데이터 및 획득한 신규 데이터 테이블에 기초하여 입력 로그 데이터를 처리할 수 있다. 예를 들어, 데이터 처리 장치는 변경된 스냅샷 데이터에 대응하는 변경된 스키마 데이터에 기초하여 입력 로그 데이터를 변환하고, 입력 로그 데이터에 대응하여 생성된 신규 데이터 테이블에 변환된 입력 로그 데이터를 적재할 수 있다. 데이터 처리 장치는 미리 설정된 주기 동안 생성되고, 변환된 입력 로그 데이터가 적재된 데이터 테이블들을 병합함으로써 단일 데이터 테이블을 생성할 수 있다. 예를 들어, 미리 설정된 기간이 하루라면, 하루 동안 생성되고, 로그 데이터가 적재된 데이터 테이블을 병합함으로써, 데이터 처리 장치는 일자별 단일 데이터 테이블이 생성할 수 있다. 또한, 이종의 데이터 타입으로 정의된 항목이 데이터 테이블에 존재한다면, 데이터 처리 장치는 이종 타입으로 정의된 항목의 데이터 타입을 이종의 데이터 타입을 모두 포함하는 데이터 타입으로 결정함으로써 단일 데이터 테이블을 생성할 수 있다.

일 실시예에 따르면, 일 데이터 채널에서의 스키마 데이터의 변경은 다른 데이터 채널에 영향을 미치지 않는다. 각각의 데이터 채널의 스키마 데이터의 변경이 다른 데이터 채널에 영향을 미치지 않기 때문에, 데이터 처리 장치는 각각의 데이터 채널의 요구 사항에 부합하는 로그 데이터 처리 결과를 각각의 데이터 채널에 제공할 수 있다.

일 실시예에 따르면, 입력 로그 데이터가 과거 시점의 로그 데이터에 해당되는 경우, 입력 로그 데이터는 해당 과거 시점에 대응되는 스냅샷 데이터에 기초하여 처리될 수 있다. 채널 별로 처리된 로그 데이터의 이력을 모두 데이터베이스에 저장해 두는 것은 비효율적이므로, 스냅샷 데이터가 영구적으로 데이터베이스에 저장되는 특징에 기초하여, 재처리를 위해 입력되는 과거 로그 데이터를 데이터베이스에 저장된 과거 시점의 스냅샷 데이터에 기초하여 과거 시점과 동일하게 처리함으로써 데이터베이스가 효율적으로 사용될 수 있다.

도 3b는 처리된 로그 데이터가 적재된 데이터 테이블의 일례를 도시하는 도면이다.

도 3b를 참조하면, 스키마 데이터에 기초하여 처리된 입력 로그 데이터가 데이터 테이블에 순서대로 구성되어 있다. 처리된 입력 로그 데이터는 6개의 항목을 포함하고, 데이터(381), 데이터(382), 데이터(383)의 순서로 구성되어 있다.

도 4는 일실시예에 따른 데이터 처리 장치의 전체적인 구성을 도시하는 도면이다.

도 4를 참조하면, 데이터 처리 장치(400)는 입력 로그 데이터를 수신하는 수신부(410), 데이터 채널 정보, 날짜 정보, 게임 클라이언트 프로그램의 종류 및 게임 클라이언트 프로그램의 버전에 기초하여 식별되는, 스키마 데이터의 항목에 대한 정보를 포함하는 스냅샷 데이터를 저장하는 데이터베이스(430), 데이터베이스(430)에 스냅샷 데이터에 기초하여 입력 로그 데이터를 처리하는 프로세서(420)를 포함할 수 있다.

일 실시예에 따르면, 프로세서(420)는 데이터베이스(430)에 저장된 스냅샷 데이터에 기초하여, 수신부(410)를 통해 수신한 입력 로그 데이터에 대응되는 스키마 데이터를 획득하고, 획득한 스키마 데이터에 기초하여 입력 로그 데이터를 처리할 수 있다.

일 실시예에 따르면, 프로세서(420)는 획득한 스키마 데이터가 변경된 것으로 확인된 경우, 변경된 스키마 데이터에 대응되는 스냅샷 데이터를 획득하고, 변경된 스키마 데이터에 기초하여 데이터 테이블을 획득하고, 획득한 스냅샷 데이터 및 데이터 테이블을 데이터베이스(430)에 저장하고, 획득한 스냅샷 데이터에 대응되는 변경된 스키마 데이터 및 데이터 테이블에 기초하여 입력 로그 데이터를 처리할 수 있다.

데이터 처리 장치(400)이 스키마 데이터를 관리하고, 로그 데이터를 처리하는 방식에 대해서는 도 1 및 도 3을 통해 설명된 내용을 참조할 수 있다.

도 5는 일 실시예에 따른 데이터 처리 방법의 동작을 데이터 레이크(data lake)측과 채널 측으로 구분하여 도시한 도면이다.

도 5를 참조하면, 복수 버전의 클라이언트로부터의 로우 데이터(raw data)(511)는 데이터 레이크 측에서 처리되어 채널 측에 변환된 데이터(513)로 제공될 수 있다. 변환된 데이터(513)은 각 채널별로 존재하는 데이터 테이블(560)에 적재될 수 있다. 여기서 로우 데이터(511)는 명세서에서 설명된 입력 로그 데이터에 대응될 수 있다.

데이터 레이크 측에서, 로우 데이터(511)가 입력된 경우, 데이터-스키마 맵퍼(data schema mapper)(510)는 스키마 관리 컨트롤러(schema management controller)(520)에 최신 스키마 데이터 조회를 요청할 수 있다. 최신 스키마 데이터의 조회는 채널 별로 수행될 수 있으며, 채널별 스냅샷 데이터(550)로부터 로우 데이터(511)에 대응되는 스냅샷 데이터를 획득하고, 획득한 스냅샷 데이터에 기초하여 최신 스키마 데이터를 획득함으로써 최신 스키마 데이터 조회가 수행될 수 있다. 스키마 관리 컨트롤러(520)는 스키마 스냅샷 핸들러(schema snapshot handler)(530)에 조회된 최신 스키마 데이터가 변경되었는지 여부를 확인해 줄 것을 요청할 수 있다. 스키마 데이터는 사용자가 임의의 시점에 스키마 관리 콘솔(schema management console)(531)을 통해 변경할 수 있으므로, 각각의 로우 데이터(511)의 변환 절차에서 스키마 스냅샷 핸들러(530)을 통해 조회된 최신 스키마 데이터가 변경되었는지 여부가 확인되는 절차가 수행될 수 있다. 조회된 최신 스키마 데이터가 변경되지 않은 것으로 확인된 경우, 데이터-스키마 맵퍼(510)는 조회된 최신 스키마 데이터에 기초하여 로우 데이터(511)을 변환하여 채널 측에 전달할 수 있다. 조회된 최신 스키마 데이터가 변경된 것으로 확인된 경우, 변경 유형에 따라 스키마 스냅샷 핸들러(520)를 통해 변경된 스키마 데이터에 대응하는 스냅샷 데이터를 획득할 수 있다. 변경된 스키마 데이터에 기초하여 스냅샷 데이터를 획득하는 방식은 도 1을 통해 자세히 설명되었다.

변경된 스키마 데이터에 대한 스냅샷 데이터가 획득된 경우, 스키마 관리 컨트롤러(520)는 채널 테이블 핸들러(channel table handler)(540)를 통해 변경된 스키마 데이터에 대응하는 데이터 테이블을 획득할 것을 요청할 수 있다.

데이터 스키마 맵퍼(510)는 획득한 스냅샷 데이터에 기초하여 로우 데이터(511)를 변환한 변환 데이터(513)을 생성하여 채널 측에 전달할 수 있다. 변환된 데이터(513)는 획득한 데이터 테이블에 적재될 수 있다. 변경된 스키마 데이터에 대응하는 데이터 테이블을 획득하고, 획득한 데이터 테이블에 변환된 로우 데이터를 적재하는 방식에 대해서는 도 3의 설명을 참조할 수 있다.

실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에서 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

1. 로그(log) 데이터의 구조를 정의하기 위한 스키마(schema) 데이터의 관리 방법에 있어서,
   상기 스키마 데이터의 변경 여부를 확인하는 단계;
   상기 스키마 데이터가 변경된 것으로 확인된 경우, 상기 변경된 스키마 데이터에 대한 스냅샷 데이터를 획득하는 단계;
   상기 스키마 데이터가 변경된 것으로 확인된 경우, 상기 변경된 스키마 데이터에 기초하여 생성된 데이터 테이블을 획득하는 단계; 및
   상기 획득한 스냅샷 데이터를 데이터베이스에 저장하는 단계를 포함하고,
   상기 데이터 테이블을 획득하는 단계는,
   상기 스키마 데이터에 포함된 기존 항목에 대한 데이터 타입(data type)이 수정됨으로써 상기 스키마 데이터가 변경된 경우, 변경 전 스키마 데이터에 대응되는 데이터 테이블을 백업하고, 상기 변경된 스키마 데이터에 기초하여 생성된 신규 데이터 테이블을 획득하는,
   스키마 데이터의 관리 방법.
2. 제1항에 있어서,
   상기 스냅샷 데이터를 획득하는 단계는,
   상기 스키마 데이터에 새로운 항목이 추가됨으로써 상기 스키마 데이터가 변경된 경우, 변경 전 스키마 데이터에 대응되는 스냅샷 데이터에 상기 새로운 항목이 추가된 스냅샷 데이터를 획득하는, 스키마 데이터 관리 방법.
3. 제1항에 있어서,
   상기 스냅샷 데이터를 획득하는 단계는,
   상기 스키마 데이터에 포함된 기존 항목에 대한 데이터 타입(data type)이 수정됨으로써 상기 스키마 데이터가 변경된 경우,
   상기 기존 항목에 대한 데이터 타입이 상기 기존 항목에 대한 데이터 타입과 상기 수정된 데이터 타입 모두를 포함하는 데이터 타입으로 수정된 스냅샷 데이터를 획득하는, 스키마 데이터 관리 방법.
4. 제1항에 있어서,
   상기 스냅샷 데이터는,
   데이터 채널 정보, 날짜 정보, 게임 클라이언트 프로그램의 종류 및 상기 게임 클라이언트 프로그램의 버전에 기초하여 식별되어 관리되는, 스키마 데이터 관리 방법.
5. 제1항에 있어서,
   일 데이터 채널에 대한 스키마 데이터의 변경은,
   다른 데이터 채널에 대한 스키마 데이터에 영향을 미치지 않는, 스키마 데이터 관리 방법.
6. 로그(log) 데이터의 구조를 정의하기 위한 스키마(schema) 데이터를 이용하여 로그 데이터를 처리하는 데이터 처리 방법에 있어서,
   입력 로그 데이터를 수신하는 단계;
   상기 입력 로그 데이터를 처리하기 위한 스키마 데이터를 조회하는 단계; 및
   상기 조회된 스키마 데이터에 기초하여 상기 입력 로그 데이터를 처리하는 단계를 포함하고,
   상기 입력 로그 데이터를 처리하는 단계는,
   상기 입력 로그 데이터가 과거 시점의 로그 데이터에 해당되는 경우, 상기 입력 로그 데이터를 상기 과거 시점에 대응되는 스냅샷 데이터를 기초하여 처리하는, 데이터 처리 방법.
7. 제6항에 있어서,
   상기 스키마 데이터를 조회하는 단계는,
   상기 입력 로그 데이터에 대응되는 스냅샷 데이터를 획득하는 단계;
   상기 획득한 스냅샷 데이터에 기초하여 상기 입력 로그 데이터에 대응되는 스키마 데이터를 획득하는 단계
   를 포함하는, 데이터 처리 방법.
8. 제6항에 있어서,
   상기 스키마 데이터를 조회하는 단계는,
   상기 조회된 스키마 데이터의 변경 여부를 확인하는 단계;
   상기 조회된 스키마 데이터가 변경된 것으로 확인된 경우, 상기 변경된 스키마 데이터에 대한 스냅샷 데이터를 획득하는 단계; 및
   상기 변경된 스키마 데이터에 기초하여 생성된 데이터 테이블을 획득하는 단계
   를 더 포함하고,
   상기 로그 데이터를 처리하는 단계는,
   상기 획득한 스냅샷 데이터에 대응되는 변경된 스키마 데이터 및 상기 생성된 데이터 테이블에 기초하여 로그 데이터를 처리하는, 데이터 처리 방법.
9. 제8항에 있어서,
   상기 로그 데이터를 처리하는 단계는,
   상기 변경된 스키마 데이터에 기초하여 상기 입력 로그 데이터를 변환하고,
   상기 획득한 데이터 테이블에 상기 변환된 입력 로그 데이터 및 변경 전 스키마 데이터에 대응하는 데이터 테이블에 적재된 기존 데이터를 적재하는, 데이터 처리 방법.
10. 제8항에 있어서,
    상기 데이터 테이블을 획득하는 단계는,
    상기 스키마 데이터에 새로운 항목이 추가됨으로써 상기 스키마 데이터가 변경된 경우, 변경 전 스키마 데이터에 대응되는 데이터 테이블에 상기 새로운 항목을 추가함으로써 생성된 데이터 테이블을 획득하는, 데이터 처리 방법.
11. 제8항에 있어서,
    상기 데이터 테이블을 획득하는 단계는,
    상기 스키마 데이터에 포함된 기존 항목에 대한 데이터 타입(data type)이 수정됨으로써 상기 스키마 데이터가 변경된 경우, 변경 전 스키마 데이터에 대응되는 데이터 테이블을 백업하고, 상기 변경된 스키마 데이터에 기초하여 생성된 신규 데이터 테이블을 획득하는, 데이터 처리 방법.
12. 제11항에 있어서,
    상기 신규 데이터 테이블에서 데이터 타입이 변경된 상기 기존 항목의 데이터 타입은,
    기존 데이터 타입 및 변경된 데이터 타입을 모두 포함할 수 있는 데이터 타입으로 결정되는, 데이터 처리 방법.
13. 제8항에 있어서,
    상기 로그 데이터를 처리하는 단계는,
    상기 변경된 스키마 데이터에 기초하여 상기 입력 로그 데이터를 변환하고,
    상기 획득한 데이터 테이블에 상기 변환된 입력 로그 데이터를 적재하는, 데이터 처리 방법.
14. 제13항에 있어서,
    상기 데이터 테이블을 획득하는 단계는,
    상기 입력 로그 데이터에 대응하여 생성된 신규 데이터 테이블을 획득하는, 데이터 처리 방법.
15. 제14항에 있어서,
    미리 설정된 주기 동안에 생성된 신규 데이터 테이블들이 병합된 단일 데이터 테이블을 생성하는 단계를 더 포함하는, 데이터 처리 방법.
16. 제8항에 있어서,
    일 데이터 채널에서의 상기 스키마 데이터의 변경은, 다른 데이터 채널에 영향을 미치지 않는, 데이터 처리 방법.
17. 삭제
18. 입력 로그 데이터를 수신하는 수신부;
    스냅샷 데이터에 기초하여 입력 로그 데이터를 처리하는 프로세서; 및
    데이터 채널 정보, 날짜 정보, 게임 클라이언트 프로그램의 종류 및 상기 게임 클라이언트 프로그램의 버전에 기초하여 식별되는, 스키마 데이터의 항목에 대한 정보를 포함하는 상기 스냅샷 데이터를 저장하는 데이터베이스를 포함하고,
    상기 프로세서는,
    상기 입력 로그 데이터가 과거 시점의 로그 데이터에 해당되는 경우, 상기 입력 로그 데이터를 상기 과거 시점에 대응되는 스냅샷 데이터를 기초하여 처리하는, 데이터 처리 장치.
19. 제18항에 있어서,
    상기 프로세서는,
    상기 데이터베이스에 저장된 스냅샷 데이터에 기초하여, 상기 수신부를 통해 수신한 상기 입력 로그 데이터에 대응되는 스키마 데이터를 획득하고,
    상기 획득한 스키마 데이터에 기초하여, 상기 입력 로그 데이터를 처리하는, 데이터 처리 장치.
20. 제19항에 있어서,
    상기 프로세서는,
    상기 획득한 스키마 데이터가 변경된 것으로 확인된 경우, 상기 변경된 스키마 데이터에 대응되는 스냅샷 데이터를 획득하고,
    상기 변경된 스키마 데이터에 기초하여 데이터 테이블을 획득하고,
    상기 획득한 스냅샷 데이터 및 데이터 테이블을 상기 데이터베이스에 저장하고,
    상기 획득한 스냅샷 데이터에 대응되는 상기 변경된 스키마 데이터 및 상기 데이터 테이블에 기초하여 상기 입력 로그 데이터를 처리하는, 데이터 처리 장치.

Images