KR101780652B1

KR101780652B1 - 열-지향 레이아웃 파일 생성 방법

Info

Publication number: KR101780652B1
Application number: KR1020160029589A
Authority: KR
Inventors: 양봉열
Original assignee: 주식회사 이디엄
Priority date: 2016-03-11
Filing date: 2016-03-11
Publication date: 2017-09-21
Also published as: WO2017155201A1; KR20170106021A; US20180373752A1; US20210034607A1

Abstract

본 발명은 파일 헤더와 데이터 블록을 포함하는 열-지향 레이아웃 파일을 컴퓨터가 생성하는 방법에 관한 것으로서, 데이터 블록에 필드 헤더를 삽입하는 제1 단계와; 상기 필드 헤더에 가변 타입의 필드 값 배열 인코딩을 지원하는 블록을 삽입하는 제2 단계를 포함한다.

Description

열-지향 레이아웃 파일 생성 방법{Method for Generating Column-Oriented File}

본 발명은 열-지향 레이아웃 파일 생성 방법에 관한 것으로서 좀 더 자세하게는 스키마를 정의하지 않고도 분석 속도가 빠른 열-지향 레이아웃 파일 생성 방법에 관한 것이다.

초연결 시대가 도래함으로써 다양한 기계의 센서 데이터가 실시간으로 대량 수집되고 있다. 종래에는 OLAP 큐브를 생성하는 등의 전처리를 통해서 데이터를 다차원 분석하는 기술이 있었다.

그러다가 2005년에 MonetDB/X100가 등장한 이후에 열-지향 데이터베이스 기술이 등장하면서, 미리 수행되는 전처리 없이 임의의 대량의 데이터를 고속으로 분석할 필요성이 대두되었다.

HIVE(하둡 기반 데이터웨어하우스) 등은 ORC 등을 통해 열-지향 데이터베이스에 대해서 고속으로 분석할 수 있는 기술을 구현했지만 빅데이터 환경에서 스키마가 고정되지 않는 경우가 흔하기 때문에 빅데이터에 적용하기 곤란한 경우가 많았다. 그리고 개인정보를 포함하는 빅데이터의 경우 보안의 문제도 대두되고 있다.

본 발명은 이러한 전술한 문제를 해결할 수 있는 열-지향 레이아웃 파일을 생성하는 방법을 제공하는 것을 목적으로 한다.

필드 값이 다른 데이터 타입인 경우에는, 상기 필드 값 배열을, 배열 타입 식별 정보와, 배열의 길이 정보와, 배열의 요소 정보를 포함하도록 생성하는 단계와; 상기 요소 정보를, 요소의 타입 식별 정보와, 요소의 길이 정보와, 요소 값 데이터를 포함하도록 생성하는 단계를 더 포함할 수 있다.

필드 값이 같은 타입의 데이터이며 정수 값 배열인 경우에는, 상기 필드 값 배열을, 배열 타입 식별 정보와, 널(Null) 비트맵과, 최대 비트폭 정보와, 정수값 배열을 포함하도록 생성하는 단계와; 정수값 배열을 최대 비트폭의 소정의 개수 단위로 인코딩하는 단계를 더 포함할 수 있다.

필드 값이 같은 타입의 데이터이며 문자열 값 배열인 경우에는, 상기 필드 값 배열을, 배열 타입 식별 정보와, 널(Null) 비트맵과, 최대 비트폭 정보와, 문자열의 길이 정보와, 문자열 값 배열을 포함하도록 생성하는 단계와; 문자열 배열을 최대 비트폭의 소정의 개수 단위로 인코딩하는 단계를 더 포함할 수 있다.

필드 값이 같은 타입의 데이터이며 딕셔너리 배열인 경우에는, 상기 필드 값 배열을, 배열 타입 식별 정보와, 딕셔너리 문자열 개수 정보와, 딕셔너리 길이 정보와, 딕셔너리 명칭 정보와, 널 비트맵과, 최대 비트폭과, 딕셔너리 식별 정보를 포함하도록 생성하는 단계와; 딕셔너리 배열을 최대 비트폭의 소정의 개수 단위로 인코딩하는 단계를 더 포함할 수 있다.

상기 필드 헤더는 필드 헤더의 전체 크기 정보와, 필드 개수(가변 타입) 정보와, 필드의 이름 길이(가변 타입) 정보와, 필드의 원본 길이(가변 타입) 정보와, 필드의 압축 길이(가변 타입) 정보와, 필드의 이름 정보를 포함하는 것이 바람직하다.

상기 소정의 개수는 8개로 설정될 수 있다.

본 발명에 의해서 생성된 열-지향 레이아웃 파일의 분석 방법은, 상기 필드 값 배열 각각에 대해서 암호화하는 단계와; 분석이 요구되는 필드 값 배열에 대해서만 복호화를 수행하는 단계를 포함할 수 있다.

본 발명에 의하면 스키마가 고정되지 않는 빅데이터를 고속으로 저장하고 분석할 수 있으며, 개별 컬럼에 대해서 암호화 및 복호화를 수행함으로써 보안성 및 분석 속도 양측면에서 우수한 열-지향 레이아웃 파일을 생성하고 분석하는 방법이 제공된다.

도 1은 본 발명에 의해 생성되는 열-지향 레이아웃 파일의 구조.
도 2는 본 발명에 의해 생성되는 열-지향 레이아웃 파일의 필드 헤더의 구조.
도 3은 데이터 타입이 서로 다른 경우의, 본 발명에 의해 생성되는 열-지향 레이아웃 파일의 필드 값 배열 구조.
도 4는 데이터 타입이 같고 정수값 배열인 경우의, 본 발명에 의해 생성되는 열-지향 레이아웃 파일의 필드 값 배열 구조.
도 5는 데이터 타입이 같고 문자열 값 배열인 경우의, 본 발명에 의해 생성되는 열-지향 레이아웃 파일의 필드 값 배열 구조.
도 6은 데이터 타입이 같고 딕셔너리 값 배열인 경우의, 본 발명에 의해 생성되는 열-지향 레이아웃 파일의 필드 값 배열 구조.
도 7은 도 6의 필드 값 배열을 설명하기 위한 예시적인 필드 값 배열 구조.

이하에서는 첨부 도면을 참조하여 본 발명에 대해 자세하게 설명한다.

본 발명의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행 단계로 설명된 과정보다 앞서서 수행되더라도 발명의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 “A 또는 B”은 A와 B 중 어느 하나를 선택적으로 가리키는 것 뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.

도 1에는 본 발명에 의해 생성되는 열-지향 레이아웃 파일의 구조가 도시되어 있다.

도 1에 도시된 바와 같이 본 발명에 의해 생성되는 열-지향 파일(1)은 파일 헤더(10)와, 데이터 블록(20)을 포함한다. 본 발명에 의한 파일 생성 방법에 의하면 데이터 블록(20)에 필드 헤더(22)를 삽입한다. 데이터 블록(20)에는 블록 헤더(21)와, 필드 값 배열(23-1, 23-2,...,23-n)도 포함된다.

도 2에는 본 발명에 의해 생성되는 열-지향 레이아웃 파일의 필드 헤더(22)의 구조가 도시되어 있다. 필드 헤더(22)는 필드 헤더의 전체 크기 정보(22-1)와, 필드 개수 정보(22-2)와, 필드의 이름 길이 정보(22-3)와, 필드의 원본 길이 정보와(22-4)와, 필드의 압축 길이 정보(22-5)와, 필드의 이름 정보(22-6)를 포함한다. 필드 개수 정보(22-2)와, 필드의 이름 길이 정보(22-3)와, 필드의 원본 길이 정보와(22-4)와, 필드의 압축 길이 정보(22-5)를 가변 타입으로 정의함으로써 미리 스키마(데이터구조)가 정의되지 않더라도 가변 타입 인코딩이 가능하게 한다.

열-지향 레이아웃 파일로 구성하면, 특정 필드 값이 필요한 경우 디스크에서 최소한의 영역만 판독하고 해석하기 때문에 행(row) 전체를 읽는 것에 비해 효율성이 극적으로 향상된다. 종래 기술에서는 스키마가 고정되어 있기 때문에 다른 데이터 타입을 가진 필드 값이 포함될 수 없었지만, 본 발명에 의하면 다른 데이터 타입의 필드 값이 삽입될 수 있게 되므로 스키마가 고정적이지 않은 빅데이터 환경에서도 열-지향 데이터베이스 기술을 사용하여 효율적이고 고속으로 데이터 저장 및 분석을 수행할 수 있는 효과가 있다.

도 3에는 필드 값 배열(23-1, 23-2,...,23-n)의 세부 구조가 도시되어 있다.

필드 값 배열(23-1, 23-2,...,23-n) 각각은 개별적으로 암호화되고 복호화될 수 있다. 암호화에 사용하는 초기화 벡터(initial vector)는 블록 헤더(21)에 기록되어 있으며, 초기화 벡터는 데이터 블록(20)에 포함되는 컬럼마다 다르게 적용되는 값을 사용할 수도 있으며, 또는 데이터 블록(20)에 포함되는 컬럼에 대해 동일한 값을 사용할 수도 있다. 필드 값 배열 즉 컬럼별로 개별적으로 암호화하고 복호화하게 되면 개인 정보 등 보안이 필요한 데이터 컬럼에 대해서 암호화시키되 데이터 분석시에는 필요한 필드 값 배열만 복호화해서 분석하면 되므로 보안성과 분석 속도 양측면에서 유리한 효과가 제공된다.

필드 값 배열이 서로 다른 타입의 데이터인 경우에는 도 3에 도시된 바와 같이 배열 타입 식별 정보(231)와, 배열 길이 정보(232)와, 배열의 요소 정보(233)를 포함한다. 배열의 요소 정보(233)는 각각의 요소에 대해서 요소 타입 식별 정보(233-1)와, 요소의 길이 정보(233-2)와, 요소 값 데이터(233-3)를 포함한다.

필드 값 배열이 같은 타입의 데이터인 경우에는, 데이터 분석시에 속도를 높이기 위해서 인코딩을 최적화한다. 이하에서는 최적화된 인코딩 방법의 예시를 설명한다.

도 4에는 필드 값 배열이 같은 타입의 데이터로 구성되고 필드 값이 정수값인 경우의 필드 값 배열의 구조가 도시되어 있다. 도 4에 도시된 바와 같이 필드 값 배열은, 배열 타입 식별 정보(41)와, 널(Null) 비트맵(42)과, 최대 비트폭 정보(43)와, 정수값 배열(44)을 포함하도록 생성된다. 정수값 배열(44)은 최대 비트폭으로 소정의 개수 단위 예를 들어 8개 단위로 인코딩될 수 있다. 예를 들어 최대 비트폭이 4이면 4비트 8개 단위로 인코딩하여 4바이트가 되고, 최대 비트폭이 8이면 8비트 8개 단위로 인코딩하여 8 바이트가 된다. 이와 같이 소정의 개수 단위로 인코딩을 하면 읽기 오버헤드를 최소화할 수 있는 효과가 있다.

도 5에는 필드 값 배열이 같은 타입의 데이터로 구성되고 필드 값이 문자열 값인 경우의 필드 값 배열의 구조가 도시되어 있다. 도 5에 도시된 바와 같이 이 경우 필드 값 배열은, 배열 타입 식별 정보(51)와, 널(Null)비트맵(52)과, 최대 비트폭(53)과, 문자열 값 배열(54)를 포함하도록 생성된다. 문자열 값 배열(54)은 정수값 배열과 마찬가지로 최대 비트폭으로 소정 개수의 단위 예를 들어 8개 단위로 인코딩될 수 있다. 예를 들어 최대 비트폭이 4이면 4비트 8개 단위로 인코딩하여 4바이트가 되고, 최대 비트폭이 8이면 8비트 8개 단위로 인코딩하여 8 바이트가 된다. 이와 같이 소정의 개수 단위로 인코딩을 하면 읽기 오버헤드를 최소화할 수 있는 효과가 있다.

도 6에는 필드 값 배열이 같은 타입의 데이터로 구성되고 필드 값이 딕셔너리 값인 경우의 필드 값 배열의 구조가 도시되어 있다. 도 6에 도시되어 있는 바와 같이, 이 경우 필드 값 배열은 배열 타입 식별 정보(61)와, 딕셔너리 문자열 개수(가변 타입) 정보(62)와, 딕셔너리 길이 정보(63)와, 딕셔너리 명칭 정보(64)와, 널(Null) 비트맵(65)과, 최대 비트폭(66)과, 딕셔너리 식별정보 배열(67)을 포함하도록 생성된다. 딕셔너리 값 배열(54)은 정수값 내지 문자열 값 배열과 마찬가지로 최대 비트폭으로 소정 개수의 단위 예를 들어 8개 단위로 인코딩될 수 있다. 예를 들어 최대 비트폭이 4이면 4비트 8개 단위로 인코딩하여 4바이트가 되고, 최대 비트폭이 8이면 8비트 8개 단위로 인코딩하여 8 바이트가 된다. 이와 같이 소정의 개수 단위로 인코딩을 하면 읽기 오버헤드를 최소화할 수 있는 효과가 있다.

도 7을 참조하여 좀 더 자세하게 설명한다.

도 7의 예에서는, 특정한 한 필드에 "허용, deny, drop"이라는 세 개의 단어만 존재하는 딕셔너리 값 배열이 있고, 실제로 수집된 로그 데이터는 "허용, drop, 허용, drop, 허용, 허용, deny, 허용, 허용, 허용, 허용, 허용, 허용, 허용, 허용"인 경우를 예로 든다.

이 경우 3개의 딕셔너리가 해당 파일의 디스크 블록을 생성하는 과정에서 추출된다. 필드 값 배열에서, 딕셔너리 값의 배열 타입 식별 정보(61)와 딕셔너리 문자열의 개수 정보 즉 "3"이 필드 배열의 앞에 배치된다. 그리고 각각의 딕셔너리 길이 정보(63)와 각각의 딕셔너리 명칭 정보(64)가 배치된다. 딕셔너리 명칭 정보는 "utf-8" 형식으로 저장되는 경우 한글 명칭인 "허용"의 길이 정보는 6바이트가 되고, 영어 명칭인 "deny"와 "drop"의 길이 정보는 4바이트로 지정된다.

다음으로 널(Null) 비트맵(65)과 최대 비트폭이 배열되는데, 소정의 개수 예를 들어 8개 단위로 인코딩하는 경우를 상정하면, 처음에 8개의 데이터가 있으므로 널 비트맵은 "00000000"로 정해지고, 처음 8개의 딕셔너리가 3 종류이므로 최대 비트폭은 2로 정해진다. 이 부분은 최대 비트폭인 2의 8개 단위로 인코딩되므로 2바이트가 된다.

9번째부터 15번째의 필드값에는 7개의 데이터만 존재하기 때문에 널 비트맵이 "00000001"로 설정되고, 딕셔너리는 "허용" 한가지이므로 최대 비트폭은 "1"로 설정되며, 최대 비트폭인 1로 8개 단위로 인코딩하면 1 바이트가 된다.

이상 첨부 도면을 참고하여 본 발명에 대해서 설명하였지만 본 발명의 권리범위는 후술하는 특허청구범위에 의해 결정되며 전술한 실시예 및/또는 도면에 제한되는 것으로 해석되어서는 아니된다. 그리고 특허청구범위에 기재된 발명의, 당업자에게 자명한 개량, 변경 및 수정도 본 발명의 권리범위에 포함된다는 점이 명백하게 이해되어야 한다.

Claims

파일 헤더와 데이터 블록을 포함하는 열-지향 레이아웃 파일을 컴퓨터가 생성하는 방법에 있어서,
데이터 블록에 필드 헤더를 삽입하는 제1 단계와,
상기 필드 헤더에 가변 타입의 필드 값 배열 인코딩을 지원하는 블록을 삽입하는 제2 단계와,
필드 값이 다른 데이터 타입인 경우에,
상기 필드 값 배열을, 배열 타입 식별 정보와, 배열의 길이 정보와, 배열의 요소 정보를 포함하도록 생성하는 제3 단계와,
상기 요소 정보를, 요소의 타입 식별 정보와, 요소의 길이 정보와, 요소 값 데이터를 포함하도록 생성하는 제4 단계를 포함하는,
열-지향 레이아웃 파일 생성 방법.
삭제
파일 헤더와 데이터 블록을 포함하는 열-지향 레이아웃 파일을 컴퓨터가 생성하는 방법에 있어서,
데이터 블록에 필드 헤더를 삽입하는 제1 단계와,
상기 필드 헤더에 가변 타입의 필드 값 배열 인코딩을 지원하는 블록을 삽입하는 제2 단계와,
필드 값이 같은 타입의 데이터이며 정수 값 배열인 경우에,
상기 필드 값 배열을, 배열 타입 식별 정보와, 널(Null) 비트맵과, 최대 비트폭 정보와, 정수값 배열을 포함하도록 생성하는 제3 단계와,
정수값 배열을 최대 비트폭의 소정의 개수 단위로 인코딩하는 제4 단계를 포함하는,
열-지향 레이아웃 파일 생성 방법.
파일 헤더와 데이터 블록을 포함하는 열-지향 레이아웃 파일을 컴퓨터가 생성하는 방법에 있어서,
데이터 블록에 필드 헤더를 삽입하는 제1 단계와,
상기 필드 헤더에 가변 타입의 필드 값 배열 인코딩을 지원하는 블록을 삽입하는 제2 단계와,
필드 값이 같은 타입의 데이터이며 문자열 값 배열인 경우에,
상기 필드 값 배열을, 배열 타입 식별 정보와, 널(Null) 비트맵과, 최대 비트폭 정보와, 문자열의 길이 정보와, 문자열 값 배열을 포함하도록 생성하는 제3 단계와,
문자열 배열을 최대 비트폭의 소정의 개수 단위로 인코딩하는 제4 단계를 포함하는,
열-지향 레이아웃 파일 생성 방법.
파일 헤더와 데이터 블록을 포함하는 열-지향 레이아웃 파일을 컴퓨터가 생성하는 방법에 있어서,
데이터 블록에 필드 헤더를 삽입하는 제1 단계와,
상기 필드 헤더에 가변 타입의 필드 값 배열 인코딩을 지원하는 블록을 삽입하는 제2 단계와,
필드 값이 같은 타입의 데이터이며 딕셔너리 배열인 경우에,
상기 필드 값 배열을, 배열 타입 식별 정보와, 딕셔너리 문자열 개수 정보와, 딕셔너리 길이 정보와, 딕셔너리 명칭 정보와, 널 비트맵과, 최대 비트폭과, 딕셔너리 식별 정보를 포함하도록 생성하는 제3 단계와,
딕셔너리 배열을 최대 비트폭의 소정의 개수 단위로 인코딩하는 제4 단계를 포함하는,
열-지향 레이아웃 파일 생성 방법.
청구항 1에 있어서,
상기 필드 헤더는 필드 헤더의 전체 크기 정보와, 필드 개수(가변 타입) 정보와, 필드의 이름 길이(가변 타입) 정보와, 필드의 원본 길이(가변 타입) 정보와, 필드의 압축 길이(가변 타입) 정보와, 필드의 이름 정보를 포함하는,
열-지향 레이아웃 파일 생성 방법.
청구항 3 내지 청구항 5 중 어느 하나의 청구항에 있어서,
상기 소정의 개수는 8개인,
열-지향 레이아웃 파일 생성 방법.
청구항 1에 의한 열-지향 레이아웃 파일 생성 방법에 의해서 생성된 열-지향 레이아웃 파일의 분석 방법에 있어서,
상기 필드 값 배열 각각에 대해서 암호화하는 단계와,
분석이 요구되는 필드 값 배열에 대해서만 복호화를 수행하는 단계를 포함하는,
열-지향 레이아웃 파일의 분석 방법.