KR102157591B1 - 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
KR102157591B1
KR102157591B1 KR1020140149618A KR20140149618A KR102157591B1 KR 102157591 B1 KR102157591 B1 KR 102157591B1 KR 1020140149618 A KR1020140149618 A KR 1020140149618A KR 20140149618 A KR20140149618 A KR 20140149618A KR 102157591 B1 KR102157591 B1 KR 102157591B1
Authority
KR
South Korea
Prior art keywords
data
spatial
query
memory
block
Prior art date
Application number
KR1020140149618A
Other languages
English (en)
Other versions
KR20160050735A (ko
Inventor
정유선
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020140149618A priority Critical patent/KR102157591B1/ko
Publication of KR20160050735A publication Critical patent/KR20160050735A/ko
Application granted granted Critical
Publication of KR102157591B1 publication Critical patent/KR102157591B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)

Abstract

대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치에 있어서, 공간 데이터 환경에서 공간 질의를 수신하고 상기 공간 질의의 구조를 분석하여 하나 이상의 데이터 접근 연산식을 추출하는 질의 수신 및 분석부; 상기 하나 이상의 데이터 접근 연산식마다 접근하고자 하는 데이터 블록을 인-메모리 블록으로부터 요청하는 인덱스 요청부; 상기 데이터 블록을 상기 인-메모리 블록에 저장하는 인덱스 저장부; 상기 인-메모리 블록에서 상기 데이터 블록을 제공하는 인덱스 제공부; 및 상기 데이터 블록을 이용하여 상기 공간 질의를 수행하는 질의 수행부를 포함하는 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

Description

대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체{Apparatus for Spatial Query in Big Data Environment and Computer-Readable Recording Medium with Program therefor}
본 실시예는 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
기존 GIS(Geographic Information System)의 공간 질의 및 공간 분석은 지리 데이터의 볼륨 및 데이터 처리 성능의 한계(예컨대, 단일 프로세서 및 메모리 용량 제약) 등으로 인해 빅 데이터의 공간 데이터를 다루기에는 부적합하다. 따라서, 빅 데이터의 공간 질의 및 공간 분석이 가능한 분산처리 환경을 제공하고 기존 하둡 기반의 프레임워크에서 데이터 처리가 가능한 GIS 플랫폼을 지원하여 이러한 문제를 해결할 필요가 있다.
[선행기술문헌] 공개특허공보(KR) 10-2009-0055928 (2009.06.03)
본 실시예는 빅 데이터의 공간 질의 및 공간 분석이 가능한 분산처리 환경을 제공하고 기존 하둡 기반의 프레임워크에서 데이터 처리가 가능한 GIS 플랫폼을 지원하는데 목적이 있다.
본 실시예의 일 측면에 의하면, 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치에 있어서, 공간 데이터 환경에서 공간 질의를 수신하고 상기 공간 질의의 구조를 분석하여 하나 이상의 데이터 접근 연산식을 추출하는 질의 수신 및 분석부; 상기 하나 이상의 데이터 접근 연산식마다 접근하고자 하는 데이터 블록을 인-메모리 블록으로부터 요청하는 인덱스 요청부; 상기 데이터 블록을 상기 인-메모리 블록에 저장하는 인덱스 저장부; 상기 인-메모리 블록에서 상기 데이터 블록을 제공하는 인덱스 제공부; 및 상기 데이터 블록을 이용하여 상기 공간 질의를 수행하는 질의 수행부를 포함하는 것을 특징으로 하는 공간질의 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 컴퓨터에, 공간 데이터 환경에서 공간 질의를 수신하고 상기 공간 질의의 구조를 분석하여 하나 이상의 데이터 접근 연산식을 추출하는 과정; 상기 하나 이상의 데이터 접근 연산식마다 접근하고자 하는 데이터 블록을 인-메모리 블록으로부터 요청하는 과정; 상기 데이터 블록을 상기 인-메모리 블록에 저장하는 과정; 상기 인-메모리 블록에서 상기 데이터 블록을 제공하는 과정; 및 상기 데이터 블록을 이용하여 상기 공간 질의를 처리하는 과정을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이상에서 설명한 바와 같이, 본 실시예에 의하면, 대용량 공간 데이터에 대한 좌표 및 폴리곤(polygon) 등의 공간데이터에 대한 질의를 수행 효율을 높이는 효과가 있다.
또한, 빈번하게 액세스하는 데이터를 인-메모리(In-memory)에 적재함으로써 공간 질의 어플리케이션 수행에 따른 Disk I/O를 감소시켜 해당 어플리케이션의 전체 처리 속도가 향상된다.
도 1은 본 발명의 일 실시예에 따른 공간질의 장치(10)를 블록도로 도시한 도면이다.
도 2는 인덱스 저장부(13) 및 인덱스 제공부(14)의 기능이 구현된 예를 인-메모리 레이어 관리 장치(100)를 포함한 시스템으로서 도시한 도면이다.
도 3은 공간질의 장치(10)를 구현한 예를 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 공간질의 처리 방법을 도시한 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 공간질의 장치(10)를 블록도로 도시한 도면이다.
도 1에 도시한 바와 같이, 일 실시예에 따른 공간질의 장치(10)는 질의 수신 및 분석부(11), 데이터 요청부(12), 인덱스 저장부(13), 인덱스 제공부(14) 및 질의 수행부(15)를 포함한다. 실시예에 따라서 공간질의 장치(10)는 질의 수신부(11), 데이터 요청부(12), 인덱스 저장부(13), 인덱스 제공부(14) 및 질의 수행부(15)의 구성요소 중에서 일부 구성요소는 생략되거나 다른 구성요소를 추가로 포함하여 구현될 수 있다.
공간질의 장치(10)는 대용량 공간 데이터 환경에서 공간분석을 위한 장치이며, 질의 수신 및 분석부(11)는 공간 데이터 환경에서 공간 질의를 수신하고 수신된 공간 질의의 구조를 분석하여 하나 이상의 데이터 접근 연산식을 추출한다. 여기서 수신하는 공간 질의는 GIS 시스템에서 공간 분석을 위한 질의이며, 지도를 표현하기 위하여 포인트, 폴리라인 및 폴리곤을 기반으로 저장된 벡터 데이터를 포함하는 GIS 데이터인 경우에 벡터 데이터를 액세스하여 관련 공간 정보를 획득한다.
공간 질의는 좌표 데이터 및 속성 데이터를 포함하는 포맷의 공간 데이터 처리를 위한 질의로서, 공간 질의의 종류로는 근접성 질의(Proximity query), 인접성 질의(Adjacency query) 및 포함성 질의(Containment query) 등을 포함한다.
근접성 질의는 저장된 특정 데이터 피처(feature)와의 거리를 분석하는 것을 의미하며, 인접성 질의는 기준이 되는 어떤 데이터 피처와 인접해 있는 피처들을 분석하는 질의를 의미한다. 또한, 포함성 질의는 특정 구획 안에 위치한 피처들을 찾는 질의를 의미한다. 여기서 피처란 지도에 표시될 수 있는 실세계의 객체를 의미한다.
데이터 요청부(12)는 하나 이상의 데이터 접근 연산식마다 접근하고자 하는 데이터 블록을 인-메모리 블록으로부터 요청한다. 여기서 인-메모리 블록은 디스크에 저장된 HDFS의 데이터 중의 일부를 디스크에 저장한 것으로서 사용자 쿼리 또는 사용자 어플리케이션에 의하여 인-메모리 블록이 관리된다.
여기서 데이터 블록은 인덱스 정보로서 공간 데이터에 대한 벡터가 될 수 있다. 공간 데이터를 빨리 접근하기 위하여 공간 데이터의 벡터 정보는 인-메모리 영역에 저장된다.
인덱스 저장부(13)는 데이터 블록을 인-메모리 블록에 저장한다. 인덱스 저장부(13)는 사용자 또는 사용자 어플리케이션에 의하여 인-메모리 블록에 공간 데이터에 대한 인덱스 정보를 데이터 블록으로서 저장한다.
인덱스 제공부(14)는 인-메모리 블록을 이용하여 공간 질의 처리에 필요한 데이터 블록을 제공한다.
인덱스 저장부(13) 및 인덱스 제공부(14)에 대한 기능은 후술하는 도 2의 설명에서 상세히 기술한다.
질의 수행부(15)는 제공된 데이터 블록을 이용하여 입력된 공간 질의를 처리한다.
도 2는 인덱스 저장부(13) 및 인덱스 제공부(14)의 기능이 구현된 예를 인-메모리 레이어 관리 장치(100)를 포함한 시스템으로서 도시한 도면이다.
인-메모리 레이어 관리 장치(100)는 요청 수신부(111), 매핑정보 전송부(112), 명령 전송부(130), 인-메모리 저장부(140) 및 인-메모리 클라이언트(150)를 포함하여 구현될 수 있으며, 도 2에서 인덱스 저장부(13)의 기능은 드라이버(110), 앱 클라이언트(130) 및 인-메모리 저장부(140)로서 구현될 수 있다.
인-메모리 레이어 관리 장치(100)는 블록의 매핑 정보를 저장하는 하나의 네임 노드와 대용량 데이터를 분산하여 저장하는 복수의 데이터 노드를 포함하는 하둡 분산처리 시스템에서 실행되도록 구현될 수 있다.
여기서, 하나의 드라이버(110) 모듈 내에는 요청 수신부(111) 및 매핑정보 전송부(112)의 두개의 구성요소로서 구현될 수 있다.
요청 수신부(111)는 인덱스 블록을 인-메모리에 저장하라는 요청인 인-메모리 요청을 수신한다. 인-메모리 요청은 명령 전송부(130)에서 사용자가 CLI(Command Line Interface)를 이용한 입력 등에 의해 발생할 수 있다.
매핑정보 전송부(112)는 요청 수신부(111)로부터 수신된 인-메모리 요청을 분석하여 저장될 인덱스 블록에 대한 매핑정보를 획득하여 명령 전송부(130)로 전송한다.
명령 전송부(130)는 요청 수신부(111)로 전송하는 인-메모리 요청을 발생하며, 매핑정보 전송부(112)로부터 매핑정보를 수신하고 수신한 매핑정보에 대응되는 데이터 노드로 접근하여 해당 인덱스 블록을 인-메모리에 저장하라는 명령을 인-메모리 저장부(140)에 전송한다. 여기서, 명령 전송부(130)는 인-메모리 레이어 관리 장치(100)의 외부에 존재하는 앱 클라이언트일 수도 있으며 HDFS 내에서 실행되는 다른 어플리케이션일 수도 있으며, 이하의 설명에서는 명령 전송부(130)를 앱 클라이언트(130)로서 예를 들어 설명한다.
인-메모리 저장부(140)는 매핑정보를 수신한 앱 클라이언트(130)로부터 해당 인덱스 블록을 인-메모리에 저장하라는 명령을 수신하여 해당 인덱스 블록을 인-메모리에 저장한다.
매핑정보 전송부(112)는 해당 인덱스 블록에 대응되는 메타정보를 저장하고 있지 않은 경우에는 네임노드에 해당 메타정보를 요청하여 매핑정보를 획득한다.
참고로, 매핑정보 전송부(112)가 네임노드에 해당 메타정보를 요청하여 매핑정보를 획득한 경우, 드라이버(110)는 인-메모리에 해당 메타정보를 저장하여 다음 번에 해당 메타정보가 필요할 경우에 인-메모리에 저장된 것을 사용한다.
앱 클라이언트(130)가 어느 하나의 데이터 노드 내에 존재하는 인-메모리 레이어 관리 장치(100)의 드라이버(110)에 접속하여 인-메모리 설정에 필요한 정보를 수신하고 앱 클라이언트(130)는 어느 한 데이터 노드에 존재하는 인-메모리 저장부(140)로 명령을 보내어 인-메모리 영역을 설정하고 설정된 인-메모리 영역에 인덱스 데이터를 저장한다.
HDFS에서는 일반적으로 리소스 매니저로서 YARN(Yet Another Resource Negotiator)을 사용한다. 하둡 YARN 프레임워크는 하둡에서 어플리케이션마다 자원을 할당하고 규칙에 따라 자원을 분배하는 리소스 관리자이다. 하둡의 어플리케이션들은 메모리 또는 저장공간 등의 리소스의 할당 또는 해제를 위하여 YARN에게 명령을 전송하는 형태로 구현된다.
앱 클라이언트(130)에서 생성되는 인-메모리 명령은, HDFS 시스템에서 특정 어플리케이션 실행 도중에 쓰기가 이루어져서 HDFS 상의 데이터 노드의 디스크에 중간 화일로서 생성되는 특정 인덱스 데이터 또는 어플리케이션의 실행 결과로서 발생하는 결과 데이터에 대한 인덱스 정보를 특정 인-메모리 영역에 함께 저장하라는 명령일 수도 있다. 이 경우에, 이 중간 화일 또는 결과 데이터가 저장되는 특정 인-메모리 영역은 미리 공간이 확보된다. 인-메모리 영역의 공간확보는 해당 특정 어플리케이션에 의해 생성되는 중간 화일 또는 결과 데이터에 대한 인덱스 정보를 특정 인-메모리 영역에 저장하는 것으로 지정함으로써 해당 인덱스 블록을 위한 인-메모리 영역 공간을 확보한다.
여기서, 생성되는 중간 화일로서 생성되는 인덱스 블록은 하나의 어플리케이션의 동작 과정에서 해당 어플리케이션이 다음번에 사용할 목적으로 발생될 수도 있고, 복수개의 어플리케이션이 실행되는 과정에서 하나의 어플리케이션이 생성한 중간 화일을 다른 어플리케이션이 사용할 수도 있다.
인-메모리 클라이언트(150)는 HDFS 분산처리 시스템에서 생성된 어떤 하나의 어플리케이션에 대하여 인-메모리를 접근하도록 해준다. 예컨대, 하나의 어플리케이션에서 접근하는 데이터 노드마다 각각 하나의 인-메모리 클라이언트(150)가 생성된다.
인-메모리 클라이언트(150)는 드라이버(110)와 통신하여 해당 어플리케이션이 사용하는 인-메모리가 어느 데이터 노드에 있는지 확인하고 해당 데이터 노드와 직접 통신하여 필요한 인-메모리 데이터를 가져오도록 해준다. 만일, 인-메모리 데이터 영역에 원하는 인덱스 데이터가 없는 경우에는 HDFS에서 읽어와서 캐싱을 하고 인-메모리에도 저장한다. 여기서 인-메모리 클라이언트(150)가 데이터 노드와 통신한다는 표현을 사용하였으나, 실제로는 데이터 노드에 있는 인-메모리 관리용 워커(Worker)와 통신하는 기능을 한다. 이외에도 본 실시예에서 데이터 노드와 어떤 동작을 수행하는 것으로 설명하는 경우도 모두 해당 동작을 수행하는 워커가 해당 데이터 노드에 구비되어 있을 수도 있다.
특정 인덱스 데이터를 인-메모리에 적재하는 방법으로는, 중간 화일을 저장하는 경우처럼 특정 인덱스 데이터(예컨대, 공간 데이터의 벡터 정보)가 어플리케이션으로부터 생성되는 경우에 인-메모리 공간에 저장되도록 설정할 수도 있다. 또한, 사용자 명령에 의해 특정 HDFS 저장 블록을 확보된 인-메모리 공간에 적재하도록 하라는 명령이 생성되면 드라이버(110)를 통하여 해당 블록에 대한 매핑 정보를 가져와서 해당 벡터 정보를 관리하는 데이터 노드의 워커에게 메모리 적재 명령을 내릴 수도 있다.
한편, 어떤 인덱스 블록을 인-메모리에 저장하는 경우, 하나의 데이터 노드만이 아니 다른 데이터 노드에도 중복하여 저장할 수도 있다. 인-메모리 영역이 할당되는 경우에, 해당 영역에 대한 복제 개수 및 영역 해제 기간 등이 설정될 수 있다. 인-메모리 영역의 할당 및 해제는 파일 기반으로 또는 디렉토리 기반으로 할당 및 해제될 수 있다.
한편, 인-메모리 영역에 대한 용량 관리를 위하여, 주기적으로 또는 비주기적으로 앱 클라이언트(130)에서 자원 모니터링 명령(또는 질의)를 보내서 드라이버(110)에게 전송한다. 드라이버(110)는 자원 모니터링 명령을 수신하면 해당 자원 모니터링 결과를 앱 클라이언트(130)에게 전송한다. 앱 클라이언트(130)에서는 인-메모리 가용 용량이 부족하다고 판단하는 경우에는 YARN에게 요청하여 일정 용량의 인-메모리를 추가로 할당받는다. 여기서 추가로 할당받는 명령은 사용자에 의하여 명령을 수신할 수도 있고, 경우에 따라서는 리소스 관리부(160)라는 특정 데몬에 의해 리소스를 모니터링하다가 리소스가 모자라는 경우(예컨대, 인-메모리 가용 용량이 임계치 이하인 경우) 자동적으로 인-메모리 요청 명령을 YARN에게 제공하여 YARN으로부터 리소스를 추가로 할당받을 수도 있다.
도 3은 공간질의 장치(10)를 구현한 예를 도시한 도면이다.
도 3에 도시하듯이, 예컨대, 지도 정보를 표현하기 위한 cell 정보, POI 데이터 및 위치 데이터를 포함하는 입력 데이터(310)는 HDFS의 클러스터 저장소(320)에 저장된다.
사용자의 공간 질의가 공간 질의 분석기(Spatial Analysis Engine, 330)로 입력되고 입력된 공간 질의가 분석된다. 본 실시예에서의 질의 수신 및 분석부(11)는 공간 질의 분석기(330)로 구현될 수 있다. 여기서 입력되는 공간 질의는 타조(Tajo) 기술을 응용한 SQL(Structured Query Language) 형태로 입력될 수 있으나 본 발명이 이에 한정되지는 않는다.
질의가 분석된 후에는 질의는 GeoJSON(JavaScript Object Notation with Geographic information) 데이터 포맷으로 API(Application Programming Interface) 서버(340)를 경유하여 하둡 클러스터 접근함수로 데이터 요청이 전달될 수 있다. 본 실시예에서의 데이터 요청부(12)는 API 서버(340)로 구현될 수 있다. 여기서 Geo-JSON 데이터 포맷은 좌표 데이터 및 속성 데이터를 포함하는 데이터 형태를 의미하나, 본 발명이 이에 한정되지는 않는다.
하둡 클러스터 접근함수(350)는 공간 함수(Spatial Function)로서 구현된 것으로서 사용자 질의의 처리에 필요한 함수를 제공한다.
사용자 질의에 필요한 함수를 사용함에 있어서 필요한 인-메모리 데이터는 인-메모리 인덱스 제공부(360)에 의해 제공된다. 본 실시예에서의 인덱스 제공부(14) 및 인덱스 저장부(13)는 인-메모리 인덱스 제공부(360)로서 구현될 수 있다. 여기서 인-메모리 인덱스 제공부(360)는 Apache Spark(370)를 사용할 수 있으나 본 발명이 이에 한정되지는 않는다.
인-메모리에서 필요한 인덱스 데이터가 추출된 경우, 하둡 클러스터 접근함수(350)에 의해 사용자 질의가 처리된다. 본 실시예에서의 질의 수행부(15)는 하둡 클러스터 접근함수(350)를 사용하도록 구현된다.
도 4는 본 발명의 다른 실시예에 따른 공간질의 처리 방법을 도시한 흐름도이다.
본 발명의 다른 실시예에 따른 공간질의 처리 방법은, 질의 수신 및 분석 과정(S410), 인덱스 요청과정(S420), 인덱스 저장과정(S430), 인덱스 제공과정(S440) 및 질의 수행과정(S450)을 포함한다.
질의 수신 및 분석 과정(S410)에서는 공간 데이터 환경에서 공간 질의를 수신하고 공간 질의의 구조를 분석하여 하나 이상의 데이터 접근 연산식을 추출한다.
인덱스 요청과정(S420)에서는 하나 이상의 데이터 접근 연산식마다 접근하고자 하는 데이터 블록을 인-메모리 블록으로부터 요청한다.
인덱스 저장과정(S430)에서는 데이터 블록을 인-메모리 블록에 저장한다.
인덱스 제공과정(S440)에서는 인-메모리 블록에서 질의 처리에 필요한 데이터 블록을 제공한다.
질의 수행과정(S450)에서는 데이터 블록을 이용하여 공간 질의를 수행한다.
질의 수신 및 분석 과정(S410), 인덱스 요청과정(S420), 인덱스 저장과정(S430), 인덱스 제공과정(S440) 및 질의 수행과정(S450)은 질의 수신 및 분석부(11), 데이터 요청부(12), 인덱스 저장부(13), 인덱스 제공부(14) 및 질의 수행부(15)의 동작에 각각 대응되므로 더 이상의 상세한 설명은 생략한다.
도 4에서는 과정 S410 내지 과정 S450을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 과정 S410 내지 과정 S450 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
본 발명의 실시예에 따른 공간질의 장치(10)는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 프로그램을 실행하기 위한 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.
전술한 바와 같이, 도 4에 기재된 공간질의 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 공간질의 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 공간질의 장치
11: 질의 수신 및 분석부
12: 데이터 요청부
13: 인덱스 저장부
14: 인덱스 제공부
15: 질의 수행부
100: 인-메모리 레이어 관리 장치
110: 드라이버
111: 요청 수신부
112: 매핑정보 전송부
130: 명령 전송부, 앱 클라이언트
140: 인-메모리 저장부
150: 인-메모리 클라이언트
160: 리소스 관리부
310: 입력 데이터
320: 클러스터 저장소
330: 공간 질의 분석기
340: API 서버
350: 하둡 클러스터 접근함수
360: 인-메모리 인덱스 제공부
370: Apache Spark

Claims (7)

  1. 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치에 있어서,
    공간 데이터 환경에서 공간 질의를 수신하고 상기 공간 질의의 구조를 분석하여 하나 이상의 데이터 접근 연산식을 추출하는 질의 수신 및 분석부;
    상기 하나 이상의 데이터 접근 연산식마다 접근하고자 하는 데이터 블록을 인-메모리 블록으로부터 요청하는 인덱스 요청부;
    상기 데이터 블록을 상기 인-메모리 블록에 저장하는 인덱스 저장부;
    상기 인-메모리 블록에서 상기 데이터 블록을 제공하는 인덱스 제공부; 및
    상기 데이터 블록을 이용하여 상기 공간 질의를 수행하는 질의 수행부
    를 포함하되,
    상기 공간 질의는 좌표 데이터 및 속성 데이터를 포함하는 포맷의 공간 데이터 처리를 위한 질의이고, 상기 데이터 블록은 상기 공간 데이터에 대한 벡터 정보이고,
    상기 인덱스 저장부는, 상기 벡터 정보를 저장하라는 요청인 인-메모리 요청을 수신하고 상기 벡터 정보에 대응하는 매핑 정보를 획득하여 상기 매핑 정보를 기반으로 결정되는 인-메모리 영역에 상기 벡터 정보를 저장하는 것을 특징으로 하는 공간질의 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 인덱스 저장부는,
    상기 공간질의 처리 장치에서 쓰기가 이루어지는 특정 데이터에 대한 벡터 정보에 대하여 인-메모리 영역에 함께 저장하라는 명령을 수신한 후에, 상기 특정 데이터가 발생할 때 상기 벡터 정보를 상기 인-메모리 영역에 저장하는 것을 특징으로 하는 공간질의 장치.
  6. 제1항에 있어서,
    상기 벡터 정보가 생성되는 경우 상기 벡터 정보의 생성주기를 기반으로 상기 벡터 정보를 상기 인-메모리 영역에서 제거하는 것을 특징으로 하는 공간질의 장치.
  7. 컴퓨터에,
    공간 데이터 환경에서 공간 질의를 수신하고 상기 공간 질의의 구조를 분석하여 하나 이상의 데이터 접근 연산식을 추출하는 과정;
    상기 하나 이상의 데이터 접근 연산식마다 접근하고자 하는 데이터 블록을 인-메모리 블록으로부터 요청하는 과정;
    상기 데이터 블록을 상기 인-메모리 블록에 저장하는 과정;
    상기 인-메모리 블록에서 상기 데이터 블록을 제공하는 과정; 및
    상기 데이터 블록을 이용하여 상기 공간 질의를 처리하는 과정
    을 실행하되,
    상기 공간 질의는 좌표 데이터 및 속성 데이터를 포함하는 포맷의 공간 데이터 처리를 위한 질의이고, 상기 데이터 블록은 상기 공간 데이터에 대한 벡터 정보이고,
    인덱스 저장부는, 상기 벡터 정보를 저장하라는 요청인 인-메모리 요청을 수신하고 상기 벡터 정보에 대응하는 매핑 정보를 획득하여 상기 매핑 정보를 기반으로 결정되는 인-메모리 영역에 상기 벡터 정보를 저장하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020140149618A 2014-10-30 2014-10-30 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 KR102157591B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140149618A KR102157591B1 (ko) 2014-10-30 2014-10-30 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140149618A KR102157591B1 (ko) 2014-10-30 2014-10-30 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Publications (2)

Publication Number Publication Date
KR20160050735A KR20160050735A (ko) 2016-05-11
KR102157591B1 true KR102157591B1 (ko) 2020-09-18

Family

ID=56025636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140149618A KR102157591B1 (ko) 2014-10-30 2014-10-30 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Country Status (1)

Country Link
KR (1) KR102157591B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062697A (zh) * 2018-08-07 2018-12-21 北京超图软件股份有限公司 一种提供空间分析服务的方法和装置
CN111858821B (zh) * 2020-07-27 2024-03-29 平安科技（深圳）有限公司 空间分析任务的处理方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963009B1 (ko) * 2007-10-25 2010-06-10 한양대학교 산학협력단 파일 관리 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055901A (ko) * 2002-12-23 2004-06-30 한국전자통신연구원 점진적인 공간 데이터 서비스 시스템 및 방법
CN101676882B (zh) * 2008-09-16 2013-01-16 美光科技公司 存储器装置的内嵌映射信息

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963009B1 (ko) * 2007-10-25 2010-06-10 한양대학교 산학협력단 파일 관리 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
http://www.ciokorea.com/news/14984
https://m.blog.naver.com/gkenq/10183400845

Also Published As

Publication number Publication date
KR20160050735A (ko) 2016-05-11

Similar Documents

Publication Publication Date Title
US10635664B2 (en) Map-reduce job virtualization
KR101791594B1 (ko) 저장 네트워크 내의 저장 관리
KR101994021B1 (ko) 파일 조작 방법 및 장치
US10455003B2 (en) Method, server, and system for sharing resource data
US8782235B2 (en) Resource migration system and resource migration method
US9639459B2 (en) I/O latency and IOPs performance in thin provisioned volumes
US10904316B2 (en) Data processing method and apparatus in service-oriented architecture system, and the service-oriented architecture system
US9612766B2 (en) Systems and methods for shadow migration progress estimation
CN109144697B (zh) 一种任务调度方法、装置、电子设备及存储介质
US8938599B2 (en) Distributed graph storage system
EP3958122A1 (en) Memory management method, apparatus, and system
KR101641179B1 (ko) 대용량 공간데이터 분산 처리 방법 및 이를 위한 분산 처리 서버
US20190228009A1 (en) Information processing system and information processing method
WO2017095820A1 (en) Methods and devices for acquiring data using virtual machine and host machine
CN109460345B (zh) 实时数据的计算方法及系统
KR102157591B1 (ko) 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
US9256641B1 (en) Dynamic optimization of data aggregation
US9547590B2 (en) Managing memory
CN113438184A (zh) 网卡的队列管理方法、装置及电子设备
US20160147838A1 (en) Receiving node, data management system, data management method and strage medium
KR102167791B1 (ko) 인-메모리 레이어 관리 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
KR102024846B1 (ko) 파일 시스템 프로그램 및 이를 이용한 데이터 센터 제어 방법
US11252234B1 (en) Containerized gateways and exports for distributed file systems
JP5364931B2 (ja) 計算機システム、及び、サーバ
JP6232127B2 (ja) 共有リソース更新装置及び共有リソース更新方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant