KR101773910B1 - 위치 기반 빅데이터 시스템 - Google Patents

위치 기반 빅데이터 시스템 Download PDF

Info

Publication number
KR101773910B1
KR101773910B1 KR1020160021624A KR20160021624A KR101773910B1 KR 101773910 B1 KR101773910 B1 KR 101773910B1 KR 1020160021624 A KR1020160021624 A KR 1020160021624A KR 20160021624 A KR20160021624 A KR 20160021624A KR 101773910 B1 KR101773910 B1 KR 101773910B1
Authority
KR
South Korea
Prior art keywords
spatial information
information
big data
storage
standard code
Prior art date
Application number
KR1020160021624A
Other languages
English (en)
Inventor
이광한
Original Assignee
주식회사 케이앤컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이앤컴퍼니 filed Critical 주식회사 케이앤컴퍼니
Priority to KR1020160021624A priority Critical patent/KR101773910B1/ko
Priority to PCT/KR2016/013341 priority patent/WO2017146348A1/ko
Application granted granted Critical
Publication of KR101773910B1 publication Critical patent/KR101773910B1/ko

Links

Images

Classifications

    • G06F17/3087
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F17/30241
    • G06F17/30318
    • G06F17/30589

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

공간 정보를 처리하는 NoSQL 기반의 빅데이터 시스템에 있어서, 미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장 장치의 파일 시스템의 디렉토리에, 미리 정의된 표준코드가 부여된 공간정보를 저장하는 빅데이터 시스템이 개시된다.

Description

위치 기반 빅데이터 시스템{LOCATION BASED BIG DATA SYSTEM}
본 명세서는 빅데이터 기술에 관한 것으로, 보다 상세하게는 공간정보를 포함하는 빅데이터를 처리하는 빅데이터 시스템에 관한 것이다.
공간정보란 공간상에 존재하는 자연적 또는 인공적인 객체에 대한 위치정보 및 이와 관련된 공간적 인지 및 의사결정에 필요한 정보를 말한다. 최근 공공 데이터의 개방이 이루어지면서 이러한 공간정보의 개방 속도가 기하급수적으로 늘어나고 있으며, 다양한 지도서비스 등을 통해 공간정보를 활용하는 서비스가 늘어나고 있다.
그러나, 단순히 공간정보를 지도상에 표시하는 서비스만으로는 실생활에 필요한 핵심적인 정보를 제공하는데 한계가 있다. 대부분의 공간에는 복합적인 자연적 또는 인공적 객체들이 산재해 있으며, 각 객체들은 서로 상호작용을 통해 공간의 특성을 만들어내기 때문이다. 따라서, 개별 공간정보를 일차원적으로 활용하는 것이 아닌 다양한 공간정보를 활용하여 일정 거리 이내의 객체 간의 상호작용을 통한 공간 특성을 도출하기 위한 시스템의 필요성이 대두 되고 있다.
하지만, 공간정보는 전 국토 또는 도시를 대상으로 하는 정보들로서 이루어져 있고, 다양한 분야별 정보를 수집하게 되면 정보의 양이 기하급수적으로 늘어나는 문제가 생긴다. 게다가 일정 거리 이내의 객체 간의 상호작용을 분석하기 위해서는 모든 지점마다 새로운 정보를 조회하여 분석해야 하는 문제가 있다.
이러한 문제를 해결하기 위해 종래에는 공간정보를 처리하는 시스템의 사양을 높이고, 분석에 사용되는 정보의 양을 제한하는 등 소극적인 방법을 사용해 왔으며, 이러한 방법을 사용하는 경우, 예컨대, 대략 1km 반경에 대한 상권 분석의 경우에도 최소 1분 ~ 10분 이상의 시간이 소요되기 때문에, 이는 전문가들만 사용할 수 있거나, 일부 한정된 목적으로만 활용 가능하다는 한계를 갖는다.
이러한 한계를 극복하기 위해 분산된 저장 매체를 메모리 DB(database)를 통해 추상화 방식으로 확장하여 사용하는 방식의 빅데이터 시스템을 도입하기도 한다. 이러한 빅 데이터 시스템은 관계형 데이터베이스의 대안 기술로서 NoSQL을 기반으로 한다. 그러나, 이러한 기존의 NoSQL 기반의 빅데이터 시스템은 트랜젝션이나 인덱션 기능이 제대로 제공되지 않아, 저용량 데이터를 사용하거나 고급 분석을 이용한 고속 쿼리 문제에서는 관계형 데이터베이스에 비해 오히려 성능이 떨어진다는 문제가 있다.
특히, 본 발명자들의 연구에 따르면, 기존의 NoSQL 기반의 빅데이터 시스템으로 공간정보를 처리하는 경우 공간 정보의 고유한 특성으로 인하여 제한적인 효과만을 가져올 뿐이었다.
보다 구체적으로, 공간 정보의 경우에는 정보의 속성 분류와 함께 공간정보의 근간이 되는 위치정보로 인해 개별 데이터의 크기는 작으나 데이터 개수가 무한히 많은 형태를 띄게 된다. 또한, 공간 정보의 경우 위치와 속성으로 2차원적으로 잘게 쪼개지게 되기 때문에, 기존의 NoSQL 기반의 빅데이터 시스템으로 이를 그대로 처리하는 경우에는 분산 처리에 따른 효과는 미미하고, 오히려 메모리 DB의 역할이 2차원 연결에 따라 기하급수적으로 늘어나서 메모리 DB가 감당하지 못하여 처리 속도가 떨어지는 등 빅데이터 시스템의 장점을 살리지 못하는 문제가 있다.
공개특허공보 제10-2015-0062637호
이에 본 명세서는, 일측면에서 대용량 정보 처리를 위한 NoSQL 기반의 빅데이터 처리 기술을 활용하면서도 공간정보의 처리에 적합하고 처리 속도를 높일 수 있는 NoSQL 기반의 빅데이터 시스템을 제공하고자 한다.
일 구현예에 따른 빅데이터 시스템은, 공간 정보를 처리하는 NoSQL 기반의 빅데이터 시스템에 있어서, 미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장 장치의 파일 시스템의 디렉토리에, 미리 정의된 표준코드가 부여된 공간정보를 저장하는 빅데이터 시스템일 수 있다.
일 실시예에 따른 빅데이터 시스템은, 위치정보 및 속성정보를 포함하는 공간정보에 대한 데이터를 수집하는 수집 모듈과, 상기 공간정보 내 속성정보에 기초하여 상기 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정하고, 상기 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하며 부여된 표준코드에 기초하여 상기 공간정보가 저장될 하나 이상의 저장 장치의 저장 위치를 지정하는 관리 모듈과, 지정된 각 저장 장치의 저장 위치에 공간정보를 분산하여 저장하는 처리 모듈을 포함할 수 있다. 이때, 상기 저장 장치의 파일 시스템 상의 디렉토리 구조는 상기 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정되는 것일 수 있다.
일 실시예에 따른 빅데이터 시스템은, 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신하고, 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석하여 분석정보를 생성하는 분석 모듈과, 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하며 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득하고, 상기 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 관리 모듈과, 그리고 상기 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 상기 분석 모듈로 전달하는 처리 모듈을 포함할 수 있다. 이때, 상기 저장 장치의 파일 시스템상의 디렉토리 구조는 상기 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정되는 것일 수 있다.
일 구현예에 따른 빅데이터 시스템의 프로세스 수행 방법은, 공간 정보를 처리하는 NoSQL 기반의 빅데이터 시스템의 프로세스 수행 방법에 있어서, 수집된 공간정보에 미리 정의된 표준코드를 부여하고, 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장장치의 디렉토리에, 미리 정의된 표준코드가 부여된 공간정보를 저장하는 것일 수 있다.
일 실시예에 따른 빅데이터 시스템이 수집 프로세스를 수행하는 방법은, 위치정보 및 속성정보를 포함하는 공간정보에 대한 데이터를 수집하는 단계와, 상기 공간정보 내 속성정보에 기초하여 상기 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 단계와, 상기 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하고, 부여된 표준코드에 기초하여 상기 공간정보가 저장될 하나 이상의 저장 장치의 저장 위치를 지정하는 단계와, 지정된 각 저장 장치의 저장 위치에 공간정보를 분산하여 저장하는 단계를 포함할 수 있다. 이때, 상기 저장 장치의 파일 시스템 상의 디렉토리 구조는 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정되는 것일 수 있다.
일 실시예에 따른 빅데이터 시스템이 분석 프로세스를 수행하는 방법은, 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신하는 단계와, 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하고, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득하는 단계와, 상기 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 단계와, 상기 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 상기 분석 모듈로 전달하는 단계를 포함할 수 있다. 이때, 상기 저장 장치의 파일 시스템상의 디렉토리 구조는 상기 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정되는 것일 수 있다.
본 명세서에 따르면, 빅데이터 시스템은 수집된 공간정보에 미리 정의된 표준코드를 부여하고, 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된 저장장치의 디렉토리에 표준코드가 부여된 공간정보를 저장하기 때문에, 메모리 DB(database)가 데이터의 분산 처리 과정에서의 공간정보의 속성에 따른 분산 처리만을 수행할 수 있다. 따라서, 처리 속도를 높일 수 있고 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 위치정보의 체계가 항상 유지될 수 있다는 효과를 갖는다.
또한, 해당 빅데이터 시스템은 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득할 수 있기 때문에, 메모리 DB의 조회 과정 없이 위치에 맞는 공간정보에 빠른 속도로 도달할 수 있다는 이점을 갖기 때문에 공간 정보의 처리에 적합하다.
도 1은 본 명세서의 일 실시예에 따른, NoSQL 기반의 빅데이터 시스템의 개략적인 시스템 아키텍처를 나타낸다.
도 2는 본 명세서의 일 실시예에 따른 스토리지 레이어의 저장 장치의 디렉토리 생성 과정을 소스 코드와 함께 나타내는 개략도이다.
도 3은 본 명세서의 일 실시예에 따른 디렉토리 구조를 나타내는 개략도이다.
도 4는 본 명세서의 일 실시예에 따른 빅데이터 시스템의 물리적 서버 구성을 나타내는 개략도이다.
도 5는 본 명세서의 일 실시예에 따른 NoSQL 기반의 빅데이터 시스템 레이어의 세부 구성도이다.
도 6은 본 명세서의 일 실시예에 따른 빅데이터 시스템이 수집 프로세스를 수행하는 방법을 나타내는 순서도이다.
도 7은 본 명세서의 일 실시예에 따른 빅데이터 시스템이 분석 프로세스를 수행하는 방법을 나타내는 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서, 빅데이터는 기존의 데이터베이스 관리도구로 데이터를 수집, 분석할 수 있는 역량을 넘어서는 대량의 정형, 비정형 또는 반정형 데이터의 집합을 의미한다. 여기서, 정형 데이터는 고정된 필드에 저장된 데이터로서, 예컨대, 이름, 주소, 연락처 등과 같이 관계형 데이터베이스, 스프레드쉬트 등에 저장될 수 있는 데이터이다. 또한, 비정형 데이터는 고정된 필드에 저장되어 있지 않은 데이터로서, 예컨대, 텍스트 문서, 이미지, 동영상, 음성 데이터 등이 있다. 또한, 반정형 데이터는 고정된 필드에 저장되어 있지 않지만 메타데이터나 스키마를 포함하는 데이터로서, 예컨대, XML, HTML, 텍스트 등이 있다.
본 명세서에서, 빅데이터 시스템은 빅데이터의 수집 및 저장 처리(이하, 수집 프로세스)와, 빅데이터의 조회 및 분석 처리(이하, 분석 프로세스)를 수행할 수 있는 시스템이다. 이러한 빅데이터 시스템은, 예컨대, 분산 스토리지 및 분산 처리를 주관하는 메모리 DB(예컨대, 인메모리 DB)를 포함하는 시스템일 수 있다. 실시예들에 따른 빅데이터 시스템은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다.
본 명세서에서, "부(unit)", "모듈(module)", "서버", "시스템", "장치" 또는 "단말", "봇", "로봇" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
본 명세서에서 NoSQL은 비관계형 데이터 베이스 또는 데이터 모델을 의미한다.
본 명세서에서 NoSQL 기반의 빅데이터 시스템은 비관계형 데이터 베이스 처리를 수행하는 빅데이터 처리 시스템을 의미한다.
도 1은 본 명세서의 일 실시예에 따른, NoSQL 기반의 빅데이터 시스템의 개략적인 시스템 아키텍처를 나타낸다.
도 1을 참조하면, 빅데이터 분석을 위한 빅데이터 시스템의 시스템 아키텍처는 크게 3개의 레이어(layer), 예컨대, 분산 스토리지 레이어, 빅데이터 시스템 레이어 및 서비스 레이어로 구성될 수 있다.
최하위 레이어인 분산 스토리지 레이어는 수집 또는 분석된 정보를 분산 스토리지에 분산하여 저장하고, 조회된 정보를 제공하는 기능을 수행한다. 이러한 분산 스토리지 레이어를 구성하는 저장 시스템은 데이터가 저장된 복수의 저장 장치들을 포함할 수 있다. 이때, 저장 장치는 물리적으로 데이터를 저장하는 복수의 스토리지들(예컨대, 로컬 스토리지, 네트워크 스토리지 등)을 포함할 수 있고, 각 저장 장치는 복수의 저장 위치를 포함할 수 있다.
이하에서도 설명할 것처럼, 본 명세서의 일 실시예에 따른 빅데이터 시스템의 분산 스토리지 레이어에서 저장 장치의 분산 파일 시스템 상의 디렉토리 구조는 미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 설정된다.
예를 들면, 빅데이터 시스템의 분산 스토리지 레이어의 저장 장치의 분산 파일 시스템은, 공공기관에 의해 정해진 행정동 코드체계나 도로명 주소 표준 코드 체계 등의 행정표준코드를 기초로 정의된 디렉토리 구조를 가질 수 있다. 행정표준코드는 상하위 계층으로 구성된 계층적 구조(예컨대, 시, 구, 동 등과 같은 상하위 계층으로 구성된 계층적 구조)를 가지기 때문에, 이러한 계층 체계에 근거하여 저장 장치의 분산 파일의 디렉토리 구조를 설정할 수 있다.
도 2는 본 명세서의 일 실시예에 따른 스토리지 레이어의 저장 장치의 디렉토리 생성 과정을 소스 코드와 함께 나타내는 개략도이다.
도 2에 도시된 바와 같이, 공공 기관에 의해 제공되는 행정표준코드에 관한 공공데이터(예컨대, 건축물 대장에서 공개한 주소)를 읽고(1), 이를 바탕으로 해당 주소의 체계 [시군구-읍면동-번지본번-번지부번]로 데이터 키를 만들도록 하고(2), 디렉토리 생성 봇(또는 처리 모듈)은 스토리지 레이어의 다수의 저장 장치(HDD 또는 SSD)에 해당 키값으로 디렉토리를 생성하도록 한다(3).
도 3은 본 명세서의 일 실시예에 따른 디렉토리 구조를 나타내는 개략도이다.
도 3에 도시된 바와 같이, 디렉토리 구조는 최상위 디렉토리 루트로부터 [시군구 디렉토리-읍면동 디렉토리-번지 디렉토리]와 같이 전술한 주소 체계에 대응되는 계층 체계를 가진다. 그리고, 이러한 계층화된 디렉토리에 해당 주소의 속성 데이터나 가공, 예측 데이터 파일들(File 1, File 2, File 3 등)이 저장된다.
참고로, 이때 예컨대 HDD와 같은 저장 장치 하나에는 약 2000만여 개의 디렉토리를 생성할 수 있다. 한편, 공공 데이터는 매달 업데이트되므로 월별로 데이터 디렉토리를 생성하게 된다.
이와 같이, 본 명세서의 일 실시예에 따른 빅데이터 시스템의 저장 장치의 파일 시스템은, 행정표준코드에 기초한 디렉토리 구조를 가질 수 있기 때문에, 전국 모든 주소의 위치정보를 포함하는 공간정보를 빅데이터 시스템에 의해 부여된 행정표준코드 체계에 기초한 디렉토리 구조를 통해 용이하게 저장할 수 있다. 이에 따라, 해당 빅데이터 시스템은, 기존과 달리 (즉, 위치와 속성으로 2차원 적으로 잘게 쪼개진 비관계형 데이터베이스를 메모리 DB가 모두 처리하는 기존 방식과 달리), 메모리 DB와 저장 장치의 파일 시스템의 디렉토리를 복합적으로 활용한다. 따라서, 메모리 DB (후술하는 빅데이터 시스템 레이어의 관리 모듈에 해당)는 데이터의 분산 처리 과정에서의 공간 정보의 속성 및 크기에 따른 분산 처리만을 수행할 수 있어, 처리 속도를 높일 수 있고, 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 위치정보의 체계가 항상 유지될 수 있다는 이점을 갖는다.
또한, 공간정보의 업데이트 시 업데이트된 공간정보를 하나 이상의 저장 장치에 축적할 때 동일한 디렉토리 구조를 사용할 수 있기 때문에 데이터의 검색과 추출을 용이하게 할 수 있다. 즉, 동일한 행정표준코드가 부여된 공간정보는 분산되어 저장되는 각 저장 장치 내의 동일한 디렉토리 상의 저장 위치에 저장되기 때문에(예컨대, A시 A구 A동의 행정표준코드가 부여된 공간정보는 각 저장 장치 내 동일한 저장 위치인 A위치에 저장될 수 있고, A시 A구 B동의 행정표준코드가 부여된 공간정보는 각 저장 장치 내 동일한 저장 위치인 B위치에 저장될 수 있음), 공간정보의 저장, 검색 및 추출이 용이하다.
도 1을 다시 참조하여 빅데이터 시스템 레이어를 설명한다. 데이터 시스템 레이어는 빅데이터를 수집하고, 데이터마이닝을 적용하여 데이터를 분석하고 추론하여 분석정보를 생성하고, 분산 스토리지를 관리(주관)하고, 이하에서 설명할 서비스 레이어 내의 서비스 서버 등의 요청을 받아 분석정보를 취합하여 전달하는 게이트웨이 기능을 수행하는 하나 이상의 모듈로 구성될 수 있다.
실시예로서, 빅데이터 시스템 레이어를 구성하는 빅데이터 시스템의 각 모듈은 메인 관리 모듈에 연결될 수 있고, 모듈들 중 일부는 서비스 레이어의 적어도 하나의 구성에 연결될 수 있고, 모듈들 중 다른 일부는 전술한 스토리지 레이어의 적어도 하나의 구성에 연결될 수 있다. 이에 대하여는 도 5를 참조하여, 이하에서 상세히 설명하도록 한다.
이러한 기능을 수행하기 위해, 빅데이터 시스템 레이어는 분산 데이터베이스로서는, No-SQL 데이터베이스를 사용하고, 또한, 데이터베이스 관리 시스템 (분산 처리 주관 시스템)으로서, 예컨대, 메모리 DB (예컨대, 인메모리 DBMS)를 사용할 수 있다.
본 명세서의 빅데이터 시스템의 스토리지 레이어의 분산 파일 시스템은 하나 이상의 스토리지와 이기종간의 운영체제를 넘나들기 때문에(도 4 참조), 간헐적 장애나 데이터 파편화의 문제를 해결하기 위하여, 메모리 DB를 사용할 수 있다. 이 경우, 사용자가 데이터를 검색할 시 먼저 메모리 DB에서 원하는 데이터 풀(pool)이 저장된 스토리지의 경로를 검색하여 빠른 응답성을 제공할 수 있고, 또한 스토리지의 수평적 확장 정보를 메모리 데이터베이스화하여 데이터의 유연성을 확보할 수 있다.
도 1에서 최상위 레이어인 서비스 레이어는 웹, 서버, API 등을 통해 분석정보에 기초한 다양한 서비스를 제공하는 기능을 수행한다. 즉, 서비스 레이어를 구성하는 서비스 시스템은 고객의 요청에 따라 빅데이터 분석에 기반한 다양한 서비스를 고객에게 제공할 수 있다.
이하에서는 빅데이터 시스템 레이어의 구성을 중심으로, 빅데이터 시스템이 위치정보와 속성 정보를 포함하는 공간 정보에 관한 빅데이터를 수집/저장하고, 조회/분석하는 프로세스에 대하여 상세히 설명하도록 한다.
도 5는 본 명세서의 일 실시예에 따른 NoSQL 기반의 빅데이터 시스템 레이어의 세부 구성도이다. 도 5를 참조하면, 빅데이터 시스템 레이어(100)는 수집 모듈(110), 분석 모듈(120), 관리 모듈(130), 처리 모듈(140) 및 갱신 모듈(150)을 포함할 수 있다.
이러한 빅데이터 시스템 레이어(100)는 공간 정보의 수집 프로세스 및 분석 프로세스를 수행할 수 있다. 여기서, 수집 프로세스는 공간 정보에 관한 빅데이터를 수집하고, 분산된 저장 매체에 저장하는 일련의 과정을 의미하며, 분석 프로세스는 저장된 빅데이터를 조회하고, 조회된 빅데이터로부터 가치를 추출하고 결과를 분석하는 일련의 과정을 의미한다. 이하에서는, 빅데이터 시스템 레이어(100)에 의해 수행되는 수집 프로세스와 분석 프로세스에 대하여 상세히 설명하도록 한다.
수집 프로세스
일 실시예에서, 수집 프로세스는 빅데이터 시스템 레이어(100)의 수집 모듈(110), 수집 모듈(110)에 연결된 관리 모듈(130) 및 관리 모듈(130)에 연결된 복수의 처리 모듈(140)에 의해 수행될 수 있다.
우선, 수집 모듈(110)은 빅데이터를 수집할 수 있다. 이때, 수집되는 빅데이터는 공간정보에 대한 대량의 데이터를 포함할 수 있다. 실시예로서, 공간정보는 위치정보 및 속성정보를 포함할 수 있다. 여기서, 위치정보는 대응되는 공간상에 존재하는 객체의 위치에 대한 정보(예컨대, 위, 경도 정보)를 의미하고, 속성정보는 공간정보의 속성(예컨대, 유형, 크기 등)에 관한 정보를 의미한다. 또한, 공간정보는 연관정보를 더 포함할 수 있다. 여기서, 연관정보는 공간상에 존재하는 객체와 관련된 공간적 인지 및 의사결정에 필요한 정보를 의미하며, 이러한 연관정보는 빅데이터 시스템이 공간정보들에 기초하여 분석정보를 생성할 때 활용될 수 있다. 예를 들면, 연관정보는 설정한 반경 내의 토지정보, 부동산 실거래가 정보, 부동산 가치 평가 정보, 건물의 속성정보 등을 비롯해 설정한 반경 내의 교육, 보건, 생활편의 등의 환경정보를 포함할 수 있다.
실시예에서, 수집 모듈(110)은 미리 구축된 API, 크롤링 엔진(Crawling engine) 등을 이용하여 다양한 소스(예컨대, 공공기관 서버, 웹사이트 등)로부터 공간정보를 포함하는 공공 데이터 및 개방 데이터를 수집할 수 있다.
다음으로, 관리 모듈(130) 및 처리 모듈(140)은 수집된 공간정보를 포함하는 빅데이터를 분산된 저장매체에 저장하는 것을 주관할 수 있다. 관리 모듈(130) 및 처리 모듈(140)이 공간정보를 저장 매체에 저장하는 과정을 상세히 설명하면 다음과 같다.
우선, 관리 모듈(130)은 공간정보 내 속성정보에 기초하여 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다. 실시예로서, 관리 모듈(130)은 데이터의 유형(type) 및 크기(size)와 같은 속성에 기초하여 공간정보가 저장될 저장개수 및 최소 저장단위 중 적어도 하나를 결정하고, 이에 기초하여 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈(140)을 지정할 수 있다.
또한, 관리 모듈(130)은 공간정보 내 위치정보 (예컨대 주소)에 기초하여 미리 정의된 표준코드를 공간정보에 부여하고, 부여된 표준코드에 기초하여 지정된 각 저장 장치의 저장 위치를 지정할 수 있다. 여기서, 표준코드는 전체 공간을 구성하는 개별 공간의 위치 및 개별 공간 간의 포함관계에 따라 관심 공간을 분류(예컨대, 계층적 분류)하는 코드로서, 예를 들면, 공공기관에 의해 정의된 행정표준코드(예컨대, 전자정부법 제 50조 및 동법 시행령 제 59조에 따른 행정표준코드)일 수 있다.
앞서 설명한 바와 같이, 본 명세서에서, 저장 장치의 파일 시스템상의 디렉토리 구조는 미리 정의된 표준코드(예컨대, 행정표준코드)의 체계와 동일한 체계의 계층 구조를 갖도록 설정되기 때문에, 빅데이터 시스템은 관리 모듈인 메모리 DB가 데이터의 분산 처리 과정에서의 공간정보의 속성에 따른 분산 처리만을 수행할 수 있어, 처리 속도를 높일 수 있고, 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 공간정보 중 위치정보의 체계 (즉, 디렉토리 구조)가 항상 유지될 수 있다는 이점을 갖는다.
또한, 관리 모듈(130)은 지정된 하나 이상의 처리 모듈(140)(도 2의 디렉토리 생성 로봇)에 저장 작업의 분산 처리를 지시할 수 있다. 각 처리 모듈(140)은 하나 이상의 저장 장치와 연결될 수 있다. 이때, 각 관리 모듈(130)은 하나 이상의 저장 장치를 공유할 수도 있다. 이 경우, 각 처리 모듈(140)은 연결된 저장 장치 중 적어도 일부에 대하여 상기 표준코드에 기초하여 지정된 저장 위치에 공간정보를 분산하여 저장할 수 있다.
갱신 모듈(150)(또는 갱신 봇)은 공간정보가 최초로 수집되어 저장 위치에 저장되거나 저장 위치에 저장된 공간정보가 변경되는 경우, 예약된 잡의 순서에 따라서 해당 저장 위치 주변을 돌면서 공간정보를 갱신할 수 있다.
일 실시예에서, 갱신 모듈(150)은 제1 공간정보가 최초로 수집되어 제1 저장 위치에 저장되거나 제1 저장 위치에 저장된 공간정보가 변경되는 경우, 상기 제1 저장 위치에 대응되는 표준코드 상의 제1 위치로부터 설정된 반경 내에 있는 주변 위치에 대응되는 저장 위치들에 상기 제1 공간정보 또는 변경된 공간 정보를 전송함으로써 저장 위치들에서 공간 정보를 갱신할 수 있다.
예를 들면, 제1 위치 (예컨대 서울시 종로구)를 갖는 제1 객체(예컨대, 토지)에 대한 제1 공간정보(예컨대, 가치 평가 정보)가 최초로 수집되어 제1 저장 위치(메인 저장 위치)에 저장되거나, 제1 저장 위치에 저장된 상기 제1 공간정보가 변경되는 경우, 공간 반경 단위의 빅데이터 분석을 위해, 제1 위치(예컨대, 서울시 종로구)로부터 미리 설정된 반경 내의 주변 위치(예컨대, 서울시 중구, 은평구, 서대문구, 성북구 등과 같이 주변 반경 이내 주소지)에 대응되는 주변 저장 위치에도 해당 정보를 전달하여 갱신해 주어야 하고, 해당 정보가 변경됨에 따라 2차 또는 3차 가공되어 저장된 정보(분석정보)들에 대하여 재가공하여 저장할 필요도 생긴다.
이를 위해, 처리 모듈(140)은 제1 위치(예컨대, 제1 주소지)에 대응되는 메인 저장 위치에 제1 공간정보를 최초로 저장한 이후에 또는 저장된 제1 공간정보가 변경된 경우에, 갱신 모듈(150)에 공간정보의 변경을 알리고, 갱신 모듈(150)은 제1 위치로부터 미리 설정된 반경 내에 있는 위치들(주소지들)에 대응되는 주변 저장 위치에 최초로 저장된 또는 변경된 제1 공간정보를 전달하고, 이에 따라 가공할 필요가 있는 분석정보가 있는 경우, 이를 재가공하여 저장하는 프로세스를 진행할 수 있다.
이러한 과정을 통해, 주변 저장 위치에서 공간정보의 갱신이 수행될 수 있다.
분석 프로세스
일 실시예에서, 분석 프로세스는 빅데이터 시스템 레이어(100)의 분석 모듈(120), 분석 모듈에 연결된 관리 모듈(130) 및 관리 모듈(130)에 연결된 복수의 처리 모듈(140)에 의해 수행될 수 있다.
우선, 분석 모듈(110)은 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신할 수 있다. 이때, 수신된 요청에는 공간정보의 조회가 요청된 위치에 대한 위치정보를 포함할 수 있다. 예를 들면, 분석 모듈(110)은 클라이언트 단말로부터 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신할 수 있다.
다음으로, 관리 모듈(130) 및 처리 모듈(140)은 요청된 공간정보를 조회하여 분석 모듈(120)로 제공할 수 있다. 관리 모듈(130) 및 처리 모듈(140)이 요청된 공간정보를 조회하여 분석 모듈(120)로 제공하는 과정을 상세히 설명하면 다음과 같다.
우선, 관리 모듈(130)은 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하고, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득할 수 있다. 이와 같이, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득함으로써, 빅데이터 시스템은 메모리 DB의 조회 과정 없이 위치에 맞는 공간정보에 빠른 속도로 도달할 수 있다는 이점을 갖는다.
다음으로, 관리 모듈(130)은 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다. 실시예로서, 관리 모듈(130)은 획득된 저장 장치의 저장 위치에 기초하여 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다.
또한, 관리 모듈(130)은 지정된 하나 이상의 처리 모듈(140)에 조회 작업의 분산 처리를 지시할 수 있다. 이 경우, 각 처리 모듈(140)은 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 분석 모듈(120)로 전달할 수 있다. 이후, 분석 모듈(120)은 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석함으로써 공간정보를 포함하는 데이터로부터 가치를 추출하고 결과를 분석할 수 있다. 예를 들면, 분석 모듈(120)은 공간 정보를 포함하는 데이터를 분석함으로써 조회가 요청된 공간 내의 부동산에 대한 가치 평가를 수행하여 상권을 분석할 수 있다. 분석 모듈(120)은 클라이언트 장치로 최종 분석 결과를 제공할 수 있다.
이에 대하여 예를 들어 설명하면, 빅데이터 시스템은 제1 모듈을 통해 주기적으로(예컨대, 매달) 수집된 공간정보를 포함하는 데이터를 기초로 디렉토리 구조를 생성하고, 제2 모듈을 통해 생성된 디렉토리의 키값에 해당하는 데이터를 축적하고, 제3 모듈을 통해 위치정보를 이용하여 미리 설정된 반경 내의 데이터를 검색하고, 제4 모듈을 통해 공간정보 내 연관 정보 (예컨대 실거래가 정보)와 위치정보의 상호작용을 분석함으로써, 모든 키값에 해당하는 가치 평가 분석을 실행할 수 있다. 이후, 사용자에게 최신 분석 데이터를 제공할 수 있도록 메모리 DB를 갱신할 수 있다. 여기서, 제1 모듈 내지 제4 모듈 중 적어도 하나는 상술한 분석 모듈(120)에 포함된 서브 모듈일 수 있다.
한편, 일 실시예에 있어서, 상술한 바와 같이 관리 모듈(130)이 수집 프로세스 및 분석 프로세스를 모두 수행할 수 있지만, 다른 일 실시예에 있어서는 수집 프로세스를 수행하는 수집 관리 모듈, 및 분석 프로세스를 수행하는 분석 관리 모듈을 포함할 수도 있다.
본 명세서에서, 빅데이터 시스템(100)을 구성하는 각각의 모듈은 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 즉, 도 1에서 수집 모듈(110), 분석 모듈(120), 관리 모듈(130) 및 처리 모듈(140)은 서로 구분되는 별개의 블록으로 도시되었으나, 이는 하나 이상의 프로세서에 의해 실행되는 동작에 의해 단지 기능적으로 구분한 것이다. 실시예에 따라서는 전술한 각 모듈 중 일부 또는 전부가 동일한 하나의 구성요소 내에 집적화될 수 있으며, 또는 하나 이상의 부가적인 다른 모듈과 물리적으로 구분되는 별개의 구성요소로 구현될 수도 있다. 예컨대, 수집 모듈(110), 분석 모듈(120), 관리 모듈(130) 및 처리 모듈(140)은 분산 컴퓨팅 환경하에서 서로 통신 가능하게 연결된 컴포넌트(component)들일 수도 있다. 또한, 처리 모듈(140)은 관리 모듈(130) 내에 포함된 특정한 기능을 수행하도록 구성된 봇(bot)일 수 있다.
도 6은 본 명세서의 일 실시예에 따른 빅데이터 시스템이 수집 프로세스를 수행하는 방법을 나타내는 순서도이다. 도 6에서는 도 1 내지 5에서 설명한 내용과 동일하거나 유사한 내용에 대한 상세한 설명은 생략한다.
도 6을 참조하면, 빅데이터 시스템은 공간정보를 포함하는 데이터를 수집할 수 있다. 여기서, 공간정보는 위치정보 및 속성정보를 포함할 수 있다. 또한, 공간정보는 연관정보를 더 포함할 수 있다. 실시예에서, 빅데이터 시스템은 미리 구축된 크롤링 엔진(Crawling engine) 등을 이용하여 다양한 소스(예컨대, 공공기관 서버, 웹사이트 등)로부터 공간정보를 포함하는 공공 데이터 및 개방 데이터를 수집할 수 있다.
다음으로, 빅데이터 시스템은 공간정보 내 속성정보에 기초하여 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다(S20). 예를 들면, 빅데이터 시스템은 데이터의 유형(type) 및 크기(size)와 같은 속성에 기초하여 공간정보가 저장될 저장개수 및 최소 저장단위 중 적어도 하나를 결정하고, 이에 기초하여 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다. 각 처리 모듈은 하나 이상의 저장 장치와 연결될 수 있다. 이때, 각 처리 모듈은 하나 이상의 저장 장치를 공유할 수도 있다.
다음으로, 빅데이터 시스템은 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하고, 부여된 표준코드에 기초하여 지정된 각 저장 장치의 저장 위치를 지정할 수 있다(S30). 여기서, 표준코드는 각 공간의 위치 및 공간 간의 포함관계에 따라 관심 공간을 분류(예컨대, 계층적 분류)하는 코드로서, 예컨대, 공공기관에 의해 정의된 행정표준코드일 수 있다.
본 명세서에서, 저장 장치의 파일 시스템 상의 디렉토리 구조는 미리 정의된 표준코드(예컨대, 행정표준코드)의 체계와 동일한 체계의 계층 구조를 갖도록 설정되기 때문에, 빅데이터 시스템은 메모리 DB가 데이터의 분산 처리 과정에서의 공간정보의 속성 및 크기에 따른 분산 처리만을 수행할 수 있어, 처리 속도를 높일 수 있고, 메모리 DB의 유실이나 오류로 인해 문제가 발생하더라도 위치정보의 체계가 항상 유지될 수 있다는 이점을 갖는다.
또한, 빅데이터 시스템은 지정된 하나 이상의 처리 모듈에 저장 작업의 분산 처리를 지시할 수 있다. 이 경우, 빅데이터 시스템은 각 처리 모듈을 통해, 연결된 저장 장치 중 적어도 일부에 대하여 상기 표준코드에 기초하여 지정된 저장 위치에 공간정보를 분산하여 저장할 수 있다(S40).
도 7은 본 명세서의 일 실시예에 따른 빅데이터 시스템이 분석 프로세스를 수행하는 방법을 나타내는 순서도이다. 도 7에서는 도 1 내지 5에서 설명한 내용과 동일하거나 유사한 내용에 대한 상세한 설명은 생략한다.
도 7을 참조하면, 빅데이터 시스템은 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신할 수 있다(S110). 이때, 수신된 요청에는 공간정보의 조회가 요청된 위치에 대한 위치정보를 포함할 수 있다. 예를 들면, 분석 모듈은 클라이언트 단말로부터 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신할 수 있다.
다음으로, 빅데이터 시스템은 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하고, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득할 수 있다(S120). 이와 같이, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득함으로써, 빅데이터 시스템은 메모리 DB의 조회 과정 없이 위치에 맞는 공간정보에 빠른 속도로 도달 할 수 있다는 이점을 갖는다.
다음으로, 빅데이터 시스템은 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다(S130). 실시예로서, 빅데이터 시스템은 획득된 저장 장치의 저장 위치에 기초하여 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정할 수 있다.
다음으로, 빅데이터 시스템은 지정된 하나 이상의 처리 모듈에 조회 작업의 분산 처리를 지시할 수 있다(S140). 이 경우, 빅데이터 시스템은 각 처리 모듈을 통해, 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 분석 모듈로 전달할 수 있다.
다음으로, 빅데이터 시스템은 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석함으로써 공간정보를 포함하는 데이터로부터 가치를 추출하고 결과를 분석할 수 있다(S150). 예를 들면, 빅데이터 시스템은 공간 정보를 포함하는 데이터를 분석함으로써 조회가 요청된 공간 내의 부동산에 대한 가치 평가를 수행하여 상권을 분석할 수 있다. 빅데이터 시스템은 클라이언트 장치로 최종 분석 결과를 제공할 수 있다.
또한, 이상에서 설명한 실시예들에 따른 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 서류수령 대행 방법을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(carrier wave)(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (14)

  1. 물리적인 공간정보를 처리하는 NoSQL 기반의 빅데이터 시스템에 있어서,
    상기 빅데이터 시스템은,
    미리 정의된 표준코드의 체계에 대응되는 계층 구조를 갖는, 저장 장치의 파일 시스템의 디렉토리에, 미리 정의된 표준코드가 부여된 물리적인 공간정보를 저장하되,
    상기 미리 정의된 표준코드의 체계는 계층적인 관계를 갖는 하나 이상의 물리적인 공간 단위에 관련된 것을 특징으로 하는, 빅데이터 시스템.


  2. 제 1 항에 있어서,
    상기 미리 정의된 표준코드는, 전체 공간을 구성하는 개별 공간의 위치 및 개별 공간 간의 포함관계에 따라 관심 공간을 분류하는 코드인 것을 특징으로 하는, 빅데이터 시스템.
  3. 제 2 항에 있어서,
    상기 미리 정의된 표준코드는, 공공기관에 의해 정의된 행정표준코드인 것을 특징으로 하는, 빅데이터 시스템.
  4. 제 1 항에 있어서,
    상기 빅데이터 시스템은, 분산 스토리지 레이어; 및 빅데이터 시스템 레이어;를 포함하고,
    상기 분산 스토리지 레이어는 복수의 저장 장치를 포함하고,
    상기 빅데이터 시스템 레이어는, 상기 저장 장치의 파일 시스템에 미리 정의된 표준코드의 체계와 동일한 체계의 계층 구조를 갖도록 디렉토리를 생성하는 것을 특징으로 하는, 빅데이터 시스템.
  5. 제 4 항에 있어서,
    상기 빅데이터 시스템은, 상기 빅데이터 시스템으로부터 얻어지는 빅데이터를 기초로 서비스를 제공하는 서비스 레이어를 더 포함하는 것을 특징으로 하는, 빅데이터 시스템.
  6. 제 4 항에 있어서,
    상기 빅데이터 시스템 레이어는,
    위치정보 및 속성정보를 포함하는 공간정보에 대한 데이터를 수집하는 수집 모듈;
    상기 공간정보 내 속성정보에 기초하여 상기 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정하고, 상기 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하며 부여된 표준코드에 기초하여 설정된 디렉토리에 따라 상기 공간정보가 저장될 하나 이상의 저장 장치의 저장 위치를 지정하는 관리 모듈; 및
    지정된 각 저장 장치의 저장 위치에 공간정보를 분산하여 저장하는 처리 모듈을 포함하는 것을 특징으로 하는, 빅데이터 시스템.
  7. 제 6 항에 있어서,
    상기 빅데이터 시스템 레이어는,
    제1 공간정보가 최초로 수집되어 제1 저장 위치에 저장되거나 제1 저장 위치에 저장된 공간정보가 변경되는 경우,
    상기 제1 저장 위치에 대응되는 상기 표준코드 상의 제1 위치로부터 설정된 반경 내에 있는 주변 위치에 대응되는 저장 위치들에 상기 제1 공간정보 또는 변경된 제1 공간 정보를 전송함으로써 공간 정보를 갱신하거나, 또는 공간 정보에 따라 가공되는 분석 정보를 재가공하는 갱신 모듈;을 더 포함하는 것을 특징으로 하는, 빅데이터 시스템.
  8. 제 4 항에 있어서,
    상기 빅데이터 시스템 레이어는,
    특정 위치에 대한 공간정보의 조회를 위한 요청을 수신하고, 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석하여 분석정보를 생성하는 분석 모듈;
    공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하며 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득하고, 상기 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 관리 모듈; 및
    상기 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 상기 분석 모듈로 전달하는 처리 모듈을 포함하는 것을 특징으로 하는, 빅데이터 시스템.
  9. 제 8 항에 있어서,
    상기 분석 정보는 갱신되는 것을 특징으로 하는, 빅데이터 시스템.
  10. 물리적인 공간정보를 처리하는 NoSQL 기반의 빅데이터 시스템의 프로세스 수행 방법에 있어서,
    상기 방법은,
    수집된 물리적인 공간정보에 미리 정의된 표준코드를 부여하고, 상기 미리 정의된 표준코드의 체계에 대응되는 계층 구조를 갖는, 저장장치의 파일 시스템의 디렉토리에, 상기 미리 정의된 표준코드가 부여된 물리적인 공간정보를 저장하되,
    상기 미리 정의된 표준코드의 체계는 계층적인 관계를 갖는 하나 이상의 물리적인 공간 단위에 관련된 것을 특징으로 하는, 빅데이터 시스템의 프로세스 수행 방법.
  11. 제 10 항에 있어서,
    수집 모듈에 의해, 위치정보 및 속성정보를 포함하는 공간정보에 대한 데이터를 수집하는 단계;
    관리 모듈에 의해, 상기 공간정보 내 속성정보에 기초하여 상기 공간정보의 저장을 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 단계;
    상기 관리 모듈에 의해, 상기 공간정보 내 위치정보에 기초하여 미리 정의된 표준코드를 공간정보에 부여하고, 부여된 표준코드에 기초하여 상기 공간정보가 저장될 하나 이상의 저장 장치의 저장 위치를 지정하는 단계; 및
    상기 처리 모듈에 의해, 지정된 각 저장 장치의 저장 위치에 공간정보를 분산하여 저장하는 단계를 포함하여, 빅데이터 시스템이 수집 프로세스를 수행하는 것을 특징으로 하는, 빅데이터 시스템의 프로세스 수행 방법.
  12. 제 11 항에 있어서,
    갱신 모듈에 의해, 제1 공간정보가 최초로 수집되어 제1 저장 위치에 저장되거나 제1 저장 위치에 저장된 공간정보가 변경되는 경우, 상기 제1 저장 위치에 대응되는 상기 표준코드 상의 제1 위치로부터 설정된 반경 내에 있는 주변 위치에 대응되는 저장 위치들에 상기 제1 공간정보 또는 변경된 제1 공간 정보를 전송함으로써 주변 위치에서의 공간 정보를 갱신하거나, 또는 공간 정보에 따라 가공되는 분석 정보를 재가공하는 갱신 단계를 더 포함하는, 빅데이터 시스템의 프로세스 수행 방법.
  13. 제 10 항에 있어서,
    분석 모듈에 의해, 특정 위치에 대한 공간정보의 조회를 위한 요청을 수신하는 단계;
    관리 모듈에 의해, 공간정보의 조회가 요청된 위치에 대응되는 미리 정의된 표준코드를 부여하고, 부여된 표준코드에 기초하여 공간정보가 저장된 저장 장치의 저장 위치를 획득하는 단계;
    상기 관리 모듈에 의해, 상기 공간정보의 조회를 분산하여 처리할 하나 이상의 처리 모듈을 지정하는 단계; 및
    상기 처리 모듈에 의해, 상기 저장 장치의 디렉토리 내의 파일에 접근하여 공간정보를 조회하여 상기 분석 모듈로 전달하는 단계를 포함하여, 빅데이터 시스템이 분석 프로세스를 수행하는 것을 특징으로 하는, 빅데이터 시스템의 프로세스 수행 방법.
  14. 제 13 항에 있어서,
    상기 분석 모듈에 의해, 미리 설정된 분석 방법에 기초하여 조회된 공간정보를 분석하여 분석정보를 생성하는 단계를 더 포함하는, 빅데이터 시스템의 프로세스 수행 방법.
KR1020160021624A 2016-02-24 2016-02-24 위치 기반 빅데이터 시스템 KR101773910B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160021624A KR101773910B1 (ko) 2016-02-24 2016-02-24 위치 기반 빅데이터 시스템
PCT/KR2016/013341 WO2017146348A1 (ko) 2016-02-24 2016-11-18 위치 기반 빅데이터 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160021624A KR101773910B1 (ko) 2016-02-24 2016-02-24 위치 기반 빅데이터 시스템

Publications (1)

Publication Number Publication Date
KR101773910B1 true KR101773910B1 (ko) 2017-09-01

Family

ID=59685324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160021624A KR101773910B1 (ko) 2016-02-24 2016-02-24 위치 기반 빅데이터 시스템

Country Status (2)

Country Link
KR (1) KR101773910B1 (ko)
WO (1) WO2017146348A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102160816B1 (ko) * 2019-10-16 2020-09-28 주식회사 엘에프아이티 Gis 기반 서비스 제공 시스템
CN112115150A (zh) * 2020-08-03 2020-12-22 上海金仕达软件科技有限公司 嵌入式内存数据库的数据管理方法、终端设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101463974B1 (ko) * 2014-05-26 2014-11-26 (주)시엠아이코리아 마케팅을 위한 빅데이터 분석 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536389B1 (en) * 2005-02-22 2009-05-19 Yahoo ! Inc. Techniques for crawling dynamic web content
KR101621385B1 (ko) * 2012-10-11 2016-05-18 주식회사 케이티 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법
KR20150058578A (ko) * 2013-11-18 2015-05-29 (주)스마트비즈온 전자계약 또는 전자세금계산서를 활용한 빅 데이터 구축 시스템
KR101611166B1 (ko) * 2013-11-19 2016-04-11 한국과학기술정보연구원 빅데이터 분석 기반의 위크시그널 도출 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101463974B1 (ko) * 2014-05-26 2014-11-26 (주)시엠아이코리아 마케팅을 위한 빅데이터 분석 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102160816B1 (ko) * 2019-10-16 2020-09-28 주식회사 엘에프아이티 Gis 기반 서비스 제공 시스템
CN112115150A (zh) * 2020-08-03 2020-12-22 上海金仕达软件科技有限公司 嵌入式内存数据库的数据管理方法、终端设备及介质
CN112115150B (zh) * 2020-08-03 2024-03-19 上海金仕达软件科技股份有限公司 嵌入式内存数据库的数据管理方法、终端设备及介质

Also Published As

Publication number Publication date
WO2017146348A1 (ko) 2017-08-31

Similar Documents

Publication Publication Date Title
US10963513B2 (en) Data system and method
US9542653B1 (en) Vehicle prediction and association tool based on license plate recognition
US9317541B2 (en) Apparatus, systems, and methods for batch and realtime data processing
Chen et al. An efficient query indexing mechanism for filtering geo-textual data
US7865476B2 (en) File sharing system in cooperation with a search engine
US8990211B1 (en) Managing information about entities using observations
CN1842008A (zh) 用于通过网络提供定制内容的方法和系统
CN105183735A (zh) 数据的查询方法及查询装置
KR101927450B1 (ko) 대용량 비정형 데이터를 처리하는 rest api 서비스 제공 방법
JP2020531970A (ja) スケーラブルな時空密度データの融合
CN106681999A (zh) 一种数据表查询方法及设备
US8706732B1 (en) Managing information about entities using clusters of received observations
KR101982756B1 (ko) 분산인메모리기반 복합형스트림 데이터처리시스템 및 방법
US20210165911A1 (en) System and method for improving security of personally identifiable information
CN110570928A (zh) 一种基于HBase和ozone的医疗影像文件存取方法
Lamprianidis et al. Extraction, integration and analysis of crowdsourced points of interest from multiple web sources
KR101773910B1 (ko) 위치 기반 빅데이터 시스템
CN109144951A (zh) 一种基于分布式文件系统的目录更新方法及元数据服务器
US20090240660A1 (en) Integration for intelligence data systems
JP5488271B2 (ja) 検索装置
KR101877885B1 (ko) 공공의 공개 데이터 연계장치 및 그 방법
CN112632058A (zh) 轨迹确定方法、装置及设备、存储介质
US10169083B1 (en) Scalable method for optimizing information pathway
KR100931772B1 (ko) 웹사이트 검색 서비스 제공 방법 및 그 시스템
de Souza Baptista et al. Using OGC Services To Interoperate Spatial Data Stored In SQL And NoSQL Databases.

Legal Events

Date Code Title Description
GRNT Written decision to grant