KR102131650B1

KR102131650B1 - 데이터 처리 장치 및 방법

Info

Publication number: KR102131650B1
Application number: KR1020140187219A
Authority: KR
Inventors: 박현; 박대헌; 김현학; 이은주; 허태욱
Original assignee: 한국전자통신연구원
Priority date: 2014-12-23
Filing date: 2014-12-23
Publication date: 2020-07-09
Also published as: KR20160077496A; US10042906B2; US20160179913A1

Abstract

본 발명의 일 실시예에 따른 데이터 처리 장치는, 제1 데이터를 수신하는 수신 모듈, 상기 수신 모듈로부터 수신된 상기 제1 데이터를 처리하여, 상기 제 1 데이터의 메타 데이터를 포함하는 제2 데이터 및 상기 제 1 데이터로부터 그 데이터 타입이 어레이 타입으로 변경된 데이터를 포함하는 제3 데이터를 생성하는 데이터 처리 모듈 및 상기 데이터 처리 모듈로부터 수신된 상기 제1 데이터 및 상기 제2 데이터의 체계를 변경하여 제4 데이터 및 제5 데이터를 생성하고, 상기 제1 데이터와 상기 제4 데이터 사이 및 상기 제2 데이터와 상기 제5 데이터 사이의 맵핑 데이터를 포함하는 제6 데이터를 생성하는 맵핑 모듈을 포함할 수 있다.

Description

데이터 처리 장치 및 방법{APPARATUS AND METHOD FOR DATA PROCESSING}

본 발명의 실시예는 데이터를 수신 및 저장하는 데이터 처리 장치 및 방법에 관한 것이다.

최근, 대량의 데이터를 실시간으로 수집, 분석, 가시화하여 얻는 장점이 알려지면서 빅 데이터에 관한 관심이 증가되고 있다.

특히, 복수의 위성으로부터 대량의 데이터를 수신하고, 다양한 측면에서 실시간으로 분석하는 것이 연구 중이다. 그러나, 수신된 대량의 데이터를 다양한 측면에서 분석하는 경우, 분석할 때마다 데이터 형식을 변경하는 등의 데이터 처리가 필요하므로 많은 시간이 소요된다. 또한, 대량의 데이터에 대한 촬영 시간, 좌표, 해상도 등의 메타 데이터(meta data)를 효율적으로 저장하지도 못하고 있다.

본 발명의 실시예는 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것이다. 대량의 데이터를 수신하면서, 실시간으로 메타 데이터를 추출하고 데이터 형식을 변경할 수 있는 데이터 처리 장치 및 방법을 제공하는 것을 목적으로 한다.

또한, 데이터가 분산 저장되어 데이터 안정성이 향상된 데이터 처리 장치 및 방법을 제공하는 것을 목적으로 한다.

실시예에 따라, 상기 데이터 처리 모듈로부터의 상기 제2 데이터 및 상기 제3 데이터를 저장하는 제1 저장 모듈, 상기 맵핑 모듈로부터의 상기 제4 데이터 및 상기 제5 데이터를 저장하는 제2 저장 모듈 및 상기 맵핑 모듈로부터의 상기 제6 데이터를 저장하는 제3 저장 모듈을 더 포함하고, 상기 제2 저장 모듈은, 마스터 노드, 제1 슬레이브 노드 및 제2 슬레이브 노드를 포함하고, 상기 마스터 노드는 상기 맵핑 모듈로부터의 상기 제4 데이터 및 상기 제5 데이터의 적어도 일부를 상기 제1 슬레이브 노드 및 상기 제2 슬레이브 노드로 각각 송신하고, 상기 제1 슬레이브 노드 및 상기 제2 슬레이브 노드는 상기 제4 데이터 및 상기 제5 데이터의 적어도 일부를 중복하여 저장할 수 있다.

실시예에 따라, 상기 제3 데이터를 분석하여 분석된 데이터를 생성하는 분석 모듈 및 상기 분석된 데이터를 가시화하는 가시화 모듈을 더 포함하고, 상기 제2 저장 모듈은 상기 분석된 데이터를 더 저장하고, 상기 제1 슬레이브 노드 및 상기 제2 슬레이브 노드는 상기 분석된 데이터의 적어도 일부를 중복하여 저장하며, 상기 제2 저장 모듈은 상기 분석된 데이터를 상기 가시화 모듈에 전달 할 수 있다.

실시예에 따라, 상기 제1 저장 모듈은 상기 제2 데이터를 저장하는 제1 저장 클러스터 및 상기 제3 데이터를 저장하는 제2 저장 클러스터를 포함할 수 있다.

실시예에 따라, 상기 수신 모듈은 상기 제1 데이터를 전처리하는 전처리 모듈을 포함할 수 있다.

또한, 본 발명은 데이터 처리 방법이라는 또 다른 측면이 있다. 본 발명의 일 실시예에 따른 데이터 처리 방법은, 제1 데이터를 수신하는 단계, 상기 제1 데이터로부터 제2 데이터 및 제3 데이터를 생성하는 단계 및 상기 제1 데이터 및 상기 제2 데이터로부터 제4 데이터 내지 제6 데이터를 생성하는 단계를 포함하고, 상기 제2 데이터 및 제3 데이터를 생성하는 단계에서, 상기 제2 데이터는 상기 제1 데이터의 메타 데이터 추출에 의해 생성되며 상기 제3 데이터는 상기 제1 데이터의 데이터 타입을 어레이 타입으로 변경하는 것에 의해 생성되고, 상기 제4 데이터 내지 상기 제6 데이터를 생성하는 단계에서, 상기 제4 데이터 및 상기 제5 데이터는 상기 제1 데이터 및 상기 제2 데이터의 체계를 변경하는 것에 의해 생성되고, 상기 제6 데이터는 상기 제1 데이터와 상기 제4 데이터 사이 및 상기 제2 데이터와 상기 제5 데이터 사이의 맵핑 데이터를 포함 될 수 있다.

실시예에 따라, 상기 제1 데이터를 수신하는 단계 이후에 상기 제1 데이터를 전처리하는 단계를 더 포함하고, 상기 제1 데이터로부터 제2 데이터 및 제3 데이터를 생성하는 단계 이전에 상기 제1 데이터를 전처리하는 단계가 수행 될 수 있다.

실시예에 따라, 상기 제1 데이터 내지 제6 데이터를 저장하는 단계는, 상기 제2 데이터 및 제3 데이터를 제1 저장 모듈에 저장하는 단계, 상기 제4 데이터 및 상기 제5 데이터를 제2 저장 모듈에 저장하는 단계 및 상기 제6 데이터를 제3 저장 모듈에 저장하는 단계를 포함 할 수 있다.

실시예에 따라, 상기 제4 데이터 및 상기 제5 데이터를 제2 저장 모듈에 저장하는 단계에서, 상기 제4 데이터 및 상기 제5 데이터 중 적어도 일부는 상기 제2 저장 모듈 내에 중복하여 저장될 수 있다.

실시예에 따라, 상기 제1 데이터 내지 제3 데이터를 저장하는 단계 이후에 상기 제3 데이터를 분석하여 분석된 데이터를 생성하는 단계 및 상기 분석된 데이터를 저장하고 가시화하는 단계를 더 포함 할 수 있다.

실시예에 따라, 상기 분석된 데이터를 저장하고 가시화하는 단계에서, 상기 분석된 데이터 중 적어도 일부는 상기 제2 저장 모듈 내에 중복하여 저장될 수 있다.

본 발명의 실시예에 따른 데이터 처리 장치 및 방법은 대량의 데이터를 수신하면서, 실시간으로 메타 데이터를 추출하고 데이터 형식을 변경할 수 있다.

또한, 본 발명의 실시예에 따른 데이터 처리 장치 및 방법에 의하면, 데이터가 분산 저장되어 데이터 안정성이 향상된다.

도 1은 본 발명의 일 실시예에 따른 데이터 처리 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 처리 방법을 설명하기 위한 플로우 차트이다.
도 3은 도 2의 데이터 처리 방법 중 제1 데이터 내지 제3 데이터를 저장하는 단계를 상세히 설명하기 위한 플로우 차트이다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 또한, 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.

도 1은 본 발명의 일 실시예에 따른 데이터 처리 장치를 설명하기 위한 블록도이다. 도 1을 참조하면, 데이터 처리 장치는 수신 모듈(100), 데이터 처리 모듈(200), 제1 저장 모듈(300), 맵핑 모듈(400), 제2 저장 모듈(500), 제3 저장 모듈(600), 분석 모듈(700) 및 가시화 모듈(800)을 포함한다.

수신 모듈(100)은 외부(미도시)로부터의 제1 데이터를 수신하는 모듈이다. 예를 들어, 제1 데이터는 위성으로부터의 환경정보 추출이 반영되지 않은 영상 데이터일 수 있다. 수신 모듈(100)은 제1 데이터를 전처리하는 전처리 모듈(110)을 포함할 수 있다. 전처리는 환경정보 추출 등을 포함한다. 수신 모듈(100)이 전처리 모듈(110)을 포함하는 경우, 제1 데이터는 전처리 모듈(110)에 의해 전처리된 영상 데이터를 추가적으로 포함할 수 있다.

데이터 처리 모듈(200)은 수신 모듈(100)로부터 수신된 제1 데이터를 처리하고, 제1 데이터로부터 제2 데이터 및 제3 데이터를 생성한다. 제2 데이터 및 제3 데이터의 생성은 병렬적으로 처리될 수 있다. 데이터 처리 모듈(200)은 제2 데이터 및 제3 데이터를 제1 저장 모듈(300)로 송신하고, 제1 데이터 및 제2 데이터를 맵핑 모듈(400)로 송신한다. 여기서, 제1 데이터가 위성으로부터의 영상 데이터인 경우, 제2 데이터는 제1 데이터로부터 추출된 메타 데이터(예를 들어, 촬영시간, 좌표, 해상도 등)를 포함할 수 있다. 데이터 처리 모듈(200)이 배열 데이터베이스 클러스터(Array Database Cluster)를 포함하는 경우, 영상 분석을 위해서는 제1 데이터를 어레이 타입(array type)으로 변경하는 것이 필요하다. 제1 데이터는 복수의 서브 데이터들을 포함하고, 각각의 서브 데이터들은 각각의 서브 데이터들에 대응하는 좌표를 기반으로 재배치된다. 좌표는 각각의 서브 데이터들에 대응하는 위치 및 시간 등을 기반으로 결정될 수 있다. 재배치로 인해, 제1 데이터의 타입이 어레이 타입으로 변경되었다. 제3 데이터는 제 1 데이터로부터 그 데이터 타입이 어레이 타입으로 변경된 데이터를 포함한다.

데이터 처리 모듈(200)이 제1 데이터를 수신하면서 실시간으로 제3 데이터를 생성하고 제1 저장 모듈(300)이 제3 데이터를 저장하는 경우, 분석이 필요할 때마다 제1 데이터의 타입 변경을 할 필요가 없다. 분석 모듈(700)은 분석이 필요할 때마다 기저장된 제3 데이터를 수신하여 분석할 수 있다. 따라서, 분석을 위해 필요한 연산의 양이 감소한다. 또한, 제1 데이터의 양이 많은 경우, 관리를 위해 메타 데이터가 효과적으로 저장될 필요가 있다. 데이터 처리 모듈(200)이 제1 데이터를 수신하면서 실시간으로 제2 데이터를 생성하고 제1 저장 모듈(300)이 제2 데이터를 저장하는 경우, 메타 데이터가 효과적으로 저장될 수 있다. 데이터 처리 모듈(200)은 제2 데이터 및 제3 데이터를 제1 저장 모듈(300)에 전달하고, 제1 데이터를 맵핑 모듈(400)에 전달한다.

제1 저장 모듈(300)은 데이터 처리 모듈(200)로부터 수신된 제2 데이터 및 제3 데이터를 저장한다. 제2 데이터 및 제3 데이터는 분리되어 저장될 수 있다. 예를 들어, 제1 저장 모듈(300)이 제1 저장 클러스터(310) 및 제2 저장 클러스터(320)를 포함하는 경우, 제1 저장 클러스터(310)에는 제2 데이터가 저장될 수 있고, 제2 저장 클러스터(320)에는 제3 데이터가 저장될 수 있다.

맵핑 모듈(400)은 데이터 처리 모듈(200)로부터의 제1 데이터 및 제2 데이터의 체계를 변경하여 제4 데이터 및 제5 데이터를 생성하고, 제6 데이터도 생성한다. 여기서 체계란 파일 체계(file system), 데이터 구조(data structure), 디렉토리 체계(directory system) 등을 모두 포함한다. 데이터 처리 모듈(200)과 제2 저장 모듈(500)은 서로 다른 체계를 가지고 있으므로, 데이터 처리 모듈(200)로부터의 제1 데이터 및 제2 데이터를 제2 저장 모듈(500)에 원활하게 저장하기 위해서는 데이터의 체계를 제2 저장 모듈(500)에 의해 사용되는 체계로 변경할 필요가 있다. 상기 제1 데이터의 체계를 변경하여 상기 제4 데이터를 생성하고 상기 제2 데이터의 체계를 변경하여 상기 제5 데이터를 생성하므로, 제1 데이터와 제4 데이터 사이 및 제2 데이터와 제5 데이터 사이의 맵핑 형성이 가능하다. 제6 데이터는 제1 데이터와 제4 데이터 사이 및 제2 데이터와 제5 데이터 사이 맵핑 데이터를 포함할 수 있다. 맵핑 모듈(400)은 제4 데이터 및 제5 데이터를 제2 저장 모듈(500)으로 송신하고, 제6 데이터를 제3 저장 모듈(600)로 송신한다.

제2 저장 모듈(500)은 데이터 처리 모듈(200)로부터의 제4 데이터 및 제5 데이터를 저장한다. 또한, 분석 모듈(700)로부터의 분석된 데이터를 저장한다. 제2 저장 모듈(500)은 마스터 노드(510), 제1 슬레이브 노드(520-1) 및 제2 슬레이브 노드(520-2)를 포함한다. 마스터 노드(510)는 수신된 제4 데이터, 제5 데이터 및 분석된 데이터를 제1 슬레이브 노드(520-1) 및 제2 슬레이브 노드(520-2)에 전달한다. 제1 슬레이브 노드(520-1) 및 제2 슬레이브 노드(520-2)는 마스터 노드(510)로부터 수신된 데이터를 저장한다. 마스터 노드(510)는 제4 데이터, 제5 데이터 또는 분석된 데이터의 적어도 일부를 제1 슬레이브 노드(520-1) 및 제2 슬레이브 노드(520-2) 각각에 송신한다. 이렇게 제2 저장 모듈(500)이 제4 데이터, 제5 데이터 및 분석된 데이터의 적어도 일부를 중복하여 저장하는 경우, 데이터 안정성이 향상된다. 제2 저장 모듈(500)은 하둡(Hadoop) 클러스터를 포함할 수 있다. 마스터 노드(510)는 하둡(Hadoop) 클러스터의 마스터 노드일 수 있고, 제1 슬레이브 노드(520-1) 및 제2 슬레이브 노드(520-2)는 하둡 클러스터의 슬레이브 노드들일 수 있다. 제2 저장 모듈(500)은 분석된 데이터를 가시화 모듈(800)에 전달할 수 있다.

제3 저장 모듈(600)은 맵핑 모듈(400)로부터의 제6 데이터를 저장한다.

분석 모듈(700)은 제3 데이터를 수신하여 분석한다. 분석 모듈(700)이 데이터 처리 모듈(200)로 제3 데이터를 요청하는 신호를 송신하면, 데이터 처리 모듈(200)은 요청하는 신호에 응답하여 제1 저장 모듈(300)에 저장된 제3 데이터를 분석 모듈(700)에 송신한다. 분석 모듈(700)은 제3 데이터를 분석하여 분석된 데이터를 생성한다. 다만, 데이터 처리 모듈(200)로부터 제3 데이터를 수신한 것은 예시에 불과하다. 분석 모듈(700)이 직접 제1 저장 모듈(300)로부터 제3 데이터를 수신할 수도 있다. 분석 모듈(700)은 분석된 데이터를 제2 저장 모듈(500)에 송신하고, 가시화 모듈(800)에도 송신할 수 있다.

가시화 모듈(800)은 분석된 데이터를 가시화한다. 가시화 모듈(800)은 제2 저장 모듈(500) 또는 분석 모듈(700)로부터 분석된 데이터를 수신하여 가시화한다. 사용자는 가시화된 데이터를 보는 것에 의해 그래픽 형태의 정보를 얻을 수 있다.

데이터 처리 모듈(200), 제1 저장 클러스터(310), 제2 저장 클러스터(320) 및 마스터 노드(510) 각각은 롬(ROM), 램(RAM), 프로세서(CPU), 저장장치(Storage, HDD, SSD), 인터페이스 등을 포함하는 컴퓨터 시스템으로 구현된다. 수신 모듈(100), 맵핑 모듈(400), 제1 및 제2 슬레이브 노드(520-1, 520-2), 제3 저장 모듈(600), 분석 모듈(700) 및 가시화 모듈(800) 각각도 위에서 설명되었던 컴퓨터 시스템으로 구현될 수 있다.

도 2는 본 발명의 일 실시예에 따른 데이터 처리 방법을 설명하기 위한 플로우 차트이다. 이하에서, 본 발명의 일 실시예에 따른 데이터 처리 방법이 도 1 및 도 2를 참조하여 설명될 것이다.

제1 데이터를 수신하는 단계(S1100)에서, 수신 모듈(100)은 외부(미도시)로부터의 제1 데이터를 수신한다. 예를 들어, 제1 데이터는 위성으로부터의 영상 데이터를 포함할 수 있다.

제1 데이터를 전처리하는 단계(S1200)에서, 수신 모듈(100) 내 전처리 모듈(110)이 제1 데이터, 예를 들어 수신 모듈(100)에 의해 수신된 영상 데이터를 전처리할 수 있다. 전처리는 환경정보 추출 등의 과정 등을 포함한다. 제1 데이터의 종류에 따라, 제1 데이터를 전처리하는 단계(S1200)는 생략될 수도 있다. 제1 데이터를 전처리하는 단계(S1200)가 수행되는 것에 의해, 제1 데이터는 전처리 모듈(110)에 의해 전처리된 영상 데이터를 추가적으로 포함할 수 있다.

제1 데이터로부터 제2 데이터 및 제3 데이터를 생성하는 단계(S1300)에서, 데이터 처리 모듈(200)은 제1 데이터로부터 제2 데이터 및 제3 데이터를 생성한다. 제1 데이터의 메타 데이터를 추출하는 것에 의해 제2 데이터가 생성될 수 있다. 제1 데이터의 타입을 어레이 타입으로 변경하는 것에 의해 제3 데이터가 생성될 수 있다.

제1 데이터 및 제2 데이터로부터 제4 데이터 내지 제6 데이터를 생성하는 단계(S1400)에서, 맵핑 모듈(400)은 제1 데이터 및 제2 데이터로부터 제4 데이터 내지 제6 데이터를 생성한다. 제4 데이터는 제1 데이터의 체계를 변경하는 것에 의해 생성되고, 제5 데이터는 제2 데이터의 체계를 변경하는 것에 의해 생성되며, 제6 데이터는 제1 데이터와 제4 데이터 사이 및 제2 데이터와 제5 데이터 사이 맵핑 데이터를 포함한다.

제1 데이터 내지 제6 데이터를 저장하는 단계(S1500)는 이후에 도 1 내지 도 3을 참조하여 자세히 설명될 것이다.

제3 데이터를 분석하는 단계(S1600)에서, 분석 모듈(700)은 제3 데이터를 분석하여 분석된 데이터를 생성한다. 분석 모듈(700)이 데이터 처리 모듈(200)로 제3 데이터를 요청하는 신호를 송신한 이후, 데이터 처리 모듈(200)로부터 제3 데이터를 수신한다. 또는, 분석 모듈(700)이 직접 제1 저장 모듈(300)로부터 제3 데이터를 수신할 수도 있다. 분석 모듈(700)은 수신된 제3 데이터를 분석하여 분석된 데이터를 생성한다.

분석된 데이터를 저장하고 가시화하는 단계(S1700)에서, 제2 저장 모듈(500)은 분석된 데이터를 수신하고, 마스터 노드(510)는 분석된 데이터의 적어도 일부를 제1 슬레이브 노드(520-1) 및 제2 슬레이브 노드(520-2) 각각에 송신한다. 즉, 제2 저장 모듈(500)은 분석된 데이터를 저장하며, 분석된 데이터의 적어도 일부를 중복하여 저장한다. 가시화 모듈(800)은 제2 저장 모듈(500) 또는 분석 모듈(700)로부터 분석된 데이터를 수신하고, 가시화한다.

도 3은 도 2의 데이터 처리 방법 중 제1 데이터 내지 제3 데이터를 저장하는 단계를 상세히 설명하기 위한 플로우 차트이다. 이하에서, 중 제1 데이터 내지 제6 데이터를 저장하는 단계(S1500)가 도 1 내지 도 3을 참조하여 설명될 것이다.

제2 데이터 및 제3 데이터를 제1 저장 모듈에 저장하는 단계(S1510)에서, 제1 저장 모듈(300)은 데이터 처리 모듈(200)로부터 수신한 제2 데이터 및 제3 데이터를 저장한다. 제1 저장 클러스터(310)에는 제2 데이터가 저장될 수 있고, 제2 저장 클러스터(320)에는 제3 데이터가 저장될 수 있다.

제4 데이터 및 제5 데이터를 제2 저장 모듈에 저장하는 단계(S1520)에서, 맵핑 모듈(400)은 제4 데이터 및 제5 데이터를 제2 저장 모듈(500)로 송신한다. 제2 저장 모듈(500)은 마스터 노드(510), 제1 슬레이브 노드(520-1) 및 제2 슬레이브 노드(520-2)를 포함한다. 마스터 노드(510)는 제4 데이터 및 제5 데이터의 적어도 일부를 제1 슬레이브 노드(520-1) 및 제2 슬레이브 노드(520-2) 각각에 송신한다. 즉, 제2 저장 모듈(500)은 제4 데이터 및 제5 데이터의 적어도 일부를 중복하여 저장한다.

제6 데이터를 제3 저장 모듈에 저장하는 단계(S1530)에서, 제3 저장 모듈(600)은 맵핑 모듈(400)로부터 수신된 제6 데이터를 저장한다.

제2 데이터 및 제3 데이터를 제1 저장 모듈에 저장하는 단계(S1510), 제4 데이터 및 제5 데이터를 제2 저장 모듈에 저장하는 단계(S1520) 및 제6 데이터를 제3 저장 모듈에 저장하는 단계(S1530)의 수행되는 순서는 변경될 수도 있다. 또한, 제2 데이터 및 제3 데이터를 제1 저장 모듈에 저장하는 단계(S1510)는 실시예에 따라 제1 데이터 및 제2 데이터로부터 제4 데이터 내지 제6 데이터를 생성하는 단계(S1400) 이전에 수행될 수도 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

200: 데이터 처리 모듈 500: 제2 저장 모듈

Claims

제1 데이터를 수신하는 수신 모듈;
상기 수신 모듈로부터 수신된 상기 제1 데이터를 처리하여, 상기 제 1 데이터의 메타 데이터를 포함하는 제2 데이터 및 상기 제 1 데이터로부터 그 데이터 타입이 어레이 타입으로 변경된 데이터를 포함하는 제3 데이터를 생성하는 데이터 처리 모듈; 및
상기 데이터 처리 모듈로부터 수신된 상기 제1 데이터 및 상기 제2 데이터의 체계를 변경하여 제4 데이터 및 제5 데이터를 생성하고, 상기 제1 데이터와 상기 제4 데이터 사이 및 상기 제2 데이터와 상기 제5 데이터 사이의 맵핑 데이터를 포함하는 제6 데이터를 생성하는 맵핑 모듈을 포함하고,
상기 데이터 처리 모듈로부터의 상기 제2 데이터 및 상기 제3 데이터를 저장하는 제1 저장 모듈;
상기 맵핑 모듈로부터의 상기 제4 데이터 및 상기 제5 데이터를 저장하는 제2 저장 모듈;
상기 맵핑 모듈로부터의 상기 제6 데이터를 저장하는 제3 저장 모듈;
상기 제3 데이터를 분석하여 분석된 데이터를 생성하는 분석 모듈; 및
상기 분석된 데이터를 가시화하는 가시화 모듈을 더 포함하되,
상기 제2 저장 모듈은 상기 분석된 데이터를 더 저장하고,
상기 제2 저장 모듈은 상기 분석된 데이터를 상기 가시화 모듈에 전달하는 데이터 처리 장치.
제1항에 있어서,
상기 제2 저장 모듈은 마스터 노드, 제1 슬레이브 노드 및 제2 슬레이브 노드를 포함하고, 상기 마스터 노드는 상기 맵핑 모듈로부터의 상기 제4 데이터 및 상기 제5 데이터의 적어도 일부를 상기 제1 슬레이브 노드 및 상기 제2 슬레이브 노드로 각각 송신하고,
상기 제1 슬레이브 노드 및 상기 제2 슬레이브 노드는 상기 제4 데이터 및 상기 제5 데이터의 적어도 일부를 중복하여 저장하는 데이터 처리 장치.
제2항에 있어서,
상기 제1 슬레이브 노드 및 상기 제2 슬레이브 노드는 상기 분석된 데이터의 적어도 일부를 중복하여 저장하는 데이터 처리 장치.
제2항에 있어서,
상기 제1 저장 모듈은 상기 제2 데이터를 저장하는 제1 저장 클러스터 및 상기 제3 데이터를 저장하는 제2 저장 클러스터를 포함하는 데이터 처리 장치.
제1항에 있어서,
상기 수신 모듈은 상기 제1 데이터를 전처리하는 전처리 모듈을 포함하는 데이터 처리 장치.
메모리(memory) 및 상기 메모리의 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하여 데이터를 처리하는 데이터 처리 장치를 이용한 데이터 처리 방법에 있어서,
제1 데이터를 수신하도록 하는 명령;
상기 제1 데이터로부터 제2 데이터 및 제3 데이터를 생성하도록 하는 명령; 및
상기 제1 데이터 및 상기 제2 데이터로부터 제4 데이터 내지 제6 데이터를 생성하도록 하는 명령를 포함하고,
상기 제2 데이터 및 제3 데이터를 생성하도록 하는 명령에서, 상기 제2 데이터는 상기 제1 데이터의 메타 데이터 추출에 의해 생성되며 상기 제3 데이터는 상기 제1 데이터의 데이터 타입을 어레이 타입으로 변경하는 것에 의해 생성되고,
상기 제4 데이터 내지 상기 제6 데이터를 생성하도록 하는 명령에서, 상기 제4 데이터 및 제5 데이터는 상기 제1 데이터 및 상기 제2 데이터의 체계를 변경하는 것에 의해 생성되고, 상기 제6 데이터는 상기 제1 데이터와 상기 제4 데이터 사이 및 상기 제2 데이터와 상기 제5 데이터 사이의 맵핑 데이터를 포함하고,
상기 제1 데이터 내지 제3 데이터를 저장하도록 하는 명령 이후에,
상기 제3 데이터를 분석하여 분석된 데이터를 생성하도록 하는 명령; 및
상기 분석된 데이터를 저장하고 가시화하도록 하는 명령을 더 포함하되,
상기 제1 데이터 내지 제6 데이터를 저장하도록 하는 명령은,
상기 제2 데이터 및 제3 데이터를 제1 저장 모듈에 저장하도록 하는 명령;
상기 제4 데이터 및 상기 제5 데이터를 제2 저장 모듈에 저장하도록 하는 명령; 및
상기 제6 데이터를 제3 저장 모듈에 저장하도록 하는 명령을 포함하며,
상기 분석된 데이터를 저장하고 가시화하도록 하는 명령에서는 상기 분석된 데이터 중 적어도 일부를 상기 제2 저장 모듈 내에 중복하여 저장하는 데이터 처리 방법.
제6항에 있어서,
상기 제1 데이터를 수신하는 단계 이후에 상기 제1 데이터를 전처리하도록 하는 명령을 더 포함하고, 상기 제1 데이터로부터 제2 데이터 및 제3 데이터를 생성하도록 하는 명령 이전에 상기 제1 데이터를 전처리하도록 하는 명령이 수행되는 데이터 처리 방법.
삭제
제6항에 있어서,
상기 제4 데이터 및 상기 제5 데이터를 제2 저장 모듈에 저장하도록 하는 명령에서, 상기 제4 데이터 및 상기 제5 데이터 중 적어도 일부는 상기 제2 저장 모듈 내에 중복하여 저장되는 데이터 처리 방법.
삭제
삭제