KR102075386B1 - 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치 및 이의 데이터 처리방법 - Google Patents

Abstract

본 발명은 시간의 흐름에 따라 또는 업무 절차에 필요한 처리 단계별로 발생하는 다양한 종류의 데이터를 처리하고, 급작스럽게 증가하는 데이터 처리를 위해 확장이 용이하고, 장애가 발생하더라도 안정적인 서비스를 지원하는 프레임워크를 제공하는 장치 및 이의 데이터 처리방법에 관한 것이다. 본 발명에 따르면, 처리하고자 하는 다양한 종류의 데이터를 사용자 정의에 따라 수집, 저장, 처리, 관리하는 기능들을 구성할 수 있는 유연성과 증가량을 예측할 수 없는 대량의 데이터를 효율적으로 관리할 수 있는 기능을 제공할 수 있다.

Description

대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치 및 이의 데이터 처리방법{APPARATUS FOR PROVIDING FRANEWORK OF PROCESSING LARGE-SCALE DATA FROM BUSINESS SEQUENCE AND DATA PROCESSING METHOD THEREOF}

본 발명은 대용량 데이터 처리를 위한 시스템에 관한 것으로서, 보다 상세하게는 처리하고자 하는 다양한 종류의 데이터를 사용자 정의에 따라 수집, 저장, 처리, 관리하는 기능들을 구성할 수 있는 유연성과 데이터를 효율적으로 처리할 수 있는 관리 기능을 제공하기 위한 프레임워크 제공장치 및 이의 데이터 처리방법에 관한 것이다.

최근 스마트폰의 확산과 더불어 사물인터넷 기술의 발전에 따른 센서를 적용한 정보기술의 저변 확대로 정보시스템에서 수집, 처리, 저장, 관리, 사용되는 디지털 데이터가 폭증하고 있다. 한 예로서, 제약과 의약품 유통 산업의 경우, 의약품 불법유통과 위조 의약품 유통을 방지하기 위해 바코드를 이용한 의약품 관리를 넘어, RFID 기술을 이용한 개별 의약품에 대한 식별 및 관리를 추진하면서, 의약품의 제조와 유통 과정에서 다양한 업무 처리로 인해 발생하는 데이터 양이 폭발적으로 증가할 것으로 예산된다.

또한 사물인터넷 기술이 확산되면, 대량의 센서 데이터가 발생하고 이를 활용한 다양한 서비스들이 등장할 것으로 예상되는 바, 센서 데이터의 다양성과 신규 센서 장치의 증가, 사용자의 요구사항 변화 등으로 인해 서비스가 수시로 변경될 수 있는 환경에서는 하나의 일괄된 처리 방식의 적용이 어렵다는 문제가 있다.

위와 같은 배경에서 대량의 데이터를 효율적으로 수집, 저장, 처리하기 위한 다양한 기술들이 등장하고 있으나, 사용자의 요구사항 변경과 데이터의 다양성 측면에서 사용자 정의에 따른 데이터 수집, 저장, 처리 기능을 유연하게 구성할 수 있고, 데이터 규모 측면에서 여러 데이터 소스로부터 발생되는 대량의 데이터를 효율적으로 관리하기 위한 방법이 필요하다. 특히, 특정 산업 분야 또는 업무 분야에 종속되어 장기간 지속되며, 대량으로 발생하여 누적되는 환경에서, 다수의 이해관계자가 해당 데이터에 대한 다양한 요구사항을 반영해야 하는 경우 이를 효과적으로 지원하기 위한 프레임워크가 특히 핵심요소로서 필요하다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 다양한 종류의 데이터에 대해 사용자 정의에 따른 수집, 저장, 처리, 관리, 조회 등의 기능을 구성함으로써, 가변적인 사용자 요구사항과 임의의 데이터 변경에 대해 유연하게 대처할 수 있는 프레임워크 제공장치 및 이의 데이터 처리방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 다양한 종류의 데이터와 그 데이터의 증가 속도를 예측할 수 없는 환경에서 대용량의 데이터를 분산된 저장소에 특정 영역에 편중되지 않게 저장하여 관리할 수 있으며, 장애가 발생해도 서비스 요청을 충족할 수 있는 프레임워크 제공장침 및 이의 데이터 처리방법을 제공하는 것이다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 데이터 처리방법은 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치에서의 데이터 처리방법에 있어서,

외부의 데이터 제공 장치에서 수집한 원본 데이터에 대해 사용자 정의 기반의 전처리 작업을 수행하는 단계;

상기 원본 데이터를 사용자가 정의한 저장 규칙에 기초하여 분산형 데이터 저장소에 저장하는 단계;

사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 처리하여 가공 데이터를 생성하는 단계;

상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하는 단계; 및

상기 데이터 분배 규칙에 기초하여 상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하는 단계를 포함한다.

또한, 본 발명의 일 면에 따른 데이터 처리방법은 상기 분산형 데이터 저장소에 저장된 상기 원본 데이터 또는 상기 가공 데이터에 사용자 조회가 있는 경우, 상기 사용자가 정의한 저장 규칙 또는 상기 데이터 분배 규칙을 참조하여 상기 원본 데이터 또는 상기 가공 데이터를 사용자 단말로 전송하는 단계를 더 포함할 수 있다.

일 실시예로서, 상기 사용자 정의 기반의 전처리 작업을 수행하는 단계는 사용자 인터페이스를 통해 등록되는 외부 시스템 연동 기능과 데이터 전처리 기능에 기초하여 데이터 수집 프로세스를 생성하는 단계를 포함한다.

일 실시예로서, 상기 분산형 데이터 저장소에 저장하는 단계는 사용자 인터페이스를 통해 등록되는 사용자가 정의한 원본 데이터 저장 규칙에 기초하여 원본 데이터 저장 프로세스를 생성하는 단계를 포함한다.

일 실시예로서, 상기 가공 데이터를 생성하는 단계는 사용자 인터페이스를 통해 등록된 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙에 기초하여 적어도 하나 이상의 원본 데이터 처리 프로세스를 생성하는 단계를 포함한다.

일 실시예로서, 상기 데이터 분배 규칙을 등록하는 단계는 상기 분산형 데이터 저장소가 키-밸류(key-value) 분산형 데이터 저장소인 경우, 상기 가공 데이터를 균등하게 저장할 수 있는 키 값 생성 규칙을 등록하는 단계를 포함한다.

본 발명의 다른 실시예에 따른 데이터 처리방법은 사용자 인터페이스를 통해 등록되는 외부 시스템 연동 기능과 데이터 전처리 기능에 기초하여 데이터 수집 프로세스를 생성하는 단계;

사용자 인터페이스를 통해 등록되는 사용자가 정의한 원본 데이터 저장 규칙에 기초하여 원본 데이터 저장 프로세스를 생성하는 단계;

사용자 인터페이스를 통해 등록된 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙에 기초하여 적어도 하나 이상의 원본 데이터 처리 프로세스를 생성하는 단계;

가공 데이터를 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하고, 상기 데이터 분배 규칙에 기초하여 가공 데이터 분배 프로세스를 생성하는 단계; 및

상기 각각의 프로세스 사이의 관계 설정을 통해 사용자 정의 기반 데이터 처리를 위한 통합 프로세스를 생성하는 단계를 포함한다.

한편, 본 발명의 목적을 달성하기 위한 본 발명의 다른 면에 따른 프레임워크 제공장치는 대용량 순차 수집 데이터 처리를 위한 프레임워크를 제공하는 프로그램 코드(code)가 저장된 비휘발성 메모리와, 상기 프로그램 코드를 실행하는 적어도 하나의 프로세서를 포함한다.

여기서, 상기 프레임워크는 외부의 데이터 제공 장치에서 수집한 원본 데이터에 대해 사용자 정의 기반의 전처리 작업을 수행하는 데이터 수집 모듈;

상기 원본 데이터를 사용자가 정의한 저장 규칙에 기초하여 분산형 데이터 저장소에 저장하는 데이터 저장 모듈;

사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 처리하여 가공 데이터를 생성하는 데이터 처리 모듈;

상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하는 데이터 관리정책 모듈을 제공하도록 구현된 것을 특징으로 한다.

일 실시예로서, 상기 데이터 수집 모듈은 외부 시스템 연동 기능과 데이터 파싱을 포함하는 사용자 정의 기반 전처리 기능을 등록할 수 있는 사용자 인터페이스를 제공한다.

일 실시예로서, 상기 데이터 저장 모듈은 사용자 정의에 따른 원본 데이터 저장 규칙을 등록할 수 있는 사용자 인터페이스를 제공한다.

일 실시예로서, 상기 데이터 저장 모듈은 상기 원본 데이터로부터 필요한 데이터 추출 작업 또는 상기 원본 데이터에 대한 가공 작업이 필요한 경우, 상기 데이터 처리 모듈을 등록하고, 상기 데이터 처리 모듈에서 사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터를 상기 데이터 처리 모듈로 전달하거나, 상기 원본 데이터의 저장 정보를 통지한다.

일 실시예로서, 상기 데이터 처리 모듈은 상기 사용자가 정의한 데이터 처리 규칙과 가공 데이터 저장 규칙을 등록할 수 있는 사용자 인터페이스를 제공한다.

일 실시예로서, 상기 데이터 처리 모듈은 사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 즉시 수행 방식 또는 주기적 수행 방식으로 처리한다.

일 실시예로서, 상기 데이터 관리정책 모듈은 상기 데이터 분배 규칙을 등록 및 조회할 수 있는 사용자 인터페이스를 제공하되, 상기 분산형 데이터 저장소가 키-밸류(key-value) 분산형 데이터 저장소인 경우, 상기 데이터 분배 규칙은 상기 가공 데이터를 균등하게 저장할 수 있는 키 값 생성 규칙인 것을 특징으로 한다.

이상 상술한 바와 같은 본 발명에 따르면, 복수의 이해관계자가 관여하는 업무 순차에 따라 대량으로 발생하여 수집되는 다양한 종류의 데이터에 대해 수집, 저장, 처리, 조회, 관리 기능을 사용자의 정의에 따라 구성 가능하고, 필요시 장치를 추가하여 저장과 처리 능력을 증강시킬 수 있는 프레임워크를 제공함으로써, 임의로 변화하거나 증가하는 사용자의 요구사항과 데이터에 대해 유연하고 효율적으로 대응하고, 비용을 최소화할 수 있다. 특히, 시간이 지남에 따라 데이터가 급증할 것으로 예상되는 환경에서 높은 확장성과 가용성을 갖는 프레임워크를 제공함으로써, 대량의 데이터를 효율적으로 관리하고 다수의 이해관계자를 충족시키는 서비스를 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치에서 제공되는 프레임워크의 구성을 도시한 도면.
도 2는 본 발명의 실시예에 따른 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치를 활용한 시스템의 일 예를 도시한 도면.
도 3은 본 발명의 실시예에 따른 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치를 활용한 시스템의 다른 예를 도시한 도면.
도 4는 본 발명의 실시예에 따라 분산형 저장소의 데이터 저장공간을 확장하는 일 예를 도시한 도면.
도 5a 및 도 5b는 본 발명의 실시예에 따라 키-밸류 분산형 저장소에서 사용자 정의 기반 데이터 저장방식을 설명하기 위한 도면.
도 6a 및 도 6b는 키-밸류 분산형 저장소에 데이터가 분산되어 저장된 상황을 비교하여 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따른 프레임워크 제공장치에서 데이터 처리방법을 도시한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명에 따른 프레임워크 제공장치는 대용량 순차 수집 데이터 처리를 위한 프레임워크를 제공하는 프로그램 코드(code)가 저장된 비휘발성 메모리와, 상기 프로그램 코드를 실행하는 적어도 하나의 프로세서를 포함한다. 여기서, 프레임워크를 제공하는 장치는 외부의 데이터 제공장치, 분산형 데이터 저장소, 사용자 단말 사이에서 데이터 수집, 처리 및/또는 가공, 조회 등의 역할을 수행하는 서버 장치일 수 있다.

본 발명에 따른 프레임워크 제공장치에서 상기 프로그램 코드의 실행은 하나의 '작업' 또는 '프로세스' 단위로 처리될 수 있고, 상기 프로그램 코드의 실행 결과 대용량 순차 수집 데이터 처리를 위한 프레임워크가 생성된다. 도 1에는 본 발명의 실시예에 따른 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치에서 제공되는 프레임워크의 구성이 도시된다.

도 1을 참조하면, 본 발명의 실시 예에 따른 대량의 업무 순차 수집 데이터 처리 프레임워크는, 데이터 수집 모듈(101), 데이터 저장 모듈(102), 데이터 처리 모듈(104), 데이터 관리정책 모듈(105), 모듈구성 관리자(106), 데이터 서비스 제공자(107)를 포함한다.

데이터 수집 모듈(101)은 다양한 종류의 데이터를 제공하는 외부 데이터 제공 시스템과 연동하여 데이터를 수집하고, 수집된 데이터(이하, 원본 데이터)에 대해 사용자 정의 기반의 전처리 작업을 수행한다. 전처리 과정을 거친 원본 데이터는 데이터 저장 모듈(102)로 전달된다.

데이터 수집 모듈(101)은 외부 데이터 제공 시스템 연동 기능과 데이터 파싱 등의 사용자 정의 기반의 전처리 기능을 등록할 수 있는 사용자 인터페이스를 제공한다.

이로 인해, 외부 데이터 제공 시스템과의 연동 방식이 변경되더라도 사용자는 데이터 저장 모듈(102)을 변경하지 않더라도 데이터 수집 모듈(101)의 외부 데이터 제공 시스템 연동 기능만 변경함으로써 외부 변경에 대응할 수 있다.

데이터 수집 모듈(101)은 Pull 방식과 Push 방식으로 동작할 수 있는데, Pull 방식은 외부 데이터 제공 시스템에 데이터 요청을 주기적으로 수행하여 데이터를 수집하는 방식이고, Push 방식은 데이터 수신 대기 상태에서 외부 데이터 제공 시스템에서 데이터를 전송하면 이를 수집하는 방식이다.

데이터 저장 모듈(102)은 데이터 수집 모듈(101)로부터 전달받은 데이터의 원본을 분산형 저장소(103)에 저장하는 기능과 사용자 정의에 따른 원본 데이터 저장 규칙을 등록할 수 있는 인터페이스를 제공한다. 사용자는 데이터 저장 모듈(102)을 이용하여 분산형 저장소(103)에 원본 데이터를 저장하고 유지, 관리함으로써 향후 새로운 서비스 제공이 필요하거나 기존 서비스의 변경이 필요한 상황에서도 원활하게 대응할 수 있으며, 데이터 처리 결과의 오류 검증에도 활용할 수 있다. 또한, 사용자는 데이터 저장 모듈(102)로 전달된 원본 데이터로부터 필요한 데이터의 추출 작업 또는 원본 데이터의 가공 작업이 필요한 경우, 데이터 저장 모듈(102)에 데이터 처리 모듈(104)를 등록할 수 있다. 데이터 저장 모듈(102)은 자신에게 등록된 데이터 처리 모듈(104)이 존재하는 경우, 해당 데이터 처리 모듈(104)의 데이터 처리 방식에 따라 해당 원본 데이터를 즉시 전달하거나 분산형 저장소(103)에 저장된 원본 데이터의 저장 정보(데이터 제공자, 데이터 발생시각, 데이터 저장 경로 등)를 통지한다.

한편, 분산형 저장소(103)은 데이터 저장 모듈(102)로부터 저장 요청을 받은 원본 데이터와 데이터 처리 모듈(104)에 의해 발생된 가공 데이터를 저장하고 관리하는 기능을 제공한다. 분산형 저장소(103)는 데이터를 저장할 수 있는 복수의 정보 기기를 직접 또는 네트워크로 연결하여 구성하며, 필요할 때마다 장치를 단순히 추가함으로써 데이터 저장 공간과 처리 능력을 향상시킬 수 있다.

도 4는 본 발명에서 기술한 프레임워크를 구성하는 분산형 저장소(401)의 데이터 저장공간이 부족한 상황에서 저장 공간을 확장하는 절차에 관한 것이다. 도 4a는 복수의 분산 노드(402-1, 402-2,...,402-n)로 구성된 분산형 저장소(401)를 구축한 환경을 보여준다. 도 4b는 데이터량이 급증하는 상황에서 새로운 분산 노드(402-n+1)을 분산형 저장소(401)에 추가해 줌으로써 데이터 저장공간을 확장한 실시 예를 보여준다.

데이터 처리 모듈(104)은 데이터 저장 모듈(102)로부터 전달 또는 통지 받은 데이터를 사용자가 정의한 데이터 처리 규칙에 기초하여 처리하고, 그 처리 결과로 생성된 가공 데이터를 분산형 저장소(103)에 저장하는 기능을 제공한다.

데이터 처리 모듈(104)은 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙을 등록할 수 있는 사용자 인터페이스를 제공한다. 데이터 처리 모듈(104)에 등록된 사용자 정의 기반 데이터 처리 규칙은 사용자 설정에 따라 주기적 수행과 즉시 수행 방식으로 동작할 수 있다.

여기서, 주기적 수행 방식은 일정한 시간 간격으로 사용자 정의 기반 데이터 처리 기능을 수행하고, 즉시 수행 방식은 데이터를 전달 또는 통지 받은 즉시 사용자 정의 기반 데이터 처리 기능을 수행한다.

데이터 처리 모듈(104)은 사용자 정의 기반 데이터 처리 기능을 수행한 결과 생성된 가공 데이터를 분산형 저장소(103)에 저장함에 있어, 분산형 저장소(103)의 특정 영역에 데이터가 집중되어 저장되는 것을 방지하기 위해 데이터 관리정책 모듈(105)에서 제공하는 가공 데이터 분배 규칙 정보를 이용하여 가공 데이터를 저장한다. 이하, 데이터 관리정책 모듈(105)에 대해서 구체적으로 살펴본다.

데이터 관리정책 모듈(105)은 데이터 처리 모듈(104)에서 발생된 가공 데이터가 분산형 저장소(103)의 특정 영역에 편중되어 저장됨으로써 분산형 저장소(103)의 성능이 저하되는 문제를 방지하고자, 가공 데이터를 분산형 저장소(103)의 전체 영역에 균등하게 저장하기 위한 데이터 분배 규칙을 등록하고 조회할 수 있는 사용자 인터페이스를 제공한다. 분산형 저장소(103)의 실시 예 중에 하나인 Key-Value 분산형 저장소의 경우, 데이터의 Key 값에 의해 데이터 분배가 이루어지기 때문에 사용자는 데이터를 균등하게 저장할 수 있는 Key 값 생성 규칙을 데이터 관리정책 모듈(105)에 등록함으로써 분산형 저장소(103)의 성능 저하 문제를 방지할 수 있다.

이하, 도 5를 참조하여 Key-Value 분산형 저장소에서 Key 값 생성 규칙에 따라 데이터 저장방식의 일 예를 살펴본다. 도 5는 본 발명의 실시예에 따라 키-밸류 분산형 저장소에서 사용자 정의 기반 데이터 저장방식을 설명하기 위한 도면이다.

도 5a의 테이블(501)은 유통이벤트의 Key 값을 발생시각, 유통이벤트 ID의 순서로 구성한 일 예로서, 최근에 발생된 유통이벤트가 테이블의 끝 부분에 저장된다. 도 5b의 테이블(502)는 유통이벤트의 Key 값을 유통이벤트 ID, 발생시각의 순서로 구성한 일 예로서, 유통이벤트가 유통이벤트 ID 단위로 군집되어 저장된다.

도 6은 도 5a의 테이블(501)과 도 5b의 테이블(502)의 일례에 따라 유통이벤트 데이터가 Key-Value 분산형 저장소(601)내에 분배되어 저장된 상황을 비교한 것으로, Key-Value 분산형 저장소(601)는 다수의 분산 노드(602)로 구성되며, 대량의 유통이벤트 데이터는 다수의 분산 노드(602)의 데이터 저장영역(603)에 분배되어 저장된다.

도 6a의 경우, 최근에 발생된 유통이벤트 데이터가 특정 데이터 저장영역(603)에 편중되어 저장됨으로써 특정 분산 노드(602)에 유통이벤트 저장 작업에 대한 부하가 집중되어 Key-Value 분산형 저장소(601)의 전체 성능이 저하될 수 있는 반면, 도 6b의 경우, 최근에 발생된 유통이벤트 데이터가 여러 분산 노드(602)에 분배되어 저장됨으로써 유통이벤트 저장 작업에 대한 부하를 분산시킬 수 있다.

한편, 모듈구성 관리자(106)는 데이터 수집 모듈(101), 데이터 저장 모듈(102), 데이터 처리 모듈(104), 데이터 관리정책 모듈(105)간의 관계 설정을 통해 사용자 정의 기반 데이터 처리 절차를 설정, 생성, 조회, 관리할 수 있는 기능을 제공한다.

데이터 서비스 제공자(107)는 모듈구성 관리자(106)에 의해 생성된 사용자 정의 기반 데이터 처리 절차를 수행한 결과로 분산형 저장소(103)에 저장된 데이터를 이용한 데이터 서비스를 제공한다.

예를 들어, 데이터 서비스 제공자는(107)는 데이터 서비스를 제공하는데 있어 필요한 데이터의 효율적 검색을 위해 데이터 관리정책 모듈(105)에 등록된 데이터 분배 규칙 정보를 활용하여 데이터 서비스를 제공한다.

이하, 도 2를 참조하여 본 발명의 실시예에 따른 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치를 활용한 시스템의 일 예를 살펴본다.

도 2는 본 발명에서 기술한 프레임워크 제공장치를 활용한 시스템의 일례를 나타내는 개념도로, 센서 네트워크(251)로부터 발생되는 센서데이터를 활용한 센서 정보 조회 서비스와, 물류/유통 네트워크(252)로부터 발생되는 유통이벤트 데이터를 활용한 유통 정보 조회 서비스에 관한 것이다.

먼저, 도 1에 기술된 프레임워크를 이용하여 센서 정보 조회 서비스 제공하고자 하는 사용자는 센서데이터 처리 프로세스(210)와 센서 정보 조회 서비스(220)를 생성할 수 있다.

사용자는 프레임워크를 이용하여 센서데이터 수집 모듈(211), 센서데이터 저장 모듈(212), 센서데이터 가공 모듈(213), 시계열패턴 추출 모듈(214), 센서데이터 관리정책 모듈(215), 시계열패턴 관리정책 모듈(216)을 생성하고, 도 1의 모듈구성 관리자(106)를 이용하여 생성된 모듈들 간의 관계를 설정하여 센서데이터 처리 프로세스(210)를 구성할 수 있다.

한편, 도 2를 통해 설명되는 '모듈'은 도 1의 프레임워크를 통해 사용자가 생성한 중간 프로그램 또는 중간 프로세스로서 하나로 일괄되어 특정 기능을 수행할 수 있는 다른 프로그램으로도 재이용할 수 있는 형으로 되어 있는 것을 의미한다. 이러한 복수의 '모듈' 집합에 대한 관계 설정을 통해 센서데이터 처리 프로세스 또는 유통 이벤트 처리 프로세스와 같은 최종 프로세스가 생성된다.

다시 도 2로 돌아가면, 사용자는 도 1의 데이터 수집 모듈(101)에서 제공하는 외부 데이터 제공 시스템 연동 기능과 데이터 전처리 기능을 등록할 수 있는 사용자 인터페이스를 이용하여, 센서 네트워크 연동 기능과 센서데이터 전처리 기능을 등록함으로써 센서데이터 수집 모듈(211)을 생성할 수 있다.

또한, 사용자는 도 1의 데이터 저장 모듈(102)에서 제공하는 원본 데이터 저장 규칙 등록 사용자 인터페이스를 이용하여, 센서데이터 저장 규칙을 등록함으로써 센서데이터 저장 모듈(212)을 생성할 수 있다.

또한, 사용자는 도 1의 데이터 처리 모듈(104)에서 제공하는 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙을 등록할 수 있는 사용자 인터페이스를 이용하여, 센서데이터 가공 기능과 센서데이터 저장 규칙을 등록함으로써 센서데이터 가공 모듈(213)을 생성하고, 시계열패턴 추출 기능과 시계열패턴 저장 규칙을 등록함으로써 시계열패턴 추출 모듈(214)을 생성할 수 있다.

그리고 사용자는 센서데이터 가공 기능의 경우 센서 네트워크로부터 수집된 센서데이터에 대해 즉각적인 처리가 필요하기 때문에 센서데이터 가공 모듈(213)을 즉시 수행 방식으로 설정하고, 시계열패턴 추출 기능의 경우 일정 시간 동안 수집된 센서데이터에 대한 처리가 요구되는 작업이기 때문에 시계열패턴 추출 모듈(214)을 주기적 수행 방식으로 설정할 수 있다.

또한, 사용자는 도 1의 데이터 관리정책 모듈(105)에서 제공하는 데이터 분배 규칙 등록 사용자 인터페이스를 이용하여, 센서데이터 분배 규칙을 등록함으로써 센서데이터 관리정책 모듈(215)을 생성하고, 시계열패턴 데이터 분배 규칙을 등록함으로써 시계열패턴 관리정책 모듈(216)을 생성할 수 있다.

또한, 사용자는 도 1의 데이터 서비스 제공자(107)에서 제공하는 데이터 관리정책 모듈(105)과 분산형 저장소(103) 접근 기능을 이용하여 센서데이터 통계조회 서비스(221)와 시계열패턴 조회 서비스(222)를 생성할 수 있다.

센서데이터 통계조회 서비스(221)는 센서데이터 통계 조회 요청에 대해 센서데이터 관리정책 모듈(215)에 등록된 센서데이터 분배 규칙 정보를 이용하여 해당 조회 조건을 만족하는 센서데이터의 저장 영역을 알아내어, 해당 영역 내의 센서데이터에 대한 통계 처리를 통해 센서 통계 조회 요청을 효율적으로 처리할 수 있다.

시계열패턴 조회 서비스(222)는 시계열패턴 조회 요청에 대해 시계열패턴 관리정책 모듈(216)에 등록된 시계열패턴 데이터 분배 규칙 정보를 이용하여 해당 조회 조건을 만족하는 시계열 패턴의 저장 영역을 알아내어, 시계열패턴 조회 요청을 효율적으로 처리할 수 있다.

또한, 사용자는 향후 새로운 종류의 센서 데이터의 수집이 필요한 경우, 센서데이터 수집 모듈(211)의 센서데이터 전처리 기능과, 센서데이터 저장 모듈(212)의 센서데이터 저장 규칙의 변경을 통해 센서데이터 처리 프로세스(210)를 변경 및 확장할 수 있으며, 센서데이터를 활용한 새로운 정보 조회 서비스가 필요한 경우 해당 서비스를 위한 데이터 처리 모듈, 데이터 관리정책, 데이터 서비스 제공자를 프레임워크 내에 추가함으로써 센서 정보 조회 서비스(220)를 확장할 수 있다.

다른 한편으로, 도 1에 기술된 프레임워크를 이용하여 유통 정보 조회 서비스 제공하고자 하는 사용자는 유통이벤트 처리 프로세스(230)와 유통 정보 조회 서비스(240)를 생성할 수 있다.

사용자는 유통이벤트 수집 모듈(231), 유통이벤트 저장 모듈(232), 유통이벤트 가공 모듈(233), 유통이력 추출 모듈(234), 유통이벤트 관리정책 모듈(235), 유통이력 관리정책 모듈(236)을 생성하고, 도 1의 모듈구성 관리자(106)를 이용하여 생성된 모듈의 관계를 설정하여 유통이벤트 처리 프로세스를 구성한다.

사용자는 도 1의 데이터 수집 모듈(101)에서 제공하는 외부 시스템 연동 기능과 데이터 전처리 기능 등록 인터페이스를 이용하여, 물류/유통 네트워크로부터 유통이벤트를 수집하기 위한 HTTP 서버 기능과 XML 형식의 유통이벤트 메시지에 대한 전처리 기능을 등록함으로써 유통이벤트 수집 모듈(231)을 생성할 수 있다.

또한, 사용자는 도 1의 데이터 저장 모듈(102)에서 제공하는 원본 데이터 저장 규칙 등록 인터페이스를 이용하여, 유통이벤트 저장 규칙을 등록함으로써 유통이벤트 저장 모듈(232)을 생성할 수 있다.

또한, 사용자는 도 1의 데이터 처리 모듈(104)에서 제공하는 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙 등록 인터페이스를 이용하여, 유통이벤트 가공 기능과 유통이벤트 저장 규칙을 등록함으로써 유통이벤트 가공 모듈(233), 유통이력 추출 기능과 유통이력 저장 규칙을 등록함으로써 유통이력 추출 모듈(234)을 생성할 수 있다. 그리고 사용자는 유통이벤트 가공 기능과 유통이력 추출 기능이 실시간 처리가 요구되기 때문에 유통이벤트 가공 모듈(233)과 유통이력 추출 모듈(234)의 데이터 처리 방식을 즉시 수행 방식으로 설정한다.

또한, 사용자는 도 1의 데이터 관리정책 모듈(105)에서 제공하는 데이터 분배 규칙 등록 인터페이스를 이용하여, 유통이벤트 분배 규칙을 등록함으로써 유통이벤트 관리정책 모듈(235), 유통이력 분배 규칙을 등록함으로써 유통이력 관리정책 모듈(236)을 생성할 수 있다.

또한, 사용자는 도 1의 데이터 서비스 제공자(107)에서 제공하는 데이터 관리정책 모듈(105)과 분산형 저장소(103) 접근 기능을 이용하여 유통이벤트 조회 서비스(241)와 유통이력 조회 서비스(242)를 생성할 수 있다. 유통이벤트 조회 서비스(241)는 유통이벤트 조회 요청에 대해 유통이벤트 관리정책 모듈(235)에 등록된 유통이벤트 분배 규칙 정보를 이용하여 해당 조건을 만족하는 유통이벤트의 저장 영역을 알아내어, 해당 영역에서의 유통이벤트 검색을 통해 유통이벤트 조회 요청을 효율적으로 처리할 수 있다. 유통이력 조회 서비스(242)는 특정 상품에 대한 유통이력 조회 요청에 대해 유통이력 관리정책 모듈(236)에 등록된 유통이력 분배 규칙 정보를 이용하여 해당 상품의 이력 데이터가 저장된 영역을 알아내어 유통이력 조회 요청에 대해 빠르게 응답할 수 있다.

또한, 사용자는 향후 각 물류창고에 보관 중인 상품에 대한 재고 정보 조회 서비스가 필요한 경우, 해당 서비스를 위한 데이터 처리 모듈, 데이터 관리정책 모듈, 데이터 서비스 제공자를 생성하고 기존의 유통이벤트 저장 모듈(232)로부터 유통이벤트를 전달받음으로써 재고 정보 조회 서비스를 제공할 수 있다.

한편, 본 발명에 따른 프레임워크 제공장치는 프레임워크를 이용하여 다양한 분야에서 데이터를 효율적으로 처리할 수 있는 방법을 제공할 수 있다.

도 3에는 본 발명에서 기술된 프레임워크를 이용하여 물류/유통 네트워크(302)에서 상품의 유통 과정에서 발생되는 유통이벤트 데이터를 수집, 처리, 조회 기능을 제공하는 물류/유통 데이터 공유 시스템(301)의 다양한 실시 예가 도시된다.

물류/유통 데이터 공유 시스템(301)은 상품의 제조에서부터 판매까지의 유통 전 과정에서 발생되는 유통이벤트를 다수의 물류/유통 참여자들이 공유할 수 있는 환경을 제공함으로써 다양한 종류의 응용 시스템을 구축할 수 있도록 한다. 도 3의 의약품 유통이력 추적 시스템(303)은 물류/유통 데이터 공유 시스템(301)으로부터 의약품에 대한 유통이벤트를 제공받아, 의약품의 유통 상황을 실시간으로 모니터링 함으로써 불법 의약품이 유통되는 사고를 미연에 방지할 수 있다. 도 3의 재고관리 시스템(304)은 물류/유통 데이터 공유 시스템(301)으로부터 각 물류/유통 거점에서 상품의 입출고 수량을 제공받아, 각 상품의 재고상황을 파악함으로써 재고 부족 또는 과잉 문제가 발생하기 전에 재고관리 계획을 수립할 수 있다. 도 3의 유효기한 관리 시스템(305)은 물류/유통 데이터 공유 시스템(301)으로부터 식품에 대한 유통이벤트를 제공받아, 유효기한이 만료된 식품이 유통되어 소비자들의 건강을 해치는 문제를 예방할 수 있다. 도 3의 불법 거래 추척 시스템(306)은 물류/유통 데이터 공유 시스템(301)으로부터 상품의 거래 데이터를 제공받아, 상품에 대한 불법 거래 상황을 추적할 수 있다.

이하, 도 7을 참조하여 본 발명의 실시예에 따른 프레임워크 제공장치에서 수행되는 데이터 처리방법에 대해서 구체적으로 설명한다. 데이터의 처리는 사용자 정의에 의해 생성된 중간 프로세스에 의해 각각 수행되며, 프레임워크는 중간 프로세스를 생성할 수 있도록 하는 사용자 인터페이스를 사용자에게 제공한다.

구체적으로 설명하면, 본 발명의 실시예에 따른 프레임워크 제공장치는 사용자 인터페이스를 통해 등록되는 외부 시스템 연동 기능과 데이터 전처리 기능에 기초하여 데이터 수집 프로세스를 생성하고, 사용자 인터페이스를 통해 등록되는 사용자가 정의한 원본 데이터 저장 규칙에 기초하여 원본 데이터 저장 프로세스를 생성한다.

또한, 프레임워크 제공장치는 사용자 인터페이스를 통해 등록된 사용자 정의 기반 데이터 처리 기능과 상기 가공 데이터 저장 규칙에 기초하여 적어도 하나 이상의 원본 데이터 처리 프로세스를 생성하고, 상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하고, 상기 데이터 분배 규칙에 기초하여 가공 데이터 분배 프로세스를 생성한다.

마지막으로, 프레임워크 제공장치는 상기 각각의 프로세스 사이의 관계 설정을 통해 사용자 정의 기반 데이터 처리를 위한 통합 프로세스를 생성하여 데이터를 처리한다.

도 7을 참조하면, 먼저 데이터 수집 모듈(101)은 다양한 종류의 데이터를 제공하는 외부 데이터 제공 시스템과 연동하여 데이터를 수집하고, 수집된 데이터(이하, 원본 데이터)에 대해 사용자 정의 기반의 전처리 작업을 수행한다. 전처리 과정을 거친 원본 데이터는 데이터 저장 모듈(102)로 전달된다(S10).

그리고, 데이터 저장 모듈(102)은 데이터 수집 모듈(101)로부터 전달받은 데이터의 원본을 분산형 저장소(103)에 저장한다(S20). 이때, 데이터 저장 모듈(102)은 사용자 정의에 따른 원본 데이터 저장 규칙에 기초하여 원본 데이터를 저장하고 유지, 관리함으로써 향후 새로운 서비스 제공이 필요하거나 기존 서비스의 변경이 필요한 상황에서도 원활하게 대응할 수 있으며, 데이터 처리 결과의 오류 검증에도 활용할 수 있다.

다음, 데이터 처리 모듈(104)은 데이터 저장 모듈(102)로부터 전달 또는 통지 받은 데이터를 사용자가 정의한 데이터 처리 규칙에 기초하여 처리하고, 그 처리 결과로 생성된 가공 데이터를 분산형 저장소(103)에 저장하는 기능을 제공한다(S30).

한편, 데이터 관리정책 모듈(105)은 데이터 처리 모듈(104)에서 발생된 가공 데이터가 분산형 저장소(103)의 특정 영역에 편중되어 저장됨으로써 분산형 저장소(103)의 성능이 저하되는 문제를 방지하고자, 가공 데이터를 분산형 저장소(103)의 전체 영역에 균등하게 저장하기 위한 데이터 분배 규칙을 등록하고 조회할 수 있는 사용자 인터페이스를 제공한다(S40). 사용자 인터페이스를 통해 가공 데이터를 분산 저장하기 위한 데이터 분배 규칙이 등록되면, 데이터 처리 모듈(104)은 상기 데이터 분배 규칙에 기초하여 가공 데이터를 분산형 저장소(103)에 분배하여 저장한다(S50).

이후, 데이터 서비스 제공자(107)로부터 상기 분산형 저장소(103)에 저장된 원본 데이터 또는 가공 데이터에 대한 조회 요청이 있는 경우, 데이터 서비스 제공자는(107)는 데이터 서비스를 제공하는데 있어 필요한 데이터의 효율적 검색을 위해 데이터 관리정책 모듈(105)에 등록된 데이터 분배 규칙 정보를 활용하여 데이터 서비스를 사용자에게 제공한다(S60).

한편, 상술한 본 발명에 따른 프레임워크 제공장치에서의 데이터 처리방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

1. 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치에서의 데이터 처리방법에 있어서,
   외부의 데이터 제공 장치에서 수집한 원본 데이터에 대해 사용자 정의 기반의 전처리 작업을 수행하는 단계;
   상기 원본 데이터를 사용자가 정의한 저장 규칙에 기초하여 분산형 데이터 저장소에 저장하는 단계;
   사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 처리하여 가공 데이터를 생성하는 단계;
   상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하는 단계; 및
   상기 데이터 분배 규칙에 기초하여 상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하는 단계
   를 포함하는 데이터 처리방법.
   
2. 제1항에 있어서,
   상기 분산형 데이터 저장소에 저장된 상기 원본 데이터 또는 상기 가공 데이터에 사용자 조회가 있는 경우, 상기 사용자가 정의한 저장 규칙 또는 상기 데이터 분배 규칙을 참조하여 상기 원본 데이터 또는 상기 가공 데이터를 사용자 단말로 전송하는 단계
   를 더 포함하는 데이터 처리방법.
   
3. 제1항에 있어서, 상기 사용자 정의 기반의 전처리 작업을 수행하는 단계는,
   사용자 인터페이스를 통해 등록되는 외부 시스템 연동 기능과 데이터 전처리 기능에 기초하여 데이터 수집 프로세스를 생성하는 단계를 포함하는 것
   인 데이터 처리방법.
   
4. 제1항에 있어서, 상기 분산형 데이터 저장소에 저장하는 단계는,
   사용자 인터페이스를 통해 등록되는 사용자가 정의한 원본 데이터 저장 규칙에 기초하여 원본 데이터 저장 프로세스를 생성하는 단계를 포함하는 것
   인 데이터 처리방법.
   
5. 제1항에 있어서, 상기 가공 데이터를 생성하는 단계는,
   사용자 인터페이스를 통해 등록된 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙에 기초하여 적어도 하나 이상의 원본 데이터 처리 프로세스를 생성하는 단계를 포함하는 것인 데이터 처리방법.
   
6. 제1항에 있어서, 상기 데이터 분배 규칙을 등록하는 단계는,
   상기 분산형 데이터 저장소가 키-밸류(key-value) 분산형 데이터 저장소인 경우, 상기 가공 데이터를 균등하게 저장할 수 있는 키 값 생성 규칙을 등록하는 단계를 포함하는 것
   인 데이터 처리방법.
   
7. 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치에서의 데이터 처리방법에 있어서, 사용자 인터페이스를 통해 등록되는 외부 시스템 연동 기능과 데이터 전처리 기능에 기초하여 데이터 수집 프로세스를 생성하는 단계;
   사용자 인터페이스를 통해 등록되는 사용자가 정의한 원본 데이터 저장 규칙에 기초하여 원본 데이터 저장 프로세스를 생성하는 단계;
   사용자 인터페이스를 통해 등록된 사용자 정의 기반 데이터 처리 기능과 가공 데이터 저장 규칙에 기초하여 적어도 하나 이상의 원본 데이터 처리 프로세스를 생성하는 단계;
   가공 데이터를 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하고, 상기 데이터 분배 규칙에 기초하여 가공 데이터 분배 프로세스를 생성하는 단계; 및
   상기 각각의 프로세스 사이의 관계 설정을 통해 사용자 정의 기반 데이터 처리를 위한 통합 프로세스를 생성하는 단계를 포함하는 데이터 처리방법.
   
8. 대용량 순차 수집 데이터 처리를 위한 프레임워크를 제공하는 프로그램 코드(code)가 저장된 비휘발성 메모리와, 상기 프로그램 코드를 실행하는 적어도 하나의 프로세서를 포함하는 프레임워크 제공장치에 있어서,
   상기 프레임워크는, 외부의 데이터 제공 장치에서 수집한 원본 데이터에 대해 사용자 정의 기반의 전처리 작업을 수행하는 데이터 수집 모듈;
   상기 원본 데이터를 사용자가 정의한 저장 규칙에 기초하여 분산형 데이터 저장소에 저장하는 데이터 저장 모듈;
   사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 처리하여 가공 데이터를 생성하는 데이터 처리 모듈;
   상기 가공 데이터를 상기 분산형 데이터 저장소에 분배하여 저장하기 위한 데이터 분배 규칙을 등록하는 데이터 관리정책 모듈을 제공하도록 구현된 것인 프레임워크 제공장치.
   
9. 제8항에 있어서, 상기 데이터 수집 모듈은,
   외부 시스템 연동 기능과 데이터 파싱을 포함하는 사용자 정의 기반 전처리 기능을 등록할 수 있는 사용자 인터페이스를 제공하는 것
   인 프레임워크 제공장치.
   
10. 제8항에 있어서, 상기 데이터 저장 모듈은,
    사용자 정의에 따른 원본 데이터 저장 규칙을 등록할 수 있는 사용자 인터페이스를 제공하는 것
    인 프레임워크 제공장치.
    
11. 제8항에 있어서, 상기 데이터 저장 모듈은,
    상기 원본 데이터로부터 필요한 데이터 추출 작업 또는 상기 원본 데이터에 대한 가공 작업이 필요한 경우, 상기 데이터 처리 모듈을 등록하고, 상기 데이터 처리 모듈에서 사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터를 상기 데이터 처리 모듈로 전달하거나, 상기 원본 데이터의 저장 정보를 통지하는 것
    인 프레임워크 제공장치.
    
12. 제8항에 있어서, 상기 데이터 처리 모듈은,
    상기 사용자가 정의한 데이터 처리 규칙과 가공 데이터 저장 규칙을 등록할 수 있는 사용자 인터페이스를 제공하는 것
    인 프레임워크 제공장치.
    
13. 제8항에 있어서, 상기 데이터 처리 모듈은,
    사용자가 정의한 데이터 처리 규칙에 기초하여 상기 원본 데이터 또는 상기 원본 데이터의 저장 정보를 즉시 수행 방식 또는 주기적 수행 방식으로 처리하는 것
    인 프레임워크 제공장치.
    
14. 제8항에 있어서, 상기 데이터 관리정책 모듈은,
    상기 데이터 분배 규칙을 등록 및 조회할 수 있는 사용자 인터페이스를 제공하되, 상기 분산형 데이터 저장소가 키-밸류(key-value) 분산형 데이터 저장소인 경우, 상기 데이터 분배 규칙은 상기 가공 데이터를 균등하게 저장할 수 있는 키 값 생성 규칙인 것
    인 프레임워크 제공장치.

Images