KR102529547B1 - 빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법 - Google Patents

빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법 Download PDF

Info

Publication number
KR102529547B1
KR102529547B1 KR1020220103522A KR20220103522A KR102529547B1 KR 102529547 B1 KR102529547 B1 KR 102529547B1 KR 1020220103522 A KR1020220103522 A KR 1020220103522A KR 20220103522 A KR20220103522 A KR 20220103522A KR 102529547 B1 KR102529547 B1 KR 102529547B1
Authority
KR
South Korea
Prior art keywords
data
execution
data collection
collection
processing
Prior art date
Application number
KR1020220103522A
Other languages
English (en)
Inventor
이동혁
방철호
김동희
도지은
윤진헌
Original Assignee
주식회사 에이데이타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이데이타 filed Critical 주식회사 에이데이타
Priority to KR1020220103522A priority Critical patent/KR102529547B1/ko
Application granted granted Critical
Publication of KR102529547B1 publication Critical patent/KR102529547B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Abstract

본 발명은 데이터 연계 자동화를 위한 데이터 수집 장치 및 방법에 관한 것으로, 상기 장치는 비즈니스 시스템(business system)으로부터 데이터 수집을 위한 작업 요청을 수신하는 실행 관리부; 상기 실행 관리부의 데이터 수집 요청에 따라 프로파일(profile)별 데이터 수집을 위한 수집모듈(vehicle)들의 실행을 개시하는 실행 처리부; 상기 실행 처리부의 전처리 데이터 수집 요청에 따라 전처리 데이터를 수집하여 상기 밸류 레포지토리에 저장하는 전처리 수행부; 및 상기 밸류 레포지토리를 기초로 상기 수집모듈들에 의해 수집된 데이터들을 통합하여 저장하는 데이터 수집부;를 포함한다.

Description

빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법{BIG-DATA COLLECTION DEVICE AND METHOD FOR DATA LINKAGE AUTOMATION}
본 발명은 데이터 수집 기술에 관한 것으로, 보다 상세하게는 데이터 수집을 위한 표준 작업 정의서를 기반으로 수집모듈들의 병렬 처리를 통해 데이터 수집을 처리하는 데이터 연계 자동화를 위한 데이터 수집 장치 및 방법에 관한 것이다.
데이터의 전처리(preprocessing)는 데이터의 결측치 및 이상치를 확인하거나 제거하고, 불일치되는 부분을 일관성 있는 데이터의 형태로 전환하는 과정에 해당할 수 있다. 데이터 전처리의 종류에는 데이터 클리닝(cleaning), 데이터 통합(integration), 데이터 변환(transformation), 데이터 축소(reduction), 데이터 이산화(discretization) 등이 포함될 수 있다.
특히, 빅데이터 분석, 인공지능 등의 분야에서 데이터 분석을 위해서는 데이터 전처리 과정이 필수적으로 요구되고 있다. 데이터 전처리의 결과는 데이터 분석 결과에 직접적인 영향을 줄 수 있는 점에서 데이터 전처리 과정은 반복적인 수행을 통해 데이터의 신뢰도를 높일 수 있다.
또한, 데이터 전처리 과정은 스크립트를 이용한 반복적인 수작업의 한계로 인해 유지보수가 어렵고 데이터 분석의 단계들 중에서 가장 많은 시간이 소요될 수 있다. 이를 해결하기 위하여, 데이터 전처리 과정을 자동화할 수 있으나, 별도의 시스템과 전문 인력이 필요하다는 어려움이 존재한다.
한국등록특허 제10-1913591호 (2018.10.25)
본 발명의 일 실시예는 데이터 수집을 위한 표준 작업 정의서를 기반으로 수집모듈들의 병렬 처리를 통해 데이터 수집을 처리하는 데이터 수집 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 데이터 연계 자동화를 위한 데이터 수집 장치는 비지니스 시스템(business system)으로부터 데이터 수집을 위한 작업 요청을 수신하는 실행 관리부(Weaving Center); 상기 실행 관리부의 데이터 수집 요청에 따라 프로파일(profile)별 데이터 수집을 위한 수집모듈(vehicle)들의 실행을 개시하는 실행 처리부(Commander); 상기 실행 처리부의 전처리 데이터 수집 요청에 따라 전처리 데이터(Input Parameter Value)를 수집하여 밸류 레포지토리에 저장하는 전처리 수행부(Input Value Collector); 및 상기 밸류 레포지토리를 기초로 상기 수집모듈들에 의해 수집된 데이터들을 통합하여 저장하는 데이터 수집부(DATA);를 포함한다.
상기 실행 관리부는 상기 작업 요청에 관한 표준 작업 정의서를 수신하고, 상기 표준 작업 정의서는 상기 수집모듈들에 관한 정보를 배열로서 저장할 수 있다.
상기 실행 처리부는 상기 데이터 수집 요청에 따라 상기 전처리 데이터 수집 요청을 생성하고 상기 데이터 수집을 위한 병렬 처리 여부를 결정하는 실행 위임 모듈; 상기 실행 위임 모듈로부터의 동기 요청 위임에 따라 상기 프로파일별 데이터 수집을 위한 동작을 순차적으로 실행하는 동기 실행 모듈; 및 상기 실행 위임 모듈로부터의 비동기 요청 위임에 따라 상기 프로파일별 데이터 수집을 위한 동작을 병렬적으로 실행하는 비동기 실행 모듈;을 포함할 수 있다.
상기 실행 위임 모듈은 상기 전처리 데이터 수집 요청과 함께 표준 작업 정의서의 수집모듈들에 관한 입력 파라미터 정보를 상기 전처리 수행부에 전달할 수 있다.
상기 전처리 수행부는 상기 전처리 데이터 수집 요청을 리스트(list)에 저장하여 동시 실행할 수 있다.
상기 전처리 수행부는 상기 입력 파라미터 정보를 참조하여 상기 수집모듈들에 의해 입력변수로서 사용되는 밸류값들을 상기 밸류 레포지토리에 저장할 수 있다.
상기 전처리 수행부는 상기 표준 작업 정의서의 데이터 수집 계층 정보를 기초로 신규의 표준 작업 정의서를 생성한 후 상기 실행 위임 모듈에게 전처리 데이터 수집을 재요청할 수 있다.
실시예들 중에서, 데이터 연계 자동화를 위한 데이터 수집 방법은 실행 관리부를 통해 비지니스 시스템(business system)으로부터 데이터 수집을 위한 작업 요청을 수신하는 단계; 실행 처리부를 통해 상기 실행 관리부의 데이터 수집 요청을 수신하는 단계; 전처리 수행부를 통해 전처리 데이터 수집 요청에 따라 전처리 데이터를 수집하여 상기 밸류 레포지토리에 저장하는 단계; 상기 실행 처리부를 통해 프로파일(profile)별 데이터 수집을 위한 수집모듈(vehicle)들의 실행을 개시하는 단계; 및 데이터 수집부를 통해 상기 밸류 레포지토리를 기초로 상기 수집모듈들에 의해 수집된 데이터들을 통합하여 저장하는 단계;를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 데이터 수집 장치 및 방법은 지능형 빅데이터 수집 및 연계 솔루션을 통해 수집대상 서버에 접근하기 위한 별도의 코딩 없이도 커맨드 센터가 제공하는 다양한 UI를 통해 다양한 데이터를 수집할 수 있고(편의성, Low-Code), 여러 수집대상 서버의 데이터를 가져올 때 수집모듈(vehicle)를 동시에 실행하여 수집 성능을 향상시킬 수 있으며(성능, High-Performance), 위빙 센터가 제공하는 AI 기반의 수집 데이터 자동 분류 및 프로파일링 기능을 통한 타겟(Target) DB에 저장을 자동화할 수 있다(자동화, Automation).
또한, 본 발명의 일 실시예에 따른 데이터 수집 장치 및 방법은 수집모듈(vehicle) 추가나 변경이 용이하여 유연성과 높은 확장성으로 다양한 데이터 형태의 수집이 가능하고(확장성, Extendibility), 수집 대상정보, 수집 현황, 수집 데이터 요약 등의 감사(Audit) 정보를 모니터링할 수 있도록 통합 대시보드를 제공하여 편의성을 증대시킬수 있다(편리성, Convenience).
도 1은 본 발명에 따른 데이터 수집 시스템을 설명하는 도면이다.
도 2는 본 발명에 따른 커맨더와 수집모듈의 아키텍처를 설명하는 도면이다.
도 3a 및 3b는 도 1의 데이터 수집 방법의 동작 과정을 설명하는 도면이다.
도 4는 본 발명에 따른 수행 성능 향상을 위한 작동의 병렬 처리를 설명하는 도면이다.
도 5는 본 발명에 따른 인과관계의 데이터 수집 과정을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 데이터 수집 시스템을 설명하는 도면이다.
도 1을 참조하면, 데이터 수집 시스템(100)은 애플리케이션 서버(application server) 상에서 구현될 수 있다. 데이터 수집 시스템(100)은 데이터 수집 장치(110) 및 비지니스 시스템(Business System)(130)을 포함할 수 있다.
데이터 수집 장치(110)는 데이터 수집을 위한 SCV(Smart Collection Vehicles) 엔진에 대응될 수 있으며, 본 발명에 따른 데이터 수집 방법을 수행하도록 구현될 수 있다. 데이터 수집 장치(110)는 비지니스 시스템(130)과 유선 네트워크 또는 블루투스, WiFi, LTE 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 비지니스 시스템(130)과 데이터를 송·수신할 수 있다.
또한, 데이터 수집 장치(110)는 사용자 단말(도 1에 미도시함)과 연동하여 동작할 수 있다. 사용자 단말은 데이터 수집을 위한 모델링(modeling)과 프로파일링(profiling)을 수행하는 사용자(Vehicle Modeler)에 의해 운용되는 컴퓨팅 장치에 해당할 수 있다. 즉, 사용자는 사용자 단말을 통해 모델링과 데이터 연계 프로파일링에 관한 동작을 처리할 수 있다. 이를 위하여, 데이터 수집 장치(110)는 수집 장치(Vehicle) 등록을 위한 사용자 인터페이스(UI)를 제공할 수 있다.
또한, 데이터 수집 장치(110)는 비지니스 시스템(130)으로부터의 작업 지시에 따라 데이터를 수집할 수 있고, 수집된 데이터를 타겟 시스템(target system)에 제공할 수 있다. 여기에서, 타겟 시스템은 데이터 수집을 통해 생성된 정보를 활용하는 오픈 API 제공자(OpenAPI Providers), 파일 시스템(Remote File System), 클라우드 저장소(Cloud File Storages) 및 데이터베이스(Remote DBs) 등을 포함할 수 있다.
또한, 데이터 수집 장치(110)는 커맨드 센터(Command Center)(111), 위빙 센터(Weaving Center)(113) 및 커맨더(Commander)(115)를 포함할 수 있다. 구체적으로, 커맨드 센터(111)는 사용자(Vehicle Modeler)에 의해 생성된 수집모듈(Vehicle)을 등록하고 인보이스 프로파일(Invoice Profile)을 기초로 인보이스(Invoice)를 생성할 수 있다. 위빙 센터(113)는 데이터 연계 프로파일링(Profiling)을 통해 인보이스 프로파일을 생성하고 비지니스 시스템(Business System)(130)으로부터 데이터 수집에 관한 작업 지시를 수신할 수 있다. 커맨더(115)는 인보이스에 따른 데이터 수집 요청을 수신한 경우 프로파일별 데이터 수집을 위한 수집모듈들의 실행을 개시하고 수집모듈들에 의해 수집된 데이터들을 제공할 수 있다.
비지니스 시스템(130)은 수집된 데이터를 활용하는 다양한 목적의 서버 또는 컴퓨팅 시스템에 해당할 수 있다. 데이터를 활용하고자 하는 소비자(Consumer)는 비지니스 시스템(130)을 통해 관련 데이터를 요청할 수 있고, 비지니스 시스템(130)은 데이터 수집 장치(110)와 연동하여 소비자 요청에 응답할 수 있다.
도 2는 본 발명에 따른 커맨더와 수집모듈의 아키텍처를 설명하는 도면이다.
도 2를 참조하면, 데이터 수집 장치(110)는 커맨드 센터(111)를 통해 사용자(Vehicle Modeler)에 의해 생성된 수집모듈(Vehicle)을 등록하고 인보이스 프로파일(Invoice Profile)을 기초로 인보이스(Invoice)를 생성할 수 있다. 여기에서, 수집모듈(Vehicle)은 데이터 수집 동작을 개별 처리하는 동작 모듈에 해당할 수 있다. 이를 위하여, 데이터 수집 장치(110)는 실행 관리부(210), 실행 처리부(230), 전처리 수행부(250) 및 데이터 수집부(270)를 포함할 수 있다. 예를 들어, 도 2에서, 실행 관리부(210)는 InvoiceHandler, 실행 처리부(230)는 Commander, 전처리 수행부(250)는 input Value Collector, 데이터 수집부(270)는 Vehicles에 대응될 수 있다.
이때, 데이터 수집 장치(110)는 상기의 기능적 구성들을 동시에 모두 포함해야 하는 것은 아니며, 각각의 실시예에 따라 상기의 구성들 중 일부를 생략하거나, 상기의 구성들 중 일부 또는 전부를 선택적으로 포함하여 구현될 수도 있다. 또한, 데이터 수집 장치(110)는 상기 구성들 중 일부를 선택적으로 포함하는 독립된 모듈로서 구현될 수 있으며, 각 모듈들 간의 연동을 통해 본 발명에 따른 데이터 수집 방법을 수행할 수도 있다. 이하, 각 구성들의 동작을 구체적으로 설명한다.
실행 관리부(210)는 비지니스 시스템(business system)(130)으로부터 데이터 수집을 위한 작업 요청을 수신할 수 있다. 또한, 실행 관리부(210)는 도 2에서 InvoiceHandler에 대응될 수 있다. 예를 들어, 실행 관리부(210)는 작업 요청에 관한 인보이스(Invoice)를 수신할 수 있다. 비지니스 시스템(130)은 사용자에 의해 작성된 작업 요청서를 실행 관리부(210)에 전달할 수 있으며, 실행 관리부(210)는 작업 요청서의 요청 내용에 따라 관련 동작을 수행할 수 있다. 특히, 실행 관리부(210)는 작업 요청서에 데이터 수집 요청이 포함된 경우 실행 처리부(230)에게 데이터 수집을 요청할 수 있다.
일 실시예에서, 실행 관리부(210)는 작업 요청에 관한 표준 작업 정의서를 수신할 수 있다. 이때, 표준 작업 정의서는 수집모듈들에 관한 정보를 배열로서 저장할 수 있다. 즉, 실행 관리부(210)는 다양한 비지니스 시스템(130)과의 효율적인 연동을 위하여 표준 작업 정의서를 정의하여 활용할 수 있다. 이에 따라, 비지니스 시스템(130)은 사용자의 요청 사항을 기초로 표준 작업 정의서를 생성하고 표준 작업 정의서로서 실행 관리부(210)에 데이터 수집에 관한 작업 요청을 전달할 수 있다.
예를 들어, 표준 작업 정의서는 JSON 파일로 구현될 수 있으며, 요청 작업을 위한 다양한 정보들을 포함할 수 있다. 'sender'는 데이터 수집의 실행 담당자(consumer) 정보를 저장하고, 'inputValue'는 데이터 수집에 필요한 기초 입력 값을 저장하며, 'compositeCollector'는 전처리 데이터 수집기(Vehicles) 표준 작업 정의서를 저장하고, 'dataCollector'는 수집모듈 목록을 저장할 수 있다. 이때, datacollector는 수집모듈(Vehicle)의 일 실시예에 해당할 수 있다.
먼저, JSON 객체(Object)로 정의되는 sender는 direction(수집/저장(inboud/outbound) 정보), partition(Consumer Name, 로그정보로 사용), sender(요청자), consumer(실행 담당자) 등을 포함할 수 있다. 또한, JSON 객체(Object)로 정의되는 inputValue는 Consumer가 API 호출에 필요한 입력 값을 직접 입력할 수 있는 값의 목록을 저장할 수 있다.
또한, JSON 배열(Array)로 정의되는 compositeCollector는 vehicle(Input Value 수집모듈 정보), childVehicles(하위 수집모듈 정보(Json Array))를 포함할 수 있다.
또한, JSON 배열(Array)로 정의되는 dataCollector(Data수집모듈 묶음)는 dataSchema(API의 입/출력에 대한 정보), connection(API의 연결에 대한 정보), type(Vehicle의 종류(Pipe/REST/File/DB), Pipe는 expression builder를 사용하여 데이터를 가공하는 Vehicle에 해당함), tag(Vehicle의 이름), transactionId(Invoice 실행에 대한 정보를 로그에 남기기 위한 아이디), direction(data binding 방향, inbound는 consumer와 input Parameter와 binding, outbound는 output schema와 binding), additional(기타 정보, UI에 표시할 정보)를 포함할 수 있다.
이때, dataSchema는 outputSchema(수집데이터의 출력 정보(Json Array)), inputParam(입력 파라미터 정보(Json Array))를 포함할 수 있다. outputSchema는 mapperType(출력 값 추출 방법 유형), name(출력 변수 이름), mapper(수집데이터의 추출변수 이름), mandatory(필수 여부), type(데이터 타입) 등을 포함할 수 있다. 또한, connection은 settings(연결설정 정보(Json Object)), type(수집 데이터 Source 연결 유형), uri(연결 정보), authentication(인증 정보(Json Object))를 포함할 수 있다.
실행 처리부(230)는 실행 관리부(210)의 데이터 수집 요청에 따라 프로파일(profile)별 데이터 수집을 위한 수집모듈(Vehicle)들의 실행을 개시할 수 있다. 실행 처리부(230)는 수집모듈의 실행을 개시하는 명령을 생성하여 수집모듈의 동작을 제어할 수 있다. 또한, 실행 처리부(230)는 데이터 수집을 위한 동작을 개시하기 전 단계에서 전처리 데이터의 수집을 위한 동작을 개시할 수 있으며, 이를 위하여 전처리 수행부(250)와 연동하여 동작할 수 있다.
일 실시예에서, 실행 처리부(230)는 실행 위임 모듈(231), 동기 실행 모듈(233) 및 비동기 실행 모듈(235)을 포함할 수 있다. 보다 구체적으로, 실행 위임 모듈(231)은 데이터 수집 요청에 따라 전처리 데이터 수집 요청을 생성하고 데이터 수집을 위한 병렬 처리 여부를 결정할 수 있다. 동기 실행 모듈(233)은 실행 위임 모듈(231)로부터의 동기 요청 위임에 따라 프로파일별 데이터 수집을 위한 동작을 순차적으로 실행할 수 있다. 비동기 실행 모듈(235)은 실행 위임 모듈(231)로부터의 비동기 요청 위임에 따라 프로파일별 데이터 수집을 위한 동작을 병렬적으로 실행할 수 있다.
일 실시예에서, 실행 위임 모듈(231)은 전처리 데이터 수집 요청과 함께 표준 작업 정의서의 수집모듈들에 관한 입력 파라미터 정보를 전처리 수행부(250)에 전달할 수 있다. 표준 작업 정의서의 'DataCollector'에는 다수의 수집모듈 정보들이 배열 형태로 저장될 수 있다. 실행 위임 모듈(231)은 표준 작업 정의서의 'dataSchema'에 저장된 'inputParam' 정보를 전처리 수행부(250)에 전달할 수 있다. 이때, 실행 위임 모듈(231)은 동일한 요청을 중복 처리하지 않을 수 있다.
전처리 수행부(250)는 실행 처리부(230)의 전처리 데이터 수집 요청에 따라 전처리 데이터를 수집하여 밸류 레포지토리(Value Repository)에 저장할 수 있다. 여기에서, 밸류 레포지토리는 데이터 수집을 위해 필요한 입력 값들을 저장할 수 있다. 예를 들어, 밸류 레포지토리는 수집모듈 값(Composite Collector Value), 외부 값(External Value), 기본 값(BuiltIn Value), 시스템 값(System Value) 등을 저장할 수 있다.
일 실시예에서, 전처리 수행부(250)는 전처리 데이터 수집 요청을 리스트(list)에 저장하여 동시 실행할 수 있다. 즉, 전처리 수행부(250)는 실행 처리부(230)의 전처리 데이터 수집 요청을 수신한 경우 해당 요청들을 리스트(list)에 저장할 수 있고, 리스트에 저장된 요청들을 동시 실행하여 전처리 데이터 수집 동작의 성능을 향상시킬 수 있다.
일 실시예에서, 전처리 수행부(250)는 입력 파라미터 정보를 참조하여 수집모듈들에 의해 입력변수로서 사용되는 밸류값들을 밸류 레포지토리에 저장할 수 있다. 즉, 전처리 수행부(250)는 실행 위임 모듈(231)로부터 수신된 표준 작업 정의서의 수집모듈들에 관한 입력 파라미터 정보에 대응되는 전처리 데이터를 수집하여 밸류 레포지토리에 추가할 수 있다.
일 실시예에서, 전처리 수행부(250)는 표준 작업 정의서의 데이터 수집 계층 정보를 기초로 신규의 표준 작업 정의서를 생성한 후 실행 위임 모듈(231)에게 전처리 데이터 수집을 재요청할 수 있다. 이때, 데이터 수집 계층 정보는 표준 작업 정의서의 'compositeCollector'에 저장될 수 있다. 즉, 전처리 수행부(250)는 데이터 수집 계층 정보에 따라 선행 관계에 있는 수집모듈들이 존재하는 경우 해당 수집모듈에 필요한 전처리 데이터 수집을 위하여 새로운 표준 작업 정의서를 생성할 수 있다. 이후, 전처리 수행부(250)는 신규의 표준 작업 정의서를 실행 처리부(230)의 실행 위임 모듈(231)에 전달하여 인과관계의 데이터 수집을 위한 동작의 실행을 요청할 수 있다.
데이터 수집부(270)는 밸류 레포지토리를 기초로 수집모듈들에 의해 수집된 데이터들을 통합하여 저장할 수 있다. 즉, 데이터 수집부(270)는 수집모듈들을 생성하고 수집모듈들의 동작을 실행시킴으로써 수집모듈들에 의한 데이터 수집을 처리할 수 있다. 이때, 데이터 수집을 수행하는 수집모듈들은 API 수집모듈(API Vehicle), 파일 수집모듈(File Vehicle), DB 수집모듈(DB Vehicle), 파이프 수집모듈(Pipe Vehicle) 등을 포함할 수 있다. 예를 들어, 수집모듈의 종류에 따라 데이터를 가공 처리하는 복합 수집모듈(Complex Vehicle), 시스템 내부의 데이터를 수집하는 수집모듈(Internal Vehicle) 및 외부의 OpenAPI와 같은 데이터를 수집하는 수집모듈(External Vehicle) 등을 포함할 수 있다. 데이터 수집 목적에 따라 생성된 각 수집모듈들은 밸류 레포지토리에서 입력 파라미터 값을 조회하여 수집할 수 있다. 데이터 수집부(270)는 dataCollecotr 내에 포함된 각 수집모듈(Vehicle)의 dataSchema의 outputSchema로부터 수집된 데이터를 취합하여 저장할 수 있고, 최종적으로 데이터 수집을 요청한 사용자에게 제공할 수 있다. 또한, 데이터 수집부(270)에 의해 수집된 데이터들은 실행 처리부(230)의 비동기 실행 모듈(235)에 전달되어 데이터베이스에 저장될 수 있다.
도 3a 및 3b는 도 1의 데이터 수집 방법의 동작 과정을 설명하는 도면이다.
도 3a를 참조하면, 데이터 수집 장치(110)는 비지니스 시스템(130)로부터 데이터 수집을 위한 표준 작업 정의서를 수신할 수 있다. 이때, 표준 작업 정의서는 JSON 파일로 생성될 수 있으며, 데이터 수집 장치(110)의 실행 관리부(210)에게 전달될 수 있다. 실행 관리부(210)는 표준 작업 정의서를 기초로 실행 처리부(230)에게 데이터 수집을 요청할 수 있다. 실행 처리부(230)는 데이터 수집 요청에 따라 전처리 수행부(250)에게 전처리 데이터 수집을 요청할 수 있다. 이때, 실행 처리부(230)는 전처리 데이터 수집 요청과 함께 표준 작업 정의서의 입력값 합성 수집기(compositeCollector)에 관한 정보를 전처리 수행부(250)에 전달할 수 있다.
전처리 수행부(250)는 입력값 합성 수집기(compositeCollector) 정보에 따라 수집모듈(Vehicle)들에 의해 입력변수로서 사용되는 밸류값들을 수집 및 합성하여 밸류 레포지토리에 추가할 수 있다. 이때, 전처리 수행부(250)는 표준 작업 정의서의 데이터 수집 계층 정보에 따라 인과관계의 데이터를 수집할 수 있다. 여기에서, 인과관계의 데이터 수집이란 API 호출에 필요한 입력 값을 다른 API를 통해 수집하는 것에 해당할 수 있다. 예를 들어, API 함수 X(y)의 호출에 필요한 입력 값 y를 다른 API 함수 K()를 통해 수집할 수 있으며, 이 경우 'y = K()'로 표현될 수 있다. 전처리 수행부(250)는 표준 작업 정의서에 작성된 'compositeCollector' 정보를 이용하여 관련된 API를 수행할 수 있고, 해당 결과를 밸류 레포지토리에 적재할 수 있다. 따라서, 'compositeCollector' 정보는 밸류 레포지토리에 저장된 데이터들의 인과관계를 설정하기 위하여 사용될 수 있다.
즉, 전처리 수행부(250)는 'compositeCollector'에 'Vehicle'이 존재하는 경우 새로운 표준 작업 정의서를 생성할 수 있고, 이를 실행 관리부(210)에 전달할 수 있다(단계 S310). 이에 따라, 새로운 데이터 수집 동작이 실행될 수 있다. 전처리 수행부(250)는 모든 인과관계 API가 수행될 때까지 반복적인 동작을 수행할 수 있으며, 이를 통해 수집된 전처리 데이터는 밸류 레포지토리(Value Repository)에 저장될 수 있다. 또한, 모든 인과관계 API가 수행된 결과 모든 입력 값 수집이 완료된 경우 메인 API(Main API)가 실행 처리부(230)의 비동기 실행 모듈(235)에 전달되어 실행될 수 있다.
즉, 실행 처리부(230)는 전처리 데이터의 수집이 완료되면 데이터 수집을 위한 동작을 개시할 수 있다. 이때, 실행 처리부(230)의 실행 위임 모듈(231)은 데이터 수집을 위한 병렬 처리 여부를 결정할 수 있다(단계 S330). 실행 위임 모듈(231)은 병렬 처리가 필요한 경우 비동기 실행 모듈(235)의 동작을 개시할 수 있고, 그렇지 않은 경우 동기 실행 모듈(233)의 동작을 개시함으로써 프로파일별 데이터 수집 동작을 선택적으로 실행할 수 있다.
데이터 수집부(270)는 밸류 레포지토리를 기초로 수집모듈(Vehicle)들에 의해 수집된 데이터들을 통합하여 저장할 수 있다. 각 수집모듈들은 밸류 레포지토리에서 입력 파라미터 값을 조회할 수 있고 해당 데이터를 수집할 수 있다. 데이터 수집부(270)는 각 수집모듈(Vehicle)들이 수집한 데이터를 취합하여 데이터베이스 저장할 수 있으며, 데이터 수집을 요청한 사용자에게 수집 결과를 제공할 수 있다.
도 3b를 참조하면, 데이터 수집 장치(110)는 비지니스 시스템(130)로부터 데이터 수집을 위한 작업 지시를 수신한 경우 해당 작업에 대응되는 인보이스(Invoice)를 커맨더(Commander)의 실행 관리부(210)에 전달할 수 있다. 여기에서, 인보이스는 표준 작업 정의서에 대응될 수 있다. 이를 위하여, 데이터 수집 장치(110)는 커맨드 센터(Command Center)와 위빙 센터(Weaving Center) 간의 연동을 통해 수집모듈(Vehicle)을 등록하고, 데이터 연계 프로파일링을 통해 인보이스 프로파일(Invoice Profile)을 생성하며, 비지니스 시스템(130)로부터의 작업 지시에 관한 인보이스(Invoice)를 생성할 수 있다. 이후, 데이터 수집 장치(110)는 커맨더(Commander)에 의한 수집모듈(Vehilce)의 실행을 통해 데이터 수집에 관한 출력값(Output Value)을 생성할 수 있으며, 이에 관한 Audit 로그를 생성하여 저장할 수 있다.
도 4는 본 발명에 따른 수행 성능 향상을 위한 작동의 병렬 처리를 설명하는 도면이다.
도 4를 참조하면, 데이터 수집 장치(110)는 데이터 수집에 관한 작업 요청으로서 표준 작업 정의서를 수신할 수 있다. 표준 작업 정의서는 JSON 파일로 구현될 수 있으며, 'dataCollector'에는 여러 수집모듈 정보가 배열로 저장될 수 있다. 데이터 수집 장치(110) 내부의 실행 위임 모듈(410)은 표준 작업 정의서에 정의된 수집모듈들의 'dataSchema'내의 'inputParam' 정보를 전처리 수행부(430)에게 전달하여 입력변수로 사용할 데이터를 밸류 레포지토리(Value Repository)에 저장할 수 있다. 이때, 실행 위임 모듈(410)은 동일한 요청에 대해 중복으로 처리하지 않고, 요청 목록을 리스트에 저장하여 동시 실행할 수 있다.
각 수집모듈들이 필요한 입력 값을 모두 찾아 밸류 레포지토리에 저장한 경우 비동기 실행 모듈(450)은 밸류 레포지토리의 주소와 함께 모든 수집모듈(Vehicle)들을 동시 실행할 수 있다(Vehicle Schema). 이때, 데이터 수집을 실행하는 각 수집모듈들은 입력값 수집모듈(Composite Vehicle) 및 데이터 수집모듈(Data Vehicle)로 구분될 수 있다. 비동기 실행 모듈(450)은 수집모듈들이 수집하여 'dataSchema'내의 'outputSchema'에 저장한 데이터를 취합하여 사용자에게 제공할 수 있다. 또한, 비동기 실행 모듈(450)은 취합된 데이터를 비동기적으로 DB에 저장할 수 있다(로깅).
도 5는 본 발명에 따른 인과관계의 데이터 수집 과정을 설명하는 도면이다.
도 5를 참조하면, 데이터 수집 장치(110)는 표준 작업 정의서(Invoice)에 정의된 'compositeCollector' 정보를 이용하여 관련된 API를 실행하여 그 결과를 밸류 레포지토리에 적재할 수 있다. 이때, 'compositeCollector' 정보는 밸류 레포지토리에 저장된 데이터들의 인과관계를 설정하는데 사용될 수 있다.
또한, 데이터 수집 장치(110)는 인과관계의 데이터 수집을 위하여 회귀 알고리즘을 적용할 수 있다. 구체적으로, 실행 위임 모듈(InvoiceDelegator)은 전처리 수행부(Input Value Collector)에게 밸류 레포지토리에 값(value)들을 적재하도록 명령할 수 있다. 이때, 'compositeCollector'에 'vehicle'이 존재하면 전처리 수행부(Input Value Collector)는 새로운 표준 작업 정의서(composite invoice)를 작성하여 다시 실행 위임 모듈(InvoiceDelegator)에게 실행을 요청할 수 있다. 해당 과정은 모든 인과관계 API가 수행될 때까지 반복될 수 있으며, 모든 입력 값 수집이 완료된 경우 Main API가 비동기 실행 모듈(Async Commander)에게 전달되어 실행될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 데이터 수집 시스템
110: 데이터 수집 장치 111: 커맨드 센터
113: 위빙 센터 115: 커맨더
130: 비지니스 시스템
210: 실행 관리부 230: 실행 처리부
231, 410: 실행 위임 모듈 233: 동기 실행 모듈
235, 450: 비동기 실행 모듈
250, 430: 전처리 수행부 270: 데이터 수집부

Claims (8)

  1. 비지니스 시스템(business system)으로부터 데이터 수집을 위한 작업 요청으로서 표준 작업 정의서를 수신하는 실행 관리부;
    상기 실행 관리부의 데이터 수집 요청에 따라 프로파일(profile)별 데이터 수집을 위한 수집모듈(vehicle)들의 실행을 개시하는 실행 처리부;
    상기 실행 처리부의 전처리 데이터 수집 요청에 따라 전처리 데이터를 수집하여 밸류 레포지토리(value repository)에 저장하는 전처리 수행부; 및
    상기 밸류 레포지토리를 기초로 상기 수집모듈들에 의해 수집된 데이터들을 통합하여 저장하는 데이터 수집부;를 포함하되,
    상기 실행 처리부는 실행 위임 모듈을 통해 상기 전처리 데이터 수집 요청과 함께 표준 작업 정의서의 수집모듈들에 관한 입력 파라미터 정보를 상기 전처리 수행부에 전달하고,
    상기 전처리 수행부는 상기 표준 작업 정의서의 데이터 수집 계층 정보에 따라 선행 관계에 있는 수집모듈들이 존재하는 경우 해당 수집모듈에 필요한 전처리 데이터 수집을 위하여 신규의 표준 작업 정의서를 생성한 후 상기 실행 위임 모듈에게 전처리 데이터 수집을 재요청하는 것을 특징으로 하는 빅데이터 연계 자동화를 위한 데이터 수집 장치.
  2. 제1항에 있어서, 상기 표준 작업 정의서는
    상기 수집모듈들에 관한 정보를 상기 표준 작업 정의서에 따른 배열로서 저장하는 것을 특징으로 하는 빅데이터 연계 자동화를 위한 데이터 수집 장치.
  3. 제1항에 있어서, 상기 실행 처리부는
    상기 데이터 수집 요청에 따라 상기 전처리 데이터 수집 요청을 생성하고 상기 데이터 수집을 위한 병렬 처리 여부를 결정하는 실행 위임 모듈;
    상기 실행 위임 모듈로부터의 동기 요청 위임에 따라 상기 프로파일별 데이터 수집을 위한 동작을 순차적으로 실행하는 동기 실행 모듈; 및
    상기 실행 위임 모듈로부터의 비동기 요청 위임에 따라 상기 프로파일별 데이터 수집을 위한 동작을 병렬적으로 실행하는 비동기 실행 모듈;을 포함하는 것을 특징으로 하는 빅데이터 연계 자동화를 위한 데이터 수집 장치.
  4. 삭제
  5. 제3항에 있어서, 상기 전처리 수행부는
    상기 전처리 데이터 수집 요청을 리스트(list)에 저장하여 동시 실행하는 것을 특징으로 하는 빅데이터 연계 자동화를 위한 데이터 수집 장치.
  6. 제1항에 있어서, 상기 전처리 수행부는
    상기 입력 파라미터 정보를 참조하여 상기 수집모듈들에 의해 입력변수로서 사용되는 밸류값들을 상기 밸류 레포지토리에 저장하는 것을 특징으로 하는 빅데이터 연계 자동화를 위한 데이터 수집 장치.
  7. 삭제
  8. 실행 관리부를 통해 비지니스 시스템(business system)으로부터 데이터 수집을 위한 작업 요청으로서 표준 작업 정의서를 수신하는 단계;
    실행 처리부를 통해 상기 실행 관리부의 데이터 수집 요청을 수신하는 단계;
    전처리 수행부를 통해 전처리 데이터 수집 요청에 따라 전처리 데이터를 수집하여 밸류 레포지토리에 저장하는 단계;
    상기 실행 처리부를 통해 프로파일(profile)별 데이터 수집을 위한 수집모듈(vehicle)들의 실행을 개시하는 단계; 및
    데이터 수집부를 통해 상기 밸류 레포지토리를 기초로 상기 수집모듈들에 의해 수집된 데이터들을 통합하여 저장하는 단계;를 포함하되,
    상기 실행을 개시하는 단계는 실행 위임 모듈을 통해 상기 전처리 데이터 수집 요청과 함께 표준 작업 정의서의 수집모듈들에 관한 입력 파라미터 정보를 상기 전처리 수행부에 전달하는 단계를 포함하고,
    상기 밸류 레포지토리에 저장하는 단계는 상기 표준 작업 정의서의 데이터 수집 계층 정보에 따라 선행 관계에 있는 수집모듈들이 존재하는 경우 해당 수집모듈에 필요한 전처리 데이터 수집을 위하여 신규의 표준 작업 정의서를 생성한 후 상기 실행 위임 모듈에게 전처리 데이터 수집을 재요청하는 단계를 포함하는 것을 특징으로 하는 빅데이터 연계 자동화를 위한 데이터 수집 방법.
KR1020220103522A 2022-08-18 2022-08-18 빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법 KR102529547B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220103522A KR102529547B1 (ko) 2022-08-18 2022-08-18 빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220103522A KR102529547B1 (ko) 2022-08-18 2022-08-18 빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102529547B1 true KR102529547B1 (ko) 2023-05-10

Family

ID=86386020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220103522A KR102529547B1 (ko) 2022-08-18 2022-08-18 빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102529547B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913591B1 (ko) * 2009-01-20 2009-08-26 임여정 전원선 인출복스
KR20150069923A (ko) * 2013-12-16 2015-06-24 삼성테크윈 주식회사 데이터 처리 시스템
KR20170089067A (ko) * 2016-01-25 2017-08-03 한국전자통신연구원 빅데이터 처리 시스템 및 처리 방법
KR101913591B1 (ko) 2017-08-25 2018-12-28 경희대학교 산학협력단 비정형 데이터를 정형화하여 금융상품을 추천하는 방법
KR20200036070A (ko) * 2018-09-17 2020-04-07 최성률 데이터 수집 변환 및 연결을 위한 빅데이터 운영 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
KR102197329B1 (ko) * 2020-01-09 2020-12-31 주식회사 카카오뱅크 스크래핑 기반 서비스 제공 방법 및 이를 수행하는 어플리케이션
KR20220013108A (ko) * 2020-07-24 2022-02-04 주식회사 레드우드케이 빅데이터의 수집, 처리 및 적재를 위한 통합 플랫폼 서비스 제공 시스템
KR20220035792A (ko) * 2020-09-14 2022-03-22 주식회사 셰어킴 데이터 마이닝과 기계학습 방법을 이용한 고객의 요구와 그 제한조건에 따른 부동산 투자 분석 및 추천 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913591B1 (ko) * 2009-01-20 2009-08-26 임여정 전원선 인출복스
KR20150069923A (ko) * 2013-12-16 2015-06-24 삼성테크윈 주식회사 데이터 처리 시스템
KR20170089067A (ko) * 2016-01-25 2017-08-03 한국전자통신연구원 빅데이터 처리 시스템 및 처리 방법
KR101913591B1 (ko) 2017-08-25 2018-12-28 경희대학교 산학협력단 비정형 데이터를 정형화하여 금융상품을 추천하는 방법
KR20200036070A (ko) * 2018-09-17 2020-04-07 최성률 데이터 수집 변환 및 연결을 위한 빅데이터 운영 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
KR102197329B1 (ko) * 2020-01-09 2020-12-31 주식회사 카카오뱅크 스크래핑 기반 서비스 제공 방법 및 이를 수행하는 어플리케이션
KR20220013108A (ko) * 2020-07-24 2022-02-04 주식회사 레드우드케이 빅데이터의 수집, 처리 및 적재를 위한 통합 플랫폼 서비스 제공 시스템
KR20220035792A (ko) * 2020-09-14 2022-03-22 주식회사 셰어킴 데이터 마이닝과 기계학습 방법을 이용한 고객의 요구와 그 제한조건에 따른 부동산 투자 분석 및 추천 시스템

Similar Documents

Publication Publication Date Title
US11288142B2 (en) Recovery strategy for a stream processing system
US7971145B2 (en) Systems and methods for adapting service interface behaviors
US8386608B1 (en) Service scripting framework
Crawl et al. A provenance-based fault tolerance mechanism for scientific workflows
CN110908641B (zh) 基于可视化的流计算平台、方法、设备和存储介质
CN104156313A (zh) 一种Web服务测试用例自动生成方法
CN104899274B (zh) 一种内存数据库高效远程访问方法
US8826247B2 (en) Enabling computational process as a dynamic data source for BI reporting systems
US8832143B2 (en) Client-side statement cache
CN101145163A (zh) 从多个数据源获取数据的方法及系统
CN105930417B (zh) 一种基于云计算的大数据etl交互式处理平台
Hilliard On representing variation.
US20180349433A1 (en) Agnostic data frame for data backend
CN111752723B (zh) 一种可视化的多源服务管理系统及其实现方法
US10979515B1 (en) Resource discovery agent computing device, software application, and method
CN102811257B (zh) 一种网络服务自动发布和组合方法
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN114116678A (zh) 数据迁移方法、装置、设备、介质及程序产品
CN113961332A (zh) 一种工作流引擎实现的方法、装置、电子设备及存储介质
KR102529547B1 (ko) 빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법
KR101901310B1 (ko) 사용자 중심의 상호 연계 통합 애플리케이션 제공 시스템
Shih et al. A model-driven multicore software development environment for embedded system
CN105389355B (zh) 数据处理方法和终端
CN109343891A (zh) 数据处理的系统、方法及装置
CN114546670A (zh) 一种基于协程的函数式异步数据分发系统及方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant