KR102518772B1 - 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법 - Google Patents

수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법 Download PDF

Info

Publication number
KR102518772B1
KR102518772B1 KR1020220138476A KR20220138476A KR102518772B1 KR 102518772 B1 KR102518772 B1 KR 102518772B1 KR 1020220138476 A KR1020220138476 A KR 1020220138476A KR 20220138476 A KR20220138476 A KR 20220138476A KR 102518772 B1 KR102518772 B1 KR 102518772B1
Authority
KR
South Korea
Prior art keywords
data
data collection
collection module
engine
loading
Prior art date
Application number
KR1020220138476A
Other languages
English (en)
Inventor
이동혁
방철호
김동희
도지은
윤진헌
Original Assignee
주식회사 에이데이타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이데이타 filed Critical 주식회사 에이데이타
Priority to KR1020220138476A priority Critical patent/KR102518772B1/ko
Application granted granted Critical
Publication of KR102518772B1 publication Critical patent/KR102518772B1/ko
Priority to PCT/KR2023/016485 priority patent/WO2024090932A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법에 관한 것으로, 상기 장치는 전용 인터페이스를 통해 수집 목적에 따른 데이터의 흐름을 정의하는 데이터 프로파일을 생성하는 프로파일 매니저(Profile Manager); 상기 데이터 프로파일을 파싱하여 도출된 데이터 수집 목적에 따라 데이터 수집모듈들의 실행을 제어하는 SCV 엔진(Engine); 상기 SCV 엔진의 제어 신호를 기초로 상기 데이터 수집 목적에 따라 수집된 데이터를 편집 및 결합하여 결합 데이터를 생성하는 제1 데이터 수집모듈; 및 상기 SCV 엔진의 제어 신호를 기초로 상기 결합 데이터를 시스템 요구사항에 따라 처리하여 적재 데이터를 생성하고 데이터베이스에 저장하는 제2 데이터 수집모듈;을 포함한다.

Description

수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법{DATA LOADING PROFILING APPARATUS AND METHOD FOR AUTOMATIC PROCESSING OF COLLECTED DATA}
본 발명은 데이터 프로파일링 기술에 관한 것으로, 보다 상세하게는 데이터 분석을 위한 데이터 수집 과정에서 직관적인 UI를 통해 작성된 프로파일을 기반으로 수집 목적에 따른 데이터 수집과 가공을 처리하는 데이터 적재 프로파일링 기술에 관한 것이다.
빅데이터 분석, 인공지능 등의 분야에서 데이터 분석을 위해서는 데이터 수집을 통해 방대한 데이터 모집단을 구축하는 과정이 필수적으로 요구되고 있다. 특히, 데이터 수집 목적에 따라 수집 대상이 되는 데이터의 유형이나 범위, 그리고 수집 방법 등이 달라질 수 있다.
또한, 데이터를 수집한 이후에는 데이터 분석 목적에 따라 적절한 전처리 과정이 필요할 수 있다. 한편, 데이터 분석에 사용되는 데이터 양이 증가하면서 데이터를 수집하는 것은 물론 데이터 전처리 과정에서 상당한 비용과 시간이 소요되고 있다.
이에 따라, 데이터 수집 단계에서부터 수집 목적과 수집 방법을 명확히 특정하고 수집 목적에 따라 데이터 수집 및 처리할 수 있는 기술이 요구되고 있다.
한국등록특허 제10-1913591호 (2018.10.25)
본 발명의 일 실시예는 데이터 분석을 위한 데이터 수집 과정에서 직관적인 UI를 통해 작성된 프로파일을 기반으로 수집 목적에 따른 데이터 수집과 가공을 처리하는 데이터 적재 프로파일링 기술을 제공하고자 한다.
실시예들 중에서, 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치는 전용 인터페이스를 통해 수집 목적에 따른 데이터의 흐름을 정의하는 데이터 프로파일(Data Profile)을 생성하는 프로파일 매니저(Profile Manager); 상기 데이터 프로파일을 파싱(parsing)하여 도출된 데이터 수집 목적에 따라 데이터 수집모듈들의 실행을 제어하는 SCV 엔진(Engine); 상기 SCV 엔진의 제어 신호를 기초로 상기 데이터 수집 목적에 따라 수집된 데이터를 편집 및 결합하여 결합 데이터를 생성하는 제1 데이터 수집모듈; 및 상기 SCV 엔진의 제어 신호를 기초로 상기 결합 데이터를 시스템 요구사항에 따라 처리하여 적재 데이터를 생성하고 데이터베이스에 저장하는 제2 데이터 수집모듈;을 포함한다.
상기 데이터 적재 프로파일링 장치는 상기 제1 데이터 수집모듈로부터 스크립트(Script)를 수신하여 처리하는 스크립트 엔진(Script Engine);을 더 포함할 수 있다.
상기 프로파일 매니저는 상기 데이터 프로파일의 수집 패턴을 사전 학습하여 구축된 인공지능(ML)을 통해 데이터 유형에 따른 비즈니스 도메인을 수신하고 해당 비즈니스 도메인의 데이터 처리방법을 상기 데이터 프로파일로 자동 설정할 수 있다.
상기 SCV 엔진은 상기 데이터 프로파일로부터 데이터 수집모듈의 유형을 검출하고 해당 유형이 제1 유형에 해당하는 경우 서브 데이터 수집모듈의 우선 실행을 제어할 수 있다.
상기 제1 데이터 수집모듈은 상기 SCV 엔진으로부터 밸류 풀(Value Pool) 주소를 수신하고 밸류 풀에 수집된 데이터를 대상으로 데이터 가공에 필요한 데이터를 검색할 수 있다.
상기 제1 데이터 수집모듈은 상기 스크립트 엔진으로부터 중간 데이터를 수신하고 상기 중간 데이터를 사용자 정의에 따라 그룹 별로 결합하거나 또는 추천 프로파일에 따라 상기 중간 데이터를 결합할 수 있다.
상기 제2 데이터 수집모듈은 상기 적재 데이터의 저장 위치와 방법을 결정하고, 상기 데이터 수집 목적에 따라 상기 결합 데이터에 대한 데이터 검색, 데이터 정렬, 중복 제거 및 그룹화, 항목별 데이터 연결 및 적재 데이터 생성의 과정들을 수행할 수 있다.
실시예들 중에서, 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 방법은 프로파일 매니저(Profile Manager)에 의해, 전용 인터페이스를 통해 수집 목적에 따른 데이터의 흐름을 정의하는 데이터 프로파일(Data Profile)을 생성하는 단계; SCV 엔진(Engine)에 의해, 상기 데이터 프로파일을 파싱(parsing)하여 도출된 데이터 수집 목적에 따라 데이터 수집모듈들의 실행을 제어하는 단계; 제1 데이터 수집모듈에 의해, 상기 SCV 엔진의 제어 신호를 기초로 상기 데이터 수집 목적에 따라 수집된 데이터를 편집 및 결합하여 결합 데이터를 생성하는 단계; 및 제2 데이터 수집모듈에 의해, 상기 SCV 엔진의 제어 신호를 기초로 상기 결합 데이터를 시스템 요구사항에 따라 처리하여 적재 데이터를 생성하고 데이터베이스에 저장하는 단계;를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법은 데이터 분석을 위한 데이터 수집 과정에서 직관적인 UI를 통해 작성된 프로파일을 기반으로 수집 목적에 따른 데이터 수집과 가공을 처리할 수 있다.
또한, 본 발명에 의해 수집된 데이터는 수집 목적에 따라 처리될 수 있고, 수집된 데이터의 영속성이 보장될 수 있으며, 시스템의 흐름을 제어할 수 있는 모델링 도구가 제공될 수 있다.
도 1은 본 발명에 따른 데이터 적재 프로파일링 시스템을 설명하는 도면이다.
도 2는 도 1의 데이터 적재 프로파일링 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 데이터 적재 프로파일링 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 데이터 적재 프로파일링 아키텍처를 설명하는 도면이다.
도 6은 본 발명에 따른 데이터 적재 프로파일링의 동작 과정을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 데이터 적재 프로파일링 시스템을 설명하는 도면이다.
도 1을 참조하면, 데이터 적재 프로파일링 시스템(100)은 사용자 단말(110), 데이터 적재 프로파일링 장치(130) 및 데이터베이스(150)을 포함할 수 있다.
사용자 단말(110)은 사용자에 의해 운용되는 단말 장치에 해당할 수 있다. 본 발명의 실시예에서 사용자는 하나 이상의 사용자로 이해될 수 있으며, 하나 이상의 사용자들 각각은 하나 이상의 사용자 단말(110)에 대응될 수 있다. 예를 들어, 사용자는 데이터 수집을 요청하고 데이터 모델링을 수행하는 사람(즉, Modeler)에 해당할 수 있다. 또한, 도 1에서는 하나의 사용자 단말(110)로 표현되어 있으나, 제1 사용자는 제1 사용자 단말, 제2 사용자는 제2 사용자 단말, ..., 제n(상기 n은 자연수) 사용자는 제n 사용자 단말에 각각 대응될 수 있다.
또한, 사용자 단말(110)은 본 발명에 따른 데이터 적재 프로파일링 시스템(100)을 구성하는 하나의 장치로서 구현될 수 있으며, 데이터 적재 프로파일링 시스템(100)은 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 목적에 따라 다양한 형태로 변형되어 구현될 수 있다.
또한, 사용자 단말(110)은 데이터 적재 프로파일링 장치(130)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 포함하여 다양한 디바이스로도 구현될 수 있다.
한편, 사용자 단말(110)은 데이터 적재 프로파일링 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 데이터 적재 프로파일링 장치(130)와 동시에 연결될 수도 있다.
일 실시예에서, 사용자 단말(110)은 데이터 적재 프로파일링 장치(130)에게 데이터 수집을 요청하거나 데이터 수집에 필요한 데이터 프로파일을 생성하여 제공할 수 있다. 이를 위하여, 사용자 단말(110)은 데이터 적재 프로파일링 장치(130)가 제공하는 전용 프로그램 및 어플리케이션을 설치하여 실행할 수 있다. 이때, 전용 프로그램 또는 어플리케이션은 데이터 프로파일의 작성을 위한 전용 인터페이스(UI)를 제공할 수 있다.
데이터 적재 프로파일링 장치(130)는 본 발명에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 방법을 수행하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 또한, 데이터 적재 프로파일링 장치(130)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi, LTE 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다.
또한, 데이터 적재 프로파일링 장치(130)는 독립된 외부 시스템(도 1에 미도시함)과 연결되어 동작하도록 구현될 수 있다. 예를 들어, 외부 시스템은 다양한 DBMS, 클라우드 시스템, 블록체인 시스템 등으로 구현될 수 있다.
데이터베이스(150)는 데이터 적재 프로파일링 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 데이터 수집을 위한 STML 데이터를 저장하거나 또는 데이터 수집 과정에 적용되는 다양한 밸류(Value)들 및 데이터 수집에 따른 적재 데이터를 저장할 수 있으며, 반드시 이에 한정되지 않고, 데이터 적재 프로파일링 장치(130)가 본 발명에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
또한, 도 1에서, 데이터베이스(150)는 데이터 적재 프로파일링 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 논리적인 저장장치로서 데이터 적재 프로파일링 장치(130)에 포함되어 구현될 수 있음은 물론이다. 일 실시예에서, 데이터베이스(150)는 데이터 적재 프로파일링 장치(130)의 인메모리(In-Memory) DB로 구현될 수 있다.
도 2는 도 1의 데이터 적재 프로파일링 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 데이터 적재 프로파일링 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.
프로세서(210)는 본 발명의 실시예에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 데이터 적재 프로파일링 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 데이터 적재 프로파일링 장치(130)의 CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 데이터 적재 프로파일링 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 또한, 메모리(230)는 전기적으로 연결된 프로세서(210)에 의해 실행됨으로써 본 발명에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 방법을 실행하는 명령들의 집합을 저장할 수 있다.
사용자 입출력부(250)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치 스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 데이터 적재 프로파일링 장치(130)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 사용자 단말(110)과 연결되기 위한 통신 환경을 제공하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(270)는 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.
도 3은 도 1의 데이터 적재 프로파일링 장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 데이터 적재 프로파일링 장치(130)는 프로파일 매니저(310), SCV 엔진(330), 제1 데이터 수집모듈(350), 제2 데이터 수집모듈(370), 스크립트 엔진(390) 및 제어부(도 3에 미도시함)를 포함할 수 있다.
이때, 데이터 적재 프로파일링 장치(130)는 상기의 기능적 구성들을 동시에 모두 포함해야 하는 것은 아니며, 각각의 실시예에 따라 상기의 구성들 중 일부를 생략하거나, 상기의 구성들 중 일부 또는 전부를 선택적으로 포함하여 구현될 수도 있다. 또한, 데이터 적재 프로파일링 장치(130)는 상기 구성들 중 일부를 선택적으로 포함하는 독립된 모듈로서 구현될 수 있으며, 각 모듈들 간의 연동을 통해 본 발명에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 방법을 수행할 수도 있다. 이하, 각 구성들의 동작을 구체적으로 설명한다.
프로파일 매니저(310)는 전용 인터페이스를 통해 수집 목적에 따른 데이터의 흐름을 정의하는 데이터 프로파일(Data Profile)을 생성할 수 있다. 여기에서, 전용 인터페이스는 데이터 프로파일을 작성하기 위한 유저 인터페이스(UI)에 해당할 수 있으며, 사용자 단말(110) 상에서 실행되는 전용 프로그램 또는 어플리케이션을 통해 제공될 수 있다. 즉, 사용자는 전용 인터페이스를 통해 데이터 프로파일을 작성할 수 있으며, 프로파일 매니저(310)는 사용자에 의해 작성된 데이터 프로파일을 수신하여 저장할 수 있다.
또한, 데이터 프로파일은 사용자에 의해 작성되고 데이터 수집을 위한 데이터 흐름을 정의하는 설정 파일에 해당할 수 있다. 예를 들어, 데이터 프로파일은 STML 파일(SSI HTML)로 구현될 수 있다. 여기에서, STML 파일에 대한 구체적인 설명은 생략한다. 즉, 데이터 프로파일은 HTML 형식에 따라 작성될 수 있으며, 데이터의 수집 목적에 따라 수집될 데이터를 편집하고 묶어주는 과정에 적용될 수 있다. 결과적으로, 프로파일 매니저(310)는 사용자 단말(110)과 연동하여 데이터 프로파일을 생성함으로써 데이터의 수집 패턴에 관한 설정 정보를 결정할 수 있다.
일 실시예에서, 프로파일 매니저(310)는 데이터 프로파일의 수집 패턴을 사전 학습하여 구축된 인공지능(ML)을 통해 데이터 유형에 따른 비즈니스 도메인을 수신하고 해당 비즈니스 도메인의 데이터 처리방법을 데이터 프로파일로 자동 설정할 수 있다. 여기에서, 인공지능(ML)은 데이터 프로파일의 수집 패턴을 학습 데이터로 사용하여 구축된 인공지능 모델에 해당할 수 있다. 즉, 인공지능(ML)은 수집 대상이 되는 데이터의 유형 정보를 입력으로 수신하여 해당 유형 정보에 대응되는 데이터의 비즈니스 도메인을 출력으로 생성할 수 있다. 프로파일 매니저(310)는 인공지능에 의해 추천된 비즈니스 도메인의 데이터 처리방법을 사용자 단말(110)에 제공하여 사용자로 하여금 데이터 프로파일을 자동 설정하도록 할 수 있다.
SCV 엔진(330)은 데이터 프로파일을 파싱(parsing)하여 도출된 데이터 수집 목적에 따라 데이터 수집모듈들의 실행을 제어할 수 있다. SCV 엔진(330)은 다양한 데이터 수집모듈들과 연동하여 동작할 수 있다. 예를 들어, 데이터 수집모듈에는 Outbound Vehicle, Inbound Vehicle, Weaving Vehicle 등이 포함될 수 있다. 여기에서, 수집모듈(Vehicle)은 데이터 수집 동작을 개별 처리하는 동작 모듈에 해당할 수 있으며, Weaving Vehicle은 제1 데이터 수집모듈(350), Outbound Vehicle은 제2 데이터 수집모듈(370), Inbound Vehicle은 제3 데이터 수집모듈에 대응될 수 있다. 한편, SCV 엔진(330)는 데이터 프로파일이 STML로 구현된 경우 STML 파서(parser)를 통해 데이터 프로파일로부터 데이터 수집을 위한 정보를 추출할 수 있다.
일 실시예에서, SCV 엔진(330)은 데이터 프로파일로부터 데이터 수집모듈의 유형을 검출하고 해당 유형이 제1 유형에 해당하는 경우 서브 데이터 수집모듈의 우선 실행을 제어할 수 있다. 예를 들어, STML 파일은 데이터 수집을 위한 Vehicle 타입(type) 정보를 포함할 수 있다.
구체적으로, SCV 엔진(330)은 STML 문서 내에 수집모듈(Vehicle)의 타입을 조사하여 우선적으로 그 유형이 제1 데이터 수집모듈(Weaving Vehicle)인지 결정할 수 있다. 또한, SCV 엔진(330)은 제1 데이터 수집모듈(350)인 경우 서브 데이터 수집모듈(Sub Vehicle)이 있는지를 결정할 수 있으며, 이 경우 서브 데이터 수집모듈(Sub Vehicle)을 우선 실행하여 제1 데이터 수집모듈(Weaving Vehicle)의 실행에 필요한 밸류(Value)를 수집하도록 할 수 있다. 즉, 서브 데이터 수집모듈은 데이터 수집모듈에 포함되고, 데이터 수집 단계에서 필요한 사전 데이터를 수집하는 역할을 담당할 수 있다. 만약 서브 데이터 수집모듈이 없거나 또는 모두 실행된 경우, SCV 엔진(330)은 제1 데이터 수집모듈(Weaving Vehicle)의 동작을 개시할 수 있다. 이때, SCV 엔진(330)은 밸류 풀(Value Pool) 주소를 제1 데이터 수집모듈(350)에 전달할 수 있다.
제1 데이터 수집모듈(350)은 SCV 엔진(330)의 제어 신호를 기초로 데이터 수집 목적에 따라 수집된 데이터를 편집 및 결합하여 결합 데이터를 생성할 수 있다. 즉, 제1 데이터 수집모듈(350)은 수집한 데이터를 편집하고 묶어 데이터를 수집 목적에 맞게 결합한 다음 제2 데이터 수집모듈(370)에게 전달하는 데이터 처리 모듈에 해당할 수 있다. 결합 데이터는 수집된 데이터를 기반으로 소정의 조건에 따라 분류되거나 통합되어 생성되는 결과 데이터로서 제1 데이터 수집모듈(350)에 의해 생성되는 데이터에 해당할 수 있다.
일 실시예에서, 제1 데이터 수집모듈(350)은 SCV 엔진(330)으로부터 밸류 풀(Value Pool) 주소를 수신하고 밸류 풀에 수집된 데이터를 대상으로 데이터 가공에 필요한 데이터를 검색할 수 있다. 즉, 제1 데이터 수집모듈(350)은 밸류 풀(Value Pool) 주소를 기반으로 사전에 수집되어 밸류 풀에 저장된 밸류 값들에 접근할 수 있다. 이때, 밸류 풀은 수집모듈 값(Composite Collector Value), 외부 값(External Value), 기본 값(BuiltIn Value), 시스템 값(System Value) 등을 밸류 값들로서 저장할 수 있다. 제1 데이터 수집모듈(350)은 결합 데이터의 생성에 필요한 값들을 밸류 풀에서 검색한 후 데이터 수집 과정에서 입력 변수(또는 입력 파라미터)로 적용할 수 있다.
일 실시예에서, 제1 데이터 수집모듈(350)은 스크립트 엔진(390)으로부터 중간 데이터를 수신하고 중간 데이터를 사용자 정의에 따라 그룹 별로 결합하거나 또는 추천 프로파일에 따라 중간 데이터를 결합할 수 있다. 즉, 중간 데이터(intermediate data)는 스크립트 엔진(390)에 의해 생성된 데이터로서 결합 데이터의 생성 과정에 사용될 수 있다. 제1 데이터 수집모듈(350)은 SCV 스크립트(SCV Script)를 스크립트 엔진(390)에 전달하여 데이터를 편집할 수 있으며, 스크립트 엔진(390)으로부터 중간 데이터를 수신할 수 있다.
또한, 제1 데이터 수집모듈(350)은 사용자가 자동화 옵션을 선택한 경우 사용자 정의에 따라 그룹 별로 결합하거나 또는 결합 방법을 설정하는 추천 프로파일에 따라 중간 데이터를 결합할 수 있다. 이때, 추천 프로파일(recommended profile)은 프로파일러(Profiler)에 의해 제공될 수 있으며, 프로파일러는 인공지능을 통해 사전 학습된 추천 모델을 이용하여 추천 프로파일을 생성할 수 있다.
제2 데이터 수집모듈(370)은 SCV 엔진(330)의 제어 신호를 기초로 결합 데이터를 시스템 요구사항에 따라 처리하여 적재 데이터를 생성하고 데이터베이스(150)에 저장할 수 있다. SCV 엔진(330)은 제1 데이터 수집모듈(350)에 의해 생성된 결합 데이터를 제2 데이터 수집모듈(370)에 제공하여 적재 데이터를 생성할 수 있다. 이 경우, SCV 엔진(330)의 제어 신호에 따라 제1 데이터 수집모듈(350)의 동작이 모두 완료된 경우 제2 데이터 수집모듈의 동작이 개시될 수 있다. 즉, 제2 데이터 수집모듈(370)은 데이터 수집에 따라 저장할 데이터의 적재를 준비할 수 있다.
일 실시예에서, 제2 데이터 수집모듈(370)은 적재 데이터의 저장 위치와 방법을 결정하고, 데이터 수집 목적에 따라 결합 데이터에 대한 데이터 검색(Search), 데이터 정렬(Sort), 중복 제거 및 그룹화(Group), 항목별 데이터 연결(Map) 및 적재 데이터 생성의 과정들을 수행할 수 있다. 이를 위하여, 제2 데이터 수집모듈(370)은 결합 데이터에 대한 데이터 검색, 데이터 정렬, 중복 제거 및 그룹화, 항목별 데이터 연결 및 적재 데이터 생성의 과정들을 독립적으로 수행하는 복수의 모듈들로 구성될 수 있다. 예를 들어, 제2 데이터 수집모듈(370)은 데이터 검색 모듈, 데이터 정렬 모듈, 중복 제거 및 묶음 모듈, 데이터 연결 모듈 및 데이터 결합 모듈을 포함하여 구현될 수 있다. 제2 데이터 수집모듈(370)은 데이터 수집 목적을 기초로 최종 생성된 결과물로서 적재 데이터를 생성하여 데이터베이스(150)에 저장할 수 있다.
스크립트 엔진(390)은 제1 데이터 수집모듈(350)로부터 스크립트(Script)를 수신하여 처리할 수 있다. 이를 위하여, 스크립트 엔진(390)은 제1 데이터 수집모듈(350)에 포함되어 구현될 수도 있다. 제1 데이터 수집모듈(350)은 데이터를 검색(search)한 이후 스크립트 엔진(390)에게 데이터 가공을 요청할 수 있으며, 스크립트 엔진(390)은 SCV 스크립트를 기반으로 중간 데이터(intermediate data)를 생성하여 제1 데이터 수집모듈(350)에 제공할 수 있다. 이후, 제1 데이터 수집모듈(350)은 중간 데이터를 기반으로 결합 데이터를 생성한 후 SCV 엔진(330)에게 제공할 수 있다.
제어부(도 3에 미도시함)는 데이터 적재 프로파일링 장치(130)의 전체적인 동작을 제어하고, 프로파일 매니저(310), SCV 엔진(330), 제1 데이터 수집모듈(350), 제2 데이터 수집모듈(370) 및 스크립트 엔진(390) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 방법을 설명하는 순서도이다.
도 4를 참조하면, 데이터 적재 프로파일링 장치(130)는 프로파일 매니저(Profile Manager)(310)에 의해, 전용 인터페이스를 통해 수집 목적에 따른 데이터의 흐름을 정의하는 데이터 프로파일을 생성할 수 있다(단계 S410). 데이터 적재 프로파일링 장치(130)는 SCV 엔진(Engine)(330)에 의해, 데이터 프로파일을 파싱(parsing)하여 도출된 데이터 수집 목적에 따라 데이터 수집모듈들의 실행을 제어할 수 있다(단계 S430).
또한, 데이터 적재 프로파일링 장치(130)는 제1 데이터 수집모듈(350)에 의해, SCV 엔진(330)의 제어 신호를 기초로 데이터 수집 목적에 따라 수집된 데이터를 편집 및 결합하여 결합 데이터를 생성할 수 있다(단계 S450). 데이터 적재 프로파일링 장치(130)는 제2 데이터 수집모듈(370)에 의해, SCV 엔진(330)의 제어 신호를 기초로 결합 데이터를 시스템 요구사항에 따라 처리하여 적재 데이터를 생성하고 데이터베이스(150)에 저장할 수 있다(단계 S470).
도 5는 본 발명에 따른 데이터 적재 프로파일링 아키텍처를 설명하는 도면이다.
도 5를 참조하면, 데이터 적재 프로파일링 장치(130)는 크게 커맨드 센터(Command Center)와 태스크 매니지먼트 시스템(Task Management System)을 포함하여 구현될 수 있다. 커맨드 센터는 수집모듈 관리자(Vehicle Manager), 태스크 관리자(Task Manager) 및 프로파일 매니저(Profile Manager) 등을 포함할 수 있으며, 태스크 매니지먼트 시스템은 태스크 위임자(Task Delegator), SCV 엔진(SCV Engine) 제1 내지 제3 데이터 수집모듈들(Weaving/Outbound/Inbound Vehicles), 스크립트 엔진(Compute Engine) 등을 포함할 수 있다.
이때, 데이터 적재 프로파일링 장치(130)는 커맨드 센터의 프로파일 매니저(Profile Manager), 데이터 프로파일 스토리지(STML Storage) 및 인공지능(ML) 모델을 포함할 수 있다. 또한, 데이터 적재 프로파일링 장치(130)는 태스크 매니지먼트 시스템의 SCV 엔진(SCV Engine), 제1 데이터 수집모듈(Weaving Vehicles), 제2 데이터 수집모듈(Outbound Vehicles), 스크립트 엔진(Compute Engine) 및 프로파일러(Profiler)를 포함할 수 있다.
이하, 도 5의 각 구성에 대해 간략히 설명한다.
-프로파일 매니저(Profile Manager): 데이터의 흐름을 정의하는 STML을 UI작업을 통해 간단히 작성할 수 있도록 도와주는 도구이며, 특별히 Profile Manager는 수집의 목적에 따라 수집될 데이터를 편집하고 묶어주는 STML을 제작하도록 할 수 있다. 또한, 수집될 데이터 유형에 따라 ML이 추천한 비즈니스 도메인의 데이터 처리방법으로 자동 설정할 수 있다.
-인공지능 모델(Data Domain ML): STML의 수집 패턴을 학습하여 수집될 데이터의 비즈니스 도메인을 유형별로 추천하고 사용자가 간편하게 STML을 작성할 수 있는 기능을 제공할 수 있다.
-STML 저장소(STML Storage): Profile Manager 등 STML 제작 도구에서 작성한 구현된 STML을 저장하는 공간이며 파일이나 DB table에 저장할 수 있다.
-SCV 엔진(SCV Engine): STML을 파싱하고 적절한 Vehicle을 수행하는 역할을 담당할 수 있다. 또한, 수행 결과를 로그로 저장할 수 있다.
-제2 데이터 수집모듈(Outbound Vehicle): 적재할 데이터를 시스템 요구사항에 맞게 처리하는 데이터 처리 장치이다.
-제1 데이터 수집모듈(Weaving Vehicle): 수집한 데이터를 편집하고 묶어 데이터를 목적에 맞게 결합하여 Outbound Vehicle에 전달하는 데이터 처리 장치이다.
-스크립트 엔진(SCV Compute Engine): 사용자가 작성한 편집 및 묶음 스크립트를 처리하는 스크립트 엔진이다.
-프로파일러(Profiler): ML에 의해 수집된 데이터를 자동 분류하고 Profiling 정보에 따라 데이터를 편집 및 묶어 주는 기능을 제공할 수 있다.
도 6은 본 발명에 따른 데이터 적재 프로파일링의 동작 과정을 설명하는 도면이다.
도 6을 참조하면, 데이터 적재 프로파일링 장치(130)는 본 발명에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 방법을 수행할 수 있다. 이하, 본 발명에 따른 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 과정을 구체적으로 설명한다.
1)사용자는 Profile Manager에서 적재할 데이터를 수집 목적에 맞게 데이터를 편집하고 묶어주는 방법을 UI를 통해 작성할 수 있다. 이때, 사용자는 AI가 추천하는 방법에 따라 좀 더 편리하게 STML을 작성할 수 있다. 한편, STML 생성이 완료되면 Weaving Vehicle이 생성될 수 있다.
2)실행 환경에서 트리거(Trigger) 신호를 통해 사용자가 작성한 STML과 Inbound Vehicle에 의해 가져온 수집 데이터 묶음을 SCV 엔진(330)에 전달할 수 있다.
3)SCV 엔진(330)은 STML 문서 내에 Vehicle의 타입을 조사하여 우선적으로 그 유형이 Weaving Vehicle인지 확인할 수 있다.
4)Weaving Vehicle인 경우, SCV 엔진(330)은 Sub Vehicle이 있는지 확인할 수 있고, Sub Vehicle이 존재하는 경우 Sub Vehicle을 우선 실행하여 Weaving Vehicle을 수행하기 위해 필요한 Value를 우선 수집하도록 할 수 있다.
5)Sub Vehicle이 없거나 모두 실행되었을 경우, SCV 엔진(330)은 Weaving Vehicle을 실행할 수 있다. 이때, SCV Engine는 Value Pool 주소를 전달할 수 있다.
6)Weaving Vehicle은 Value Pool안에 모인 수집 데이터를 대상으로 데이터 가공에 필요한 데이터를 검색할 수 있다.
7)Weaving Vehicle에 기록된 SCV Script SCV 엔진(330)에게 전달하여 데이터를 편집할 수 있다.
8)편집된 중간 단계의 데이터를 사용자의 정의에 따라 그룹별로 통합할 수 있다. 만약 사용자가 자동화 옵션을 선택한 경우 추천 프로파일에 따라 결과 데이터르 생성할 수 있다. 모든 작업이 완료되면 SCV 엔진(330)에게 결합된 데이터 묶음이 전달될 수 있다.
9)SCV 엔진(330)은 더이상 Weaving Vehicle이 없는지 확인할 수 있다.
10)Outbound Vehicle인 경우, SCV 엔진(330)은 Outbound Vehicle을 실행하여 저장할 데이터의 적재를 준비할 수 있다.
11)Outbound Vehicle은 결과물을 적재할 위치와 방법을 결정하고 각각의 목적에 맞게 합쳐진 데이터를 수집하여 최종 가공할 수 있다.
12)Outbound Vehicle은 모든 가공이 완료되면 데이터를 저장소(Storage)에 적재할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 데이터 적재 프로파일링 시스템
110: 사용자 단말 130: 데이터 적재 프로파일링 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 프로파일 매니저 330: SCV 엔진
350: 제1 데이터 수집모듈 370: 제2 데이터 수집모듈
390: 스크립트 엔진

Claims (8)

  1. 전용 인터페이스를 통해 수집 목적에 따른 데이터의 흐름을 정의하는 데이터 프로파일(Data Profile)로서 STML을 관리하는 프로파일 매니저(Profile Manager);
    상기 데이터 프로파일을 파싱(parsing)하여 도출된 데이터 처리 목적에 따라 데이터의 수집, 편집, 결합 및 적재에 관한 데이터 수집모듈들의 실행을 제어하는 SCV 엔진(Engine);
    상기 SCV 엔진의 제어 신호를 기초로 상기 데이터 수집 목적에 따라 수집된 데이터를 편집 및 결합하여 결합 데이터를 생성하는 제1 데이터 수집모듈; 및
    상기 SCV 엔진의 제어 신호를 기초로 상기 결합 데이터를 시스템 요구사항에 따라 처리하여 적재 데이터를 생성하고 데이터베이스에 저장하는 제2 데이터 수집모듈;을 포함하되,
    상기 SCV 엔진은 상기 데이터 프로파일로부터 데이터 수집모듈의 유형을 검출하고 해당 유형이 상기 제1 데이터 수집모듈에 해당하는 경우 서브 데이터 수집모듈의 유무에 따라 사전 데이터 수집을 위한 상기 서브 데이터 수집모듈의 우선 실행을 제어하며,
    상기 제1 데이터 수집모듈은 상기 SCV 엔진으로부터 밸류 풀(Value Pool) 주소를 수신하고 밸류 풀에 수집된 데이터를 대상으로 데이터 가공에 필요한 데이터를 검색하는 것을 특징으로 하는 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치.
  2. 제1항에 있어서,
    상기 제1 데이터 수집모듈로부터 스크립트(Script)를 수신하여 처리하는 스크립트 엔진(Script Engine);을 더 포함하는 것을 특징으로 하는 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치.
  3. 제1항에 있어서, 상기 프로파일 매니저는
    상기 데이터 프로파일의 수집 패턴을 사전 학습하여 구축된 인공지능(ML)을 통해 데이터 유형에 따른 비즈니스 도메인을 수신하고 해당 비즈니스 도메인의 데이터 처리방법을 상기 데이터 프로파일로 자동 설정하는 것을 특징으로 하는 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치.
  4. 삭제
  5. 삭제
  6. 제2항에 있어서, 상기 제1 데이터 수집모듈은
    상기 스크립트 엔진으로부터 중간 데이터를 수신하고 상기 중간 데이터를 사용자 정의에 따라 그룹 별로 결합하거나 또는 추천 프로파일에 따라 상기 중간 데이터를 결합하는 것을 특징으로 하는 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치.
  7. 제1항에 있어서, 상기 제2 데이터 수집모듈은
    상기 적재 데이터의 저장 위치와 방법을 결정하고, 상기 데이터 수집 목적에 따라 상기 결합 데이터에 대한 데이터 검색, 데이터 정렬, 중복 제거 및 그룹화, 항목별 데이터 연결 및 적재 데이터 생성의 과정들을 수행하는 것을 특징으로 하는 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치.
  8. 데이터 적재 프로파일링 장치에서 수행되는 데이터 적재 프로파일링 방법에 있어서,
    프로파일 매니저(Profile Manager)에 의해, 전용 인터페이스를 통해 수집 목적에 따른 데이터의 흐름을 정의하는 데이터 프로파일(Data Profile)로서 STML을 생성하는 단계;
    SCV 엔진(Engine)에 의해, 상기 데이터 프로파일을 파싱(parsing)하여 도출된 데이터 처리 목적에 따라 데이터의 수집, 편집, 결합 및 적재에 관한 데이터 수집모듈들의 실행을 제어하는 단계;
    제1 데이터 수집모듈에 의해, 상기 SCV 엔진의 제어 신호를 기초로 상기 데이터 수집 목적에 따라 수집된 데이터를 편집 및 결합하여 결합 데이터를 생성하는 단계; 및
    제2 데이터 수집모듈에 의해, 상기 SCV 엔진의 제어 신호를 기초로 상기 결합 데이터를 시스템 요구사항에 따라 처리하여 적재 데이터를 생성하고 데이터베이스에 저장하는 단계;를 포함하되,
    상기 데이터 수집모듈들의 실행을 제어하는 단계는 상기 데이터 프로파일로부터 데이터 수집모듈의 유형을 검출하고 해당 유형이 상기 제1 데이터 수집모듈에 해당하는 경우 서브 데이터 수집모듈의 유무에 따라 사전 데이터 수집을 위한 상기 서브 데이터 수집모듈의 우선 실행을 제어하는 단계를 포함하며,
    상기 결합 데이터를 생성하는 단계는 상기 SCV 엔진으로부터 밸류 풀(Value Pool) 주소를 수신하고 밸류 풀에 수집된 데이터를 대상으로 데이터 가공에 필요한 데이터를 검색하는 단계를 포함하는 것을 특징으로 하는 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 방법.
KR1020220138476A 2022-10-25 2022-10-25 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법 KR102518772B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220138476A KR102518772B1 (ko) 2022-10-25 2022-10-25 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법
PCT/KR2023/016485 WO2024090932A1 (ko) 2022-10-25 2023-10-23 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220138476A KR102518772B1 (ko) 2022-10-25 2022-10-25 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102518772B1 true KR102518772B1 (ko) 2023-04-06

Family

ID=85918376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220138476A KR102518772B1 (ko) 2022-10-25 2022-10-25 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102518772B1 (ko)
WO (1) WO2024090932A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090932A1 (ko) * 2022-10-25 2024-05-02 주식회사 에이데이타 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110106942A1 (en) * 2005-07-05 2011-05-05 Carrier Iq, Inc. Data collection associated with components and services of a wireless communication network
KR101913591B1 (ko) 2017-08-25 2018-12-28 경희대학교 산학협력단 비정형 데이터를 정형화하여 금융상품을 추천하는 방법
KR20210043925A (ko) * 2019-10-14 2021-04-22 주식회사 비디 하드웨어 수집기를 포함하는 데이터 수집 장치
KR102346142B1 (ko) * 2021-04-16 2022-01-03 주식회사 테스트웍스 선택적 데이터 수집 시스템 및 그 동작 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071166A (ko) * 2014-12-11 2016-06-21 현대자동차주식회사 복수의 수집정책 처리 장치 및 그 방법
KR102340474B1 (ko) * 2018-04-25 2021-12-20 주식회사쿠콘 스크립트 엔진을 이용한 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램
KR102518772B1 (ko) * 2022-10-25 2023-04-06 주식회사 에이데이타 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110106942A1 (en) * 2005-07-05 2011-05-05 Carrier Iq, Inc. Data collection associated with components and services of a wireless communication network
KR101913591B1 (ko) 2017-08-25 2018-12-28 경희대학교 산학협력단 비정형 데이터를 정형화하여 금융상품을 추천하는 방법
KR20210043925A (ko) * 2019-10-14 2021-04-22 주식회사 비디 하드웨어 수집기를 포함하는 데이터 수집 장치
KR102346142B1 (ko) * 2021-04-16 2022-01-03 주식회사 테스트웍스 선택적 데이터 수집 시스템 및 그 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090932A1 (ko) * 2022-10-25 2024-05-02 주식회사 에이데이타 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법

Also Published As

Publication number Publication date
WO2024090932A1 (ko) 2024-05-02

Similar Documents

Publication Publication Date Title
CN100492316C (zh) 测试自动化的系统和方法
WO2020233330A1 (zh) 批量测试方法、装置及计算机可读存储介质
CN110795257A (zh) 处理多集群作业记录的方法、装置、设备及存储介质
CN115617327A (zh) 低代码页面搭建系统、方法及计算机可读存储介质
CN110457277A (zh) 业务处理性能分析方法、装置、设备及存储介质
CN108509556A (zh) 数据迁移方法和装置、服务器、存储介质
US9009175B2 (en) System and method for database migration and validation
CN106550038B (zh) 一种数字化控制系统的数据组态诊断系统和方法
CN110780879B (zh) 一种基于智能编译技术的决策执行方法、装置、设备及介质
KR102518772B1 (ko) 수집 데이터 자동 처리를 위한 데이터 적재 프로파일링 장치 및 방법
CN115309648A (zh) 机器人自动化流程管理方法及系统
CN113688288A (zh) 数据关联分析方法、装置、计算机设备和存储介质
CN106789200A (zh) 一种云平台自定义自动部署的方法
CN112433888B (zh) 数据处理方法及装置、存储介质和电子设备
US20190361684A1 (en) Systems and methods for providing an application transformation tool
CN104571804A (zh) 一种对跨应用程序的文档界面进行关联的方法和系统
CN102855297B (zh) 一种控制数据传输的方法和连接器
US20050229162A1 (en) Systems and methods for providing multi-environment test automation
JP2021530073A (ja) 分散コンピューティングデバイスの自動制御
CN116450246A (zh) 一种基于状态机的事件流转可配置方法
CN115130130A (zh) 网盘文件解锁方法、装置、网盘及存储介质
CN115269101A (zh) 一种基于RPA实现Excel数据透视表拾取的方法
US8495033B2 (en) Data processing
CN103440325B (zh) 高效、多并发、自适用数据库的运行方法
KR20210061156A (ko) 3차원 모델과 해석 모델이 연동된 시빌모델 제공 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant