KR102640444B1 - 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치 - Google Patents

빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치 Download PDF

Info

Publication number
KR102640444B1
KR102640444B1 KR1020210175608A KR20210175608A KR102640444B1 KR 102640444 B1 KR102640444 B1 KR 102640444B1 KR 1020210175608 A KR1020210175608 A KR 1020210175608A KR 20210175608 A KR20210175608 A KR 20210175608A KR 102640444 B1 KR102640444 B1 KR 102640444B1
Authority
KR
South Korea
Prior art keywords
data
preprocessing
plug
pipeline
databases
Prior art date
Application number
KR1020210175608A
Other languages
English (en)
Other versions
KR20230054216A (ko
Inventor
송광헌
이금탁
이우성
양승남
이은희
신명지
Original Assignee
주식회사 피씨엔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피씨엔 filed Critical 주식회사 피씨엔
Publication of KR20230054216A publication Critical patent/KR20230054216A/ko
Application granted granted Critical
Publication of KR102640444B1 publication Critical patent/KR102640444B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling

Abstract

본 발명은 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터를 입력 받아 상기 데이터의 특징을 추출하여 상기 필터링된 데이터의 클래스를 분류하고, 상기 클래스가 분류된 데이터를 하나 이상의 데이터베이스에 저장하고, 미리 학습된 전처리 플러그인 추천 모델을 이용하여 상기 하나 이상의 데이터베이스에 저장된 데이터의 오류를 식별하고, 상기 오류를 개선하기 위한 복수의 전처리 플러그인을 선택하고, 상기 선택된 복수의 전처리 플러그인을 순차적으로 배치한 최적의 파이프라인을 결정하고, 상기 결정된 파이프라인을 통해 상기 하나 이상의 데이터베이스에 저장된 데이터의 전처리를 수행하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 빅데이터 증강분석 프로파일링 장치가 제공된다.

Description

빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치{Big data augmented analysis profiling method and apparatus for maximizing big data reliability and usability}
본 발명은 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치에 관한 것이다.
빅데이터 분석은 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 비정형 데이터의 집합에서 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다.
다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동하게 하고 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석 가능하게 하며 과거에는 불가능했던 기술을 실현시키기도 한다.
이같이 빅데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있다.
일반적으로 빅데이터 분석은 데이터 수집/저장, 데이터 전처리, 데이터 정제(프로파일링), 데이터 분석 및 데이터 시각화을 거친다.
최근 빅데이터 수집을 위한 데이터 소스는 음성, 문서, SNS 데이터와 같은 비정형 데이터, 로그 데이터, 머신 데이터 및 운용 데이터와 같은 반정형 데이터와 DB/DW와 같은 정형 데이터를 포함한다.
빅데이터 분석을 위해서는 데이터 수집부터 시각화까지 일련의 복잡한 과정을 거쳐야 하기 때문에 데이터 처리 시간을 단축하고 또한 다른 사용자간의 작업 내용을 공유하면서 데이터 처리의 효율성을 높일 필요가 있다.
특히, 빅데이터 분석에서 데이터 정제(cleaning), 데이터 세분화(segmentation), 데이터 통합(intergration), 데이터 변환(transformation), 데이터 축소(reduction) 및 데이터 이산화(discretization)과 같은 전처리가 필수적이다.
그러나 현재에는 사용자가 전처리를 위한 플러그인을 수동적으로 배치하기 때문에 비효율적인 문제점이 있다.
한국등록특허 제10-2033151호
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터를 입력 받아 상기 데이터의 특징을 추출하여 상기 필터링된 데이터의 클래스를 분류하고, 상기 클래스가 분류된 데이터를 하나 이상의 데이터베이스에 저장하고, 미리 학습된 전처리 플러그인 추천 모델을 이용하여 상기 하나 이상의 데이터베이스에 저장된 데이터의 오류를 식별하고, 상기 오류를 개선하기 위한 복수의 전처리 플러그인을 선택하고, 상기 선택된 복수의 전처리 플러그인을 순차적으로 배치한 최적의 파이프라인을 결정하고, 상기 결정된 파이프라인을 통해 상기 하나 이상의 데이터베이스에 저장된 데이터의 전처리를 수행하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 빅데이터 증강분석 프로파일링 장치가 제공된다.
상기 프로그램 명령어들은, 상기 전처리 플러그인 추천 모델을 이용하여 csv(comma-separated values) 필터링, 공백 제거, 결측값 처리, 이상값 처리, 노이즈 제거, 정렬 및 변수 변환을 위한 개별 플러그인 모듈을 하나 이상 선택할 수 있다.
상기 프로그램 명령어들은, 과거에 수집 데이터에 대한 전처리 플러그인 내역을 이용하여 상기 전처리 플러그인 추천 모델을 학습할 수 있다.
상기 프로그램 명령어들은, 상기 결정된 최적의 파이프라인을 GUI에 출력하고, 사용자의 요청을 수신하여 상기 파이프라인을 수정할 수 있다.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링하는 방법으로서, 데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터를 입력 받아 상기 데이터의 특징을 추출하여 상기 필터링된 데이터의 클래스를 분류하는 단계; 상기 클래스가 분류된 데이터를 하나 이상의 데이터베이스에 저장하는 단계; 미리 학습된 전처리 플러그인 추천 모델을 이용하여 상기 하나 이상의 데이터베이스에 저장된 데이터의 오류를 식별하고, 상기 오류를 개선하기 위한 복수의 전처리 플러그인을 선택하는 단계; 상기 선택된 복수의 전처리 플러그인을 순차적으로 배치한 최적의 파이프라인을 결정하는 단계; 및 상기 결정된 파이프라인을 통해 상기 하나 이상의 데이터베이스에 저장된 데이터의 전처리를 수행하는 단계를 포함하는 빅데이터 증강분석 프로파일링 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 인공지능을 통해 수집된 데이터셋에 대한 다양한 전처리 과정을 위한 플러그인을 추천하여 전처리 실행의 효율성을 높일 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 빅데이터 증강분석 플랫폼 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 데이터 수집 모듈의 데이터 수집 과정을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 데이터 전처리 모듈의 아키텍쳐를 도시한 도면이다.
도 4은 본 발명의 일 실시예에 따른 인공지능 기반 동적 플러그인 추천 방식의 전처리 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 데이터 품질 관리 모듈을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강분석 프로파일링 모듈의 구성을 도시한 도면이다.
도 7은 본 실시예에 따른 증강분석 협업 모듈이 제공하는 워크스페이스 인터페이스를 예시적으로 도시한 도면이다.
도 8은 본 실시예에 따른 증강분석 협업 모듈이 제공하는 협업 인터페이스를 예시적으로 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 빅데이터 증강분석 플랫폼 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 빅데이터 증강분석 플랫폼은 데이터 수집 모듈(100), 데이터 전처리 모듈(102), 데이터 품질 관리 모듈(104), 증강분석 프로파일링 모듈(106) 및 증강분석 협업 모듈(108)을 포함할 수 있다.
데이터 수집 모듈(100)은 빅데이터 분석을 위한 데이터를 지능적으로 수집하고 분류한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 데이터 수집 모듈의 데이터 수집 과정을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 본 실시예에 따른 빅데이터 지능형 수집 모듈(100)은 데이터 소스(200)와 네트워크를 통해 연결되며, 수집된 데이터를 하나 이상의 데이터베이스(202-n)에 저장한다.
데이터 소스(200)로부터 수집되는 데이터는, 정형 데이터(Structured Data), 반정형 데이터(Semistructured-Data) 및 비정형 데이터(Unstructured-Data)를 포함할 수 있다.
정형 데이터는 관계형 데이터베이스 시스템의 테이블과 같이 고정된 필드(컬럼)에 저장되는 데이터와 파일, 그리고 지정된 행과 열에 의해 데이터의 속성이 구별되는 스프레드시트 형태의 데이터이다.
정형 데이터의 경우, 스키마 구조를 가지고 있기 때문에 데이터를 탐색하는 과정이 테이블 탐색, 컬럼 구조 탐색, 로우 탐색 순으로 정형화되어 있다.
반정형 데이터는 데이터 내부에 정형데이터의 스키마에 해당되는 메타데이터를 갖고 있으며. 일반적으로 파일 형태로 저장되는 데이터로서, 로그 데이터, 머신 데이터 및 운용 데이터를 포함한다.
반정형 데이터의 경우 데이터 내부에 데이터 구조에 대한 메타데이터를 갖고 있기 때문에 어떤 형태를 가진 데이터인지를 파악하는 것이 필요하다. 데이터 내부에 있는 규칙성을 파악해 데이터를 파싱할 수 있는 파싱 규칙을 적용한다.
비정형 데이터는 음성, 문서 및 SNS 데이터와 같이 언어 분석이 가능한 텍스트 데이터, 음성, 이미지 및 동영상과 같은 멀티미디어 데이터를 포함한다.
본 실시예에 따른 데이터 수집 모듈(100)은 네트워크를 통해 연결되는 데이터 소스(200)로부터 정형, 반정형 및 비정형 데이터를 포함하는 데이터를 입력 받고, 입력된 데이터의 클래스를 분류한다.
본 실시예에 따른 데이터 수집 모듈(100)은 데이터의 특징을 추출하여 데이터의 클래스를 분류한다.
도 3은 본 실시예에 따른 데이터 전처리 모듈의 아키텍쳐를 도시한 도면이다.
도 3을 참조하면, 본 실시예에 따른 데이터 전처리 모듈(102)은 파일기반(Comma-Separated Values, CSV) 데이터 전처리 용량의 제약사항을 개선하기 위해 데이터를 분할하고, 분할된 데이터 동시 전처리를 위한 멀티-스레드 기법을 적용하여 노드 당 데이터 처리 가능량을 개선한다.
데이터 전처리 모듈(102)의 메모리 캐시(Memory Cache)는 전처리 대상 리스트, 전처리 정의 템플릿(Recipe), 데이터 분할 처리 등 대용량의 데이터 전처리를 위한 메타정보 공유 관리 기능을 제공한다.
데이터 전처리 모듈(102)의 Split 모듈은 전처리 대상 데이터를 분할하고, 분할된 데이터의 전처리를 위한 스레드를 생성하고 회수하는 멀티-스레드 관리 기능을 수행한다.
데이터 전처리 모듈(102)의 통합 모듈(Integration)은 Split 모듈로부터 전처리가 완료된 데이터를 통합하고 저장한다.
데이터 전처리 모듈(102)의 DFS(Distribute File Storage)는 원격지 분산 파일 스토리지를 이용하여 데이터 전처리 저장소를 지원한다.
본 실시예에 따른 데이터 전처리 모듈(102)은 데이터 처리 속도 향상을 위해 메모리 기반 "key-value" 구조로 데이터 관리가 가능하고, In-memory store를 통한 빠른 데이터 액세스가 가능한 Redis(REmote Dictionary Server)를 적용하여 데이터 분할 및 데이터 동시 처리에 필요한 메타정보를 공유한다.
여기서, Redis는 모든 데이터를 메모리에 저장하고 조회하기에 빠른 Read, Write 속도를 보장하는　비관계형 데이터베이스이며, 5가지< String, Set, Sorted Set, Hash, List >의 데이터 형식을 지원한다.
또한, 데이터 전처리 모듈(102)은 로컬 스토리지 이외에 외부 저장소를 통해 데이터 전처리가 가능하도록 HDFS 기반의 원격지 분산 파일 스토리지를 이용한다.
그리고, 데이터 전처리 모듈(102)은 자바 스레딩 기법을 적용하여 HDFS로부터 데이터스트림(DataStream)의 메인 메모리 공유가 가능하도록 volatile을 적용하여 분할 데이터의 전처리 및 통합 시 데이터 무결성을 확보한다.
도 4은 본 발명의 일 실시예에 따른 인공지능 기반 동적 플러그인 추천 방식의 전처리 과정을 도시한 도면이다.
도 4에 도시된 바와 같이, 하나 이상의 데이터베이스에 저장되는 수집 데이터는 센서 데이터(Sensor data), JSON(JavaScript Object Notation) 데이터, DB 데이터, 텍스트 데이터와 같이 다양한 데이터 소스로부터 수집된 데이터일 수 있다.
수집 데이터를 빅데이터 분석에 활용하기 위해서는 다양한 전처리 과정이 필요한다.
데이터 전처리는 빅데이터 분석에서 가장 많은 시간이 소요되는 단계로서, 수집 데이터를 분석하여 결측값, 이상값 등을 탐색하고, 이를 처리하는 과정을 의미한다.
데이터 전처리는 csv(comma-separated values) 필터링, 공백 제거, 결측값 처리, 이상값 처리, 노이즈 제거 및 정렬을 위한 개별 플러그인 모듈에 의해 수행될 수 있다.
본 실시예에 따르면, 수집 데이터에 따른 전처리 플러그인 추천 모델이 제공되며, 전처리 플러그인 추천 모델을 학습 데이터를 통해 미리 기계학습한다.
학습 데이터에는 수집 데이터에 따라 발생할 수 있는 다양한 오류가 포함된 과거에 수집된 데이터이며, 지도학습 또는 비지도 학습 방식으로 전처리 플러그인 추천 모델을 학습하여 오류를 개선하기 위한 전처리 플러그인을 추천하도록 하고, 미리 설정된 성능에 도달할때까지 학습을 반복 수행한다.
전처리 플러그인 추천 모델을 학습하기 위해, 과거 수집 데이터에 대한 전처리 플러그인 내역이 활용될 수 있다.
사전 학습이 완료된 이후, 수집 데이터가 입력되면 전처리 플러그인 추천 모델은 수집 데이터를 분석하여 이의 전처리를 위한 복수의 전처리 플러그인을 선택하고, 복수의 전처리 플러그인을 순차적으로 배치한 최적의 파이프라인을 결정한다.
예를 들어, 전처리 플러그인 추천 모델은 단변수 분석, 다변수 분석 수행하여 결측값을 탐색하고, 식별된 결측값에 대해 삭제, 대체(평균/최빈값/중간값), 예측값 삽입 등을 위한 개별 전처리 플러그인을 선택할 수 있다.
또한, 이상값이 식별되는 경우, 삭제, 대체, 변수화(변환), 리샘플링 등을 위한 개별 전처리 플러그인을 선택할 수 있다.
상기한 바와 같이, 데이터 오류 처리 이후, 연속형 변수를 범주형 변수로 만드는 비닝(BINING), 기존 존재하는 변수의 성질을 이용해 다른 변수를 만드는 변환(TRANSFORMATION), 정규화(Normalization)와 같은 변수 변환을 위한 전처리 플러그인 모듈을 추천할 수 있다.
본 발명의 바람직한 일 실시예에 따르면, 복수의 전처리 플러그인 모듈을 포함하는 최적의 파이프라인은 사용자에게 미리 출력될 수 있으며, 사용자는 GUI를 통해 전처리 플러그인의 순서를 변경하거나 삭제 및 추가하는 편집 과정을 수행할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 데이터 품질 관리 모듈을 설명하기 위한 도면이다.
도 5를 참조하면, 데이터 품질 관리 모듈(104)는 식별하고자 하는 도메인을 정의하고, 도메인을 메타데이터로 등록한다. 또한 데이터 품질 관리 모듈(104)은 관리되는 데이터의 도메인의 특성에 따라 데이터의 결측치, 이상치 또는 민감정보 등을 탐지할 수 있도록 정규식(Regular Expression 또는 Regex)을 메타데이터로 추가하여 데이터 품질을 향상시킨다.
데이터 품질 관리 모듈(104)은 데이터 사전(Dictionary), 키워드(Keyword), 정규식에 대한 시맨틱 메타정보를 관리한다.
데이터 사전은 추가 및 변경이 가능하며, 추가적인 데이터 품질 측정이 필요한 데이터 도메인을 확장할 수 있도록 데이터 카테고리 조회, 등록, 편집이 가능하다.
본 실시예에 따른 정규식은 룰 기반으로 구성될 수 있고, 데이터 특성에 따른 탐지 및 분류 등의 데이터 품질을 관리하고, 데이터 사전에 대한 정규 표현 알고리즘 등록 및 수정과 같은 사용자 정의 기능을 제공한다.
데이터 품질 관리 모듈(104)은 데이터 품질 향상을 위한 Imputation(mean, regression)이 모듈화되고 적용되며, 데이터 품질 향상을 위한 데이터 분포, 통계 측정 기능을 적용한다.
본 실시예에 따르면, 도메인 자동 판별 성능 향상을 위한 루씬(Apache Lucene) 기반 검색엔진이 적용될 수 있고, 검색용 색인(Index)를 통해 대량의 데이터 도메인 판별이 가능하다.
루씬(Apache Lucene) 기반 검색엔진 관련하여, Look를 통한 Apache Lucene 색인파일 구조 및 검색 결과 분석이 가능하고, Apache Lucene Open API를 활용하여 데이터 사전용 색인(Index) 생성, 조회, 삭제가 가능하다. 또한, 데이터 전처리 모듈(102)과의 데이터 통합을 위해 시맨틱을 공유한다.
도 6은 본 발명의 일 실시예에 따른 증강분석 프로파일링 모듈의 구성을 도시한 도면이다.
본 실시예에 따른 증강분석 프로파일링 모듈(106)은 사용자 목적에 맞게 증강분석 프로파일 단계가 실행되도록 워크플로우(Workflow)를 구성하며, 기계학습 기반으로 프로파일링 모듈의 독립적 실행과 유기적 결합을 위한 런타임(run-time) 환경을 제공할 수 있는 프레임워크로 개발된다.
도 6을 참조하면, service pool은 기계학습 기반 증강분석 프로파일링 실행을 위한 pool을 제공한다.
증강분석 프로파일링 모듈(106)은 증강분석 프로파일링 실행 플로우를 정의하고, 데이터 로딩, 저장 등 모든 실행에 필요한 Config를 생성한다. 또한, 파이프라인을 구성하여 배포하는 기능을 수행한다.
파이프라인은 증강분석 프로파일링의 실행 순서, 반복 주기와 같은 미리 정의된 워크플로우의 일괄 실행, 중지 및 회수 등의 관리 기능을 수행한다.
본 실시예에 따르면, 단독 모듈로 개발된 증강분석 프로파일링 모듈을 파이프라인 내 스트리밍 처리가 가능하도록 Apache Beam으로 Wrapping한다.
Apache Beam은 Google Dataflow, Spark 등과 같은 다양한 런타임에 배포하여 실행할 수 있다. 또한 Data Read/Write, 모듈 간 인터페이스와 같은 공통 기능 제공을 위한 다양한 Artifacts를 제공한다.
파이프라인의 런타임을 위해 Direct Runner와 Apache Spark Runner, 2 종류의 실행 환경을 제공할 수 있다.
Direct Runner는 별도의 외부 분석 Cluster를 구성할 필요가 없기 때문에 개발/테스트 단계에서의 활용할 수 있으며, 실제 Production 의 실행환경에서는 Apache Spark를 활용할 수 있도록 Stand-Alone 형태로 제공한다.
Apache Spark를 통해 실행된 파이프라인은 증강분석 프로파일링 모듈(106)이 외부에 구성된 HDFS, RDBMS 로부터 데이터를 Read하거나 분석결과를 Write할 수 있도록 기능을 제공한다.
본 실시예에 따른 증강분석 협업 모듈(108)은 데이터 수집/정제/프로파일링 분석 과정을 수행함에 있어 복수의 작업자 간 협업이 가능하도록 한다.
도 7에 도시된 바와 같이, 본 실시예에 따른 증강분석 협업 모듈(108)은 각 작업 프로세스를 관리할 수 있는 워크스페이스 인터페이스를 제공한다.
본 실시예에 따른 워크스페이스 인터페이스에서 각 작업자는 작업 프로세스의 생성, 수정 및 삭제를 수행할 수 있다.
또한, 증강분석 협업 모듈(108)은 분석된 프로파일링에 대한 이력 관리 및 공유 서비스를 제공한다.
도 8에 도시된 바와 같이, 증강분석 협업 모듈(108)은 데이터 수집, 전처리, META 프로파일링, 시각화 프로파일링과 같은 일련의 모듈에서 수행한 과정에 대한 작성자, 코멘트 및 데이터 처리량을 식별할 수 있는 인터페이스를 제공하며, 각 모듈에서 수행한 과정에 대한 로그를 기록한다.
기록된 로그는 기계학습을 통해 추후 다른 작업자가 수행하는 과정에 가이드 정보로 제공될 수 있다.
본 실시예에 따른 빅데이터 증강분석 프로파일링 분석을 위한 각 모듈에서의 과정은 프로세서 및 메모리를 포함하는 장치에서 수행될 수 있다.
프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
본 실시예에 메모리에는 프로그램 명령어들이 저장되며, 프로그램 명령어들은 데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터를 입력 받아 상기 데이터의 특징을 추출하여 상기 필터링된 데이터의 클래스를 분류하고, 상기 클래스가 분류된 데이터를 하나 이상의 데이터베이스에 저장하고, 미리 학습된 전처리 플러그인 추천 모델을 이용하여 상기 하나 이상의 데이터베이스에 저장된 데이터의 오류를 식별하고, 상기 오류를 개선하기 위한 복수의 전처리 플러그인을 선택하고, 상기 선택된 복수의 전처리 플러그인을 순차적으로 배치한 최적의 파이프라인을 결정하고, 상기 결정된 파이프라인을 통해 상기 하나 이상의 데이터베이스에 저장된 데이터의 전처리를 수행할 수 있다.
또한, 본 실시예에 따른 프로그램 명령어들은, 상기 전처리 플러그인 추천 모델을 이용하여 csv(comma-separated values) 필터링, 공백 제거, 결측값 처리, 이상값 처리, 노이즈 제거, 정렬 및 변수 변환을 위한 개별 플러그인 모듈을 하나 이상 선택할 수 있다.
나아가, 과거에 수집 데이터에 대한 전처리 플러그인 내역을 이용하여 상기 전처리 플러그인 추천 모델을 학습할 수 있고, 상기 결정된 최적의 파이프라인을 GUI에 출력하고, 사용자의 요청을 수신하여 상기 파이프라인을 수정할 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (7)

  1. 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터를 입력 받아 하나 이상의 데이터베이스에 저장하고,
    미리 학습된 전처리 플러그인 추천 모델을 이용하여 상기 하나 이상의 데이터베이스에 저장된 데이터의 csv(comma-separated values) 필터링, 공백 제거, 결측값 처리, 이상값 처리, 노이즈 제거, 정렬 및 변수 변환을 포함하는 상기 데이터의 오류를 개선하기 위한 복수의 전처리 플러그인을 선택하고,
    상기 선택된 복수의 전처리 플러그인을 순차적으로 배치한 최적의 파이프라인을 결정하고,
    상기 결정된 파이프라인을 통해 상기 하나 이상의 데이터베이스에 저장된 데이터의 전처리를 수행하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
    상기 프로그램 명령어들은,
    과거에 수집 데이터에 대한 전처리 플러그인 내역을 이용하여 상기 전처리 플러그인 추천 모델을 학습하고,
    상기 결정된 최적의 파이프라인을 GUI에 출력하고,
    사용자의 요청을 수신하여 상기 파이프라인을 수정하는 빅데이터 증강분석 프로파일링 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 프로세서 및 메모리를 포함하는 장치에서 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링하는 방법으로서,
    데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터를 입력 받아 하나 이상의 데이터베이스에 저장하는 단계;
    미리 학습된 전처리 플러그인 추천 모델을 이용하여 상기 하나 이상의 데이터베이스에 저장된 데이터의 csv(comma-separated values) 필터링, 공백 제거, 결측값 처리, 이상값 처리, 노이즈 제거, 정렬 및 변수 변환을 포함하는 상기 데이터의 오류를 개선하기 위한 복수의 전처리 플러그인을 선택하는 단계;
    상기 선택된 복수의 전처리 플러그인을 순차적으로 배치한 최적의 파이프라인을 결정하는 단계; 및
    상기 결정된 파이프라인을 통해 상기 하나 이상의 데이터베이스에 저장된 데이터의 전처리를 수행하는 단계를 포함하되,
    상기 전처리 플러그인 추천 모델은, 과거에 수집 데이터에 대한 전처리 플러그인 내역을 이용하여 학습되며,
    상기 최적의 파이프라인을 결정하는 단계는,
    상기 결정된 최적의 파이프라인을 GUI에 출력하는 단계; 및
    사용자의 요청을 수신하여 상기 파이프라인을 수정하는 단계를 포함하는 빅데이터 증강분석 프로파일링 방법.
  6. 삭제
  7. 제5항에 따른 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
KR1020210175608A 2021-10-15 2021-12-09 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치 KR102640444B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210137037 2021-10-15
KR1020210137037 2021-10-15

Publications (2)

Publication Number Publication Date
KR20230054216A KR20230054216A (ko) 2023-04-24
KR102640444B1 true KR102640444B1 (ko) 2024-02-27

Family

ID=86141707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210175608A KR102640444B1 (ko) 2021-10-15 2021-12-09 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102640444B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017218314B4 (de) * 2017-10-13 2019-07-11 Continental Automotive Gmbh Verfahren zum Betreiben eines Dieselmotors und Dieselmotor mit Prüfung der NH3-Konzentration
KR102033151B1 (ko) 2017-11-10 2019-10-16 (주)위세아이텍 빅데이터 분석을 위한 데이터 병합 장치 및 방법
KR20210055296A (ko) * 2019-11-07 2021-05-17 김태연 빅데이터 기반 사람과 사람을 연결하는 매칭 서비스 제공 방법
KR102345410B1 (ko) * 2019-11-19 2021-12-30 주식회사 피씨엔 빅데이터 지능형 수집 방법 및 장치

Also Published As

Publication number Publication date
KR20230054216A (ko) 2023-04-24

Similar Documents

Publication Publication Date Title
Gheisari et al. A survey on deep learning in big data
Mehmood et al. Challenges and solutions for processing real-time big data stream: a systematic literature review
US8375061B2 (en) Graphical models for representing text documents for computer analysis
DE112011101200T5 (de) Spaltenorientierte Speicher-Darstellungen von Datensätzen
KR102541934B1 (ko) 빅데이터 증강분석 프로파일링 시스템
Romero et al. Data engineering for data science: Two sides of the same coin
US11288266B2 (en) Candidate projection enumeration based query response generation
Oliveira et al. Benchmarking business analytics techniques in big data
US20160203224A1 (en) System for analyzing social media data and method of analyzing social media data using the same
Ives et al. Dataset relationship management
US20160203409A1 (en) Framework for calculating grouped optimization algorithms within a distributed data store
Kalna et al. A scalable business intelligence decision-making system in the era of big data
CN111078705A (zh) 基于Spark平台建立数据索引方法及数据查询方法
Kozmina et al. Information requirements for big data projects: A review of state-of-the-art approaches
Azeroual et al. Combining data lake and data wrangling for ensuring data quality in CRIS
KR102345410B1 (ko) 빅데이터 지능형 수집 방법 및 장치
KR102640444B1 (ko) 빅데이터 신뢰성과 활용성 극대화를 위한 빅데이터 증강분석 프로파일링 방법 및 장치
Ead PStorM: Profile storage and matching for feedback-based tuning of MapReduce jobs
Berti et al. PM4Py-GPU: A high-performance general-purpose library for process mining
Rodríguez et al. Insights on apache spark usage by mining stack overflow questions
Dayal et al. Optimization of analytic data flows for next generation business intelligence applications
KR102453425B1 (ko) 이종 데이터 통합 관리 방법 및 장치
KR20230054217A (ko) 빅데이터 마켓 서비스 제공 방법 및 장치
Ferreira et al. Mongodb: Analysis of performance with data from the national high school exam (enem)
Maali et al. Towards an RDF Analytics Language: Learning from Successful Experiences.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant