KR20180024360A - 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템 - Google Patents

데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템 Download PDF

Info

Publication number
KR20180024360A
KR20180024360A KR1020160110404A KR20160110404A KR20180024360A KR 20180024360 A KR20180024360 A KR 20180024360A KR 1020160110404 A KR1020160110404 A KR 1020160110404A KR 20160110404 A KR20160110404 A KR 20160110404A KR 20180024360 A KR20180024360 A KR 20180024360A
Authority
KR
South Korea
Prior art keywords
data
plug
collector
collection
data collector
Prior art date
Application number
KR1020160110404A
Other languages
English (en)
Inventor
한재용
임동일
김건태
Original Assignee
디포커스 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디포커스 (주) filed Critical 디포커스 (주)
Priority to PCT/KR2016/009617 priority Critical patent/WO2018043767A1/ko
Priority to KR1020160110404A priority patent/KR20180024360A/ko
Publication of KR20180024360A publication Critical patent/KR20180024360A/ko

Links

Images

Classifications

    • G06F17/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs

Abstract

본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템은 데이터 수집기; 상기 데이터 수집기를 제어하는 데이터 수집 제어기; 및 상기 데이터 수집기와 상기 데이터 수집 제어기를 서로 연결하는 제어 모니터링 채널;을 포함하고, 상기 데이터 수집 제어기는, 데이터 수집기 설치 및 제거 제어 모듈; 데이터 수집기 시작 및 종료 제어 모듈; 및 데이터 수집기 상태 모니터링 모듈;을 포함하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.

Description

데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템{METHOD AND SYSTEM FOR MANAGEMENT OF COLLECTING BULK DATA USING DATA AGENT CONTAINER}
본 발명은 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템에 관한 것이다. 보다 상세하게는 데이터 수집기를 원격지에서 제어할 수 있고, 데이터 수집기의 동작의 정상적 수행 여부를 확인하여 모니터링 할 수 있는 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템에 관한 것이다.
최근 컴퓨팅 패러다임이 클라우드 환경으로 전환되면서 빅데이터의 처리에 대한 관심이 고조되고 있다. 하지만 다수의 사용자가 생성한 데이터를 수집 및 저장, 분석하기 위하여 추가적인 자원이 필요하다. 이러한 문제는 데이터를 수집하는 것뿐만 아니라 데이터를 분석할 수 있는 플랫폼을 필요로 한다. 이러한 플랫폼의 개발에 따라 하둡(Hadoop) 기반으로 동작하는 플랫폼에 대한 관심이 높아지고 있다.
하둡이란 대용량 데이터를 분산 처리할 수 있는 오픈소스 프레임워크로서, 데이터를 분산된 여러 컴퓨터가 병렬로 나누어서 동시에 처리하는 방식으로 빠른 속도로 데이터를 처리하고 값싼 범용 컴퓨터들로 이루어진 클러스터를 구축하는 것 또한 비용면에서도 유리하여 최근 주목 받고 있는 기술이다.
그러나 빅데이터가 이슈가 되면서 하둡을 비롯한 다양한 빅데이터 분석 도구들이 나왔지만 빅데이터를 수집하는 툴의 기능은 상대적으로 미미한 상태이고, 종래의 수집기는 원격지에서 제어할 수 없는 한계가 있어, 수집기가 정상적으로 동작하는지를 확인할 수 없어 수집기의 동작을 모니터링 할 수 없는 문제가 지적되고 있다.
(공개문헌001) 한국특허공개공보(출원번호: 10-2013-0035400)
본 발명의 목적은 데이터 수집기를 원격지에서 제어할 수 있는 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템을 제공할 수 있다.
또한 데이터 수집기의 동작이 정상적인지 여부에 대한 확인이 가능하고, 데이터 수집기의 동작을 모니터링할 수 있는 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템을 제공할 수 있다.
본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템은 데이터 수집기; 상기 데이터 수집기를 제어하는 데이터 수집 제어기; 및 상기 데이터 수집기와 상기 데이터 수집 제어기를 서로 연결하는 제어 모니터링 채널;을 포함하고, 상기 데이터 수집 제어기는, 데이터 수집기 설치 및 제거 제어 모듈; 데이터 수집기 시작 및 종료 제어 모듈; 및 데이터 수집기 상태 모니터링 모듈;을 포함하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템은 상기 데이터 수집기 설치 및 제거 제어 모듈은 상기 제어 모니터링 채널의 제어 채널을 통해 상기 데이터 수집기의 설치 및 제거를 제어하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 시작 및 종료 제어 모듈은 상기 제어 모니터링 채널의 제어 채널을 통해 상기 데이터 수집기의 시작 및 종료를 제어하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템은 상기 데이터 수집기 상태 모니터링 모듈은 상기 제어 모니터링 채널의 모니터링 채널을 통해 상기 데이터 수집기의 상태를 모니터링하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집기에서 사용되는 환경 설정 정보와 상기 데이터 수집기의 리소스를 표준 형태로 관리하고 제공하는 데이터 에이전트 리소스 로더;를 더 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집기는, 데이터베이스로부터 데이터를 읽어 들이는 데이터 리더 플러그인; 저장소에 데이터를 기록하는 데이터 라이트 플러그인; 및 상기 데이터 리더 플러그인과 상기 데이터 라이트 플러그인을 서로 연결하는 데이터 파이프 플러그인;을 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집기는 제1 데이터 리더 플러그인, 제1 데이터 라이트 플러그인 및 제1 데이터 파이프 플러그인을 포함하는 제1 데이터 수집기; 및 제2 데이터 리더 플러그인, 제2 데이터 라이트 플러그인 및 제2 데이터 파이프 플러그인을 포함하는 제2 데이터 수집기;를 포함하고, 상기 제1 데이터 라이트 플러그인은 상기 제2 데이터 리더 플러그인에 원격으로 데이터를 전송하여 데이터를 기록하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집기는 제1 데이터 리더 플러그인, 제1 데이터 라이트 플러그인 및 제1 데이터 파이프 플러그인을 포함하는 제1 데이터 수집기; 제2 데이터 리더 플러그인, 제2 데이터 라이트 플러그인 및 제2 데이터 파이프 플러그인을 포함하는 제2 데이터 수집기; 및 제3 데이터 리더 플러그인, 제3 데이터 라이트 플러그인 및 제3 데이터 파이프 플러그인을 포함하는 제3 데이터 수집기;를 포함하고, 상기 제1 데이터 라이트 플러그인은 상기 제2 데이터 리더 플러그인 및 상기 제3 데이터 리더 플러그인 중 적어도 하나에 원격으로 데이터를 전송하여 데이터를 기록하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 데이터 수집 관리 하는 제어 모듈; 예약 작업을 처리하는 작업배치모듈; 상기 데이터 수집기를 관리하는 관리모듈; 및 상기 데이터 수집기가 수집 작업을 수행하도록 하는 데이터 수집 모듈;을 포함하고, 상기 관리모듈은, 데이터 수집을 위한 데이터 수집기의 설정을 수행하는 데이터 수집 모델러; 상기 데이터 수집기를 수집서버로 배포하는 데이터 수집기 배포 모듈; 및 배포된 데이터 수집기의 작업 내용과 성능 정보를 모니터링 하는 데이터 수집기 모니터링 모듈;을 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집 모듈은 웹사이트를 통해 데이터를 수집하는 웹크롤러; 데이터베이스로부터 데이터를 수집하는 데이터베이스 연동부; 로그가 저장되는 서버에서 로그 데이터를 수집하는 로그 파일 수집부; 및 센서에서 발생되는 데이터를 수집하는 센서 데이터 수집부;를 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집 모델러는 수집 데이터의 종류, 에이전트의 수집 위치, 저장 데이터 타입, 수집 주기 및 수집 서버의 접속 정보 중 적어도 하나를 설정하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
본 발명에 따른 실시예는 다양한 형태의 데이터를 플러그인(Plug-in) 형태의 수집 기능을 실행시켜주는 에이전트를 제공하며 에이전트 간의 자유로운 연결을 통해 복잡한 데이터 수집이 가능하며 다양한 에이전트를 에이전트 컨테이너를 통해 쉽게 관리 및 제어 그리고 모니터링 할 수 있다.
도 1은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 일 예를 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 다른 예를 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 또 다른 예를 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 포함하는 하둡 기반 대용량 데이터 수집 관리 시스템의 구성도이다.
도 6은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 포함하는 하둡 기반 대용량 데이터 수집 관리 방법의 흐름도이다.
도 7은 데이터 수집 설정 단계의 세부 단계를 나타낸 것이다.
이하, 본 발명의 실시예에 의한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 도면을 참고하여 상세하게 설명한다. 다음에 소개되는 실시 예들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고, 도면들에 있어서, 장치의 크기 및 두께 등은 편의를 위하여 과장되어 표현될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조 번호들은 동일한 구성요소들을 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 도면에서 층 및 영역들의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장될 수 있다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며, 따라서 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다 (comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/ 또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)은 데이터 수집기(100)와 데이터 수집 제어기(200)를 포함할 수 있다. 그리고 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)은 데이터 에이전트 리소스 로더(400)를 더 포함할 수 있다.
데이터 수집기(100)는 복수의 데이터 수집기로 구성될 수 있고, 도면의 예에 따르면 데이터 수집기(100)는 제1 내지 제3 데이터 수집기(110, 120, 130)를 포함할 수 있다.
데이터 수집 제어기(200)는 복수의 데이터 수집 제어기로 구성될 수 있고, 도면의 예에 따르면 데이터 수집 제어기(200)는 제2 내지 제3 데이터 수집기(110, 120, 130)를 포함할 수 있다.
제1 내지 제3 데이터 수집기(110, 120, 130) 각각은 제1 내지 제3 제어 모니터링 채널(310, 320, 330)을 통해 데이터 수집 제어기(200)와 연결될 수 있다.
제1 내지 제3 제어 모니터링 채널(310, 320, 330) 각각은 제1 내지 제3 제어 채널과 제1 내지 제3 모니터링 채널로 구분될 수 있다.
데이터 수집 제어기(200)는 수집서버 상에서의 데이터 수집기(100)의 설치 또는 설치된 데이터 수집기(100)의 제거 기능을 수행할 수 있고, 데이터 수집기(100)와 연결된 제1 내지 제3 제어 채널을 구성할 수 있으며, 데이터 수집기(100)와 연결된 별도의 각각의 제1 내지 제3 제어 채널을 통해 데이터 수집기(100)의 수집 동작 시작 또는 수집 동작이 시작된 데이터 수집기(100)의 수집 동작 종료를 제어할 수 있다.
또한 데이터 수집 제어기(200)는 데이터 제어기(100)와 연결된 별도의 제1 내지 제3 모니터링 채널을 구성할 수 있고, 데이터 수집 제어기(200)는 데이터 제어기(100)와 연결된 별도의 각각의 제1 내지 제3 모니터링 채널을 통해 데이터 제어기(100)의 상태를 모니터링 할 수 있다.
또한 데이터 수집 제어기(200)는 데이터 수집기 설치 및 제거 제어 모듈(210)과 데이터 수집기 시작 및 종료 제어 모듈(220) 그리고 데이터 수집기 상태 모니터링 모듈(230)을 포함할 수 있다.
데이터 수집기 설치 및 제거 제어 모듈(210)은 제1 제어 채널(310)을 통해 제1 내지 제3 데이터 수집기(110, 120), 130) 각각의 설치 및 제거를 제어하는 기능을 수행할 수 있다.
데이터 수집기 시작 및 종료 제어 모듈(220)은 제2 제어 채널(320)을 통해 제1 내지 제3 데이터 수집기(110, 120, 130) 각각의 시작 및 종료를 제어할 수 있다.
데이터 수집기 상태 모니터링 모듈(230)은 제3 모니터링 채널(330)을 통해 제1 내지 제3 데이터 수집기(110, 120, 130) 각각의 상태를 모니터링 할 수 있다.
또한 데이터 에이전트 리소스 로더(400)는 데이터 수집기(100)에서 사용되는 환경 설정 정보와 데이터 수집기(100)의 리소스를 표준 형태로 관리하고 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 일 예를 나타낸 블록도이다.
도 2를 참조하면, 데이터 수집기(100)는 데이터 리더 플러그인(Data Reader Plugin: 101)과 데이터 라이트 플러그인(Data Write Plugin: 102) 그리고 데이터 리더 플러그인(101)과 데이터 라이트 플러그인(102)을 서로 연결하는 데이터 파이프 플러그인(Data Pipe Plugin: 103)을 포함할 수 있다.
데이터 리더 플러그인(101)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 데이터 라이트 플러그인(102)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 데이터 리더 플러그인(101)과 데이터 라이트 플러그인(102) 사이의 데이터 파이프 플러그인(103) 통해 데이터가 전송될 수 있다.
도 3은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 다른 예를 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 구성하는 다른 예인 데이터 수집기(100)는 제1 데이터 수집기(110) 및 제2 데이터 수집기(120)를 포함할 수 있다.
제1 데이터 수집기(110)는 제1 데이터 리더 플러그인(111)과 제1 데이터 라이트 플러그인(112) 그리고 제1 데이터 파이프 플러그인(113)을 포함할 수 있다.
제1 데이터 리더 플러그인(111)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 제1 데이터 라이트 플러그인(112)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제1 데이터 리더 플러그인(111)과 제1 데이터 라이트 플러그인(112) 사이의 제1 데이터 파이프 플러그인(113) 통해 데이터가 전송될 수 있다.
제2 데이터 수집기(120)는 제2 데이터 리더 플러그인(121)과 제2 데이터 라이트 플러그인(122) 그리고 제2 데이터 파이프 플러그인(123)을 포함할 수 있다.
제2 데이터 리더 플러그인(121)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 제2 데이터 라이트 플러그인(122)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제2 데이터 리더 플러그인(121)과 제2 데이터 라이트 플러그인(122) 사이의 제2 데이터 파이프 플러그인(123) 통해 데이터가 전송될 수 있다.
또한 제1 데이터 라이트 플러그인(112)은 원격 전송을 통해 제2 데이터 리더 플러그인(121)에 데이터 전송이 가능하여, 제2 데이터 리더 플러그인(121)에 데이터 기록이 가능하고, 제2 데이터 리더 플러그인(121)은 제1 데이터 라이트 플러그인(112)으로부터 데이터를 읽어 드릴 수 있다.
본 발명의 실시예에 따른 데이터 에이전트 컨테이너(10)를 구성하는 제1 및 제2 데이터 수집기(110, 120)는 통신 망이 분리된 곳에서도 데이터 전송이 가능한 이점이 있다.
도 4는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 또 다른 예를 나타낸 블록도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 구성하는 또 다른 예인 데이터 수집기(100)는 제1 데이터 수집기(110), 제2 데이터 수집기(120) 그리고 제3 데이터 수집기(130)를 포함할 수 있다.
제1 데이터 수집기(110)는 제1 데이터 리더 플러그인(111)과 제1 데이터 라이트 플러그인(112) 그리고 제1 데이터 파이프 플러그인(113)을 포함할 수 있다.
제1 데이터 리더 플러그인(111)은 다양한 형태의 데이터 소스(DB)로부터 데이터를 읽어드리고, 제1 데이터 라이트 플러그인(112)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제1 데이터 리더 플러그인(111)과 제1 데이터 라이트 플러그인(112) 사이의 제1 데이터 파이프 플러그인(113) 통해 데이터가 전송될 수 있다.
제2 데이터 수집기(120)는 제2 데이터 리더 플러그인(121)과 제2 데이터 라이트 플러그인(122) 그리고 제2 데이터 파이프 플러그인(123)을 포함할 수 있다.
제2 데이터 리더 플러그인(121)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 제2 데이터 라이트 플러그인(122)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제2 데이터 리더 플러그인(121)과 제2 데이터 라이트 플러그인(122) 사이의 제2 데이터 파이프 플러그인(123) 통해 데이터가 전송될 수 있다.
또한 제1 데이터 라이트 플러그인(112)은 원격 전송을 통해 제2 데이터 리더 플러그인(121)에 데이터 전송이 가능하여, 제2 데이터 리더 플러그인(121)에 데이터 기록이 가능하고, 제2 데이터 리더 플러그인(121)은 제1 데이터 라이트 플러그인(112)으로부터 데이터를 읽어 드릴 수 있다.
제3 데이터 수집기(130)는 제3 데이터 리더 플러그인(131)과 제3 데이터 라이트 플러그인(132) 그리고 제3 데이터 파이프 플러그인(133)을 포함할 수 있다.
제3 데이터 리더 플러그인(131)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 제3 데이터 라이트 플러그인(132)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제3 데이터 리더 플러그인(131)과 제3 데이터 라이트 플러그인(132) 사이의 제3 데이터 파이프 플러그인(133) 통해 데이터가 전송될 수 있다.
또한 제1 데이터 라이트 플러그인(112)은 원격 전송을 통해 제3 데이터 리더 플러그인(131)에 데이터 전송이 가능하여 제3 데이터 리더 플러그인(131)에 데이터 기록이 가능하고, 제3 데이터 리더 플러그인(131)은 제1 데이터 라이트 플러그인(112)으로부터 데이터를 읽어 드릴 수 있다.
본 발명의 실시예에 따른 데이터 에이전트 컨테이너(10)를 구성하는 제1 내지 제3 데이터 수집기(110, 120, 130)는 통신 망이 분리된 곳에서도 데이터 전송이 가능한 이점이 있다.
전술한 제1 내지 제3 데이터 수집기(110, 120, 130) 각각의 데이터 리드 플러그인은 다양한 형태의 데이터를 읽어 들일 수 있도록 데이터 리드를 플러그인 형태로 구성한 것이고, 데이터 라이트 플러그인은 데이터 파이프로부터 읽어 들인 데이터를 다양한 저장소로 데이터의 전송 및 기록할 수 있도록 플러그인 형태로 구성할 수 있고, 데이터 리더로부터 읽어 들인 데이터를 데이터 라이트로 전달하는 데이터 파이프를 플러그인 형태로 구성할 수 있으며, 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)에 자신의 해당 데이터 에이전트의 환경 설정 정보 및 다양한 리소스를 요청하여 가져다 사용할 수 있다.
본 발명에 따른 실시예는 다양한 형태의 데이터를 플러그인(Plug-in) 형태의 수집 기능을 실행시켜주는 에이전트를 제공하며 에이전트 간의 자유로운 연결을 통해 복잡한 데이터 수집이 가능하며 다양한 에이전트를 에이전트 컨테이너를 통해 쉽게 관리 및 제어 그리고 모니터링 할 수 있다.
전술한 데이터 수집기인 에이전트에 대한 수집 방법 설정 및 에이전트 배포를 통한 수집 상태 모니터링 하는 방법을 이하에서 구체적으로 설명한다.
도 5는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 포함하는 하둡 기반 대용량 데이터 수집 관리 시스템의 구성도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)을 포함하는 하둡 기반 대용량 데이터 수집 관리 시스템(50)은 데이터 수집기(100)와 데이터 수집 제어기(200), 제어모듈(500), 작업배치모듈(600), 관리모듈(700), 데이터 수집 모듈(800)을 포함할 수 있다.
제어모듈(500)은 데이터 수집 관리의 전반적인 제어 동작을 수행할 수 있다.
작업배치모듈(600)은 예약 작업을 처리하는 기능을 수행할 수 있다.
관리모듈(700)은 데이터 수집기(100)를 관리하는 기능을 수행할 수 있다.
관리모듈(700)은 데이터 수집 모델러(710), 데이터 수집기 배포 모듈(720) 및 데이터 수집기 모니터링 모듈(730)을 포함할 수 있다.
데이터 수집 모델러(710)는 데이터를 수집하기 위한 데이터 수집기(100)의 설정 처리를 위한 유저인터페이스를 제공할 수 있다.
데이터 수집기 배포 모듈(720)은 데이터 수집기(100)를 각각의 수집서버로 일괄 배포하는 작업을 처리하는 기능을 수행할 수 있다.
데이터 수집기 모니터링 모듈(730)은 수집서버로 배포된 데이터 수집기(100)의 작업 내역과 성능 정보를 모니터링 하는 기능을 수행할 수 있다.
데이터 수집 모듈(800)은 데이터 수집기(100)에서 수집 작업을 하기 위한 지원 모듈에 관한 것이다.
데이터 수집 모듈(800)은 웹크롤러부(810), 데이터베이스(이하 DB: DataBase) 연동부(820), 로그파일 수집부(830) 및 센서 데이터 수집부(840)를 포함할 수 있다.
웹크롤러부(810)은 웹사이트를 통해 데이터를 수집하는 기능을 수행할 수 있다.
DB 연동부(820)는 데이터베이스로부터 데이터를 수집하는 기능을 수행할 수 있다.
로그파일 수집부(830)는 로그가 저장되는 서버에서 로그 데이터를 수집하는 기능을 수행할 수 있다.
센서 데이터 수집부(840)는 각종 센서에서 발생되는 데이터를 수집하는 기능을 수행할 수 있다.
도 6은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 포함하는 하둡 기반 대용량 데이터 수집 관리 방법의 흐름도이고, 도 7은 데이터 수집 설정 단계의 세부 단계를 나타낸 것이다.
도 6 및 도 7을 참조하면, 하둡 기반 대용량 데이터 수집 관리 방법은 데이터 수집 설정 단계(S100), 데이터 수집기 배포 단계(S200) 및 데이터 수집기 모니터링 단계(S300)를 포함할 수 있다.
데이터 수집 설정 단계(S100)는 데이터 수집 모델러(810)를 통해 데이터 수집기(100)의 수집 정보를 유저인터페이스를 통해 설정하는 단계이다.
데이터 수집 설정 단계(S100)는 수집 데이터의 종류를 결정하는 단계(S110), 데이터 수집기(100)의 수집 위치 설정 단계(S120), 저장 데이터 타입 설정 단계(S130), 수집 주기 설정 단계(S140) 및 수집 서버의 접속 정보 설정 단계(S150)를 포함할 수 있다. 여기서의 수집 데이터는 웹 사이트 소셜 네트워크, 로그, 센서 등이 될 수 있으나 이에 한정하는 것은 아니다.
또한 데이터 수집기(100)를 통해 수집 가능한 데이터 종류를 예를 들면, 웹클롤러부(810)에 의해 포털 사이트에 게재된 뉴스, 소셜 네트워크, 기상 정보, 정부의 공공 데이터를 수집할 수 있다. 그리고 각각의 데이터를 키워드, 수집기간 별로 수집될 수 있고, 수집된 정보를 하둡 파일 시스템에 저장될 수 있다.
또한 DB 연동부(820)에 의해 데이터베이스에 접속하고, 접속한 데이터베이스의 데이블 정보를 확인하고 수집 대상 테이블을 선택할 수 있고, 데이터 수집기(100)는 DB 연동부(820)를 이용하여 데이터를 수집하여 하둡 파일 시스템에 저장할 수 있다.
또한 로그 파일 수집부(830)와 센서 데이터 수집부(840)는 데이터 수집 모델러(710)를 통해 데이터 수집기(100)의 수집 위치, 데이터 타입, 수집주기 및 수집 서버의 접속 정보를 유저인터페이스를 통해서 설정하고, 데이터 수집기 배포 모듈(720)을 이용하여 각각의 수집 서버에 데이터 수집기(100)를 원격으로 배포하고, 배포된 데이터 수집기(100)는 설정된 정보를 바탕으로 해당 로그 파일이나 센서 데이터를 전송하고, 수집된 데이터는 지정된 시스템에 저장될 수 있다.
데이터 수집기 배포 단계(S200)은 데이터 수집기 배포 모듈(720)을 이용하여 수집 대상 서버에 데이터 수집기(100)를 원격으로 배포할 수 있다. 이 경우, 데이터 수집기(100)는 데이터 수집 모델러(710)에서 설정된 수집 대상 서버로 일괄 배포될 수 있다.
에이전트 모니터링 단계(S300)에서 사용자는 수집 과정의 진행 상태를 모니터링 할 수 있고, 에이전트의 수집 과정에서 에러 발생 시 관련 로그를 확인할 수 있으며, 에이전트의 상태 정보 및 수집 서버의 성능을 모니터링 할 수 있다.
본 발명의 실시예에 따른 하둡 기반 대용량 데이터 수집 관리 방법 및 이의 시스템은 원격지에서 수집 서버로 에이전트를 쉽고 빠르게 배포할 수 있는 기술을 통해 데이터 수집에 대한 설정 시간 및 과정을 향상 시킬 수 있다.
이상에서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)
하둡 기반 대용량 데이터 수집 관리 시스템(50)
데이터 수집기(100)
데이터 리더 플러그인(101)
데이터 라이트 플러그인(102)
데이터 파이프 플러그인(103)
제1 내지 제3 데이터 수집기(110, 120, 130)
제1 데이터 리더 플러그인(111)
제1 데이터 라이트 플러그인(112)
제1 데이터 파이프 플러그인(113)
제2 데이터 리더 플러그인(121)
제2 데이터 라이트 플러그인(122)
제2 데이터 파이프 플러그인(123)
제3 데이터 리더 플러그인(131)
제3 데이터 라이트 플러그인(132)
제3 데이터 파이프 플러그인(133)
데이터 수집 제어기(200)
데이터 수집기 설치 및 제거 제어 모듈(210)
데이터 수집기 시작 및 종료 제어 모듈(220)
데이터 수집기 상태 모니터링 모듈(230)
제1 내지 제3 제어 모니터링 채널(310, 320, 330)
에이전트 리소스 로더(400)
제어모듈(500)
작업배치모듈(600)
관리모듈(700)
데이터 수집 모델러(710)
데이터 수집기 배포 모듈(720)
데이터 수집기 모니터링 모듈(730)
데이터 수집 모듈(800)
웹크롤러부(810)
데이터베이스 연동부(820)
로그파일 수집부(830)
센서 데이터 수집부(840)

Claims (11)

  1. 데이터 수집기;
    상기 데이터 수집기를 제어하는 데이터 수집 제어기; 및
    상기 데이터 수집기와 상기 데이터 수집 제어기를 서로 연결하는 제어 모니터링 채널;을 포함하고,
    상기 데이터 수집 제어기는,
    데이터 수집기 설치 및 제거 제어 모듈;
    데이터 수집기 시작 및 종료 제어 모듈; 및
    데이터 수집기 상태 모니터링 모듈;을 포함하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  2. 제1 항에 있어서,
    상기 데이터 수집기 설치 및 제거 제어 모듈은 상기 제어 모니터링 채널의 제어 채널을 통해 상기 데이터 수집기의 설치 및 제거를 제어하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  3. 제2 항에 있어서,
    상기 데이터 시작 및 종료 제어 모듈은 상기 제어 모니터링 채널의 제어 채널을 통해 상기 데이터 수집기의 시작 및 종료를 제어하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  4. 제3 항에 있어서,
    상기 데이터 수집기 상태 모니터링 모듈은 상기 제어 모니터링 채널의 모니터링 채널을 통해 상기 데이터 수집기의 상태를 모니터링하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  5. 제1 항에 있어서,
    상기 데이터 수집기에서 사용되는 환경 설정 정보와 상기 데이터 수집기의 리소스를 표준 형태로 관리하고 제공하는 데이터 에이전트 리소스 로더;를 더 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  6. 제1 항에 있어서,
    상기 데이터 수집기는,
    데이터베이스로부터 데이터를 읽어 들이는 데이터 리더 플러그인;
    저장소에 데이터를 기록하는 데이터 라이트 플러그인; 및
    상기 데이터 리더 플러그인과 상기 데이터 라이트 플러그인을 서로 연결하는 데이터 파이프 플러그인;을 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  7. 제6 항에 있어서,
    상기 데이터 수집기는
    제1 데이터 리더 플러그인, 제1 데이터 라이트 플러그인 및 제1 데이터 파이프 플러그인을 포함하는 제1 데이터 수집기; 및
    제2 데이터 리더 플러그인, 제2 데이터 라이트 플러그인 및 제2 데이터 파이프 플러그인을 포함하는 제2 데이터 수집기;를 포함하고,
    상기 제1 데이터 라이트 플러그인은 상기 제2 데이터 리더 플러그인에 원격으로 데이터를 전송하여 데이터를 기록하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  8. 제6 항에 있어서,
    상기 데이터 수집기는
    제1 데이터 리더 플러그인, 제1 데이터 라이트 플러그인 및 제1 데이터 파이프 플러그인을 포함하는 제1 데이터 수집기;
    제2 데이터 리더 플러그인, 제2 데이터 라이트 플러그인 및 제2 데이터 파이프 플러그인을 포함하는 제2 데이터 수집기; 및
    제3 데이터 리더 플러그인, 제3 데이터 라이트 플러그인 및 제3 데이터 파이프 플러그인을 포함하는 제3 데이터 수집기;를 포함하고,
    상기 제1 데이터 라이트 플러그인은 상기 제2 데이터 리더 플러그인 및 상기 제3 데이터 리더 플러그인 중 적어도 하나에 원격으로 데이터를 전송하여 데이터를 기록하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  9. 제1 항에 있어서,
    데이터 수집 관리 하는 제어 모듈;
    예약 작업을 처리하는 작업배치모듈;
    상기 데이터 수집기를 관리하는 관리모듈; 및
    상기 데이터 수집기가 수집 작업을 수행하도록 하는 데이터 수집 모듈;을 포함하고,
    상기 관리모듈은,
    데이터 수집을 위한 데이터 수집기의 설정을 수행하는 데이터 수집 모델러;
    상기 데이터 수집기를 수집서버로 배포하는 데이터 수집기 배포 모듈; 및
    배포된 데이터 수집기의 작업 내용과 성능 정보를 모니터링 하는 데이터 수집기 모니터링 모듈;을 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  10. 제9 항에 있어서,
    상기 데이터 수집 모듈은
    웹사이트를 통해 데이터를 수집하는 웹크롤러;
    데이터베이스로부터 데이터를 수집하는 데이터베이스 연동부;
    로그가 저장되는 서버에서 로그 데이터를 수집하는 로그 파일 수집부; 및
    센서에서 발생되는 데이터를 수집하는 센서 데이터 수집부;를 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  11. 제10 항에 있어서,
    상기 데이터 수집 모델러는 수집 데이터의 종류, 에이전트의 수집 위치, 저장 데이터 타입, 수집 주기 및 수집 서버의 접속 정보 중 적어도 하나를 설정하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
KR1020160110404A 2016-08-30 2016-08-30 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템 KR20180024360A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2016/009617 WO2018043767A1 (ko) 2016-08-30 2016-08-30 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템
KR1020160110404A KR20180024360A (ko) 2016-08-30 2016-08-30 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160110404A KR20180024360A (ko) 2016-08-30 2016-08-30 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템

Publications (1)

Publication Number Publication Date
KR20180024360A true KR20180024360A (ko) 2018-03-08

Family

ID=61301126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160110404A KR20180024360A (ko) 2016-08-30 2016-08-30 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템

Country Status (2)

Country Link
KR (1) KR20180024360A (ko)
WO (1) WO2018043767A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190131778A (ko) 2018-05-17 2019-11-27 동서대학교 산학협력단 은닉 url에 포함된 정형 및 비정형 데이터의 수집을 위한 웹 크롤러 시스템
KR102616652B1 (ko) * 2023-04-27 2023-12-27 쿠팡 주식회사 전자 장치 및 그의 로그 데이터 관리 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416285B1 (en) 2019-04-30 2022-08-16 Splunk Inc. Efficient and secure scalable-two-stage data collection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4612699B2 (ja) * 2008-03-11 2011-01-12 株式会社東芝 監視診断装置及び遠隔監視診断システム
US8726103B2 (en) * 2010-12-07 2014-05-13 At & T Intellectual Property I, Lp Visual outage management tool
KR101235199B1 (ko) * 2011-04-20 2013-02-20 한국교통대학교산학협력단 웹기술을 이용하여 저성능 원격지 장치를 제어하기 위한 인터페이스 구축 시스템 및 그 방법
WO2013070873A1 (en) * 2011-11-10 2013-05-16 Treasure Data, Inc. System and method for operating a big-data platform
US9172608B2 (en) * 2012-02-07 2015-10-27 Cloudera, Inc. Centralized configuration and monitoring of a distributed computing cluster

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190131778A (ko) 2018-05-17 2019-11-27 동서대학교 산학협력단 은닉 url에 포함된 정형 및 비정형 데이터의 수집을 위한 웹 크롤러 시스템
KR102616652B1 (ko) * 2023-04-27 2023-12-27 쿠팡 주식회사 전자 장치 및 그의 로그 데이터 관리 방법

Also Published As

Publication number Publication date
WO2018043767A1 (ko) 2018-03-08

Similar Documents

Publication Publication Date Title
US10834015B2 (en) Dynamic resource allocation for sensor devices on a mixed-infrastructure network
AU2016225917B2 (en) Cloud computing as a basis for a process historian
CN113924554A (zh) 具有无损一次性处理的自动化云边缘流工作负载分布和双向迁移
CN105631026A (zh) 一种安全数据分析系统
CN103532780A (zh) 用于it领域的运维监控一体化系统及一体化监控方法
KR20210049551A (ko) 컴퓨팅 자원을 유동적으로 할당하는 엣지 컴퓨팅 방법 및 시스템
CN102999400A (zh) 一种云存储系统数据备份方法及装置
CN109547240B (zh) 基于边缘计算的智能设备以及接入与设备的解析方法
CN112989330B (zh) 容器的入侵检测方法、装置、电子设备及存储介质
CN107612984B (zh) 一种基于互联网的大数据平台
KR20180024360A (ko) 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템
US10144131B2 (en) Operation monitoring server and operation monitoring system
CN106304136B (zh) 获取网络状态信息的方法、系统、控制器和模拟移动设备
CN111338893A (zh) 进程日志处理方法、装置、计算机设备以及存储介质
KR20180024367A (ko) 하둡 기반 대용량 데이터 수집 관리 방법 및 이의 시스템
CN116915827A (zh) 物联网边缘网关的数据传输方法、装置、电子设备及介质
CN103514044A (zh) 一种动态行为分析系统的资源优化方法、装置和系统
KR102406905B1 (ko) 산업 IoT 플랫폼을 이용한 엣지 컴퓨팅 기반 HMI 시스템
EP3720096A1 (en) Shared data center for industrial automation systems
KR20170009029A (ko) 클라우드 기반의 산업용 사물 인터넷 서비스 시스템
US7039707B2 (en) Disk subsystem, computer system, storage managing method and program
CN103870499A (zh) 输电网的隐患信息处理方法和装置
US10447769B2 (en) Enhanced time-series data streams for transmission to mobile devices
CN111913448A (zh) 一种信息化智能控制系统
US20180173740A1 (en) Apparatus and Method for Sorting Time Series Data