WO2018043767A1 - 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템 - Google Patents

데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템 Download PDF

Info

Publication number
WO2018043767A1
WO2018043767A1 PCT/KR2016/009617 KR2016009617W WO2018043767A1 WO 2018043767 A1 WO2018043767 A1 WO 2018043767A1 KR 2016009617 W KR2016009617 W KR 2016009617W WO 2018043767 A1 WO2018043767 A1 WO 2018043767A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
collector
plug
collection
data collector
Prior art date
Application number
PCT/KR2016/009617
Other languages
English (en)
French (fr)
Inventor
한재용
임동일
김건태
Original Assignee
디포커스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디포커스(주) filed Critical 디포커스(주)
Publication of WO2018043767A1 publication Critical patent/WO2018043767A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs

Definitions

  • the present invention relates to a data collection method using a data agent container and a system thereof. More specifically, the present invention relates to a data collection method using a data agent container and a system thereof, which can control a data collector remotely and check and monitor whether the data collector is normally performed.
  • Hadoop is an open source framework for distributing large amounts of data, and processing data at high speed by building multiple distributed computers in parallel and processing them at the same time, creating a cluster of cheap general purpose computers. It is a technology that is attracting attention recently because of its advantageous cost.
  • An object of the present invention can provide a data collection method and a system thereof using a data agent container capable of controlling the data collector remotely.
  • Data collection method and system thereof using a data agent container is a data collector; A data collection controller controlling the data collector; And a control monitoring channel connecting the data collector and the data collection controller to each other, wherein the data collection controller comprises: a data collector installation and removal control module; A data collector start and stop control module; And a data collector state monitoring module.
  • the system may provide a data collection system using a data agent container.
  • the data collector installation and removal control module uses the data agent container, characterized in that for controlling the installation and removal of the data collector through a control channel of the control monitoring channel.
  • a data collection system can be provided.
  • the data collection method using a data agent container and the data start and end control module of the system thereof controls the start and end of the data collector through the control channel of the control monitoring channel data using the data agent container A collection system can be provided.
  • the data collector state monitoring module is a data collection system using a data agent container, characterized in that for monitoring the status of the data collector through a monitoring channel of the control monitoring channel. Can provide.
  • the method may further include a data agent resource loader which manages and provides the configuration information used in the data collector of the system and the data collector of the system and the resources of the data collector in a standard form.
  • a data agent resource loader which manages and provides the configuration information used in the data collector of the system and the data collector of the system and the resources of the data collector in a standard form.
  • a data collection system using an agent container can be provided.
  • a data collection method using a data agent container and the data collector of the system includes a data reader plug-in for reading data from a database; A data light plug-in for writing data to the repository; And a data pipe plug-in that connects the data reader plug-in and the data light plug-in to each other.
  • a data collection method using a data agent container and the data collector of the system includes a first data collector including a first data reader plug-in, a first data light plug-in and a first data pipe plug-in; And a second data collector comprising a second data reader plug-in, a second data light plug-in, and a second data pipe plug-in, wherein the first data light plug-in remotely transmits data to the second data reader plug-in.
  • a data collection system using a data agent container, which records data may be provided.
  • a data collection method using a data agent container and the data collector of the system includes a first data collector including a first data reader plug-in, a first data light plug-in and a first data pipe plug-in; A second data collector comprising a second data reader plug-in, a second data light plug-in, and a second data pipe plug-in; And a third data collector comprising a third data reader plug-in, a third data light plug-in, and a third data pipe plug-in, wherein the first data light plug-in comprises the second data reader plug-in and the third data reader plug-in.
  • a data collection system using a data agent container may be provided by recording data by remotely transmitting data to at least one of them.
  • a data collection method using a data agent container and a control module for managing data collection of the system includes: a data collection modeler configured to set a data collector for data collection; A data collector distribution module for distributing the data collector to a collection server; And a data collector monitoring module configured to monitor work contents and performance information of the distributed data collector.
  • a data collection method using a data agent container and the data collection module of the system includes a web crawler for collecting data through a website; A database interlocking unit for collecting data from a database; A log file collector configured to collect log data from a server where logs are stored; And a sensor data collector configured to collect data generated from the sensor.
  • the system may provide a data collection system using a data agent container.
  • the data collection method using a data agent container and the data collection modeler of the system is characterized in that for setting at least one of the type of collection data, the collection location of the agent, the storage data type, the collection period and the connection information of the collection server.
  • a data collection system using a data agent container can be provided.
  • An embodiment according to the present invention provides an agent for executing a plug-in collection function of various types of data, and complex data collection is possible through a free connection between agents, and various agents are easily provided through an agent container. Can be managed, controlled and monitored
  • FIG. 1 is a block diagram of a data collection system using a data agent container according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of a data collector constituting a data collection system using a data agent container according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating another example of a data collector constituting a data collection system using a data agent container according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating another example of a data collector constituting a data collection system using a data agent container according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of a Hadoop-based mass data collection management system including a data collection system using a data agent container according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a Hadoop-based mass data collection management method including a data collection system using a data agent container according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a data collection system using a data agent container according to an embodiment of the present invention.
  • a data collection system 10 using a data agent container may include a data collector 100 and a data collection controller 200.
  • the data collection system 10 using the data agent container according to an embodiment of the present invention may further include a data agent resource loader 400.
  • the data collector 100 may be configured as a plurality of data collectors, and according to the example of the drawing, the data collector 100 may include first to third data collectors 110, 120, and 130.
  • the data collection controller 200 may be configured of a plurality of data collection controllers, and according to the example of the drawing, the data collection controller 200 may include second to third data collectors 110, 120, and 130.
  • Each of the first to third data collectors 110, 120, and 130 may be connected to the data collection controller 200 through the first to third control monitoring channels 310, 320, and 330.
  • Each of the first to third control monitoring channels 310, 320, and 330 may be divided into first to third control channels and first to third monitoring channels.
  • the data collection controller 200 may perform the installation of the data collector 100 on the collection server or the removal of the installed data collector 100, and constitute first to third control channels connected to the data collector 100.
  • the first or third control channels connected to the data collector 100 may control the start of the collection operation of the data collector 100 or the end of the collection operation of the data collector 100 in which the collection operation is started. Can be.
  • the data collection controller 200 may configure separate first to third monitoring channels connected to the data controller 100, and the data collection controller 200 may each of separate first connected to the data controller 100.
  • the state of the data controller 100 may be monitored through the third to third monitoring channels.
  • the data collection controller 200 may include a data collector installation and removal control module 210, a data collector start and stop control module 220, and a data collector state monitoring module 230.
  • the data collector installation and removal control module 210 may perform a function of controlling installation and removal of each of the first to third data collectors 110, 120, and 130 through the first control channel 310.
  • the data collector start and end control module 220 may control the start and end of each of the first to third data collectors 110, 120, and 130 through the second control channel 320.
  • the data collector state monitoring module 230 may monitor the state of each of the first to third data collectors 110, 120, and 130 through the third monitoring channel 330.
  • the data agent resource loader 400 may manage and provide the environment setting information used in the data collector 100 and the resources of the data collector 100 in a standard form.
  • FIG. 2 is a block diagram illustrating an example of a data collector constituting a data collection system using a data agent container according to an embodiment of the present invention.
  • the data collector 100 connects a data reader plugin 101, a data write plugin 102, and a data reader plugin 101 and a data light plug-in 102 to each other.
  • the data pipe plugin 103 may be included.
  • the data reader plug-in 101 reads data from various types of data sources
  • the data light plug-in 102 can write data to various types of data sources
  • the data reader plug-in 101 and the data light plug-in 102 Data may be transmitted through the data pipe plug-in 103 between the ().
  • FIG. 3 is a block diagram illustrating another example of a data collector constituting a data collection system using a data agent container according to an embodiment of the present invention.
  • another example of configuring a data agent container may include a data collector 100 and a first data collector 110 and a second data collector 120.
  • the first data collector 110 may include a first data reader plug-in 111, a first data light plug-in 112, and a first data pipe plug-in 113.
  • the first data reader plug-in 111 reads data from various types of data sources, the first data light plug-in 112 may write data to various types of data sources, and the first data reader plug-in 111 And data may be transmitted through the first data pipe plug-in 113 between the first data light plug-in 112 and the first data light plug-in 112.
  • the second data collector 120 may include a second data reader plug-in 121, a second data light plug-in 122, and a second data pipe plug-in 123.
  • the second data reader plug-in 121 reads data from various types of data sources, the second data light plug-in 122 may write data to various types of data sources, and the second data reader plug-in 121 Data may be transmitted through the second data pipe plug-in 123 between the second data light plug-in 122 and the second data light plug-in 122.
  • first data light plug-in 112 may transmit data to the second data reader plug-in 121 through remote transmission, and thus data may be recorded on the second data reader plug-in 121 and the second data reader plug-in ( 121 may read data from the first data light plug-in 112.
  • the first and second data collectors 110 and 120 constituting the data agent container 10 according to the embodiment of the present invention have an advantage in that data can be transmitted even in a communication network.
  • FIG. 4 is a block diagram illustrating another example of a data collector constituting a data collection system using a data agent container according to an embodiment of the present invention.
  • FIG. 4 another example of configuring a data agent container according to an embodiment of the present invention is a data collector 100 including a first data collector 110, a second data collector 120, and a third data collector 130. ) May be included.
  • the first data collector 110 may include a first data reader plug-in 111, a first data light plug-in 112, and a first data pipe plug-in 113.
  • the first data reader plug-in 111 reads data from various types of data sources DB, and the first data light plug-in 112 writes data to various types of data sources, and the first data reader plug-in. Data may be transmitted through the first data pipe plug-in 113 between the 111 and the first data light plug-in 112.
  • the second data collector 120 may include a second data reader plug-in 121, a second data light plug-in 122, and a second data pipe plug-in 123.
  • the second data reader plug-in 121 reads data from various types of data sources, the second data light plug-in 122 may write data to various types of data sources, and the second data reader plug-in 121 Data may be transmitted through the second data pipe plug-in 123 between the second data light plug-in 122 and the second data light plug-in 122.
  • first data light plug-in 112 may transmit data to the second data reader plug-in 121 through remote transmission, and thus data may be recorded on the second data reader plug-in 121 and the second data reader plug-in ( 121 may read data from the first data light plug-in 112.
  • the third data collector 130 may include a third data reader plug-in 131, a third data light plug-in 132, and a third data pipe plug-in 133.
  • the third data reader plug-in 131 reads data from various types of data sources, the third data light plug-in 132 may write data to various types of data sources, and the third data reader plug-in 131 The data may be transmitted through the third data pipe plug-in 133 between the third data light plug-in 132 and the third data light plug-in 132.
  • first data light plug-in 112 may transmit data to the third data reader plug-in 131 through remote transmission to record data in the third data reader plug-in 131, and the third data reader plug-in 131. ) May read data from the first data light plug-in 112.
  • the first to third data collectors 110, 120, and 130 constituting the data agent container 10 according to an embodiment of the present invention have an advantage in that data transmission is possible even in a separate communication network.
  • the data read plug-in of each of the aforementioned first to third data collectors 110, 120, and 130 is configured as a plug-in to read data of various types, and the data write plug-in includes data read from a data pipe.
  • the system 10 may request and use configuration information and various resources of its corresponding data agent.
  • An embodiment according to the present invention provides an agent for executing a plug-in collection function of various types of data, and complex data collection is possible through a free connection between agents, and various agents are easily provided through an agent container. Can be managed, controlled and monitored
  • FIG. 5 is a block diagram of a Hadoop-based mass data collection management system including a data collection system using a data agent container according to an embodiment of the present invention.
  • a Hadoop-based mass data collection management system 50 including a data collection system 10 using a data agent container may include a data collector 100 and a data collection controller 200. It may include a control module 500, a job arrangement module 600, a management module 700, and a data collection module 800.
  • the control module 500 may perform an overall control operation of data collection management.
  • the job batch module 600 may perform a function of processing a reserved job.
  • the management module 700 may perform a function of managing the data collector 100.
  • the management module 700 may include a data collection modeler 710, a data collector distribution module 720, and a data collector monitoring module 730.
  • the data collection modeler 710 may provide a user interface for setting processing of the data collector 100 to collect data.
  • the data collector distribution module 720 may perform a function of processing a batch distribution of the data collector 100 to each collection server.
  • the data collector monitoring module 730 may perform a function of monitoring work history and performance information of the data collector 100 distributed to the collection server.
  • the data collection module 800 relates to a support module for performing a collection operation in the data collector 100.
  • the data collection module 800 may include a web crawler unit 810, a database (DB: DataBase) interworking unit 820, a log file collector 830, and a sensor data collector 840.
  • DB DataBase
  • the web crawler unit 810 may perform a function of collecting data through a website.
  • the DB interworking unit 820 may perform a function of collecting data from a database.
  • the log file collector 830 may perform a function of collecting log data from a server where logs are stored.
  • the sensor data collector 840 may perform a function of collecting data generated by various sensors.
  • FIG. 6 is a flowchart illustrating a Hadoop-based mass data collection management method including a data collection system using a data agent container according to an embodiment of the present invention
  • FIG. 7 illustrates detailed steps of a data collection setup step.
  • the Hadoop-based mass data collection management method may include a data collection setting step S100, a data collector distribution step S200, and a data collector monitoring step S300.
  • the data collection setting step (S100) is a step of setting collection information of the data collector 100 through the data collection modeler 810 through a user interface.
  • Data collection setting step (S100) is a step of determining the type of collected data (S110), the collection position setting step (S120) of the data collector 100, the storage data type setting step (S130), the collection cycle setting step (S140) And setting the access information of the collection server (S150).
  • the collected data here may be, but not limited to, a website social network, a log, a sensor, and the like.
  • the web crawler unit 810 may collect news, social networks, weather information, and public data of the government. Each data may be collected according to keywords and collection periods, and the collected information may be stored in the Hadoop file system.
  • the DB interlocking unit 820 may access the database, check the table information of the connected database, and select a collection target table.
  • the data collector 100 may collect data by using the DB interlocking unit 820. Can be stored on Hadoop file system
  • the log file collector 830 and the sensor data collector 840 use the data collection modeler 710 to collect the collection location, the data type, the collection cycle, and the connection information of the collection server through the user interface. And remotely deploy the data collector 100 to each collection server using the data collector distribution module 720, and the distributed data collector 100 transmits the corresponding log file or sensor data based on the set information. The collected data can then be stored in a designated system.
  • the data collector distribution step (S200) may remotely distribute the data collector 100 to a collection target server by using the data collector distribution module 720.
  • the data collector 100 may be collectively distributed to the collection target server set by the data collection modeler 710.
  • the user can monitor the progress of the collection process, check the relevant log when an error occurs in the agent collection process, and can monitor the agent status information and the performance of the collection server.
  • Hadoop-based large-capacity data collection management method and system thereof can improve the set-up time and process for data collection through a technology that can easily and quickly distribute the agent to a collection server from a remote location.
  • the present invention can be used in the field of data collection using the data agent container and its system field.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템은 데이터 수집기; 상기 데이터 수집기를 제어하는 데이터 수집 제어기; 및 상기 데이터 수집기와 상기 데이터 수집 제어기를 서로 연결하는 제어 모니터링 채널;을 포함하고, 상기 데이터 수집 제어기는, 데이터 수집기 설치 및 제거 제어 모듈; 데이터 수집기 시작 및 종료 제어 모듈; 및 데이터 수집기 상태 모니터링 모듈;을 포함하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.

Description

데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템
본 발명은 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템에 관한 것이다. 보다 상세하게는 데이터 수집기를 원격지에서 제어할 수 있고, 데이터 수집기의 동작의 정상적 수행 여부를 확인하여 모니터링 할 수 있는 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템에 관한 것이다.
최근 컴퓨팅 패러다임이 클라우드 환경으로 전환되면서 빅데이터의 처리에 대한 관심이 고조되고 있다. 하지만 다수의 사용자가 생성한 데이터를 수집 및 저장, 분석하기 위하여 추가적인 자원이 필요하다. 이러한 문제는 데이터를 수집하는 것뿐만 아니라 데이터를 분석할 수 있는 플랫폼을 필요로 한다. 이러한 플랫폼의 개발에 따라 하둡(Hadoop) 기반으로 동작하는 플랫폼에 대한 관심이 높아지고 있다.
하둡이란 대용량 데이터를 분산 처리할 수 있는 오픈소스 프레임워크로서, 데이터를 분산된 여러 컴퓨터가 병렬로 나누어서 동시에 처리하는 방식으로 빠른 속도로 데이터를 처리하고 값싼 범용 컴퓨터들로 이루어진 클러스터를 구축하는 것 또한 비용면에서도 유리하여 최근 주목 받고 있는 기술이다.
그러나 빅데이터가 이슈가 되면서 하둡을 비롯한 다양한 빅데이터 분석 도구들이 나왔지만 빅데이터를 수집하는 툴의 기능은 상대적으로 미미한 상태이고, 종래의 수집기는 원격지에서 제어할 수 없는 한계가 있어, 수집기가 정상적으로 동작하는지를 확인할 수 없어 수집기의 동작을 모니터링 할 수 없는 문제가 지적되고 있다.
본 발명의 목적은 데이터 수집기를 원격지에서 제어할 수 있는 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템을 제공할 수 있다.
또한 데이터 수집기의 동작이 정상적인지 여부에 대한 확인이 가능하고, 데이터 수집기의 동작을 모니터링할 수 있는 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템을 제공할 수 있다.
본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템은 데이터 수집기; 상기 데이터 수집기를 제어하는 데이터 수집 제어기; 및 상기 데이터 수집기와 상기 데이터 수집 제어기를 서로 연결하는 제어 모니터링 채널;을 포함하고, 상기 데이터 수집 제어기는, 데이터 수집기 설치 및 제거 제어 모듈; 데이터 수집기 시작 및 종료 제어 모듈; 및 데이터 수집기 상태 모니터링 모듈;을 포함하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템은 상기 데이터 수집기 설치 및 제거 제어 모듈은 상기 제어 모니터링 채널의 제어 채널을 통해 상기 데이터 수집기의 설치 및 제거를 제어하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 시작 및 종료 제어 모듈은 상기 제어 모니터링 채널의 제어 채널을 통해 상기 데이터 수집기의 시작 및 종료를 제어하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템은 상기 데이터 수집기 상태 모니터링 모듈은 상기 제어 모니터링 채널의 모니터링 채널을 통해 상기 데이터 수집기의 상태를 모니터링하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집기에서 사용되는 환경 설정 정보와 상기 데이터 수집기의 리소스를 표준 형태로 관리하고 제공하는 데이터 에이전트 리소스 로더;를 더 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집기는, 데이터베이스로부터 데이터를 읽어 들이는 데이터 리더 플러그인; 저장소에 데이터를 기록하는 데이터 라이트 플러그인; 및 상기 데이터 리더 플러그인과 상기 데이터 라이트 플러그인을 서로 연결하는 데이터 파이프 플러그인;을 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집기는 제1 데이터 리더 플러그인, 제1 데이터 라이트 플러그인 및 제1 데이터 파이프 플러그인을 포함하는 제1 데이터 수집기; 및 제2 데이터 리더 플러그인, 제2 데이터 라이트 플러그인 및 제2 데이터 파이프 플러그인을 포함하는 제2 데이터 수집기;를 포함하고, 상기 제1 데이터 라이트 플러그인은 상기 제2 데이터 리더 플러그인에 원격으로 데이터를 전송하여 데이터를 기록하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집기는 제1 데이터 리더 플러그인, 제1 데이터 라이트 플러그인 및 제1 데이터 파이프 플러그인을 포함하는 제1 데이터 수집기; 제2 데이터 리더 플러그인, 제2 데이터 라이트 플러그인 및 제2 데이터 파이프 플러그인을 포함하는 제2 데이터 수집기; 및 제3 데이터 리더 플러그인, 제3 데이터 라이트 플러그인 및 제3 데이터 파이프 플러그인을 포함하는 제3 데이터 수집기;를 포함하고, 상기 제1 데이터 라이트 플러그인은 상기 제2 데이터 리더 플러그인 및 상기 제3 데이터 리더 플러그인 중 적어도 하나에 원격으로 데이터를 전송하여 데이터를 기록하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 데이터 수집 관리 하는 제어 모듈; 예약 작업을 처리하는 작업배치모듈; 상기 데이터 수집기를 관리하는 관리모듈; 및 상기 데이터 수집기가 수집 작업을 수행하도록 하는 데이터 수집 모듈;을 포함하고, 상기 관리모듈은, 데이터 수집을 위한 데이터 수집기의 설정을 수행하는 데이터 수집 모델러; 상기 데이터 수집기를 수집서버로 배포하는 데이터 수집기 배포 모듈; 및 배포된 데이터 수집기의 작업 내용과 성능 정보를 모니터링 하는 데이터 수집기 모니터링 모듈;을 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집 모듈은 웹사이트를 통해 데이터를 수집하는 웹크롤러; 데이터베이스로부터 데이터를 수집하는 데이터베이스 연동부; 로그가 저장되는 서버에서 로그 데이터를 수집하는 로그 파일 수집부; 및 센서에서 발생되는 데이터를 수집하는 센서 데이터 수집부;를 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
또한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 상기 데이터 수집 모델러는 수집 데이터의 종류, 에이전트의 수집 위치, 저장 데이터 타입, 수집 주기 및 수집 서버의 접속 정보 중 적어도 하나를 설정하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 제공할 수 있다.
본 발명에 따른 실시예는 다양한 형태의 데이터를 플러그인(Plug-in) 형태의 수집 기능을 실행시켜주는 에이전트를 제공하며 에이전트 간의 자유로운 연결을 통해 복잡한 데이터 수집이 가능하며 다양한 에이전트를 에이전트 컨테이너를 통해 쉽게 관리 및 제어 그리고 모니터링 할 수 있다.
도 1은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 일 예를 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 다른 예를 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 또 다른 예를 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 포함하는 하둡 기반 대용량 데이터 수집 관리 시스템의 구성도이다.
도 6은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 포함하는 하둡 기반 대용량 데이터 수집 관리 방법의 흐름도이다.
도 7은 데이터 수집 설정 단계의 세부 단계를 나타낸 것이다.
이하, 본 발명의 실시예에 의한 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템의 도면을 참고하여 상세하게 설명한다. 다음에 소개되는 실시 예들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고, 도면들에 있어서, 장치의 크기 및 두께 등은 편의를 위하여 과장되어 표현될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조 번호들은 동일한 구성요소들을 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 도면에서 층 및 영역들의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장될 수 있다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며, 따라서 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다 (comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/ 또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)은 데이터 수집기(100)와 데이터 수집 제어기(200)를 포함할 수 있다. 그리고 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)은 데이터 에이전트 리소스 로더(400)를 더 포함할 수 있다.
데이터 수집기(100)는 복수의 데이터 수집기로 구성될 수 있고, 도면의 예에 따르면 데이터 수집기(100)는 제1 내지 제3 데이터 수집기(110, 120, 130)를 포함할 수 있다.
데이터 수집 제어기(200)는 복수의 데이터 수집 제어기로 구성될 수 있고, 도면의 예에 따르면 데이터 수집 제어기(200)는 제2 내지 제3 데이터 수집기(110, 120, 130)를 포함할 수 있다.
제1 내지 제3 데이터 수집기(110, 120, 130) 각각은 제1 내지 제3 제어 모니터링 채널(310, 320, 330)을 통해 데이터 수집 제어기(200)와 연결될 수 있다.
제1 내지 제3 제어 모니터링 채널(310, 320, 330) 각각은 제1 내지 제3 제어 채널과 제1 내지 제3 모니터링 채널로 구분될 수 있다.
데이터 수집 제어기(200)는 수집서버 상에서의 데이터 수집기(100)의 설치 또는 설치된 데이터 수집기(100)의 제거 기능을 수행할 수 있고, 데이터 수집기(100)와 연결된 제1 내지 제3 제어 채널을 구성할 수 있으며, 데이터 수집기(100)와 연결된 별도의 각각의 제1 내지 제3 제어 채널을 통해 데이터 수집기(100)의 수집 동작 시작 또는 수집 동작이 시작된 데이터 수집기(100)의 수집 동작 종료를 제어할 수 있다.
또한 데이터 수집 제어기(200)는 데이터 제어기(100)와 연결된 별도의 제1 내지 제3 모니터링 채널을 구성할 수 있고, 데이터 수집 제어기(200)는 데이터 제어기(100)와 연결된 별도의 각각의 제1 내지 제3 모니터링 채널을 통해 데이터 제어기(100)의 상태를 모니터링 할 수 있다.
또한 데이터 수집 제어기(200)는 데이터 수집기 설치 및 제거 제어 모듈(210)과 데이터 수집기 시작 및 종료 제어 모듈(220) 그리고 데이터 수집기 상태 모니터링 모듈(230)을 포함할 수 있다.
데이터 수집기 설치 및 제거 제어 모듈(210)은 제1 제어 채널(310)을 통해 제1 내지 제3 데이터 수집기(110, 120), 130) 각각의 설치 및 제거를 제어하는 기능을 수행할 수 있다.
데이터 수집기 시작 및 종료 제어 모듈(220)은 제2 제어 채널(320)을 통해 제1 내지 제3 데이터 수집기(110, 120, 130) 각각의 시작 및 종료를 제어할 수 있다.
데이터 수집기 상태 모니터링 모듈(230)은 제3 모니터링 채널(330)을 통해 제1 내지 제3 데이터 수집기(110, 120, 130) 각각의 상태를 모니터링 할 수 있다.
또한 데이터 에이전트 리소스 로더(400)는 데이터 수집기(100)에서 사용되는 환경 설정 정보와 데이터 수집기(100)의 리소스를 표준 형태로 관리하고 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 일 예를 나타낸 블록도이다.
도 2를 참조하면, 데이터 수집기(100)는 데이터 리더 플러그인(Data Reader Plugin: 101)과 데이터 라이트 플러그인(Data Write Plugin: 102) 그리고 데이터 리더 플러그인(101)과 데이터 라이트 플러그인(102)을 서로 연결하는 데이터 파이프 플러그인(Data Pipe Plugin: 103)을 포함할 수 있다.
데이터 리더 플러그인(101)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 데이터 라이트 플러그인(102)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 데이터 리더 플러그인(101)과 데이터 라이트 플러그인(102) 사이의 데이터 파이프 플러그인(103) 통해 데이터가 전송될 수 있다.
도 3은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 다른 예를 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 구성하는 다른 예인 데이터 수집기(100)는 제1 데이터 수집기(110) 및 제2 데이터 수집기(120)를 포함할 수 있다.
제1 데이터 수집기(110)는 제1 데이터 리더 플러그인(111)과 제1 데이터 라이트 플러그인(112) 그리고 제1 데이터 파이프 플러그인(113)을 포함할 수 있다.
제1 데이터 리더 플러그인(111)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 제1 데이터 라이트 플러그인(112)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제1 데이터 리더 플러그인(111)과 제1 데이터 라이트 플러그인(112) 사이의 제1 데이터 파이프 플러그인(113) 통해 데이터가 전송될 수 있다.
제2 데이터 수집기(120)는 제2 데이터 리더 플러그인(121)과 제2 데이터 라이트 플러그인(122) 그리고 제2 데이터 파이프 플러그인(123)을 포함할 수 있다.
제2 데이터 리더 플러그인(121)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 제2 데이터 라이트 플러그인(122)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제2 데이터 리더 플러그인(121)과 제2 데이터 라이트 플러그인(122) 사이의 제2 데이터 파이프 플러그인(123) 통해 데이터가 전송될 수 있다.
또한 제1 데이터 라이트 플러그인(112)은 원격 전송을 통해 제2 데이터 리더 플러그인(121)에 데이터 전송이 가능하여, 제2 데이터 리더 플러그인(121)에 데이터 기록이 가능하고, 제2 데이터 리더 플러그인(121)은 제1 데이터 라이트 플러그인(112)으로부터 데이터를 읽어 드릴 수 있다.
본 발명의 실시예에 따른 데이터 에이전트 컨테이너(10)를 구성하는 제1 및 제2 데이터 수집기(110, 120)는 통신 망이 분리된 곳에서도 데이터 전송이 가능한 이점이 있다.
도 4는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 구성하는 데이터 수집기의 또 다른 예를 나타낸 블록도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 구성하는 또 다른 예인 데이터 수집기(100)는 제1 데이터 수집기(110), 제2 데이터 수집기(120) 그리고 제3 데이터 수집기(130)를 포함할 수 있다.
제1 데이터 수집기(110)는 제1 데이터 리더 플러그인(111)과 제1 데이터 라이트 플러그인(112) 그리고 제1 데이터 파이프 플러그인(113)을 포함할 수 있다.
제1 데이터 리더 플러그인(111)은 다양한 형태의 데이터 소스(DB)로부터 데이터를 읽어드리고, 제1 데이터 라이트 플러그인(112)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제1 데이터 리더 플러그인(111)과 제1 데이터 라이트 플러그인(112) 사이의 제1 데이터 파이프 플러그인(113) 통해 데이터가 전송될 수 있다.
제2 데이터 수집기(120)는 제2 데이터 리더 플러그인(121)과 제2 데이터 라이트 플러그인(122) 그리고 제2 데이터 파이프 플러그인(123)을 포함할 수 있다.
제2 데이터 리더 플러그인(121)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 제2 데이터 라이트 플러그인(122)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제2 데이터 리더 플러그인(121)과 제2 데이터 라이트 플러그인(122) 사이의 제2 데이터 파이프 플러그인(123) 통해 데이터가 전송될 수 있다.
또한 제1 데이터 라이트 플러그인(112)은 원격 전송을 통해 제2 데이터 리더 플러그인(121)에 데이터 전송이 가능하여, 제2 데이터 리더 플러그인(121)에 데이터 기록이 가능하고, 제2 데이터 리더 플러그인(121)은 제1 데이터 라이트 플러그인(112)으로부터 데이터를 읽어 드릴 수 있다.
제3 데이터 수집기(130)는 제3 데이터 리더 플러그인(131)과 제3 데이터 라이트 플러그인(132) 그리고 제3 데이터 파이프 플러그인(133)을 포함할 수 있다.
제3 데이터 리더 플러그인(131)은 다양한 형태의 데이터 소스로부터 데이터를 읽어드리고, 제3 데이터 라이트 플러그인(132)은 다양한 형태의 데이터 소스에 데이터를 기록할 수 있고, 제3 데이터 리더 플러그인(131)과 제3 데이터 라이트 플러그인(132) 사이의 제3 데이터 파이프 플러그인(133) 통해 데이터가 전송될 수 있다.
또한 제1 데이터 라이트 플러그인(112)은 원격 전송을 통해 제3 데이터 리더 플러그인(131)에 데이터 전송이 가능하여 제3 데이터 리더 플러그인(131)에 데이터 기록이 가능하고, 제3 데이터 리더 플러그인(131)은 제1 데이터 라이트 플러그인(112)으로부터 데이터를 읽어 드릴 수 있다.
본 발명의 실시예에 따른 데이터 에이전트 컨테이너(10)를 구성하는 제1 내지 제3 데이터 수집기(110, 120, 130)는 통신 망이 분리된 곳에서도 데이터 전송이 가능한 이점이 있다.
전술한 제1 내지 제3 데이터 수집기(110, 120, 130) 각각의 데이터 리드 플러그인은 다양한 형태의 데이터를 읽어 들일 수 있도록 데이터 리드를 플러그인 형태로 구성한 것이고, 데이터 라이트 플러그인은 데이터 파이프로부터 읽어 들인 데이터를 다양한 저장소로 데이터의 전송 및 기록할 수 있도록 플러그인 형태로 구성할 수 있고, 데이터 리더로부터 읽어 들인 데이터를 데이터 라이트로 전달하는 데이터 파이프를 플러그인 형태로 구성할 수 있으며, 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)에 자신의 해당 데이터 에이전트의 환경 설정 정보 및 다양한 리소스를 요청하여 가져다 사용할 수 있다.
본 발명에 따른 실시예는 다양한 형태의 데이터를 플러그인(Plug-in) 형태의 수집 기능을 실행시켜주는 에이전트를 제공하며 에이전트 간의 자유로운 연결을 통해 복잡한 데이터 수집이 가능하며 다양한 에이전트를 에이전트 컨테이너를 통해 쉽게 관리 및 제어 그리고 모니터링 할 수 있다.
전술한 데이터 수집기인 에이전트에 대한 수집 방법 설정 및 에이전트 배포를 통한 수집 상태 모니터링 하는 방법을 이하에서 구체적으로 설명한다.
도 5는 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 포함하는 하둡 기반 대용량 데이터 수집 관리 시스템의 구성도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템(10)을 포함하는 하둡 기반 대용량 데이터 수집 관리 시스템(50)은 데이터 수집기(100)와 데이터 수집 제어기(200), 제어모듈(500), 작업배치모듈(600), 관리모듈(700), 데이터 수집 모듈(800)을 포함할 수 있다.
제어모듈(500)은 데이터 수집 관리의 전반적인 제어 동작을 수행할 수 있다.
작업배치모듈(600)은 예약 작업을 처리하는 기능을 수행할 수 있다.
관리모듈(700)은 데이터 수집기(100)를 관리하는 기능을 수행할 수 있다.
관리모듈(700)은 데이터 수집 모델러(710), 데이터 수집기 배포 모듈(720) 및 데이터 수집기 모니터링 모듈(730)을 포함할 수 있다.
데이터 수집 모델러(710)는 데이터를 수집하기 위한 데이터 수집기(100)의 설정 처리를 위한 유저인터페이스를 제공할 수 있다.
데이터 수집기 배포 모듈(720)은 데이터 수집기(100)를 각각의 수집서버로 일괄 배포하는 작업을 처리하는 기능을 수행할 수 있다.
데이터 수집기 모니터링 모듈(730)은 수집서버로 배포된 데이터 수집기(100)의 작업 내역과 성능 정보를 모니터링 하는 기능을 수행할 수 있다.
데이터 수집 모듈(800)은 데이터 수집기(100)에서 수집 작업을 하기 위한 지원 모듈에 관한 것이다.
데이터 수집 모듈(800)은 웹크롤러부(810), 데이터베이스(이하 DB: DataBase) 연동부(820), 로그파일 수집부(830) 및 센서 데이터 수집부(840)를 포함할 수 있다.
웹크롤러부(810)은 웹사이트를 통해 데이터를 수집하는 기능을 수행할 수 있다.
DB 연동부(820)는 데이터베이스로부터 데이터를 수집하는 기능을 수행할 수 있다.
로그파일 수집부(830)는 로그가 저장되는 서버에서 로그 데이터를 수집하는 기능을 수행할 수 있다.
센서 데이터 수집부(840)는 각종 센서에서 발생되는 데이터를 수집하는 기능을 수행할 수 있다.
도 6은 본 발명의 실시예에 따른 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템을 포함하는 하둡 기반 대용량 데이터 수집 관리 방법의 흐름도이고, 도 7은 데이터 수집 설정 단계의 세부 단계를 나타낸 것이다.
도 6 및 도 7을 참조하면, 하둡 기반 대용량 데이터 수집 관리 방법은 데이터 수집 설정 단계(S100), 데이터 수집기 배포 단계(S200) 및 데이터 수집기 모니터링 단계(S300)를 포함할 수 있다.
데이터 수집 설정 단계(S100)는 데이터 수집 모델러(810)를 통해 데이터 수집기(100)의 수집 정보를 유저인터페이스를 통해 설정하는 단계이다.
데이터 수집 설정 단계(S100)는 수집 데이터의 종류를 결정하는 단계(S110), 데이터 수집기(100)의 수집 위치 설정 단계(S120), 저장 데이터 타입 설정 단계(S130), 수집 주기 설정 단계(S140) 및 수집 서버의 접속 정보 설정 단계(S150)를 포함할 수 있다. 여기서의 수집 데이터는 웹 사이트 소셜 네트워크, 로그, 센서 등이 될 수 있으나 이에 한정하는 것은 아니다.
또한 데이터 수집기(100)를 통해 수집 가능한 데이터 종류를 예를 들면, 웹클롤러부(810)에 의해 포털 사이트에 게재된 뉴스, 소셜 네트워크, 기상 정보, 정부의 공공 데이터를 수집할 수 있다. 그리고 각각의 데이터를 키워드, 수집기간 별로 수집될 수 있고, 수집된 정보를 하둡 파일 시스템에 저장될 수 있다.
또한 DB 연동부(820)에 의해 데이터베이스에 접속하고, 접속한 데이터베이스의 데이블 정보를 확인하고 수집 대상 테이블을 선택할 수 있고, 데이터 수집기(100)는 DB 연동부(820)를 이용하여 데이터를 수집하여 하둡 파일 시스템에 저장할 수 있다.
또한 로그 파일 수집부(830)와 센서 데이터 수집부(840)는 데이터 수집 모델러(710)를 통해 데이터 수집기(100)의 수집 위치, 데이터 타입, 수집주기 및 수집 서버의 접속 정보를 유저인터페이스를 통해서 설정하고, 데이터 수집기 배포 모듈(720)을 이용하여 각각의 수집 서버에 데이터 수집기(100)를 원격으로 배포하고, 배포된 데이터 수집기(100)는 설정된 정보를 바탕으로 해당 로그 파일이나 센서 데이터를 전송하고, 수집된 데이터는 지정된 시스템에 저장될 수 있다.
데이터 수집기 배포 단계(S200)은 데이터 수집기 배포 모듈(720)을 이용하여 수집 대상 서버에 데이터 수집기(100)를 원격으로 배포할 수 있다. 이 경우, 데이터 수집기(100)는 데이터 수집 모델러(710)에서 설정된 수집 대상 서버로 일괄 배포될 수 있다.
에이전트 모니터링 단계(S300)에서 사용자는 수집 과정의 진행 상태를 모니터링 할 수 있고, 에이전트의 수집 과정에서 에러 발생 시 관련 로그를 확인할 수 있으며, 에이전트의 상태 정보 및 수집 서버의 성능을 모니터링 할 수 있다.
본 발명의 실시예에 따른 하둡 기반 대용량 데이터 수집 관리 방법 및 이의 시스템은 원격지에서 수집 서버로 에이전트를 쉽고 빠르게 배포할 수 있는 기술을 통해 데이터 수집에 대한 설정 시간 및 과정을 향상 시킬 수 있다.
이상에서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
본 발명은 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템 분야에 이용될 수 있다.

Claims (11)

  1. 데이터 수집기;
    상기 데이터 수집기를 제어하는 데이터 수집 제어기; 및
    상기 데이터 수집기와 상기 데이터 수집 제어기를 서로 연결하는 제어 모니터링 채널;을 포함하고,
    상기 데이터 수집 제어기는,
    데이터 수집기 설치 및 제거 제어 모듈;
    데이터 수집기 시작 및 종료 제어 모듈; 및
    데이터 수집기 상태 모니터링 모듈;을 포함하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  2. 제1 항에 있어서,
    상기 데이터 수집기 설치 및 제거 제어 모듈은 상기 제어 모니터링 채널의 제어 채널을 통해 상기 데이터 수집기의 설치 및 제거를 제어하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  3. 제2 항에 있어서,
    상기 데이터 시작 및 종료 제어 모듈은 상기 제어 모니터링 채널의 제어 채널을 통해 상기 데이터 수집기의 시작 및 종료를 제어하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  4. 제3 항에 있어서,
    상기 데이터 수집기 상태 모니터링 모듈은 상기 제어 모니터링 채널의 모니터링 채널을 통해 상기 데이터 수집기의 상태를 모니터링하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  5. 제1 항에 있어서,
    상기 데이터 수집기에서 사용되는 환경 설정 정보와 상기 데이터 수집기의 리소스를 표준 형태로 관리하고 제공하는 데이터 에이전트 리소스 로더;를 더 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  6. 제1 항에 있어서,
    상기 데이터 수집기는,
    데이터베이스로부터 데이터를 읽어 들이는 데이터 리더 플러그인;
    저장소에 데이터를 기록하는 데이터 라이트 플러그인; 및
    상기 데이터 리더 플러그인과 상기 데이터 라이트 플러그인을 서로 연결하는 데이터 파이프 플러그인;을 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  7. 제6 항에 있어서,
    상기 데이터 수집기는
    제1 데이터 리더 플러그인, 제1 데이터 라이트 플러그인 및 제1 데이터 파이프 플러그인을 포함하는 제1 데이터 수집기; 및
    제2 데이터 리더 플러그인, 제2 데이터 라이트 플러그인 및 제2 데이터 파이프 플러그인을 포함하는 제2 데이터 수집기;를 포함하고,
    상기 제1 데이터 라이트 플러그인은 상기 제2 데이터 리더 플러그인에 원격으로 데이터를 전송하여 데이터를 기록하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  8. 제6 항에 있어서,
    상기 데이터 수집기는
    제1 데이터 리더 플러그인, 제1 데이터 라이트 플러그인 및 제1 데이터 파이프 플러그인을 포함하는 제1 데이터 수집기;
    제2 데이터 리더 플러그인, 제2 데이터 라이트 플러그인 및 제2 데이터 파이프 플러그인을 포함하는 제2 데이터 수집기; 및
    제3 데이터 리더 플러그인, 제3 데이터 라이트 플러그인 및 제3 데이터 파이프 플러그인을 포함하는 제3 데이터 수집기;를 포함하고,
    상기 제1 데이터 라이트 플러그인은 상기 제2 데이터 리더 플러그인 및 상기 제3 데이터 리더 플러그인 중 적어도 하나에 원격으로 데이터를 전송하여 데이터를 기록하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  9. 제1 항에 있어서,
    데이터 수집 관리 하는 제어 모듈;
    예약 작업을 처리하는 작업배치모듈;
    상기 데이터 수집기를 관리하는 관리모듈; 및
    상기 데이터 수집기가 수집 작업을 수행하도록 하는 데이터 수집 모듈;을 포함하고,
    상기 관리모듈은,
    데이터 수집을 위한 데이터 수집기의 설정을 수행하는 데이터 수집 모델러;
    상기 데이터 수집기를 수집서버로 배포하는 데이터 수집기 배포 모듈; 및
    배포된 데이터 수집기의 작업 내용과 성능 정보를 모니터링 하는 데이터 수집기 모니터링 모듈;을 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  10. 제9 항에 있어서,
    상기 데이터 수집 모듈은
    웹사이트를 통해 데이터를 수집하는 웹크롤러;
    데이터베이스로부터 데이터를 수집하는 데이터베이스 연동부;
    로그가 저장되는 서버에서 로그 데이터를 수집하는 로그 파일 수집부; 및
    센서에서 발생되는 데이터를 수집하는 센서 데이터 수집부;를 포함하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
  11. 제10 항에 있어서,
    상기 데이터 수집 모델러는 수집 데이터의 종류, 에이전트의 수집 위치, 저장 데이터 타입, 수집 주기 및 수집 서버의 접속 정보 중 적어도 하나를 설정하는 것을 특징으로 하는 데이터 에이전트 컨테이너를 이용한 데이터 수집 시스템.
PCT/KR2016/009617 2016-08-30 2016-08-30 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템 WO2018043767A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0110404 2016-08-30
KR1020160110404A KR20180024360A (ko) 2016-08-30 2016-08-30 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템

Publications (1)

Publication Number Publication Date
WO2018043767A1 true WO2018043767A1 (ko) 2018-03-08

Family

ID=61301126

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009617 WO2018043767A1 (ko) 2016-08-30 2016-08-30 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템

Country Status (2)

Country Link
KR (1) KR20180024360A (ko)
WO (1) WO2018043767A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416285B1 (en) * 2019-04-30 2022-08-16 Splunk Inc. Efficient and secure scalable-two-stage data collection

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102222287B1 (ko) 2018-05-17 2021-03-02 동서대학교 산학협력단 은닉 url에 포함된 정형 및 비정형 데이터의 수집을 위한 웹 크롤러 시스템
KR102616652B1 (ko) * 2023-04-27 2023-12-27 쿠팡 주식회사 전자 장치 및 그의 로그 데이터 관리 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090097785A (ko) * 2008-03-11 2009-09-16 가부시끼가이샤 도시바 원격 디바이스를 감시 및 진단하기 위한 시스템
US20120144250A1 (en) * 2010-12-07 2012-06-07 Brian Lee Visual Outage Management Tool
KR20120118866A (ko) * 2011-04-20 2012-10-30 한국교통대학교산학협력단 웹기술을 이용하여 저성능 원격지 장치를 제어하기 위한 인터페이스 구축 시스템 및 그 방법
US20130124483A1 (en) * 2011-11-10 2013-05-16 Treasure Data, Inc. System and method for operating a big-data platform
US20130204948A1 (en) * 2012-02-07 2013-08-08 Cloudera, Inc. Centralized configuration and monitoring of a distributed computing cluster

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090097785A (ko) * 2008-03-11 2009-09-16 가부시끼가이샤 도시바 원격 디바이스를 감시 및 진단하기 위한 시스템
US20120144250A1 (en) * 2010-12-07 2012-06-07 Brian Lee Visual Outage Management Tool
KR20120118866A (ko) * 2011-04-20 2012-10-30 한국교통대학교산학협력단 웹기술을 이용하여 저성능 원격지 장치를 제어하기 위한 인터페이스 구축 시스템 및 그 방법
US20130124483A1 (en) * 2011-11-10 2013-05-16 Treasure Data, Inc. System and method for operating a big-data platform
US20130204948A1 (en) * 2012-02-07 2013-08-08 Cloudera, Inc. Centralized configuration and monitoring of a distributed computing cluster

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416285B1 (en) * 2019-04-30 2022-08-16 Splunk Inc. Efficient and secure scalable-two-stage data collection
US11934869B1 (en) 2019-04-30 2024-03-19 Splunk Inc. Enhancing efficiency of data collection using a discover process

Also Published As

Publication number Publication date
KR20180024360A (ko) 2018-03-08

Similar Documents

Publication Publication Date Title
WO2012111905A2 (ko) 맵 리듀스를 이용한 분산 메모리 클러스터 제어 장치 및 방법
WO2012057581A4 (ko) 클라우드 컴퓨팅 시스템 및 그의 데이터 동기화 방법
CN110392001B (zh) 机架级网络交换机
WO2018043767A1 (ko) 데이터 에이전트 컨테이너를 이용한 데이터 수집 방법 및 이의 시스템
CN104182288A (zh) 一种服务器集群系统功耗自动化测试的方法
WO2014069827A1 (en) System and method for providing data analysis service in a cloud environment
WO2017152650A1 (zh) 一种摄像机资源共享的方法和装置
WO2009091222A2 (en) Method and apparatus for outputting event of third party device in home network supporting upnp remote protocol
WO2017054445A1 (zh) 一种文件管理方法、服务器及网络附属存储设备
WO2014029111A1 (zh) 一种用户行为处理系统及方法
WO2018094839A1 (zh) 一种移动终端预装应用的安装方法及装置
WO2012070900A2 (ko) 개인 장치간 이벤트 및 데이터 공유 시스템
WO2013028009A2 (ko) 스마트 오피스 시스템 및 운용을 위한 서버 및 운용 방법
WO2013027922A1 (ko) 클라우드 컴퓨팅 시스템의 압축 이미지 파일 관리 장치 및 방법
WO2013069886A1 (en) Facilities control system and operating method of the same
WO2023182661A1 (ko) 빅데이터를 분석하는 전자 장치 및 그 동작 방법
WO2015076493A1 (ko) 사전 장애 탐지 시스템 및 방법
WO2020222407A1 (ko) 머신 러닝 플랫폼 관리 시스템 및 방법
KR20180024367A (ko) 하둡 기반 대용량 데이터 수집 관리 방법 및 이의 시스템
CN103514044A (zh) 一种动态行为分析系统的资源优化方法、装置和系统
WO2016003127A1 (ko) 서버/스토리지 관리 시스템
WO2018216828A1 (ko) 에너지 빅데이터 관리 시스템 및 그 방법
WO2015190732A1 (ko) 디지털변전소의 지능형 시스템 운영을 위한 에이전트 시스템 및 이의 동작 방법
WO2022220523A1 (ko) 블록 체인 기반의 기업 네트워크를 이용하여 접근 가능한 정보를 관리하는 분산 저장 방법 및 장치
WO2016028014A1 (ko) 전력설비 고유번호 관리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16915247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16915247

Country of ref document: EP

Kind code of ref document: A1