KR102553672B1

KR102553672B1 - 분산 메시징 서버를 통한 데이터 처리 방법, 및 이를 포함하는 분산 메시징 시스템

Info

Publication number: KR102553672B1
Application number: KR1020220131450A
Authority: KR
Inventors: 박상일; 최용석; 함지석
Original assignee: 주식회사 마이링크
Priority date: 2022-10-13
Filing date: 2022-10-13
Publication date: 2023-07-10

Abstract

본 발명의 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법은 모니터링 서버를 통해 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정에 따라 각 시스템의 에이전트를 설정하고, 설정에 따라 수집된 데이터를 분산 메시징 서버를 통하여 타겟 시스템으로 전송하여 타겟 시스템 내의 원하는 위치에 저장할 수 있도록 한다.

Description

분산 메시징 서버를 통한 데이터 처리 방법, 및 이를 포함하는 분산 메시징 시스템{METHOD FOR PROCESSING DATA THROUGH A DISTRIBUTED MESSAGING SERVER, AND DISTRIBUTED MESSAGING SYSTEM INCLUDING THE SAME}

본 발명은 분산 메시징 서버를 통한 데이터 처리 방법, 및 이를 포함하는 분산 메시징 시스템에 관한 것으로, 보다 상세하게는 모니터링 서버를 통해 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정에 따라 각 시스템의 에이전트를 설정하고, 설정에 따라 수집, 처리된 데이터를 분산 메시징 서버를 통하여 타겟 시스템으로 전송하여 타겟 시스템 내의 원하는 위치에 저장할 수 있도록 하는 분산 메시징 서버를 통한 데이터 처리 방법, 및 이를 포함하는 분산 메시징 시스템에 관한 것이다.

기존의 에이전트(agent)는 특정 상황에 특정된 데이터를 수집하기 위해 시스템에 설치되었기 때문에, 시스템마다 각 시스템의 환경에 맞는 형태로 개별적으로 개발되어야 했다. 또한, 동일한 시스템 내에서도 에이전트가 설치된 시스템의 환경이 변경될 때마다, 이에 맞추어 에이전트의 설정을 변경하기 위해 추가적인 개발과정을 거쳐야하는 불편함이 존재했다.

본 발명이 이루고자 하는 기술적 과제는 모니터링 서버를 통해 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정에 따라 각 시스템의 에이전트를 설정하고, 설정에 따라 수집, 처리된 데이터를 분산 메시징 서버를 통하여 타겟 시스템으로 전송하여 타겟 시스템 내의 원하는 위치에 저장할 수 있도록 하는 분산 메시징 서버를 통한 데이터 처리 방법, 및 이를 포함하는 분산 메시징 시스템을 제공하는 것이다.

본 발명의 일 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법은 관리 서버가, 모니터링 서버를 통하여 사용자로부터 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정을 입력받는 단계, 상기 관리 서버가, 입력된 상기 데이터 수집 방식과 상기 데이터 수집 범위에 대한 설정에 따라, 제1시스템에 설치된 제1에이전트를 설정하는 단계, 설정된 상기 제1에이전트를 통하여 상기 제1시스템에서 수집된 수집데이터가 제1분산 메시징 서버를 통하여 상기 관리 서버로 전송되면, 상기 관리 서버는 상기 입력된 상기 데이터 처리 방법에 대한 설정에 따라 상기 수집데이터를 처리하여, 타겟 정보와 처리결과 데이터를 생성하는 단계 및 상기 관리 서버는, 상기 처리결과 데이터를 상기 제1분산 메시징 서버를 통하여 상기 타겟 정보에 상응하는 제2시스템에 설치된 제2에이전트로 전송하는 단계를 포함할 수 있다.

실시 예에 따라, 상기 데이터 수집 방식은, 데이터베이스 접근 데이터 수집 방식, 메모리 접근 데이터 수집 방식, API(Application Programming Interface) 형태의 데이터 수집 방식, 또는 웹크롤러(web crawler)를 통한 데이터 수집 방식일 수 있다.

실시 예에 따라, 상기 데이터 수집 범위는, 새로운 데이터 범위, 변경된 데이터 범위, 또는 특정 폴더에 저장된 데이터 범위일 수 있다.

실시 예에 따라, 상기 타겟 정보는, 상기 제2시스템에 대한 어드레스 정보 및 상기 제2시스템 내의 목표 데이터 저장 공간에 대한 정보를 포함할 수 있다.

실시 예에 따라, 상기 분산 메시징 서버를 통한 데이터 처리 방법은, 상기 관리 서버가 주기적으로 암호화키를 생성하여 상기 제1에이전트, 상기 제2에이전트, 및 상기 모니터링 서버로 배포하는 단계를 더 포함하며, 상기 제1에이전트는 상기 수집 데이터를 상기 암호화키로 암호화하여 암호화된 수집 데이터를 상기 제1분산 메시징 서버를 통하여 상기 관리 서버로 전송할 수 있다.

실시 예에 따라, 상기 제2시스템에 설치된 제2에이전트로 전송하는 단계는, 상기 관리 서버가, 상기 처리결과 데이터를 제2분산 메시징 서버를 통하여 상기 타겟 정보에 상응하는 제2시스템에 설치된 제2에이전트로 전송할 수 있다.

실시 예에 따라, 상기 제1시스템은 상기 제1분산 메시징 서버와 제1네트워크를 구성하며, 상기 제2시스템은 상기 제2분산 메시징 서버와 제2네트워크를 구성하되, 상기 제1네트워크에 포함된 제1시스템과 상기 제2네트워크에 포함된 상기 제2시스템은 지역적으로 이격되어 있을 수 있다.

실시 예에 따라, 상기 분산 메시징 서버를 통한 데이터 처리 방법은, 상기 관리 서버가, 상기 모니터링 서버를 통한 상기 사용자의 제어 입력에 따라, 상기 제1에이전트 또는 상기 제2에이전트를 통하여 처리되고 있는 특정 프로세스를 제어하거나, 상기 제1에이전트 또는 상기 제2에이전트로 명령을 전달하는 단계를 더 포함할 수 있다.

실시 예에 따라, 상기 프로세스의 제어는, 프로세스의 중지, 프로세스의 중단, 또는 프로세스의 재시작을 위한 제어일 수 있다.

실시 예에 따라, 상기 명령은, 상기 제1에이전트 또는 상기 제2에이전트가 설치된 OS(Operating System)에서 지원되는 명령일 수 있다.

실시 예에 따라, 상기 분산 메시징 서버를 통한 데이터 처리 방법은, 상기 관리 서버가, 상기 사용자로부터 입력된 상기 데이터 수집 방식, 상기 데이터 수집 범위, 및 상기 데이터 처리 방법에 기초하여, 상기 제1분산 메시징 서버를 통하여 전달될 분산 메시지들의 후보 전송 경로별 비용을 계산하고, 계산된 비용에 따라 최소 비용의 전송 경로를 선택하는 단계를 더 포함할 수 있다.

실시 예에 따라, 상기 비용은, 상기 전달될 분산 메시지들의 후보 전송 경로에 따른 총 전송 시간과 메시지 처리량에 기초하여 결정될 수 있다.

실시 예에 따라, 상기 분산 메시징 서버를 통한 데이터 처리 방법은, 상기 사용자로부터 입력된 상기 데이터 수집 방식, 상기 데이터 수집 범위, 및 상기 데이터 처리 방법에 기초하여, 최적의 관리 서버가 할당되는 단계를 더 포함할 수 있다.

실시 예에 따라, 상기 최적의 관리 서버가 할당되는 단계는, 상기 데이터 수집 방식, 상기 데이터 수집 범위, 및 상기 데이터 처리 방법 및, 복수의 관리 서버들 각각의 트래픽 상태에 기초하여, 상기 복수의 관리 서버들 중의 어느 하나의 관리 서버가 최적의 관리 서버로 할당될 수 있다.

본 발명의 실시 예에 따른 관리 서버는, 모니터링 서버를 통하여 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정을 수신하고, 입력된 상기 데이터 수집 방식과 상기 데이터 수집 범위에 대한 설정에 따라, 제1시스템에 설치된 제1에이전트를 설정하는 에이전트 설정 모듈, 설정된 상기 제1에이전트를 통하여 상기 제1시스템에서 수집된 수집데이터가 제1분산 메시징 서버를 통하여 수신되면, 상기 입력된 상기 데이터 처리 방법에 대한 설정에 따라 상기 수집데이터를 처리하여, 타겟 정보와 처리결과 데이터를 생성하는 데이터 처리 모듈 및 상기 관리 서버는, 상기 처리결과 데이터를 상기 제1분산 메시징 서버를 통하여 상기 타겟 정보에 상응하는 제2시스템에 설치된 제2에이전트로 전송하는 단계를 포함할 수 있다.

본 발명의 실시 예에 따른 방법과 장치에 따르면 데이터를 연동하고자 하는 기존 시스템들 간에 연동 데이터의 수집과 처리에 요구되는 요구사항에 맞추어 사용자는 모니터링 서버를 통하여 손쉽게 데이터의 수집 방식, 데이터의 수집 범위, 데이터의 처리 방법에 대해 설정할 수 있다.

본 발명의 실시 예에 따른 방법과 장치에 따르면 설정 절차와 데이터 수집, 처리, 전송의 전 과정에 분산 메시징 서버를 활용함으로써, 여러 시스템들 간의 데이터 연동을 빠르고 효과적으로 처리할 수 있다.

본 발명의 실시 예에 따른 방법과 장치에 따르면 데이터 연동을 에이전트와 에이전트 간에 수행함으로써 보안성을 유지하면서도 타 회사 시스템과 데이터 연동시 확장성을 가질 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 분산 메시징 시스템의 개념도이다.
도 2는 도 1에 도시된 분산 메시징 서버의 일 실시 예에 따른 블록도이다.
도 3은 도 1에 도시된 분산 메시징 시스템의 에이전트 설정 과정에서의 데이터 플로우를 나타낸 도면이다.
도 4는 도 1에 도시된 분산 메시징 시스템 내에서 데이터 수집, 처리, 전송 과정에서의 데이터 플로우를 나타낸 도면이다.
도 5는 도 1에 도시된 관리 서버의 일 실시 예에 따른 블록도이다.
도 6은 본 발명의 다른 실시 예에 따른 분산 메시징 시스템의 개념도이다.
도 7은 도 6에 도시된 분산 메시징 시스템 내에서 데이터 수집, 처리, 전송 과정에서의 데이터 플로우를 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법의 플로우차트이다.

본 발명의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 그러나, 이는 본 발명의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Drive Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 기능이나 동작의 처리에 필요한 데이터를 저장하는 메모리(memory)와 결합되는 형태로 구현될 수도 있다.

그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

도 1은 본 발명의 일 실시 예에 따른 분산 메시징 시스템의 개념도이다. 도 2는 도 1에 도시된 분산 메시징 서버의 일 실시 예에 따른 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 분산 메시징 시스템(10)은 복수의 에이전트들(100-1~100-5), 분산 메시징 서버(200), 모니터링 서버(250), 및 복수의 관리 서버들(300-1~300-3)을 포함할 수 있다.

도 1에서는 설명의 편의를 위하여 5개의 에이전트들(100-1~100-5)과, 3개의 관리 서버들(300-1~300-3)을 예시적으로 도시하고 있으나, 에이전트들의 개수나 관리 서버들의 개수는 다양한 변경이 가능하다.

복수의 에이전트들(100-1~100-5) 각각은 특정 시스템(미도시) 내에 설치되어 해당 시스템 내에서 데이터를 수집하는 기능을 수행할 수 있다.

실시 예에 따라, 시스템마다 개별적으로 에이전트가 설치되어 있을 수 있다.

다른 실시 예에 따라, 하나의 시스템 내에도 서로 구분된 영역의 데이터를 수집하거나, 서로 다른 방식으로 데이터를 수집하는 복수의 에이전트들이 설치될 수 있다.

또 다른 실시 예에 따라, 하나의 에이전트가 복수의 시스템 내의 데이터를 수집할 수도 있다.

분산 메시징 서버(200)는 발행-구독(publish-subscribe) 모델을 기반으로 동작할 수 있다.

분산 메시징 서버(200)는 복수의 에이전트들(100-1~100-5) 각각으로부터 수집된 데이터를 메시지 형태로 수신하며, 메시지를 분할하여 분산된 형태로 처리 또는 전송할 수 있다.

실시 예에 따라, 분산 메시징 서버(200)는 아파치 카프카(apache kafka)로 구현될 수 있으며, 분산 메시징 서버(200)는 복수의 카프카 서버들로 구성된 카프카 클러스터(kafka cluster)를 의미할 수 있다.

도 2를 함께 참조하면, 분산 메시징 서버(200)는 복수의 주키퍼들(zookeepers, 210-1~210-3)로 구성된 주피커 클러스터와, 복수의 브로커들(broker, 220-1~220-3)로 카프카 서버 클러스터로 구성될 수 있다.

복수의 주키퍼들(210-1~210-3)은 복수의 브로커들(220-1~220-3)을 관리할 수 있으며, 복수의 브로커들(220-1~220-3)을 하나의 클러스터로 코디네이팅(cordinationg)하는 기능을 수행할 수 있다.

실시 예에 따라, 분산 메시징 서버(200) 내에서 복수의 주키퍼들(210-1~210-3) 중에서 어느 하나는 카프카 클러스터의 리더(leader)로 동작할 수 있으며, 나머지 주키퍼들은 팔로워(follower)로 동작할 수 있다. 이 경우 리더 주키퍼에 장애가 생긴 경우, 팔로워 주키퍼가 그 기능을 대체할 수 있다.

복수의 브로커들(220-1~220-3) 각각은 카프카 서버를 의미할 수 있다.

실시 예에 따라, 복수의 브로커들(220-1~220-3) 각각은 분산 메시지들이 전송되는 전송 경로의 일 부분을 구성할 수 있다.

데이터 관리를 위한 기준 단위인 복수의 토픽들(topics)이 분산 메시징 서버(200) 내에서 운영될 수 있으며, 각 토픽은 데이터를 분산 처리하는 단위인 복수의 파티션들(partitions)로 구성될 수 있다.

도 1로 돌아와서, 모니터링 서버(250)는 분산 메시징 서버(200)를 통하여 복수의 에이전트들(100-1~100-5)의 상태 또는 복수의 에이전트들(100-1~100-5)가 설치된 시스템의 상태를 모니터링하거나, 분산 메시징 서버(200) 자체의 상태를 모니터링할 수 있다.

실시 예에 따라, 모니터링 서버(250)는 모니터링을 수행하기 위하여 복수의 관리 서버들(300-1~300-3)과 직접 통신을 수행할 수도 있다.

실시 예에 따라, 모니터링 서버(250)는 복수의 에이전트들(100-1~100-5) 각각이 설치된 시스템의 성능을 모니터링할 수 있다.

실시 예에 따라, 모니터링 서버(250)는 분산 메시징 서버(200)의 상태, 예컨대, 주키퍼(210-1~210-3)와 브로커(220-1~220-3)의 특정 프로세스를 모니터링할 수 있다.

모니터링 서버(250)는 사용자로부터 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정을 입력받고, 입력된 설정에 따른 설정 정보를 관리 서버(300)로 전달할 수 있다. 에이전트의 세부적인 설정 과정은 도 3을 참조하여 후술하도록 한다.

복수의 관리 서버들(300-1~300-3) 각각은 모니터링 서버(250)의 모니터링 데이터들을 저장하고, 모니터링 결과에 따라 이상 상황을 관리할 수 있다.

실시 예에 따라, 복수의 관리 서버들(300-1~300-3) 각각은 복수의 에이전트들(100-1~100-5) 각각이 설치된 시스템의 이상 상황(예컨대, CPU 기준 사용량 초과, 메모리 기준 사용량 초과, I/O 기준 사용량 초과, 특정 프로세스 상태 이상 등)에 대응하여, 명령을 생성하여 이상 상황이 발생한 에이전트(100-1~100-5)가 설치된 시스템 측으로 전송할 수 있다.

복수의 관리 서버들(300-1~300-3) 각각은 복수의 에이전트들(100-1~100-5) 각각이 수집한 데이터를 가공 처리, 변환 처리할 수 있다.

복수의 관리 서버들(300-1~300-3) 각각은 가공 처리, 변환 처리된 데이터를 연계된 데이터베이스들(예컨대, redis, Oracle, MS-SQL, My-SQL, Mongo DB, Maria DB 등) 각각의 목적에 맞도록 저장할 수 있다.

복수의 관리 서버들(300-1~300-3) 각각이 수집한 데이터를 처리, 변환하여 전송하는 세부적인 데이터 플로우에 대해서는 도 4와 도 5를 참조하여 후술하도록 한다.

도 3은 도 1에 도시된 분산 메시징 시스템의 에이전트 설정 과정에서의 데이터 플로우를 나타낸 도면이다.

도 1과 도 3을 참조하면, 제1에이전트(100-1)는 제1시스템(110-1)에 설치되고, 제2에이전트(100-2)는 제2시스템(110-2)에 설치된 경우에, 모니터링 서버(250)를 통한 사용자 입력에 따라, 제1에이전트(100-1)와 제2에이전트(100-2)를 설정하기 위한 데이터 플로우가 도시된다. 이 때, 제1시스템(110-1)과 제2시스템(110-1) 각각은 기존에 구축되어 있는 시스템을 폭 ??게 의미할 수 있으며, 레거시 시스템(legacy system)으로 일컬어 질 수 있다.

도 3에서는 설명의 편의를 위하여 도 1에 도시된 복수의 관리 서버들(300-1~300-3) 중에서 제1에이전트(100-1)와 제2에이전트(100-2)의 관리 동작을 실제 수행하는 어느 하나를 관리 서버(300)로 도시하였다.

모니터링 서버(250)를 통해 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정이 입력되면, 모니터링 서버(250)는 입력된 설정에 상응하는 설정 정보를 분산 메시징 서버(200)를 통하여 관리 서버(300) 측으로 전송할 수 있다.

관리 서버(300)는 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정에 관한 설정 정보를 수신하고, 수신된 설정 정보에 대응하여, 분산 메시징 서버(200)를 통하여 제1시스템(110-1)에 설치된 제1에이전트(100-1)와 제2시스템(110-2)에 설치된 제2에이전트(100-2) 각각을 설정할 수 있다.

실시 예에 따라, 제1에이전트(100-1)가 데이터 수집을 하는 상황이라면, 관리 서버(300)는 제1에이전트(100-1)의 데이터 수집 방식과 데이터 수집 범위를 설정할 수 있다.

실시 예에 따라, 관리 서버(300)는 수신된 설정 정보에 대응하여 후술할 관리 서버(300) 내의 데이터 처리 모듈(도 5의 336)의 데이터 처리 방법에 대한 설정 과정을 수행할 수 있다.

실시 예에 따라, 데이터 수집 방식은 데이터베이스 접근 데이터 수집 방식, 메모리 접근 데이터 수집 방식, API(Application Programming Interface) 형태의 데이터 수집 방식, 또는 웹크롤러(web crawler)를 통한 데이터 수집 방식 등일 수 있다.

실시 예에 따라, 데이터 수집 범위는 새로운 데이터 범위, 변경된 데이터 범위, 또는 특정 폴더에 저장된 데이터 범위일 수 있다.

도 4는 도 1에 도시된 분산 메시징 시스템 내에서 데이터 수집, 처리, 전송 과정에서의 데이터 플로우를 나타낸 도면이다.

도 1, 도 3, 및 도 4를 참조하면, 모니터링 서버(250)를 통해 입력된 설정정보에 따라 설정된 제1에이전트(100-1)를 통해 제1시스템(110-1) 내의 데이터를 수집하고, 수집된 데이터를 관리 서버(300)에서 처리하여, 제2시스템(110-1)에 설치된 제2에이전트(100-2)로 전송하는 과정의 데이터 플로우가 도시된다.

제1에이전트(100-1)는 관리 서버(300)를 통해 설정된 데이터 수집 방식과 데이터 수집 범위에 따라 제1시스템(110-1) 내의 데이터를 수집하고, 수집된 데이터를 분산 메시징 서버(200)를 통해 관리 서버(300) 측으로 전송할 수 있다.

관리 서버(300)는 모니터링 서버(250)를 통해 입력된 설정 정보 중 데이터 처리 방법에 대한 설정에 따라, 수신된 수집데이터를 처리하여 타겟 시스템 정보와 처리결과 데이터를 생성할 수 있다.

실시 예에 따라, 타겟 시스템 정보는 제2시스템(110-2)에 대한 어드레스(address) 정보 및 제2시스템(110-2) 내의 목표 데이터 저장 공간(예컨대, 목표 폴더, 목표 데이터베이스 등)에 대한 정보를 포함할 수 있다.

실시 예에 따라, 처리결과 데이터는 사용자 설정에 따른 데이터 처리 방법에 따라 수집 데이터를 처리(예컨대, 가공 또는 변환)한 결과로 생성된 데이터를 의미할 수 있다.

관리 서버(300)는 처리결과 데이터를 분산 메시징 서버(200)를 통하여 타겟 시스템 정보에 상응하는 제2시스템(110-2)에 설치된 제2에이전트(100-2)로 전송할 수 있다.

실시 예에 따라, 제2에이전트(100-2)는 수신된 처리결과 데이터를 제2시스템(110-2) 내의 목표 데이터 저장 공간(예컨대, 목표 폴더, 목표 데이터베이스 등)에 저장할 수 있다.

도 5는 도 1에 도시된 관리 서버의 일 실시 예에 따른 블록도이다.

도 1 내지 도 5를 참조하면, 관리 서버(300)는 통신 인터페이스(310), 메모리(320), 및 프로세서(330)를 포함할 수 있다.

통신 인터페이스(310)는 관리 서버(300)와 분산 메시징 서버(200) 간의 통신을 인터페이싱할 수 있으며, 인터페이싱 과정에서 송수신 되는 데이터 또는 신호를 처리할 수 있다.

메모리(320)는 관리 서버(300)의 기능 수행을 위해 프로세서(330)의 처리 과정에서 필요한 데이터, 프로세서(330)의 처리 과정 중 또는 처리 완료 후에 생성된 데이터를 저장할 수 있다.

실시 예에 따라, 메모리(320)에는 본 발명의 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법을 수행하기 위한 프로그램 코드를 포함하는 프로그램을 저장할 수 있으며, 메모리(320)는 프로세서(330)와 결합되어 상기 프로그램을 실행시킬 수 있다.

메모리(320)는 그 용어에도 불구하고 데이터를 저장할 수 있는 다양한 수단, 예컨대 데이터베이스 등으로 구현될 수 있다.

프로세서(330)는 에이전트 설정 모듈(332), 전송경로 설정 모듈(334), 데이터 처리 모듈(336), 및 암호화 모듈(338)을 포함할 수 있다.

실시 예에 따라, 에이전트 설정 모듈(332), 전송경로 설정 모듈(334), 데이터 처리 모듈(336), 및 암호화 모듈(338)은 프로그램 코드와 상기 프로그램 코드를 수행할 수 있는 하드웨어 리소스(resource)의 논리적 단위 또는 집합으로 구분될 수 있으며, 각각이 반드시 물리적으로 연결된 코드를 의미하거나 한 종류의 하드웨어를 의미하는 것은 아니다. 또한, 설정 모듈(332), 전송경로 설정 모듈(334), 데이터 처리 모듈(336), 및 암호화 모듈(338)은 기능 및 논리적으로 분리될 수 있음을 나타내기 위하여 구분된 것이며, 반드시 구성들 각각이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아니다.

에이전트 설정 모듈(332)은 모니터링 서버(250)를 통하여 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정에 상응하는 설정 정보를 수신하고, 수신된 설정 정보에 대응하여 각 에이전트(예컨대, 100-1, 100-2)를 설정하기 위한 명령을 생성할 수 있다.

실시 예에 따라, 에이전트 설정 모듈(332)에서 생성하는 명령은, 데이터 수집 방식과 데이터 수집 범위에 대한 설정에 상응하는 명령일 수 있다.

생성된 명령은 분산 메시징 서버(200)를 통하여 각 에이전트(예컨대, 100-1, 100-2)로 전송될 수 있다.

에이전트 설정 모듈(332)은 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법 이외에도, 모니터링 서버(250)를 통하여 사용자로부터 입력된 제어 입력에 따라, 에이전트(예컨대, 100-1, 100-2)를 통해 처리되고 있는 특정 프로세스를 제어하거나, 에이전트(예컨대, 100-1, 100-2)로 명령을 전달할 수 있다. 예컨대, 상기 프로세스의 제어는, 프로세스의 중지, 프로세스의 중단, 또는 프로세스의 재시작을 위한 제어일 수 있다. 예컨대, 상기 명령은 에이전트(예컨대, 100-1, 100-2)가 설치된 OS(Operating System)에서 지원되는 명령일 수 있다.

전송경로 설정 모듈(334)은 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 기초하여 분산 메시징 서버(200)를 통하여 전달될 분산 메시지들의 후보 전송 경로에 따른 비용을 계산하고, 계산된 비용에 따라 전송 경로를 선택할 수 있다.

실시 예에 따라, 상기 비용은, 전달될 분산 메시지들의 후보 전송 경로에 따른 총 전송 시간과 요구되는 메시지 처리량에 기초하여 결정될 수 있다. 예컨대, 후보 전송 경로에 따른 총 전송 시간이 길어질수록 비용은 커지고, 요구되는 메시지 처리량이 커질수록 비용도 커질 수 있다. 전송경로 설정 모듈(334)은 비용이 최소인 후보 전송 경로를 실제 분산 메시지를 전송할 전송 경로로 선택할 수 있다.

실시 예에 따라, 상기 전송 경로에는 분산 메시징 서버(200) 내에서 메시지 전송을 담당할 브로커(예컨대, 220-1, 220-2, 또는 220-3)가 포함될 수 있다.

전송경로 설정 모듈(334)은 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 기초하여, 최적의 관리 서버를 할당하도록 설정할 수도 있다. 실시 예에 따라, 최적의 관리 서버의 최종적인 할당은 분산 메시징 서버(200) 내의 주키퍼 클러스터(210-1~210-3)를 통해서 수행될 수도 있다. 이 경우, 선택된 전송 경로에는 데이터 처리를 담당할 관리 서버(예컨대, 300-1, 300-2, 또는 330-3)가 포함될 수 있다.

실시 예에 따라, 전송경로 설정 모듈(334)은 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법과, 복수의 관리 서버들(300-1~300-3)의 트래픽에 기초하여, 최적의 관리 서버를 할당하도록 설정할 수도 있다.

데이터 처리 모듈(336)은 사용자로부터 입력된 데이터 처리 방법에 기초하여, 에이전트(예컨대, 100-1)에 의해 수집된 데이터를 처리할 수 있다.

실시 예에 따라, 데이터 처리 모듈(336)은 시퀀스를 가지는 프로세스를 통해 데이터를 가공할 수 있다.

실시 예에 따라, 데이터 처리 모듈(336)은 수집 데이터를 처리하여 타 시스템(예컨대, 제2시스템(110-2))의 API(Application Programming Interface) 파라미터로 변환할 수 있다.

실시 예에 따라, 데이터 처리 모듈(336)은 수집 데이터를 처리하여 타 시스템(예컨대, 제2시스템(110-2))의 인터페이스에 연동되도록 변환할 수 있다.

실시 예에 따라, 데이터 처리 모듈(336)은 수집 데이터를 처리하여 분석 데이터로 변환할 수 있다.

암호화 모듈(338)은 주기적으로 암호화키를 생성하여 각 에이전트(예컨대, 100-1, 100-2)와 모니터링 서버(250)로 배포할 수 있다. 이 경우, 데이터를 수집하는 측의 에이전트(예컨대, 제1에이전트(100-1))는 배포받은 암호화키로 수집 데이터를 암호화하여 암호화된 데이터를 분산 메시징 서버(200)를 통하여 관리 서버(300) 측으로 전송할 수 있다.

실시 예에 따라, 암호화 모듈(338)이 배포하는 암호화키는 AES(Advanced Encryption Standard)에 따른 암호화키일 수 있다.

도 6은 본 발명의 다른 실시 예에 따른 분산 메시징 시스템의 개념도이다. 도 7은 도 6에 도시된 분산 메시징 시스템 내에서 데이터 수집, 처리, 전송 과정에서의 데이터 플로우를 나타낸 도면이다.

도 6을 참조하면 분산 메시징 시스템(10A)은 복수의 네트워크(NET1, NET#2)로 구성된 시스템이라는 점에서 도 1의 분산 메시징 시스템(10)과 차이가 있다.

도 6에서는 설명의 편의를 위하여 네트워크별로 5개의 에이전트들과, 1개의 관리 서버를 포함하는 경우를 예시적으로 도시하고 있으나, 에이전트들의 개수나 관리 서버들의 개수는 다양한 변경이 가능하다.

제1네트워크(NET#1)와 제2네트워크(NET#2)는 서로 지역적으로 이격된 위치에서 망을 구성될 수 있다.

이 경우, 제1네트워크(NET#1)에 포함된 에이전트들(100A-1~100A-5)은 제1분산 메시징 서버(200A-1)를 통하여 상호 간에 통신하거나, 제1분산 메시징 서버(200A-1)를 통하여 제1관리 서버(300A-1)와 통신할 수 있다. 제2네트워크(NET#2)에 포함된 에이전트들(100A-6~100A-10)은 제2분산 메시징 서버(200A-2)를 통하여 상호 간에 통신하거나, 제2분산 메시징 서버(200A-2)를 통하여 제2관리 서버(300A-2)와 통신할 수 있다.

제1네트워크(NET#1)에 포함된 에이전트들(100A-1~100A-5)와 제2네트워크(NET#2)에 포함된 에이전트들(100A-6~100A-10) 간에 데이터 송수신이 필요한 경우, 제1관리 서버(300A-1)와 제2분산 메시징 서버(200A-2)와의 통신 또는 제2관리 서버(300A-2)와 제1분산 메시징 서버(200A-1)와의 통신을 통하여 데이터가 전달될 수 있다.

도 7을 함께 참조하면, 제1네트워크(NET#1)에 포함된 제1에이전트(100A-1)가 설치된 제1시스템(100A-1)에서 수집된 데이터가, 제2네트워크(NET#2)에 포함된 제6에이전트(100A-6)가 설치된 제2시스템(100A-2)으로 전송되는 경우를 예시적으로 도시하고 있다. 이 때, 제1시스템(110A-1)과 제2시스템(110A-1) 각각은 기존에 구축되어 있는 시스템을 폭 ??게 의미할 수 있으며, 레거시 시스템(legacy system)으로 일컬어 질 수 있다.

이 경우, 제1시스템(100A-1)은 제1분산 메시징 서버(200A-1)와 제1네트워크(NET#1)를 구성하고, 제2시스템(100A-2)은 제2분산 메시징 서버(200A-2)와 제2네트워크(NET#2)를 구성할 수 있으며, 제1시스템(100A-1)과 제2시스템(100A-2)은 지역적으로 이격 될 수 있다.

이 경우, 제1에이전트(100A-1)는 제1시스템(100A-1) 내의 데이터를 수집하여, 수집 데이터를 제1분산 메시징 서버(200A-1)를 통하여 제1관리 서버(300A-1)로 전송할 수 있다. 제1관리 서버(300A-1)는 수집 데이터를 사용자에 의해 입력된 데이터 처리 방법에 따라 처리하고, 처리 결과 데이터를 제2분산 메시징 서버(200A-2)를 통하여 제2시스템(100A-2)의 제6에이전트(100A-6) 측으로 전송할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법의 플로우차트이다.

도 1 내지 도 8을 참조하면, 본 발명의 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법은, 모니터링 서버(예컨대, 250, 250A-1, 250A-2)를 통해 사용자로부터 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정을 입력받을 수 있다(S10).

본 발명의 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법은, S10 단계를 통하여 입력된 데이터 수집 방식과 데이터 처리 범위에 대한 설정에 따라, 제1시스템(예컨대, 110-1, 110A-1)에 설치된 제1에이전트(예컨대, 100-1, 100A-1)를 설정할 수 있다(S20).

본 발명의 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법은, S20 단계에서 설정된 제1에이전트(예컨대, 100-1, 100A-1)를 통하여 제1시스템(예컨대, 110-1, 110A-1)에서 수집된 수집 데이터를 제1분산 메시징 서버(예컨대, 200, 200A-1)를 통하여 수신할 수 있다(S30).

본 발명의 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법은, S10 단계에서 입력된 데이터 처리 방법에 대한 설정에 따라 S30 단계에서 수신된 수집 데이터를 처리하여 타겟 시스템 정보와 처리결과 데이터를 생성할 수 있다(S40).

본 발명의 실시 예에 따른 분산 메시징 서버를 통한 데이터 처리 방법은, S40 단계에서 생성된 처리결과 데이터를 제1분산 메시징 서버(예컨대, 200, 200A-1)를 통하여 제2시스템(예컨대, 110-2, 110A-2)의 제2에이전트(예컨대, 100-2, 100A-6)로 전송할 수 있다(S50).

이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.

10, 10A : 분산 메시징 시스템
100-1~100-5, 100A-1~100A-10 : 에이전트
200, 200A-1, 200A-2 : 분산 메시징 서버
250, 250A-1, 250A-2 : 모니터링 서버
300-1~300-3, 300A-1, 300A-2 : 관리 서버

Claims

관리 서버가, 모니터링 서버를 통하여 사용자로부터 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정을 입력받는 단계;
상기 관리 서버가, 입력된 상기 데이터 수집 방식과 상기 데이터 수집 범위에 대한 설정에 따라, 제1시스템에 설치된 제1에이전트의 데이터 수집 방식과 데이터 수집 범위를 설정하는 단계;
설정된 상기 제1에이전트를 통하여 상기 제1시스템에서 수집된 수집데이터가 제1분산 메시징 서버를 통하여 상기 관리 서버로 전송되면, 상기 관리 서버가 상기 입력된 상기 데이터 처리 방법에 대한 설정에 따라 상기 수집데이터를 처리하여, 타겟 정보와 처리결과 데이터를 생성하는 단계; 및
상기 관리 서버가, 상기 처리결과 데이터를 상기 제1분산 메시징 서버를 통하여 상기 타겟 정보에 상응하는 제2시스템에 설치된 제2에이전트로 전송하는 단계를 포함하며,
상기 타겟 정보는, 상기 제2시스템에 대한 어드레스 정보 및 제2시스템 내의 목표 데이터 저장 공간에 대한 정보를 포함하는, 분산 메시징 서버를 통한 데이터 처리 방법.
제1항에 있어서,
상기 데이터 수집 방식은,
데이터베이스 접근 데이터 수집 방식, 메모리 접근 데이터 수집 방식, API(Application Programming Interface) 형태의 데이터 수집 방식, 또는 웹크롤러(web crawler)를 통한 데이터 수집 방식인, 분산 메시징 서버를 통한 데이터 처리 방법.
제1항에 있어서,
상기 데이터 수집 범위는,
새로운 데이터 범위, 변경된 데이터 범위, 또는 특정 폴더에 저장된 데이터 범위인, 분산 메시징 서버를 통한 데이터 처리 방법.
삭제
제1항에 있어서,
상기 분산 메시징 서버를 통한 데이터 처리 방법은,
상기 관리 서버가 주기적으로 암호화키를 생성하여 상기 제1에이전트, 상기 제2에이전트, 및 상기 모니터링 서버로 배포하는 단계를 더 포함하며,
상기 제1에이전트는 상기 수집 데이터를 상기 암호화키로 암호화하여, 암호화된 수집 데이터를 상기 제1분산 메시징 서버를 통하여 상기 관리 서버로 전송하는, 분산 메시징 서버를 통한 데이터 처리 방법.
제1항에 있어서,
상기 제2시스템에 설치된 제2에이전트로 전송하는 단계는,
상기 관리 서버가, 상기 처리결과 데이터를 제2분산 메시징 서버를 통하여 상기 타겟 정보에 상응하는 제2시스템에 설치된 제2에이전트로 전송하는, 분산 메시징 서버를 통한 데이터 처리 방법.
제1항에 있어서,
상기 제1시스템은 상기 제1분산 메시징 서버와 제1네트워크를 구성하며, 상기 제2시스템은 제2분산 메시징 서버와 제2네트워크를 구성하되,
상기 제1네트워크에 포함된 제1시스템과 상기 제2네트워크에 포함된 상기 제2시스템은 지역적으로 이격되어 있는, 분산 메시징 서버를 통한 데이터 처리 방법.
제1항에 있어서,
상기 분산 메시징 서버를 통한 데이터 처리 방법은,
상기 관리 서버가, 상기 모니터링 서버를 통한 상기 사용자의 제어 입력에 따라, 상기 제1에이전트 또는 상기 제2에이전트를 통하여 처리되고 있는 특정 프로세스를 제어하거나, 상기 제1에이전트 또는 상기 제2에이전트로 명령을 전달하는 단계를 더 포함하는, 분산 메시징 서버를 통한 데이터 처리 방법.
제8항에 있어서,
상기 프로세스의 제어는,
프로세스의 중지, 프로세스의 중단, 또는 프로세스의 재시작을 위한 제어인, 분산 메시징 서버를 통한 데이터 처리 방법.
제8항에 있어서,
상기 명령은,
상기 제1에이전트 또는 상기 제2에이전트가 설치된 OS(Operating System)에서 지원되는 명령인, 분산 메시징 서버를 통한 데이터 처리 방법.
제1항에 있어서,
상기 분산 메시징 서버를 통한 데이터 처리 방법은,
상기 관리 서버가, 상기 사용자로부터 입력된 상기 데이터 수집 방식, 상기 데이터 수집 범위, 및 상기 데이터 처리 방법에 기초하여, 상기 제1분산 메시징 서버를 통하여 전달될 분산 메시지들의 후보 전송 경로별 비용을 계산하고, 계산된 비용에 따라 최소 비용의 전송 경로를 선택하는 단계를 더 포함하는, 분산 메시징 서버를 통한 데이터 처리 방법.
제11항에 있어서,
상기 비용은,
상기 전달될 분산 메시지들의 후보 전송 경로에 따른 총 전송 시간과 메시지 처리량에 기초하여 결정되는, 분산 메시징 서버를 통한 데이터 처리 방법.
제1항에 있어서,
상기 분산 메시징 서버를 통한 데이터 처리 방법은,
상기 사용자로부터 입력된 상기 데이터 수집 방식, 상기 데이터 수집 범위, 및 상기 데이터 처리 방법에 기초하여, 최적의 관리 서버가 할당되는 단계를 더 포함하는, 분산 메시징 서버를 통한 데이터 처리 방법.
제13항에 있어서,
상기 최적의 관리 서버가 할당되는 단계는,
상기 데이터 수집 방식, 상기 데이터 수집 범위, 및 상기 데이터 처리 방법 및, 복수의 관리 서버들 각각의 트래픽 상태에 기초하여, 상기 복수의 관리 서버들 중의 어느 하나의 관리 서버가 최적의 관리 서버로 할당되는, 분산 메시징 서버를 통한 데이터 처리 방법.
모니터링 서버를 통하여 사용자로부터 입력된 데이터 수집 방식, 데이터 수집 범위, 및 데이터 처리 방법에 대한 설정을 수신하고, 입력된 상기 데이터 수집 방식과 상기 데이터 수집 범위에 대한 설정에 따라, 제1시스템에 설치된 제1에이전트의 데이터 수집 방식과 데이터 수집 범위를 설정하는 에이전트 설정 모듈;
설정된 상기 제1에이전트를 통하여 상기 제1시스템에서 수집된 수집데이터가 제1분산 메시징 서버를 통하여 수신되면, 상기 입력된 상기 데이터 처리 방법에 대한 설정에 따라 상기 수집데이터를 처리하여, 타겟 정보와 처리결과 데이터를 생성하는 데이터 처리 모듈; 및
상기 처리결과 데이터를 상기 제1분산 메시징 서버를 통하여 상기 타겟 정보에 상응하는 제2시스템에 설치된 제2에이전트로 전송하는 단계를 포함하며,
상기 타겟 정보는, 상기 제2시스템에 대한 어드레스 정보 및 제2시스템 내의 목표 데이터 저장 공간에 대한 정보를 포함하는,
관리 서버.