KR102623911B1 - 대용량 데이터 처리 및 시각화를 위한 장치 및 방법 - Google Patents

대용량 데이터 처리 및 시각화를 위한 장치 및 방법 Download PDF

Info

Publication number
KR102623911B1
KR102623911B1 KR1020210021680A KR20210021680A KR102623911B1 KR 102623911 B1 KR102623911 B1 KR 102623911B1 KR 1020210021680 A KR1020210021680 A KR 1020210021680A KR 20210021680 A KR20210021680 A KR 20210021680A KR 102623911 B1 KR102623911 B1 KR 102623911B1
Authority
KR
South Korea
Prior art keywords
data
system data
module
delete delete
graphics
Prior art date
Application number
KR1020210021680A
Other languages
English (en)
Other versions
KR20220118051A (ko
Inventor
이의용
Original Assignee
더스카이랩(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더스카이랩(주) filed Critical 더스카이랩(주)
Priority to KR1020210021680A priority Critical patent/KR102623911B1/ko
Publication of KR20220118051A publication Critical patent/KR20220118051A/ko
Application granted granted Critical
Publication of KR102623911B1 publication Critical patent/KR102623911B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Generation (AREA)

Abstract

다양한 실시 예들에 따른 데이터 처리 장치는, 로 데이터(raw data)를 획득하고, 상기 로 데이터를 시스템 데이터로 변환하는 데이터 수집부(data collector), 상기 데이터 수집부로부터 상기 시스템 데이터를 획득하는 멀티 프로세싱 모듈 및 상기 멀티 프로세싱 모듈과 전기적으로 연결되는 시각화 모듈을 포함하고, 상기 멀티 프로세싱 모듈은 상기 시스템 데이터를 전처리(preprocessing)하고, 전처리된 상기 시스템 데이터를 기 저장된 알고리즘에 따라 분류 및 변환하고, 분류 및 변환된 상기 시스템 데이터의 특성을 획득하고, 상기 시각화 모듈은 상기 시스템 데이터의 상기 특성에 기반하여, 데이터 노드를 생성하고, 상기 데이터 노드를 통해, 상기 시스템 데이터에 대한 3차원 그래픽을 생성할 수 있다.

Description

대용량 데이터 처리 및 시각화를 위한 장치 및 방법{APPARATUS AND METHOD FOR BIG DATA PROCESSING AND VISUALIZATION}
본 발명은 대용량 데이터 처리 및 시각화를 위한 장치 및 방법에 관한 것으로서, 대용량의 데이터를 실시간으로 처리하고 시각화 하기 위한 장치 및 방법에 관한 것이다.
최근, 고용량 데이터에 기반한 서비스의 활용이 증가하면서 고용량 데이터를 수신하고, 실시간으로 처리 후 그 결과를 출력할 수 있는 하드웨어 및 소프트웨어 기술도 빠른 속도로 발전하고 있다. 일례로, 이러한 고용량 데이터에 있어서, 빅데이터에 기반한 서비스가 증가하면서 빅데이터 처리 아키텍처 등에 대한 연구가 이루어지고 있다.
이러한 고용량 데이터를 실시간으로 수집, 가공, 처리하기 위해서, 인공지능 시스템을 통해 방대한 데이터를 분석하여, 학습 모델을 구축하는 기술에 대한 연구도 이루어지고 있다.
또한, 이러한 고용량 데이터에 대한 처리 기술과 함께, 이러한 고용량 데이터들을 활용하여 정보 시스템을 모니터링하는 기술로서, SMS(server management system), NMS(network management system) 및 ESM(enterprise security management) 등의 기술들이 활용되고 있다. 이러한 기술들은 수집된 데이터를 바탕으로 대시 보드(dashboard) 또는 2D GUI(graphic user interface)를 생성하고, 이를 사용자에게 제공한다.
대한민국 공개특허 제10-2017-0083887호 (2017.07.19)
종래에 고용량 데이터를 모니터링 및 시각화 하는 기술은 대시 보드 또는 2D GUI 형태를 활용하고, 이러한 대시 보드 또는 2D GUI에 3D 이미지를 입히는 구성을 제공한다. 다만, 이러한 구성으로는 고용량 데이터를 처리하고 그 결과를 사용자에게 제공하는데 제약이 있을 수 있다. 또한, 이러한 구성으로는 사용자에게 직관적인 시각적 모델을 제공하는데 어려움이 있을 수 있다.
또한, 수집된 각각의 데이터의 종류 및 상태에 따라 각각 별개의 인터페이스를 활용함에 따라 네트워크 관리자 또는 사용자가 직접 인터페이스를 제작하거나, 별도의 인터페이스를 확보하여야 하는 어려움이 있을 수 있다.
본 발명의 다양한 실시 예에 따른 데이터 처리 장치는, 로 데이터(raw data)를 획득하고, 상기 로 데이터를 시스템 데이터로 변환하는 데이터 수집부(data collector), 상기 데이터 수집부로부터 상기 시스템 데이터를 획득하는 멀티 프로세싱 모듈 및 상기 멀티 프로세싱 모듈과 전기적으로 연결되는 시각화 모듈을 포함하고, 상기 멀티 프로세싱 모듈은 상기 시스템 데이터를 전처리(preprocessing)하고, 전처리된 상기 시스템 데이터를 기 저장된 알고리즘에 따라 분류 및 변환하고, 분류 및 변환된 상기 시스템 데이터의 특성을 획득하고, 상기 시각화 모듈은 상기 시스템 데이터의 상기 특성에 기반하여, 데이터 노드를 생성하고, 상기 데이터 노드를 통해, 상기 시스템 데이터에 대한 3차원 그래픽을 생성할 수 있다.
본 발명의 다양한 실시 예에 따른 데이터 처리 방법은, 데이터 소스(data source)로부터 로 데이터(raw data)를 획득하는 동작, 획득된 상기 로 데이터에 기반하여 시스템 데이터를 생성하는 동작, 상기 시스템 데이터를 전처리(preprocessing)하고 분류(parsing)하는 동작, 전처리 및 분류된 상기 시스템 데이터로부터 특성을 추출하는 동작, 상기 특성에 기반하여, 데이터 노드를 생성하는 동작, 및 상기 데이터 노드에 기반하여, 상기 시스템 데이터에 대한 3차원 그래픽을 생성하는 동작을 포함할 수 있다.
본 발명은, 대시 보드나 2차원 GUI로 구현하기 어려운 고용량의 데이터 및 정보를 3차원 그래픽으로 구현함으로써, 제공되는 데이터 및 정보의 양을 확대할 수 있다.
또한, 본 발명은 데이터 및 데이터의 정보에 대하여 3차원 그래픽으로 구현하여 사용자에게 제공함으로써, 시각적으로 직관적인 시스템을 제공할 수 있다.
또한, 본 발명은 고용량의 데이터를 실시간으로 수집, 처리하여 사용자에게 직관적인 시스템을 제공함으로써, 고용량 데이터에 대한 즉각적인 피드백을 수신하고, 즉각적으로 반영할 수 있다.
본 발명의 다양한 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 데이터 처리 장치의 구성을 도시한다.
도 2는 일 실시 예에 따른 데이터 처리 장치를 통한 데이터의 흐름을 도시한다.
도 3은 일 실시 예에 따른 전처리부의 구성을 도시한다.
도 4는 일 실시 예에 따른 데이터 처리 방법을 도시하는 흐름도이다.
도 5는 일 실시 예에 따른 인터페이스에 따라 3차원 그래픽을 생성하는 방법을 도시하는 흐름도이다.
도 6는 도 4 내지 도 5의 데이터 처리 방법에 의해 생성되는 3차원 네트워크 시각화 그래픽을 도시한다.
도 7은 도 4 내지 도 5의 데이터 처리 방법에 의해 생성되는 3차원 정보시스템 시각화 그래픽을 도시한다.
도 8은 도 4 내지 도 5의 데이터 처리 방법에 의해 생성되는 3차원 지리 정보 시각화 그래픽을 도시한다.
도 9는 본 발명의 데이터 처리 장치의 대용량 트래픽 시각화 기술의 실제 테스트 화면을 도시한다.
도 1은 일 실시 예에 따른 데이터 처리 장치의 구성을 도시한다. 도 2는 일 실시 예에 따른 데이터 처리 장치를 통한 데이터의 흐름을 도시한다.
도 1 내지 도 2를 함께 참조하면, 일 실시 예에 따른 데이터 처리 장치(100)는 데이터 수집부(110), 멀티 프로세싱 모듈(120), 시각화 모듈(130), 메모리(160) 및 디스플레이(170)를 포함할 수 있다. 다른 실시 예(미도시)에 따르면, 상술한 구성 중 일부(예: 디스플레이(170))는 생략될 수 있고, 다른 구성이 추가될 수 있다.
일 실시 예에 따르면, 데이터 수집부(110)는 로 데이터(raw data)(201)를 획득할 수 있다. 데이터 수집부(110)는 가공되지 않은 데이터인 로 데이터(201)를 수집할 수 있다. 일 실시 예에 따르면, 데이터 수집부(110)는 SNMP(simple network management protocol), Netflow, 로그 서비스(Syslog) 중 적어도 하나를 이용함으로써, 로 데이터(201)를 획득할 수 있다. 예를 들어, 데이터 수집부(110)는 SNMP를 활용함으로써, 로 데이터(201)를 수집할 수 있다. 일 실시 예에 따르면, 데이터 수집부(110)는 일정 속도 이상으로 실시간 데이터를 수집할 수 있다. 예를 들어, 데이터 수집부(110)는 트래픽 속도 5Gbps 이상으로 데이터를 수집할 수 있다.
일 실시 예에 따르면, 데이터 수집부(110)는 획득한 로 데이터(201)를 변환할 수 있다. 일 실시 예에 따르면, 데이터 수집부(110)는 획득한 로 데이터(201)를 시스템 데이터(예: 시스템 로그, syslog-ng)(202)로 변환할 수 있다. 일 실시 예에 따르면, 데이터 수집부(110)는 데이터 처리 장치(100) 또는 메모리(160)에 저장된 정책에 기반하여, 시스템 데이터(202)를 생성할 수 있다. 예를 들어, 데이터 수집부(110)는 획득한 로 데이터로부터 메모리(160)에 저장된 데이터 수집 정책에 기반하여, 로그 파일(log file)을 생성할 수 있다.
일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 데이터 수집부(110)와 연결될 수 있다. 일 실시 예에 따른 멀티 프로세싱 모듈(120)은 데이터 수집부(110)로부터 시스템 데이터(202)를 수신할 수 있다. 예를 들어, 멀티 프로세싱 모듈(120)은 데이터 수집부(110)로부터 데이터 수집부(110)가 생성한 로그 파일을 수신할 수 있다.
일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 모듈 매니저(121), 파싱 모듈(또는 분류부)(122), 전처리 모듈(또는 전처리부)(123) 및 분석 모듈(124)(또는 분석부)를 포함할 수 있다. 일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 모듈 매니저(121)를 통해 파싱 모듈(122), 전처리 모듈(123) 및 분석 모듈(124) 중 적어도 일부를 각각 제어할 수 있다. 일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 모듈 매니저(121)를 통해 파싱 모듈(122), 전처리 모듈(123) 및 분석 모듈(124) 중 적어도 일부로 제어신호를 송신함으로써, 파싱 모듈(122), 전처리 모듈(123) 및 분석 모듈(124) 중 적어도 일부를 제어할 수 있다. 다른 실시 예(미도시)에 따르면 모듈 매니저(121)는 생략될 수 있다.
일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 데이터 수집부(110)로부터 수신한 시스템 데이터(202)를 가공할 수 있다. 일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 데이터 수집부(110)로부터 수신한 시스템 데이터(202)를 파싱 모듈(122)을 이용하여 데이터의 포맷에 따라 분류할 수 있다. 일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 분류된 시스템 데이터(202)를 전처리부(123)를 이용하여 전처리(preprocessing)할 수 있다. 이에 대한 구체적인 설명은 후술한다. 일 실시 예에 따르면, 전처리부(123)는 일정 시간 이내로 시스템 데이터(202)를 전처리 할 수 있다. 예를 들어, 전처리부(123)는 수신한 데이터를 60초 이내에 전처리할 수 있다.
일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 분석 모듈(124)를 이용하여, 가공된 시스템 데이터(202)의 특성을 추출할 수 있다. 예를 들어, 멀티 프로세싱 모듈(120)은 시스템 데이터(202)의 크기, 속도, 종류 및 상태 중 적어도 일부를 시스템 데이터(202)의 특성(203)으로서 추출할 수 있다. 다른 실시 예(미도시)에 따르면, 분석 모듈(124)은 학습 알고리즘을 포함하는 인공 지능(AI(artificial intelligence))을 포함할 수 있다. 예를 들어, 분석 모듈(124)은 인공 지능 학습 알고리즘을 이용하여, 자동으로 시스템 데이터(202)의 특성(203)을 추출할 수 있다. 다만, 시스템 데이터(202)의 특성(203) 및 특성(203)을 추출하는 방법은 상술한 구성에 한정되는 것은 아니고, 다양한 특징(feature) 및 방법을 포함할 수 있다.
일 실시 예에 따르면, 멀티 프로세싱 모듈(120)은 시스템 데이터(202) 및 시스템 데이터(202)의 특성(203)을 시각화 모듈(130)로 전송할 수 있다. 다른 실시 예(미도시)에 따르면, 멀티 프로세싱 모듈(120)은 시스템 데이터(202) 및 시스템 데이터(202)의 특성(203)에 기반하여, 데이터 노드를 생성하고, 데이터 노드를 시각화 모듈(130)에 전송할 수 있다.
일 실시 예에 따르면, 시각화 모듈(130)은 멀티 프로세싱 모듈(120)로부터 수신한 시스템 데이터(202) 및 시스템 데이터(202)의 특성(203)에 기반하여 데이터 노드를 생성할 수 있다. 일 실시 예에 따르면, 시각화 모듈(130)이 생성하는 데이터 노드는 그래픽 좌표 정보, 통계 정보 중 적어도 일부를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 따르면, 시각화 모듈(130)은 데이터 노드에 기반하여, 3차원 그래픽을 생성할 수 있다. 예를 들어, 시각화 모듈(130)은 시각화 엔진(예: ThreeJS 또는 BabyIonJS)을 이용함으로써, 시스템 데이터(202)를 시각화 하여, 3차원 그래픽을 생성할 수 있다.
일 실시 예에 따르면, 시각화 모듈(130)은 생성한 3차원 그래픽을 디스플레이(170)로 전송할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 디스플레이(170)를 통해 3차원 그래픽을 표시할 수 있다. 예를 들어, 데이터 처리 장치(100)는 디스플레이(170)를 통해 3차원 그래픽을 표시함으로써, 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 로 데이터(201), 시스템 데이터(202), 시스템 데이터(202)의 특성(203)값 및 3차원 그래픽 중 적어도 일부를 메모리(160)에 저장할 수 있다.
도 3은 일 실시 예에 따른 전처리부의 구성을 도시한다.
도 1 내지 도 3을 함께 참조하면, 일 실시 예에 따라 멀티 프로세싱 모듈(120)에 배치되는 전처리부(122)는, 시스템 데이터(202)의 풀(pool)(310)을 생성하고, 이를 가공함으로써, 동일한 포맷(예: data frame)의 데이터들(340)로 통합할 수 있다.
일 실시 예에 따르면, 멀티 프로세싱 모듈(120) 내부에 배치되는 전처리부(122)는 시스템 데이터(202)의 풀(pool)(310)을 생성할 수 있다. 일 실시 예에 따른 전처리부(122)는 복수 개의 전처리기(preprocessor)를 포함하는 병렬 전처리 로직(또는 병렬 전처리 알고리즘)(320)을 실행하여, 시스템 데이터(202)의 풀(310)에 대해 전처리(preprocessing)을 수행할 수 있다. 예를 들어, 전처리부(122)는 실시간으로 수신하는 시스템 데이터(202)들에 대하여 병렬 전처리 로직(301)이 포함하는 복수 개의 전처리기(preprocessor)를 이용하여 각각 전처리 함으로써, 데이터의 포맷을 변환할 수 있다.
일 실시 예에 따르면, 전처리부(122)는 전처리된 시스템 데이터(202)들을 병합할 수 있다. 일 실시 예에 따르면, 전처리부(122)는 전처리된 시스템 데이터(202)들을 동일한 포맷(예: data frame)의 데이터들(340)로 병합할 수 있다.
도 4는 일 실시 예에 따른 데이터 처리 방법을 도시하는 흐름도이다. 도 5는 일 실시 예에 따른 인터페이스에 따라 3차원 그래픽을 생성하는 방법을 도시하는 흐름도이다.
도 1 내지 도 5를 함께 참조하면, 상기 대용량 데이터 처리 장치(100)는 로 데이터(raw data)를 획득하고, 이를 가공, 분석함으로써, 실시간으로 3차원 그래픽을 생성할 수 있다.
본 발명에서 기재된 대용량, 고용량 데이터의 경우, 복수개의 디바이스들로부터 수신되는 데이터를 모두 모아서, 실시간으로 처리할 수 있는 정도를 의미하며, 예시적으로 데이터의 처리에 2 Gbps 이상을 실시간으로 처리할 수 있는 정도를 의미할 수 있고, 바람직하게는 5 Gbps 를 실시간으로 처리하는 것을 의미할 수 있다. 다만 이에 한정되는 것은 아니다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 401에서 로 데이터(201)를 획득할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 401에서 데이터 수집부(110)를 이용하여, 로 데이터(201)를 수집(또는 획득)할 수 있다. 예를 들어, 데이터 처리 장치(100)는 동작 401에서 SNMP를 활용하여 로 데이터(201)를 획득할 수 있으나, 로 데이터(201)를 획득하는 방법이 이에 한정되는 것은 아니다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 획득한 로 데이터(201)를 동작 402에서 시스템 데이터(202)로 변환할 수 있다. 예를 들어, 데이터 처리 장치(100)는 데이터 수집부(110)의 적어도 일부를 이용하여, 로 데이터(201)를 시스템 데이터(202)(예: 로그 파일)로 변환할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 로 데이터(201)에 기반하여 시스템 데이터(202)를 생성할 수 있다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 403에서 시스템 데이터(202)를 분류(parsing)하고, 전처리(preprocessing)할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 403에서 멀티 프로세싱 모듈(120)의 적어도 일부(예: 파싱 모듈(122), 전처리부(123))를 이용하여 시스템 데이터(202)를 분류하고, 전처리할 수 있다. 예를 들어, 데이터 처리 장치(100)는 동작 403에서 멀티 프로세싱 모듈(120)의 파싱 모듈(122)을 이용하여, 시스템 데이터(202)를 분류할 수 있다. 예를 들어, 데이터 처리 장치(100)는 동작 403에서 멀티 프로세싱 모듈(120)의 전처리부(123)를 이용하여, 분류된 시스템 데이터(202)를 전처리할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 403에서 시스템 데이터(202)를 분류하고 전처리 함으로써, 시스템 데이터(202)들을 동일한 데이터 포맷(예: data frame)으로 변환하고 병합할 수 있다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 404에서 시스템 데이터(202)의 특성(203)을 추출할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 404에서 분류 및 전처리된 시스템 데이터(202)로부터 특성(203)(예: 크기, 속도 및 종류)을 추출할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 404에서 분석 모듈(124)를 이용함으로써, 시스템 데이터(202)의 특성을 추출할 수 있다. 예를 들어, 데이터 처리 장치(100)는 동작 404에서 분석 모듈(124)을 통해, 시스템 데이터(202)들 각각의 트레픽의 크기를 측정할 수 있다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 추출된 특성(203)에 기반하여 동작 405에서 데이터 노드를 생성할 수 있다. 일 실시 예에 따르면, 데이터 노드는 시스템 데이터(202)의 특성(203)에 기반한 크기, 그래픽 좌표 값, 길이를 가질 수 있으나, 이에 한정되는 것은 아니다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 동작 405에서 단위 시간당 5만개 이상의 데이터 노드를 생성할 수 있다. 다만, 동작 405에서 생성되는 데이터 노드의 개수는 상술한 구성에 한정되는 것은 아니고, 실시간으로 수집되는 데이터의 양에 따라 가변적일 수 있다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 추출된 특성(203)에 기반하여, 3차원 그래픽의 인터페이스를 결정할 수 있다. 예를 들어, 추출된 특성(203)이 네트워크 정보를 포함하고 있는 경우, 3차원 그래픽의 인터페이스로서 네트워크 정보 시각화 인터페이스를 결정할 수 있다. 다른 예를 들면, 추출된 특성(203)이 지리 정보를 포함하는 경우, 3차원 그래픽의 인터페이스로서 맵 시각화 인터페이스를 결정할 수 있다. 다만, 3차원 그래픽의 인터페이스는 상술한 예시에 한정되는 것은 아니고, 다른 인터페이스를 포함할 수 있다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 생성된 데이터 노드에 기반하여 동작 407에서 시스템 데이터(202)에 대한 3차원 그래픽을 생성할 수 있다. 예를 들어, 데이터 처리 장치(100)는 네트워크 정보를 포함하는 시스템 데이터(202)에 의해 생성된 데이터 노드에 기반하여 동작 407에서 네트워크 정보 시각화 뷰어를 생성할 수 있다. 이에 대한 구체적인 설명은 후술한다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 생성된 3차원 그래픽을 디스플레이(예: 도 1의 디스플레이(170))를 통해 표시할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 생성된 3차원 그래픽을 디스플레이에 표시함으로써, 3차원 그래픽 인터페이스를 사용자(user) 또는 네트워크 관리자(admin)에게 제공할 수 있다.
도 6는 도 4 내지 도 5의 데이터 처리 방법에 의해 생성되는 3차원 네트워크 시각화 그래픽을 도시한다. 도 7은 도 4 내지 도 5의 데이터 처리 방법에 의해 생성되는 3차원 정보시스템 시각화 그래픽을 도시한다. 도 8은 도 4 내지 도 5의 데이터 처리 방법에 의해 생성되는 3차원 지리 정보 시각화 그래픽을 도시한다.
도 6 내지 도 8을 함께 참조하면, 일 실시 예에 따른 데이터 처리 장치(예: 도 1의 데이터 처리 장치(100))는 데이터 처리 방법에 따라 적어도 하나의 3차원 그래픽을 생성할 수 있다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 결정된 인터페이스에 기반하여, 적어도 하나의 3차원 그래픽을 생성할 수 있다. 예를 들어, 시스템 데이터(예: 도 2의 시스템 데이터(202))로부터 추출한 특성이 지리 정보를 포함하는 경우, 맵 시각과 인터페이스에 따른 3차원 지리 정보 시각화 그래픽을 생성할 수 있다. 데이터 처리 장치(100)는 지리 정보를 포함하는 3차원 그래픽 인터페이스를 사용자 또는 네트워크 관리자에게 제공할 수 있다.
다른 예를 들면, 시스템 데이터가 네트워크 정보를 포함하는 경우, 데이터 처리 장치는 네트워크 정보를 포함하는 3차원 네트워크 시각화 그래픽을 생성할 수 있다. 데이터 처리 장치(100)는 네트워크 정보를 포함하는 3차원 그래픽 인터페이스를 사용자 또는 네트워크 관리자에게 제공할 수 있다. 네트워크 정보를 포함하는 3차원 그래픽 인터페이스가 제공됨에 따라, 사용자는 네트워크에 대한 공격 및 오류를 실시간으로 확인하고 피드백을 제공할 수 있다.
또 다른 예를 들면, 시스템 데이터 또는 시스템의 특성이 정보시스템의 정보를 포함하는 경우, 데이터 처리 장치는 정보시스템의 정보를 포함하는 3차원 네트워크 시각화 그래픽을 생성할 수 있다. 데이터 처리 장치(100)는 정보시스템의 정보를 포함하는 3차원 그래픽 인터페이스를 사용자 또는 네트워크 관리자에게 제공할 수 있다. 정보시스템을 포함하는 3차원 그래픽 인터페이스가 제공됨에 따라, 사용자는 실시간으로 시스템 오류에 대한 입력을 제공할 수 있다.
일 실시 예에 따르면, 데이터 처리 장치(100)는 시스템 데이터를 그룹화하여 3차원 그래픽으로 제공할 수 있다. 예를 들어, 데이터 처리 장치(100)는 국가별로 그룹화된 네트워크 정보를 포함하는 3차원 그래픽을 제공할 수 있다. 일 실시 예에 따르면, 데이터 처리 장치(100)는 그룹화된 데이터에 기반한 3차원 그래픽에 대한 사용자의 입력(예: 줌인, 스크롤, 클릭)에 따라 상세한 데이터를 제공할 수 있다. 예를 들어, 데이터 처리 장치(100)는 3차원 그래픽 중 특정 국가에 대한 사용자의 입력에 따라, 해당 그룹 내의 데이터를 추가적으로 제공할 수 있다. 다만, 시스템 데이터를 그룹화하여 3차원 그래픽(또는 3차원 그래픽 인터페이스)을 제공하는 방식은 상술한 예시에 한정되는 것은 아니고, 다양한 방식을 포함할 수 있다.
일 실시 예에 따른 데이터 처리 장치는, 로 데이터(raw data)를 획득하고, 상기 로 데이터를 시스템 데이터로 변환하는 데이터 수집부(data collector), 상기 데이터 수집부로부터 상기 시스템 데이터를 획득하는 멀티 프로세싱 모듈 및 상기 멀티 프로세싱 모듈과 전기적으로 연결되는 시각화 모듈을 포함하고, 상기 멀티 프로세싱 모듈은 상기 시스템 데이터를 전처리(preprocessing)하고, 전처리된 상기 시스템 데이터를 기 저장된 알고리즘에 따라 분류 및 변환하고, 분류 및 변환된 상기 시스템 데이터의 특성을 획득하고, 상기 시각화 모듈은 상기 시스템 데이터의 상기 특성에 기반하여, 데이터 노드를 생성하고, 상기 데이터 노드를 통해, 상기 시스템 데이터에 대한 3차원 그래픽을 생성할 수 있다.
일 실시 예에 따른 상기 데이터 처리 장치는 학습 모듈(learning module)을 더 포함하고, 상기 학습 모듈은 상기 시스템 데이터의 상기 특성을 추출하고, 획득된 상기 특성에 기반하여, 상기 데이터 노드의 인터페이스를 결정할 수 있다.
일 실시 예에 따르면, 상기 인터페이스는 네트워크 정보, 지리 정보, 보안 시스템 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 3차원 그래픽은 5만개 이상의 상기 데이터 노드를 포함할 수 있다.
일 실시 예에 따르면, 상기 데이터 처리 장치는 메모리를 포함하고, 상기 로 데이터, 상기 시스템 데이터, 상기 데이터 노드 및 상기 3차원 그래픽 중 적어도 일부를 상기 메모리에 저장할 수 있다.
일 실시 예에 따르면, 상기 멀티 프로세싱 모듈은, 상기 시스템 데이터의 상기 특성에 기반한 통계를 생성하고, 상기 메모리에 저장할 수 있다.
일 실시 예에 따르면, 상기 시스템 데이터의 상기 특성은, 상기 시스템 데이터의 크기, 종류, 속도 및 상태 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 상기 데이터 처리 장치는 디스플레이를 더 포함하고, 상기 시스템 데이터에 대한 상기 3차원 그래픽을 상기 디스플레이를 통해 표시할 수 있다.
일 실시 예에 따른 데이터 처리 방법은, 데이터 소스(data source)로부터 로 데이터(raw data)를 획득하는 동작, 획득된 상기 로 데이터에 기반하여 시스템 데이터를 생성하는 동작, 상기 시스템 데이터를 전처리(preprocessing)하고 분류(parsing)하는 동작, 전처리 및 분류된 상기 시스템 데이터로부터 특성을 추출하는 동작, 상기 특성에 기반하여, 데이터 노드를 생성하는 동작, 및 상기 데이터 노드에 기반하여, 상기 시스템 데이터에 대한 3차원 그래픽을 생성하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 시스템 데이터의 상기 특성을 추출하는 동작은, 인공지능(artificial intelligence)의 학습 알고리즘에 의해 수행될 수 있다.
일 실시 예에 따르면, 데이터 처리 방법은 상기 특성에 기반하여 상기 3차원 그래픽의 인터페이스를 결정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 인터페이스는 네트워크 정보, 지리 정보, 보안 시스템 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 상기 3차원 그래픽은 5만개 이상의 상기 데이터 노드를 포함할 수 있다.
일 실시 예에 따르면, 데이터 처리 방법은 상기 로 데이터, 상기 시스템 데이터, 상기 데이터 노드 및 상기 3차원 그래픽 중 적어도 일부를 메모리에 저장하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 시스템 데이터의 상기 특성은, 상기 시스템 데이터의 크기, 종류, 속도 및 상태 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 데이터 처리 방법은 상기 시스템 데이터에 대한 상기 3차원 그래픽을 디스플레이를 통해 표시하는 동작을 더 포함할 수 있다.
마지막으로, 도 9를 참고하면, 본 발명의 데이터 처리 장치의 대용량 트래픽 시각화 기술의 실제 테스트 화면을 도시한 것으로, 한국정보통신기술협회(TTA)의 테스트 환경에서, 5만개의 생성된 노드들로부터 수집되는 대용량 네트워크 트래픽을 멀티 프로세싱 모듈과 시각화 모듈을 통해 처리하는 것을 예시적으로 도시한 것이다.
이러한 테스트 환경을 통해, 본 발명의 데이터 처리 장치가 여러 시각화 기술의 성능지표를 달성하는 것을 확인할 수 있었는데, 상기 성능지표는 트래픽 처리, 트래픽 시각화, 시각화 표출로 구분될 수 있다.
상술한 각각의 성능 지표에 대한 측정 방법은 다음과 같다.
상기 트래픽 처리 성능의 경우, 리얼타임 1Gbps 트래픽 5개를 동시에 네트워크 인터페이스에 입력하여 처리속도를 측정하는 방식으로 진행되며, 상기 트래픽 시각화 성능의 경우, 리얼타임 100Mbps 트래픽 10개(총 1Gbps)를 동시에 네트워크 인터페이스에 입력하여 시각화 시간을 측정(5초내 표현)하는 방식으로 진행되고, 상기 시각화 표출 성능의 경우, 리얼타임 트래픽에서 50K개의 전처리된 노드를 화면에 주기적으로 표출하는지를 5분을 주기로 하여 측정하는 방식으로 진행되었다.
상술한 측정 방법에 의해 측정된 성능지표 중, 본 발명의 데이터 처리 장치의 성능은 상기 트래픽 처리는 초당 5Gbps, 트래픽 시각화 처리 성능는 1Gbps, 시각화 표출 성능은 50K 개 이상을 달성하여, 종래 다른 경쟁기업들보다 높음을 공인인증기관인 한국정보통신기술협회로부터 인증받았다.

Claims (16)

  1. 데이터 처리 장치에 있어서,
    로 데이터(raw data)를 획득하고, 상기 로 데이터를 시스템 데이터로 변환하는 데이터 수집부(data collector);
    상기 데이터 수집부로부터 상기 시스템 데이터를 획득하는 멀티 프로세싱 모듈; 및
    상기 멀티 프로세싱 모듈과 전기적으로 연결되는 시각화 모듈을 포함하고,
    상기 멀티 프로세싱 모듈은:
    상기 시스템 데이터를 전처리(preprocessing)하고,
    전처리된 상기 시스템 데이터를 기 저장된 알고리즘에 따라 분류 및 변환하고,
    분류 및 변환된 상기 시스템 데이터의 특성을 획득하고,
    상기 시각화 모듈은:
    상기 시스템 데이터의 상기 특성에 기반하여, 데이터 노드를 생성하고,
    상기 데이터 노드를 통해, 상기 시스템 데이터에 대한 3차원 그래픽을 생성하며,
    상기 멀티 프로세싱 모듈은,
    상기 시스템 데이터를 파싱 모듈을 이용하여 분류한 후 전처리부를 이용하여 전처리하고,
    상기 전처리부는,
    상기 시스템 데이터의 풀(pool)을 생성한 후 가공하여 동일한 포맷의 데이터들로 통합하되, 복수 개의 전처리기를 포함하는 병렬 전처리 로직을 실행하여, 상기 시스템 데이터의 풀에 대해 전처리를 수행하여 데이터 포맷을 변환하고, 전처리된 시스템 데이터들을 상기 동일한 포맷으로 병합하며,
    상기 데이터 처리 장치는 학습 모듈(learning module)을 더 포함하고,
    상기 학습 모듈은:
    상기 시스템 데이터의 상기 특성을 추출하고,
    획득된 상기 특성에 기반하여, 상기 데이터 노드의 인터페이스를 결정하며,
    상기 인터페이스는 네트워크 정보, 지리 정보, 보안 시스템 정보 중 적어도 하나를 포함하고,
    상기 3차원 그래픽은 5만개 이상의 상기 데이터 노드를 포함하며,
    상기 데이터 처리 장치는 메모리를 포함하고,
    상기 로 데이터, 상기 시스템 데이터, 상기 데이터 노드 및 상기 3차원 그래픽 중 적어도 일부를 상기 메모리에 저장하며,
    상기 멀티 프로세싱 모듈은, 상기 시스템 데이터의 상기 특성에 기반한 통계를 생성하고, 상기 메모리에 저장하며,
    상기 시스템 데이터의 상기 특성은, 상기 시스템 데이터의 크기, 종류, 속도 및 상태 중 적어도 하나를 포함하고,
    상기 데이터 처리 장치는 디스플레이를 더 포함하고,
    상기 시스템 데이터에 대한 상기 3차원 그래픽을 상기 디스플레이를 통해 표시하며,
    상기 데이터 수집부는, SNMP(simple network management protocol), Netflow, 로그 서비스(Syslog) 중 적어도 하나를 이용하여 상기 로 데이터를 획득하고, 획득한 상기 로 데이터로부터 상기 메모리에 저장된 데이터 수집 정책에 기반하여 로그 파일(log file)을 생성하며,
    상기 시각화 모듈은, ThreeJS 또는 BabyIonJS을 이용한 시각화 엔진을 통해 상기 시스템 데이터를 시각화 하여 상기 3차원 그래픽을 생성하는
    데이터 처리 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 데이터 처리 방법에 있어서,
    데이터 소스(data source)로부터 로 데이터(raw data)를 획득하는 동작;
    획득된 상기 로 데이터에 기반하여 시스템 데이터를 생성하는 동작;
    상기 시스템 데이터를 전처리(preprocessing)하고 분류(parsing)하는 동작;
    전처리 및 분류된 상기 시스템 데이터로부터 특성을 추출하는 동작;
    상기 특성에 기반하여, 데이터 노드를 생성하는 동작; 및
    상기 데이터 노드에 기반하여, 상기 시스템 데이터에 대한 3차원 그래픽을 생성하는 동작을 포함하며,
    상기 시스템 데이터를 전처리(preprocessing)하고 분류(parsing)하는 동작은,
    멀티 프로세싱 모듈에서 상기 시스템 데이터를 파싱 모듈을 이용하여 분류한 후 전처리부를 이용하여 전처리하고, 상기 전처리부에서 상기 시스템 데이터의 풀(pool)을 생성한 후 가공하여 동일한 포맷의 데이터들로 통합하되, 복수 개의 전처리기를 포함하는 병렬 전처리 로직을 실행하여, 상기 시스템 데이터의 풀에 대해 전처리를 수행하여 데이터 포맷을 변환하고, 전처리된 시스템 데이터들을 상기 동일한 포맷으로 병합하며,
    상기 시스템 데이터의 상기 특성을 추출하는 동작은, 인공지능(artificial intelligence)의 학습 알고리즘에 의해 수행되고,
    상기 특성에 기반하여 상기 3차원 그래픽의 인터페이스를 결정하는 동작을 포함하며,
    상기 인터페이스는 네트워크 정보, 지리 정보, 보안 시스템 정보 중 적어도 하나를 포함하고,
    상기 3차원 그래픽은 5만개 이상의 상기 데이터 노드를 포함하며,
    상기 로 데이터, 상기 시스템 데이터, 상기 데이터 노드 및 상기 3차원 그래픽 중 적어도 일부를 메모리에 저장하는 동작을 포함하고,
    상기 시스템 데이터의 상기 특성은, 상기 시스템 데이터의 크기, 종류, 속도 및 상태 중 적어도 하나를 포함하며,
    상기 시스템 데이터에 대한 상기 3차원 그래픽을 디스플레이를 통해 표시하는 동작을 더 포함하고,
    상기 로 데이터(raw data)를 획득하는 동작은, SNMP(simple network management protocol), Netflow, 로그 서비스(Syslog) 중 적어도 하나를 이용하여 상기 로 데이터를 획득하고,
    상기 시스템 데이터를 생성하는 동작은, 획득한 상기 로 데이터로부터 상기 메모리에 저장된 데이터 수집 정책에 기반하여 로그 파일(log file)을 생성하며,
    상기 3차원 그래픽을 생성하는 동작은, ThreeJS 또는 BabyIonJS을 이용한 시각화 엔진을 통해 상기 시스템 데이터를 시각화 하여 상기 3차원 그래픽을 생성하는
    데이터 처리 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020210021680A 2021-02-18 2021-02-18 대용량 데이터 처리 및 시각화를 위한 장치 및 방법 KR102623911B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210021680A KR102623911B1 (ko) 2021-02-18 2021-02-18 대용량 데이터 처리 및 시각화를 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210021680A KR102623911B1 (ko) 2021-02-18 2021-02-18 대용량 데이터 처리 및 시각화를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220118051A KR20220118051A (ko) 2022-08-25
KR102623911B1 true KR102623911B1 (ko) 2024-01-11

Family

ID=83111460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210021680A KR102623911B1 (ko) 2021-02-18 2021-02-18 대용량 데이터 처리 및 시각화를 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102623911B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893475B1 (ko) * 2018-03-14 2018-10-04 마인드서프 주식회사 멀티레이어 시각화 표현을 위한 인공지능 기반의 네트워크 모니터링 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170083887A (ko) 2016-01-11 2017-07-19 주식회사 케이티 영상 처리 유닛을 이용한 데이터 처리 방법, 시스템 및 컴퓨터 프로그램
KR20190062848A (ko) * 2017-11-29 2019-06-07 주식회사 비네아 점진적 학습 모델을 이용한 빅데이터 마이닝 시스템 및 그 방법
KR102368840B1 (ko) * 2019-01-25 2022-03-02 한국전자기술연구원 커넥티드카 빅데이터 수집장치, 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893475B1 (ko) * 2018-03-14 2018-10-04 마인드서프 주식회사 멀티레이어 시각화 표현을 위한 인공지능 기반의 네트워크 모니터링 방법

Also Published As

Publication number Publication date
KR20220118051A (ko) 2022-08-25

Similar Documents

Publication Publication Date Title
US20230344731A1 (en) Network security monitoring and correlation system and method of using same
KR100545465B1 (ko) 정보 보안 분석 시스템
US7398512B2 (en) Method, system, and software for mapping and displaying process objects at different levels of abstraction
CN112367307B (zh) 一种基于容器级蜜罐群的入侵检测方法及系统
CN107690776A (zh) 用于异常检测中的将特征分组为具有选择的箱边界的箱的方法和装置
CN107683586A (zh) 用于异常检测中的计算基于小区密度的稀有度的方法和装置
CN111352808A (zh) 告警数据处理方法、装置、设备及存储介质
CN110046297B (zh) 运维违规操作的识别方法、装置和存储介质
CN109104438A (zh) 一种窄带物联网中的僵尸网络预警方法及装置
EP3933801A2 (en) Method, apparatus, and device for testing traffic flow monitoring system
CN113612763A (zh) 基于网络安全恶意行为知识库的网络攻击检测装置和方法
CN114338188B (zh) 一种基于进程行为序列分片的恶意软件智能云检测系统
CN109359686A (zh) 一种基于校园网流量的用户画像方法及系统
CN114039900A (zh) 一种高效网络数据包协议分析方法和系统
CN112000548A (zh) 大数据组件的监测方法、装置及电子设备
KR102623911B1 (ko) 대용량 데이터 처리 및 시각화를 위한 장치 및 방법
CN103618635A (zh) 信息化设备分层关联管控系统
CN113890820A (zh) 一种数据中心网络故障节点诊断方法及系统
CN113504996A (zh) 一种负载均衡检测方法、装置、设备及存储介质
CN116069540A (zh) 一种系统软硬件部位运行状态的采集分析处理方法及装置
CN111817865A (zh) 一种监控网管设备的方法及监控系统
CN112235309B (zh) 一种云平台网络隐蔽信道多尺度检测系统
CN115269438A (zh) 针对图像处理算法的自动化测试方法及装置
Ten et al. Study on advanced visualization tools in network monitoring platform
CN114329450A (zh) 数据安全处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant