KR101408032B1 - 실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법 - Google Patents

실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법 Download PDF

Info

Publication number
KR101408032B1
KR101408032B1 KR1020110084836A KR20110084836A KR101408032B1 KR 101408032 B1 KR101408032 B1 KR 101408032B1 KR 1020110084836 A KR1020110084836 A KR 1020110084836A KR 20110084836 A KR20110084836 A KR 20110084836A KR 101408032 B1 KR101408032 B1 KR 101408032B1
Authority
KR
South Korea
Prior art keywords
traffic
information
time
real
unit
Prior art date
Application number
KR1020110084836A
Other languages
English (en)
Other versions
KR20130022506A (ko
Inventor
손춘호
윤진석
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020110084836A priority Critical patent/KR101408032B1/ko
Priority to PCT/KR2012/004018 priority patent/WO2013027920A1/ko
Publication of KR20130022506A publication Critical patent/KR20130022506A/ko
Application granted granted Critical
Publication of KR101408032B1 publication Critical patent/KR101408032B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 분산시스템에서 실시간으로 대용량 트래픽을 분석하기 위한 방법에 관한 것이다. 본 발명의 실시간 트래픽 분석 분산시스템은 실시간으로 모니터링 대상 네트워크의 트래픽을 실시간으로 복사한 후 IP 기준으로 적어도 하나 이상의 트래픽수집서버로 분산처리한다. 이 후 각 트래픽수집서버에서 분산처리된 데이터를 통합한 후 통계화 처리한다.

Description

실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법{Distribution System for analysing massive traffic in real time and method thereof}
본 발명은 클라우드 컴퓨팅에 관한 것으로, 상세히 클라우드 컴퓨팅 분야 중 분산처리에 관한 것이다.
현재 사용되고 있는 단일 시스템 기반 트래픽 분석에는 모든 트래픽을 감시하는 데는 성능상 한계가 있어, 일부 트래픽을 샘플링하여 모니터링을 수행하고 있다.
현재 사용되는 일반적으로 분석시스템은 단일 시스템으로 모든 트래픽을 모니터링 할 수 없다. 따라서, 대역폭이 10G 이상인 백본 네트워크의 트래픽을 모니터링 할 수 없는 문제가 있다.
그로 인해, 대용량 백본 링크에 대한 트래픽 분석 방법이 요구되고 있다. 또한 장기간의 트래픽 정보를 수집하고 분석하기 위한 대용량 분산처리 시스템에 대한 필요성이 대두되고 있다.
또한, 현재는 모니터링 대상을 단순히 1/N 로 분류하여 처리하고 있으나, 본 발명에서는 모니터링 대상을 IP 기반으로 분산 라우팅하고자 한다.
본 발명의 바람직한 일 실시예로서, 실시간 트래픽 분석 분산시스템은 모니터링 대상 네트워크의 트래픽을 실시간으로 복사하는 실시간복사부; 상기 실시간 복사한 트래픽을 IP를 기준으로 적어도 하나 이상으로 분산하는 분산라우팅부; 상기 분산된 트래픽을 수신하여 Netflow 정보로 변환한 후 상기 Netflow 정보에서 필요한 정보를 실시간으로 가공처리하며 일정 주기로 백업하는 트래픽수집부; 적어도 하나 이상의 트래픽수집부로부터 수신한 상기 백업된 정보를 통합 저장하고 통계화하는 트래픽통계부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 실시간 트래픽 분석 분산시스템은 실시간으로 모니터링 대상 네트워크의 트래픽을 실시간으로 복사하고 복사한 트래픽을 IP 기준으로 적어도 하나 이상의 트래픽수집서버로 분산처리하는 Flow모니터링부; 상기 적어도 하나 이상의 트래픽수집서버 각각에서 분산처리한 상기 트래픽처리정보를 통합 저장하고, 상기 통합 저장된 상기 트래픽처리정보를 통계화하는 트래픽통계부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 분산시스템에서 실시간으로 트래픽을 분석하는 방법은 Tap 장치를 이용하여 모니터링 대상 네트워크의 트래픽을 실시간으로 복사하는 단계; L3 스위치를 이용하여 상기 실시간 복사한 트래픽을 트래픽의 IP를 기준으로 적어도 하나 이상의 트래픽수집서버로 분산하는 단계; 상기 트래픽수집서버에서 분산된 트래픽을 수신하여 Netflow 정보로 변환하고, 상기 Netflow 정보에서 필요한 정보를 실시간으로 가공처리하며 일정 주기로 백업하는 단계; Hadoop에서 상기 적어도 하나 이상의 트래픽수집서버에서 백업한 정보를 모두 통합 저장하고 MapReduce를 적용하여 처리하는 단계;및 상기 처리된 상기 백업된 정보를 Hbase에서 IP별, 시간별, Bytes별, Port 별로 통계화하는 단계;를 포함한다.
본 발명은 분산시스템에서 실시간으로 대용량 트래픽을 분석하는 분석시스템에 관한 것으로, 대용량 트래픽에 대한 실시간 모니터링 및 분석 가능한 이점이 있다.
본 발명의 바람직한 일 실시예에서는 TAP 장치를 이용한 모니터링으로 서비스 품질 저하 없이 수집 및 분석이 가능하고 또한 다수의 서버급 PC를 통한 분산처리로 저비용으로 대용량 트래픽 분석이 가능한 효과가 있다.
본 발명의 바람직한 일 실시예에서는, Hadoop과 같은 분산처리 시스템을 이용함으로써, 대용량의 원본 데이터도 저장 및 통합 분석 가능하다.
본 발명의 바람직한 일 실시예에서는 모니터링 대상 트래픽을 단순히 1/N로 분류하는 것이 아니라 IP별로 분류, 처리하는 방식을 제시한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 실시간 트래픽 분석 분산시스템 의 구성을 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 트래픽수집부의 내부 구성도를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 트래픽수집부의 내부 구성도를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 트래픽통계부의 구성을 도시한다.
도 5 에서는 트래픽통계부의 Hadoop에서 MapReduce를 적용한 일 예를 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서, Hbase의 일 예를 도시한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 실시간 트래픽 분석 분산시스템의 처리과정을 도시한다.
이하에서, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다.
하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한, 본 발명에 보다 더 충실하도록 하기 위해서, 본 발명의 취지를 벗어나지 않는 범위 내에서 당업자 수준의 변경이나 변형이 있을 수 있음을 명기하는 바이다.
도 1 은 본 발명의 바람직한 일 실시예로서, 실시간 트래픽 분석 분산시스템 의 구성을 도시한다.
본 발명의 바람직한 일 실시예로서, 실시간 트래픽 분석 분산시스템은 Flow모니터링부(100)와 트래픽통계부(200)를 포함한다.
Flow모니터링부(100)는 low-level의 raw 트래픽을 실시간으로 복사하여 IP 기반으로 분산한 후, 분산된 각 트래픽을 Netflow 정보로 변환한 후 실시간 분석을 수행한다. 이 경우, 실시간 복사하는 모니터링 대상 트래픽의 양에 따라 트래픽을 분석하는 서버(예; 트래픽수집부(130, 131, 132))를 증설하거나 줄일 수 있다.
Flow모니터링부(100)는 실시간복사부(110), 분산라우팅부(120) 및 트래픽수집부(130, 131, 132)를 포함한다.
실시간복사부(110)는 모니터링 대상 네트워크의 대상 트래픽을 TAP 장치를 이용하여 실시간으로 트래픽을 복사한다.
분산라우팅부(120)는 실시간복사부(110)에서 복사한 모니터링 대상 트래픽을 분산시켜 복수 개의 트래픽수집부(130, 131, 132)로 전달한다. 이 경우, 분산라우팅부(120)는 IP를 기반으로 또는 정책(policy)에 기반하여 모니터링 대상 트래픽을 분산할 수 있다. 본 발명의 바람직한 일 실시예로서, 분산라우팅부(120)는 L3 스위치 등으로 구현이 가능하다.
예를 들어, 분산라우팅부(120)에서는 Source IP 또는 Destination IP기반으로 분산 라우팅을 수행할 수 있다. 구체적으로 예를 들어, 분산라우팅부(120)에서는 모니터링 대상 트래픽의 IP 대역이 10.1.1.0~10.1.255.255인 경우 10.1.1.0/24, 10.1.2.0/24, 10.1.3.0/24,....10.1.255.0/24 등과 같이 IP를 기반으로 분산 라우팅을 수행한 후 10.1.1.0/24 는 제 1 트래픽수집부, 10.1.2.0/24는 제 2 트래픽수집부, 10.1.3.0/24는 제 3 트래픽수집부로 전송하는 것과 같이, 분산된 모니터링 대상 트래픽을 각각 해당 트래픽수집부(130, 131, 132)에 전달한다. 트래픽수집부(130, 131, 132)는 트래픽 수집/분석 서버의 형태로 구현될 수 있다.
본 발명의 바람직한 일 실시예에서, 분산라우팅부(120)에서 모니터링 대상 트래픽을 IP를 기반으로 분산하므로 8 개의 트래픽수집서버로 전송한 경우, 각 트래픽 수집서버는 각각 다른 용량의 트래픽을 수신하게 될 수 있다. 종래에는 분산 대상의 트래픽을 단순히 N 개의 트래픽으로 분산하였으나, 본 발명에서는 IP를 기반으로 분산하므로 각 트래픽 수집서버마다 다른 용량의 트래픽을 수신하게 될 수 있다.
이 경우, 본 발명의 바람직한 일 실시예에서는 각 트래픽수집부(130, 131, 132)에 할당되는 트래픽이 용량이 기설정된 기준을 초과하지 않도록 설정하며, 초과되는 경우에는 트래픽수집부(130, 131, 132)를 추가할 수 있다.
트래픽수집부(130, 131, 132)는 분산라우팅부(120)에서 분산 라우팅된 실시간 트래픽을 수신하여 Netflow 정보로 변환한 후 Netflow 정보에서 필요한 정보를 가공한다. 이후 가공된 필요 정보를 주기적으로 임시폴더로 백업한다. 트래픽수집부(130, 131, 132)에서 가공된 필요 정보는 Tag, src IP, src Port, Protocol, Dst IP, Dst Port , bytes, packet count, start time, end time 등의 Netflow데이터이다.
트래픽통계부(200)는 Flow모니터링부(100)에서 전송한 모니터링 대상 트래픽의 Netflow데이터를 분산시스템에 저장하고 통계화 한다. 트래픽통계부(200)는 Hadoop(210) 및 Hbase(220)를 포함한다.
Hadoop(210)은 각 트래픽수집부(130, 131, 132) 백업부(130)에 분산 저장되어 있는 Netflow데이터를 모두 통합한다(merge). Hadoop(210)에 저장되는 통합 데이터의 포맷은 백업부(130)에 저장되어 있는 Netflow데이터의 형식과 같이 Tag, srcIP, srcPort, Protocol, dstIP, dstPort, stime, elapse, bytes, packets 등으로 설정할 수 있다. 그리고, MapReduce를 사용하여 일정 주기(예; 1시간) 단위로 Netflow데이터를 집계 연산할 수 있다.
Hbase(220)는 통합된 Netflow데이터를 IP별, 시간별, Bytes별, Port 별로 통계화 한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 트래픽수집부의 내부 구성도를 도시한다. 트래픽수집부(도1, 130, 131, 132 참고, 도 2 200)는 분산 라우팅된 실시간 트래픽을 수신하여 Netflow 정보로 변환한 후, Netflow 정보를 실시간으로 분석한 후 백업한다.
이를 위해, 트래픽수집부(200)는 Netflow 센서(Netflow Sensor, 210), Netflow 처리부(Netflow collector, 220) 및 백업부(230)를 포함한다.
Netflow Sensor(210)는 실시간 수신한 low-level의 트래픽을 패킷 캡쳐하여 Netflow 정보로 변환시킨다. Netflow 처리부(220)에서는 Netflow 정보를 수집하여 실시간으로 분석, 처리한다. Netflow 처리부(220)의 일 기능은 도 3 을 참고한다. Netflow 처리부(220)에서는 Netflow 정보를 기초로 src IP, src Port, Protocol, Dst IP, Dst Port , bytes, packet count, start time, end time 등과 같은 data를 분석한다.
백업부(133)는 Netflow 데이터를 주기적으로 로컬디스크의 임시 폴더에 백업한다. 백업이 되는 데이터의 예로는 src IP, src Port, Protocol, Dst IP, Dst Port , bytes, packet count, start time, end time 등이 있다.
도 3(a) 및 (b) 는 본 발명의 바람직한 일 실시예로서, Netflow 처리부의 기능의 일 예를 도시한다. 도 3(a)는 Netflow 처리부의 흐름도이고, 도 3(b)는 Netflow처리부의 처리결과를 도시한다.
Netflow 처리부(도 2 220 참고)는 유입되는 Netflow정보를 기초로 IP기반으로 실시간으로 고속데이터 저장을 구현할 수 있다. 본 발명의 바람직한 일 실시예로서, Netflow 처리부는 IP기반 Bit 연산을 통해 Hash Function을 이용하는 구조보다 빠른 성능을 지원할 수 있다. 일 예로서, 최대 3번의 Bit Operation으로 저장 위치를 찾을 수 있다.
Netflow 처리부는 유입되는 Netflow정보에서 Network/Subnet mask 모니터링 영역을 확인하고 Source IP 인지 Destination IP인지를 확인하여, 해당 트래픽이 상향인지, 하향인지를 판단한다(S310).
Source IP의 경우 상향으로 판단되고, IP index는 Source IP와 Subnet Mask의 Reverse Bit 인 Wild mask 값을 이용하여 계산된다(S320). Destination IP의 경우 하향으로 판단되고, IP index는 Destination IP와 Wild mask 값을 이용하여 계산된다(S330).
Wild mask 값의 일 예는 아래와 같다.
subnet mask : 11111111 11111111 00000000 00000000
wild mask : 00000000 00000000 11111111 11111111
도 4 는 본 발명의 바람직한 일 실시예로서, 트래픽통계부의 구성을 도시한다. 도 5 에서는 트래픽통계부의 Hadoop에서 Netflow 정보를 IP 어드레스를 기초로 맵 기능(Map Function)과 리듀스 기능(Reduce Function)을 적용한 일 예를 도시한다.
도 4 및 5를 참고로 트래픽 통계부에서 Hadoop의 기능을 설명하면 아래와 같다. 트래픽통계부(400)의 Hadoop(410)은 트래픽수집부(430)로부터 수신한 Netflow 데이터를 통합 저장한다(S410).
Hadoop(410)에 저장되는 통합 Netflow데이터의 포맷의 일 예는 "Tag, Source IP, Source Port, Protocol, Destination IP, Destination Port, stime, elapse, bytes, packets" 등과 같이 설정이 가능하다. 저장된 Netflow 정보를 IP 어드레스를 기초로 맵리듀싱(MapReduce)한다(S420).
MapReduce의 일 예는 도 5와 같다.
Map 기능(S500)에서는 Netflow데이터 값 중 Tag 값을 확인하여 Tag 값이 0인 경우, 즉 상향 트래픽의 경우에는 Source IP를 Key(510)로 사용한다. Tag 값이 1인 경우, 즉 하향 트래픽의 경우에는 Destination IP를 Key(510)로 사용한다. 이 후 상향, 하향 두 종류에 따라 각각 시간별 트래픽 합계를 구한다. 또한, 맵리듀싱(MapReduce)을 이용하여 Byte합계, Packet 합계 및 Port별 통계를 구할 수 있다.
도 6은 본 발명의 바람직한 일 실시예로서, Hbase의 일 예를 도시한다. 도 4 및 6을 참고하여 트래픽 통계부에서 Hbase의 기능을 설명하면 아래와 같다.
Hbase(도 4 420 참고, 도 6 600)는 Hadoop에서 Mapreducing 기능을 통해(S420) 통합된 Netflow 데이터를 IP별, 시간별, Bytes별, Port 별 등으로 통계화하여 Hbase Table(600)에 저장한다 (S430).
도 6 의 Hbase Table 실시예에서 Column의 IP는 무한대로 증가가 가능하며, Hbase Table(600)의 통계 검색용 Key는 시간, IP 및 방향 등이 사용될 수 있다.
도 7 은 본 발명의 바람직한 일 실시예로서, 실시간 트래픽 분석 분산시스템의 처리과정을 도시한다.
실시간복사부(710)는 인터넷으로부터 모니터링 대상 트래픽을 Tap 등을 이용하여 실시간으로 복사하여, 분산라우팅부(720)로 전달한다. 분산라우팅부(720)는 모니터링 대상 트래픽을 IP를 기준으로 N(N은 자연수)개의 트래픽수집부(미도시)로 분산한다. 트래픽수집부 내의 Netflow센서(730, 731)은 수신한 트래픽을 Netflow로 변환한다. 이후 변환된 Netflow 정보는 트래픽수집부 내의 Netflow처리부(740, 741)에서 처리되어 필요한 정보가 가공된다. 이 경우 가공되는 정보의 형태의 일 예는 "Tag, srcIP, srcPort, Protocol, dstIP, dstPort, stime, elapse, bytes, packets" 형식의 포맷일 수 있다.
Netflow처리부(740, 741)에서는 가공된 Netflow데이터를 기초로 IP별로 실시간으로 데이터를 저장한다(S710). 그리고 Netflow처리부(740, 741)에서 처리된 데이터는 주기적으로 로컬디스크의 임시폴더에 백업된다(750, 7510). 본 발명의 바람직한 일 실시예로서, 백업부(750, 751)에 백업되는 포맷 형태의 일 예는 "Tag, srcIP, srcPort, Protocol, dstIP, dstPort, stime, elapse, bytes, packets" 일 수 있다.
이 후, Hadoop(760)에서는 각 트래픽수집부에 분산되어 있는 Netflow데이터를 통합한다. 그리고 Mapreducing 기능을 통해 통합된 Netflow 데이터를 IP별, 시간별, Bytes별, Port 별 등으로 통계화하여 Hbase(770)에 저장한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피 디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (11)

  1. 모니터링 대상 네트워크의 트래픽을 실시간으로 복사하는 실시간복사부;
    상기 실시간 복사한 트래픽을 IP를 기준으로 적어도 하나 이상으로 분산하는 분산라우팅부;
    상기 분산된 트래픽을 수신하여 Netflow 정보로 변환한 후 상기 Netflow 정보에서 필요한 정보를 실시간으로 분석하며 일정 주기로 백업하는 트래픽수집부; 및
    적어도 하나 이상의 트래픽수집부로부터 수신한 상기 백업된 정보를 통합 저장하고 통계화하는 트래픽통계부;를 포함하고, 상기 분산라우팅부에서 모니터링 대상 트래픽을 IP를 기반으로 분산하므로 상기 적어도 하나 이상의 트래픽수집부는 각각 처리하는 트래픽 양이 상이할 수 있고, 또한 상기 실시간복사부에서 실시간 복사하는 모니터링 대상 트래픽의 양에 따라 상기 트래픽수집부의 개수를 증설하거나 줄일 수 있는 것을 특징으로 하는 실시간 트래픽 분석 분산시스템.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서, 상기 Netflow 정보에서 필요한 정보는
    Tag, Source IP, Source Port, Protocol, Destination IP, Destination Port, stime, elapse, bytes, packets를 포함하는 것을 특징으로 하는 실시간 트래픽 분석 분산시스템.
  5. 제 1 항에 있어서, 상기 트래픽수집부는
    Netflow정보를 기초로 IP기반으로 상기 Netflow 정보에서 필요한 정보를 실시간으로 분석하는 것을 특징으로 하는 실시간 트래픽 분석 분산시스템.
  6. 제 1 항에 있어서, 트래픽통계부는
    트래픽수집부로부터 수신한 상기 백업된 정보를 통합 저장한 후 MapReduce 기능을 일정 주기로 적용하는 Hadoop; 및
    상기 Hadoop에서 MapReduce 기능 적용 후 처리된 상기 백업된 정보를 IP별, 시간별, Bytes별, Port 별로 통계화하는 Hbase;를 포함하는 것을 특징으로 하는 실시간 트래픽 분석 분산시스템.
  7. 제 1 항에 있어서, 상기 실시간복사부는 Tap을 이용하여 구현이 가능한 것을 특징으로 하는 실시간 트래픽 분석 분산시스템.
  8. 제 1 항에 있어서, 상기 분산라우팅부는
    L3 스위치를 이용하여 구현이 가능한 것을 특징으로 하는 실시간 트래픽 분석 분산시스템.
  9. 실시간으로 모니터링 대상 네트워크의 트래픽을 실시간으로 복사하고 복사한 트래픽을 IP 기준으로 적어도 하나 이상의 트래픽수집서버로 분산처리하는 Flow모니터링부;
    상기 적어도 하나 이상의 트래픽수집서버 각각에서 분산처리한 트래픽처리정보를 통합 저장하고, 상기 통합 저장된 상기 트래픽처리정보를 통계화하는 트래픽통계부;를 포함하고, 상기 모니터링 대상 트래픽을 IP 기준으로 분산처리하므로 상기 트래픽수집서버 각각은 처리하는 트래픽 양이 상이할 수 있고, 또한 상기 실시간으로 복사한 트래픽의 양에 따라 상기 트래픽수집서버의 개수를 증설하거나 줄일 수 있는 것을 특징으로 하는 실시간 트래픽 분석 분산시스템.
  10. 분산시스템에서 실시간으로 트래픽을 분석하는 방법으로서
    모니터링 대상 네트워크의 트래픽을 실시간으로 복사하는 단계;
    상기 실시간 복사한 트래픽을 트래픽의 IP를 기준으로 적어도 하나 이상의 트래픽수집서버로 분산하는 단계;
    상기 트래픽수집서버에서 분산된 트래픽을 수신하여 Netflow 정보로 변환하고, 상기 Netflow 정보에서 필요한 정보를 실시간으로 분석하며 일정 주기로 백업하는 단계;
    Hadoop에서 상기 적어도 하나 이상의 트래픽수집서버에서 백업한 정보를 모두 통합 저장하고 MapReduce를 적용하여 처리하는 단계;및
    상기 처리된 상기 백업된 정보를 Hbase에서 IP별, 시간별, Bytes별, Port 별로 통계화하는 단계;를 포함하고, 이 경우 상기 실시간 복사한 트래픽을 트래픽의 IP를 기준으로 분산하므로 상기 적어도 하나 이상의 트래픽수집서버는 각각 처리하는 트래픽 양이 상이할 수 있고, 상기 실시간 복사한 트래픽의 양에 따라 상기 트래픽수집서버의 개수를 증설하거나 줄일 수 있는 것을 특징으로 하는 방법.
  11. 제 10 항에 있어서, 상기 Netflow 정보에서 필요한 정보는
    Tag, Source IP, Source Port, Protocol, Destination IP, Destination Port, stime, elapse, bytes, packets를 포함하는 것을 특징으로 하는 방법.
KR1020110084836A 2011-08-24 2011-08-24 실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법 KR101408032B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110084836A KR101408032B1 (ko) 2011-08-24 2011-08-24 실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법
PCT/KR2012/004018 WO2013027920A1 (ko) 2011-08-24 2012-05-22 실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110084836A KR101408032B1 (ko) 2011-08-24 2011-08-24 실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법

Publications (2)

Publication Number Publication Date
KR20130022506A KR20130022506A (ko) 2013-03-07
KR101408032B1 true KR101408032B1 (ko) 2014-07-04

Family

ID=47746631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110084836A KR101408032B1 (ko) 2011-08-24 2011-08-24 실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법

Country Status (2)

Country Link
KR (1) KR101408032B1 (ko)
WO (1) WO2013027920A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142595A1 (ko) * 2013-03-13 2014-09-18 주식회사 아이디어웨어 트래픽 채널 검출장치 및 방법과 기록매체
KR102193012B1 (ko) 2014-02-04 2020-12-18 삼성전자주식회사 분산 처리 시스템 및 이의 동작 방법
KR20160126291A (ko) * 2015-04-23 2016-11-02 에스케이플래닛 주식회사 광고플랫폼장치 및 그 동작 방법
CN107809344B (zh) * 2016-09-09 2021-01-22 中华电信股份有限公司 实时讯务量搜集与分析系统及方法
CN114466398A (zh) * 2021-12-20 2022-05-10 中盈优创资讯科技有限公司 一种通过netflow数据分析5G终端用户行为的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009231890A (ja) * 2008-03-19 2009-10-08 Alaxala Networks Corp パケット中継装置およびトラフィックモニタシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014047B2 (en) * 2007-07-10 2015-04-21 Level 3 Communications, Llc System and method for aggregating and reporting network traffic data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009231890A (ja) * 2008-03-19 2009-10-08 Alaxala Networks Corp パケット中継装置およびトラフィックモニタシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONGSEOK LEE et al. "An Internet Traffic Analysis Method with MapReduce", Network Operations and Management Symposium Workshops (NOMS Wksps), 2010 IEEE/IFIP, pp357-361 *

Also Published As

Publication number Publication date
WO2013027920A1 (ko) 2013-02-28
KR20130022506A (ko) 2013-03-07

Similar Documents

Publication Publication Date Title
CN109787833B (zh) 网络异常事件感知方法和系统
Chen et al. Measuring TCP round-trip time in the data plane
KR101408032B1 (ko) 실시간 대용량 트래픽 분석 분산시스템 및 분산시스템에서 트래픽을 실시간으로 분석하는 방법
US9331944B2 (en) Real-time network monitoring and subscriber identification with an on-demand appliance
CN103314557B (zh) 网络系统、控制器、交换机和业务监控方法
CN106972985B (zh) 加速dpi设备数据处理与转发的方法和dpi设备
WO2017122166A1 (en) Network monitoring, detection, and analysis system
JP5560936B2 (ja) 構成情報取得方法、仮想プローブおよび構成情報取得制御装置
CN108011865B (zh) 基于流水印和随机采样的sdn流迹追踪方法、装置及系统
CN111314179B (zh) 网络质量检测方法、装置、设备和存储介质
Karimi et al. Distributed network traffic feature extraction for a real-time IDS
CN107770132A (zh) 一种对算法生成域名进行检测的方法及装置
US9992081B2 (en) Scalable generation of inter-autonomous system traffic relations
JP2019047254A (ja) 情報処理システム、情報処理装置及び情報処理プログラム
CN113037716A (zh) 一种基于内容分发网络的攻击防御方法
CN112543149A (zh) 防止ipfix消息丢失的方法及其应用、asic芯片
JPWO2014155617A1 (ja) 通信装置、通信方法、及び通信プログラム
Dubendorfer et al. A framework for real-time worm attack detection and backbone monitoring
JP4017065B2 (ja) キャッシュ制御方法およびキャッシュシステム
JP5684748B2 (ja) ネットワーク品質監視装置及びネットワーク品質監視方法
Guillemin et al. Volatility of YouTube content in Orange networks and consequences
JP4829194B2 (ja) ネットワーク解析システム
Lukashin et al. Distributed packet trace processing method for information security analysis
CN102664773A (zh) 一种网络流量的探测方法和探测装置
JP2008135871A (ja) ネットワーク監視システム、ネットワーク監視方法及びネットワーク監視プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant