KR100965452B1 - 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치 - Google Patents

인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치 Download PDF

Info

Publication number
KR100965452B1
KR100965452B1 KR1020090098817A KR20090098817A KR100965452B1 KR 100965452 B1 KR100965452 B1 KR 100965452B1 KR 1020090098817 A KR1020090098817 A KR 1020090098817A KR 20090098817 A KR20090098817 A KR 20090098817A KR 100965452 B1 KR100965452 B1 KR 100965452B1
Authority
KR
South Korea
Prior art keywords
unit
internet application
application traffic
plug
classification
Prior art date
Application number
KR1020090098817A
Other languages
English (en)
Inventor
이수철
이성렬
김현철
김종권
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020090098817A priority Critical patent/KR100965452B1/ko
Application granted granted Critical
Publication of KR100965452B1 publication Critical patent/KR100965452B1/ko
Priority to US12/895,159 priority patent/US8631331B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5603—Access techniques

Abstract

본 발명은 인터넷 응용 트래픽을 분석하기 위한 네트워크 관리 시스템에 관한 것으로, 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치는 두 개 이상의 인터넷 응용 트래픽 분류법이 플러그인(Plug in) 방식으로 구성되어, 상기 각 인터넷 응용 트래픽 분류법의 성능에 관한 벤치마크 기능을 수행하는 것을 기술적 특징으로 한다.
본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치를 통하여 다양한 인터넷 응용 트래픽 분류 기술을 플러그인(Plug in)방식으로 통합하여, 각 분류 기술에 관하여 객관적이고 정확한 평가를 할 수 있는 시스템을 제공하고자 한다.
Figure R1020090098817
인터넷, 트래픽, 식별, 분류

Description

인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치{An internet application traffic classification and benchmarks Framework}
본 발명은 인터넷 응용 트래픽을 분석하기 위한 네트워크 관리 시스템에 관한 것으로, 더 자세하게 설명하면, 종래 다양한 인터넷 응용 트래픽 식별 및 분류 기술을 벤치마킹하여, 인터넷 트래픽 상황을 신속하게 분석함과 동시에 각 인터넷 응용 트레픽 식별 및 분류 기술의 공정한 평가를 제시할 수 있는 기술에 관한 것이다.
최근 인터넷 사용량이 급격히 증가함에 따라 인터넷 서비스 공급자, 연구자 및 관리자에 네트워크 상황을 빠르고 정확하게 파악할 수 있는 시스템이 요구되고 있다.
이에 다양한 인터넷 응용 트래픽 식별 및 분류 시스템이 제시되었다.
종래 인터넷 응용 트래픽 식별 및 분류 시스템은 크게 페이로드(Payload) 기반의 방법, 포트번호에 기반한 방법, 기계학습에 기반한 방법, 인터넷 호스트의 행동패턴에 기반한 방법등 크게 4가지로 분류가 가능하다.
상기 페이로드 기반의 방법은 패킷 컨텐츠를 검사하여, 애플리케이션을 식별 하는 방법으로, 정확도가 높은 반면 수행시간이 오래 소요되며, 암호화된 페이로드(payload)에 대해서는 동작하지 않으며, 개인 정보 노출에 따른 법적 문제를 유발시키는 단점이 있다.
상기 포드번호에 기반한 방법은 가장 빠르고 간단한 방법이지만 현재 응용프로그램들과 같이 다양한 포트번호를 이용하거나 정해진 포트 번호를 이용하지 않을 경우 신뢰성이 떨어지는 단점이 있다.
또한 상기 기계학습에 기반한 방법은 비교적 높은 정확도와 빠른 수행시간을 가지고 있지만 분류 및 식별의 정확도가 응용 트래픽 자체에 의존성을 가지고 있는 단점이 있다.
또한 상기 인터넷 호스트 행동패턴에 기반한 방법은 인터넷 호스트들의 상호 작용을 검사하는 방법으로 기존 방법들이 쉽게 다루지 못한 바이러스, 웜의 식별 및 분류에 우수한 성능을 보이지만 휴리스틱 기반 분류됨에 따라 정확도가 떨어지는 단점이 있다.
이와 같이 종래 각 인터넷 응용 트래픽 식별 및 분류 시스템은 제한적으로 성능 평가되어, 각 트래픽 분류법을 적용하는데 있어 공정하고, 객관적인 평가 기준이 마련되지 않은 상태로 어떤 트래픽 분류법인 최상의 성능으로 수행되는지 여부, 트래픽 분석의 적합성 여부 및 신뢰성 검증 여부를 판단하기 어려운 문제점이 있다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로,
본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 목적은 다양한 인터넷 응용 트래픽 분류 기술을 플러그인(Plug in)방식으로 통합하여, 각 분류 기술에 관하여 객관적이고 정확한 평가를 할 수 있는 시스템을 제공하여, 정확한 네트워크 트래픽 상황을 분석 결과를 제공하고, 나아가 인터넷 네트워크 운영의 효율성을 높이는데 있다.
다른 목적은, 다양한 인터넷 응용 트래픽 분류 기술의 장점들을 적극 활용하고, 확장성이 우수한 프레임워크를 제공하여, 인터넷 응용 트래픽에 관한 상호보완적인 분석이 가능하도록 하는데 있다.
또 다른 목적은, 다량의 데이터를 세션(session)으로 나누어, 트랜젝션(transaction)단위로 인터넷 응용 트래픽을 분류하여, 데이터 처리 효율성을 높이고자 하는데 있다.
또 다른 목적은, 시각화된 호스트의 거동 패턴 및 신뢰성 높은 결정 공정을 제공하는 출력 인터페이스를 제공하는 있다.
또 다른 목적은, 분석에 용이한 포맷으로 데이터를 변환하고자 하는데 있다.
또 다른 목적은, 입력데이터의 트래픽 흐름의 특징을 선택 및 분석하고자 하는데 있다.
또 다른 목적은, 각 플러그인의 성능을 객관적인 지표를 이용하여, 공정하게 평가하고자 하는데 있다.
또 다른 목적은, 각 플러그인의 추가, 수정 및 제거 동작을 관리하고, 다량 의 데이터를 효율적으로 관리하고자 하는데 있다.
본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치는 두 개 이상의 인터넷 응용 트래픽 분류법이 플러그인(Plug in) 방식으로 구성되어, 상기 각 인터넷 응용 트래픽 분류법의 성능에 관한 벤치마크 기능을 수행하는 것을 특징으로 한다.
또한 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치는 사용자의 인터넷 응용 트래픽 트레이스 데이터 입력에 따른 인터넷 응용 트래픽 분류법의 성능 평가 및 분류 결과로부터 연산되는 연산데이터를 제공하는 사용자인터페이스, 상기 사용자인터페이스와 연결되어, 입력데이터를 각 분류 플러그인에 적합한 형태로 변환하고, 각 플러그인에 관한 성능을 평가 처리하는 전후 처리부, 상기 전후 처리부와 연결되어, 각 인터넷 응용 트래픽 분류법으로 구성된 플러그인을 관리하고, 실행 시키는 트래픽 분류부 및 상기 사용자 인터페이스 및 트래픽 분류부와 연결되어, 각 플러그인 실행에 따른 성능 및 분석 결과를 저장하는 저장부를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치는 다양한 인터넷 응용 트래픽 분류 기술을 플러그인(Plug in)방식으로 통합하여, 각 분류 기술에 관하여 객관적이고 정확한 평가를 할 수 있는 시스템을 제공함으로써, 정확한 네트워크 트래픽 상황을 분석 결과를 제공하고, 나아가 인터넷 네트워크 운영의 효율성을 높일 수 있는 효과가 있다.
또한, 다양한 인터넷 응용 트래픽 분류 기술의 장점들을 적극 활용하고, 확장성이 우수한 프레임워크를 제공함으로써, 인터넷 응용 트래픽에 관한 상호보완적인 분석이 가능하도록 하는 효과가 있다.
또한, 다량의 데이터를 세션(session)으로 나누어, 트랜잭션(transaction)단위로 인터넷 응용 트래픽을 분류함으로써, 데이터 처리 효율성을 높일 수 있는 효과가 있다.
또한, 시각화된 호스트의 거동 패턴 및 신뢰성 높은 결정 공정을 제공하는 출력 인터페이스를 제공할 수 있는 효과가 있다.
또한, 분석에 용이한 포맷으로 데이터를 변환을 용이할 수 있는 효과가 있다.
또한, 입력데이터의 트래픽 흐름의 특징을 용이하게 선택 및 분석할 수 있는 효과가 있다.
또한, 성능 메트릭을 이용함으로써, 각 플러그인의 성능에 관하여 객관적이고 공정한 평가를 시행할 수 있는 효과가 있다.
또한, 각 플러그인의 추가, 수정 및 제거 동작을 관리하고, 다량의 데이터를 효율적으로 관리할 수 있는 효과가 있다.
이하, 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치를 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치는 두 개 이상의 인터넷 응용 트래픽 분류법이 플러그인(Plug in) 방식으로 구성되어, 상기 각 인터넷 응용 트래픽 분류법의 성능에 관한 벤치마크 기능을 수행하는 것을 특징으로 한다.
[도 1]은 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 구성도를 나타내는 도면으로, 유저인터페이스(1), 전후처리부(3), 트래픽분류부(5) 및 저장부(7)로 구성된다.
상기 유저인터페이스(1)는 사용자의 인터넷 응용 트래픽 트레이스 데이터 입력에 따른 인터넷 응용 트래픽 분류법의 성능 평가 및 분류 결과로부터 연산되는 연산데이터를 제공하는 역할을 하며, [도 2]에 도시된 바와 같이, 입력부(11) 및 출력부(15)로 구성된다.
상기 입력부(11)는 [도 6]에 도시된 전체 흐름도와 같이, 2종류의 인터넷 응용 트래픽 트레이스 데이터(9), 즉, 네트워크 인터페이스 카드(NIC)를 통한 온라인(91) 트래픽과 로컬디스크 또는 원격디스크에 저장된 Raw 파일을 통한 오프라인(93) 트래픽으로 구성된 인터넷 응용 트래픽 트레이스 데이터(Trace data)를 캡처하여, 분석 데이터를 입력하는 역할을 한다.
또한 본 발명에 따른 입력부(11)는 입력 데이터를 세션(Session), 테스크(Tasks), 타임스탬프 및 분석결과로 구성된 객체로 분리하는 트랜잭션(transaction) 방식으로 구성된 거래부(13)를 포함하는 것을 특징으로 한다.
각 인터넷 응용 트래픽 분류법은 막대한 양의 인터넷 응용 트래픽 트레이스 데이터 세트를 처리해야하므로 시스템 효율은 데이터 동작 유닛에 따라 좌우된다.
본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치에서는 CPU와 메모리의 한정된 자원 내에서 원활한 동작 기능을 제공하기 위해 기본 동작 유닛으로 분리되는 트랜잭션(Transaction) 단위로 인터넷 응용 트래픽을 식별, 분류하게 되는 것이다.
본 발명의 실시예에서 상기 기본 동작 유닛은 JAVA로 정의된 세션(Sessions) 및 태스크(Tasks), 타임스탬프 및 분석결과로 구성된 콤팩트한 객체 즉, 트랜잭션으로 분리하는 것이다.
상기 세션(131)은 단위시간 (본 발명의 실시예에서는 5분) 동안 캡처된 인터넷 응용 트래픽 플로우와 연관된 레코드 세트로 정의 된다.
상기 세션의 각 레코드는 ip, 포트 및 프로토콜과 같은 인터넷 응용 트래픽플로우에 연관된 정보, 분류결과의 기록을 위해 각 플러그인에 할당된 공간, 세션의 디스크립터를 포함한다.
상기 태스크(133)는 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치가 동작하는 동안 실행될 수 있는 플러그인의 배치(batch)로 정의 된다.
상기 타임스탬프는 트랜잭션을 생성 시, 시스템 시간이 기록된 트랜잭션의 고유 식별자로 정의 된다.
상기 분석결과는 실행 예정된 플러그인의 벤치마트 결과로 각 플러그인의 정확성과 효율성을 포함한다.
본 발명에 따른 모든 스탬(stems)은 데이터베이스에 단일 테이블로 저장된다.
이러한 트랜잭션 개념을 적용함으로써, 단일 또는 다중 소스 트레이스로부터 막대한 양의 흐름으로 수집 분리가 가능하며, 추가적 연산 동작 없이 분석 트랜잭션을 재로딩할 수 있으며, 분류 시스템의 확장성이 제공될 수 있는 효과가 있는 것이다.
상기 입력부(11)에서 입력된 분석 데이터는 전후처리부(3)의 전처리부(31)에 전달된다.
상기 전후처리부(3)는 [도 3]에 도시된 바와 같이, 전처리부(31)과 후처리부(35)로 구성되는데, 상기 전처리부(31)는 상기 입력부(11)의 입력데이터를 각 분류 플러그인을 위한 형태로 변환시키는 역할을 하며, 입력포맷변환부(313), 특징선택부(311) 및 특징이산화부(315)로 구성된다.
상기 입력포맷변환부(313)는 상기 입력부(11)와 연결되어, 플러그인의 입력 포맷을 변환하는 역할을 한다.
즉, 트랜잭션을 다수의 플러그인의 입력포맷, (예를 들어 기계학습에 기반한 응용 트래픽 분류 방법인 WEKA는 .ARFF 포맷)으로 변환하기 위해 트랜잭션 테이블에 있는 레코드를 추출하거나 업데이트하는 동작이 필요하다.
이러한 입력포맷변환 절차는 각 플러그인의 입력스트림과 데이터베이스의 출 력스트림 사이를 연결하는 구성에 의해 구현이 가능하다.
상기 특징선택부(311)는 상기 입력포맷변환부(313)와 연결되어, 기계 학습에 사용될 인터넷 응용 트래픽 플로우의 특징을 선택하는 역할을 하며, 기계 학습 기반의 인터넷 응용 트래픽 분류 알고리즘의 성능은 주로 신중히 특징(feature)을 선택하는 것에 의해 좌우됨에 따라 정확성에 가장 큰 영향을 미치는 특징을 선택되는 것이 바람직하다.
이에 본 발명의 실시예에서는 37개의 기본적인 특징으로 구현된 조건 선택 진술문을 통해 사용자의 목적에 따라 임의로 선택된다.
상기 특징이산화부(315)는 상기 입력포맷변환부(313)와 연결되어, 데이터이산화를 실행하는 역할을 한다.
상기 데이터 이산화는 연속적인 데이터를 이산적인 데이터로 전이시키는 공정으로 정의된다.
상기의 전처리부(31)에서 처리된 데이터는 상기 트래픽분류부(5)로 전달된다.
상기 트래픽분류부(5)는 각 인터넷 응용 트래픽 분류법으로 구성된 플러그인을 관리하고, 실행 시키는 역할을 하며, [도 4]에 도시된 바와 같이, 크게 분류실행부(51), 플러그인관리부(55) 및 데이터베이스관리부(53)로 구성된다.
상기 분류실행부(51)는 각 트랜잭션의 인터넷 응용 트래픽 플로우 레코드와 연관된 애플리캐이션을 식별하고 분류하는 역할을 한다.
이를 수행하기 위해, 각 플러그인은 트랜잭션의 태스크에 미리 한정된 순서에 따라 로딩, 실행되며, 전처리된 트랙잭션은 플러그인과 데이터베이스관리부(53) 사이의 연결을 통해 플러그인관리부(55)의 제어 하에 각 플러그인이 실행된다.
상기 플러그인관리부(55)는 상기 분류실행부(51)와 연결되어, 분류 기술에 대한 할당 역할을 하며, 플러그인의 추가, 수정 및 제거 동작을 용이하게 한다.
자세히 설명하자면, 플러그인 관리는 분류나 벤치마크의 객체에 새로운 기술을 추가하고 사용자의 목적에 따라 장착된 분류기술을 재구성하는 것으로 플러그 관리는 각 분류 기술에 대한 할당 동작을 모두 담당하게 되는 것이다.
본 발명의 실시 예에서 플러그인 관리는 JAVA로 구현되며, 클래스기반 데이터 구조는 {플러그인 이름, 플러그인의 상세 내용, 플러그인 실행 파라미터 및 실행 가능한 라이브러리의 링크}로 처리된다.
나아가 모든 플러그인 관리 기능은 사용의 용이성을 높이기 위해 사용자 인터페이스에 의해 지원됨에 따라 사용자는 간단한 작업을 통해 반 자동화방식으로 플러그인을 추가, 수정 및 제거할 수 있게 된다.
상기 데이터베이스관리부(53)는 상기 플러그인관리부(55)와 연결되어, 저장부의 데이터를 관리하며, 많은 수의 레코드를 순차접근 혹은 랜덤접근이 가능하도 록 하는 역할을 한다.
본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 트랜잭션에 의해 처리되는 동작은 메모리와 디스크 공간과 같은 많은 소비 자원이 요구됨에 따라서 본 발명의 실시예에서는 트랜잭션이 구성될 때, 세션에서 각 인터넷 응용 트래픽 플로우는 데이터베이스관리부의 트랜잭션 테이블의 연관된 단일 레코드로 저장되며, 플로우 정보, 분류결과의 기록을 위해 각 플러그인에 할당된 공간 및 세션 디스크립터 등과 같은 모든 데이터는 트랜잭션 테이블에 포함된다.
상기 트래픽분류부(5)에서 처리된 데이터는 상기 전후처리부(3)의 후처리부(35)로 전달된다.
상기 후처리부(35)는 각 플러그인에 대한 정확성으로 분류된 트랜잭션을 평가하는 역할을 하며, 시각화부(351), 출력포맷변환부(353) 및 평가부(355)로 구성된다.
상기 시각화부(351)는 상기 트래픽분류부(5)의 분류 결과를 시각화 작업을 수행한다.
상기 출력포맷변환부(353)는 상기 시각화부(351)와 연결되어, 분석된 트랜잭션을 시각화된 포맷으로 변환하는 역할을 한다.
상기 평가부(355)는 상기 출력포맷변환부(353)와 연결되어, 분석된 트랜잭션을 각 플러그인별로 성능 메트릭을 이용하여, 평가하는 역할을 한다.
본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치에서는 다수의 인터넷 응용 트래픽 분류 기술을 비교가능하게 하는 벤치마크 방법론을 적용하는데, 이러한 벤치마크 시스템을 구현하기 위해서는 첫째, 객관적이고 정확한 성능 메트릭을 사용하여 평가하여야 하며, 둘째, 완전한 페이로드 데이터 셋을 사용하여야 하며 셋째 광범위의 애플리케이션 카테고리가 정의되어야 한다.
본 발명의 실시예에서 상기 성능 메트릭(Performance Metric)은 각 인터넷 응용 트래픽 분류 기술의 성능을 측정하기 위해 4가지의 메트릭 즉, 전체 정확도(Overall accuracy), 정밀도(precision), 리콜(recall), F-척도(F-measure)를 이용한다.
이러한 성능 메트릭은 각각 참된 긍정(TP-True Positive), 거짓 긍정(FP-False Positive), 참된 부정(TN-True Negative) 및 거짓 부정(FN-False Negative)으로 정의 될 수 있다.
상기 참된 긍정(TP)은 특정 어플리케이션에 대해 정확하게 분류된 인터넷 응용 트래픽 플로우의 수이며, 상기 거짓 긍정(FP)은 주어진 애플리케이션에 부정확하게 속하는 인터넷 응용 트래픽 플로우의 수이며, 참된 부정(TN)은 다른 어플리케이션으로 정확하게 분류된 인터넷 응용 트래픽 플로우의 수이며, 상기 거짓 부정(FN)은 다른 어플리케이션으로 부정확하게 분류된 인터넷 응용 트래픽 플로우의 수로 정의된다.
좀 더 자세히 설명하면, 인터넷 응용 트래픽 플로우를 특정 어플리케이션인지 아닌지의 여부를 식별한다고 생각해보자. 예를 들어서 A라는 인터넷 응용 트래픽 플로우의 연관된 어플리케이션이 ‘웹(web)’인지 아닌지를 식별한다고 생각해보자.
만약 인터넷 응용 트래픽 플로우 A가 실제로는 ‘웹’인 경우에, 인터넷 응용 트래픽 분류방법이 플로우 A에 연관된 어플리케이션이 ‘웹’이라고 분류하였다면 이는 참된 긍정(True Positive)이 된다. 하지만 인터넷 응용 트래픽 분류방법이 플로우 A에 연관된 어플리케이션이 ‘웹’이 아니라고 분류하였다면, 이는 거짓 부정(False Negative)가 되는 것이다.
이와 반대로 만약 인터넷 응용 트래픽 플로우 A가 실제로는 ‘웹’이 아닌 경우에, 인터넷 응용 트래픽 분류방법이 플로우 A에 연관된 어플리케이션이 ‘웹’이라고 분류하였다면 이는 거짓 긍정(False Positive)가 된다. 하지만 인터넷 응용 트래픽 분류방법이 플로우 A에 연관된 어플리케이션이 ‘웹’이 아니라고 분류 하였다면, 이는 참된 부정(True Negative)가 되는 것이다.
상기 전체 정확도(Overall accuracy)는 전체 트레이스 세트에 대한 플러그인의 정확도이며, 모든 클래스에 대해 전체 참된 긍정(TP-Ture Positive)과 거짓 긍정(FP-False Positive)의 합에 대한 전체 긍정의 합의 비이며, 다음과 같은 수학식으로 정의된다.
Figure 112009063548740-pat00001
상기 정밀도(Precision)는 특정 인터넷 응용 애플리케이션 카테고리에 대한 인터넷 응용 트래픽 분류방법의 성능 메트릭으로 인터넷 응용 트래픽 플로우 중 참된 긍정(TP)과 거짓 긍정(FP)의 합에 대한 참된 긍정(TP)의 비로 산출되며, 다음과 같은 수학식으로 나타낼 수 있다.
Figure 112009063548740-pat00002
상기 리콜(recall)은 특정 인터넷 응용 애플리케이션 카테고리에 대한 인터넷 응용 트래픽 분류법의 성능 매트릭으로, 인터넷 응용 트래픽 플로우 중 참된 긍정(TP)과 거짓 부정(FN-False Nagavive)합에 대해 참된 긍정(TP)의 비로 산출되며, 다음과 같은 수학식으로 나타낼 수 있다.
삭제
Figure 112009063548740-pat00003
상기 F-척도(F-measure)는 조화 평균을 취하여 상기 정밀도와 리콜을 고려하며, 정보 검색 및 분류에서 널리 사용되는 메트릭으로 다음과 같은 수학식으로 나타낼 수 있다.
Figure 112010023227797-pat00016
상기 후처리부(35)에서 처리된 평가 결과는 상기 저장부(7)에 저장되므로, 상기 출력부(15)의 조회부(155)에 의해 조회가 가능하다.
본 발명의 실시예에서 조회방법은 트랜잭션 생성시, 모든 인터넷 응용 트래픽 플로우 레코드가 저장부(7)에 저장되므로 작은 오버헤드만으로 주요 IP 주소 등과 같은 중요한 정보를 조회할 수 있다.
본 발명의 실시예에서 상기 출력부(15)는 통계부(151)를 포함하여, [도 7]에 도시된 바와 같이, 그래프 모듈에 의한 시각화된 호스트의 거동 패턴을 확인할 수 있으며, 각 플러그인 별 전체정확도를 확인할 수 있다.
또한 상기 출력부(15)는 결정부(153)를 포함하여, 인터넷 트래픽 분류법 성능의 우선순위 투표에 의한 다수의 결정 공정을 제공할 수 있다.
본 발명의 실시예에서 상기 우선순위 투표 알고리즘은 우선순위 값이 투표 알고리즘을 조절하기 위해 구성될 수 있는 특징이 있다.
이상에서 설명한 바와 같이 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치을 적용하면, 다양한 인터넷 응용 트래픽 분류 기술을 플러그인(Plug in)방식으로 통합하여, 각 분류 기술에 관하여 객관적이고 정확한 평가를 제공할 수 있는 효과를 누릴 수 있다.
즉, 구형 또는 신형의 트래픽 분석 기술을 통합함으로써, 정확한 네트워크 트래픽 상황을 분석 결과를 제공하고, 나아가 인터넷 네트워크 운영의 효율성을 높일 수 있는 효과를 누릴 수 있게 하는 것이다.
본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치로 구현할 수 있다.
도 1은 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치 구성도.
도 2는 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 유저인터페이스부의 세부구성도.
도 3은 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 전후처리부의 세부구성도.
도 4는 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 분류부의 세부구성도.
도 5는 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 저장부의 세부구성도.
도 6은 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 전체 시스템 흐름도.
도 7은 본 발명에 따른 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치의 전체 정확도를 그래프로 산출한 일실시예.
< 도면의 주요 부분에 대한 부호의 설명 >
1 : 유저인터페이스 3 : 전후처리부
5 : 분류부 7 : 저장부
9 : 트레이스데이터 13 : 입력부
15 : 출력부 31 : 전처리부
35 : 후처리부 51 : 분류실행부
53 : 데이터베이스관리부 55 : 플러그인 관리부

Claims (10)

  1. 삭제
  2. 네트워크 인터페이스 카드(NIC)를 통한 온라인 트래픽과 로컬디스크 또는 원격디스크에 저장된 Raw 파일을 통한 오프라인 트래픽으로 구성된 사용자의 인터넷 응용 트래픽 트레이스 데이터를 입력하고, 인터넷 응용 트래픽 분류법의 성능 평가 및 분류 결과로부터 연산되는 연산데이터를 제공하는 사용자인터페이스;
    상기 사용자인터페이스와 연결되어, 입력데이터를 각 분류 플러그인에 적합한 형태로 변환하고, 각 플러그인에 관한 성능을 비교, 평가 처리하는 전후 처리부;
    상기 전후 처리부와 연결되어, 각 인터넷 응용 트래픽 분류법으로 구성된 플러그인(Plug-in)을 관리하고, 실행시키는 분류부 및
    상기 사용자 인터페이스 및 트래픽 분류부와 연결되어, 각 플러그인 실행에 따른 성능 및 분석 결과를 저장하는 저장부를 포함하며,
    상기 분류부는,
    각 트랜잭션 흐름과 연관된 애플리캐이션을 식별하고 분류하는 분류실행부;
    상기 분류실행부와 연결되어, 페이로드, 포트번호, 기계학습, 인터넷 호스트의 행동패턴에 기반한 인터넷 응용 트래픽 분류법 중 적어도 두 이상의 인터넷 트래픽 분류법을 플러그인으로 할당하는 역할을 하며, 상기 플러그인의 추가, 수정 및 제거 동작을 하는 플러그인관리부 및
    상기 플러그인관리부와 연결되어, 상기 저장부의 데이터를 관리하며, 많은 수의 레코드를 순차적 혹은 랜덤적으로 저장하거나 엑세스가 가능하도록 하는 데이터베이스 관리부로 구성되는 것을 특징으로 하는 것을 특징으로 하는 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치.
  3. 제2항에 있어서,
    상기 사용자 인터페이스는,
    온라인과 오프라인 인터넷 응용 트래픽 트레이스 데이터(Trace data)를 캡처하여, 분석 데이터를 입력하는 입력부 및
    상기 입력부와 연결되어, 사용자에 성능 평가 및 분류 결과로부터 연산되는 연산데이터를 제공하는 출력부로 구성되되,
    상기 입력부는 입력 데이터를 세션(Session), 테스크(Tasks), 타임스탬프 및 분석결과로 구성된 객체로 분리하는 트랜잭션(transaction) 방식으로 구성되는 것을 특징으로 하는 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치.
  4. 제3항에 있어서,
    상기 출력부는 각 인터넷 트래픽 분류법의 성능 및 연산 데이터를 분석하는 통계부;
    상기 통계부와 연결되어, 인터넷 트래픽 분류법 성능의 우선순위 투표에 의한 결정부 및
    인터넷 트래픽 분류법의 성능을 조회하는 역할을 하는 조회부로 구성되는 것을 특징으로 하는 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치.
  5. 제4항에 있어서,
    상기 전후처리부는,
    상기 입력부의 입력데이터를 각 분류 플러그인을 위한 형태로 변환시키는 전처리부 및
    각 플러그인에 대한 정확성으로 분류된 트랜잭션을 평가하는 후처리부로 구성되는 것을 특징으로 하는 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치.
  6. 제5항에 있어서,
    상기 전처리부는,
    상기 입력부와 연결되어, 플러그인의 입력 포맷을 변환하는 입력포맷변환부;
    상기 입력포맷변환부와 연결되어, 트래픽 흐름의 특징을 선택하는 특징선택부 및
    상기 특징선택부와 연결되어, 연속적인 데이터를 이산적인 데이터로 전이시키는 특징이산화부를 포함하는 것을 특징으로 하는 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치.
  7. 제5항에 있어서,
    상기 후처리부는,
    분류 결과를 시각화 작업을 수행하는 시각화부;
    상기 시각화부와 연결되어, 분석된 트랜잭션을 시각화된 포맷으로 변환하는 출력포맷변환부 및
    상기 출력포맷변환부와 연결되어, 분석된 트랜잭션을 각 플러그인별로 성능 메트릭을 이용하여, 평가하는 평가부로 구성되는 것을 특징으로 하는 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치.
  8. 제7항에 있어서,
    상기 성능 메트릭은,
    전체 트레이스 세트에 대한 플러그인의 정확도이며, 모든 인터넷 응용 어플리케이션 클래스에 대해 전체 참된 긍정(TP-Ture Positive)과 거짓 긍정(FP-False Positive)의 합에 대한 전체 참된 긍정의 합의 비로 산출되는 전체 정확도(Overall accuracy);
    특정 인터넷 응용 애플리케이션 카테고리에 대한 인터넷 응용 트래픽 분류법의 성능 메트릭으로, 인터넷 응용 트래픽 플로우 중 참된 긍정(TP)과 거짓 긍정(FP)의 합에 대한 참된 긍정(TP)의 비로 산출되는 정밀도(Precision);
    특정 인터넷 응용 애플리케이션 카테고리에 대한 인터넷 응용 트래픽 분류법의 성능 매트릭으로, 인터넷 응용 트래픽 플로우 중 참된 긍정(TP)과 거짓 부정(FN-False Nagavive)합에 대해 참된 긍정(TP)의 비로 산출되는 리콜(recall) 및
    조화 평균(Harmonic Mean)을 취하여 상기 정밀도와 리콜의 합에 대해, 상기 정밀도와 리콜의 두 배 곱으로 산출되는 F-척도를 포함하며,
    상기 참된 긍정(TP)은, 특정 어플리케이션에 대해 정확하게 분류된 인터넷 응용 트래픽 플로우의 수이며,
    상기 거짓 긍정(FP)은, 주어진 애플리케이션에 부정확하게 속하는 인터넷 응용 트래픽 플로우의 수이며,
    상기 참된 부정(TN)은, 다른 어플리케이션으로 정확하게 분류된 인터넷 응용 트래픽 플로우의 수이며,
    상기 거짓 부정(FN)은, 다른 어플리케이션으로 부정확하게 분류된 인터넷 응용 트래픽 플로우의 수인 것을 특징으로 하는 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치.
  9. 삭제
  10. 삭제
KR1020090098817A 2009-10-16 2009-10-16 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치 KR100965452B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090098817A KR100965452B1 (ko) 2009-10-16 2009-10-16 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치
US12/895,159 US8631331B2 (en) 2009-10-16 2010-09-30 Apparatus for network traffic classification benchmark

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090098817A KR100965452B1 (ko) 2009-10-16 2009-10-16 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치

Publications (1)

Publication Number Publication Date
KR100965452B1 true KR100965452B1 (ko) 2010-06-24

Family

ID=42370340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090098817A KR100965452B1 (ko) 2009-10-16 2009-10-16 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치

Country Status (2)

Country Link
US (1) US8631331B2 (ko)
KR (1) KR100965452B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101488271B1 (ko) 2013-11-26 2015-02-02 한국전자통신연구원 Ids 오탐 검출 장치 및 방법
KR102207786B1 (ko) * 2019-10-02 2021-01-26 에스케이텔레콤 주식회사 사용자 평면 장치 및 이를 이용한 어플리케이션 식별 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10044582B2 (en) 2012-01-28 2018-08-07 A10 Networks, Inc. Generating secure name records
US9042304B2 (en) * 2012-06-05 2015-05-26 Vmware, Inc. Controlling a paravirtualized wireless interface from a guest virtual machine
US9912555B2 (en) * 2013-03-15 2018-03-06 A10 Networks, Inc. System and method of updating modules for application or content identification
US9722918B2 (en) 2013-03-15 2017-08-01 A10 Networks, Inc. System and method for customizing the identification of application or content type
US9838425B2 (en) 2013-04-25 2017-12-05 A10 Networks, Inc. Systems and methods for network access control
US9294503B2 (en) 2013-08-26 2016-03-22 A10 Networks, Inc. Health monitor based distributed denial of service attack mitigation
WO2015167421A1 (en) 2014-04-28 2015-11-05 Hewlett-Packard Development Company, L.P. Network flow classification
US9906422B2 (en) 2014-05-16 2018-02-27 A10 Networks, Inc. Distributed system to determine a server's health
US9756071B1 (en) 2014-09-16 2017-09-05 A10 Networks, Inc. DNS denial of service attack protection
US9537886B1 (en) 2014-10-23 2017-01-03 A10 Networks, Inc. Flagging security threats in web service requests
US9621575B1 (en) 2014-12-29 2017-04-11 A10 Networks, Inc. Context aware threat protection
US9900343B1 (en) 2015-01-05 2018-02-20 A10 Networks, Inc. Distributed denial of service cellular signaling
US10931692B1 (en) * 2015-01-22 2021-02-23 Cisco Technology, Inc. Filtering mechanism to reduce false positives of ML-based anomaly detectors and classifiers
US9848013B1 (en) 2015-02-05 2017-12-19 A10 Networks, Inc. Perfect forward secrecy distributed denial of service attack detection
US10063591B1 (en) 2015-02-14 2018-08-28 A10 Networks, Inc. Implementing and optimizing secure socket layer intercept
US9705753B2 (en) * 2015-04-02 2017-07-11 Exinda Extensible analytics and recommendation engine for network traffic data
US9787581B2 (en) 2015-09-21 2017-10-10 A10 Networks, Inc. Secure data flow open information analytics
US10469594B2 (en) 2015-12-08 2019-11-05 A10 Networks, Inc. Implementation of secure socket layer intercept
US10812348B2 (en) 2016-07-15 2020-10-20 A10 Networks, Inc. Automatic capture of network data for a detected anomaly
US10341118B2 (en) 2016-08-01 2019-07-02 A10 Networks, Inc. SSL gateway with integrated hardware security module
US10382562B2 (en) 2016-11-04 2019-08-13 A10 Networks, Inc. Verification of server certificates using hash codes
US10250475B2 (en) 2016-12-08 2019-04-02 A10 Networks, Inc. Measurement of application response delay time
US10397270B2 (en) 2017-01-04 2019-08-27 A10 Networks, Inc. Dynamic session rate limiter
US10187377B2 (en) 2017-02-08 2019-01-22 A10 Networks, Inc. Caching network generated security certificates
US10367746B2 (en) * 2017-12-30 2019-07-30 Hughes Network Systems, Llc Statistical traffic classification with adaptive boundaries in a broadband data communications network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040052015A (ko) * 2002-12-13 2004-06-19 한국전자통신연구원 트래픽 측정 시스템 및 그의 트래픽 분석 방법
KR20060059493A (ko) * 2004-11-29 2006-06-02 학교법인 포항공과대학교 Ｉｐ 네트워크 환경에서의 트래픽 분석장치
KR20080061055A (ko) * 2006-12-28 2008-07-02 한국정보통신대학교 산학협력단 Ｐ2ｐ 응용 서비스 식별 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7275020B2 (en) * 2003-12-23 2007-09-25 Hewlett-Packard Development Company, L.P. Method and system for testing a computer system by applying a load

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040052015A (ko) * 2002-12-13 2004-06-19 한국전자통신연구원 트래픽 측정 시스템 및 그의 트래픽 분석 방법
KR20060059493A (ko) * 2004-11-29 2006-06-02 학교법인 포항공과대학교 Ｉｐ 네트워크 환경에서의 트래픽 분석장치
KR20080061055A (ko) * 2006-12-28 2008-07-02 한국정보통신대학교 산학협력단 Ｐ2ｐ 응용 서비스 식별 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101488271B1 (ko) 2013-11-26 2015-02-02 한국전자통신연구원 Ids 오탐 검출 장치 및 방법
US9398040B2 (en) 2013-11-26 2016-07-19 Electronics And Telecommunications Research Institute Intrusion detection system false positive detection apparatus and method
KR102207786B1 (ko) * 2019-10-02 2021-01-26 에스케이텔레콤 주식회사 사용자 평면 장치 및 이를 이용한 어플리케이션 식별 방법

Also Published As

Publication number Publication date
US20110093785A1 (en) 2011-04-21
US8631331B2 (en) 2014-01-14

Similar Documents

Publication Publication Date Title
KR100965452B1 (ko) 인터넷 응용 트래픽 분류법의 비교평가를 위한 벤치마크 장치
CN110245078B (zh) 一种软件的压力测试方法、装置、存储介质和服务器
Zhu et al. Tools and benchmarks for automated log parsing
WO2020038353A1 (zh) 异常行为检测方法及系统
CN105283849B (zh) 针对性能和细节的并行跟踪
KR102522005B1 (ko) 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법
US20060074621A1 (en) Apparatus and method for prioritized grouping of data representing events
US7761398B2 (en) Apparatus and method for identifying process elements using request-response pairs, a process graph and noise reduction in the graph
CN109525508B (zh) 基于流量相似性比对的加密流识别方法、装置及存储介质
US20110167149A1 (en) Internet flow data analysis method using parallel computations
BR112015019167B1 (pt) Método realizado por um processador de computador e sistema
US20170109636A1 (en) Crowd-Based Model for Identifying Executions of a Business Process
CN102420723A (zh) 一种面向多类入侵的异常检测方法
CN110806954A (zh) 评估云主机资源的方法、装置、设备及存储介质
CN111177360B (zh) 一种基于云上用户日志的自适应过滤方法及装置
US20170109638A1 (en) Ensemble-Based Identification of Executions of a Business Process
CN112667750A (zh) 一种报文类别的确定、识别方法及装置
WO2020140624A1 (zh) 从日志中提取数据的方法和相关设备
CN112162960A (zh) 一种卫生健康政务信息共享方法、装置及系统
CN112052109A (zh) 基于日志分析的云服务平台事件异常检测方法
CN115357418A (zh) 微服务故障检测方法、装置、存储介质及计算机设备
US20120109639A1 (en) Method, computer program and apparatus for analyzing symbols in a computer system
CN112434178A (zh) 图像分类方法、装置、电子设备和存储介质
US10073938B2 (en) Integrated circuit design verification
Genkin et al. Machine-learning based spark and hadoop workload classification using container performance patterns

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140609

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150601

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160204

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170524

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 10