KR101429884B1 - 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템 - Google Patents

고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템 Download PDF

Info

Publication number
KR101429884B1
KR101429884B1 KR1020120123041A KR20120123041A KR101429884B1 KR 101429884 B1 KR101429884 B1 KR 101429884B1 KR 1020120123041 A KR1020120123041 A KR 1020120123041A KR 20120123041 A KR20120123041 A KR 20120123041A KR 101429884 B1 KR101429884 B1 KR 101429884B1
Authority
KR
South Korea
Prior art keywords
hash
hash table
processing
data
analysis
Prior art date
Application number
KR1020120123041A
Other languages
English (en)
Other versions
KR20140055761A (ko
Inventor
진용식
Original Assignee
주식회사 윈스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 윈스 filed Critical 주식회사 윈스
Priority to KR1020120123041A priority Critical patent/KR101429884B1/ko
Publication of KR20140055761A publication Critical patent/KR20140055761A/ko
Application granted granted Critical
Publication of KR101429884B1 publication Critical patent/KR101429884B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

본 발명은 고속 네트워크 환경 하에서 대용량 트래픽 분석 처리시 사용하는 해쉬의 지연처리 부하를 최소한으로 보장하여 고성능을 보장하기 위한 분산처리해싱방법에 관한 것으로, 네트워크 환경 하에서 트래픽 분석을 통해 연속성 있게 데이터를 관리하기 위해 사용되는 해쉬테이블 구성에 대해 입력과 수정, 삭제 등의 갱신 작업에 대해 분산처리 환경에서 상호배제(Mutual exclusion) 작업에 대해 지연처리가 발생하지 않도록 하는 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법에 관한 것이다.
이와 같은 본 발명의 특징은 하나 이상의 분석엔진에서의 해쉬테이블의 갱신데이터를 해쉬씨엠씨처리엔진 측으로 전송하는 해쉬갱신요청단계; 및 해쉬씨엠씨처리엔진에서 해쉬테이블(30)의 데이터를 갱신하는 해쉬갱신단계를 포함하여, 하나 이상의 분석엔진에서의 해쉬테이블 갱신 요청을 전송받아 해쉬씨엠씨처리엔진에서 해쉬테이블 데이터를 갱신하는 것을 특징으로 한다.

Description

고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템{HASHING METHOD FOR DISTRIBUTED DATA PROCESSING TO PROCESS HIGH-SPEED NETWORK MASSIVE TRAFFIC PROCESSING AND HASHING SYSTEM FOR DISTRIBUTED DATA PROCESSING}
본 발명은 고속 네트워크 환경 하에서 대용량 트래픽 분석 처리시 사용하는 해쉬의 지연처리 부하를 최소한으로 보장하여 고성능을 보장하기 위한 분산처리해싱방법에 관한 것으로, 네트워크 환경 하에서 트래픽 분석을 통해 연속성 있게 데이터를 관리하기 위해 사용되는 해쉬테이블 구성에 대해 입력과 수정, 삭제 등의 갱신 작업에 대해 분산처리 환경에서 상호배제(Mutual exclusion) 작업에 대해 지연처리가 발생하지 않도록 하는 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법에 관한 것이다.
일반적으로 네트워크망은 수많은 사용자와 다양한 정보제공의 서버들 사이에서 정보의 접속이 이루어지게 하는 것이며, 수많은 사용자와 서버들이 네트워크망에 의해 서로 연결되어 정보교환이 이루어지게 한다. 특히 한 서버에 일부 지역이나 한 나라의 사용자들만 접속하는 것이 아니라 전 세계 사용자들을 접속 대상자로 하기 때문에 교환되는 정보양이나 네트워크 트래픽이 상당하게 된다.
이러한 네트워크 트래픽의 증가에 따라 사용자들 및 서버가 정상의 데이터를 송수신할 뿐만 아니라 이러한 정상 정보의 송수신에 더하여 악성코드, 해킹 등의 공격형 접속도 상대적으로 증가하고 있다. 하지만 이러한 공격형 접속을 차단하기에는 너무 많은 접속량에 대한 처리의 한계가 있는 것이다. 즉 서버에 불법으로 접속하거나, 정보를 불법으로 탈취하거나, 또는 서버를 감염시키기 위한 것뿐만 아니라 DDOS공격과 같이 서버 운영을 저해하는 방법 등은 더욱 지능화하고 있다.
이에 대응하여 서버로 접속하는 네트워크망을 단속하기 위한 기술이 제안되고 있고, 특히 DDOS 공격의 경우 트래픽의 증가를 감지하거나 응답요청에 응답하지 않는 접속을 차단하는 등의 차단방법이 제시되고 있다. 하지만 증가되는 트래픽의 모든 패킷 정보에 대해 일일이 분석하면서 대응해야 하며 이를 위해 고속 네트워크 처리를 위한 장비가 절실하게 요구되고 있다. 아울러 이러한 고속 네트워크 대용량 트래픽 처리를 함에 있어 해쉬 정보를 이용하게 되고, 이러한 해쉬 정보의 이용에 있어서도 대용량 처리의 환경이 이루어져야 하나 해쉬 정보를 이용한 대용량 트래픽 처리의 구성이 절실히 요구되고 있다.
특히 해쉬는 입력과 수정, 삭제 작업에 대해 분산처리 환경에서 상호배제(mutual exclusion)가 보장되도록 처리하여야 하지만, 대용량의 트래픽을 처리할 경우 상호 연관성에 의해 지연처리가 발생할 우려가 있고, 과부하를 발생시켜 성능이 저하될 우려가 있는 것이다.
상기와 같은 문제점을 해소하기 위한 본 발명은 고속 네트워크 환경 하에서 대용량 트래픽 분석 처리시 사용하는 해쉬의 지연처리 부하를 최소한으로 보장하여 고성능을 보장하기 위한 목적이 있다.
특히 본 발명의 목적으로는 네트워크 환경 하에서 대용량 트래픽 분석을 통해 연속성 있게 데이터를 관리하기 위해 사용되는 해쉬테이블에 대해 입력과 수정, 삭제 등의 갱신 작업에 대해 분산처리 환경에서 상호배제(Mutual exclusion) 작업에 대해 지연처리가 발생하지 않도록 하는 것이다.
그리고 본 발명의 다른 목적은, 트래픽 처리에 있어 분산환경에서 데이터의 연속성을 보장하기 위해서 사용하는 해쉬 기술이며 입력/수정/삭제 작업에서의 지연발생에 대해 근본적으로 해결할 수 있으며, 또한 대용량 데이터 처리를 위한 확장 가능한 구조로서 대용량 네트워크 환경에서 고성능을 보장하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명은, 하나 이상의 분석엔진(20)에 해쉬정보를 제공하는 해쉬테이블(30)의 데이터를 갱신하는 해싱방법에 있어서, 하나 이상의 분석엔진에서의 해쉬테이블의 갱신데이터를 해쉬씨엠씨처리엔진 측으로 전송하는 해쉬갱신요청단계; 및 해쉬씨엠씨처리엔진에서 해쉬테이블(30)의 데이터를 갱신하는 해쉬갱신단계를 포함하여, 하나 이상의 분석엔진에서의 해쉬테이블 갱신 요청을 전송받아 해쉬씨엠씨처리엔진에서 해쉬테이블 데이터를 갱신하는 것을 특징으로 하는 분산처리 해싱방법을 제공한다.
또한 본 발명의 바람직한 실시예에 있어서, 상기 해쉬갱신요청단계는, 하나 이상의 분석엔진에서 해쉬테이블의 갱신데이터에 대해 Message Flag 설정을 하여 전송하는 것을 특징으로 한다.
그리고 본 발명의 바람직한 실시예에 있어서, 상기 해쉬갱신요청단계와 해쉬갱신단계 사이에, 씨엠버퍼에 의하여, 하나 이상의 분석엔진으로부터 해쉬테이블의 갱신데이터를 수집하는 단계; 및 수집된 해쉬테이블의 갱신데이터를 해쉬씨엠씨처리엔진 측으로 전송하는 단계를 포함하는 것을 특징으로 한다.
나아가 본 발명의 바람직한 실시예에 있어서, 해쉬테이블의 정보를 이용하여 트래픽을 분석하는 하나 이상의 분석엔진; 하나 이상의 분석엔진에 해쉬정보를 제공하는 해쉬테이블; 및 상기 하나 이상의 분석엔진에서의 해쉬테이블의 갱신데이터를 전송받고 해쉬테이블의 데이터를 갱신하는 해쉬씨엠씨처리엔진을 포함하는 것을 특징으로 하는 분산처리해싱시스템을 제공한다.
이에 본 발명의 바람직한 실시예에 있어서, 하나 이상의 분석엔진으로부터 해쉬테이블의 갱신데이터를 수집하여 해쉬씨엠씨처리엔진 측으로 전송하는 씨엠버퍼를 포함하고, 상기 분석엔진에서 해쉬테이블의 갱신데이터에 대해 Message Flag 설정을 하여 전송하는 것을 특징으로 한다.
상기와 같이 구성되는 본 발명은 고속 네트워크 환경 하에서 대용량 트래픽 분석 처리시 사용하는 해쉬의 지연처리 부하를 최소한으로 보장하여 고성능을 보장하기 위한 것으로, 네트워크 환경 하에서 대용량 트래픽 분석을 통해 연속성 있게 데이터를 관리하기 위해 사용되는 해쉬테이블에 대해 입력과 수정, 삭제 등의 갱신 작업에 대해 분산처리 환경에서 상호배제(Mutual exclusion) 작업에 대해 지연처리가 발생하지 않도록 하는 효과가 있다.
그리고 본 발명의 다른 효과는, 트래픽 처리에 있어 분산환경에서 데이터의 연속성을 보장하기 위해서 사용하는 해쉬 기술이며 입력/수정/삭제 작업에서의 지연발생에 대해 근본적으로 해결할 수 있으며, 또한 대용량 데이터 처리를 위한 확장 가능한 구조로서 대용량 네트워크 환경에서 고성능을 보장하는 것이다.
도 1은 본 발명에 따른 분산처리해싱방법이 운영되는 고속네트워크 장비에 대한 일실시 예시구성도이다.
도 2는 본 발명에 따른 분산처리해싱방법이 운영될 수 있는 고속네트워크 장비에서 단순 분석구성의 예시도이다.
도 3은 본 발명에 따른 분산처리해싱방법이 운영될 수 있는 고속네트워크 장비에서 복합 해쉬테이블이 마련된 분석구성의 예시도이다.
도 4는 본 발명에 따른 분산처리해싱시스템에 있어서 단순 분석구성 예시도이다.
도 5는 본 발명에 따른 분산처리해싱시스템에서 분석엔진에 대한 세부 실시 예시도이다.
도 6은 본 발명에 따른 분산처리해싱시스템에 있어서 복합 해쉬테이블 타입의 분석구성 예시도이다.
도 7은 본 발명에 따른 분산처리해싱방법의 처리과정에 대한 흐름도이다.
도 8은 본 발명에 따른 분산처리해싱시스템이 응용되어 멀티 코어의 증가된 구성의 실시예시에 대한 예시도이다.
도 9는 본 발명에 따른 분산처리해싱방법이 운영되는 고속네트워크 장비에서의 분산형 트래픽 분석구조의 예시구성도이다.
도 10은 본 발명에 따른 분산처리해싱방법에 대한 순서도이다.
이하 첨부되는 도면을 참조하여 상세히 설명한다.
즉 본 발명에 따른 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템(10)은 첨부된 도 1 내지 도 10 등에서와 같이, 기본적으로 네트워크 트래픽 정보를 분석하는 분석엔진과 분석엔진에서 트래픽 정보를 분석하기 위해 이용하는 해쉬테이블 등이 마련된 것이다.
이러한 본 발명에 따른 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템(10)의 적용을 위해 이용되는 분석엔진 및 트래픽 처리의 구성예를 보면, 도 1 및 도 3에서와 같이 고속 네트워크 장비가 구성될 것이다.
즉 도 1에서처럼 네트워크 트래픽 유입을 위한 수집부, 유입된 트래픽 데이터를 분석하기 위한 분석엔진, 분석엔진에서 이용하는 해쉬테이블, 그리고 기타 엔진 등이 마련될 것이다.
이에 트래픽 정보의 분석이 다수의 처리 프로세서들 및 분석엔진들에 나누어져 분석이 이루어지게 될 것이다. 따라서 분석대상인 트래픽 데이터들은 다수 분석엔진들에 분산되어 분석되는 것이며, 이에 다수 멀티 분석엔진들은 하나의 해쉬테이블의 해쉬정보를 이용하게 될 것이다. 이처럼 분산된 분석엔진들은 공통된 해쉬 테이블 정보를 이용하기 위하여 공통된 정보 테이블에 접근하게 될 것이다. 특히 분산된 분석엔진들 중에서 어느 하나의 분석엔진에서 공통된 하나의 해쉬정보를 삽입(Insert), 수정(Update), 삭제(Delete) 등으로 정보를 갱신하려고 하는 경우에는, 다른 분석엔진에서의 해쉬 테이블 접근을 차단하게 될 것이다. 즉 도 4의 예에서처럼 정보 Hash Table의 접근이 차단된 Lock 현상이 발생된다.
이처럼 트래픽 정보를 다수의 분산처리 구성으로 분석엔진을 두어 트래픽 처리 효율을 높이더라도 정보 Hash Table의 접근이 정보 갱신 시에는 단일의 분석엔진에 의한 다른 분석엔진의 Lock 현상이 발생되어 접근이 차단되기 때문에 분산처리의 구성이 무의미해지는 것이다.
즉 다른 분석엔진에 대한 접근이 Lock을 통해 접근상태의 분석엔진에 의한 Hash Table은 최신 정보를 유지하는 것이나, 반면 분산형으로 마련된 여러 개의 분석엔진들이 해당 Hash Table의 접근이 Lock으로 인한 대기상태가 되므로, 엔진처리 대기시간의 발생으로 인하여 분산형의 효용성이 저하될 것이다. 아울러 분산형의 분석엔진의 개수가 많을수록 개별 분산엔진에 대한 해당 Hash Table의 접근대기시간이 증가하게 되어 오히려 트래픽 처리능력의 저하도 우려될 것이다.
아울러 도 3에서와 같이 분산형 분석엔진과 정보 Data Hash Table이 1개씩 공유하는 경우에서도, 분석엔진들이 해당하는 Hash Table에 접근하는 것은 쉽게 한다 하여도, 공통된 정보를 공유하기 위한 Hash Table이 한 개가 존재할 수밖에 없다. 이러한 상황에서도 공통된 Hash Table에 접근시, 앞서 살펴본 예에서처럼 하나의 분석엔진에서의 접근시에는 다른 분석엔진들의 접근이 Lock 상태를 갖기 때문에 분산형 분석엔진의 구성에 문제점이 있을 것이다.
이에 반에 본 발명에 따른 분산처리해싱방법 및 분산처리해싱시스템(10)에 따르면 도 5의 예시도에서처럼 분산형으로 다수의 분석엔진(20)들이 마련되고, 개별 분석엔진(20)은 해쉬테이블(30, Hash Table)에서 해쉬 정보를 전송받아 처리하며, 이에 해쉬 정보의 갱신(삽입(Insert), 수정(Update), 삭제(Delete) 등) 요청 정보를 해쉬씨엠씨처리엔진(40, Hash CMC(Command Message Center) Thread) 측으로 전송하게 된다.
즉 분산처리해싱시스템(10)은, 해쉬테이블의 정보를 이용하여 트래픽을 분석하는 하나 이상의 분석엔진(20), 하나 이상의 분석엔진(20)에 해쉬정보를 제공하는 해쉬테이블(30), 그리고 상기 하나 이상의 분석엔진(20)에서의 해쉬테이블의 갱신데이터를 전송받고 해쉬테이블의 데이터를 갱신하는 해쉬씨엠씨처리엔진(40) 등을 포함하여 구비될 것이다.
따라서 분산형의 다수 분석엔진(20)들은 해쉬테이블(30)로부터 해쉬 정보를 불러오면서 분석을 수행하며, 해쉬 정보의 갱신이 있을 경우에는 갱신요청정보를 해쉬씨엠씨처리엔진(40) 측으로 전송한 후, 다른 트래픽 정보를 분석하므로, 도 1 내지 도 3에서와 같은 해쉬테이블에 대한 접근이 Lock 상태를 갖지 않는 것이다. 따라서 진정한 트래픽의 분산처리가 효율적으로 이루어질 것이므로, 고속 네트워크 대용량 트래픽 처리가 충분히 효율성을 갖게 된다.
이를 위한 본 발명에 따른 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱 방법에 대해서 살펴보면 다음과 같다.
즉 하나 이상의 분석엔진(20)에서의 해쉬테이블(30)의 갱신데이터를 해쉬씨엠씨처리엔진(40) 측으로 전송하는 해쉬갱신요청단계가 수행된다.
그리고 해쉬씨엠씨처리엔진(40)에서 해쉬테이블(30)의 데이터를 갱신하는 해쉬갱신단계가 수행된다.
이로써 분산형으로 마련된 하나 이상의 분석엔진(20)에서의 해쉬테이블(30) 갱신 요청을 수신받아 해쉬씨엠씨처리엔진(40)에서 해쉬테이블 데이터를 갱신하는 것이다.
이처럼 마련된 분산형의 다수 분석엔진(20)들은 단지 해쉬테이블(30)로부터 해쉬 정보만 읽어오면 되고, 읽어온 해쉬정보를 이용하여 대용량으로 유입되는 트래픽 정보만 분석처리하게 된다. 이후 해쉬 정보를 갱신(삽입, 수정, 삭제 등) 요청 정보는 단지 해쉬씨엠씨처리엔진(40, Hash CMC(Command Message Center) Thread)에 전송하므로, 분산형의 다수 분석엔진들은 단지 유입되는 대용량 트래픽 처리만 담당하므로 많은 양의 트래픽 정보 처리도 충분히 수행할 수 있는 것이다.
아울러 해쉬 정보의 갱신 요청을 받은 해쉬씨엠씨처리엔진(40)에서는 수신받은 해쉬 정보의 갱신 요청 정보에 따라 해쉬테이블(30)의 해쉬 정보를 순차적으로 갱신하게 된다. 즉 단일의 갱신담당인 해쉬씨엠씨처리엔진(40)에 의해서만 해쉬테이블의 해쉬정보를 갱신하여 도 1 내지 도 3에서처럼 해쉬테이블에 대한 접근의 Lock 상태가 발생할 우려가 없는 것이다.
이처럼 분산형으로 마련되는 다수의 분석엔진(20)들은 단지 유입되는 트래픽 정보에 대해서 분석처리만 수행하고, 또한 해쉬테이블(30)에 대해서는 해쉬 정보만 가져오기 때문에 분석처리의 과정을 계속 수행할 수 있고, 또한 Hash Table에 대한 갱신을 직접 수행하지 않으므로, 대용량의 트래픽 처리가 효율적으로 이루어진다.
이러한 분산형 분석엔진(20)과 분석엔진(20)으로부터 해쉬 정보 갱신 요청 정보를 전송받는 해쉬씨엠씨처리엔진(40) 등에서의 처리과정을 도 8을 참조하여 살펴보면 다음과 같다.
따라서 분산형 분석엔진(20)에서는 유입되는 트래픽 정보를 전송받아 분석하되 해쉬정보를 해쉬테이블(30)로부터 제공받는다. 그리하여 트래픽 정보를 분석하게 되고 분석에 의해 해쉬정보의 갱신(Insert(삽입), Update(수정), Delete(삭제) 등)이 있는지 판별한다(Hash Table data 갱신). 즉 해쉬갱신요청단계가 수행되는 것이다.
이에 해쉬갱신요청단계에서는, 정보 갱신이 있을 시에는 분산형 분석엔진(20)에서는 해쉬 정보 갱신 요청의 정보에 대해서 Message Flag 설정을 하게 된다. 즉 하나 이상의 분석엔진(20)에서 해쉬테이블(30)의 갱신데이터에 대해 Message Flag 설정을 한다(Data Message Flag Set). 그리고 분석엔진(20)에서 해쉬씨엠씨처리엔진(40) 측으로 해쉬 데이터 갱신 요청 정보를 전송하는 것이다(Send).
이후 해쉬 데이터 갱신 요청 정보를 전송받은 해쉬씨엠씨처리엔진(40)에 의하여 해쉬갱신단계를 수행하게 된다. 우선 해쉬 테이블 데이터 갱신 요청의 정보를 수신받게 되고(Hash Table Data 갱신 수신), 그리하여 해쉬테이블(30)의 데이터를 갱신하게 된다(Hash Table Data 갱신).
이와 같이 마련되는 본 발명에 따른 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법에 있어서, 해쉬갱신요청단계와 해쉬갱신단계 사이에, 씨엠버퍼(21)에 의하여, 하나 이상의 분석엔진(20)으로부터 해쉬테이블의 갱신데이터를 수집하는 단계와, 수집된 해쉬테이블의 갱신데이터를 해쉬씨엠씨처리엔진(40) 측으로 전송하는 단계를 더 포함하게 된다.
그리고 이를 위해 도 5 및 도 6 등에서와 같이, 하나 이상의 분석엔진(20)으로부터 해쉬테이블의 갱신데이터를 수집하고 수집된 해쉬테이블의 갱신데이터를 해쉬씨엠씨처리엔진(40)으로 전송하는 씨엠버퍼(21, CM(Command Message) Buffer)를 더 포함할 수 있다.
즉 도 5에서와 같이 해쉬테이블(30, Hash Table)에 대한 해쉬 데이터 갱신을 수행하기에 앞서 갱신요청데이터를 분석엔진(20)에서 수집하는 씨엠버퍼(21, CM(Command Message) Buffer)와 이러한 씨엠버퍼(21)에서 갱신 요청 데이터를 수신받아 해쉬 데이터를 갱신하는 해쉬씨엠씨처리엔진(40, CMC(Command Message Center) Thread)이 마련된다.
즉 씨엠버퍼(21)는 도 6에서처럼 각 분석엔진(20)들에서 Hash Table의 갱신(Insert, Update, Delete 등) 명령 데이터를 수집하여 해쉬씨엠씨처리엔진(40)으로 전송한다. 이때 씨엠버퍼(21)는 수집된 Buffer가 Full로 채워질 경우 CM#1, CM#2를 Buffer Change 수행으로 처리할 수 있을 것이다. 이처럼 씨엠버퍼(21)에서 CM#1, CM#2 으로의 CM Buffer를 통해, 씨엠버퍼(21) 내에서도 CM#1과 CM#2 사이에 데이터의 버퍼를 수행하여 씨엠버퍼(21)에서의 처리가 원활하도록 한다. 즉 씨엠버퍼(21)와 해쉬씨엠씨처리엔진(40, CMC) 사이의 통신에는 Lock이 없이 데이터 전송이 이뤄지며, 보다 빠르고 많은 데이터를 해쉬씨엠씨처리엔진(40, CMC Thread)에 전송가능한 것이다.
그리고 도 7에서와 같이 개별 분석엔진(20)들에서 정보 Data Hash Table을 1개씩 사용하는 경우에 공통 Hash Table 에 대한 접근시에도 씨엠버퍼(21) 및 해쉬씨엠씨처리엔진(40) 등에 의한 해쉬 테이블 데이터 갱신 요청 정보의 수집 및 전송이 이루어지기 때문에 Hash table의 Lock 상태가 없이 원활한 해쉬 정보의 갱신이 이루어지는 것이다.
아울러 분산형 다수의 분석엔진(20)에서도 Select만 발생하고, Hash Table 변경은 해쉬씨엠씨처리엔진(40, CMC Thread)에서 일원화하여 관리 및 처리하기 때문에 데이터 무결성을 이루게 된다.
이처럼 분산환경 - 멀티 패킷 처리에서 패킷에 대한 데이터 분석이 관리하고자 하는 데이터 발생시 해쉬에 입력/수정/삭제 작업 발생할 때 크리티컬 패쓰에서는 입력/수정/삭제 작업에 대한 구조화된 메시지를 생성하여(분석엔진들에서의 분산처리 상태), 생성된 메시지를 별도의 큐를 이용하여 전송하고, 크리티컬 패쓰(지연처리)와 연관성이 없는 별도의 쓰래드(해쉬씨엠씨처리엔진(40), CMC Thread)에서 큐에 저장되어 있는 메시지를 이용하여 해쉬테이블에 대한 입력/수정/삭제 작업을 처리하는 구성이다.
이처럼 해쉬씨엠씨처리엔진(40) 및 씨엠버퍼(21) 등에 의하여, 지연처리와 영향이 있는 크리티컬 패쓰에서는 지연이 발생하지 않는 구조의 큐를 이용하여 분산처리 환경 하에 메시징 처리를 하여 지연처리에 대한 보장 및 성능을 보장할 수 있는 것이다. 또한 메시징 처리의 성능을 보장하기 위해 크리티컬 패쓰의 분산처리 환경 하에 연계된 별도의 메시징 처리 쓰래드에 대한 확장 가능한 구조를 제공할 수 있을 것이다.
이처럼 본 발명에 따른 분산처리 해싱방법 및 분산처리해싱시스템(10)에 의하면, 고속 네트워크 대용량 트래픽 처리를 위하여 다수 CUP 구성에 따른 멀티 코어(core)의 증가 구성에 대해서도, 다수의 hash table을 공유할 수 있고, 다수 코어에 따른 분산형 복수의 분석엔진(20)들이 다수 hash table을 공유함에 있어, 공통으로 접근해야 하는 해쉬테이블에 대한 갱신(Insert, Update, Delete 등)작업을 해쉬씨엠씨처리엔진(40, CMC Thread)에서 담당하여 처리하기 때문에 해쉬 테이블에 대한 Lock 현상의 우려를 없애는 것이다.
이로써 멀티 core의 폭발적인 증가로 인한 정보 Data Hash Table의 접근의 대기 시간이 증가하지 않고, 거의 0%에 가깝게 처리할 수 있는 장점이 있는 것이다.
이상으로 본 발명의 실시예에 대하여 상세히 설명하였으나, 이는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 일실시예를 기재한 것이므로, 상기 실시예의 기재에 의하여 본 발명의 기술적 사상이 제한적으로 해석되어서는 아니 된다.
10 : 분산처리해싱시스템 20 : 분석엔진
21 : 씨엠버퍼 30 : 해쉬테이블
40 : 해쉬씨엠씨처리엔진

Claims (5)

  1. 하나 이상의 분석엔진(20)에 해쉬정보를 제공하는 해쉬테이블(30)의 데이터를 갱신하는 해싱방법에 있어서,
    하나 이상의 분석엔진(20)에서의 해쉬테이블(30)의 갱신데이터를 해쉬씨엠씨처리엔진(40) 측으로 전송하는 해쉬갱신요청단계; 및
    해쉬씨엠씨처리엔진(40)에서 해쉬테이블(30)의 데이터를 갱신하는 해쉬갱신단계를 포함하여,
    하나 이상의 분석엔진(20)에서의 해쉬테이블(30) 갱신 요청을 전송받아 해쉬씨엠씨처리엔진(40)에서 해쉬테이블 데이터를 갱신하고,
    상기 해쉬갱신요청단계와 해쉬갱신단계 사이에, 씨엠버퍼(21)에 의하여,
    하나 이상의 분석엔진(20)으로부터 해쉬테이블의 갱신데이터를 수집하는 단계; 및
    수집된 해쉬테이블의 갱신데이터를 해쉬씨엠씨처리엔진(40) 측으로 전송하는 단계를 포함하는 것을 특징으로 하는 분산처리 해싱방법.
  2. 제 1항에 있어서,
    상기 해쉬갱신요청단계는, 하나 이상의 분석엔진(20)에서 해쉬테이블(30)의 갱신데이터에 대해 Message Flag 설정을 하여 전송하는 것을 특징으로 하는 분산처리 해싱방법.
  3. 삭제
  4. 해쉬테이블의 정보를 이용하여 트래픽을 분석하는 하나 이상의 분석엔진(20);
    하나 이상의 분석엔진(20)에 해쉬정보를 제공하는 해쉬테이블(30); 및
    상기 하나 이상의 분석엔진(20)에서의 해쉬테이블의 갱신데이터를 전송받고 해쉬테이블의 데이터를 갱신하는 해쉬씨엠씨처리엔진(40);
    을 포함하고,
    하나 이상의 분석엔진(20)으로부터 해쉬테이블의 갱신데이터를 수집하여 해쉬씨엠씨처리엔진(40) 측으로 전송하는 씨엠버퍼(21)를 포함하는 것을 특징으로 하는 분산처리해싱시스템.
  5. 제 4항에 있어서,
    상기 분석엔진(20)에서 해쉬테이블(30)의 갱신데이터에 대해 Message Flag 설정을 하여 전송하는 것을 특징으로 하는 분산처리해싱시스템.
KR1020120123041A 2012-11-01 2012-11-01 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템 KR101429884B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120123041A KR101429884B1 (ko) 2012-11-01 2012-11-01 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120123041A KR101429884B1 (ko) 2012-11-01 2012-11-01 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템

Publications (2)

Publication Number Publication Date
KR20140055761A KR20140055761A (ko) 2014-05-09
KR101429884B1 true KR101429884B1 (ko) 2014-09-23

Family

ID=50887354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120123041A KR101429884B1 (ko) 2012-11-01 2012-11-01 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템

Country Status (1)

Country Link
KR (1) KR101429884B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101688635B1 (ko) 2015-07-01 2016-12-21 한국전자통신연구원 플로우 기반 트래픽 저장 장치 및 방법
KR20180060353A (ko) 2016-11-29 2018-06-07 주식회사 에프아이시스 가상 머신 QoS 보장형 무손실 부하 분산 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080084993A (ko) * 2005-11-30 2008-09-22 칼리스타 테크놀로지스, 인크. 다중 사용자 디스플레이 프록시 서버

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080084993A (ko) * 2005-11-30 2008-09-22 칼리스타 테크놀로지스, 인크. 다중 사용자 디스플레이 프록시 서버

Also Published As

Publication number Publication date
KR20140055761A (ko) 2014-05-09

Similar Documents

Publication Publication Date Title
CN105247529B (zh) 在目录服务之间同步凭证散列
EP1319285B1 (en) Monitoring network activity
KR102580898B1 (ko) Dns 메시지를 사용하여 컴퓨터 포렌식 데이터를 선택적으로 수집하는 시스템 및 방법
US9654445B2 (en) Network traffic filtering and routing for threat analysis
CN102289617A (zh) 反恶意软件装置、服务器和匹配恶意软件模式的方法
EP3633948B1 (en) Anti-attack method and device for server
US9386039B2 (en) Security policy enforcement system and security policy enforcement method
US10735453B2 (en) Network traffic filtering and routing for threat analysis
CN106571978B (zh) 数据包捕获方法及装置
CN104618304A (zh) 数据处理方法及数据处理系统
KR101200906B1 (ko) 네트워크 기반 고성능 유해사이트 차단 시스템 및 방법
US20230362131A1 (en) Systems and methods for monitoring and securing networks using a shared buffer
Ubale et al. Taxonomy of DDoS attacks in software-defined networking environment
JP2017509055A (ja) 並列プロトコル・スタック・インスタンスに基づいてデータパケットを処理する方法および装置
KR101429884B1 (ko) 고속 네트워크 대용량 트래픽 처리를 위한 분산처리 해싱방법 및 분산처리해싱시스템
TW201424315A (zh) 一次及二次連線表使用技術
CN114510711A (zh) 防护cc攻击的方法、装置、介质以及计算机设备
CN114205150B (zh) 容器环境的入侵防御方法及装置、电子设备、存储介质
EP3408989B1 (en) Detecting malware on spdy connections
Ahmad et al. Protection of centralized SDN control plane from high-rate Packet-In messages
US10243870B1 (en) Distributed computing system node management
CN117041272B (zh) 数据处理方法、装置、设备及存储介质
US10742718B1 (en) Distributed computing system node management
CN113507441B (zh) 安全资源扩充方法及安全防护管理平台、数据节点
KR20130077203A (ko) 요약 데이터를 이용하여 로그 데이터의 정렬 정보를 생성하기 위한 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180807

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 6