KR20100022926A - 확률적 손실 카운팅 - Google Patents

Abstract

확률적 손실 카운팅을 위한 방법은 현재의 윈도우의 각각의 엘리먼트에 대해서 현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는지 여부를 결정하는 단계와, 현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는 경우, 현재의 엘리먼트와 연관된 주파수 카운터를 증가하는 단계와, 현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하지 않는 경우, 엔트리를 테이블에 삽입하는 단계와, 현재의 윈도우의 끝에서 테이블의 모든 엘리먼트를 제거하는 단계를 포함하며, 엔트리를 테이블에 삽입하는 단계는 현재의 윈도우의 인덱스 i에 기초해서 확률적 오차 한계 △를 카운팅하는 것과, 확률적 오차 한계 △와 주파수 카운터를 테이블의 현재의 엘리먼트에 대응하는 엔트리에 삽입하는 것을 포함하고, 상기 주파수 카운터와 엘리먼트와 연관된 확률적 오차 한계 △의 합은 엘리먼트 윈도우의 인덱스보다 작거나 또는 동일하다.

Description

확률적 손실 카운팅{PROBABALISTIC LOSSY COUNTING}

본 발명은 일반적으로 네트워크 트래픽 해석 분야에 관한 것으로서, 특히 엘리먼트들의 스트림으로 주어진 헤비 히터들(heavy-hitters)의 결정에 관한 것이다.

네트워크에서 최대 트래픽 흐름을 결정하는 것은 대부분의 네트워크 관리 어플리케이션에 대해서 중요하다. 이러한 결정은 헤비 히터(heavy-hitter) 문제라고 알려져 있다. 헤비 히터 정보는 DoS(denial of service) 공격을 식별하는 것과, 트래픽 성장 트렌드를 모니터링하는 것과, 네트워크 자원 및 링크 용량을 제공하는 것과, 사용을 줄이기 위해 필요할 수 있는 헤비 네트워크 사용자들을 식별하는 것과 같은 어플리케이션들에 대해서 유용하다. 또한 헤비 히터의 결정은 이러한 질의(쿼리)에 대한 캐싱을 최적화하기 위해 헤비 히터 질의를 계산할 수 있는 검색 엔진과, 빈번하게 클릭되는 광고들을 추적 유지할 수 있는 동적 콘텐츠 프로바이더에 응용된다.

헤비 히터를 결정하는 문제는 사용자 선택 임계치 이상의 주파수로 엘리먼트의 스트림내에서 특정 엘리먼트를 찾는 것을 포함한다. 각각의 엘리먼트는 흐름을 나타낼 수 있고 동일한 엘리먼트의 시퀀스는 바이트 흐름 또는 패킷 흐름을 나타낼 수 있다. 흐름은 전형적으로 하나 이상의 패킷 헤더 필드에서 공통의 값들을 갖는 패킷의 세트로서 정의된다. 가장 공통적인 흐름 정의는 다음의 패킷 헤더 필드의 5개의 튜플이다. 즉 소스 및 목적지 IP 어드레스, 소스 및 목적지 포트 번호, 및 프로토콜 번호이다. 엘리먼트 식별자는 트래픽 흐름의 발생 수를 감시하는 대응의 카운터와 함께 각각의 트래픽 흐름에 대해 저장 가능하다. 개개의 카운터에 따라 엘리먼트를 분류하는 것은 헤비 히팅 흐름의 리스트를 생성할 것이다. 그러나, 이러한 솔루션은 어떤 상황에서는 용이하지 않을 수가 있다. 데이터 스트림은 엘리먼트 식별자와 카운터를 저장하기 위한 압도적이고 예측 불가능한 메모리 요건이 될 수 있는 매우 많은 수의 구별 엘리먼트를 가질 수가 있다. 1 개월의 기간을 통해 최대의 트래픽을 발생한 트래픽 흐름을 계산하는 NetFlow 콜렉터의 케이스를 고려하라. 중소 기업의 네트워크의 경우, 1 개월의 기간을 통한 특정 5개의 튜플 흐름의 수는 136 비트 흐름 식별자와 64 비트 카운터를 저장하기 위해 2.5 기가 바이트의 메모리에 대응하는 100 밀리언에 가까울 수 있다. 이러한 대용량 메모리 요건은 다수의 이산 엘리먼트로 데이터 스트림의 헤비 히터를 계산하는 다른 시스템에서의 간단한 솔루션과 NetFlow 콜렉터에서의 간단한 솔루션의 이용을 금지시킨다. 흐름 식별자 와 카운터를 저장하기 위한 대용량의 디스크 공간의 이용은 또한 시스템 성능에 심각한 영향을 미칠 수가 있어 처리 시간을 느리게 한다.

고정된 메모리 자원 또는 제한된 메모리 자원을 이용하여 헤비 히터를 계산하기 위한 대안의 기술이 있다. 손실 카운팅은 헤비 히터를 찾기 위해 스트림에서 엘리먼트의 주파수를 추정함으로써 데이터 스트림의 헤비 히터의 근사치를 구한다. 손실 카운팅은 다음과 같이 연산 가능하다. 즉 엘리먼트의 입력 스트림은 고정된 크기의 윈도우로 분할되고, 각각의 윈도우는 순차적으로 처리된다. 한 윈도우의 각각의 엘리먼트에 대해서, 엔트리가 테이블로 삽입되거나 혹은 엘리먼트가 이미 테이블에 있으면, 엘리먼트의 주파수 카운터가 갱신된다. 각각의 윈도우의 끝에서 저 주파수의 엘리먼트는 테이블에서 제거된다. 그러므로 테이블은 비교적 소수의 엔트리를 유지한다. 또한 결정론적 오차 한계(deterministic error bound)가 테이블에서 각각의 엘리먼트에 대해서 저장되고, 결정론적 오차 한계는 현재의 윈도우-1의 인덱스와 동일하다. 오차 한계는 테이블에서 엘리먼트의 이전 윈도우의 끝에서 가능한 이전 제거로 인한 엘리먼트의 추정된 주파수의 잠재적인 오차를 반영한다. 작은 오차 한계를 가진 엘리먼트는 큰 오차 한계를 가진 동일 주파수 엘리먼트 보다 테이블에서 많이 제거될 것이다. 그러나 손실 카운팅은 여전히 대용량의 메모리와 처리 능력을 필요로 할 수 있으며, 계산된 헤비 히터는 허위의 포지티브(false positive)를 포함할 수 있다.

비교적 저용량의 메모리와 처리 능력을 요하면서 정확한 헤비 히터를 결정하기 위한 방법의 필요성이 대두된다.

확률적 손실 카운팅 방법의 일례의 실시예는 엘리먼트의 입력 스트림을 복수 개의 고정된 크기의 윈도우로 분할하는 단계와, 다음, 즉 현재의 윈도우의 각각의 엘리먼트에 대해서 현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는지 여부를 결정하고, 현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는 경우, 현재의 엘리먼트와 연관된 주파수 카운터를 증가하며, 현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는 않는 경우 현재의 엘리먼트에 대응하는 테이블에 엔트리를 삽입하는 것과, 현재의 윈도우의 끝에서 테이블에서 모든 엘리먼트를 제거하는 것을 수행함으로써 순차적으로 복수 개의 윈도우 각각을 처리하는 단계를 포함하며, 엔트리를 삽입하는 것은 현재의 윈도우의 인덱스 i에 기초해서 현재의 엘리먼트에 대응하는 확률적 오차 한계 △를 계산하고, 테이블에서 현재의 엘리먼트에 대응하는 엔트리에 현재의 엘리먼트에 대응하는 주파수 카운터와 확률적 오차 한계 △를 삽입하는 것을 포함하며, 엘리먼트와 연관된 확률적 오차 한계 △와 주파수 카운터의 합은 현재의 윈도우의 인덱스 보다 작거나 동일하다.

추가적인 특징들은 본 예증의 실시예의 기술들을 통해 실현된다. 다른 실시예들은 청구항의 일부로 고려되고 여기서 상세히 설명된다. 예증의 실시예의 특징들의 양호한 이해를 위해서는 상세한 설명과 도면을 참조하면 된다.

본 발명에 의하면 비교적 저용량의 메모리와 처리 능력을 요하면서 정확히 헤비 히터를 결정할 수가 있다.

이제부터 도면을 참조하여 설명하기로 하며, 도면에서 동일 구성요소에 대해서는 동일 참조 부호를 붙였다.

확률적 손실 카운팅(PLC)을 위한 방법의 실시예가 제공되며, 예증의 실시예들이 이후 상세히 설명된다.

PLC는 손실 카운팅에서 사용된 결정론적 오차 한계와는 대조적으로 임의의 트래픽 흐름의 추정된 크기에 기초해서 오차 한계를 변경한다. 확률적 오차 한계는 PLC로 하여금 손실 카운팅 보다 작은 크기의 흐름을 많이 제거하게 할 것이다. 작은 크기의 흐름이 다수의 네트워크 흐름을 고려하면, 작은 흐름의 제거는 헤비 히터를 계산하는데 소요되는 메모리를 현저히 줄인다. 확률적 기반의 오차 한계는 손실 카운팅을 통해 PLC의 메모리 소모를 실질적으로 향상한다. PLC는 또한 낮은 추정 오차로 손실 카운팅 보다 낮은 허위의 포지티브 레이트를 산출할 수 있다. 손실 카운팅 대 PLC의 상세한 비교에 대해서는 "확률적 손실 카운팅"을 참조하라. 즉 제논폰타스 디미트로포우로스(Xenofontas Dimitropoulos), 폴 헐리(Paul Hurley) ,및 안드레아스 카인드(Andreas Kind) 등의 "헤비 히터를 찾기 위한 유효한 알고리즘"(ACM SIGCOMM Computer Communication Review, vol. 38, no. 1, pages 5-16, January 2008)을 참조하라.

각 엘리먼트와 연관된 오차 한계를 이용하여 테이블에서 제거할 엘리먼트를 결정한다. 엘리먼트는 그의 주파수의 합이 대다수의 윈도우에 걸쳐서 테이블에 잔류하는 큰 오차 한계를 갖는 엘리먼트가 되는 소정의 임계치 보다 작거나 혹은 동 일한 경우 제거된다. 테이블에서 엔트리의 수는 큐(queue) 점유 문제와 유사하다. 엘리먼트가 많은 윈도우를 위해 테이블에 대해서 머무르는 경우, 테이블의 평균 크기는 증가한다. 따라서 오차 한계 값이 메모리 소모에 직접적인 영향을 미친다. PLC의 확률적 오차 한계는 실질적으로 손실 카운팅의 결정론적 오차 한계 보다 작다. 그 결과 저 주파수 엘리먼트는 PLC에서 소수의 윈도우의 테이블에서 머무르게 되어 메모리 소모가 낮게 된다. 확률적 오차 한계는 소망의 확률 1 - δ을 보장하며, 여기서 δ ≪ 1 인 경우, 엘리먼트의 주파수 오차는 그 한계 보다 작다.

데이터 스트림은 엘리먼트 e₁, e₂, .... e_n의 시퀀스일 수 있는 엘리먼트 세트 E를 포함할 수 있다. 트래픽 데이터 스트림은 유일 엘리먼트를 각각의 상이한 흐름과 연계시키고 특정 바이트 흐름 또는 패킷 흐름을 지정하도록 적절한 엘리먼트의 다중 카피를 반복함으로써 엘리먼트의 스트림으로 매핑 가능하다. N이 어느 소정의 포인트에서 입력 스트림의 길이이고, s가 (0, 1)에서의 값인 경우, 헤비 히터 알고리즘은 sN 보다 큰 주파수를 갖는 엘리먼트를 찾으려고 한다.

도 1은 확률적 손실 카운팅(PLC)을 수행하기 위한 방법(100)을 도시하고 있다. 블록(101)에서, 입력 스트림은 w = [1/ε] 엘리먼트의 고정된 크기의 윈도우로 분할되며, 여기서 ε 은 오차 파라미터(ε ≪ 1)이다. 엘리먼트(e)의 테이블, 주파수 카운터(c^{^}), 및 오차 경계(△)는 초기화 되어 블록(102)에서 비워진다. 윈도우는 블록(103)에서 시작하여 순차적으로 처리된다. 각각의 윈도우는 1≤i≤[N/w]이 되도록 정수 i로 인덱스된다. 현재의 윈도우에서 엘리먼트의 처리는 이후 도 2를 참 조하여 보다 상세히 설명된다. 각 윈도우의 끝에서 엔트리들은 블록(104)에서 c^{^}+△≤i(i는 현재 윈도우의 인덱스임)인 경우 테이블로부터 삭제된다. 블록(105)에서 처리는 다음 윈도우를 위해 블록(103)으로 리턴한다. 블록(106)에서 c^{^}+△≥sN의 모든 엔트리는 헤비 히터 질의에 응답하여 리턴된다.

도 2는 현재 윈도우(블록 103)에서의 엘리먼트를 처리하는 방법(200)을 도시하고 있다. 현재 윈도우에서 각 엘리먼트 e를 체크하여 블록(201)의 테이블에서 그것이 이미 있는지를 결정한다. 엘리먼트가 테이블에 있지 않으면, 현재 윈도우의 인덱스 i에 기초해서 확률적 오차 한계 △가 블록(202a)의 엘리먼트에 대해서 계산되고, 새로운 테이블 엔트리(e,c^{^},△)는 1로 초기화된 엘리먼트의 추정된 주파수 카운터 c^{^}와 함께 블록(202b)의 테이블에 삽입된다. e가 이미 테이블에 있다면, 그의 추정 주파수 카운터 c^{^}는 블록(203)에서 1씩 증가된다. 현재 테이블에서 더이상 엘리먼트가 없는 경우 블록(204)에서 처리는 도 1의 블록(104)으로 리턴한다.

테이블에서 엘리먼트의 제거는 그의 추정 주파수에서 후속 오차를 도입할 수가 있다. 제거된 엘리먼트가 나중에 테이블에 다시 입력되면, 그땐 그의 새로운 주파수는 초기 제거를 반영하지 않는다. 분명히 이러한 오차는 대응 엘리먼트가 관측되는 경우 주파수 카운터(c^{^})가 단지 증가됨에 따라 엘리먼트의 트루(true) 주파수를 단지 과소 평가할 수 있다. 테이블에서 엘리먼트의 트루 주파수 c는 확률 1 - δ로 c^{^}≤c≤c^{^}+i 에 의해서 한계가 정해진다. 즉, i=N/w=εN이 어느 엘리먼트와 연관된 추정 오차에 대한 확률적 한계이다. PLC는 전반적인 오차 한계 εN을 가지며, 반면에 테이블에서 각 엘리먼트는 개별 오차 한계 △를 가진다. 테이블에 삽입되는 각 엘리먼트에 대해서 오차 한계 △가 계산된다.

엘리먼트 e_n의 추정 주파수 c^{^}에 대한 확률적 오차 한계 △의 계산은, 도 2의 블록(202a)에서 수행되는 바와 같이 다음과 같이 수행 가능하다. 테이블에서 삽입된 엘리먼트 e_n는 이전 윈도우의 끝에서 테이블로부터 엘리먼트의 이전 제거로 인한 오차를 가질 수가 있다. 엘리먼트 e_n의 오차는 엘리먼트가 테이블에 최종 삽입되기 이전에 그의 발생 횟수와 동일하다. X가 테이블의 어떤 포인트에 삽입되는 엘리먼트의 오차를 지정하는 랜덤 변수이면, 오차 한계 △는 Pr(X＞△)≤δ를 이용하여 계산 가능하며, 여기서 δ는 어떤 작은 확률, 즉 0.05이다.

네트워크 트래픽의 크기는 Zipfian 분포를 따르는 경향이 있다. 그러므로 △를 계산하기 위해 거듭제곱 법칙의 누적 분포가 이용 가능하다. Y가 엘리먼트의 트루 주파수를 표시하는 랜덤 변수라면, Pr(Y＞y)=αy^β이며, α(α≤1)와 β는 거듭제곱 법칙 분포의 파라미터들이다.

테이블에 삽입된 엘리먼트들과 연관된 오차는 이 엘리먼트들의 주파수와 동일하다. 또한 윈도우 i에서 테이블에 삽입된 모든 엘리먼트는 확률 1-δ를 가진, i-1 보다 작거나 동일한 트루 주파수를 가진다. 이 두 관측 내용으로부터 Pr(X > x) = Pr(Y > x | Y≤i - 1)가 된다. 최종 수학식은 이들 엘리먼트의 트루 주파수로 테이블에 입력하는 엘리먼트의 오차에 관한 것이다. 엘리먼트의 트루 주파수는 이제 거듭제곱 법칙 분포에 의해서 기술될 것이라고 추측된다. 거듭제곱 법칙 분포의 표현과 α를 이용하면 Pr(Y＞y)≥1에 대해서 다음을 얻는다.

[수학식 1]

Pr(X > x) = Pr(Y > x | Y ≤ i-1)

= Pr(i-1 ≥ Y > x)

Pr(Y ≤ i-1)

= Pr(Y > x) - Pr(Y > i-1)

1 - Pr(Y > i - 1)

수학식(1)의 우변을 작은 확률 δ로 설정하고 x=△에 대해서 풀면 다음을 얻는다.

[수학식 2]

그러므로, 수학식(2)는 거듭제곱 법칙의 주파수 분포를 가진 데이터 스트림에 대해서 블록(202a)의 확률적 오차 한계 △를 계산하기 위한 닫힌 형식(closed form)을 산출한다.

수학식(2)에서 이용된 거듭제곱 법칙 파라미터 β의 계산은 확률적 오차 한계 △를 카운팅하기 위해 필요하다. 확률 1-δ로, 테이블은 i-1 보다 큰 트루 주파수를 가진 모든 엘리먼트를 포함한다. 이들 엘리먼트의 주파수 분포는 다음과 같다.

Pr(Y>y│Y>i-1)=Pr(Y>y)/Pr(Y>i-1)=y^β/(i-1)^β

이 주파수 분포는 데이터 스트림의 전반적인 주파수 분포와 동일한 파라미터 β를 가진 거듭제곱 법칙을 따른다. 결과적으로 테이블에서 엘리먼트들의 주파수 분포에 대한 거듭제곱 법칙을 c^{^}＞i-1 에 맞춤으로써 β를 추정할 수가 있다. 이러한 접근 방법은 β를 카운팅하기 위해 트루 주파수 c 대신에 추정 주파수 c^{^} 를 이용하는 제한이 있다. 실용상 추정 주파수는 트루 주파수와 거의 동일하며, 오차는 매우 작다. 이러한 이유로 β를 카운팅하는 트루(c) 주파수 대신에 추정 주파수(c^{^})를 이용하면 무시 가능한 오차를 도입한다.

PLC의 대안의 실시예에서, 단일 파라미터 k를 이용하여 도 2의 단계(202a)에서 확률적 오차 한계 △를 계산할 수가 있다. 파라미터 k(k＜1)는 시스템이 얼마나 공격적 인지에 관한 척도이며, 상기 수학식(2)에 기초하고 있다. 수학식(2)은 다음의 함수로서 행동한다. 즉,

[수학식 3]

△(i)~ki

여기서, k는 1 보다 다소 작은 비트이다(k는 △와 β의 함수이다. 즉 △는 수학식(2)가 무한대로 리미트할 때 알 수 있는 바와 같이 i에 따라 대략 선형적으로 증가한다. i이 값이 작은 경우, △는 대략 ki이며, i이 값이 큰 경우 △는 플랫을 유지하며, 최종적으로는 다음과 같다.

[수학식 4]

요약하면, PLC는 도 1에서 도시한 바와 같이 블록(105a)의 윈도우 동안 테이블에 삽입되는 각각의 새로운 엘리먼트의 확률적 오차 한계 △를 계산하기 위해 수학식(2) 또는 (3)을 이용하여 각 윈도우의 시작 부에서 데이터 스트림을 처리한다. 파라미터 β는 c^{^}≥1의 상태에서 엘리먼트의 추정 주파수에 거듭제곱 법칙을 맞춤으로써 주기적으로 추정된다.

헤비 히터 질의가 도 1의 블록(108)에서 주어지면, PLC는 c≥(s-ε)N의 경우 테이블의 엘리먼트를 리턴한다. 리턴된 엘리먼트는 sN(사용자 선택 임계치) 보다 큰 주파수를 가진 트루 헤비 히터와, (s-ε)N와 sN 사이의 트루 주파수를 가진 가능한 허위의 포지티브를 포함한다. PLC는 허위의 네가티브를 리턴할, 즉 헤비 히터를 생략할 가능성이 작을 수 있다. 허위의 네가티브는 한 엘리먼트의 오차가 확률적 오차 한계를 초과하는 경우 발생한다. 허위의 네가티브의 확률은 δ 파라미터를 제어함으로써 임의적으로 작게 만들 수가 있다.

PLC는 손실 카운팅과 동일한 메모리 한계를 가진다. 메모리 한계는 임의의 데이터 스트림에 대한 1/εlog(εN)과 데이터 스트림을 위한 7/ε이며 실세계의 데이터 스트림을 특징짓기 위해 알려진 속성인 저 주파수 엘리먼트는 랜덤 시 일정하게 나타난다. 또한 한계는 Zipfian 분포를 보여주는 데이터 스트림에 대해서 2/ε에 근접한다.

윈도우 길이 w 또는 등가적으로 오차 파라미터 ε는 w=[1/ε]인 경우, 사용자 선택 파라미터이다. w의 선택은 PLC의 추정 정확도 및 메모리 소모에 영향을 미친다. PLC의 오차 한계는 w의 함수이며, 경험적 메모리 소모는 w에 선형적으로 의존한다. 윈도우가 커지게 되면 윈도우 내의 구별 엘리먼트의 수가 많아지는 것을 관측할 수 있게 됨으로써 테이블 엔트리의 수와 메모리 소모는 윈도우 크기와 함께 증가한다. 또한 오차 파라미터 ε는 εN의 전체 오차 한계를 결정한다.

ε의 적절한 값을 선택하기 위해 각종의 접근 방법이 이용 가능하다. 제1 옵션은 w에 대한 값을 도출하기 위해 메모리 한계 및 헤비 히터를 계산하는 이용 가능한 메모리를 사용하는 것이다. 가용한 메모리 자원에 메모리 한계를 설정하여 w 에 대해서 풀면 가용한 메모리 자원을 PLC가 초과하지 않을 것임을 보장하는 파라미터 선택권이 부여된다. 이러한 접근 방법은 간단하며 메모리 소모에 대한 강한 보장을 제공한다. 그러나, PLC의 경험적 메모리 소모는 메모리 한계 보다 현저히 낮다. 그 결과 PLC는 헤비 히터를 계산하는 가용한 메모리 자원을 완전히 이용하지 않을 것이고 시스템은 과잉 공급(over-provisioned)될 것이다.

제2 옵션은 트레이닝 데이터를 이용하여 목표 환경에서 PLC의 메모리 소모를 경험적으로 평가하는 것이다. PLC의 메모리 소모는 처음 몇 개의 윈도우에서 그의 최대치를 달성하고 다음에 시간이 경과함에 따라 감소한다. 트레이닝 데이터를 이용하면 최대 메모리 소모는 w의 상이한 값들에 대해서 측정 가능하다. 가용한 메모리 자원에 가까운 최대 메모리 사용을 가져오는 w의 값을 설정하는 것은 제1 옵션의 과잉 공급 문제를 해결하는 것이다. 그러나 이러한 접근 방법은 목표 환경에 대한 트레이닝 데이터에 의존하며 w를 결정하기 위한 실험의 수행을 필요로 한다.

제3 옵션은 추정 정확도에 대한 소망의 한계에 기초해서 오차 파라미터 ε를 선택하는 것이다. 예컨대 sN 보다 큰 주파수를 갖는 헤비 히터를 찾고 있는 사용자는 추정 오차 εN에 대한 한계가 헤비 히터 sN에 대한 임계치와 견주어 작도록 ε의 적절한 값을 선택할 수 있다.

PLC의 크기를 결정하기 위한 3 가지 방법 중 하나의 선택은 사용자의 우선순위 및 요건에 달려 있다. 제1 및 제3 옵션의 선택은 PLC의 추정 정확도 및 메모리 소모에 대한 강한 보장을 제공하는 반면, 제2 옵션의 선택은 양호한 가용 메모리 자원을 이용하여 목표 환경의 명세에 동작을 맞춘다.

도 3은 소프트웨어로 구현되는 바와 같은 확률적 손실 카운팅에 대한 방법의 일례의 실시예에 의해서 이용 가능한 기능들을 가진 일례의 컴퓨터(300)이다. 상기한 각종 동작은 컴퓨터(300)의 기능을 이용할 수가 있다. 하나 이상의 컴퓨터(300)의 기능은 여기서 기술되는 임의의 엘리먼트, 모듈, 어플리케이션, 및/또는 구성요소로 포함 가능하다.

컴퓨터(300)는 PC, 워크스테이션, 랩탑, PDA, 팜 장치, 서버, 저장 장치 등을 포함하며 이들에 만 제한되지는 않다. 일반적으로 하드웨어 아키텍쳐를 고려하여 컴퓨터(300)는 로컬 인터페이스(도시 안됨)를 통해 통신 가능하게 연결되는 하나 이상의 프로세서(310), 메모리(320), 하나 이상의 입출력(I/O) 장치(370)를 포함할 수 있다. 로컬 인터페이스는 예컨대 당업자에게 공지된 바와 같이 하나 이상의 버스 또는 다른 유선 또는 무선 접속부일 수 있으며 이들에 만 제한되지는 않는다. 로컬 인터페이스는 통신을 가능하게 하는 제어기, 버퍼(캐시), 드라이버, 리피터 및 수신기와 같은 추가 엘리먼트를 가질 수가 있다. 또한 로컬 인터페이스는 상기한 구성요소들 중에서 적절한 통신을 가능하게 하는 어드레스, 제어 및/또는 데이터 접속부를 포함할 수 있다.

프로세서(310)는 메모리(320)에 저장 가능한 소프트웨어를 실행하는 하드웨어 장치이다. 프로세서(310)는 가상적으로 임의의 주문자 제조 또는 상용의 프로세서, CPU, 데이터 신호 처리기(DSP) 또는 컴퓨터(300)와 연관된 수 개의 프로세서 중의 보조 프로세서일 수 있으며, 프로세서(310)는 반도체 기반의 마이크로프로세서(마이크로칩 형태의) 혹은 매크로프로세서일 수 있다.

메모리(320)는 휘발성 메모리 엘리먼트(예, DRAM, SRAM 등의 RAM), 및 비휘발성 메모리 엘리먼트(예, ROM, EPROM, EEPROM, PROM, CD-ROM, 디스크, 디스켓, 카트리지, 카셋트 등)의 어느 하나 또는 조합을 포함할 수 있다. 더욱이 메모리(320)는 전자, 자기, 광학 및/또는 다른 유형의 기억 매체로 실시 가능하다. 메모리(320)는 분산형 아키텍쳐를 가질 수가 있고, 각종 구성요소는 서로 원격으로 떨어져 위치하나 프로세서(310)에 의해서 엑세스 가능하다.

메모리(320) 내 소프트웨어는 하나 이상의 개별 프로그램을 포함할 수 있으며, 각각의 프로그램은 논리적 기능들을 구현하기 위한 실행 가능한 명령어의 순서화 리스팅을 포함한다. 메모리(320) 내 소프트웨어는 일례의 실시예에 따라 적절한 운영 체제(OS)(350), 컴파일러(340), 소스 코드(330), 하나 이상의 어플리케이션(360)을 포함한다. 설명한 바와 같이 어플리케이션(360)은 일례의 실시예의 특징 및 동작을 구현하는 다수의 기능적 구성요소를 포함하고 있다. 컴퓨터(300)의 어플리케이션은 일례의 실시예에 따라 각종 어플리케이션, 기능 유닛, 로직, 연산 유닛, 프로세스, 연산, 가상 엔티티 및/또는 모듈을 제공할 수 있으나, 어플리케이션(360)은 이의 제한을 의미하지 않는다.

운영 체제(350)는 다른 컴퓨터 프로그램의 실행을 제어하여 스케쥴링, 입출력 제어, 파일 및 데이터 관리, 메모리 관리, 및 통신 제어 및 관련 서비스를 제공한다. 예증의 실시예를 구현하기 위한 어플리케이션(360)은 모든 시판되고 있는 가용한 운영 체제에서 적용 가능하다는 것이 본 발명자가 의도하는 바이다.

어플리케이션(360)은 소스 프로그램, 실행 가능한 프로그램(오브젝트 코드), 스크립트, 또는 수행될 명령어 세트를 포함하는 어느 다른 엔티티일 수 있다. 소스 프로그램이 수행된 다음에, 그 프로그램은 운영 체제(350)와 연계하여 적절히 동작하기 위해 메모리(320) 내에 포함되거나 포함되지 않을 수 있는 컴파일러(컴파일러(340)와 같은), 어셈블러, 인터프리터 등을 통해서 통상 변환된다. 또한 어플리케이션(360)은 예컨대 C, C++, C#, 파스칼, 베이직, API 콜, HTML, XHTML, XML, ASP 스크립트, FORTRAN, COBOL, Perl, Java, ADA, NET 등(이들에만 제한되지 않음)의 (a) 데이터 클래스 및 매소드를 가진 객체 지향 프로그래밍 언어, (b) 루틴, 서브루틴 및 펑션을 가진 절차 프로그래밍 언어로서 기록 가능하다.

I/0 장치(370)는 마우스, 키보드, 스캐너, 마이크, 카메라 등(이들에만 제한되지 않음)과 같은 입력 장치를 포함할 수 있다. 또한 I/O 장치(370)는 출력 장치, 예컨대 프린터, 디스플레이 등(이들에 제한되지 않음)을 포함할 수 있다. 최종적으로 I/0 장치(370)는 또한 입력 및 출력을 통신하는 장치, 예컨대 NIC 또는 변조기/복조기(원격 장치, 다른 파일, 장치, 시스템 또는 네트워크에 엑세스하기 위한), RF 또는 다른 송수신기, 전화 인터페이스, 브릿지, 라우터 등(이들에 제한되지 않음)을 포함한다. I/O 장치(370)는 인터넷 또는 인트라넷과 같은 각종 네트워크를 통해서 통신하는 구성요소들을 또한 포함한다.

컴퓨터(300)가 PC, 워크스테이션, 지능형 장치 등이라면, 메모리(320) 내의 소프트웨어는 기본 입출력 시스템(BIOS)을 더 포함할 수 있다. BIOS는 가동 시 하드웨어를 초기화하여 테스트하고, 운영 체제(350)를 시작하며, 하드웨어 장치들 중에서 데이터의 전달을 지원하는 필수적 소프트웨어 루틴의 세트이다. BIOS는 ROM, PROM, EPROM, EEPROM 등과 같은 판독 전용 메모리의 유형에 저장됨으로써, BIOS는 컴퓨터(300)가 작동될 때 실행 가능하다.

컴퓨터(300)가 동작 중이면, 프로세서(310)는 메모리(320) 내에 저장된 소프트웨어를 실행하고, 메모리(320)로 데이터를 전달하고 메모리(320)로부터 데이터를 받으며, 소프트웨어에 따라 컴퓨터(300)의 동작을 일반적으로 제어하도록 구성된다. 어플리케이션(360) 및 운영 체제(350)는 프로세서(310)에 의해서 전체적으로 혹은 부분적으로 판독되고, 아마도 프로세서(310) 내에 버퍼링된 다음에, 실행된다.

어플리케이션(360)이 소프트웨어로 구현되는 경우, 어플리케이션(360)은 어느 컴퓨터 관련 시스템 또는 방법과 연계하여 혹은 컴퓨터 관련 시스템 또는 방법에 의해서 사용하기 위해 임의의 컴퓨터 판독 가능한 매체에 가상적으로 저장 가능하다. 이 문서의 맥락에서 컴퓨터 판독 가능한 매체는 전자, 자기, 광학, 또는 컴퓨터 관련 시스템 또는 방법에 의해서 혹은 컴퓨터 관련 시스템 또는 방법과 연계하여 이용하기 위한 컴퓨터 프로그램을 포함하거나 저장할 수 있는 다른 물리적 장치 또는 수단일 수 있다.

어플리케이션(360)은 컴퓨터 기반 시스템, 프로세서 포함 시스템 또는 명령 실행 시스템, 장치 또는 디바이스로부터의 명령를 인출하여 그 명령을 실행할 수 있는 다른 시스템과 같은 장치, 명령 실행 시스템, 장치에 의해서 혹은 이들과 연계하여 사용하기 위한 컴퓨터 판독 가능한 매체에서 실시 가능하다. 이러한 맥락에서 "컴퓨터 판독 가능한 매체"는 명령 실행 시스템, 장치 또는 디바이스에 의해서 혹은 이들과 연계하여 사용하기 위한 프로그램을 저장, 전달, 전파, 또는 이송할 수 있는 임의의 수단일 수 있다. 컴퓨터 판독 가능한 매체는 예컨대 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 디바이스, 또는 전파 매체(이들에만 제한되지 않음)일 수 있다.

특히 컴퓨터 판독 가능한 매체의 일례(비배타적인 리스트)는 하나 이상의 와이어를 가진 전기 접속부(전자 접속부), 휴대형 컴퓨터 디스켓(자기 또는 광학), RAM(전자적), ROM(전자적), EPROM, EEPROM 또는 플래시 메모리)(전자적), 광섬유(광학적), 및 휴대형 컴팩트 디스크 메모리(CDROM, CD R/W)(광학적)를 포함한다. 컴퓨터 판독 가능한 매체는 적절한 혹은 다른 매체의 광학 스캐닝을 통해서 프로그램이 전자적으로 캡처링된 다음에, 컴파일링되고, 인터프리트 되거나 혹은 그 밖에 달리 필요하다면 적절한 방식으로 처리된 다음에, 컴퓨터 메모리에 저장될 때 프로그램이 인쇄되거나 펀칭되는 적절한 혹은 다른 적절한 매체일 수 가 있다.

일례의 실시예에서 어플리케이션(360)이 하드웨어로 구현되는 경우, 어플리케이션(360)은 당해 기술 분야에서 공지된 다음의 기술들, 즉 데이터 신호 전송 시 논리적 기능들을 구현하는 논리 게이트를 가진 이산 논리 회로, 적절한 조합 논리 게이트를 가진 ASIC, PGA, FPGA 등의 어느 하나 또는 조합으로 구현 가능하다.

예증의 실시예들의 기술적 효과 및 이점은 낮은 메모리 소모 및 고속의 처리 기능을 가진 헤비 히터의 정확한 결정을 포함한다.

본 명세서에서 사용된 용어는 오로지 특정 실시예를 설명하기 위함이며, 본 발명을 제한시키려는 의도는 없다. 본 명세서에서 사용된 "a", "an" 및 "the"의 단 수 형태는 문맥에서 명확하게 달리 표현하지 않는 한, 복수 형태도 포함하는 것으로 한다. 또한, 용어 "포함한다" 및/또는 "포함하는"이 본 명세서에서 사용될 때에, 진술된 특징, 정수, 단계, 동작, 엘리먼트, 컴포넌트 및/또는 이들의 그룹의 존재를 규정하지만, 하나 이상의 특징, 정수, 단계, 동작, 엘리먼트, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않음을 이해할 것이다. 용어 "바람직하게", "바람직한", "바람직하다", "택일적으로", "... 수 있다" 및, 이와 유사한 용어들은 언급하고 있는 아이템, 조건 또는 단계가 본 발명의 택일적(필요로 하지 않는) 특징임을 표시하는데 사용된다.

아래의 청구항들에서 모든 수단들 또는 단계들 및 기능 엘리먼트의 대응하는 구조물, 물질, 행위, 및 등가물은 구체적으로 청구된 다른 청구된 엘리먼트들과 결합하여 본 기능을 수행하기 위한 임의의 구조물, 물질, 또는 행위를 포함하는 것으로 한다. 본 발명의 설명은 설명과 해설을 위해 제시되었으며, 개시된 형태를 망라한 것이거나 또는 본 발명을 개시된 형태로 한정시키는 것으로 의도한 것은 아니다. 본 발명의 범위와 사상을 일탈하지 않는 다수의 변형과 변경은 당업자에게는 자명할 것이다. 본 발명의 원리와 실용적 응용을 최상으로 설명하고, 다른 당업자로 하여금 의도한 특정 용도에 적합한 것으로서 다양한 변형들을 갖는 다양한 실시예들이 본 발명을 이해하는 것이 가능하도록 하기 위해 실시예들이 선별되고 기술 되었다.

도 1은 확률적 손실 카운팅을 위한 방법의 일실시예의 도면.

도 2는 윈도우에서 엘리먼트들을 처리하기 위한 방법의 일시예의 도면.

도 3은 확률적 손실 카운팅을 위한 방법과 연계하여 사용 가능한 컴퓨터의 일시예의 도면.

Claims (10)

1. 임계치 이상의 주파수를 가진 입력 스트림의 엘리먼트들을 구하는 방법으로,

   상기 입력 스트림의 엘리먼트들을 복수 개의 고정된 크기의 윈도우들로 분할하는 단계와,

   다음의 단계들, 즉 현재의 윈도우에서 각 엘리먼트에 대해 현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는지 여부를 결정하는 단계와,

   현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는 경우, 현재의 엘리먼트와 연관된 주파수 카운터를 증가하는 단계와,

   현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하지 않는 경우, 현재의 엘리먼트에 대응하는 테이블에 엔트리를 삽입하는 단계와,

   현재의 윈도우의 끝에서 테이블에서 모든 엘리먼트를 제거하는 단계를 수행함으로써, 상기 복수 개의 고정된 크기의 윈도우 각각을 순차적으로 처리하는 단계를 포함하며,

   상기 엔트리를 삽입하는 단계는,

   현재의 윈도우의 인덱스 i에 기초해서 현재의 엘리먼트에 대응하는 확률적 오차 한계 △를 계산하는 것과,

   현재의 엘리먼트에 대응하는 주파수 카운터와 상기 확률적 오차 한계 △를 테이블에서 현재의 엘리먼트에 대응하는 엔트리에 삽입하는 것을 포함하며,

   상기 주파수 카운터와 엘리먼트와 연관된 확률적 오차 한계 △의 합은 현재 의 윈도우의 인덱스 보다 작거나 동일한 것인 방법.
2. 제1항에 있어서, 상기 확률적 오차 한계 △를 계산하는 단계는 다음의 수학식, 즉

   

   을 적용하는 것을 포함하며, △은 확률적 오차 한계이며, β는 거듭제곱 법칙의 분포 파라미터이고, δ는 작은 확률이며, i는 현재의 윈도우의 인덱스인 것인 방법.
3. 제1항에 있어서, 상기 확률적 오차 한계 △를 계산하는 단계는 수학식, 즉 △~k*i를 적용하는 것을 포함하고, k는 공격성의 척도이며, i는 현재의 윈도우의 인덱스인 것인 방법.
4. 제1항에 있어서, 상기 입력 스트림은 입력 스트림의 흐름과 엘리먼트를 연관시키고, 입력 스트림에 존재하는 흐름의 각 구성요소에 대한 엘리먼트의 다중 복사를 반복함으로써 엘리먼트의 스트림에서 매핑되는 것인 방법.
5. 제1항에 있어서, 상기 주파수 카운터와 상기 확률적 오차 한계 △의 합이 상기 임계치를 초과하는 테이블에서 엘리먼트들을 리턴하는 것을 더 포함하는 것인 방법.
6. 컴퓨터에 의해서 실행될 때 임계치 이상의 주파수를 가진 입력 스트림의 엘리먼트를 구하는 방법을 구현하는 컴퓨터 코드를 포함하는 컴퓨터 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로,

   상기 입력 스트림의 엘리먼트들을 복수 개의 고정된 크기의 윈도우로 분할하는 단계와,

   다음의 단계들, 즉 현재의 윈도우에서 각 엘리먼트에 대해 현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는지 여부를 결정하는 단계와,

   현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하는 경우, 현재의 엘리먼트와 연관된 주파수 카운터를 증가하는 단계와,

   현재의 엘리먼트에 대응하는 엔트리가 테이블에 존재하지 않는 경우, 현재의 엘리먼트에 대응하는 테이블에 엔트리를 삽입하는 단계와,

   현재의 윈도우의 끝에서 테이블의 모든 엘리먼트를 제거하는 단계를 수행함으로써, 상기 복수 개의 윈도우 각각을 순차적으로 처리하는 단계를 포함하며,

   상기 엔트리를 삽입하는 단계는,

   현재의 윈도우의 인덱스 i에 기초해서 현재의 엘리먼트에 대응하는 확률적 오차 한계 △를 계산하는 단계와,

   현재의 엘리먼트에 대응하는 주파수 카운터와 상기 확률적 오차 한계 △를 테이블의 현재의 엘리먼트에 대응하는 엔트리에 삽입하는 단계를 포함하며,

   상기 주파수 카운터와 엘리먼트와 연관된 확률적 오차 한계 △의 합은 현재의 윈도우의 인덱스 보다 작거나 동일한 것인 컴퓨터 프로그램 제품.
7. 제6항에 있어서, 상기 확률적 오차 한계 △를 계산하는 단계는 다음의 수학식,

   

   을 적용하는 것을 포함하며, △은 확률적 오차 한계이며, β는 거듭제곱 법칙의 분포 파라미터이고, δ는 작은 확률이며, i는 현재의 윈도우의 인덱스인 것인 컴퓨터 프로그램 제품.
8. 제6항에 있어서, 상기 확률적 오차 한계 △를 계산하는 단계는 수학식, 즉 △~k*i를 적용하는 것을 포함하고, k는 공격성의 척도이며, i는 현재의 윈도우의 인덱스인 것인 컴퓨터 프로그램 제품.
9. 제6항에 있어서, 상기 입력 스트림은 입력 스트림의 흐름과 엘리먼트를 연관시키고, 입력 스트림에 존재하는 흐름의 각 구성요소에 대한 엘리먼트의 다중 복사를 반복함으로써 엘리먼트의 스트림에서 매핑되는 것인 컴퓨터 프로그램 제품.
10. 제6항에 있어서, 상기 주파수 카운터와 상기 확률적 오차 한계 △의 합이 상기 임계치를 초과하는 테이블에서 엘리먼트들을 리턴하는 것을 더 포함하는 것인 컴퓨터 프로그램 제품.

Images