KR101733708B1 - 시스템으로부터 획득되는 측정 값들을 평가하기 위한 방법 및 시스템 - Google Patents

Abstract

본 발명은 에러가 없는 또는 에러가 있는 상태에 있을 수 있는 시스템(S)로부터 취해진 측정 값들을 평가하기 위한 방법에 관한 것이며, 상기 시스템(S)은 적어도 하나의 통신 네트워크, 통신 시스템의 네트워크 컴포넌트 또는 통신 네트워크의 서비스를 포함하고, 상기 방법은 바람직하게는 다음의 순서로 다음의 단계들, 상기 시스템(S)으로부터 마킹되지 않은(unmarked) 측정 값들(v)의 세트(V)를 형성하는 단계, 랜덤 기반의 방식(random-based method)을 이용하여 상기 세트(V)로부터 측정 값들의 제거 및/또는 가중에 의해 학습 시스템(L)에 대한 측정 값들(v`)을 포함하는 수정된 학습 세트(V`)를 형성하는 단계, 상기 수정된 학습 세트(V`)로부터 상기 학습 시스템(L)에 의해 상기 시스템(S)로부터의 측정 값들을 평가하기 위한 모델(M)을 형성하는 단계, 그리고 상기 모델(M)을 이용하여 평가 시스템(B)에 의해 상기 시스템(S)으로부터의 측정 값들을 평가하는 단계를 포함한다.
더욱이, 본 발명은 에러가 없는 또는 에러가 있는 상태에 있는 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 시스템에 관한 것이며, 상기 시스템(S)은 적어도 하나의 통신 네트워크, 통신 시스템의 네트워크 컴포넌트 또는 통신 네트워크의 서비스를 포함하고, 상기 측정 값들을 평가하기 위한 시스템은 상기 시스템(S)으로부터 마킹되지 않은 측정 값들(v)의 세트(V)를 형성하기 위한 디바이스와, 랜덤 기반의 방식을 이용하여 상기 세트(V)로부터 측정 값들의 제거 및/또는 가중에 의해 학습 시스템(L)에 대한 측정 값들(v`)을 포함하는 수정된 학습 세트(V`)를 형성하기 위한 디바이스와, 상기 수정된 학습 세트(V`)로부터 상기 시스템(S)로부터의 측정 값들을 평가하기 위한 모델(M)을 형성하기에 적절한 학습 시스템(L)과, 그리고 상기 모델(M)을 이용하여 상기 시스템(S)으로부터의 측정 값들을 평가하기에 적절한 평가 시스템(B)을 포함한다.

Description

시스템으로부터 획득되는 측정 값들을 평가하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR RATING MEASURED VALUES TAKEN FROM A SYSTEM}

본 발명은 에러가 없거나 또는 에러가 있는 상태에 있을 수 있는 시스템(S)으로부터 취해지는 측정 값들을 평가하기 위한 방법 및 시스템에 관한 것이다. 상기 시스템은 적어도 하나의 통신 네트워크, 통신 시스템의 네트워크 컴포넌트 및/또는 통신 네트워크의 서비스를 포함한다.

이상하거나 비정상적인 측정 값들(소위, 이상치(outlier))들을 검출하는 분야에서, 선행 기술들은 이상하거나 비정상적인 측정 값들을 발견하기 위한 다수의 방법들을 포함한다. 비정상적인 측정 값들을 발견하는 것은 "이상치 검출" 또는 "변칙 검출(anomaly detection)"로서 지칭된다.

예를 들어, 하기에 기술되는 참고 문헌 [1]에서, 이상치 검출의 이용은 데이터 마이닝(data mining)의 분야에서 주요 단계들 중 하나로서 기술된다. 참고 문헌 [1]에서, 사용되는 추정의 강건성(robustness)에 대한 특별한 관심이 기울여지며, 거리 측정들, 클러스터 방법들 뿐만 아니라 공간적 방법들에 기초한 이상치 검출의 다양한 확률들이 보여진다.

하기에 기술되는 참고 문헌 [2]에서, 이상치 검출의 의미는 다양한 응용 분야들뿐만 아니라 과학적 분야들에 대해 중요한 문제로서 논의된다.

배경 기술로부터 알려진 이상치 검출 방법들은 우선 기본적인 가정들 및 요건들의 관점에서 서로 다르다. 이상치 검출에 대해, 일부 방법들은 시스템(S)이 측정 값들을 생성하게 하는 기저 분포(underlying distribution)들 및 이들의 파라미터들을 요한다. 더욱이, "로컬 이상치 확률 알고리즘"(LoOP: Local Outlier Probability Algorithm, 참고 문헌 [3])에 의해 "로컬 이상치 인자 알고리즘"(LOF, 참고 문헌 [4]) 또는 관련된 알고리즘들과 연계하여 확률 값을 계산하는 방법들이 존재한다.

더욱이, 하기에 기술되는 참고 문헌 [5]는 이상치 검출을 위한 어떤 요구되는 스코어 함수(score function)의 출력으로서 스코어 값들에 기초하여 확률 값들, 즉 [0, 1]의 간격 내의 값들에 관한 변환(transformation)을 획득하기 위한 방법을 개시한다. 이 확률 값은 세트(V)로부터의 측정 값이 측정 값들의 기저 세트에 대한 이상치일 확률을 나타낸다. 확률들은 매우 가망있는 이상치들을 포함하는 리스트를 만들기 위해 이용된다.

하기에 기술되는 참고 문헌 공보 [6]는 함수 및 추세선 이상치 바이어스(functional and trend-line outlier bias)를 감소시키기 위한 데이터 필터링을 위한 시스템 및 방법에 관한 것이다.

이상치들을 검출하기 위한 종래의 방법들에서, 일반적으로 임계 값들 또는 한계 값들이 이용된다. 예를 들어, 이러한 임계 값 또는 한계 값 초과 또는 미만에서, 측정 값이 이상치 또는 정상 측정 값으로 여겨질 수 있음을 검출하는 것이 가능하다.

임계 값들의 이용은 이러한 임계 값들이 대부분, 수반된 테스트들 및 이밸류에이션들에 의해 검출되어야 한다는 점에서 단점을 갖는다. 더욱이, 다수(majority)의 측정 값들로부터 매우 많이 벗어나되 시스템(S)의 정상 시스템 상태에 속하는 세트(V)로부터의 측정 값들은 시스템의 상태를 결정하기 위해 할당된 확률에 따라 이들을 학습 세트(learning set)에 역시 입력시킬 가능성이 없이 임계 값의 사용에 의해 필터링될 것이다.

참고문헌들

참고 문헌 [1]: Irad Ben-Gal. "Outlier detection", in: Maimon O. and Rockach L. (Eds.), "Data Mining and Knowledge Discovery Handbook: A Complete Guide for Practitioners and Researchers" Kluwer Academic Publishers, 2005

참고 문헌 [2]: Varun Chandola, Arindam Banerjee, Vipin Kumar. "Outlier Detection: A Survey", 2007, (http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.108.8502)

참고 문헌 [3]: Hans-Peter Kriegel, P. Krёger E. Schubert, A. Zimek. "LoOP: Local Outlier Probabilities", in Proceedings of 18th ACM Conference on Information and Knowledge Management (CIKM), 2009 (http://www.dbs.ifi.lmu.de/Publikationen/Papers/LoOP1649.pdf).

참고 문헌 [4]: M. M. Breunig, Hans-Peter Kriegel, R.T. Ng, J. Sander. "LOF: Identfying Density-based Local Outliers", in ACM SIGMOD Record. No. 29, 2000, (http://www.dbs.ifi.lmu.de/Publikationen/Papers/LOF.pdf).

참고 문헌 [5]: Hans-Peter Kriegel, Peer Krёger, Erich Schubert, Arthur Zimek. "Interpreting and Unifying Outlier Scores", in Proceedings of 11th SIAM International Conference on Data Mining. 2011, (http://siam.omnibooksonline.com/2011datamining/data/papers/018.pdf).

참고 문헌 [6] US 2013/046727 A1.

본 발명의 목적은 에러가 없는/정상적인 또는 에러가 있는/비정상적인 상태에 있을 수 있는 시스템(S)으로부터 취해진 측정 값들을 평가(rating)하기 위한 방법 및 시스템을 제공하는 것이다.

이러한 목적은 독립청구항들의 특징들에 의해 달성된다. 종속항들은 본 발명의 바람직한 실시예들에 관한 것이다.

본 발명은, 바람직하게는 머신 또는 통계 학습 시스템(L)이 모니터링될 시스템(S)으로부터의 마킹되지 않은 측정 값(unmarked measured value)들에 기초하여 자동화된 방식으로 측정 값들을 평가할 수 있다는 기본적인 아이디어로부터 시작된다. 비정상적인 측정 값들은 시스템(S)이 에러가 있는 상태에 있음을 나타낼 수 있다. 마킹되지 않음은 측정 값들에 비추어 볼 때, 측정 값들이 취해질 때 시스템(S)이 어떤 상태 - 에러가 없는/에러가 있는 상태 - 에 있었는 지에 관한 어떤 정보도 존재하지 않음을 의미한다.

랜덤화/랜덤-기반의 방법이 제공되며, 상기 방법은 학습 시스템의 이용에 앞서, 측정 값들의 학습 세트(V)로부터, 시스템(S)의 에러 있는 상태로부터 매우 가능성 높게 기인하는 측정 값들을 제거한다. 따라서, 이러한 측정 값들이 학습 시스템(L)의 학습 프로세스에 부정적이게 영향을 끼침으로써 학습 모델(M)이 미래의 새로운 측정 값들(W)을 평가할 때 시스템(S)의 에러 있는 상태를 정상적인 것으로 잘못 평가하게 됨이 방지된다. 한편, 이러한 값들이 학습 시스템의 학습 프로세스에 대해 가치있는 값이며, 가능한 경우 (완벽하게) 제거되지 말아야 한다는 발견이 고려된다. 이에 관하여, 본 발명은 V가 V 내의 다른 측정 값들에 비해 기이한 값을 가지지만 시스템(S)의 에러 있는 상태에서 검출되지 않았으며 따라서, 정상적인 것으로 여겨질 수도 있는 측정 값들을 포함할 수 있음을 고려할 수 있다.

본 발명은 에러가 없는/정상적인 또는 에러가 있는/비정상적인 상태에 있을 수 있는 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 방법에 관한 것이며, 상기 시스템(S)은 적어도 하나의 통신 네트워크, 통신 시스템의 네트워크 컴포넌트 및/또는 통신 네트워크의 서비스를 포함하며, 상기 방법은 다음의 단계들을 바람직하게는 다음의 순서로 포함하는 바, 이 단계들은 (a) 시스템(S)로부터 마킹되지 않은 측정 값들(v)의 세트(V)를 형성하는 단계, (b) 랜덤-기반의 방법을 이용하여 상기 세트(V)로부터 측정 값들의 제거 및/또는 가중에 의해 학습 시스템(L)에 대한 측정 값들(v`)을 포함하는 수정된 학습 세트(V`)를 형성하는 단계, (c) 수정된 학습 세트(V`)로부터 학습 시스템(L)에 의해 시스템(S)로부터의 측정 값들을 평가하기 위한 모델(M)을 형성하는 단계, 및 (d) 모델(M)을 이용하여 평가 시스템(B)에 의해 시스템(S)로부터의 측정 값들을 평가하는 단계이다.

시스템(S)은 두 가지 시스템 상태들 - 에러가 없는/정상적인 상태 및 에러가 있는/비정상적인 상태 - 를 갖는 시스템일 수 있다. 그러나, 상기 방법은 또한, 서로 다른 시스템 상태들, 예컨대 복수의 시스템 상태들을 가지는 다른 시스템들(S)에 적용될 수 있다.

본 발명에 따르면, 시스템(S)의 마킹되지 않은 측정 값들(v)에 비추어 볼 때, 시스템(S)이 에러 있는 상태에 있을 때 또는 에러 없는 상태에 있을 때 각각의 측정 값이 측정되었는지 그렇지 않은지에 관한 신뢰가능한 정보(trustworthy information)가 반드시 존재해야하는 것은 아니다. 측정 값들은 측정 시스템(S)에서 취해지며, 시스템 상태의 표시자들일 수 있다. 서로 다른 타입의 측정 값들이 존재하는 경우, 또한 측정 값의 타입에 관한 정보가 각각의 측정 값에 할당될 수 있다. 측정 값들이 시계열적(time series)인 경우, 측정의 시점에 관한 정보가 추가적으로 개별적인 측정 값들(v)에 대한 세트(V)에 할당될 수 있다.

본 발명의 실시예에 따르면, 단계(b)는 바람직하게는 다음의 단계들을 다음의 순서로 포함한다: (b1) 적어도 하나의 스코어 함수(F: V → Q, v

F(v) = q)에 의해 세트(V)로부터 스코어 값들(q)을 포함하는 스코어 값 세트(Q)를 형성하는 단계, (b2) 적어도 하나의 변환 함수(T: Q → P, q

T(q) = T(F(v)) = p)에 의해 스코어 값 세트(Q)로부터 확률들(p)을 포함하는 확률 세트(P)를 형성하는 단계, (b3) 측정 값들의 수정된 학습 세트(V`)를 형성하는 단계, 여기서 측정 값들 v ∈ V은 p = T(F(v))를 이용하여 1-p의 각각의 확률로 수정된 학습 세트(V`)에 포함되고, 측정 값들 v ∈ V은 적어도 하나의 가중 함수(G)에 의해 각각의 가중을 부여받는다.

스코어 함수(F)는 세트(V)로부터 각각의 개별적인 측정 값에 대해 또는 학습 세트(V)로부터 - 예컨대, 일정 시점 또는 특정 인스턴스(instance)에서의 측정 값들의 서로 다른 타입들의 측정 값들의 경우 - 측정 값들의 서브세트에 대해 스코어 값을 형성할 수 있다. 일반론(generality)의 제약이 없이, 스코어 값은 실수(real number)일 수 있다. 예를 들어, 낮은 스코어 값은 에러가 없는 측정 값과 관련될 수 있고, 높은 스코어 값은 에러가 있는 측정 값과 관련될 수 있다.

변환 함수(T)는 스코어 값에 예컨대, 실수, 확률 값 예컨대, [0, 1]의 간격에서의 실수를 할당할 수 있다. 예를 들어, T(v) = 0의 경우 측정 값(v)은 확률 0으로 세트(V)로부터 제거될 수 없는 바, 즉 수정된 학습 세트(V`)에 안전하게 전달되거나 또는 수정된 학습 세트(V`)에 유지될 수 있다. 이와는 대조적으로, T(v) = 1의 경우 측정 값(v)은 확률 1로 세트(V)로부터 제거될 수 있는 바, 즉 학습 세트(V`)에 안전하게 전달되거나 또는 학습 세트(V`)에 유지될 수 없다.

가중 함수(G)는 T에 의해 결정된, 측정 값(v)의 각각의 확률(p)에 대한 가중을 계산할 수 있다. 관련된 측정 값(v)의 가중은 측정 값(v)이 학습 프로세스 동안/V`에의 도입 동안 가중되어야 하는 값을 나타낼 수 있다. 예를 들어, 높은 가중을 가지는 측정 값들은 모델(M)에 상대적으로 큰 영향력을 가질 수 있다. 가중 함수는 또한, G(p) = 1-p에 의해 정의될 수 있다.

함수들(F, T 및 G)은 개별적인 측정 값들(v)에 대해 그리고 측정 값들의 세트(V)에 대해 정의될 수 있다.

본 발명의 추가의 실시예에 따르면, 방법은 또한, 시스템(S)이 에러가 없는 또는 에러가 있는 상태에 있는지를 결정하는 단계를 포함한다.

더욱이, 예컨대 추후의 시점에, 시스템(S)으로부터 마킹되지 않은 측정 값들(w)의 다른 세트(W)에 대해 시스템(S)이 각각의 시점에서 에러가 있는 상태 또는 에러가 없는 상태에 있는지를 결정하는 것이 가능하다. 이러한 결정은 학습 모델(M) 및/또는 평가 시스템(B)에 의해 이루어질 수 있다.

본 발명의 추가의 실시예에 따르면, 스코어 함수(F)는 스코어 값의 출력을 갖는 독립적인, 바람직하게는 머신 학습 시스템(L`) 및 평가 시스템(B`)일 수 있다. 더욱이, 스코어 함수(F)는 k개의 다음 이웃(next neighbor)들 및/또는 사분위수 배율 인자(interquartile multiplying factor) 및/또는 국소 이상치 인자(local outlier factor)를 고려함으로써 형성될 수 있다. 더욱이, 스코어 함수(F)는 세트(V)로부터 각각의 측정 값(v)에 대해 최근접 이웃에 대한 거리, 즉 측정 값(v)의 최소 거리(d(v))를 형성하고, 이를 V로부터의 모든 측정 값들의 평균 거리(m)로 나눌 수 있어서, F: V → Q, v

F(v) = d(v)/m = q가 적용된다. 더욱이, 변환 함수(T)는 모든 x(x ∈

)에 대해 바람직하게는 0 ≤ T(x) ≤ 1인 점점 증가하는 함수, 특히 바람직하게는, 정규 분포, 웨이불 분포(Weibull distribution), 베타 분포(beta distribution) 또는 연속적 등분(continuous equipartition)일 수 있다. 가중 함수(G)는 G(p) = 1-p = 1-T(F(v))로서 정의될 수 있다. 변환 함수(T)의 점점 증가하는 함수는 바람직하게는 T(-∞) ≥ 0 및 T(+∞) ≤ 1인 모든 x(x ∈

)에 대해 특성 0 ≤ T(x) ≤ 1을 가질 수 있다.

더욱이, 측정 값들의 기저 분포(underlying distribution)를 알지 못하고 연산할 수 있는 알고리즘들이 스코어 함수(F)에 대해 이용될 수 있다. 스코어 함수(F)는 또한, 국소 이상치 인자 알고리즘 도는 국소 이상치 확률 알고리즘을 가질 수 있다.

본 발명의 추가의 실시예에 따르면, 단계들(b1 내지 b3)이 반복적인(iterative) 방식으로 연속적으로 여러 번 수행될 수 있다.

반복적인 방식으로 연속적으로 여러 번 단계들(b1 내지 b3)을 수행함으로써, 스코어 함수(F), 변환 함수(T) 및 V로부터의 측정 값들의 랜덤한 제거 및/또는 V로부터의 측정 값들의 가중이 연속적으로 여러 번 적용될 수 있다.

본 발명의 추가의 실시예에 따르면, 세트(V)는 단계(a)에서 N ∈

인 서브-세트들(V_1, ..., V_N)로 파티션(partition)될 수 있고, 단계(b)에서 N ∈

인 수정된 학습 서브-세트들(V_1`, ..., V_N`)이 형성될 수 있고 학습 세트(V`)는 수정된 학습 서브-세트들(V_1`, ..., V_N`)로부터 결합될 수 있다. 따라서, 또한 단계(b1)에서 N ∈

인 대응하는 스코어 값 세트들(Q_1, ..., Q_N)은 적어도 하나의 스코어 함수(F)에 의해 서브-세트들(V_1, ..., V_N)로부터 형성될 수 있다. 더욱이, 단계(b2)에서, N ∈

인 대응하는 확률 세트들(P_1, ..., P_N)은 적어도 하나의 변환 함수(T)에 의해 대응하는 스코어 값 세트들(Q_1, ..., Q_N)로부터 형성될 수 있다.

본 발명의 추가의 실시예에 따르면, 단계(b)에서 또한 측정 값(v)의 적어도 하나의 최근접 이웃이 측정 값들(v)의 제거 및/또는 가중 동안 세트(V)로부터 제거될 수 있다. 측정 값(v)의 최근접 이웃들의 제거가 값 및/또는 시간 기준에 따라 수행될 수 있다. 예를 들어, 측정 값(v)에 필적하는 값을 가지거나 또는 측정 값(v)에 매우 가까운 최근접 이웃이 제거될 수 있다. 더욱이, 예를 들어, 최근접 이웃은 측정 값에 대한 시간적 근접(temporal vicinity)에 따라 선택될 수 있다. 예를 들어, 최근접 이웃은 실제로 제거될 측정 값과 동시에 또는 실제로 제거될 측정 값 전 또는 후의 일정 시간 제한 내에 측정되었을 수 있다.

본 발명의 추가의 실시예에 따르면, 측정 값들은 계산 유닛의 가동률(capacity utilization), 사용 및 미사용(free) 저장 공간, 입력 및 출력 채널들의 가동률 및 상태, 에러가 없는 그리고 에러가 있는 패킷들의 수, 전송 큐들의 길이들, 에러가 없는 그리고 에러가 있는 서비스 질의(inquiry)들, 서비스 질의의 프로세싱 시간을 포함하는 그룹으로부터 선택될 수 있다.

본 발명은 또한, 에러가 없거나 또는 에러가 있는 상태에 있을 수 있는 시스템(S)로부터 취해진 측정 값들을 평가하기 위한 시스템에 관한 것이며, 상기 시스템(S)은 적어도 하나의 통신 네트워크, 통신 시스템의 네트워크 컴포넌트, 및/또는 통신 네트워크의 서비스를 포함하고, 상기 측정 값들을 평가하기 위한 시스템은 시스템(S)로부터 마킹되지 않은 측정 값들(v)의 세트(V)를 형성하기 위한 디바이스와, 랜덤 기반의 방법을 이용하여 세트(V)로부터 측정 값들의 제거 및/또는 가중에 의해 학습 시스템(L)에 대한 측정 값들(v`)을 포함하는 수정된 학습 세트(V`)를 형성하기 위한 디바이스와, 수정된 학습 세트(V`)로부터 시스템(S)로부터의 측정 값들을 평가하기 위한 모델(M)을 형성하기에 적절한 학습 시스템(L)과 그리고 모델(M)을 이용하여 시스템(S)로부터의 측정 값들을 평가하기에 적절한 평가 시스템(B)을 포함한다.

본 발명의 추가의 실시예에 따르면, 수정된 학습 세트(V`)를 형성하기 위한 디바이스는, 적어도 하나의 스코어 함수 F: V → Q, v

F(v) = q에 의해 세트(V)로부터 스코어 값들(q)을 포함하는 스코어 값 세트(Q)를 형성하기 위한 디바이스와, 적어도 하나의 변환 함수 T: Q → P, q

T(q) = T(F(v)) = p에 의해 스코어 값 세트(Q)로부터 확률들(p)을 포함하는 확률 세트(P)를 형성하기 위한 디바이스를 포함한다.

수정된 학습 세트(V`)를 형성하기 위한 디바이스는 p = T(F(v))인 경우 1-p의 대응하는 확률로 측정 값들 v ∈ V을 수정된 학습 세트(V`)에 도입함으로써 측정 값들로부터 수정된 학습 세트(V`)를 형성하기에 적절할 수 있다. 더욱이, 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 적어도 하나의 가중 함수(G)에 의해 측정 값들 v ∈ V을 가중함으로써 측정 값들로부터 수정된 학습 세트(V`)를 형성하기에 적절할 수 있다.

본 발명의 추가의 실시예에 따르면, 시스템(S)로부터 취해진 측정 값들을 평가하기 위한 시스템은 또한, 시스템(S)이 에러가 없는 상태 또는 에러가 있는 상태에 있는지를 결정하기 위한 디바이스를 포함할 수 있다.

본 발명의 추가의 실시예에 따르면, 스코어 값 세트(Q)를 형성하기 위한 디바이스는 여러 번 스코어 값 세트(Q)를 형성하기에 적절할 수 있다. 더욱이, 확률 세트(P)를 형성하기 위한 디바이스는 여러 번 확률 세트를 형성하기에 적절할 수 있다. 더욱이, 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 여러 번 수정된 학습 세트(V`)를 형성하기에 적절할 수 있다.

본 발명의 추가의 실시예에 따르면, 시스템(S)으로부터의 마킹되지 않은 측정 값들(v)로부터 세트(V)를 형성하기 위한 디바이스는 세트(V)를 N ∈

인 서브-세트들(V_1, ..., V_N)로 파티션하기에 적절할 수 있다. 더욱이, 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 N ∈

인 수정된 학습 서브-세트들(V_1`, ..., V_N`)을 형성하고 수정된 학습 서브-세트들(V_1`, ..., V_N`)로부터 학습 세트(V`)를 결합하기에 적절할 수 있다.

본 발명의 추가의 실시예에 따르면, 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 측정 값들(v)의 제거 및/또는 가중 동안 세트(V)로부터 측정 값(v)의 적어도 하나의 최근접 이웃을 또한 제거하기에 적절할 수 있다.

본 발명은 임계 값들을 필요로 하지 않고 대신 랜덤화/랜덤 기반의 방법을 이용하는, 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 방법을 제공한다. 랜덤화/랜덤 기반의 방법을 이용함으로써, 사용자는 수반되는 테스트들 및 이밸류에이션(evaluation)들에 의해 임계를 결정할 필요가 없으며, 또한 다수(majority)의 측정 값들로부터 크게 벗어나되 시스템(S)의 정상 시스템 상태에 속하는 세트(V)로부터의 측정된 값들이 - 할당된 확률에 따라 - 측정 값들의 학습 세트에 포함될 기회를 가진다. 임계 값들을 이용하는 방법들에서, 이러한 목표를 달성하는 것은 어렵거나 또는 불가능하다. 본 발명에 따른 방법은 측정 값들의 기저 분포들에 관한 지식을 필요로 하지 않는다. 그러나, 그럼에도 불구하고, 이러한 지식이 완전히 또는 부분적으로 존재하는 경우, 이는 스코어 함수(들)(F) 및 변환 함수(들)(T)의 선택에 이용될 수 있다. 선행 기술 방법들과는 대조적으로, 본 발명에 따르면, 함수(T)를 이용하여 랜덤화 방법에 의해 계산된 확률들은 랜덤화 방식으로 학습 세트를 형성하기 위해 이용된다. 이에 관하여, 현재의 학습 세트(V)가 중요할 뿐만 아니라 이를 넘어 시스템(S)로부터의 측정 값들의 가능한 거동(behavior) 역시 중요할 수 있다. 계산된 확률 값들은 이상치들을 포함하는 리스트를 만들기 위해 이용될 뿐만 아니라 이들은 본래의 학습 세트(V)로부터 감소된 학습 세트(V`)를 결정하기 위한 랜덤화 방법에도 이용된다.

다음에서, 본 발명은 예시들 및 도면들에 기초하여 더욱 상세히 기술될 것이다.
도 1은 선행 기술의 종래 방법에 따른 시스템으로부터 취해진 측정 값들을 평가하기 위한 방법의 개략도를 도시한다.
도 2는 본 발명에 따른 시스템으로부터 취해진 측정 값들을 평가하기 위한 방법의 바람직한 실시예의 개략도를 도시한다.
도 3은 본 발명에 따른 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 시스템의 바람직한 실시예의 개략도를 도시한다.
도 4는 본 발명에 따른 시스템으로부터 취해진 측정 값들을 평가하기 위한 방법의 바람직한 실시예의, 전달 함수로서 이용되는 웨이불 분포의 개략도를 도시한다.

도 1은 선행기술에 따른 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 종래의 방법의 개략도를 도시한다.

시스템(S), 예컨대 네트워크에서, 측정 값들(v)의 세트(V)가 취해진다. 이 세트(V)는 학습 시스템(L)에 대한 학습 세트로서 역할을 해야한다. 세트(V)로부터의 측정 값들(v)이 마킹되지 않는 바, 즉 측정 값들(v)이 에러가 있는지 없는지에 관한, 즉 측정 값들이 취해지는 동안 시스템(S)가 에러 있는 상태에 있는지 아닌지에 관한 어떤 스테이트먼트(statement)도 이루어지지 않을 수 있다.

미리 결정된 임계 값에 의해, 학습 시스템(L)은 측정 값들의 세트(V) 또는 측정 값들(v)을 평가한다. 현 경우, 임계 값 미만에 있는 측정 값들(v)은 학습 세트로부터 제거되고 더 고려되지 않는다. 따라서, 임계 값 초과의 측정 값들(v)만을 포함하는 결정된 학습 세트(V`)이 모델(M)을 형성하기 위해 학습 세트(L)에 의해 이용된다. 학습된 측정 값들에 비추어 볼 때 모델(M)은 에러가 없는 시스템(S)의 표시이다. 모델(M)에 기초하여, 새로운 측정 값들(w)에 관하여 시스템(S)가 에러가 있는 상태에 있는지 그렇지 않은지에 관한 스테이트먼트가 미래의 새로운 측정 값들(w)에 대해 이루어져야 한다.

이를 위해, 모델(M)은 평가 시스템(B)을 형성하기 위해 이용된다. 그 다음, 이밸류에이션될 측정 값들의 새로운 세트(W)로부터의 측정 값들(w)이 평가 시스템(B)에 공급된다. 후속적으로, 평가 시스템(B)은 측정 값들의 세트(W)로부터 측정 값들(w)을 평가하고, 그럼으로써 형성된 모델(M)을 고려하며, 측정된 값들(w)이 에러가 있는지 없는지 그리고 따라서 시스템이 에러가 있는 상태에 있는지 아닌지에 관한 스테이트먼트를 만든다.

도 2는 본 발명에 따른 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 방법의 바람직한 실시예의 개략도를 도시한다. 이 바람직한 실시예에서, 측정 값들(v)은 시스템(S)에서 다시 취해져서 학습 세트로서 의도된 측정 값들(v)의 세트에 결합된다. 스코어 함수(F)가 측정 값들에 적용되며 따라서, 스코어 값들(q)을 포함하는 스코어 값들의 세트(Q)가 형성된다. 그 다음, 변환 함수(T)가 이 스코어 값 세트(Q)에 적용되고, 따라서 확률들(p)을 포함하는 확률 세트(P)가 형성된다. 그 다음, 랜덤화된 선택에 의해, 측정 값들의 수정된 학습 세트(V`)가 형성된다. 측정 값들(v)은 1-p의 대응하는 확률로 수정된 학습 세트(V`) 내로 포함된다. 측정 값들(v)은 적절한 가중 함수(G)에 의해 대응하는 가중을 또한 (또는 대응하는 가중만을) 부여받을 수 있고, 따라서, 모든 측정 값들 v ∈ V은 수정된 학습 세트(V`) 내로 대응하는 가중들로 포함된다.

그 다음, 학습 세트(V`)를 이용함으로써, 학습 시스템(L)은 적절한 모델(M)을 형성하며, 모델(M)은 또한, 에러가 없는 시스템(S)의 표시이다.

그 다음, 평가 시스템(B)이 모델(M)을 이용함으로써 형성된다. 시스템으로부터 새롭게 취해진 측정 값들 w ∈ W은 평가 시스템(B)에 제공되고, 평가 시스템은 새로운 측정 값들 w ∈ W이 에러가 있는지 또는 정상인지 그리고 따라서 시스템(S)이 에러가 있는 상태에 있는지 또는 정상 상태에 있는지를 평가한다.

도 3은 본 발명에 따른 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 시스템의 바람직한 실시예의 개략도를 도시한다. 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 시스템(100)은 시스템(S)로부터 마킹되지 않은 측정 값들(v)의 세트(V)를 형성하기 위한 디바이스(110), 수정된 학습 세트(V`)를 형성하기 위한 디바이스(120), 학습 시스템(L)(130), 평가 시스템(B)(140)뿐만 아니라 시스템(S)이 에러가 있는 상태에 있는지 그렇지 않은지를 결정하기 위한 디바이스(150)를 포함한다.

디바이스(110)는 시스템(S)에 의해 취해지는 측정 값들(v)을 수신하고, 이 취해진 측정 값들에 기초하여, 마킹되지 않은 측정 값들(v)의 세트(V)를 형성한다. 그 다음, 측정 값들(v`)을 포함하는 수정된 학습 세트(V`)는 다음과 같이 디바이스(120)에서 형성된다.

디바이스(121)에서, 스코어 값들(q)을 포함하는 스코어 값 세트(Q)가 스코어 함수(F)에 의해 측정 값들(v)을 포함하는 세트(V)로부터 형성된다. 그 다음, 디바이스(121)에서, 확률들(p)을 포함하는 확률 세트(P)가 변환 함수(T)에 의해 스코어 값들(q)을 포함하는 스코어 값 세트(Q)로부터 형성된다. 후속적으로, 디바이스(120)에서, 측정된 값들(v)은 p = T(F(v))을 이용하여 1-p의 대응하는 확률로 수정된 학습 세트(V`) 내로 포함된다. 따라서, 수정된 학습 세트(V`)는 본래 취해진 세트(V)의 랜덤화/랜덤 기반의 처리에 의해 획득된다.

그 다음, 수정된 학습 세트(V`)는 시스템(S)에 대한 모델(M)을 형성하기 위해 학습 세트(L)(130)에서 이용된다. 모델(M)은 에러가 없는 시스템(S)의 표시이다.

이 모델(M)에 의해, 그 다음 이밸류에이션될 시스템으로부터의 새로운 측정 값 세트(W)의 측정 값들(w)이 에러가 있는지 또는 없는지가 평가 시스템(B)(140)에서 평가된다. 이밸류에이션될 측정 값들(w)을 포함하는 측정 값 세트(W)는 또한, 디바이스(110)에 의해 형성 또는 측정됐을 수 있다. 그 다음, 시스템(S)가 에러가 없는 상태에 있는지 에러가 있는 상태에 있는지가 측정 값들(w)의 평가에 기초하여 디바이스(150)에서 결정된다. 그 다음 따라서, 측정 값들(w)이 에러가 있는지 없는지 또는 시스템(S)이 에러가 있는 상태에 있는지 에러가 없는 상태에 있는지에 관하여 상응하게 결정된 결과들은 예컨대, 추가의 시스템에서 더 프로세싱될 수 있다.

도 4는 본 발명에 따른 시스템으로부터 취해진 측정 값들을 평가하기 위한 방법의 바람직한 실시예의, 전달 함수로서 이용되는 웨이불 분포의 개략도를 도시한다. 본 발명의 현재 기술된 실시예에 있어서, 다음에는, 6개의 측정 값들이 시스템(S)에서 특정 측정량(measurand)(타입)에 대해 측정되고, 추후에 학습 시스템(L)에서 입력으로서 역할을 해야 한다. 측정 값들 v의 측정 값 세트(V)는 V = (101, 102, 1, 100, 103, 105).

제3 측정 값 v = 1은 측정 값들의 리스트 내의 이상치이다. 그러나, 학습 시스템(L)은 상기 이상치가 에러가 있는 측정 값인지 에러가 없는 측정 값인지 그리고 이 이상치가 시스템(S)의 에러가 있는 상태에서 측정되었는지 또는 에러가 없는 상태에서 측정되었는지를 알지 못한다.

학습 시스템(L)이 학습 세트(V)에 대해 V로부터의 최소 및 최대의 측정 값들을 모델(M)으로서 형성한 경우, 다음이 적용될 수 있다.

- 측정 값(v) = 1이 포함되면, 최소 = 1, 최대 = 105

- 측정 값(v) = 1이 포함되지 않으면, 최소 = 100, 최대 = 105

최대 및 최소가 에러가 없는 시스템의 설명을 위해 모델(M)로서 이용된 경우, 현 경우에서, 두 개의 완전히 다른 실현들이 측정 값 1이 추가되었는지 아닌지에 따라 달성될 수 있다. 최소 = 1이고 최대 = 105인 경우, 새로운 측정 값들에 대한 허용(acceptance)의 범위는 최소 = 100이고 최대 = 105인 경우보다 크다.

첫번째 경우에서, 두번째 경우보다 큰 측정 값들이 일반적으로 허용될 수 있다.

그러므로, 본 발명에 따른 현 예시에서, V로부터의 각각의 측정 값(v)에 대해 V로부터의 최근접 측정 값에 대한 거리를 형성하고, 이를 V로부터의 모든 측정 값들의 평균 거리(m)로 나누는 스코어 함수 F(v)가 대신 이용된다.

d(v)는 모든 다른 측정 값들로부터의 측정 값(v)의 최소 거리를 의미한다. 따라서, 다음이 적용된다.

- d(101) = 1

- d(102) = 1

- d(1) = 99

- d(100) = 1

- d(103) = 1

- d(105) = 2

따라서, 평균 거리 m은 다음과 같다.

- m = (1+1+99+1+1+2)/6 = 105/6 = 17.5

스코어 함수(F)에 의해, V로부터의 측정 값들에 대한 스코어 값들이 이제 다음과 같이 계산될 수 있다.

- F(101) = 1/17.5

0.057

- F(102) = 1/17.5

0.057

- F(1) = 99/17.5

5.65

- F(100) = 1/17.5

0.057

- F(103) = 1/17.5

0.057

- F(105) = 2/17.5

0.11

본 발명에 따르면, 그 다음, 이 스코어 값들은 전달 함수(T)를 이용하여 확률들로 변환된다. 본 발명에 따른 예시에 따르면, 파라미터들 즉, 소위 모양 파라미터 k = 2이고 소위 스케일 파라미터 λ = 2인 웨이불 분포가 전달 함수로서 이용된다.

웨이불 분포(T)는 다음과 같이 정의된다.

- x < 0: T(x; k, lambda) = 0.

- x ≥ 0: T(x ; k, lambda) = (k/lambda) (x/lambda)^(k-1) exp(-(x/lambda)^k)

여기서, "^"는 지수(exponentiation)이고 exp()는 지수 함수(exponential funcion)이다.

도 3은 이러한 파라미터들을 갖는 본 발명에 따른 웨이불 분포를 도시한다.

T에 의해 변환된 스코어 값들은 다음과 같다.

- F(101) = 1/17.5

0.057, T(0.057) = 0.00081

- F(102) = 1/17.5

0.057, T(0.057) = 0.00081

- F(1) = 99/17.5

5.65, T(5.65) = 0.9996

- F(100) = 1/17.5

0.057, T(0.057) = 0.00081

- F(103) = 1/17.5

0.057, T(0.057) = 0.00081

- F(105) = 2/17.5

0.11, T(0.057) = 0.0030

계산된 확률 값에 기초하여, 개별적인 측정 값들은 이제, 랜덤화 방식으로 학습 세트(V)로부터 제거되거나 또는 V에 유지된다.

따라서, 측정 값들 101, 102, 100, 103, 105은 V에 유지될 가능성이 매우 높고, 측정 값 1은 제거된다. 따라서, 수정된 학습 세트(V`)는 다음의 측정 값들을 포함할 가능성이 매우 높다.

- V' = (101, 102, 100, 103, 105)

그 다음, 적절한 모델(M)은 학습 세트(V`)를 이용함으로써 형성되고, 후속적으로 평가 시스템(B)은 모델(M)을 이용함으로써 형성된다.

그 다음, 시스템으로부터 새롭게 취해진 측정 값들 v ∈ V이 평가 시스템(B)에 제공될 수 있고, 평가 시스템(B)은 새로운 측정 값들 w ∈ W이 에러가 있는지 또는 정상인지 그리고 따라서 시스템(S)가 에러가 있는 상태에 있는지 정상 상태에 있는지를 평가할 수 있다.

비록, 본 발명이 도면들에 기초하여 예시되고 대응하는 설명에 기초하여 상세히 기술되지만, 이러한 예시 및 상세한 설명은 본 발명을 제한하는 것이 아니라 예증적이고 예시적인 것으로서 이해되어야 한다. 당업자는 물론, 다음의 특허 청구 범위 및 요지를 벗어남이 없이 변경 및 보정들을 할 수 있다. 특히, 본 발명은 또한, 다양한 실시예들에 비추어 볼 때 언급된 또는 이전에 보여진 또는 다음에 이어지는 특징들의 어떤 조합을 포함하는 실시예들을 포함한다.

본 발명은 또한, 개별적인 특징들이 다른 특징들과 연계하여 도면들에 도시되거나 그리고/또는 이들이 이전에 언급되지 않거나 또는 다음에 이어지지 않더라도 도면들 내의 개별적인 특징들을 포함한다. 더욱이, 도면들 및 상세한 설명에 기술된 실시예들의 대안들 및 개별적인 대안들 및 이들의 특징들은 본 발명의 주체(subject-matter) 및/또는 개시된 주체로부터 배제되지 않을 수 있다. 본 발명은 특허 청구 범위 및/또는 예시들에 기술된 특징들을 배타적으로 포함하는 실시예들뿐만 아니라 다른 특징들을 추가적으로 포함하는 그러한 실시예들을 포함한다.

Claims (24)

1. 에러가 없는(error-free) 또는 에러가 있는(erroneous) 상태에 있는 시스템(S)으로부터 취해진 측정 값들을 평가(rating)하기 위한 방법으로서, 상기 시스템(S)은 적어도 하나의 통신 네트워크, 통신 시스템의 네트워크 컴포넌트 또는 통신 네트워크의 서비스를 포함하고, 상기 방법은 다음의 순서로 다음의 단계들:
   (a) 상기 시스템(S)으로부터 마킹되지 않은(unmarked) 측정 값들(v)의 세트(V)를 형성하는 단계;
   (b) 랜덤 기반의 방식(random-based method)을 이용하여 상기 세트(V)로부터 측정 값들의 (i) 제거 또는 (ii) 가중 또는 (iii) 제거 및 가중에 의해 학습 시스템(learning system)(L)에 대한 측정 값들(v`)을 포함하는 수정된 학습 세트(V`)를 형성하는 단계;
   (c) 상기 수정된 학습 세트(V`)로부터 학습 시스템(L)에 의해 상기 시스템(S)로부터의 측정 값들을 평가하기 위한 모델(M)을 형성하는 단계; 그리고
   (d) 상기 모델(M)을 이용하여 평가 시스템(B)에 의해 상기 시스템(S)으로부터의 측정 값들을 평가하는 단계를 포함하며,
   상기 단계(b)에서, 상기 측정 값(v)의 적어도 하나의 최근접 이웃(closest neighbor)은 상기 세트(V)로부터의 측정 값들(v)의 (i) 제거 또는 (ii) 가중 또는 (iii) 제거 및 가중 동안 제거되는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 단계(b)는 다음의 단계들:
   (b1) 적어도 하나의 스코어 함수 F: V → Q, v

   

   F(v) = q에 의해 상기 세트(V)로부터 스코어 값들(q)을 포함하는 스코어 값 세트(Q)를 형성하는 단계;
   (b2) 적어도 하나의 변환 함수 T: Q → P, q

   

   T(q) = T(F(v)) = p에 의해 상기 스코어 값 세트(Q)로부터 확률들(p)을 포함하는 확률 세트(P)를 형성하는 단계; 그리고
   (b3) 측정 값들로부터 상기 수정된 학습 세트(V`)를 형성하는 단계를 포함하고, 상기 측정 값들(v ∈ V)은 p = T(F(v))를 이용하여 1-p의 각각의 확률로 상기 수정된 학습 세트(V`)에 포함되거나, 또는
   상기 측정 값들(v ∈ V)은 적어도 하나의 가중 함수(G)에 의해 각각의 가중을 부여받는 것을 특징으로 하는 방법.
3. 제1항에 있어서,
   상기 단계(b)는 다음의 단계들:
   (b1) 적어도 하나의 스코어 함수 F: V → Q, v

   

   F(v) = q에 의해 상기 세트(V)로부터 스코어 값들(q)을 포함하는 스코어 값 세트(Q)를 형성하는 단계;
   (b2) 적어도 하나의 변환 함수 T: Q → P, q

   

   T(q) = T(F(v)) = p에 의해 상기 스코어 값 세트(Q)로부터 확률들(p)을 포함하는 확률 세트(P)를 형성하는 단계; 그리고
   (b3) 측정 값들로부터 상기 수정된 학습 세트(V`)를 형성하는 단계를 포함하고, 상기 측정 값들(v ∈ V)은 p = T(F(v))를 이용하여 1-p의 각각의 확률로 상기 수정된 학습 세트(V`)에 포함되고, 그리고
   상기 측정 값들(v ∈ V)은 적어도 하나의 가중 함수(G)에 의해 각각의 가중을 부여받는 것을 특징으로 하는 방법.
4. 제2항에 있어서,
   상기 방법은 언급된 순서로 단계들 (b1) 내지 (b3)을 포함하는 것을 특징으로 하는 방법.
5. 제2항에 있어서,
   상기 스코어 함수(F)는 스코어 값의 출력을 갖는 독립적인 학습 시스템(L`) 및 평가 시스템(B`)을 나타낼 수 있는 것을 특징으로 하는 방법.
6. 제2항에 있어서,
   상기 스코어 함수(F)는 스코어 값의 출력을 갖는 독립적인 머신 학습 시스템(L`) 및 평가 시스템(B`)을 나타낼 수 있는 것을 특징으로 하는 방법
7. 제2항에 있어서,
   상기 스코어 함수(F)는 측정 값(v)의 k개의 다음 이웃들(k next neighbors)을 고려함으로써 형성되는 것을 특징으로 하는 방법.
8. 제2항에 있어서,
   상기 변환 함수(T)는 연속적으로 증가하는 함수인 것을 특징으로 하는 방법.
9. 제8항에 있어서,
   상기 변환 함수(T)는 x ∈

   

   인 모든 x에 대해 0 ≤ T(x) ≤ 1인 연속적으로 증가하는 함수인 것을 특징으로 하는 방법.
10. 제8항에 있어서,
    상기 변환 함수(T)는 정규 분포, 웨이불 분포(Weibull distribution), 베타 분포(beta distribution) 또는 연속적 등분(continuous equipartition)인 것을 특징으로 하는 방법.
11. 제3항에 있어서,
    상기 가중 함수(G)는 G(p) = 1-p = 1-T(F(v))로서 정의되는 것을 특징으로 하는 방법.
12. 제2항에 있어서,
    상기 단계들 (b1) 내지 (b3)은 반복적인(iterative) 방식으로 연속적으로 여러 번 수행되는 것을 특징으로 하는 방법.
13. 제1항에 있어서,
    상기 단계(a)에서, 상기 세트(V)는 N ∈

    

    인 서브-세트들(V_1, ..., V_N)로 파티션(partition)되고,
    상기 단계(b)에서, N ∈

    

    인 수정된 학습 서브-세트들(V_1`, ..., V_N`)이 형성되며, 상기 학습 세트(V`)는 상기 수정된 학습 서브-세트들(V_1`, ..., V_N`)로부터 결합되는 것을 특징으로 하는 방법.
14. 제1항에 있어서,
    상기 측정 값들은:
    계산 유닛의 가동률(capacity utilization), 사용(used) 및 미사용(free) 저장 공간, 입력 및 출력 채널들의 가동률 및 상태, 에러가 없는 또는 에러가 있는 패킷들의 수, 전송 큐들의 길이들, 에러가 없는 그리고 에러가 있는 서비스 질의들, 서비스 질의의 프로세싱 시간을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 방법.
15. 에러가 없는 또는 에러가 있는 상태에 있는 시스템(S)으로부터 취해진 측정 값들을 평가하기 위한 시스템 - 상기 시스템(S)은 적어도 하나의 통신 네트워크, 통신 시스템의 네트워크 컴포넌트 또는 통신 시스템의 서비스를 포함함 - 으로서,
    상기 시스템(S)으로부터 마킹되지 않은 측정 값들(v)의 세트(V)를 형성하기 위한 디바이스와; 그리고
    랜덤 기반의 방식을 이용하여 상기 세트(V)로부터 측정 값들의 (i) 제거 또는 (ii) 가중 또는 (iii) 제거 및 가중에 의해 학습 시스템(L)에 대한 측정 값들(v`)을 포함하는 수정된 학습 세트(V`)를 형성하기 위한 디바이스를 포함하고,
    상기 학습 시스템(L)은 상기 수정된 학습 세트(V`)로부터 상기 시스템(S)으로부터의 측정 값들을 평가하기 위한 모델(M)을 형성하기에 적절하고,
    평가 시스템(B)은 상기 모델(M)을 이용하여 상기 시스템(S)으로부터의 측정 값들을 평가하기에 적절하며,
    상기 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 상기 측정 값들(v)의 (i) 제거 또는 (ii) 가중 또는 (iii) 제거 및 가중 동안 상기 세트(V)로부터의 측정 값의 적어도 하나의 최근접 이웃을 제거하기에 적절한 것을 특징으로 하는 측정 값들을 평가하기 위한 시스템.
16. 제15항에 있어서,
    상기 수정된 학습 세트(V`)를 형성하기 위한 디바이스는:
    적어도 하나의 스코어 함수 F: V → Q, v

    

    F(v) = q에 의해 상기 세트(V)로부터 스코어 값들(q)을 포함하는 스코어 값 세트(Q)를 형성하기 위한 디바이스와; 그리고
    적어도 하나의 변환 함수 T: Q → P, q

    

    T(q) = T(F(v)) = p에 의해 상기 스코어 값 세트(Q)로부터 확률들(p)을 포함하는 확률 세트(P)를 형성하기 위한 디바이스를 포함하며,
    상기 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 p = T(F(v))를 이용하여 1-p의 대응하는 확률로 상기 측정 값들(v ∈ V)을 상기 수정된 학습 세트(V`)에 도입함으로써 또는 적어도 하나의 가중 함수(G)에 의해 측정 값들(v ∈ V)을 가중시킴으로써 측정 값들의 상기 수정된 학습 세트(V`)를 형성하기에 적절한 것을 특징으로 하는 측정 값들을 평가하기 위한 시스템.
17. 제15항에 있어서,
    상기 수정된 학습 세트(V`)를 형성하기 위한 디바이스는:
    적어도 하나의 스코어 함수 F: V → Q, v

    

    F(v) = q에 의해 상기 세트(V)로부터 스코어 값들(q)을 포함하는 스코어 값 세트(Q)를 형성하기 위한 디바이스와; 그리고
    적어도 하나의 변환 함수 T: Q → P, q

    

    T(q) = T(F(v)) = p에 의해 상기 스코어 값 세트(Q)로부터 확률들(p)을 포함하는 확률 세트(P)를 형성하기 위한 디바이스를 포함하며,
    상기 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 p = T(F(v))를 이용하여 1-p의 대응하는 확률로 상기 측정 값들(v ∈ V)을 상기 수정된 학습 세트(V`)에 도입함으로써 그리고 적어도 하나의 가중 함수(G)에 의해 측정 값들(v ∈ V)을 가중시킴으로써 측정 값들의 상기 수정된 학습 세트(V`)를 형성하기에 적절한 것을 특징으로 하는 측정 값들을 평가하기 위한 시스템.
18. 제16항에 있어서,
    상기 스코어 값 세트(Q)를 형성하기 위한 디바이스는 상기 스코어 값 세트(Q)를 여러 번 형성하기에 적절하고,
    상기 확률 세트(P)를 형성하기 위한 디바이스는 상기 확률 세트를 여러 번 형성하기에 적절하고,
    상기 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 상기 수정된 학습 세트(V`)를 여러 번 형성하기에 적절한 것을 특징으로 하는 측정 값들을 평가하기 위한 시스템.
19. 제15항에 있어서,
    상기 시스템(S)으로부터 마킹되지 않은 측정 값들(v)의 세트(V)를 형성하기 위한 디바이스는 상기 세트(V)를 N ∈

    

    인 서브-세트들(V_1, ..., V_N)로 파티션하기에 적절하고,
    상기 수정된 학습 세트(V`)를 형성하기 위한 디바이스는 N ∈

    

    인 수정된 학습 서브-세트들(V_1`, ..., V_N`)을 형성하고, 상기 수정된 학습 서브-세트들(V_1`, ..., V_N`)로부터 상기 학습 세트(V`)를 결합하기에 적절한 것을 특징으로 하는 측정 값들을 평가하기 위한 시스템.
20. 제15항에 있어서,
    상기 측정 값들은:
    계산 유닛의 가동률, 사용 및 미사용 저장 공간, 입력 및 출력 채널들의 가동률 및 상태, 에러가 없는 또는 에러가 있는 패킷들의 수, 전송 큐들의 길이들, 에러가 없는 그리고 에러가 있는 서비스 질의들, 서비스 질의의 프로세싱 시간을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 측정 값들을 평가하기 위한 시스템.
21. 삭제
22. 삭제
23. 삭제
24. 삭제

Images