KR101680055B1 - 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법 - Google Patents

결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법 Download PDF

Info

Publication number
KR101680055B1
KR101680055B1 KR1020150120926A KR20150120926A KR101680055B1 KR 101680055 B1 KR101680055 B1 KR 101680055B1 KR 1020150120926 A KR1020150120926 A KR 1020150120926A KR 20150120926 A KR20150120926 A KR 20150120926A KR 101680055 B1 KR101680055 B1 KR 101680055B1
Authority
KR
South Korea
Prior art keywords
artificial neural
neural network
cluster
clustering
ensemble
Prior art date
Application number
KR1020150120926A
Other languages
English (en)
Inventor
서일원
김성은
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020150120926A priority Critical patent/KR101680055B1/ko
Application granted granted Critical
Publication of KR101680055B1 publication Critical patent/KR101680055B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

본 발명은 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법에 관한 것으로, (a) 입력자료인 기설정된 클러스터 개수, 입력자료인 전체 관측좌표점, 입력자료인 기설정된 밀도함수 반경(ra)의 최소값과 최대값을 이용하여 결합적 클러스터링 모듈이 최적 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)를 산정하는 단계와; (b) 결합적 클러스터링 모듈이 상기 단계(a)에서 산정된 클러스터 중심점을 K-means 또는 Fuzzy C-means 클러스터링 기법의 초기 중심값으로 입력하여 클러스터링을 실시하고, 해당 클러스터 개수에서의 최적 클러스터링 기법과 결과를 선택하는 단계와; (c) 인공신경망 모듈이 상기 단계(b)에서 클러스터 개수별로 분리된 자료(관측좌표점)에서 훈련자료(training data), 검사자료(test data), 검증자료(validation data)를 무작위적으로 추출하고, 상기 추출된 훈련, 검사, 검증자료를 갖는 분류 인공신경망(n-clustered ANN model)을 구축하는 단계, 및 (d) 앙상블 모델링 모듈이 상기 단계(c)에서 구축된 분류 인공신경망 모델에 대해 다양한 초기값에 대한 인공신경망 앙상블 모델을 구축하고 최적의 인공신경망 구조를 갖는 인공신경망 모델을 선정하는 단계로 이루어진다.

Description

결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법 {Method for developing the artificial neural network model using a conjunctive clustering method and an ensemble modeling technique}
본 발명은 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법에 관한 것으로, 보다 구체적으로, 학습자료의 패턴별로 자료를 분류하고 분류된 자료를 학습자료로 하는 각각의 인공신경망 모델을 개발하는 방법을 제시하여 학습자료의 불균형을 개선할 수 있고, 초기 연결 가중값이 갖는 인공신경망 모델 결과의 변동성에 대한 영향을 배제한 모델 결과의 제시와 모델의 성능 평가가 가능한, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법에 관한 것이다.
인공신경망 모델은 대표적인 데이터 기반 모델로서 기왕의 데이터를 학습하여 자료를 분류하거나 예측하는 목적으로 주로 사용되어지고 있다. 그러므로, 인공신경망의 학습을 위한 학습자료의 구성방법은 인공신경망 모델의 성능에 매우 큰 영향을 미친다.
그러나, 인공신경망의 학습자료는 대부분 무작위추출법에 의해 구성되어지며, 그 밖에 과소 추출(under sampling), 과대 추출(over sampling) 등의 추출방법(sampling method)이나, 중복 추출을 허용한 반복추출법인 부트스트랩(bootstrap)을 이용하여 다양한 학습자료를 구성한 후 앙상블 모델링 기법을 통해 분석하는 배깅(bagging) 등이 사용되어 지고 있으나, 이들 추출 방법들은 원자료의 자료분포를 왜곡하고 원자료가 갖고 있는 모든 패턴이 추출될 보장이 없기 때문에 원자료의 패턴 및 빈도에 대한 적절한 학습을 기대하기 어렵다. 즉, 추출된 학습자료의 불균형으로 인하여 추출된 자료에 따라 인공신경망 모델의 결과가 달라진다. 학습자료의 불균형은 크게 학습 목표값의 범위와 학습자료 패턴의 불균형에서 기인한다. 예를 들어, 원자료가 도 1a와 같고 색은 자료의 패턴, 크기는 자료의 수라고 가정할 경우, 도 1b와 같이 추출된 학습자료에 대해 학습된 인공신경망 모델은 노란색에 대한 결과를 제시하지 못할 것이다. 왜냐하면 노란색에 대해서 학습을 하지 않았기 때문이다. 또한, 청색 계열을 이 신경망 모델에 입력자료로 제시할 경우, 보라색을 결과로 제시할 확률이 매우 크다. 왜냐하면, 원자료와는 다르게 파란색이 아닌 청색 계열 색은 보라색 위주로 학습하였기 때문이다.
한편, 클러스터링(Clustering) 기법은 원자료를 비슷한 특성을 갖는 자료들로 분류하거나 이용목적에 맞도록 자료를 분리하는 방법이다. 클러스터링은 자료간의 유사성을 측정하는 방식에 따라 다양한 기법이 있으며, 대표적으로 방법으로는 자료간 유클리드 거리(Euclidian Distatnce)를 기반으로한 K-mean 클러스터링과 Fuzzy 분류기법을 이용한 Fuzzy C-mean 클러스터링, 자료의 밀도를 기반으로 분류하는 Subtractive 클러스터링 등이 있다.
K-means, Fuzzy C-means 클러스터링 기법은 비교적 정확한 결과를 빠르게 계산할 수 있어 널리 사용되어 지고 있다. 하지만, 클러스터의 개수가 입력인자이기 때문에 자료의 클러스터 개수를 미리 알아야 하며, 초기 클러스터 중심 가정값에 따라 국부최적해(local optimum)로 수렴할 수 있는 단점이 있다. 반면, subtractive 클러스터링은 자료들의 기하학적 거리를 기반으로 자료들의 밀도를 계산하여 클러스터링을 하는 기법으로, 클러스터의 개수 및 중심점이 밀도함수에 의해 산정되기 때문에 클러스터의 개수가 입력인자로 사용되지 않고 국부최적해로 수렴할 가능성이 적지만, K-means, Fuzzy C-means 클러스터링 결과에 비해 정확도가 떨어지는 것으로 알려져 있으며, 밀도함수의 폭(width parameter)에 따라 최적 클러스터 개수와 중심점 산정 결과가 다르게 나타난다. 더불어, 클러스터링의 결과는 측정자료를 도표화하여 눈으로 확인할 수 있으나, 정량적으로 클러스터링 결과의 적정성을 판단하기 어렵다. 더욱이 측정자료의 차원이 큰 경우에는 눈으로 확인할 수 없기 때문에 클러스터링 결과의 적정성을 평가하기 위한 방법이 필요하다.
또한, 앙상블 모델링 기법은 앙상블 멤버(Ensemble Member)를 구성하고 각각의 앙상블 멤버로부터 얻은 결과를 종합하여 모델의 성능을 평가하는 방법이며, 크게 동일한 입력자료에 대해 다양한 모델을 앙상블 멤버로 구성하는 방법과 동일한 모델에 대해 다양한 입력자료를 앙상블 맴버로 구성하는 방법으로 나눌 수 있다. 전자의 앙상블 모델링 기법은 동일한 입력자료에 대한 모델이 갖는 불확실성을 분석할 때 주로 적용되며, 후자의 앙상블 모델링 기법은 입력자료의 변동에 따른 모델 결과의 변동성을 분석할 때 주로 적용되어 진다.
한편, 인공신경망 모델은 동일한 인공신경망 구조에 동일한 학습자료를 이용한다 하더라도 초기 가중 연결값에 따라 다른 학습결과를 나타낸다. 이는 인공신경망의 가중 연결값을 결정하는 학습 알고리즘 자체가 최적화 알고리즘이기 때문에 초기값에 따라 각각 다른 국부최적값으로 수렴하기 때문이다. 하지만, 초기 가중 연결값은 학습자료의 특성과 학습 알고리즘에 민감하기 때문에 다양한 특성의 학습자료와 학습 알고리즘을 모두 만족하는 초기 가중치는 정해져 있지 않는 것으로 알려져 있다.
또한, 종래 기술인 대한민국 공개특허공보 제10-2013-0050707호(2013.05.16.)에서 인공신경망을 이용하여 입력 패턴을 분류하는 방법은 인공신경망을 이용하여 입력 패턴을 분류하는 방법에 있어서, 입력 데이터를 상기 인공신경망에 입력시키고, 상기 입력 데이터에 대한 출력 데이터가 상기 인공신경망에서 출력되도록 상기 인공신경망을 학습시키는 단계; 상기 학습된 인공신경망에 상기 입력 패턴을 입력시켜 출력값을 획득하는 단계; 상기 출력값에 따라 입력 패턴의 분류를 결정하는 단계; 상기 결정된 분류를 나타내는 결과값을 상기 입력 패턴이 입력되었을 때의 출력값으로 설정하는 단계; 상기 입력 패턴이 상기 인공신경망에 입력되었을 때, 상기 설정된 출력값이 출력되도록 상기 인공신경망의 일부 연결선의 연결강도를 갱신하는 단계; 및 상기 일부 연결선의 연결강도를 갱신 후, 상기 입력 패턴에 대한 출력값을 획득하고, 상기 획득한 출력값에 따른 분류 결과를 출력하는 단계를 포함하고 있으나, 입력 패턴 분류와 초기 가중치에 대해 역시 상기와 같은 문제점을 갖고 있다.
대한민국 공개특허공보 제10-2013-0050707호(공개일: 2013.05.16.), 발명의 명칭: "인공신경망을 이용하여 신속하게 입력 패턴을 분류하는 방법 및 장치"
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 학습자료의 패턴별로 자료를 분류하고 분류된 자료를 학습자료로 하는 각각의 인공신경망 모델을 개발하는 방법을 제시하여 학습자료의 불균형을 개선하기 위한, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법을 제공하는 데 있다.
본 발명의 다른 목적은 클러스터 검증 지수(CDbw)를 이용하여 Subtractive 클러스터링의 클러스터 개수별 밀도함수의 최적 폭을 산정하고 각 밀도함수 최적 폭에 대한 클러스터 중심값을 산정하여 그 값을 K-means, Fuzzy C-means 클러스터링의 초기 클러스터 중심 가정값으로 사용할 경우, K-means, Fuzzy C-means 클러스터링 기법이 국부최적해에 수렴하는 위험성을 낮추고 보다 정확한 클러스터 중심값의 제시가 가능한, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 무작위적으로 생성되는 초기 가중 연결값을 갖는 동일한 구조 인공신경망 모델을 수십 개 이상 생성하고 동일한 학습자료에 대해 학습시킨 모델의 결과들을 종합하여 모델의 성능을 평가하는 앙상블 모델링 기법을 적용함으로써, 초기 연결 가중값이 갖는 모델 결과의 변동성에 대한 영향을 배제한 모델 결과의 제시와 모델의 성능 평가가 가능한, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명은 (a) 입력자료인 기설정된 클러스터 개수, 입력자료인 전체 관측좌표점, 입력자료인 기설정된 밀도함수 반경(ra)의 최소값과 최대값을 이용하여 결합적 클러스터링 모듈이 최적 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)를 산정하는 단계와; (b) 결합적 클러스터링 모듈이 상기 단계(a)에서 산정된 클러스터 중심점을 K-means 또는 Fuzzy C-means 클러스터링 기법의 초기 중심값으로 입력하여 클러스터링을 실시하고, 해당 클러스터 개수에서의 최적 클러스터링 기법과 결과를 선택하는 단계와; (c) 인공신경망 모듈이 상기 단계(b)에서 클러스터 개수별로 분리된 자료(관측좌표점)에서 훈련자료(training data), 검사자료(test data), 검증자료(validation data)를 무작위적으로 추출하고, 상기 추출된 훈련, 검사, 검증자료를 갖는 분류 인공신경망(n-clustered ANN model)을 구축하는 단계, 및 (d) 앙상블 모델링 모듈이 상기 단계(c)에서 구축된 분류 인공신경망 모델에 대해 다양한 초기값에 대한 인공신경망 앙상블 모델을 구축하고 최적의 인공신경망 구조를 갖는 인공신경망 모델을 선정하는 단계로 이루어지는 것을 기본 특징으로 한다.
또한, 본 발명에서 상기 단계(a)는, (a1) 결합적 클러스터링 모듈이 최소 ra에 대하여 Subtractive 클러스터링을 실시하는 단계와; (a2) 결합적 클러스터링 모듈이 상기 단계(a1)에서 산정된 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)에 대하여 클러스터 검증 지수(CDbw)를 계산하는 단계와; (a3) 결합적 클러스터링 모듈이 ra 를 증가시켜 Subtractive 클러스터링을 실시하는 단계와; (a4) 결합적 클러스터링 모듈이 상기 단계(a3)에서 산정된 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)에 대하여 클러스터 검증 지수(CDbw)를 계산하는 단계와; (a5) 결합적 클러스터링 모듈이 증가시킨 ra 값이 최대 ra 값에 도달할 때까지 상기 단계(a3)와 (a4)을 반복하는 단계, 및 (a6) 결합적 클러스터링 모듈이 모든 ra 에 대하여 산정된 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)에 대한 CDbw값들 중 가장 큰 CDbw를 갖는 클러스터 결과를 최적 클러스터 결과로, 해당 ra 를 최적 반경으로 선정하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에서 상기 단계(a1)는, (a11) 결합적 클러스터링 모듈이 다음의 수학식,
Figure 112015083305717-pat00001
(여기서, n은 전체 관측좌표점의 개수, xi, xj 는 i번째, j번째 관측좌표점(i≠j), 그리고, ra 는 밀도함수의 반경을 대표하는 변수)을 이용하여 모든 xi 에 대해 계산된 밀도값 Di 중 가장 큰 밀도값을 갖는 xi 를 첫번째 클러스터 중심점 xc1 으로 선정하는 단계와; (a12) 결합적 클러스터링 모듈이 수정된 밀도함수식인 다음의 수학식,
Figure 112015083305717-pat00002
(여기서, Dc1 은 xc1 에 대한 밀도함수값, rb 는 증가된 ra (일반적으로, rb= 1.25×ra 또는 1.50×ra))을 이용하여 모든 xi 에 대해 계산된 밀도값 Di 중 가장 큰 밀도값을 갖는 xi 를 두번째 클러스터 중심점 xc2 으로 선정하는 단계, 및 (a13) 결합적 클러스터링 모듈이 다음의 수학식,
Figure 112015083305717-pat00003
(여기서, Di 는 k 번째 중심점을 계산하기 위한 수정된 밀도함수식, rbj= 1.25×rbj -1 또는 1.50×rbj -1)을 이용하여 모든 xi 에 대해 계산된 밀도값 Di 중 가장 큰 밀도값을 갖는 xi 를 k번째 클러스터 중심점 xck 으로 선정하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에서 상기 단계(a2)는, 결합적 클러스터링 모듈이 각 분류된 그룹(cluster) 내부의 밀도(intra_den)와 각 분류된 그룹 사이 영역에서의 밀도(inter_den)와 거리를 이용하여 산정한 분류정도(Sep) 지수를 통해 CDbw를 다음의 수학식,
Figure 112015083305717-pat00004
을 이용하여 산정하는 것을 특징으로 한다.
또한, 본 발명에서 상기 단계(b)의 K-means 클러스터링은, (b1) 결합적 클러스터링 모듈이 상기 단계(a)에서 산정된 클러스터 중심값을 초기 중심점 ci 을 가정하고, 그 가정된 중심점에 대한 각 클러스터 그룹에 속한 좌표점을 다음의 수학식,
Figure 112015083305717-pat00005
(여기서, ci 는 i번째 클러스터 중심점, ck 는 k번째 클러스터 중심점이고, uij 는 0과 1로 구성된 맴버쉽 행렬로 i번째 그룹에 속한 임의의 좌표점 xj 의 개수)을 이용하여 설정하는 단계와; (b2) 결합적 클러스터링 모듈이 다음의 수학식,
Figure 112015083305717-pat00006
(여기서, Gi 는 c개의 클러스터 그룹 중 i번째 그룹, xk 는 Gi 속한 임의의 좌표점, Ji 는 i번째 클러스터 그룹에서 임의의 중심점에 대한 거리합 결과값)을 이용하여 각 초기 중심점과 각 그룹별 좌표점과의 거리를 계산하여 합하는 단계와; (b3) 결합적 클러스터링 모듈이 다음의 수학식,
Figure 112015083305717-pat00007
(여기서,
Figure 112015083305717-pat00008
)을 이용하여 클러스터 중심값을 업데이트하는 단계, 및 (b4) 결합적 클러스터링 모듈이 상기 업데이트된 중심값을 상기 단계(b1)에 입력하고 다시 상기 단계(b1) 내지 상기 단계(b3)를 반복하여 상기 J 값이 변동이 없거나, 허용범위(변동량이 미비하다고 판단되는 범위)에 도달할 때의 중심점을 최적 클러스터 결과(중심값과 각 클러스터에 속하는 좌표)로 설정하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에서 상기 단계(b)의 Fuzzy C-means 클러스터링은, (b5) 결합적 클러스터링 모듈이 상기 단계(a)에서 산정된 클러스터 중심값을 이용하여 맴버쉽 매트릭스 uij 를 산정하는 단계와; (b6) 결합적 클러스터링 모듈이 다음의 수학식,
Figure 112015083305717-pat00009
(여기서, m은 가중지수)을 이용하고 가정한 맴버쉽 매트릭스를 이용하여 클러스터 중심점을 다시 산정하는 단계와; (b7) 결합적 클러스터링 모듈이 다음의 수학식,
Figure 112015083305717-pat00010
(여기서,
Figure 112015083305717-pat00011
는 xj 가 i번째 그룹에 속한 좌표점과의 거리)를 이용하여 J값을 산정하는 단계와; (b8) 결합적 클러스터링 모듈이 다음의 수학식,
Figure 112015083305717-pat00012
을 이용하여 맴버쉽 매트릭스 uij 를 업데이트를 하는 단계, 및 (b9) 결합적 클러스터링 모듈이 상기 업데이트된 uij을 상기 단계(b6)에 입력하고 다시 상기 단계(b6) 내지 단계(b8)을 반복하여 상기 J 값이 변동이 없거나, 일정수준 에 도달할 때의 맴버쉽 매트릭스 uij 와 클러스터 중심점을 최적 클러스터 결과로 설정하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은 상기 단계(b)에서 결합적 클러스터링 모듈이 상기 3가지의 클러스터 결과(CDbw와 Subtractive 클러스터링 방법/ Subtractive 기반 K-means 클러스터링 방법/ Subtractive 기반 Fuzzy C-means 클러스터링 방법)에 대해 클러스터 검증 지수(CDbw)를 산정하고, 상기 3가지 각각의 클러스터링 기법을 적용한 모든 클러스터 결과의 CDbw를 비교하여 가장 높은 CDbw를 갖는 클러스터 기법 및 결과를 해당 클러스터 개수에서의 최적 클러스터링 기법과 결과로 선택하는 것을 특징으로 한다.
또한, 본 발명에서 상기 단계(d)는, (d1) 인공신경망 모듈이 상기 단계(c)에서 구축된 분류 인공신경망 모델에 대해 구조가 다른 인공신경망(인공신경망의 은닉층 뉴런 개수가 다르게 설정된 인공신경망)을 구성하고, 앙상블 모델링 모듈이 구조가 다른 인공신경망 각각에 대해 무작위로 설정된 초기 가중 연결값을 갖는 일정개수의 인공신경망(앙상블 모델)을 생성하는 단계와; (d2) 앙상블 모델링 모듈이 상기 앙상블 모델의 멤버인 각각의 인공신경망에 대해 동일한 훈련자료를 이용하여 학습을 시키는 단계와; (d3) 앙상블 모델링 모듈이 상기 단계(d2)에서 학습이 완료된 각 인공신경망 앙상블 모델에 대해 동일한 검사자료를 이용하여 일정개수의 앙상블 모델의 결과를 산출 평균하여 해당 앙상블 모델의 결과로 하는 단계, 및 (d4) 앙상블 모델링 모듈이 각 앙상블 모델의 검사결과값과 검사자료에 대한 목표값 또는 실측값을 비교하여 가장 낮은 오차를 보이는 모델을 최적 앙상블 모델로 선정하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은 (d5) 앙상블 모델링 모듈이 상기 단계(d4)에서 선정된 최적 앙상블 모델에 대해 검증자료를 이용하여 앙상블 모델의 결과와 검증자료에 대한 목표값 또는 실측값과 비교하여 검증하는 단계와; (d6) 앙상블 모델링 모듈이, 상기 단계(d5)에서 검증결과가 매우 안좋은 경우, 상기 단계(d4)에서 기왕 선정된 앙상블 모델을 배제하고 가장 낮은 오차를 보이는 앙상블 모델을 선택하여 상기 단계(d5)를 통해 검증하고, 다시 검증결과가 매우 안좋은 경우 본 단계를 반복하는 단계, 및 (d6) 앙상블 모델링 모듈이, 상기 단계(d6)의 검증결과가 검사결과와 비슷하게 나타나면, 해당 앙상블 모델을 최적 모델로 선정하는 단계가 추가되는 것을 특징으로 한다.
이상에서 살펴본, 본 발명인 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법은, 학습자료의 패턴별로 자료를 분류하고 분류된 자료를 학습자료로 하는 각각의 인공신경망 모델을 개발하는 방법을 제시하여 학습자료의 불균형을 개선할 수 있고, 클러스터링 기법이 국부최적해에 수렴하는 위험성을 낮추고 보다 정확한 클러스터 중심값의 제시가 가능하며, 초기 연결 가중값이 갖는 모델 결과의 변동성에 대한 영향을 배제한 모델 결과의 제시와 모델의 성능 평가가 가능한 효과가 있다.
도 1a 및 도 1b는 인공신경망 모델에서 추출된 학습자료의 불균형으로 인하여 추출된 자료에 따라 인공신경망 모델의 결과가 달라지는 예를 나타낸 도면.
도 2 는 본 발명에 따른 CDbw와 Subtractive 클러스터링 기반 K-means/Fuzzy C-means 클러스터링 기법의 흐름도를 나타낸 도면.
도 3 은 본 발명의 구체적 실시예의 각 개수별 클러스터 결과를 학습목표값을 기준으로 정리한 도면.
도 4 는 본 발명에 따른 결합적 클러스터링 기법에 의해 분리된 각각의 자료를 학습자료로 하는 인공신경망 모델의 학습자료와 네트워크를 구축하는 흐름도를 나타낸 도면.
도 5 는 일반적인 인공신경망 구조를 나타낸 도면.
도 6 은 본 발명에 따른 다양한 초기값에 대한 인공신경망 앙상블 모델을 구축하고 최적의 인공신경망 구조를 갖는 인공신경망 모델을 개발하는 흐름도를 나타낸 도면.
도 7 은 본 발명의 구체적 실시예에서 클러스터 개수가 3개일 때의 인공신경망 앙상블 모델의 검증결과를 도시한 도면.
도 8 은 본 발명인 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법의 전체 흐름도를 나타낸 도면.
상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부된 도면을 참조하면서 상세히 설명하면 다음과 같다. 첨부된 도면들 및 이를 참조한 설명은 본 발명에 관하여 당해 기술 분야에서 통상의 지식을 가진 자들이 쉽게 이해할 수 있도록 하기 위해 예시된 것이며, 본 발명의 사상 및 범위를 한정하려는 의도로 제시된 것은 아님에 유의하여야 할 것이다.
본 발명은 기계학습 분야의 대표적인 모델인 인공신경망 모델의 개발과정에서 학습자료의 구성과 모델의 학습 단계에 적용하여 인공신경망 모델의 효율성과 정확성을 개선할 수 있는 개발방법이다. 기본적인 발명내용은 다양한 클러스터링(Clustering) 기법과 클러스터 검증 지수(Cluster Validity Index)를 결합한 결합적 클러스터링(Conjunctive Clustering) 기법을 이용한 인공신경망 모델의 학습자료의 구성방법과 분류된 각 학습자료에 대해 각각의 인공신경망 모델을 구축하고 앙상블(Ensemble) 모델링 기법을 통해 모델의 결과를 종합하는 방법으로 구성되어 있다.
본 발명에서 인공신경망 모델(인공신경망 모듈 포함)은 사용자단말기(노트북PC, 데스크탑PC, 모바일단말기 등)에 설치되어 있고, 인공신경망 모델(인공신경망 모듈 포함)과 연계된 결합적 클러스터링 모듈과 앙상블 모델링 모듈도 사용자단말기에 설치되어 있다.
상기 결합적 클러스터링 모듈은 후술할 1)과정을 실행하고, 상기 앙상블 모델링 모듈은 인공신경망 모델과 연계하여 후술할 3)과정을 실행하게 된다.
1) 우선, 본 발명은 CDbw와 Subtractive 클러스터링 기반 K-means/Fuzzy C-means 클러스터링 기법(이하, 결합적 클러스터링 기법, 도 2)을 이용한다. 아래에서는 구체적 실시예로, 낙동강 하류에 위치한 상동 수질관측소의 탁도(Turb) 관측자료를 대상으로, 어제(t-1), 오늘(t)의 Turb 농도를 입력인자로 하여 내일(t+1)의 Turb 농도(학습목표값)를 예측하는 인공신경망 모델을 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용하는 방법과 함께 설명할 것이다.
참고로, 상동 수질관측소의 일(day)단위 탁도 자료 785개를 어제, 오늘, 내일의 탁도 농도로 정리하면 다음의 표 1과 같다.
Figure 112015083305717-pat00013
Subtractive 클러스터링은 자료들의 기하학적 거리를 기반으로 자료들의 밀도를 계산하여 클러스터링을 하는 기법으로, 클러스터의 개수 및 중심점이 밀도함수에 의해 산정되기 때문에 클러스터의 개수가 입력인자로 사용되지 않고 국부최적해로 수렴할 가능성이 적은 장점이 있는데, 즉, Subtractive 클러스터링은 모든 좌표점에 대하여 밀도함수의 반경을 대표하는 변수의 크기만큼 떨어진 범위 안의 밀도를 계산하여 가장 밀도가 큰 좌표점을 분류 기준점, 즉, 클러스터 중심값으로 선정하여 분류한다. Subtractive 클러스터링과 결합적 클러스터링의 방법을 정리하면 다음과 같다.
① 원자료를 분리하고자 하는 개수인 클러스터 또는 클라스(class) 개수를 설정한다. 본 발명의 실시예에서 원자료는 (t, t-1, t+1)을 좌표로 하는 785개의 관측자료(좌표점)가 되고 이를 결합적 클러스터링을 이용하여 분류하게 된다.
② Subtractive 클러스터 밀도함수 반경의 최소값을 설정한다.
본 발명의 실시예에서는 밀도함수 반경의 최소값을 0.05로 하고, 다음의 수학식 1에 적용한다.
Figure 112015083305717-pat00014
여기서, n은 전체 관측좌표점의 개수, xi, xj 는 i번째, j번째 관측좌표점(i≠j), 그리고, ra 는 밀도함수의 반경을 대표하는 변수이다. 상기 수학식 1의 밀도 계산식을 이용하여 관측좌표점 xi 에 대한 관측점주변의 관측자료분포 밀도(Di)를 계산할 수 있다.
③ Subtractive 클러스터링을 적용하여 자료를 분리하는데 그 과정은 다음과 같다.
첫째로, 상기 수학식 1을 이용하여 모든 xi 에 대해 계산된 밀도값 Di 중 가장 큰 밀도값을 갖는 xi 를 첫번째 클러스터 중심점 xc1 으로 선정한다.
둘째로, 수정된 밀도함수식인 다음의 수학식 2를 이용하여 관측좌표점 xi 에 대한 관측점주변의 관측자료분포 밀도(Di)를 계산한다.
Figure 112015083305717-pat00015
여기서, Dc1 은 xc1 에 대한 밀도함수값, rb 는 증가된 ra (일반적으로, rb= 1.25×ra 또는 1.50×ra)이다.
세째로, 수정된 밀도함수식인 상기 수학식 2에 대해 모든 xi 에 대해 계산된 밀도값 Di 중 가장 큰 밀도값을 갖는 xi 를 두번째 클러스터 중심점 xc2 으로 선정한다.
네째로, 상기 과정을 반복하여 세번째, 네번째, … , k 번째(①에서 설정한 클라스 개수만큼) 클러스터 중심점 xck 을 산정한다. 수정 밀도함수식인 상기 수학식 2를 xck = {xc1, xc2, ....., xck} 에 대해 정리하면 다음의 수학식 3과 같다.
Figure 112015083305717-pat00016
즉, k 번째 중심점을 계산하기 위한 Di 계산시, 앞서 선정된 모든 중심점에 대해 상기 수학식 3을 통해 밀도함수값을 보정해주어야 한다.(rbj= 1.25×rbj -1 또는 1.50×rbj -1)
Subtractive 클러스터링은 밀도함수의 반경을 대표하는 변수의 크기에 따라 분류 개수 및 클러스터 중심점의 위치가 달라질 수 있다. 그러므로, 최적의 클러스터 중심점을 갖을 수 있는 밀도함수의 반경을 대표하는 변수의 선정이 필요하다.
본 발명에서는 Subtractive 클러스터링의 최적 클러스터 중심점을 찾기 위하여 클러스터 검증 지수인 CDbw(Composing Density Between and Within cluster)를 이용한다. CDbw는 각 분류된 그룹(cluster 혹은 class) 내부의 밀도(intra_den)와 각 분류된 그룹 사이 영역에서의 밀도(inter_den)와 거리를 이용하여 산정한 분류정도(Sep) 지수를 통해 분류 결과를 정량적으로 평가할 수 있는 지수이며, 자료가 잘 분류될수록 높은 값을 나타낸다.
④ 클러스터 검증 지수인 CDbw를 분리된 정도를 평가하는데 그 과정은 다음과 같다.
첫째로, 상기 ③과정에서 분리된 클러스터 결과에 대해 CDbw의 intra_den(내부의 밀도)을 다음의 수학식 4를 이용하여 산정한다.
Figure 112015083305717-pat00017
여기서, c 는 클러스터 개수 또는 분류 개수, υij 는 i번째의 분류그룹의 j번째 좌표점, ni 는 i번째 그룹에 포함된 좌표점의 개수이다. 그리고,
Figure 112015083305717-pat00018
은
Figure 112015083305717-pat00019
에 의해 결정되며,
Figure 112015083305717-pat00020
는 다음의 수학식 5로 계산된다.
Figure 112015083305717-pat00021
상기 수학식 5는 i번째 클러스터 그룹의 표준편차
Figure 112015083305717-pat00022
을 반경으로 하는 초구체(3차원일 때는 구체이지만, 3차원이상이면 초구체 hyper-sphere가 된다)안에 위치한 xk 의 개수를 산정한다.
Figure 112015083305717-pat00023
은 다음의 수학식 6과 같이 산정된다.(좌표점은 {x1, x2, x3, ….xp}로 구성되어 있으므로, 차수 p 개의 요소 개수만큼 산정되어진다)
Figure 112015083305717-pat00024
여기서, xk 는 i번째 클러스터 그룹에 속한 임의의 좌표점이고
Figure 112015083305717-pat00025
는 xk 의 p번째 요소값,
Figure 112015083305717-pat00026
은 i번째 클러스터 좌표의 p번째 구성요소의 평균값이다.
둘째로, CDbw의 Sep(분류정도)는 다음의 수학식 7로 산정된다.
Figure 112015083305717-pat00027
여기서, close_rep(i), close_rep(j) 는 클러스터 i번째, j번째 그룹에 속한 좌표 중 가장 가깝게 위치한 각 그룹의 좌표점을 나타내며, Inter_den은 c개의 클러스터 개수에 대한 클러스터 영역간 평균 밀도를 나타내며, 다음의 수학식 8에 의해 산정된다.
Figure 112015083305717-pat00028
여기서, uij 는 그룹 i, j 의 가장 가까운 좌표점 close_rep(i), close_rep(j) 의 중간점이며,
Figure 112015083305717-pat00029
는 다음의 수학식 9로 산정된다.
Figure 112015083305717-pat00030
여기서,
Figure 112015083305717-pat00031
는 다음의 수학식 10에 의해 산정된다.
Figure 112015083305717-pat00032
세째로, CDbw는 각 분류된 그룹(cluster 또는 class) 내부의 밀도(intra_den)와 각 분류된 그룹 사이 영역에서의 밀도(inter_den)와 거리를 이용하여 산정한 분류정도(Sep) 지수를 통해 다음의 수학식 11로 산정한다.
Figure 112015083305717-pat00033
⑤ Subtractive 클러스터링 밀도함수의 반경 ra을 증가시킨 후 상기 ③ ~ ④ 과정을 반복 실시한다. 이 과정을 밀도함수의 반경이 최대값에 도달할 때까지 반복한다.
⑥ 상기 ⑤에서 산정된 크기별 모든 클러스터 결과에서 CDbw가 최대값을 보이는 Subtractive 클러스터링 밀도함수 반경에 대한 클러스터 중심값을 최적 클러스터 중심값으로 선정한다. 본 발명에서는 클러스터 검증 지수인 CDbw(Composing Density Between and Within cluster)를 Subtractive 클러스터링 방법과 결합하여 최적의 분류를 보이는 밀도함수의 반경을 산정하는 것이다.
즉, 본 발명의 실시예에서는 주어진 클러스터 개수에 대한 최적의 Subtractive 클러스터링의 밀도함수 반경 ra 를 산정하기 위하여 ra 를 0.05에서 1.5(본 발명의 실시예에서 적용한 값의 범위, 자료의 특성에 따라 달라질 수 있는 값이다)까지 변화시켜서 자료를 분리하고 분리한 결과에 대해 CDbw값을 산정하는 것을 반복한 후, 가장 높은 CDbw값을 제시하는 ra 를 최적 밀도함수 반경으로 선정하였다. CDbw를 이용한 Subtractive 클러스터링 방법을 다시 정리하면 다음과 같다.
클러스터 개수를 설정한다.(S10)
최소 ra에 대하여 Subtractive 클러스터링을 실시한다.(S20)
상기 S20에서 산정된 클러스터 결과에 대하여 CDbw를 계산한다.(S30)
ra 를 증가시켜 Subtractive 클러스터링을 실시한다.(S40)
상기 S40에서 산정된 클러스터 결과(중심점과 밀도함수 반경 내에 있는 자료)에 대하여 CDbw를 계산한다.(S50)
증가시킨 ra 값이 최대 ra 값에 도달할 때까지 상기 S40와 S50을 반복한다.(S60)
모든 ra 에 대하여 산정된 클러스터 결과에 대한 CDbw값들 중 가장 큰 CDbw를 갖는 클러스터 결과를 최적 클러스터 결과(중심점과 밀도함수 반경 내에 있는 자료)로, ra 를 최적 반경으로 선정한다.(S70)
클러스터 개수를 변경하여 상기 S20 내지 S70을 반복하여, 해당 클러스터 개수별 최적 클러스터 결과 및 최적 ra 를 산정한다.(S80)
한편, 상기 일련의 과정들은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩한 프로그램이고, 이러한 프로그램은 상기 수학식들이 포함되면서 컴퓨터의 메인 메모리 내에 저장되어 각각의 해당 모듈이 입력자료들과 상기 프로그램을 이용하여 결과를 산출하게 되는 것이다.
⑦ 상기 ⑥에서 산정된 클러스터 중심점을 K-means/Fuzzy C-means 클러스터링 기법의 초기 중심값으로 입력하여 클러스터링을 실시한다. K-means 클러스터링과 Fuzzy C-means 클러스터링을 아래에서 각각 살펴보기로 한다.
한편, K-means, Fuzzy C-means 클러스터링은 일반적으로 subtractive 클러스터링 결과에 비해 비교적 정확도가 높은 것으로 알려져 있다. 하지만, K-means, Fuzzy C-means 클러스터링 방법은 초기 클러스터 중심 가정값에 따라 국부최적해(local optimum)로 수렴할 수 있는 단점이 있다.
먼저, K-means 클러스터링은 좌표점간의 유클리드 거리(euclidean distance)를 기반으로 임의의 중심점과 모든 좌표점과의 거리를 계산하여 합한 값이 최소가 되는 점을 중심점으로 산정하는 방법으로, 본 발명에 적용하는 과정을 살펴보면 다음과 같고, 아래 과정에 의해 각 클러스터 내의 자료가 다시 분류된다.
첫째로, 상기 ⑥에서 산정된 클러스터 중심값을 초기 중심점 ci 을 가정한다.
둘째로, 가정한 중심점에 대한 각 클러스터 그룹에 속한 좌표점을 다음의 수학식 12를 이용하여 설정한다.
Figure 112015083305717-pat00034
여기서, ci 는 i번째 클러스터 중심점, ck 는 k번째 클러스터 중심점이고, uij 는 0과 1로 구성된 맴버쉽 행렬로 i번째 그룹에 속한 임의의 좌표점 xj 의 개수를 의미한다. 상기 수학식 12는 임의의 좌표점 xj 가 클러스터 중심점 ck 보다 클러스터 중심점 ci 가 가까우면 xj 는 i번째 그룹에 속한 좌표점으로 분류되는 것을 의미한다.
세째로, 다음의 수학식 13을 이용하여 각 초기 중심점과 각 그룹별 좌표점과의 거리를 계산하여 합한다.
Figure 112015083305717-pat00035
여기서, Gi 는 c개의 클러스터 그룹 중 i번째 그룹, xk 는 Gi 속한 임의의 좌표점, Ji 는 i번째 클러스터 그룹에서 임의의 중심점에 대한 거리합 결과값이다.
네째로, 다음의 수학식 14를 이용하여 클러스터 중심값을 업데이트 한다.
Figure 112015083305717-pat00036
여기서,
Figure 112015083305717-pat00037
이다.
다섯째로, 업데이트된 중심값이 상기 둘째과정에 입력되어 다시 상기 둘째 과정 내지 네째 과정을 반복한다. J 값이 변동이 없거나, 허용범위(변동량이 미비하다고 판단되는 범위)에 도달할 때의 중심점을 최적 클러스터 결과(중심값과 각 클러스터에 속하는 좌표)로 설정한다.
여섯째로, 클러스터 개수를 변경한 후, 상기 과정들을 반복하여, 각 클러스터 개수별로 자료를 분리한다.
다음으로, Fuzzy C-means 클러스터링 방법의 기본 알고리즘은 K-means 클러스터링과 비슷하다. K-means는 중심점을 가정하여 맴버쉽 행렬 uij 를 산정하여 각 그룹에 속한 좌표점들을 나누고 J 값을 갱신하면서 중심점을 찾아가는 방식인데 반해, Fuzzy C-means는 중심점이 아닌 맴버쉽 행렬 uij 를 가정하여 중심점을 산정하고 J 값을 갱신하면서 각 그룹에 속한 좌표점과 중심점을 찾아가는 방식이다.
첫째로, 상기 ⑥에서 산정된 클러스터 중심값을 이용하여 맴버쉽 매트릭스 uij 를 산정한다.(K-means 클러스터링의 둘째과정과 동일하다)
둘째로, 다음의 수학식 15를 통해 가정한 맴버쉽 매트릭스를 이용하여 클러스터 중심점을 다시 산정한다.(멤버쉽 값에 의해 갱신된 중심점 위치)
Figure 112015083305717-pat00038
여기서, m은 가중지수이다.
세째로, 다음의 수학식 16을 이용하여 J값을 산정한다.
Figure 112015083305717-pat00039
여기서,
Figure 112015083305717-pat00040
는 xj 가 i번째 그룹에 속한 좌표점과의 거리이다( uij 는 0과 1 사이값으로 구성되어 있기 때문에, 해당 그룹에 속한 정도에 따라 J값의 증가에 기여한다)
네째로, 다음의 수학식 17을 통해 맴버쉽 매트릭스 uij 를 업데이트 한다.
Figure 112015083305717-pat00041
다섯째로, 업데이트된 uij이 상기 둘째과정에 입력되어 다시 상기 둘째과정 내지 네째과정을 반복한다. J 값이 변동이 없거나, 일정수준 (0.003)에 도달할 때의 맴버쉽 매트릭스 uij 와 클러스터 중심점을 최적 클러스터 결과로 설정한다.
여섯째로, 클러스터 개수를 변경한 후, 상기 과정들을 반복하여, 각 클러스터 개수별로 자료를 분리한다.
여기서도, 상기 일련의 과정들은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩한 프로그램이고, 이러한 프로그램은 상기 수학식들이 포함되면서 컴퓨터의 메인 메모리 내에 저장되어 각각의 해당 모듈이 입력자료들과 상기 프로그램을 이용하여 결과를 산출하게 되는 것이다.
⑧ 상기 3가지의 클러스터 결과(CDbw와 Subtractive 클러스터링 방법/ Subtractive 기반 K-means 클러스터링 방법/ Subtractive 기반 Fuzzy C-means 클러스터링 방법)에 대해 상기 ④의 방법과 동일한 방법에 의해 클러스터 검증 지수 CDbw를 산정하고, 상기 3가지 각각의 클러스터링 기법을 적용한 모든 클러스터 결과의 CDbw를 비교하여 가장 높은 CDbw를 갖는 클러스터 기법 및 결과를 해당 클러스터 개수에서의 최적 클러스터링 기법과 결과로 선택한다.
⑨ 다양한 클러스터 개수에 대하여 상기 ②~⑧과정을 반복하여, 각 클러스터 개수별 최적 클러스터 기법 및 클러스터 결과를 선정한다.
즉, 본 발명에서는 K-means, Fuzzy C-means 클러스터링의 초기 중심 가정값에 따라 국부최적해(local optimum)로 수렴하는 문제점을 보완하기 위하여, CDbw를 이용하여 각 클러스터 개수별로 산정된 subtractive 클러스터링 중심점을 초기 가정값으로 하는 결합적 클러스터링 방법인 Subtractive-based K-means, Subtractive-based Fuzzy C-means 클러스터링 방법을 적용하여 자료를 분리한다. 다시 말해, 자료의 특성에 따라 나누고 인공신경망을 구축할 경우, 각각 입력자료의 패턴에 따라 인공신경망 모델을 학습하기 때문에 인공신경망 결과 값의 오차의 범위가 작은 범위로 한정되고, 원자료가 갖고 있는 고유의 자료빈도도 반영이 되기 때문에 원자료의 분포특성에 맞는 결과를 제시하게 됨으로써 정확도가 향상되는 등 학습자료의 불균형으로부터 발생하는 인공신경망 모델 결과의 오차를 감소시킬 수 있어, 본 발명은 클러스터링 기법을 접목시키는 것이다.
본 발명의 구체적인 실시예에서 상동의 탁도 관측좌표점 785개에 대해서 분류 개수 2개, 3개, 4개에 대해 결합적 클러스터링 기법을 적용한 결과, 분류개수가 2개일때는 Subtractive 클러스터링 방법이, 3개일때는 Subtractive 기반 K-means 클러스터링 방법이, 4개일 때는 Subtractive 기반 Fuzzy C-means 클러스터링 결과가 가장 놓은 CDbw를 보였다. 각 개수별 클러스터 결과를 학습목표값인 t+1 좌표값을 기준으로 정리하면 다음과 도 3과 같다.
도 3에서와 같이 동일한 학습목표값 t+1 값을 갖는 관측좌표들이 다른 그룹(class)에 속하는 것을 확인할 수 있는데, 이는 동일한 학습목표값 t+1 값에 대해서 학습입력인자인 t, t-1의 좌표값 패턴이 다르기 때문이다. 예를 들면, 자료1= (t, t-1, t+1)=(2, 1, 3)과 자료2= (t, t-1, t+1)=(4, 5, 3)는 동일한 t+1 값인 3에 대하여 자료1은 t-1(어제)이 1에서 증가하여 t(오늘)일 때 2, t+1(내일)에서 3이 된 패턴이며, 자료2는 t-1이 5에서 감소하여 3이 된 경우이다.
인공신경망을 학습입력인자에 대하여 학습목표값을 학습과정을 갖는데, t+1값이 학습목표값일 경우, 위와 같이 클러스터링 방법으로 자료를 분류하지 않으면, 동일한 학습목표값(t+1)에 대하여 각각 다른 학습입력인자(t, t-1), 혹은 동일한 학습입력인자(t, t-1)에 대하여 동일한 학습목표값(t+1)을 학습하기 때문에 모델의 정확도가 낮아질 수밖에 없다.
2) 다음으로, 본 발명은 결합적 클러스터링 기법에 의해 분리된 각각의 자료를 학습자료로 하는 인공신경망 모델을 개발한다. 구체적 실시예로, 결합적 클러스터링 방법을 통해 2개, 3개, 4개로 분류된 관측자료를 학습자료로 하여 어제(t-1), 오늘(t)의 탁도(Turb)농도를 통해 내일(t+1)의 탁도(Turb)농도를 예측하는 인공신경망 모델의 학습자료와 네트워크를 구축하게 되는 것이다.(도 4)
인공신경망의 학습자료는 입력인자와 학습목표값 혹은 각 해당입력인자에 대해 정해져 있는 목표값 혹은 실측값으로 구성되어 있으며, 크게 훈련자료, 검사자료, 검증자료로 구분할 수 있다. 훈련자료는 인공신경망이 해당입력인자에 대해서 정해진 학습목표값을 제시할 수 있도록 인공신경망을 훈련시키는 과정에서 사용되는 자료이며, 검사자료는 훈련자료에 포함이 안된 자료로 구성하여 다양한 인공신경망의 구조(은닉층이 뉴런개수가 다르게 설정된 인공신경망)에 대해 훈련이 완료된 인공신경망 중 어떤 구조의 인공신경망이 가장 좋은 결과를 제시하는지를 검사하는데 사용이 되는 자료이며, 검증자료는 검사과정에서 선택된 인공신경망이 훈련, 검사자료에 포함이 안된 새로운 자료에 대해서도 좋은 결과를 보이는지 다시 한번 검사, 즉, 검증하는데 사용되는 자료이다.
본 발명에서는 클러스터링 기법에 의해 각 특성별로 분류된 자료를 학습자료로 하는 각 특성별 인공신경망 개발을 위해서 분류된 각 자료에서 학습자료(훈련, 검사, 검증)를 구성한다.(상기 결합적 클러스터링 기법에 의해 분리된 각각의 자료를 학습자료로하는 인공신경망 모델 개발)
상기 1)에서 각 분류 개수별로 나뉘어진 각각의 class 자료에 대해 훈련자료, 검사 자료, 검증 자료를 무작위적으로 추출한다. 예를 들면, 총 관측좌표를 4개로 분류한 경우, 첫번째 그룹으로 분류된 class 1자료에서 무작위적으로 훈련자료, 검사 자료, 검증 자료를 추출하여 인공신경망 모델의 학습자료를 구축한다. Class 2, class 3, class 4 자료에 대해서 동일하게 실시하여 총 4개의 인공신경망 모델의 학습자료를 구축한다. 이렇게 동일한 패턴특성을 갖는 자료를 학습자료로 하는 인공신경망을 분류 인공신경망(clustered ANN)이 되고, 학습과정을 통해 분류 인공신경망 모델이 된다.
다시 말해,
① 상기“CDbw & Subtractive 클러스터링 기반 K-means/Fuzzy C-means 클러스터링 기법”을 이용하여 클러스터 개수별로 자료를 분리한다.(클러스터 개수를 4개로 설정하면, class1, class2, clss3, class4 총 4개의 자료그룹이 생성됨)
② 클러스터 개수별 분리된 각 자료 그룹(class)에서 훈련자료(training data), 검사자료(test data), 검증자료(validation data)를 무작위적으로 추출한다.(일반적으로 전체 자료수 대비 훈련자료 70%, 검사자료 20%, 검증자료 10% 를 추출)
③ 각 클러스터 개수별 클라스별 자료에서 추출된 훈련, 검사, 검증자료를 갖는 분류 인공신경망(n-clustered ANN model)을 구축한다.
3) 그 다음으로, 상기 2)에서 구축된 분류 인공신경망 모델에 대해 다양한 초기값에 대한 인공신경망 앙상블 모델을 구축하고 최적의 인공신경망 구조를 갖는 인공신경망 모델을 개발한다.(도 6)
도 5는 일반적인 인공신경망의 구조이다. 인공신경망은 동그라미 원으로 표현된 뉴런(neuron)과, x1 ~ xn 로 표시된 입력인자,
Figure 112015083305717-pat00042
는 입력층(I) i번째 뉴런과 은닉층(H) j번째 뉴런의 가중 연결값,
Figure 112015083305717-pat00043
은닉층(H) j번째 뉴런과 출력층(O)의 k번째 뉴런의 가중 연결값, 그리고, y1 ~ yk 로 표시된 학습목표값 혹은 출력값으로 구성되어 있다.
인공신경망 모델은 동일한 인공신경망 구조에 동일한 학습자료를 이용한다 하더라도 초기 가중 연결값에 따라 다른 학습결과를 나타낸다. 이는 인공신경망의 가중 연결값을 결정하는 학습 알고리즘 자체가 최적화 알고리즘이기 때문에 초기값에 따라 각각 다른 국부최적값으로 수렴하기 때문이다. 하지만, 초기 가중 연결값은 학습자료의 특성과 학습 알고리즘에 민감하기 때문에 다양한 특성의 학습자료와 학습 알고리즘을 모두 만족하는 초기 가중치는 정해져 있지 않는 것으로 알려져 있다. 그래서, 인공신경망 모델 개발자들은 일반적으로 초기 가중 연결값을 다르게 하여 여러 번 학습시킨 후, 각각의 모델 중 검사자료에 대해 좋은 결과를 보이는 하나의 모델을 선택하여 최적 모델로 제시한다. 하지만, 이러한 모델은 새로운 검사자료가 이 모델에 제시되더라도 계속해서 좋은 결과를 나타낼 것이라는 보장이 없다. 즉, 학습결과가 검사자료에 대한 국부최적해일 가능성이 있기 때문이다.
본 발명에서는 동일한 구조를 갖는 인공신경망에 대해 무작위로 생성되는 초기 가중 연결값을 갖는 100개의 인공신경망을 구성하여 동일한 자료로 훈련 및 검사를 하여 초기 가중 연결값의 영향을 고려한 성능 평가를 실시하는 앙상블 모델링 기법을 적용한다. 실제 적용예는 아래와 같다.
상기 2)에서 구축된 각각의 분류 인공신경망에 대하여 인공신경망의 구조가 다른 인공신경망을 구성(인공신경망 은닉층의 뉴런 개수를 다르게 설정한 인공신경망으로, 도 6에서 Network 1 ~ Network n이다)하고, 다시 각각의 인공신경망에 대해 무작위로 선정된 초기 가중 연결값을 갖는 100개의 인공신경망(도 6에서 Network 1-1 ~ Network 1-100, 100개의 모델 각각을 앙상블 모델의 멤버라고 칭한다)을 구축한 다음, 동일한 훈련자료를 통해 각 network-n에 속한 100개의 인공신경망 모델세트로 구성된 앙상블 모델을 훈련시킨다. 이렇게 구축된 인공신경망 앙상블 모델에 동일한 검사 자료를 제시하여 검자 자료 각각에 대해 나온 각각 100개의 모델결과의 평균값과 기지값(검사자료의 해당입력자료가 갖는 실측값 혹은 목표값)을 비교하여 RMSE(root mean square error)가 작고 R2(R-squared; 1보다 작은 값을 갖으며, 1값에 가까울수록 일치도가 높고 1값은 완전일치를 의미한다)이 높은 결과를 나타내는 인공신경망 앙상블 모델을 선정하여 최종 인공신경망 모델로 선정한다. 선정된 앙상블 모델은 다시 검증자료를 통해 결과를 검증한다.
다시 말해,
① 다양한 구조의 인공신경망(인공신경망의 은닉층 뉴런 개수가 다르게 설정된 인공신경망으로, 도 6에서 Network 1 ~ Network n 으로 표시)에 대해 무작위로 설정된 초기 가중 연결값을 갖는 인공신경망 k개(도 6에서는 k=100개일 때의 예시, Network n-1 ~ Network n-100으로 표시하고 그 각각을 앙상블 모델의 멤버로 칭한다)생성한다.
② 앙상블 모델의 멤버인 각각의 인공신경망(앙상블 모델-n = {Network n-1 ~ Network n-100})에 대해 동일한 학습자료를 이용하여 학습을 시킨다.
③ 상기 ② 에서 학습이 완료된 각 인공신경망 앙상블 모델에 대해 동일한 검사자료를 입력하고 결과를 종합한다.(앙상블 모델의 멤버 100개의 결과를 평균하여 해당 앙상블 모델의 결과로 한다)
④ 앙상블 모델-1 ~ 앙상블 모델-n 의 검사결과값과 검사입력자료에 대한 목표값 혹은 실측값을 비교하여 가장 낮은 오차를 보이는 모델을 최적 앙상블 모델로 선정한다.
⑤ 선정된 최적 모델에 대해 검증자료를 입력하여 모델의 결과와 검증입력자료에 대한 목표값 혹은 실측값과 비교하여 검증한다.
⑥ 상기 ⑤의 검증결과가 매우 안좋은 경우 과대적합된 모델이므로, 상기 ④과정에서 기왕 선택된 모델을 배제하고 가장 낮은 오차를 보이는 모델을 선택하여 상기 ⑤과정을 통해 검증한다. 또, 다시 검증결과가 매우 안좋은 경우 본 과정을 반복한다.
⑦ 상기 ⑥의 검증결과가 검사결과와 비슷하게 나타나면, 해당 앙상블 모델을 최적 모델로 선정한다.
여기서도, 상기 일련의 과정들은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 직접 알고리즘을 코딩한 프로그램이고, 이러한 프로그램은 컴퓨터의 메인 메모리 내에 저장되어 각각의 해당 모듈이 입력자료들과 상기 프로그램을 이용하여 결과를 산출하게 되는 것이다.
본 발명의 구체적 실시예로, 상동의 탁도(Turb) 자료 (Turb t, Turb t-1, Turb t+1)에 대해 결합적 클러스터링 방법을 통해 2개에서 4개의 그룹(class)으로 분류하고, 앙상블 모델링 기법을 통해 오늘(t)의 탁도 농도, 어제(t-1)의 탁도 농도를 입력인자로 하여 내일(t+1)의 탁도 농도를 예측하는 인공신경망 앙상블 모델을 구축한 결과는 다음의 표 2와 같다. 결합적 클러스터링을 적용함으로써 모델의 정확도(결정계수)가 크게 향상되었으며, 3개로 분류된 자료를 사용한 인공신경망 앙상블 모델의 결과는 결정계수가 최대 0.3이 증가한 0.88의 값으로 매우 높은 정확도를 보였다. 도 7은 클러스터 개수가 3개일 때의 인공신경망 앙상블 모델의 검증결과를 도시한 것이다.
Figure 112015083305717-pat00044
상기 구체적 실시예는 낙동강 하류에 위치한 상동 수질관측소의 탁도(Turb) 관측자료를 대상으로, 어제(t-1), 오늘(t)의 Turb 농도를 입력인자로 하여 내일(t+1)의 Turb 농도를 예측하는 인공신경망 모델을 본 발명에서 제시하고 있는 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용하여 개발한 것이다.
본 발명에서 제시한 결합적 클러스터링 기법을 적용할 경우, 자료의 패턴에 따라 발생할 수 있는 학습오차를 줄여 인공신경망 모델의 정확도를 향상시킬 수 있다. 또한, 본 발명에서 제시한 앙상블 모델링을 적용하여 초기 가중치값이 갖는 인공신경망 결과의 변동성에 대한 영향을 고려하여 모델의 성능을 평가할 수 있다.
따라서, 본 발명은 인공신경망 모델의 효율성과 정확성을 개선하기 위하여 클러스터링 방법을 이용한 인공신경망 모델의 학습자료 구성방법과 앙상블 모델링 기법을 이용한 인공신경망 모델의 학습 및 평가 방법 등 인공신경망 모델의 개발방법에 관한 것이며, 인공지능, 데이터마이닝, 기계학습 등의 분야에서 데이터를 기반으로 자료의 분리(clustering) 혹은 예측(prediction)을 위해 개발 중인 인공신경망 모델의 개발과정에 적용할 수 있다.

Claims (9)

  1. (a) 입력자료인 기설정된 클러스터 개수, 입력자료인 전체 관측좌표점, 입력자료인 기설정된 밀도함수 반경(ra)의 최소값과 최대값을 이용하여 결합적 클러스터링 모듈이 최적 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)를 산정하는 단계와;
    (b) 결합적 클러스터링 모듈이 상기 단계(a)에서 산정된 클러스터 중심점을 K-means 또는 Fuzzy C-means 클러스터링 기법의 초기 중심값으로 입력하여 클러스터링을 실시하고, 해당 클러스터 개수에서의 최적 클러스터링 기법과 결과를 선택하는 단계와;
    (c) 인공신경망 모듈이 상기 단계(b)에서 클러스터 개수별로 분리된 자료(관측좌표점)에서 훈련자료(training data), 검사자료(test data), 검증자료(validation data)를 무작위적으로 추출하고, 상기 추출된 훈련, 검사, 검증자료를 갖는 분류 인공신경망(n-clustered ANN model)을 구축하는 단계, 및
    (d) 앙상블 모델링 모듈이 상기 단계(c)에서 구축된 분류 인공신경망 모델에 대해 다양한 초기값에 대한 인공신경망 앙상블 모델을 구축하고 최적의 인공신경망 구조를 갖는 인공신경망 모델을 선정하는 단계로 이루어지는 것을 특징으로 하는, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법.
  2. 제 1 항에 있어서,
    상기 단계(a)는,
    (a1) 결합적 클러스터링 모듈이 최소 ra에 대하여 Subtractive 클러스터링을 실시하는 단계와;
    (a2) 결합적 클러스터링 모듈이 상기 단계(a1)에서 산정된 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)에 대하여 클러스터 검증 지수(CDbw)를 계산하는 단계와;
    (a3) 결합적 클러스터링 모듈이 ra 를 증가시켜 Subtractive 클러스터링을 실시하는 단계와;
    (a4) 결합적 클러스터링 모듈이 상기 단계(a3)에서 산정된 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)에 대하여 클러스터 검증 지수(CDbw)를 계산하는 단계와;
    (a5) 결합적 클러스터링 모듈이 증가시킨 ra 값이 최대 ra 값에 도달할 때까지 상기 단계(a3)와 (a4)을 반복하는 단계, 및
    (a6) 결합적 클러스터링 모듈이 모든 ra 에 대하여 산정된 클러스터 결과(중심점과 밀도함수 반경 내에 있는 관측좌표점)에 대한 CDbw값들 중 가장 큰 CDbw를 갖는 클러스터 결과를 최적 클러스터 결과로, 해당 ra 를 최적 반경으로 선정하는 단계를 포함하는 것을 특징으로 하는, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법.
  3. 제 2 항에 있어서,
    상기 단계(a1)는,
    (a11) 결합적 클러스터링 모듈이 다음의 수학식,
    Figure 112015083305717-pat00045
    (여기서, n은 전체 관측좌표점의 개수, xi, xj 는 i번째, j번째 관측좌표점(i≠j), 그리고, ra 는 밀도함수의 반경을 대표하는 변수)을 이용하여 모든 xi 에 대해 계산된 밀도값 Di 중 가장 큰 밀도값을 갖는 xi 를 첫번째 클러스터 중심점 xc1 으로 선정하는 단계와;
    (a12) 결합적 클러스터링 모듈이 수정된 밀도함수식인 다음의 수학식,
    Figure 112015083305717-pat00046
    (여기서, Dc1 은 xc1 에 대한 밀도함수값, rb 는 증가된 ra (일반적으로, rb= 1.25×ra 또는 1.50×ra))을 이용하여 모든 xi 에 대해 계산된 밀도값 Di 중 가장 큰 밀도값을 갖는 xi 를 두번째 클러스터 중심점 xc2 으로 선정하는 단계, 및
    (a13) 결합적 클러스터링 모듈이 다음의 수학식,
    Figure 112015083305717-pat00047
    (여기서, Di 는 k 번째 중심점을 계산하기 위한 수정된 밀도함수식, rbj= 1.25×rbj -1 또는 1.50×rbj -1)을 이용하여 모든 xi 에 대해 계산된 밀도값 Di 중 가장 큰 밀도값을 갖는 xi 를 k번째 클러스터 중심점 xck 으로 선정하는 단계를 포함하는 것을 특징으로 하는, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법.
  4. 제 2 항에 있어서,
    상기 단계(a2)는,
    결합적 클러스터링 모듈이 각 분류된 그룹(cluster) 내부의 밀도(intra_den)와 각 분류된 그룹 사이 영역에서의 밀도(inter_den)와 거리를 이용하여 산정한 분류정도(Sep) 지수를 통해 CDbw를 다음의 수학식,
    Figure 112015083305717-pat00048
    을 이용하여 산정하는 것을 특징으로 하는, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법.
  5. 제 1 항에 있어서,
    상기 단계(b)에서 K-means 클러스터링은,
    (b1) 결합적 클러스터링 모듈이 상기 단계(a)에서 산정된 클러스터 중심값을 초기 중심점 ci 을 가정하고, 그 가정된 중심점에 대한 각 클러스터 그룹에 속한 좌표점을 다음의 수학식,
    Figure 112015083305717-pat00049
    (여기서, ci 는 i번째 클러스터 중심점, ck 는 k번째 클러스터 중심점이고, uij 는 0과 1로 구성된 맴버쉽 행렬로 i번째 그룹에 속한 임의의 좌표점 xj 의 개수)을 이용하여 설정하는 단계와;
    (b2) 결합적 클러스터링 모듈이 다음의 수학식,
    Figure 112015083305717-pat00050
    (여기서, Gi 는 c개의 클러스터 그룹 중 i번째 그룹, xk 는 Gi 속한 임의의 좌표점, Ji 는 i번째 클러스터 그룹에서 임의의 중심점에 대한 거리합 결과값)을 이용하여 각 초기 중심점과 각 그룹별 좌표점과의 거리를 계산하여 합하는 단계와;
    (b3) 결합적 클러스터링 모듈이 다음의 수학식,
    Figure 112015083305717-pat00051
    (여기서,
    Figure 112015083305717-pat00052
    )을 이용하여 클러스터 중심값을 업데이트하는 단계, 및
    (b4) 결합적 클러스터링 모듈이 상기 업데이트된 중심값을 상기 단계(b1)에 입력하고 다시 상기 단계(b1) 내지 상기 단계(b3)를 반복하여 상기 J 값이 변동이 없거나, 허용범위(변동량이 미비하다고 판단되는 범위)에 도달할 때의 중심점을 최적 클러스터 결과(중심값과 각 클러스터에 속하는 좌표)로 설정하는 단계를 포함하는 것을 특징으로 하는, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법.
  6. 제 1 항에 있어서,
    상기 단계(b)에서 Fuzzy C-means 클러스터링은,
    (b5) 결합적 클러스터링 모듈이 상기 단계(a)에서 산정된 클러스터 중심값을 이용하여 맴버쉽 매트릭스 uij 를 산정하는 단계와;
    (b6) 결합적 클러스터링 모듈이 다음의 수학식,
    Figure 112015083305717-pat00053
    (여기서, m은 가중지수)을 이용하고 가정한 맴버쉽 매트릭스를 이용하여 클러스터 중심점을 다시 산정하는 단계와;
    (b7) 결합적 클러스터링 모듈이 다음의 수학식,
    Figure 112015083305717-pat00054
    (여기서,
    Figure 112015083305717-pat00055
    는 xj 가 i번째 그룹에 속한 좌표점과의 거리)를 이용하여 J값을 산정하는 단계와;
    (b8) 결합적 클러스터링 모듈이 다음의 수학식,
    Figure 112015083305717-pat00056
    을 이용하여 맴버쉽 매트릭스 uij 를 업데이트를 하는 단계, 및
    (b9) 결합적 클러스터링 모듈이 상기 업데이트된 uij을 상기 단계(b6)에 입력하고 다시 상기 단계(b6) 내지 단계(b8)을 반복하여 상기 J 값이 변동이 없거나, 일정수준 에 도달할 때의 맴버쉽 매트릭스 uij 와 클러스터 중심점을 최적 클러스터 결과로 설정하는 단계를 포함하는 것을 특징으로 하는, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 단계(d)는,
    (d1) 인공신경망 모듈이 상기 단계(c)에서 구축된 분류 인공신경망 모델에 대해 구조가 다른 인공신경망(인공신경망의 은닉층 뉴런 개수가 다르게 설정된 인공신경망)을 구성하고, 앙상블 모델링 모듈이 구조가 다른 인공신경망 각각에 대해 무작위로 설정된 초기 가중 연결값을 갖는 일정개수의 인공신경망(앙상블 모델)을 생성하는 단계와;
    (d2) 앙상블 모델링 모듈이 상기 앙상블 모델의 멤버인 각각의 인공신경망에 대해 동일한 훈련자료를 이용하여 학습을 시키는 단계와;
    (d3) 앙상블 모델링 모듈이 상기 단계(d2)에서 학습이 완료된 각 인공신경망 앙상블 모델에 대해 동일한 검사자료를 이용하여 일정개수의 앙상블 모델의 결과를 산출 평균하여 해당 앙상블 모델의 결과로 하는 단계, 및
    (d4) 앙상블 모델링 모듈이 각 앙상블 모델의 검사결과값과 검사자료에 대한 목표값 또는 실측값을 비교하여 가장 낮은 오차를 보이는 모델을 최적 앙상블 모델로 선정하는 단계를 포함하는 것을 특징으로 하는, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법.
  9. 제 8 항에 있어서,
    (d5) 앙상블 모델링 모듈이 상기 단계(d4)에서 선정된 최적 앙상블 모델에 대해 검증자료를 이용하여 앙상블 모델의 결과와 검증자료에 대한 목표값 또는 실측값과 비교하여 검증하는 단계와;
    (d6) 앙상블 모델링 모듈이, 상기 단계(d5)에서 검증결과가 매우 안좋은 경우, 상기 단계(d4)에서 기왕 선정된 앙상블 모델을 배제하고 가장 낮은 오차를 보이는 앙상블 모델을 선택하여 상기 단계(d5)를 통해 검증하고, 다시 검증결과가 매우 안좋은 경우 본 단계를 반복하는 단계, 및
    (d6) 앙상블 모델링 모듈이, 상기 단계(d6)의 검증결과가 검사결과와 비슷하게 나타나면, 해당 앙상블 모델을 최적 모델로 선정하는 단계가 추가되는 것을 특징으로 하는, 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법.
KR1020150120926A 2015-08-27 2015-08-27 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법 KR101680055B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150120926A KR101680055B1 (ko) 2015-08-27 2015-08-27 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150120926A KR101680055B1 (ko) 2015-08-27 2015-08-27 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법

Publications (1)

Publication Number Publication Date
KR101680055B1 true KR101680055B1 (ko) 2016-11-29

Family

ID=57706242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150120926A KR101680055B1 (ko) 2015-08-27 2015-08-27 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법

Country Status (1)

Country Link
KR (1) KR101680055B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599618A (zh) * 2016-12-23 2017-04-26 吉林大学 一种宏基因组重叠群的无监督分类方法
CN107601064A (zh) * 2017-09-19 2018-01-19 中国计量大学 基于神经网络的直落失重式物料下料机及其控制器
CN108562867A (zh) * 2018-04-17 2018-09-21 北京邮电大学 一种基于聚类的指纹定位方法及装置
KR20190103688A (ko) * 2018-02-28 2019-09-05 세종대학교산학협력단 RFM 기법과 K-Means 알고리즘을 이용한 고객 분류 방법 및 시스템
CN111291808A (zh) * 2020-02-03 2020-06-16 广东美的暖通设备有限公司 数据处理方法、数据处理装置、空调系统和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040093315A1 (en) 2001-01-31 2004-05-13 John Carney Neural network training
US20050209982A1 (en) 2004-01-26 2005-09-22 Yaochu Jin Reduction of fitness evaluations using clustering techniques and neural network ensembles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040093315A1 (en) 2001-01-31 2004-05-13 John Carney Neural network training
US20050209982A1 (en) 2004-01-26 2005-09-22 Yaochu Jin Reduction of fitness evaluations using clustering techniques and neural network ensembles

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HESKES, Tom. Balancing between bagging and bumping. Advances in Neural Information Processing Systems, 1997.

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599618A (zh) * 2016-12-23 2017-04-26 吉林大学 一种宏基因组重叠群的无监督分类方法
CN107601064A (zh) * 2017-09-19 2018-01-19 中国计量大学 基于神经网络的直落失重式物料下料机及其控制器
KR20190103688A (ko) * 2018-02-28 2019-09-05 세종대학교산학협력단 RFM 기법과 K-Means 알고리즘을 이용한 고객 분류 방법 및 시스템
KR102049166B1 (ko) * 2018-02-28 2019-11-26 세종대학교산학협력단 RFM 기법과 K-Means 알고리즘을 이용한 고객 분류 방법 및 시스템
CN108562867A (zh) * 2018-04-17 2018-09-21 北京邮电大学 一种基于聚类的指纹定位方法及装置
CN108562867B (zh) * 2018-04-17 2020-10-13 北京邮电大学 一种基于聚类的指纹定位方法及装置
CN111291808A (zh) * 2020-02-03 2020-06-16 广东美的暖通设备有限公司 数据处理方法、数据处理装置、空调系统和存储介质

Similar Documents

Publication Publication Date Title
KR101680055B1 (ko) 결합적 클러스터링 기법과 앙상블 모델링 기법을 이용한 인공신경망 모델 개발 방법
Newland et al. Multi-objective optimisation framework for calibration of Cellular Automata land-use models
CN106656357B (zh) 一种工频通信信道状态评估系统和方法
CN105653450A (zh) 基于改进遗传算法与Adaboost结合的软件缺陷数据特征选择方法
CN109472088A (zh) 一种页岩气调产井生产压力动态预测方法
CN111461453A (zh) 一种基于多模型组合的中长期径流集合预报方法
CN109376933A (zh) 基于神经网络的锂离子电池负极材料能量密度预测方法
CN111310722A (zh) 一种基于改进神经网络的电力设备图像的故障识别方法
CN111723523A (zh) 一种基于级联神经网络的河口余水位预测方法
CN108647772B (zh) 一种用于边坡监测数据粗差剔除的方法
CN110298506A (zh) 一种城市建设水平预测系统
CN110363232B (zh) 基于bp神经网络的毫米波探测器干扰效果评估方法
Guo et al. Data mining and application of ship impact spectrum acceleration based on PNN neural network
CN112862063A (zh) 一种基于深度信念网络的复杂管网泄漏定位方法
CN110533341A (zh) 一种基于bp神经网络的城市宜居性评价方法
CN108053093A (zh) 一种基于平均影响值数据变换的k-近邻故障诊断方法
Barrico et al. An evolutionary approach for assessing the degree of robustness of solutions to multi-objective models
Jordan et al. Decision making for two learning agents acting like human agents: A proof of concept for the application of a Learning Classifier Systems
CN115166811A (zh) 一种模拟工作现场中子谱快速构建方法
CN114821322A (zh) 基于注意力机制的小样本遥感影像分类方法及系统
CN114117876A (zh) 基于改进哈里斯鹰算法的特征选择方法
CN113393023A (zh) 模具质量评估方法、装置、设备及存储介质
Mao et al. QoS trust rate prediction for Web services using PSO-based neural network
Zain Al-Thalabi et al. Modeling and prediction using an artificial neural network to study the impact of foreign direct investment on the growth rate/a case study of the State of Qatar
Saen The use of artificial neural networks for technology selection in the presence of both continuous and categorical data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant