KR100868964B1 - 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법 - Google Patents

가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법 Download PDF

Info

Publication number
KR100868964B1
KR100868964B1 KR1020070025404A KR20070025404A KR100868964B1 KR 100868964 B1 KR100868964 B1 KR 100868964B1 KR 1020070025404 A KR1020070025404 A KR 1020070025404A KR 20070025404 A KR20070025404 A KR 20070025404A KR 100868964 B1 KR100868964 B1 KR 100868964B1
Authority
KR
South Korea
Prior art keywords
fuzzy
membership function
node
hyperbox
neural network
Prior art date
Application number
KR1020070025404A
Other languages
English (en)
Other versions
KR20080084132A (ko
Inventor
임준식
Original Assignee
임준식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임준식 filed Critical 임준식
Priority to KR1020070025404A priority Critical patent/KR100868964B1/ko
Publication of KR20080084132A publication Critical patent/KR20080084132A/ko
Application granted granted Critical
Publication of KR100868964B1 publication Critical patent/KR100868964B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 가중 퍼지 소속함수 신경망의 입력 계층으로 n개의 특징 패턴을 입력하는 단계; 상기 입력된 n개의 특징 패턴에 대한 n개의 퍼지집합을 갖는 하이퍼박스 노드를 생성하는 단계; 상기 하이퍼박스 노드에 속한 소속함수들의 평균값을 강화된 하이퍼박스 노드 출력식에 의해 계산하여 클래스 노드를 분류하는 단계; 상기 하이퍼박스 노드의 퍼지집합에 대한 소속함수 및 소속함수의 가중치를 가중 퍼지 소속함수 기반 신경망 학습 알고리즘에 의해 조정하여 새로운 정점 및 가중치를 갖는 소속함수를 구하는 단계; 및 상기 새로운 정점 및 가중치를 갖는 소속함수의 퍼지 특성을 통합하여 퍼지규칙을 추출하는 단계를 포함하는 가중 퍼지 소속함수 기반 신경망을 이용한 입력 패턴의 분류규칙 추출방법에 관한 것이다.
본 발명에 따른 입력 패턴의 분류규칙 추출방법은 종래의 분류 방법에 비해서 인식률 및 신뢰성이 높고, 패턴 분류를 위한 퍼지규칙의 수가 적기 때문에 입력패턴의 예측에 대한 신뢰성이 높고 비선형 시계열적인 모델의 추출이 가능한 효과가 있다.
퍼지 신경망, 규칙 추출, 가중 퍼지 소속함수

Description

가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열 예측 모델의 추출방법{Method for Extracting Nonlinear Time Series Prediction Model Using Neural Network with Weighted Fuzzy Membership Functions}
도 1은 본 발명에 적용된 가중 퍼지 소속함수 기반의 신경망 구조도,
도 2는 본 발명에 따른 가중 퍼지 소속함수 기반 신경망을 이용한 입력 패턴의 분류규칙 추출방법의 일실시예를 나타내는 흐름도,
도 3은 본 발명에 따른 하이퍼박스 노드의 i번째 가중 퍼지 소속함수 집합을 나타내는 예시도,
도 4는 본 발명에 따른 하이퍼박스 노드의 소속함수와 가중치가 조정된 예를 나타내는 예시도,
도 5a 및 도 5b는 본 발명에 따른 학습 알고리즘에 따라 하이퍼박스와 클래스노드의 연결가중치가 조정된 예를 나타내는 예시도,
도 6은 본 발명에 따른 변형된 가중 퍼지 소속함수 기반의 신경망 구조도,
도 7은 본 발명에 따라 학습을 마친 가중 퍼지소속함수의 퍼지 특성을 통합한 일실시예를 나타내는 예시도,
도 8은 본 발명에 따른 WBC 데이터베이스의 입력 특징값에 대해 강화된 가중 퍼지소속함수를 적용하여 추출한 퍼지규칙을 나타내는 그래프,
도 9는 본 발명에 따라 추출된 7개 선행지수의 퍼지규칙을 나타내는 그래프,
도 10은 본 발명에 따른 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열 예측 모델의 추출방법에 의해 추출된 비선형 시계열 예측 모델이다.
<도면의 주요부분에 대한 부호의 설명>
110 : 입력 계층 120 : 하이퍼박스 계층
130 : 클래스 계층
본 발명은 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열 예측 모델의 추출방법에 관한 것으로, 보다 상세하게는 가중 퍼지 소속함수 기반 신경망(Neural Network with Weighted Fuzzy Membership Functions, NNWFM)을 이용하여 분류된 각 클래스의 분류강도를 측정하고 가중평균 역퍼지화를 통하여 비선형 시계열 예측 모델의 추출방법에 관한 것이다.
통상적으로 신경망 알고리즘은 학습된 결과를 바탕으로 어떠한 조건, 어떠한 상황 하에서도 결과값을 정확히 예측해야 할 때 사용되며, 패턴 분류나 진단, 예측 등을 위해 신경망 및 퍼지집합 이론을 결합한 적응적 의사결정지원 툴(adaptive decision support tool)인 퍼지신경망(Fuzzy Neural Network, FNN)이 제안되어 왔다. 이러한 퍼지신경망은 여러가지 형태로 학습(learning), 적응(adaptation), 규칙추출(rule extraction)을 위한 알고리즘과 더불어 제시되었다.
상술한 의사 결정을 위한 퍼지신경망의 장점의 하나는 조건문(if-then) 퍼지규칙의 추출이라 할 수 있다. 여기서, 퍼지규칙의 추출이란 패턴 분류나 예측에 있어서 보편적인 패턴을 조건문 퍼지규칙과 같은 단순한 형태의 지식 표현으로 나타내는 것을 의미한다.
이러한, 퍼지신경망을 이용한 퍼지규칙 추출의 예로는 주어진 학습 데이터로부터 지식 추출을 위한 자기 조직화 시스템(self-organizing system) 기반 퍼지신경망 [J. S. Wang and C.S.G. Lee, "Self-Adaptive Neuro-Fuzzy Inference System for Classification Applications," IEEE Trans., Fuzzy Systems, 2002, Vol.10, No6, pp.790-802.] 등이 개발되었으며, 유전자 알고리즘을 이용하여 간단하고 정확도가 높은 퍼지규칙 기반 모델[M. Setnes and H. Roubos, "GA-Fuzzy Modeling and classification : Complexity and Performance," IEEE Trans., Fuzzy Systems, 2000, Vol.8, No.5, pp.509-522.]이 제안되었다.
이와 같이, 퍼지신경망을 이용한 패턴 분류나 진단, 예측 시스템은 다양한 형태로 개발되어 왔지만 종래의 퍼지 신경망을 이용한 패턴 분류 및 진단 방법은 퍼지 규칙의 수가 많고 인식률이 떨어지는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위해 도출된 것으로서, 통합된 하나의 가중 퍼지 소속함수로 입력 패턴의 특징을 표현함으로써 추출되는 퍼지 규칙이 적으며, 강화된 가중퍼지 소속함수를 이용하여 인식률이 높은 가중 퍼지 소속함수 기반 신경망을 이용한 입력 패턴의 분류규칙 추출방법을 제공하는데 기술적 과제가 있다.
또한, 본 발명은 분류된 각 분류규칙의 분류강도를 측정하고 측정된 분류강도에 대해 가중평균 역퍼지화를 통하여 비선형 시계열 예측 모델의 추출방법을 제공하는데 기술적 과제가 있다.
본 발명은 가중 퍼지 소속함수 신경망의 입력 계층으로 n개의 특징 패턴을 입력하는 단계; 상기 입력된 n개의 특징 패턴에 대한 n개의 퍼지집합을 갖는 하이퍼박스 노드를 생성하는 단계; 상기 하이퍼박스 노드에 속한 소속함수들의 평균값을 강화된 하이퍼박스 노드 출력식에 의해 계산하여 클래스 노드를 분류하는 단계; 상기 하이퍼박스 노드의 퍼지집합에 대한 소속함수 및 소속함수의 가중치를 가중 퍼지 소속함수 기반 신경망 학습 알고리즘에 의해 조정하여 새로운 정점 및 가중치를 갖는 소속함수를 구하는 단계; 및 상기 새로운 정점 및 가중치를 갖는 소속함수의 퍼지 특성을 통합하여 퍼지규칙을 추출하는 단계를 포함하는 가중 퍼지 소속함수 기반 신경망을 이용한 입력 패턴의 분류규칙 추출방법을 제공한다.
본 발명에 따른 입력 패턴의 분류규칙 추출방법은 가중 퍼지소속함수 기반 신경망을 이용하여 입력패턴의 진단 예측을 수행하기 위한 퍼지규칙을 추출한다. 여기서, 가중 퍼지 소속함수 기반 신경망은 3개 계층 즉, 입력 계층(input layer), 하이퍼박스 계층(hyperbox layer), 클래스 계층(class layer)으로 구성된다.
상기 하이퍼박스 계층을 구성하는 각 하이퍼박스 노드는 n개(입력패턴수)의 퍼지집합으로 구성되는데 이것은 분류를 위한 클래스 계층의 클래스 노드와 연결된다. 하이퍼박스 노드를 구성하는 각 퍼지집합은 3개의 가중치 소속함수를 가지게되며, 가중 퍼지 소속함수 기반 신경망은 하이퍼박스 내의 가중 퍼지소속함수를 n개의 특징 입력패턴에 따라서 학습시킨다. 이후 퍼지소속함수의 학습이 종료하면 각 퍼지집합 내의 3개의 가중 퍼지소속함수는 경계합(bounded sum)에 의해 하나의 가중 퍼지소속함수로 합성되어 진단 및 예측을 위한 퍼지규칙을 생성하게 된다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 그러나 하기의 설명은 오로지 본 발명을 구체적으로 설명하기 위한 것으로 하기 설명에 의해 본 발명의 범위를 한정하는 것은 아니다.
도 1에 도시된 바와 같이, 적용된 가중 퍼지 소속함수 기반의 신경망 구조는 입력 계층(110), 하이퍼박스 계층(120), 클래스 계층(130)으로 이루어져 있다.
상기 입력 계층(110)은 n개의 입력노드로 구성되며, 각 노드로 n개의 특징 패턴을 입력하게 된다.
상기 하이퍼박스 계층(120)은 m개의 하이퍼박스 노드로 구성된다. 여기서 각각의 하이퍼박스 노드
Figure 112007020858161-pat00001
은 단 하나의 클래스 노드에 연결되며 n개의 입력 노드를 위한 n개의 퍼지 집합을 갖는다. 상기
Figure 112007020858161-pat00002
의 i번째 퍼지집합은
Figure 112007020858161-pat00003
로 표시되며, 도 3에 도시된 바와 같이, 3개의 가중 소속함수를 갖는다.
상기 출력계층(130)은 p개의 클래스 노드로 구성된다. 각각의 클래스 노드는 하나 또는 하나 이상의 하이퍼박스 노드에 연결되어 있다. 도 1에 도시된 가중 퍼지 소속함수 기반의 신경망 구조에서 h번째 입력패턴은
Figure 112007020858161-pat00004
이며, 여기서 class는 진단 결과이고,
Figure 112007020858161-pat00005
는 상이한 n개 특징에 대한 패턴데이터를 의미한다. 또한, 정의되지 않는 미상의 특징에 대해서는 널(Null)로 표기된다.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 입력 패턴의 분류규칙 추출방법은 다음과 같다.
먼저, 가중 퍼지 소속함수 신경망의 입력 계층(110)으로 n개의 특징 패턴을 입력한다(S201).
그 다음, 하이퍼박스 계층(120)은 상기 n개의 특징 입력패턴에 대한 n개의 퍼지집합을 갖는 하이퍼박스 노드를 생성하고(S202), 후술하는 강화된 하이퍼박스 노드 출력식에 의해 상기 하이퍼박스 노드에 속한 소속함수들의 평균값을 계산하여 클래스 노드를 분류한다(S203).
그 다음, 가중 퍼지 소속함수 기반 신경망 학습 알고리즘에 의해 상기 하이퍼박스 노드의 소속함수와 그 가중치를 조정하여 새로운 정점 및 가중치를 갖는 소속함수를 구한다(S204).
그 다음, 상기 새로운 정점 및 가중치를 갖는 소속함수의 퍼지 특성을 통합하여 퍼지규칙을 추출한다(S205).
상기 n개의 특징 패턴을 입력하는 (S201)에서, n개의 특징 패턴은 예를 들어 암진단을 위하여 위스콘신 대학병원에서 수집한 WBC(Wisconsin Breast Cancer)의 데이터베이스를 사용할 수 있다. WBC의 데이터베이스는 9개의 특징값과 양성(Benign) 혹은 악성(Malignant)의 진단 클래스로 구성되어 있다. 여기서, 9개의 특징값은 각각 조직의 두께(Clump Thickness, CT), 세포 크기의 균일성(Uniformity of Cell Size, CSi), 세포 모양의 균일성(Uniformity of Cell Shape, CSh), 점착 정도(Marginal Adhension, MA), 단일 상피 세포 크기(Single Epithelial Cell Size, SECS), 노출 세포핵(Bare Nuclei, BN), 크로마틴(Bland Chromatin, BN), 정상 세포핵(Normal Nucleoli, NN), 간접 핵분열(Mitoses, Mi)에 관한 특징값이다. 또한, WBC의 데이터베이스는 699개의 레코드를 갖고 있지만, 16개 레코드는 특징값이 누락되어 있어 이를 제외한 683개 레코드를 사용한다.
상기 WBC의 데이터베이스에 저장된 특징 입력 패턴 대신 임의의 데이터베이스 예를 들어, MIT/BIT 부정맥 데이터베이스 등에 저장된 특징 입력 패턴을 사용하여 본 발명에 따른 퍼지규칙을 추출할 수 있다. 여기서 데이터베이스에 저장된 데이터를 특징 입력 패턴으로 사용하기 위하여 웨이블릿 변환 등을 수행하여야 함은 당업자에게 자명하므로 상세한 설명을 생략하기로 한다.
또한, 상기 n개의 특징 패턴은 시계열적인 예측을 수행하기 위한 선행지수(Composite Index, CI)가 될 수 있다.
상기 n개의 퍼지집합을 갖는 하이퍼박스 노드를 생성하는 (S202)에서, 하이퍼 박스 노드의 생성은
Figure 112007020858161-pat00006
연산을 사용한다. 이때,
Figure 112007020858161-pat00007
연산은 하이퍼박스
Figure 112007020858161-pat00008
을 생성하기 위한 것으로서, 이 것은 0.45 내지 0.55 범위의 임의 가중치를 가진 함수이고 n(입력 수)개의 소속함수를 가진다. 임의의 중심점
Figure 112007020858161-pat00009
는 아래에서와 같은 범위 내이어야 한다.
Figure 112007020858161-pat00010
한편,
Figure 112007020858161-pat00011
와
Figure 112007020858161-pat00012
는 도 3에 도시된 바와 같이 고정되어 있다. 또한, 연결 가중치
Figure 112007020858161-pat00013
는 0으로 설정되어 있다.
상기
Figure 112007020858161-pat00014
는 하이퍼박스 노드
Figure 112007020858161-pat00015
과 클래스 노드
Figure 112007020858161-pat00016
사이의 연결 가중치를 나타내며, 초기값이 0으로 설정된
Figure 112007020858161-pat00017
로 표시된다. 이때, 하이퍼박스 노드
Figure 112007020858161-pat00018
과 클래스 노드
Figure 112007020858161-pat00019
가 연결되어 있다면
Figure 112007020858161-pat00020
는 0에서 1로 설정된다. 여기서,
Figure 112007020858161-pat00021
는 하이퍼박스 노드로부터 하나 이상의 연결을 가질 수 있는 반면
Figure 112007020858161-pat00022
은 클래스 노드에 하나만의 연결을 가지도록 제한되어 있다.
상기
Figure 112007020858161-pat00023
는 소속함수의 중심점을 나타내며,
Figure 112007020858161-pat00024
는 도 3에 도시된 바와 같이 대, 중, 소의 소속함수의 중심점을 각각 나타낸다. 이러한 중심점들은 학습 수행 중에 조정되며 중심점
Figure 112007020858161-pat00025
와
Figure 112007020858161-pat00026
는 고정되어 있다. 입력데이터
Figure 112007020858161-pat00027
는 도 3에 도시된 바와 같이,
Figure 112007020858161-pat00028
의 범위 내로 가정한다.
상기 클래스 노드를 분류하는 (S203)에서, 하이퍼박스 노드에 속한 소속함수들의 평균값은
Figure 112007020858161-pat00029
연산에 의해 계산되며, 하이퍼박스
Figure 112007020858161-pat00030
에 n개 특징을 가진 h번째 입력
Figure 112007020858161-pat00031
에 의하여
Figure 112007020858161-pat00032
의 출력(클래스 노드 분류를 위한 값, 소속함수들의 평균값)은 하기 수학식 (1)과 같이 정의된다.
하이퍼박스 노드
Figure 112007020858161-pat00033
과 클래스노드
Figure 112007020858161-pat00034
사이의 연결 가중치는 초기값으로 연결이 안된 상태에서는
Figure 112007020858161-pat00035
= 0이 주어지나 연결 시
Figure 112007020858161-pat00036
= 1로 설정된다.
Figure 112007020858161-pat00037
과 클래스노드
Figure 112007020858161-pat00038
를 초기에 연결하기 위해서 입력
Figure 112007020858161-pat00039
에 따른 각 하이퍼박스의 출력값 중 최대값을 갖는
Figure 112007020858161-pat00040
과 i=class인
Figure 112007020858161-pat00041
를 선택한다. 초기 연결 이후, 입력 Ih 에 대해 최대값을 갖는
Figure 112007020858161-pat00042
과
Figure 112007020858161-pat00043
가 연결된 경우에만
Figure 112007020858161-pat00044
이 학습된다.
수학식 (1)
Figure 112007020858161-pat00045
상기
Figure 112007020858161-pat00046
값을 얻기 위해 수행하는 추론 메카니즘은 Takagi & Sugeno 모델[T.Takagi and M. Sugeno, "Fuzzy Identification of Systems and Its Application to Modeling and Control," IEEE Trans., Syst., Man, Cyben., 1985, Vol.15, pp.116-132.]을 이용할 수 있다. 본 발명에 따른 실시예에서는 추론 성능 을 강화하기 위하여
Figure 112007020858161-pat00047
휴리스틱(heuristic) 모형을 사용한
Figure 112007020858161-pat00048
(강화된 하이퍼박스 노드 출력식)은 하기 수학식 (2)와 같이 정의한다.
수학식 (2)
Figure 112007020858161-pat00049
상기
Figure 112007020858161-pat00050
휴리스틱 모형은
Figure 112007020858161-pat00051
이 적을수록 보다 많은 집합 정보를 가진다는 원리에 기초를 둔다.
상기
Figure 112007020858161-pat00052
는 하이퍼박스 노드
Figure 112007020858161-pat00053
의 i번째 집합의 소속함수이며, j=1, 2, 3 은 각각 대, 중, 소를 나타낸다. 각 소속함수
Figure 112007020858161-pat00054
의 모양은 3개의 정점(
Figure 112007020858161-pat00055
)을 가지는 삼각형으로 되어 있는데 학습에 의한 소속함수의 강도(strength)를 나타내는 소속함수 가중치(Wj : 0≤Wj≤1, Wj의 초기값 : 0.45≤Wj≤0.55)를 갖는다. 도 3에서 가중 퍼지소속함수인 음영 부분의 삼각형은
Figure 112007020858161-pat00056
,
Figure 112007020858161-pat00057
,
Figure 112007020858161-pat00058
로 도시된다.
또한, 상기
Figure 112007020858161-pat00059
는
Figure 112007020858161-pat00060
를 측정하기 위한 길이를 나타내며 하기 수학식 (3)과 같이 정의된다.
수학식 (3)
Figure 112007020858161-pat00061
상기 새로운 정점 및 가중치를 갖는 소속함수를 구하는 (S204)에서, 하이퍼 박스 노드의 소속함수와 가중치의 조정은
Figure 112007020858161-pat00062
연산을 사용한다. 입력
Figure 112007020858161-pat00063
를 갖는 i번째 소속함수와
Figure 112007020858161-pat00064
와
Figure 112007020858161-pat00065
의 소속함수는
Figure 112007020858161-pat00066
값에 의하여 조정된다(j=1,2,3). 상기
Figure 112007020858161-pat00067
연산 결과 새로운 정점
Figure 112007020858161-pat00068
와 새로운 가중치
Figure 112007020858161-pat00069
가 하기 수학식 (4), (5)와 같이 설정된다. 여기서, α와 β는 0 내지 1 사이의 학습율 범위이고, 변수는
Figure 112007020858161-pat00070
와 입력
Figure 112007020858161-pat00071
간의 차이를 나타낸다. 이때,
Figure 112007020858161-pat00072
가 인접
Figure 112007020858161-pat00073
보다 크면 적은 것이 선택된다.
수학식 (4)
Figure 112007020858161-pat00074
수학식 (5)
Figure 112007020858161-pat00075
보다 상세한
Figure 112007020858161-pat00076
연산과정은 후술하는 NNWFM 학습 알고리즘에 따라 수행된다. 도 4는 입력
Figure 112007020858161-pat00077
와
Figure 112007020858161-pat00078
의 i번째 집합의 가중 퍼지소속함수를 위한
Figure 112007020858161-pat00079
연산 전후의 예를 나타낸다.
가중 퍼지소속함수의 조정은 학습 알고리즘을 통해 수행되며, 학습 알고리즘은 학습 프로시저 함수인 Learning(
Figure 112007020858161-pat00080
,
Figure 112007020858161-pat00081
) 프로시저를 이용하여 정점 및 가중치의 위치를 조정하고 하이퍼박스 노드를 클래스 노드에 연결한다. NNWRM 및 학습 알고리즘의 일예는 [표 1] 및 [표 2]와 같다.
[표 1]
Figure 112007020858161-pat00082
[표 2]
Figure 112007020858161-pat00083
한편, 상기 [표 1]에서 case 1 및 case 2에 해당하는 하이퍼박스
Figure 112007020858161-pat00084
의 조정(Adjust)예는 도 5a 및 도 5b와 같다.
NEWFM에 의해 학습이 종료되면, 하이퍼박스노드
Figure 112007020858161-pat00085
과 클래스노드
Figure 112007020858161-pat00086
사이가 연결된다. 이후 입력
Figure 112007020858161-pat00087
가 들어오면 상기 수학식 (1)에 의해 하이 퍼박스 노드 출력값 중 최대값을 갖는 클래스노드
Figure 112007020858161-pat00088
가 결정되며 이 값이
Figure 112007020858161-pat00089
의 분류강도가 된다. 이 분류강도가 클수록 해당 클래스에 분류된 소속 정도가 강한 것이며 각
Figure 112007020858161-pat00090
의 분류강도를 이용하여 클래스의 분류뿐만 아니라 비선형 시계열을 예측할 수 있다. 여기서 클래스 노드의 수는 도 6과 같이 C1 과 C2 2개로 제한한 NEWFM의 구조에 가중평균 역퍼지화를 위한 출력노드인 O를 추가하게 되면 O의 출력값이 예측된 비선형 시계열이 된다. 상기 가중평균 역퍼지화는 [T. Takagi, M. Sugeno, "Fuzzy Identification of Systems and Its Applications to Modeling and Control," IEEE Trans., Syst. Man, Cybern., 1985, Vol. 15, pp.116-132.]에 개시된 방법에 의해 수행된다.
상기 퍼지규칙을 추출하는 (S205)에서, 퍼지규칙의 추출은
Figure 112007020858161-pat00091
연산을 사용한다. 상기
Figure 112007020858161-pat00092
연산에 의한 퍼지규칙은 도 6의 굵은선으로 표시된 WFM의 경계합(bounded sum)(BSWFM)이며, 하기 수학식 (6)과 같이 정의된다.
수학식 (6)
Figure 112007020858161-pat00093
학습을 거친 3개의 WFM 퍼지 특성을 수학식 (6)에 의해 통합한다. 상기 수학식 (2) 내지 수학식 (6)을 사용하여 최종적으로 추출된 퍼지규칙을 강화된 가중 퍼지소속함수(Enhanced-BSWFM)라 정의한다.
상기 (S201) 내지 (S205)에서 설명한 강화된 가중퍼지 소속함수에 따라 보다 신뢰성 높은 퍼지규칙을 얻을 수 있다.
이와 같이 n개의 특징입력에 의해 생성된 n개의 BSWFM들은 다시 비중복면적 분산 측정법에 의하여 중요도가 낮은 특징입력을 제거함으로써 BSWFM의 수를 최소화 할 수 있다.
상기 (S201) 내지 (S205)에서 설명한 강화된 가중퍼지 소속함수에 따라 보다 신뢰성 높은 퍼지규칙을 얻을 수 있다.
하기 [표 3]은 상기 강화된 가중퍼지 소속함수를 이용하여 유방암 분류를 위한 퍼지 규칙을 나타낸다.
[표 3]
Figure 112007020858161-pat00094
상기 [표 3]은 유방암 진단 및 예측 퍼지규칙을 생성하기 위하여, 위스칸신 대학병원에서 수집한 WBC의 데이터베이스를 사용한 결과이다.
상기 [표 3]에서 (a) 및 (b)는 상기 도 2에 도시된 (S201) 내지 (S205)에 의해 생성된 강화된 가중 퍼지소속함수들(Enhanced BSWFMs)을 의미하며, 도 7에 도시된 바와 같다.
유방암 진단 및 예측은 상기 도 7에 도시된 퍼지규칙에 따라 입력 패턴을 양성 또는 악성으로 분류함으로써 수행된다.
[표 4]는 본 발명에 따른 강화된 가중 퍼지소속함수와 그 밖의 분류 기법과의 WBC 인식률 등의 비교 결과를 나타낸다.
[표 4]
Figure 112007020858161-pat00095
상기 표 4에서 Nauck는 [D. Nauck and R. Kruse, "A Neuro-Fuzzy Method to Learn Fuzzy Classification Rules from Data," Fuzzy Sets and Systems, 1997, Vol.89, pp.277-288.]에 제시된 방법이고, Gomez는 [A. F. Gomez-Skarmeta, M. V. F. Jimenez, J. G. M-arin-Blazques, "Approximative Fuzzy Rules Approaches for Classification with Hybrid-GA Techniques," Information Sciences, 2001, Vol.136, pp.193-214.]에 제시된 방법이다.
상기 [표 4]를 참조하면 본 발명에 따라 추출된 2개의 퍼지규칙은 99.41%의 인식율을 나타내고, 상기 Nauck는 96.5%, 상기 Gomez는 99.12%를 나타내기 때문에 본 발명은 Nauck 및 Gomez에 따른 분류 결과보다 인식률이 우수함을 알 수 있다.
따라서, 상기 [표 3] 및 도 7에 도시된 강화된 가중 퍼지소속함수에 따라 유방암 조직검사 결과를 분류하면 보다 인식률 및 신뢰성 높은 진단 및 예측이 가능하게 된다.
따라서, 본 발명에 따라 추출된 퍼지규칙은 종래의 분류방법에 따른 인식율 보다 높은 99.41%를 보여주고 있으며, 퍼지규칙의 수도 종래의 Nauck 및 Gomez에 비해 가장 적은 2개임을 알 수 있다.
이러한 결과는 학습방법에 있어서 하이퍼박스
Figure 112007020858161-pat00096
노드의 퍼지집합은 대, 중, 소의 가중 퍼지소속함수를 사용하고, 학습 후 경계합(bounded sum)에 의해 퍼지 특성을 통합하여 하나의 가중 퍼지소속함수로 입력패턴의 특징을 표현하기 때문이다.
하기 [표 5]는 본 발명에 따른 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열 예측 모델의 추출방법을 테스트하기 위한 테스트 데이터와 이에 대한 내용을 간략히 정리한 것이다.
[표 5]
Figure 112007020858161-pat00097
상기 [표 5]는 경기관련 지표로서 통계청에서 매월 발표하는 CI 즉 선행지수이며, 시계열은 1991.1월부터 2005. 6월까지의 185개 월별 자료를 사용하였다. 그리고, 클래스 지표로서는 국민경제의 활동수준을 총제적으로 나타낼 수 있는 국내총생산(GDP)을 선택하되 각 지표의 월별대응은 보간(interpolation)방법을 사용하였다.
상기 본 발명을 적용하면, CI의 10개 선행구성지표와 NEWFM을 이용하여 경기예측을 위한 퍼지규칙을 생성하고 비중복면적 분산측정법[Joon S. Lim, T-W Ryu, H-J Kim，and S. Gupta，"Feature Selection for Specific Antibody Deficiency Syndrome by Neural Network with Weighted Fuzzy Membership Functions," FSKD 2005 (LNCS 3614), Springer-Verlag, Aug. 2006, pp. 811-820.]에 의하여 최소의 퍼지규칙을 추출하여 경기국면의 판단작업을 수행할 수 있다.
선행지수의 경우 제조업의 고용 생산부문 등의 10개 선행 구성지표를 특징입력요소로 하고 GDP 증가율을 2개 클래스인 상한 및 하한 임계치로 구분하여 1991.1월부터 2005. 6월까지의 180개 시계열에 대한 학습을 수행하였다.
[표 6]은 본 발명에 따라 생성된 퍼지소속함수에 비중복면적 분산 측정법을 적용한 결과로 얻어진 각 입력특징들의 순위를 보여주고 있다. 동 순위는 예측 내지 분류의 효율성을 나타내는 지표로서 동 순위에 따라 입력특징수를 점차 줄여 나가면서 예측성능을 떨어뜨리지 않는 수준에서 다시 학습과정을 거치게 되면 최소의 퍼지소속함수가 추출된다. 도 9는 비중복면적 분산 측정법에 의해서 최종적으로 추출된 7개 선행지표의 경계합 가중 퍼지 소속함수를 나타낸다.
[표 6]
Figure 112007020858161-pat00098
도 9에 나타낸 최종적으로 추출된 7개 선행 구성지표를 사용한 결과 하기 [표 7]과 같이 경기국면의 확장과 수축에 대해 92.22%의 신뢰성 있는 분류율을 나태내고 있다. 이는 10개의 선행 구성지표를 사용한 결과보다 2.22%가 증가하였으며 재고순환지표, 소비자 기대지수 및 장단기 금리차 구성지표가 타 구성지표보다 분류율 향상에 대한 기여도가 낮음을 의미한다.
[표 7]
Figure 112007020858161-pat00099
도 10은 본 발명에 따른 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열 예측 모델의 추출방법에 의해 추출된 비선형 시계열 예측 모델을 나타낸다.
도 6에서 클래스 노드는 각 클래스 분류강도를 출력하게 되고, 이를 출력노드 O에서 입력받아 가중평균 역퍼지화를 통해 비선형 시계열 값을 출력하게 된다.
도 10을 참조하면, 1991.1월부터 2006.1월까지의 기간 중의 실제 GDP추이와 그 변동패턴이 같을 뿐만 아니라 일정한 시차를 두고 경기확장 국면과 경기 수축 국면에 대해 민감하게 반영되고 있음을 나타내고 있다.
이상에서 설명한 바와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예는 모두 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모두 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에 따른 가중 퍼지 소속함수 기반 신경망을 이용한 입력 패턴의 분류규칙 추출방법은 종래의 분류 방법에 비해서 인식률 및 신뢰성이 높고, 패턴 분류를 위한 퍼지규칙의 수가 적기 때문에 입력패턴의 분류에 대한 신뢰성이 높은 효과 가 있다.

Claims (6)

  1. 가중 퍼지 소속함수 신경망의 입력 계층으로 n개의 특징 패턴을 입력하는 단계; 상기 입력된 n개의 특징 패턴에 대한 n개의 퍼지집합을 갖는 하이퍼박스 노드를 생성하는 단계; 상기 하이퍼박스 노드에 속한 소속함수들의 평균값을 강화된 하이퍼박스 노드 출력식에 의해 계산하여 클래스 노드를 분류하는 단계; 상기 하이퍼박스 노드의 퍼지집합에 대한 소속함수 및 소속함수의 가중치를 가중 퍼지 소속함수 기반 신경망 학습 알고리즘에 의해 조정하여 새로운 정점 및 가중치를 갖는 소속함수를 구하는 단계; 및 상기 새로운 정점 및 가중치를 갖는 소속함수의 퍼지 특성을 통합하여 퍼지규칙을 추출하는 단계를 포함하고, 상기 클래스 노드를 분류하는 단계는 상기 강화된 하이퍼박스 노드 출력식에 의해 구해진 출력 값 중 최대값을 갖는 클래스노드가 결정되며 클래스노드에 연결되는 가중평균 역퍼지화를 위한 출력노드를 추가함으로써 비선형 시계열을 예측하는 것을 특징으로 하는 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열 예측 모델의 추출방법.
  2. 제 1 항에 있어서,
    상기 강화된 하이퍼박스 노드 출력식은 하기 수학식 (2)에 의해 정의되는 것을 특징으로 하는 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열 예측 모델의 추출방법.
    수학식 (2)
    Figure 112008030292255-pat00100
    (여기서,
    Figure 112008030292255-pat00101
    은 하이퍼박스 노드,
    Figure 112008030292255-pat00102
    는 하이퍼박스 노드의 i번째 퍼지집합,
    Figure 112008030292255-pat00103
    는 i번째 퍼지집합의 소속함수,
    Figure 112008030292255-pat00104
    는 소속함수의 가중치,
    Figure 112008030292255-pat00105
    는 소속함수의 크기를 측정하기 위한 길이임)
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
KR1020070025404A 2007-03-15 2007-03-15 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법 KR100868964B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070025404A KR100868964B1 (ko) 2007-03-15 2007-03-15 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070025404A KR100868964B1 (ko) 2007-03-15 2007-03-15 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법

Publications (2)

Publication Number Publication Date
KR20080084132A KR20080084132A (ko) 2008-09-19
KR100868964B1 true KR100868964B1 (ko) 2008-11-17

Family

ID=40024538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070025404A KR100868964B1 (ko) 2007-03-15 2007-03-15 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법

Country Status (1)

Country Link
KR (1) KR100868964B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056068A (ko) * 2014-11-11 2016-05-19 순천향대학교 산학협력단 Mr-댐퍼가 있는 콘크리트 구조물의 비선형 움직임을 예측하기 위한 웨이블릿 기반 시간 지연 퍼지-신경망 추론 시스템
KR102029181B1 (ko) * 2018-12-12 2019-10-07 가천대학교 산학협력단 가중 퍼지 소속함수 기반 심층 신경망을 이용한 특징 선택을 위한 방법 및 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366348B1 (ko) * 2011-11-08 2014-02-24 가천대학교 산학협력단 우울증 진단을 위한 뉴로-퍼지 네트워크 기반의 데이터 분석 방법
KR101720538B1 (ko) * 2016-03-08 2017-03-28 주식회사 인피니그루 비정상행위 탐색방법 및 탐색프로그램
KR102161534B1 (ko) * 2019-11-05 2020-10-05 가천대학교 산학협력단 가중 퍼지 소속함수 기반 심층 신경망을 통한 하위 패턴 학습 및 세부 학습을 이용한 클래스 분류 방법 및 장치
CN111310370B (zh) * 2020-01-17 2022-06-10 湖北汽车工业学院 基于随机有限元的机械零件模糊可靠度计算方法
KR102186159B1 (ko) * 2020-04-22 2020-12-03 가천대학교 산학협력단 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템
CN111737294B (zh) * 2020-05-29 2024-09-10 华南理工大学 一种基于动态增量集成模糊的数据流分类方法
CN113658415B (zh) * 2021-07-30 2024-03-26 江苏湛德医疗用品有限公司 一种智能网关的预警方法和系统
CN114841252A (zh) * 2022-04-18 2022-08-02 西安交通大学 一种航空航天制造过程中多源异构大数据融合方法及系统
CN116452865B (zh) * 2023-04-03 2023-11-07 南通大学 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
가중퍼지 소속함수 기반 신경망을 이용한 Wisconsin Breast Cancer 예측 퍼지규칙의 추출, 한국정보처리학회논문지B, 2004, 11B(6), pp.717-722*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056068A (ko) * 2014-11-11 2016-05-19 순천향대학교 산학협력단 Mr-댐퍼가 있는 콘크리트 구조물의 비선형 움직임을 예측하기 위한 웨이블릿 기반 시간 지연 퍼지-신경망 추론 시스템
KR101632986B1 (ko) 2014-11-11 2016-06-23 순천향대학교 산학협력단 Mr-댐퍼가 있는 콘크리트 구조물의 비선형 움직임을 예측하기 위한 웨이블릿 기반 시간 지연 퍼지-신경망 추론 시스템
KR102029181B1 (ko) * 2018-12-12 2019-10-07 가천대학교 산학협력단 가중 퍼지 소속함수 기반 심층 신경망을 이용한 특징 선택을 위한 방법 및 장치

Also Published As

Publication number Publication date
KR20080084132A (ko) 2008-09-19

Similar Documents

Publication Publication Date Title
KR100868964B1 (ko) 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법
Chen et al. JAS-GAN: generative adversarial network based joint atrium and scar segmentations on unbalanced atrial targets
Sobbouhi et al. Transient stability prediction of power system; a review on methods, classification and considerations
CN107016464B (zh) 基于动态贝叶斯网络的威胁估计方法
CN111525587B (zh) 一种基于无功负荷态势的电网无功电压控制方法及系统
Ismail et al. A hybrid model of self organizing maps and least square support vector machine for river flow forecasting
CN106952339A (zh) 一种基于最优传输理论的点云采样方法
CN111340076A (zh) 一种对新体制雷达目标未知模式的零样本识别方法
CN108520310A (zh) 基于G-L混合噪声特性v-支持向量回归机的风速预报方法
Abdullah et al. Comparing the efficacy of decision tree and itsvariants using medical data
CN107644230B (zh) 一种遥感图像对象的空间关系建模方法
WO2009082042A1 (en) Nonlinear time series prediction method for weighted average defuzzification based on newfm
CN114626655A (zh) 一种区域综合能源系统多标准综合评价方法
CN116029618A (zh) 一种电力系统动态安全分区评估方法及系统
CN115730248A (zh) 一种机器账号检测方法、系统、设备及存储介质
Nayak et al. River flow forecasting through nonlinear local approximation in a fuzzy model
CN111581905A (zh) 隧道二极管电路系统在未知测量噪声下的状态估计方法
CN108460459A (zh) 基于小波神经网络的无人机遥感测温中温度拟合的方法
JP7040619B2 (ja) 学習装置、学習方法及び学習プログラム
Lahiri et al. Accurate and Intuitive Contextual Explanations using Linear Model Trees
Das et al. ADAMAX optimizer and CATEGORICAL CROSSENTROPY loss function-based CNN method for diagnosing Lung cancer
Qi et al. Analysis and Prediction of Energy Consumption in Neural Networks Based on Machine Learning
Mohamed et al. Data mining for electrical load forecasting in egyptian electrical network
Li et al. PIX-GAN: Enhance Physics-Informed Estimation via Generative Adversarial Network
Langarizadeh et al. Myocardial fibrosis delineation in late gadolinium enhancement images of Hypertrophic Cardiomyopathy patients using deep learning methods.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111110

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee