KR20180076866A - System and Method for selecting input of process modeling using bootstrap resampling based polynomial neural network - Google Patents

System and Method for selecting input of process modeling using bootstrap resampling based polynomial neural network Download PDF

Info

Publication number
KR20180076866A
KR20180076866A KR1020160181486A KR20160181486A KR20180076866A KR 20180076866 A KR20180076866 A KR 20180076866A KR 1020160181486 A KR1020160181486 A KR 1020160181486A KR 20160181486 A KR20160181486 A KR 20160181486A KR 20180076866 A KR20180076866 A KR 20180076866A
Authority
KR
South Korea
Prior art keywords
input
neural network
selection
bootstrap resampling
polynomial neural
Prior art date
Application number
KR1020160181486A
Other languages
Korean (ko)
Inventor
김성신
조현학
유정원
김은경
장은석
정승환
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020160181486A priority Critical patent/KR20180076866A/en
Publication of KR20180076866A publication Critical patent/KR20180076866A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Neurology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Feedback Control In General (AREA)

Abstract

The present invention relates to process modeling. More specifically, the present invention relates to a device for selecting an input of process modeling using a bootstrap resampling-based polynomial neural network and a method thereof which perform multiple polynomial neural network-based input selection using bootstrap resampling under the same condition, count how often a particular initial input candidate is selected as a primary input, and finally perform input selection. The device for selecting an input of process modeling using a bootstrap resampling-based polynomial neural network comprises an input selecting performing part, an input variable set managing part, an initial input candidate calculating part, and an input variable selecting part.

Description

부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법{System and Method for selecting input of process modeling using bootstrap resampling based polynomial neural network}FIELD OF THE INVENTION The present invention relates to a bootstrap resampling based polynomial neural network and a bootstrap resampling based polynomial neural network,

본 발명은 공정 모델링에 관한 것으로, 구체적으로 동일한 조건에서 부트스트랩 리샘플링을 이용한 다항식 신경망 기반 입력선택을 여러 번 수행한 후, 특정 초기입력후보가 얼마나 자주 주요입력으로 선택되는지를 카운팅하여 최종적으로 입력선택을 수행하는 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법에 관한 것이다.The present invention relates to process modeling. Specifically, after performing polynomial-based neural network-based input selection using bootstrap resampling under the same condition, it is counted how often a particular initial input candidate is selected as a main input, The present invention relates to an input selection apparatus and method for process modeling using a bootstrap resampling-based polynomial neural network.

공정 모델링을 위한 입력선택기술의 중요성과 그것의 어려움은 광범위한 연구를 촉진시켰지만, 공정모델의 입력을 효율적으로 선택하기 위한 기법들에 대한 연구는 아직 미해결과제로 남아 있다.The importance of input selection techniques for process modeling and its difficulties has prompted extensive research, but research into techniques for efficiently selecting inputs to process models remains a challenge.

즉, 공정 모델링에서의 한 가지 중요한 이슈는 다양한 초기입력후보들 중에서, 주요한 입력들을 선택하는 것이다.That is, one important issue in process modeling is to select the primary inputs among the various initial input candidates.

적절한 모델의 입력선택은, 모델의 복잡도를 감소시켜 더 효율적인 학습을 가능하게 하며, 출력과 무관한 불필요한 입력과 다른 입력에 의존적인 입력들을 제거하여 모델의 성능을 향상시킬 수 있다.Input selection of the appropriate model can improve the performance of the model by reducing the complexity of the model, enabling more efficient learning, and eliminating unwanted inputs that are not related to the output and inputs that are dependent on the other inputs.

또한, 선택된 입력들을 통해서, 대상공정의 근원적인 특성과 모델링이 수행되는 메커니즘에 대한 귀중한 통찰력을 얻을 수 있다.In addition, through the selected inputs, valuable insight into the underlying characteristics of the process and the mechanism by which the modeling is performed can be obtained.

공정모델의 주요입력을 선택하기 위해 제안된 방법들은 기본적으로 filter (model-free) 방법과 wrapper (model-based) 방법으로 나눌 수 있다.The proposed methods for selecting the main inputs of the process model can be basically divided into a filter (model-free) method and a wrapper (model-based) method.

Filter 방법은, 대상시스템으로부터 수집된 데이터에 기반하여 초기입력들과 출력 사이의 선형 또는 비선형적인 통계적 관계를 고려하여 입력선택을 수행한다. The Filter method performs input selection considering the linear or nonlinear statistical relationship between the initial inputs and the output based on the data collected from the target system.

Wrapper 방법은 입력선택에 사용되는 learning machine의 예측정확도가 입력의 선택기준으로 사용되며, 입력조합은 후진제거법, 전진선택법, 단계적 선택법, 메타휴리스틱과 같은 방법에 의해서 선택된다.In the Wrapper method, the prediction accuracy of the learning machine used for input selection is used as a selection criterion of input, and the input combination is selected by methods such as backward removal, forward selection, stepwise selection, and metaheuristic.

Filter 방법은 주요입력선택을 위해서 모델을 구현할 필요가 없으므로 모델의 구조 및 파라미터 최적화 과정이 필요 없다.The filter method does not need to implement the model for the main input selection, so there is no need for model structure and parameter optimization.

그러나 Filter 방법에서는 예측모델의 정확도가 고려되지 않고, 오직 입력과 출력간의 통계적 관계만을 고려하여 입력이 선택되므로, wrapper 방법에 비해서 종종 낮은 성능을 보인다.However, the filter method does not consider the accuracy of the prediction model, and the input is selected considering only the statistical relation between the input and the output. Therefore, the performance is often lower than that of the wrapper method.

또한, Filter 방법에 자주 사용되는 선형 상관 분석은 입출력간의 비선형 관계를 확인할 수 없으므로, 비선형 모델과 함께 사용될 경우에는 성능이 저하될 수 있다.In addition, the linear correlation analysis often used in the filtering method can not confirm the nonlinear relationship between the input and output, so the performance may be degraded when used with a nonlinear model.

Wrapper 방법은 순차적으로 최적의 입력조합을 탐색하는 방법이므로, 초기입력후보가 많을 경우, 계산량이 많아서 비효율적이다.The Wrapper method is a method of sequentially searching for the optimal combination of inputs. Therefore, when the number of initial input candidates is large, the amount of calculation is large, which is inefficient.

또한, wrapper 방법에 사용되는 모델의 구조와 파라미터를 선택하는 방법에 따라서 입력선택의 결과가 편향될 수 있다.Also, depending on the structure of the model used in the wrapper method and the method of selecting the parameters, the result of the input selection may be biased.

대한민국 공개특허 제10-1997-0076145호Korean Patent Publication No. 10-1997-0076145 대한민국 공개특허 제10-2008-0016500호Korean Patent Publication No. 10-2008-0016500

본 발명은 이와 같은 종래 기술의 공정 모델링의 문제를 해결하기 위한 것으로, 동일한 조건에서 부트스트랩 리샘플링을 이용한 다항식 신경망 기반 입력선택을 여러 번 수행한 후, 특정 초기입력후보가 얼마나 자주 주요입력으로 선택되는지를 카운팅하여 최종적으로 입력선택을 수행하는 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법을 제공하는데 그 목적이 있다.The present invention addresses the problem of process modeling of the prior art as described above. After performing multiple polynomial neural network based input selection using bootstrap resampling under the same conditions, how often a particular initial input candidate is selected as the main input The present invention has been made to solve the above problems, and it is an object of the present invention to provide an apparatus and method for inputting a process modeling using a bootstrap resampling-based polynomial neural network.

본 발명은 자기조직(self-organizing) 모델링 기법인 다항식 신경망에 기반한 입력선택으로, 대상시스템으로부터 수집된 학습데이터만을 이용하여 다항식 뉴런들이 계층적으로 연결된 네트워크를 자동적으로 건설하고, 건설된 다항식 신경망으로부터, 초기입력후보들 중에서 주요입력변수들까지도 자동적으로 선택할 수 있도록 한 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is an input selection based on a polynomial neural network, which is a self-organizing modeling technique, in which a polynomial neuron automatically constructs a hierarchically connected network using only learning data collected from a target system, And an input selection device and method for inputting process modeling using a bootstrap resampling based polynomial neural network that can automatically select even the main input variables among initial input candidates.

본 발명은 다항식 신경망의 건설을 위해서 대상 시스템으로부터 수집된 데이터를 학습데이터와 검증데이터로 분류하는 과정에서 부트스트랩 리샘플링 방법을 사용하는 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법을 제공하는데 그 목적이 있다.The present invention relates to an input selection apparatus and method for process modeling using a bootstrap resampling based polynomial neural network using a bootstrap resampling method in the process of classifying data collected from a target system into learning data and verification data for constructing a polynomial neural network The purpose is to provide.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명에 따른 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치는 동일한 실험조건에서 다항식 신경망 기반의 입력선택을 독립적으로

Figure pat00001
번 수행하는 입력 선택 수행부;
Figure pat00002
번째 수행에서 얻어진, 선택된 주요입력변수집합을
Figure pat00003
,
Figure pat00004
으로 나타내고, 그들의 합집합
Figure pat00005
을 산출하는 입력변수집합 관리부;합집합
Figure pat00006
에 포함된 원소들 중, 초기입력후보
Figure pat00007
,
Figure pat00008
의 총 개수
Figure pat00009
를 카운팅하는 초기입력후보 산출부;최종적으로,
Figure pat00010
가 미리 정의된 문턱값
Figure pat00011
보다 큰 입력들을 주요입력변수로 선택하는 입력변수 선택부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, an input selection device for process modeling using a bootstrap resampling-based polynomial neural network may independently perform input selection based on a polynomial neural network under the same experimental conditions
Figure pat00001
An input selection performing unit to perform the input selection;
Figure pat00002
The set of selected primary input variables obtained from the
Figure pat00003
,
Figure pat00004
, And their combination
Figure pat00005
An input variable set management unit for calculating a unified set
Figure pat00006
Among the elements included in the initial input candidate,
Figure pat00007
,
Figure pat00008
Total number of
Figure pat00009
An initial input candidate calculating unit for counting the input candidate,
Figure pat00010
Lt; RTI ID = 0.0 > predefined threshold
Figure pat00011
And an input variable selection unit for selecting larger input as a main input variable.

다른 목적을 달성하기 위한 본 발명에 따른 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 방법은 동일한 실험조건에서 다항식 신경망 기반의 입력선택을 독립적으로

Figure pat00012
번 수행하는 입력 선택 수행 단계;
Figure pat00013
번째 수행에서 얻어진, 선택된 주요입력변수집합을
Figure pat00014
,
Figure pat00015
으로 나타내고, 그들의 합집합
Figure pat00016
을 산출하는 입력변수집합 관리 단계;합집합
Figure pat00017
에 포함된 원소들 중, 초기입력후보
Figure pat00018
,
Figure pat00019
의 총 개수
Figure pat00020
를 카운팅하는 초기입력후보 산출 단계;최종적으로,
Figure pat00021
가 미리 정의된 문턱값
Figure pat00022
보다 큰 입력들을 주요입력변수로 선택하는 입력변수 선택 단계;를 포함하는 것을 특징으로 한다.The input selection method of the process modeling using the bootstrap resampling-based polynomial neural network according to the present invention for achieving the other object independently selects the input selection based on the polynomial neural network under the same experimental condition
Figure pat00012
Performing an input selection operation;
Figure pat00013
The set of selected primary input variables obtained from the
Figure pat00014
,
Figure pat00015
, And their combination
Figure pat00016
An input variable set management step of calculating a unified set
Figure pat00017
Among the elements included in the initial input candidate,
Figure pat00018
,
Figure pat00019
Total number of
Figure pat00020
An initial input candidate calculating step of counting the input candidate,
Figure pat00021
Lt; RTI ID = 0.0 > predefined threshold
Figure pat00022
And an input variable selecting step of selecting larger input as a main input variable.

이와 같은 본 발명에 따른 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법은 다음과 같은 효과를 갖는다.The input selecting apparatus and method of process modeling using the bootstrap resampling-based polynomial neural network according to the present invention have the following effects.

첫째, 동일한 조건에서 부트스트랩 리샘플링을 이용한 다항식 신경망 기반 입력선택을 여러 번 수행한 후, 특정 초기입력후보가 얼마나 자주 주요입력으로 선택되는지를 카운팅하여 최종적으로 입력선택을 수행하여 적은 계산량으로 성능을 높일 수 있다.First, after performing the polynomial-based neural network-based input selection using bootstrap resampling under the same condition, counting how often a certain initial input candidate is selected as the main input, finally performing the input selection, .

둘째, 자기조직(self-organizing) 모델링 기법인 다항식 신경망에 기반한 입력선택으로, 대상시스템으로부터 수집된 학습데이터만을 이용하여 다항식 뉴런들이 계층적으로 연결된 네트워크를 자동적으로 건설하고, 건설된 다항식 신경망으로부터, 초기입력후보들 중에서 주요입력변수들까지도 자동적으로 선택할 수 있다.Second, input selection based on a polynomial neural network, which is a self-organizing modeling technique, automatically constructs a hierarchically connected network of polynomial neurons using only learning data collected from the target system, The main input variables among the initial input candidates can be automatically selected.

셋째, 다항식 신경망의 건설을 위해서 대상 시스템으로부터 수집된 데이터를 학습데이터와 검증데이터로 분류하는 과정에서 부트스트랩 리샘플링 방법을 사용하는 적은 계산량으로 성능을 높일 수 있다.Third, in order to construct the polynomial neural network, we can increase the performance by using the bootstraps resampling method in the process of classifying the data collected from the target system into learning data and verification data.

도 1은 다항식 신경망의 구성도
도 2는 본 발명에 따른 다항식신경망을 이용한 공정 모델링의 입력선택 장치의 구성도
도 3은 본 발명에 따른 다항식신경망을 이용한 공정 모델링의 입력선택 방법을 나타낸 플로우 차트1 is a block diagram of a polynomial neural network
2 is a block diagram of an input selection device for process modeling using a polynomial neural network according to the present invention.
FIG. 3 is a flow chart illustrating an input selection method of process modeling using a polynomial neural network according to the present invention.

이하, 본 발명에 따른 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of an apparatus and method for inputting a process modeling using a bootstrap resampling-based polynomial neural network according to the present invention will be described in detail.

본 발명에 따른 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.The features and advantages of the input selection apparatus and method of process modeling using the bootstrap resampling based polynomial neural network according to the present invention will be apparent from the following detailed description of each embodiment.

도 1은 다항식 신경망의 구성도이고, 도 2는 본 발명에 따른 다항식신경망을 이용한 공정 모델링의 입력선택 장치의 구성도이다.FIG. 1 is a block diagram of a polynomial neural network, and FIG. 2 is a block diagram of an input selection device for process modeling using a polynomial neural network according to the present invention.

본 발명에 따른 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치 및 방법은 동일한 조건에서 부트스트랩 리샘플링을 이용한 다항식 신경망 기반 입력선택을 여러 번 수행한 후, 특정 초기입력후보가 얼마나 자주 주요입력으로 선택되는지를 카운팅하여 최종적으로 입력선택을 수행하는 것이다.The input selection apparatus and method of the process modeling using the bootstrap resampling-based polynomial neural network according to the present invention is characterized in that, after performing the polynomial-based neural network-based input selection using the bootstrap resampling under the same condition several times, Is selected, and finally, the input selection is performed.

본 발명은 자기조직(self-organizing) 모델링 기법인 다항식 신경망에 기반한 입력선택으로, 대상시스템으로부터 수집된 학습데이터만을 이용하여 다항식 뉴런들이 계층적으로 연결된 네트워크를 자동적으로 건설하고, 건설된 다항식 신경망으로부터, 초기입력후보들 중에서 주요입력변수들까지도 자동적으로 선택할 수 있도록 한 것이다.The present invention is an input selection based on a polynomial neural network, which is a self-organizing modeling technique, in which a polynomial neuron automatically constructs a hierarchically connected network using only learning data collected from a target system, , So that even the main input variables among the initial input candidates can be automatically selected.

다항식 신경망에서는, 도 1에서와 같이, 정사각형으로 묘사된 다항식 뉴런들이 전방향-계층적으로 연결된, 네트워크가 건설되어 복잡하고 비선형적인 입출력간의 모델링이 수행된다.In the polynomial neural network, as shown in FIG. 1, a network is constructed in which the polynomial neurons depicted as squares are connected in an omnidirectional hierarchy, so that modeling between complex and nonlinear input and output is performed.

부트스트랩 리샘플링 방법에 의해서, 수집된 데이터가 랜덤하게 분류되므로, 실험을 수행할 때마다 입력선택의 결과가 서로 다르다.Because the collected data is classified at random by the bootstrap resampling method, the results of the input selection are different each time the experiment is performed.

따라서 본 발명에서는, 동일한 실험 조건에서 부트스트랩 리샘플링을 이용한 다항식 신경망 기반 입력선택을 여러 번 수행한 후, 특정 초기입력후보가 얼마나 자주 주요입력으로 선택되는지를 카운팅하여 최종적으로 입력선택을 수행하였다.Therefore, in the present invention, input selection based on polynomial neural network using bootstrap resampling is performed several times under the same experimental conditions, and then input selection is performed by counting how often a specific initial input candidate is selected as a main input.

다항식 뉴런의 전달함수는 주로 이변수 이차다항식함수가 사용되며, 이것의 계수는 최소제곱법에 의해서 추정된다. 다항식 신경망은 오직 대상시스템으로부터 수집된 학습데이터만을 필요로 하며, 네트워크의 구조뿐만 아니라 주요입력까지 자동적으로 선택할 수 있다.The transfer function of a polynomial neuron is mainly a two-dimensional quadratic polynomial function, whose coefficients are estimated by the least squares method. The polynomial neural network requires only learning data collected from the target system and can automatically select not only the structure of the network but also the main input.

다항식 신경망의 건설을 위해서, 대상시스템으로부터 학습데이터 집합

Figure pat00023
이 수집되었다고 가정하자. 여기서
Figure pat00024
은 초기입력으로 구성된 입력벡터이며,
Figure pat00025
은 대상시스템의 초기입력후보의 개수이다.In order to construct a polynomial neural network,
Figure pat00023
Assume that this is collected. here
Figure pat00024
Is an input vector composed of initial inputs,
Figure pat00025
Is the number of initial input candidates of the target system.

1층에서는 초기입력들의 모든 조합을 입력으로 고려하는 On the first floor, all combinations of initial inputs are considered as input

Figure pat00026
(
Figure pat00027
)개의 뉴런이 생성되며, 이중 선택조건을 만족하는
Figure pat00028
개의 뉴런이 다음 층 뉴런들의 입력으로 사용된다.
Figure pat00026
(
Figure pat00027
) ≪ / RTI > neurons are generated,
Figure pat00028
Neurons are used as inputs to the next layer of neurons.

2층부터는, 이전 층에서 선택된

Figure pat00029
개의 뉴런들의 출력의 모든 조합들을 고려한
Figure pat00030
개의 뉴런이 생성되며, 마찬가지로, 이 중에서 선택조건을 만족하는
Figure pat00031
개의 뉴런의 출력이 다음 층 뉴런의 입력으로 사용된다.From the second floor,
Figure pat00029
Considering all combinations of outputs of the neurons
Figure pat00030
Of the neurons are generated, and similarly, among these,
Figure pat00031
The outputs of the four neurons are used as inputs to the next layer neurons.

이와 같은 층의 확장은 네트워크의 포워드 방향으로 진행되며, 어디서 층의 확장을 중단할지도 반드시 고려해야 한다.The extension of such a layer proceeds in the forward direction of the network, and it is important to consider where to stop extending the layer.

층의 확장이 중단되면, 출력층과 출력뉴런이 선택되고, 네트워크의 백워드 방향으로 출력뉴런과 연결된 구성요소들을 순차적으로 탐색하게 된다.When the layer expansion is interrupted, the output layer and output neuron are selected and sequentially search for the components connected to the output neuron in the backward direction of the network.

다항식 신경망의 건설을 위해, 먼저 정지기준을 만족할 때까지 전방향으로 층의 확장을 진행한 후, 출력층과 출력 뉴런을 선택하고, 역방향으로 출력뉴런과 연결된 구성요소들을 순차적으로 탐색한다.In order to construct a polynomial neural network, the output layer and the output neuron are selected and the components connected to the output neuron are sequentially searched after the layer is expanded in all directions until the stop criterion is satisfied.

역방향으로의 탐색이 종료되면, 출력 뉴런과 연결된 각층의 뉴런들을 찾을 수 있고, 초기 입력들 중에서 주요한 입력까지 선택할 수 있게 된다.When the search in the reverse direction ends, the neurons of each layer connected to the output neuron can be found and the main input among the initial inputs can be selected.

본 발명에 따른 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치는 도 2에서와 같이, 동일한 실험조건에서 다항식 신경망 기반의 입력선택을 독립적으로

Figure pat00032
번 수행하는 입력 선택 수행부(20)와,
Figure pat00033
번째 수행에서 얻어진, 선택된 주요입력변수집합을
Figure pat00034
,
Figure pat00035
으로 나타내고, 그들의 합집합
Figure pat00036
을 산출하는 입력변수집합 관리부(21)와, 합집합
Figure pat00037
에 포함된 원소들 중, 초기입력후보
Figure pat00038
,
Figure pat00039
의 총 개수
Figure pat00040
를 카운팅하는 초기입력후보 산출부(22)와, 최종적으로,
Figure pat00041
가 미리 정의된 문턱값
Figure pat00042
보다 큰 입력들을 주요입력변수로 선택하는 입력변수 선택부(23)를 포함한다.The input selection apparatus for process modeling using the bootstrap resampling-based polynomial neural network according to the present invention is a system for inputting a polynomial-based input selection independently in the same experimental conditions
Figure pat00032
An input selection performing unit 20 for performing an input operation,
Figure pat00033
The set of selected primary input variables obtained from the
Figure pat00034
,
Figure pat00035
, And their combination
Figure pat00036
An input variable set management unit 21 for calculating a unified set
Figure pat00037
Among the elements included in the initial input candidate,
Figure pat00038
,
Figure pat00039
Total number of
Figure pat00040
An initial input candidate calculating unit 22 for counting the number of input candidates,
Figure pat00041
Lt; RTI ID = 0.0 > predefined threshold
Figure pat00042
And an input variable selection unit 23 for selecting larger input as a main input variable.

본 발명에서는, 다음 층의 확장에 사용될 이전 층 뉴런의 선택 및 층의 확장을 언제 중단할 것인지를 결정하기 위해서, CEC(checking error criterion)를 사용한다. In the present invention, a selection error criterion (CEC) is used to determine when to select the previous layer neurons to be used for expansion of the next layer and when to suspend layer expansion.

먼저, 수집된 학습데이터

Figure pat00043
를 부트스트랩 리샘플링을 이용하여, 데이터집합
Figure pat00044
와
Figure pat00045
로 나눈다.First, the collected learning data
Figure pat00043
Using bootstrap resampling,
Figure pat00044
Wow
Figure pat00045
.

부트스트랩 리샘플링에서,

Figure pat00046
에
Figure pat00047
번 복원추출과정을 적용하면 총
Figure pat00048
개의 데이터 쌍들을 얻을 수 있다. 각각의 추출과정에서 집합
Figure pat00049
의 각 데이터 쌍들이 추출될 확률은 매번 모두 동등하다. In bootstrap resampling,
Figure pat00046
on
Figure pat00047
When applying the extraction process,
Figure pat00048
Data pairs can be obtained. In each extraction process,
Figure pat00049
The probability that each data pair of < RTI ID = 0.0 >

복원추출에 의해서 선택된

Figure pat00050
개의 쌍들 중에는 중복되는 쌍들이 있는데, 이 중복되는 쌍들 중에서 오직 하나의 쌍만을 남기고 나머지를 모두 제거하면 최종적으로 부트스트랩 샘플
Figure pat00051
를 얻을 수 있다.Selected by restoration extraction
Figure pat00050
There are overlapping pairs of pairs, leaving only one pair of these overlapping pairs and removing all of the remaining pairs, the final bootstrap sample
Figure pat00051
Can be obtained.

집합

Figure pat00052
에서
Figure pat00053
에 포함되지 않는 쌍들이
Figure pat00054
를 구성하게 되며,
Figure pat00055
와
Figure pat00056
의 비율은 대략 6대 4정도가 된다.set
Figure pat00052
in
Figure pat00053
Pairs not included in
Figure pat00054
Respectively,
Figure pat00055
Wow
Figure pat00056
Is about 6: 4.

다음으로,

Figure pat00057
을 이용하여, 임의의 뉴런의 파라미터 벡터를 최소제곱법을 이용하여 추정하고,
Figure pat00058
에 대한 뉴런의 출력
Figure pat00059
을 계산한다. 최종적으로 뉴런의 CEC는 다음과 같이 계산된다.to the next,
Figure pat00057
, A parameter vector of an arbitrary neuron is estimated using a least squares method,
Figure pat00058
Neuron output for
Figure pat00059
. Finally, the CEC of the neuron is calculated as follows.

Figure pat00060
Figure pat00060

Figure pat00061
번째 층의
Figure pat00062
개의 뉴런들의
Figure pat00063
,
Figure pat00064
를 계산한 후, 이를 오름차순으로 정렬하고, 가장 작은 CEC값을 가지는 하위
Figure pat00065
개의 뉴런을 선택한다.
Figure pat00061
Stratum
Figure pat00062
Of the neurons
Figure pat00063
,
Figure pat00064
, Sorting them in ascending order, and assigning the child having the smallest CEC value
Figure pat00065
Select neurons.

선택된 뉴런의 출력은 층이 확장될 때, 다음 층 뉴런의 입력으로 사용된다. The output of the selected neuron is used as an input to the next layer of neurons when the layer is expanded.

포워드 방향으로 층 확장을 수행하다가, 조건

Figure pat00066
를 만족하거나, 현재의 층이 미리 설정된 최대값보다 클 경우, 층의 확장이 중단된다. Layer expansion is performed in the forward direction,
Figure pat00066
Or if the current layer is larger than the predetermined maximum value, the expansion of the layer is stopped.

여기서

Figure pat00067
이다. 층의 확장이 중단된 후, 출력층
Figure pat00068
과 출력뉴런
Figure pat00069
는 아래와 같이 선택된다.here
Figure pat00067
to be. After the expansion of the layer is stopped,
Figure pat00068
And output neurons
Figure pat00069
Is selected as follows.

Figure pat00070
Figure pat00070

출력 뉴런이 선택된 후, 역방향으로 출력 뉴런과 연결된 구성요소들을 순차적으로 탐색한다.After the output neuron is selected, the components connected to the output neuron are sequentially searched in the reverse direction.

각층에서, 출력뉴런과 연결된 뉴런을 제외한 나머지 뉴런은 모두 삭제되고, 탐색된 뉴런들의 연결들은 그대로 유지된다.At each layer, all neurons except the neurons connected to the output neurons are deleted, and the connections of the searched neurons are maintained.

출력층으로부터 입력층까지의 탐색이 종료되면, 최종적으로 다항식 신경망이 완성된다.When the search from the output layer to the input layer is completed, the polynomial neural network is finally completed.

다항식 신경망이 완성되면, 초기입력들로 구성된 입력층에서 출력 뉴런과 연결된 입력을 알 수가 있으며, 이 입력들이 다항식 신경망에 의해서 선택된 주요입력들이다.Once the polynomial neural network is complete, the inputs connected to the output neuron in the input layer consisting of the initial inputs are the main inputs selected by the polynomial neural network.

다항식 신경망의 건설을 위해서 수집된 학습데이터

Figure pat00071
가
Figure pat00072
와
Figure pat00073
로 부트스트랩 리샘플링에 의해 랜덤하게 분류되므로, 동일한 실험조건에서 여러 번의 실험을 수행할 경우, 서로 상이한 결과를 얻게 된다.Learning data collected for construction of polynomial neural networks
Figure pat00071
end
Figure pat00072
Wow
Figure pat00073
, The results are different from each other when a plurality of experiments are performed under the same experimental conditions.

그리고 단 한 번의 다항식 신경망의 건설에 의해서 선택된 주요입력은 편향된 모델링 결과를 초래할 수도 있다. 따라서 본 발명에서는, 다음과 같은 절차를 통해, GMDH기반 입력선택을 수행한다.And the main input selected by the construction of a single polynomial neural network may result in biased modeling results. Therefore, in the present invention, GMDH-based input selection is performed through the following procedure.

도 3에서와 같이, 동일한 실험조건에서 앞서 설명한 다항식 신경망 기반의 입력선택을 독립적으로

Figure pat00074
번 수행한다.(S301)As shown in FIG. 3, the input selection based on the above-described polynomial neural network can be performed independently
Figure pat00074
(S301).

이어,

Figure pat00075
번째 수행에서 얻어진, 선택된 주요입력변수집합을
Figure pat00076
,
Figure pat00077
으로 나타내고, 그들의 합집합을
Figure pat00078
구한다.(S302)Following,
Figure pat00075
The set of selected primary input variables obtained from the
Figure pat00076
,
Figure pat00077
, And their union
Figure pat00078
(S302)

합집합

Figure pat00079
에 포함된 원소들 중, 초기입력후보
Figure pat00080
,
Figure pat00081
의 총 개수
Figure pat00082
를 카운팅한다.(S303)union
Figure pat00079
Among the elements included in the initial input candidate,
Figure pat00080
,
Figure pat00081
Total number of
Figure pat00082
(S303).

최종적으로,

Figure pat00083
가 미리 정의된 문턱값
Figure pat00084
보다 큰 입력들을 주요입력변수로 선택한다.(S304)Finally,
Figure pat00083
Lt; RTI ID = 0.0 > predefined threshold
Figure pat00084
The larger input is selected as the main input variable (S304)

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents thereof are intended to be embraced therein It should be interpreted.

20. 입력 선택 수행부 21. 입력변수집합 관리부
22. 초기입력후보 산출부 23. 입력변수 선택부20. Input selection execution unit 21. Input variable set management unit
22. Initial input candidate calculation unit 23. Input variable selection unit

Claims (2)

동일한 실험조건에서 다항식 신경망 기반의 입력선택을 독립적으로
Figure pat00085
번 수행하는 입력 선택 수행부;
Figure pat00086
번째 수행에서 얻어진, 선택된 주요입력변수집합을
Figure pat00087
,
Figure pat00088
으로 나타내고, 그들의 합집합
Figure pat00089
을 산출하는 입력변수집합 관리부;
합집합
Figure pat00090
에 포함된 원소들 중, 초기입력후보
Figure pat00091
,
Figure pat00092
의 총 개수
Figure pat00093
를 카운팅하는 초기입력후보 산출부;
최종적으로,
Figure pat00094
가 미리 정의된 문턱값
Figure pat00095
보다 큰 입력들을 주요입력변수로 선택하는 입력변수 선택부;를 포함하는 것을 특징으로 하는 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 장치.In the same experimental conditions, polynomial neural network-based input selection is performed independently
Figure pat00085
An input selection performing unit to perform the input selection;
Figure pat00086
The set of selected primary input variables obtained from the
Figure pat00087
,
Figure pat00088
, And their combination
Figure pat00089
An input variable set management unit for calculating an input variable set;
union
Figure pat00090
Among the elements included in the initial input candidate,
Figure pat00091
,
Figure pat00092
Total number of
Figure pat00093
An initial input candidate calculating unit for counting the input candidate;
Finally,
Figure pat00094
Lt; RTI ID = 0.0 > predefined threshold
Figure pat00095
And an input variable selection unit for selecting larger input values as a main input variable. The input selection unit of the process modeling using the bootstrap resampling-based polynomial neural network. 동일한 실험조건에서 다항식 신경망 기반의 입력선택을 독립적으로
Figure pat00096
번 수행하는 입력 선택 수행 단계;
Figure pat00097
번째 수행에서 얻어진, 선택된 주요입력변수집합을
Figure pat00098
,
Figure pat00099
으로 나타내고, 그들의 합집합
Figure pat00100
을 산출하는 입력변수집합 관리 단계;
합집합
Figure pat00101
에 포함된 원소들 중, 초기입력후보
Figure pat00102
,
Figure pat00103
의 총 개수
Figure pat00104
를 카운팅하는 초기입력후보 산출 단계;
최종적으로,
Figure pat00105
가 미리 정의된 문턱값
Figure pat00106
보다 큰 입력들을 주요입력변수로 선택하는 입력변수 선택 단계;를 포함하는 것을 특징으로 하는 부트스트랩 리샘플링 기반 다항식신경망을 이용한 공정 모델링의 입력선택 방법.

In the same experimental conditions, polynomial neural network-based input selection is performed independently
Figure pat00096
Performing an input selection operation;
Figure pat00097
The set of selected primary input variables obtained from the
Figure pat00098
,
Figure pat00099
, And their combination
Figure pat00100
An input variable set management step of calculating an input variable set;
union
Figure pat00101
Among the elements included in the initial input candidate,
Figure pat00102
,
Figure pat00103
Total number of
Figure pat00104
An initial input candidate calculating step of counting an input candidate;
Finally,
Figure pat00105
Lt; RTI ID = 0.0 > predefined threshold
Figure pat00106
And selecting an input variable as a main input variable based on the bootstrap resampling based on the bootstrap resampling.

KR1020160181486A 2016-12-28 2016-12-28 System and Method for selecting input of process modeling using bootstrap resampling based polynomial neural network KR20180076866A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160181486A KR20180076866A (en) 2016-12-28 2016-12-28 System and Method for selecting input of process modeling using bootstrap resampling based polynomial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160181486A KR20180076866A (en) 2016-12-28 2016-12-28 System and Method for selecting input of process modeling using bootstrap resampling based polynomial neural network

Publications (1)

Publication Number Publication Date
KR20180076866A true KR20180076866A (en) 2018-07-06

Family

ID=62920866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160181486A KR20180076866A (en) 2016-12-28 2016-12-28 System and Method for selecting input of process modeling using bootstrap resampling based polynomial neural network

Country Status (1)

Country Link
KR (1) KR20180076866A (en)

Similar Documents

Publication Publication Date Title
CA3116782C (en) Multiobjective coevolution of deep neural network architectures
KR102302609B1 (en) Neural Network Architecture Optimization
JP6969637B2 (en) Causality analysis methods and electronic devices
CN107122594B (en) New energy vehicle battery health prediction method and system
CN109214599B (en) Method for predicting link of complex network
CN106250461A (en) A kind of algorithm utilizing gradient lifting decision tree to carry out data mining based on Spark framework
CN110516757A (en) A kind of transformer fault detection method and relevant apparatus
CN107729241B (en) Software variation test data evolution generation method based on variant grouping
CN113988464A (en) Network link attribute relation prediction method and equipment based on graph neural network
WO2022252694A1 (en) Neural network optimization method and apparatus
WO2023093689A1 (en) Computational graph optimization method and apparatus, and device
KR20200117690A (en) Method and Apparatus for Completing Knowledge Graph Based on Convolutional Learning Using Multi-Hop Neighborhoods
CN112257332B (en) Simulation model evaluation method and device
JP5600693B2 (en) Clustering apparatus, method and program
CN116341634B (en) Training method and device for neural structure search model and electronic equipment
CN113869033B (en) Method for sequencing sentences of graph neural network integrated with iterative sentence pair relation prediction
Zhang et al. A comparative study on robust graph neural networks to structural noises
CN107105052B (en) Heuristic Web service combination method based on graph planning
Gora et al. Investigating performance of neural networks and gradient boosting models approximating microscopic traffic simulations in traffic optimization tasks
Patel et al. Evaluating the use of artificial neural networks, graph theory, and complexity theory to predict automotive assembly defects
KR20180076866A (en) System and Method for selecting input of process modeling using bootstrap resampling based polynomial neural network
CN115481407A (en) Vulnerability mining method and AI vulnerability mining system based on big data service page
Ptitsyna et al. A neural network approach to overcoming a priori uncertainty in optimal action planning of intelligent information agents for soft architectures of service-oriented systems
RU2718409C1 (en) System for recovery of rock sample three-dimensional structure
CN113139332A (en) Automatic model construction method, device and equipment