KR102624710B1 - Structural response estimation method using gated recurrent unit - Google Patents
Structural response estimation method using gated recurrent unit Download PDFInfo
- Publication number
- KR102624710B1 KR102624710B1 KR1020210113316A KR20210113316A KR102624710B1 KR 102624710 B1 KR102624710 B1 KR 102624710B1 KR 1020210113316 A KR1020210113316 A KR 1020210113316A KR 20210113316 A KR20210113316 A KR 20210113316A KR 102624710 B1 KR102624710 B1 KR 102624710B1
- Authority
- KR
- South Korea
- Prior art keywords
- gru
- response
- network
- data
- layer
- Prior art date
Links
- 230000004044 response Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 59
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000004088 simulation Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 244000290333 Vanilla fragrans Species 0.000 description 1
- 235000009499 Vanilla fragrans Nutrition 0.000 description 1
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0041—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
Abstract
본 발명에 따른 GRU 기반 구조물 시계열 응답 예측 시스템을 이용한 GRU 기반 구조물 시계열 응답 예측 방법은, GRU(Gated Recurrent Unit)을 사용하여 GRU 네트워크를 구성하는 제1 단계; 및 상기 GRU 네트워크를 사용하여 구조물의 가해지는 하중에 대한 구조적 응답(Structural Response)을 예측하는 제2 단계;를 포함하여 구성된다.The GRU-based structure time series response prediction method using the GRU-based structure time series response prediction system according to the present invention includes the first step of configuring a GRU network using a GRU (Gated Recurrent Unit); And a second step of predicting the structural response to the load applied to the structure using the GRU network.
Description
본 발명은 GRU 기반 구조물 시계열 응답 예측 방법에 관한 것으로, 보다 상세하게는 GRU(Gated Recurrent Unit) 네트워크를 이용하여 구조물의 하중에 대한 응답을 자동으로 예측할 수 있는 GRU 기반 구조물 시계열 응답 예측 방법에 관한 것이다.The present invention relates to a GRU-based structure time series response prediction method, and more specifically, to a GRU-based structure time series response prediction method that can automatically predict the response to the load of a structure using a GRU (Gated Recurrent Unit) network. .
최근 지진이나 태풍 등의 자연재해로 인해 많은 시설물들이 피해를 입고 있다. 이러한 피해를 예측하고 대비하기 위해서는 수치해석 모델이 이용되고 있다. 그러나 수치해석 모델이 항상 정확한 것은 아니며, 구조물에 따라 설계도면이나 모델이 존재하지 않는 경우도 많다. 모델이 존재하는 경우에도 노후화, 시공 오차, 비선형성 등의 원인으로 응답의 예측이 실제 구조물과 많은 차이를 보인다.Recently, many facilities have been damaged due to natural disasters such as earthquakes and typhoons. Numerical analysis models are used to predict and prepare for such damage. However, numerical analysis models are not always accurate, and in many cases, design drawings or models do not exist depending on the structure. Even when a model exists, the predicted response differs greatly from the actual structure due to aging, construction errors, and nonlinearity.
구조물의 상태를 예측하는데 가장 많이 사용되는 기술은 시스템 식별(System Identification) 기술이다. 시스템 식별 기술은 구조물의 동적 거동을 측정하여 구조물의 시스템 정보를 추출하는 기술로써, Peak Picking Method, Eigensystem Realization Algorithm (ERA) 등의 다양한 알고리즘이 있다. The most widely used technology to predict the condition of a structure is system identification technology. System identification technology is a technology that extracts system information of a structure by measuring the dynamic behavior of the structure. There are various algorithms such as Peak Picking Method and Eigensystem Realization Algorithm (ERA).
하지만 이러한 기술들은 사람의 개입을 필요로 하여, 데이터를 분석하고 시스템 정보를 추출하는 것에 많은 시간이 소요된다. 또한, 데이터를 판별함에 있어서 사람의 주관적인 판단이 들어가기 때문에, 개인에 따라 산정 결과가 달라질 수 있는 문제점이 있었다.However, these technologies require human intervention, so it takes a lot of time to analyze data and extract system information. Additionally, because a person's subjective judgment is involved in determining data, there is a problem that the calculation results may vary depending on the individual.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 시퀀스 데이터 분석에 활용되는 GRU(Gated Recurrent Unit) 네트워크를 이용하여 구조물에 가해지는 하중으로부터 그에 따른 응답을 예측하고자 한다.The present invention was developed to solve the above-described problem, and seeks to predict the response from the load applied to the structure using a GRU (Gated Recurrent Unit) network used for sequence data analysis.
전술한 문제를 해결하기 위한 본 발명의 실시예에 따른 GRU 기반 구조물 시계열 응답 예측 시스템을 이용한 GRU 기반 구조물 시계열 응답 예측 방법은, GRU(Gated Recurrent Unit)을 사용하여 GRU 네트워크를 구성하는 제1 단계; 및 상기 GRU 네트워크를 사용하여 구조물의 가해지는 하중에 대한 구조적 응답(Structural Response)을 예측하는 제2 단계;를 포함하여 구성된다.A GRU-based structure time series response prediction method using a GRU-based structure time series response prediction system according to an embodiment of the present invention to solve the above-described problem includes a first step of configuring a GRU network using a GRU (Gated Recurrent Unit); And a second step of predicting the structural response to the load applied to the structure using the GRU network.
본 발명의 다른 일실시예에 따르면, 상기 제1 단계는 GRU Layer, Fully Connected Layer, Softmax Layer 및 Regression Layer로 상기 GRU 네트워크를 구성할 수 있다.According to another embodiment of the present invention, the first step may configure the GRU network with a GRU Layer, Fully Connected Layer, Softmax Layer, and Regression Layer.
본 발명의 다른 일실시예에 따르면, 상기 제1 단계는 상기 GRU 네트워크에 0 ~ 60 Hz에서 에너지를 가지는 BLWN(Band Limited White Noise)로 이루어진 하중 데이터를 입력하여 상기 하중 데이터의 입력에 따른 응답 데이터를 수집하여 상기 GRU 네트워크를 학습시키는 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, the first step is to input load data consisting of BLWN (Band Limited White Noise) with energy at 0 to 60 Hz into the GRU network to generate response data according to the input of the load data. It may further include collecting and training the GRU network.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 입력 레이어(Input Layer)가 순차 데이터(sequential data)를 입력 받아 정규화 하는 단계; 히든 레이어(Hidden Layer)가 정규분포를 따라 무작위로 설정된 가중치에 상기 정규화된 데이터를 적용하여 예측 데이터를 생성하는 단계; 및 출력 레이어(Output Layer)가 생성된 상기 예측 데이터를 상기 구조물의 자유도(Degree of Freedom) 개수만큼 순차 데이터 세트로 출력하는 단계;를 포함할 수 있다.According to another embodiment of the present invention, the second step includes: an input layer receiving sequential data and normalizing it; A hidden layer generating prediction data by applying the normalized data to randomly set weights according to a normal distribution; and outputting the prediction data from which an output layer is generated as a sequential data set as many as the number of degrees of freedom of the structure.
본 발명의 다른 일실시예에 따르면, 상기 예측 데이터를 생성하는 단계는 상기 히든 레이어가 상기 예측 데이터와 응답 데이터의 오차를 이용해 역전파(Backpropagation) 과정을 진행하여 상기 가중치를 수정하는 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, the step of generating the prediction data includes the step of the hidden layer correcting the weight by performing a backpropagation process using the error between the prediction data and the response data. It can be included.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계의 이후에, 상기 예측된 구조적 응답을 시뮬레이션된 응답과 비교하여 검증하는 제3 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, after the second step, a third step of verifying the predicted structural response by comparing it with a simulated response may be further included.
본 발명의 다른 일실시예에 따르면, 상기 제3 단계는 상기 GRU 네트워크의 히든 레이어(Hidden Layer)의 수, 히든 유닛(Hidden Unit)의 수 또는 GRU 노드의 수를 변경하여 예측된 구조적 응답을 시뮬레이션된 응답과 비교하여 검증할 수 있다.According to another embodiment of the present invention, the third step simulates the predicted structural response by changing the number of hidden layers, hidden units, or GRU nodes of the GRU network. It can be verified by comparing it with the given response.
본 발명의 다른 일실시예에 따르면, 상기 제1 단계는 상기 GRU 네트워크의 히든 레이어(Hidden Layer)의 수, 히든 유닛(Hidden Unit)의 수 또는 GRU 노드의 수를 변경하여 상기 GRU 네트워크를 구성할 수 있다.According to another embodiment of the present invention, the first step is to configure the GRU network by changing the number of hidden layers, the number of hidden units, or the number of GRU nodes of the GRU network. You can.
본 발명에 따르면 인공신경망의 한 종류인 GRU(Gated Recurrent Unit) 네트워크를 활용하여 특정 구조물의 하중에 따른 응답을 자동으로 예측할 수 있다According to the present invention, the response according to the load of a specific structure can be automatically predicted by utilizing the GRU (Gated Recurrent Unit) network, a type of artificial neural network.
또한, 본 발명에 따른 GRU 기반의 네트워크를 활용하면, 기존의 구조물에 대한 거동 정보를 수집하여 아직 발생하지 않은 가상의 하중에 대한 구조물의 응답을 예측할 수 있다.In addition, by utilizing the GRU-based network according to the present invention, it is possible to collect behavior information about existing structures and predict the structure's response to a virtual load that has not yet occurred.
또한, 본 발명에 따른 GRU 기반 네트워크는 이론적으로는 선형 시스템뿐만 아니라 비선형 시스템으로의 확장도 용이하여, 복잡한 구조물 시스템의 거동을 유한요소 모델보다 더욱 효과적으로 예측할 수 있다.In addition, the GRU-based network according to the present invention is theoretically easy to expand to non-linear systems as well as linear systems, and can predict the behavior of complex structural systems more effectively than finite element models.
도 1은 본 발명에 따른 GRU(Gated Recurrent Unit)을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 GRU 기반 구조물 시계열 응답 예측 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 GRU 기반 구조물 시계열 응답 예측 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 검증 실험의 과정을 나타낸 것이다.
도 5는 본 발명의 일실시예에 따른 히든 유닛(Hidden Unit)의 수와 GRU 노드의 수에 따른 오차율 및 학습 시간을 도시한 도면이다.
도 6은 본 발명의 GRU Layer를 달리 구성한 다양한 실시예를 도시한 도면이다.
도 7은 본 발명의 GRU Layer를 달리 구성한 다양한 실시예에 따른 오차율 및 학습시간을 도시한 그래프이다.
도 8은 본 발명에 따른 네트워크로 예측한 구조물의 응답과, 단일 노드를 이용하여 예측한 구조물의 응답을 도시한 그래프이다.1 is a diagram for explaining a Gated Recurrent Unit (GRU) according to the present invention.
Figure 2 is a flowchart illustrating a GRU-based structure time series response prediction method according to an embodiment of the present invention.
Figure 3 is a diagram for explaining a GRU-based structure time series response prediction method according to an embodiment of the present invention.
Figure 4 shows the process of a verification experiment according to an embodiment of the present invention.
Figure 5 is a diagram showing the error rate and learning time according to the number of hidden units and the number of GRU nodes according to an embodiment of the present invention.
Figure 6 is a diagram showing various embodiments in which the GRU Layer of the present invention is differently configured.
Figure 7 is a graph showing the error rate and learning time according to various embodiments of differently configured GRU Layer of the present invention.
Figure 8 is a graph showing the response of a structure predicted by a network according to the present invention and the response of a structure predicted using a single node.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the attached drawings. However, in describing the embodiments, if it is determined that specific descriptions of related known functions or configurations may unnecessarily obscure the gist of the present invention, detailed descriptions thereof will be omitted. Additionally, the size of each component in the drawings may be exaggerated for explanation and does not mean the actual size.
머신러닝의 한 분야인 딥러닝은 Artificial Neural Network(ANN)을 기초로 하여 만들어진 기계학습 알고리즘이다.Deep learning, a field of machine learning, is a machine learning algorithm created based on Artificial Neural Network (ANN).
Rosenblatt (1958)은 신경세포의 메커니즘을 모방하여 퍼셉트론(perceptron)을 개발하였다. 퍼셉트론은 ANN의 기초가 되었으며, 3개 이상의 층(Layer)을 갖는 Multi Layer Perceptron(MLP)으로 발전되었다(Rosenblatt, 1961). 이러한 초기 ANN 알고리즘은 복잡한 문제 해결을 위해 신경망의 Hidden Layer를 늘리는 것이 필요하였다. Hidden Layer가 늘어남으로 인해 역전파(Backpropagation) 학습과정에서 데이터가 소실되어 학습이 진행되지 않는 기울기 소실(Vanishing Gradient) 문제가 발생하였다. 사전학습(Pre-training)을 이용한 방법과 데이터를 고의로 누락시키는 방법(Dropout)의 개발로 인해, 기울기 소실 문제가 개선되었다(Hinton et al., 2006; Srivastava et al., 2014). 이로 인해 신경망의 Hidden Layer를 깊게 구성할 수 있으며, Hidden Layer가 2개 이상으로 이루어진 신경망을 심층신경망(Deep Neural Network, DNN)이라 정의하게 되었다. 최근에는 DNN 중에서도 공간적 정보를 활용하는 Convolutional Neural Network (CNN)과 Sequential 데이터의 특성을 활용하는 Recurrent Neural Network (RNN) 등이 많이 사용되어 지고 있다(Rumelhart et al., 1986; Ciregan et al., 2012).Rosenblatt (1958) developed a perceptron by imitating the mechanism of nerve cells. Perceptron became the basis of ANN and was developed into Multi Layer Perceptron (MLP) with three or more layers (Rosenblatt, 1961). These early ANN algorithms required increasing the hidden layer of the neural network to solve complex problems. As the number of hidden layers increases, data is lost during the backpropagation learning process, causing a vanishing gradient problem in which learning does not proceed. Due to the development of a method using pre-training and a method of intentionally missing data (Dropout), the gradient loss problem has been improved (Hinton et al., 2006; Srivastava et al., 2014). Because of this, the hidden layer of the neural network can be deeply configured, and a neural network consisting of two or more hidden layers has been defined as a deep neural network (DNN). Recently, among DNNs, Convolutional Neural Network (CNN), which utilizes spatial information, and Recurrent Neural Network (RNN), which utilizes the characteristics of sequential data, have been widely used (Rumelhart et al., 1986; Ciregan et al., 2012 ).
RNN은 DNN의 네트워크의 한 종류로서, 음성 인식, 언어 모델링 등의 순차적(Sequential) 데이터를 분석하거나 예측하는데 주로 사용되고 있다. RNN 알고리즘은 순전파(Forward propagation) 과정을 통해 출력을 계산하고, 역전파(back propagation) 과정을 통해 계산된 출력과 실제 출력의 오차가 작아지도록 가중치를 수정하여 학습이 진행된다. Vanilla RNN은 초기 ANN과 마찬가지로 기울기 소실 문제가 발생하였다. 이러한 단점을 해결하기 위해 Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU) 등의 알고리즘이 개발되었다(Hochreiter and Schmidhuber, 1997).RNN is a type of DNN network and is mainly used to analyze or predict sequential data such as speech recognition and language modeling. The RNN algorithm calculates the output through a forward propagation process, and learns by modifying the weights to reduce the error between the calculated output and the actual output through a back propagation process. Vanilla RNN, like early ANN, had a gradient loss problem. To solve these shortcomings, algorithms such as Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU) were developed (Hochreiter and Schmidhuber, 1997).
Cho et al. (2014)이 개발한 GRU 알고리즘은 LSTM과 마찬가지로 초기 RNN의 문제점을 개선하고자 개발되었다. hidden-state와 cell-state 두 개의 벡터로 구성된 LSTM과 달리 hidden-state로만 이루어져 있으며, hidden-state가 cell-state의 역할까지 수행한다. GRU는 도 1과 같이 구성되어 있으며, 다음 과정을 통해 입력 데이터에 대한 연산을 수행한다.Cho et al. (2014) developed the GRU algorithm, like LSTM, to improve the problems of early RNNs. Unlike LSTM, which consists of two vectors: hidden-state and cell-state, it consists only of hidden-state, and hidden-state also plays the role of cell-state. The GRU is structured as shown in Figure 1, and performs operations on input data through the following process.
[수학식 1][Equation 1]
[수학식 2][Equation 2]
[수학식 3][Equation 3]
[수학식 4][Equation 4]
(수학식 1), (수학식 2)는 각각 Reset Gate와 Update Gate의 계수이며, (수학식 3)는 현재 정보의 Candidate이다. (Equation 1), (Equation 2) are the coefficients of the Reset Gate and Update Gate, respectively, (Equation 3) is the Candidate of the current information.
Reset Gate를 통과한 이전 time step의 hidden-state (수학식 4)와 입력 데이터 를 통해 가 형성된다. Update Gate의 는 이전 hidden-state에서 전달된 데이터와 Candidate의 정보를 조절하여 hidden-state를 결정한다.Hidden-state of the previous time step that passed the Reset Gate (Equation 4) and input data Through the is formed. Update Gate determines the hidden-state by adjusting the data transmitted from the previous hidden-state and the Candidate information.
도 2는 본 발명의 일실시예에 따른 GRU 기반 구조물 시계열 응답 예측 방법을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일실시예에 따른 GRU 기반 구조물 시계열 응답 예측 방법을 설명하기 위한 도면이다.FIG. 2 is a flowchart for explaining a method for predicting a GRU-based structure time series response according to an embodiment of the present invention, and FIG. 3 is a diagram for explaining a method for predicting a time series response for a GRU-based structure according to an embodiment of the present invention.
먼저 도 2를 참조하면 본 발명의 일실시예에 따른 GRU 기반 구조물 시계열 응답 예측 방법은 GRU(Gated Recurrent Unit)을 사용하여 GRU 네트워크를 구성한다(S110).First, referring to FIG. 2, the GRU-based structure time series response prediction method according to an embodiment of the present invention configures a GRU network using a GRU (Gated Recurrent Unit) (S110).
본 발명에서는 앞서 설명한 GRU(Gated Recurrent Unit)을 사용하여 구성된 네트워크를 사용하여, 특정한 구조물의 하중에 대한 응답을 자동으로 예측하는 시스템을 구성한다.In the present invention, a network constructed using the GRU (Gated Recurrent Unit) described above is used to construct a system that automatically predicts the response to the load of a specific structure.
도 2를 참조하면 먼저 구조물에 가해지는 하중에 대한 시계열 데이터가 Input Layer를 통해 입력이 되면, GRU Layer와 Fully-Connected Layer를 통해 해당 구조물의 응답을 예측하고, 예측한 시계열 데이터를 Output Layer를 통해 출력하게 된다.Referring to Figure 2, when time series data on the load applied to the structure is input through the Input Layer, the response of the structure is predicted through the GRU Layer and Fully-Connected Layer, and the predicted time series data is transmitted through the Output Layer. It will be printed.
GRU 기반의 네트워크는 크게 Input Layer, Hidden Layer (GRU Layer, Fully Connected Layer) 그리고 Output Layer로 구성된다. 예측을 위한 데이터 연산은 Hidden Layer에서 수행된다. 하지만 Hidden Layer에서 직접 데이터를 받아 자동으로 학습할 수 없기 때문에 Input Layer를 통해 순차 데이터(sequential data)를 입력 받아 필요에 따라 정규화를 진행하여 Hidden Layer에 데이터를 전달하게 된다. Hidden Layer에서는 정규분포를 따라 무작위로 설정된 가중치와 전달된 데이터를 연산하여 예측 데이터를 생성한다. 초기 가중치로 인한 예측 데이터는 실제 응답 데이터와 큰 오차가 발생한다. 이러한 오차를 이용하여 역전파(Backpropagation) 과정을 진행하고 가중치를 수정해가며 점차 실제 응답 데이터와 유사한 예측 데이터를 얻을 수 있다. Hidden Layer에서는 전달받은 데이터를 통해 구조물의 응답에 대한 데이터를 연산한다. 최종적으로 구조물의 예측된 응답을 Output Layer를 통해 구조물의 자유도(Degree of Freedom) 개수만큼의 순차 데이터 세트를 출력하게 된다.A GRU-based network largely consists of an input layer, a hidden layer (GRU Layer, Fully Connected Layer), and an output layer. Data operations for prediction are performed in the Hidden Layer. However, since data cannot be received directly from the Hidden Layer and learned automatically, sequential data is input through the Input Layer, normalization is performed as necessary, and the data is delivered to the Hidden Layer. In the Hidden Layer, predicted data is generated by calculating randomly set weights and transmitted data according to a normal distribution. Predicted data due to initial weights have large errors from actual response data. By using these errors to proceed with the backpropagation process and modify the weights, predicted data that is gradually similar to the actual response data can be obtained. In the Hidden Layer, data on the structure's response is calculated using the received data. Finally, the predicted response of the structure is output as a sequential data set equal to the number of degrees of freedom of the structure through the Output Layer.
본 발명에 따른 GRU 기반 네트워크의 성능은 GRU Node의 Hidden Unit 수, GRU Node 수, Hidden Layer 구성 등의 파라미터에 따라 영향을 많이 받는다. 따라서, 상기 GRU 네트워크의 히든 레이어(Hidden Layer)의 수, 히든 유닛(Hidden Unit)의 수 또는 GRU 노드의 수를 변경하여 상기 GRU 네트워크를 구성할 수 있다.The performance of the GRU-based network according to the present invention is greatly affected by parameters such as the number of Hidden Units of GRU Nodes, the number of GRU Nodes, and Hidden Layer configuration. Therefore, the GRU network can be configured by changing the number of hidden layers, hidden units, or GRU nodes of the GRU network.
이러한 파라미터는 입력과 출력 데이터에 따라 다른 최적의 값을 가지기 때문에 각 파라미터별 최적화 과정을 필요로 한다. 일반적으로 Hidden Unit과 GRU Node의 경우, 개수가 증가할수록 학습에 따른 결과가 향상되는 경향이 있다. 하지만 Hidden Unit과 GRU Node가 일정한 개수를 초과하였을 경우에는, 더 이상 개수가 증가함에 따라 성능의 향상은 이루어지지 않고, 학습에 소요되는 시간만 증가하는 결과가 발생한다.Since these parameters have different optimal values depending on the input and output data, an optimization process for each parameter is required. In general, in the case of Hidden Units and GRU Nodes, the learning results tend to improve as the number increases. However, when the number of Hidden Units and GRU Nodes exceeds a certain number, performance does not improve as the number increases, and the time required for learning only increases.
따라서 본 발명에서는 Hidden Unit과 GRU Node의 개수를 변화시켜가며 최적의 개수를 설정할 수 있다. DNN이 초기 ANN에서 Hidden Layer 층을 늘려 발전되었듯이 Hidden Layer의 개수가 증가할수록 네트워크의 성능은 향상된다. 하지만 이러한 성능의 향상이 Hidden Layer를 구성하는 GRU Node 수의 증가로 인한 것인지 Hidden Layer 층의 증가로 인한 것인지 알 수 없다. 따라서 본 발명에서는 GRU Node 수를 전체 개수를 고정하여 Hidden Layer의 구성을 변화시켜가며 최적의 구성을 설정하였다.Therefore, in the present invention, the optimal number can be set by changing the number of Hidden Units and GRU Nodes. Just as DNN developed from the early ANN by increasing the number of hidden layers, the performance of the network improves as the number of hidden layers increases. However, it is unknown whether this performance improvement is due to an increase in the number of GRU Nodes that make up the Hidden Layer or an increase in the Hidden Layer layer. Therefore, in the present invention, the optimal configuration was set by fixing the total number of GRU Nodes and changing the configuration of the Hidden Layer.
이때, 본 발명의 일실시예에 따르면, GRU(Gated Recurrent Unit)을 사용하여 GRU 네트워크를 구성하는 단계에서는 상기 GRU 네트워크를 학습시키는 단계를 더 포함하여 구성될 수 있다(S101).At this time, according to one embodiment of the present invention, the step of configuring a GRU network using a GRU (Gated Recurrent Unit) may further include the step of training the GRU network (S101).
보다 구체적으로, 상기 GRU 네트워크를 학습시키는 단계에서는, 상기 GRU 네트워크에 0 ~ 60 Hz에서 에너지를 가지는 BLWN(Band Limited White Noise)로 이루어진 하중 데이터를 입력하여 상기 하중 데이터의 입력에 따른 응답 데이터를 수집하여 상기 GRU 네트워크를 학습시킬 수 있다.More specifically, in the step of learning the GRU network, load data consisting of BLWN (Band Limited White Noise) with energy at 0 to 60 Hz is input to the GRU network to collect response data according to the input of the load data. Thus, the GRU network can be trained.
본 발명에서는 GRU 기반 네트워크를 학습시키기 위하여, 임의의 하중에 따른 구조물의 응답 데이터를 수집한다. 다양한 주파수 영역대에 대한 응답을 예측할 수 있도록, 구조물의 하중을 Band Limited White Noise (BLWN)로 설정한다. 구조물의 하중으로 사용될 BLWN데이터의 길이는 60 Hz의 Sampling rate로 총 60초이며, 주파수 범위는 0 Hz~30 Hz이다. BLWN 데이터마다 임의의 seed를 사용하여 1,000개의 각기 다른 데이터셋을 구축한다. BLWN에 따른 구조물의 응답 데이터를 수집하기 위해서 구조물의 수치해석 모델을 제작하여 시뮬레이션을 수행한다. 각 BLWN 데이터셋에 따른 1,000개의 구조물 응답데이터를 수집하였으며, 시뮬레이션은 다자유도계 운동방정식을 상태공간 방정식으로 변환 후 Simulink를 활용하여 수행한다.In the present invention, in order to learn a GRU-based network, response data of structures according to arbitrary loads is collected. To be able to predict the response to various frequency ranges, the load on the structure is set to Band Limited White Noise (BLWN). The length of BLWN data to be used as the load of the structure is a total of 60 seconds with a sampling rate of 60 Hz, and the frequency range is 0 Hz to 30 Hz. For each BLWN data, 1,000 different datasets are constructed using a random seed. In order to collect response data of the structure according to BLWN, a numerical analysis model of the structure is created and simulation is performed. Response data of 1,000 structures according to each BLWN dataset were collected, and simulations were performed using Simulink after converting the multi-degree-of-freedom equations of motion into state space equations.
다자유도의 운동방정식은 수학식 5와 같이 나타낼 수 있다.The equation of motion of multiple degrees of freedom can be expressed as Equation 5.
[수학식 5][Equation 5]
이때, M, C, K는 각각(n × n) 크기의 질량행렬, 감쇠행렬 및 강성행렬이며, x는 구조물의 변위 벡터, P는 하중 행렬이며, n은 자유도수를 나타낸다. 운동 방정식을 풀기 위해, 상태방정식(수학식 6)과 출력방정식(수학식 7)으로 이루어진 상태공간모델(State-Space Model; 수학식 8)을 작성하였다.At this time, M, C, and K are the mass matrix, damping matrix, and stiffness matrix of size (n × n), respectively, x is the displacement vector of the structure, P is the load matrix, and n represents the degree of freedom. To solve the equation of motion, a state-space model (Equation 8) consisting of the state equation (Equation 6) and the output equation (Equation 7) was created.
[수학식 6][Equation 6]
[수학식 7][Equation 7]
[수학식 8][Equation 8]
이때, z(t)는 상태벡터(state vector)로써, 구조물의 변위벡터 x와 속도벡터 으로 이루어진 벡터이며, y(t)는 사용자가 얻고자 하는 변수로 구성된 출력변수(observation vector)로써, 본 발명에서는 구조물의 변위벡터 x로 설정하였다. 이렇게 구성된 State-Space Model을 이용하여 Simulink를 통해 시뮬레이션을 진행한다.At this time, z(t) is the state vector, which is the displacement vector x and velocity vector of the structure. It is a vector composed of , and y(t) is an output variable (observation vector) composed of the variable the user wants to obtain, and in the present invention, it is set as the displacement vector x of the structure. Simulation is performed through Simulink using the State-Space Model constructed in this way.
시뮬레이션을 통해 수집한 1,000세트의 학습데이터(하중데이터와 그에 따른 응답데이터)를 활용하여 네트워크를 학습시킨다. 네트워크 학습은 Solver에 사용할 최적화 함수, 반복횟수(Epoch), 배치(batch) 크기 등이 학습의 결과에 영향을 미치게 된다. 먼저 Solver에 사용되는 최적화 함수로는 Momentum, Adagrad, Adadelta, RMSprop, Adam 등의 함수들이 대표적으로 사용된다(Sutton, 1986; Duchi et al., 2011; Zeiler, 2012; Kingma and Ba, 2014; Ruder, 2016). 본 발명에서는 Momentum과 RMSprop의 장점을 조합하여 빠르고 정확하게 적절한 목적 함수(objective function)를 찾는 Adam method를 이용하였다. 네트워크의 학습 반복 횟수(Epoch)는 데이터를 반복하여 학습시키는 횟수를 의미한다. 일반적으로 반복 횟수가 많을수록 정확한 결과가 나타나지만, 지나치게 높으면 해당 데이터에 대해 과적합 문제가 발생할 수 있다.The network is trained using 1,000 sets of learning data (load data and corresponding response data) collected through simulation. In network learning, the optimization function used in the solver, the number of repetitions (Epoch), and the batch size affect the learning results. First, the optimization functions used in solvers include Momentum, Adagrad, Adadelta, RMSprop, and Adam (Sutton, 1986; Duchi et al., 2011; Zeiler, 2012; Kingma and Ba, 2014; Ruder, 2016). In the present invention, the Adam method was used to find an appropriate objective function quickly and accurately by combining the advantages of Momentum and RMSprop. The number of learning repetitions (Epoch) of a network refers to the number of times data is repeated and trained. Generally, the greater the number of iterations, the more accurate the results will be, but if it is too high, overfitting problems may occur for the data.
본 발명에서는 학습 결과가 충분히 수렴하면서 과적합이 발생하지 않도록 반복횟수(Epoch)를 10,000회로 설정하여 학습을 진행할 수 있다. 마지막으로, 배치(batch) 크기란 한번의 학습에 사용되는 데이터의 크기를 의미한다. 배치를 크게 하면 한 번의 학습에 사용되는 데이터의 수가 많아지므로 학습 속도가 빨라지지만 오차가 발생하게 된다. 이러한 문제를 방지하기 위해 본 발명에서는 배치 크기를 128로 설정하여 학습을 진행할 수 있다.In the present invention, learning can be performed by setting the number of repetitions (Epoch) to 10,000 so that the learning results sufficiently converge and overfitting does not occur. Lastly, batch size refers to the size of data used for one-time learning. If the batch is large, the number of data used for one learning increases, so the learning speed increases, but errors occur. To prevent this problem, in the present invention, learning can be performed by setting the batch size to 128.
이와 같은 학습을 통해 구성한 GRU 네트워크를 사용하여 구조물의 가해지는 하중에 대한 구조적 응답(Structural Response)을 예측한다.Using the GRU network constructed through such learning, the structural response to the load applied to the structure is predicted.
보다 구체적으로, 구조적 응답의 예측을 위하여, 입력 레이어(Input Layer)가 순차 데이터(sequential data)를 입력 받아 정규화 하고, 히든 레이어(Hidden Layer)가 정규분포를 따라 무작위로 설정된 가중치에 상기 정규화된 데이터를 적용하여 예측 데이터를 생성하고, 출력 레이어(Output Layer)가 생성된 상기 예측 데이터를 상기 구조물의 자유도(Degree of Freedom) 개수만큼 순차 데이터 세트로 출력할 수 있다.More specifically, to predict structural response, the input layer receives sequential data and normalizes it, and the hidden layer applies the normalized data to weights randomly set according to a normal distribution. can be applied to generate prediction data, and the prediction data for which an output layer has been created can be output as a sequential data set as many as the number of degrees of freedom of the structure.
이때, 상기 예측 데이터를 생성 시에는, 상기 히든 레이어가 상기 예측 데이터와 응답 데이터의 오차를 이용해 역전파(Backpropagation) 과정을 진행하여 상기 가중치를 수정할 수 있다.At this time, when generating the prediction data, the hidden layer may correct the weight by performing a backpropagation process using the error between the prediction data and the response data.
이와 같은 구조적 응답의 예측 이후에는, 상기 예측된 구조적 응답을 시뮬레이션된 응답과 비교하여 검증할 수 있다(S120).After predicting the structural response, the predicted structural response can be verified by comparing it with the simulated response (S120).
보다 구체적으로, 상기 검증 시에는 상기 GRU 네트워크의 히든 레이어(Hidden Layer)의 수, 히든 유닛(Hidden Unit)의 수 또는 GRU 노드의 수를 변경하여 예측된 구조적 응답을 시뮬레이션된 응답과 비교하여 검증을 실행할 수 있다.More specifically, during the verification, the predicted structural response is verified by comparing the predicted structural response with the simulated response by changing the number of hidden layers, hidden units, or number of GRU nodes of the GRU network. It can be run.
본 발명에 따른 GRU 기반 네트워크가 지진 하중에 따른 구조물의 응답을 얼마나 정확하게 예측할 수 있는지를 검증하기 위하여 3층 건물에 대한 시뮬레이션 기반 검증 실험을 수행하였다.To verify how accurately the GRU-based network according to the present invention can predict the response of the structure according to seismic load, a simulation-based verification experiment was performed on a three-story building.
도 4는 본 발명에 따른 검증 실험의 과정을 나타낸 것이다. 검증 실험의 Input 데이터로 총 200세트의 Band Limited White Noise (BLWN) 시계열 데이터를 사용하였으며, 본 발명에서 개발한 GRU 기반 네트워크를 통해 예측한 구조물의 응답을 시뮬레이션 결과와 비교하였다. 먼저 Hidden Unit 수에 따른 네트워크의 성능을 비교하기 위하여 Hidden Unit 수를 2부터 9까지 변화시켜가며 구조물의 응답 예측을 비교하였으며, GRU Node 수에 따른 네트워크 성능을 비교하기 위하여 GRU Node 수를 1부터 15까지 변화시키며 구조물의 응답 예측을 비교하였으며, Hidden Layer의 구성에 따른 네트워크 성능을 비교하기 위하여 Hidden Layer의 구성을 변화시키며 구조물의 응답 예측을 비교하였다. 마지막으로 위에서 서술한 각 실험별로 얻은 최적의 Hidden Unit 수와 GRU Node 수, Hidden Layer의 구성을 사용하여, 본 발명에서 개발한 GRU기반 네트워크의 정확도를 검증하였다.Figure 4 shows the process of a verification experiment according to the present invention. A total of 200 sets of Band Limited White Noise (BLWN) time series data were used as input data for the verification experiment, and the response of the structure predicted through the GRU-based network developed in the present invention was compared with the simulation results. First, to compare the network performance according to the number of Hidden Units, the response prediction of the structure was compared by changing the number of Hidden Units from 2 to 9. To compare the network performance according to the number of GRU Nodes, the number of GRU Nodes was changed from 1 to 15. The response predictions of the structure were compared by changing the configuration of the hidden layer, and the response predictions of the structure were compared by changing the configuration of the hidden layer to compare network performance according to the configuration of the hidden layer. Finally, the accuracy of the GRU-based network developed in the present invention was verified using the optimal number of Hidden Units, number of GRU Nodes, and Hidden Layer configuration obtained for each experiment described above.
먼저, 본 발명에서 개발한 GRU 기반 네크워크에서 Hidden Unit 수의 영향을 알아보기 위하여 Hidden Unit 수를 2부터 9까지 변화시키며 실험을 진행하였다. Hidden Layer 층과 GRU Node는 각각 1개로 구성하였으며, Hidden Unit 수에 따른 구조물의 응답 예측결과와 시뮬레이션 결과를 비교하여, 오차와 학습 소요 시간을 도 5(a)에 나타내었다. 이를 통해 Hidden Unit이 2~8개까지는 오차율이 감소하며, 8개를 초과하여도 크게 감소하지 않음을 확인할 수 있다. 따라서 Hidden Unit을 8개로 하였을 때, 최적의 결과를 도출하였다.First, to determine the effect of the number of Hidden Units in the GRU-based network developed in the present invention, an experiment was conducted by varying the number of Hidden Units from 2 to 9. The Hidden Layer layer and GRU Node were composed of one each, and the response prediction results and simulation results of the structure were compared according to the number of Hidden Units, and the error and learning time were shown in Figure 5(a). Through this, it can be seen that the error rate decreases from 2 to 8 Hidden Units, and does not decrease significantly even when the number of Hidden Units exceeds 8. Therefore, the optimal result was obtained when the number of Hidden Units was set to 8.
GRU Node의 수에 따른 네트워크의 성능을 비교하기 위하여 GRU Node 수를 1부터 15까지 변화시켜가며 실험을 진행하였다. Hidden Layer의 수는 1개로, Hidden Unit의 수는 8개로 구성하였다. 도 5(b)는 GRU Node 수에 따른 RMSE를 비교한 결과와 학습 소요 시간을 나타내었다. 도 5(b)에서 나타나듯이, Hidden Unit 수와 마찬가지로 GRU Node 수가 증가할수록 네트워크의 성능이 향상되는 것을 알 수 있다. 하지만 GRU Node 수가 증가할수록 학습 시간은 기하급수적으로 증가한다. GRU Node 수를 12개 이상으로 설정할 경우, 학습시간에 비하여 네트워크의 성능 향상도가 저조하기 때문에, 본 발명에서는 GRU Node 수를 12개로 구성할 수 있다.To compare network performance according to the number of GRU Nodes, an experiment was conducted by varying the number of GRU Nodes from 1 to 15. The number of hidden layers is 1 and the number of hidden units is 8. Figure 5(b) shows the results of comparing RMSE according to the number of GRU Nodes and the learning time. As shown in Figure 5(b), it can be seen that network performance improves as the number of GRU Nodes increases, similar to the number of Hidden Units. However, as the number of GRU Nodes increases, the learning time increases exponentially. When the number of GRU Nodes is set to 12 or more, the network performance improvement is low compared to the learning time, so in the present invention, the number of GRU Nodes can be configured to 12.
Hidden Layer의 구성에 따른 네트워크의 성능을 비교하기 위하여 Hidden Layer를 도 6과 같이 9개의 case로 구분하여 각 case별로 실험을 진행하였다. 모든 case에 대해서 총 GRU Node 수는 12개로 동일하게 설정하였으며, Case 1은 GRU Layer는 단일 레이어로 구성하고 모든 Node를 병렬로 연결하였으며, Case 2부터 Case 5까지는 GRU Layer와 각 레이어의 GRU Node와 레이어 수의 곱이 12가 되도록 하여 구성하였고, Case 6부터 Case 9까지는 각 레이어의 GRU Node 수가 다르도록 하여 구성하였다. 각 case별로 네트워크의 성능을 비교한 결과는 Fig. 6과 같다. 표에서 알 수 있듯이, Case 6의 RMSE가 13.59%로 가장 높은 정확도를 나타냈으며, Case 7은 13.85%로 두 번째로 높은 정확도를 나타냈고, Case 9가 가장 낮은 정확도를 나타냈다. 반면에 학습에 소요되는 시간은 GRU Node의 수가 동일하기 때문에 비슷한 시간이 소요되는 것으로 나타났다. 따라서 본 발명에서는 높은 정확도를 유지하면서도 학습시간이 너무 오래 걸리지도 않도록 Hidden Unit을 8개, GRU Node 수는 12개로 설정하고, Hidden Layer의 GRU Node를 층별로 각각 1, 5, 1, 5개로 구성할 수 있다.In order to compare network performance according to the configuration of the hidden layer, the hidden layer was divided into 9 cases as shown in Figure 6, and experiments were conducted for each case. For all cases, the total number of GRU Nodes was set to be the same at 12. In Case 1, the GRU Layer consisted of a single layer and all Nodes were connected in parallel, and from Case 2 to Case 5, the GRU Layer and the GRU Nodes of each layer were connected in parallel. It was configured so that the product of the number of layers was 12, and from Case 6 to Case 9, the number of GRU Nodes in each layer was different. The results of comparing the network performance for each case are shown in Fig. Same as 6. As can be seen in the table, Case 6 had the highest accuracy with an RMSE of 13.59%, Case 7 had the second highest accuracy with 13.85%, and Case 9 had the lowest accuracy. On the other hand, the time required for learning was found to be similar because the number of GRU Nodes was the same. Therefore, in the present invention, the Hidden Unit is set to 8 and the number of GRU Nodes is set to 12 to maintain high accuracy and not take too long learning time, and the GRU Nodes of the Hidden Layer are configured as 1, 5, 1, and 5 for each layer, respectively. can do.
본 발명에 따른 네트워크로 예측한 구조물의 응답과, 단일 노드를 이용하여 예측한 구조물의 응답은 각각 도 8 (a) 와 도 8(b)에 각각 도시되어 있다. 도 8에서 알 수 있듯이, 단일 GRU 노드를 사용하였을 경우에는 구조물의 예측응답이 시뮬레이션 결과와 큰 차이가 나지만, 본 발명에서 제안한 네트워크는 시뮬레이션 결과가 거의 일치하는 결과를 나타내고 있다.The response of the structure predicted by the network according to the present invention and the response of the structure predicted using a single node are shown in Figures 8(a) and 8(b), respectively. As can be seen in Figure 8, when a single GRU node is used, the predicted response of the structure is significantly different from the simulation results, but the network proposed in the present invention shows results that are almost identical to the simulation results.
본 발명에 따르면 인공신경망의 한 종류인 GRU (Gated Recurrent Unit) 네트워크를 활용하여 특정 구조물의 하중에 따른 응답을 자동으로 예측할 수 있다According to the present invention, the response according to the load of a specific structure can be automatically predicted by utilizing the GRU (Gated Recurrent Unit) network, a type of artificial neural network.
본 발명에 따르면 하중의 시계열 데이터 입력을 위한 Input Layer와, GRU Layer, 그리고 응답 데이터를 내보내는 Output Layer로 구성되며, GRU Layer는 Hidden Unit의 수가 8개, GRU Unit의 수가 12개, 그리고 구성이 층별로 각각 1, 5, 1, 5개일 때 가장 높은 정확도를 나타내고 있다.According to the present invention, it consists of an Input Layer for inputting load time series data, a GRU Layer, and an Output Layer for exporting response data. The GRU Layer has 8 Hidden Units, 12 GRU Units, and is configured by layer. The highest accuracy is shown when there are 1, 5, 1, and 5, respectively.
이와 같이, 본 발명에 따른 GRU 기반의 네트워크를 활용하면, 기존의 구조물에 대한 거동 정보를 수집하여 아직 발생하지 않은 가상의 하중에 대한 구조물의 응답을 예측할 수 있다.In this way, by utilizing the GRU-based network according to the present invention, the response of the structure to a virtual load that has not yet occurred can be predicted by collecting behavior information about the existing structure.
또한, 본 발명에 따른 GRU 기반 네트워크는 이론적으로는 선형 시스템뿐만 아니라 비선형 시스템으로의 확장도 용이하여, 복잡한 구조물 시스템의 거동을 유한요소 모델보다 더욱 효과적으로 예측할 수 있다.In addition, the GRU-based network according to the present invention is theoretically easy to expand to non-linear systems as well as linear systems, and can predict the behavior of complex structural systems more effectively than finite element models.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention as described above, specific embodiments have been described. However, various modifications are possible without departing from the scope of the present invention. The technical idea of the present invention should not be limited to the above-described embodiments of the present invention, but should be determined not only by the claims but also by equivalents to the claims.
Claims (8)
GRU(Gated Recurrent Unit)을 사용하여 GRU 네트워크를 구성하되 상기 GRU 네트워크 내의 히든 레이어(Hidden Layer)의 수, 히든 유닛(Hidden Unit)의 수 및 GRU 노드(GRU Node)의 수를 변경하여 상기 GRU 네트워크를 구성하는 제1 단계; 및
상기 GRU 네트워크를 사용하여 구조물의 가해지는 하중에 대한 구조적 응답(Structural Response)을 예측하는 제2 단계;를 포함하고,
상기 제1 단계는, 상기 GRU 네트워크에 소정의 주파수 대역의 에너지를 가지는 BLWN(Band Limited White Noise)로 이루어진 하중 데이터를 입력하고 상기 하중 데이터의 입력에 따른 응답 데이터를 수집하여 상기 GRU 네트워크를 학습시키는 단계;를 더 포함하며,
상기 제1 단계는, 상기 GRU 네트워크의 상기 히든 유닛의 수와 상기 GRU 노드의 수를 변경하여 상기 GRU 네트워크를 구성을 최적화 하며,
상기 제1 단계는, GRU Layer, Fully Connected Layer, Softmax Layer 및 Regression Layer로 상기 GRU 네트워크를 구성하고,
상기 GRU 네트워크를 학습시키는 단계는, 목적 함수(objective function)을 찾는 최적화 함수로서 Adam method를 사용하여 상기 GRU 네트워크를 학습시키며,
상기 제2 단계는, 상기 GRU 기반 구조물의 동적 거동을 측정하여 구조물에 가해지는 하중으로부터 구조적 응답의 예측하기 위하여, 상기 GRU 네트워크 내에 위치한 입력 레이어(Input Layer)가 순차 데이터(sequential data)를 입력받아 정규화 하고, 상기 히든 레이어(Hidden Layer)가 정규분포를 따라 무작위로 설정된 가중치에 상기 정규화된 데이터를 적용하여 예측 데이터를 생성하고, 출력 레이어(Output Layer)가 생성된 상기 예측 데이터를 상기 구조물의 자유도(Degree of Freedom) 개수만큼 순차 데이터 세트로 출력하는 것을 특징으로 하는 GRU 기반 구조물 시계열 응답 예측 방법.
In the GRU-based structure time series response prediction method using a GRU-based structure time series response prediction system that measures the dynamic behavior of the structure and predicts the response from the load applied to the structure,
A GRU network is configured using a GRU (Gated Recurrent Unit), but the GRU network is changed by changing the number of hidden layers, the number of hidden units, and the number of GRU nodes within the GRU network. The first step of configuring; and
A second step of predicting the structural response to the load applied to the structure using the GRU network,
The first step is to input load data consisting of BLWN (Band Limited White Noise) with energy of a predetermined frequency band into the GRU network and collect response data according to the input of the load data to learn the GRU network. It further includes steps;
The first step optimizes the configuration of the GRU network by changing the number of hidden units and the number of GRU nodes of the GRU network,
In the first step, the GRU network is configured with a GRU Layer, Fully Connected Layer, Softmax Layer, and Regression Layer,
The step of training the GRU network involves training the GRU network using the Adam method as an optimization function to find an objective function,
In the second step, in order to measure the dynamic behavior of the GRU-based structure and predict the structural response from the load applied to the structure, an input layer located within the GRU network receives sequential data. normalization, the hidden layer applies the normalized data to randomly set weights according to a normal distribution to generate prediction data, and an output layer applies the generated prediction data to the freedom of the structure. A GRU-based structure time series response prediction method characterized by outputting sequential data sets as many as the number of degrees of freedom.
상기 GRU 네트워크를 학습시키는 단계는,
상기 목적함수를 찾는 adam method를 적용함에 있어서 학습 결과에 과적합이 발생하지 않도록 반복횟수(epoch)를 10,000회로 설정하고, 한번의 학습에 사용되는 데이터의 크기인 배치크기(batch)를 128로 설정하는 것을 특징으로 하는 GRU 기반 구조물 시계열 응답 예측 방법.
In claim 1,
The step of training the GRU network is,
When applying the adam method to find the objective function, the number of repetitions (epoch) is set to 10,000 to prevent overfitting in the learning results, and the batch size, which is the size of data used for one learning, is set to 128. A GRU-based structure time series response prediction method characterized by:
상기 제1 단계는,
상기 히든 유닛(Hidden unit)을 8개, 상기 GRU 노드(GRU node) 수를 12개로 설정하고 각 히든 레이어 층별로 GRU 노드를 구성하며
상기 GRU 기반 네트워크는 비선형 시스템으로 적용되는 것을 특징으로 하는 GRU 기반 구조물 시계열 응답 예측 방법.
In claim 1,
The first step is,
The number of hidden units is set to 8, the number of GRU nodes is set to 12, and a GRU node is configured for each hidden layer layer.
A GRU-based structure time series response prediction method, characterized in that the GRU-based network is applied as a non-linear system.
상기 예측 데이터를 생성하는 단계는,
상기 히든 레이어가 상기 예측 데이터와 응답 데이터의 오차를 이용해 역전파(Backpropagation) 과정을 진행하여 상기 가중치를 수정하는 단계;
를 더 포함하는 GRU 기반 구조물 시계열 응답 예측 방법.
In claim 4,
The step of generating the prediction data is,
The hidden layer correcting the weights by performing a backpropagation process using errors between the prediction data and the response data;
A GRU-based structure time series response prediction method further comprising:
상기 제2 단계의 이후에,
상기 예측된 구조적 응답을 시뮬레이션된 응답과 비교하여 검증하는 제3 단계를 더 포함하며,
상기 제3 단계는, 상기 GRU 네트워크의 히든 레이어(Hidden Layer)의 수, 히든 유닛(Hidden Unit)의 수 또는 GRU 노드의 수를 변경하여 예측된 구조적 응답을 시뮬레이션된 응답과 비교하여 검증하는 GRU 기반 구조물 시계열 응답 예측 방법.
In claim 1,
After the second step,
Further comprising a third step of verifying the predicted structural response by comparing it with the simulated response,
The third step is GRU-based, which verifies the predicted structural response by comparing it with the simulated response by changing the number of hidden layers, hidden units, or the number of GRU nodes of the GRU network. Structure time series response prediction method.
상기 제1 단계는,
상기 GRU 네트워크의 히든 레이어(Hidden Layer)의 수, 히든 유닛(Hidden Unit)의 수 및 GRU 노드(GRU Node)의 수를 변경할 때,
상기 히든 유닛(Hidden Unit) 수는 2부터 9까지 변화시켜며 상기 구조물의 응답 예측을 비교하고, 상기 GRU 노드(GRU Node) 수는 1부터 15까지 변화시키며 상기 구조물의 응답 예측을 비교하는 GRU 기반 구조물 시계열 응답 예측 방법.In claim 1,
The first step is,
When changing the number of hidden layers, hidden units, and GRU nodes of the GRU network,
The number of Hidden Units is varied from 2 to 9 to compare the response predictions of the structure, and the number of GRU Nodes is varied from 1 to 15 and the response predictions of the structure are compared. GRU-based Structure time series response prediction method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210113316A KR102624710B1 (en) | 2021-08-26 | 2021-08-26 | Structural response estimation method using gated recurrent unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210113316A KR102624710B1 (en) | 2021-08-26 | 2021-08-26 | Structural response estimation method using gated recurrent unit |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230033071A KR20230033071A (en) | 2023-03-08 |
| KR102624710B1 true KR102624710B1 (en) | 2024-01-12 |
Family
ID=85507988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210113316A KR102624710B1 (en) | 2021-08-26 | 2021-08-26 | Structural response estimation method using gated recurrent unit |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102624710B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883763B (en) * | 2023-09-06 | 2023-12-12 | 宁德市天铭新能源汽车配件有限公司 | Deep learning-based automobile part defect detection method and system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102269192B1 (en) * | 2020-03-20 | 2021-06-25 | 주식회사 케이아이 | Method And Apparatus for Providing Fault Prevention of Underground Utility Tunnel |
-
2021
- 2021-08-26 KR KR1020210113316A patent/KR102624710B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102269192B1 (en) * | 2020-03-20 | 2021-06-25 | 주식회사 케이아이 | Method And Apparatus for Providing Fault Prevention of Underground Utility Tunnel |
Non-Patent Citations (1)
| Title |
|---|
| 이은호, 딥 러닝 알고리즘을 활용한 랜덤 진동 하중을 받는 보 구조물의 피로 손상률 예측, 과학기술연합대학원대학교, 1-52pages (2020.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230033071A (en) | 2023-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102492318B1 (en) | Model training method and apparatus, and data recognizing method | |
| KR102589303B1 (en) | Method and apparatus for generating fixed point type neural network | |
| US10984308B2 (en) | Compression method for deep neural networks with load balance | |
| US10762426B2 (en) | Multi-iteration compression for deep neural networks | |
| KR102410820B1 (en) | Method and apparatus for recognizing based on neural network and for training the neural network | |
| CN109462520B (en) | Network traffic resource situation prediction method based on LSTM model | |
| US10339447B2 (en) | Configuring sparse neuronal networks | |
| Verstraeten et al. | An experimental unification of reservoir computing methods | |
| KR20200045128A (en) | Model training method and apparatus, and data recognizing method | |
| US20190050734A1 (en) | Compression method of deep neural networks | |
| US9558442B2 (en) | Monitoring neural networks with shadow networks | |
| JP6092477B2 (en) | An automated method for correcting neural dynamics | |
| Narasimha et al. | An integrated growing-pruning method for feedforward network training | |
| US11182676B2 (en) | Cooperative neural network deep reinforcement learning with partial input assistance | |
| JP2017525038A (en) | Decomposition of convolution operations in neural networks | |
| KR20160136381A (en) | Differential encoding in neural networks | |
| KR20200129639A (en) | Model training method and apparatus, and data recognizing method | |
| CN111260124A (en) | Chaos time sequence prediction method based on attention mechanism deep learning | |
| CN103559537B (en) | Based on the template matching method of error back propagation in a kind of out of order data stream | |
| KR20160076531A (en) | Evaluation of a system including separable sub-systems over a multidimensional range | |
| Suryo et al. | Improved time series prediction using LSTM neural network for smart agriculture application | |
| KR102624710B1 (en) | Structural response estimation method using gated recurrent unit | |
| CN113176022A (en) | Segmented neural network pressure sensor pressure detection method and system | |
| US20150112909A1 (en) | Congestion avoidance in networks of spiking neurons | |
| CN109886405A (en) | It is a kind of inhibit noise based on artificial neural network structure's optimization method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |