KR20190109121A - A Unified Deep Learning Model for Time Series Data Prediction - Google Patents
A Unified Deep Learning Model for Time Series Data Prediction Download PDFInfo
- Publication number
- KR20190109121A KR20190109121A KR1020180031088A KR20180031088A KR20190109121A KR 20190109121 A KR20190109121 A KR 20190109121A KR 1020180031088 A KR1020180031088 A KR 1020180031088A KR 20180031088 A KR20180031088 A KR 20180031088A KR 20190109121 A KR20190109121 A KR 20190109121A
- Authority
- KR
- South Korea
- Prior art keywords
- time series
- series data
- deep learning
- data
- neural networks
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Abstract
Description
아래에서 설명할 실시예들은 시계열 데이터를 분석, 예측하기 위한 통합 딥러닝 시스템에 대한 것이다. 다양한 종류의 시계열 데이터를 각 데이터에 가장 적합한 딥러닝을 가능하게 하는 시스템이 개시된다.Embodiments described below relate to an integrated deep learning system for analyzing and predicting time series data. A system is disclosed that enables deep learning of various types of time series data that is best suited for each data.
딥러닝(deep learning), 심층학습은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야일 수 있다.Deep learning, deep learning, is defined as a set of machine learning algorithms that attempt high levels of abstraction through a combination of several nonlinear transformations. It can be a field of machine learning.
컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습 기술일 수 있다. 딥러닝은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킬 수 있다. 딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지, 추론, 판단할 수 있게 될 수 있다. 음성·이미지 인식과 사진 분석 등에 광범위하게 활용될 수 있다. It could be a machine learning technology built on an artificial neural network (ANN) to enable a computer to learn from itself as if it were a human being. Deep learning mimics the information processing method that separates objects after the human brain discovers patterns in a large amount of data, and can train machines to help computers distinguish things. The application of deep learning technology enables computers to recognize, reason, and judge on their own, without having to set all criteria. It can be widely used for voice and image recognition and picture analysis.
아래에서 설명할 실시예들은 다양한 시계열 데이터를 정확하게 예측하는 통합적인 딥러닝 기술을 제공하여 보다 정확하게 데이터를 예측하고자 한다.Embodiments to be described below provide an integrated deep learning technique that accurately predicts various time series data to more accurately predict data.
또한, 부드러운 시계열 데이터, 급격한 변화 패턴이 있는 시계열 데이터, 주기적인 변화를 갖는 시계열 데이터를 학습할 수 있도록 별도의 딥러닝 모델을 학습하고자 한다. 기존의 시계열 데이터를 선행학습 시켜서 새로운 학습데이터가 입력 되는 경우에도 적은 학습 데이터로 정확하게 분류하고 예측하는 기술을 제공하고자 한다.In addition, we will learn a separate deep learning model to learn smooth time series data, time series data with a sudden change pattern, and time series data with periodic changes. By pre-learning the existing time series data, we will provide a technology that accurately classifies and predicts a small amount of learning data even when new learning data is input.
일 측에 따른 통합 딥러닝 분석 방법은 시계열 데이터를 수신하는 단계; 상기 시계열 데이터를 주파수 도메인으로 변환하여 주파수 데이터를 생성하는 단계; 상기 시계열 데이터를 입력 받는 복수의 제1 신경망들 및 상기 주파수 데이터를 입력 받는 복수의 제2 신경망들을 이용하여, 상기 시계열 데이터에 대응하는 특징들을 생성하는 단계; 적어도 하나의 출력 카테고리에 대응하여 상기 생성된 특징들을 조합하는 단계; 및 상기 조합된 특징에 기초하여, 상기 적어도 하나의 출력 카테고리의 결과 데이터를 출력하는 단계를 포함한다.Integrated deep learning analysis method according to one side comprises the steps of receiving time series data; Generating frequency data by converting the time series data into a frequency domain; Generating features corresponding to the time series data using the plurality of first neural networks receiving the time series data and the plurality of second neural networks receiving the frequency data; Combining the generated features corresponding to at least one output category; And based on the combined feature, outputting result data of the at least one output category.
상기 조합하는 단계는 상기 적어도 하나의 출력 카테고리에 대응하여 상기 생성된 특징들을 조합하기 위한 가중치 정보가 기 학습된 주의집중 레이어(attention layer)를 이용하여, 상기 생성된 특징들을 조합하는 단계를 포함할 수 있다.The combining may include combining the generated features using an attention layer in which weight information for combining the generated features corresponding to the at least one output category is previously learned. Can be.
상기 적어도 하나의 출력 카테고리는 설비 진단을 위한 제1 출력 카테고리; 설비 제어를 위한 제2 출력 카테고리; 및 변화 예측을 위한 제3 출력 카테고리 중 적어도 하나를 포함 할 수 있다.The at least one output category comprises a first output category for facility diagnostics; A second output category for facility control; And a third output category for change prediction.
상기 시계열 데이터는 다중 시계열 데이터를 포함 할 수 있다.The time series data may include multiple time series data.
상기 제1 신경망들 및 상기 제2 신경망들은 각각 합성곱 신경망(CNN), 그룹 합성곱 신경망, 및 순환 신경망(RNN) 중 적어도 하나를 포함 할 수 있다.The first neural networks and the second neural networks may each include at least one of a convolutional neural network (CNN), a group convolutional neural network, and a cyclic neural network (RNN).
상기 제1 신경망들 및 상기 제2 신경망들은 서로 동일한 유형의 신경망들을 포함 할 수 있다.The first neural networks and the second neural networks may include neural networks of the same type.
상기 시계열 데이터는 시간의 흐름에 따른 변화하는 변수 정보를 포함 할 수 있다.The time series data may include variable information that changes with time.
상기 시계열 데이터는 학습 시계열 데이터를 포함 할 수 있다. 상기 통합 딥러닝 분석 방법은 상기 출력된 결과 데이터와 상기 학습 시계열 데이터에 태깅된 데이터의 차이에 기초하여, 상기 제1 신경망들 및 상기 제2 신경망들 중 적어도 일부를 학습하는 단계를 더 포함 할 수 있다. 상기 통합 딥러닝 분석 방법은 상기 출력된 결과 데이터와 상기 학습 시계열 데이터에 태깅된 데이터의 차이에 기초하여, 상기 주의집중 레이어를 학습하는 단계를 더 포함 할 수 있다.The time series data may include learning time series data. The integrated deep learning analysis method may further include learning at least some of the first neural networks and the second neural networks based on a difference between the output result data and the data tagged in the learning time series data. have. The integrated deep learning analysis method may further include learning the attention concentration layer based on a difference between the output result data and the data tagged in the learning time series data.
일 측에 따른 통합 딥러닝 분석 장치는 시계열 데이터를 수신하는 수신부; 및 상기 시계열 데이터를 주파수 도메인으로 변환하여 주파수 데이터를 생성하고; 상기 시계열 데이터를 입력 받는 복수의 제1 신경망들 및 상기 주파수 데이터를 입력 받는 복수의 제2 신경망들을 이용하여, 상기 시계열 데이터에 대응하는 특징들을 생성하며; 적어도 하나의 출력 카테고리에 대응하여 상기 생성된 특징들을 조합하고; 상기 조합된 특징에 기초하여, 상기 적어도 하나의 출력 카테고리의 결과 데이터를 출력하는 제어부를 포함한다.Integrated deep learning analysis device according to one side receiving unit for receiving time series data; And converting the time series data into a frequency domain to generate frequency data; Generating features corresponding to the time series data using the plurality of first neural networks receiving the time series data and the plurality of second neural networks receiving the frequency data; Combine the generated features corresponding to at least one output category; And a controller for outputting result data of the at least one output category based on the combined feature.
상기 통합 딥러닝 분석 장치는 상기 제1 신경망들의 선행 학습을 통하여 결정된 제1 파라미터들 및 상기 제2 신경망들의 선행 학습을 통하여 결정된 제2 파라미터들을 저장하는 저장부를 더 포함 할 수 있다.The integrated deep learning analysis apparatus may further include a storage configured to store first parameters determined through prior learning of the first neural networks and second parameters determined through prior learning of the second neural networks.
상기 제어부는 상기 적어도 하나의 출력 카테고리에 대응하여 상기 생성된 특징들을 조합하기 위한 가중치 정보가 기 학습된 주의집중 레이어(attention layer)를 이용하여, 상기 생성된 특징들을 조합 할 수 있다.The controller may combine the generated features using an attention layer in which weight information for combining the generated features corresponding to the at least one output category is previously learned.
실시예들에 따른 통합 분석 딥러닝 시스템은 시계열 데이터의 특성이 각기 다른 경우에도, 하나의 통합 딥러닝 시스템을 통해 정확하게 예측가능 할 수 있다. 그룹 합성곱 신경망을 이용하여 다중 시계열 데이터의 경우에도 빠르고 정확한 예측을 할 수 있다.The integrated analytics deep learning system according to the embodiments may be accurately predictable through one integrated deep learning system even when the characteristics of time series data are different. The group convolutional neural network enables fast and accurate prediction even in the case of multiple time series data.
또한, 학습데이터가 부족한 경우에도 통합 딥러닝 시스템을 미리 학습 시켜 놓음으로써, 적은 학습 데이터로 정확하게 분류하고 예측 가능한 바, 수요처의 부담을 감소시킬 수 있다.In addition, even when there is a lack of learning data, the deep learning system is trained in advance so that it is possible to accurately classify and predict a small amount of learning data, thereby reducing the burden on the demand source.
도 1은 일 실시예에 따른 시계열 데이터를 통합적으로 분석하는 딥러닝 모델을 도시한 도면
도 2는 일 실시예에 따른 통합 딥러닝 장치를 도시한 도면.
도3은 일 실시예에 따른 역전파를 이용한 통합 딥러닝 방법을 도시한 도면.
도 4는 일 실시예에 따른 통합 딥러닝 분석 방법을 도시한 순서도.
도 5는 일 실시예에 따른 통합 딥러닝 분석 장치를 도시한 도면.1 is a diagram illustrating a deep learning model for collectively analyzing time series data, according to an exemplary embodiment.
2 illustrates an integrated deep learning apparatus according to an embodiment.
3 illustrates an integrated deep learning method using backpropagation according to an exemplary embodiment.
4 is a flowchart illustrating an integrated deep learning analysis method according to an embodiment.
5 illustrates an integrated deep learning analysis apparatus according to an embodiment.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. However, various changes may be made to the embodiments so that the scope of the patent application is not limited or limited by these embodiments. It is to be understood that all changes, equivalents, and substitutes for the embodiments are included in the scope of rights.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of description only and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components regardless of reference numerals will be given the same reference numerals and duplicate description thereof will be omitted. In the following description of the embodiment, when it is determined that the detailed description of the related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings.
딥러닝(deep learning), 심층학습은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야일 수 있다.Deep learning, deep learning, is defined as a set of machine learning algorithms that attempt high levels of abstraction through a combination of several nonlinear transformations. It can be a field of machine learning.
컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습 기술일 수 있다. 딥러닝은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킬 수 있다. 딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지, 추론, 판단할 수 있게 될 수 있다. 음성·이미지 인식과 사진 분석 등에 광범위하게 활용될 수 있다It could be a machine learning technology built on an artificial neural network (ANN) to enable a computer to learn from itself as if it were a human being. Deep learning mimics the information processing method that separates objects after the human brain discovers patterns in a large amount of data, and can train machines to help computers distinguish things. The application of deep learning technology enables computers to recognize, reason, and judge on their own, without having to set all criteria. Widely used for voice and image recognition and picture analysis
기계학습은 기계가 방대한 샘플 데이터를 분석하고, 훈련 데이터를 반복하여, 규칙, 규정, 표현, 조건, 판단 기준 등을 스스로 추출한 후 데이터베이스에 축적해 학습할 수 있다. 인식 및 분석이 필요한 데이터가 입력된 경우, 기계는 축적된 데이터베이스를 근거로 데이터를 분석하고 식별하고 관계성을 생각하고 예측하며, 인간이 평소에 하는 '생각하는' 작업을 대체할 수 있다.In machine learning, the machine analyzes a large amount of sample data, repeats the training data, extracts rules, regulations, expressions, conditions, and judgment criteria, and accumulates them in a database. When data that needs recognition and analysis is entered, the machine can analyze, identify, relate and predict data based on accumulated databases, and replace humans' usual 'thinking'.
신경망은 기계학습의 한 종류로, 인간의 뇌를 모방한 기술 일 수 있다. 신경망은 사물의 '특징값'을 추출하여, 인간과 비슷한 방법으로 학습을 할 수 있다. 예를 들어, 인간은 인간의 뇌가 지금까지의 경험을 통해 개인지 고양이인지를 판단하기 위한 '특징'을 학습해서 가지고 있고, 그것을 기반으로 몇 개의 이미지를 보고 '개'와 '고양이'로 분류할 수 있다.Neural networks are a type of machine learning that can mimic the human brain. The neural network can extract the 'feature' of a thing and learn in a similar way to humans. For example, humans have learned to characterize whether the human brain is a personal cat through the experience so far, and based on it, look at some images and classify them as 'dog' and 'cat'. can do.
신경망에서는 대상을 식별하기 위해 인간이 제시한 규칙이 아니라 특징값을 산출할 수 있다. 특징값을 '개'라고 가르치면 개로 분류할 수 있다. 반복하면 기계 스스로가 특징값을 산출해 개로 분류할 정보가 늘어날 수 있다. 컴퓨터가 다루는 특징값은 벡터 형태의 수치일 수 있다. 특징들은 훈련을 통해 기계가 자동으로 학습하기 때문에 개발자는 기존과 같이 세세한 규칙을 정의해야 하는 업무에서 해방될 수 있다. 이미지를 입력하면 그 이미지의 특징값을 컴퓨터가 분석해 개의 특징값 내 범위와 일치할 경우 개라고 판단하고, 고양이의 특징값과 일치할 경우 고양이라고 판단해 분류할 수 있다. 개를 판단하는 특징값을 인간이 만들어서 제공한 것이 아니라 기계가 학습을 통해 스스로 계산할 수 있다.In neural networks, feature values can be calculated rather than human-proposed rules for identifying objects. Teaching a feature value as a dog can be classified as a dog. By repeating, the machine itself can calculate feature values and increase the information that can be categorized into dogs. The feature value handled by the computer may be a numerical value in the form of a vector. Features are automatically learned by the machine through training, freeing the developer from the task of defining detailed rules. When the image is input, the computer analyzes the feature value of the image and determines that it is a dog if it matches the range within the dog's feature value, and classifies it as a cat if it matches the cat's feature value. Rather than providing a human-made feature value for judging a dog, the machine can calculate itself through learning.
신경망은 입력층, 출력층, 및 중간층을 포함할 수 있다. 중간층은 은닉층이라 할 수 있다. 중간층이 있으면 처리를 담당하는 뉴런군의 층이 증가할 수 있다. 중간층에 다층 뉴런 층을 가지는 것을 심층 신경망이라 할 수 있다. 심층 신경망에서 이뤄지는 기계학습을 딥러닝이라 할 수 있다. 더 많은 데이터를 훈련시켜 처리하기 위해 중간층을 더욱 다층화시킬 수 있다. 중간층이 과다하게 다층화되면, 파라미터의 수가 너무 많아지고, 뉴런이 많고 복잡해져 아무 관계도 없던 결합이 늘어나 과적합(over-fitting)될 수 있다. 과적합으로 인해 성능이 저하될 수 있다. 합성곱 신경망(CNN: Convolution Neural Network)이 문제를 해결할 수 있다.The neural network may include an input layer, an output layer, and an intermediate layer. The intermediate layer may be referred to as a hidden layer. The presence of the intermediate layer can increase the layer of neurons responsible for processing. Having a multilayer neuron layer in the intermediate layer can be referred to as a deep neural network. Machine learning in deep neural networks is called deep learning. The middle layer can be further multilayered to train and process more data. If the intermediate layer is excessively multilayered, the number of parameters may be too large, the neurons may be large and complex, and unrelated bonds may increase and over-fitting. Overfitting can degrade performance. Convolution Neural Networks (CNNs) can solve this problem.
합성곱 신경망은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용할 수 있다. CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여줄 수 있다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다Multiplication neural networks are a type of multilayer perceptrons designed to use minimal preprocessing. The CNN consists of one or several convolutional layers and common artificial neural network layers on top of them, and can further utilize weights and pooling layers. CNN can fully utilize the input data of the two-dimensional structure. Compared to other deep learning architectures, CNN can perform well in both video and audio. CNNs can also be trained through standard reverse propagation. CNN is easier to train than other feedforward neural network techniques and has the advantage of using fewer parameters.
일 실시예에 따른 합성곱 신경망은 이미지의 일부 영역을 분석하고, 그 영역의 창을 미끄러지듯 옮겨 다음 영역, 그리고 다음 영역으로 반복해 나갈 수 있다. 파악한 이미지 영역의 정보를 모든 뉴런으로 전파하지 않고, 관계성이 높은 뉴런에만 전파할 수 있다. 이를 통해 과적합 문제를 해결할 수 있다.The convolutional neural network according to an exemplary embodiment may analyze a portion of an image, and slide a window of the region to repeat the next region and the next region. Instead of propagating the information of the identified image area to all neurons, it can propagate only to highly related neurons. This can solve the problem of overfitting.
시계열 데이터 분석에 높은 성능을 보이는 리커런트 신경망(RNN: Recurrent Neural Network)은 입력층, 중간층, 출력층을 포함할 수 있는데, 현재 중간층의 값이 다음 출력층의 계산에 영향을 줄 수 있다. 리커런트 신경망은 중간층의 노드가 방향을 가진 엣지로 연결돼 순환구조를 이루는(directed cycle) 인공신경망의 한 종류일 수 있다. 리커런트 신경망의 핵심은 노드간, 층간 최적 파라미터를 찾는 것일 수 있다. 리커런트 신경망을 양방향 리커런트 신경망으로 확장할 수 있다. 양방향 리커런트 신경망은 순서 데이터를 모델링할 때, 현재 순서 데이터가 전 데이터뿐만 아니라 후 데이터에 영향을 받을 수 있다. 단방향 리커런트 신경망이 전 데이터와 현재 데이터만 참조하는 것과는 달리, 양방향 리커런트 신경망은 전 데이터와 후 데이터 그리고 현재 데이터를 모두 참조할 수 있다.Recurrent Neural Networks (RNNs), which perform well in time series data analysis, can include an input layer, a middle layer, and an output layer. The value of the current middle layer can influence the calculation of the next output layer. Recurrent neural networks may be a type of artificial neural network in which nodes in the middle layer are connected to directional edges to form a circulatory structure. The key to recurrent neural networks may be to find optimal parameters between nodes and layers. Recursive neural networks can be extended to bidirectional recursive neural networks. In the bidirectional recurrent neural network modeling ordinal data, the current ordinal data may be affected not only by the preceding data but also by the later data. Unlike a unidirectional recurrent neural network referencing only the front data and the current data, a bidirectional recurrent neural network can refer to both the front data, the back data and the current data.
시계열 데이터는 시간의 경과와 함께 일정한 간격마다 관측 값이 기록되어 있는 데이터일 수 있다. 시계열 데이터 분석 기법은 금융, 군사, 제조 등 많은 분야에서 사용될 수 있다. 시계열 데이터를 정확하게 분석하는 것은 금융 예측, 제조 진단 등에 매우 중요할 수 있다. 예를 들어, 발전소의 대형 시스템에서 입력되는 신호를 정확하게 예측하면, 고장을 예측하고 정비주기를 정확하게 산정하여 사고의 위험을 줄일 뿐만 아니라, 정비의 비용을 현저하게 줄일 수 있다. 다중 시계열 데이터는 시간에 따라 변화하는 다수의 변수의 기록일 수 있다. 예를 들어 다중 시계열 데이터는 시간별 다수의 주식 가격, 시간별 다수의 환율의 변화를 포함할 수 있다. 시계열 데이터는 지속성이 있을 수 있다. 예를 들어, 사람들은 각 단어를 이전 단어들에 기반을 두어 이해할 수 있고, 이전 비디오 프레임들이 현재 프레임을 이해하는 데 영향을 미칠 수도 있다. 정적 데이터와 달리 시계열 데이터는 여러 특성이 있을 수 있다. 예를 들어, 시간의 경과에 따라 상대적으로 부드럽게 변화하는 시계열 데이터가 있을 수 있고, 급변하게 변하는(고주파) 시계열 데이터가 있을 수 있다. 또한, 특정 패턴을 반복하는 시계열 데이터가 있을 수 있다.The time series data may be data in which observation values are recorded at regular intervals with time. Time series data analysis techniques can be used in many fields, such as finance, military, and manufacturing. Accurately analyzing time series data can be critical for financial forecasting, manufacturing diagnostics, and more. For example, accurately predicting signals from large systems in power plants can predict failures and accurately estimate maintenance intervals, reducing the risk of an accident and significantly reducing maintenance costs. Multiple time series data may be a record of a number of variables that change over time. For example, multiple time series data can include multiple stock prices over time and multiple exchange rates over time. Time series data may be persistent. For example, people may understand each word based on previous words and may influence previous video frames to understand the current frame. Unlike static data, time series data can have several characteristics. For example, there may be time series data that changes relatively smoothly over time, and there may be time series data that changes rapidly (high frequency). There may also be time series data that repeats a particular pattern.
딥러닝 기술의 발전으로 인해 정적인 데이터의 분석뿐만 아니라, 시계열 데이터도 분석 및 예측할 수 있다. 시계열 데이터를 딥러닝을 통해 신뢰성 높은 분석 및 예측 결과를 얻으려면 많은 양의 학습 데이터가 필요하다는 제약이 있을 수 있다. 현실적으로 많은 데이터를 구하기가 어렵거나 시간이 오래 걸릴 수 있다. 각각의 시계열 데이터에 따라 적합한 딥러닝 알고리즘이 다를 수 있다. 부적합한 딥러닝 알고리즘에 시계열 데이터를 입력 한 경우, 원하는 결과를 얻기 어려울 수 있다. 시계열 데이터의 특성별로 적합한 딥러닝 알고리즘이 다르고, 학습 데이터가 부족한 경우가 많다는 문제가 있을 수 있다. 학습 데이터가 적은 경우에도, 시계열 데이터의 특성에 관계없이 신뢰성 높은 결과를 출력할 수 있는 통합 딥러닝 모델이 필요할 수 있다.Advances in deep learning technology enable not only static data analysis, but also time series data analysis and prediction. The limitation of deep learning of time series data is that a large amount of training data is required to obtain reliable analysis and prediction results. In reality, much data can be difficult or time-consuming. Different deep time algorithms may be suitable for different time series data. If you enter time series data into an inadequate deep learning algorithm, you may find it difficult to achieve the desired results. There may be a problem that different deep learning algorithms are suitable for different characteristics of the time series data, and that the training data is often insufficient. Even if the training data is small, an integrated deep learning model that can output reliable results regardless of the characteristics of the time series data may be required.
일 실시예에 따른 통합 딥러닝 모델은 다양한 훈련용 시계열 데이터(혹은 학습 시계열 데이터)를 이용하여 선행학습을 시킬 수 있다. 시계열 데이터뿐만 아니라, 시계열 데이터를 주파수 도메인으로 변환한 주파수 데이터도 학습시킬 수 있다. 시계열 데이터의 주파수 측면에서 의미 있는 결과도 얻을 수 있다. 훈련용 시계열 데이터로, 공개된 시계열 데이터를 사용할 수 있다. 많은 데이터를 넣고 선행 학습을 시키면, 의미 있는 파라미터 값을 가지는 피쳐맵을 얻을 수 있다. The integrated deep learning model according to an embodiment may perform preliminary learning using various training time series data (or learning time series data). In addition to the time series data, frequency data obtained by converting the time series data into the frequency domain can be learned. Meaningful results can also be obtained in terms of the frequency of the time series data. As training time series data, publicly available time series data can be used. If you put a lot of data and do the previous learning, you can get a feature map with meaningful parameter values.
일 실시예에 따르면, 의미 있는 피쳐맵이 작성된 이후, 분석 및 예측하고자 하는 새로운 시계열 데이터를 추가적으로 학습시킬 수 있다. 이미 어느 정도 의미 있는 피쳐맵이 완성된 후에 학습하기 때문에, 적은 양의 데이터를 가지고도 신뢰성 높은 결과를 얻을 수 있다. According to an embodiment, after a meaningful feature map is created, new time series data to be analyzed and predicted may be additionally learned. Since some meaningful feature maps are already learned after completion, reliable results can be obtained with a small amount of data.
통합 딥러닝 모델은 복수개의 딥러닝 알고리즘을 포함한다. 시계열 데이터의 종류에 상관없이 알맞은 딥러닝 알고리즘을 적용할 수 있다.The integrated deep learning model includes a plurality of deep learning algorithms. Regardless of the type of time series data, a suitable deep learning algorithm can be applied.
도 1은 일 실시예에 따른 시계열 데이터를 통합적으로 분석하는 딥러닝 모델을 도시한 도면이다.1 is a diagram illustrating a deep learning model for comprehensively analyzing time series data, according to an exemplary embodiment.
도 1을 참조하면, 일 실시예에 따른 시계열 데이터를 통합적으로 분석하는 딥러닝 모델은 통합 딥러닝 레이어(130), 퓨전 레이어(140), 및 출력 레이어(150)를 포함할 수 있다. 시계열 데이터(110)와 시계열 데이터를 주파수 변환한 주파수 데이터(120)가 통합 딥러닝 레이어(130)에 입력될 수 있다. 통합 딥러닝 레이어(130)는 복수개의 딥러닝 알고리즘이 적용된 복수개의 신경망들을 포함할 수 있다. Referring to FIG. 1, a deep learning model that integrally analyzes time series data according to an embodiment may include an integrated
입력 데이터가 통합 딥러닝 레이어(130)를 통과하면 시계열 데이터에 대응하는 복수개의 특징들이 생성될 수 있다. 생성된 특징들은 퓨전 레이어(140)로 입력될 수 있다. 퓨전 레이어(140)는 적어도 하나의 출력 카테고리에 대응하여 특징들을 조합할 수 있다. 출력 카테고리는 설비 진단을 위한 제1 출력 카테고리, 설비 제어를 위한 제2 출력 카테고리, 변화 예측을 위한 제3 출력 카테고리, 및 이들의 다양한 조합 등을 포함할 수 있다. When the input data passes through the integrated
통합 딥러닝 분석 모델은 특정 서비스에 대한 결과를 출력할 수 있다. 예를 들어, 딥러닝 알고리즘의 정량적인 출력 값을 물의 수위 예측, 음성 인식, 주가 예측, 고장의 설비 진단 및 고장 예측에 대한 구체적인 분석 및 예측에 대한 결과로 출력할 수 있다.The integrated deep learning analysis model can output the results for a specific service. For example, the quantitative output value of the deep learning algorithm may be output as a result of detailed analysis and prediction of water level prediction, voice recognition, stock price prediction, facility diagnosis and failure prediction of a failure.
일 예로, 통합 딥러닝 레이어(130)에 포함된 다양한 신경망들 중 특정 카테고리의 출력 정보를 도출하는데 기여도가 높은 신경망이 기여도가 낮은 신경망에 비하여 더 높은 가중치를 가지도록 퓨전 레이어(140)가 기 학습될 수 있다. 퓨전 레이어(140)는 통합 딥러닝 레이어(130)에 포함된 복수의 신경망들 중 어느 신경망에 더 높은 주의를 기울여야 하는지 여부를 결정한다는 측면에서, 주의집중 레이어(attention layer)라고 지칭될 수 있다. 퓨전 레이어(140) 및 통합 딥러닝 레이어(130)를 학습하는 학습 페이즈의 동작은 도 3을 통하여 후술한다.For example, the
통합 딥러닝 레이어에 포함된 신경망들은 합성곱 신경망(CNN), 그룹 합성곱 신경망, 순환 신경망, 및 이들의 다양한 조합 등을 포함할 수 있다.The neural networks included in the integrated deep learning layer may include composite product neural networks (CNNs), group composite product neural networks, cyclic neural networks, various combinations thereof, and the like.
정적 데이터와 달리 시계열 데이터는 여러 특성이 있을 수 있다. 예를 들어, 시간의 경과에 따라 상대적으로 부드럽게 변화하는 시계열 데이터가 있을 수 있고, 급변하게 변하는(고주파) 시계열 데이터가 있을 수 있다. 예를 들어, 부드럽게 변하는 시계열 데이터는 시간에 따른 국제 유가 혹은 주가일 수 있다. 급변하게 변하는 시계열 데이터는 진동이 있는 음성이 있을 수 있다. 또한, 특정 패턴을 반복하는 시계열 데이터가 있을 수 있다. 예를 들어, 뇌파 데이터는 특정 패턴들을 반복할 수 있다. 상기 특성에 따라 각각의 시계열 데이터에 적합한 딥러닝 알고리즘이 다를 수 있다.Unlike static data, time series data can have several characteristics. For example, there may be time series data that changes relatively smoothly over time, and there may be time series data that changes rapidly (high frequency). For example, smoothly changing time series data may be international oil prices or stock prices over time. The rapidly changing time series data may have a voice with vibration. There may also be time series data that repeats a particular pattern. For example, EEG data can repeat certain patterns. Depending on the characteristics, the deep learning algorithm suitable for each time series data may be different.
예를 들어, 시간의 경과에 따라 상대적으로 부드럽게 변화하는 시계열 데이터는 장단기 메모리 순환 신경망을 포함하는 순환 신경망이 적합하게 사용될 수 있다. 급변하게 변하는 시계열 데이터는 주파수 도메인으로 변환시켜 이미지 형식으로 표현될 수 있어, 합성곱 신경망 혹은 그룹 합성곱 신경망이 적합할 수 있다. 정 패턴을 반복하는 시계열 데이터는 합성곱 신경망(CNN) 혹은 그룹 합성곱 신경망이 적합할 수 있다.For example, a cyclic neural network including short and long-term memory cyclic neural networks may be suitably used as time series data that changes relatively smoothly over time. Rapidly changing time series data may be converted into a frequency domain and represented in an image format, such that a convolutional neural network or a group convolutional neural network may be suitable. Time series data that repeats a positive pattern may be suitable for a convolutional neural network (CNN) or a group convolutional neural network.
한 종류의 딥러닝 알고리즘으로 구성된 모델의 경우, 한 가지 특성의 시계열 데이터만 학습할 수 있다. 다른 특성의 시계열 데이터를 이용하는 경우 신뢰성 높은 결과를 얻지 못할 수 있다. 예를 들어, 합성곱 신경망만 존재하는 모델의 경우, 뇌파 데이터의 분석에 있어서 원하는 결과를 얻을 수 있지만, 시간에 따른 국제 유가 분석 및 예측에 있어서 원하는 결과를 얻지 못할 수 있다. For models consisting of one type of deep learning algorithm, only one characteristic of time series data can be learned. When using time series data of different characteristics, reliable results may not be obtained. For example, a model in which only a multiplicative neural network exists may obtain a desired result in analyzing EEG data, but may not obtain a desired result in analyzing and predicting international oil price over time.
일 실시예에 다른 통합 딥러닝 모델을 사용하는 경우, 각 시계열 데이터에 적합한 딥러닝 알고리즘을 통해 학습 할 수 있다. 특히, 시계열 데이터를 주파수 도메인으로 변환하여 시간 도메인뿐만 아니라 주파수 도메인 차원에서 학습을 통해 분석 및 예측을 할 수 있다.If another integrated deep learning model is used in one embodiment, it may be learned through a deep learning algorithm suitable for each time series data. In particular, by converting time series data into the frequency domain, analysis and prediction can be performed through learning in the frequency domain as well as the time domain.
도 2는 일 실시예에 따른 통합 딥러닝 장치를 도시한 도면이다.2 is a diagram illustrating an integrated deep learning apparatus according to an exemplary embodiment.
도 2를 참조하면, 일 실시예에 따른 통합 딥러닝 장치는 RNN1(231), RNN2(232), CNN1(233), 및 CNN2(234)를 포함할 수 있다. RNN1(231), RNN2(232), CNN1(233), 및 CNN2(234)는 도 1의 통합 딥러닝 레이어(130)에 대응할 수 있다.2, an integrated deep learning apparatus according to an embodiment may include an
시계열 데이터(210)는 RNN1(231)과 CNN1(233)에 입력될 수 있다. 시계열 데이터를 주파수 변환한 주파수 데이터(220)는 RNN2(232)와 CNN2(234)에 입력될 수 있다. 도 2의 실시예에 따른 구조를 통하여, 통합 딥러닝 모델은 시계열 데이터(210)뿐만 아니라 주파수 데이터(220)를 학습시킬 수 있어 다양한 데이터를 정확하게 분석할 수 있다.The
통합 딥러닝 장치는 FCL(240)을 포함한다. FCL(240)은 도 1의 퓨전 레이어(140)에 대응할 수 있다. 또한, 통합 딥러닝 장치는 설비 진단을 위한 제1 출력 레이어(251), 설비 제어를 위한 제2 출력 레이어(252), 및 변화 예측을 위한 제3 출력 레이어(253)를 포함할 수 있다. 제1 출력 레이어(251), 설비 제어를 위한 제2 출력 레이어(252), 및 변화 예측을 위한 제3 출력 레이어(253)는 도 1의 출력 레이어(150)에 대응할 수 있다.The integrated deep learning apparatus includes an
도 3은 일 실시예에 따른 역전파를 이용한 통합 딥러닝 방법을 도시한 도면이다.3 illustrates an integrated deep learning method using backpropagation according to an exemplary embodiment.
도 3을 참조하면, 통합 딥러닝 모델은 통합 립러닝 레이어(330), 퓨전 레이어(340), 및 출력 레이어(350)를 포함한다. 통합 립러닝 레이어(330), 퓨전 레이어(340), 및 출력 레이어(350)는 도 1의 통합 립러닝 레이어(130), 퓨전 레이어(140), 및 출력 레이어(150)에 그대로 대응하므로, 보다 상세한 설명은 생략한다.Referring to FIG. 3, the integrated deep learning model includes an integrated
학습 페이즈에서, 시계열 데이터(310)는 레이블(370)이 태깅되어 수신될 수 있다. 레이블(370)은 출력 레이어(350)에서 출력되는 결과 데이터가 지향하는 정답(ground truth)으로 활용될 수 있다. 예를 들어, 현재 상태에서 통합 딥러닝 레이어(330), 및 퓨전 레이어(340)의 파라미터에 기초하여, 시계열 데이터(310) 및 주파수 데이터(320)로부터 결과 데이터가 출력될 수 있다. 파라미터는 신경망에 포함된 노드들 사이를 연결하는 시냅스의 가중치 등을 포함할 수 있다.In the learning phase,
출력된 결과 데이터는 레이블(370)과 비교됨으로써 로스(360)가 생성될 수 있다. 생성된 로스에 기초하여, 역전파 학습 기법을 통하여 퓨전 레이어(340) 및 통합 딥러닝 레이어(330)가 학습될 수 있다. 경우에 따라, 출력 레이어(350)도 함께 학습될 수 있다. 학습을 통하여 신경망에 포함된 노드들 사이를 연결하는 시냅스의 가중치 등이 갱신될 수 있다.The output result data may be compared with the
도 4는 일 실시예에 따른 통합 딥러닝 분석 방법을 도시한 순서도이다.4 is a flowchart illustrating an integrated deep learning analysis method according to an exemplary embodiment.
도 4를 참조하면, 일 실시예에 따른 통합 딥러닝 분석 방법은 선행 학습시키는 단계와, 선행 학습된 결과를 이용하여 실제로 이용하고자 하는 시계열 데이터 학습을 통한 분석 및 예측하는 단계를 포함한다. 시계열 데이터는 시간의 흐름에 따른 물의 수위, 음성, 센서, 매출, 주식, 금리 중 적어도 하나를 포함할 수 있다. 시계열 데이터는 다중 시계열 데이터를 포함할 수 있다. Referring to FIG. 4, the integrated deep learning analysis method according to an exemplary embodiment includes pre-learning and analyzing and predicting the data through time-series data learning to be actually used using the pre-learned results. The time series data may include at least one of water level, voice, sensor, sales, stocks, and interest rates over time. The time series data may include multiple time series data.
딥러닝을 통해 신뢰성 높은 결과를 얻기 위해서는, 많은 양의 데이터를 이용하여 학습하여야 한다. 많은 양의 데이터를 학습시키려면 오랜 시간이 걸리 수 있다. 모든 사람이 충분한 양의 데이터를 가지고 있지 않을 수 있고, 좀 더 짧은 시간에 결과를 얻고자 할 수 있다. 딥러닝 알고리즘을 선행학습 시켜, 의미 있는 피쳐맵을 생성할 수 있다면, 적은 양의 데이터를 가지고 보다 짧은 시간에 신뢰성 높은 결과를 얻을 수 있다. 실제로 이용하고자 하는 시계열 데이터를 학습시키기 전에, 훈련용 데이터를 이용하여 선행학습 시킬 수 있다. 훈련용 데이터는 이미 공개되어 공중이 이용 가능한 공개 데이터일 수 있다. To get reliable results through deep learning, you need to learn from a large amount of data. Learning a large amount of data can take a long time. Not everyone has enough data, and you may want to get results in a shorter time. If you can learn deep learning algorithms to produce meaningful feature maps, you can get reliable results in less time with less data. Before learning the time series data to be used in practice, the training data can be used to pre-learn. Training data may be public data that has already been made public and available to the public.
선행 학습시키는 단계는 학습 시계열 데이터를 수신하는 단계(400), 학습 시계열 데이터를 이용하여 학습 주파수 데이터를 생성하는 단계(410), 및 학습 시계열 데이터와 학습 주파수 데이터를 이용하여 피쳐맵을 생성하는 단계(420)를 포함한다. 학습 주파수 데이터는 학습 시계열 데이터를 푸리에 변환(Fourier transform) 하여 얻을 수 있다. The pre-training step includes receiving 400 training time series data, generating training frequency data using the training time series data, and generating feature maps using the training time series data and the training frequency data. 420. The learning frequency data can be obtained by Fourier transforming the learning time series data.
선행 학습된 결과를 이용하여 실제로 이용하고자 하는 새로운 시계열 데이터 학습을 통한 분석 및 예측하는 단계는 시계열 데이터를 수신하는 단계(430), 수신한 시계열 데이터를 이용하여 주파수 데이터를 생성하는 단계(440), 학습된 피쳐맵 데이터와 시계열 데이터 및 주파수 데이터를 상기 통합 딥러닝 장치의 입력으로 이용하여 특징들을 출력하는 단계(450)를 포함한다.Analyzing and predicting the new time series data through actual learning using the previously learned results may include receiving time series data (430), generating frequency data using the received time series data (440), And outputting
일 실시예에 따른 통합 딥러닝 분석 방법은 특징들을 입력으로 받아 미리 정해진 가중치에 기초하여 상기 시계열 데이터 특성에 대응되는 조합된 특징을 출력하는 단계 (460)를 더 포함할 수 있다. 복수개의 딥러닝 알고리즘을 통과한 복수개의 출력 형태인 특징들을 미리 정해진 가중치에 기초하여 하나의 결과 형태인 조합된 특징으로 출력할 수 있다. 조합된 특징을 생성하기 위한 가중치는 입력 받은 시계열 데이터 특성에 대응되도록 결정될 수 있다. 예를 들어, 시간 흐름에 따른 주가 데이터가 입력된 경우, 합성곱 신경망, 순환 신경망을 포함한 복수개의 딥러닝 알고리즘을 통과하여 복수개의 특징들을 출력할 수 있다. 복수개의 특징들 중, 시간 흐름에 따른 주가 데이터 특성에 대응되는 순환 신경망을 통과한 특징들에 큰 가중치를 주고, 그렇지 못한 합성곱 신경망에 적은 가중치를 주어 계산된 하나의 조합된 특징을 생성할 수 있다.The integrated deep learning analysis method according to an exemplary embodiment may further include a
도 5는 일 실시예에 따른 통합 딥러닝 분석 장치를 도시한 도면이다.5 is a diagram illustrating an integrated deep learning analysis apparatus according to an exemplary embodiment.
도 5를 참조하면, 통합 딥러닝 분석 장치는 수신부(510), 주파수 변화기(520), 딥러닝 알고리즘 저장소(530), 피쳐맵 저장소(540)를 포함한다.Referring to FIG. 5, the integrated deep learning analysis apparatus includes a
수신부(510)는 시계열 데이터 및 공개된 시계열 데이터를 수신할 수 있다. 먼저 공개된 시계열 데이터를 수신하여 선행학습 하고, 선행학습 후 실제로 이용하고자 하는 시계열 데이터를 수신할 수 있다.The
주파수 변환기(510)는 시계열 데이터 및 공개된 시계열 데이터를 주파수 도메인으로 변환하여 주파수 데이터 및 공개된 주파수 데이터를 생성할 수 있다. 주파수 변환기(520)는 푸리에 변환을 통해 시계열 데이터를 주파수 도메인으로 변환할 수 있다.The
딥러닝 알고리즘 저장소(530)는 복수 개의 딥러닝 알고리즘을 포함하는 통합 딥러닝 장치를 저장할 수 있다. 딥러닝 알고리즘을 통해 공개된 시계열 데이터 및 공개된 주파수 데이터를 선행학습 할 수 있다. 선행핵습 후 실제로 이용하고자 하는 시계열 데이터 및 주파수 데이터를 입력시킬 수 있다.The deep
피쳐맵 저장소(540)는 공개된 시계열 데이터 및 공개된 주파수 데이터를 통합 딥러닝 장치에 입력하는 반복적인 작업을 통해 얻어진 학습된 피쳐맵을 저장할 수 있다. 통합 딥러닝 장치는, 학습된 피쳐맵 데이터와 시계열 데이터 및 주파수 데이터를 입력으로 이용하여 특징들을 출력할 수 있다.The
일 실시예에 따른 통합 딥러닝 분석 장치는 특징들을 입력으로 받아 미리 정해진 가중치에 기초하여 상기 시계열 데이터 특성에 대응되는 조합된 특징을 출력하는 퓨전 레이어 저장소를 더 포함할 수 있다. 조합된 특징을 입력으로 받아 미리 정해진 딥러닝 알고리즘을 이용하여 진단, 설비 제어, 변화 예측 중 적어도 하나를 포함하는 결과로 출력해주는 출력 딥러닝 알고리즘 저장소를 더 포함할 수 있다. 특정 서비스는 진단, 설비 제어, 변화 예측 중 적어도 하나를 포함할 수 있다. 예를 들어, 딥러닝 알고리즘의 정량적인 출력 값을 물의 수위 예측, 음성 인식, 주가 예측, 고장의 설비 진단 및 고장 예측에 대한 구체적인 분석 및 예측에 대한 결과로 출력할 수 있다.The integrated deep learning analysis apparatus according to an embodiment may further include a fusion layer storage configured to receive the features as inputs and to output a combined feature corresponding to the time series data characteristic based on a predetermined weight. The apparatus may further include an output deep learning algorithm store that receives the combined features as an input and outputs a result including at least one of diagnosis, facility control, and change prediction using a predetermined deep learning algorithm. The specific service may include at least one of diagnosis, facility control, and change prediction. For example, the quantitative output value of the deep learning algorithm may be output as a result of detailed analysis and prediction of water level prediction, voice recognition, stock price prediction, facility diagnosis and failure prediction of a failure.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device. Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted. The software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner. Software and data may be stored on one or more computer readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the accompanying drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components Or even if replaced or substituted by equivalents, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the following claims.
Claims (18)
상기 시계열 데이터를 주파수 도메인으로 변환하여 주파수 데이터를 생성하는 단계;
상기 시계열 데이터를 입력 받는 복수의 제1 신경망들 및 상기 주파수 데이터를 입력 받는 복수의 제2 신경망들을 이용하여, 상기 시계열 데이터에 대응하는 특징들을 생성하는 단계;
적어도 하나의 출력 카테고리에 대응하여 상기 생성된 특징들을 조합하는 단계; 및
상기 조합된 특징에 기초하여, 상기 적어도 하나의 출력 카테고리의 결과 데이터를 출력하는 단계
를 포함하는, 통합 딥러닝 분석 방법.
Receiving time series data;
Generating frequency data by converting the time series data into a frequency domain;
Generating features corresponding to the time series data using the plurality of first neural networks receiving the time series data and the plurality of second neural networks receiving the frequency data;
Combining the generated features corresponding to at least one output category; And
Based on the combined feature, outputting result data of the at least one output category.
Including, integrated deep learning analysis method.
상기 조합하는 단계는
상기 적어도 하나의 출력 카테고리에 대응하여 상기 생성된 특징들을 조합하기 위한 가중치 정보가 기 학습된 주의집중 레이어(attention layer)를 이용하여, 상기 생성된 특징들을 조합하는 단계
를 포함하는 통합 딥러닝 분석 방법
The method of claim 1,
The combining step
Combining the generated features using an attention layer on which weight information for combining the generated features corresponding to the at least one output category is previously learned;
Integrated Deep Learning Analysis Method
상기 적어도 하나의 출력 카테고리는
설비 진단을 위한 제1 출력 카테고리;
설비 제어를 위한 제2 출력 카테고리; 및
변화 예측을 위한 제3 출력 카테고리
중 적어도 하나를 포함하는 통합 딥러닝 분석 방법.
The method of claim 1,
The at least one output category is
A first output category for facility diagnostics;
A second output category for facility control; And
Third output category for change prediction
Integrated deep learning analysis method comprising at least one of.
상기 시계열 데이터는 다중 시계열 데이터를 포함하는,
통합 딥러닝 분석 방법.
The method of claim 1,
The time series data includes multiple time series data,
Integrated deep learning analysis method.
상기 제1 신경망들 및 상기 제2 신경망들은 각각
합성곱 신경망(CNN), 그룹 합성곱 신경망, 및 순환 신경망(RNN) 중 적어도 하나를 포함하는,
통합 딥러닝 분석 방법.
The method of claim 1,
The first neural networks and the second neural networks are respectively
Comprising at least one of a convolutional neural network (CNN), a group convolutional neural network, and a cyclic neural network (RNN),
Integrated deep learning analysis method.
상기 제1 신경망들 및 상기 제2 신경망들은 서로 동일한 유형의 신경망들을 포함하는,
통합 딥러닝 분석 방법.
The method of claim 1,
The first neural networks and the second neural networks include neural networks of the same type as each other,
Integrated deep learning analysis method.
상기 시계열 데이터는,
시간의 흐름에 따른 변화하는 변수 정보를 포함하는,
통합 딥러닝 분석 방법.
The method of claim 1,
The time series data is,
Including variable information that changes over time,
Integrated deep learning analysis method.
상기 시계열 데이터는 학습 시계열 데이터를 포함하고,
상기 통합 딥러닝 분석 방법은
상기 출력된 결과 데이터와 상기 학습 시계열 데이터에 태깅된 데이터의 차이에 기초하여, 상기 제1 신경망들 및 상기 제2 신경망들 중 적어도 일부를 학습하는 단계
를 더 포함하는, 통합 딥러닝 분석 방법.
The method of claim 1,
The time series data includes learning time series data,
The integrated deep learning analysis method
Learning at least some of the first neural networks and the second neural networks based on a difference between the output result data and the data tagged in the training time series data.
Further comprising, integrated deep learning analysis method.
상기 시계열 데이터는 학습 시계열 데이터를 포함하고,
상기 통합 딥러닝 분석 방법은
상기 출력된 결과 데이터와 상기 학습 시계열 데이터에 태깅된 데이터의 차이에 기초하여, 상기 주의집중 레이어를 학습하는 단계
를 더 포함하는, 통합 딥러닝 분석 방법.
The method of claim 2,
The time series data includes learning time series data,
The integrated deep learning analysis method
Learning the focused layer based on a difference between the output result data and the data tagged in the learning time series data
Further comprising, integrated deep learning analysis method.
하드웨어와 결합되어 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
A computer program stored in a medium in combination with hardware to carry out the method of any one of claims 1 to 9.
상기 시계열 데이터를 주파수 도메인으로 변환하여 주파수 데이터를 생성하고; 상기 시계열 데이터를 입력 받는 복수의 제1 신경망들 및 상기 주파수 데이터를 입력 받는 복수의 제2 신경망들을 이용하여, 상기 시계열 데이터에 대응하는 특징들을 생성하며; 적어도 하나의 출력 카테고리에 대응하여 상기 생성된 특징들을 조합하고; 상기 조합된 특징에 기초하여, 상기 적어도 하나의 출력 카테고리의 결과 데이터를 출력하는 제어부
를 포함하는, 통합 딥러닝 분석 장치.
A receiver for receiving time series data; And
Converting the time series data into a frequency domain to generate frequency data; Generating features corresponding to the time series data using the plurality of first neural networks receiving the time series data and the plurality of second neural networks receiving the frequency data; Combine the generated features corresponding to at least one output category; A controller for outputting result data of the at least one output category based on the combined feature
Including, integrated deep learning analysis device.
상기 제1 신경망들의 선행 학습을 통하여 결정된 제1 파라미터들 및 상기 제2 신경망들의 선행 학습을 통하여 결정된 제2 파라미터들을 저장하는 저장부
를 더 포함하는, 통합 딥러닝 분석 장치.
The method of claim 11,
The storage unit stores the first parameters determined through the prior learning of the first neural networks and the second parameters determined through the prior learning of the second neural networks.
Further comprising, integrated deep learning analysis device.
상기 제어부는
상기 적어도 하나의 출력 카테고리에 대응하여 상기 생성된 특징들을 조합하기 위한 가중치 정보가 기 학습된 주의집중 레이어(attention layer)를 이용하여, 상기 생성된 특징들을 조합하는,
통합 딥러닝 분석 장치.
The method of claim 11,
The control unit
Combining the generated features by using an attention layer on which weight information for combining the generated features corresponding to the at least one output category is previously learned,
Integrated deep learning analysis device.
상기 적어도 하나의 출력 카테고리는
설비 진단을 위한 제1 출력 카테고리;
설비 제어를 위한 제2 출력 카테고리; 및
변화 예측을 위한 제3 출력 카테고리
중 적어도 하나를 포함하는 통합 딥러닝 분석 장치.
The method of claim 11,
The at least one output category is
A first output category for facility diagnostics;
A second output category for facility control; And
Third output category for change prediction
Integrated deep learning analysis device comprising at least one of.
상기 시계열 데이터는 다중 시계열 데이터를 포함하는,
통합 딥러닝 분석 장치.
The method of claim 11,
The time series data includes multiple time series data,
Integrated deep learning analysis device.
상기 제1 신경망들 및 상기 제2 신경망들은 각각
합성곱 신경망(CNN), 그룹 합성곱 신경망, 및 순환 신경망(RNN) 중 적어도 하나를 포함하는,
통합 딥러닝 분석 장치.
The method of claim 11,
The first neural networks and the second neural networks are respectively
Comprising at least one of a convolutional neural network (CNN), a group convolutional neural network, and a cyclic neural network (RNN),
Integrated deep learning analysis device.
상기 제1 신경망들 및 상기 제2 신경망들은 서로 동일한 유형의 신경망들을 포함하는,
통합 딥러닝 분석 장치.
The method of claim 11,
The first neural networks and the second neural networks include neural networks of the same type as each other,
Integrated deep learning analysis device.
상기 시계열 데이터는,
시간의 흐름에 따른 변화하는 변수 정보를 포함하는,
통합 딥러닝 분석 장치.
The method of claim 11,
The time series data is,
Including variable information that changes over time,
Integrated deep learning analysis device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180031088A KR102113218B1 (en) | 2018-03-16 | 2018-03-16 | A Unified Deep Learning Model for Time Series Data Prediction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180031088A KR102113218B1 (en) | 2018-03-16 | 2018-03-16 | A Unified Deep Learning Model for Time Series Data Prediction |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190109121A true KR20190109121A (en) | 2019-09-25 |
| KR102113218B1 KR102113218B1 (en) | 2020-05-20 |
Family
ID=68068443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180031088A KR102113218B1 (en) | 2018-03-16 | 2018-03-16 | A Unified Deep Learning Model for Time Series Data Prediction |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102113218B1 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489421A (en) * | 2020-11-18 | 2021-03-12 | 南京速安交通科技有限公司 | Burst congestion judging method and system based on multi-source traffic big data fusion |
| KR20210059322A (en) * | 2019-11-15 | 2021-05-25 | 한전케이디엔주식회사 | Partial discharge position estimation appratus and method |
| KR20210067108A (en) * | 2019-11-29 | 2021-06-08 | 한국생산기술연구원 | Fault diagnosis apparatus and method using frequency analysis based on machine-learning |
| KR20210070136A (en) * | 2019-12-04 | 2021-06-14 | 제이어스 주식회사 | Dementia prediction apparatus based on artiticial intelligence learning using gait motion |
| KR20210130964A (en) * | 2020-04-23 | 2021-11-02 | 인하대학교 산학협력단 | A deep learning based prediction system with time series decomposition |
| KR20220139693A (en) * | 2021-04-08 | 2022-10-17 | 서울대학교산학협력단 | Method and apparatus for diagnosis of motor using multi-channel signals |
| KR20220147955A (en) * | 2021-04-28 | 2022-11-04 | 한전케이디엔주식회사 | System and method for detecting generation partial discharge of power equipment based on machine learning |
| WO2023043215A1 (en) * | 2021-09-17 | 2023-03-23 | 주식회사 에이아이네이션 | Industry facility operation control device based on standard operation level evaluation, and operation method for same |
| CN116050665A (en) * | 2023-03-14 | 2023-05-02 | 淄博热力有限公司 | Heat supply equipment fault prediction method |
| KR102536284B1 (en) * | 2022-09-01 | 2023-05-30 | 전남대학교산학협력단 | System for Predicting Temporal Convolutional Network Model Based on Time Series Characteristics |
| KR102547467B1 (en) * | 2022-12-23 | 2023-06-26 | 주식회사 솔라리치 | Distribution board with partial discharge diagnosis function using ultra high frequency signal |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011001138A1 (en) * | 2009-06-30 | 2011-01-06 | Aston University | Vibrating microplate biosensing for characterising properties of behaviour of biological cells |
| EP2905780A1 (en) * | 2014-02-11 | 2015-08-12 | Malaspina Labs (Barbados) Inc. | Voiced sound pattern detection |
| JP2015156127A (en) * | 2014-02-20 | 2015-08-27 | アイホン株式会社 | Specific operation detection device |
| WO2016100816A1 (en) * | 2014-12-19 | 2016-06-23 | United Technologies Corporation | Sensor data fusion for prognostics and health monitoring |
| WO2016153502A1 (en) * | 2015-03-25 | 2016-09-29 | Ge Oil & Gas Esp, Inc. | System and method for reservoir management using electric submersible pumps as a virtual sensor |
| US20170301342A1 (en) * | 2016-04-13 | 2017-10-19 | Malaspina Labs (Barbados), Inc. | Phoneme-Expert Assisted Speech Recognition & Re-synthesis |
| EP3239884A1 (en) * | 2016-04-25 | 2017-11-01 | General Electric Company | Domain level threat detection for industrial asset control system |
| JP2018042672A (en) * | 2016-09-13 | 2018-03-22 | 株式会社東芝 | Estimation device, estimation method, and computer program |
| KR101855168B1 (en) * | 2016-11-18 | 2018-05-10 | 가톨릭대학교 산학협력단 | Emotion classification method based on deep learning and method thereof |
| KR20180110566A (en) * | 2017-03-29 | 2018-10-10 | 아이덴티파이 주식회사 | Method for detecting abnormal signal of vehicle by using artificial intelligence system |
| JP2019027814A (en) * | 2017-07-26 | 2019-02-21 | 株式会社ディーゼルユナイテッド | Method and device for analyzing vibration acoustic analysis and method and device for estimating abnormal part of apparatus |
-
2018
- 2018-03-16 KR KR1020180031088A patent/KR102113218B1/en active IP Right Grant
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011001138A1 (en) * | 2009-06-30 | 2011-01-06 | Aston University | Vibrating microplate biosensing for characterising properties of behaviour of biological cells |
| EP2905780A1 (en) * | 2014-02-11 | 2015-08-12 | Malaspina Labs (Barbados) Inc. | Voiced sound pattern detection |
| JP2015156127A (en) * | 2014-02-20 | 2015-08-27 | アイホン株式会社 | Specific operation detection device |
| WO2016100816A1 (en) * | 2014-12-19 | 2016-06-23 | United Technologies Corporation | Sensor data fusion for prognostics and health monitoring |
| WO2016153502A1 (en) * | 2015-03-25 | 2016-09-29 | Ge Oil & Gas Esp, Inc. | System and method for reservoir management using electric submersible pumps as a virtual sensor |
| US20170301342A1 (en) * | 2016-04-13 | 2017-10-19 | Malaspina Labs (Barbados), Inc. | Phoneme-Expert Assisted Speech Recognition & Re-synthesis |
| EP3239884A1 (en) * | 2016-04-25 | 2017-11-01 | General Electric Company | Domain level threat detection for industrial asset control system |
| JP2018042672A (en) * | 2016-09-13 | 2018-03-22 | 株式会社東芝 | Estimation device, estimation method, and computer program |
| KR101855168B1 (en) * | 2016-11-18 | 2018-05-10 | 가톨릭대학교 산학협력단 | Emotion classification method based on deep learning and method thereof |
| KR20180110566A (en) * | 2017-03-29 | 2018-10-10 | 아이덴티파이 주식회사 | Method for detecting abnormal signal of vehicle by using artificial intelligence system |
| JP2019027814A (en) * | 2017-07-26 | 2019-02-21 | 株式会社ディーゼルユナイテッド | Method and device for analyzing vibration acoustic analysis and method and device for estimating abnormal part of apparatus |
Non-Patent Citations (3)
| Title |
|---|
| A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction. Yao Qin et al. 2017.* * |
| Automatically Detecting Asymmetric Running using Time and Frequency Domain Features. Edmond Mitchell et al. 2015.* * |
| Multi-Scale Convolutional Neural Networks for Time Series Classification. Zhicheng Cui at el. 2016.* * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210059322A (en) * | 2019-11-15 | 2021-05-25 | 한전케이디엔주식회사 | Partial discharge position estimation appratus and method |
| KR20210067108A (en) * | 2019-11-29 | 2021-06-08 | 한국생산기술연구원 | Fault diagnosis apparatus and method using frequency analysis based on machine-learning |
| KR20210070136A (en) * | 2019-12-04 | 2021-06-14 | 제이어스 주식회사 | Dementia prediction apparatus based on artiticial intelligence learning using gait motion |
| KR20210130964A (en) * | 2020-04-23 | 2021-11-02 | 인하대학교 산학협력단 | A deep learning based prediction system with time series decomposition |
| CN112489421A (en) * | 2020-11-18 | 2021-03-12 | 南京速安交通科技有限公司 | Burst congestion judging method and system based on multi-source traffic big data fusion |
| KR20220139693A (en) * | 2021-04-08 | 2022-10-17 | 서울대학교산학협력단 | Method and apparatus for diagnosis of motor using multi-channel signals |
| KR20220147955A (en) * | 2021-04-28 | 2022-11-04 | 한전케이디엔주식회사 | System and method for detecting generation partial discharge of power equipment based on machine learning |
| WO2023043215A1 (en) * | 2021-09-17 | 2023-03-23 | 주식회사 에이아이네이션 | Industry facility operation control device based on standard operation level evaluation, and operation method for same |
| KR102536284B1 (en) * | 2022-09-01 | 2023-05-30 | 전남대학교산학협력단 | System for Predicting Temporal Convolutional Network Model Based on Time Series Characteristics |
| KR102547467B1 (en) * | 2022-12-23 | 2023-06-26 | 주식회사 솔라리치 | Distribution board with partial discharge diagnosis function using ultra high frequency signal |
| CN116050665A (en) * | 2023-03-14 | 2023-05-02 | 淄博热力有限公司 | Heat supply equipment fault prediction method |
| CN116050665B (en) * | 2023-03-14 | 2024-04-02 | 淄博热力有限公司 | Heat supply equipment fault prediction method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102113218B1 (en) | 2020-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102113218B1 (en) | A Unified Deep Learning Model for Time Series Data Prediction | |
| KR102641116B1 (en) | Method and device to recognize image and method and device to train recognition model based on data augmentation | |
| KR20220112813A (en) | Neural network model update method, and image processing method and device | |
| US20210150345A1 (en) | Conditional Computation For Continual Learning | |
| KR20200128938A (en) | Model training method and apparatus, and data recognizing method | |
| KR102011788B1 (en) | Visual Question Answering Apparatus Using Hierarchical Visual Feature and Method Thereof | |
| Zhou et al. | Functional networks and applications: A survey | |
| Emsia et al. | Economic growth prediction using optimized support vector machines | |
| CN111461862B (en) | Method and device for determining target characteristics for service data | |
| She et al. | Safe-dnn: a deep neural network with spike assisted feature extraction for noise robust inference | |
| Dao | Image classification using convolutional neural networks | |
| US11604969B2 (en) | Performance prediction from communication data | |
| Kamada et al. | A Video Recognition Method by using Adaptive Structural Learning of Long Short Term Memory based Deep Belief Network | |
| CN115803771A (en) | Image and data analysis model compatibility adjusting method | |
| Barthélemy et al. | Comparison of discrete choice models and artificial neural networks in presence of missing variables | |
| Zhu et al. | STGATP: a spatio-temporal graph attention network for long-term traffic prediction | |
| KR102608171B1 (en) | Apparatus for anomaly detection based on artificial intelligence and method therefor | |
| CN111797895B (en) | Training method, data processing method, system and equipment for classifier | |
| KR102636461B1 (en) | Automated labeling method, device, and system for learning artificial intelligence models | |
| US20240144635A1 (en) | Techniques For Unsupervised Anomaly Classification Using An Artificial Intelligence Model | |
| Sekhar et al. | Introduction and implementation of machine learning algorithms in R | |
| Soni et al. | Deep Learning: Tools and Models | |
| Chen et al. | Genetic Design of Topology for Neural Network | |
| Grzeszick et al. | Optimistic and pessimistic neural networks for object recognition | |
| Wu et al. | Entropy as temporal information density |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |