KR20210048100A - Condition monitoring data generating apparatus and method using generative adversarial network - Google Patents

Condition monitoring data generating apparatus and method using generative adversarial network Download PDF

Info

Publication number
KR20210048100A
KR20210048100A KR1020190131961A KR20190131961A KR20210048100A KR 20210048100 A KR20210048100 A KR 20210048100A KR 1020190131961 A KR1020190131961 A KR 1020190131961A KR 20190131961 A KR20190131961 A KR 20190131961A KR 20210048100 A KR20210048100 A KR 20210048100A
Authority
KR
South Korea
Prior art keywords
data
neural network
input
domain
processor
Prior art date
Application number
KR1020190131961A
Other languages
Korean (ko)
Other versions
KR102365150B1 (en
Inventor
윤병동
김현재
박정호
황태완
한명규
신재경
송용천
Original Assignee
서울대학교산학협력단
주식회사 원프레딕트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 주식회사 원프레딕트 filed Critical 서울대학교산학협력단
Priority to KR1020190131961A priority Critical patent/KR102365150B1/en
Publication of KR20210048100A publication Critical patent/KR20210048100A/en
Application granted granted Critical
Publication of KR102365150B1 publication Critical patent/KR102365150B1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0256Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults injecting test signals and analyzing monitored process response, e.g. injecting the test signal while interrupting the normal operation of the monitored system; superimposing the test signal onto a control signal during normal operation of the monitored system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

Disclosed is an apparatus for condition monitoring data generation which uses machine learning-based artificial intelligence. An objective of the present invention is to generate reliable fault condition data. The apparatus for condition monitoring data generation comprises a computing system. The computing system includes a generative adversarial network and a processor. The processor generates first training input data for a discriminator neural network by using a generator neural network which receives an initialized first input. The processor transfers data actually generated in the machine equipment as second training input data for the discriminator neural network to the discriminator neural network, and uses a second loss function resulting from combining a local feature function, which verifies whether the data match physical features of the condition monitoring data and the machine equipment, with a first loss function for discriminating the first training input data from the second training input data to train the discriminator neural network and the generator neural network when the local feature function is defined.

Description

생성적 적대 신경망을 이용한 상태 감시 데이터 생성 방법 및 장치 {CONDITION MONITORING DATA GENERATING APPARATUS AND METHOD USING GENERATIVE ADVERSARIAL NETWORK}[CONDITION MONITORING DATA GENERATING APPARATUS AND METHOD USING GENERATIVE ADVERSARIAL NETWORK}

본 발명은 머신 러닝 기반의 인공지능을 이용하여 기계 장비의 상태를 감시하는 분야에 관한 것이다. 구체적으로는 생성적 적대 신경망을 포함하는 머신 러닝 기반의 인공신경망을 이용하여, 기계 장비의 상태를 보다 효과적으로 감시하기 위한 방법 및 그 데이터셋을 취급하는 방법에 관한 것이다.The present invention relates to the field of monitoring the state of machine equipment using artificial intelligence based on machine learning. Specifically, it relates to a method for more effectively monitoring the state of machine equipment and a method for handling the data set by using a machine learning-based artificial neural network including a generative adversarial neural network.

산업계에서 머신러닝 응용 사례 중 분류 작업(classification task)은 의료 및 공학 분야에서 주로 진단(diagnosis)에 활용된다. 딥러닝(Deep learning)을 비롯한 머신 러닝 기술은 이러한 분류 문제를 학습하기 위하여 충분한 수의 균형 잡힌(balanced) 표지(labeled) 데이터를 필요로 한다.Among the machine learning application cases in the industry, the classification task is mainly used for diagnosis in the medical and engineering fields. Machine learning techniques, including deep learning, require a sufficient number of balanced, labeled data to learn this classification problem.

기계장치 및 부품의 동작 상태를 정확하게 진단하고, 비정상 동작을 검출하거나 예측하는 기술을 인공신경망으로 구현하기 위해서는 많은 양의 정상 및 비정상/이상 상태에 대한 데이터가 필요하다. 그러나 일반적으로 정상 상태 데이터와 비정상 상태 데이터는 불균형적으로 발생하며, 비정상 상태 데이터를 균형 잡힌 정도로 확보하는 것은 매우 어려운 일이다.A large amount of data on normal and abnormal/abnormal states is required in order to accurately diagnose the operation state of machinery and parts, and to implement a technology that detects or predicts abnormal behavior with an artificial neural network. However, in general, normal state data and abnormal state data occur disproportionately, and it is very difficult to secure abnormal state data to a balanced degree.

최근 인공신경망 분야에서 획기적인 연구 성과 중 하나로서 생성적 적대 신경망(GAN, Generative Adversarial Network)가 제안되었다. GAN은 존재하지 않는 데이터를 가공하여 실제의 데이터와 매우 유사한 데이터를 생성하는 점에서 주목받고 있다.A generative adversarial network (GAN) has recently been proposed as one of the breakthrough research achievements in the field of artificial neural networks. GAN is drawing attention in that it generates data that is very similar to actual data by processing non-existent data.

다만 GAN은 각 산업 분야에 적용되기 위해서는 그 산업 분야의 목적에 맞게 최적화될 필요가 있다.However, in order for GAN to be applied to each industrial field, it needs to be optimized for the purpose of that industrial field.

GAN을 이용하는 종래기술로서 기계 장비 및 부품의 이상 상태를 진단하는 용도로 활용되는 종래 기술은 아직 구체화되지 않았으며, 산업 분야에서 아직 GAN을 적용한 사례는 발견되지 않았다.As a conventional technology using GAN, a conventional technology used for diagnosing abnormal conditions of mechanical equipment and parts has not been specified yet, and no case of applying GAN has been found in the industrial field.

GAN을 이용하지 않는 종래기술로서, 기계 장비 및 부품의 상태를 진단하는 다른 시도로는 가속수명시험(ALT, Accelerated Life Test) 데이터를 이용하는 방법이 있다. 이 방법은 필드 운용 조건(실제 운용 조건)보다 가혹한 운용 조건 하에 동작시켜 시스템의 평균 수명 또는 부품의 잔존 수명을 예측하기 위한 것이다. As a prior art that does not use GAN, another attempt to diagnose the state of mechanical equipment and parts is a method of using accelerated life test (ALT) data. This method is to predict the average life of the system or the remaining life of parts by operating under operating conditions that are more severe than field operating conditions (actual operating conditions).

가속수명시험 데이터를 이용하여 시스템의 잔존 수명을 예측하기 위한 목적으로, 인공신경망을 이용하여 데이터를 생성하는 기술로는 한국등록특허 제10-1925480호 "가속수명시험 데이터 기반 고장예지용 운용하중 데이터 생성 방법 및 장치" 등이 있다. 상기 선행기술은 복수의 회귀모델을 이용하여 기존 데이터로부터 데이터 셋을 생성한다. 상기 선행기술은 가속수명시험 데이터에 회귀 모델을 적용하여, 실제 필드 운용 조건으로 동작할 경우의 잔존 수명을 예측하는 방법인데, 가속수명시험 데이터에 나타난 부품의 열화 패턴이 그대로 필드 운용 조건 시에도 적용될 것인지 여부를 검증할 방법이 없어 데이터의 신뢰도가 문제되고, 생성된 데이터는 가속수명시험 데이터의 연장선 상에만 놓이므로 확장성이 떨어져 데이터의 불균형 문제는 여전히 남는다.For the purpose of predicting the remaining life of the system using the accelerated life test data, as a technology for generating data using an artificial neural network, Korean Patent No. 10-1925480 "Operating load data for failure prediction based on accelerated life test data" Production method and apparatus" and the like. The prior art creates a data set from existing data using a plurality of regression models. The above prior art is a method of predicting the remaining life when operating under actual field operating conditions by applying a regression model to the accelerated life test data, and the deterioration pattern of the parts shown in the accelerated life test data is applied to the field operating conditions as it is. Since there is no way to verify whether or not the data is reliable, the generated data is placed only on the extension line of the accelerated life test data, so scalability is poor and the data imbalance problem remains.

가동 중인 기계 장치에서 획득할 수 있는 상태 데이터의 종류는 정상 상태와 여러 가지 고장이 발생한 비정상/이상 상태를 포함한다. 하지만 실제로 고장이 발생한 경우에 데이터를 획득하는 경우가 드물기 때문에 머신러닝 모델의 학습을 위하여 실제의 기계 장비를 모방한 유사한 장치인 테스트베드(testbed)를 설정하거나 제조하여 고장을 인위적으로 인가하거나 모사하여 고장 상태 데이터를 획득하는 방법을 사용할 수 있다. The types of state data that can be obtained from a running mechanical device include a normal state and an abnormal/abnormal state in which various failures occur. However, since data is rarely acquired when a failure occurs, a testbed, which is a similar device that mimics actual machine equipment, is set up or manufactured to learn a machine learning model, and the failure is artificially approved or simulated. A method of acquiring fault status data can be used.

본 발명에서는 실제의 기계 장비의 정상 동작 데이터, 테스트베드의 정상 동작 데이터, 및 테스트베드의 비정상 동작 데이터로부터 실제의 기계 장비의 비정상 동작 데이터가 존재할 가능성이 있는 잠재 공간(latent space)을 설정하고, 산술 연산(arithmetic rule)에 기반하여 잠재 공간에 속하는 데이터를 모사할 수 있다. In the present invention, from the normal operation data of the actual mechanical equipment, the normal operation data of the test bed, and the abnormal operation data of the test bed, a latent space in which abnormal operation data of the actual mechanical equipment may exist is set, Data belonging to a latent space can be simulated based on an arithmetic rule.

본 발명에서는 잠재 공간에서 모사된 데이터를 물리적 특성에 대한 검증과 함께 GAN에 적용함으로써 신뢰성 높은 고장 상태 데이터를 생성하는 것을 목적으로 한다.In the present invention, it is an object of the present invention to generate reliable failure state data by applying data simulated in a latent space to a GAN along with verification of physical characteristics.

본 발명에서는 종래의 생성적 적대 신경망(GAN) 기술을 기계 장비의 상태 감시 데이터를 생성하는 용도로 활용하기 위한 변형된 GAN 네트워크를 제안한다. 변형된 GAN 네트워크는 물리적 특성에 대한 검증 과정을 포함할 수 있고, 실제 데이터의 패턴과 유사한 데이터를 생성하도록 학습될 수 있다.In the present invention, a modified GAN network is proposed to utilize the conventional generative hostile neural network (GAN) technology for the purpose of generating state monitoring data of machine equipment. The modified GAN network may include a verification process for physical characteristics, and may be trained to generate data similar to patterns of actual data.

본 발명은 상기의 종래기술의 문제점을 해결하기 위한 수단으로 도출된 것으로서, 본 발명의 일 실시예에 따른 상태 감시 데이터 생성 장치는, 컴퓨팅 시스템의 형태로 구현될 수 있다. 상태 감시 데이터 생성 장치는 머신 러닝 기반의 인공지능을 이용하여 기계 장비의 상태 감시 데이터를 생성하고, 컴퓨팅 시스템은 생성적 적대 신경망 및 프로세서를 포함한다. 생성적 적대 신경망은 생성기 신경망 및 판별기 신경망을 포함한다. 프로세서는 초기화된 제1 입력을 수신하는 상기 생성기 신경망을 이용하여 상기 판별기 신경망을 위한 제1 훈련 입력 데이터를 생성한다. 초기화된 제1 입력의 예로는 랜덤 노이즈를 들 수 있다. The present invention was derived as a means for solving the problems of the prior art, and the state monitoring data generating apparatus according to an embodiment of the present invention may be implemented in the form of a computing system. The state monitoring data generating apparatus generates state monitoring data of machine equipment using machine learning-based artificial intelligence, and the computing system includes a generative adversarial neural network and a processor. Generative adversarial neural networks include generator neural networks and discriminator neural networks. The processor generates first training input data for the discriminator neural network using the generator neural network receiving the initialized first input. An example of the initialized first input may be random noise.

프로세서는 상기 기계 장비에서 실제로 발생하는 데이터를 상기 판별기 신경망을 위한 제2 훈련 입력 데이터로서 상기 판별기 신경망에 전달하고, 상기 기계 장비 및 상기 상태 감시 데이터의 물리적 특징에 부합하는지 여부를 검증하는 국부적 특징 함수가 정의되면, 상기 제1 훈련 입력 데이터를 상기 제2 훈련 입력 데이터로부터 판별하기 위한 제1 손실 함수에 상기 국부적 특징 함수가 합성되는 제2 손실 함수를 이용하여 상기 판별기 신경망 및 상기 생성기 신경망을 훈련한다.The processor transmits data actually generated in the machine equipment as second training input data for the discriminator neural network to the discriminator neural network, and verifies whether the physical characteristics of the machine equipment and the state monitoring data are met. When a feature function is defined, the discriminator neural network and the generator neural network are made using a second loss function in which the local feature function is synthesized to a first loss function for discriminating the first training input data from the second training input data. To train.

이때 상기 기계 장비는 실제의 기계 장비 및 상기 실제의 기계 장비를 모방한 테스트베드를 포함할 수 있다. In this case, the mechanical equipment may include real mechanical equipment and a test bed imitating the real mechanical equipment.

이때 상기 프로세서는 상기 테스트베드의 정상 동작에 의하여 얻어지는 제1 정상 상태 데이터에 대응하는 제1 데이터 도메인, 상기 테스트베드의 비정상 동작에 의하여 얻어지는 제1 비정상 상태 데이터에 대응하는 제2 데이터 도메인, 및 상기 실제의 기계 장비의 정상 동작에 의하여 얻어지는 제2 정상 상태 데이터에 대응하는 제3 데이터 도메인 간의 연관성에 기반한 산술 연산에 의하여 상기 실제의 기계 장비의 비정상 동작에 의하여 얻어지는 제2 비정상 상태 데이터에 대응하는 잠재적 데이터 공간인 제4 데이터 도메인에 속하는 제2 입력 데이터를 생성할 수 있다.At this time, the processor includes a first data domain corresponding to first normal state data obtained by a normal operation of the test bed, a second data domain corresponding to first abnormal state data obtained by an abnormal operation of the test bed, and the Potential corresponding to the second abnormal state data obtained by the abnormal operation of the actual mechanical equipment by arithmetic operation based on the association between the third data domain corresponding to the second steady state data obtained by the normal operation of the actual mechanical equipment. Second input data belonging to the fourth data domain, which is a data space, may be generated.

이때 상기 프로세서는 상기 제2 입력 데이터를 상기 생성적 적대 신경망의 상기 생성기 신경망의 입력으로서 상기 훈련을 거친 상기 생성기 신경망에 전달하며, 상기 훈련을 거친 상기 생성기 신경망 및 상기 훈련을 거친 상기 판별기 신경망의 추론(inference)을 거쳐 판별된 출력 데이터를 상기 제4 데이터 도메인에 속하는 상기 실제의 기계 장비의 상태 감시 데이터로서 생성할 수 있다.In this case, the processor transmits the second input data to the trained generator neural network as an input of the generator neural network of the generative hostile neural network, and the trained generator neural network and the trained discriminator neural network Output data determined through inference may be generated as state monitoring data of the actual machine equipment belonging to the fourth data domain.

이때 상기 프로세서는 상기 훈련을 거친 상기 생성기 신경망 및 상기 훈련을 거친 상기 판별기 신경망의 추론(inference)을 거쳐 판별된 출력 데이터를 상기 기계 장비의 상기 상태 감시 데이터로서 생성할 수 있다. 이때 상기 출력 데이터는 상기 기계 장비의 상태를 감시하기 위한 또 다른 인공신경망의 머신 러닝을 위한 입력 데이터로서 이용될 수 있다.In this case, the processor may generate output data determined through inference of the trained generator neural network and the trained discriminator neural network as the state monitoring data of the machine equipment. In this case, the output data may be used as input data for machine learning of another artificial neural network to monitor the state of the machine equipment.

이때 상기 국부적 특징 함수는 상기 기계 장비의 상기 상태 감시 데이터로서 생성될 목표 데이터 도메인의 물리적 특징에 기반한 국부적 특징 데이터와의 연관성을 정량화하는 함수일 수 있다. 예를 들어, 상기 국부적 특징 데이터는 상기 기계 장비에 포함되는 기어(gear)에서 발생하는 진동 데이터의 기어맞물림 주파수(GMF, Gear mesh frequency)에 기반한 데이터일 수 있다. 또한 상기 제2 손실 함수는 상기 제1 손실 함수, 및 상기 국부적 특징 함수의 음수를 취한 값 간의 가중치 합산으로 정의될 수 있다.In this case, the local feature function may be a function that quantifies a correlation with local feature data based on a physical feature of a target data domain to be generated as the state monitoring data of the mechanical equipment. For example, the local feature data may be data based on a gear mesh frequency (GMF) of vibration data generated from a gear included in the mechanical equipment. In addition, the second loss function may be defined as a weight summation between the first loss function and a negative value of the local feature function.

이때 상기 프로세서는 상기 초기화된 제1 입력을 랜덤 노이즈에 기반하여 생성하고 상기 생성기 신경망의 훈련을 위한 입력으로서 상기 생성기 신경망에 전달할 수 있다. 또한 상기 프로세서는 상기 제2 입력 데이터를 상기 제4 데이터 도메인에 속하는 랜덤 넘버로 생성하고, 상기 제2 입력 데이터를 상기 훈련된 상기 생성기 신경망의 입력으로서 상기 훈련된 상기 생성기 신경망의 입력으로 전달할 수 있다.In this case, the processor may generate the initialized first input based on random noise and transmit it to the generator neural network as an input for training the generator neural network. In addition, the processor may generate the second input data as a random number belonging to the fourth data domain, and transmit the second input data as an input of the trained generator neural network as an input of the trained generator neural network. .

본 발명의 일 실시예에 해당하는 상태 감시 데이터 생성 방법은 컴퓨팅 시스템에 의하여 실행되는, 머신 러닝 기반의 인공지능을 이용하여 기계 장비의 상태 감시 데이터를 생성한다. 본 발명의 상태 감시 방법은 상기 프로세서는 초기화된 제1 입력을 수신하는 상기 생성기 신경망을 이용하여 상기 판별기 신경망을 위한 제1 훈련 입력 데이터를 생성하는 단계; 상기 프로세서는 상기 기계 장비에서 실제로 발생하는 데이터를 상기 판별기 신경망을 위한 제2 훈련 입력 데이터로서 상기 판별기 신경망에 전달하는 단계, 및 상기 프로세서는, 상기 기계 장비 및 상기 상태 감시 데이터의 물리적 특징에 부합하는지 여부를 검증하는 국부적 특징 함수가 정의되면, 상기 제1 훈련 입력 데이터를 상기 제2 훈련 입력 데이터로부터 판별하기 위한 제1 손실 함수에 상기 국부적 특징 함수가 합성되는 제2 손실 함수를 이용하여 상기 판별기 신경망 및 상기 생성기 신경망을 훈련하는 단계를 포함한다.A method of generating state monitoring data according to an embodiment of the present invention generates state monitoring data of machine equipment using machine learning-based artificial intelligence, which is executed by a computing system. The state monitoring method of the present invention comprises the steps of: generating, by the processor, first training input data for the discriminator neural network by using the generator neural network receiving an initialized first input; The processor transmitting data actually generated in the machine equipment as second training input data for the discriminator neural network to the discriminator neural network, and the processor is configured to provide physical characteristics of the machine equipment and the state monitoring data. When a local feature function for verifying conformance is defined, a second loss function in which the local feature function is synthesized to a first loss function for discriminating the first training input data from the second training input data is used. And training the discriminator neural network and the generator neural network.

본 발명에 따르면 가동 중인 기계 장치에서 획득할 수 있는 상태 데이터의 종류는 정상 상태와 여러 가지 고장이 발생한 비정상/이상 상태 간의 비대칭 및 불균형을 해결하고, 실제 기계 장치에서 발생할 비정상/이상 상태의 데이터를 모사함으로써 균형 잡힌 표지(labeled) 데이터를 생성할 수 있다.According to the present invention, the type of state data that can be obtained from a mechanical device in operation resolves asymmetry and imbalance between a normal state and an abnormal/abnormal state in which various failures occur, and data of abnormal/abnormal states that may occur in an actual mechanical device are stored. By simulating it is possible to generate well-balanced labeled data.

본 발명에 따르면 머신러닝을 이용하여 기계 장치에 대한 고장 진단을 위한 학습에 필요한 균형 잡힌 데이터를 생성할 수 있고, 이로 인하여 기계 장치에 대한 고장 진단에 머신 러닝의 응용 범위를 확대할 수 있다.According to the present invention, it is possible to generate balanced data necessary for learning for fault diagnosis for a machine device by using machine learning, and thereby, it is possible to expand the application range of machine learning for fault diagnosis for a machine device.

본 발명에 따르면 실제의 기계 장비의 정상 동작 데이터, 테스트베드의 정상 동작 데이터, 및 테스트베드의 비정상 동작 데이터로부터 실제의 기계 장비의 비정상 동작 데이터가 존재할 가능성이 있는 잠재 공간(latent space)을 설정하고, 산술 연산(arithmetic rule)에 기반하여 잠재 공간에 속하는 데이터를 모사할 수 있다. According to the present invention, from the normal operation data of the actual mechanical equipment, the normal operation data of the test bed, and the abnormal operation data of the test bed, a latent space in which abnormal operation data of the actual mechanical equipment may exist is set. , It is possible to simulate data belonging to a latent space based on an arithmetic rule.

본 발명에 따르면 잠재 공간에서 모사된 데이터를 물리적 특성에 대한 검증과 함께 GAN에 적용함으로써 신뢰성 높은 고장 상태 데이터를 생성할 수 있다. According to the present invention, it is possible to generate highly reliable failure state data by applying data simulated in a latent space to a GAN along with verification of physical characteristics.

본 발명에 따르면 종래의 생성적 적대 신경망(GAN) 기술을 기계 장비의 상태 감시 데이터를 생성하는 용도로 활용하기 위한 변형된 GAN 네트워크를 구현할 수 있다. 본 발명의 변형된 GAN 네트워크는 물리적 특성에 대한 검증 과정을 포함할 수 있고, 실제 데이터의 패턴과 유사한 데이터를 생성하도록 학습될 수 있다.According to the present invention, it is possible to implement a modified GAN network for utilizing the conventional generative hostile neural network (GAN) technology for the purpose of generating state monitoring data of machine equipment. The modified GAN network of the present invention may include a verification process for physical characteristics, and may be trained to generate data similar to a pattern of actual data.

본 발명에 따르면 이상상태 산업데이터 생성 기법을 이용하여 현장에서는 매우 희소한 실제 시스템 수준의 이상상태 산업데이터를 취득할 수 있다. 이렇게 얻어진 이상상태 산업데이터는 정확한 산업정보 예측 및 관리 알고리즘을 개발하는데 쓰이게 되며, 이를 통해 1) 제조 설비 건전성 예측진단을 통한 생산성 극대화(near-zero downtime), 2) 출고 제품 품질 검사 수행을 통한 제품 신뢰도 향상(near-zero defect), 3) 설비 에너지 효율 극대화(near-zero waste)를 이룰 수 있다.According to the present invention, by using the abnormal state industrial data generation technique, it is possible to acquire the abnormal state industrial data at the actual system level, which is very scarce in the field. The abnormal state industrial data obtained in this way is used to develop accurate industry information prediction and management algorithms, through which 1) maximization of productivity through predictive diagnosis of the health of manufacturing facilities (near-zero downtime), and 2) products through outgoing product quality inspection Reliability improvement (near-zero defect), 3) facility energy efficiency maximization (near-zero waste) can be achieved.

본 발명에 따르면 생성적 적대 신경망(GAN)을 이용하여 관측된 적 없는(unobserved) 데이터를 생성하고, 새로이 생성된 데이터를 이용하여 실제 기계 장비의 이상 상태를 미리 학습하고, 고장 발생을 예측할 수 있다.According to the present invention, unobserved data is generated using a generative hostile neural network (GAN), and an abnormal state of an actual machine equipment can be learned in advance using the newly generated data, and the occurrence of a failure can be predicted. .

본 발명에 따르면 생성적 적대 신경망(GAN)을 이용하여 적합한 산업데이터 생성을 위하여 데이터의 잠재공간을 사용자 의도에 맞게 재구축할 수 있다.According to the present invention, a potential space of data can be reconstructed according to the user's intention in order to generate suitable industrial data using a generative hostile neural network (GAN).

도 1은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 생성적 적대 신경망(GAN)을 포함하는 컴퓨팅 시스템을 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 생성적 적대 신경망(GAN)을 도시하는 도면이다.
도 3은 도 2의 GAN을 이용하여 본 발명의 일 실시예에서 생성되는 데이터를 데이터 공간 상에서 설명적으로 도시하는 도면이다.
1 is a diagram illustrating a computing system including a generative adversarial neural network (GAN) using artificial intelligence based on machine learning according to an embodiment of the present invention.
2 is a diagram illustrating a generative adversarial neural network (GAN) using artificial intelligence based on machine learning according to an embodiment of the present invention.
FIG. 3 is a diagram schematically illustrating data generated in an embodiment of the present invention using the GAN of FIG. 2 in a data space.

상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.In addition to the above objects, other objects and features of the present invention will become apparent through the description of the embodiments with reference to the accompanying drawings.

본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.A preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the subject matter of the present invention, a detailed description thereof will be omitted.

본 발명은 기계류 부품 (베어링, 기어, 모터 등)의 상태 감시(condition monitoring)에 쓰이는 데이터를 생성하는 기술이다. 생성되는 상태 감시 데이터는 예를 들면, 적외선 영상, 시계열 가속도, 가스 농도, 습도, 유량, 압력, 농도비, 토크, 위치 신호 등의 데이터를 포함할 수 있다. 즉, 기계 장비 또는 부품의 오퍼레이션 시 발생하는 정보는 모두 상태 감시 데이터로 이용할 수 있으며, 기계 장비 또는 부품의 진동, 소음, 외형 상의 변화 등은 모두 상태를 나타내는 정보이다.The present invention is a technology for generating data used for condition monitoring of machinery parts (bearings, gears, motors, etc.). The generated state monitoring data may include data such as infrared images, time series acceleration, gas concentration, humidity, flow rate, pressure, concentration ratio, torque, and position signals. That is, all information generated during operation of mechanical equipment or parts can be used as condition monitoring data, and vibration, noise, and changes in appearance of mechanical equipment or parts are all information indicating the condition.

산업계에서의 기계학습 응용 사례 중 분류 작업(classification task)은 의료 및 공학 분야에서 주로 진단(diagnosis)에 활용된다. 심층학습(Deep learning)을 비롯한 기계학습 기술은 이러한 분류 문제를 학습하기 위하여 충분한 수의 균형 잡힌(balanced) 표지(labeled) 데이터를 필요로 한다. 따라서 기계류 부품의 상태를 정확하게 진단하고 예측하고 기술을 만들기 위해서는 많은 양의 정상 및 이상에 대한 상태 데이터가 필요하다. 하지만 정상상태 데이터 대비 이상상태 데이터는 상대적으로 부족하여 진단 모델의 학습이 어렵다. 따라서 본 발명은 부족한 데이터, 특히 이상상태 데이터를 생성하기 위하여 생성적 적대 신경망(Generative adversarial networks, GANs)를 이용하는 방법을 제안한다. Among the application cases of machine learning in the industry, the classification task is mainly used for diagnosis in the medical and engineering fields. Machine learning technologies, including deep learning, require a sufficient number of balanced, labeled data to learn these classification problems. Therefore, in order to accurately diagnose and predict the condition of machinery parts and make technology, a large amount of normal and abnormal state data is required. However, it is difficult to learn a diagnostic model because the abnormal state data is relatively insufficient compared to the steady state data. Accordingly, the present invention proposes a method of using generative adversarial networks (GANs) to generate scarce data, particularly abnormal state data.

가동 중인 기계 장치에서 획득할 수 있는 상태데이터의 종류는 정상적인 동작 외에도 여러 가지 고장 상태를 포함한다. 하지만 실제 고장이 발생할 때 데이터를 획득하는 것은 매우 드문 일이기 때문에 향후 기계 장치의 진단 또는 고장을 예측하기 위해 고장 데이터를 생성하는 것은 본 발명의 기술 분야에서 대단히 중요한 테마 중 하나이다.The types of state data that can be obtained from a running mechanical device include various fault states in addition to normal operation. However, since it is very rare to acquire data when an actual failure occurs, generating failure data in order to diagnose or predict a failure of a mechanical device in the future is one of the very important themes in the technical field of the present invention.

고장 데이터를 생성하기 위해서는 유사한 장치(테스트베드: testbed)를 만들어 고장을 인위적으로 인가하거나 모사하여 고장 상태 데이터를 획득하는 방법이 주로 쓰인다. 하지만 앞에서 인용한 선행문헌 KR 10-1925480 에서와 같이, 테스트베드는 테스트베드일 뿐이고 진단/예측의 대상인 기계 장치 그 자체가 아니므로, 테스트베드에서 얻어지는 데이터에 기반하여 기계 장치의 가상 데이터를 얻는 방법은 여러 가지가 있을 수 있으나, 그렇게 얻어진 가상 데이터를 적용하기 위해서는 가상 데이터의 타당성에 대한 검증이 필요하다.In order to generate fault data, a method of obtaining fault state data by artificially applying or simulating a fault by creating a similar device (testbed) is mainly used. However, as in the preceding document KR 10-1925480 cited above, since the test bed is only a test bed and is not a mechanical device itself to be diagnosed/predicted, a method of obtaining virtual data of a mechanical device based on the data obtained from the test bed. There may be several types of data, but in order to apply the virtual data thus obtained, verification of the validity of the virtual data is required.

본 발명에서는 기 발생된 데이터를 확장하여 얻어진 기계 장치의 고장 데이터를 물리적인 법칙, 및 패턴 분석에 의한 검증 과정을 생성적 적대 신경망의 적용을 통하여 해결한다. In the present invention, failure data of a mechanical device obtained by expanding previously generated data is solved through the application of a generative adversarial neural network to verify the verification process by physical laws and pattern analysis.

본 발명에서 고장 상태 데이터를 생성하는 방법은 GANs의 잠재공간(latent space)에서의 산술연산(arithmetic rule)에 기반한다. 정상과 고장(혹은 이상) 데이터를 얻기 쉬운 시스템, 즉 테스트베드를 A라고 하고, 고장 데이터를 얻기 어려운 시스템, 즉 실제 장비를 B라고 하면 A의 1)정상과 2)고장, B의 3)정상, 3가지 상태의 데이터를 이용하여 B의 고장 데이터를 생성할 수 있다.In the present invention, a method of generating failure state data is based on an arithmetic rule in a latent space of GANs. If the system that is easy to obtain normal and fault (or abnormal) data, that is, the test bed is called A, and the system where it is difficult to obtain failure data, that is, the actual equipment is called B, then A is 1) normal and 2) fault, B is 3) normal. , B's fault data can be generated by using the data of three states.

본 발명은 구체적으로 첫번째로 생성기(Generator) 학습, 두번째로 데이터 생성을 포함하는 두 단계로 이루어지는데, 생성기 신경망의 학습 과정에서 물리적 법칙에 위배되거나 부적절한 데이터를 걸러내는 기준을 생성기 신경망이 학습한다.Specifically, the present invention consists of two steps including firstly learning a generator and secondly generating data. In the learning process of the generator neural network, the generator neural network learns a criterion for filtering out data that violates physical laws or is inappropriate.

도 1은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 생성적 적대 신경망(GAN)(120)을 포함하는 컴퓨팅 시스템(100)을 도시하는 도면이다.1 is a diagram illustrating a computing system 100 including a generative hostile neural network (GAN) 120 using artificial intelligence based on machine learning according to an embodiment of the present invention.

도 1을 참조하면, 컴퓨팅 시스템(100)은 프로세서(110) 및 생성적 적대 신경망(120)을 포함한다. 생성적 적대 신경망(120)은 메모리 또는 스토리지에 저장되며 프로세서(110)와의 상호 작용을 통하여 내부의 각 노드(node) 간의 엣지(edge)의 가중치(weight)를 학습하고, 학습된 가중치에 기반하여 새로운 입력 데이터에 대한 추론(inference)을 실행한다.Referring to FIG. 1, the computing system 100 includes a processor 110 and a generative adversarial neural network 120. The generative adversarial neural network 120 is stored in memory or storage and learns the weight of the edges between each internal node through interaction with the processor 110, and based on the learned weight. Perform inference on the new input data.

도 2는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 생성적 적대 신경망(GAN)(120)을 도시하는 도면이다.2 is a diagram illustrating a generative adversarial neural network (GAN) 120 using artificial intelligence based on machine learning according to an embodiment of the present invention.

도 2를 참조하면, 도 1의 생성적 적대 신경망(120)은 생성자/생성기 신경망(Generator Network)(210), 판별자/판별기 신경망(Discriminator Network)(220), 판별기 신경망(220)의 제1 손실함수(240), 국부적 특징 데이터(232)로부터 생성된 데이터가 적용된 Local Correlation(230), Local Correlation(230)의 결과인 국부적 특징 손실함수(250), 및 제1 손실함수(240)과 국부적 특징 손실함수(250)가 합성된 제2 손실함수(260)를 포함한다.Referring to FIG. 2, the generative hostile neural network 120 of FIG. 1 includes a generator/generator neural network 210, a discriminator network 220, and a discriminator neural network 220. The first loss function 240, the local correlation 230 to which the data generated from the local feature data 232 is applied, the local feature loss function 250 resulting from the local correlation 230, and the first loss function 240 And a second loss function 260 in which the local feature loss function 250 is synthesized.

프로세서(110)는 생성적 적대 신경망(120)의 생성기 신경망(210) 및 판별기 신경망(220)을 제어하여, 생성적 적대 신경망(120)이 상태 감시 데이터를 생성할 수 있도록 생성적 적대 신경망(120)을 제어한다.The processor 110 controls the generator neural network 210 and the discriminator neural network 220 of the generative adversarial neural network 120 to allow the generative adversarial neural network 120 to generate state monitoring data. 120).

생성기 신경망(210)은 랜덤 노이즈(214)를 초기화된 제1 입력으로 수신하고, 제1 훈련 입력 데이터(216)를 생성한다. 제1 훈련 입력 데이터(216)는 판별기 신경망(220)을 위한 입력 중 하나이고, 향후 생성될 데이터의 후보이다. The generator neural network 210 receives the random noise 214 as an initialized first input and generates first training input data 216. The first training input data 216 is one of inputs for the discriminator neural network 220 and is a candidate for data to be generated in the future.

기계 장비에서 실제로 발생하는 데이터에 기반하여 생성되는 훈련 데이터(Training Set)(212)는 판별기 신경망(220)을 위한 제2 훈련 입력 데이터로서 판별기 신경망(220)에 전달된다.Training data (Training Set) 212 generated based on data actually generated in the machine equipment is transmitted to the discriminator neural network 220 as second training input data for the discriminator neural network 220.

일반적으로 종래의 GANs는 데이터를 정교하게 생성해낼 수 있지만 이 과정은 구조 수정, 학습 파라미터 조정 등의 시행착오를 요구한다. 본 발명에서와 같이, 학습되지 않은 도메인의 데이터를 생성하는 경우 실제 물리현상에 맞지 않는 데이터가 생성될 수 있다. 따라서 물리적 사실에 근거하여 본 발명의 생성적 적대 신경망(120)은 데이터를 학습할 수 있도록 하는 "국부적 특징 데이터(Local Feature Data)"(232)를 정의하여 생성기 신경망(210)과 판별기 신경망(220)의 학습 시 손실함수에 반영한다. 이 국부적 특징 데이터(232)는 생성하고자 하는 도메인의 물리적 특징을 잘 반영하는 대표적인 데이터로 구성한다. 국부적 특징 데이터(232)로부터, 생성하고자 하는 데이터 도메인의 물리적 특징을 잘 반영하는 국부적 메트릭(Local Metric)이 추가로 도출될 수 있다. 본 발명의 실시예에서는 기어박스의 기어에서 발생하는 진동 데이터를 예시로 든다. 기어에서 발생하는 진동은 기어맞물림 주파수(Gear mesh frequency, GMF)라는 고유의 주파수가 발생하며, 이 주파수의 스펙트럼은 전체 스펙트럼 중 가장 큰 비중을 차지한다. 국부적 특징 데이터(232)는 이러한 도메인 고유의 물리적 특징을 담고 있는 국부적인 특징들의 데이터이다. 학습을 위한 생성적 적대 신경망(120)의 제2 손실함수(260)는 종래의 GANs(예를 들어, 생성기 신경망(210)과 판별기 신경망(220)만의 결합인 경우를 의미함)의 손실함수인 제1 손실함수(240)에 국부적 특징 데이터(232)에 대한 생성데이터의 Local Correlation(230)의 음수값의 합으로 이루어진다. 두 손실함수(240, 250)를 더하여 하나의 함수인 제2 손실함수(260)로서 생성하기 위하여 가중합 파라미터가 필요하다. 제1 손실함수(240)와 국부적 특징 손실함수(250) 각각에 적용되는 가중치는 개별적으로 최적화될 수 있다. 가중치는 국부적 특징 손실함수(250)가 포함하는 물리적 특성을 고려하여 결정될 수 있다.In general, conventional GANs can elaborately generate data, but this process requires trial and error such as structural modification and adjustment of learning parameters. As in the present invention, when data of an unlearned domain is generated, data that does not match actual physical phenomena may be generated. Therefore, based on physical facts, the generative adversarial neural network 120 of the present invention defines “Local Feature Data” 232 that enables data to be learned, and thus the generator neural network 210 and the discriminator neural network ( 220) is reflected in the loss function. The local feature data 232 is composed of representative data that well reflects the physical features of the domain to be generated. From the local feature data 232, a local metric that reflects the physical feature of the data domain to be generated may be additionally derived. In the embodiment of the present invention, vibration data generated from a gear of a gearbox is taken as an example. The vibration generated by the gear generates a unique frequency called the gear mesh frequency (GMF), and the spectrum of this frequency occupies the largest portion of the entire spectrum. The local feature data 232 is data of local features that contain physical features specific to this domain. The second loss function 260 of the generative adversarial neural network 120 for learning is a loss function of conventional GANs (e.g., a combination of only the generator neural network 210 and the discriminator neural network 220) It consists of the sum of the negative values of the Local Correlation 230 of the generated data for the local feature data 232 to the first loss function 240. A weighted sum parameter is required in order to generate the second loss function 260 as one function by adding the two loss functions 240 and 250. Weights applied to each of the first loss function 240 and the local feature loss function 250 may be individually optimized. The weight may be determined in consideration of physical characteristics included in the local feature loss function 250.

생성적 적대 신경망에 포함되는 판별기(Discriminator) 신경망(220)이 제1 손실 함수(240)를 이용하여 산술 연산에 의한 확장 시 확장된 데이터의 패턴이 학습 대상인 훈련 데이터(training set)(212), 즉, 제2 훈련 입력 데이터와 유사하도록 생성적 적대 신경망을 제어한다. 또한 생성된 데이터(216)가 국부적 특징, 물리적 법칙에 부합하는지를 국부적 특징 손실함수(150) 및 제2 손실 함수(260)가 피드백하여 생성적 적대 신경망(120)이 생성된 데이터를 스스로 검증할 수 있는 수단으로서 기능한다.When the discriminator neural network 220 included in the generative adversarial neural network expands by arithmetic operation using the first loss function 240, the training data (training set) 212 in which the pattern of the expanded data is a learning target That is, the generative adversarial neural network is controlled to be similar to the second training input data. In addition, the local feature loss function 150 and the second loss function 260 feed back whether the generated data 216 conforms to local features and physical laws, so that the generative adversarial neural network 120 can self-verify the generated data. It functions as a means of being.

도 3은 도 1과 도 2의 GAN(120)을 이용하여 본 발명의 일 실시예에서 생성되는 데이터를 데이터 공간 상에서 설명적으로 도시하는 도면이다.3 is a diagram schematically illustrating data generated in an embodiment of the present invention using the GAN 120 of FIGS. 1 and 2 in a data space.

도 3을 참조하면, 생성적 적대 신경망(120)을 이용하여 데이터 공간(310, 320) 상에서 데이터를 확장하고, 확장된 데이터를 조정하고, 조정된 데이터를 검증(물리적인 특징에 기반하여 검증)하는 과정이 도시된다.3, using a generative adversarial neural network 120 to expand data in data spaces 310 and 320, adjust the expanded data, and verify the adjusted data (verification based on physical characteristics) The process of doing is shown.

본 발명의 생성적 적대 신경망(120)은 관측공간(Observation Space)(310)에서 실제로 관측된 데이터에 기반하여, 잠재공간(320)에서 무작위 수(random number)를 새로운 데이터의 후보로서 생성할 수 있다. 이때 학습된 생성적 적대 신경망(120)은 생성된 무작위 수를 입력받아 판별기 신경망(220)과 제2 손실함수(260)의 동작에 의하여 새로운 데이터를 생성할 수 있다. 이때, 잠재공간(Latent Space)(320)에서는 도메인 별로 생성되는 데이터의 특징이 고유하다. The generative hostile neural network 120 of the present invention can generate a random number as a candidate for new data in the latent space 320 based on the data actually observed in the observation space 310. have. At this time, the learned generative hostile neural network 120 may receive the generated random number and generate new data by the operation of the discriminator neural network 220 and the second loss function 260. In this case, the characteristics of data generated for each domain are unique in the latent space 320.

관측 대상이 되는 기계 장비는 실제의 기계 장비 및 실제의 기계 장비를 모방한 테스트베드(testbed)를 포함한다. The mechanical equipment to be observed includes real mechanical equipment and a testbed that mimics the real mechanical equipment.

관측공간(310)에서 얻어지는 데이터는 상기 테스트베드의 정상 동작에 의하여 얻어지는 제1 정상 상태 데이터에 대응하는 제1 데이터 도메인(testbed normal), 상기 테스트베드의 비정상 동작에 의하여 얻어지는 제1 비정상 상태 데이터에 대응하는 제2 데이터 도메인(testbed fault), 및 상기 실제의 기계 장비의 정상 동작에 의하여 얻어지는 제2 정상 상태 데이터에 대응하는 제3 데이터 도메인(Field normal)으로 구분될 수 있다.The data obtained in the observation space 310 is a first data domain corresponding to the first steady state data obtained by the normal operation of the test bed, and the first abnormal state data obtained by the abnormal operation of the test bed. It may be divided into a corresponding second data domain (testbed fault) and a third data domain (field normal) corresponding to second steady state data obtained by normal operation of the actual machine equipment.

실제의 기계 장비가 고의로 비정상 동작을 하게 될 경우는 빈번하게 발생하지 않으며, 실제의 기계 장비의 비정상 동작 시, 그 상태 정보를 정확하게 얻어내는 것은 매우 어려운 일이다. 따라서 실제의 기계 장비의 비정상 동작에 의하여 얻어지는 제2 비정상 상태 데이터에 대응하는 제4 데이터 도메인(Field fault)의 데이터는 거의 얻기 어려우며, 이 점에서 제4 데이터 도메인의 데이터는 관측공간(310)에서는 존재하지 않고 잠재공간(320)에서 취급된다.In case the actual mechanical equipment deliberately operates abnormally, it does not occur frequently, and it is very difficult to accurately obtain the state information when the actual mechanical equipment operates abnormally. Therefore, it is difficult to obtain the data of the fourth data domain (Field fault) corresponding to the second abnormal state data obtained by the abnormal operation of the actual mechanical equipment, and in this regard, the data of the fourth data domain is in the observation space 310. It does not exist and is handled in the latent space 320.

도 3에 도시된 것처럼, 관측공간(310)의 제1 데이터 도메인, 제2 데이터 도메인, 및 제3 데이터 도메인이 가용한 데이터(Available Data)로서 생성적 적대 신경망(120)에 입력되고, 생성적 적대 신경망(120)이 훈련/학습된다. As shown in FIG. 3, the first data domain, the second data domain, and the third data domain of the observation space 310 are input to the generative hostile neural network 120 as available data, and The hostile neural network 120 is trained/learned.

생성적 적대 신경망(120)의 학습에 의하여, 관측공간(310)의 제1 데이터 도메인, 제2 데이터 도메인, 및 제3 데이터 도메인에 속하는 제2 훈련 입력 데이터(212)는 잠재공간(320)에서 확장된 도메인을 가지도록 조정된다. 도 3에서는 설명의 편의상 제1 데이터 도메인의 잠재공간(320)에서의 제1 잠재적 데이터 도메인(322)을 이용하여 이 과정을 설명한다. 생성적 적대 신경망(120)의 생성기 신경망(210)은 랜덤 넘버를 이용하여 제1 잠재적 데이터 도메인(322)으로부터 제1 확장 데이터 도메인(324)으로 생성 가능한 데이터의 범위를 넓힐 수 있다. 생성기 신경망(210)은 기초 데이터로부터 생성 데이터의 범위를 확장하는 기술이므로, 잠재공간(320) 상에서는 데이터가 가질 수 있는 수치 범위가 확장되는 것으로 표현된다. 다만 이때 물리적 특성을 고려한 국부적 특징 손실함수(250)에 의하여 생성 가능한 데이터는 물리적 특성/국부적 특징에 부합하는 데이터만 선별적으로 생성될 수 있고, 생성 가능한 데이터의 실제 데이터에 대한 유사도는 더욱 높아질 수 있다. 또한, 판별기 신경망(220)의 제1 손실함수(240)에 의하여, 데이터가 가지는 고유한 패턴이 식별되고, 생성 가능한 데이터는 제1 데이터 도메인에서 나타나는 고유한 패턴을 가지는 데이터가 선별적으로 생성될 수 있다.By learning of the generative hostile neural network 120, the second training input data 212 belonging to the first data domain, the second data domain, and the third data domain of the observation space 310 are in the latent space 320. It is adjusted to have an extended domain. In FIG. 3, for convenience of explanation, this process is described using the first potential data domain 322 in the latent space 320 of the first data domain. The generator neural network 210 of the generative hostile neural network 120 may widen the range of data that can be generated from the first potential data domain 322 to the first extended data domain 324 by using a random number. Since the generator neural network 210 is a technology that expands the range of the generated data from the basic data, it is expressed that the numerical range that the data can have on the latent space 320 is expanded. However, at this time, the data that can be generated by the local feature loss function 250 taking into account physical characteristics can be selectively generated only data conforming to the physical characteristics/local characteristics, and the similarity of the generated data to actual data can be further increased. have. In addition, a unique pattern of data is identified by the first loss function 240 of the discriminator neural network 220, and data having a unique pattern appearing in the first data domain is selectively generated as data that can be generated. Can be.

마찬가지로, 제2 데이터 도메인의 데이터에 대해서도 생성적 적대 신경망(120)의 학습에 의하여, 생성적 적대 신경망(120)이 생성할 수 있는 데이터의 잠재적 도메인은 잠재공간(320) 상에서 확장될 것이다. 이 경우에도 제2 데이터 도메인에서 나타나는 고유한 패턴과 물리적 특징/국부적 특징이 반영된 데이터가 선별적으로 생성될 것이며, 제3 데이터 도메인에 대해서도 동일한 기술적 특징이 마찬가지로 적용된다.Likewise, for data in the second data domain, a potential domain of data that can be generated by the generative adversarial neural network 120 will be expanded on the latent space 320 by learning of the generative adversarial neural network 120. In this case as well, data reflecting unique patterns and physical/local features appearing in the second data domain will be selectively generated, and the same technical features are applied to the third data domain as well.

프로세서(110)는 제1 데이터 도메인, 제2 데이터 도메인, 및 제3 데이터 도메인 간의 연관성에 기반한 산술 연산(arithmetic operation)에 의하여, 제4 데이터 도메인에 속하는 새로운 제2 입력 데이터를 생성할 수 있다. 제1 데이터 도메인, 제2 데이터 도메인, 및 제3 데이터 도메인 간의 연관성에 기반하여 제4 데이터 도메인에 속하는 제2 입력 데이터를 생성하는 과정은 다양한 산술 연산에 의하여 구현될 수 있다. 제4 데이터 도메인의 데이터를 얻는 방법은, 종래의 머신 러닝/기계 학습(machine learning)을 이용하여 얻어질 수도 있다. 예를 들면, 실제 시스템 모사 테스트베드 데이터(제1, 제2 데이터 도메인) 취득을 통하여 지도 학습(supervised learning)을 이용하여 제4 데이터 도메인의 데이터를 얻을 수도 있으며, 실제 시스템 취득 정상 데이터(제3 데이터 도메인)를 이용한 비지도 학습(unsupervised learning)을 이용하여 제4 데이터 도메인에 속하는 데이터를 얻을 수도 있다. 다만 종래의 지도 학습 기반 방법은 제조사, 운행 환경, 용량 등의 테스트베드 특성에 따라 알고리듬이 편향되게 학습되는 한계가 있다. 또한 종래의 비지도 학습 방법은 이종 정상(학습된 정상과 다른 종류의 정상)을 고장으로 오진단할 우려가 있다. The processor 110 may generate new second input data belonging to the fourth data domain by an arithmetic operation based on the association between the first data domain, the second data domain, and the third data domain. A process of generating second input data belonging to the fourth data domain based on the association between the first data domain, the second data domain, and the third data domain may be implemented by various arithmetic operations. A method of obtaining data of the fourth data domain may be obtained using conventional machine learning/machine learning. For example, data of the fourth data domain may be obtained using supervised learning through acquisition of actual system simulation test bed data (first and second data domains), and actual system acquisition normal data (third data domain) Data belonging to the fourth data domain may be obtained using unsupervised learning using (data domain). However, the conventional supervised learning-based method has a limitation in that the algorithm is learned to be biased according to the characteristics of the test bed such as manufacturer, driving environment, and capacity. In addition, there is a concern that the conventional unsupervised learning method may misdiagnose a heterogeneous normal (a normal type different from the learned normal) as a failure.

본 발명의 생성적 적대 신경망(120)은 데이터가 가지고 있는 여러 특성을 데이터 차원보다 낮은 잠재공간(320)에서 학습하고, 확장할 수 있다. 생성적 적대 신경망(120)은 잠재공간(320) 내에서 종래의 머신 러닝보다 smooth하게 데이터를 학습하므로, 데이터의 특성에 따른 산술 연산(arithmetic operation)이 가능하도록 지원한다.The generative adversarial neural network 120 of the present invention can learn and expand various characteristics of data in a latent space 320 lower than the data dimension. Since the generative adversarial neural network 120 learns data smoother than conventional machine learning in the latent space 320, it supports arithmetic operation according to the characteristics of the data.

또한 기존의 비지도학습에서는 실제 데이터(Real Data)의 특징을 추출하고, 추출된 특징을 다시 데이터로 재구축하는 과정에서 잠재공간의 형태가 무작위적이고 재구축된 데이터가 현실과 동떨어진 경우가 빈번하였는데, 본 발명의 생성적 적대 신경망(120)은 생성기 신경망(210)이 생성한 가짜 데이터(Fake Data)와 실제 데이터(Real Data)를 판별기 신경망(220)이 구분하지 못할 정도로 학습하는 것이 목표로 설계되기 때문에, 현실과 구분하기 어려울 정도로 유사한 데이터를 모사해 낼 수 있다. 생성적 적대 신경망(120)은 종래의 제한적 볼츠만 머신(Restricted Boltzmann Machine, RBM)이나 디노이징 오토인코더(denosing Autoencoder, dAE)에 비해 매우 현실적인 데이터를 생성할 수 있다. 또한 데이터가 속하는 도메인의 물리적 특성을 고려한 국부적 특징 손실함수(150)를 생성적 적대 신경망(120) 내에 포함함으로써, 생성된 데이터가 물리적 법칙에 부합하고, 고장진단에 가치가 높게 사용될 수 있는 실제 산업 시스템의 고장데이터를 생성해낼 수 있다.In addition, in the existing unsupervised learning, in the process of extracting features of real data and reconstructing the extracted features into data, the shape of the latent space is often random and the reconstructed data is far from reality. , The generative hostile neural network 120 of the present invention aims to learn to the extent that the discriminator neural network 220 cannot distinguish between fake data and real data generated by the generator neural network 210 Because it is designed, it can simulate data that is so similar that it is difficult to distinguish it from reality. The generative adversarial neural network 120 can generate very realistic data compared to a conventional Restricted Boltzmann Machine (RBM) or a denoising autoencoder (dAE). In addition, by including the local feature loss function 150 in consideration of the physical characteristics of the domain to which the data belongs in the generative adversarial neural network 120, the generated data conforms to the physical laws and can be used with high value for fault diagnosis. System fault data can be generated.

잘 형성된 잠재공간은 데이터가 포함하고 있는 특징을 잘 정렬하는 경향이 있으며, 이를 이용하여 잠재공간 좌표의 산술연산(arithmetic operation)을 이용하여 새로운 데이터를 생성해 낼 수 있다. 이 발명을 통하여 가정할 수 있는 좋은 예시 중 하나는 테스트베드에서 인위적으로 생성된 정상 데이터와 고장데이터, 그리고 실제 산업시스템에서 획득된 상 데이터를 가지고 있을 때 특징 1(정상 ,고장), 특징 2(테스트베드, 산업시스템)의 특징을 각각 획득하여 산술연산을 통해 잠재공간에서 산업시스템의 고장데이터 좌표를 획득하여 생성해내는 것이다. 이를 통하여 획득이 어려운 산업시스템의 고장데이터를 생성하여 진단모델의 학습에 활용할 수 있다.A well-formed latent space tends to align the features contained in the data well, and new data can be generated using an arithmetic operation of the coordinates of the latent space using this. One of the good examples that can be assumed through this invention is feature 1 (normal, fault), feature 2 (normal data and fault data artificially generated in the test bed, and phase data acquired from an actual industrial system). Test bed, industrial system) are each acquired and generated by acquiring the coordinates of the fault data of the industrial system in the latent space through arithmetic operation. Through this, fault data of an industrial system that is difficult to obtain can be generated and used for learning of a diagnostic model.

도메인 별로 생성하는 데이터의 특징이 고유하며, 이 성질을 이용하여 학습된 데이터가 잠재공간(320)의 어느 도메인에서 발생하는지 알고 있을 때, 잠재공간(320)에서의 산술연산을 통해서 새로운 데이터를 생성해낼 수 있다. 산술연산을 통하여 프로세서(110)는 잠재공간(320) 내에서 제4 데이터 도메인(326, 328)의 데이터를 생성할 수 있다. 이러한 산술연산 과정은 생성적 적대 신경망(120) 내부에서 실행될 수도 있고, 컴퓨팅 시스템(100) 내부의 다른 generator 신경망 또는 generator 로직에 의하여 실행될 수도 있다. When the characteristics of the data generated for each domain are unique, and when it is known in which domain of the latent space 320 the data learned using this property occurs, new data is generated through arithmetic operations in the latent space 320 You can do it. Through arithmetic operation, the processor 110 may generate data of the fourth data domains 326 and 328 in the latent space 320. This arithmetic operation process may be executed inside the generative adversarial neural network 120 or by another generator neural network or generator logic inside the computing system 100.

이러한 산술 연산의 일 예시로, 종래기술인 한국등록특허 KR 10-1925480호 "가속수명시험 데이터 기반 고장예지용 운용하중 데이터 생성 방법 및 장치" 등의 발명이 본 발명의 목적에 변형되어 이용될 수도 있다. 상기 선행문헌은 본 발명의 구성의 일부로서 변형되어 적용될 수 있다. 다만 상기 선행문헌은 앞서 설명한 바와 같이, 산술적 관련성, 통계적 관련성에만 초점을 맞추고 있어 데이터의 확장이 불가능하고, 생성된 가짜 데이터가 실제 데이터와 유사한 지, 실제 데이터가 물리적 법칙을 따르고 있는지에 대한 정보를 포함하지 않고, 이에 따른 검증도 불가능하다. 이에 비하여 본 발명의 생성적 적대 신경망(120)은 데이터의 잠재공간(320) 내에서 확장이 가능하고, 두 가지 종류의 손실함수(140, 150)가 합성된 제2 손실함수(160)를 이용함으로써, 생성되는 데이터가 실제 데이터와 구별이 어려울 정도로 유사하고, 물리 법칙을 따르도록 학습될 수 있다.As an example of such arithmetic operation, the invention of the prior art Korean Patent No. KR 10-1925480 "A method and apparatus for generating operating load data for failure prediction based on accelerated life test data" may be modified and used for the purpose of the present invention. . The prior literature may be modified and applied as part of the configuration of the present invention. However, as described above, the preceding literature focuses only on arithmetic and statistical relevance, so data expansion is impossible, and information on whether generated fake data is similar to real data, or whether actual data follows physical laws. It does not include it, and verification accordingly is also impossible. In contrast, the generative hostile neural network 120 of the present invention can be expanded within the latent space 320 of data, and uses a second loss function 160 in which two types of loss functions 140 and 150 are synthesized. By doing so, the generated data is similar enough to be difficult to distinguish from the actual data, and can be learned to follow the laws of physics.

산술 연산에 의하여 제4 잠재적 데이터 도메인(326)의 데이터가 생성되고, 제4 잠재적 데이터 도메인(326)의 데이터를 제2 입력 데이터로서 생성적 적대 신경망(120)에 입력한 후, 생성적 적대 신경망(120)에 의하여 생성되는 데이터는 제4 확장 도메인(328)에 대응한다. 생성적 적대 신경망(120)에 의하여 생성되는 데이터가 제4 데이터 도메인에 속하면서 실제의 기계 장비의 상태 감시 데이터로서 생성된다. 생성적 적대 신경망(120)을 구현하는 실시예에 따라서는 제2 입력 데이터에 의한 생성기 신경망(210)의 출력 데이터가 상태 감시 데이터로서 생성될 수도 있고, 또 다른 실시예에 따라서는 생성기 신경망(210)의 출력 데이터가 판별기 신경망(220)의 추론(inference)에 의하여 선별된 출력 데이터가 상태 감시 데이터로서 생성될 수도 있다.Data of the fourth potential data domain 326 is generated by arithmetic operations, and after inputting the data of the fourth potential data domain 326 as second input data into the generative adversarial neural network 120, a generative adversarial neural network The data generated by 120 corresponds to the fourth extended domain 328. Data generated by the generative adversarial neural network 120 belongs to the fourth data domain and is generated as state monitoring data of actual machine equipment. Depending on the embodiment implementing the generative adversarial neural network 120, the output data of the generator neural network 210 based on the second input data may be generated as state monitoring data, and according to another embodiment, the generator neural network 210 ), the output data selected by inference of the discriminator neural network 220 may be generated as state monitoring data.

프로세서(110)는 훈련을 거친 생성적 적대 신경망(120)의 추론(inference)을 거쳐 생성된 출력 데이터를 기계 장비의 상태 감시 데이터로서 생성하고, 이때의 출력 데이터는 기계 장비의 상태를 감시하기 위한 또 다른 인공신경망(도시되지 않음)의 머신 러닝을 위한 입력 데이터로서 이용될 수 있다.The processor 110 generates output data generated through inference of the trained generative adversarial neural network 120 as state monitoring data of the mechanical equipment, and the output data at this time is for monitoring the state of the mechanical equipment. It may be used as input data for machine learning of another artificial neural network (not shown).

제1 데이터 도메인, 제2 데이터 도메인, 및 제3 데이터 도메인을 입력 데이터로 하여 훈련된 생성적 적대 신경망(120)은 잠재공간(320) 내에서 확장된 데이터 도메인에 속하는 데이터를 생성할 수 있다. 이때, 판별기 신경망(220)은 각 데이터 도메인 별로 최적화된 판별 기준을 학습할 수 있다. 따라서 잠재공간(320)에서 잠재적 데이터 도메인이 확장되어도 제1 데이터 도메인의 확장된 데이터 도메인(324)이 다른 제2 데이터 도메인 또는 제3 데이터 도메인을 침범하지 않도록 제어될 수 있다. 판별기 신경망(220)의 학습에 의한 판별 기준은, 제4 데이터 도메인에 대해서도 적용되므로, 제4 잠재적 데이터 도메인(326)의 데이터로부터 확장/생성된 제4 확장 데이터 도메인(328)이 다른 제1 데이터 도메인, 제2 데이터 도메인, 또는 제3 데이터 도메인을 침범하지 않도록 제어될 수 있다.The generative adversarial neural network 120 trained using the first data domain, the second data domain, and the third data domain as input data may generate data belonging to the extended data domain in the latent space 320. In this case, the discriminator neural network 220 may learn a discrimination criterion optimized for each data domain. Accordingly, even if the potential data domain is expanded in the latent space 320, the extended data domain 324 of the first data domain may be controlled so as not to invade another second data domain or a third data domain. Since the discriminant neural network 220 is determined by learning, the fourth data domain 328 is extended/generated from the data of the fourth potential data domain 326 because the fourth extended data domain 328 is different from the first data domain. It can be controlled not to invade the data domain, the second data domain, or the third data domain.

국부적 특징 손실함수(250)는 기계 장비의 상태 감시 데이터로서 생성될 목표 데이터 도메인의 물리적 특징에 기반한 국부적 특징 데이터와의 연관성을 정량화하는 함수로 선택될 수 있다. 또한 국부적 특징 손실함수(250)는 제1 데이터 도메인, 제2 데이터 도메인, 제3 데이터 도메인, 및 제4 데이터 도메인 각각에서 나타나는 물리적 특징이 개별적으로 최적화되는 국부적 메트릭(Local Metric)의 형태로 정의될 수도 있다.The local feature loss function 250 may be selected as a function for quantifying a correlation with local feature data based on a physical feature of a target data domain to be generated as state monitoring data of a machine equipment. In addition, the local feature loss function 250 may be defined in the form of a local metric in which physical characteristics appearing in each of the first data domain, the second data domain, the third data domain, and the fourth data domain are individually optimized. May be.

본 발명의 변형된 일 실시예로서, 프로세서(110)는 초기화된 제1 입력을 랜덤 노이즈에 기반하여 생성하고 생성기 신경망(210)의 훈련을 위한 입력으로서 생성기 신경망(210)에 전달할 수 있다. 이때, 프로세서(110)는 제2 입력 데이터를 제4 데이터 도메인에 속하는 랜덤 넘버에 기반하여 생성하고, 제2 입력 데이터를 훈련된 생성기 신경망(210)의 입력으로서 전달할 수도 있다.As a modified embodiment of the present invention, the processor 110 may generate the initialized first input based on random noise and transmit it to the generator neural network 210 as an input for training the generator neural network 210. In this case, the processor 110 may generate the second input data based on a random number belonging to the fourth data domain, and may transmit the second input data as an input of the trained generator neural network 210.

본 발명의 머신 러닝 기반의 인공지능을 이용하는 상태 감시 데이터 생성 장치 및 방법은 상태 감시 데이터 생성에 적합하도록 조정된 생성적 적대 신경망(120)을 제안한다. 또한 본 발명의 생성적 적대 신경망(120)은 잠재공간(320)에서 데이터를 확장할 수 있고, 관측되지 않은(unobserved) 데이터 또는 매우 부족한 데이터로부터 실제 기계 장비의 고장 데이터를 얻을 수 있어, 데이터의 불균형과 비대칭을 해소할 수 있다. 또한 본 발명의 생성적 적대 신경망(120)은 단순히 데이터를 산술적으로 조합하여 확장하는 것이 아니라, 각 데이터 도메인의 데이터 패턴을 학습하여 실제 데이터와 구별하기 어려운 데이터를 선별적으로 생성할 수 있고, 또한 이 과정에서 각 데이터 도메인에서 나타나는 물리적 특성이 반영된 손실함수를 추가로 적용하여 생성된 데이터가 물리적 법칙을 따르는, 현실과 매우 유사한 데이터를 생성할 수 있다. The apparatus and method for generating condition monitoring data using machine learning-based artificial intelligence of the present invention proposes a generative adversarial neural network 120 adapted to be suitable for generating condition monitoring data. In addition, the generative adversarial neural network 120 of the present invention can expand data in the latent space 320 and obtain failure data of actual mechanical equipment from unobserved or very insufficient data. Imbalance and asymmetry can be resolved. In addition, the generative adversarial neural network 120 of the present invention does not simply expand data by arithmetically combining it, but learns the data pattern of each data domain to selectively generate data that is difficult to distinguish from actual data. In this process, by additionally applying a loss function reflecting the physical characteristics appearing in each data domain, the generated data follows the physical laws, and data very similar to reality can be generated.

본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 상태 감시 데이터 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The state monitoring data generation method using machine learning-based artificial intelligence according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.However, the present invention is not limited or limited by the embodiments. The same reference numerals shown in each drawing indicate the same members. The length, height, size, width, etc. introduced in the embodiments and drawings of the present invention may be exaggerated to aid understanding.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but this is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , If a person of ordinary skill in the field to which the present invention belongs, various modifications and variations are possible from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention is limited to the described embodiments and should not be determined, and all things that are equivalent or equivalent to the claims as well as the claims to be described later fall within the scope of the present invention. .

100: 컴퓨팅 시스템
110: 프로세서
120: 생성적 적대 신경망
210: 생성기 신경망 220: 판별기 신경망
240: 제1 손실함수 260: 제2 손실함수
100: computing system
110: processor
120: generative hostile neural network
210: generator neural network 220: discriminator neural network
240: first loss function 260: second loss function

Claims (12)

머신 러닝 기반의 인공지능을 이용하여 기계 장비의 상태 감시 데이터를 생성하는 상태 감시 데이터 생성 장치로서, 상기 상태 감시 데이터 생성 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 생성적 적대 신경망(GAN, Generative Adversarial Network) 및 프로세서를 포함하고,
상기 생성적 적대 신경망은 생성기 신경망(Generator Network)과 판별기 신경망(Discriminator Network)을 포함하고,
상기 프로세서는
초기화된 제1 입력을 수신하는 상기 생성기 신경망을 이용하여 상기 판별기 신경망을 위한 제1 훈련 입력 데이터를 생성하고,
상기 기계 장비에서 실제로 발생하는 데이터를 상기 판별기 신경망을 위한 제2 훈련 입력 데이터로서 상기 판별기 신경망에 전달하고,
상기 기계 장비 및 상기 상태 감시 데이터의 물리적 특징에 부합하는지 여부를 검증하는 국부적 특징 함수가 정의되면, 상기 제1 훈련 입력 데이터를 상기 제2 훈련 입력 데이터로부터 판별하기 위한 제1 손실 함수에 상기 국부적 특징 함수가 합성되는 제2 손실 함수를 이용하여 상기 판별기 신경망 및 상기 생성기 신경망을 훈련하는 상태 감시 데이터 생성 장치.
As a state monitoring data generating device that generates state monitoring data of machine equipment using machine learning-based artificial intelligence, the state monitoring data generating device includes a computing system, and the computing system is a generative adversarial network (GAN). Network) and a processor,
The generative adversarial neural network includes a generator neural network and a discriminator network,
The processor is
Generating first training input data for the discriminator neural network using the generator neural network receiving the initialized first input,
Transmitting data actually generated in the machine equipment to the discriminator neural network as second training input data for the discriminator neural network,
If a local feature function for verifying whether the mechanical equipment and the condition monitoring data conforms to the physical feature is defined, the local feature in a first loss function for discriminating the first training input data from the second training input data A state monitoring data generation apparatus for training the discriminator neural network and the generator neural network using a second loss function from which a function is synthesized.
제1항에 있어서,
상기 기계 장비는 실제의 기계 장비 및 상기 실제의 기계 장비를 모방한 테스트베드를 포함하고,
상기 프로세서는
상기 테스트베드의 정상 동작에 의하여 얻어지는 제1 정상 상태 데이터에 대응하는 제1 데이터 도메인, 상기 테스트베드의 비정상 동작에 의하여 얻어지는 제1 비정상 상태 데이터에 대응하는 제2 데이터 도메인, 및 상기 실제의 기계 장비의 정상 동작에 의하여 얻어지는 제2 정상 상태 데이터에 대응하는 제3 데이터 도메인 간의 연관성에 기반한 산술 연산에 의하여 상기 실제의 기계 장비의 비정상 동작에 의하여 얻어지는 제2 비정상 상태 데이터에 대응하는 잠재적 데이터 공간인 제4 데이터 도메인에 속하는 제2 입력 데이터를 생성하고,
상기 제2 입력 데이터를 상기 생성적 적대 신경망의 상기 생성기 신경망의 입력으로서 상기 훈련을 거친 상기 생성기 신경망에 전달하며,
상기 훈련을 거친 상기 생성기 신경망 및 상기 훈련을 거친 상기 판별기 신경망의 추론(inference)을 거쳐 판별된 출력 데이터를 상기 제4 데이터 도메인에 속하는 상기 실제의 기계 장비의 상태 감시 데이터로서 생성하는 상태 감시 데이터 생성 장치.
The method of claim 1,
The mechanical equipment includes real mechanical equipment and a test bed imitating the real mechanical equipment,
The processor is
A first data domain corresponding to first normal state data obtained by the normal operation of the test bed, a second data domain corresponding to first abnormal state data obtained by an abnormal operation of the test bed, and the actual machine equipment This is a potential data space corresponding to the second abnormal state data obtained by the abnormal operation of the actual machine equipment by arithmetic operations based on the association between the third data domains corresponding to the second steady state data obtained by the normal operation of 4 Create second input data belonging to the data domain,
Transferring the second input data to the trained generator neural network as input to the generator neural network of the generative hostile neural network,
State monitoring data for generating output data determined through inference of the trained generator neural network and the trained discriminator neural network as state monitoring data of the actual machine equipment belonging to the fourth data domain Generating device.
제1항에 있어서,
상기 프로세서는 상기 훈련을 거친 상기 생성기 신경망 및 상기 훈련을 거친 상기 판별기 신경망의 추론(inference)을 거쳐 판별된 출력 데이터를 상기 기계 장비의 상기 상태 감시 데이터로서 생성하고,
상기 출력 데이터는 상기 기계 장비의 상태를 감시하기 위한 또 다른 인공신경망의 머신 러닝을 위한 입력 데이터로서 이용되는 상태 감시 데이터 생성 장치.
The method of claim 1,
The processor generates output data determined through inference of the trained generator neural network and the trained discriminator neural network as the state monitoring data of the machine equipment,
The output data is used as input data for machine learning of another artificial neural network for monitoring the state of the machine equipment.
제1항에 있어서,
상기 국부적 특징 함수는
상기 기계 장비의 상기 상태 감시 데이터로서 생성될 목표 데이터 도메인의 물리적 특징에 기반한 국부적 특징 데이터와의 연관성을 정량화하는 함수인 상태 감시 데이터 생성 장치.
The method of claim 1,
The local feature function is
A condition monitoring data generating device that is a function for quantifying a correlation with local feature data based on a physical feature of a target data domain to be generated as the condition monitoring data of the mechanical equipment.
제4항에 있어서,
상기 국부적 특징 데이터는 상기 기계 장비에 포함되는 기어(gear)에서 발생하는 진동 데이터의 기어맞물림 주파수(GMF, Gear mesh frequency)에 기반한 데이터인 상태 감시 데이터 생성 장치.
The method of claim 4,
The local feature data is data based on a gear mesh frequency (GMF) of vibration data generated from a gear included in the mechanical equipment.
제1항에 있어서,
상기 제2 손실 함수는 상기 제1 손실 함수, 및 상기 국부적 특징 함수의 음수를 취한 값 간의 가중치 합산으로 정의되는 상태 감시 데이터 생성 장치.
The method of claim 1,
The second loss function is defined as a weight summation between the first loss function and a negative value of the local feature function.
제2항에 있어서,
상기 프로세서는 상기 초기화된 제1 입력을 랜덤 노이즈에 기반하여 생성하고 상기 생성기 신경망의 훈련을 위한 입력으로서 상기 생성기 신경망에 전달하며,
상기 제2 입력 데이터를 상기 제4 데이터 도메인에 속하는 랜덤 넘버로 생성하고, 상기 제2 입력 데이터를 상기 훈련된 상기 생성기 신경망의 입력으로서 상기 훈련된 상기 생성기 신경망의 입력으로 전달하는 상태 감시 데이터 생성 장치.
The method of claim 2,
The processor generates the initialized first input based on random noise and transfers the initialized first input to the generator neural network as an input for training the generator neural network,
A state monitoring data generation device that generates the second input data as a random number belonging to the fourth data domain, and transmits the second input data as an input of the trained generator neural network to an input of the trained generator neural network .
컴퓨팅 시스템에 의하여 실행되는, 머신 러닝 기반의 인공지능을 이용하여 기계 장비의 상태 감시 데이터를 생성하는 상태 감시 데이터 생성 방법으로서,
상기 컴퓨팅 시스템은 생성적 적대 신경망(GAN, Generative Adversarial Network) 및 프로세서를 포함하고, 상기 생성적 적대 신경망은 생성기 신경망(Generator Network)와 판별기 신경망(Discriminator Network)를 포함하고,
상기 프로세서는 초기화된 제1 입력을 수신하는 상기 생성기 신경망을 이용하여 상기 판별기 신경망을 위한 제1 훈련 입력 데이터를 생성하는 단계;
상기 프로세서는 상기 기계 장비에서 실제로 발생하는 데이터를 상기 판별기 신경망을 위한 제2 훈련 입력 데이터로서 상기 판별기 신경망에 전달하는 단계, 및
상기 프로세서는, 상기 기계 장비 및 상기 상태 감시 데이터의 물리적 특징에 부합하는지 여부를 검증하는 국부적 특징 함수가 정의되면, 상기 제1 훈련 입력 데이터를 상기 제2 훈련 입력 데이터로부터 판별하기 위한 제1 손실 함수에 상기 국부적 특징 함수가 합성되는 제2 손실 함수를 이용하여 상기 판별기 신경망 및 상기 생성기 신경망을 훈련하는 단계;
를 포함하는 상태 감시 데이터 생성 방법.
As a condition monitoring data generation method that generates condition monitoring data of machine equipment using machine learning-based artificial intelligence executed by a computing system,
The computing system includes a generative adversarial network (GAN) and a processor, and the generative adversarial network includes a generator neural network and a discriminator network,
The processor generating first training input data for the discriminator neural network using the generator neural network for receiving the initialized first input;
The processor transferring data actually generated in the machine equipment as second training input data for the discriminator neural network to the discriminator neural network, and
The processor, when a local feature function for verifying whether the mechanical equipment and the state monitoring data conforms to the physical feature is defined, a first loss function for discriminating the first training input data from the second training input data Training the discriminator neural network and the generator neural network using a second loss function from which the local feature function is synthesized;
State monitoring data generation method comprising a.
제8항에 있어서,
상기 기계 장비는 실제의 기계 장비 및 상기 실제의 기계 장비를 모방한 테스트베드를 포함하고,
상기 프로세서는 상기 테스트베드의 정상 동작에 의하여 얻어지는 제1 정상 상태 데이터에 대응하는 제1 데이터 도메인, 상기 테스트베드의 비정상 동작에 의하여 얻어지는 제1 비정상 상태 데이터에 대응하는 제2 데이터 도메인, 및 상기 실제의 기계 장비의 정상 동작에 의하여 얻어지는 제2 정상 상태 데이터에 대응하는 제3 데이터 도메인 간의 연관성에 기반한 산술 연산에 의하여 상기 실제의 기계 장비의 비정상 동작에 의하여 얻어지는 제2 비정상 상태 데이터에 대응하는 잠재적 데이터 공간인 제4 데이터 도메인에 속하는 제2 입력 데이터를 생성하는 단계;
상기 프로세서는 제2 입력 데이터를 상기 생성적 적대 신경망의 상기 생성기 신경망의 입력으로서 상기 훈련을 거친 상기 생성기 신경망에 전달하는 단계; 및
상기 프로세서는 상기 훈련을 거친 상기 생성기 신경망 및 상기 훈련을 거친 상기 판별기 신경망의 추론(inference)을 거쳐 판별된 출력 데이터를 상기 제4 데이터 도메인에 속하는 상기 실제의 기계 장비의 상태 감시 데이터로서 생성하는 단계;
를 더 포함하는 상태 감시 데이터 생성 방법.
The method of claim 8,
The mechanical equipment includes real mechanical equipment and a test bed imitating the real mechanical equipment,
The processor includes a first data domain corresponding to first normal state data obtained by a normal operation of the test bed, a second data domain corresponding to first abnormal state data obtained by an abnormal operation of the test bed, and the actual Potential data corresponding to the second abnormal state data obtained by the abnormal operation of the actual mechanical equipment by arithmetic operations based on the association between the third data domain corresponding to the second steady state data obtained by the normal operation of the mechanical equipment of Generating second input data belonging to a fourth data domain that is a space;
Transmitting, by the processor, second input data to the trained generator neural network as input to the generator neural network of the generative adversarial neural network; And
The processor generates output data determined through inference of the trained generator neural network and the trained discriminator neural network as state monitoring data of the actual machine equipment belonging to the fourth data domain. step;
State monitoring data generation method further comprising a.
제8항에 있어서,
상기 프로세서는 상기 훈련을 거친 상기 생성기 신경망 및 상기 훈련을 거친 상기 판별기 신경망의 추론(inference)을 거쳐 판별된 출력 데이터를 상기 기계 장비의 상기 상태 감시 데이터로서 생성하는 단계;
를 더 포함하고,
상기 출력 데이터는 상기 기계 장비의 상태를 감시하기 위한 또 다른 인공신경망의 머신 러닝을 위한 입력 데이터로서 이용되는 상태 감시 데이터 생성 방법.
The method of claim 8,
Generating, by the processor, output data determined through inference of the trained generator neural network and the trained discriminator neural network as the state monitoring data of the machine equipment;
Including more,
The output data is used as input data for machine learning of another artificial neural network to monitor the state of the machine equipment.
제8항에 있어서,
상기 국부적 특징 함수는
상기 기계 장비의 상기 상태 감시 데이터로서 생성될 목표 데이터 도메인의 물리적 특징에 기반한 국부적 특징 데이터와의 연관성을 정량화하는 함수이고,
상기 국부적 특징 데이터는 상기 기계 장비에 포함되는 기어(gear)에서 발생하는 진동 데이터의 기어맞물림 주파수(GMF, Gear mesh frequency)에 기반한 데이터인 상태 감시 데이터 생성 방법.
The method of claim 8,
The local feature function is
It is a function for quantifying the association with local feature data based on the physical feature of the target data domain to be generated as the state monitoring data of the machine equipment,
The local feature data is data based on a gear mesh frequency (GMF) of vibration data generated from a gear included in the mechanical equipment.
제8항에 있어서,
상기 제1 훈련 입력 데이터를 생성하는 단계는
상기 초기화된 제1 입력을 랜덤 노이즈에 기반하여 생성하고 상기 생성기 신경망의 훈련을 위한 상기 제1 훈련 입력 데이터로서 상기 생성기 신경망에 전달하며,
제2 입력 데이터를 상기 생성적 적대 신경망의 상기 생성기 신경망의 입력으로서 상기 훈련을 거친 상기 생성기 신경망에 전달하는 단계는
상기 제2 입력 데이터를 상기 제4 데이터 도메인에 속하는 랜덤 넘버로 생성하고, 상기 제2 입력 데이터를 상기 훈련된 상기 생성기 신경망의 입력으로서 상기 훈련된 상기 생성기 신경망의 입력으로 전달하는 상태 감시 데이터 생성 방법.
The method of claim 8,
Generating the first training input data comprises:
The initialized first input is generated based on random noise and transmitted to the generator neural network as the first training input data for training the generator neural network,
Transmitting second input data to the trained generator neural network as an input to the generator neural network of the generative hostile neural network
A state monitoring data generation method for generating the second input data as a random number belonging to the fourth data domain, and transmitting the second input data as an input of the trained generator neural network to the input of the trained generator neural network .
KR1020190131961A 2019-10-23 2019-10-23 Condition monitoring data generating apparatus and method using generative adversarial network KR102365150B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190131961A KR102365150B1 (en) 2019-10-23 2019-10-23 Condition monitoring data generating apparatus and method using generative adversarial network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190131961A KR102365150B1 (en) 2019-10-23 2019-10-23 Condition monitoring data generating apparatus and method using generative adversarial network

Publications (2)

Publication Number Publication Date
KR20210048100A true KR20210048100A (en) 2021-05-03
KR102365150B1 KR102365150B1 (en) 2022-02-18

Family

ID=75911091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190131961A KR102365150B1 (en) 2019-10-23 2019-10-23 Condition monitoring data generating apparatus and method using generative adversarial network

Country Status (1)

Country Link
KR (1) KR102365150B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222147A (en) * 2021-05-11 2021-08-06 北华航天工业学院 Construction method of conditional dual-confrontation learning inference model
CN114352947A (en) * 2021-12-08 2022-04-15 天翼物联科技有限公司 Gas pipeline leakage detection method, system and device and storage medium
CN114926348A (en) * 2021-12-22 2022-08-19 天翼数字生活科技有限公司 Device and method for removing low-illumination video noise
CN115546848A (en) * 2022-10-26 2022-12-30 南京航空航天大学 Confrontation generation network training method, cross-device palmprint recognition method and system
KR20230053201A (en) * 2021-10-14 2023-04-21 한국원자력연구원 Monitoring system and method using Vibration Signal Domain Transfer Generative Adversarial Network
WO2023113294A1 (en) * 2021-12-16 2023-06-22 주식회사 씨에스리 Training data management device and method
KR20230110138A (en) 2022-01-14 2023-07-21 한국과학기술원 Self-Diagnosing Generative Adversarial Networks to Diagnose and Emphasize Underrepresented Samples
CN116821697A (en) * 2023-08-30 2023-09-29 聊城莱柯智能机器人有限公司 Mechanical equipment fault diagnosis method based on small sample learning
KR20230153849A (en) 2022-04-29 2023-11-07 에이치디한국조선해양 주식회사 Engine monitoring device for predicting engine pressure and method of generating virtual data for engine pressure prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046099A (en) * 2017-10-25 2019-05-07 서울대학교산학협력단 Apparatus and Method for Data Processing Based on Deep Neural Network
KR20190062283A (en) * 2017-11-28 2019-06-05 한국전자통신연구원 Method and apparatus for traning of generative adversarial network using selective loss function

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046099A (en) * 2017-10-25 2019-05-07 서울대학교산학협력단 Apparatus and Method for Data Processing Based on Deep Neural Network
KR20190062283A (en) * 2017-11-28 2019-06-05 한국전자통신연구원 Method and apparatus for traning of generative adversarial network using selective loss function

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222147B (en) * 2021-05-11 2024-02-13 北华航天工业学院 Construction method of conditional double-countermeasure learning reasoning model
CN113222147A (en) * 2021-05-11 2021-08-06 北华航天工业学院 Construction method of conditional dual-confrontation learning inference model
KR20230053201A (en) * 2021-10-14 2023-04-21 한국원자력연구원 Monitoring system and method using Vibration Signal Domain Transfer Generative Adversarial Network
CN114352947A (en) * 2021-12-08 2022-04-15 天翼物联科技有限公司 Gas pipeline leakage detection method, system and device and storage medium
CN114352947B (en) * 2021-12-08 2024-03-12 天翼物联科技有限公司 Gas pipeline leakage detection method, system, device and storage medium
WO2023113294A1 (en) * 2021-12-16 2023-06-22 주식회사 씨에스리 Training data management device and method
CN114926348A (en) * 2021-12-22 2022-08-19 天翼数字生活科技有限公司 Device and method for removing low-illumination video noise
CN114926348B (en) * 2021-12-22 2024-03-01 天翼数字生活科技有限公司 Device and method for removing low-illumination video noise
KR20230110138A (en) 2022-01-14 2023-07-21 한국과학기술원 Self-Diagnosing Generative Adversarial Networks to Diagnose and Emphasize Underrepresented Samples
KR20230153849A (en) 2022-04-29 2023-11-07 에이치디한국조선해양 주식회사 Engine monitoring device for predicting engine pressure and method of generating virtual data for engine pressure prediction
CN115546848A (en) * 2022-10-26 2022-12-30 南京航空航天大学 Confrontation generation network training method, cross-device palmprint recognition method and system
CN115546848B (en) * 2022-10-26 2024-02-02 南京航空航天大学 Challenge generation network training method, cross-equipment palmprint recognition method and system
CN116821697A (en) * 2023-08-30 2023-09-29 聊城莱柯智能机器人有限公司 Mechanical equipment fault diagnosis method based on small sample learning

Also Published As

Publication number Publication date
KR102365150B1 (en) 2022-02-18

Similar Documents

Publication Publication Date Title
KR20210048100A (en) Condition monitoring data generating apparatus and method using generative adversarial network
Booyse et al. Deep digital twins for detection, diagnostics and prognostics
Cai et al. Bayesian networks in fault diagnosis
Zhao et al. Remaining useful life prediction of aircraft engine based on degradation pattern learning
JP2021064370A (en) Method and system for semi-supervised deep abnormality detection for large-scale industrial monitoring system based on time-series data utilizing digital twin simulation data
Hendriks et al. Towards better benchmarking using the CWRU bearing fault dataset
Serradilla et al. Interpreting Remaining Useful Life estimations combining Explainable Artificial Intelligence and domain knowledge in industrial machinery
Safiyullah et al. Prediction on performance degradation and maintenance of centrifugal gas compressors using genetic programming
Rodríguez Ramos et al. An approach to multiple fault diagnosis using fuzzy logic
Zhou et al. Automated model generation for machinery fault diagnosis based on reinforcement learning and neural architecture search
de Calle et al. Dynamic condition monitoring method based on dimensionality reduction techniques for data-limited industrial environments
Kumar et al. Fault diagnosis of bearings through vibration signal using Bayes classifiers
Yan et al. Rotating machinery fault diagnosis based on a novel lightweight convolutional neural network
Deng et al. Rotor dynamics informed deep learning for detection, identification, and localization of shaft crack and unbalance defects
Poongodai et al. AI technique in diagnostics and prognostics
Park et al. Machine health assessment based on an anomaly indicator using a generative adversarial network
Tirovolas et al. Introducing fuzzy cognitive map for predicting engine’s health status
Decker et al. Does your model think like an engineer? explainable ai for bearing fault detection with deep learning
Li et al. Remaining life prediction of cores based on data-driven and physical modeling methods
Lai et al. Physics-Informed deep Autoencoder for fault detection in New-Design systems
Darveau Prognostics and Availability for Industrial Equipment Using High Performance Computing (HPC) and AI Technology
Hetmańczyk The prediction oriented analysis of mechatronic machine structures in terms of the signal stream flow
CN117407784B (en) Sensor data abnormality-oriented intelligent fault diagnosis method and system for rotary machine
Martel A Physics-Informed Neural Network Framework for Big Machinery Data in Prognostics and Health Management for Complex Engineering Systems
Amarowicz et al. Diagnostic shell expert systems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant