KR102414537B1 - Device for tracking defect location based on deep learning - Google Patents

Device for tracking defect location based on deep learning Download PDF

Info

Publication number
KR102414537B1
KR102414537B1 KR1020190150013A KR20190150013A KR102414537B1 KR 102414537 B1 KR102414537 B1 KR 102414537B1 KR 1020190150013 A KR1020190150013 A KR 1020190150013A KR 20190150013 A KR20190150013 A KR 20190150013A KR 102414537 B1 KR102414537 B1 KR 102414537B1
Authority
KR
South Korea
Prior art keywords
data
defect
monitoring
pattern information
deep learning
Prior art date
Application number
KR1020190150013A
Other languages
Korean (ko)
Other versions
KR20210062162A (en
Inventor
김희찬
김태희
정래혁
최지웅
Original Assignee
한국수력원자력 주식회사
주식회사 스마트프로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국수력원자력 주식회사, 주식회사 스마트프로 filed Critical 한국수력원자력 주식회사
Priority to KR1020190150013A priority Critical patent/KR102414537B1/en
Publication of KR20210062162A publication Critical patent/KR20210062162A/en
Application granted granted Critical
Publication of KR102414537B1 publication Critical patent/KR102414537B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model

Abstract

본 발명은 감시 대상체들의 결함 위치 추적 장치에 관한 것으로, 특히 시계열 신호의 패턴 변화 정보를 기반으로 딥러닝 트레이닝을 통해 딥러닝 모델링 데이터를 생성하고, 실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들을 이용하여 시계열 신호의 패턴 변화 정보들을 결합한 특징 패턴 정보를 생성한 후, 딥러닝 모델링 데이터에 특징 패턴 정보를 적용하여 유사도를 판단할 수 있도록 구성함으로써, 결함 위치(결함이 있는 감시 대상체)를 자동으로 추적할 수 있고, 결함 위치의 식별 정확도를 향상시킬 수 있도록 하는 딥러닝 기반 결함 위치 추적 장치에 관한 것이다.
본 발명인 딥러닝 기반 결함 위치 추적 장치를 이루는 구성수단은, 감시 대상체들의 결함 위치 추적 장치에 있어서, 각각의 감시 대상체에 관련된 결함 이력 데이터들을 이용하여 각각의 감시 대상체 별로 복수의 결함 유형 각각에 대응하는 트레이닝 데이터를 생성하는 트레이닝 데이터 생성 모듈, 실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들을 이용하여, 각각의 변수에 관한 감시/운전 데이터들 각각의 패턴 변화 정보를 시계열적으로 결합하여 형성되는 특징 패턴 정보를 생성하는 특징 패턴 정보 생성 모듈, 상기 트레이닝 데이터를 입력받아 딥러닝 트레이닝(training)을 통해 결함 위치 추적을 위한 모델링 데이터를 생성하고, 상기 모델링 데이터에 상기 특징 패턴 정보를 적용하여 결함 위치를 진단 추적하는 추적 모듈을 포함하여 구성되는 것을 특징으로 한다.The present invention relates to a device for tracking defect locations of monitoring objects, and in particular, generates deep learning modeling data through deep learning training based on pattern change information of time series signals, and monitoring/driving data related to a plurality of variables input in real time After generating feature pattern information that combines pattern change information of time series signals using It relates to a deep-learning-based defect location tracking device that can be tracked with and can improve the identification accuracy of defect locations.
The component constituting the deep learning-based defect location tracking apparatus according to the present invention, in the defect location tracking apparatus of monitoring objects, corresponds to each of a plurality of defect types for each monitoring object by using the defect history data related to each monitoring object A training data generating module that generates training data, using monitoring/driving data for a plurality of variables input in real time, is formed by time-series combining information on pattern change of each of monitoring/driving data related to each variable A feature pattern information generation module for generating feature pattern information, receives the training data, generates modeling data for defect location tracking through deep learning training, and applies the feature pattern information to the modeling data to locate a defect It is characterized in that it is configured to include a tracking module for tracking diagnostics.

Description

딥러닝 기반 결함 위치 추적 장치{Device for tracking defect location based on deep learning}Device for tracking defect location based on deep learning

본 발명은 감시 대상체들의 결함 위치 추적 장치에 관한 것으로, 특히 시계열 신호의 패턴 변화 정보를 기반으로 딥러닝 트레이닝을 통해 딥러닝 모델링 데이터를 생성하고, 실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들을 이용하여 시계열 신호의 패턴 변화 정보들을 결합한 특징 패턴 정보를 생성한 후, 딥러닝 모델링 데이터에 특징 패턴 정보를 적용하여 유사도를 판단할 수 있도록 구성함으로써, 결함 위치(결함이 있는 감시 대상체)를 자동으로 추적할 수 있고, 결함 위치의 식별 정확도를 향상시킬 수 있도록 하는 딥러닝 기반 결함 위치 추적 장치에 관한 것이다.The present invention relates to a device for tracking defect locations of monitoring objects, and in particular, generates deep learning modeling data through deep learning training based on pattern change information of a time series signal, and monitoring/driving data related to a plurality of variables input in real time After generating feature pattern information combining the pattern change information of time series signals using It relates to a deep-learning-based defect location tracking device that can be tracked with and can improve the identification accuracy of defect locations.

기존에는 SVM, NN, AAKR 등 다양한 머신러닝 기술들이 개발되어 일부 산업계에서 계통 기기 또는 설비의 진단을 위해 적용되고 있거나 연구기관에서 다양한 시도들을 하고 있다. 이들 기술은 신호에서 추출된 특징적인 파라미터의 정량적인 값들을 기반으로 모델링 또는 학습한 후 이들 정보를 기반으로 온라인으로 신호 데이터를 입력받아 결함이나 고장상태를 실시간 진단하는 방식이다. In the past, various machine learning technologies such as SVM, NN, and AAKR have been developed and applied for diagnosis of system devices or facilities in some industries, or various attempts are being made by research institutes. These technologies are a method of diagnosing defects or failures in real time by modeling or learning based on quantitative values of characteristic parameters extracted from signals, and then receiving signal data online based on these information.

하지만, 이러한 방식들은 복잡한 신호처리와 특징량 추출 과정에서 발생하는 많은 연산처리 문제로 인해 서버에 과도한 부하를 유발하여 실시간성을 확보하기가 어려워 일정 주기마다 동작하는 방식으로 운영된다. However, these methods are operated in such a way that it is difficult to secure real-time performance by inducing excessive load on the server due to many computational processing problems that occur in the process of complex signal processing and feature quantity extraction.

최근에는 산업계 설비 진단 분야에서 딥러닝 기술이 부각되면서 기존 인공신경망에 비해 진화된 기술들이 지속적으로 연구 개발되고 있다. 하지만, 아직까지 기계 진단 분야에서는 기술적 수준이 높지 않아 기술 개발을 위한 연구 활동이나 현장 적용을 위한 테스트 시도가 대부분이다. 특히, 회전체 진단 분야에서는 딥러닝을 기반으로 한 기술들이 많이 개발되지 않고 있고, 단순히 형상에 해당하는 패턴 정보만을 이용하여 결함을 식별하는 기술들이 연구되고 있으며, 아직은 식별 가능한 결함 유형이 적어 현장 활용이 어려운 수준이다. Recently, as deep learning technology has emerged in the field of industrial equipment diagnosis, technologies that have evolved compared to existing artificial neural networks are continuously being researched and developed. However, the technical level is still not high in the field of machine diagnosis, so most of the research activities for technology development or test attempts for field application are made. In particular, in the field of rotating body diagnosis, many technologies based on deep learning have not been developed, and technologies for identifying defects using only pattern information corresponding to shapes are being studied. This is a difficult level.

기존에 온라인 감시 기술들은 대부분이 단순 감시변수들에 대해 운전제한치를 고정값으로 설정한 후 초과하였는지 여부를 검출하여 진단하는 방식이다. 실제 현장에서는 초기에 운전제한치를 낮게 설정하여 조기에 이상상태 발생을 검출하고자 하였으나 너무 빈번하게 경보가 발생하여 관리 및 운영의 어려움이 많은 것으로 나타났다. Most of the existing online monitoring technologies set the operation limit for simple monitoring variables as a fixed value and then detect and diagnose whether it is exceeded. In the actual field, it was attempted to detect the occurrence of an abnormal condition early by setting the operation limit low at the beginning, but it was found that there were many difficulties in management and operation because the alarm occurred too frequently.

이에 운전제한치 값들을 비보수적으로 높게 설정하여 경보 발생을 최소화시키면서 심각한 경우들만을 주로 감시하는 것으로 나타났다. 최근 산업계에서는 이러한 문제점들을 개선하기 위해서 AAKR과 AAMSET 및 AANN 등과 같은 데이터 기반 모델들을 진단에 적용하여 경보 발생을 최소화시키면서 조기에 이상상태 발생을 검출 가능하도록 하였다. Accordingly, it was found that only serious cases were mainly monitored while minimizing the occurrence of alarms by setting the operation limit values non-conservatively high. In order to improve these problems, the industry recently applied data-based models such as AAKR, AAMSET, and AANN to diagnosis to minimize the occurrence of alarms and to detect the occurrence of abnormal conditions early.

하지만, 데이터 기반 진단 기술은 단순히 이상이 발생하였는지 여부만을 감시하는 진단 방식으로 다수의 신호들에서 이상상태 알람이 동시에 발생한 경우에 어느 기기 또는 설비에서 고장 또는 결함 등의 문제가 발생한 것인지 원인 추적이 어렵다. 이로 인해 현장에서는 점검 대상 설비의 우선순위를 알 수 없어 대부분 신호분석 전문가를 통해 원인을 진단한 후 정비작업을 착수하므로 시간 소요가 상당히 크고 신속조치가 어려워 2차 피해 확산 우려가 크다는 문제점을 가지고 있다. However, the data-based diagnosis technology is a diagnostic method that simply monitors whether an abnormality has occurred, and it is difficult to trace the cause of the problem, such as a failure or defect, in which device or facility when an abnormal state alarm occurs in multiple signals at the same time. . Because of this, it is impossible to know the priority of the facilities to be inspected at the site, and most of them diagnose the cause through a signal analysis expert and then start the maintenance work. .

대한민국 등록특허공보 제10-1967301호(공고일자 : 2019년 04월 03일, 발명의 명칭 : 학습 데이터 융합을 이용한 회전체의 고장 진단 시스템)Republic of Korea Patent Publication No. 10-1967301 (Announcement date: April 03, 2019, Title of invention: Fault diagnosis system for rotating body using learning data fusion)

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 창안된 것으로, 시계열 신호의 패턴 변화 정보를 기반으로 딥러닝 트레이닝을 통해 딥러닝 모델링 데이터를 생성하고, 실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들을 이용하여 시계열 신호의 패턴 변화 정보들을 결합한 특징 패턴 정보를 생성한 후, 딥러닝 모델링 데이터에 특징 패턴 정보를 적용하여 유사도를 판단할 수 있도록 구성함으로써, 결함 위치(결함이 있는 감시 대상체)를 자동으로 추적할 수 있고, 결함 위치의 식별 정확도를 향상시킬 수 있도록 하는 딥러닝 기반 결함 위치 추적 장치를 제공하는 것을 그 목적으로 한다.The present invention was created to solve the problems of the prior art as described above, and generates deep learning modeling data through deep learning training based on pattern change information of a time series signal, and monitors a plurality of variables input in real time / After generating feature pattern information that combines pattern change information of time series signals using driving data, by applying the feature pattern information to deep learning modeling data to determine the similarity, the defect location (defective monitoring object ) can be automatically tracked, and the purpose of this is to provide a deep learning-based defect location tracking device that can improve the identification accuracy of the defect location.

상기와 같은 과제를 해결하기 위하여 제안된 본 발명인 딥러닝 기반 결함 위치 추적 장치를 이루는 구성수단은, 감시 대상체들의 결함 위치 추적 장치에 있어서, 각각의 감시 대상체에 관련된 결함 이력 데이터들을 이용하여 각각의 감시 대상체 별로 복수의 결함 유형 각각에 대응하는 트레이닝 데이터를 생성하는 트레이닝 데이터 생성 모듈, 실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들을 이용하여, 각각의 변수에 관한 감시/운전 데이터들 각각의 패턴 변화 정보를 시계열적으로 결합하여 형성되는 특징 패턴 정보를 생성하는 특징 패턴 정보 생성 모듈, 상기 트레이닝 데이터를 입력받아 딥러닝 트레이닝(training)을 통해 결함 위치 추적을 위한 모델링 데이터를 생성하고, 상기 모델링 데이터에 상기 특징 패턴 정보를 적용하여 결함 위치를 진단 추적하는 추적 모듈을 포함하여 구성되는 것을 특징으로 한다.The component constituting the deep learning-based defect location tracking device of the present invention proposed to solve the above problems is, in the device for tracking the location of defects of monitoring objects, each monitoring using the defect history data related to each monitoring object A training data generation module for generating training data corresponding to each of a plurality of defect types for each object, using monitoring/driving data regarding a plurality of variables input in real time, each pattern of monitoring/driving data regarding each variable A feature pattern information generating module for generating feature pattern information formed by time-series combining change information, receiving the training data and generating modeling data for defect location tracking through deep learning training, the modeling data It characterized in that it is configured to include a tracking module for diagnosing and tracking the defect location by applying the feature pattern information to the .

여기서, 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들은 사전에 구축된 이력 데이터들이고, 상기 각 감시 대상체의 과거 결함 이력 데이터, 상기 각 감시 대상체와 유사한 장치의 결함 데이터, 시뮬레이션을 통한 결함 데이터, 테스트베드(Testbed)를 통한 결함 데이터 중, 적어도 하나를 포함하는 것을 특징으로 한다.Here, the defect history data related to each monitoring object are pre-established history data, past defect history data of each monitoring object, defect data of a device similar to each monitoring object, defect data through simulation, test bed It is characterized in that it includes at least one of the defect data through (Testbed).

또한, 상기 추적 모듈은 상기 모델링 데이터에 대한 상기 특징 패턴 정보의 매칭 유사도가 설정 기준 유사도보다 낮은 경우에, 상기 특징 패턴 정보를 반영한 딥러닝 재트레이닝(Re-training)을 통해 결함 위치 추적을 위한 모델링 데이터를 업데이트하는 것을 특징으로 한다.In addition, when the matching similarity of the feature pattern information to the modeling data is lower than the set standard similarity, the tracking module is configured for defect location tracking through deep learning re-training reflecting the feature pattern information. It is characterized by updating data.

상기와 같은 과제 및 해결 수단을 가지는 본 발명인 딥러닝 기반 결함 위치 추적 장치에 의하면, 시계열 신호의 패턴 변화 정보를 기반으로 딥러닝 트레이닝을 통해 딥러닝 모델링 데이터를 생성하고, 실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들을 이용하여 시계열 신호의 패턴 변화 정보들을 결합한 특징 패턴 정보를 생성한 후, 딥러닝 모델링 데이터에 특징 패턴 정보를 적용하여 유사도를 판단할 수 있도록 구성하기 때문에, 결함 위치(결함이 있는 감시 대상체)를 자동으로 추적할 수 있고, 결함 위치의 식별 정확도를 향상시킬 수 있도록 하는 장점이 발생된다.According to the deep learning-based defect location tracking device of the present invention having the above problems and solutions, a plurality of variables input in real time by generating deep learning modeling data through deep learning training based on pattern change information of a time series signal After generating feature pattern information that combines pattern change information of time series signals using monitoring/driving data about There is an advantage in that it is possible to automatically track the monitoring object with the present invention, and to improve the identification accuracy of the defect location.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 결함 위치 추적 장치의 구성 블록도이다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반 결함 위치 추적 장치를 구성하는 특징 패턴 정보 생성 모듈의 동작을 설명하기 위한 개략적인 예시도이다.1 is a block diagram of a deep learning-based defect location tracking apparatus according to an embodiment of the present invention.
Figure 2 is a schematic illustration for explaining the operation of the feature pattern information generating module constituting the deep learning-based defect location tracking apparatus according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. In the following embodiments, terms such as include or have means that the features or components described in the specification are present, and the possibility that one or more other features or components will be added is not excluded in advance.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.In cases where certain embodiments may be implemented otherwise, a specific process sequence may be performed different from the described sequence. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the order described.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 결함 위치 추적 장치의 구성 블록도이다.1 is a block diagram of a deep learning-based defect location tracking apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 딥러닝 기반 결함 위치 추적 장치(100)는 결함 위치 추적 모델에 해당하는 딥러닝 모델을 트레이닝시키기 위한 트레이닝 데이터를 생성하는 트레이닝 데이터 생성 모듈(10), 감시 대상체들에 관련된 복수의 변수에 관한 감시/운전 데이터를 이용하여 트레이닝된 딥러닝 모델에 적용시키기 위한 특징 패턴 정보를 실시간으로 생성하는 특징 패턴 정보 생성 모듈(30) 및 트레이닝된 딥러닝 모델에 상기 실시간으로 생성된 특징 패턴 정보를 적용하여 결함 위치, 즉 결함이 발생한 감시 대상체, 좀 더 구체적으로 결함이 발생한 계통 기기 또는 설비의 위치를 진단 추적하는 추적 모듈(50)을 포함하여 구성된다.As shown in Figure 1, the deep learning-based defect location tracking apparatus 100 according to an embodiment of the present invention is a training data generation module ( 10), a feature pattern information generating module 30 that generates feature pattern information in real time for application to a trained deep learning model using monitoring/driving data about a plurality of variables related to monitoring objects and trained deep learning It includes a tracking module 50 for diagnosing and tracking the location of a defect by applying the feature pattern information generated in real time to a model, that is, a monitoring object in which a defect has occurred, and more specifically, the location of a system device or facility in which a defect has occurred. .

상기 트레이닝 데이터 생성 모듈(10)은 각각의 감시 대상체에 관련된 결함 이력 데이터들을 이용하여 각각의 감시 대상체 별로 복수의 결함 유형 각각에 대응하는 트레이닝 데이터를 생성하는 동작을 수행한다.The training data generation module 10 generates training data corresponding to each of a plurality of defect types for each monitoring object by using the defect history data related to each monitoring object.

여기서, 상기 각각의 감시 대상체는 계통의 다양한 기기들 또는 설비들을 의미한다. 상기 결함 이력 데이터들은 결함이 발생에 관련되거나 또는 결함이 발생할 때 관련된 감시/운전 변수 데이터를 의미한다. 즉, 상기 결함 이력 데이터들은 결함에 관련된 복수의 변수에 관한 감시/운전 데이터를 의미한다. 여기서, 복수의 변수란 예를 들어, 베어링 온도, 회전축 진동, 회전축 속도 등을 의미하고, 이에 관한 감시/운전 데이터는 베어링 온도 값, 회전축 진동 값, 회전축 속도 값을 의미한다.Here, each of the monitoring objects means various devices or facilities of the system. The defect history data means monitoring/operation variable data related to the occurrence of a fault or related to the occurrence of a fault. That is, the defect history data means monitoring/operation data regarding a plurality of variables related to a defect. Here, the plurality of variables means, for example, a bearing temperature, a rotation shaft vibration, a rotation shaft speed, and the like, and monitoring/operation data related thereto means a bearing temperature value, a rotation shaft vibration value, and a rotation shaft speed value.

상기 트레이닝 데이터 생성 모듈(10)은 각각의 감시 대상체에 관련된 결함 이력 데이터들을 이용하여 각각의 모든 감시 대상체 별로, 즉 감시 대상의 계통 기기들 또는 설비들 별로 복수의 결함 유형 각각에 대응하는 트레이닝 데이터를 생성한다.The training data generation module 10 uses the defect history data related to each monitoring object to generate training data corresponding to each of a plurality of defect types for each monitoring object, that is, for each monitoring target system devices or facilities. create

여기서, 복수의 결함 유형은 각각의 감시 대상체에서 발생할 수 있는 결함 유형을 의미하고, 예를 들어, 질량 불평형(Unbalance), 오정렬(Misalignment), 축 크랙(Shaft Crack), 접촉 마모(Rubbing) 및 풀림(Looseness) 등을 의미한다. 각각의 감시 대상체, 즉 감시 대상 계통 기기들 또는 설비들은 이와 같은 다양한 결함 유형이 발생할 수 있고, 결함이 발생하면 이들 복수의 결함 유형들 중 적어도 하나 이상이 원인이 된다.Here, the plurality of defect types means the types of defects that may occur in each monitoring object, for example, mass unbalance, misalignment, shaft crack, contact wear, and loosening. (Looseness), etc. Each of the monitoring objects, that is, the monitoring target system devices or facilities, may generate various types of defects such as these, and when a defect occurs, at least one of the plurality of defect types is the cause.

이와 같이, 상기 트레이닝 데이터 생성 모듈(10)은 각각의 감시 대상체 별로 복수의 결함 유형 각각에 대응하는 트레이닝 데이터를 생성하기 때문에, 이 트레이닝 데이터를 이용하여 딥러닝 트레이닝을 수행하는 상기 추적 모듈(50)은 각각의 감시 대상체 별로 복수의 결함 유형 각각에 대응하는 딥러닝 모델링 데이터들을 구축할 수 있는 딥러닝 모델을 생성할 수 있다. 따라서, 상기 추적 모듈(50)은 딥러닝 모델에 의해 구축된 모델링 데이터들과 상기 특징 패턴 정보 생성 모듈(30)로부터 생성되어 전달되는 특징 패턴 정보를 유사도를 위해 비교 판단하여 결함이 발생한 감시 대상체, 즉 결함이 발생한 계통의 기기 또는 설비가 무엇인지, 즉, 결함 위치를 진단 추적할 수 있다.In this way, since the training data generation module 10 generates training data corresponding to each of a plurality of defect types for each monitoring object, the tracking module 50 for performing deep learning training using this training data. may generate a deep learning model capable of constructing deep learning modeling data corresponding to each of a plurality of defect types for each monitoring object. Accordingly, the tracking module 50 compares and determines the modeling data built by the deep learning model and the characteristic pattern information generated and transmitted from the characteristic pattern information generation module 30 for similarity, and a defect is detected. That is, it is possible to diagnose and track what equipment or equipment in the system where the fault occurred, that is, the location of the fault.

상기 트레이닝 데이터를 생성하여 상기 추적 모듈(50)에 전송하는 상기 트레이닝 데이터 생성 모듈(10)은 결함 이력 데이터 입력부(11)와 트레이닝 데이터 추출부(13)를 포함하여 구성된다.The training data generation module 10 for generating and transmitting the training data to the tracking module 50 includes a defect history data input unit 11 and a training data extraction unit 13 .

상기 결함 이력 데이터 입력부(11)는 각각의 감시 대상체에 관련된 결함 이력 데이터들, 즉 결함에 관련된 복수의 변수에 관한 각각의 감시/운전 데이터들을 입력받는다. 이러한, 각각의 감시 대상체에 관련된 결함 이력 데이터들은 다양한 방법을 통해 사전에 획득되어 구축된 이력 데이터에 해당된다. 즉, 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들은 사전에 구축된 이력 데이터들이다. 물론, 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들은 지속적으로 업데이트되는 것이 바람직하다. 결과적으로, 상기 트레이닝 데이터 생성 모듈(10)은 지속적으로 트레이닝 데이터를 업데이트하여 상기 추적 모듈(50)로 전달하고, 따라서, 상기 추적 모듈(50)은 지속적으로 딥러닝 모델을 갱신, 업데이트할 수 있다.The defect history data input unit 11 receives defect history data related to each monitoring object, that is, each monitoring/operation data related to a plurality of variables related to a defect. The defect history data related to each monitoring object corresponds to historical data obtained and constructed in advance through various methods. That is, the defect history data related to each of the monitoring objects are previously established history data. Of course, it is preferable that the defect history data related to each of the monitoring objects are continuously updated. As a result, the training data generation module 10 continuously updates the training data and transmits it to the tracking module 50, and thus the tracking module 50 can continuously update and update the deep learning model. .

상기 결함 이력 데이터 입력부(11)를 통해 입력되는 각각의 감시 대상체에 관련된 결함 이력 데이터들은 상기 각 감시 대상체의 과거 결함 이력 데이터, 상기 각 감시 대상체와 유사한 장치의 결함 데이터, 시뮬레이션을 통한 결함 데이터, 테스트베드(Testbed)를 통한 결함 데이터 중, 적어도 하나를 포함하는 것이 바람직하다.Defect history data related to each monitoring object input through the defect history data input unit 11 includes past defect history data of each monitoring object, defect data of a device similar to each monitoring object, defect data through simulation, and test It is preferable to include at least one of the defect data through the bed (Testbed).

상기 각 감시 대상체의 과거 결함 이력 데이터는 실제 과거에 본 발명에 적용되는 감시 대상체(기기들 또는 설비들)에 결함이 발생한 경우에, 관련된 결함 이력 데이터, 즉, 결함에 관련된 복수의 변수에 관한 감시/운전 데이터들을 의미한다. 또한, 상기 각 감시 대상체와 유사한 장치의 결함 데이터는 본 발명에 적용되는 감시 대상체(기기들 또는 설비들)와 유사한 장치들에 결함이 발생한 경우에, 관련된 결함 데이터, 즉, 결함에 관련된 복수의 변수에 관한 감시/운전 데이터들을 의미한다. 또한, 상기 시뮬레이션을 통한 결함 데이터는 다양한 시뮬레이터를 통해 각 감시 대상체들에 결함이 발생한 경우에, 관련된 결함 데이터, 즉, 결함에 관련된 복수의 변수에 관한 감시/운전 데이터들을 의미한다. 또한, 상기 테스트베드(Testbed)를 통한 결함 데이터는 테스트를 통해 각 감시 대상체들에 결함이 발생한 경우에, 관련된 결함 데이터, 즉, 결함에 관련된 복수의 변수에 관한 감시/운전 데이터들을 의미한다.The past defect history data of each monitoring object is related to the defect history data, that is, monitoring related to a plurality of variables related to the defect, when a defect has occurred in the monitoring object (devices or facilities) applied to the present invention in the past. /means driving data. In addition, when a defect occurs in devices similar to the monitored object (devices or facilities) applied to the present invention, the defect data of the device similar to each monitoring object is related to the defect data, that is, a plurality of variables related to the defect. It means monitoring/operation data about In addition, the defect data through the simulation means defect data related to when a defect occurs in each monitoring object through various simulators, that is, monitoring/operation data regarding a plurality of variables related to the defect. In addition, the defect data through the testbed refers to related defect data, that is, monitoring/operation data regarding a plurality of variables related to a defect when a defect occurs in each monitoring object through a test.

상기 결함 이력 데이터들은 상기 트레이닝 데이터 추출부(13)로 전달된다. 그러면, 상기 트레이닝 데이터 추출부(13)는 각각의 감시 대상체 별로 복수의 결함 유형 각각에 대응하는 트레이닝 데이터를 추출하는 동작을 수행한다. 여기서, 상기 트레이닝 데이터는 각각의 대상체 별로 복수의 결함 유형 각각에 대응하는 시계열 패턴 정보, 구체적으로 결함이 발생한 때 나타나는 시계열 패턴 정보에 해당한다. 상기 트레이닝 데이터, 즉 결함이 발생한 때 나타나는 시계열 패턴 정보를 추출하는 과정은 후술할 특징 패턴 정보 생성 모듈(30)이 특징 패턴 정보를 생성하는 과정과 대동소이하다. 따라서, 이에 대해서는 후술하겠다.The defect history data is transmitted to the training data extraction unit 13 . Then, the training data extraction unit 13 performs an operation of extracting training data corresponding to each of the plurality of defect types for each monitoring object. Here, the training data corresponds to time series pattern information corresponding to each of a plurality of defect types for each object, specifically, time series pattern information appearing when a defect occurs. The process of extracting the training data, that is, time-series pattern information appearing when a defect occurs, is substantially the same as the process of generating the feature pattern information by the feature pattern information generating module 30, which will be described later. Therefore, this will be described later.

상기 트레이닝 데이터가 상기 추적 모듈(50)로 전달되면, 딥러닝 트레이닝을 통해 결함 위치 추적을 위한 딥러닝 모델을 생성할 수 있다. 따라서, 이후 실시간으로 입력되는 감시/운전 데이터를 분석 처리하여 생성된 딥러닝 모델에 적용하면 결함 발생 및 결함이 발생한 위치. 즉, 결함이 발생한 기기 또는 설비가 무엇인지 진단 추적할 수 있다.When the training data is transmitted to the tracking module 50, a deep learning model for tracing a defect location may be generated through deep learning training. Therefore, when the real-time input monitoring/driving data is analyzed and processed and applied to the generated deep learning model, the occurrence of a defect and the location of the defect are determined. In other words, it is possible to trace the faulty equipment or equipment.

상기 실시간으로 입력되는 감시/운전 데이터를 딥러닝 모델에 적용하여 결함 위치를 진단 추적하기 위해서는 상기 감시/운전 데이터에 대한 가공 처리가 선행되어야 한다. 이와 같은 가공 처리는 상기 특징 패턴 정보 생성 모듈(30)이 수행한다. 즉, 상기 특징 패턴 정보 생성 모듈(30)은 상기 실시간으로 입력되는 감시/운전 데이터들을 가공 처리하여 상기 딥러닝 모델에 적용할 수 있는 정보, 즉, 특징 패턴 정보를 생성하고, 이 생성된 특징 패턴 정보를 상기 추적 모듈(50)에 전달한다. 그러면, 상기 추적 모듈(50)은 상기 특징 패턴 정보를 상기 딥러닝 모델에 적용하여 결함 발생 여부 및 결함 위치를 진단 추적할 수 있다.In order to apply the monitoring/operation data input in real time to a deep learning model to diagnose and track a defect location, processing of the monitoring/operation data should be preceded. Such processing is performed by the feature pattern information generating module 30 . That is, the feature pattern information generating module 30 processes the monitoring/driving data input in real time to generate information applicable to the deep learning model, that is, feature pattern information, and the generated feature pattern information is transmitted to the tracking module 50 . Then, the tracking module 50 may apply the feature pattern information to the deep learning model to diagnose and track whether a defect has occurred and a defect location.

상기 특징 패턴 정보 생성 모듈(30)은 실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들을 이용하여, 각각의 변수에 관한 감시/운전 데이터들 각각의 패턴 변화 정보를 시계열적으로 결합하여 형성되는 특징 패턴 정보를 생성하는 동작을 수행한다. 즉, 상기 특징 패턴 정보 생성 모듈(30)은 단지 1차원의 패턴 변화 정보에 해당하는 특징 패턴 정보를 생성하는 것이 아니라, 복수 개의 1차원의 패턴 변화 정보들이 시간차를 두고 다단 조합 형태로 결합한 단일의 패턴 변화 정보(도 2의 (c) 참조), 즉 시계열적으로 결합한 패턴 변화 정보에 해당하는 특징 패턴 정보를 생성한다.The feature pattern information generating module 30 is formed by time-series combining the pattern change information of each of the monitoring/driving data regarding each variable by using the monitoring/driving data related to a plurality of variables input in real time. An operation for generating feature pattern information is performed. That is, the feature pattern information generating module 30 does not simply generate feature pattern information corresponding to one-dimensional pattern change information, but a plurality of one-dimensional pattern change information combined in a multi-stage combination form with a time difference. Pattern change information (refer to (c) of FIG. 2), that is, feature pattern information corresponding to time-series combined pattern change information is generated.

이와 같은 시계열적으로 결합하여 형성되는 특징 패턴 정보를 생성하기 위하여, 상기 특징 패턴 정보 생성 모듈(30)은 복수의 변수에 관한 각각의 감시/운전 데이터들을 입력받는 감시/운전 데이터 입력부(31), 상기 복수의 변수에 관한 각각의 감시/운전 데이터들을 상호 시간차를 가지는 복수의 시점으로 분할하여 복수의 데이터 블록을 생성하는 데이터 블록 생성부(33), 생성된 각각의 데이터 블록에 포함된 복수의 변수에 관한 각각의 감시/운전 데이터들에 대해 패턴 변화 정보를 추출하는 패턴 변화 정보 추출부(35) 및 추출된 패턴 변화 정보를 각 시점에 대응하여 다단 조합 형태로 결합하여 단일의 패턴인 특징 패턴 정보에 해당하는 단일의 시계열 패턴 정보를 생성하는 시계열 패턴 정보 생성부(37)를 포함하여 구성된다.In order to generate the characteristic pattern information formed by time-series coupling as described above, the characteristic pattern information generating module 30 includes a monitoring/operation data input unit 31 that receives monitoring/operation data related to a plurality of variables, respectively; A data block generation unit 33 for generating a plurality of data blocks by dividing each monitoring/operation data regarding the plurality of variables into a plurality of time points having a mutual time difference, a plurality of variables included in each of the generated data blocks The pattern change information extracting unit 35 for extracting pattern change information for each monitoring/driving data related to and combining the extracted pattern change information in a multi-stage combination form corresponding to each time point to form a single pattern, characteristic pattern information and a time series pattern information generating unit 37 for generating a single time series pattern information corresponding to .

상기 특징 패턴 정보 생성 모듈(30)을 구성하는 구성요소들의 구체적인 동작을 첨부된 도 2를 참조하여 설명하면 다음과 같다.A detailed operation of the components constituting the feature pattern information generating module 30 will be described with reference to the accompanying FIG. 2 as follows.

먼저, 상기 감시/운전 데이터 입력부(31)는 실시간으로 복수의 변수에 관한 감시/운전 데이터들을 입력받는다. 상기 복수의 변수에 관한 감시/운전 데이터들은 주기적으로 입력되는 것이 바람직하다. 상기 복수의 변수는 베어링 온도, 회전체 진동, 회전체 속도 등에 해당하고, 이에 관한 감시/운전 데이터는 베어링 온도 값, 회전체 진동 값, 회전체 속도 값 등에 해당한다.First, the monitoring/operation data input unit 31 receives monitoring/operation data related to a plurality of variables in real time. It is preferable that the monitoring/operation data regarding the plurality of variables are periodically input. The plurality of variables correspond to a bearing temperature, a rotating body vibration, a rotating body speed, and the like, and monitoring/operation data about this corresponds to a bearing temperature value, a rotating body vibration value, a rotating body speed value, and the like.

상기 복수의 변수에 관한 감시/운전 데이터들은 상기 데이터 블록 생성부(33)에 전달된다. 그러면, 상기 데이터 블록 생성부(33)는 도 2의 (a)에 도시된 바와 같이, 실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들(d1 ~ dn)을 상호 시간차를 가지는 복수의 시점(t1, t2, t3)으로 분할하여 각 시점에 대응하는 복수의 데이터 블록(1)들을 생성한다.The monitoring/operation data regarding the plurality of variables is transmitted to the data block generating unit 33 . Then, as shown in FIG. 2A , the data block generating unit 33 generates the monitoring/operation data d1 to dn for a plurality of variables input in real time at a plurality of time points having a mutual time difference. By dividing by (t1, t2, t3), a plurality of data blocks 1 corresponding to each time point are generated.

도 2에서, 상기 복수의 시점(t1, t2, t3)은 상호 시간차를 가지는 세 개인 것으로 예시하고, 이에 따라 세 개의 데이터 블록(1)이 생성되는 것을 예시하고 있다. 여기서, 복수의 시점(t1, t2, t3) 중, 시점1(t1)은 특정되지 않은 임의의 시점을 의미하고, 상기 복수의 시점(t1, t2, t3) 중, 시점 2(t2)는 상기 시점1(t1)과 제1 시간차를 가지는 시점을 의미하며, 상기 복수의 시점(t1, t2, t3) 중, 시점3(t3)은 상기 시점2(t2)와 제2 시간차를 가지는 시점을 의미한다.In FIG. 2 , the plurality of time points t1 , t2 , and t3 are exemplified as three having a mutual time difference, and thus three data blocks 1 are generated. Here, among the plurality of time points t1, t2, and t3, the time point 1 (t1) means an unspecified time point, and among the plurality of time points (t1, t2, t3), the time point 2 (t2) is the It means a time point having a first time difference from time point 1 (t1), and among the plurality of time points t1, t2, t3, time point 3 (t3) means a time point having a second time difference from time point 2 (t2) do.

여기서, 상기 제1 시간차와 상기 제2 시간차는 상이할 수도 있고 동일할 수도 있는데, 상기 제1 시간차와 상기 제2 시간차는 동일한 특정 주기(T)인 것이 바람직하다. 즉, 상기 복수의 변수에 관한 감시/운전 데이터들은 상기 감시/운전 데이터 입력부(31)를 통해 주기적으로 입력되는 것이 바람직하기 때문에, 이에 연계하여 데이터 블록의 생성을 용이하게 하기 위하여, 상기 제1 시간차와 상기 제2 시간차는 동일한 특정 주기(T)인 것이 바람직하다. 결과적으로, 상기 시점1이 t1일 대, 상기 시점2(t2)는 t1+T이고, 상기 시점3(t3)은 t1+2T 또는 t2+T가 되는 것이 바람직하다.Here, the first time difference and the second time difference may be different or the same, but it is preferable that the first time difference and the second time difference are the same specific period (T). That is, since it is preferable that the monitoring/operation data regarding the plurality of variables are periodically inputted through the monitoring/operation data input unit 31 , in order to facilitate the generation of data blocks in connection therewith, the first time difference and the second time difference is preferably the same specific period (T). As a result, it is preferable that the time point 1 is t1, the time point 2 (t2) is t1+T, and the time point 3 (t3) is t1+2T or t2+T.

상기 데이터 블록 생성부(33)에 의하여 생성된 각각의 데이터 블록(1)에는 복수의 변수에 관한 각각의 감시/운전 데이터들이 포함되어 있다. 예를 들어, 각각의 데이터 블록(1)에는 베어링 온도 값(d1), 회전체 진동 값(d2), 회전체 속도 값(d3)... 등이 순서대로 포함되어 있다. 각각의 데이터 블록(1)의 동일한 위치에는 동일한 변수에 관한 감시/운전 데이터 정보가 포함되어 있다.Each data block 1 generated by the data block generating unit 33 includes respective monitoring/operation data for a plurality of variables. For example, each data block 1 contains a bearing temperature value (d1), a rotating body vibration value (d2), a rotating body speed value (d3)... The same position in each data block 1 contains monitoring/operation data information about the same variable.

상기 데이터 블록 생성부(33)에서 생성된 상호 시간차를 가지는 복수의 시점(t1, t2, t3)으로 분할하여 각 시점에 대응하는 복수의 데이터 블록(1)들을 패턴 변화 정보 추출부(35)로 전달된다. 그러면, 상기 패턴 정보 추출부(35)는 도 2의 (b)에 도시된 바와 같이, 상호 시간차를 가지는 복수의 시점에서 각 변수에 관한 감시/운전 데이터의 패턴 변화 정보를 추출한다. 즉, 상기 패턴 정보 추출부(35)는 각 시점에 대응하는 복수의 데이터 블록(1)들에 포함되는 복수의 변수에 관한 각각의 감시/운전 데이터들에 대해 1차원 직선 형태의 패턴 변화 정보를 추출한다. 상기 패턴 정보 추출부(35)는 각 시점에 대응하는 데이터 블록에 대해 반복적으로 패턴 변화 정보 추출 동작을 수행하고, 결과적으로 시간에 따른 시계열적인 패턴 변화 정보들이 순차적으로 추출된다.The pattern change information extracting unit 35 divides the plurality of time points t1, t2, t3 generated by the data block generation unit 33 into a plurality of time points t1, t2, and t3 and converts the plurality of data blocks 1 corresponding to each time point to the pattern change information extraction unit 35. is transmitted Then, the pattern information extraction unit 35 extracts pattern change information of the monitoring/driving data for each variable at a plurality of time points having a mutual time difference, as shown in FIG. 2B . That is, the pattern information extraction unit 35 extracts pattern change information in the form of a one-dimensional straight line for each monitoring/driving data regarding a plurality of variables included in a plurality of data blocks 1 corresponding to each time point. extract The pattern information extraction unit 35 repeatedly performs a pattern change information extraction operation for data blocks corresponding to each time point, and as a result, time-series pattern change information according to time is sequentially extracted.

예시적으로 살펴보면, 도 2의 (b)에 도시된 바와 같이, 복수의 변수에 관한 감시/운전 데이터들 중, 첫 번째 변수, 상술한 예시에 의하면, 베어링 온도에 관한 데이터(d1), 즉 베어링 온도 값에 대한 패턴 변화 정보는 각 시점에서 변화가 없이 동일한 상태를 유지한다. 즉, 도 2의 (b)는 특정 감시 대상체에 특정 결함이 발생한 경우에, 첫 번째 변수, 예를 들어 베어링 온도 값에 대한 패턴 변화 정보는 각 시점에서 변화가 없이 동일한 상태를 유지한다는 것을 보여주고 있다.By way of example, as shown in (b) of FIG. 2, among the monitoring/operation data regarding a plurality of variables, the first variable, according to the above example, data (d1) about the bearing temperature, that is, the bearing The pattern change information for the temperature value maintains the same state without change at each time point. That is, (b) of FIG. 2 shows that when a specific defect occurs in a specific monitoring object, the pattern change information for the first variable, for example, the bearing temperature value, maintains the same state without change at each time point, have.

상기 패턴 정보 추출부(35)에 의하여 추출된 각 시점에 대응하는 복수의 패턴 변화 정보들은 상기 시계열 패턴 정보 생성부(37)에 전달된다. 그러면, 상기 시계열 패턴 정보 생성부(27)는 도 2의 (c)에 도시된 바와 같이, 상기 각 시점에 대응하는 복수의 패턴 변화 정보들을 각 시점 순서대로 다단 조합 형태로 결합하여 단일의 패턴에 해당하는 단일의 시계열 패턴 정보(5), 즉 단일의 특징 패턴 정보를 생성한다.A plurality of pattern change information corresponding to each time point extracted by the pattern information extraction unit 35 is transmitted to the time series pattern information generation unit 37 . Then, the time series pattern information generating unit 27 combines a plurality of pattern change information corresponding to each time point in a multi-stage combination form in the order of each time point to form a single pattern, as shown in (c) of FIG. 2 . A corresponding single time series pattern information 5, that is, a single feature pattern information is generated.

상기 시계열 패턴 정보 생성부(37)에 의하여 생성된 단일의 시계열 패턴 정보는 1차원 직선 형태로만 이루어진 단일의 패턴 변화 정보도 아니고, 복수의 시점에 대응한 복수의 패턴 변화 정보들이 시간 순서대로 다단 조합 형태로 결합하여 형성된 단일의 시계열적인 패턴 정보(5)에 해당된다.The single time series pattern information generated by the time series pattern information generating unit 37 is not a single pattern change information formed only in the form of a one-dimensional straight line, and a plurality of pattern change information corresponding to a plurality of viewpoints is combined in a chronological order in multiple stages. It corresponds to the single time-series pattern information 5 formed by combining in the form.

이와 같이, 생성된 시계열 패턴 정보(5), 즉 특징 패턴 정보는 상기 추적 모듈(50)에 전달된다. 그러면, 상기 추적 모듈(50)은 생성된 딥러닝 모델에 상기 특징 패턴 정보를 적용하여 결함 발생 여부 및 결함이 발생하였다면, 결함 위치, 즉 결함이 발생한 감시 대상체, 구체적으로 결함이 발생한 계통 기기 또는 설비가 무엇인지를 알 수 있는 위치를 진단 추적할 수 있다.In this way, the generated time series pattern information 5 , that is, characteristic pattern information is transmitted to the tracking module 50 . Then, the tracking module 50 applies the feature pattern information to the generated deep learning model to determine whether or not a defect has occurred and if a defect has occurred, the location of the defect, that is, the monitoring object in which the defect occurred, specifically, the system device or facility in which the defect occurred Diagnosis can be traced to a location to know what it is.

상기 추적 모듈(50)은 상술한 바와 같이, 상기 트레이닝 데이터 생성 모듈(10)에 의하여 전달되는 트레이닝 데이터를 입력받아 딥러닝 트레이닝(training)을 통해 결함 위치 추적을 위한 딥러닝 모델을 생성하여 모델링 데이터들을 구축할 수 있고, 상기 딥러닝 모델에 의해 구축되는 모델링 데이터들에 상기 특징 패턴 정보를 적용하여 결함 위치를 진단 추적하는 동작을 수행한다.As described above, the tracking module 50 receives the training data transmitted by the training data generation module 10 and generates a deep learning model for tracking the defect location through deep learning training to model data can be constructed, and an operation of diagnosing and tracking a defect location is performed by applying the feature pattern information to modeling data built by the deep learning model.

상기 추적 모듈(50)은 딥러닝 학습부(51)와 진단부(53)를 포함하여 구성된다. The tracking module 50 is configured to include a deep learning learning unit 51 and a diagnosis unit 53 .

상기 딥러닝 학습부(51)는 상기 트레이닝 데이터 추출부(13)에서 추출되어 전달되는 트레이닝 데이터들을 이용하여 딥러닝 트레이닝(training)을 수행하고, 트레이닝을 통하여 결함 위치를 진단 추적할 수 있는 딥러닝 모델을 생성한다. 결과적으로, 상기 딥러닝 학습부(51)는 상기 생성된 딥러닝 모델을 통해 딥러닝 모델링 데이터들을 생성하여 저장 관리할 수 있다. 상기 딥러닝 학습부(51)는 신규 트레이닝 데이터가 입력될 때마다 해당 신규 트레이닝 데이터만을 딥러닝 트레이닝하여 딥러닝 모델 또는 모델링 데이터들을 업데이트할 수 있다.The deep learning learning unit 51 performs deep learning training using the training data extracted from the training data extraction unit 13 and transmitted, and deep learning capable of diagnosing and tracking the defect location through training. create a model As a result, the deep learning learning unit 51 may generate and store and manage deep learning modeling data through the generated deep learning model. The deep learning learning unit 51 may update the deep learning model or modeling data by deep learning training only the new training data whenever new training data is input.

상기 진단부(53)는 실제 감시 대상체의 결함을 실시간으로 예측 진단하고 결함 위치를 추적하는 과정에서 입력되는 복수의 변수에 관한 감시/운전 데이터들을 가공 처리하여 생성된 특징 패턴 정보를 상기 딥러닝 학습부(51)에 의하여 구축된 모델링 데이터들에 반영하여 감시 대상체의 결함 발생 여부 및 결함 발생 위치를 예측 및 진단 추적을 통해 식별하는 동작을 수행한다. 즉, 상기 진단부(53)는 상기 생성된 딥러닝 모델에 의하여 생성된 모델링 데이터들과 상기 특징 패턴 정보의 유사도를 평가 및 분석하여 상기 특징 패턴 정보와 유사도가 가장 높은 딥러닝 모델링 데이터를 추출하고, 이 추출된 딥러닝 모델링 데이터에 매칭하여 저장 관리되는 결함 위치 및 결함 유형을 확인하여 결함이 발생한 감시 대상체를 식별할 수 있다.The diagnosis unit 53 predicts and diagnoses a defect of an actual monitoring object in real time, and processes the monitoring/driving data for a plurality of variables input in the process of tracing the defect location to learn the feature pattern information generated by processing the deep learning By reflecting on the modeling data constructed by the unit 51, the operation of identifying whether or not a defect has occurred and the location of the defect in the monitoring object through prediction and diagnosis tracking is performed. That is, the diagnosis unit 53 evaluates and analyzes the similarity between the modeling data generated by the generated deep learning model and the feature pattern information to extract the deep learning modeling data having the highest similarity with the feature pattern information, , by matching the extracted deep learning modeling data to the stored and managed defect location and defect type, it is possible to identify the monitoring object where the defect has occurred.

딥러닝 알고리즘은 Deep Belief Network (DBN), Recurrent Neural Network (RNN) 등 다양하게 존재한다. 본 발명에서는 결함 식별을 위한 딥러닝 알고리즘으로서 합성곱 신경망인 Convolutional Neural Network(CNN)를 적용한다. 합성곱 신경망은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 특히 합성곱 신경망은 영상 및 음성 분야에서 좋은 성능을 보이고 있으며, 피드포워드 (Feedforward) 인공신경망 기법들보다 쉽게 훈련되는 편이고, 매개변수의 수가 타 인공신경망에 비해 적은 편이며, 결함 특징을 추출하는 부분 또한 학습된다는 점에서 본 발명에 적합하여 채택 적용한다.Deep learning algorithms exist in various ways, such as Deep Belief Network (DBN) and Recurrent Neural Network (RNN). In the present invention, a Convolutional Neural Network (CNN), a convolutional neural network, is applied as a deep learning algorithm for defect identification. Convolutional neural networks are a type of multilayer perceptrons designed to use minimal preprocessing. In particular, the convolutional neural network shows good performance in video and audio fields, is more easily trained than feedforward artificial neural network techniques, has fewer parameters than other artificial neural networks, and extracts defect features. In addition, it is adapted and applied according to the present invention in that it is learned.

한편, 상기 추적 모듈(50)은 상기 모델링 데이터에 대한 상기 특징 패턴 정보의 매칭 유사도가 설정 기준 유사도보다 낮은 경우에, 상기 특징 패턴 정보를 반영한 딥러닝 재트레이닝(Re-training)을 통해 결함 위치 추적을 위한 모델링 데이터를 업데이트하는 것이 바람직하다.On the other hand, when the matching similarity of the feature pattern information to the modeling data is lower than the set standard similarity, the tracking module 50 tracks the defect location through deep learning re-training reflecting the feature pattern information. It is desirable to update the modeling data for

구체적으로, 상기 진단부(53)는 상기 모델링 데이터들과 상기 특징 패턴 정보를 비교 분석하여 매칭 유사도 평가를 수행한 결과, 가장 높은 매칭 유사도가 사전에 설정된 설정 기준 유사도보다 낮은 경우에는 결함 위치 추적에 대한 정확도 역시 낮고 신뢰할 수 없다. 따라서, 상기 진단부(53)는 상기 매칭 유사도가 낮은 특징 패턴 정보를 상기 딥러닝 학습부(51)로 전달하여 재트레이닝 진행될 수 있도록 제어한다. 그러면, 상기 딥러닝 학습부(51)는 상기 전달받은 특징 패턴 정보를 반영하여 딥러닝 재트레이닝을 수행하여 결함 위치 추적을 위한 딥러닝 모델을 갱신 또는 업데이트하여 딥러닝 모델링 데이터가 업데이트될 수 있도록 한다.Specifically, the diagnosis unit 53 compares and analyzes the modeling data and the feature pattern information to evaluate the matching similarity. As a result, when the highest matching similarity is lower than the preset standard similarity, it is used to track the defect location. The accuracy is also low and unreliable. Accordingly, the diagnosis unit 53 transmits the feature pattern information having a low matching similarity to the deep learning learning unit 51 to control re-training. Then, the deep learning learning unit 51 performs deep learning retraining by reflecting the received feature pattern information to update or update the deep learning model for tracking the defect location so that the deep learning modeling data can be updated .

한편, 상기 추적 모듈(50)은 상기 트레이닝 데이터 생성 모듈(10)을 구성하는 상기 트레이닝 데이터 추출부(13)로부터 트레이닝 데이터들을 전달받아 딥러닝 트레이닝을 통해 딥러닝 모델을 생성한다.On the other hand, the tracking module 50 receives training data from the training data extraction unit 13 constituting the training data generation module 10 and generates a deep learning model through deep learning training.

이를 위하여, 상기 트레이닝 데이터 추출부(13)는 상술한 특징 패턴 정보 생성 모듈(30)과 대동소이한 동작을 통해 트레이닝 데이터를 추출한다. 상기 트레이닝 데이터 추출부(13)는 상기 딥러닝 트레이닝을 위한 트레이닝 데이터를 추출 생성하고, 상기 특징 패턴 정보 생성 모듈은 실시간으로 특징 패턴 정보를 생성한다는 점에서 차이가 있고, 더 나아가 상기 트레이닝 데이터 추출부(13)는 각각의 감시 대상체에 관련된 결함 이력 데이터들, 즉, 사전에 구축되되, 결함이 발생한 때의 각 변수에 관한 각각의 감시/운전 데이터들을 입력받아서 상기 트레이닝 데이터를 생성하고, 상기 특징 패턴 정보 생성 모듈(30)은 실시간으로 복수의 변수에 관한 감시/운전 데이터들을 입력받아서 상기 특징 패턴 정보를 생성한다는 점에서 더 차이가 있다.To this end, the training data extraction unit 13 extracts training data through the same operation as the above-described feature pattern information generating module 30 . The training data extraction unit 13 is different in that it extracts and generates training data for the deep learning training, and the characteristic pattern information generation module generates characteristic pattern information in real time, furthermore, the training data extraction unit (13) generates the training data by receiving defect history data related to each monitoring object, that is, each monitoring/driving data related to each variable that is built in advance and when a defect occurs, and generates the training data, and the feature pattern The information generating module 30 is different in that it receives monitoring/driving data related to a plurality of variables in real time and generates the characteristic pattern information.

이와 같은 차이점을 고려하여 상기 트레이닝 데이터 추출부(13)의 동작을 간략하면 설명하면 다음과 같다.The operation of the training data extraction unit 13 will be briefly described in consideration of such differences.

상기 트레이닝 데이터 추출부(13)는 시계열적으로 결합하여 형성되는 트레이닝 데이터를 생성한다. 이를 위하여, 상기 트레이닝 데이터 추출부(13)는 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 각각의 감시/운전 데이터들을 상기 결함 이력 데이터 입력부(11)로부터 입력받는다. 그러면, 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 각각의 감시/운전 데이터들을 상호 시간차를 가지는 복수의 시점으로 분할하여 복수의 데이터 블록을 생성한다. 그런 후, 상기 생성된 각각의 데이터 블록에 포함된 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 각각의 감시/운전 데이터들에 대해 패턴 변화 정보를 추출한다. 이후, 상기 추출된 패턴 변화 정보를 각 시점에 대응하여 다단 조합 형태로 결합하여 단일의 패턴인 트레이닝 데이터에 해당하는 단일의 시계열 패턴 정보를 생성한다. 이러한 트레이닝 데이터들은 각각의 감시 대상체 별로 각 결함 유형에 대해 각각 생성되는 것이 바람직하다.The training data extraction unit 13 generates training data formed by time-series coupling. To this end, the training data extraction unit 13 receives respective monitoring/operation data regarding a plurality of variables corresponding to the defect history data related to each monitoring object from the defect history data input unit 11 . Then, a plurality of data blocks are generated by dividing each monitoring/driving data regarding a plurality of variables corresponding to the defect history data related to each monitoring object into a plurality of time points having a mutual time difference. Then, pattern change information is extracted for each monitoring/driving data regarding a plurality of variables corresponding to defect history data related to each monitoring object included in each of the generated data blocks. Thereafter, the extracted pattern change information is combined in a multi-stage combination form corresponding to each time point to generate single time series pattern information corresponding to training data that is a single pattern. Preferably, these training data are generated for each defect type for each monitoring object.

도 2를 참조하여 좀 더 구체적으로 설명하면, 먼저, 상기 트레이닝 데이터 추출부(13)는 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 감시/운전 데이터들을 입력받는다. 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 감시/운전 데이터들은 주기적으로 입력되는 것이 바람직하다. 상기 복수의 변수는 베어링 온도, 회전체 진동, 회전체 속도 등에 해당하고, 이에 관한 감시/운전 데이터는 베어링 온도 값, 회전체 진동 값, 회전체 속도 값 등에 해당한다.In more detail with reference to FIG. 2 , first, the training data extraction unit 13 receives monitoring/driving data related to a plurality of variables corresponding to defect history data related to each of the monitoring objects. It is preferable that monitoring/operation data regarding a plurality of variables corresponding to the defect history data related to each monitoring object are periodically input. The plurality of variables correspond to a bearing temperature, a rotating body vibration, a rotating body speed, and the like, and monitoring/operation data about this corresponds to a bearing temperature value, a rotating body vibration value, a rotating body speed value, and the like.

다음, 상기 트레이닝 데이터 추출부(13)는 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 감시/운전 데이터들(d1 ~ dn)을 상호 시간차를 가지는 복수의 시점(t1, t2, t3)으로 분할하여 각 시점에 대응하는 복수의 데이터 블록(1)들을 생성한다.Next, the training data extraction unit 13 collects the monitoring/driving data d1 to dn regarding a plurality of variables corresponding to the defect history data related to each of the monitoring objects at a plurality of time points t1 having a mutual time difference. , t2, t3) to generate a plurality of data blocks 1 corresponding to each time point.

도 2에서, 상기 복수의 시점(t1, t2, t3)은 상호 시간차를 가지는 세 개인 것으로 예시하고, 이에 따라 세 개의 데이터 블록(1)이 생성되는 것을 예시하고 있다. 여기서, 복수의 시점(t1, t2, t3) 중, 시점1(t1)은 특정되지 않은 임의의 시점을 의미하고, 상기 복수의 시점(t1, t2, t3) 중, 시점 2(t2)는 상기 시점1(t1)과 제1 시간차를 가지는 시점을 의미하며, 상기 복수의 시점(t1, t2, t3) 중, 시점3(t3)은 상기 시점2(t2)와 제2 시간차를 가지는 시점을 의미한다.In FIG. 2 , the plurality of time points t1 , t2 , and t3 are exemplified as three having a mutual time difference, and thus three data blocks 1 are generated. Here, among the plurality of time points t1, t2, and t3, the time point 1 (t1) means an unspecified time point, and among the plurality of time points (t1, t2, t3), the time point 2 (t2) is the It means a time point having a first time difference from time point 1 (t1), and among the plurality of time points t1, t2, t3, time point 3 (t3) means a time point having a second time difference from time point 2 (t2) do.

여기서, 상기 제1 시간차와 상기 제2 시간차는 상이할 수도 있고 동일할 수도 있는데, 상기 제1 시간차와 상기 제2 시간차는 동일한 특정 주기(T)인 것이 바람직하다. 즉, 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 상기 복수의 변수에 관한 감시/운전 데이터들은 상기 결함 이력 데이터 입력부(11)를 통해 주기적으로 입력되는 것이 바람직하기 때문에, 이에 연계하여 데이터 블록의 생성을 용이하게 하기 위하여, 상기 제1 시간차와 상기 제2 시간차는 동일한 특정 주기(T)인 것이 바람직하다. 결과적으로, 상기 시점1이 t1일 대, 상기 시점2(t2)는 t1+T이고, 상기 시점3(t3)은 t1+2T 또는 t2+T가 되는 것이 바람직하다.Here, the first time difference and the second time difference may be different or the same, but it is preferable that the first time difference and the second time difference are the same specific period (T). That is, since it is preferable that the monitoring/operation data regarding the plurality of variables corresponding to the defect history data related to each monitoring object are periodically inputted through the defect history data input unit 11, data in connection therewith In order to facilitate block generation, it is preferable that the first time difference and the second time difference are the same specific period T. As a result, it is preferable that the time point 1 is t1, the time point 2 (t2) is t1+T, and the time point 3 (t3) is t1+2T or t2+T.

상기 생성된 각각의 데이터 블록(1)에는 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 각각의 감시/운전 데이터들이 포함되어 있다. 예를 들어, 각각의 데이터 블록(1)에는 베어링 온도 값(d1), 회전체 진동 값(d2), 회전체 속도 값(d3)... 등이 순서대로 포함되어 있다. 각각의 데이터 블록(1)의 동일한 위치에는 동일한 변수에 관한 감시/운전 데이터 정보가 포함되어 있다.Each of the generated data blocks 1 includes respective monitoring/operation data regarding a plurality of variables corresponding to the defect history data related to each of the monitoring objects. For example, each data block 1 contains a bearing temperature value (d1), a rotating body vibration value (d2), a rotating body speed value (d3)... The same position in each data block 1 contains monitoring/operation data information about the same variable.

다음, 상기 트레이닝 데이터 추출부(13)는 도 2의 (b)에 도시된 바와 같이, 상호 시간차를 가지는 복수의 시점에서 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 각 변수에 관한 감시/운전 데이터의 패턴 변화 정보를 추출한다. 즉, 각 시점에 대응하는 복수의 데이터 블록(1)들에 포함되는 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 각각의 감시/운전 데이터들에 대해 1차원 직선 형태의 패턴 변화 정보를 추출한다. 상기 트레이닝 데이터 추출부(13)는 각 시점에 대응하는 데이터 블록에 대해 반복적으로 패턴 변화 정보 추출 동작을 수행하고, 결과적으로 시간에 따른 시계열적인 패턴 변화 정보들이 순차적으로 추출된다.Next, the training data extraction unit 13, as shown in FIG. 2 (b), monitors each variable corresponding to the defect history data related to the respective monitoring object at a plurality of time points having a mutual time difference / Extract pattern change information of driving data. That is, a one-dimensional linear form for each monitoring/driving data regarding a plurality of variables corresponding to defect history data related to each monitoring object included in the plurality of data blocks 1 corresponding to each time point. of pattern change information. The training data extraction unit 13 repeatedly performs a pattern change information extraction operation on a data block corresponding to each time point, and as a result, time-series pattern change information according to time is sequentially extracted.

예시적으로 살펴보면, 도 2의 (b)에 도시된 바와 같이, 상기 각각의 감시 대상체에 관련된 결함 이력 데이터들에 해당하는 복수의 변수에 관한 감시/운전 데이터들 중, 첫 번째 변수, 상술한 예시에 의하면, 베어링 온도에 관한 데이터(d1), 즉 베어링 온도 값에 대한 패턴 변화 정보는 각 시점에서 변화가 없이 동일한 상태를 유지한다. 즉, 도 2의 (b)는 특정 감시 대상체에 특정 결함이 발생한 경우에, 첫 번째 변수, 예를 들어 베어링 온도 값에 대한 패턴 변화 정보는 각 시점에서 변화가 없이 동일한 상태를 유지한다는 것을 보여주고 있다.By way of example, as shown in (b) of FIG. 2, among the monitoring/driving data regarding a plurality of variables corresponding to the defect history data related to each of the monitoring objects, the first variable, the above example According to , the data d1 about the bearing temperature, that is, the pattern change information for the bearing temperature value, maintains the same state without change at each time point. That is, (b) of FIG. 2 shows that when a specific defect occurs in a specific monitoring object, the pattern change information for the first variable, for example, the bearing temperature value, maintains the same state without change at each time point, have.

다음, 상기 트레이닝 데이터 추출부(13)는 도 2의 (c)에 도시된 바와 같이, 상기 각 시점에 대응하는 복수의 패턴 변화 정보들을 각 시점 순서대로 다단 조합 형태로 결합하여 단일의 패턴에 해당하는 단일의 시계열 패턴 정보(5), 즉 단일 패턴의 트레이닝 데이터를 생성한다.Next, the training data extraction unit 13 corresponds to a single pattern by combining a plurality of pattern change information corresponding to each time point in a multi-stage combination form in the order of each time point, as shown in (c) of FIG. 2 . to generate a single time series pattern information 5, that is, training data of a single pattern.

상기 트레이닝 데이터 추출부(13)에 의하여 생성된 단일의 시계열 패턴 정보는 1차원 직선 형태로만 이루어진 단일의 패턴 변화 정보도 아니고, 복수의 시점에 대응한 복수의 패턴 변화 정보들이 시간 순서대로 다단 조합 형태로 결합하여 형성된 단일의 시계열적인 패턴 정보(5)에 해당된다.The single time series pattern information generated by the training data extraction unit 13 is not a single pattern change information made of only a one-dimensional straight line, and a plurality of pattern change information corresponding to a plurality of viewpoints is a multi-stage combination form in time order. It corresponds to a single time-series pattern information (5) formed by combining .

이와 같이, 생성된 단일의 시계열 패턴 정보(5), 즉 단일 패턴의 트레이닝 데이터는 상기 추적 모듈(50)에 전달된다. 그러면, 상기 딥러닝 학습부(51)는 상기 트레이닝 데이터를 입력받아 딥러닝 트레이닝(training)을 통해 결함 위치 추적을 위한 딥러닝 모델을 생성하고, 모델링 데이터들을 저장 관리한다. 그러면, 상기 진단부(53)는 상기 모델링 데이터에 상기 특징 패턴 정보를 적용하여 결함 위치를 진단 추적할 수 있다.In this way, the generated single time series pattern information 5 , that is, training data of a single pattern is transmitted to the tracking module 50 . Then, the deep learning learning unit 51 receives the training data, generates a deep learning model for defect location tracking through deep learning training, and stores and manages the modeling data. Then, the diagnosis unit 53 may apply the feature pattern information to the modeling data to diagnose and track the defect location.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.Although the embodiments according to the present invention have been described above, these are merely exemplary, and those of ordinary skill in the art will understand that various modifications and equivalent ranges of embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be defined by the following claims.

1 : 데이터 블록 3 : 패턴 변화 정보
5 : 시계열 패턴 정보 10 : 트레이닝 데이터 생성 모듈
11 : 결함 이력 데이터 입력부 13 : 트레이닝 데이터 추출부
30 : 특징 패턴 정보 생성 모듈 31 : 감시/운전 데이터 입력부
33 : 데이터 블록 생성부 35 : 패턴 변화 정보 추출부
37 : 시계열 패턴 정보 생성부 50 : 추적 모듈
51 : 딥러닝 학습부 53 : 진단부
100 : 딥러닝 기반 결함 위치 추적 장치1: data block 3: pattern change information
5: Time series pattern information 10: Training data generation module
11: defect history data input unit 13: training data extraction unit
30: feature pattern information generation module 31: monitoring/operation data input unit
33: data block generation unit 35: pattern change information extraction unit
37: time series pattern information generating unit 50: tracking module
51: deep learning learning unit 53: diagnosis unit
100: Deep learning-based defect location tracking device

Claims (3)

감시 대상체들의 결함 위치 추적 장치에 있어서,
각각의 감시 대상체에 관련된 결함 이력 데이터들을 이용하여 각각의 감시 대상체 별로 복수의 결함 유형 각각에 대응하는 트레이닝 데이터를 생성하는 트레이닝 데이터 생성 모듈;
실시간으로 입력되는 복수의 변수에 관한 감시/운전 데이터들을 이용하여, 각각의 변수에 관한 감시/운전 데이터들 각각의 패턴 변화 정보를 시계열적으로 결합하여 형성되는 특징 패턴 정보를 생성하는 특징 패턴 정보 생성 모듈;
상기 트레이닝 데이터를 입력받아 딥러닝 트레이닝(training)을 통해 결함 위치 추적을 위한 모델링 데이터를 생성하고, 상기 모델링 데이터에 상기 특징 패턴 정보를 적용하여 결함 위치를 진단 추적하는 추적 모듈을 포함하여 구성되되,
상기 트레이닝 데이터는 각각의 감시 대상체 별로 복수의 결함 유형 각각에 대응하는 시계열 패턴 정보, 즉 결함이 발생한 때 나타나는 시계열 패턴 정보에 해당하고,
상기 특징 패턴 정보는 복수 개의 1차원의 패턴 변화 정보들이 시간차를 두고 다단 조합 형태로 결합한 단일의 패턴 변화 정보, 즉 시계열적으로 결합한 패턴 변화 정보에 해당하며,
상기 특징 패턴 정보 생성 모듈은 복수의 변수에 관한 각각의 감시/운전 데이터들을 입력받는 감시/운전 데이터 입력부, 상기 복수의 변수에 관한 각각의 감시/운전 데이터들을 상호 시간차를 가지는 복수의 시점으로 분할하여 복수의 데이터 블록을 생성하는 데이터 블록 생성부, 생성된 각각의 데이터 블록에 포함된 복수의 변수에 관한 각각의 감시/운전 데이터들에 대해 패턴 변화 정보를 추출하는 패턴 변화 정보 추출부 및 추출된 패턴 변화 정보를 각 시점에 대응하여 다단 조합 형태로 결합하여 단일의 패턴인 특징 패턴 정보에 해당하는 단일의 시계열 패턴 정보를 생성하는 시계열 패턴 정보 생성부를 포함하여 구성되고,
상기 각각의 감시 대상체에 관련된 결함 이력 데이터들은 사전에 구축된 이력 데이터들이고, 상기 각 감시 대상체의 과거 결함 이력 데이터, 상기 각 감시 대상체와 유사한 장치의 결함 데이터, 시뮬레이션을 통한 결함 데이터, 테스트베드(Testbed)를 통한 결함 데이터 중, 적어도 하나를 포함하며,
상기 추적 모듈은 상기 모델링 데이터에 대한 상기 특징 패턴 정보의 매칭 유사도가 설정 기준 유사도보다 낮은 경우에, 상기 특징 패턴 정보를 반영한 딥러닝 재트레이닝(Re-training)을 통해 결함 위치 추적을 위한 모델링 데이터를 업데이트하는 것을 특징으로 하는 딥러닝 기반 결함 위치 추적 장치.In the defect location tracking device of monitoring objects,
a training data generation module for generating training data corresponding to each of a plurality of defect types for each monitoring object by using the defect history data related to each monitoring object;
Using the monitoring/driving data for a plurality of variables input in real time, generating characteristic pattern information to generate characteristic pattern information formed by time-series combination of the pattern change information of the monitoring/driving data related to each variable module;
It receives the training data, generates modeling data for tracking the defect location through deep learning training, and includes a tracking module for diagnosing and tracking the defect location by applying the feature pattern information to the modeling data,
The training data corresponds to time series pattern information corresponding to each of a plurality of defect types for each monitoring object, that is, time series pattern information that appears when a defect occurs,
The feature pattern information corresponds to a single pattern change information in which a plurality of one-dimensional pattern change information is combined in a multi-stage combination form with a time difference, that is, pattern change information combined in time series,
The feature pattern information generation module is a monitoring/driving data input unit that receives respective monitoring/driving data related to a plurality of variables, and dividing each monitoring/driving data related to the plurality of variables into a plurality of time points having a mutual time difference. A data block generating unit that generates a plurality of data blocks, a pattern change information extracting unit that extracts pattern change information for each monitoring/operation data regarding a plurality of variables included in each generated data block, and the extracted pattern and a time series pattern information generating unit for generating single time series pattern information corresponding to feature pattern information that is a single pattern by combining change information in a multi-stage combination form corresponding to each time point,
The defect history data related to each monitoring object are previously built history data, past defect history data of each monitoring object, defect data of a device similar to each monitoring object, defect data through simulation, and a testbed (Testbed). ) of the defect data through, including at least one,
When the matching similarity of the feature pattern information to the modeling data is lower than the set standard similarity, the tracking module performs modeling data for tracking defect locations through deep learning re-training that reflects the feature pattern information. Deep learning-based defect location tracking device, characterized in that it is updated. 삭제delete 삭제delete
KR1020190150013A 2019-11-21 2019-11-21 Device for tracking defect location based on deep learning KR102414537B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190150013A KR102414537B1 (en) 2019-11-21 2019-11-21 Device for tracking defect location based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190150013A KR102414537B1 (en) 2019-11-21 2019-11-21 Device for tracking defect location based on deep learning

Publications (2)

Publication Number Publication Date
KR20210062162A KR20210062162A (en) 2021-05-31
KR102414537B1 true KR102414537B1 (en) 2022-06-30

Family

ID=76150478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190150013A KR102414537B1 (en) 2019-11-21 2019-11-21 Device for tracking defect location based on deep learning

Country Status (1)

Country Link
KR (1) KR102414537B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180048218A (en) * 2016-10-31 2018-05-10 현대위아 주식회사 Machine tool breakdown diagnosis system based on Machine Learning, and method thereof
KR101967301B1 (en) 2017-12-07 2019-04-09 한국생산기술연구원 Fault Diagnosis System For Rotating Device Using Convergence of Learning Data
KR102145984B1 (en) * 2018-01-10 2020-08-19 주식회사 서연이화 Appratus and method for analyzing failure of automated system

Also Published As

Publication number Publication date
KR20210062162A (en) 2021-05-31

Similar Documents

Publication Publication Date Title
JP7012871B2 (en) Devices and methods for controlling the system
CN113077172A (en) Equipment state trend analysis and fault diagnosis method
EP3866177A1 (en) Abnormal driving state determination device and method using neural network model
KR102373787B1 (en) Big data based on potential failure mode analysis method using progonstics system of machine equipment
Olsson et al. Fault diagnosis in industry using sensor readings and case-based reasoning
KR102221473B1 (en) System for error detection according to plc control
Jove et al. Virtual sensor for fault detection, isolation and data recovery for bicomponent mixing machine monitoring
US11714403B2 (en) Method for learning and detecting abnormal part of device through artificial intelligence
Kißkalt et al. A novel approach for data-driven process and condition monitoring systems on the example of mill-turn centers
EP3447595B1 (en) Method for monitoring an industrial plant and industrial control system
CN107656518A (en) A kind of system failure inference method
EP3627261B1 (en) Diagnosis system and method using parallel analysis paths
KR102414537B1 (en) Device for tracking defect location based on deep learning
CA3189344A1 (en) Explaining machine learning output in industrial applications
CN116560326B (en) Intelligent factory management platform
CN112400194B (en) System and method for triggering training events
CN116483054A (en) Industrial robot running state monitoring and early warning system and method
CN111712771A (en) Data processing apparatus and method capable of performing problem diagnosis in production system having a plurality of robots
CN115917464A (en) Method and device for monitoring industrial equipment
CN116235121A (en) Apparatus and method for identifying anomalies in industrial facilities for performing a production process
Garay et al. Analysis of the applicability of fault detection and failure prediction based on unsupervised learning and monte carlo simulations for real devices in the industrial automobile production
Smeraldo et al. A data-driven approach to fault diagnostics for industrial process plants based on feature extraction and inferential statistics
El Mahdi et al. Real Time Assessment of Novel Predictive Maintenance System Based on Artificial Intelligence for Rotating Machines.
Ciancio et al. Development of a flexible predictive maintenance system in the context of Industry 4.0
EP3961333A1 (en) System and method for determining a cause of an operating anomaly of a machine and computer program and electronically readable data carrier

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2022101000586; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20220317

Effective date: 20220517

GRNO Decision to grant (after opposition)