KR102265459B1 - Predictive maintenance system for defects in plant facilities - Google Patents
Predictive maintenance system for defects in plant facilities Download PDFInfo
- Publication number
- KR102265459B1 KR102265459B1 KR1020190030588A KR20190030588A KR102265459B1 KR 102265459 B1 KR102265459 B1 KR 102265459B1 KR 1020190030588 A KR1020190030588 A KR 1020190030588A KR 20190030588 A KR20190030588 A KR 20190030588A KR 102265459 B1 KR102265459 B1 KR 102265459B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- learning
- unit
- learning data
- prediction
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
- G05B23/0281—Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
- G05B23/0294—Optimizing process, e.g. process efficiency, product quality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 공장 설비 결함의 예지보전 시스템에 관한 것으로, 보다 구체적으로 컴퓨터에서 수행되는 공장 설비 결함의 예지보전 시스템에 있어서, 센서 및 머신비전용 카메라를 통해 해당 설비로부터 시계열 센서 데이터 및 영상 데이터를 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 학습데이터 생성부; 상기 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 학습부; 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성하는 결함예측부; 및 상기 결함예측부에서 생성된 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 의사결정지원부;를 포함하되, 상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하는 것을 특징으로 한다.The present invention relates to a system for predictive maintenance of factory equipment defects, and more specifically, to a system for predictive maintenance of factory equipment defects performed on a computer, time series sensor data and image data are collected from the equipment through sensors and machine vision cameras. data collection unit; a learning data generation unit that selects learning data based on the sensor data and image data collected by the data collection unit, and groups and labels the selected learning data; a learning unit for learning a deep learning model using the labeled learning data; a defect prediction unit for generating item-by-item prediction data on whether a corresponding facility is defective through sensor data and image data collected in real time by the data collection unit using the learned deep learning model; and a decision support unit that performs follow-up measures to support decision making for facility maintenance based on the prediction data generated by the defect prediction unit; but, the learning data generator includes, when selecting the learning data, the first learning data is directly obtained by an expert. After confirming and selecting, the learning data is characterized in that the learning data is automatically selected by automatically extracting similar data based on the initial learning data selected by the expert.
Description
본 발명은 공장 설비의 결함에 대한 딥러닝 예지보전 시스템에 관한 것이다.The present invention relates to a deep learning predictive maintenance system for defects in factory equipment.
최근 인공지능에 대한 관심과 연구가 활발히 진행되고 있다. 특히, 컴퓨팅 파워의 놀라운 발전과 딥러닝 기술의 출현으로 인공지능 기술의 정확도가 획기적으로 개선됨에 따라 다양한 분야에서 인공지능 기술을 활용하고자 하는 연구가 활발하게 진행되고 있다. 특히, 최근 들어 스마트 공장 시스템에 대한 관심 및 수요가 높아져 공장 설비의 결함을 자동 시스템으로 모니터링하고 예측하는 기술에 딥러닝 기술을 적용시키려는 시도가 이루어지고 있다.Recently, interest in and research on artificial intelligence has been actively conducted. In particular, as the accuracy of artificial intelligence technology is dramatically improved due to the remarkable development of computing power and the advent of deep learning technology, research to utilize artificial intelligence technology in various fields is being actively conducted. In particular, as interest and demand for smart factory systems have increased recently, attempts are being made to apply deep learning technology to technology for monitoring and predicting defects in factory facilities with an automatic system.
하지만, 딥러닝 방식의 공장 설비 결함 예지 보전 시스템은 아직은 초기 단계로서 모든 학습 데이터를 자동으로 추출하여 선별하기 때문에 방대한 양의 센서 데이터 정보를 필요로 하고, 이에 따라 데이터 처리 효율이 현저히 떨어지고, 비용이 많이 들며, 학습 데이터 생성에 많은 시간이 소요되는 문제가 있다. 또한, 공장이 위치하는 지역, 주변 환경, 계절 등의 외부 환경 요인에 따라 기 설정 값과 미세한 차이가 있어 학습데이터 선별에 있어 신뢰도가 떨어지며, 실제 현장에 적용하였을 때 결함 예측 정확도가 현저히 떨어지는 문제가 있다. 특히, 신규 설비의 경우 설비 결함율이 현저히 낮아 기존의 딥러닝 기반 예지보전 시스템으로는 인공지능 학습이 잘 이루어지지 않으며, 학습이 되더라도 지나치게 오랜 기간이 소요되는 한계가 있다.However, the deep learning-type factory facility defect prediction and maintenance system is still in its infancy, and because all learning data is automatically extracted and selected, it requires a large amount of sensor data information, which significantly reduces data processing efficiency and reduces costs. It costs a lot, and there is a problem that it takes a lot of time to generate training data. In addition, there is a slight difference from the preset value depending on external environmental factors such as the area where the factory is located, the surrounding environment, and the season, so the reliability in selecting learning data is lowered. have. In particular, in the case of new facilities, the facility defect rate is very low, so AI learning is not performed well with the existing deep learning-based predictive maintenance system, and even if it is learned, there is a limitation that it takes too long.
본 발명은 상기와 같은 문제점을 해결하기 위해 도출 된 것으로, 종래의 딥러닝 기반 예지보전 시스템 보다 효율적으로 신속하게 학습 데이터를 생성할 수 있고, 높은 신뢰도의 학습 데이터를 생성하여 실제 현장에 적용하였을 때 높은 정확도의 결함 예측 결과를 도출할 수 있는 공장 설비 결함의 예지보전 시스템을 제공하는 것을 그 목적으로 한다.The present invention was derived to solve the above problems, and it can generate learning data more efficiently and quickly than the conventional deep learning-based predictive maintenance system, and when applied to the actual field by generating high-reliability learning data An object of the present invention is to provide a predictive maintenance system for factory equipment defects capable of deriving high-accuracy defect prediction results.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적과제들은 하기의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the technical problems mentioned above, and other technical problems not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.
본 발명은 공장 설비 결함의 예지보전 시스템에 관한 것으로, 보다 구체적으로 컴퓨터에서 수행되는 공장 설비 결함의 예지보전 시스템에 있어서, 센서 및 머신비전용 카메라를 통해 해당 설비로부터 시계열 센서 데이터 및 영상 데이터를 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 학습데이터 생성부; 상기 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 학습부; 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성하는 결함예측부; 및 상기 결함예측부에서 생성된 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 의사결정지원부;를 포함하되, 상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하는 것을 특징으로 한다.The present invention relates to a system for predictive maintenance of factory equipment defects, and more specifically, to a system for predictive maintenance of factory equipment defects performed on a computer, time series sensor data and image data are collected from the equipment through sensors and machine vision cameras. data collection unit; a learning data generation unit that selects learning data based on the sensor data and image data collected by the data collection unit, and groups and labels the selected learning data; a learning unit for learning a deep learning model using the labeled learning data; a defect prediction unit for generating item-by-item prediction data on whether a corresponding facility is defective through sensor data and image data collected in real time by the data collection unit using the learned deep learning model; and a decision support unit that performs follow-up measures to support decision making for facility maintenance based on the prediction data generated by the defect prediction unit; but, the learning data generator includes, when selecting the learning data, the first learning data is directly obtained by an expert. After confirming and selecting, the learning data is characterized in that the learning data is automatically selected by automatically extracting similar data based on the initial learning data selected by the expert.
본 발명에 따른 공장 설비 결함의 예지보전 시스템에 의하면, 학습 데이터 생성 시 전문가가 최초 학습 데이터 선별에 관여함으로써, 모든 학습 데이터를 자동으로 추출하는 기존의 시스템에 비해 적은 양의 센서 데이터 정보만으로도 충분히 학습 데이터 선별 및 생성이 가능하여 효율적으로 신속하게 학습 데이터를 생성할 수 있고, 현장 전문가가 최초 학습데이터 선별 시 공장이 위치하는 지역, 주변 환경, 계절 등의 외부 환경 요인들을 고려하여 선별하기 때문에 생성된 학습 데이터의 신뢰도가 훨씬 높으며, 이에 따라 실제 현장에 적용하였을 때 결함 예측 결과의 정확도가 훨씬 높아지는 효과가 있다.According to the predictive maintenance system for factory equipment defects according to the present invention, when the learning data is generated, the expert is involved in the initial learning data selection, so that a small amount of sensor data information is sufficient compared to the existing system that automatically extracts all the learning data It is possible to select and generate data, so it is possible to efficiently and quickly create learning data, and when the field experts select the first learning data, they are selected by considering external environmental factors such as the area where the factory is located, the surrounding environment, and the season. The reliability of the training data is much higher, and accordingly, when applied to the actual field, the accuracy of the defect prediction result is much higher.
또한, 본 발명에 의하면 결함율이 현저히 낮은 신규 설비에 적용하더라도 인공지능 학습이 기존의 딥러닝 기반 결함 예지보전 시스템 기술에 비해 신속하게 이루어질 수 있는 효과가 있다.In addition, according to the present invention, even when applied to a new facility with a remarkably low defect rate, there is an effect that AI learning can be performed faster than the existing deep learning-based defect predictive maintenance system technology.
도 1은 본 발명에 따른 공장 설비 결함의 예지보전 시스템의 일예를 도식적으로 도시한 것이다.1 schematically shows an example of a system for predictive maintenance of factory equipment defects according to the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
본 발명은 공장 설비 결함의 예지보전 시스템에 관한 것으로, 보다 구체적으로 컴퓨터에서 수행되는 공장 설비 결함의 예지보전 시스템에 있어서, 센서 및 머신비전용 카메라를 통해 해당 설비로부터 시계열 센서 데이터 및 영상 데이터를 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 학습데이터 생성부; 상기 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 학습부; 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성하는 결함예측부; 및 상기 결함예측부에서 생성된 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 의사결정지원부;를 포함하되, 상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하는 것을 특징으로 한다.The present invention relates to a system for predictive maintenance of factory equipment defects, and more specifically, to a system for predictive maintenance of factory equipment defects performed on a computer, time series sensor data and image data are collected from the equipment through sensors and machine vision cameras. data collection unit; a learning data generation unit that selects learning data based on the sensor data and image data collected by the data collection unit, and groups and labels the selected learning data; a learning unit for learning a deep learning model using the labeled learning data; a defect predictor for generating item-by-item prediction data on whether a corresponding facility is defective through sensor data and image data collected in real time by the data collecting unit using the learned deep learning model; and a decision support unit that performs follow-up measures to support decision making for facility maintenance based on the prediction data generated by the defect prediction unit; but, the learning data generator includes, when selecting the learning data, the first learning data is directly obtained by an expert. After confirming and selecting, the learning data is characterized in that the learning data is automatically selected by automatically extracting similar data based on the initial learning data selected by the expert.
본 발명에 따른 공장 설비 결함의 예지보전 시스템은 컴퓨터에서 구현되는 것으로서, 실시간으로 수집되는 공장 설비의 공정과 관련된 데이터를 기반으로 딥러닝 모델을 학습시키고, 학습된 딥러닝 모델을 이용하여 시계열적으로 수집되는 설비 데이터들을 분석하여 설비의 결함 여부를 예측하고, 예측 결과를 토대로 설비 관리자의 후속 조치를 위한 의사결정을 지원하는 시스템에 관한 것이다.The predictive maintenance system for factory equipment defects according to the present invention is implemented in a computer, and it trains a deep learning model based on data related to the process of factory equipment collected in real time, and time-series using the learned deep learning model. It relates to a system that analyzes the collected facility data to predict whether there is a facility defect, and supports the facility manager's decision-making for follow-up actions based on the prediction result.
본 발명에서 상기 데이터 수집부는 공장 내의 해당 설비에 설치된 센서로부터 시계열 센서 데이터를 유·무선 통신 네트워크를 통해 수집하고, 해당 설비의 공정 상황을 촬영하도록 설치된 머신비전용 카메라로부터 해당 설비의 공정과 관련된 영상 데이터를 수집하는 기능을 한다.In the present invention, the data collection unit collects time-series sensor data from a sensor installed in a corresponding facility in a factory through a wired/wireless communication network, and an image related to the process of the facility from a machine vision camera installed to photograph the process status of the facility It functions to collect data.
상기 센서는 공장 설비의 상태를 직·간접적으로 나타내는 센서라면 어떠한 것이라도 가능하며, 가령 온도 센서, 속도 센서, 압력 센서, 전력 센서 등이 될 수 있다. 본 발명은 설비 결함 예측의 신뢰도를 높이기 위해 하나의 설비에 단일 센서를 설치하기 보다는 다양한 종류의 센서를 설치하여 하나의 설비로부터 온도, 전력, 압력 등 다양한 종류의 센서 데이터를 수집하는 것이 바람직하다.The sensor may be any sensor that directly or indirectly indicates the state of the factory equipment, and may be, for example, a temperature sensor, a speed sensor, a pressure sensor, or a power sensor. In the present invention, it is preferable to collect various types of sensor data such as temperature, power, and pressure from one facility by installing various types of sensors rather than installing a single sensor in one facility in order to increase the reliability of facility failure prediction.
또한, 상기 센서로부터 수집되는 센서 데이터는 시계열로 나열된 수치 값으로 표시되는 1차원 데이터 및 상기 수치 값의 패턴에 대한 이미지 형태로 표시되는 2차원 데이터로 이루어져 있다.In addition, the sensor data collected from the sensor consists of one-dimensional data displayed as numerical values listed in time series and two-dimensional data displayed in the form of an image of a pattern of the numerical values.
또한, 상기 머신비전용 카메라는 해당 설비의 공정 상황을 촬영하여 상기 데이터 수집부에 영상 데이터를 전송한다. 본 발명은 설비의 작동 상태를 머신비전용 카메라로 촬영한 영상 데이터를 딥러닝 모델의 학습 데이터로 이용함으로써, 기존의 1차원 센서 데이터에만 의존하던 딥러닝 기반 결함 예지보전 시스템에 비해 이례적인 상황에 대한 결함 예측의 정확도를 더욱 더 높일 수 있는 이점이 있다.In addition, the machine vision camera captures the process status of the facility and transmits image data to the data collection unit. The present invention uses image data captured by a machine vision camera for the operating state of a facility as learning data for a deep learning model, so it is an exceptional situation compared to a deep learning-based defect predictive maintenance system that relied only on existing one-dimensional sensor data. There is an advantage that the accuracy of defect prediction can be further improved.
본 발명에서 상기 학습데이터 생성부는 상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 역할을 하는 것으로서, 본 발명에서 상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별하여 저장된 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하는 것을 특징으로 한다. 기존의 딥러닝 방식의 공장 설비 결함 예지 보전 시스템은 모든 학습 데이터를 자동으로 추출하여 선별하기 때문에 방대한 양의 센서 데이터 정보를 필요로 하고, 이에 따라 데이터 처리 효율이 현저히 떨어지고, 비용이 많이 들며, 학습 데이터 생성에 많은 시간이 소요되는 문제가 있다. 또한, 공장이 위치하는 지역, 주변 환경, 계절 등의 외부 환경 요인에 따라 기 설정 값과 미세한 차이가 있어 학습데이터 선별에 있어 신뢰도가 떨어지며, 실제 현장에 적용하였을 때 결함 예측 정확도가 현저히 떨어지는 문제가 있다. 특히, 신규 설비의 경우 설비 결함율이 현저히 낮아 기존의 딥러닝 기반 예지보전 시스템으로는 인공지능 학습이 잘 이루어지지 않으며, 학습이 되더라도 지나치게 오랜 기간이 소요되는 한계가 있다.In the present invention, the learning data generating unit serves to select learning data based on the sensor data and image data collected by the data collection unit, and to group and label the selected learning data. In the present invention, the learning data generation unit automatically extracts similar data based on the first learning data selected and stored by the expert, and then the learning data is automatically selected by the expert when selecting the learning data. characterized by selection. The existing deep learning-type factory facility defect predictive maintenance system automatically extracts and selects all learning data, so it requires a large amount of sensor data information, and thus data processing efficiency is significantly reduced, cost is high, and learning There is a problem in that it takes a lot of time to generate data. In addition, there is a slight difference from the preset value depending on external environmental factors such as the region where the factory is located, the surrounding environment, and the season, so the reliability in selecting learning data is lowered. have. In particular, in the case of new facilities, the facility defect rate is very low, so AI learning is not performed well with the existing deep learning-based predictive maintenance system, and even if it is learned, there is a limitation that it takes an excessively long period of time.
하지만, 본 발명은 학습 데이터 생성 시 전문가가 최초 학습 데이터 선별에 관여함으로써, 모든 학습 데이터를 자동으로 추출하는 기존의 시스템에 비해 적은 양의 센서 데이터 정보만으로도 충분히 학습 데이터 선별 및 생성이 가능하여 효율적으로 신속하게 학습 데이터를 생성할 수 있고, 현장 전문가가 최초 학습데이터 선별 시 공장이 위치하는 지역, 주변 환경, 계절 등의 외부 환경 요인들을 고려하여 선별하기 때문에 생성된 학습 데이터의 신뢰도가 훨씬 높으며, 이에 따라 실제 현장에 적용하였을 때 결함 예측 결과의 정확도가 훨씬 높아지는 이점이 있다. 또한, 결함율이 낮은 신규 설비에 적용하더라도 인공지능 학습이 기존 기술에 비해 신속하게 이루어질 수 있다.However, in the present invention, since an expert is involved in the selection of the first learning data when generating the learning data, it is possible to select and generate the learning data efficiently with only a small amount of sensor data information compared to the existing system that automatically extracts all the learning data. Learning data can be generated quickly, and the reliability of the generated learning data is much higher because field experts select the first learning data in consideration of external environmental factors such as the region where the factory is located, the surrounding environment, and the season. Accordingly, there is an advantage in that the accuracy of the defect prediction result is much higher when applied to the actual field. In addition, even when applied to new facilities with a low defect rate, AI learning can be performed faster than existing technologies.
상기 라벨링은 설비의 다양한 상태에 따라 분류하는 것으로서, 예를 들면 '정상', '경고', '위험', '부품점검', '부품교체' 등으로 표시하여 학습 데이터 그룹들을 분류한다.The labeling is to classify according to various conditions of equipment, for example, 'normal', 'warning', 'danger', 'part check', 'part replacement', etc. to classify the learning data groups.
상기 영상 데이터의 경우, 동영상으로부터 스틸컷 이미지를 추출하여 2차원 데이터를 생성한 후 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑하여 라벨링한다. In the case of the video data, after generating two-dimensional data by extracting a still cut image from a moving picture, the training data is selected, and the selected training data is grouped and labeled.
본 발명에서 상기 학습데이터는 상기 센서로부터 수집한 1차원 데이터를 기반으로 선별된 1차원 학습데이터와 센서 및 머신비전용 카메라로부터 수집한 2차원 이미지 정보를 기반으로 선별된 2차원 학습데이터로 구성되어 있다.In the present invention, the learning data is composed of one-dimensional learning data selected based on one-dimensional data collected from the sensor and two-dimensional learning data selected based on two-dimensional image information collected from a sensor and a machine vision camera. have.
본 발명에서 상기 학습부는 상기 학습데이터 생성부에서 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 역할을 하는 것으로서, 본 발명에서는 공지된 딥러닝 모델을 이용하여 학습한다. 가령, 1차원 학습 데이터에 대해서는 Xavier, Hidden Layer, Dropout, ReLu, Softmax 또는 이들의 앙상블의 딥러닝 모델을 통해 학습이 이루어지며, 이미지화된 2차원 학습 데이터에 대해서는 대표적인 딥러닝 모델인 CNN을 통해 학습이 이루어진다.In the present invention, the learning unit serves to learn a deep learning model using the learning data labeled in the learning data generating unit, and in the present invention, it learns using a known deep learning model. For example, for one-dimensional learning data, learning is performed through a deep learning model of Xavier, Hidden Layer, Dropout, ReLu, Softmax, or an ensemble thereof, and for imaged two-dimensional learning data, it is learned through a typical deep learning model, CNN. this is done
본 발명에서 상기 결함예측부는 가동 중인 공장 설비의 결함 여부를 실시간으로 예측하는 역할을 하는 것으로서, 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성한다. 상기 항목은 온도, 속도, 압력, 동영상 등으로 이루어져 있다.In the present invention, the defect prediction unit serves to predict in real time whether the factory equipment in operation is defective, and through the sensor data and image data collected in real time by the data collection unit using the learned deep learning model, the corresponding It generates predictive data for each item on whether or not there is a defect in the equipment. The items consist of temperature, speed, pressure, and video.
상기 결함예측부는 상기 생성된 예측 데이터에 대해 항목별로 전문가가 세팅한 가중치를 반영하여 수정 예측 데이터를 추가로 생성하는 것이 바람직할 수 있다. 이는 공장의 실제 상황이나 환경 요인에 따른 예측 데이터 값의 오차를 최소화하여 예측 정확도 및 신뢰도를 보다 더 높이기 위함이다. 상기 수정 예측 데이터는 좀 더 구체적으로 상기 생성된 예측 데이터의 항목별 값에 전문가가 세팅한 가중치를 각각 곱한 값을 모두 더하여 생성한다.It may be preferable that the defect prediction unit additionally generate correction prediction data by reflecting a weight set by an expert for each item with respect to the generated prediction data. This is to further increase the prediction accuracy and reliability by minimizing the error of the prediction data value according to the actual situation of the factory or environmental factors. In more detail, the corrected prediction data is generated by adding all the values obtained by multiplying each item value of the generated prediction data by a weight set by an expert.
본 발명에서 상기 의사결정지원부는 상기 결함예측부에서 생성된 예측 데이터 또는 수정 예측 데이터를 토대로 설비 보전을 위한 사용자의 의사 결정을 지원하기 위한 후속 조치를 행하는 역할을 한다. 가령, 예측 데이터 또는 수정 예측 데이터에 대응하는 '부품 교체', '오일 확인' 등과 같은 표시의 경고등을 켜는 후속 조치를 행하는 것일 수 있다.In the present invention, the decision support unit serves to perform a follow-up action to support the user's decision-making for facility maintenance based on the prediction data or the correction prediction data generated by the defect prediction unit. For example, it may be a follow-up action of turning on a warning light of an indication such as 'replace parts' or 'check oil' corresponding to the prediction data or the corrected prediction data.
이하, 본 발명의 이해를 돕기 위해 도면을 통해 설명하도록 한다. 하기 도면 및 도면에 대한 설명은 본 발명을 설명하기 위한 일 예에 지나지 않으며, 이에 의해 본 발명의 범위가 제한되는 것은 아니다.Hereinafter, it will be described with reference to the drawings to help the understanding of the present invention. The following drawings and descriptions of the drawings are merely examples for explaining the present invention, and the scope of the present invention is not limited thereby.
도 1은 본 발명에 따른 공장 설비 결함의 예지보전 시스템의 일예를 도식적으로 도시한 것이다.1 schematically shows an example of a system for predictive maintenance of factory equipment defects according to the present invention.
도 1에 의하면, 본 발명에 따른 공장 설비 결함의 예지보전 시스템은 데이터 수집부(10), 학습데이터 생성부(20), 학습부(30), 결함예측부(40) 및 의사결정지원부(50)로 구성되어 있다.1 , the predictive maintenance system for factory equipment defects according to the present invention includes a data collection unit 10 , a learning
도 1을 통해 본 발명에 따른 공장 설비 결함의 예지보전 시스템의 작동 과정을 설명하면 다음과 같다. 먼저, 데이터 수집부(10)에서 컨베이어벨트 A-1 구역의 설비에 설치된 온도 센서, 속도 센서, 압력 센서 등으로부터 1차원 및 2차원 센서 데이터를 수집하고, 머신비전용 카메라로 촬영된 영상 데이터를 수집하게 되고, 학습데이터 생성부(20)에서 상기 데이터 수집부(10)에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑하여 라벨링하는 과정을 거치게 된다. 상기 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별한다.The operation process of the predictive maintenance system for factory equipment defects according to the present invention will be described with reference to FIG. 1 . First, the data collection unit 10 collects one-dimensional and two-dimensional sensor data from a temperature sensor, a speed sensor, a pressure sensor, etc. installed in the facility of the conveyor belt A-1 area, and collects image data taken with a machine vision camera. is collected, and the learning
다음으로, 학습부(30)에서 상기 학습데이터 생성부(20)에서 생성된 학습데이터를 이용하여 딥러닝 모델을 학습시키게 되고, 결함예측부(40)에서 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부(10)에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터(Score)를 생성하고, 상기 생성된 예측 데이터(Score)에 대해 항목별로 전문가가 세팅한 가중치(Weight)를 각각 곱한 값을 모두 더하여 수정 예측 데이터를 추가로 생성한다.Next, the learning unit 30 trains the deep learning model using the learning data generated by the learning
마지막으로, 의사결정지원부(50)에서 상기 결함예측부(40)에서 생성된 수정 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하게 된다.Finally, the
이상에 설명한 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 본 발명의 범위는 상기의 상세한 설명보다는 후술할 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As described above, those skilled in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof. The scope of the present invention is indicated by the claims to be described later rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts are interpreted as being included in the scope of the present invention. should be
10 : 데이터 수집부 20 : 학습데이터 생성부
30 : 학습부 40 : 결함예측부
50 : 의사결정지원부10: data collection unit 20: learning data generation unit
30: learning unit 40: defect prediction unit
50: Decision-making support department
Claims (3)
센서 및 머신비전용 카메라를 통해 해당 설비로부터 시계열 센서 데이터 및 영상 데이터를 수집하는 데이터 수집부;
상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 학습데이터 생성부;
상기 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 학습부;
상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성하는 결함예측부; 및
상기 결함예측부에서 생성된 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 의사결정지원부;를 포함하되,
상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하고
상기 결함예측부는 상기 생성된 예측 데이터에 대해 항목별로 전문가가 세팅한 가중치를 반영하여 수정 예측 데이터를 추가로 생성하며,
상기 의사결정지원부는 상기 결함예측부에서 생성된 수정 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 공장 설비 결함의 예지보전 시스템.
In the predictive maintenance system of factory equipment defects performed on a computer,
a data collection unit that collects time-series sensor data and image data from a corresponding facility through a sensor and a machine vision camera;
a learning data generation unit that selects learning data based on the sensor data and image data collected by the data collection unit, and groups and labels the selected learning data;
a learning unit for learning a deep learning model using the labeled learning data;
a defect prediction unit for generating item-by-item prediction data on whether a corresponding facility is defective through sensor data and image data collected in real time by the data collection unit using the learned deep learning model; and
A decision support unit that performs follow-up measures to support decision making for facility maintenance based on the predicted data generated by the defect prediction unit;
The learning data generation unit automatically selects learning data by automatically extracting similar data based on the initial learning data selected by the expert, and then the learning data is automatically checked and selected by the expert when selecting the learning data.
The defect prediction unit additionally generates corrected prediction data by reflecting the weight set by the expert for each item with respect to the generated prediction data,
The predictive maintenance system for factory equipment defects, wherein the decision support unit performs follow-up measures to support decision making for equipment maintenance based on the correction prediction data generated by the defect predictor.
상기 결함예측부는 상기 생성된 예측 데이터의 항목별 값에 전문가가 세팅한 가중치를 각각 곱한 값을 모두 더하여 수정 예측 데이터를 생성하는 것을 특징으로 하는 공장 설비 결함의 예지보전 시스템.The method of claim 1,
The predictive maintenance system for factory equipment defects, characterized in that the defect prediction unit generates correction prediction data by adding all the values obtained by multiplying each item value of the generated prediction data by a weight set by an expert.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190030588A KR102265459B1 (en) | 2019-03-18 | 2019-03-18 | Predictive maintenance system for defects in plant facilities |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190030588A KR102265459B1 (en) | 2019-03-18 | 2019-03-18 | Predictive maintenance system for defects in plant facilities |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200110979A KR20200110979A (en) | 2020-09-28 |
| KR102265459B1 true KR102265459B1 (en) | 2021-06-15 |
Family
ID=72800933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190030588A KR102265459B1 (en) | 2019-03-18 | 2019-03-18 | Predictive maintenance system for defects in plant facilities |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102265459B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102568010B1 (en) * | 2020-11-20 | 2023-08-22 | (주)한국플랫폼서비스기술 | Predition system for fault of machine tool using deep learning inference system based on query and method thereof |
| KR102310851B1 (en) * | 2021-01-13 | 2021-10-07 | 전용준 | Apparatus and method for monitoring process based on image analysis |
| KR102295868B1 (en) * | 2021-02-01 | 2021-09-01 | (주)제스아이앤씨 | Network failure prediction system |
| WO2022182163A1 (en) * | 2021-02-24 | 2022-09-01 | (주) 제이엘케이 | Method and device for automatically providing data processing, artificial intelligence model generation, and performance enhancement |
| KR102586845B1 (en) * | 2021-06-30 | 2023-10-06 | 주식회사 하이텍정보 | Facility management system that enables preventive maintenance using deep learning |
| KR102482240B1 (en) * | 2021-09-03 | 2022-12-28 | 재단법인차세대융합기술연구원 | Apparatus and method for detecting abnormality of equipment |
| KR102427205B1 (en) * | 2021-11-22 | 2022-08-01 | 한국건설기술연구원 | Apparatus and method for generating training data of artificial intelligence model |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005078240A (en) * | 2003-08-29 | 2005-03-24 | Mamoru Tanaka | Method for extracting knowledge by data mining |
| JP2015172945A (en) * | 2009-08-28 | 2015-10-01 | 株式会社日立製作所 | Facility state monitoring method and apparatus for the same |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10187649A (en) * | 1996-12-27 | 1998-07-21 | Toyo Electric Mfg Co Ltd | Neural network |
| KR101825809B1 (en) * | 2016-05-04 | 2018-03-22 | 두산중공업 주식회사 | Plant system, and fault detecting method thereof |
-
2019
- 2019-03-18 KR KR1020190030588A patent/KR102265459B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005078240A (en) * | 2003-08-29 | 2005-03-24 | Mamoru Tanaka | Method for extracting knowledge by data mining |
| JP2015172945A (en) * | 2009-08-28 | 2015-10-01 | 株式会社日立製作所 | Facility state monitoring method and apparatus for the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200110979A (en) | 2020-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102265459B1 (en) | Predictive maintenance system for defects in plant facilities | |
| JP7069269B2 (en) | Semi-supervised methods and systems for deep anomaly detection for large industrial surveillance systems based on time series data using digital twin simulation data | |
| KR102373787B1 (en) | Big data based on potential failure mode analysis method using progonstics system of machine equipment | |
| CN110689054B (en) | Worker violation monitoring method | |
| CN109344753A (en) | A kind of tiny fitting recognition methods of Aerial Images transmission line of electricity based on deep learning | |
| CN105676670B (en) | For handling the method and system of multi-energy data | |
| CN108761237A (en) | Unmanned plane electric inspection process image vital electrical component diagnoses automatically and labeling system | |
| CN111444939A (en) | Small-scale equipment component detection method based on weak supervision cooperative learning in open scene of power field | |
| CN112697798B (en) | Infrared image-oriented diagnosis method and device for current-induced thermal defects of power transformation equipment | |
| CN116700193A (en) | Factory workshop intelligent monitoring management system and method thereof | |
| CN117055502A (en) | Intelligent control system based on Internet of things and big data analysis | |
| Pham et al. | A YOLO-based real-time packaging defect detection system | |
| CN117351271A (en) | Fault monitoring method and system for high-voltage distribution line monitoring equipment and storage medium thereof | |
| CN113675944A (en) | Intelligent analysis decision-making system and method for photovoltaic power station | |
| CN112836724A (en) | Object defect recognition model training method and device, electronic equipment and storage medium | |
| CN115309871B (en) | Industrial big data processing method and system based on artificial intelligence algorithm | |
| KR102525491B1 (en) | Method of providing structure damage detection report | |
| CN114299338A (en) | Fault prediction and health management system for system management and related method | |
| WO2022179786A1 (en) | Train inspection system | |
| Yin et al. | PA-YOLO-Based Multifault Defect Detection Algorithm for PV Panels | |
| CN112115640A (en) | Control valve viscosity detection method based on transfer learning | |
| KR102664206B1 (en) | Aircraft inspection automation system based on image and explainable ai | |
| LU505192B1 (en) | Method and Device for Controlling Wind Turbine Generator Operation and Maintenance Based on Image Recognition, and Equipment Executing the Method Thereof | |
| KR102541574B1 (en) | Inspection apparatus for appearance of solar module | |
| KR102525249B1 (en) | Method, device and system for monitoring and analyzing anomalies in photovoltaic power plants through artificial intelligence-based image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |