KR20200110979A - Predictive maintenance system for defects in plant facilities - Google Patents
Predictive maintenance system for defects in plant facilities Download PDFInfo
- Publication number
- KR20200110979A KR20200110979A KR1020190030588A KR20190030588A KR20200110979A KR 20200110979 A KR20200110979 A KR 20200110979A KR 1020190030588 A KR1020190030588 A KR 1020190030588A KR 20190030588 A KR20190030588 A KR 20190030588A KR 20200110979 A KR20200110979 A KR 20200110979A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- unit
- learning
- prediction
- training data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
- G05B23/0281—Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
- G05B23/0294—Optimizing process, e.g. process efficiency, product quality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Quality & Reliability (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 공장 설비의 결함에 대한 딥러닝 예지보전 시스템에 관한 것이다.The present invention relates to a deep learning predictive maintenance system for defects in factory facilities.
최근 인공지능에 대한 관심과 연구가 활발히 진행되고 있다. 특히, 컴퓨팅 파워의 놀라운 발전과 딥러닝 기술의 출현으로 인공지능 기술의 정확도가 획기적으로 개선됨에 따라 다양한 분야에서 인공지능 기술을 활용하고자 하는 연구가 활발하게 진행되고 있다. 특히, 최근 들어 스마트 공장 시스템에 대한 관심 및 수요가 높아져 공장 설비의 결함을 자동 시스템으로 모니터링하고 예측하는 기술에 딥러닝 기술을 적용시키려는 시도가 이루어지고 있다.Recently, interest and research on artificial intelligence are actively progressing. In particular, with the remarkable development of computing power and the advent of deep learning technology, the accuracy of artificial intelligence technology has been remarkably improved, and research to utilize artificial intelligence technology in various fields is being actively conducted. In particular, in recent years, as interest and demand for smart factory systems have increased, attempts have been made to apply deep learning technology to technology that monitors and predicts defects in factory facilities with an automatic system.
하지만, 딥러닝 방식의 공장 설비 결함 예지 보전 시스템은 아직은 초기 단계로서 모든 학습 데이터를 자동으로 추출하여 선별하기 때문에 방대한 양의 센서 데이터 정보를 필요로 하고, 이에 따라 데이터 처리 효율이 현저히 떨어지고, 비용이 많이 들며, 학습 데이터 생성에 많은 시간이 소요되는 문제가 있다. 또한, 공장이 위치하는 지역, 주변 환경, 계절 등의 외부 환경 요인에 따라 기 설정 값과 미세한 차이가 있어 학습데이터 선별에 있어 신뢰도가 떨어지며, 실제 현장에 적용하였을 때 결함 예측 정확도가 현저히 떨어지는 문제가 있다. 특히, 신규 설비의 경우 설비 결함율이 현저히 낮아 기존의 딥러닝 기반 예지보전 시스템으로는 인공지능 학습이 잘 이루어지지 않으며, 학습이 되더라도 지나치게 오랜 기간이 소요되는 한계가 있다.However, the deep learning system for predicting defects in factory facilities is still in its infancy, and since it automatically extracts and selects all learning data, it requires a vast amount of sensor data information, which significantly reduces data processing efficiency and reduces cost. It costs a lot, and it takes a lot of time to generate training data. In addition, there is a slight difference from the preset value depending on external environmental factors such as the area where the factory is located, the surrounding environment, and the season, so the reliability in selecting the learning data is low, and when applied to the actual site, the defect prediction accuracy is significantly reduced. have. In particular, in the case of a new facility, the facility defect rate is significantly low, so that artificial intelligence learning is not well performed with the existing deep learning-based predictive maintenance system, and even if it is learned, there is a limit that it takes an excessively long period of time.
본 발명은 상기와 같은 문제점을 해결하기 위해 도출 된 것으로, 종래의 딥러닝 기반 예지보전 시스템 보다 효율적으로 신속하게 학습 데이터를 생성할 수 있고, 높은 신뢰도의 학습 데이터를 생성하여 실제 현장에 적용하였을 때 높은 정확도의 결함 예측 결과를 도출할 수 있는 공장 설비 결함의 예지보전 시스템을 제공하는 것을 그 목적으로 한다.The present invention was derived to solve the above problems, and it is possible to generate learning data more efficiently and quickly than a conventional deep learning-based predictive maintenance system, and when high reliability learning data is generated and applied to an actual field. Its purpose is to provide a system for predictive and maintenance of factory equipment defects that can derive high accuracy defect prediction results.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적과제들은 하기의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the technical problems mentioned above, and other technical problems that are not mentioned can be clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. will be.
본 발명은 공장 설비 결함의 예지보전 시스템에 관한 것으로, 보다 구체적으로 컴퓨터에서 수행되는 공장 설비 결함의 예지보전 시스템에 있어서, 센서 및 머신비전용 카메라를 통해 해당 설비로부터 시계열 센서 데이터 및 영상 데이터를 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 학습데이터 생성부; 상기 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 학습부; 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성하는 결함예측부; 및 상기 결함예측부에서 생성된 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 의사결정지원부;를 포함하되, 상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하는 것을 특징으로 한다.The present invention relates to a system for predictive maintenance of defects in factory facilities, and more specifically, in a system for predictive maintenance of defects in factory facilities performed on a computer, collecting time series sensor data and image data from the facility through a sensor and a camera for machine vision. A data collection unit; A learning data generator configured to select learning data based on sensor data and image data collected by the data collection unit, group the selected learning data, and label the selected learning data; A learning unit that trains a deep learning model using the labeled learning data; A defect prediction unit that generates predictive data for each item on whether a corresponding facility is defective through sensor data and image data collected in real time by the data collection unit using the learned deep learning model; And a decision support unit that performs follow-up measures to support decision-making for facility maintenance based on the prediction data generated by the defect prediction unit; but, the learning data generation unit includes: After checking and selecting, the learning data is characterized in that the learning data is automatically selected by automatically extracting similar data based on the initial learning data selected by the expert.
본 발명에 따른 공장 설비 결함의 예지보전 시스템에 의하면, 학습 데이터 생성 시 전문가가 최초 학습 데이터 선별에 관여함으로써, 모든 학습 데이터를 자동으로 추출하는 기존의 시스템에 비해 적은 양의 센서 데이터 정보만으로도 충분히 학습 데이터 선별 및 생성이 가능하여 효율적으로 신속하게 학습 데이터를 생성할 수 있고, 현장 전문가가 최초 학습데이터 선별 시 공장이 위치하는 지역, 주변 환경, 계절 등의 외부 환경 요인들을 고려하여 선별하기 때문에 생성된 학습 데이터의 신뢰도가 훨씬 높으며, 이에 따라 실제 현장에 적용하였을 때 결함 예측 결과의 정확도가 훨씬 높아지는 효과가 있다.According to the system for predictive maintenance of defects in factory facilities according to the present invention, when the learning data is generated, the expert is involved in selecting the first learning data, so that a small amount of sensor data information is sufficient compared to the existing system that automatically extracts all learning data. It is possible to select and generate data, so that learning data can be efficiently and quickly generated, and when the field expert selects the first learning data, it is created by considering external environmental factors such as the area where the factory is located, the surrounding environment, and the season. The reliability of the training data is much higher, and accordingly, the accuracy of the defect prediction result is much higher when applied to the actual field.
또한, 본 발명에 의하면 결함율이 현저히 낮은 신규 설비에 적용하더라도 인공지능 학습이 기존의 딥러닝 기반 결함 예지보전 시스템 기술에 비해 신속하게 이루어질 수 있는 효과가 있다.In addition, according to the present invention, even when applied to a new facility with a significantly low defect rate, artificial intelligence learning can be performed more quickly than the existing deep learning-based defect prediction and maintenance system technology.
도 1은 본 발명에 따른 공장 설비 결함의 예지보전 시스템의 일예를 도식적으로 도시한 것이다.1 schematically shows an example of a system for predictive maintenance of defects in factory equipment according to the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the present invention, various transformations may be applied and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all conversions, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, when it is determined that a detailed description of a related known technology may obscure the subject matter of the present invention, a detailed description thereof will be omitted.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component.
본 발명은 공장 설비 결함의 예지보전 시스템에 관한 것으로, 보다 구체적으로 컴퓨터에서 수행되는 공장 설비 결함의 예지보전 시스템에 있어서, 센서 및 머신비전용 카메라를 통해 해당 설비로부터 시계열 센서 데이터 및 영상 데이터를 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 학습데이터 생성부; 상기 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 학습부; 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성하는 결함예측부; 및 상기 결함예측부에서 생성된 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 의사결정지원부;를 포함하되, 상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하는 것을 특징으로 한다.The present invention relates to a system for predictive maintenance of defects in factory facilities, and more specifically, in a system for predictive maintenance of defects in factory facilities performed on a computer, collecting time series sensor data and image data from the facility through a sensor and a camera for machine vision. A data collection unit; A learning data generator configured to select learning data based on sensor data and image data collected by the data collection unit, and group the selected learning data to label; A learning unit that trains a deep learning model using the labeled learning data; A defect prediction unit for generating item-specific predictive data on whether a corresponding facility is defective through sensor data and image data collected in real time by the data collection unit using the learned deep learning model; And a decision support unit that performs follow-up measures to support decision-making for facility maintenance based on the prediction data generated by the defect prediction unit; but, the learning data generation unit includes: After checking and selecting, the learning data is characterized in that the learning data is automatically selected by automatically extracting similar data based on the initial learning data selected by the expert.
본 발명에 따른 공장 설비 결함의 예지보전 시스템은 컴퓨터에서 구현되는 것으로서, 실시간으로 수집되는 공장 설비의 공정과 관련된 데이터를 기반으로 딥러닝 모델을 학습시키고, 학습된 딥러닝 모델을 이용하여 시계열적으로 수집되는 설비 데이터들을 분석하여 설비의 결함 여부를 예측하고, 예측 결과를 토대로 설비 관리자의 후속 조치를 위한 의사결정을 지원하는 시스템에 관한 것이다.The predictive maintenance system for defects in factory facilities according to the present invention is implemented in a computer, and trains a deep learning model based on data related to the process of factory facilities collected in real time, and uses the learned deep learning model in time series. The present invention relates to a system that analyzes collected facility data to predict whether a facility is defective, and supports a facility manager's decision-making for follow-up actions based on the prediction result.
본 발명에서 상기 데이터 수집부는 공장 내의 해당 설비에 설치된 센서로부터 시계열 센서 데이터를 유·무선 통신 네트워크를 통해 수집하고, 해당 설비의 공정 상황을 촬영하도록 설치된 머신비전용 카메라로부터 해당 설비의 공정과 관련된 영상 데이터를 수집하는 기능을 한다.In the present invention, the data collection unit collects time series sensor data from a sensor installed in a corresponding facility in a factory through a wired/wireless communication network, and an image related to the process of the facility from a machine vision camera installed to photograph the process status of the facility. It functions to collect data.
상기 센서는 공장 설비의 상태를 직·간접적으로 나타내는 센서라면 어떠한 것이라도 가능하며, 가령 온도 센서, 속도 센서, 압력 센서, 전력 센서 등이 될 수 있다. 본 발명은 설비 결함 예측의 신뢰도를 높이기 위해 하나의 설비에 단일 센서를 설치하기 보다는 다양한 종류의 센서를 설치하여 하나의 설비로부터 온도, 전력, 압력 등 다양한 종류의 센서 데이터를 수집하는 것이 바람직하다.The sensor may be any sensor that directly or indirectly indicates the state of the factory facility, and may be, for example, a temperature sensor, a speed sensor, a pressure sensor, a power sensor, or the like. In the present invention, in order to increase the reliability of facility defect prediction, it is preferable to install various types of sensors and collect various types of sensor data such as temperature, power, and pressure from one facility rather than installing a single sensor in one facility.
또한, 상기 센서로부터 수집되는 센서 데이터는 시계열로 나열된 수치 값으로 표시되는 1차원 데이터 및 상기 수치 값의 패턴에 대한 이미지 형태로 표시되는 2차원 데이터로 이루어져 있다.In addition, the sensor data collected from the sensor includes one-dimensional data displayed as numerical values arranged in a time series and two-dimensional data displayed as an image of the pattern of the numerical values.
또한, 상기 머신비전용 카메라는 해당 설비의 공정 상황을 촬영하여 상기 데이터 수집부에 영상 데이터를 전송한다. 본 발명은 설비의 작동 상태를 머신비전용 카메라로 촬영한 영상 데이터를 딥러닝 모델의 학습 데이터로 이용함으로써, 기존의 1차원 센서 데이터에만 의존하던 딥러닝 기반 결함 예지보전 시스템에 비해 이례적인 상황에 대한 결함 예측의 정확도를 더욱 더 높일 수 있는 이점이 있다.In addition, the machine vision camera captures a process situation of a corresponding facility and transmits image data to the data collection unit. The present invention uses image data captured by a machine vision camera as the training data of a deep learning model, so that the operation state of a facility is used as training data for a deep learning-based defect predictive maintenance system. There is an advantage of further increasing the accuracy of defect prediction.
본 발명에서 상기 학습데이터 생성부는 상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 역할을 하는 것으로서, 본 발명에서 상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별하여 저장된 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하는 것을 특징으로 한다. 기존의 딥러닝 방식의 공장 설비 결함 예지 보전 시스템은 모든 학습 데이터를 자동으로 추출하여 선별하기 때문에 방대한 양의 센서 데이터 정보를 필요로 하고, 이에 따라 데이터 처리 효율이 현저히 떨어지고, 비용이 많이 들며, 학습 데이터 생성에 많은 시간이 소요되는 문제가 있다. 또한, 공장이 위치하는 지역, 주변 환경, 계절 등의 외부 환경 요인에 따라 기 설정 값과 미세한 차이가 있어 학습데이터 선별에 있어 신뢰도가 떨어지며, 실제 현장에 적용하였을 때 결함 예측 정확도가 현저히 떨어지는 문제가 있다. 특히, 신규 설비의 경우 설비 결함율이 현저히 낮아 기존의 딥러닝 기반 예지보전 시스템으로는 인공지능 학습이 잘 이루어지지 않으며, 학습이 되더라도 지나치게 오랜 기간이 소요되는 한계가 있다.In the present invention, the learning data generation unit selects learning data based on sensor data and image data collected by the data collection unit, and groups the selected learning data to label the selected learning data. In the present invention, when the learning data generation unit selects the learning data, the first learning data is directly checked and selected by the expert, and then the learning data is automatically extracted by automatically extracting similar data based on the first learning data selected and stored by the expert. It is characterized by selection. Because the existing deep learning system for predicting defects in factory facilities automatically extracts and selects all learning data, it requires a vast amount of sensor data information, which significantly decreases data processing efficiency, costs high, and learns. There is a problem that it takes a lot of time to generate data. In addition, there is a slight difference from the preset value depending on external environmental factors such as the area where the factory is located, the surrounding environment, and the season, so the reliability in selecting the learning data is low, and when applied to the actual site, the defect prediction accuracy is significantly reduced. have. In particular, in the case of a new facility, the facility defect rate is significantly low, so that artificial intelligence learning is not well performed with the existing deep learning-based predictive maintenance system, and even if it is learned, there is a limit that it takes an excessively long period of time.
하지만, 본 발명은 학습 데이터 생성 시 전문가가 최초 학습 데이터 선별에 관여함으로써, 모든 학습 데이터를 자동으로 추출하는 기존의 시스템에 비해 적은 양의 센서 데이터 정보만으로도 충분히 학습 데이터 선별 및 생성이 가능하여 효율적으로 신속하게 학습 데이터를 생성할 수 있고, 현장 전문가가 최초 학습데이터 선별 시 공장이 위치하는 지역, 주변 환경, 계절 등의 외부 환경 요인들을 고려하여 선별하기 때문에 생성된 학습 데이터의 신뢰도가 훨씬 높으며, 이에 따라 실제 현장에 적용하였을 때 결함 예측 결과의 정확도가 훨씬 높아지는 이점이 있다. 또한, 결함율이 낮은 신규 설비에 적용하더라도 인공지능 학습이 기존 기술에 비해 신속하게 이루어질 수 있다.However, in the present invention, since an expert is involved in selecting the first learning data when generating learning data, it is possible to efficiently select and generate learning data with only a small amount of sensor data information compared to a conventional system that automatically extracts all learning data. Training data can be quickly generated, and the reliability of the generated training data is much higher because the field expert selects the training data for the first time in consideration of external environmental factors such as the area where the factory is located, the surrounding environment, and the season. Accordingly, there is an advantage that the accuracy of the defect prediction result is much higher when applied to the actual field. In addition, even if it is applied to a new facility with a low defect rate, artificial intelligence learning can be performed more quickly than existing technologies.
상기 라벨링은 설비의 다양한 상태에 따라 분류하는 것으로서, 예를 들면 '정상', '경고', '위험', '부품점검', '부품교체' 등으로 표시하여 학습 데이터 그룹들을 분류한다.The labeling is classified according to various conditions of the facility, and classified learning data groups by marking them as, for example,'normal','warning','danger','parts inspection', and'parts replacement'.
상기 영상 데이터의 경우, 동영상으로부터 스틸컷 이미지를 추출하여 2차원 데이터를 생성한 후 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑하여 라벨링한다. In the case of the image data, a still cut image is extracted from a video to generate 2D data, and then training data is selected, and the selected training data is grouped and labeled.
본 발명에서 상기 학습데이터는 상기 센서로부터 수집한 1차원 데이터를 기반으로 선별된 1차원 학습데이터와 센서 및 머신비전용 카메라로부터 수집한 2차원 이미지 정보를 기반으로 선별된 2차원 학습데이터로 구성되어 있다.In the present invention, the learning data is composed of one-dimensional learning data selected based on the one-dimensional data collected from the sensor and two-dimensional learning data selected based on the two-dimensional image information collected from the sensor and machine vision camera. have.
본 발명에서 상기 학습부는 상기 학습데이터 생성부에서 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 역할을 하는 것으로서, 본 발명에서는 공지된 딥러닝 모델을 이용하여 학습한다. 가령, 1차원 학습 데이터에 대해서는 Xavier, Hidden Layer, Dropout, ReLu, Softmax 또는 이들의 앙상블의 딥러닝 모델을 통해 학습이 이루어지며, 이미지화된 2차원 학습 데이터에 대해서는 대표적인 딥러닝 모델인 CNN을 통해 학습이 이루어진다.In the present invention, the learning unit serves to train a deep learning model by using the learning data labeled by the learning data generation unit. In the present invention, the learning unit learns using a known deep learning model. For example, one-dimensional learning data is learned through deep learning models of Xavier, Hidden Layer, Dropout, ReLu, Softmax, or their ensembles, and imaged two-dimensional learning data is learned through CNN, a representative deep learning model. This is done.
본 발명에서 상기 결함예측부는 가동 중인 공장 설비의 결함 여부를 실시간으로 예측하는 역할을 하는 것으로서, 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성한다. 상기 항목은 온도, 속도, 압력, 동영상 등으로 이루어져 있다.In the present invention, the defect prediction unit plays a role of predicting in real time whether or not there is a defect in the factory equipment in operation, and through the sensor data and image data collected in real time by the data collection unit using the learned deep learning model. It generates predictive data for each item on whether or not the facility is defective The above items consist of temperature, speed, pressure, and video.
상기 결함예측부는 상기 생성된 예측 데이터에 대해 항목별로 전문가가 세팅한 가중치를 반영하여 수정 예측 데이터를 추가로 생성하는 것이 바람직할 수 있다. 이는 공장의 실제 상황이나 환경 요인에 따른 예측 데이터 값의 오차를 최소화하여 예측 정확도 및 신뢰도를 보다 더 높이기 위함이다. 상기 수정 예측 데이터는 좀 더 구체적으로 상기 생성된 예측 데이터의 항목별 값에 전문가가 세팅한 가중치를 각각 곱한 값을 모두 더하여 생성한다.It may be preferable that the defect prediction unit additionally generate corrected prediction data by reflecting a weight set by an expert for each item of the generated prediction data. This is to further increase prediction accuracy and reliability by minimizing errors in predicted data values according to actual conditions of the factory or environmental factors. More specifically, the modified prediction data is generated by adding all values obtained by multiplying each item value of the generated prediction data by a weight set by an expert.
본 발명에서 상기 의사결정지원부는 상기 결함예측부에서 생성된 예측 데이터 또는 수정 예측 데이터를 토대로 설비 보전을 위한 사용자의 의사 결정을 지원하기 위한 후속 조치를 행하는 역할을 한다. 가령, 예측 데이터 또는 수정 예측 데이터에 대응하는 '부품 교체', '오일 확인' 등과 같은 표시의 경고등을 켜는 후속 조치를 행하는 것일 수 있다.In the present invention, the decision support unit serves to perform follow-up measures to support the user's decision making for facility maintenance based on the predicted data or corrected predicted data generated by the defect predicting unit. For example, it may be to perform a follow-up action of turning on a warning light such as'replace parts' or'check oil' corresponding to the predicted data or corrected predicted data.
이하, 본 발명의 이해를 돕기 위해 도면을 통해 설명하도록 한다. 하기 도면 및 도면에 대한 설명은 본 발명을 설명하기 위한 일 예에 지나지 않으며, 이에 의해 본 발명의 범위가 제한되는 것은 아니다.Hereinafter, it will be described through the drawings to aid in understanding of the present invention. The following drawings and description of the drawings are only examples for describing the present invention, and the scope of the present invention is not limited thereto.
도 1은 본 발명에 따른 공장 설비 결함의 예지보전 시스템의 일예를 도식적으로 도시한 것이다.1 schematically shows an example of a system for predictive maintenance of defects in factory equipment according to the present invention.
도 1에 의하면, 본 발명에 따른 공장 설비 결함의 예지보전 시스템은 데이터 수집부(10), 학습데이터 생성부(20), 학습부(30), 결함예측부(40) 및 의사결정지원부(50)로 구성되어 있다.Referring to FIG. 1, the system for predictive maintenance of defects in factory equipment according to the present invention includes a data collection unit 10, a learning
도 1을 통해 본 발명에 따른 공장 설비 결함의 예지보전 시스템의 작동 과정을 설명하면 다음과 같다. 먼저, 데이터 수집부(10)에서 컨베이어벨트 A-1 구역의 설비에 설치된 온도 센서, 속도 센서, 압력 센서 등으로부터 1차원 및 2차원 센서 데이터를 수집하고, 머신비전용 카메라로 촬영된 영상 데이터를 수집하게 되고, 학습데이터 생성부(20)에서 상기 데이터 수집부(10)에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑하여 라벨링하는 과정을 거치게 된다. 상기 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별한다.Referring to FIG. 1, an operation process of the predictive maintenance system for factory equipment defects according to the present invention will be described as follows. First, the data collection unit 10 collects one-dimensional and two-dimensional sensor data from temperature sensors, speed sensors, and pressure sensors installed in facilities in the conveyor belt area A-1, and image data captured by a machine vision camera. Then, the learning
다음으로, 학습부(30)에서 상기 학습데이터 생성부(20)에서 생성된 학습데이터를 이용하여 딥러닝 모델을 학습시키게 되고, 결함예측부(40)에서 상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부(10)에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터(Score)를 생성하고, 상기 생성된 예측 데이터(Score)에 대해 항목별로 전문가가 세팅한 가중치(Weight)를 각각 곱한 값을 모두 더하여 수정 예측 데이터를 추가로 생성한다.Next, the learning unit 30 trains the deep learning model by using the training data generated by the training
마지막으로, 의사결정지원부(50)에서 상기 결함예측부(40)에서 생성된 수정 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하게 된다.Finally, the
이상에 설명한 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 본 발명의 범위는 상기의 상세한 설명보다는 후술할 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As described above, those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. The scope of the present invention is indicated by the claims to be described later rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts are interpreted as being included in the scope of the present invention. Should be.
10 : 데이터 수집부 20 : 학습데이터 생성부
30 : 학습부 40 : 결함예측부
50 : 의사결정지원부10: data collection unit 20: learning data generation unit
30: learning unit 40: defect prediction unit
50: Decision support department
Claims (3)
센서 및 머신비전용 카메라를 통해 해당 설비로부터 시계열 센서 데이터 및 영상 데이터를 수집하는 데이터 수집부;
상기 데이터 수집부에서 수집된 센서 데이터 및 영상 데이터를 기반으로 학습데이터를 선별하고, 선별된 학습데이터를 그룹핑(grouping)하여 라벨링(labelling)하는 학습데이터 생성부;
상기 라벨링된 학습데이터를 이용하여 딥러닝 모델을 학습시키는 학습부;
상기 학습된 딥러닝 모델을 이용하여 상기 데이터 수집부에서 실시간으로 수집되는 센서 데이터 및 영상 데이터를 통해 해당 설비의 결함 여부에 대한 항목별 예측 데이터를 생성하는 결함예측부; 및
상기 결함예측부에서 생성된 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 의사결정지원부;를 포함하되,
상기 학습데이터 생성부는 학습데이터 선별 시 최초 학습데이터는 전문가가 직접 확인하여 선별하고, 이후 학습데이터는 상기 전문가가 선별한 최초 학습데이터를 기반으로 유사한 데이터를 자동 추출하여 자동으로 학습데이터를 선별하는 공장 설비 결함의 예지보전 시스템.
In the predictive maintenance system of factory equipment defects performed on a computer,
A data collection unit for collecting time series sensor data and image data from a corresponding facility through a sensor and a machine vision camera;
A learning data generator configured to select learning data based on sensor data and image data collected by the data collection unit, group the selected learning data, and label the selected learning data;
A learning unit that trains a deep learning model using the labeled learning data;
A defect prediction unit that generates predictive data for each item on whether a corresponding facility is defective through sensor data and image data collected in real time by the data collection unit using the learned deep learning model; And
Including; a decision support unit for performing follow-up measures to support decision making for facility maintenance based on the prediction data generated by the defect prediction unit,
The learning data generation unit is a factory that automatically selects the learning data by automatically extracting similar data based on the first learning data selected by the expert and afterwards, the first learning data is directly checked and selected by the expert when selecting the learning data. Predictive maintenance system for equipment defects.
상기 결함예측부는 상기 생성된 예측 데이터에 대해 항목별로 전문가가 세팅한 가중치를 반영하여 수정 예측 데이터를 추가로 생성하고,
상기 의사결정지원부는 상기 결함예측부에서 생성된 수정 예측 데이터를 토대로 설비 보전을 위한 의사 결정을 지원하기 위한 후속 조치를 행하는 것을 특징으로 하는 공장 설비 결함의 예지보전 시스템.
The method of claim 1,
The defect prediction unit additionally generates corrected prediction data by reflecting a weight set by an expert for each item of the generated prediction data,
And the decision support unit performs follow-up measures to support decision-making for facility maintenance based on the correction prediction data generated by the defect prediction unit.
상기 결함예측부는 상기 생성된 예측 데이터의 항목별 값에 전문가가 세팅한 가중치를 각각 곱한 값을 모두 더하여 수정 예측 데이터를 생성하는 것을 특징으로 하는 공장 설비 결함의 예지보전 시스템.The method of claim 2,
And the defect prediction unit generates corrected prediction data by adding all values obtained by multiplying each item value of the generated prediction data by a weight set by an expert.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190030588A KR102265459B1 (en) | 2019-03-18 | 2019-03-18 | Predictive maintenance system for defects in plant facilities |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190030588A KR102265459B1 (en) | 2019-03-18 | 2019-03-18 | Predictive maintenance system for defects in plant facilities |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200110979A true KR20200110979A (en) | 2020-09-28 |
| KR102265459B1 KR102265459B1 (en) | 2021-06-15 |
Family
ID=72800933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190030588A KR102265459B1 (en) | 2019-03-18 | 2019-03-18 | Predictive maintenance system for defects in plant facilities |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102265459B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102295868B1 (en) * | 2021-02-01 | 2021-09-01 | (주)제스아이앤씨 | Network failure prediction system |
| KR102310851B1 (en) * | 2021-01-13 | 2021-10-07 | 전용준 | Apparatus and method for monitoring process based on image analysis |
| WO2022108029A1 (en) * | 2020-11-20 | 2022-05-27 | (주)한국플랫폼서비스기술 | Machine tool predictive maintenance system using query-based deep learning inference system, and method for same |
| KR102427205B1 (en) * | 2021-11-22 | 2022-08-01 | 한국건설기술연구원 | Apparatus and method for generating training data of artificial intelligence model |
| WO2022182163A1 (en) * | 2021-02-24 | 2022-09-01 | (주) 제이엘케이 | Method and device for automatically providing data processing, artificial intelligence model generation, and performance enhancement |
| KR102482240B1 (en) * | 2021-09-03 | 2022-12-28 | 재단법인차세대융합기술연구원 | Apparatus and method for detecting abnormality of equipment |
| KR20230003819A (en) * | 2021-06-30 | 2023-01-06 | 주식회사 하이텍정보 | Facility management system that enables preventive maintenance using deep learning |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10187649A (en) * | 1996-12-27 | 1998-07-21 | Toyo Electric Mfg Co Ltd | Neural network |
| JP2005078240A (en) * | 2003-08-29 | 2005-03-24 | Mamoru Tanaka | Method for extracting knowledge by data mining |
| JP2015172945A (en) * | 2009-08-28 | 2015-10-01 | 株式会社日立製作所 | Facility state monitoring method and apparatus for the same |
| KR20170125237A (en) * | 2016-05-04 | 2017-11-14 | 두산중공업 주식회사 | Plant system, and fault detecting method thereof |
-
2019
- 2019-03-18 KR KR1020190030588A patent/KR102265459B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10187649A (en) * | 1996-12-27 | 1998-07-21 | Toyo Electric Mfg Co Ltd | Neural network |
| JP2005078240A (en) * | 2003-08-29 | 2005-03-24 | Mamoru Tanaka | Method for extracting knowledge by data mining |
| JP2015172945A (en) * | 2009-08-28 | 2015-10-01 | 株式会社日立製作所 | Facility state monitoring method and apparatus for the same |
| KR20170125237A (en) * | 2016-05-04 | 2017-11-14 | 두산중공업 주식회사 | Plant system, and fault detecting method thereof |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022108029A1 (en) * | 2020-11-20 | 2022-05-27 | (주)한국플랫폼서비스기술 | Machine tool predictive maintenance system using query-based deep learning inference system, and method for same |
| KR102310851B1 (en) * | 2021-01-13 | 2021-10-07 | 전용준 | Apparatus and method for monitoring process based on image analysis |
| KR102295868B1 (en) * | 2021-02-01 | 2021-09-01 | (주)제스아이앤씨 | Network failure prediction system |
| WO2022182163A1 (en) * | 2021-02-24 | 2022-09-01 | (주) 제이엘케이 | Method and device for automatically providing data processing, artificial intelligence model generation, and performance enhancement |
| KR20230003819A (en) * | 2021-06-30 | 2023-01-06 | 주식회사 하이텍정보 | Facility management system that enables preventive maintenance using deep learning |
| KR102482240B1 (en) * | 2021-09-03 | 2022-12-28 | 재단법인차세대융합기술연구원 | Apparatus and method for detecting abnormality of equipment |
| KR102427205B1 (en) * | 2021-11-22 | 2022-08-01 | 한국건설기술연구원 | Apparatus and method for generating training data of artificial intelligence model |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102265459B1 (en) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102265459B1 (en) | Predictive maintenance system for defects in plant facilities | |
| JP2021064370A (en) | Method and system for semi-supervised deep abnormality detection for large-scale industrial monitoring system based on time-series data utilizing digital twin simulation data | |
| KR102373787B1 (en) | Big data based on potential failure mode analysis method using progonstics system of machine equipment | |
| CN104390657B (en) | A kind of Generator Unit Operating Parameters measurement sensor fault diagnosis method and system | |
| CN108761237A (en) | Unmanned plane electric inspection process image vital electrical component diagnoses automatically and labeling system | |
| CN105676670B (en) | For handling the method and system of multi-energy data | |
| CN102498445A (en) | Supervised fault learning using rule-generated samples for machine condition monitoring | |
| CN112697798B (en) | Infrared image-oriented diagnosis method and device for current-induced thermal defects of power transformation equipment | |
| CN116700193A (en) | Factory workshop intelligent monitoring management system and method thereof | |
| Pham et al. | A YOLO-based real-time packaging defect detection system | |
| CN117055502A (en) | Intelligent control system based on Internet of things and big data analysis | |
| CN116880402A (en) | Intelligent factory cooperative control system and method thereof | |
| CN110163084A (en) | Operator action measure of supervision, device and electronic equipment | |
| CN112836724A (en) | Object defect recognition model training method and device, electronic equipment and storage medium | |
| Kranzer et al. | An intelligent maintenance planning framework prototype for production systems | |
| CN114299338A (en) | Fault prediction and health management system for system management and related method | |
| Morandi et al. | Anomaly Detection in Railway Infrastructure. | |
| Lowin et al. | From physical to virtual: leveraging drone imagery to automate photovoltaic system maintenance | |
| CN113850773A (en) | Detection method, device, equipment and computer readable storage medium | |
| Yang et al. | Transfer Learning-enabled Modelling Framework for Digital Twin | |
| KR102525249B1 (en) | Method, device and system for monitoring and analyzing anomalies in photovoltaic power plants through artificial intelligence-based image processing | |
| CN111476383A (en) | Pump station unit state maintenance dynamic decision method | |
| Moleda et al. | Regression methods for detecting anomalies in flue gas desulphurization installations in coal-fired power plants based on sensor data | |
| CN118115591B (en) | Power prediction model training method, photovoltaic power station operation and maintenance method and related devices | |
| Wang et al. | Intelligent Image Processing for Monitoring Solar Photovoltaic Panels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |