KR20200022948A - Method for diagnosing and predicting robot arm's failure - Google Patents
Method for diagnosing and predicting robot arm's failure Download PDFInfo
- Publication number
- KR20200022948A KR20200022948A KR1020180099193A KR20180099193A KR20200022948A KR 20200022948 A KR20200022948 A KR 20200022948A KR 1020180099193 A KR1020180099193 A KR 1020180099193A KR 20180099193 A KR20180099193 A KR 20180099193A KR 20200022948 A KR20200022948 A KR 20200022948A
- Authority
- KR
- South Korea
- Prior art keywords
- lstm
- robot arm
- sequence data
- normal
- seq2seq model
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
- G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0262—Confirmation of fault detection, e.g. extra checks to confirm that a failure has indeed occurred
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Manipulator (AREA)
Abstract
Description
본 발명은 로봇 팔의 고장 진단 및 예측 방법에 관한 것으로, 특히 딥 러닝 기술 중 LSTM 기반 시퀀스투시퀸스 모델에 의해 입력 전류값과 출력 각도값을 관찰함으로써 로봇팔의 결함을 탐지하는, 로봇 팔의 고장 진단 및 예측 방법에 관한 것이다. The present invention relates to a method for diagnosing and predicting a failure of a robot arm, and in particular, a robot arm failure, which detects a defect of a robot arm by observing an input current value and an output angle value by an LSTM-based sequence-to-sequence model among deep learning technologies. It relates to a method of diagnosis and prediction.
최근 제조업은 사물인터넷과 빅데이터 처리기술의 발전에 힘입어 기계와 인터넷 서비스, 그리고 사람이 상호 연결되는 지능형 생산체제로의 패러다임 변화가 가능하였고, 이로 인해 인간의 개입을 최소화하고 기계 스스로가 제어하는 인공 지능형 자동 생산 체계인 스마트 공장(smart factory)을 구체화할 수 있게 되었다. 하지만 현실적으로는 하나의 설비고장으로 인해 전체공정이 멈추게 되어 생산인력은 일이 없고, 설비비용은 계속 발생하게 되는 사태가 발생하고 있어 진정한 스마트 공장을 구현하는데 어려움이 있다. 이러한 문제점을 해결하고 최고의 경쟁력을 가진 스마트 공장을 구현하기 위해서는 품질/생산성 고려한 예지 정비, 설비상태를 고려한 품질 예측, 소재/공정 상태를 고려한 실시간 최적 생산, 안전을 최우선으로 센싱 및 통제, 가격, 효율성을 고려한 최적 배분할 수 있는 구성 및 체계가 필요하다. 이에 따라 스마트공장 내에 인공지능과 IoT의 융합을 통한 혁신 시도가 지속적으로 진행되고 있다.Recently, the manufacturing industry has been able to change the paradigm of the intelligent production system in which machines, internet services, and people are interconnected by the development of the Internet of Things and big data processing technology, which minimizes human intervention and controls the machines themselves. The smart factory, an artificial intelligent automatic production system, can be specified. However, in reality, the entire process is stopped due to a failure of a facility, and there is a situation in which production personnel do not work and facility costs continue to occur, which makes it difficult to implement a true smart factory. In order to solve these problems and realize a smart factory with the best competitiveness, foresight maintenance in consideration of quality / productivity, quality prediction in consideration of equipment condition, optimal production in real time in consideration of material / process status, and sensing and control, price and efficiency as a priority There is a need for a structure and a system that can be optimally allocated. Accordingly, attempts to innovate through the convergence of artificial intelligence and IoT in smart factories are ongoing.
공장 내의 기계 시스템의 이상을 조기에 감지하고 고장을 미리 예측하는 고장예지 및 건전성관리(PHM: prognostics and health management)기술은 데이터주도방법(data driven approach) 및 모델기반방법(model based approach)을 포함한다.Prognostics and health management (PHM) technologies that detect anomalies in the plant's mechanical systems early and predict failures include a data driven approach and a model based approach. do.
먼저, 모델기반방법(model based approach)은 물리적 고장 모델을 기반으로 고장을 진단 및 예지하는 것으로, 정확도가 높으며 적은 양의 고장 데이터로 고장 진단이 가능하고, 모델의 변수를 바꿔줌으로써 다양한 운행 환경에서도 적용 가능하지만, 고장 메커니즘 파악이 어렵거나 모델 변수의 수가 매우 많은 경우 모델이 실제 고장 메커니즘을 온전히 구현하지 못하므로 적용 분야가 한정적이다.First, the model based approach is to diagnose and predict failures based on physical failure models, which are highly accurate and can diagnose failures with a small amount of failure data, and change the parameters of the model to change the operating environment. Although applicable, it is difficult to identify failure mechanisms or when there are a large number of model variables, so the application is limited because the model does not fully implement the actual failure mechanism.
다음으로, 데이터주도방법(data driven approach)은 데이터를 이용하여 시스템의 신뢰성, 건전성 정보를 통계적 방법, 기계학습, 딥러닝 기법으로 추론하는 것으로, 이 중 고장 탐지를 위한 딥러닝 기법은 비지도 학습(unsupervised learning)을 기반으로 하는 방법(예를 들어, 심층 신뢰 신경망(Deep belief Network, DBN), 심층 오토-인코더(Deep auto-encoder, AE))과, 지도 학습(supervised learning)을 기반으로 하는 방법(특히 이미지 처리에 적합한 합성곱 신경망(Convolutional Neural Network, CNN), 시계열 데이터를 위한 순환 신경망(Recurrent Neural Network, RNN))으로 분류되며, 물리적 손상 모델을 구현하기 어려운 다변량 시스템에 적용할 수 있지만 훈련을 위해 많은 양의 데이터가 필요하다는 단점이 있다.Next, the data driven approach infers the reliability and health information of the system by using statistical methods, machine learning, and deep learning techniques using data. Among these, deep learning techniques for fault detection are unsupervised learning. based on unsupervised learning (for example, deep belief network (DBN), deep auto-encoder (AE)), and supervised learning Methods (especially convolutional neural networks (CNNs) suitable for image processing, recurrent neural networks (RNNs) for time series data), and can be applied to multivariate systems where physical impairment models are difficult to implement. The disadvantage is that a large amount of data is required for training.
딥-오토-인코더 모델은 입력 값과 출력 값이 같아지도록 학습하는 모델로 정상 데이터에 대해서만 학습하여 비정상 데이터가 입력될 경우 입력과 출력이 같지 않은 점을 이용하여 비정상을 탐지한다(특허 제1867475호(2018.06.07)). The deep-auto-encoder model is a model that learns that input values and output values are the same. When abnormal data is input, the deep-auto-encoder model detects abnormality by using an input and an output that are not the same (Patent No. 1867475). (2018.06.07).
RNN의 장기 의존 문제를 개선하기 위해 개발된 LSTM(Long-Short Term Memory)은 순차적 데이터를 학습하는데 주로 사용되며, LSTM기반 이상탐지 방법은 정상 데이터만을 학습하여 복원(Reconstruction) 결과와 실제 값의 차이를 이용하는 방법(김충겸 외, "LSTM 기반 반도체 제조 데이터 이상탐지" 한국정보과학회, 760p-762p, 2017)과, 정상 데이터만을 학습하여 예측(Prediction)결과와 실제 값의 차이를 이용하는 방법이 있다.The Long-Short Term Memory (LSTM) developed to improve the long-term dependency of the RNN is mainly used for learning sequential data, and the LSTM-based fault detection method learns only normal data to differentiate the reconstruction result from the actual value. Kim, Chung-gyeom et al., "LSTM-based semiconductor manufacturing data abnormality detection" Korean Institute of Information Scientists and Engineers, 760p-762p, 2017) and a method of learning only normal data and using a difference between prediction results and actual values.
본 발명의 목적은 정상 데이터만을 학습하여 예측(Prediction)결과와 실제 값의 차이를 이용하는 LSTM 기반 seq2seq(sequence to sequence) 모델에 의해 입력 전류값과 출력 각도값을 관찰함으로써 로봇팔의 결함을 탐지하는, 로봇 팔의 고장 진단 및 예측 방법을 제공하는 것이다.An object of the present invention is to detect the defect of the robot arm by observing the input current value and the output angle value by LSTM based seq2seq (sequence to sequence) model using only the difference between the prediction result and the actual value by learning only normal data. To provide a method for diagnosing and predicting failure of a robot arm.
본 발명에 따르는, LSTM 인코더 모듈과, 잠재 벡터(latent vector)층과, LSTM 디코더 모듈을 포함하는 LSTM 기반 seq2seq 모델을 이용하여 n축의 로봇팔의 고장을 진단 및 예측하는 방법은,According to the present invention, a method of diagnosing and predicting a failure of an n-axis robot arm using an LSTM-based seq2seq model including an LSTM encoder module, a latent vector layer, and an LSTM decoder module includes:
정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계;Training an LSTM-based seq2seq model for inputting normal current sequence data and outputting normal angle sequence data;
상기 LSTM 기반 seq2seq 모델에 전류 시퀀스 데이터를 입력하여 정상 출력 각도를 예측하는 단계;Predicting a normal output angle by inputting current sequence data to the LSTM based seq2seq model;
상기 LSTM 기반 seq2seq 모델에 입력된 전류 시퀀스 데이터에 대해 예측된 정상 출력 각도와 실제 출력 각도 사이의 차이의 평균 제곱 오차(RMSE)를 각각의 축에 대해 계산하는 단계;Calculating a mean square error (RMSE) for each axis between the predicted normal output angle and the actual output angle for the current sequence data input to the LSTM based seq2seq model;
각각의 축에 대해 계산된 상기 평균 제곱 오차(RMSE)가 사전설정된 임계값을 초과하는 경우, 로봇팔을 비정상 상태로 결정하는 단계를 포함하는 것을 구성적 특징으로 한다.And if the mean squared error (RMSE) calculated for each axis exceeds a predetermined threshold, determining the robot arm to be in an abnormal state.
바람직하게는, 정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계는, LSTM 인코더 모듈에 정상 전류 시퀀스 데이터를 입력하는 단계; 입력된 정상 전류 시퀀스 데이터를 한정된 크기의 벡터로 압축하는 단계; 및 압축된 각각의 벡터를 LSTM 디코더 모듈에서 정상 각도 시퀀스 데이터로 변환하여 출력하는 단계를 포함한다.Preferably, the learning of the LSTM-based seq2seq model for inputting the normal current sequence data and outputting the normal angle sequence data includes: inputting the normal current sequence data to the LSTM encoder module; Compressing the input normal current sequence data into a vector of a defined size; And converting each compressed vector into normal angle sequence data in the LSTM decoder module and outputting the normal angle sequence data.
바람직하게는, LSTM 인코더 모듈 및 LSTM 디코더 모듈은 로봇팔의 축의 수와 동일한 수의 시퀀스를 갖는 것을 특징으로 한다.Preferably, the LSTM encoder module and LSTM decoder module have the same number of sequences as the number of axes of the robot arm.
상기와 같은 구성을 갖는 본 발명에 따르는 로봇 팔의 고장 진단 및 예측 방법은 산업용 장비들의 고장을 조기에 발견하고 진단하여 효율적이고 정확한 정비 스케쥴링이 가능하게 되며, 이로 인해 치명적인 인명 사고를 방지하고, 한 시스템의 고장으로 전체 공정이 중단되는 사태를 막아 비용 손실을 최소화할 수 있다.The failure diagnosis and prediction method of the robot arm according to the present invention having the configuration as described above enables efficient and accurate maintenance scheduling by detecting and diagnosing the failure of industrial equipment at an early stage, thereby preventing a fatal accident. The loss of the system can be avoided by minimizing costly downtime.
본 발명에 따르는 로봇 팔의 고장 진단 및 예측 방법은 로봇팔 내부의 출력 센싱값(전류, 각도)을 사용하여 고장 진단 및 예측하여, 추가적인 장비, 센서, 비용이 필요하지 않다.The method for diagnosing and predicting a failure of the robot arm according to the present invention diagnoses and predicts a failure by using an output sensing value (current, angle) inside the robot arm, and thus does not require additional equipment, sensors, and costs.
본 발명에 따르는 로봇 팔의 고장 진단 및 예측 방법은 입력에 의해 출력이 결정되는 다양한 산업용 장비 시스템에 적용할 수 있다.The failure diagnosis and prediction method of the robot arm according to the present invention can be applied to various industrial equipment systems whose output is determined by an input.
도1a는 본 발명에 따르는 고장 진단 및 예측 방법이 적용되는 로봇팔의 일 예를 나타내는 도면이다.
도1b는 본 발명에 따르는 고장 진단 및 예측 방법에 적용하도록 사용되는 데이터를 만들기 위해 로봇팔의 5축의 타이밍 벨트에 가한 결함 상태 도면 및 표이다.
도2는 본 발명에 따르는 고장 진단 및 예측 방법에 적용하는 데이터 전처리 과정의 예를 나타내는 그래프이다.
도3은 LSTM 모델의 기본구조를 나타내는 도면이다.
도4는 본 발명에 따르는 로봇팔의 고장 진단 및 예측을 위한 LSTM 기반 seq2seq 모델의 구조를 나타내는 도면이다.
도5는 본 발명에 따르는 LSTM 기반 seq2seq 모델을 통해 정상 전류값 입력시 5축의 예측 각도값과, 실제 각도값, 이상치의 예를 나타내는 그래프이다.
도6은 본 발명에 따르는 LSTM 기반 seq2seq 모델을 통해 결함 전류값 입력시 결함을 준 5축의 예측 각도값과, 실제 각도값, 이상치의 예를 나타내는 그래프이다.
도7은 본 발명에 따르는 LSTM 기반 seq2seq 모델을 통해 획득한 정상 및 결함 데이터의 이상치를 비교한 결과를 나타내는 그래프이다.
도8은 정상 데이터에 대한 각 축별 학습 모델의 예측값과 실제 값의 오차에 대해 20초 간격으로 RMSE를 나타내는 그래프이다.
도9는 비정상 데이터에 대한 각 축별 학습 모델의 예측값과 실제 값의 오차에 대해 20초 간격으로 RMSE를 나타내는 그래프이다.1A is a diagram illustrating an example of a robot arm to which a failure diagnosis and prediction method according to the present invention is applied.
1B is a diagram and a table of defect states applied to the five-axis timing belt of the robotic arm to produce data used for application to the method of diagnosing and predicting failure in accordance with the present invention.
2 is a graph showing an example of a data preprocessing process applied to a failure diagnosis and prediction method according to the present invention.
3 is a diagram showing the basic structure of the LSTM model.
4 is a diagram illustrating a structure of an LSTM-based seq2seq model for diagnosing and predicting a failure of a robot arm according to the present invention.
FIG. 5 is a graph illustrating examples of predicted angle values, actual angle values, and outliers on five axes when a normal current value is input through an LSTM-based seq2seq model according to the present invention.
FIG. 6 is a graph showing examples of predicted angle values, actual angle values, and outliers of five axes that gave a defect when inputting a defect current value through an LSTM-based seq2seq model according to the present invention.
7 is a graph showing a result of comparing the outliers of the normal and defect data obtained through the LSTM-based seq2seq model according to the present invention.
8 is a graph showing the RMSE at 20-second intervals for the error between the predicted value and the actual value of each model's learning model for the normal data.
9 is a graph showing the RMSE at 20-second intervals for the error between the predicted value and the actual value of each model's learning model for abnormal data.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명한다. 그러나 이하의 실시 예는 이 기술 분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시 예에 한정되는 것은 아니다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the following embodiments are provided to those skilled in the art to fully understand the present invention, and may be modified in various forms, and the scope of the present invention is limited to the embodiments described below. It is not.
본 발명은 정상 데이터만을 학습하게 하여 예측(Prediction)결과와 실제 값의 차이를 이용하는, LSTM 기반 seq2seq 모델을 사용하여 로봇 팔의 고장을 진단하고 예측하는 방법에 대해 개시한다.The present invention discloses a method for diagnosing and predicting a failure of a robot arm using an LSTM-based seq2seq model, which allows learning of only normal data and uses a difference between prediction results and actual values.
1. 데이터 세트1. Data set
LSTM 모델의 학습을 위한 데이터 세트로는, 특정 행동이 지정된 6축 로봇팔에서 별도의 센서 없이 자체적으로 확인 가능한 각축의 전류값(정격 전류대비 모터가 생성하는 전류의 비율값)과 각도값을 사용하였다. LSTM 모델의 검증을 위한 결함 데이터는 도1a에 도시된 바와 같은 6축 로봇팔에 대해 도1b에 도시된 바와 같이 5축의 타이밍 벨트에 결함을 가한 상태에서 동일 조건으로 데이터(입력 전류, 출력 각도)를 측정하였다. As a data set for learning the LSTM model, the current value of each axis (the ratio of the current generated by the motor to the rated current) and the angle value can be used without any sensor in the six-axis robot arm with a specific behavior. It was. The defect data for the verification of the LSTM model is the same data (input current, output angle) under the same condition in which a six-axis robot arm as shown in FIG. Was measured.
2. LSTM 모델2. LSTM Model
LSTM (Long Short Term Memory) 모델은 시계열 데이터를 학습하는 딥러닝 모델인 RNN(Recurrent Neural Network)에 상태 정보를 지니는 cell state 개념을 추가하고 state 계산에 필요한 데이터들을 어느 정도 반영할지 여부를 Gate연산을 통해 정함으로써 오래된 정보를 유지할 수 있도록 개선한 모델이다. LSTM 모델의 기본구조는 도3와 같으며, 4개의 레이어가 특별한 방식으로 서로 정보를 주고받도록 구성되어, 장기 의존성 문제를 해결하기 위한 게이트(input, forget, output)들을 포함한다. The Long Short Term Memory (LSTM) model adds the concept of cell state with state information to RNN (Recurrent Neural Network), a deep learning model that learns time series data, and calculates the gate operation to reflect how much data is needed to calculate the state. It is a model that has been improved to maintain old information by setting it through. The basic structure of the LSTM model is shown in FIG. 3, and four layers are configured to exchange information with each other in a special manner, and include gates (inputs, forgets, and outputs) for solving long-term dependency problems.
본 발명에 따르는 로봇팔의 고장 진단 및 예측 방법은 다차원 시계열 데이터인 언어를 학습하여 번역(예를 들어 영어에서 한국어로), 음성인식(음성신호를 문자열로) 등의 언어처리에 주로 사용하는 모델인 LSTM 기반 seq2seq 모델을 로봇팔 데이터에 적용한 것으로, seq2seq 모델에 정상 데이터만을 학습하여, 예측(Prediction)결과와 실제 값의 차이를 이상치(anormal value)로서 이용한다.The method for diagnosing and predicting a failure of a robot arm according to the present invention is a model mainly used for language processing such as translation (for example, English to Korean) and speech recognition (voice signal to string) by learning a language that is multidimensional time series data. The LSTM-based seq2seq model is applied to the robot arm data, and only the normal data is trained on the seq2seq model, and the difference between the prediction result and the actual value is used as an abnormal value.
본 발명에 따르는 로봇팔의 고장 진단 및 예측을 위한 LSTM 기반 seq2seq 모델은 도4에 도시된 바와 같이, n개의 축의 구동을 위한 n 개의 입력 신호의 시퀀스를 한정된 크기의 벡터로 각각 압축시키는 LSTM 인코더 모듈과, 잠재 벡터층과, 압축된 각각의 벡터를 출력 데이터로 변환하는 LSTM 디코더 모듈을 포함하여, 정상 전류 데이터를 정상 각도 데이터로 출력하는 방향으로 학습한다. LSTM 인코더 모듈에 입력된 신호의 크기 단위는 모터에 입력되는 정격 전류 대비 모터가 발생시키는 전류의 비율(%)이고, LSTM 디코더 모듈에서 나오는 신호의 크기 단위는 각도(°)이다. LSTM based seq2seq model for fault diagnosis and prediction of the robot arm according to the present invention, as shown in Figure 4, LSTM encoder module for compressing a sequence of n input signals for driving the n-axis to a vector of a limited size, respectively And a LSTM decoder module for converting the latent vector layer and each compressed vector into output data, and learning in the direction of outputting the normal current data as the normal angle data. The magnitude unit of the signal input to the LSTM encoder module is a ratio of the current generated by the motor to the rated current input to the motor, and the magnitude unit of the signal from the LSTM decoder module is an angle (°).
LSTM 인코더 모듈에 입력된 전류 신호 데이터 및 LSTM 디코더 모듈로부터 출력되는 각도 신호 데이터는, 센서 오작동에 따라 측정된 값을 필터링하고, 각 축의 가동범위는 다르므로 정규화(Normalization)하여 같은 범위의 값을 가지도록 조정하는 데이터 전처리 과정을 거치는데, 예를 들어, 데이터에 존재하는 이상점(outlier), 노이즈를 제거(필터링)하고, 일정한 간격으로 다시 샘플링하여 전처리되며, 이는 도2에 도시된 바와 같다.The current signal data input to the LSTM encoder module and the angular signal data output from the LSTM decoder module filter the measured values according to sensor malfunction, and normalize the same values because the moving range of each axis is different. A data preprocessing process is performed to adjust the data so that the outliers and noises existing in the data are removed (filtered) and sampled at regular intervals, and then preprocessed, as shown in FIG.
3. 실험 결과3. Experimental Results
본 발명에 따르는 로봇팔의 고장 진단 및 예측을 위한 LSTM 기반 seq2seq 모델의 성능평가는, 결함데이터에서 5축 타이밍벨트 마모의 영향을 가장 많이 받을 5축 각도의 예측 정확도와, 정상데이터의 5축 각도 예측 정확도를 비교하는 방법으로 수행하였다. 본 발명에 따르는 LSTM 기반 seq2seq 모델은 정상데이터에 대해서만 학습한 모델이므로, 정상 전류값 외의 값이 입력되었을 때 예측된 각도값과 실제 각도값 사이에 차이가 발생하게 될 것이므로, 이 차이값을 이상치로 사용하였다.Performance evaluation of LSTM-based seq2seq model for fault diagnosis and prediction of the robot arm according to the present invention, the 5-axis angle prediction accuracy and the 5-axis angle of normal data that will be most affected by the 5-axis timing belt wear in defect data This was done by comparing the prediction accuracy. Since the LSTM-based seq2seq model according to the present invention is a model trained only on normal data, when a value other than the normal current value is input, a difference will occur between the predicted angle value and the actual angle value. Used.
학습에 사용되지 않았던, 정상 데이터(정상 전류값)로 예측한 5축의 각도값과, 실제 각도값, 이상치의 예는 도5와 같다. An example of the 5-axis angle value, the actual angle value, and the outlier value predicted from the normal data (normal current value), which was not used for learning, is shown in FIG.
학습에 사용되지 않았던, 결함 데이터(결함 전류값)로 예측한 5축의 각도값과, 실제 각도값, 이상치의 예는 도6와 같다. An example of the 5-axis angle value, the actual angle value, and the outlier value predicted by the defect data (defect current value), which was not used for learning, is shown in FIG.
정상 및 결함 데이터의 이상치를 비교한 결과는 도7의 그래프에 나타나 있다. The result of comparing abnormal values of normal and defect data is shown in the graph of FIG.
도5에 도시된 바와 같이 정상데이터에 대한 예측 각도값은 실제 각도값과 거의 일치하였지만, 도6에 도시된 바와 같이 결함데이터의 예측 각도값은 실제 각도값보다 미세하게 지연되어 이상치가 더 증가한 것을 볼 수 있으며, 결과적으로 도7에 도시된 바와 같이 정상데이터의 이상치보다, 결함데이터의 이상치가 더 큰 것을 볼 수 있다. As shown in FIG. 5, the predicted angle value for the normal data is almost identical to the actual angle value. However, as shown in FIG. 6, the predicted angle value of the defect data is slightly delayed than the actual angle value to increase the outlier value. As a result, as shown in Fig. 7, it can be seen that the outlier of the defect data is larger than the outlier of the normal data.
본 발명에 따르는 LSTM 기반 seq2seq 모델을 이용하는 로봇팔의 고장 진단 및 예측 방법은 로봇 팔의 각각의 축의 이상치의 RMSE(Root Mean Square Error, 평균 제곱근 오차) 평균값에 가중치(예를 들어, 1.2)를 곱하여 임계값을 정하고, 이상치가 임계값을 초과할 경우 비정상(즉, 로봇팔의 고장)으로 판단하고, 이상치가 임계값을 초과하지 않을 경우 정상으로 판단한다. 도8은 로봇팔의 정상 데이터에 대한 학습 모델의 예측값과 실제 값의 오차에 대해 20초 간격으로 RMSE를 나타내는 그래프이고, 도9는 비정상 데이터 2에 대한 학습 모델의 예측값과 실제 값의 오차에 대해 20초 간격으로 RMSE를 나타내는 그래프로서, 비정상 데이터 2의 RMSE는 정상 데이터의 RMSE 범위(0 ~ 8)보다 훨씬 큰 값을 가지는 것을 알 수 있으며, 이상이 있는 축의 RMSE가 정상인 축의 RMSE보다 크다는 것을 알 수 있다.The fault diagnosis and prediction method of the robot arm using the LSTM-based seq2seq model according to the present invention multiplies the RMSE (Root Mean Square Error) mean value of the outliers of each axis of the robot arm by multiplying the weight (for example, 1.2). The threshold value is determined, and when the outlier exceeds the threshold, it is determined to be abnormal (that is, a failure of the robot arm), and when the outlier does not exceed the threshold, it is determined to be normal. 8 is a graph showing the RMSE at 20 second intervals for the error between the predicted value and the actual value of the training model for the normal data of the robot arm, and FIG. 9 is the error of the predicted value and the actual value of the training model for the
본 발명에 따르는 LSTM 기반 seq2seq 모델을 이용하는 로봇팔의 고장 진단 및 예측 방법은 로봇팔 내부의 PLC 제어에 의한 출력 센싱값(전류, 각도)을 사용하여 고장 진단 및 예측을 할 수 있고, 추가적인 장비, 센서, 비용이 들어가지 않으며, 로봇팔 외에도 다양한 시스템들에 적용이 가능하다.The fault diagnosis and prediction method of the robot arm using the LSTM-based seq2seq model according to the present invention can diagnose and predict the fault using the output sensing value (current, angle) by PLC control inside the robot arm, and additional equipment, There is no sensor, no cost, and it can be applied to various systems besides the robot arm.
본 발명에 따르는 LSTM 기반 seq2seq 모델을 이용하는 로봇팔의 고장 진단 및 예측 방법은 항공기, 우주탐사선, 기차, 자동차 등과 같은 운송용 기계 시스템, 발전소 터빈, 변압기, 풍력발전기 등과 같은 발전 시스템, 네트워크 트래픽, PC 하드웨어 등과 같은 IT 시스템처럼, 입력에 의해 출력이 결정되는 다양한 산업용 장비들 및 시스템들에 적용이 가능하다.The fault diagnosis and prediction method of the robot arm using the LSTM-based seq2seq model according to the present invention includes power generation systems such as power plant turbines, transformers, wind turbines, transportation system, aircraft traffic systems, network traffic, and PC hardware. It is applicable to various industrial equipment and systems whose output is determined by an input, such as an IT system.
이상 설명한 바와 같이, 산업용 장비들의 고장을 방지하기 위해 운용 중 철저한 예방정비에 의존하며 고가/고안정성 시스템을 운용하고 있었지만, 실제 결함 유무와 관계없이 일정한 주기마다 실시되므로 정상 부품의 불필요한 교체로 인한 비용 손실을 발생시키고, 갑작스런 시스템 고장을 예방하는 데에 한계가 있었던 기존의 방법에 비해, 본 발명에 따르는 LSTM 기반 seq2seq 모델을 이용하는 로봇팔의 고장 진단 및 예측 방법은 산업용 장비들의 고장을 조기에 발견하고 진단하여 효율적이고 정확한 정비 스케쥴링이 가능하게 하며, 이로 인해 치명적인 인명 사고를 방지하고, 한 시스템의 고장으로 전체 공정이 중단되는 사태를 막아 비용 손실을 최소화 할 수 있다.As described above, in order to prevent the failure of the industrial equipment, the reliance on thorough preventive maintenance during operation and the operation of the high / high stability system were carried out at regular intervals regardless of the presence of actual defects. Compared to the existing methods which caused loss and prevented sudden system failure, the robot arm's failure diagnosis and prediction method using LSTM-based seq2seq model according to the present invention detects the failure of industrial equipment early and Diagnostics enable efficient and accurate maintenance scheduling, which prevents fatal casualties and minimizes cost loss by preventing the entire process from shutting down due to a system failure.
이상의 설명은 본 발명의 기술 사항을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical details of the present invention, and those skilled in the art to which the present invention pertains may various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
Claims (3)
정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계;
상기 LSTM 기반 seq2seq 모델에 전류 시퀀스 데이터를 입력하여 정상 출력 각도를 예측하는 단계;
상기 LSTM 기반 seq2seq 모델에 입력된 전류 시퀀스 데이터에 대해 예측된 정상 출력 각도와 실제 출력 각도 사이의 차이의 평균 제곱 오차(RMSE)를 각각의 축에 대해 계산하는 단계;
각각의 축에 대해 계산된 상기 평균 제곱 오차(RMSE)가 사전설정된 임계값을 초과하는 경우, 로봇팔을 비정상 상태로 결정하는 단계를 포함하는
로봇팔의 고장 진단 및 예측 방법.
In a method for diagnosing and predicting a failure of an n-axis robot arm using an LSTM-based seq2seq model including an LSTM encoder module, a latent vector layer, and an LSTM decoder module,
Training an LSTM-based seq2seq model for inputting normal current sequence data and outputting normal angle sequence data;
Predicting a normal output angle by inputting current sequence data to the LSTM based seq2seq model;
Calculating a mean square error (RMSE) for each axis between the predicted normal output angle and the actual output angle for the current sequence data input to the LSTM based seq2seq model;
Determining the robot arm to be in an abnormal state when the mean squared error (RMSE) calculated for each axis exceeds a preset threshold.
How to diagnose and predict failure of robot arm.
정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계는
LSTM 인코더 모듈에 정상 전류 시퀀스 데이터를 입력하는 단계;
입력된 정상 전류 시퀀스 데이터를 한정된 크기의 벡터로 압축하는 단계;
압축된 각각의 벡터를 LSTM 디코더 모듈에서 정상 각도 시퀀스 데이터로 변환하여 출력하는 단계를 포함하는 것을 특징으로 하는
로봇팔의 고장 진단 및 예측 방법.
The method of claim 1,
The LSTM-based seq2seq model, which inputs the steady current sequence data and outputs the normal angle sequence data,
Inputting normal current sequence data to the LSTM encoder module;
Compressing the input normal current sequence data into a vector of a defined size;
And converting each compressed vector into normal angle sequence data in the LSTM decoder module and outputting the normal angle sequence data.
How to diagnose and predict failure of robot arm.
LSTM 인코더 모듈 및 LSTM 디코더 모듈은 로봇팔의 축의 수와 동일한 수의 시퀀스를 갖는 것을 특징으로 하는
로봇팔의 고장 진단 및 예측 방법.
The method of claim 2,
The LSTM encoder module and LSTM decoder module have the same number of sequences as the number of axes of the robot arm.
How to diagnose and predict failure of robot arm.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180099193A KR102156858B1 (en) | 2018-08-24 | 2018-08-24 | Method for diagnosing and predicting robot arm's failure |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180099193A KR102156858B1 (en) | 2018-08-24 | 2018-08-24 | Method for diagnosing and predicting robot arm's failure |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200022948A true KR20200022948A (en) | 2020-03-04 |
| KR102156858B1 KR102156858B1 (en) | 2020-09-17 |
Family
ID=69783575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180099193A KR102156858B1 (en) | 2018-08-24 | 2018-08-24 | Method for diagnosing and predicting robot arm's failure |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102156858B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111765593A (en) * | 2020-07-07 | 2020-10-13 | 珠海格力电器股份有限公司 | Air conditioner throttling component fault early warning method and air conditioner |
| CN113361324A (en) * | 2021-04-25 | 2021-09-07 | 杭州玖欣物联科技有限公司 | Motor current anomaly detection method based on lstm |
| KR20220023541A (en) | 2020-08-21 | 2022-03-02 | 연세대학교 산학협력단 | Apparatus for adaptive predictive maintenance of industrial robot using dynamic classification signal learning and method thereof |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220114915A (en) | 2021-02-09 | 2022-08-17 | 주식회사 엘지에너지솔루션 | Apparatus and method for diagnosing battery |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090043088A (en) * | 2007-10-29 | 2009-05-06 | 삼성전자주식회사 | Apparatus and method for the self-diagnosis of robot defect with camera device |
-
2018
- 2018-08-24 KR KR1020180099193A patent/KR102156858B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090043088A (en) * | 2007-10-29 | 2009-05-06 | 삼성전자주식회사 | Apparatus and method for the self-diagnosis of robot defect with camera device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111765593A (en) * | 2020-07-07 | 2020-10-13 | 珠海格力电器股份有限公司 | Air conditioner throttling component fault early warning method and air conditioner |
| KR20220023541A (en) | 2020-08-21 | 2022-03-02 | 연세대학교 산학협력단 | Apparatus for adaptive predictive maintenance of industrial robot using dynamic classification signal learning and method thereof |
| CN113361324A (en) * | 2021-04-25 | 2021-09-07 | 杭州玖欣物联科技有限公司 | Motor current anomaly detection method based on lstm |
| CN113361324B (en) * | 2021-04-25 | 2023-06-30 | 杭州玖欣物联科技有限公司 | Lstm-based motor current anomaly detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102156858B1 (en) | 2020-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200022948A (en) | Method for diagnosing and predicting robot arm's failure | |
| JP2021064370A (en) | Method and system for semi-supervised deep abnormality detection for large-scale industrial monitoring system based on time-series data utilizing digital twin simulation data | |
| US9141915B2 (en) | Method and apparatus for deriving diagnostic data about a technical system | |
| JP2006500694A (en) | Apparatus and method for monitoring technical equipment including a plurality of systems, in particular power plant equipment | |
| CN112132394B (en) | Power plant circulating water pump predictive state evaluation method and system | |
| Chen et al. | A hybrid data-driven modeling method on sensor condition monitoring and fault diagnosis for power plants | |
| KR102464762B1 (en) | Predictive maintenance method for equipment failure using artificial intelligence based on experiential shared knowledge | |
| CN114564000B (en) | Active fault tolerance method and system based on intelligent aircraft actuator fault diagnosis | |
| RU2563161C2 (en) | Method and device of technical diagnostics of complex process equipment on basis of neuron net | |
| Lee et al. | In-line predictive monitoring framework | |
| Randriarison et al. | Faults explanation based on a machine learning model for predictive maintenance purposes | |
| Nadir et al. | Utilizing principal component analysis for the identification of gas turbine defects | |
| Zheng et al. | Rotating machinery fault prediction method based on Bi-LSTM and attention mechanism | |
| KR102561675B1 (en) | Failure diagnosis and prediction system using condition monitoring of production site operation facilities | |
| CN117609861A (en) | BP neural network algorithm and temperature measurement system capable of being used for temperature prediction of electrical equipment of transformer substation | |
| CN112489841A (en) | Water level fault-tolerant control method for steam generator of nuclear power unit | |
| CN112067289A (en) | Motor shaft and transmission shaft abnormal vibration early warning algorithm based on neural network | |
| CN110889646A (en) | Method for checking correctness of operating parameters of generator set adapting to working condition change | |
| US11339763B2 (en) | Method for windmill farm monitoring | |
| Arabgol et al. | Artificial neural network and ewma-based fault prediction in wind turbines | |
| Khaziev et al. | Intelligent diagnostic system for hydraulic actuator | |
| Abou et al. | Actuated Hydraulic System Fault Detection: A Fuzzy Logic Approach. | |
| Huber et al. | Physics-informed machine learning for predictive maintenance: applied use-cases | |
| Dhiman et al. | Enhancing wind turbine reliability through proactive high speed bearing prognosis based on adaptive threshold and gated recurrent unit networks | |
| Rajaoarisoa et al. | Predictive maintenance model-based on multi-stage neural network systems for wind turbines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |