KR102156858B1

KR102156858B1 - 로봇 팔의 고장 진단 및 예측 방법

Info

Publication number: KR102156858B1
Application number: KR1020180099193A
Authority: KR
Inventors: 김경준; 김동주; 노한얼; 이영현; 김바롬
Original assignee: 포항공과대학교 산학협력단
Priority date: 2018-08-24
Filing date: 2018-08-24
Publication date: 2020-09-17
Also published as: KR20200022948A

Abstract

본 발명은 딥 러닝 기술 중 LSTM 기반 seq2seq 모델에 의해 입력 전류값과 출력 각도값을 관찰함으로써 로봇팔의 결함을 탐지하는, 로봇 팔의 고장 진단 및 예측 방법에 관한 것이다.
본 발명에 따르는, LSTM 인코더 모듈과, 잠재 벡터(latent vector)층과, LSTM 디코더 모듈을 포함하는 LSTM 기반 seq2seq 모델을 이용하여 n축의 로봇팔의 고장을 진단 및 예측하는 방법은, 정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계; 상기 LSTM 기반 seq2seq 모델에 전류 시퀀스 데이터를 입력하여 정상 출력 각도를 예측하는 단계; 상기 LSTM 기반 seq2seq 모델에 입력된 전류 시퀀스 데이터에 대해 예측된 정상 출력 각도와 실제 출력 각도 사이의 차이의 평균 제곱 오차(RMSE)를 각각의 축에 대해 계산하는 단계; 각각의 축에 대해 계산된 상기 평균 제곱 오차(RMSE)가 사전설정된 임계값을 초과하는 경우, 로봇팔을 비정상 상태로 결정하는 단계를 포함하는 것을 구성적 특징으로 한다.

Description

로봇 팔의 고장 진단 및 예측 방법{METHOD FOR DIAGNOSING AND PREDICTING ROBOT ARM'S FAILURE}

본 발명은 로봇 팔의 고장 진단 및 예측 방법에 관한 것으로, 특히 딥 러닝 기술 중 LSTM 기반 시퀀스투시퀸스 모델에 의해 입력 전류값과 출력 각도값을 관찰함으로써 로봇팔의 결함을 탐지하는, 로봇 팔의 고장 진단 및 예측 방법에 관한 것이다.

최근 제조업은 사물인터넷과 빅데이터 처리기술의 발전에 힘입어 기계와 인터넷 서비스, 그리고 사람이 상호 연결되는 지능형 생산체제로의 패러다임 변화가 가능하였고, 이로 인해 인간의 개입을 최소화하고 기계 스스로가 제어하는 인공 지능형 자동 생산 체계인 스마트 공장(smart factory)을 구체화할 수 있게 되었다. 하지만 현실적으로는 하나의 설비고장으로 인해 전체공정이 멈추게 되어 생산인력은 일이 없고, 설비비용은 계속 발생하게 되는 사태가 발생하고 있어 진정한 스마트 공장을 구현하는데 어려움이 있다. 이러한 문제점을 해결하고 최고의 경쟁력을 가진 스마트 공장을 구현하기 위해서는 품질/생산성을 고려한 예지 정비, 설비상태를 고려한 품질 예측, 소재/공정 상태를 고려한 실시간 최적 생산, 안전을 최우선으로 센싱 및 통제, 가격, 효율성을 고려한 최적 배분할 수 있는 구성 및 체계가 필요하다. 이에 따라 스마트공장 내에 인공지능과 IoT의 융합을 통한 혁신 시도가 지속적으로 진행되고 있다.

공장 내의 기계 시스템의 이상을 조기에 감지하고 고장을 미리 예측하는 고장예지 및 건전성관리(PHM: prognostics and health management)기술은 데이터주도방법(data driven approach) 및 모델기반방법(model based approach)을 포함한다.

먼저, 모델기반방법(model based approach)은 물리적 고장 모델을 기반으로 고장을 진단 및 예지하는 것으로, 정확도가 높으며 적은 양의 고장 데이터로 고장 진단이 가능하고, 모델의 변수를 바꿔줌으로써 다양한 운행 환경에서도 적용 가능하지만, 고장 메커니즘 파악이 어렵거나 모델 변수의 수가 매우 많은 경우 모델이 실제 고장 메커니즘을 온전히 구현하지 못하므로 적용 분야가 한정적이다.

다음으로, 데이터주도방법(data driven approach)은 데이터를 이용하여 시스템의 신뢰성, 건전성 정보를 통계적 방법, 기계학습, 딥러닝 기법으로 추론하는 것으로, 이 중 고장 탐지를 위한 딥러닝 기법은 비지도 학습(unsupervised learning)을 기반으로 하는 방법(예를 들어, 심층 신뢰 신경망(Deep belief Network, DBN), 심층 오토-인코더(Deep auto-encoder, AE))과, 지도 학습(supervised learning)을 기반으로 하는 방법(특히 이미지 처리에 적합한 합성곱 신경망(Convolutional Neural Network, CNN), 시계열 데이터를 위한 순환 신경망(Recurrent Neural Network, RNN))으로 분류되며, 물리적 손상 모델을 구현하기 어려운 다변량 시스템에 적용할 수 있지만 훈련을 위해 많은 양의 데이터가 필요하다는 단점이 있다.

딥-오토-인코더 모델은 입력 값과 출력 값이 같아지도록 학습하는 모델로 정상 데이터에 대해서만 학습하여 비정상 데이터가 입력될 경우 입력과 출력이 같지 않은 점을 이용하여 비정상을 탐지한다(특허 제1867475호(2018.06.07)).

RNN의 장기 의존 문제를 개선하기 위해 개발된 LSTM(Long-Short Term Memory)은 순차적 데이터를 학습하는데 주로 사용되며, LSTM기반 이상탐지 방법은 정상 데이터만을 학습하여 복원(Reconstruction) 결과와 실제 값의 차이를 이용하는 방법(김충겸 외, "LSTM 기반 반도체 제조 데이터 이상탐지" 한국정보과학회, 760p-762p, 2017)과, 정상 데이터만을 학습하여 예측(Prediction)결과와 실제 값의 차이를 이용하는 방법이 있다.

본 발명의 목적은 정상 데이터만을 학습하여 예측(Prediction)결과와 실제 값의 차이를 이용하는 LSTM 기반 seq2seq(sequence to sequence) 모델에 의해 입력 전류값과 출력 각도값을 관찰함으로써 로봇팔의 결함을 탐지하는, 로봇 팔의 고장 진단 및 예측 방법을 제공하는 것이다.

본 발명에 따르는, LSTM 인코더 모듈과, 잠재 벡터(latent vector)층과, LSTM 디코더 모듈을 포함하는 LSTM 기반 seq2seq 모델을 이용하여 n축의 로봇팔의 고장을 진단 및 예측하는 방법은,

정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계;

상기 LSTM 기반 seq2seq 모델에 전류 시퀀스 데이터를 입력하여 정상 출력 각도를 예측하는 단계;

상기 LSTM 기반 seq2seq 모델에 입력된 전류 시퀀스 데이터에 대해 예측된 상기 정상 출력 각도와 실제 출력 각도 사이의 차이의 평균 제곱 오차(RMSE)를 각각의 축에 대해 계산하는 단계;

각각의 축에 대해 계산된 상기 평균 제곱 오차(RMSE)가 사전설정된 임계값을 초과하는 경우, 로봇팔을 비정상 상태로 결정하는 단계를 포함하는 것을 구성적 특징으로 한다.

바람직하게는, 정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계는, LSTM 인코더 모듈에 정상 전류 시퀀스 데이터를 입력하는 단계; 입력된 상기 정상 전류 시퀀스 데이터를 한정된 크기의 벡터로 압축하는 단계; 및 압축된 각각의 상기 벡터를 LSTM 디코더 모듈에서 정상 각도 시퀀스 데이터로 변환하여 출력하는 단계를 포함한다.

바람직하게는, LSTM 인코더 모듈 및 LSTM 디코더 모듈은 로봇팔의 축의 수와 동일한 수의 시퀀스를 갖는 것을 특징으로 한다.

상기와 같은 구성을 갖는 본 발명에 따르는 로봇 팔의 고장 진단 및 예측 방법은 산업용 장비들의 고장을 조기에 발견하고 진단하여 효율적이고 정확한 정비 스케쥴링이 가능하게 되며, 이로 인해 치명적인 인명 사고를 방지하고, 한 시스템의 고장으로 전체 공정이 중단되는 사태를 막아 비용 손실을 최소화할 수 있다.

본 발명에 따르는 로봇 팔의 고장 진단 및 예측 방법은 로봇팔 내부의 출력 센싱값(전류, 각도)을 사용하여 고장 진단 및 예측하여, 추가적인 장비, 센서, 비용이 필요하지 않다.

본 발명에 따르는 로봇 팔의 고장 진단 및 예측 방법은 입력에 의해 출력이 결정되는 다양한 산업용 장비 시스템에 적용할 수 있다.

도1a는 본 발명에 따르는 고장 진단 및 예측 방법이 적용되는 로봇팔의 일 예를 나타내는 도면이다.
도1b는 본 발명에 따르는 고장 진단 및 예측 방법에 적용하도록 사용되는 데이터를 만들기 위해 로봇팔의 5축의 타이밍 벨트에 가한 결함 상태 도면 및 표이다.
도2는 본 발명에 따르는 고장 진단 및 예측 방법에 적용하는 데이터 전처리 과정의 예를 나타내는 그래프이다.
도3은 LSTM 모델의 기본구조를 나타내는 도면이다.
도4는 본 발명에 따르는 로봇팔의 고장 진단 및 예측을 위한 LSTM 기반 seq2seq 모델의 구조를 나타내는 도면이다.
도5는 본 발명에 따르는 LSTM 기반 seq2seq 모델을 통해 정상 전류값 입력시 5축의 예측 각도값과, 실제 각도값, 이상치의 예를 나타내는 그래프이다.
도6은 본 발명에 따르는 LSTM 기반 seq2seq 모델을 통해 결함 전류값 입력시 결함을 준 5축의 예측 각도값과, 실제 각도값, 이상치의 예를 나타내는 그래프이다.
도7은 본 발명에 따르는 LSTM 기반 seq2seq 모델을 통해 획득한 정상 및 결함 데이터의 이상치를 비교한 결과를 나타내는 그래프이다.
도8은 정상 데이터에 대한 각 축별 학습 모델의 예측값과 실제 값의 오차에 대해 20초 간격으로 RMSE를 나타내는 그래프이다.
도9는 비정상 데이터에 대한 각 축별 학습 모델의 예측값과 실제 값의 오차에 대해 20초 간격으로 RMSE를 나타내는 그래프이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명한다. 그러나 이하의 실시 예는 이 기술 분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시 예에 한정되는 것은 아니다.

본 발명은 정상 데이터만을 학습하게 하여 예측(Prediction)결과와 실제 값의 차이를 이용하는, LSTM 기반 seq2seq 모델을 사용하여 로봇 팔의 고장을 진단하고 예측하는 방법에 대해 개시한다.

1. 데이터 세트

LSTM 모델의 학습을 위한 데이터 세트로는, 특정 행동이 지정된 6축 로봇팔에서 별도의 센서 없이 자체적으로 확인 가능한 각축의 전류값(정격 전류대비 모터가 생성하는 전류의 비율값)과 각도값을 사용하였다. LSTM 모델의 검증을 위한 결함 데이터는 도1a에 도시된 바와 같은 6축 로봇팔에 대해 도1b에 도시된 바와 같이 5축의 타이밍 벨트에 결함을 가한 상태에서 동일 조건으로 데이터(입력 전류, 출력 각도)를 측정하였다.

2. LSTM 모델

LSTM (Long Short Term Memory) 모델은 시계열 데이터를 학습하는 딥러닝 모델인 RNN(Recurrent Neural Network)에 상태 정보를 지니는 cell state 개념을 추가하고 state 계산에 필요한 데이터들을 어느 정도 반영할지 여부를 Gate연산을 통해 정함으로써 오래된 정보를 유지할 수 있도록 개선한 모델이다. LSTM 모델의 기본구조는 도3와 같으며, 4개의 레이어가 특별한 방식으로 서로 정보를 주고받도록 구성되어, 장기 의존성 문제를 해결하기 위한 게이트(input, forget, output)들을 포함한다.

본 발명에 따르는 로봇팔의 고장 진단 및 예측 방법은 다차원 시계열 데이터인 언어를 학습하여 번역(예를 들어 영어에서 한국어로), 음성인식(음성신호를 문자열로) 등의 언어처리에 주로 사용하는 모델인 LSTM 기반 seq2seq 모델을 로봇팔 데이터에 적용한 것으로, seq2seq 모델에 정상 데이터만을 학습하여, 예측(Prediction) 결과와 실제 값의 차이를 이상치(anormal value)로서 이용한다.

본 발명에 따르는 로봇팔의 고장 진단 및 예측을 위한 LSTM 기반 seq2seq 모델은 도4에 도시된 바와 같이, n개의 축의 구동을 위한 n 개의 입력 신호의 시퀀스를 한정된 크기의 벡터로 각각 압축시키는 LSTM 인코더 모듈과, 잠재 벡터(latent vector) 층과, 압축된 각각의 벡터를 출력 데이터로 변환하는 LSTM 디코더 모듈을 포함하여, 정상 전류 데이터를 정상 각도 데이터로 출력하는 방향으로 학습한다. LSTM 인코더 모듈에 입력된 신호의 크기 단위는 모터에 입력되는 정격 전류 대비 모터가 발생시키는 전류의 비율(%)이고, LSTM 디코더 모듈에서 나오는 신호의 크기 단위는 각도(°)이다. 잠재 벡터 층은 잠재 변수(latent variable)로 이루어진 벡터의 층이며, 잠재 벡터는 실제 측정가능한 관측변수로 이루어진 고차원의 벡터를 주성분분석(Principal Component Analysis), t-SNE(Stochastic Neighbor Embedding)과 같은 차원축소 기법 및 딥러닝 기반 차원축소 기법 등을 사용하여 얻을 수 있다. 여기에서 잠재 변수는 구성 개념이 직접 관찰 또는 측정되지 않는 추상적인 변수를 의미하는데, 실제 측정가능한 관측 변수인 각축에 대한 입력 전류 및 출력 각도를 통해 잠재 변수인 정상 데이터를 간접적으로 측정할 수 있다.

LSTM 인코더 모듈에 입력된 전류 신호 데이터 및 LSTM 디코더 모듈로부터 출력되는 각도 신호 데이터는, 센서 오작동에 따라 측정된 값을 필터링하고, 각 축의 가동범위는 다르므로 정규화(Normalization)하여 같은 범위의 값을 가지도록 조정하는 데이터 전처리 과정을 거치는데, 예를 들어, 데이터에 존재하는 이상점(outlier), 노이즈를 제거(필터링)하고, 일정한 간격으로 다시 샘플링하여 전처리되며, 이는 도2에 도시된 바와 같다.

3. 실험 결과

본 발명에 따르는 로봇팔의 고장 진단 및 예측을 위한 LSTM 기반 seq2seq 모델의 성능평가는, 결함데이터에서 5축 타이밍벨트 마모의 영향을 가장 많이 받을 5축 각도의 예측 정확도와, 정상데이터의 5축 각도 예측 정확도를 비교하는 방법으로 수행하였다. 본 발명에 따르는 LSTM 기반 seq2seq 모델은 정상데이터에 대해서만 학습한 모델이므로, 정상 전류값 외의 값이 입력되었을 때 예측된 각도값과 실제 각도값 사이에 차이가 발생하게 될 것이므로, 이 차이값을 이상치로 사용하였다.

학습에 사용되지 않았던, 정상 데이터(정상 전류값)로 예측한 5축의 각도값과, 실제 각도값, 이상치의 예는 도5와 같다.

학습에 사용되지 않았던, 결함 데이터(결함 전류값)로 예측한 5축의 각도값과, 실제 각도값, 이상치의 예는 도6와 같다.

정상 및 결함 데이터의 이상치를 비교한 결과는 도7의 그래프에 나타나 있다.

도5에 도시된 바와 같이 정상데이터에 대한 예측 각도값은 실제 각도값과 거의 일치하였지만, 도6에 도시된 바와 같이 결함데이터의 예측 각도값은 실제 각도값보다 미세하게 지연되어 이상치가 더 증가한 것을 볼 수 있으며, 결과적으로 도7에 도시된 바와 같이 정상데이터의 이상치보다, 결함데이터의 이상치가 더 큰 것을 볼 수 있다.

본 발명에 따르는 LSTM 기반 seq2seq 모델을 이용하는 로봇팔의 고장 진단 및 예측 방법은 로봇 팔의 각각의 축의 이상치의 RMSE(Root Mean Square Error, 평균 제곱근 오차) 평균값에 가중치(예를 들어, 1.2)를 곱하여 임계값을 정하고, 이상치가 임계값을 초과할 경우 비정상(즉, 로봇팔의 고장)으로 판단하고, 이상치가 임계값을 초과하지 않을 경우 정상으로 판단한다. 도8은 로봇팔의 정상 데이터에 대한 학습 모델의 예측값과 실제 값의 오차에 대해 20초 간격으로 RMSE를 나타내는 그래프이고, 도9는 비정상 데이터 2에 대한 학습 모델의 예측값과 실제 값의 오차에 대해 20초 간격으로 RMSE를 나타내는 그래프로서, 비정상 데이터 2의 RMSE는 정상 데이터의 RMSE 범위(0 ~ 8)보다 훨씬 큰 값을 가지는 것을 알 수 있으며, 이상이 있는 축의 RMSE가 정상인 축의 RMSE보다 크다는 것을 알 수 있다.

본 발명에 따르는 LSTM 기반 seq2seq 모델을 이용하는 로봇팔의 고장 진단 및 예측 방법은 로봇팔 내부의 PLC 제어에 의한 출력 센싱값(전류, 각도)을 사용하여 고장 진단 및 예측을 할 수 있고, 추가적인 장비, 센서, 비용이 들어가지 않으며, 로봇팔 외에도 다양한 시스템들에 적용이 가능하다.

본 발명에 따르는 LSTM 기반 seq2seq 모델을 이용하는 로봇팔의 고장 진단 및 예측 방법은 항공기, 우주탐사선, 기차, 자동차 등과 같은 운송용 기계 시스템, 발전소 터빈, 변압기, 풍력발전기 등과 같은 발전 시스템, 네트워크 트래픽, PC 하드웨어 등과 같은 IT 시스템처럼, 입력에 의해 출력이 결정되는 다양한 산업용 장비들 및 시스템들에 적용이 가능하다.

이상 설명한 바와 같이, 산업용 장비들의 고장을 방지하기 위해 운용 중 철저한 예방정비에 의존하며 고가/고안정성 시스템을 운용하고 있었지만, 실제 결함 유무와 관계없이 일정한 주기마다 실시되므로 정상 부품의 불필요한 교체로 인한 비용 손실을 발생시키고, 갑작스런 시스템 고장을 예방하는 데에 한계가 있었던 기존의 방법에 비해, 본 발명에 따르는 LSTM 기반 seq2seq 모델을 이용하는 로봇팔의 고장 진단 및 예측 방법은 산업용 장비들의 고장을 조기에 발견하고 진단하여 효율적이고 정확한 정비 스케쥴링이 가능하게 하며, 이로 인해 치명적인 인명 사고를 방지하고, 한 시스템의 고장으로 전체 공정이 중단되는 사태를 막아 비용 손실을 최소화 할 수 있다.

이상의 설명은 본 발명의 기술 사항을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

LSTM 인코더 모듈과, 잠재 벡터층과, LSTM 디코더 모듈을 포함하는 LSTM 기반 seq2seq 모델을 이용하여 n축의 로봇팔의 고장을 진단 및 예측하는 방법에 있어서,
정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계;
상기 LSTM 기반 seq2seq 모델에 전류 시퀀스 데이터를 입력하여 정상 출력 각도를 예측하는 단계;
상기 LSTM 기반 seq2seq 모델에 입력된 전류 시퀀스 데이터에 대해 예측된 상기 정상 출력 각도와 실제 출력 각도 사이의 차이의 평균 제곱 오차(RMSE)를 각각의 축에 대해 계산하는 단계;
각각의 축에 대해 계산된 상기 평균 제곱 오차(RMSE)가 사전설정된 임계값을 초과하는 경우, 로봇팔을 비정상 상태로 결정하는 단계를 포함하는
로봇팔의 고장 진단 및 예측 방법.
제1항에 있어서,
정상 전류 시퀀스 데이터를 입력하여 정상 각도 시퀀스 데이터를 출력하는 LSTM 기반 seq2seq 모델이 학습하는 단계는
LSTM 인코더 모듈에 정상 전류 시퀀스 데이터를 입력하는 단계;
입력된 상기 정상 전류 시퀀스 데이터를 한정된 크기의 벡터로 압축하는 단계;
압축된 각각의 상기 벡터를 LSTM 디코더 모듈에서 정상 각도 시퀀스 데이터로 변환하여 출력하는 단계를 포함하는 것을 특징으로 하는
로봇팔의 고장 진단 및 예측 방법.
제2항에 있어서,
LSTM 인코더 모듈 및 LSTM 디코더 모듈은 로봇팔의 축의 수와 동일한 수의 시퀀스를 갖는 것을 특징으로 하는
로봇팔의 고장 진단 및 예측 방법.