KR102482530B1

KR102482530B1 - 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법

Info

Publication number: KR102482530B1
Application number: KR1020210085602A
Authority: KR
Inventors: 송재복; 문종술
Original assignee: 고려대학교 산학협력단
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2022-12-28

Abstract

본 발명은 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법에 관한 것이다. 본 발명에 따른 로봇 시스템은 제어 목표값에 따라 로봇 관절을 구동하는 관절 구동부와, 상기 제어 목표값에 따른 상기 로봇 관절의 실제 움직임에 대한 실제 측정값을 측정하는 움직임 측정부와, 인공지능 기반의 학습 모델을 갖는 충돌범위 예측부와, 상기 충돌범위 예측부의 예측 결과와, 상기 실제 측정값에 기초하여 충돌 여부를 판단하는 충돌 판단부와, 상기 학습 모델의 학습을 위한 학습 데이터를 생성하는 데이터 생성부를 포함하며; 상기 데이터 생성부는 (a) 충돌이 없는 상태에 대한 제어 목표값에 따라 상기 관절 구동부가 상기 로봇 관절을 구동하는 단계와, (b) 상기 (a) 단계에서의 상기 제어 목표값에 따른 상기 로봇 관절의 실제 움직임에 대해 상기 움직임 측정부에 의해 측정된 실제 측정값을 획득하는 단계와, (c) 상기 (a) 단계에서 획득된 상기 실제 측정값으로부터 최대 측정값과 최소 측정값을 산출하는 단계와, (d) 상기 (c) 단계에서 산출된 상기 최대 측정값과 상기 최소 측정값을 상기 (a) 단계에서의 상기 제어 목표값에 레이블링하여 학습 데이터를 생성하는 단계를 수행하는 것을 특징으로 한다.

Description

인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법{ROBOT SYSTEM WITH AI-BASED COLLISION DETECTION AND METHOD FOR GENERATING AI-BASED LEARNING DATA FOR COLLISION DETECTION}

본 발명은 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법에 관한 것으로서, 보다 상세하게는 인공지능 기반의 충돌 감지에 필요한 학습 데이터를 자동으로 생성하면서도, 충돌 상태없이 학습 데이터의 생성이 가능한 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법에 관한 것이다.

로봇 시스템, 예컨대, 협동 로봇은 작업자와 로봇이 작업 공간을 공유하므로 작업자의 안전을 위해 충돌 감지 기능을 갖추는 것이 일반적이다.

종래의 충돌 감지 기술은 로봇의 각 관절에 설치된 모터와 감속기로부터 로봇의 링크에 입력되는 토크에 의해서 생성되는 로봇의 동적 운동을 동역학 방정식의 실시간 계산을 통하여 알아내고, 이 과정에서 충돌 등에 의해서 외부로부터 로봇에 인가되는 외부 토크를 추정해 내는 방식을 사용하였다.

이 때 로봇 링크에 입력되는 토크를 알기 위해서는 각 관절에 토크 센서를 설치하여 직접 측정하거나 모터의 전류로부터 간접적으로 추정하는 방법을 사용하였다.

토크 센서에 기반한 충돌 감지 알고리즘은 비교적 정확한 외부 토크의 추정이 가능하여 충돌에 대한 민감성은 좋지만, 로봇에 추가적인 고가의 토크 센서가 설치되어야 하므로 로봇의 제작 단가가 증가하게 된다. 특히, 다관절 로봇의 경우, 각각의 관절마다 토크 센서가 설치되여야 하므로, 비용이 증가하는 문제점이 있다.

다른 방법으로, 모터 전류에 기반한 충돌 감지 알고리즘은 마찰 등에 의해서 손실되는 토크 등에 의해서 실제 링크에 입력되는 토크를 정확히 알기 어려워서 충돌에 민감하지 못하고, 오감지의 가능성이 있다는 단점이 있다.

이와 같은 문제를 해결하기 위해, 심층 학습(Deep learning)과 같은 인공지능 기반의 충돌 감지 기술들이 제안되고 있다. 예를 들어, 합성곱 신경망(Convolutional neural network, CNN)을 이용하여 로봇 관절의 상태 정보로부터 로봇의 충돌 여부를 판단하는 방법이 있다.

합성곱 신경망을 이용하는 방법의 경우, 먼저 로봇이 다양한 물체와 충돌한 경우의 로봇 관절 정보와 로봇이 정상 구동할 경우의 로봇 관절 정보를 수집한다. 그런 다음, 수집된 정보, 즉 충돌 상황에 대한 학습 데이터와, 정상 구동 상황에 대한 학습 데이터로 합성곱 신경망을 학습시킴으로써, 특정 시점의 로봇의 관절 정보가 주어지면 합성곱 신경망이 해당 시점에서의 로봇의 충돌 여부를 추정하게 된다.

그러나, 이와 같은 방법의 큰 단점은 학습을 위해 매우 많은 학습 데이터가 필요하다는 점인데, 학습 데이터의 수집을 위해서 로봇은 매우 많은 충돌을 경험해야 하므로 학습 데이터를 수집하기 위한 노력, 시간, 비용이 필요하다는 점이다.

특히, 충돌 상황에 대한 학습 데이터의 수집을 위해, 많은 충돌 상황으로 로봇을 구동하여야 하므로, 로봇의 내구성이 저하시키는 요인으로 작용하는 단점이 있다.

다음으로, 순환 신경망(Recurrent neural network, RNN)의 일종인 LSTM(ong short-term memory)이 충돌이 발생하지 않는 정상 구동에서의 관절 데이터만을 학습하여, 충돌이 발생하더라도 항상 정상 구동 데이터(속도, 가속도, 토크 등)를 예측하도록 하는 방법이 있다.

학습된 LSTM이 예측한 정상 구동 데이터와 충돌 시 발생하는 데이터를 비교하여 차이가 발생할 때 충돌로 감지한다. 이 방법은 충돌 데이터 없이 정상 데이터로만 학습을 수행시킬 수 있다는 장점이 있지만, LSTM이 예측한 정상 데이터와 충돌 시 발생하는 데이터의 차이를 비교하여 충돌로 분류하기 위한 기준(범위)을 사용자가 직접 설정해야 한다. 그러나, 이 범위는 사용자가 다양한 실험을 통해 획득하여야 하여야 하므로, 많은 시간과 노력이 필요할 뿐만 아니라, 사용자의 숙련도에 따라 기준이 변화는 단점 또한 갖고 있다.

이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 인공지능 기반의 충돌 감지에 필요한 학습 데이터를 자동으로 생성하면서도, 충돌 상태없이 학습 데이터의 생성이 가능한 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법을 제공하는데 그 목적이 있다.

또한, 로봇의 구동 중에 물건을 파지하는 등의 가변 하중이 발생하는 등의 불안정한 동역학적 모델에도 강인한 충돌 감지가 가능한 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법을 제공하는데 또 다른 목적이 있다.

또한, 충돌 감지에 적용될 정상 범위를 자동으로 설정할 수 있는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법을 제공하는데 또 다른 목적이 있다.

상기 목적은 본 발명에 따라, 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템에 있어서, 제어 목표값에 따라 로봇 관절을 구동하는 관절 구동부와, 상기 제어 목표값에 따른 상기 로봇 관절의 실제 움직임에 대한 실제 측정값을 측정하는 움직임 측정부와, 인공지능 기반의 학습 모델을 갖는 충돌범위 예측부와, 상기 충돌범위 예측부의 예측 결과와, 상기 실제 측정값에 기초하여 충돌 여부를 판단하는 충돌 판단부와, 상기 학습 모델의 학습을 위한 학습 데이터를 생성하는 데이터 생성부를 포함하며; 상기 데이터 생성부는 (a) 충돌이 없는 상태에 대한 제어 목표값에 따라 상기 관절 구동부가 상기 로봇 관절을 구동하는 단계와, (b) 상기 (a) 단계에서의 상기 제어 목표값에 따른 상기 로봇 관절의 실제 움직임에 대해 상기 움직임 측정부에 의해 측정된 실제 측정값을 획득하는 단계와, (c) 상기 (a) 단계에서 획득된 상기 실제 측정값으로부터 최대 측정값과 최소 측정값을 산출하는 단계와, (d) 상기 (c) 단계에서 산출된 상기 최대 측정값과 상기 최소 측정값을 상기 (a) 단계에서의 상기 제어 목표값에 레이블링하여 학습 데이터를 생성하는 단계를 수행하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템에 의해서 달성된다.

여기서, 상기 제어 목표값은 목표 속도값 또는 목표 위치값을 포함하며; 상기 실제 측정값은 상기 제어 목표값에 대응하여 실제 속도값 또는 실제 위치값을 포함할 수 있다.

또한, 상기 제어 목표값은 목표 가속도값을 더 포함할 수 있다.

그리고, 상기 제어 목표값과 상기 실제 측정값은 상기 로봇 관절의 동작에 따른 시계열적인 데이터이며; 상기 최대 측정값 및 상기 최소 측정값은 시계열적인 데이터로 산출될 수 있다.

그리고, 상기 데이터 생성부는 상기 (c) 단계에서 (c1) 시계열적인 상기 실제 측정값으로부터 슬라이딩 윈도우 기법에 따라 기 설정된 윈도우 단위로 단위 최대값 및 단위 최소값을 추출하는 단계와, (c2) 상기 윈도우 단위로 추출된 상기 단위 최대값 및 상기 단위 최소값을 이동 평균 기법에 적용하여 시계열적인 상기 최대 측정값 및 상기 최소 측정값을 산출하는 단계를 수행할 수 있다.

그리고, 상기 충돌범위 예측부는 상기 데이터 생성부에 의해 생성된 상기 학습 데이터를 이용하여 상기 학습 모델을 학습시키는 학습 모드와, 실제 운용 중에 상기 학습 모델에 의해 충돌범위가 예측되는 예측 모드로 동작하고; 상기 학습 모델은 상기 예측 모드에서 상기 관절 구동부의 제어 목표값을 입력받아 예측 최대값 및 예측 최소값을 상기 충돌범위로 출력하며; 상기 충돌 판단부는 상기 충돌범위 내에 상기 움직임 측정부에 의해 측정된 상기 실제 측정값이 포함되는지 여부에 따라 상기 로봇 관절의 충돌 여부를 판단할 수 있다.

그리고, 상기 충돌 범위 예측부는 상기 학습 모드에서 상기 학습 데이터를 전처리하여 상기 학습 모델에 입력하는 전처리부를 더 포함할 수 있다.

여기서, 상기 전처리부는 상기 학습 데이터를 정규화하는 정규화 처리부와; 상기 정규화 처리부에 의해 정규화된 학습 데이터를 기 설정된 단위 시간으로 분할하는 데이터 분할부와; 각각의 상기 단위 시간 내의 상기 학습 데이터 중 일부를 샘플링하는 데이터 샘플링부를 포함할 수 있다.

그리고, 상기 데이터 샘플링부는 각각의 상기 단위 시간에 샘플링된 학습 데이터에 대해 하나의 최대 측정값 및 최소 측정값으로 레이블링할 수 있다.

그리고, 상기 전처리부는 상기 예측 모드에서 상기 관절 구동부의 제어 목표값에 대해 상기 학습 데이터에 대응하는 전처리를 수행하여 상기 학습 모델에 입력할 수 있다.

그리고, 상기 학습 모델은 상기 (b) 단계의 수행 과정에서 측정된 실제 측정값의 최대값보다 상기 최대 측정값이 크게, 상기 (b) 단계의 수행 과정에서 측정된 실제 측정값의 최소값보다 상기 최소 측정값이 작게 예측되도록 학습될 수 있다.

한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법에 있어서, (a) 로봇 관절의 동작을 위한 제어 목표값에 따라 충돌이 없는 상태로 로봇 관절이 동작하는 단계와; (b) 상기 제어 목표값에 따른 상기 로봇 관절의 실제 움직임에 대한 실제 측정값이 측정되는 단계와; (c) 상기 실제 측정값이 기 등록된 시퀀스 대역 필터에 적용하여, 최대 측정값과 최소 측정값을 산출하는 단계와; (d) 상기 최대 측정값과 상기 최소 측정값이 상기 제어 목표값에 레이블링되어 학습 데이터가 생성되는 단계를 포함하는 것을 특징으로 하는 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법에 의해서도 달성된다.

그리고, 상기 제어 목표값은 목표 가속도값을 더 포함할 수 있다.

그리고, 상기 제어 목표값과 상기 실제 측정값은 상기 로봇 관절의 동작에 따른 시계열적인 데이터일 수 있다.

그리고, 상기 (c) 단계에서 상기 시퀀스 대역 필터는 (c1) 시계열적인 상기 실제 측정값으로부터 슬라이딩 윈도우 기법에 따라 기 설정된 윈도우 단위로 단위 최대값 및 단위 최소값을 추출하는 단계와, (c2) 상기 윈도우 단위로 추출된 상기 단위 최대값 및 상기 단위 최소값을 이동 평균 기법에 적용하여 시계열적인 상기 최대 측정값 및 상기 최소 측정값을 산출하는 단계를 수행할 수 있다.

상기와 같은 구성에 따라, 본 발명에 따르면 인공지능 기반의 충돌 감지에 필요한 학습 데이터를 자동으로 생성하면서도, 충돌 상태없이 학습 데이터의 생성이 가능한 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법이 제공된다.

또한, 본 발명에 따르면 로봇의 구동 중에 물건을 파지하는 등의 가변 하중이 발생하는 등의 불안정한 동역학적 모델에도 강인한 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법이 제공된다.

또한, 본 발명에 따르면 충돌 감지에 적용될 정상 범위를 자동으로 설정할 수 있는 효과가 제공된다.

도 1은 본 발명의 실시예에 따른 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템의 구성의 예를 나타낸 도면이고,
도 2는 본 발명의 실시예에 따른 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템의 제어블럭도이고,
도 3은 본 발명의 실시예에 따른 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템의 학습 데이터의 생성 과정을 설명하기 위한 도면이고,
도 4 내지 도 5는 본 발명의 실시예에 따른 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템의 학습 데이터의 생성 원리를 설명하기 위한 도면이고,
도 6은 도 2의 충돌범위 예측부의 구성의 예를 나타낸 도면이고,
도 7은 도 6의 전처리부의 동작을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템(100)의 구성의 예를 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 로봇 시스템(100), 예를 들어 협동 로봇은 다수의 로봇 관절(J1~J7)을 포함하는 다관절 로봇인 것을 예로 하고 있다. 그리고, 다관절 로봇의 말단에는 대상체를 파지하기 위한 파지부가 마련되어, 물체를 파지하여 이동시키는 것을 예로 한다.

도 1에 도시된 다관절 로봇은 본 발명의 일 예에 불과하며, 본 발명의 기술적 사상이 이에 국한되지 않음은 물론이다.

도 2는 본 발명의 실시예에 따른 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템(100)의 제어블럭도이다. 도 2를 참조하여 설명하면, 본 발명의 실시예에 따른 로봇 시스템(100)은 관절 구동부(120), 움직임 측정부(130), 충돌범위 예측부(140), 충돌 판단부(150) 및 데이터 생성부(160)를 포함할 수 있다. 또한, 본 발명의 실시예에 따른 로봇 시스템(100)은 로봇 제어부(110)를 포함할 수 있다.

관절 구동부(120)는 로봇 관절(J1~J7)을 구동시킨다. 본 발명의 실시예에서는 관절 구동부(120)가 각각의 로봇 관절(J1~J7)에 설치되는 모터인 것을 예로 한다. 여기서, 관절 구동부(120)는 로봇 제어부(110)로부터 전달되는 제어 목표값에 따라 로봇 관절(J1~J7)을 구동시킨다.

본 발명의 실시예에서는 제어 목표값이 목표 속도값인 것을 예로 한다. 또한, 본 발명의 실시예에서는 제어 목표값이 목표 가속도값을 포함하는 것을 예로 한다. 다른 예로 제어 목표값은 목표 위치값일 수 있으며, 목표 위치값과 목표 속도값에 따라 관절 구동부(120)가 제어될 수 있다.

이하에서는 본 발명의 실시예에 따른 제어 목표값이 목표 속도값과 목표 가속도값인 것을 예로 하여 설명한다.

본 발명의 실시예에 따른 움직임 측정부(130)는 제어 목표값에 따른 로봇 관절(J1~J7)의 실제 움직임에 대한 실제 측정값을 측정한다. 앞서 설명한 바와 같이, 제어 목표값이 목표 속도값인 경우, 움직임 측정부(130)에 의해 측정되는 실제 측정값은 실제 속도값이 된다.

본 발명의 실시예에 따른 움직임 측정부(130)는 각각의 로봇 관절(J1~J7)을 구동시키는 관절 구동부(120)인 모터에 설치된 엔코더를 포함하는 것을 예로 한다.

본 발명의 실시예에 따른 충돌범위 예측부(140)는 인공지능 기반의 학습 모델(142)을 포함한다. 여기서, 본 발명의 실시예에 따른 데이터 생성부(160)는 충돌범위 예측부(140)의 학습 모델(142)의 학습을 위한 학습 데이터를 생성하고, 학습 모델(142)은 이를 이용하여 학습하게 된다. 본 발명의 실시예에 따른 데이터 생성부(160) 및 충돌범위 예측부(140)에 대한 상세한 설명은 후술한다.

본 발명의 실시예에 따른 충돌 판단부(150)는 충돌범위 예측부(140)의 예측 결과와, 실제 측정값, 즉 실제 속도값에 기초하여 충돌 여부를 판단하게 되는데, 이에 대한 상세한 설명은 후술한다.

이하에서는, 도 3 내지 도 6을 참조하여, 본 발명의 실시예에 따른 데이터 생성부(160)가 학습 모델(142)의 학습을 위한 학습 데이터를 생성하는 과정에 대해 상세히 설명한다.

도 3을 참조하여 설명하면, 먼저, 데이터 생성부(160)는 로봇 제어부(110)와 연동하여, 충돌이 없는 상태에 대한 제어 목표값, 즉 목표 속도값이 로봇 제어부(110)로부터 출력되고(S30), 목표 속도값에 따라 관절 구동부(120)가 로봇 관절(J1~J7)을 구동시킨다(S31).

즉, 본 발명의 실시예에서는 충돌이 없는 상태, 즉 정상 구동 상태에서 학습 데이터를 획득함으로써, 충돌에 따른 학습 데이터의 취득 과정에서 발생하는 로봇의 손상을 방지할 수 있게 된다.

상기와 같이 목표 속도값에 따라 로봇 관절(J1~J7)이 구동하는 상태에서, 움직임 측정부(130)가 제어 목표값에 따른 로봇 관절(J1~J7)의 실제 움직임에 대한 실제 측정값, 즉 실제 속도값을 측정한다(S32).

도 4는 본 발명의 실시예에 따른 로봇 시스템(100)에서 로봇 관절(J1~J7)의 구동에 따른 목표 속도값과 실제 속도값을 나타낸 도면이다. 도 4에 도시된 바와 같이, 충돌이 없는 상태에서는 실제 속도값이 목표 속도값을 추종하게 되는데, 로봇 관절(J1~J7)에 설치된 감속기의 감속비, 노이즈 등의 원인으로 실제 속도값이 목표 속도값을 정확하게 추종하지 않음을 확인할 수 있다.

또한, 초기 구동 단계와, 동작이 멈추는 단계에서는 가속도의 영향에 따라 다른 구간보다 실제 속도값이 목표 속도값을 정확하게 추종하고 있지 않음을 확인할 수 있으며, 이에, 앞서 설명한 바와 같이, 본 발명의 실시예에서는 제어 목표값으로 목표 가속도값을 포함시켜, 학습 모델(142)의 학습에 적용함으로써, 가속도에 따른 오차가 반영된 보다 정확한 학습 및 추정이 가능하게 된다.

도 4에서 'Desired velocity'는 목표 속도값이고, 'Actual velocity'는 실제 속도값이고, 'Desired acceleration'은 목표 가속도값이다. 도 4에 도시된 바와 같이, 목표 속도값, 목표 가속도값, 실제 속도값은 모두 로봇 관절(J1~J7)의 동작에 따른 시계열적인 데이터이다.

상기와 같은 과정을 통해, 실제 속도값이 측정되면, 실제 속도값으로부터 최대 측정값 및 최소 측정값이 산출된다. 본 발명에서는 속도를 학습 데이터 및 충돌 여부 추정에 사용하는 바, 최대 측정값과 최소 측정값을 각각 최대 속도값 및 최소 속도값으로 정의하여 설명한다.

먼저, 시계열적인 실제 속도값으로부터 슬라이딩 윈도우(Sliding window) 기법에 따라 기 설정된 윈도우 단위로 단위 최대값 및 단위 최소값을 추출한다(S33). 도 5의 (a)의 (a)는 슬라이딩 윈도우 기법에 따라 각각의 윈도우 단위로 단위 최대값 및 단위 최소값이 추출된 예를 나타낸 도면이다.

슬라이딩 윈도우 기법 상의 윈도우는 데이터를 추출하는 일정 범위를 의미하며, 나열된 실제 속도값에서 윈도우를 사용하여 순차적으로 연산하는 방법이 슬라이등 윈도우 기법이다.

예컨대, 시점 t에서 윈도우의 크기가 70일 때, 윈도우는 시점 t에서 전후를 포함하므로 실제 속도값에서 윈도우 구간 내에서의 최대값과 최소값을 추출하게 되며, 추출된 최대값과 최소값이 시점 t에서의 단위 최대값 및 단위 최소값이 된다.

상기와 같은 방법을 통해 단위 최대값 및 단위 최소값을 추출하게 되면, 도 5의 (a)에 도시된 바와 같이, 시간에 따라 계단 형태의 단위 최대값 및 단위 최소값이 추출된다.

이와 같은 계단 형태의 데이터는 기울기가 매우 크고, 이로 인해 네트워크 학습에 불안정성을 유발할 수 있으므로, 본 발명의 실시예에서는 윈도우 단위로 추출된 단위 최대값 및 단위 최소값을 이동 평균(Moving average) 기법에 적용하여, 도 5의 (b)에 도시된 바와 같은 시계열적인 최대 속도값 및 최소 속도값이 산출된다(S34). 도 5의 (b)에 도시된 바와 같이, 최대 속도값 및 최소 속도값이 매끄러운 선형으로 재구성되어 기술이 또한 완만해졌음을 확인할 수 있다.

상기와 같이 산출된 최대 속도값과 최대 속도값이 제어 목표값인 목표 속도값 및 목표 가속도값에 레이블링되어, 학습 모델(142)의 학습을 위한 학습 데이터가 생성된다(S35).

상기와 같은 과정을 기 설정된 회수(n회) 만큼 반복 수행하여(S36), 로봇 관절(J1~J7)의 다양한 움직임(단, 충돌이 없는 상태에서의 움직임)에 대한 다수의 학습 데이터의 생성이 가능하게 된다.

한편, 본 발명의 실시예에 따른 충돌범위 예측부(140)는 학습 모드와, 예측 모드 중 어느 하나로 동작할 수 있다.

학습 모드에서, 충돌범위 예측부(140)는 데이터 생성부(160)에 의해 생성된 학습 데이터, 즉 최대 속도값 및 최소 속도값이 레이블링된 목표 속도값 및 목표 가속도값을 이용하여 학습을 수행한다.

그리고, 예측 모드에서, 충돌범위 예측부(140)는 학습 모드를 통해 학습된 학습 모델(142)을 이용하여, 로봇 시스템(100)의 실제 운용 중에 목표 속도값 및 목표 가속도값을 입력받아 충돌범위를 예측하게 된다.

여기서, 충돌범위 예측부(140)에 의해 예측되는 충돌범위는 최대 속도값 및 최소 속도값에 대응하는 예측 최대값 및 예측 최소값을 포함하게 된다. 그리고, 충돌 판단부(150)는 충돌범위 내에 움직임 측정부(130)에 의해 측정된 실제 측정값이 포함되는지 여부에 따라 로봇 관절(J1~J7)의 충돌 여부를 판단하게 된다.

본 발명의 실시예에 따른 충돌범위 예측부(140)는, 도 6에 도시된 바와 같이, 전처리부(141)와 학습 모델(142)을 포함할 수 있다.

본 발명의 실시예에 따른 전처리부(141)는 학습 모드에서, 데이터 생성부(160)에 의해 생성된 학습 데이터를 전처리하여 학습 모델(142)에 입력한다.

데이터 생성부(160)에 의해 생성된 학습 데이터는, 앞서 설명한 바와 같이, 시계열적으로 많은 데이터를 포함하고 있는 바, 이를 학습 모델(142)의 학습에 그대로 사용하는 경우 학습 속도가 저하되는 문제점이 있다.

또한, 학습 데이터인 목표 속도값은 일반적으로 -50°/s에서 50°/s의 범위에서 운용되고, 목표 가속도의 경우 -200°/s²에서 200°/s²의 범위에서 운용되는 바, 학습 모델(142)의 학습 및 추정 과정에서 큰 부하로 작용하게 된다.

이에, 본 발명의 실시예에 따른 전처리부(141)는, 도 6에 도시된 바와 같이, 정규화 처리부(141a), 데이터 분할부(141b) 및 데이터 샘플링부(141c)를 포함하는 것을 예로 한다.

정규화 처리부(141a)는 학습 데이터를 정규화한다. 예를 들어, -50°/s에서 50°/s 범위의 목표 속도값을 -1에서 1 범위의 데이터로 정규화할 수 있다. 이와 같은 정규화 범위는 속도의 정방향과 역방향을 고려한 것이다. 동일하게, 목표 가속도 또한 정규화될 수 있다.

본 발명의 실시예에 따른 데이터 분할부(141b)는 정규화 처리부(141a)에 의해 정규화된 학습 데이터를 기 설정된 단위 시간으로 분할할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 데이터 분할부(141b)는 학습 데이터를 50ms 단위로 분할할 수 있다.

데이터 샘플링부(141c)는 데이터 분할부(141b)에 의해 분할된 단위 시간 내의 학습 데이터 중 일부를 샘플링한다. 본 발명에서는 도 7에 도시된 바와 같이, 50ms의 단위 시간 내에서 5ms 단위로 데이터를 샘플링하는 것을 예로 하고 있다.

도 7을 참조하여 보다 구체적으로 설명하면, 현재 시점 t로부터 과거 50ms 까지의 학습 데이터 중 5ms 단위로 학습 데이터를 샘플링하고, 이와 같이 샘플링된 데이터를 학습 데이터로 사용하게 된다. 그리고, 단위 시간 내에서 샘플링된 데이터의 묶음이 벡터 데이터로 하여 하나의 학습 데이터로 사용되는 것을 예로 한다.

여기서, 각각의 단위 시간에 샘플링된 학습 데이터에 대해서는 하나의 최대 속도값 및 최소 속도값이 정답 데이터, 즉 레이블링되는 데이터로 사용되는 것을 예로 하며, 본 발명에서는, 도 7에 도시된 바와 같이, 시점 t에 대한 최대 속도값 및 최소 속도값이 단위 사간에 대한 학습 데이터의 정답 데이터로 레이블링되는 것을 예로 한다.

여기서, 목표 가속도값에 대한 전처리 과정 또한 동일하게 적용되는 것을 예로 한다.

상기와 같은 과정을 통해 전처리된 학습 데이터가 학습 모델(142)의 입력 데이터로 입력되어 학습이 진행된다.

본 발명의 실시예에 따른 학습 모델(142)은 인공지능 모델인 심층 학습(Deep learning) 모델을 기반으로 학습 데이터를 학습한다. 본 발명에서는 심층 학습 모델(142)로 합성공 신경망(Convolutional neural network, CNN) 또는 순환 신경망(Recurrent neural network, RNN)이 적용되는 것을 예로 한다.

본 발명에서는 학습 모델(142)의 학습에 있어 충돌 범위, 즉 예측 최대값과 예측 최소값을 학습하는데 있어, 상한 손실과 하한 손실로 구성된 대역 손실 함수가 적용되는 것을 예로 한다.

보다 구체적으로 설명하면, 대역 손실 함수는 학습 모델(142)이 예측한 예측 최대값과 예측 최소값의 범위 내에 실제 속도값이 포함될 수 있도록, 학습 과정에서 충돌범위의 상한이 실제 속도값보다 커야 하고, 하한은 실제 속도보다 작도록 한다.

예를 들어, 오차를 포함한 실제 속도값이 9 ~ 11°/s의 범위에서 거동하고 있을 때, 상한은 실제 속도값보다 커야 하므로 11°/s보다 커야 올바른 예측이라 할 수 있고, 하한은 9°/s보다 작을 때 올바른 예측이라 할 수 있다.

이러한 특징을 이용하여, 상한 손실을 예로 들면, 실제 속도값의 정답 상한이 11°/s일 때, 학습 모델(142)이 예측상한을 10°/s로 예측하면 틀린 예측이므로 큰 손실을 발생시키고, 예측 상한이 12°/s 라면 옳은 예측이므로 작은 손실을 발생시키도록 구성될 수 있다. 여기서 옳은 예측임에도 작은 손실을 발생시키는 이유는 인공신경망이 틀린 예측에만 반응하여 상한을 무한정 크게 학습하는 것을 억제하기 위함이다.

상기와 같은 과정을 통해, 학습 모델(142)의 학습이 완료된 상태에서, 로봇 시스템(100)이 실제 운용될 때, 관절 구동부(120)로 제공되는 목표 속도값 및 목표 가속도값에 충돌범위 예측부(140)의 학습 모델(142)의 입력 데이터로 입력된다.

여기서, 목표 속도값 및 목표 가속도값은 학습 모드에서와 동일하게 전처리부(141)에 의해 전처리되어, 학습 모델(142)로 입력된다.

그리고, 학습 모델(142)은 목표 속도값과 목표 가속도값을 입력 데이터로 하여, 예측 최대값과 예측 최소값을 추정하여 출력 데이터로 출력하게 된다.

그리고, 충돌 판단부(150)는 움직임 측정부(130)에 의해 측정된 현재의 실제 속도값이 예측 최대값과 예측 최소값의 범위 내에 포함되는지 여부를 판단하고, 이를 벗어나는 경우, 충돌로 인식하게 된다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

100 : 로봇 시스템 110 : 로봇 제어부
120 : 관절 구동부 130 : 움직임 측정부
140 : 충돌범위 예측부 141 : 전처리부
141a : 정규화 처리부 141b : 데이터 분할부
141c : 데이터 샘플링부 142 : 학습 모델
150 : 충돌 판단부 160 : 데이터 생성부

Claims

인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템에 있어서,
제어 목표값에 따라 로봇 관절을 구동하는 관절 구동부와,
상기 제어 목표값에 따른 상기 로봇 관절의 실제 움직임에 대한 실제 측정값을 측정하는 움직임 측정부와,
인공지능 기반의 학습 모델을 갖는 충돌범위 예측부와,
상기 충돌범위 예측부의 예측 결과와, 상기 실제 측정값에 기초하여 충돌 여부를 판단하는 충돌 판단부와,
상기 학습 모델의 학습을 위한 학습 데이터를 생성하는 데이터 생성부를 포함하며;
상기 데이터 생성부는
(a) 충돌이 없는 상태에 대한 제어 목표값에 따라 상기 관절 구동부가 상기 로봇 관절을 구동하는 단계와,
(b) 상기 (a) 단계에서의 상기 제어 목표값에 따른 상기 로봇 관절의 실제 움직임에 대해 상기 움직임 측정부에 의해 측정된 실제 측정값을 획득하는 단계와,
(c) 상기 (a) 단계에서 획득된 상기 실제 측정값으로부터 최대 측정값과 최소 측정값을 산출하는 단계와,
(d) 상기 (c) 단계에서 산출된 상기 최대 측정값과 상기 최소 측정값을 상기 (a) 단계에서의 상기 제어 목표값에 레이블링하여 학습 데이터를 생성하는 단계를 수행하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제1항에 있어서,
상기 제어 목표값은 목표 속도값 또는 목표 위치값을 포함하며;
상기 실제 측정값은 상기 제어 목표값에 대응하여 실제 속도값 또는 실제 위치값을 포함하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제2항에 있어서,
상기 제어 목표값은 목표 가속도값을 더 포함하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제3항에 있어서,
상기 제어 목표값과 상기 실제 측정값은 상기 로봇 관절의 동작에 따른 시계열적인 데이터이며;
상기 최대 측정값 및 상기 최소 측정값은 시계열적인 데이터로 산출되는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제4항에 있어서,
상기 데이터 생성부는 상기 (c) 단계에서
(c1) 시계열적인 상기 실제 측정값으로부터 슬라이딩 윈도우 기법에 따라 기 설정된 윈도우 단위로 단위 최대값 및 단위 최소값을 추출하는 단계와,
(c2) 상기 윈도우 단위로 추출된 상기 단위 최대값 및 상기 단위 최소값을 이동 평균 기법에 적용하여 시계열적인 상기 최대 측정값 및 상기 최소 측정값을 산출하는 단계를 수행하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제5항에 있어서,
상기 충돌범위 예측부는
상기 데이터 생성부에 의해 생성된 상기 학습 데이터를 이용하여 상기 학습 모델을 학습시키는 학습 모드와, 실제 운용 중에 상기 학습 모델에 의해 충돌범위가 예측되는 예측 모드로 동작하고;
상기 학습 모델은 상기 예측 모드에서 상기 관절 구동부의 제어 목표값을 입력받아 예측 최대값 및 예측 최소값을 상기 충돌범위로 출력하며;
상기 충돌 판단부는 상기 충돌범위 내에 상기 움직임 측정부에 의해 측정된 상기 실제 측정값이 포함되는지 여부에 따라 상기 로봇 관절의 충돌 여부를 판단하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제6항에 있어서,
상기 충돌 범위 예측부는
상기 학습 모드에서 상기 학습 데이터를 전처리하여 상기 학습 모델에 입력하는 전처리부를 더 포함하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제7항에 있어서,
상기 전처리부는
상기 학습 데이터를 정규화하는 정규화 처리부와;
상기 정규화 처리부에 의해 정규화된 학습 데이터를 기 설정된 단위 시간으로 분할하는 데이터 분할부와;
각각의 상기 단위 시간 내의 상기 학습 데이터 중 일부를 샘플링하는 데이터 샘플링부를 포함하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제8항에 있어서,
상기 데이터 샘플링부는
각각의 상기 단위 시간에 샘플링된 학습 데이터에 대해 하나의 최대 측정값 및 최소 측정값으로 레이블링하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제9항에 있어서,
상기 전처리부는 상기 예측 모드에서 상기 관절 구동부의 제어 목표값에 대해 상기 학습 데이터에 대응하는 전처리를 수행하여 상기 학습 모델에 입력하는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
제6항에 있어서,
상기 학습 모델은
상기 (b) 단계의 수행 과정에서 측정된 실제 측정값의 최대값보다 상기 최대 측정값이 크게, 상기 (b) 단계의 수행 과정에서 측정된 실제 측정값의 최소값보다 상기 최소 측정값이 작게 예측되도록 학습되는 것을 특징으로 하는 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템.
로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법에 있어서,
(a) 로봇 관절의 동작을 위한 제어 목표값에 따라 충돌이 없는 상태로 로봇 관절이 동작하는 단계와;
(b) 상기 제어 목표값에 따른 상기 로봇 관절의 실제 움직임에 대한 실제 측정값이 측정되는 단계와;
(c) 상기 실제 측정값이 기 등록된 시퀀스 대역 필터에 적용하여, 최대 측정값과 최소 측정값을 산출하는 단계와;
(d) 상기 최대 측정값과 상기 최소 측정값이 상기 제어 목표값에 레이블링되어 학습 데이터가 생성되는 단계를 포함하는 것을 특징으로 하는 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법.
제12항에 있어서,
상기 제어 목표값은 목표 속도값 또는 목표 위치값을 포함하며;
상기 실제 측정값은 상기 제어 목표값에 대응하여 실제 속도값 또는 실제 위치값을 포함하는 것을 특징으로 하는 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법.
제13항에 있어서,
상기 제어 목표값은 목표 가속도값을 더 포함하는 것을 특징으로 하는 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법.
제14항에 있어서,
상기 제어 목표값과 상기 실제 측정값은 상기 로봇 관절의 동작에 따른 시계열적인 데이터인 것을 특징으로 하는 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법.
제15항에 있어서,
상기 (c) 단계에서 상기 시퀀스 대역 필터는
(c1) 시계열적인 상기 실제 측정값으로부터 슬라이딩 윈도우 기법에 따라 기 설정된 윈도우 단위로 단위 최대값 및 단위 최소값을 추출하는 단계와,
(c2) 상기 윈도우 단위로 추출된 상기 단위 최대값 및 상기 단위 최소값을 이동 평균 기법에 적용하여 시계열적인 상기 최대 측정값 및 상기 최소 측정값을 산출하는 단계를 수행하는 것을 특징으로 하는 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법.