KR20210052182A - 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템 - Google Patents

Abstract

본 발명은 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 시스템에 관한 것으로, 상기 로봇 매니퓰레이터의 복수의 관절에 구비되어 상기 복수의 관절을 각각 구동시키는 관절 구동부, 상기 관절 구동부의 일측에 구비되어 상기 복수의 관절의 각도를 측정하는 엔코더부, 다량의 데이터로 신경망을 학습하여 전처리 연산을 통해 상기 복수의 관절이 외부와 충돌하는 것을 감지하도록 추론하는 신경망 연산부를 포함할 수 있다.

Description

인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템{Collision Detection Method and System of Robot Manipulator Using Artificial Neural Network}

본 발명은 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템에 관한 것으로, 인공신경망을 이용한 학습을 통해 로봇 매니퓰레이터가 충돌을 감지하는 기술에 관한 것이다.

인간의 상지와 유사한 기능을 보유하고, 그 선단부위에 해당하는 기계 손(mechanical hand) 등에 의해 물체를 파지하여 공간적으로 이동시키는 작업 또는 그 선단부위에 부착된 도장용 스프레이 건(spray gun), 용접 토치 등의 공구에 의한 도장, 용접 등의 작업을 실시할 수 있는 것을 말한다. 여기서, 파지는 파악, 흡착, 유지하는 것들을 일컫는다.

인간의 상지와 유사한 것이란 팔(arm)에 손(hand)이 붙어있는 것을 말하지만, 손이 없고 직접 암에 공구가 부착되어 있는 것, 손에 공구를 파지해서 작업을 실시하는 것과 같기 때문에 이것도 인간의 상지와 유사한 것으로 취급할 수 있다.

또, 기계손에는 흡착기, 후크가 포함될 수 있다. 더욱이 인간이 조작하는 매니퓰레이터를 매뉴얼(manual) 매니퓰레이터라 하며, 안전규칙에 벗어나고 있지만 기억장치(고정 시퀀스 제어장치, 가변 시퀀스 제어장치)의 정보에 입각해서 작동하는 매니퓰레이터를 보유하고 있는 것은 산업용 로봇으로 분류하고 있다.

한편, 자동화에 주로 사용되는 6자 유도 로봇 매니퓰레이터는 정밀한 모션제어를 수행할 수 있다. 로봇이 프로그램 된 모션에 따라 동작할 때 작업자와 충돌하게 되면, 로봇은 목적하는 위치로 계속해서 이동하려고 큰 토크를 출력하기 때문에 작업자가 부상을 당할 수 있다. 따라서 로봇과 동일 공간에서 작업하는 작업자의 안전을 보장하기 위해서는 로봇 자체적으로 충돌이 발생하면 이를 감지하여 구동 작업을 중단하는 충돌 감지 기능이 필요하다.

종래의 기술은 로봇이 충돌을 감지하기 위해 관절마다 토크센서를 부착하고, 토크센서에서 측정되는 값을 통해 외부의 충돌을 감지한다. 이를 통해, 민감하게 충돌을 감지할 수 있다. 하지만, 6축 다관절 로봇의 모든 관절에 토크센서를 부착하게 되면 경제적인 문제가 발생할 수 있다.

또한, 종래에도 관절 토크 센서가 없어도 로봇의 동력학과 기구학 정보를 활용하여 외부 충돌을 추정하는 방법들이 다수 제안되었다. 이러한 로봇 동역학 정보나 비선형 함수에 대한 수식을 이용하기 때문에 시스템의 부하가 커지는 문제가 발생될 수 있다.

이와 같은 종래의 문제점들로 인해 종래의 기술들보다 효율적으로 로봇이 충돌을 감지하는 방법과 시스템이 필요한 실정이다.

대한민국 공개특허 제10-2019-0114083호

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 다축이 구비된 로봇이 인공신경망을 통해 충돌 감지에 대한 데이터를 학습하여 민감하게 충돌을 감지하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 시스템에 있어서, 상기 로봇 매니퓰레이터의 복수의 관절에 구비되어 상기 복수의 관절을 각각 구동시키는 관절 구동부; 상기 관절 구동부의 일측에 구비되어 상기 복수의 관절의 각도를 측정하는 엔코더부; 다량의 데이터로 신경망이 학습하여 전처리 연산을 통해 상기 복수의 관절이 외부와 충돌하는 것을 감지하도록 추론하는 신경망 연산부;를 포함하는 것을 특징으로 한다.

여기서, 상기 전처리 연산은 사이클 정규화(Cycle Normalization)를 통해 신경망의 일반화를 수행하는 것을 특징으로 한다.

또, 상기 사이클 정규화는 지정된 다수의 경유점(way point)들을 정의하고, 지정된 경유점 중 첫 번째 경유점부터 마지막 경유점까지 차례대로 거친 후 다시 첫 번째 경유점으로 경로 이동을 하는 것으로 하나의 사이클을 정의하는 것을 특징으로 한다.

아울러, 상기 사이클과 관련한 정보를 저장하는 메모리를 더 포함하고, 정의된 상기 사이클의 전체 신호를 참조 사이클로 정의하여 상기 메모리에 저장하는 것을 특징으로 한다.

또한, 상기 구동 관절부를 제어하기 위해 제어 입력에 관한 신호를 인가 및 연산을 수행하는 제어부를 더 포함하는 것을 특징으로 한다.

또, 상기 신호는 매 제어주기마다 획득되는 관절 각도, 관절 각속도 및 제어토크를 포함하는 것을 특징으로 한다.

아울러, 상기 신호는 상기 신경망의 입력으로 사용하고, 슬라이딩 기법으로 상기 신호의 패턴을 분석하는 것을 특징으로 한다.

또한, 상기 신경망은 신호와 라벨의 쌍으로 이루어진 학습데이터를 기반으로 지도학습(supervised learning)을 통해 충돌신호를 학습하는 것을 특징으로 한다.

또, 상기 신경망은 충돌이 발생하였을 시 True 신호를 출력하고, 충돌이 발생하지 않았을 시 False 신호를 출력하는 이진 신호인 것을 특징으로 한다.

아울러, 상기 충돌신호를 학습하는 것은 복수의 상기 관절의 일측에 구비된 압력센서 또는 FSR(force sensitive resistor)의 접촉을 통해 충돌을 측정하는 것을 특징으로 한다.

또한, 상기 신경망의 층 중에서 마지막 층은 0부터 1 사이의 확률값이며, 상기 신경망의 추론에 따라 상기 확률값이 0.5 이상일 경우 충돌이 발생하는 것으로 판단하는 것을 특징으로 한다.

한편, 상기 목적을 달성하기 위한 본 발명에 따른 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법은 다수의 경유점(way point)들을 정의하여 신경망 연산부가 사이클 정규화를 통해 전처리 연산을 수행하는 단계; 충돌 측정부로부터 충돌신호를 획득하는 단계; 신경망이 충돌신호를 기반으로 학습하는 단계; 학습된 신경망이 실시간으로 충돌을 감지한 신호를 전달하여 제어를 수행하는 단계;를 포함할 수 있다.

본 발명에 따른 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템은 다음과 같은 효과가 있다.

첫째, 성능 변화 없이 민감하게 충돌을 감지할 수 있다. 본 발명에서는 로봇에 인가되는 전류와 로봇제어에 필수적으로 요구되어 관절에 부착된 엔코더가 측정하는 관절 각도 및 관절 각속도만을 이용하여, 실시간 충돌 감지를 수행할 수 있다.

둘째, 경제적이다. 본 발명에서는 관절에 다수의 토크센서를 구비하는 것과 같이 별도의 성능 변화 없이도 실시간 충돌 감지를 수행할 수 있기 때문에 종래와 비교하여 비용이 절감될 수 있다.

도1은 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 시스템이 구비된 로봇 매니퓰레이터의 사시도이다.
도2는 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 시스템에 대한 블록도이다.
도3은 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 방법에 대한 순서도이다.
도4는 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 방법에서 충돌 발생의 여부를 감지하는 흐름에 관한 도면이다.
도5는 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 방법에서 신경망이 학습데이터를 학습하는 과정을 개략적으로 나타낸 도면이다.
도6은 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 시스템과 종래의 모멘텀 옵저버가 충돌을 감지한 것을 실험하여 비교한 결과를 나타낸 도면이다.
도7은 도6에 도시된 실험에서 모멘텀 옵저버의 충돌감지에 대한 경계값을 감소시켜 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 시스템과 실험하여 비교한 결과를 나타낸 도면이다.

이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.

<로봇 매니퓰레이터 충돌 감지 시스템>

도1은 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 시스템이 구비된 로봇 매니퓰레이터의 사시도이고, 도2는 본 발명의 실시예에 따른 로봇 매니퓰레이터의 충돌을 감지하는 시스템에 대한 블록도이다.

도1 및 도2에 도시된 바와 같이, 본 발명의 실시예에 따른 로봇 매니퓰레이터(200)의 충돌을 감지하는 시스템이 구비된 로봇 매니퓰레이터(200)는 다수의 관절 또는 축이 구비되어 있고, 다수의 관절은 각각 마련된 회전축을 기준으로 회전하는 것으로 작동할 수 있다.

또한, 로봇 매니퓰레이터(200) 충돌 감지 시스템(100)은 관절 구동부(110), 엔코더부(120), 신경망 연산부(130), 제어부(140) 및 충돌 측정부(150)를 포함할 수 있다.

관절 구동부(110)는 로봇 매니퓰레이터(200)가 작동할 수 있도록 관절을 구동시키는 구성이다. 이러한 관절 구동부(110)는 예를 들어 모터가 설치될 수 있고, 로봇 매니퓰레이터(200)를 형성하는 복수의 관절에 각각 복수로 구비될 수 있다. 관절 구동부(110)는 제어부(140)에서 전송하는 신호에 따라 관절을 구동시킬 수 있다. 여기서, 관절을 제어하는데 포함되는 신호는 관절 각도에 관한 신호, 관절 각도로부터 제어부(140)의 연산을 통해 획득된 관걸 각속도 및 제어 오차에 관한 신호, 관절 모터에 인가되는 전류 신호이다. 이러한 관절을 제어하는데 포함되는 신호는 로봇 신호로도 칭할 수 있다.

엔코더부(120)는 관절 구동부(110)의 일측에 구비되어 관절의 각도를 측정하는 구성이다.

신경망 연산부(130)는 신경망이 구비되어 있고, 학습데이터를 기반으로 신경망이 충돌신호에 관한 학습을 수행하며, 학습된 신경망이 실시간으로 입력된 신호를 추론하여 충돌을 감지하는 구성이다. 이러한 신경망 연산부(130)는 예를 들어 GPGPU(General-Purpose computing on Graphics Processing Units)로 구성될 수 있다. 또한, 신경망 연산부(130)는 학습된 신경망이 충돌을 추론할 시 충돌에 대한 감지를 원활히 하기 위해 전처리 연산을 거칠 수 있다. 이 때 전처리 연산에는 사이클 정규화(Cycle Normalization)를 통해 신경망의 일반화 성능을 향상시킬 수 있다. 신경망이 일반화(Generalization)를 달성하지 못할 경우 로봇 매니퓰레이터(200)의 모션이 변경되거나, 로봇 매니퓰레이터(200)가 들고 있는 물체의 무게가 변경될 경우 충돌에 대한 감지 성능이 변경되어 신뢰도가 감소할 수 있지만, 본 발명과 같이 사이클 정규화를 통해 일반화 성능을 향상시킨다면, 로봇 매니퓰레이터(200)의 모션(예를 들어 로봇 매니퓰레이터(200)의 속도 및 경로), 로봇 매니퓰레이터(200)가 들고 있는 물체의 무게가 변경되더라도 신경망의 충돌에 대한 감지 성능은 높은 수준으로 유지될 수 있다.

제어부(140)는 로봇 매니퓰레이터(200)에게 제어 입력을 인가해주고 연산을 수행할 수 있다. 여기서, 제어 입력에는 전류, 토크 등이 포함될 수 있다.

<충돌 감지를 위한 전체 과정>

이하에서는 도면을 통해 로봇 매니퓰레이터(200)가 충돌을 감지하는 방법에 대해 설명하기로 한다.

도3은 본 발명의 실시예에 따른 로봇 매니퓰레이터(200)의 충돌을 감지하는 방법에 대한 순서도이다.

도3에 도시된 바와 같이, 본 발명에서 로봇 매니퓰레이터(200)의 충돌을 감지하는 방법은 최초에 다수의 경유점(way point)들을 정의하여 신경망 연산부(150)가 사이클 정규화를 통해 전처리 연산을 수행한다.<S30>

이후 충돌 측정부(150)로부터 충돌신호를 획득한다.<S31>

다음으로, 신경망이 충돌신호를 기반으로 학습한다.<S32>

마지막으로, 학습된 신경망이 실시간으로 충돌을 감지한 신호를 전달하여 제어를 수행한다.<S33>

이와 같은 전체적인 과정을 통해 본 발명에 따른 로봇 매니퓰레이터(200)는 충돌을 학습하고, 이후 실시간으로 충돌을 감지하여 관절에 대한 제어를 수행할 수 있다.

<사이클 정규화>

이하에서는 도면을 통하여 전처리 연산 과정인 사이클 정규화에 대한 설명을 이어가기로 한다.

도4는 본 발명의 실시예에 따른 로봇 매니퓰레이터(200)의 충돌을 감지하는 방법에서 충돌 발생의 여부를 감지하는 흐름에 관한 도면이다.

도4에 도시된 바와 같이, 본 발명에서는 충격 또는 충돌을 감지하여 관절을 제어하는 로봇 신호를 전달하기 전에 사이클 정규화라는 전처리 과정을 거치게 된다. 사이클 정규화는 신경망을 전처리하여 일반화 성능을 향상시킴으로써, 로봇의 모션 (로봇의 속도 및 경로), 로봇이 들고있는 물체의 무게가 바뀐다 할지라도 신경망의 충돌감지 성능은 높은 수준으로 유지시킬 수 있다.

구체적으로, 로봇의 모션 프로그램은 사용자가 지정한 다수개의 경유점 (waypoint)들을 차례로 경유하는 것으로 정의하였을 때, 지정된 경유점 중 첫 번째 경유점부터 마지막 경유점까지 차례대로 거친 후 다시 첫 번째 경유점으로 경로이동을 하는 것을 하나의 사이클로 정의한다.

예를 들어, 경유점이 3개라고 가정하였을 때, 로봇 매니퓰레이터(200)의 동작은 1번 경유점부터 시작하여 2, 3번 경유점을 거쳐 다시 1번 경유점까지 도달하는 경로를 사이클로 정의할 수 있다. 따라서 자동화를 위해 반복적인 작업을 하는 로봇 매니퓰레이터(200)는 사이클을 반복하는 것을 의미한다.

로봇 매니퓰레이터(200)의 경유점을 최초 프로그래밍하고 이를 실행할 때, 첫 번째 사이클 모션을 수행하는 동안 제어부(140)는 첫 사이클의 전 구간에서의 로봇 신호를 제어부(140) 내에 구비된 메모리에 저장하며, 이와 같이 사이클 전체의 신호를 저장한 사이클을 참조 사이클(reference cycle)이라고 정의할 수 있다. 아울러, 참조 사이클 이후의 사이클은 실시 사이클(execution cycle)이라고 정의할 수 있다.

최초 로봇 프로그램이 작성되면 사이클의 크기는 일정 크기로 고정되며, 이 크기는 제어 주기와 모션의 길이에 의해 결정될 수 있다. 예를 들어, 임의의 로봇 프로그램이 주어진 경유점을 모두 경유하는데 2초의 시간이 소요되고, 로봇 매니퓰레이터(200)의 제어 주기가 4000Hz(초당 4000회 씩 제어)라고 하였을 때, 2초 동안 총 8,000번의 제어 연산을 수행하여 로봇 신호를 획득하고 저장하므로, 해당 모션의 사이클 크기는 8,000이다. 이에 따라, 8,000개의 로봇 신호를 참조 사이클로 구성하여 메모리에 저장할 수 있다. 로봇 매니퓰레이터(200)는 프로그램에 정의된 대로 반복적인 작업을 수행하므로 로봇 프로그램을 수정하지 않는 한 참조 사이클과 실시 사이클의 크기는 동일할 것이다. 그러나 실시간 운영체제의 제어주기 연산 오차로 인해 실제 구동 시에는 참조 사이클과 실시 사이클의 크기에 +5, -5 정도의 오차가 발생할 수 있다.

로봇 신호에 대해 보다 상세하게 설명하기로 한다. 예를 들어, 6자유도 로봇 매니퓰레이터(200)에 대해 적용한다고 하였을 때, 제어부(140)를 통해 매 제어주기마다 획득되는 관절 각도를

, 관절 각속도를

, 그리고 로봇에 인가되는 제어토크를

이라고 가정한다.

이 때 로봇 신호는 관절 각도에 대한 신호, 관절 각속도에 관한 신호들을 전부 포함하는 것이며, 수학식 벡터

로 정의할 수 있다. 로봇 신호는 자유도에 따라 가변적인 것뿐만 아니라 제어부(140)의 연산을 통해 획득되는 별도 신호 또한 로봇 신호로 추가할 수 있다. 예를 들어, 목표 관절 각도

와 관절각 오차

등도 로봇 신호에 포함되거나 제외될 수 있다.

여기서 시간 변수를 t 라고 할 때, 현재 시각에서의 로봇 신호는 x_t로 표현한다. 로봇 신호는 신경망의 입력으로 사용되며 신경망이 로봇 신호의 패턴을 분석할 수 있도록 슬라이딩 윈도우(sliding window) 기법을 적용할 수 있다. 슬라이딩 윈도우의 크기를 W라고 가정할 경우, 슬라이딩 윈도우가 적용된 로봇 신호는 아래 수학식과 같이 표현 될 수 있다.

이는 현재 시각 기준으로 과거 W개의 데이터를 포함하는 것을 의미한다. 로봇 매니퓰레이터(200)의 제어는 이산시간(discrete time)으로 이루어지기 때문에 시간변수 t 를 사이클 내의 위치를 나타내는 인덱스로 표현할 수 있다.

앞서 예시와 같이 로봇 매니퓰레이터(200)의 모션이 2초간 8,000번의 제어를 통해 수행되는 실시 사이클에서 크기 200의 슬라이딩 윈도우를 적용한다고 가정한다. 이 때 현재 시각은 사이클 시작을 기준으로 2,000번째 제어주기가 시작되는 시각일 경우 실시 사이클에서의 로봇 신호는 아래와 같이 표현할 수 있다.

이는 현재 시각을 기준으로 현재를 포함한 과거 W개의 로봇 신호를 연결한 것이며, 이를 위해 W보다 많은 과거 데이터를 일시적으로 메모리에 저장해야 매 시각 슬라이딩 윈도우 신호를 획득할 수 있다.

참조 사이클에 슬라이딩 윈도우를 적용할 경우에는 전체 사이클의 로봇 신호가 저장되어 있으므로 저장된 로봇 신호 중 1801번째부터 2000번째 신호를 추출하면 참조 사이클에 대한 슬라이딩 윈도우 로봇 신호를 획득할 수 있으며, 이는 아래와 같이 표현할 수 있다.

이 때 사이클 정규화는 동일한 타이밍에서의 참조 사이클과 실시 사이클의 로봇 신호의 차로 표현되며, 이는 아래 수학식으로 표현될 수 있다.

이 때

은 사이클 시작 인덱스를 0이라 하였을 때 t 번째 시각에서의 최종 사이클 정규화 로봇 신호이며, 이는 신경망의 입력으로 사용된다.

이와 같이 사이클 정규화는 실시 사이클에서 참조 사이클에서의 모션과의 신호차를 통해 실시간으로 신호 정규화를 수행하며, 이를 통해 모션의 경유점, 로봇 매니퓰레이터(200)의 속도, 로봇 매니퓰레이터(200)의 무게 등이 바뀐다 할지라도 정규화된 신호 패턴은 일정하게 유지될 수 있기 때문에 신경망의 일반화 성능을 향상시킬 수 있다.

<신경망 학습>

또한, 신경망이 학습데이터를 기반으로 학습하는 과정을 도면을 통해 상세하게 설명하기로 한다.

도5는 본 발명의 실시예에 따른 로봇 매니퓰레이터(200)의 충돌을 감지하는 방법에서 신경망이 학습데이터를 학습하는 과정을 개략적으로 나타낸 도면이다.

도5에 도시된 바와 같이, 본 발명에서 신경망은 신호와 라벨의 쌍으로 이루어진 학습데이터를 기반으로 지도학습(supervised learning)을 통해 충돌신호를 학습할 수 있다. 지도학습은 신호와 라벨의 쌍으로 이루어진 데이터를 통해 신경망에게 주어진 신호에 대한 정답을 반복적으로 알려줌으로써 학습시키는 방법이다.

또한, 본 발명에서 충돌에 대한 감지의 목적은 알고리즘 측면에서 충돌이 발생했는지의 유무를 판단하는 것이다. 이는 True, False로 나타낼 수 있는 이진 신호이다. 따라서 신경망은 충돌이 발생했을 때 True 신호를 출력하고, 충돌이 발생하지 않았을 때는 False 신호를 출력하도록 학습될 수 있다.

본 발명에서는 종래의 기술과 비교하여 추가적인 센서를 사용하지 않는 것이 차이점이긴 하나, 학습데이터를 획득하는 과정에서는 관절의 일측에 충돌 측정부(150)를 구비하여 접촉을 통해 충돌에 대한 신호를 획득할 수 있다. 이러한 충돌 측정부(150)는 예를 들어 압력센서 또는 FSR(force sensitive resistor)이 구비될 수 있고, 접촉을 통해 온-오프 됨에 따라 충돌을 측정할 수 있다.

충돌 측정부(150)는 제어부(140)와 연결된 상태이고, 제어부(140)가 로봇 매니퓰레이터(200)의 제어 연산 시 충돌 측정부(150)의 신호를 로봇 신호와 동기화 하여 획득할 수 있고, 로봇 매니퓰레이터(200)의 관절에서 임의의 부위에 부착한 후 프로그램에 따라 반복적으로 작동될 수 있다.

로봇 매니퓰레이터(200)가 동작하는 동안, 예를 들어 관절에 부착된 충돌 측정부(150)에 손이나 도구를 이용하여 충격을 가하게 되면, 충돌 측정부(150)를 통해 관절에 가해지는 충돌 신호가 획득될 수 있다.

또한, 관절의 모션 프로그램, 충돌 측정부(150)의 부착위치, 모션 내에서 충돌이 발생하는 타이밍을 무작위로 하여 반복해서 로봇 신호와 충돌 신호를 획득될 수 있다.

이 때 획득된 신호 중 충돌 측정부(150)의 신호를 y로 표면하고, 충돌 신호로 정의할 수 있다. 현재 시각에서의 충돌신호를

라고 하였을 때, 신경망을 학습시키기 위한 신호-라벨 데이터 쌍은

로 정의할 수 있다.

학습데이터를 충분히 획득한 후 신경망을 지도학습 방법을 통해 학습시키는데, 이 때 사용된 신경망 또는 인공신경망은 콘볼루션 신경망 (Convolution neural network) 형태이다. 이는 종래에 일반적으로 이용되는 백 프로파게이션(back propagation) 방법을 통해 신경망을 학습하는 것이며, 손실함수는 분류기(classification)를 학습시키는데 주로 이용되는 이진 크로스엔트로피(binary cross-entropy)를 이용할 수 있다.

<실시간 신경망 추론>

아울러, 실시간 신경망 추론을 통해 로봇 매니퓰레이터(200)가 동작하는 중에 실시간으로 충돌감지를 수행할 수 있다. 최초 사용자가 로봇 매니퓰레이터(200)를 구동하는 프로그램을 프로그래밍 하여 몇 개의 경유점을 지정한다고 하였을 때, 해당 경유점을 반복적으로 방문하는 로봇 매니퓰레이터 프로그램이라고 가정하기로 한다.

이 때 첫 번째 사이클은 참조 사이클로써 참조 사이클의 모션을 수행하는 동안 앞서 설명한 바와 같이 제어부(140) 내부에 전체 사이클 구간의 로봇 신호를 메모리에 저장할 수 있다. 이러한 상황에서는 충돌이 발생하지 않아야 한다.

참조 사이클에서 충돌감지는 종래의 방법을 이용하여 충돌감지를 수행하며, 종래의 방법으로 참조 사이클에서 충돌감지가 되었을 때에는 다음 사이클을 다시 참조 사이클로서 새로이 로봇신호를 저장한다. 참조 사이클에서 충돌이 없이 정상적으로 사이클의 모든 로봇신호가 저장되면, 다음으로 실시 사이클이 수행된다.

실시 사이클부터 제어부(140)는 로봇 신호를 정해진 슬라이딩 윈도우 크기만큼 메모리에 저장을 한다. 사이클 정규화를 적용한 로봇 신호는 사전에 학습된 신경망의 입력이 되며, 신경망은 이를 이용하여 추론연산을 수행한다.

추론연산의 결과는 도5에 도시된 바와 같이, 신경망의 마지막 층이 Sigmoid 이기 때문에 0부터 1사이의 확률값이 되며, 확률값이

보다 높을 경우 충돌이 발생한 것으로 설정할 수 있다. 이 때 일반적인

은 0.5이지만, 실시예에 따라 0.6 또는 0.7이 적용될 수도 있다.

추론연산을 통해 충돌 유무를 판단하고 충돌이 발생했을 경우 제어부(140)는 안전 정지 기능을 수행하도록 한다. 안전정지는 충돌 발생 시 일반적인 로봇 반응이며, 실시 방법에 따라 다양한 로봇 반응을 설정할 수 있다.

<로봇 매니퓰레이터 충돌 감지 시스템의 실험결과>

이하에서는 본 발명에 따른 로봇 매니퓰레이터(200) 충돌 감지 시스템(100)과 종래의 모멘텀 옵저버를 통한 충돌 감지 시스템에 관해 비교한 실험결과를 설명하기로 한다.

도6은 본 발명의 실시예에 따른 로봇 매니퓰레이터(200)의 충돌을 감지하는 시스템과 종래의 모멘텀 옵저버가 충돌을 감지한 것을 실험하여 비교한 결과를 나타낸 도면이고, 도7은 도6에 도시된 실험에서 모멘텀 옵저버의 충돌감지에 대한 경계값을 감소시켜 본 발명의 실시예에 따른 로봇 매니퓰레이터(200)의 충돌을 감지하는 시스템과 실험하여 비교한 결과를 나타낸 도면이다.

도6 및 도7에 도시된 바와 같이, 본 발명에서 제안하는 사이클 정규화와 신경망을 이용한 충돌감지 알고리즘을 종래의 방법과 비교하는 실험을 수행하였다. 앞서 언급한 로봇 충돌감지의 성능평가 중 허위부정, 허위긍정 및 충돌감지 정확도 항목을 종래 방법과 비교하였다. 센서를 사용하지 않고 충돌감지를 수행하는 종래 방법은 모멘텀 옵저버 (momentum-based observer)를 통해 외력을 추정한 후, 추정된 외력이 미리 설정한 충돌감지 경계값 이상이 되었을 때 충돌감지를 하는 방법이다. 이는 모멘텁 옵저버 기반의 충돌감지라고 한다(이하 MOD, Momentum-based Observer-based collision Detector). 일반적으로, 상용 로봇과 로봇연구를 수행하는 연구자들이 일반적으로 많이 이용하는 방법이다.

충돌감지 경계값은 낮을수록 민감한 충돌감지를 할 수 있는 반면, 경계값이 낮음으로 인해 허위긍정이 발생할 수도 있다. 공평한 실험을 위해 종래 방법의 충돌감지 경계값을 허위긍정이 발생하지 않는 범위에서의 최소값으로 설정하였다. 이 때 종래 방법과 본 발명에서 제안하는 방법의 충돌감지 정확도와 민감도를 실험적으로 비교하였다.

도6은 앞서 설명한 바에 대한 실험결과를 나타낸다. 본 실험에서는 6자유도 로봇 매니퓰레이터(200)에 본 발명에서 제안하는 충돌감지를 적용하였으며, 종래의 모멘텀 옵저버 기반의 충돌감지를 동일한 시스템에 적용하였다. MOD의 충돌감지 경계값을 허위긍정이 발생하지 않는 최소값으로 하였을 때에도 제안하는 충돌감지가 종래의 MOD 보다 더 빠르고, 민감하게 충돌을 인식하는 것을 확인할 수 있다.

이 때 MOD의 경계값을 보다 낮게 설정하여 좀 더 종래의 방법이 민감하게 충돌을 감지하도록 한다면, 도7에서와 같이 허위긍정이 발생하며, 이 때 본 발명에서 제안하는 방법은 허위긍정이 발생하지 않음을 확인할 수 있다. 이를 통해 종래의 MOD와 비교하였을 때 본 발명에서 제안하는 신경망 기반의 방법이 충돌감지의 민감도와 허위부정에 대한 강인성이 높음을 확인할 수 있다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.

100 : 로봇 매니퓰레이터 충돌 감지 시스템
110 : 관절 구동부
120 : 엔코더부
130 : 신경망 연산부
140 : 제어부
150 : 충돌 측정부
200 : 로봇 매니퓰레이터

Claims (12)

1. 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 시스템에 있어서,
   상기 로봇 매니퓰레이터의 복수의 관절에 구비되어 상기 복수의 관절을 각각 구동시키는 관절 구동부;
   상기 관절 구동부의 일측에 구비되어 상기 복수의 관절의 각도를 측정하는 엔코더부;
   다량의 데이터로 신경망이 학습하여 전처리 연산을 통해 상기 복수의 관절이 외부와 충돌하는 것을 감지하도록 추론하는 신경망 연산부;를 포함하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
2. 제1항에 있어서,
   상기 전처리 연산은 사이클 정규화(Cycle Normalization)를 통해 신경망의 일반화를 수행하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
3. 제2항에 있어서,
   상기 사이클 정규화는 지정된 다수의 경유점(way point)들을 정의하고,
   지정된 경유점 중 첫 번째 경유점부터 마지막 경유점까지 차례대로 거친 후 다시 첫 번째 경유점으로 경로 이동을 하는 것으로 하나의 사이클을 정의하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
4. 제3항에 있어서,
   상기 사이클과 관련한 정보를 저장하는 메모리를 더 포함하고,
   정의된 상기 사이클의 전체 신호를 참조 사이클로 정의하여 상기 메모리에 저장하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
5. 제1항에 있어서,
   상기 관절 구동부를 제어하기 위해 제어 입력에 관한 신호를 인가 및 연산을 수행하는 제어부를 더 포함하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
6. 제5항에 있어서,
   상기 신호는 매 제어주기마다 획득되는 관절 각도, 관절 각속도 및 제어토크를 포함하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
7. 제6항에 있어서,
   상기 신호는 상기 신경망의 입력으로 사용하고,
   슬라이딩 기법으로 상기 신호의 패턴을 분석하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
8. 제1항에 있어서,
   상기 신경망은 신호와 라벨의 쌍으로 이루어진 학습데이터를 기반으로 지도학습(supervised learning)을 통해 충돌신호를 학습하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
9. 제8항에 있어서,
   상기 신경망은 충돌이 발생하였을 시 True 신호를 출력하고, 충돌이 발생하지 않았을 시 False 신호를 출력하는 이진 신호인 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
   
10. 제8항에 있어서,
    상기 충돌신호를 학습하는 것은 복수의 상기 관절의 일측에 구비된 압력센서 또는 FSR(force sensitive resistor)의 접촉을 통해 충돌을 측정하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
    
11. 제8항에 있어서,
    상기 신경망의 층 중에서 마지막 층은 0부터 1 사이의 확률값이며,
    상기 신경망의 추론에 따라 상기 확률값이 0.5 이상일 경우 충돌이 발생하는 것으로 판단하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.
    
12. 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법에 관한 것으로,
    다수의 경유점(way point)들을 정의하여 신경망 연산부가 사이클 정규화를 통해 전처리 연산을 수행하는 단계;
    충돌 측정부로부터 충돌신호를 획득하는 단계;
    신경망이 충돌신호를 기반으로 학습하는 단계;
    학습된 신경망이 실시간으로 충돌을 감지한 신호를 전달하여 제어를 수행하는 단계;를 포함하는 것을 특징으로 하는 로봇 매니퓰레이터의 충돌을 감지하는 시스템.

Images