KR20220091049A - 조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법 - Google Patents

Abstract

본 발명은 조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법에 관한 것으로, 슬라이더 섭동 관측기를 통해 엔코더 정보를 이용해 로봇의 조립력을 추정하는 조립력 추정 단계;와 조립환경에서 설정된 상기 추정된 조립력을 기반으로 로봇의 말단 위치를 결정하는 강화학습 단계;와 상기 추정된 조립력 기반 강화학습을 이용한 부품 조립 단계;를 포함하며 상기 부품 조립 단계는, 카메라를 이용해 부품 위치를 인식하는 위치 인식 단계;와 로봇핸드의 파지 위치 또는 목표 위치를 계산하는 위치 계산 단계;와 로봇의 궤적 생성 단계;와 로봇 말단부 위치를 제어하고 조립력을 추정해 부품을 조립하는 제어 및 조립 단계;를 포함하는 조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법이 개시된다.

Description

조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법 {Part assembly method of dual-arm robot using reinforcement learning based on assembly force estimation}

본 발명은 로봇과 로봇을 이용한 부품 조립 방법에 관한 것으로, 보다 상세하게는 슬라이딩 섭동 관측기를 통해 추정한 조립력 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법에 관한 것이다.

기존의 조립로봇은 대부분 힘센서를 사용하지 않고 상황에 따라 적절한 값을 사용자가 수동으로 세팅하여 사용하거나 이러한 기능이 없는 경우도 대부분이다. 그러나 산업 현장에서 조립로봇의 말단부에 작용하는 힘을 측정하는 기능을 추가하는 것은 보다 범용적인 조립로봇의 활용을 위하여 매우 중요한 요소라고 할 수 있다. 조립력의 측정을 위해서 조립로봇의 말단부에 힘센서를 부착하는 것은 어려운 기술이 아니지만 이러한 방법은 추가적인 비용을 소모하고, 말단부에 부착되는 센서의 위치에 따라 부품의 원활한 조립이 어려울 수 있거나 센서의 잦은 파손을 유발하는 단점이 있다.

상기 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.

이에 본 발명은 상기와 같은 종래의 문제점을 해소하기 위해 제안된 것으로, 로봇의 말단부의 조립력을 소프트웨어적으로 추정하고, 추정된 조립력 기반 강화학습을 이용한 부품 조립 방법으로, 슬라이딩 섭동 관측기(Sliding Perturbation Observer) 알고리즘을 활용해 모터에 부착된 엔코더의 위치 정보만으로 조립력을 추정하고, 추정된 조립력을 기반으로 강화학습을 이용한 양팔로봇의 부품 조립 방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법은,

슬라이딩 섭동 관측기를 통해 엔코더 정보를 이용해 로봇의 조립력을 추정하는 조립력 추정 단계;와 조립환경에서 설정된 추정된 조립력을 기반으로 로봇암의 말단 위치를 결정하는 강화학습 단계;와 추정된 조립력 기반 강화학습을 이용한 부품 조립 단계;를 포함하며 부품 조립 단계는 카메라를 이용해 부품 위치를 인식하는 위치 인식 단계;와 로봇핸드의 파지 위치 또는 목표 위치를 계산하는 위치 계산 단계;와 로봇 말단부 위치를 제어하고 조립력을 추정해 부품을 조립하는 제어 및 조립 단계;를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 슬라이딩 섭동 관측기(Sliding Perturbation Observer)는 기존의 여러 연구를 통하여 신뢰성 있는 성능을 보장하고 있다. 소프트웨어적으로 조립로봇의 말단부에 작용하는 조립력을 추정할 수 있다면 복잡한 하드웨어의 구성이나 추가적인 비용 없이 우수한 성능의 조립로봇을 제작할 수 있을 것이다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 슬라이딩 섭동 관측기(Sliding Perturbation Observer)를 활용한 조립력 추정 방법을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 강화학습을 이용한 양팔로봇의 부품조립방법을 도시한 도면이다.

첨부한 도면을 참조하여 본 발명의 실시예들에 의한 조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변환을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 “연결된다” 거나 “접속된다” 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “부”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.

이하, 첨부된 도면을 참조하여 다양한 실시 형태에 따른 조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법을 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 슬라이딩 섭동 관측기(Sliding Perturbation Observer)를 활용한 조립력 추정 방법을 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 강화학습을 이용한 양팔로봇의 부품조립방법을 도시한 도면이다.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법은 조립력 추정 단계, 강화학습 단계 및 부품 조립 단계를 포함할 수 있다.

도 1에서 도시하고 있는 것과 같이, 로봇의 말단부에 작용하는 조립력에 대한 정보를 얻을 수 있는 방법으로 소프트웨어적으로 조립력을 추정하는 알고리즘을 활용할 수 있다.

조립력 추정 단계에서는 슬라이더 섭동 관측기(Sliding Perturbation Observer)를 통해 엔코더 정보를 이용해 로봇의 조립력을 추정할 수 있으며, 보다 상세하게는 슬라이딩 섭동 관측기(Sliding Perturbation Observer)는 알고리즘 적으로 로봇암 제어용 컴퓨터에 코딩해서 별도의 힘센서 없이 엔코더 정보만 이용하여 로봇에 작용하는 조립력을 추정할 수 있다.

강화학습 단계에서는 조립환경에서 설정된 슬라이딩 섭동 관측기(Sliding Perturbation Observer)를 이용해 추정된 조립력을 기반으로 로봇의 말단 위치를 결정할 수 있다.

강화학습은 로봇이 환경에서 얻은 보상을 기반으로 행동을 결정하는 머신러닝 알고리즘으로, 여기서 환경은 조립환경을 말하며, 행동은 로봇암의 말단부 위치라고 할 수 있다.

본 발명에서는 로봇에 주어지는 보상을 슬라이딩 섭동 관측기(Sliding Perturbation Observer)에서 추정한 조립력을 기반으로 설정하며, 로봇암을 이용한 조립 작업 중에 슬라이딩 섭동 관측기(Sliding Perturbation Observer)에서 과도한 조립력이 발생한다면, 보상에 마이너스 점수를 얻으며, 이러한 학습 과정이 충분히 반복된다면, 로봇암은 물체와 강하게 충돌하지 않는 방향으로 또는 조립력이 강하게 발생하지 않도록 학습하여 최적의 조립 경로를 찾아낼 수 있다.

도 2에서 도시하고 있는 것과 같이, 강화학습을 이용한 양팔로봇의 부품 조립 단계는 위치 인식 단계와 위치 계산 단계 및 제어 및 조립 단계를 포함할 수 있다.

위치 인식 단계는 카메라를 이용해 부품 위를 인식하며, 보다 상세하게는 부품의 중심점 위치 좌표를 인식하는 단계이다.

위치 계산 단계는 로봇핸드의 파치 위치 또는 목표 위치를 계산하는 단계로, 물체 파지 시에는 부품 파지를 위한 로봇의 핸드의 파지 위치를 계산하며, 부품 조립 시에는 강화학습 기반의 물체 조립을 위한 목표 위치를 계산한다. 이 때 두 경우 모두 로봇 7축 말단부의 위치를 계산한다.

로봇 궤적 생성 단계는 위치 계산 단계에서 산출된 위치를 기반으로 로봇 각 축의 기준 각도를 입력하여 역기구학을 통해 로봇의 궤적을 생성하는 단계이다.

제어 및 조립 단계는 로봇 말단부 위치를 제어하고 조립력을 추정해 부품을 조립하는 단계이며, 로봇을 조립 시작 위치로 이동시키거나 조립을 완료하고 원점으로 복귀를 하는 단계이다.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식 을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (1)

1. 슬라이더 섭동 관측기를 통해 엔코더 정보를 이용해 로봇의 조립력을 추정하는 조립력 추정 단계;와
   조립환경에서 설정된 상기 추정된 조립력을 기반으로 로봇의 말단 위치를 결정하는 강화학습 단계;와
   상기 추정된 조립력 기반 강화학습을 이용한 부품 조립 단계;를 포함하며
   상기 부품 조립 단계는,
   카메라를 이용해 부품 위치를 인식하는 위치 인식 단계;와
   로봇핸드의 파지 위치 또는 목표 위치를 계산하는 위치 계산 단계;와
   로봇의 궤적 생성 단계;와
   로봇 말단부 위치를 제어하고 조립력을 추정해 부품을 조립하는 제어 및 조립 단계;를 포함하는
   조립력 추정 기반 강화학습을 이용한 양팔로봇의 부품 조립 방법.

Images