KR102239186B1 - 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법 - Google Patents

인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법 Download PDF

Info

Publication number
KR102239186B1
KR102239186B1 KR1020190090793A KR20190090793A KR102239186B1 KR 102239186 B1 KR102239186 B1 KR 102239186B1 KR 1020190090793 A KR1020190090793 A KR 1020190090793A KR 20190090793 A KR20190090793 A KR 20190090793A KR 102239186 B1 KR102239186 B1 KR 102239186B1
Authority
KR
South Korea
Prior art keywords
robot
motion model
artificial intelligence
neural network
deep neural
Prior art date
Application number
KR1020190090793A
Other languages
English (en)
Other versions
KR20210012672A (ko
Inventor
이상형
조남준
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190090793A priority Critical patent/KR102239186B1/ko
Publication of KR20210012672A publication Critical patent/KR20210012672A/ko
Application granted granted Critical
Publication of KR102239186B1 publication Critical patent/KR102239186B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 로봇 매니퓰레이터의 자동 제어 기술에 관한 것으로서, 상세하게는 강화학습을 통해 최적화된 동작모델에 근거해 인공신경망을 학습시켜 만든 인공지능 기반의 모델을 이용하여 로봇 매니퓰레이터의 작업수행 과정을 자동 제어하는 시스템 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 인공지능 기반의 모델 생성 방법은, 로봇의 작업수행 과정을 자동 제어하기 위한 인공지능 기반의 모델을 생성하는 방법으로서, 작업자의 작업수행정보를 입력받아 초기 동작모델을 생성하는 단계와, 상기 생성한 초기 동작모델에 따라 로봇의 작업수행 중에 획득한 작업수행 영상, 로봇 배치정보 및 상기 초기 동작모델의 로봇 제어신호를 학습 데이터로 입력받아 심층신경망을 학습시키는 단계와, 상기 학습된 심층신경망으로부터 출력된 로봇 제어신호를 입력받아 새로운 동작모델을 생성하는 단계와, 강화학습에 의해 상기 새로운 동작모델을 최적화하는 단계를 포함한다.

Description

인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법{System and method for automatic control of robot manipulator based on artificial intelligence}
본 발명은 로봇 매니퓰레이터의 자동 제어 기술에 관한 것으로서, 상세하게는 강화학습을 통해 최적화된 동작모델에 근거해 인공신경망을 학습시켜 만든 인공지능 기반의 모델을 이용하여 로봇 매니퓰레이터의 작업수행 과정을 자동 제어하는 시스템 및 방법에 관한 것이다.
스마트 공장이 확산 보급됨에 따라 로봇 매니퓰레이터의 필요성이 증가하고 있으나, 다품종 소량 생산 체제로 점차 변화되면서 로봇 매니퓰레이터의 활용에 있어서 문제가 발생하고 있다.
현재 로봇 전문가가 로봇 매니퓰레이터의 작업 프로그램을 생성하고 있는데, 로봇 작업에 변화가 생기면 다시 별도의 프로그램을 만들어야 하는 불편함이 있다.
종래 로봇 매니퓰레이터의 작업 소프트웨어를 제작하기 위해서는 먼저 로봇 전문가가 수행작업을 분석한 후, 로봇 매니퓰레이터의 작업 수행을 위한 인식 프로그램 및 조작 제어 프로그램을 제작한다. 그리고 여기에서 끝나는 것이 아니라 제작한 프로그램을 현장에 설치할 때 작업 수행을 위한 파라미터 튜닝 작업을 해야 한다.
특히 로봇 매니퓰레이터가 이종 작업을 수행하는 경우 상기 단계를 반복적으로 수행해야 하므로 막대한 시간과 비용이 소요되는 문제점이 있다.
미국등록특허 제10235192호
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 로봇 매니퓰레이터의 작업 수행을 위한 소프트웨어를 적은 시간과 비용으로 제작하는 것이다.
본 발명의 다른 목적은 로봇 매니퓰레이터의 작업 프로그램을 현장에 설치할 때 파라미터 튜닝 등의 수작업을 해야 하는 번거로움 없이 간단하고 편리하게 로봇 매니퓰레이터의 작업 소프트웨어를 설치하는 것이다.
이를 위해, 본 발명에 따른 인공지능 기반의 모델 생성 방법은, 로봇의 작업수행 과정을 자동 제어하기 위한 인공지능 기반의 모델을 생성하는 방법으로서,
작업자의 작업수행정보를 입력받아 초기 동작모델을 생성하는 단계와,
상기 생성한 초기 동작모델에 따라 로봇의 작업수행 중에 획득한 작업수행 영상, 로봇 배치정보 및 상기 초기 동작모델의 로봇 제어신호를 학습 데이터로 입력받아 심층신경망을 학습시키는 단계와,
상기 학습된 심층신경망으로부터 출력된 로봇 제어신호를 입력받아 새로운 동작모델을 생성하는 단계와,
강화학습에 의해 상기 새로운 동작모델을 최적화하는 단계를 포함한다.
또한, 본 발명에 따른 인공지능 기반 자동 제어 방법은, 인공지능 기반으로 로봇의 작업수행을 자동 제어하는 방법으로서,
작업자의 작업수행정보에 근거해 생성한 초기 동작모델에 따라 로봇의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 학습시키고, 심층신경망으로부터 출력된 로봇 제어신호에 근거해 생성한 동작모델을 강화학습에 의해 최적화하여 최적화된 동작모델에 따라 로봇의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 다시 학습시켜 이러한 심층신경망이 적용된 제어장치가 카메라 영상 및 로봇의 배치정보를 입력받아 로봇의 제어신호를 출력하는 것을 특징으로 한다.
또한, 본 발명에 따른 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템은 작업을 수행하면서 로봇 배치정보를 출력하는 로봇 매니퓰레이터와,
상기 로봇 매니퓰레이터와 주변 환경을 촬영하여 작업수행 영상을 획득하는 카메라 모듈과,
상기 로봇 매니퓰레이터의 로봇 배치정보 및 상기 카메라 모듈의 작업수행 영상을 입력받아 인공지능 기반 모델을 통해 분석하여 로봇 매니퓰레이터의 동작제어를 위한 로봇 제어신호를 출력하는 제어장치를 포함한다.
또한, 본 발명에 따른 인공지능 기반 제어 장치는, 인공지능 기반으로 로봇의 작업수행을 자동 제어하는 제어장치로서,
상기 제어장치는 로봇 매니퓰레이터의 로봇 배치정보 및 카메라 모듈의 작업수행 영상을 입력받아 인공지능 기반 모델을 통해 분석하여 로봇 매니퓰레이터의 동작제어를 위한 로봇 제어신호를 출력하며,
상기 인공지능 기반 모델은 작업자의 작업수행정보에 근거해 생성한 초기 동작모델에 따라 로봇의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 학습시키고, 심층신경망으로부터 출력된 로봇 제어신호에 근거해 생성한 동작모델을 강화학습에 의해 최적화하여 최적화된 동작모델에 따라 로봇의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 다시 학습시켜 생성하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명은 인간 작업자의 수행작업을 모방학습을 통해 모델링한 후 인공신경망 학습 및 강화학습을 이용함으로써 인공지능 기반의 로봇 매니퓰레이터의 동작 제어 소프트웨어를 제작할 수 있기 때문에, 종래의 로봇 매니퓰레이터의 인식/조작 소프트웨어 제작 방식과 비교할 때 제작 시간과 비용을 상당히 감소시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 인공지능 기반 로봇 매니퓰레이터의 동작 제어 시스템의 개략적인 구성도.
도 2는 본 발명에 따른 로봇 매니퓰레이터의 동작 제어를 위한 인공지능 기반 모델을 생성하는 과정을 나타낸 순서도.
도 3은 본 발명에 따른 강화학습을 통해 동작모델을 최적화하는 것을 나타낸 도면.
도 4는 본 발명에 따른 강화학습에서 보상함수로 정책을 개선하는 과정을 나타낸 도면.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
도 1은 본 발명에 따른 인공지능 기반 로봇 매니퓰레이터 제어 시스템의 개략적 구성을 나타낸 것이다.
도 1을 참조하면, 본 발명에 따른 인공지능 기반 로봇 매니퓰레이터 제어 시스템(이하, 로봇 제어 시스템)은 복수의 카메라(10), 로봇 매니퓰레이터(20) 및 제어장치(30)로 구성된다.
복수의 카메라(10)가 로봇 매니퓰레이터(20)와 주변 환경을 촬영하여 작업수행 영상을 획득한다.
로봇 매니퓰레이터(20)는 제어장치(30)의 제어명령에 따라 작업을 수행하면서 로봇의 배치정보를 생성한다. 로봇의 배치정보는 로봇 조인트 정보, 로봇의 손끝의 위치/자세, 속도, 가속도, 힘, 토크 등을 포함한다.
제어장치(30)는 복수의 카메라(10)로부터 입력받은 작업수행 영상과 로봇 매니퓰레이터(20)로부터 입력받은 로봇의 배치정보를 인공지능 기반으로 분석하여 로봇 매니퓰레이터(20)의 동작 제어를 위한 제어신호를 출력한다.
제어장치(30)는 하드웨어 및 소프트웨어로 구성되어 있으며, 로봇 매니퓰레이터(20)의 동작 제어를 위한 소프트웨어는 인공지능 기반으로 학습된 모델이다.
도 2는 본 발명에 따른 로봇 매니퓰레이터의 동작 제어를 위한 인공지능 기반 모델을 생성하는 과정을 나타낸 것이다.
도 2를 참조하면, 먼저 인간 작업자의 작업수행정보(human demonstration)를 입력받아 초기 동작모델을 생성한다(S10).
인간 작업자의 작업수행정보는 작업자가 로봇을 잡고 지도(시연)하는 과정에서 생성된 로봇의 배치정보(로봇 조인트 정보, 로봇의 손끝의 위치/자세, 속도, 가속도, 힘, 토크 등)를 말한다.
다음, 상기 생성한 초기 동작모델에 따라 로봇이 작업을 수행하게 되고(S12), 로봇의 작업 수행이 완료되면 초기 동작모델에 따라 로봇의 작업수행 중에 획득한 작업수행 영상, 로봇 배치정보 및 초기 동작모델의 로봇 제어신호를 학습 데이터로 입력받아 심층신경망을 학습시킨다(S14).
다음, 상기 학습된 심층신경망으로부터 출력된 로봇 제어신호(로봇 경로)를 입력받아 새로운 동작모델을 생성한다(S16)
이후 강화학습(reinforcement learning)에 의해 상기 새로운 동작모델을 최적화하는 단계를 수행한다(S18).
최적화 단계에서는 새로운 동작모델로부터 초기 정책을 생성하고 초기 정책에서 보상함수를 계산하고, 보상함수로 초기 정책을 개선하여 개선된 정책을 생성하고 개선된 정책에서 다시 보상함수를 계산하여 정책을 개선하는 과정을 반복함으로써 동작모델의 정책을 최적화한다.
이와 같은 방법으로 동작모델이 최적화되면 최적화된 동작모델에 따라 로봇을 동작시키고(S20), 로봇의 작업 수행이 완료되면 최적화된 동작모델에 따라 로봇의 작업수행 중에 획득한 작업수행 영상, 로봇 배치정보 및 최적화된 동작모델의 로봇 제어신호(로봇 경로)를 학습 데이터로 입력받아 학습된 심층신경망을 다시 학습시킨다(S22).
이렇게 심층신경망의 학습이 종료되면 최종 학습된 심층신경망을 로봇 매니퓰레이터의 제어장치(30)에 적용한다. 제어장치(30)는 로봇 매니퓰레이터의 로봇 배치정보 및 카메라 모듈의 작업수행 영상을 입력받고 심층신경망의 인공지능 기반 모델을 통해 이를 분석하여 로봇 매니퓰레이터의 동작제어를 위한 로봇 제어신호를 출력한다.
도 3은 본 발명에 따른 강화학습을 통해 동작모델을 최적화하는 것을 나타내고, 도 4는 강화학습에서 보상함수로 정책을 개선하는 과정을 나타내고 있다.
도 2에서 설명한 바와 같이, 심층신경망의 로봇 제어신호를 이용해 동작모델이 생성되면 이 동작모델을 최적화하게 된다.
동작모델은 강화학습을 통해 최적화되는데, 강화학습의 보상함수를 사용해 지속적으로 동작모델의 정책이 개선되면서 최적화된다.
도 3을 참조하면, 동작모델의 초기 정책 파라미터로부터 보상함수를 계산하고, 보상함수가 최대화되는 정책 파라미터를 결정하여 정책 파라미터를 개선하면, 이 개선된 정책 파라미터로부터 다시 보상함수를 계산하고 다시 계산된 보상함수로 정책 파라미터를 개선하는 과정을 반복하게 된다.
도 4를 참조하면, 초기 정책 π0에서 보상함수 r0을 계산한다. 다음, 보상함수 r0으로 π0을 개선하여 π1을 생성한다. rt로 πt를 개선하여 πt+1이라고 한다. 각 단계에서 개선된 양이 ㅿ라고 하면, ㅿ이 임계치 ε 이하가 될 때까지 정책 개선을 반복한 후, ㅿ이 ε 이하가 되면 정책 개선을 중단하여 그 때의 정책이 최적의 정책(^π)이 된다.
강화학습에 사용되는 보상함수는 처음 인간 작업자의 작업수행(로봇 시연)에 따라 획득한 이미지로부터 구한 공간 벡터 값과 이후 동작모델에 의한 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값의 평균 제곱근 오차(RMSE)가 최소가 되도록 설계된다.
이를 구체적으로 설명하면, 먼저 작업자의 작업수행으로부터 정답이 되는 상황의 이미지를 획득한다. 강화학습에 의해 동작모델을 최적화시키기 위해서는 가장 빠른 시간 안에 정답 이미지와 동일한 상황의 이미지를 얻을 수 있도록 보상함수가 디자인되어야 한다.
보상함수는 두 개의 항목으로 구성된다. 두 개의 항목은 각각 로봇이 정답 이미지에 도달하는 스텝을 측정하는 항목(즉, 빨리 도착하면 보상을 크게 받음)과 정답 이미지에 도달했는지를 측정하는 항목(즉, 정답 이미지와 유사하면 보상을 크게 받음)이다.
정답 이미지에 도달했는지를 평가할 때 이미지의 각 픽셀을 비교하는 것은 적합한 방법이 아니다. 왜냐하면, 이미지의 각 픽셀을 비교하는 것은 계산하는 차원이 매우 높고, 로봇이 원하는 일을 완수한 정답의 상황에 도달했다고 하더라도 주변 배경이 달라지는 경우 그것이 정답인지 측정하기 어렵기 때문이다.
 따라서 본 발명에서는 정답 이미지를 VAE(Variational AutoEncoder)를 사용하여 VAE 공간(latent space) 벡터로 변환시킨다. 즉, 본 발명의 실시예에서는 정답 이미지를 1024 차원의 VAE 공간 벡터로 인코딩(encoding)하였다.
동작모델에 의한 작업수행 이미지로부터 얻은 VAE 공간 벡터와 정답 이미지의 VAE 공간 벡터의 RMSE(Root Means Square Error) 값이 줄어들면 동작모델 이미지가 정답 이미지와 유사해지는 것이라고 볼 수 있다.
이와 같이, VAE 공간 벡터를 상호 비교하는 것은 각 픽셀을 비교해야 하는 고차원의 계산 문제를 해결하지만, 주변 배경이 달라져 정답 여부를 측정하기 어려운 문제는 해결하기 어렵다.
따라서, 특정 벡터만을 추출한 후 그 특정 벡터만 비교하는 것이 필요하다. 이 벡터들은 전체 이미지에서 로봇이 수행하는 태스크와 관련된 부분을 나타내는 벡터와 그와 관련없는 배경이 되는 부분을 나타내는 벡터로 나눌 수 있다.
본 발명에서는 이 특정 벡터를 추출하기 위해  VAE의 평균(mean)과 표준편차(standard deviation)을 사용한다. 이를 위해 우선 정답이 되는 이미지들(로봇이 수행하는 태스크와 관련된 이미지들)을 모아 벡터를 계산하고, 각 벡터들의 표준편차를 계산한다. 그 다음 정답이 아닌 이미지들(배경과 관련된 이미지들)을 모아 벡터를 계산하고, 각 벡터들의 표준편차를 계산한다. 그리고 이 두 개 부류 벡터들 사이의 평균 값이 멀고 편차가 겹치지 않는 벡터들만 사용하여 보상함수 계산에 이용한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
10: 카메라 20: 로봇 매니퓰레이터
30: 제어장치

Claims (18)

  1. 로봇의 작업수행 과정을 자동 제어하기 위한 인공지능 기반의 모델을 생성하는 방법에 있어서,
    작업자의 작업수행정보를 입력받아 초기 동작모델을 생성하는 단계와,
    상기 생성한 초기 동작모델에 따라 로봇의 작업수행 중에 획득한 작업수행 영상, 로봇 배치정보 및 상기 초기 동작모델의 로봇 제어신호를 학습 데이터로 입력받아 심층신경망을 학습시키는 단계와,
    상기 학습된 심층신경망으로부터 출력된 로봇 제어신호를 입력받아 새로운 동작모델을 생성하는 단계와,
    강화학습에 의해 상기 새로운 동작모델로부터 초기 정책을 생성하여 초기 정책에서 보상함수를 계산하고, 보상함수로 초기 정책을 개선하여 개선된 정책을 생성함으로써 상기 새로운 동작모델을 최적화하는 단계를 포함하여,
    상기 보상함수는 작업자의 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값과 이후 동작모델에 의한 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값의 평균 제곱근 오차(RMSE)가 최소가 되도록 설계되는 것을 특징으로 하는 인공지능 기반의 모델 생성 방법.
  2. 제1항에 있어서,
    상기 최적화된 동작모델에 따라 로봇의 작업수행 중에 획득한 작업수행 영상, 로봇 배치정보 및 상기 최적화된 동작모델의 로봇 제어신호를 학습 데이터로 입력받아 상기 학습된 심층신경망을 다시 학습시키는 단계를 더 포함하는 것을 특징으로 하는 인공지능 기반의 모델 생성 방법.
  3. 제1항에 있어서,
    상기 작업자의 작업수행정보는 작업자가 로봇을 잡고 지도하는 과정에서 생성된 로봇의 배치정보(로봇 조인트 정보, 로봇의 손끝의 위치/자세, 속도, 가속도, 힘, 토크)인 것을 특징으로 하는 인공지능 기반의 모델 생성 방법.
  4. 삭제
  5. 삭제
  6. 인공지능 기반으로 로봇의 작업수행을 자동 제어하는 방법에 있어서,
    작업자의 작업수행정보에 근거해 생성한 초기 동작모델에 따라 로봇의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 학습시키고, 심층신경망으로부터 출력된 로봇 제어신호에 근거해 생성한 동작모델을 강화학습에 의해 초기 정책을 생성하여 초기 정책에서 보상함수를 계산하고 보상함수로 초기 정책을 개선하여 개선된 정책을 생성하는 방식으로 최적화하여, 최적화된 동작모델에 따라 로봇의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 다시 학습시켜 이러한 심층신경망이 적용된 제어장치가 카메라 영상 및 로봇의 배치정보를 입력받아 로봇의 제어신호를 출력하며,
    상기 보상함수는 작업자의 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값과 이후 동작모델에 의한 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값의 평균 제곱근 오차(RMSE)가 최소가 되도록 설계되는 것을 특징으로 하는 인공지능 기반 자동 제어 방법.
  7. 제6항에 있어서,
    상기 작업자의 작업수행정보는 작업자가 로봇을 잡고 지도하는 과정에서 생성된 로봇의 배치정보(로봇 조인트 정보, 로봇의 손끝의 위치/자세, 속도, 가속도, 힘, 토크)인 것을 특징으로 하는 인공지능 기반 자동 제어 방법.
  8. 삭제
  9. 삭제
  10. 작업을 수행하면서 로봇 배치정보를 출력하는 로봇 매니퓰레이터와,
    상기 로봇 매니퓰레이터와 주변 환경을 촬영하여 작업수행 영상을 획득하는 카메라 모듈과,
    상기 로봇 매니퓰레이터의 로봇 배치정보 및 상기 카메라 모듈의 작업수행 영상을 입력받아 인공지능 기반 모델을 통해 분석하여 로봇 매니퓰레이터의 동작제어를 위한 로봇 제어신호를 출력하는 제어장치를 포함하여,
    상기 제어장치에 적용되는 인공지능 기반 모델은 작업자의 작업수행정보에 근거해 생성한 초기 동작모델에 따라 로봇 매니퓰레이터의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 학습시키고, 심층신경망으로부터 출력된 로봇 제어신호에 근거해 생성한 동작모델을 강화학습에 의해 초기 정책을 생성하여 초기 정책에서 보상함수를 계산하고 보상함수로 초기 정책을 개선하여 개선된 정책을 생성하는 방식으로 최적화하여, 최적화된 동작모델에 따라 로봇 매니퓰레이터의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 다시 학습시켜 생성되며,
    상기 보상함수는 작업자의 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값과 이후 동작모델에 의한 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값의 평균 제곱근 오차(RMSE)가 최소가 되도록 설계되는 것을 특징으로 하는 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템.
  11. 삭제
  12. 제10항에 있어서,
    상기 작업자의 작업수행정보는 작업자가 로봇을 잡고 지도하는 과정에서 생성된 로봇의 배치정보(로봇 조인트 정보, 로봇의 손끝의 위치/자세, 속도, 가속도, 힘, 토크)인 것을 특징으로 하는 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템.
  13. 삭제
  14. 삭제
  15. 인공지능 기반으로 로봇의 작업수행을 자동 제어하는 제어장치에 있어서,
    상기 제어장치는 로봇 매니퓰레이터의 로봇 배치정보 및 카메라 모듈의 작업수행 영상을 입력받아 인공지능 기반 모델을 통해 분석하여 로봇 매니퓰레이터의 동작제어를 위한 로봇 제어신호를 출력하며,
    상기 인공지능 기반 모델은 작업자의 작업수행정보에 근거해 생성한 초기 동작모델에 따라 로봇의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 학습시키고, 심층신경망으로부터 출력된 로봇 제어신호에 근거해 생성한 동작모델을 강화학습에 의해 초기 정책을 생성하여 초기 정책에서 보상함수를 계산하고 보상함수로 초기 정책을 개선하여 개선된 정책을 생성하는 방식으로 최적화하여, 최적화된 동작모델에 따라 로봇의 작업수행 중에 획득한 데이터를 이용해 심층신경망을 다시 학습시켜 생성하고,
    상기 보상함수는 작업자의 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값과 이후 동작모델에 의한 작업수행에 따라 획득한 이미지로부터 구한 공간 벡터 값의 평균 제곱근 오차(RMSE)가 최소가 되도록 설계되는 것을 특징으로 하는 인공지능 기반 제어장치.
  16. 제15항에 있어서,
    상기 작업자의 작업수행정보는 작업자가 로봇을 잡고 지도하는 과정에서 생성된 로봇의 배치정보(로봇 조인트 정보, 로봇의 손끝의 위치/자세, 속도, 가속도, 힘, 토크)인 것을 특징으로 하는 인공지능 기반 제어장치.
  17. 삭제
  18. 삭제
KR1020190090793A 2019-07-26 2019-07-26 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법 KR102239186B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190090793A KR102239186B1 (ko) 2019-07-26 2019-07-26 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190090793A KR102239186B1 (ko) 2019-07-26 2019-07-26 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210012672A KR20210012672A (ko) 2021-02-03
KR102239186B1 true KR102239186B1 (ko) 2021-04-12

Family

ID=74572125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190090793A KR102239186B1 (ko) 2019-07-26 2019-07-26 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102239186B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031528B (zh) * 2021-02-25 2022-03-15 电子科技大学 一种基于深度确定性策略梯度的多足机器人非结构性地面运动控制方法
CN113070878B (zh) * 2021-03-26 2022-06-07 中国科学院深圳先进技术研究院 基于脉冲神经网络的机器人控制方法、机器人及存储介质
WO2023022258A1 (ko) 2021-08-19 2023-02-23 한국로봇융합연구원 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템
WO2023022257A1 (ko) 2021-08-19 2023-02-23 한국로봇융합연구원 복강경 카메라 홀더 로봇 제어시스템 및 제어방법
CN113978297B (zh) * 2021-11-25 2024-01-26 武汉科技大学 基于3d视觉与力柔顺控制的电动汽车自动充电系统
CN116237935B (zh) * 2023-02-03 2023-09-15 兰州大学 一种机械臂协同抓取方法、系统、机械臂及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101251873B1 (ko) * 2012-12-20 2013-04-10 동국대학교 산학협력단 지능형 제어 알고리즘을 이용한 건물 공조 제어 방법
JP2019093537A (ja) * 2017-11-28 2019-06-20 国立大学法人大阪大学 深層学習システム、深層学習方法及びロボット

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100235192B1 (ko) 1992-06-26 1999-12-15 윤종용 파형조정및 동작검사 씨스템의 제어방법과 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101251873B1 (ko) * 2012-12-20 2013-04-10 동국대학교 산학협력단 지능형 제어 알고리즘을 이용한 건물 공조 제어 방법
JP2019093537A (ja) * 2017-11-28 2019-06-20 国立大学法人大阪大学 深層学習システム、深層学習方法及びロボット

Also Published As

Publication number Publication date
KR20210012672A (ko) 2021-02-03

Similar Documents

Publication Publication Date Title
KR102239186B1 (ko) 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법
JP7367233B2 (ja) 軌道中心モデルに基づく強化学習のロバスト最適化を行うためのシステムおよび方法
Khansari-Zadeh et al. BM: An iterative algorithm to learn stable non-linear dynamical systems with gaussian mixture models
CN111881772B (zh) 基于深度强化学习的多机械臂协同装配方法和系统
Breyer et al. Comparing task simplifications to learn closed-loop object picking using deep reinforcement learning
CN109397285B (zh) 一种装配方法、装配装置及装配设备
CN104635714B (zh) 一种基于时间‑空间特征的机器人示教轨迹生成方法
JP7034035B2 (ja) 自律学習型ロボット装置及び自律学習型ロボット装置の動作生成方法
CN111433689B (zh) 用于目标系统的控制系统的生成
Medina et al. Learning stable task sequences from demonstration with linear parameter varying systems and hidden Markov models
US11679496B2 (en) Robot controller that controls robot, learned model, method of controlling robot, and storage medium
US20220080586A1 (en) Device and method for controlling a robotic device
CN111095133B (zh) 一种用于在目标现场设备上部署和执行自适应自学习控制程序的方法和系统
EP3992856A1 (en) Method and system for operating a device by using hierarchical reinforcement learning
JP2023526211A (ja) 分散型ロボット実証学習
US20230316126A1 (en) System and method for providing accelerated reinforcement learning training
CN110298449B (zh) 计算机进行通用学习的方法、装置和计算机可读存储介质
KR20190088093A (ko) 로봇을 위한 학습 방법
JP2022076572A5 (ko)
Beckers Gaussian process based modeling and control with guarantees
JP6942204B2 (ja) データ処理システムおよびデータ処理方法
US20220143824A1 (en) Computer-readable recording medium having stored therein apparatus control program, apparatus control method, and apparatus control device
KR102673389B1 (ko) 데이터 기반 로봇 회화 작업을 자동화하기 위한 방법, 컴퓨터 시스템, 및 컴퓨터 프로그램
Maeda et al. View-based programming with reinforcement learning for robotic manipulation
Lin et al. Sketch RL: Interactive Sketch Generation for Long-Horizon Tasks via Vision-Based Skill Predictor

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant