KR20230136435A - 영상 기반 로봇 제어 시스템 - Google Patents

영상 기반 로봇 제어 시스템 Download PDF

Info

Publication number
KR20230136435A
KR20230136435A KR1020220034199A KR20220034199A KR20230136435A KR 20230136435 A KR20230136435 A KR 20230136435A KR 1020220034199 A KR1020220034199 A KR 1020220034199A KR 20220034199 A KR20220034199 A KR 20220034199A KR 20230136435 A KR20230136435 A KR 20230136435A
Authority
KR
South Korea
Prior art keywords
area
robot
hand
operator
module
Prior art date
Application number
KR1020220034199A
Other languages
English (en)
Inventor
현웅근
Original Assignee
호남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호남대학교 산학협력단 filed Critical 호남대학교 산학협력단
Priority to KR1020220034199A priority Critical patent/KR20230136435A/ko
Publication of KR20230136435A publication Critical patent/KR20230136435A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 영상 기반 로봇 제어 시스템에 관한 것으로서, 로봇을 조종하는 조종자의 손동작을 촬영하는 촬영부와, 상기 촬영부에서 촬영된 촬영 영상에서 해당 조종자의 손 동작을 식별하고, 상기 조종자의 손 동작에 대응되게 기설정된 작동 알고리즘에 따라 상기 로봇이 작동하도록 해당 로봇의 제어신호를 산출하는 신호 산출부와, 상기 신호 산출부로부터 산출된 상기 제어신호를 상기 로봇에 전송하여 해당 로봇을 제어하는 제어모듈을 구비한다.
본 발명에 따른 영상 기반 로봇 제어 시스템은 종자를 촬영한 영상에서 손 동작을 인식하고, 손 동작에 따라 로봇을 제어하므로 미숙련자라도 보다 용이하게 로봇을 제어할 수 있는 장점이 있다.

Description

영상 기반 로봇 제어 시스템{Image-based robot control system}
본 발명은 영상 기반 로봇 제어 시스템에 관한 것으로서, 더욱 상세하게는 조종자를 촬영한 영상에서 조종자의 손 동작을 인식하여 해당 손 동작에 대응되게 로봇을 제어할 수 있는 영상 기반 로봇 제어 시스템에 관한 것이다.
일반적으로 전기적 또는 자기적인 작용을 이용하여 인간의 동작과 닮은 운동을 행하는 기계 장치를 "로봇"이라 고 한다. 로봇의 어원은 슬라브어의 ROBOTA(노예 기계)에서 유래한다고 전해지고 있다. 종래에 보급되는 로봇의 대부분은 공장에 있어서의 생산 작업의 자동화, 무인화 등을 목적으로 한 매니퓰레이터나 반송 로봇 등의 산업용 로봇(industrial robot)이었다.
최근에는 인간이나 원숭이 등의 2족 직립 보행을 행하는 동물의 신체 메카니즘과 동작을 모방한 보행 로봇에 관한 연구 개발이 진전되어 실용화로의 기대도 높아져 오고 있다. 2족 직립에 의한 보행은 크롤러식이나, 4족 또는 6족식 등에 비해 불안정하고 자세 제어나 보행 제어가 어려워지지만, 고르지 못한 지면이나 장해물 등 작업 경로상에 요철이 있는 보행면이나, 계단과 사다리의 승강 등 불연속적인 보행면에 대응할 수 있는 면이나, 전시시설에서의 전시 등, 유연한 움직임을 실현할 수 있다는 점에서 우수하다.
그러나, 종래의 로봇 제어 시스템의 경우, 조종자가 콘트롤러나 컴퓨터를 통해 로봇의 제어신호를 직접 입력해야 하므로 보다 신속한 조정에 어려움이 있고, 로봇의 제어가 복잡하여 숙련되게 로봇을 제어하기 위해 많은 훈련이 요구되는 단점이 있다.
공개특허공보 제10-2019-0029286호: 협동로봇제어장치 및 협동로봇을 제어하는 방법
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 조종자를 촬영한 영상에서 손 동작을 인식하고, 손 동작에 따라 로봇을 제어할 수 있는 영상 기반 로봇 제어 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 영상 기반 로봇 제어 시스템은 로봇을 조종하는 조종자의 손동작을 촬영하는 촬영부와, 상기 촬영부에서 촬영된 촬영 영상에서 해당 조종자의 손 동작을 식별하고, 상기 조종자의 손 동작에 대응되게 기설정된 작동 알고리즘에 따라 상기 로봇이 작동하도록 해당 로봇의 제어신호를 산출하는 신호 산출부와, 상기 신호 산출부로부터 산출된 상기 제어신호를 상기 로봇에 전송하여 해당 로봇을 제어하는 제어모듈을 구비한다.
상기 신호 산출부는 상기 촬영 영상에서의 상기 조종자의 손의 위치 또는 손의 크기 변화에 대응되게 해당 로봇의 제어신호를 산출한다.
상기 신호 산출부는 상기 촬영부에서 제공되는 상기 촬영영상을 기설정된 구획기준에 따라 다수의 영역으로 구획하고, 상기 영역들 중 상기 조정자의 손이 위치한 영역에 기설정된 로봇의 제어신호를 상기 제어모듈에 전송한다.
상기 신호 산출부는 상기 촬영영상에서, 중앙부분을 기준영역으로 설정하고, 상기 기준영역을 기준으로 상호 대향되는 상하측 부분을 각각 업 영역 및 다운 영역으로 설정하며, 상기 기준영역을 기준으로 상호 대향되는 좌우측 부분을 각각 좌측 영역 및 우측 영역으로 설정하는 구획모듈과, 상기 기준 영역, 업 영역, 다운 영역, 좌측 영역 및 우측 영역 중 상기 조정자의 손이 위치한 영역을 판별하는 손 판별유닛과, 상기 손 판별유닛에서 제공되는 판별 정보를 토대로 상기 기준 영역, 업 영역, 다운 영역, 좌측 영역 및 우측 영역 중 상기 조종자의 손이 위치한 영역에 기설정된 로봇의 제어신호를 상기 제어모듈에 전송하는 신호 전송모듈을 구비한다.
상기 손 판별유닛은 상기 촬영 영상에서 상기 조정자의 손바닥을 식별하고, 상기 조정자의 손바닥이 포함되도록 관심영역을 설정하는 관심영역 식별모듈과, 상기 기준 영역, 업 영역, 다운 영역, 좌측 영역 및 우측 영역 중 상기 관심영역이 위치한 영역을 상기 조정자의 손이 위치한 영역으로 판별하는 영역 판별모듈을 구비한다.
상기 신호 전송모듈은 상기 조종자의 손이 상기 업 영역에 위치할 경우, 상기 로봇이 상측으로 움직이기 위한 제어신호를 생성하고, 상기 조종자의 손이 상기 다운 영역에 위치할 경우, 상기 로봇이 하측으로 움직이기 위한 제어신호를 생성하고, 상기 조종자의 손이 상기 좌측 영역에 위치할 경우, 상기 로봇이 좌측으로 움직이기 위한 제어신호를 생성하고, 상기 조종자의 손이 상기 우측 영역에 위치할 경우, 상기 로봇이 우측으로 움직이기 위한 제어신호를 생성하여 상기 제어모듈에 전송한다.
상기 신호 산출부는 상기 촬영 영상에서 상기 조종자의 손 크기 변화에 대응되게 상기 로봇의 제어신호를 산출한다.
상기 신호 산출부는 상기 촬영영상에서, 중앙부분을 기준영역으로 설정하는 구획모듈과, 상기 기준영역 또는 상기 기준영역을 제외한 상기 촬영영상의 나머지 영역 중 상기 조정자의 손이 위치한 영역을 판별하는 손 판별유닛과, 상기 손 판별유닛에서 제공되는 판별 정보를 토대로 상기 조종자의 손이 상기 기준영역에 위치한 경우, 상기 조종자의 손 크기 변화에 대응되게 상기 로봇의 제어신호를 산출하는 신호 전송모듈을 구비한다.
상기 신호 전송모듈은 상기 조종자의 손 크기가 증가할 경우, 상기 로봇이 전진하기 위한 제어신호를 생성하고, 상기 조종자의 손 크기가 감소할 경우, 상기 로봇이 후진하기 위한 제어신호를 생성하여 상기 제어모듈에 전송한다.
상기 손 판별유닛은 상기 촬영 영상에서 상기 조정자의 손바닥을 식별하고, 상기 조정자의 손바닥이 포함되도록 관심영역을 설정하는 관심영역 식별모듈과, 상기 기준영역 또는 상기 기준영역을 제외한 상기 촬영영상의 나머지 영역 중 상기 관심영역이 위치한 영역을 상기 조정자의 손이 위치한 영역으로 판별하는 영역 판별모듈을 구비하고, 상기 신호 전송모듈은 상기 관심영역이 상기 기준 영역에 위치한 상태에서 상기 관심영역의 면적이 증가하는 경우, 해당 조종자의 손 크기가 증가하는 것으로 판단하고, 상기 관심영역의 면적이 감소하는 경우, 해당 조종자의 손 크기가 감소하는 것으로 판단한다.
한편, 본 발명에 따른 영상 기반 로봇 제어 시스템은 상기 조종자의 손에 착용되는 본체와, 상기 조종자의 손바닥에 대응되는 상기 본체의 외측 영역을 덮도록 형성되며, 상기 조종자의 피부색 또는 본체와 상이한 식별색상을 갖는 칼라패드가 마련된 식별장갑을 더 구비한다.
본 발명에 따른 영상 기반 로봇 제어 시스템은 종자를 촬영한 영상에서 손 동작을 인식하고, 손 동작에 따라 로봇을 제어하므로 미숙련자라도 보다 용이하게 로봇을 제어할 수 있는 장점이 있다.
도 1은 본 발명에 따른 영상 기반 로봇 제어 시스템에 대한 개념도이고,
도 2는 도 1의 영상 기반 로봇 제어 시스템의 식별장갑에 대한 사시도이고,
도 3은 도 1의 영상 기반 로봇 제어 시스템에 대한 블럭도이고,
도 4 내지 도 10은 도 1의 영상 기반 로봇 제어 시스템의 촬영 영상에 대한 예시도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 영상 기반 로봇 제어 시스템에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 내지 도 3에는 본 발명에 따른 영상 기반 로봇 제어 시스템(100)이 도시되어 있다.
도면을 참조하면, 상기 영상 기반 로봇 제어 시스템(100)은 로봇(10)을 조종하는 조종자(15)의 손에 착용되는 식별장갑(110)과, 로봇(10)을 조종하는 조종자(15)의 손동작을 촬영하는 촬영부(120)와, 상기 촬영부(120)에서 촬영된 촬영 영상에서 해당 조종자(15)의 손 동작을 식별하고, 상기 조종자(15)의 손 동작에 대응되게 기설정된 작동 알고리즘에 따라 상기 로봇(10)이 작동하도록 해당 로봇(10)의 제어신호를 산출하는 신호 산출부(200)와, 상기 신호 산출부(200)로부터 산출된 상기 제어신호를 상기 로봇(10)에 전송하여 해당 로봇(10)을 제어하는 제어모듈(130)을 구비한다.
여기서, 로봇(10)은 작업대상 직역 내에 설치되며, 단부에, 각종 작업 공구나 설비를 연결할 수 있도록 엔드이펙터가 마련되어 있다. 해당 로봇(10)은 엔드이펙터를 다방향으로 움직일 수 있도록 종래에 일반적으로 사용되는 다축 로봇 팔과 같은 다관절 로봇이 적용되므로 상세한 설명은 생략한다.
식별장갑(110)은 상기 조종자(15)의 손에 착용되는 본체(111)와, 상기 조종자(15)의 손바닥에 대응되는 상기 본체(111)의 외측 영역을 덮도록 형성된 칼라패드(112)를 구비한다.
상기 본체(111)는 조종자(15)의 손이 들어갈 수 있도록 인입공간이 마련되며, 일측에 인입공간에 연통되는 입구가 형성되어 있다. 도시된 예에선, 본체(111)가 장갑 형태로 형성된 구조가 게시되어 있으나, 본체(111)는 이에 한정하는 것이 아니라 조정자의 손을 감싸도록 형성된 손싸개이면 무엇이든 적용가능하다.
칼라패드(112)는 조종자(15)의 손바닥에 대응되는 본체(111)의 외측면을 덮도록 형성된다. 여기서, 칼라패드(112)는 촬영부(120)에서 촬영된 영상에서 조종자(15)의 손바닥이 용이하게 인식될 수 있도록 상기 조종자(15)의 피부색 또는 본체(111)와 상이한 식별색상으로 형성된다. 해당 식별색상은 적색이 적용되는 것이 바람직하나 이에 한정하는 것이 아니라 피부색이나 본체(111) 또는 조종자(15) 주위 배경과 상이한 색상이면 무엇이든 적용가능하다.
이때, 칼라패드(112)는 조종자(15)의 손바닥 뿐아니라 손가락에 대응되는 본체(111)의 일부분까지 덮도록 형성되는 것이 바람직하다.
촬영부(120)는 조종자(15)의 손동작을 촬영할 수 있도록 조종자(15)의 정면에 대해 전방으로 소정거리 이격된 위치에 설치된다. 상기 촬영부(120)는 조종자(15)를 촬영하기 위해 종래에 일반적으로 사용되는 촬영수단이 적용되므로 상세한 설명은 생략한다. 촬영부(120)는 촬영된 촬영 영상을 신호 산출부(200)에 제공한다.
신호 산출부(200)는 상기 촬영 영상에서의 상기 조종자(15)의 손의 위치 또는 손의 크기 변화에 대응되게 해당 로봇(10)의 제어신호를 산출한다. 즉, 상기 신호 산출부(200)는 상기 촬영부(120)에서 제공되는 상기 촬영영상을 기설정된 구획기준에 따라 다수의 영역으로 구획하고, 상기 영역들 중 상기 조정자의 손이 위치한 영역에 기설정된 로봇(10)의 제어신호를 상기 제어모듈(130)에 전송하거나 상기 촬영 영상에서 상기 조종자(15)의 손 크기 변화에 대응되게 상기 로봇(10)의 제어신호를 산출한다.
상기 신호 산출부(200)는 구획모듈(210), 손 판별유닛(220) 및 신호 전송모듈(230)을 구비한다.
구획모듈(210)은 촬영부(120)에서 제공되는 촬영영상을 다수의 영역으로 구획한다. 즉, 구획모듈(210)은 촬영 영상에, 좌우방향 및 상하방향으로 연장된 다수의 가상선(211)을 격자형태로 교차시켜 9개의 영역으로 구획한다. 여기서, 구획모듈(210)은 촬영영상의 중앙부분을 기준영역(212)으로 설정하고, 기준영역(212)을 기준으로 상호 대향되는 상하측 부분을 각각 업 영역(213) 및 다운 영역(214)으로 설정한다. 또한, 구획모듈(210)은 촬영 영상에서 기준영역(212)을 기준으로 상호 대향되는 좌우측 부분을 각각 좌측 영역(215) 및 우측 영역(216)으로 설정한다.
손 판별유닛(220)은 기준 영역, 업 영역(213), 다운 영역(214), 좌측 영역(215) 및 우측 영역(216) 중 조정자의 손이 위치한 영역을 판별하는 것으로서, 관심영역 식별모듈(221) 및 영역 판별모듈(222)을 구비한다.
관심영역 식별모듈(221)은 촬영 영상에서 조정자의 손바닥을 식별하고, 조정자의 손바닥이 포함되도록 관심 영역(223)을 설정한다. 여기서, 관심영역 식별모듈(221)은 조정자의 손바닥이 포함되도록 촬영 영상에 사각 형상의 관심 영역(223)을 설정한다. 이때, 조정자의 손에 착용된 식별장갑(110)의 칼라패드(112)에 의해 관심영역 식별모듈(221)에 대한 해당 조정자의 손의 인식률이 향상된다.
한편, 관심영역 식별모듈(221)은 촬영 영상에서 조정자 주위의 조명 또는 배경에 따라 조종자(15)의 손바닥 부근에서 복수의 관심 영역(223)이 설정될 경우, 기설정된 특정범위 내의 관심 영역(223)들의 무게중심 평균 위치를 산출하고, 해당 무게중심 평균 위치를 중심으로 해당 관심 영역(223)들의 면적의 합에 대응되는 면적을 갖는 새로운 관심 영역(223)을 설정할 수 있다. 여기서, 특정 범위는 조정자 또는 관리자에 의해 설정되는 것으로서, 기설정된 관심 영역(223)들 사이의 기준 이격 거리가 적용될 수 있다.
또한, 관심영역 식별모듈(221)은 조종자(15)의 손바닥 부근 외의 촬영 영상 즉, 조종자(15)의 얼굴, 목이나 조종자(15) 주위 배경에 관심영역이 설정된 경우, 특정 범위 즉, 조종자(15)의 손바닥 또는 칼라패드(112) 외에 설정된 관심 영역(223)들을 삭제 또는 무시한다.
한편, 도면에 도시되진 않았지만, 관심영역 식별모듈(221)은 조종자(15)의 손 등이 촬영영상에서 인식될 경우, 관심 영역(223)을 재설정할 수도 있다. 조종자(15)는 후술되는 디스플레이부(240)에서 표시되는 영상에서, 관심 영역(223)이 조종자(15)의 손바닥에 장시간 미설정되거나 손바닥 외의 영역에 관심 영역(223)이 설정될 경우, 손 등이 촬영되도록 손을 움직인다. 이때, 관심영역 식별모듈(221)은 조종자(15)의 손이 움직여 손등이 촬영 영상에 촬영되면 설정된 관심 영역(223)을 삭제하고, 다시 촬영 영상에 조종자(15)의 손바닥이 촬영되면 새로운 관심 영역(223)을 설정한다. 여기서, 식별장갑(110)은 조종자(15)의 손 등에 대한 관심영역 식별모듈(221)의 인식률을 향상시키기 위해 조종자(15)의 손 등에 대응되는 본체(111)의 외측면을 감싸도록 형성되되, 상기 식별색상과 상이한 보조색상으로 형성된 보조패드(미도시)를 더 구비할 수도 있다. 이때, 보조색상은 조종자(15)의 피부색 또는 본체(111)와 상이한 색상이 적용되는 것이 바람직하다. 관심영역 식별모듈(221)은 촬영 영상에서 보조패드가 포함되면, 조종자(15)가 손 등이 촬영되도록 손이 움직인 것으로 판단하여 설정된 관심 영역(223)을 삭제하고 새로운 관심 영역(223)을 재설정할 수 있다.
영역 판별모듈(222)은 상기 기준 영역, 업 영역(213), 다운 영역(214), 좌측 영역(215) 및 우측 영역(216) 중 상기 관심영역이 위치한 영역을 상기 조정자의 손이 위치한 영역으로 판별한다. 여기서, 영역 판별모듈(222)은 관심 영역(223)이 복수의 영역에 중첩되는 경우, 해당 영역 중 관심 영역(223)에 중첩된 면적이 다 큰 영역을 조정자의 손이 위치한 영역으로 판별할 수 있다. 영역 판별모듈(222)은 판별정보를 신호 전송모듈(230)에 전송한다.
신호 전송모듈(230)은 상기 손 판별유닛(220)에서 제공되는 판별 정보를 토대로 상기 기준 영역, 업 영역(213), 다운 영역(214), 좌측 영역(215) 및 우측 영역(216) 중 상기 조종자(15)의 손이 위치한 영역에 기설정된 로봇(10)의 제어신호를 상기 제어모듈(130)에 전송하거나 상기 촬영 영상에서 상기 조종자(15)의 손 크기 변화에 대응되게 상기 로봇(10)의 제어신호를 제공한다. 상기 신호 전송모듈(230)의 작동을 상세히 설명하면 다음과 같다.
상기 신호 전송모듈(230)은 도 5와 같이 상기 관심영역이 상기 기준 영역에 위치한 상태에서 상기 관심영역의 면적이 감소하는 경우, 해당 조종자(15)의 손 크기가 감소하는 것으로 판단하고, 상기 로봇(10)이 후진하기 위한 제어신호를 생성하여 상기 제어모듈(130)에 전송한다. 여기서, 로봇(10)이 후진하기 위한 제어신호는 로봇(10)에 설치된 엔드이펙터가 후방으로 이동되게 로봇(10)이 움직이도록 하는 명령이 포함된 것이 바람직하다.
또한, 신호 전송모듈(230)은 도 6과 같이 상기 관심영역이 상기 기준 영역에 위치한 상태에서 상기 관심영역의 면적이 증가하는 경우, 해당 조종자(15)의 손 크기가 증가하는 것으로 판단하고, 상기 로봇(10)이 전진하기 위한 제어신호를 생성하여 제어모듈(130)에 전송한다. 여기서, 로봇(10)이 전진하기 위한 제어신호는 로봇(10)에 설치된 엔드이펙터가 전방으로 이동되게 로봇(10)이 움직이도록 하는 명령이 포함된 것이 바람직하다.
한편, 신호 전송모듈(230)은 도 7과 같이 관심 영역(223) 즉, 상기 조종자(15)의 손이 상기 업 영역(213)에 위치할 경우, 상기 로봇(10)이 상측으로 움직이기 위한 제어신호를 생성하여 제어모듈(130)에 전송한다. 여기서, 로봇(10)이 상측으로 움직이기 위한 제어신호는 로봇(10)에 설치된 엔드이펙트가 상방으로 이동되게 로봇(10)이 움직이도록 하는 명령이 포함된다.
상기 신호 전송모듈(230)은 도 8과 같이 관심 영역(223) 즉, 상기 조종자(15)의 손이 상기 다운 영역(214)에 위치할 경우, 상기 로봇(10)이 하측으로 움직이기 위한 제어신호를 생성하여 제어모듈(130)에 전송한다. 여기서, 로봇(10)이 하측으로 움직이기 위한 제어신호는 로봇(10)에 설치된 엔드이펙트가 하방으로 이동되게 로봇(10)이 움직이도록 하는 명령이 포함된다.
그리고, 신호 전송모듈(230)은 도 9와 같이 관심 영역(223) 즉, 상기 조종자(15)의 손이 상기 좌측 영역(215)에 위치할 경우, 상기 로봇(10)이 좌측으로 움직이기 위한 제어신호를 생성하여 제어모듈(130)에 전송한다. 여기서, 로봇(10)이 좌측으로 움직이기 위한 제어신호는 로봇(10)에 설치된 엔드이펙트가 좌측으로 이동되게 로봇(10)이 움직이도록 하는 명령이 포함된다.
상기 신호 전송모듈(230)은 도 10과 같이 관심 영역(223) 즉, 상기 조종자(15)의 손이 상기 우측 영역(216)에 위치할 경우, 상기 로봇(10)이 우측으로 움직이기 위한 제어신호를 생성하여 상기 제어모듈(130)에 전송한다. 여기서, 로봇(10)이 우측으로 움직이기 위한 제어신호는 로봇(10)에 설치된 엔드이펙트가 우측으로 이동되게 로봇(10)이 움직이도록 하는 명령이 포함된다.
한편, 신호 산출부(200)는 촬영부(120)에서 제공된 촬영 영상을 조종자(15)에게 표시할 수 있는 디스플레이부(240)를 더 구비한다. 상기 디스플레이부(240)는 해당 촬영 영상을 디스플레이하기 위한 표시패널(미도시)를 구비한다. 이때, 디스플레이부(240)는 해당 촬영영상에서, 구획모듈(210)에서 구획된 기준 영역, 업 영역(213), 다운 영역(214), 좌측 영역(215) 및 우측 영역(216)과, 관심영역 식별모듈(221)에서 설정된 관심 영역(223)을 표시하여 조종자(15)가 신호 산출부(200)에 제어신호 생성 여부를 확인할 수 있다.
제어모듈(130)은 신호 산출부(200)의 신호 전송모듈(230)에서 제공받은 제어신호를 로봇(10)에 전송하여 해당 로봇(10)을 제어한다. 상기 제어모듈(130)은 유선 또는 무선 통신망을 이용하여 로봇(10)과 통신하여 제어신호를 로봇(10)으로 전송한다.
상술된 바와 같이 구성된 본 발명에 따른 영상 기반 로봇 제어 시스템(100)은 종자를 촬영한 영상에서 손 동작을 인식하고, 손 동작에 따라 로봇(10)을 제어하므로 미숙련라자라도 보다 용이하게 로봇(10)을 제어할 수 있는 장점이 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
100: 영상 기반 로봇 제어 시스템
110: 식별장갑
111: 본체
112: 칼라패드
120: 촬영부
130: 제어모듈
200: 신호 산출부
210: 구획모듈
220: 손 판별유닛
221: 관심영역 식별모듈
222: 영역 판별모듈
230: 신호 전송모듈
240: 디스플레이부

Claims (11)

  1. 로봇을 조종하는 조종자의 손동작을 촬영하는 촬영부;
    상기 촬영부에서 촬영된 촬영 영상에서 해당 조종자의 손 동작을 식별하고, 상기 조종자의 손 동작에 대응되게 기설정된 작동 알고리즘에 따라 상기 로봇이 작동하도록 해당 로봇의 제어신호를 산출하는 신호 산출부; 및
    상기 신호 산출부로부터 산출된 상기 제어신호를 상기 로봇에 전송하여 해당 로봇을 제어하는 제어모듈;을 구비하는,
    영상 기반 로봇 제어 시스템.
  2. 제1항에 있어서,
    상기 신호 산출부는 상기 촬영 영상에서의 상기 조종자의 손의 위치 또는 손의 크기 변화에 대응되게 해당 로봇의 제어신호를 산출하는,
    영상 기반 로봇 제어 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 신호 산출부는 상기 촬영부에서 제공되는 상기 촬영영상을 기설정된 구획기준에 따라 다수의 영역으로 구획하고, 상기 영역들 중 상기 조정자의 손이 위치한 영역에 기설정된 로봇의 제어신호를 상기 제어모듈에 전송하는,
    영상 기반 로봇 제어 시스템.
  4. 제2항에 있어서,
    상기 신호 산출부는
    상기 촬영영상에서, 중앙부분을 기준영역으로 설정하고, 상기 기준영역을 기준으로 상호 대향되는 상하측 부분을 각각 업 영역 및 다운 영역으로 설정하며, 상기 기준영역을 기준으로 상호 대향되는 좌우측 부분을 각각 좌측 영역 및 우측 영역으로 설정하는 구획모듈;
    상기 기준 영역, 업 영역, 다운 영역, 좌측 영역 및 우측 영역 중 상기 조정자의 손이 위치한 영역을 판별하는 손 판별유닛; 및
    상기 손 판별유닛에서 제공되는 판별 정보를 토대로 상기 기준 영역, 업 영역, 다운 영역, 좌측 영역 및 우측 영역 중 상기 조종자의 손이 위치한 영역에 기설정된 로봇의 제어신호를 상기 제어모듈에 전송하는 신호 전송모듈;을 구비하는,
    영상 기반 로봇 제어 시스템.
  5. 제4항에 있어서,
    상기 손 판별유닛은
    상기 촬영 영상에서 상기 조정자의 손바닥을 식별하고, 상기 조정자의 손바닥이 포함되도록 관심영역을 설정하는 관심영역 식별모듈; 및
    상기 기준 영역, 업 영역, 다운 영역, 좌측 영역 및 우측 영역 중 상기 관심영역이 위치한 영역을 상기 조정자의 손이 위치한 영역으로 판별하는 영역 판별모듈;을 구비하는,
    영상 제어 기반 로봇 제어 시스템.
  6. 제4항에 있어서,
    상기 신호 전송모듈은 상기 조종자의 손이 상기 업 영역에 위치할 경우, 상기 로봇이 상측으로 움직이기 위한 제어신호를 생성하고, 상기 조종자의 손이 상기 다운 영역에 위치할 경우, 상기 로봇이 하측으로 움직이기 위한 제어신호를 생성하고, 상기 조종자의 손이 상기 좌측 영역에 위치할 경우, 상기 로봇이 좌측으로 움직이기 위한 제어신호를 생성하고, 상기 조종자의 손이 상기 우측 영역에 위치할 경우, 상기 로봇이 우측으로 움직이기 위한 제어신호를 생성하여 상기 제어모듈에 전송하는,
    영상 제어 기반 로봇 제어 시스템.
  7. 제1항 또는 제2항에 있어서,
    상기 신호 산출부는 상기 촬영 영상에서 상기 조종자의 손 크기 변화에 대응되게 상기 로봇의 제어신호를 산출하는,
    영상 제어 기반 로봇 제어 시스템.
  8. 제7항에 있어서,
    상기 신호 산출부는
    상기 촬영영상에서, 중앙부분을 기준영역으로 설정하는 구획모듈;
    상기 기준영역 또는 상기 기준영역을 제외한 상기 촬영영상의 나머지 영역 중 상기 조정자의 손이 위치한 영역을 판별하는 손 판별유닛; 및
    상기 손 판별유닛에서 제공되는 판별 정보를 토대로 상기 조종자의 손이 상기 기준영역에 위치한 경우, 상기 조종자의 손 크기 변화에 대응되게 상기 로봇의 제어신호를 산출하는 신호 전송모듈;을 구비하는,
    영상 기반 로봇 제어 시스템.
  9. 제8항에 있어서,
    상기 신호 전송모듈은 상기 조종자의 손 크기가 증가할 경우, 상기 로봇이 전진하기 위한 제어신호를 생성하고, 상기 조종자의 손 크기가 감소할 경우, 상기 로봇이 후진하기 위한 제어신호를 생성하여 상기 제어모듈에 전송하는,
    영상 기반 로봇 제어 시스템.
  10. 제9항에 있어서,
    상기 손 판별유닛은
    상기 촬영 영상에서 상기 조정자의 손바닥을 식별하고, 상기 조정자의 손바닥이 포함되도록 관심영역을 설정하는 관심영역 식별모듈; 및
    상기 기준영역 또는 상기 기준영역을 제외한 상기 촬영영상의 나머지 영역 중 상기 관심영역이 위치한 영역을 상기 조정자의 손이 위치한 영역으로 판별하는 영역 판별모듈;을 구비하고,
    상기 신호 전송모듈은 상기 관심영역이 상기 기준 영역에 위치한 상태에서 상기 관심영역의 면적이 증가하는 경우, 해당 조종자의 손 크기가 증가하는 것으로 판단하고, 상기 관심영역의 면적이 감소하는 경우, 해당 조종자의 손 크기가 감소하는 것으로 판단하는,
    영상 기반 로봇 제어 시스템.
  11. 제1항 또는 제2항에 있어서,
    상기 조종자의 손에 착용되는 본체와, 상기 조종자의 손바닥에 대응되는 상기 본체의 외측 영역을 덮도록 형성되며, 상기 조종자의 피부색 또는 본체와 상이한 식별색상을 갖는 칼라패드가 마련된 식별장갑;을 더 구비하는,
    영상 기반 로봇 제어 시스템.
KR1020220034199A 2022-03-18 2022-03-18 영상 기반 로봇 제어 시스템 KR20230136435A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220034199A KR20230136435A (ko) 2022-03-18 2022-03-18 영상 기반 로봇 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220034199A KR20230136435A (ko) 2022-03-18 2022-03-18 영상 기반 로봇 제어 시스템

Publications (1)

Publication Number Publication Date
KR20230136435A true KR20230136435A (ko) 2023-09-26

Family

ID=88191167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220034199A KR20230136435A (ko) 2022-03-18 2022-03-18 영상 기반 로봇 제어 시스템

Country Status (1)

Country Link
KR (1) KR20230136435A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190029286A (ko) 2017-09-12 2019-03-20 한화에어로스페이스 주식회사 협동로봇제어장치 및 협동로봇을 제어하는 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190029286A (ko) 2017-09-12 2019-03-20 한화에어로스페이스 주식회사 협동로봇제어장치 및 협동로봇을 제어하는 방법

Similar Documents

Publication Publication Date Title
US20190278295A1 (en) Robot control system, machine control system, robot control method, machine control method, and recording medium
JP3994950B2 (ja) 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
US8265791B2 (en) System and method for motion control of humanoid robot
WO2017167280A1 (zh) 一种路径控制方法、路径规划方法、第一设备及第二设备、计算机存储介质
CA3016539A1 (en) Image processing method, display device, and inspection system
KR20200140834A (ko) 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법
JP7345042B2 (ja) 移動ロボットのナビゲーション
CN105027030A (zh) 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
TWI759670B (zh) 物體追蹤系統及物體追蹤方法
KR20220116237A (ko) 스마트 트레드밀
US20200406465A1 (en) Information processing apparatus, information processing method, and information processing system
JP2003266345A (ja) 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置
KR102131097B1 (ko) 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법
JP6609588B2 (ja) 自律型モビリティシステムおよび自律型モビリティの制御方法
JP5949477B2 (ja) 移動体の遠隔操作方法および遠隔操作装置
Quesada et al. Holo-SpoK: Affordance-aware augmented reality control of legged manipulators
KR20230136435A (ko) 영상 기반 로봇 제어 시스템
WO2017155005A1 (en) Image processing method, display device, and inspection system
WO2023273492A1 (zh) 人体姿态判断方法及使用该方法的移动机器
JP4878462B2 (ja) コミュニケーションロボット
CN115552487A (zh) 人体躺姿检测方法及使用该方法的移动机器
JP7223865B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN209648706U (zh) 一种机器人控制系统
Rohmer et al. Laser based driving assistance for smart robotic wheelchairs
JP2003346150A (ja) 床面認識装置及び床面認識方法並びにロボット装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application