KR101341481B1 - 동작인식 기반의 로봇 제어 시스템 및 방법 - Google Patents

동작인식 기반의 로봇 제어 시스템 및 방법 Download PDF

Info

Publication number
KR101341481B1
KR101341481B1 KR1020090096410A KR20090096410A KR101341481B1 KR 101341481 B1 KR101341481 B1 KR 101341481B1 KR 1020090096410 A KR1020090096410 A KR 1020090096410A KR 20090096410 A KR20090096410 A KR 20090096410A KR 101341481 B1 KR101341481 B1 KR 101341481B1
Authority
KR
South Korea
Prior art keywords
robot
motion
control
glove
input device
Prior art date
Application number
KR1020090096410A
Other languages
English (en)
Other versions
KR20100065074A (ko
Inventor
강상승
김재홍
손주찬
정연구
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20100065074A publication Critical patent/KR20100065074A/ko
Application granted granted Critical
Publication of KR101341481B1 publication Critical patent/KR101341481B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J21/00—Chambers provided with manipulation devices
    • B25J21/02—Glove-boxes, i.e. chambers in which manipulations are performed by the human hands in gloves built into the chamber walls; Gloves therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Abstract

본 발명의 실시 예에 따른 동작인식 기반의 로봇 제어 시스템 및 이를 이용한 방법은, 사용자가 착용한 글러브형 입력 장치를 통해서 사용자의 손동작을 인식하고, 이에 대응하는 제어 명령을 로봇에 전달함으로써, 로봇 제어를 손쉽게 할 수 있도록 한다.
상기의 목적을 달성하기 위하여 동작인식 기반의 로봇 제어 시스템은, 사용자가 착용할 수 있고, 사용자의 손동작을 감지하는 센서를 포함하며, 센서에 의해 감지된 동작 정보를 송출하고, 상기 동작 정보에 따른 로봇의 제어 상태를 표시하는 표시부를 포함하는 글러브형 입력 장치와, 글러브형 입력 장치로부터 동작 정보를 수신받아 분석하여 동작 패턴을 인식하고 동작 패턴에 대응하는 제어 명령을 미리 저장된 제어 명령으로부터 선택하여 로봇의 제어부에 송신하는 동작 인식 제어부를 포함한다. 제어 대상 로봇은 제어 명령에 따라 로봇의 모터 등의 구동기를 이용한 표정 또는 자세 변화, 음성, 온도 변화 등의 감성 표현 명령 및 물리적인 로봇의 움직임에 대한 명령 중 하나 이상을 수행하고, 제어 상태 또는 정상 작동 여부 상태를 다시 글러브형 입력 장치에 송출한다.

Description

동작인식 기반의 로봇 제어 시스템 및 방법{SYSTEM FOR CONTROLLING ROBOT BASED ON MOTION RECOGNITION AND METHOD THEREBY}
본 발명은 외부 자극에 대한 반응의 표현이 가능하거나 자율적인 감성에 대한 표현이 가능한 로봇 시스템을 제어하는 방법에 관한 것으로, 특히 사용자의 손의 움직임을 글러브형 입력 장치로부터 입력받아서 동작 정보에 대한 분석 및 데이터화를 통하여 생성된 동작 정보 데이터를 기반으로 로봇에 대한 제어 명령을 선택하고 상기 제어 명령에 따라서 로봇을 제어하는 기술에 관한 것이다.
본 발명은 지식경제부의 IT원천기술개발의 일환으로 수행한 연구로부터 도출된 것이다.[과제관리번호 : 2008-F-039-01, 과제명 : 인간-로봇 상호작용 매개 기술 개발]
로봇 기술이 급속도로 발전하고 있는 가운데, 서비스형 로봇의 활성화를 위하여 인간과 로봇 사이의 원활한 상호 작용을 위한 다양한 연구가 이루어지고 있다. 보다 나은 상호 작용, 즉 자연스러운 상호 작용을 위하여 사용자가 로봇에 대한 명령을 입력하는 것을 감지하기 위한 센서 장치의 기능 개선 연구가 진행되고 있다.
인간과 로봇 사이의 상호 작용에 대한 연구 중 대표적인 것이 로봇이나 로봇의 제어부에 명령을 내리는 시스템에 의한 영상 인식을 통하여 사용자의 동작이나 음성을 인식하고 이에 따른 제어 명령을 내리는 방식이다. 그러나, 상기 방법의 경우 실생활 환경에서, 조명, 그림자, 음영, 잡음 등의 영향으로 인하여 정확한 인식 및 제어 명령 전달이 이루어지지 않고 있는 현실이다.
따라서, 영상 인식에 있어서 조도의 영향이나 음성 인식에서의 잡음 영향 등의 한계를 극복할 수 있는 인식 기술이 필요하게 되었다. 또한 사용자의 동작이나 음성 인식 기술은 현재 무선 기기 제어 수단으로 대표적인 리모컨(Remote Controller)을 이용한 제어의 방향성 문제를 해결하기 위해 필수적이며, 또한 리모컨에 비하여 더욱 직관적인 제어가 가능하여 인식 기술의 사용이 필수적이 되었다. 따라서, 인식 기술의 정확도를 향상시키고, 인간과 로봇의 상호 작용이 더욱 자연스럽게 이루어지도록 하는 외부 장치 및 내부 시스템의 필요성이 높아지고 있다.
상기 언급한 필요성을 바탕으로 본 발명의 목적은, 외부의 자극에 대한 반응 표현 및 감성 표현이 가능한 로봇을 제어하는 데 있어서, 사용자의 손의 움직임을 감지하고, 손동작 정보들을 분석하여 동작 정보에 대응하는 적합한 로봇의 제어 명령을 로봇의 제어부에 전달할 수 있도록 하는 데 있다. 또한 이러한 목적을 달성하기 위하여 사용자의 손에 착용 가능한 글러브형 입력 장치를 제공하며, 글러브형 입력 장치와 로봇 사이의 데이터 처리를 위한 장치를 제공하는 데에 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 동작인식 기반의 로봇 제어 시스템은, 손동작을 감지하는 센서와 센서에서 감지한 동작 정보를 송신하는 통신 모듈을 포함하는 글러브(Glove)형 입력장치와, 글러브형 입력장치로부터 수신한 동작 정보를 인식하여 동작 정보에 대응하는 제어 명령을 제어 대상 로봇의 제어부에 송신하는 동작 인식 제어부를 포함하며, 동작 인식 제어부는 글러브형 입력장치로부터 수신한 동작 정보를 분석하여 동작 패턴을 인식하고, 동작 패턴을 데이터화하여 동작 정보 데이터를 생성하는 동작 분석부와, 동작 분석부로부터 수신한 동작 정보 데이터를 미리 저장된 제어 명령과 비교하여, 수신한 동작 정보 데이터에 대응하는 제어 명령을 검색하여 송출하는 제어 명령부를 포함한다.
또한 동작인식 기반의 로봇 제어 시스템을 이용한 로봇 제어 방법은, 글러브 형 입력 장치가 사용자의 손동작을 감지하고, 감지한 동작 정보를 송출하는 단계, 동작 분석부가 글러브형 입력 장치로부터 수신한 동작 정보를 분석하여 동작 패턴을 인식하고, 동작 패턴을 데이터화하여 동작 정보 데이터를 생성하는 단계, 제어 명령부가 동작 분석부로부터 동작 정보 데이터를 수신하여 미리 저장된 제어 명령과 매칭하는 단계, 제어 명령부가 제어 대상 로봇의 제어부에 수신한 동작 정보 데이터에 대응하는 제어 명령을 송신하는 단계, 및 글러브형 입력 장치가 로봇의 반응정보 출력부로부터 로봇의 제어 결과를 수신하여 표시하는 단계를 포함한다.
본 발명의 실시 예에 따른 동작인식 기반의 로봇 제어 시스템에 의하면, 사용자는 손동작을 감지하는 센서가 부착된 글러브 등 간단한 외부 장치를 이용하여 간단한 손동작으로 로봇을 제어하는 것이 가능하게 되며, 조명 및 잡음의 영향을 최소화하는 구성 및 저장된 동작 정보에 대응하는 제어 명령을 통하여 로봇 제어의 정확성을 향상시킬 수 있다. 또한, 사용자의 손동작을 기반으로 직관적인 제어 명령 입력이 가능하기 때문에, 사용자와 로봇간의 상호 작용에 있어서 자연스러움을 향상시킬 수 있는 효과가 있다.
이하 도 1을 참조하여 본 발명의 실시 예에 따른 동작인식 기반의 로봇 제어 시스템에 대하여 설명하기로 한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 동작인식 기반의 로봇 제어 시스템은 먼저, 사용자가 착용가능한 글러브형 입력장치(100)를 포함한다. 글러브형 입력장치(100)는, 글러브형 입력장치(100)를 착용한 사용자의 손동작을 감지하기 위해 설치된 센서를 포함하는 센서부(101)와, 센서부(101)에서 측정된 동작 정보를 송출하여 동작 인식 프로세스를 진행하는 통신모듈(102)을 포함한다. 동작인식 기반의 로봇 제어 시스템은 또한, 글러브형 입력장치(100)로부터 사용자의 손동작에 대한 동작 정보를 수신하고, 수신한 동작 정보를 분석하여 동작 패턴을 인식하고 제어 명령과 매칭하기 위한 해석이 가능하도록 데이터화한 동작 정보 데이터를 생성하고 미리 저장된 동작 정보 데이터에 대응하는 제어 명령과 수신한 동작 정보 데이터를 비교하여, 수신한 동작 정보 데이터에 대응하는 제어 명령을 선택하고, 선택된 제어 명령을 로봇(120)의 로봇 제어부(121)에 송신하여 로봇(120)을 제어하는 동작 인식 제어부(110)를 포함한다.
또한 동작 인식 제어부(110)는 기능에 따라서, 글러브형 입력장치(100)로부터 사용자의 손동작에 대한 동작 정보를 수신하고, 상기 동작 정보를 제어 명령과 비교하기 위하여 데이터화하여 동작 정보 데이터를 생성하는 동작 분석부(111)와, 미리 저장된 제어 명령과 동작 정보 데이터의 대응 관계에 대한 데이터 베이스를 가지고, 동작 분석부(111)로부터 수신한 동작 정보 데이터를 상기 미리 저장된 제어 명령과 비교하여, 수신한 동작 정보 데이터에 대응하는 제어 명령을 검색하여 로봇 제어부(121)에 송출하는 제어 명령부(112)를 포함하는 것을 특징으로 한다.
글러브형 입력장치(100)는 사용자가 손에 착용하여 사용자의 손동작을 표현할 수 있도록 하는 장치로서, 사용자의 다양한 손동작을 감지할 수 있는 센서부(101)를 포함하고 있는 장치이다. 센서부(101)는 복수의 센서를 포함하고 있으 며, 센서는 그 기능에 따라서 글러브형 입력장치(100)의 각 위치에 설치되어 있다. 본 발명의 실시 예에서 센서는 측정하려는 정보에 따라서 분류되고 있으며, 이에 대해서 도 2를 바탕으로 설명하기로 한다.
도 2를 참조하면, 본 발명의 실시 예에서 글러브형 입력장치(100)의 각 위치에 설치된 센서는, 관성 센서(200a), 굽힘 센서(200b) 및 힘 센서(Force-Sensing Resistor) 중 하나 이상을 포함할 수 있다. 각 센서는 글러브형 입력장치(100)의 각 위치에 설치되어 사용자의 손동작에 따른 글러브형 입력장치(100)의 변화를 측정한다. 센서부(101)는 상기 센서(200)에 의해 감지된 정보를 동작 인식 제어부(110)에 전달하기 위하여 통신모듈(102)과 연결되어 있으며, 통신모듈(102)에 센서(200)에 의해 감지된 정보를 전달하게 된다. 하지만 본 발명의 실시 예와 달리, 각 센서(200)에 통신 모듈이 포함되어 있을 수도 있으므로, 이 경우에는 통신 모듈(102)은 각 센서(200)에 개별적으로 부착되어 있을 수 있음은 당연할 것이다.
센서(200)에서 감지하는 글러브형 입력장치(100)에 의한 사용자의 손의 움직임에 대한 동작 정보에 대한 예 역시 도 2에 도시되어 있다. 각 센서(200)에서 감지하는 본 발명의 실시 예에 따른 동작 정보에는, 먼저 관성 센서(200a)에서 측정하는 글러브형 입력장치(100)의 회전, 평형 상태 등 위치 변화와 속도, 자세 변화를 측정 가능한 가속도, 각속도 및 자기 방향을 측정 가능한 지자기(201a)가 있다. 관성 센서(200a)는 따라서, 손의 전체적인 움직임 및 손의 자세와 방향을 측정하는 기능을 한다. 굽힘 센서(200b)에서 측정하는 정보에는 휨 정보(201b)가 있으며, 휨 정보(201b)는 글러브형 입력장치(100)의 손가락 또는 손바닥 부분에 설치되어, 손 가락의 휨 정도 및 손바닥의 굽힘 정도를 측정하여 사용자가 손을 쥐고 피는 등의 움직임을 감지한다. 힘 정보(201c)는 글러브형 입력장치(100)의 손가락 또는 손바닥 부분에 설치되어, 손가락 또는 손바닥에 가해지는 힘(예를 들어 압력)을 측정하게 된다. 따라서, 사용자가 어떤 물건을 집거나 손에 힘을 가하는 경우, 가해지는 힘을 감지하는 역할을 하게 된다. 상기 동작 정보에 의해서, 글러브형 입력장치(100)는 사용자의 손의 움직임에 대한 다양한 동작 정보를 세밀하게 측정할 수 있다.
본 발명의 또 다른 실시 예에서는 도 2에 도시되지는 않았지만, 글러브형 입력장치(100)의 가속도, 각속도, 지자기, 손가락의 굽힘 정도, 손가락에 가해지는 힘 이외에도, 온도 센서가 센서부(101)에 포함될 경우 사용자의 손의 온도 변화를 포함할 수 있으며, 글러브형 입력장치(100) 내부에 습도 측정 센서가 설치되어 있을 경우, 사용자의 손에서 발생하는 땀의 습도 역시 포함될 수 있다.
통신 모듈(102)은 상기 언급한 바와 같이 센서부(101) 전체와 연결되어 있을 수 있거나 센서 각각에 존재할 수 있다. 통신 모듈(102)은 동작 인식 제어부(110)와 무선 통신을 통해 연결되어 있으며, 이를 통해서 센서부(101)에서 감지한 동작 정보를 동작 인식 제어부(110)에 송신하게 된다. 통신 모듈(102)은 본 발명의 실시 예에서 IRDA(Infrared Data Association), RF(Radio Frequency) 및 Bluetooth 중 하나 이상의 방법을 사용하는 장치로서, 이외에도 동작 인식 제어부(110)와의 데이터 송수신이 가능한 방법이라면 어느 것이나 가능할 것이다.
동작 인식 제어부(110)를 구성하고 있는 동작 분석부(111) 및 제어 명령 부(112) 이외에도, 상기 언급한 통신 모듈(102)로부터의 동작 정보의 수신 및 제어 명령부(112)에서 설정된 동작 정보에 대응하는 로봇의 제어 명령을 송신하기 위한 입출력부(113)가 추가적으로 동작 인식 제어부(110)에 포함될 수 있다. 통신 모듈(102)과 동작 분석부(111)가 직접적으로 연결되어 있고, 제어 명령부(112)가 로봇 제어부(121)에 직접 통신 수단을 통하여 연결되어 있을 수도 있을 것이다.
동작 분석부(111)는 수신한 동작 정보를 분석하여 글러브형 입력장치(100)의 동작 패턴을 인식하고, 제어 명령부(112)에서 동작 패턴에 대응하는 제어 명령을 찾을 수 있도록 데이터화하여 동작 정보 데이터를 생성하는 기능을 한다. 센서부(101)에 포함된 다양한 센서에서 측정하는 동작 정보는 센서의 기능 및 종류에 따라서 각기 다른 데이터 형식을 가질 수 있으며, 글러브형 입력장치(100)의 구성에 따라서 다양한 센서로 교체될 수 있기 때문에, 글러브형 입력장치(100)에 부착된 센서가 다른 종류로 교체되는 등의 경우에는, 상기 센서에서 측정되는 동작 정보를 이미 구축된 데이터 베이스의 정보와 비교하기 쉽도록 데이터화하는 작업이 필요한 것이다. 또한, 동작 정보는 센서부(101)에서 감지한 글러브형 입력장치(100)의 가속도, 각속도, 회전, 평형상태, 굽힘, 힘 정보 등 동작 정보를 단순하게 수치적으로 가지고 있는 정보에 불과하기 때문에, 글러브형 입력장치(100)의 다양한 동작 패턴을 상기 동작 정보만으로 인식하기에는 부족한 면이 있다. 따라서, 글러브형 입력장치(100)의 속도, 위치, 회전 정도 및 연속되는 동작에 대한 패턴을 인식하기 위하여, 상기의 동작 정보를 분석하여 동작 패턴을 인식하는 기능 역시 필요하다.
동작 분석부(111)는 상기 언급한 기능을 수행하기 위하여, 글러브형 입력장치(100)에 부착될 수 있는 센서가 전송하는 데이터 형식을 해석 및 연산할 수 있는 수단을 구비할 수 있으며, 이를 통하여, 예를 들면 관성 센서(200a)에서 측정할 수 있는 가속도를 적분하여 속도 정보를 얻거나, 이를 한번 더 적분하여 위치 정보를 얻을 수 있는 등의 연산을 통하여, 글러브형 입력장치(100)의 동작 패턴을 인식할 수 있게 된다. 물론 적분 오차 및 센서 오차가 존재하지만, 이를 통하여 동작 패턴을 인식할 수 있어, 센서부(101)에서 인식되는 동작 정보를 패턴으로 유형화 하고, 이를 데이터화하여 인식된 동작 패턴에 대한 동작 정보 데이터를 생성할 수 있어, 미리 저장된 제어 명령과 매칭할 수 있다. 이러한 동작 분석부(111)의 기능에 대한 예가 도 4에 도시되어 있다.
도 4를 참조하면 먼저 글러브형 입력장치(100)가 제 1위치(100a)에서 제 2 위치(100b)로 이동하게 되면, 관성 센서(200a)는 글러브형 입력장치(100)의 가속도, 각속도 및 지자기 정보(201a)를 통신 모듈(102)을 통해서 입출력부(113)에 전송하게 되고, 입출력부(113)은 동작 분석부(111)에 변환되지 않은 동작 정보를 전달하게 된다. 동작 분석부(111)는 수신한 동작 정보에 대해서, 센서의 종류에 따른 데이터 형식의 해석 방법을 동작 분석부(111)에 저장된 데이터 베이스 및 연산 수단을 통해서 동작 패턴을 인식하게 되고, 동작 정보 데이터를 생성하게 된다. 즉, 가속도가 a, 각속도가 b 및 지자기가 c라는 도 4에 도시된 데이터는 동작 분석부(111)에서 분석되어 글러브형 입력장치(100)의 동작 패턴을 인식하게 되고, 이에 근거한 동작 정보 데이터가 생성되어 제어 명령부(112)에서 해석 가능한 데이터가 되는 것이다. 각 동작 정보의 단위는 동작 분석부(111)와 제어 명령부(112)의 정보 교환 형식에 따라서, 미리 정해져 있을 수도 있으며, 동작 정보 데이터에 포함되어 있을 수 있다. 본 발명의 실시 예에서 가속도의 단위는 g(중력가속도), 각속도의 단위는 deg/s (또는 rad/s), 지자기의 단위는 G(가우스)로 되어 있으나, 이외의 단위 역시 가능할 것이다.
제어 명령부(112)는 동작 분석부(111)에서 생성된 동작 정보 데이터에 근거하여 제어 명령을 선택하여 로봇 제어부(121)에 송신하게 된다. 제어 명령부(112)에서 전달되는 제어 명령에 대한 예가 도 3에 도시되어 있다.
본 발명의 실시 예에서의 로봇(120)은 외부의 자극에 대한 반응 표현 및 감성 표현이 가능한 로봇이므로, 제어 명령 역시 로봇의 기능을 제어하는 명령이 될 것이며, 그 기능에 따라서 구분된다. 먼저 감성표현(300) 명령이 있는데, 감성표현(300) 명령은 로봇의 구성에 따라서 사용자가 표현하고자 하는 로봇의 감성을 표현하는 기능이다. 로봇의 감성을 표현하는 수단은 로봇에 설치된 표시부, 로봇에 인간의 얼굴 모양이 설치된 경우에는 얼굴 부분의 미세한 움직임을 각 얼굴 부분(입, 코, 눈썹, 눈, 볼)등에 설치된 구동기에 대한 미세 제어를 통한 표정의 표현, 음향 발생 장치를 통한 음향 효과, 온도 발생 장치를 통한 로봇의 각 요소별 온도의 변화 등이 감성 표현의 예가 될 수 있다. 또한 감성표현(300)에는 로봇의 자세 또는 동작의 변화 역시 포함될 수 있는데, 예를 들어 로봇의 손을 제어하여 눈을 닦는 움직임을 통해 로봇의 감정을 표현할 수 있을 것이다.
또한 감성표현(300)과는 다르게 물건을 집어 오는 등의 로봇(120)의 물리적 인 움직임에 대한 명령(301)이 있을 수 있으며, 로봇이 움직일 수 있는 각 요소에 대한 움직임을 제어하는 명령이 될 수 있다. 또한 이 외에도 사용자와 가위바위보 게임 등 사용자의 오락을 위한 게임 기능(302) 역시 부가적으로 포함될 수 있다.
제어 명령부(112)는 동작 분석부(111)에서 생성된 동작 정보 데이터를 미리 저장된 동작 정보 데이터와 제어 명령의 대응 데이터 베이스를 비교하고, 동작 정보에 대응하는 제어 명령을 선택하게 된다. 동작 정보 데이터는 인식된 동작 패턴에 대한 데이터기 때문에, 제어 명령부(112)에서는 동작 분석부(111)에서 분석된 글러브형 입력장치(100)의 동작 패턴을 기반으로 로봇을 제어하기 위한 명령을 매칭하기 위한 기능을 수행하게 된다. 제어 명령부(112)는 본 발명의 실시 예에서 로봇 외부의 장치에 포함되지만, 로봇 시스템 내부에 포함될 수도 있을 것이다. 제어 명령부(112)에서는 센서부(101)에서 측정한 동작 정보를 가공 및 분석하여 생성된 동작 패턴에 대한 데이터를 기반으로 제어 명령을 매칭하게 된다.
본 발명의 실시 예에 따른 동작인식 기반의 로봇 제어 시스템에 따른 제어의 대상이 되는 로봇(120)은 제어 명령부(112)에서 수신한 제어 명령을 바탕으로 구동된다. 로봇(120)은 로봇 제어부(121)를 기본적으로 포함하고 있는데, 로봇 제어부(121)는 입출력부(113)와 연결되어 제어 명령을 수신하게 되며, 로봇 제어부(121)는 본 발명의 실시 예에 따른 동작인식 기반의 로봇 제어 시스템에 따른 로봇 제어가 가능한 로봇에 설치된 별도의 장치거나 로봇에 기본적으로 설치된 로봇 기능에 대한 제어부에 동작인식 기반의 로봇 제어 시스템을 적용하기 위한 프로그램이 설치되어 있는 장치일 수 있다.
본 발명의 다른 실시 예에서는, 글러브형 입력장치(100)에, 사용자의 손동작을 기반으로 한 로봇(120)의 제어 결과를 표시하는 표시부(103)가 더 포함될 수 있다. 사용자에게 로봇의 제어 상태에 대한 정보를 제공하여 사용자가 원하는 제어 명령이 수행되고 있는지를 사용자가 로봇을 직접 점검하거나 인지할 수 있는 상황이 아니더라도 확인 가능하도록 해서 사용자에게 편의를 제공할 수 있는 효과가 있을 것이다.
글러브형 입력장치(100)에 설치될 수 있는 표시부(103)에는, 직접 로봇(120)의 제어 상태를 LCD, LED 등을 통하여 사용자가 확인할 수 있도록 하는 시각적인 표시 반응기, 사용자가 눈으로 확인이 불가능하거나 불편할 경우 대체적으로 글러브형 입력장치(100)에 미리 정해진 규칙에 따라서 일정 시간 일정 간격으로 진동을 생성하는 진동 반응기, 사용자에게 일정 신호 또는 사람이 해석 가능한 언어 등의 신호로 소리를 발생하는 음향 반응기, 및 글러브형 입력장치(100)의 온도를 변화시켜 사용자가 촉각을 통해 제어 상태를 확인 가능한 온도 반응기 중 하나 이상이 표시부(103)에 포함될 수 있으며, 사용자는 표시부(103)를 통해 다양한 방법으로 로봇(120)의 제어 상태를 실시간으로 확인할 수 있다.
상기 표시부(103)의 로봇(120)의 제어 상태 확인을 위하여, 로봇(120)에는 로봇 제어부(121) 이외에도, 로봇의 제어 상태를 글러브형 입력장치(100)에 송신하기 위한 반응 정보 출력부(123)가 포함될 수 있다. 반응 정보 출력부(123)는 로봇 제어부(121) 내부에 존재하거나 별도로 존재할 수 있으며, 로봇의 제어 상태에 대한 정보를 글러브형 입력장치(100)의 통신 모듈(102)에 송신하게 된다.
로봇의 제어 상태 이외에도, 표시부(103) 및 반응 정보 출력부(123)는 로봇의 전반적인 상태에 대한 정보를 송수신할 수 있다. 예를 들어 로봇의 전원 상태에 대한정보, 로봇의 각 구동기의 정상 작동 및 파손 여부, 로봇 주위의 온도, 습도 등 환경 정보를 글러브형 입력장치(100)의 표시부에 의해 사용자에게 전달할 수 있다면, 사용자는 로봇의 제어 상태 이외에도 로봇의 상태를 글러브형 입력장치(100)를 통해 확인할 수 있어, 로봇의 관리에 있어서 효율적인 효과를 추가적으로 얻을 수 있기 때문이다. 또한 로봇의 상태를 로봇 제어부(121)에 송신하여, 로봇이 감성표현 또는 물리적인 움직임 등 제어 명령을 제대로 수행할 수 있는지에 대한 판단을 할 수 있도록 로봇 제어부(121)에 정보를 제공할 필요가 있을 것이다. 따라서, 상기 언급한 로봇 상태에 대한 정보를 측정하여 로봇 제어부(121)에 송신할 수 있도록 로봇 센서부(122)가 존재할 수 있다. 로봇 센서부(122)는 기본적으로 본 발명의 실시 예에 따른 동작인식 기반의 로봇 제어 시스템이 적용되는 로봇 이외에도 설치되어 있을 수 있는 센서부(122)도 적용 가능할 것이다. 따라서, 로봇 제어부(121)는 로봇 센서부(122)가 존재할 시에, 제어 명령부(112)로부터 수신한 제어 명령을 수행할 상태가 되는지는 로봇 센서부(122)에서 감지한 로봇 상태로부터 판단한 뒤, 제어 명령을 수행할 것이다.
상기 언급한 본 발명의 실시 예에 따른 동작인식 기반 로봇 제어 시스템을 이용한 로봇 제어 방법에 대한 설명이 도 5에 도시되어 있다.
도 5을 참조하면, 본 발명의 실시 예에 따른 동작인식 기반 로봇 제어 방법은 먼저, 글러브형 입력장치(100)가 글러브형 입력장치(100)를 착용한 사용자의 손 동작에 의한 동작 정보를 센서부(101)를 통해 감지하는 단계(S1)가 수행된다. 그 다음, 글러브형 입력장치의 동작 정보를 수신한 동작 분석부(111)가 동작 정보 수신을 통해서 동작 정보를 분석하여 동작 패턴을 인식하고, 동작 패턴을 제어 명령부(112)에서 해석 가능한 데이터로 변환한 동작 정보 데이터를 생성하는 단계(S2)가 수행된다. 동작 분석부(111)로부터 동작 정보 데이터를 수신한 제어 명령부(112)는, 미리 저장된 제어 명령에 수신한 동작 정보 데이터를 비교하여, 수신한 동작 정보 데이터에 저장된 글러브형 입력장치(100)에 대응하는 제어 명령을 선택하는 단계(S3)를 수행한다. 그 다음 제어 명령부(112)는 선택된 제어 명령을 로봇(120)의 로봇 제어부(121)에 송신하는 단계(S4)를 수행하며, 로봇 제어부(121)는 로봇의 상태를 감지하여 로봇이 제어 명령을 수행할 수 있는지를 판단한 뒤, 제어 명령에 따른 기능을 수행하는 단계(S5)를 수행한다. 이후 제어 상태 및 로봇의 상태에 대해서 반응 정보 출력부(123)가 글러브형 입력 장치(100)에 송신하는 단계(S6)를 수행한다.
상기 설명한 본 발명의 실시 예는 설명적인 용도로만 사용되어야 할 것이며, 특허청구범위를 제한하는 것이 아니다. 또한, 상기 언급한 본 발명의 실시 예 이외에도, 본 발명과 동일한 기능을 하는 균등한 발명 역시 본 발명의 권리범위에 포함될 것임은 당연할 것이다.
도 1은 본 발명의 실시 예에 따른 동작인식 기반 로봇 제어 시스템의 장치도를 도시한 것이다.
도 2는 글러브형 입력장치(100)의 센서부(101)의 센서 및 측정 동작 정보의 예를 도시한 것이다.
도 3은 동작 정보에 대응하는 로봇(120)에 대한 제어 명령 예를 나타낸 것이다.
도 4는 동작 분석부(111)의 글러브형 입력 장치(100)의 동작에 따른 동작 정보 데이터 생성 예를 도시한 것이다.
도 5은 본 발명의 실시 예에 따른 동작인식 기반 로봇 제어 시스템을 활용한 로봇 제어 방법에 대한 흐름도를 도시한 것이다.

Claims (10)

  1. 손의 동작 정보를 감지하는 센서와 상기 센서에서 감지한 동작 정보를 송신하는 통신 모듈을 포함하는 글러브(Glove)형 입력장치와,
    상기 글러브형 입력장치로부터 수신한 동작 정보를 인식하여 동작 정보에 대응하는 제어 명령을 제어 대상 로봇의 제어부에 송신하는 동작 인식 제어부를 포함하는 동작인식 기반의 로봇 제어 시스템에 있어서,
    상기 동작 인식 제어부는,
    상기 글러브형 입력장치로부터 수신한 동작 정보를 분석하여 동작 패턴을 인식하고, 동작 패턴을 데이터화하여 동작 정보 데이터를 생성하는 동작 분석부와,
    상기 동작 분석부로부터 수신한 동작 정보 데이터와 미리 저장된 제어 명령을 비교하여, 수신한 동작 정보 데이터에 대응하는 제어 명령을 송출하는 제어 명령부를 포함하고,
    상기 동작 정보는,
    상기 글러브형 입력 장치의 움직임에 의한 가속도, 각속도, 및 지자기와, 상기 글러브형 입력 장치의 손가락의 굽힘 정도, 및 상기 글러브형 입력 장치의 손가락에 가해지는 힘, 손의 온도, 땀의 습도 중 하나 이상을 포함하며,
    상기 제어 명령은,
    로봇의 구동기에 의한 표정 또는 자세 변화, 음성 표현, 및 온도 변화 중 하나 이상을 포함하는 감성 표현 명령과 로봇의 물리적인 움직임에 대한 명령 중 하나 이상을 포함하는, 동작인식 기반의 로봇 제어 시스템.
  2. 삭제
  3. 청구항 1에 있어서, 상기 글러브형 입력 장치는,
    동작 정보 인식에 의한 제어 대상 로봇의 제어 상태를 표시하는 표시부를 더 포함하는, 동작인식 기반의 로봇 제어 시스템.
  4. 청구항 3에 있어서, 상기 표시부는,
    시각적 표시 반응, 진동 반응, 음향 반응 및 온도 변화 반응 중 하나 이상의 기능을 포함하는, 동작인식 기반의 로봇 제어 시스템.
  5. 삭제
  6. 청구항 1에 있어서, 상기 동작 인식 제어부는,
    상기 글러브형 입력 장치, 상기 동작 분석부, 상기 제어 명령부, 및 제어 대상 로봇의 제어부와의 데이터 송수신을 위한 입출력부를 더 포함하는, 동작인식 기반의 로봇 제어 시스템.
  7. 청구항 1에 있어서, 상기 제어 대상 로봇은,
    상기 글러브형 입력 장치에 제어 대상 로봇의 제어 상태를 송신하는 반응정 보 출력부를 더 포함하는, 동작인식 기반의 로봇 제어 시스템.
  8. 청구항 1에 있어서, 상기 제어 대상 로봇은,
    제어 대상 로봇의 제어 상태 및 정상 동작 여부를 측정하는 센서부를 더 포함하는, 동작인식 기반의 로봇 제어 시스템.
  9. 글러브형 입력 장치가 사용자의 손의 동작 정보를 감지하고, 감지한 동작 정보를 송출하는 단계,
    동작 분석부가 상기 글러브형 입력 장치로부터 수신한 동작 정보를 분석하여 동작 패턴을 인식하고, 동작 패턴을 데이터화하여 동작 정보 데이터를 생성하는 단계,
    제어 명령부가 상기 동작 분석부로부터 동작 정보 데이터를 수신하여 미리 저장된 제어 명령과 매칭하는 단계,
    상기 제어 명령부가 매칭된 제어 명령을 송신하고 로봇의 제어부가 로봇 상태에 따라 제어 명령을 수행하는 단계, 및
    상기 글러브형 입력 장치가 로봇의 반응정보 출력부로부터 로봇의 제어 결과를 수신하여 표시하는 단계를 포함하고,
    상기 동작 정보는, 상기 글러브형 입력 장치의 움직임에 의한 가속도, 각속도, 및 지자기와, 상기 글러브형 입력 장치의 손가락의 굽힘 정도, 및 상기 글러브형 입력 장치의 손가락에 가해지는 힘, 손의 온도, 땀의 습도 중 하나 이상을 포함하며,
    상기 제어 명령은 로봇의 구동기에 의한 표정 또는 자세 변화, 음성 표현, 및 온도 변화 중 하나 이상을 포함하는 감성 표현 명령과 로봇의 물리적인 움직임에 대한 명령 중 하나 이상을 포함하는, 동작인식 기반의 로봇 제어 방법.
  10. 삭제
KR1020090096410A 2008-12-05 2009-10-09 동작인식 기반의 로봇 제어 시스템 및 방법 KR101341481B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080123487 2008-12-05
KR20080123487 2008-12-05

Publications (2)

Publication Number Publication Date
KR20100065074A KR20100065074A (ko) 2010-06-15
KR101341481B1 true KR101341481B1 (ko) 2013-12-13

Family

ID=42364577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090096410A KR101341481B1 (ko) 2008-12-05 2009-10-09 동작인식 기반의 로봇 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101341481B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101159475B1 (ko) * 2010-12-10 2012-06-25 숭실대학교산학협력단 근전도 센서와 가속도 센서를 이용한 로봇 이동 제어 장치 및 방법
KR101331952B1 (ko) * 2011-10-13 2013-11-26 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR102171873B1 (ko) 2013-05-08 2020-10-29 삼성전자주식회사 햅틱 글로브 및 수술로봇 시스템
JP6810552B2 (ja) * 2016-08-12 2021-01-06 川崎重工業株式会社 アイソレータシステム
KR102214322B1 (ko) * 2018-05-16 2021-02-09 (주)코어센스 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
KR102411665B1 (ko) * 2020-12-01 2022-06-21 엘아이지넥스원 주식회사 햅틱 기반 원격 제어를 이용한 재난 구조 시스템 및 이의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020072367A (ko) * 2001-03-09 2002-09-14 삼성전자 주식회사 바이오 피드백을 이용한 정보 입력 시스템 및 정보 입력방법
JP2006107024A (ja) * 2004-10-04 2006-04-20 Tamagawa Seiki Co Ltd 三次元入力装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020072367A (ko) * 2001-03-09 2002-09-14 삼성전자 주식회사 바이오 피드백을 이용한 정보 입력 시스템 및 정보 입력방법
JP2006107024A (ja) * 2004-10-04 2006-04-20 Tamagawa Seiki Co Ltd 三次元入力装置

Also Published As

Publication number Publication date
KR20100065074A (ko) 2010-06-15

Similar Documents

Publication Publication Date Title
JP2021072136A (ja) ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
US10860091B2 (en) Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
KR101341481B1 (ko) 동작인식 기반의 로봇 제어 시스템 및 방법
US11474593B2 (en) Tracking user movements to control a skeleton model in a computer system
US20110234488A1 (en) Portable engine for entertainment, education, or communication
US10775946B2 (en) Universal handheld controller of a computer system
US20030076293A1 (en) Gesture recognition system
CN101751126A (zh) 使用多个传感器空间的免提的基于手势的接口
KR102347067B1 (ko) 제스처를 통해 외부 장치를 제어하는 휴대용 장치 및 그 동작방법
WO1993014454A1 (en) A sensory integrated data interface
US10542929B2 (en) Determining conditions based on intraoral sensing
US20210089162A1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
WO2009075433A1 (en) Data input apparatus and data processing method therefor
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
US20220291753A1 (en) Spatial Gesture Recognition using Inputs from Different Devices to Control a Computing Device
WO2020009715A2 (en) Tracking user movements to control a skeleton model in a computer system
CN108089710A (zh) 一种电子设备控制方法、装置及电子设备
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
JP2015176176A (ja) 情報入出力装置及び情報入出力方法
US11635823B1 (en) Detecting user input from multi-modal hand bio-metrics
EP4246289A1 (en) Detecting user input from multi-modal hand bio-metrics
Mubashira et al. A Comprehensive Study on Human Interaction with IoT Systems
CN116774816A (zh) 从多模式的手部生物测量中检测用户输入

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 7