KR101221048B1 - 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법 - Google Patents

발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법 Download PDF

Info

Publication number
KR101221048B1
KR101221048B1 KR1020110076844A KR20110076844A KR101221048B1 KR 101221048 B1 KR101221048 B1 KR 101221048B1 KR 1020110076844 A KR1020110076844 A KR 1020110076844A KR 20110076844 A KR20110076844 A KR 20110076844A KR 101221048 B1 KR101221048 B1 KR 101221048B1
Authority
KR
South Korea
Prior art keywords
motion
robot hand
hand
user
foot motion
Prior art date
Application number
KR1020110076844A
Other languages
English (en)
Inventor
김근영
Original Assignee
주식회사 바이오닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 바이오닉스 filed Critical 주식회사 바이오닉스
Priority to KR1020110076844A priority Critical patent/KR101221048B1/ko
Application granted granted Critical
Publication of KR101221048B1 publication Critical patent/KR101221048B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control

Abstract

본 발명은 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법에 관한 것으로, 보다 상세하게는 손을 사용할 수 없는 사용자의 발 모션을 인식하여 로봇핸드의 동작을 제어할 수 있는 로봇핸드 제어 시스템 및 제어방법에 관한 것이다. 본 발명에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 로봇핸드 제어신호에 의해 개별 로봇 손가락이 제어되는 로봇핸드; 상기 로봇핸드를 제어하는 상기 로봇핸드 제어신호를 생성하는 제어수단을 포함하는 로봇핸드 제어 시스템에 있어서, 사용자의 발가락들의 움직임을 파악하여 발 모션 데이터를 생성하는 발 모션 인식수단; 상기 발 모션 데이터를 통해 파악된 상기 사용자의 상기 발가락들의 움직임을 손가락들의 움직임으로 해석하여 핸드 모션 해석 데이터를 생성하는 핸드 모션 해석수단;을 포함하여 구성되고, 상기 로봇핸드 제어수단은 상기 핸드 모션 해석수단의 상기 핸드 모션 해석 데이터에 기초하여 로봇핸드 제어신호를 생성하는 것을 특징으로 한다.

Description

발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법{System for controlling robot hand using foot motion and method thereof}
본 발명은 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법에 관한 것으로, 보다 상세하게는 손을 사용할 수 없는 사용자의 발 모션을 인식하여 로봇핸드의 동작을 제어할 수 있는 로봇핸드 제어 시스템 및 제어방법에 관한 것이다.
사고 또는 선천적 장애로 인해 손을 사용할 수 없는 사람들을 위해 로봇 의수가 개발되고 있다. 로봇 의수는 단순히 손의 형태만을 모방한 의수와는 달리 사용자의 의사에 따라 로봇핸드를 작동하는 방식으로 동작하여 인간의 손의 기능을 어느 정도 보충하는 역할을 한다.
그런데 로봇핸드를 작동하기 위해 방법으로는 조종스틱 또는 키보드 등의 입력장치를 통해 사용자가 원하는 동작명령을 입력하고 로봇핸드가 이에 따라 동작하는 방식이 있다. 이러한 방식은 적어도 한쪽 손을 사용할 수 있는 경우에는 효과적이지만 두 손을 모두 사용할 수 없는 사용자의 경우는 이러한 방식으로 로봇핸드를 제어할 수 없다는 문제가 있다.
이러한 문제를 보완하기 위해 생체공학을 이용하여 절단부위에 남아 있는 신경의 미세한 신경신호를 이용하여 사용자의 생각만으로 로봇핸드를 조작하는 기술이 선보여지고 있다. 이러한 신경신호를 이용하는 제어방법은 양손을 모두 사용할 수 없는 사용자도 로봇핸드를 제어할 수 있는 장점이 있으나 아직까지 실험단계의 기술로써 제조비용이 매우 고가이고 오동작의 위험성이 있다는 문제가 있었다.
본 발명은 상기의 문제를 해결하기 위한 것으로, 본 발명에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 사용자의 발 모션을 인식하여 발 모션을 분석하여 이에 따라 로봇핸드를 제어함으로써 두 팔을 모두 사용할 수 없는 사용자도 로봇핸드를 제어할 수 있고 제어방법이 매우 직관적이기 때문에 사용을 용이하게 하는 것을 목적으로 한다.
본 발명의 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 사용자가 번거로운 입력수단을 휴대할 필요없이 센서를 포함하는 양말 또는 신발 형태의 발 모션 인식수단을 착용함으로써 일상 생활에서도 위화감없이 로봇핸드를 사용할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 특정 발 모션에 대응하는 추정 핸드 모션을 미리 저장함으로써 손가락으로는 가능한 모션이 발가락으로는 불가능한 경우에도 미리 지정된 발 모션을 취하는 경우 해당 손 모션으로 인식하여 로봇핸드를 제어함으로써 사용자의 편의성을 높이는 것을 다른 목적으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 특정 발 모션에 대응하는 지정 핸드 모션을 사용자가 미리 저장함으로써 발가락으로 재현하기 어려운 핸드 모션, 복잡한 핸드 모션, 사용자가 자주 사용하는 핸드 모션을 비교적 단순화한 발 모션에 대응시킴으로써 마치 컴퓨터 프로그램의 단축키를 사용하는 것 같이 발 모션 입력상의 번거로움을 제거할 수 있는 것을 다른 목적으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은 사용자가 발 모션을 이용하여 로봇핸드를 제어한 경우 로봇핸드의 실제 움직임을 사용자에게 피드백함으로써 로봇핸드가 사용자가 의도하지 않은 동작을 수행하는 것을 방지하고, 사용자 피드백을 통해 로봇핸드의 조작을 보다 정밀히 수행할 수 있는 것을 다른 목적으로 한다.
마지막으로, 본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 로봇핸드의 움직임을 사용자에게 발가락의 압력과 같은 촉각으로 피드백함으로써 사용자가 로봇핸드의 움직임을 직관적으로 판단함으로써 조작감을 보다 높일 수 있도록 하는 것을 다른 목적으로 한다.
본 발명에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 로봇핸드 제어신호에 의해 개별 로봇 손가락이 제어되는 로봇핸드; 상기 로봇핸드를 제어하는 상기 로봇핸드 제어신호를 생성하는 제어수단을 포함하는 로봇핸드 제어 시스템에 있어서, 사용자의 발가락들의 움직임을 파악하여 발 모션 데이터를 생성하는 발 모션 인식수단; 상기 발 모션 데이터를 통해 파악된 상기 사용자의 상기 발가락들의 움직임을 손가락들의 움직임으로 해석하여 핸드 모션 해석 데이터를 생성하는 핸드 모션 해석수단;을 포함하여 구성되고, 상기 로봇핸드 제어수단은 상기 핸드 모션 해석수단의 상기 핸드 모션 해석 데이터에 기초하여 로봇핸드 제어신호를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 상기 발 모션 인식수단이 상기 사용자의 상기 발가락들의 움직임을 파악하기 위한 센서를 포함하는 양말 또는 신발인 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 발 모션 인식수단이 상기 센서로써 근전도 센서, 가속도 센서, 신경 센서 중 적어도 어느 하나를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 발 모션 인식수단이 광학적 수단에 의해 상기 사용자의 상기 발가락들의 움직임을 파악하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 핸드 모션 해석수단이 특정 발 모션에 대응하는 추정 핸드 모션을 저장하는 추정 핸드 모션 저장부를 더 포함하여, 상기 특정 발 모션에 해당하는 상기 발 모션 데이터가 입력되는 경우 상기 추정 핸드 모션에 해당하는 상기 핸드 모션 해석 데이터를 생성하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 핸드 모션 해석수단이 특정 발 모션에 대응하는 지정 핸드 모션을 사용자가 지정하도록 하여 이를 저장하는 지정 핸드 모션 저장부를 더 포함하여, 상기 특정 발 모션에 해당하는 상기 발 모션 데이터가 입력되는 경우 상기 지정 핸드 모션에 해당하는 상기 핸드 모션 해석 데이터를 생성하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 상기 핸드 모션 해석 데이터에 기초한 상기 로봇핸드 제어신호를 생성하여 상기 로봇핸드를 제어한 경우 상기 로봇핸드의 움직임을 사용자에게 피드백하는 피드백 수단을 더 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 상기 피드백 수단이 상기 사용자의 발가락에 압력을 가하는 방식으로 상기 로봇핸드의 움직임을 사용자에게 피드백하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템은, 피드백 수단이 상기 로봇핸드에 장착된 카메라를 통해 촬상된 영상을 디스플레이를 통해 사용자에게 피드백하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
본 발명에 따른 발 모션을 이용한 로봇핸드 제어방법은, 로봇핸드 제어 시스템이 사용자의 발가락들의 움직임을 파악하여 발 모션 데이터를 생성하는 제 1 단계; 상기 로봇핸드 제어 시스템이 상기 발 모션 데이터를 통해 파악된 상기 사용자의 상기 발가락들의 움직임을 손가락들의 움직임으로 해석하여 핸드 모션 해석 데이터를 생성하는 제 2 단계; 상기 로봇핸드 제어 시스템이 상기 핸드 모션 해석 데이터에 기초하여 상기 로봇핸드 제어신호를 생성하는 제 3 단계; 및 상기 로봇핸드 제어 시스템이 상기 로봇핸드 제어신호에 의해 개별 로봇 손가락을 제어하는 제 4 단계;를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 발 모션을 이용한 로봇핸드 제어방법은, 제 1 단계가 상기 사용자의 상기 발가락들의 움직임을 파악하기 위한 센서를 포함하는 양말 또는 신발을 통해 상기 발 모션 데이터를 생성하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어방법은, 제 1 단계가, 상기 센서로써 근전도 센서, 가속도 센서, 신경 센서 중 적어도 어느 하나를 포함하는 상기 양말 또는 상기 신발을 통해 상기 발 모션 데이터를 생성하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어방법은, 제 1 단계가 광학적 수단에 의해 상기 사용자의 상기 발가락들의 움직임을 파악하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어방법은, 제 2 단계가 특정 발 모션에 해당하는 상기 발 모션 데이터가 입력되고 상기 특정 발 모션에 대응되는 추정 핸드 모션이 이미 저장되어 있는 경우 상기 추정 핸드 모션에 해당하는 상기 핸드 모션 해석 데이터를 생성하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어방법은, 제 2 단계가 특정 발 모션에 해당하는 상기 발 모션 데이터가 입력되고 상기 특정 발 모션에 대응되는 지정 핸드 모션이 상기 사용자에 의해 이미 저장되어 있는 경우 상기 지정 핸드 모션에 해당하는 상기 핸드 모션 해석 데이터를 생성하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어방법은, 상기 로봇핸드 제어 시스템이 상기 핸드 모션 해석 데이터에 기초한 상기 로봇핸드 제어신호를 생성하여 상기 로봇핸드를 제어한 경우 상기 로봇핸드의 움직임을 사용자에게 피드백하는 제 5 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어방법은, 제 단계가 상기 사용자의 발가락에 압력을 가하는 방식으로 상기 로봇핸드의 움직임을 사용자에게 피드백하는 것을 특징으로 한다.
마지막으로, 본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어방법은, 제 5 단계가 상기 로봇핸드에 장착된 카메라를 통해 촬상된 영상을 사용자에게 디스플레이하는 방식으로 상기 로봇핸드의 움직임을 사용자에게 피드백하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
본 발명은 상기의 문제를 해결하기 위한 것으로, 본 발명에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 사용자의 발 모션을 인식하여 발 모션을 분석하여 이에 따라 로봇핸드를 제어함으로써 두 팔을 모두 사용할 수 없는 사용자도 로봇핸드를 제어할 수 있고 제어방법이 매우 직관적이기 때문에 사용을 용이하게 하는 효과를 제공한다.
본 발명의 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 사용자가 번거로운 입력수단을 휴대할 필요없이 센서를 포함하는 양말 또는 신발 형태의 발 모션 인식수단을 착용함으로써 일상 생활에서도 위화감없이 로봇핸드를 사용할 수 있도록 하는 효과를 제공한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 특정 발 모션에 대응하는 추정 핸드 모션을 미리 저장함으로써 손가락으로는 가능한 모션이 발가락으로는 불가능한 경우에도 미리 지정된 발 모션을 취하는 경우 해당 손 모션으로 인식하여 로봇핸드를 제어함으로써 사용자의 편의성을 높이는 효과를 제공한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 특정 발 모션에 대응하는 지정 핸드 모션을 사용자가 미리 저장함으로써 발가락으로 재현하기 어려운 핸드 모션, 복잡한 핸드 모션, 사용자가 자주 사용하는 핸드 모션을 비교적 단순화한 발 모션에 대응시킴으로써 마치 컴퓨터 프로그램의 단축키를 사용하는 것 같이 발 모션 입력상의 번거로움을 제거할 수 있는 효과를 제공한다.
본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은 사용자가 발 모션을 이용하여 로봇핸드를 제어한 경우 로봇핸드의 실제 움직임을 사용자에게 피드백함으로써 로봇핸드가 사용자가 의도하지 않은 동작을 수행하는 것을 방지하고, 사용자 피드백을 통해 로봇핸드의 조작을 보다 정밀히 수행할 수 있는 효과를 제공한다.
마지막으로, 본 발명의 다른 실시예에 따른 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법은, 로봇핸드의 움직임을 사용자에게 발가락의 압력과 같은 촉각으로 피드백함으로써 사용자가 로봇핸드의 움직임을 직관적으로 판단함으로써 조작감을 보다 높일 수 있도록 하는 효과를 제공한다.
도 1은 본 발명에 따른 발 모션을 이용한 로봇핸드 제어 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 발 모션 인식수단의 외형도.
도 3은 본 발명의 실시예에 따른 발 모션 데이터 및 핸드 모션 해석 데이터의 매핑 예시도.
도 4는 본 발명의 실시예에 따른 발 모션 데이터, 핸드 모션 해석 데이터, 로봇핸드 제어 신호에 따른 실제 로봇핸드 구동 예시도.
도 5는 본 발명의 실시예에 따른 피드백 영상가이드 화면의 예시도.
도 6은 본 발명에 따른 발 모션을 이용한 로봇핸드 제어방법의 흐름도.
도 1은 본 발명에 따른 로봇핸드 제어 시스템을 도시한다. 본 발명에 따른 로봇핸드 제어 시스템은 로봇핸드(110), 제어수단(120), 발 모션 인식수단(130), 및 핸드 모션 해석수단(140)을 포함하여 구성된다.
로봇핸드(110)는 로봇핸드 제어신호에 의해 개별 로봇 손가락이 제어된다. 로봇핸드(110)는 인간의 손의 형상 및 기능을 유사하게 인공적으로 재현한 것으로, 모터 등에 의해 각 손가락이 구동되도록 구성되어 물건 등을 잡을 수 있도록 구현된다.
제어수단(120)은 로봇핸드(110)를 제어하는 로봇핸드 제어신호를 생성하는 기능을 수행한다. 제어수단(120)은 예컨대 마이크로 프로세서 또는 마이크로 프로세서를 포함하는 컴퓨터 등으로 구현할 수 있으며, 로봇핸드(110)의 다양한 동작수행을 명령하는 로봇핸드 제어신호를 생성하여 예컨대 로봇핸드(110)가 물건을 집거나 다른 사람과 악수를 하거나 손바닥을 펴가나 주먹을 쥐거나 하는 동작을 제어한다. 제어수단(120)은 로봇핸드(110)에 물리적으로 결합되어 구성될 수도 있고 분리되어 구성될 수도 있다.
발 모션 인식수단(130)은 사용자의 발가락들의 움직임을 파악하여 발 모션 데이터를 생성하는 기능을 수행한다. 즉 발 모션 인식수단(130)은 사용자가 발로 취한 모션을 파악하는 수단으로써 5개 발가락의 움직임, 발가락 상호간 위치관계, 발가락의 굽힘각도 등을 센서를 통해 수집하여 현재 사용자가 취한 발 모션을 입체적으로 파악한다.
발 모션 인식수단(130)은, 도 2에 도시된 바와 같이 사용자의 발가락들의 움직임을 파악하기 위한 센서(132)를 포함하는 양말 또는 신발 형태인 것이 바람직하다. 이러한 실시예에 따르면 사용자는 양말 또는 신발 형태의 발 모션 인식수단(130)을 착용함으로써 일상생활에서도 위화감 없이 본 발명에 따른 로봇핸드 제어 시스템을 사용할 수 있는 장점이 있다.
한편 발 모션 인식수단(130)은, 센서(132)로써 근전도 센서, 가속도 센서, 신경 센서 중 적어도 어느 하나를 포함할 수 있다. 근전도(Electromyography) 센서는 근육의 중심에 가까운 피부에 장착하여 근육 수축시 발생되는 근전도 신호를 측정할 수 있는 센서로써 발가락 근육의 수축시 발생하는 근전도 신호를 측정하여 발 모션을 인식하는 기능을 수행한다. 가속도 센서는 발가락 등의 이동시 그 가속도를 측정함으로써 발가락의 움직임을 파악하는 기능을 수행하며 다축으로 구성함으로써 입체적인 발가락의 움직임을 파악하는 것이 바람직하다. 신경 센서는 신경에서 발생하는 미세한 전기 신호를 측정하는 센서로써 발가락 근육을 움직이기 위한 신경의 전기 신호를 측정함으로써 발가락의 움직임을 파악하는 기능을 수행한다.
이러한 다양한 센서들을 통해 발 모션 인식수단(130)은 사용자의 발 모션을 발 모션 데이터로 변환한다.
한편, 다른 실시예에 따르면 발 모션 인식수단(130)은 광학적 수단에 의해 사용자의 발가락들의 움직임을 파악하도록 구현할 수도 있다. 이러한 실시예에 따르면 사용자의 발을 카메라로 촬영하여 그 형상을 분석하는 바디 스캐너와 같은 광학 수단을 이용하여 사용자의 발 모션을 파악할 수도 있다. 이러한 실시예에 따르면 전술한 실시예와 비교하여 이동성의 제약은 따르지만 사용자의 발과 센서의 직접 접촉 없이도 발 모션을 파악할 수 있는 효과를 제공한다.
다음으로, 핸드 모션 해석수단(140)은 발 모션 인식수단(130)의 발 모션 데이터를 통해 파악된 사용자의 발가락들의 움직임에 기초하여 손가락들의 움직임으로 해석하여 핸드 모션 해석 데이터를 생성하는 기능을 수행한다. 핸드 모션 해석수단(140)은 사용자의 발 모션에 기초하여 핸드 모션 해석 데이터를 생성하는데, 도 3과 같은 발가락 구조와 손가락 구조의 매핑 과정을 통해 발 모션 데이터로부터 핸드 모션 데이터를 생성할 수 있다. 예컨대 발 모션 데이터에서 첫째 및 둘째 발가락이 펴지고 나머지 발가락이 접혀진 상태라면 생성된 핸드 모션 데이터는 첫째 및 둘째 손가락이 펴지고 나머지 손가락이 접혀진 상태가 된다.
이러한 매핑 과정에서는 발가락과 손가락의 구조적 차이를 감안하여 매핑을 설계할 필요가 있으며, 또한 사용자마다 발가락 움직임의 숙련도가 다르기 때문에 이러한 개인차이도 고려하여 핸드 모션 데이터를 생성하는 것이 바람직하다.
이를 위해 핸드 모션 해석수단은, 특정 발 모션에 대응하는 추정 핸드 모션을 저장하는 추정 핸드 모션 저장부(142)를 더 포함하여, 특정 발 모션에 해당하는 발 모션 데이터가 입력되는 경우 추정 핸드 모션에 해당하는 핸드 모션 해석 데이터를 생성하도록 구성한다. 자유도가 높은 손가락 움직임과 비교하여 발가락의 움직임은 자유도가 높지 않다. 예컨대 인접하지 않은 손가락간의 접촉은 용이하지만 인접하지 않은 발가락간의 접촉은 매우 어렵거나 불가능하다. 따라서 인접하지 않은 로봇 손가락간의 접촉을 하도록 제어하고자 하는 경우 발 모션을 통해서는 조작이 불가능한 문제가 있다. 이러한 문제를 해결하기 위해 인접하지 않은 발가락을 동시에 굽히는 경우 로봇핸드(110)는 해당 로봇 손가락을 접촉시키도록 구성할 수 있다. 이 경우 특정 발 모션은 인접하지 않은 발가락을 동시에 굽히는 모션이고, 추정 핸드 모션은 인접하지 않은 로봇 손가락을 접촉시키는 모션이 된다. 이러한 구성을 통해 통상적인 발 모션으로는 1:1 재현이 불가능한 핸드 모션도 로봇핸드(110)를 통해 구현이 가능한 효과를 제공한다.
한편, 사용자마다 발가락 움직임의 숙련도 및 가동범위가 다른 경우가 있다. 예컨대 어떤 사람은 모든 발가락을 동시에 벌릴 수 있는 반면 그렇지 못한 사람도 있다. 이러한 개인차를 고려하여 사용자가 특정 발 모션에 대응하는 지정 핸드 모션을 직접 정하도록 하는 것이 바람직하다. 예컨대 모든 발가락을 동시에 벌리기가 여려운 사용자의 경우 엄지 발가락을 일정각도 이상 벌리는 경우 로봇핸드(110)의 로봇 손가락 전체를 벌리는 핸드 모션을 지정하도록 구성할 수 있다. 이를 위하여 핸드 모션 해석수단(140)은, 특정 발 모션에 대응하는 지정 핸드 모션을 사용자가 지정하도록 하여 이를 저장하는 지정 핸드 모션 저장부(144)를 더 포함하여, 특정 발 모션에 해당하는 발 모션 데이터가 입력되는 경우 지정 핸드 모션에 해당하는 핸드 모션 해석 데이터를 생성하도록 구성한다.
한편, 발모션을 통한 로봇핸드(110) 제어를 보다 용이하게 하기 위하여 로봇핸드(110)의 조작결과를 사용자에게 피드백하는 것이 바람직하다. 예컨대 모니터 화면을 통해 로봇핸드(110)의 실제 움직임을 동영상으로 재현하거나 압력, 이동속도 등의 데이터를 시각적으로 출력하도록 구성하는 것이 바람직하다. 이를 위해 로봇핸드 제어 시스템은, 핸드 모션 해석 데이터에 기초한 로봇핸드 제어신호를 생성하여 로봇핸드(110)를 제어한 경우 로봇핸드(110)의 움직임을 사용자에게 피드백하는 피드백 수단(150)을 더 포함하도록 구성한다.
한편 이러한 피드백 수단(150)으로써 도 2와 같은 착용형 장치를 통해 사용자의 발가락에 직접 압력을 가하는 방식으로 피드백을 제공하는 경우 사용자는 보다 직관적으로 로봇핸드(110)의 동작상태를 피드백 받을 수 있다. 예컨대 로봇핸드(110)가 사용자의 발 모션에 따라 조작되는 와중에 장애물에 부딪힌 경우 장애물에 부딪힌 손가락 부위에 해당하는 발가락에 유사한 촉각적 압력자극을 제공하는 것이 사용자 조작편의성 면에서 보다 바람직하다. 이를 위해 피드백 수단(150)은 사용자의 발가락에 압력을 가하는 방식으로 로봇핸드(110)의 움직임을 사용자에게 피드백하도록 구현한다.
또 다른 피드백 수단(150)의 구현예로는 로봇핸드(110)에 비디오 카메라를 장착하고, 사용자에게 비디오 카메라를 통해 촬영된 화면을 제공함과 동시에 촬영된 영상을 영상처리하여 촬영된 물체에 관한 정보 예컨대 물체의 크기, 면적, 형상, 거리 등의 보조적인 정보를 화면을 통해 사용자에게 제공하는 영상 가이드 방식의 피드백을 제공할 수도 있다. 발 모션을 통한 조작은 실제 손가락을 이용한 조작에 비해 정밀도가 떨어지게 되지만 이러한 영상 피드백 수단을 포함함으로써 사용자는 자신의 의지에 부합하는 보다 정밀한 조작을 가능하게 하는 효과를 제공한다.
도 6은 본 발명에 따른 발 모션을 이용한 로봇핸드 제어방법을 도시한다.먼저, 로봇핸드 제어 시스템이 사용자의 발가락들의 움직임을 파악하여 발 모션 데이터를 생성하는 제 1 단계(S10)를 수행한다. 발 모션 데이터는 로봇핸드(110)를 제어하기 위한 것이다. 사용자의 발가락들의 움직임을 파악하는 방법으로는 도 2에 도시된 바와 같이 근전도 센서, 가속도 센서, 신경 센서 중 적어도 어느 하나를 포함하는 센서를 포함하는 양말 또는 신발을 통해 상기 발 모션 데이터를 생성하도록 구현할 수도 있고, 광학적 수단에 의해 사용자의 발가락들의 움직임을 파악하도록 구현할 수도 있다.
다음으로, 로봇핸드 제어 시스템이 발 모션 데이터를 통해 파악된 사용자의 발가락들의 움직임을 손가락들의 움직임으로 해석하여 핸드 모션 해석 데이터를 생성하는 제 2 단계(S20)를 수행한다.
이때 제 2 단계(S20)는 발가락 구조와 손가락 구조의 차이를 고려하여 특정 발 모션에 해당하는 발 모션 데이터가 입력되고 특정 발 모션에 대응되는 추정 핸드 모션이 이미 저장되어 있는 경우 추정 핸드 모션에 해당하는 핸드 모션 해석 데이터를 생성하도록 하여 사용자의 편의성을 높이는 것이 바람직하다.
또한 제 2 단계(S20)는 특정 발 모션에 해당하는 발 모션 데이터가 입력되고 특정 발 모션에 대응되는 지정 핸드 모션이 사용자에 의해 이미 저장되어 있는 경우 지정 핸드 모션에 해당하는 핸드 모션 해석 데이터를 생성하도록 하여 사용자마다 자신이 자주 사용하는 핸드 모션을 보다 단순한 발 모션에 지정하거나 자신의 발 모션으로는 불가능한 핸드 모션을 가능한 발 모션으로 지정하도록 하여 사용자의 편의성을 높이는 것이 바람직하다.
다음으로, 로봇핸드 제어 시스템이 핸드 모션 해석 데이터에 기초하여 상기 로봇핸드 제어신호를 생성하는 제 3 단계(S30)를 수행하고, 마지막으로, 로봇핸드 제어 시스템이 로봇핸드 제어신호에 의해 개별 로봇 손가락을 제어하는 제 4 단계(S40)를 수행한다.
보다 바람직하게는, 로봇핸드 제어방법은, 핸드 모션 해석 데이터에 기초한 로봇핸드 제어신호를 생성하여 로봇핸드(110)를 제어한 경우 로봇핸드(110)의 움직임을 사용자에게 피드백하는 제 5 단계(S50)를 더 포함하는 것이 바람직하며, 이때 제 5 단계(S50)는 사용자의 발가락에 압력을 가하는 방식으로 로봇핸드(110)의 움직임을 사용자에게 피드백하는 것이 보다 바람직하다.
110 : 로봇핸드 120 : 제어수단
130 : 발 모션 인식수단 140 : 핸드 모션 해석수단
142 : 추정 핸드 모션 저장부 144 : 지정 핸드 모션 저장부
150 : 피드백 수단

Claims (18)

  1. 로봇핸드 제어신호에 의해 개별 로봇 손가락이 제어되는 로봇핸드;
    상기 로봇핸드를 제어하는 상기 로봇핸드 제어신호를 생성하는 제어수단을 포함하는 로봇핸드 제어 시스템에 있어서,
    사용자의 발가락들의 움직임을 파악하여 발 모션 데이터를 생성하는 발 모션 인식수단;
    상기 발 모션 데이터를 통해 파악된 상기 사용자의 상기 발가락들의 움직임을 손가락들의 움직임으로 해석하여 핸드 모션 해석 데이터를 생성하는 핸드 모션 해석수단;을 포함하여 구성되고,
    상기 로봇핸드 제어수단은 상기 핸드 모션 해석수단의 상기 핸드 모션 해석 데이터에 기초하여 로봇핸드 제어신호를 생성하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  2. 제 1 항에 있어서, 상기 발 모션 인식수단은,
    상기 사용자의 상기 발가락들의 움직임을 파악하기 위한 센서를 포함하는 양말 또는 신발인 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  3. 제 2 항에 있어서, 상기 발 모션 인식수단은,
    상기 센서로써 근전도 센서, 가속도 센서, 신경 센서 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  4. 제 1 항에 있어서, 상기 발 모션 인식수단은
    광학적 수단에 의해 상기 사용자의 상기 발가락들의 움직임을 파악하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  5. 제 1 항에 있어서, 상기 핸드 모션 해석수단은,
    특정 발 모션에 대응하는 추정 핸드 모션을 저장하는 추정 핸드 모션 저장부를 더 포함하여,
    상기 특정 발 모션에 해당하는 상기 발 모션 데이터가 입력되는 경우 상기 추정 핸드 모션에 해당하는 상기 핸드 모션 해석 데이터를 생성하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  6. 제 1 항에 있어서, 상기 핸드 모션 해석수단은,
    특정 발 모션에 대응하는 지정 핸드 모션을 사용자가 지정하도록 하여 이를 저장하는 지정 핸드 모션 저장부를 더 포함하여,
    상기 특정 발 모션에 해당하는 상기 발 모션 데이터가 입력되는 경우 상기 지정 핸드 모션에 해당하는 상기 핸드 모션 해석 데이터를 생성하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  7. 제 1 항에 있어서, 상기 로봇핸드 제어 시스템은,
    상기 핸드 모션 해석 데이터에 기초한 상기 로봇핸드 제어신호를 생성하여 상기 로봇핸드를 제어한 경우 상기 로봇핸드의 움직임을 사용자에게 피드백하는 피드백 수단을 더 포함하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  8. 제 7 항에 있어서, 상기 피드백 수단은,
    상기 사용자의 발가락에 압력을 가하는 방식으로 상기 로봇핸드의 움직임을 사용자에게 피드백하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  9. 제 7 항에 있어서, 상기 피드백 수단은,
    상기 로봇핸드에 장착된 카메라를 통해 촬상된 영상을 디스플레이를 통해 사용자에게 피드백하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어 시스템.
  10. 로봇핸드 제어 시스템이 사용자의 발가락들의 움직임을 파악하여 발 모션 데이터를 생성하는 제 1 단계;
    상기 로봇핸드 제어 시스템이 상기 발 모션 데이터를 통해 파악된 상기 사용자의 상기 발가락들의 움직임을 손가락들의 움직임으로 해석하여 핸드 모션 해석 데이터를 생성하는 제 2 단계;
    상기 로봇핸드 제어 시스템이 상기 핸드 모션 해석 데이터에 기초하여 상기 로봇핸드 제어신호를 생성하는 제 3 단계; 및
    상기 로봇핸드 제어 시스템이 상기 로봇핸드 제어신호에 의해 개별 로봇 손가락을 제어하는 제 4 단계;를 포함하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
  11. 제 10 항에 있어서, 상기 제 1 단계는,
    상기 사용자의 상기 발가락들의 움직임을 파악하기 위한 센서를 포함하는 양말 또는 신발을 통해 상기 발 모션 데이터를 생성하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
  12. 제 11 항에 있어서, 상기 제 1 단계는,
    상기 센서로써 근전도 센서, 가속도 센서, 신경 센서 중 적어도 어느 하나를 포함하는 상기 양말 또는 상기 신발을 통해 상기 발 모션 데이터를 생성하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
  13. 제 10 항에 있어서, 상기 제 1 단계는,
    광학적 수단에 의해 상기 사용자의 상기 발가락들의 움직임을 파악하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
  14. 제 10 항에 있어서, 상기 제 2 단계는,
    특정 발 모션에 해당하는 상기 발 모션 데이터가 입력되고 상기 특정 발 모션에 대응되는 추정 핸드 모션이 이미 저장되어 있는 경우 상기 추정 핸드 모션에 해당하는 상기 핸드 모션 해석 데이터를 생성하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
  15. 제 10 항에 있어서, 상기 제 2 단계는,
    특정 발 모션에 해당하는 상기 발 모션 데이터가 입력되고 상기 특정 발 모션에 대응되는 지정 핸드 모션이 상기 사용자에 의해 이미 저장되어 있는 경우 상기 지정 핸드 모션에 해당하는 상기 핸드 모션 해석 데이터를 생성하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
  16. 제 10 항에 있어서, 상기 로봇핸드 제어방법은,
    상기 로봇핸드 제어 시스템이 상기 핸드 모션 해석 데이터에 기초한 상기 로봇핸드 제어신호를 생성하여 상기 로봇핸드를 제어한 경우 상기 로봇핸드의 움직임을 사용자에게 피드백하는 제 5 단계를 더 포함하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
  17. 제 16 항에 있어서, 상기 제 5 단계는,
    상기 사용자의 발가락에 압력을 가하는 방식으로 상기 로봇핸드의 움직임을 사용자에게 피드백하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
  18. 제 16 항에 있어서, 상기 제 5 단계는,
    상기 로봇핸드에 장착된 카메라를 통해 촬상된 영상을 사용자에게 디스플레이하는 방식으로 상기 로봇핸드의 움직임을 사용자에게 피드백하는 것을 특징으로 하는 발 모션을 이용한 로봇핸드 제어방법.
KR1020110076844A 2011-08-02 2011-08-02 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법 KR101221048B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110076844A KR101221048B1 (ko) 2011-08-02 2011-08-02 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110076844A KR101221048B1 (ko) 2011-08-02 2011-08-02 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법

Publications (1)

Publication Number Publication Date
KR101221048B1 true KR101221048B1 (ko) 2013-02-15

Family

ID=47898541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110076844A KR101221048B1 (ko) 2011-08-02 2011-08-02 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법

Country Status (1)

Country Link
KR (1) KR101221048B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109722A (ko) * 2015-03-12 2016-09-21 (주)라온스퀘어 인형극 공연 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126984A (ja) * 1994-09-09 1996-05-21 Honda Motor Co Ltd リンク装置及び人工ハンド
US20080243265A1 (en) 2007-02-06 2008-10-02 Deka Products Limited Partnership Method and apparatus for control of a prosthetic
JP2010017390A (ja) 2008-07-11 2010-01-28 Univ Of Tsukuba 装着式動作補助装置、基準パラメータデータベース構築装置、装着式動作補助装置における駆動制御方法、基準パラメータデータベース構築方法、及びそのプログラム
JP2010264548A (ja) 2009-05-14 2010-11-25 Honda Motor Co Ltd ５指型ハンド装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126984A (ja) * 1994-09-09 1996-05-21 Honda Motor Co Ltd リンク装置及び人工ハンド
US20080243265A1 (en) 2007-02-06 2008-10-02 Deka Products Limited Partnership Method and apparatus for control of a prosthetic
JP2010017390A (ja) 2008-07-11 2010-01-28 Univ Of Tsukuba 装着式動作補助装置、基準パラメータデータベース構築装置、装着式動作補助装置における駆動制御方法、基準パラメータデータベース構築方法、及びそのプログラム
JP2010264548A (ja) 2009-05-14 2010-11-25 Honda Motor Co Ltd ５指型ハンド装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109722A (ko) * 2015-03-12 2016-09-21 (주)라온스퀘어 인형극 공연 장치 및 방법
KR101661989B1 (ko) * 2015-03-12 2016-10-04 (주)라온스퀘어 인형극 공연 장치 및 방법

Similar Documents

Publication Publication Date Title
US11723734B2 (en) User-interface control using master controller
US20210030491A1 (en) Interaction between user-interface and master controller
Mahmud et al. Interface for human machine interaction for assistant devices: A review
JP6314134B2 (ja) ロボット訓練のためのユーザインターフェース
Rechy-Ramirez et al. Head movements based control of an intelligent wheelchair in an indoor environment
KR101548156B1 (ko) 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법
KR101338043B1 (ko) 실감 인터랙션을 이용한 인지재활 시스템 및 방법
KR20130027006A (ko) 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
KR20140015144A (ko) 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템
KR20120102647A (ko) 주 손가락 추적 장치 및 최소 침습 수술 시스템에서의 사용 방법
KR20120115487A (ko) 원격조종 최소 침습 종속 수술 기구의 손 제어를 위한 방법 및 시스템
WO2011065034A1 (ja) ロボットの動作を制御する方法およびロボットシステム
Mouchoux et al. Artificial perception and semiautonomous control in myoelectric hand prostheses increases performance and decreases effort
Castro et al. Continuous semi-autonomous prosthesis control using a depth sensor on the hand
Weisz et al. Assistive grasping with an augmented reality user interface
Sharma et al. Webcam controlled robotic arm for persons with SSMI
KR20110044391A (ko) 입력 장치 및 방법
Mouchoux et al. Impact of shared control modalities on performance and usability of semi-autonomous prostheses
KR101221048B1 (ko) 발 모션을 이용한 로봇핸드 제어 시스템 및 제어방법
Shi et al. I-GSI: A novel grasp switching interface based on eye-tracking and augmented reality for multi-grasp prosthetic hands
Sharma et al. Eye gaze controlled robotic arm for persons with ssmi
Avola et al. Toward the future of surgery: an immersive, virtual-reality-based endoscopic prototype
Poon et al. A novel user-specific wearable controller for surgical robots
Chi et al. Recent Advances on Human-Robot Interface of Wheelchair-Mounted Robotic Arm
US20240108274A1 (en) Control Signal Viewer For Prosthetic Devices

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170104

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee