KR20170030139A - 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법 - Google Patents

근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20170030139A
KR20170030139A KR1020150127144A KR20150127144A KR20170030139A KR 20170030139 A KR20170030139 A KR 20170030139A KR 1020150127144 A KR1020150127144 A KR 1020150127144A KR 20150127144 A KR20150127144 A KR 20150127144A KR 20170030139 A KR20170030139 A KR 20170030139A
Authority
KR
South Korea
Prior art keywords
gesture
hmm
robot control
hidden
model
Prior art date
Application number
KR1020150127144A
Other languages
English (en)
Other versions
KR101849350B1 (ko
Inventor
김동한
정훤재
신성옥
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020150127144A priority Critical patent/KR101849350B1/ko
Publication of KR20170030139A publication Critical patent/KR20170030139A/ko
Application granted granted Critical
Publication of KR101849350B1 publication Critical patent/KR101849350B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G06K9/00335—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 관성센서(IMU, Inertia Measurement Unit)와 근전도 센서(EMG, Electromyogram)의 센서퓨전을 사용한 사용자의 제스처 인식에 기반하여 모바일 로봇을 제어하는 기술로서, 일실시예에 따른 로봇 제어 시스템은 근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집하는 수집부, 상기 제1 센싱값 및 상기 제2 센싱값에 기초하여 제스처를 인식하는 인식부, 및 상기 인식된 제스처에 상응하는 로봇 제어 신호를 생성하는 제어부를 포함한다.

Description

근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법{SYSTEM AND METHOD OF CONTROLLING MOBILE ROBOT USING INERTIA MEASUREMENT UNIT AND ELECTROMYOGRAM SENSOR-BASED GESTURE RECOGNITION}
본 발명은 관성센서(IMU, Inertia Measurement Unit)와 근전도 센서(EMG, Electromyogram)의 센서퓨전을 사용한 사용자의 제스처 인식에 기반하여 모바일 로봇을 제어하는 기술로서, 제스처 데이터를 토대로 2단계의 HMM(Hidden Ma-rkoff Model)을 적용하여 사용자의 제스처를 판별하고 모바일 로봇을 컨트롤하는 기술적 사상을 개시한다.
최근 로봇과 사람간의 커뮤니케이션에 관한 주제가 많이 다뤄지고 있으며 다양한 방법을 이용한 연구들이 계속하여 나오고 있다. 그 소재는 음성, 비전 또는 제스처 등으로 이를 사용한 사용자와 친숙한 인터페이스들이 많이 소개되고 있다. 제스처를 이용한 연구들 중에서 제스처를 구별하기 위해 패턴을 판별하기 위한 신호를 얻는 다양한 센서들을 사용한 방법을 논한 연구도 있다.
최근에는 Electromyograms(EMGs), Electroencephalograms (EEGs)와 Electrooculograms (ECGs)와 같은 생체신호를 응용한 연구 사례들이 늘어나고 있다. 개중에 EMG 신호를 사용한 사례로 회화의 필요없이 핸즈프리한 제스처 인식으로 한 EMG-Mouse 연구도 있다. 싱글 근전도센서를 사용하여 4가지의 제스처를 구별하여 모바일 RC카를 컨트롤하는 연구도 있다. 멀티 근전도센서와 3축 가속도 센서를 결합하여 핸드 제스처를 구사하여 가상공간에서 루빅 큐브를 조립하며 언어를 구사하는 연구도 있다.
패턴인식 알고리즘에는 HMM(Hidden Markov Model), CRF(Conditional Random Fields), Particle filtering과 FSM(Finite State Machine)과 같은 통계 모델들과 같이 다양한 방법들에 대한 수많은 연구들이 있다. 그 중 HMM은 제스처 인식에 대한 장점으로 의해 제스처 인식 분야에 자주 사용되는 툴이다. HMM은 시간 도메인의 처리를 모델링하는 능력을 갖으며 시간을 통해 위치와 제스처의 방향을 고려할 때 유용하게 가정할 수 있는 마르코프 속성을 보여준다. HMM은 풍부한 수학적 구조와 자연스러운 방법으로 공간-시간 정보를 알고리즘은 센서 정보로부터 동적 시스템의 상태를 추정하기에 매우 효과적이다. 그리고 CRF(Conditional Random Fields)는 제스처 인식에 잘 알려진 모델이다. 이 모델은 방향성 그래픽 모델 및 라벨 데이터를 위해 개발된 차별적인 모델이다. CRF는 주어진 관찰된 시퀀스들을 모델링 하기 위해 exponential 분포를 사용한다. 그리고 HMM처럼 각 클래스에 대한 각 모델을 구성하거나 주어진 모든 제스처 클래스에 대한 likelihood를 최대화하지 않는 대신, 초기에 설정된 시퀀스들에 대한 조인트 확률을 위한 단일 모델이다. 또한 CRF는 관찰에서의 조건부 독립의 요구사항을 피할 수 있다는 장점이 있다.
모바일 로봇을 위한 동작 인식에는 특정 로봇에 대응하는 시스템에 대해 여러 조건이 붙는다. 시스템은 실시간 모바일 로봇 환경에서 맞게 충분히 빨라야하며 제스처의 종류가 적합해야 한다. 예를 들어 모바일 로봇을 위한 제스처는 반드시 단순하고 특정적인 수신호(Forward, Backward, Turn Right, Turn Left)와 같아야 하며, 반면 휴머노이드 로봇을 위한 제스처는 사람의 걷기, 앉기, 점프, 눕기와 같은 행동과 유사해야 한다.
위의 방법을 사용한 HRI의 연구의 대부분은 단순한 제스처 또는 여러 제스처의 종류 중 하나를 다룬다.
대한민국 특허공보 제10-1130645호 대한민국 특허공보 제10-1138019호
실시예에 따르면, 보다 자연스럽고 지능적인 제스처 기반의 컨트롤 시스템을 제공하는 것이다.
실시예에 따르면, 관성센서와 근전도 센서의 센서퓨전을 사용한 사용자의 제스처 인식에 기반하여 로봇을 제어할 수 있는 기술을 제공하는 것이다.
실시예에 따르면, 직관적인 제스처를 통한 사람과 로봇간의 커뮤니케이션이 가능하며, 카메라를 통하지 않아 장소에 구애받지 않으므로 다양한 방면으로 응용할 수 있는 로봇 제어 기술을 제공하는 것이다.
일실시예에 따른 로봇 제어 시스템은 근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집하는 수집부, 상기 제1 센싱값 및 상기 제2 센싱값에 기초하여 제스처를 인식하는 인식부, 및 상기 인식된 제스처에 상응하는 로봇 제어 신호를 생성하는 제어부를 포함한다.
일실시예에 따른 상기 제1 센싱값은 활성화 신호 및 비활성화 신호 중에서 어느 하나의 신호이고, 상기 수집부는 상기 제1 센싱값이 활성화 신호인 경우에 상기 제2 센싱값을 더 수집한다.
일실시예에 따른 상기 수집부는, 상기 제1 센싱값이 활성화 신호인 경우, 상기 제2 센싱값으로부터 제스처 특징을 추출하는 특징 추출부, 및 상기 추출된 제스처 특징을 전처리하는 전처리부를 더 포함한다.
일실시예에 따른 로봇 제어 시스템은 상기 전처리된 제스처 특징을 이용하는 1단계 HMM(Hidden Ma-rkoff Model) 및 상기 인식된 제스처를 이용하는 2단계 HMM(Hidden Ma-rkoff Model)을 수행하는 HMM(Hidden Ma-rkoff Model) 처리부를 더 포함한다.
일실시예에 따른 상기 HMM(Hidden Ma-rkoff Model) 처리부는, 상기 1단계 HMM(Hidden Ma-rkoff Model) 이후, 판별된 연속된 제스처들의 시퀀스를 입력 데이터로서 받아 2단계 HMM(Hidden Ma-rkoff Model)에서 트레이닝 하도록 제어한다.
일실시예에 따른 상기 1단계 HMM(Hidden Ma-rkoff Model) 및 상기 2단계 HMM(Hidden Ma-rkoff Model) 중에서 적어도 하나에 대한 트레이닝 데이터는 각 제스처들 마다 미리 지정된 개수의 샘플 제스처를 포함한다.
일실시예에 따른 상기 HMM(Hidden Ma-rkoff Model) 처리부는, 상기 1단계 HMM(Hidden Ma-rkoff Model)에서 제스처별 트레이닝 데이터를 수집하여 메인 제스처를 판별한다.
일실시예에 따른 상기 HMM(Hidden Ma-rkoff Model) 처리부는, 상기 2단계 HMM(Hidden Ma-rkoff Model)에서, 상기 메인 제스처의 시퀀스를 기반으로 로봇 제어 신호를 판별한다.
일실시예에 따른 로봇 제어 시스템은 근전도 센서(EMG, Electromyogram)로부터의 제1 센싱값이 활성화 신호인지 여부를 판단하는 판단부, 상기 판단 결과, 상기 제1 센싱값이 활성화 신호인 경우에 상기 제2 센싱값을 수집하는 수집부, 및 상기 수집된 제2 센싱값에 HMM(Hidden Ma-rkoff Model)을 적용하여 식별되는 제스처에 상응하는 로봇 제어 신호를 생성하는 제어부를 포함한다.
일실시예에 따른 상기 제어부는, 상기 수집된 제2 센싱값에 1단계 HMM(Hidden Ma-rkoff Model) 및 2단계 HMM(Hidden Ma-rkoff Model)를 순차적으로 적용하여 상기 로봇 제어 신호를 생성한다.
일실시예에 따른 상기 제어부는, 상기 1단계 HMM(Hidden Ma-rkoff Model)에서 제스처별 트레이닝 데이터를 수집하여 메인 제스처를 판별한다.
일실시예에 따른 상기 제어부는, 상기 2단계 HMM(Hidden Ma-rkoff Model)에서, 상기 메인 제스처의 시퀀스를 기반으로 로봇 제어 신호를 판별한다.
일실시예에 따른 로봇 제어 방법은 근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집하는 단계, 상기 제1 센싱값 및 상기 제2 센싱값에 기초하여 제스처를 인식하는 단계, 및 상기 인식된 제스처에 상응하는 로봇 제어 신호를 생성하는 단계를 포함한다.
일실시예에 따른 상기 제1 센싱값은 활성화 신호 및 비활성화 신호 중에서 어느 하나의 신호이고, 상기 수집하는 단계는, 상기 제1 센싱값이 활성화 신호인 경우에 상기 제2 센싱값을 더 수집하는 단계를 포함한다.
일실시예에 따른 로봇 제어 방법은 상기 제1 센싱값이 활성화 신호인 경우, 상기 제2 센싱값으로부터 제스처 특징을 추출하는 단계, 상기 추출된 제스처 특징을 전처리하는 단계, 및 상기 전처리된 제스처 특징을 이용하는 1단계 HMM(Hidden Ma-rkoff Model) 및 상기 인식된 제스처를 이용하는 2단계 HMM(Hidden Ma-rkoff Model)을 수행하는 HMM(Hidden Ma-rkoff Model) HMM(Hidden Ma-rkoff Model) 처리 단계를 더 포함한다.
일실시예에 따른 상기 HMM(Hidden Ma-rkoff Model) 처리 단계는, 상기 1단계 HMM(Hidden Ma-rkoff Model) 이후, 판별된 연속된 제스처들의 시퀀스를 입력 데이터로서 받아 2단계 HMM(Hidden Ma-rkoff Model)에서 트레이닝 하도록 제어하는 단계를 포함한다.
일실시예에 따른 상기 HMM(Hidden Ma-rkoff Model) 처리 단계는, 상기 1단계 HMM(Hidden Ma-rkoff Model)에서 제스처별 트레이닝 데이터를 수집하여 메인 제스처를 판별하는 단계, 및 상기 2단계 HMM(Hidden Ma-rkoff Model)에서, 상기 메인 제스처의 시퀀스를 기반으로 로봇 제어 신호를 판별하는 단계를 포함한다.
일실시예에 따른 로봇 제어 프로그램은 근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집하는 명령어세트, 상기 제1 센싱값 및 상기 제2 센싱값에 기초하여 제스처를 인식하는 명령어세트, 및 상기 인식된 제스처에 상응하는 로봇 제어 신호를 생성하는 명령어세트를 포함한다.
실시예에 따르면, 보다 자연스럽고 지능적인 제스처 기반의 컨트롤 시스템을 제공할 수 있다.
실시예에 따르면, 관성센서와 근전도 센서의 센서퓨전을 사용한 사용자의 제스처 인식에 기반하여 로봇을 제어할 수 있는 기술을 제공할 수 있다.
실시예에 따르면, 직관적인 제스처를 통한 사람과 로봇간의 커뮤니케이션이 가능하며, 카메라를 통하지 않아 장소에 구애받지 않으므로 다양한 방면으로 응용할 수 있는 로봇 제어 기술을 제공할 수 있다.
도 1은 일실시예에 따른 로봇 제어 시스템을 설명하는 도면이다.
도 2는 일실시예에 따른 로봇 제어 시스템을 보다 구체적으로 설명하는 도면이다.
도 3은 일실시예에 따른 퓨전 센서의 구조를 설명하는 도면이다.
도 4는 관성센서로 식별되는 제스처의 실시예들을 설명하는 도면이다.
도 5는 근전도 센서로 식별되는 실시예들을 설명하는 도면이다.
도 6은 근전도 센서에 의한 센싱 신호를 설명하는 도면이다.
도 7은 각 제스처별 센싱값의 변화를 설명하는 도면이다.
도 8은 관성센서의 3축 오일러 각도(Euler angle)와 가공되지 않은 근전도 센서 출력(raw EMG)을 나타내는 도면이다.
도 9는 근전도 센서의 신호와 관성센서의 신호를 통한 제스처 데이터를 설명하는 도면이다.
도 10은 커맨드 1과 커맨드2에 대한 제스처 시퀀스 결과를 설명하는 도면이다.
도 11은 또 다른 일실시예에 따른 로봇 제어 시스템을 설명하는 도면이다.
도 12는 일실시예에 따른 로봇 제어 방법을 설명하는 도면이다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 권리범위가 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 로봇 제어 시스템(100)을 설명하는 도면이다.
일실시예에 따른 로봇 제어 시스템(100)은 보다 자연스럽고 지능적인 제스처 기반의 컨트롤 시스템을 제공할 수 있다. 또한, 관성센서와 근전도 센서의 센서퓨전을 사용한 사용자의 제스처 인식에 기반하여 로봇을 제어할 수 있는 기술을 제공할 수 있고, 직관적인 제스처를 통한 사람과 로봇간의 커뮤니케이션이 가능하며, 카메라를 통하지 않아 장소에 구애 받지 않으므로 다양한 방면으로 응용할 수 있는 로봇 제어 기술을 제공할 수 있다.
이를 위해, 일실시예에 따른 로봇 제어 시스템(100)은 수집부(110), 인식부(120), 및 제어부(130)를 포함할 수 있다.
구체적으로, 일실시예에 따른 수집부(110)는 근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집할 수 있다.
예를 들어, 제1 센싱값은 활성화 신호 및 비활성화 신호 중에서 어느 하나의 신호로 해석될 수 있다. 또한, 이때 수집부(110)는 제1 센싱값이 활성화 신호인 경우에 제2 센싱값을 더 수집할 수 있다. 또한, 수집부(110)는 제1 센싱값이 활성화 신호인 경우에는 제2 센싱값으로부터 제스처 특징을 추출하고, 추출된 제스처 특징에 대한 전처리를 수행할 수 있다.
일실시예에 따른 인식부(120)는 제1 센싱값 및 제2 센싱값에 기초하여 제스처를 인식할 수 있다.
다음으로, 일실시예에 따른 제어부(130)는 인식된 제스처에 상응하는 로봇 제어 신호를 생성할 수 있다.
도 2는 일실시예에 따른 로봇 제어 시스템(200)을 보다 구체적으로 설명하는 도면이다.
도 2를 살펴보면, 수집부는 특징 추출부(210)와 전처리부(220)를 포함할 수 있다. 예를 들어, 특징 추출부(210)는 근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집하되, 제1 센싱값이 활성화 신호인 경우, 제2 센싱값으로부터 제스처 특징을 추출한다. 또한, 전처리부(220)는 추출된 제스처 특징을 전처리한다.
또한, 일실시예에 따른 로봇 제어 시스템(200)은 HMM(Hidden Ma-rkoff Model) 처리부를 더 포함할 수 있는데, HMM 처리부는 전처리된 제스처 특징을 이용하는 1단계 HMM 및 인식된 제스처를 이용하는 2단계 HMM을 수행한다.
즉, HMM 처리부는 1단계 HMM 이후, 판별된 연속된 제스처들의 시퀀스를 입력 데이터로서 받아 2단계 HMM에서 트레이닝 하도록 제어할 수 있다. 뿐만 아니라, 1단계 HMM 및 2단계 HMM 중에서 적어도 하나에 대한 트레이닝 데이터는 각 제스처들 마다 미리 지정된 개수의 샘플 제스처를 포함할 수 있다.
HMM 처리부는 1단계 HMM에서 제스처별 트레이닝 데이터를 수집하여 메인 제스처를 판별하거나, 2단계 HMM에서, 메인 제스처의 시퀀스를 기반으로 로봇 제어 신호를 판별하는 기능을 담당할 수 있다.
일실시예에 따른 인식부(230)는 제1 센싱값 및 제2 센싱값에 기초하여 제스처를 인식할 수 있고, 제어부(240)는 인식된 제스처에 상응하는 로봇 제어 신호를 생성할 수 있다.
도 3은 일실시예에 따른 퓨전 센서(300)의 구조를 설명하는 도면이다.
일실시예에 따른 로봇 제어 시스템은 관성센서(310)와 근전도 센서(320)를 포함하는 퓨전 센서(300)로부터 센싱값을 수신한다.
일실시예에 따른 로봇 제어 시스템은 관성센서(310)로부터 실시간으로 roll, pitch, yaw의 데이터를 받아 각도와 가속도 차이를 비교하며 제스처를 구성하고, Fast Fourier Transform(FFT)를 통해 얻은 근전도 신호의 크기의 값의 평균값을 기준으로 팔의 힘의 크기에 따라 로봇 컨트롤의 수행을 통제할 수 있다. 또한, 일실시예에 따른 로봇 제어 시스템은 사용자의 제스처들 간의 인식율을 향상시키기 위하여 HMM을 적용할 수 있다.
근전도 센서(320)는 관성센서(310)를 트리거링하는데 이용될 수 있고, 근전도 센서(320)를 이용함으로써 보다 풍부하고 정확한 생체신호 데이터를 얻을 수 있다.
도 4는 관성센서로 식별되는 제스처의 실시예들을 설명하는 도면이다.
일실시예에 따른 로봇 제어 시스템은 제스처를 구현하기 위해 관성센서를 사용하여 3축인 roll, pitch, 및 yaw값을 실시간으로 측정한다. 관성센서로부터 연속적으로 나오는 3축의 출력 데이터는 가속도와 오일러 각도로 두 데이터를 사용하며 오일러 각도는 degree단위로 측정이 된다.
이에, 도 4의 실시예(400)에서 보는 바와 같이 제스처를 크게 4가지로 나누며 각 제스처마다 의미를 부여할 수 있다. 관성센서의 데이터를 정확하게 받기 위해 디폴트 자세(또는 홈 포지션)로 팔을 90도 굽힐 수 있다. 또한, 도 4의 첫 번째 제스처는 좌회전(제스처1)으로 손목을 반시계 방향으로 돌리는 것으로, 두 번째 제스처는 우회전(제스처2)으로 손목을 시계방향으로 돌리는 것으로, 세 번째 제스처인 전진(제스처3)은 팔을 아래로 내리는 것으로, 마지막으로 네 번째 제스처인 후진(제스처4)은 팔을 위로 올리는 것으로 가정할 수 있다.
일실시예에 따른 로봇 제어 시스템은 사용자가 각 제스처를 취할 때마다 제스처에 따른 커맨드에 따라서 모바일 로봇의 움직임을 컨트롤할 수 있다.
도 5는 근전도 센서로 식별되는 실시예들을 설명하는 도면이다.
근전도 센서를 사용한 동작은 팔 안쪽의 근육의 움직임에 따라서 구현할 수 있다. 예를 들어, 근전도 센서의 전극을 팔의 안쪽에 부착하여 손에 힘을 줌으로서 팔 근육의 근전도 신호를 측정할 수 있다. 또한, 측정된 근전도 신호의 평균 크기를 기준으로하여 도 5의 실시예(500)에서 보는 바와 같이 제스처를 다시 2가지로 분류할 수 있다. 첫 번째 제스처는 Start(제스처5)으로 주먹을 쥐어 손에 힘을 주어 활성(Active)모드로 간주할 수 있고, 활성 모드 일 때 관성센서의 3축 데이터를 실시간으로 읽어 제스처에 따른 커맨드로 모바일 로봇을 통제하도록 정의할 수 있다.
두 번째 제스처는 Stop(제스처6)로 손에 힘을 풀어 계산된 근전도 신호의 크기가 거의 제로에 가까우며 이 상태를 비활성(Inactive)모드로 간주할 수 있다.
만약, 비활성 모드일 때는 일실시예에 따른 로봇 제어 시스템은 근전도 센서로부터의 3축 데이터를 받지 않으며 모바일 로봇이 정지하여 대기상태로 진입할 수 있다.
도 6은 근전도 센서에 의한 센싱 신호를 설명하는 도면이다.
첫 번째 플롯(610)을 살펴보면, 사용자가 손에 힘을 주고 빼었을 때의 출력된 근전도 신호의 차이는 확인할 수 있고, 대략 근전도 신호가 1V ~ -1V사이에서 크기 변화를 보인다.
하지만 가공 전의 데이터(raw data)를 그대로 사용하였을 경우 신호의 불안정 전압 폭으로 인해 안정된 데이터로서 사용될 수 없다. 이러한 문제를 해결하기 위해서는 가공 전의 근전도 신호를 정류화 시킬 필요가 있다.
두 번째 플롯(620)을 살펴보면, 가공전의 근전도 신호를 매트랩 상에서 절대값 함수(absolute function)을 사용하여 절대치를 취해준 결과를 도시한다. 즉, 정류된 근전도 신호의 플롯이 '0'보다 큰 신호값을 보이며 가공전의 데이터보다 안정됐음을 알 수 있다. 이는 가공전의 데이터보다 안정된 데이터지만 보다 선형적인 데이터로 나타낼 필요가 있으며, 선형적인 모양으로 나타내기 위해서 필터를 적용할 수 있다. 근전도 신호에는 1KHz 샘플링 주파수와 150Hz의 차단 주파수의 저대역 필터(Low pass filter)를 적용할 수 있고, 필터링된 근전도 데이터는 도면부호 630으로 식별되는 플롯(630)에 나타나있으며 선형적인 곡선 모양으로 출력됨을 확인할 수 있다. 최종적으로 필터링된 데이터의 임계값을 설정하여 임계값 이상의 신호에 대해서는 활성 모드(Active mode)로 간주하고 그 이하의 신호에 대해서는 비활성 모드(Inactive mode)로 간주할 수 있다.
아래 [표 1]은 가공전의 근전도 센서 신호의 동작별 신호 크기를 나타낸다.
[표 1]
Figure pat00001
[표 1]은 사람 두 명에 대한 근전도 신호를 측정한 결과이다. 팔을 가만히 있는 상태에서 힘을 주었을 때와 손목이 틀어지면서 힘을 주었을 때인 두 경우에 대하여 10개의 근전도 샘플을 수집한 결과를 나타낸다. 각 경우에 대한 평균 근전도 크기는 0.1114, 0.0835, 0.1176 그리고 0.0955V 임을 알 수 있고, 이를 통해 사람마다 근전도의 크기가 다름을 알 수 있다.
또한, [표 1]은 제스처 리딩 동작을 위한 임계값을 정하기 위한 지표로 활용할 수 있고, 일례로 [표 1]의 결과를 토대로 하여 근전도 신호를 읽기 위한 임계값을 평균값보다 작은 0.07V로 정할 수 있다.
도 7은 각 제스처별 센싱값의 변화를 설명하는 도면이다.
사용자의 핸드 제스처를 구성하기 위해 관성센서로부터 실시간으로 3축인 Roll, Pitch와 Yaw축의 오일러 각(Euler angle)과 가속도 값을 받는다. 제스처는 직감적으로 사용할 수 있는 손목을 비트는 동작과 위 아래로 흔드는 동작으로 구성하였다. 각 제스처들은 각 3축의 각도를 비교하여 구성한다. 사용한 오일러 각의 범위는 Roll축은 -180도 ~ +180도, Pitch축은 -90도 ~ +90도 그리고 Yaw축은-180도 ~ +180도이다. Pitch축의 범위가 전부 나오지 못하는 것은 오일러 각의 표현방식으로 회전을 하다보면 특정상황에서 두 개의 축이 하나의 축으로 겹쳐져서 두 개의 축이 같은 축으로 회전하는 짐벌락(Gimbal Lock) 현상 때문이다. 각 축을 비교한 각도의 표시와 구성한 제스처에 대한 것은 도 7의 실시예(700)를 통해 알 수 있다.
각 제스처는 팔 동작에 따른 커맨드가 부여될 수 있고, RT는 우회전(Turn Right), LT는 좌회전(Turn Left), BW는 후진(Backward), FW는 전진(Forward)을 나타낼 수 있다.
로봇의 2차원적인 움직임을 나타내기 위해서 오일러 각의 Roll축 각도의 절대값과 Pitch축 각도의 절대값을 비교한 뒤, 각 축의 값이 +또는 -에 따라서 제스처를 판별한다. 그리고 도 7에는 나타나 있지 않지만 팔이 지면과 평행한 정지(Stop)자세의 Roll과 Pitch값은 완벽히 0도로 나타내기 어려우므로 -10도 ~ +10도의 범위 내에서의 자세에 한하여 설정할 수 있다.
도 8은 관성센서의 3축 오일러 각과 가공되지 않은 근전도 센서 출력(raw EMG)을 나타내는 도면이다.
다음은 근전도센서와 관성센서를 포함한 제스처 판별에 대하여 논한다. 도 8은 샘플 개수가 1024개인 3축의 각도와 raw 근전도 신호를 결합한 결과이다. 두 데이터를 64개의 샘플 데이터들로 나누어 EMG데이터의 평균 크기를 계산한다. 그리고 평균값의 크기 이상인 순간의 관성센서 데이터 값에 따른 제스처를 인식한다.
그림 3.7의 첫 번째와 두 번째 plot은 3축과 2축(Roll, Pitch)의 각도를 나타낸 것이며 세 번째 plot은 가공전 근전도 신호를 나타낸 것이다. 그리고 인식률(Recognition Ratio, RR)는 아래의 [수학식 1]로 나타낼 수 있다.
[수학식 1]
Figure pat00002
제스처 판별에 대하여 두 개의 표로 정리할 수 있다. [표 2]는 각도만으로 제스처를 판별한 결과이며 [표 3]은 각도의 결과에 가공전 근전도 신호를 결합한 제스처 인식 결과이다.
[표 2]
Figure pat00003
[표 2]의 평균 인식률은 92.14%이지만 근전도 신호를 적용한 인식률의 평균은 80.55%임을 알 수 있다.
[표 3]의 경우 [표 2]와 비교하였을 때 인식률이 상당히 떨어진 것을 알 수 있다.
[표 3]
Figure pat00004
이러한 오차율의 원인으로 근전도 신호를 가공전 데이터로 사용한 것과 임계값으로 근전도 신호의 평균값을 사용한 것을 고려할 수 있다.
도 9는 근전도 센서의 신호와 관성센서의 신호를 통한 제스처 데이터를 설명하는 도면이다.
도 9에서는 정류화 및 필터링을 시킨 근전도 신호를 입력 신호로 사용하였으며 이는 가공전 근전도 신호보다 훨씬 안정적인 데이터이다. 여기에 사용된 근전도 신호의 전압의 최대값은 0.38V, 최소값은 0.005V이며 임계 값으로 사용된 전압의 크기는 0.07V이다. 근전도 신호가 임계값 이상일 경우 관성센서 활성화 모드인 Active모드로 간주하고 그 이하일 경우 비활성 모드인 Inactive모드로 간주할 수 있다. 여기서 Active와 Inactive를 표시하기 위해 카운트신호를 사용한다. Active일 경우 카운트의 값을 1으로, Inactive일 경우 카운트의 값을 0으로 설정할 수 있다.
도 9에서는 제스처 입력 요소들로 3축 오일러 각과 Accelerometer값을 사용하였으며 마지막 플롯은 카운트 신호를 적용한 오일러 각의 플롯을 보여준다. 도 9의 마지막 플롯은 입력요소인 각도와 가속도 값에 카운트 신호 값을 곱한 출력 신호를 나타내었다. 또한, 도 9를 살펴보면, 카운트 신호의 범위에 대하여 신호가 1인 영역을 사용자가 의도한 영역이라는 의미에서 의도 영역(Intended area)으로, 0인 영역을 비의도 영역(Unintended area)으로 하여 붉은 점선으로 표시한다.
제스처 판별에 사용될 최종 관성센서 데이터는 이 의도 영역에 표시된 데이터만으로 구성된다. 판별을 위하여 위에서 제시하였던 HMM을 적용할 수 있다.
도 10은 커맨드 1과 커맨드2에 대한 제스처 시퀀스 결과를 설명하는 도면이다.
HMM에 대하여 실험은 도 2의 로봇 제어 시스템을 통해 수행될 수 있다.
도 10을 통해 설명하려는 HMM 실험은 관성센서와 근전도센서로부터 제스처 판별 데이터 수집을 위한 단계와 수집된 데이터들은 기반으로 하여 1단계, 2단계의 HMM 인식을 하는 단계들로 구성된다.
도 10에서는 1단계와 2단계 HMM 순서로 각 실험 결과에 대하여 설명한다.
앞서 설명한 4개의 각 제스처마다 20개의 샘플로 이루어진 데이터 세트를 생성하고 인식을 실행한 결과, 인식 프로세스를 거치고 난 뒤의 결과는 [표 4]과 같다.
[표 4]
Figure pat00005
[표 4]에서 보는 바와 같이, 반복 횟수를 30번과 50번을 했을 경우 30번에서의 평균 인식율은 97.5%, 50번에서는 98.75%로 나타내어졌다. 인식율은 95%에서 100%로 분포하며 평균 인식율은 98.75%이다.
1단계 HMM 단계에서는 개별적인 제스처에 대한 판별이 이루어졌다. 2단계 HMM에서는 1단계 HMM보다 고차원적인 커맨드 인식을 가능하게 한다.
1단계 HMM을 거치며 판별된 연속된 제스처들의 시퀀스를 입력 데이터로서 받아 2단계 HMM에서 트레이닝을 한다. 연속적으로 판별된 제스처 시퀀스들은 도 10을 통해 보여질 수 있다.
2단계 HMM의 트레이닝 데이터는 각 제스처들 마다 20개의 샘플 제스처들로 이루어지며 50번을 반복할 수 있다. 2차 인식을 위한 입력 데이터는 각 커맨드마다 10개의 샘플들로 구성된 데이터를 사용할 수 있다.
첫 번째 제스처는 팔을 크게 시계 방향 또는 반시계 방향으로 회전시키는 동작으로 커맨드 1에 해당하고, 두 번째 제스처는 직각으로 제스처를 취하는 동작으로 커맨드 2에 해당한다.
[표 5]를 보면 커맨드들의 평균 인식율은 90%임을 알 수 있다.
[표 5]
Figure pat00006
가공전 근전도 신호를 사용한 결과를 나타내는 [표 1]의 평균 인식율 80.55%와 비교하였을 때 훨씬 안정적인 수치를 확인할 수 있다. 하지만 2단계 HMM에서의 평균 인식율이 1단계 HMM에서의 수치인 98.75%보다 낮은 것에 대한 요인으로는 인식 요소의 개수에서 고려할 수 있다. 인식 요소가 관성센서로부터의 3축 오일러 각과 가속도로 6개였던 1단계 HMM과 달리 2단계 HMM에서는 인기 요소가 제스처의 가짓수인 4개로 더욱 적어졌기 때문에 비교 대상 수의 부족으로 이러한 오차가 발생함을 알 수 있다.
도 11은 또 다른 일실시예에 따른 로봇 제어 시스템(1100)을 설명하는 도면이다.
일실시예에 따른 로봇 제어 시스템(1100)은 제1 센싱값과 제2 센싱값을 동시에 수집하지 않고, 제1 센싱값을 고려하여 제2 센싱값을 수집 여부를 판단함으로써 시스템 자원의 낭비를 방지할 수 있다.
이를 위해, 일실시예에 따른 로봇 제어 시스템(1100)은 판단부(1110), 수집부(1120), 및 제어부(1130)를 포함할 수 있다.
먼저, 일실시예에 따른 판단부(1110)는 근전도 센서로부터의 제1 센싱값이 활성화 신호인지 여부를 판단한다. 다음으로, 수집부(1120)는 판단 결과, 제1 센싱값이 활성화 신호인 경우에 제2 센싱값을 수집한다.
마찬가지로 제어부(1130)는 수집된 제2 센싱값에 HMM(Hidden Ma-rkoff Model)을 적용하여 식별되는 제스처에 상응하는 로봇 제어 신호를 생성한다. 이때, 제어부(1130)는 수집된 제2 센싱값에 1단계 HMM(Hidden Ma-rkoff Model) 및 2단계 HMM(Hidden Ma-rkoff Model)를 순차적으로 적용하여 로봇 제어 신호를 생성할 수 있다. 예를 들어, 제어부(1130)는 1단계 HMM(Hidden Ma-rkoff Model)에서 제스처별 트레이닝 데이터를 수집하여 메인 제스처를 판별하거나, 2단계 HMM(Hidden Ma-rkoff Model)에서 메인 제스처의 시퀀스를 기반으로 로봇 제어 신호를 판별한다.
도 12는 일실시예에 따른 로봇 제어 방법을 설명하는 도면이다.
일실시예에 따른 로봇 제어 방법은 근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집할 수 있다.
이를 위해, 일실시예에 따른 로봇 제어 방법은 근전도 센서값을 수집하고(단계 1201), 수집된 근전도 센서값이 활성화 신호에 해당하는지 여부를 판단할 수 있다(단계 1202).
단계 1202의 판단 결과 활성화 신호가 아닌 경우라면, 일실시예에 따른 로봇 제어 방법은 수집된 근전도 센서값이 활성화 신호에 해당하는지 여부를 판단하는 과정을 반복해서 수행할 수 있다.
만약, 단계 1202의 판단 결과 활성화 신호인 경우라면, 일실시예에 따른 로봇 제어 방법은 관성 센서값을 수집할 수 있다(단계 1203).
다음으로, 일실시예에 따른 로봇 제어 방법은 수집한 근전도 센서값과 관성 센서값을 이용하여 제스처 특징을 추출하고(단계 1204), 추출된 제스처 특징에 상응하는 제스처를 인식할 수 있다(단계 1205). 또한, 인식된 제스처와 연관된 로봇 제어 신호를 생성할 수 있다(단계 1206).
구체적인 예로, 근전도 센서값은 팔 근육의 움직임에 따라 센서에 부착된 전극에 의해서 검출된다. 이때, 입력된 가공전 데이터를 먼저 전처리를 수행한 후 근전도 센서로부터 입력된 데이터의 각도 값으로 제스처의 움직임을 나타낸다. 검출된 움직임은 분류기(classification)에 의해 판별되며 마지막으로 결정된 제스처에 따른 커맨드를 수행한다.
근전도 신호를 이용한 제스처는 관성센서 제스처 활성의 온, 오프를 결정한다. 근전도 신호를 FFT를 시킨 뒤 주파수 응답의 크기의 평균값을 구하여 그 값을 IMU제스처를 실행시키기 위한 임계값으로 설정할 수 있다. 그 임계값 크기에 따라 제스처 시작, 멈춤을 구한다. 근전도 신호의 평균값은 [수학식 2]로 구할 수 있다.
[수학식 2]
Figure pat00007
[수학식 2]에서 변수 x는 입력인 근전도 신호를 나타내고 1kHz로 샘플링을 했으며 변수 N은 샘플링 개수를 나타낸다.
관성센서로부터 받은 roll, pitch, yaw중에서 2차원적인 움직임에는 yaw값이 영향을 주지 못하므로 yaw값을 제외한 roll과 pitch만을 이용하여 제스처를 구성할 수 있다. 그리고 각 축의 각도값 비교와 벡터의 절대적 크기를 이용하여 손을 비트는 각도에 비례하게 모바일 로봇의 방향과 스피드를 컨트롤하며 [수학식 3]을 이용하여 크기를 구한다.
[수학식 3]
Figure pat00008
Figure pat00009
과
Figure pat00010
는 roll축과 pitch축의 Euler angle이며 단위는 degree이다.
제스처의 분류기(Classification)는 연속적으로 받은 roll 과 pitch각도 데이터가 제로가 되는 지점을 기준으로 절대값을 비교하여 제스처를 판별한다. Roll과 pitch각도가 바뀌는 위치를 기준 자세로 하여 자세의 총 4가지의 동작을 마크한다.
앞서 설명한 2단계의 HMM을 사용하여 제스처를 판별할 수 있다.
첫 번째 HMM은 4가지의 IMU자세의 트레이닝 데이터를 입력받아 메인 제스처를 판별한다. 또한, 첫 번째 HMM을 통해 얻은 특징 벡터는 아래와 같이 4개의 자세를 구성을 갖는다.
Figure pat00011
Dir_CW와 dir_CCW는 시계 방향과 반시계 방향이며 dir_F와 dir_B은 forward와 backward의 방향을 나타낸다.
첫 번째 HMM에서 연속적으로 받은 데이터의 흐름은 두 번째 HMM로 이어 받아 비연속적의 1차원의 데이터로 변환한다. 두 번째 HMM은 메인 제스처의 시퀀스를 기반으로 전체의 작업을 판별하는 역할을 하며 제스처 자세의 총 4가지의 동작을 마크할 수 있다.
결국, 본 발명을 이용하면, 보다 자연스럽고 지능적인 제스처 기반의 컨트롤 시스템을 제공할 수 있다. 특히, 관성센서와 근전도 센서의 센서퓨전을 사용한 사용자의 제스처 인식에 기반하여 로봇을 제어할 수 있는 기술을 제공할 수 있다. 또한, 직관적인 제스처를 통한 사람과 로봇간의 커뮤니케이션이 가능하며, 카메라를 통하지 않아 장소에 구애 받지 않으므로 다양한 방면으로 응용할 수 있는 로봇 제어 기술을 제공할 수 있다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (18)

  1. 적어도 하나의 프로세서를 포함하는 로봇 제어 시스템에 있어서, 상기 적어도 하나의 프로세서에 의해 적어도 일시적으로 구현되는:
    근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집하는 수집부;
    상기 제1 센싱값 및 상기 제2 센싱값에 기초하여 제스처를 인식하는 인식부; 및
    상기 인식된 제스처에 상응하는 로봇 제어 신호를 생성하는 제어부
    를 포함하는 로봇 제어 시스템.
  2. 제1항에 있어서,
    상기 제1 센싱값은 활성화 신호 및 비활성화 신호 중에서 어느 하나의 신호이고, 상기 수집부는 상기 제1 센싱값이 활성화 신호인 경우에 상기 제2 센싱값을 더 수집하는 로봇 제어 시스템.
  3. 제1항에 있어서,
    상기 수집부는,
    상기 제1 센싱값이 활성화 신호인 경우, 상기 제2 센싱값으로부터 제스처 특징을 추출하는 특징 추출부; 및
    상기 추출된 제스처 특징을 전처리하는 전처리부
    를 더 포함하는 로봇 제어 시스템.
  4. 제3항에 있어서,
    상기 전처리된 제스처 특징을 이용하는 1단계 HMM(Hidden Ma-rkoff Model) 및 상기 인식된 제스처를 이용하는 2단계 HMM(Hidden Ma-rkoff Model)을 수행하는 HMM(Hidden Ma-rkoff Model) 처리부
    를 더 포함하는 로봇 제어 시스템.
  5. 제4항에 있어서,
    상기 HMM(Hidden Ma-rkoff Model) 처리부는,
    상기 1단계 HMM(Hidden Ma-rkoff Model) 이후, 판별된 연속된 제스처들의 시퀀스를 입력 데이터로서 받아 2단계 HMM(Hidden Ma-rkoff Model)에서 트레이닝 하도록 제어하는 로봇 제어 시스템.
  6. 제4항에 있어서,
    상기 1단계 HMM(Hidden Ma-rkoff Model) 및 상기 2단계 HMM(Hidden Ma-rkoff Model) 중에서 적어도 하나에 대한 트레이닝 데이터는 각 제스처들 마다 미리 지정된 개수의 샘플 제스처를 포함하는 로봇 제어 시스템.
  7. 제4항에 있어서,
    상기 HMM(Hidden Ma-rkoff Model) 처리부는,
    상기 1단계 HMM(Hidden Ma-rkoff Model)에서 제스처별 트레이닝 데이터를 수집하여 메인 제스처를 판별하는 로봇 제어 시스템.
  8. 제6항에 있어서,
    상기 HMM(Hidden Ma-rkoff Model) 처리부는,
    상기 2단계 HMM(Hidden Ma-rkoff Model)에서, 상기 메인 제스처의 시퀀스를 기반으로 로봇 제어 신호를 판별하는 로봇 제어 시스템.
  9. 적어도 하나의 프로세서를 포함하는 로봇 제어 시스템에 있어서, 상기 적어도 하나의 프로세서에 의해 적어도 일시적으로 구현되는:
    근전도 센서(EMG, Electromyogram)로부터의 제1 센싱값이 활성화 신호인지 여부를 판단하는 판단부;
    상기 판단 결과, 상기 제1 센싱값이 활성화 신호인 경우에 상기 제2 센싱값을 수집하는 수집부; 및
    상기 수집된 제2 센싱값에 HMM(Hidden Ma-rkoff Model)을 적용하여 식별되는 제스처에 상응하는 로봇 제어 신호를 생성하는 제어부
    를 포함하는 로봇 제어 시스템.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 수집된 제2 센싱값에 1단계 HMM(Hidden Ma-rkoff Model) 및 2단계 HMM(Hidden Ma-rkoff Model)를 순차적으로 적용하여 상기 로봇 제어 신호를 생성하는 로봇 제어 시스템.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 1단계 HMM(Hidden Ma-rkoff Model)에서 제스처별 트레이닝 데이터를 수집하여 메인 제스처를 판별하는 로봇 제어 시스템.
  12. 제10항에 있어서,
    상기 제어부는,
    상기 2단계 HMM(Hidden Ma-rkoff Model)에서, 상기 메인 제스처의 시퀀스를 기반으로 로봇 제어 신호를 판별하는 로봇 제어 시스템.
  13. 근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집하는 단계;
    상기 제1 센싱값 및 상기 제2 센싱값에 기초하여 제스처를 인식하는 단계; 및
    상기 인식된 제스처에 상응하는 로봇 제어 신호를 생성하는 단계
    를 포함하는 로봇 제어 방법.
  14. 제13항에 있어서,
    상기 제1 센싱값은 활성화 신호 및 비활성화 신호 중에서 어느 하나의 신호이고,
    상기 수집하는 단계는, 상기 제1 센싱값이 활성화 신호인 경우에 상기 제2 센싱값을 더 수집하는 단계
    를 포함하는 로봇 제어 방법.
  15. 제13항에 있어서,
    상기 제1 센싱값이 활성화 신호인 경우, 상기 제2 센싱값으로부터 제스처 특징을 추출하는 단계;
    상기 추출된 제스처 특징을 전처리하는 단계; 및
    상기 전처리된 제스처 특징을 이용하는 1단계 HMM(Hidden Ma-rkoff Model) 및 상기 인식된 제스처를 이용하는 2단계 HMM(Hidden Ma-rkoff Model)을 수행하는 HMM(Hidden Ma-rkoff Model) HMM(Hidden Ma-rkoff Model) 처리 단계
    를 더 포함하는 로봇 제어 방법.
  16. 제15항에 있어서,
    상기 HMM(Hidden Ma-rkoff Model) 처리 단계는,
    상기 1단계 HMM(Hidden Ma-rkoff Model) 이후, 판별된 연속된 제스처들의 시퀀스를 입력 데이터로서 받아 2단계 HMM(Hidden Ma-rkoff Model)에서 트레이닝 하도록 제어하는 단계
    를 포함하는 로봇 제어 방법.
  17. 제15항에 있어서,
    상기 HMM(Hidden Ma-rkoff Model) 처리 단계는,
    상기 1단계 HMM(Hidden Ma-rkoff Model)에서 제스처별 트레이닝 데이터를 수집하여 메인 제스처를 판별하는 단계; 및
    상기 2단계 HMM(Hidden Ma-rkoff Model)에서, 상기 메인 제스처의 시퀀스를 기반으로 로봇 제어 신호를 판별하는 단계
    를 포함하는 로봇 제어 방법.
  18. 기록매체에 저장되는 로봇 제어 프로그램으로서, 상기 프로그램은 컴퓨팅 시스템에서 실행되는:
    근전도 센서(EMG, Electromyogram)로부터 수신되는 제1 센싱값과 관성센서(IMU, Inertia Measurement Unit)로부터 수신되는 제2 센싱값을 수집하는 명령어세트;
    상기 제1 센싱값 및 상기 제2 센싱값에 기초하여 제스처를 인식하는 명령어세트; 및
    상기 인식된 제스처에 상응하는 로봇 제어 신호를 생성하는 명령어세트
    를 포함하는 로봇 제어 프로그램.
KR1020150127144A 2015-09-08 2015-09-08 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법 KR101849350B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150127144A KR101849350B1 (ko) 2015-09-08 2015-09-08 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150127144A KR101849350B1 (ko) 2015-09-08 2015-09-08 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170030139A true KR20170030139A (ko) 2017-03-17
KR101849350B1 KR101849350B1 (ko) 2018-04-17

Family

ID=58501959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150127144A KR101849350B1 (ko) 2015-09-08 2015-09-08 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101849350B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646915A (zh) * 2018-05-03 2018-10-12 东南大学 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统
WO2019107620A1 (ko) * 2017-11-29 2019-06-06 상명대학교 산학협력단 제스처 인식 장치 및 그 방법
CN112405539A (zh) * 2020-11-11 2021-02-26 东南大学 一种基于肌电信号和脑电错误电位的机器人自然控制方法
CN113887675A (zh) * 2021-12-06 2022-01-04 四川大学 一种异构传感器特征融合的手势识别方法
CN114063787A (zh) * 2021-11-23 2022-02-18 哈尔滨工程大学 一种基于emg和imu数据的深度学习处理分析方法
KR102595257B1 (ko) * 2023-03-17 2023-11-01 강윤 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101130645B1 (ko) 2009-12-17 2012-04-02 삼성중공업 주식회사 로봇 제어 장치 및 방법
KR101138019B1 (ko) 2009-12-04 2012-04-20 전자부품연구원 로봇 제어 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428857B1 (ko) * 2012-09-24 2014-08-12 숭실대학교산학협력단 근전도 센서와 가속도 센서를 이용한 로봇 동작 제어 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138019B1 (ko) 2009-12-04 2012-04-20 전자부품연구원 로봇 제어 장치 및 방법
KR101130645B1 (ko) 2009-12-17 2012-04-02 삼성중공업 주식회사 로봇 제어 장치 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107620A1 (ko) * 2017-11-29 2019-06-06 상명대학교 산학협력단 제스처 인식 장치 및 그 방법
CN108646915A (zh) * 2018-05-03 2018-10-12 东南大学 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统
CN108646915B (zh) * 2018-05-03 2020-12-15 东南大学 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统
CN112405539A (zh) * 2020-11-11 2021-02-26 东南大学 一种基于肌电信号和脑电错误电位的机器人自然控制方法
CN112405539B (zh) * 2020-11-11 2022-03-04 东南大学 一种基于肌电信号和脑电错误电位的机器人自然控制方法
CN114063787A (zh) * 2021-11-23 2022-02-18 哈尔滨工程大学 一种基于emg和imu数据的深度学习处理分析方法
CN114063787B (zh) * 2021-11-23 2023-09-19 哈尔滨工程大学 一种基于emg和imu数据的深度学习处理分析方法
CN113887675A (zh) * 2021-12-06 2022-01-04 四川大学 一种异构传感器特征融合的手势识别方法
CN113887675B (zh) * 2021-12-06 2022-03-04 四川大学 一种异构传感器特征融合的手势识别方法
KR102595257B1 (ko) * 2023-03-17 2023-11-01 강윤 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법

Also Published As

Publication number Publication date
KR101849350B1 (ko) 2018-04-17

Similar Documents

Publication Publication Date Title
KR101849350B1 (ko) 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법
US10905383B2 (en) Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
CN106897592B (zh) 用户认证方法、用户认证设备以及书写工具
JP6064280B2 (ja) ジェスチャを認識するためのシステムおよび方法
Hoelscher et al. Evaluation of tactile feature extraction for interactive object recognition
Ibraheem et al. Survey on various gesture recognition technologies and techniques
Gu et al. Human gesture recognition through a kinect sensor
Shin et al. Controlling mobile robot using IMU and EMG sensor-based gesture recognition
Stančić et al. Gesture recognition system for real-time mobile robot control based on inertial sensors and motion strings
Rudigkeit et al. An analytical approach for head gesture recognition with motion sensors
Boehm et al. Dynamic gesture recognition using neural networks: a fundament for advanced interaction construction
Fahim et al. A visual analytic in deep learning approach to eye movement for human-machine interaction based on inertia measurement
Yanik et al. Use of kinect depth data and growing neural gas for gesture based robot control
KR20140134803A (ko) 다중 클래스 svm과 트리 분류를 이용한 제스처 인식 장치 및 방법
CN107346207B (zh) 一种基于隐马尔科夫模型的动态手势切分识别方法
Sideridis et al. Gesturekeeper: Gesture recognition for controlling devices in iot environments
Muhammad et al. Hand gesture user interface for smart devices based on mems sensors
KR101930942B1 (ko) 수화 인식 시스템 및 방법
Iyer et al. Generalized hand gesture recognition for wearable devices in IoT: Application and implementation challenges
Jindal et al. A comparative analysis of established techniques and their applications in the field of gesture detection
Kao et al. Design and implementation of interaction system between humanoid robot and human hand gesture
Vieriu et al. Background invariant static hand gesture recognition based on Hidden Markov Models
Avadut et al. A Deep Learning based IoT Framework for Assistive Healthcare using Gesture Based Interface
Gupta et al. S-pencil: A smart pencil grip monitoring system for kids using sensors
Dhamanskar et al. Human computer interaction using hand gestures and voice

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant