KR102263815B1 - 제스쳐인식 웨어러블 디바이스 - Google Patents

제스쳐인식 웨어러블 디바이스 Download PDF

Info

Publication number
KR102263815B1
KR102263815B1 KR1020200023573A KR20200023573A KR102263815B1 KR 102263815 B1 KR102263815 B1 KR 102263815B1 KR 1020200023573 A KR1020200023573 A KR 1020200023573A KR 20200023573 A KR20200023573 A KR 20200023573A KR 102263815 B1 KR102263815 B1 KR 102263815B1
Authority
KR
South Korea
Prior art keywords
data
sensor module
bending
control unit
forearm
Prior art date
Application number
KR1020200023573A
Other languages
English (en)
Inventor
김한솔
조주형
양태석
이정석
박서현
Original Assignee
한국해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양대학교 산학협력단 filed Critical 한국해양대학교 산학협력단
Priority to KR1020200023573A priority Critical patent/KR102263815B1/ko
Application granted granted Critical
Publication of KR102263815B1 publication Critical patent/KR102263815B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Abstract

본 발명은 제스쳐인식 웨어러블 디바이스에 관한 것이다. 보다 상세하게는,외피의 손가락부에 플렉스센서모듈을 구비하고 외피의 손등부에 6축가속도자이로센서모듈을 구비하고 있어 손동작에 따라 목적장치를 제어할 수 있는 제스쳐인식 웨어러블 디바이스에 관한 것이다.
이를 위해 본 발명은 손가락부, 손등부 및 손목부터 전완까지의 상부를 덮는 전완부를 포함하고, 손가락 부분을 제외한 하부는 개방 된 형태의 외피; 구부러짐에 따라 저항 값이 변하는 특성을 이용하여, 다섯 손가락의 구부러짐 유무 및 구부러진 정도를 검출 및 측정하기 위해 외피의 손가락부 및 손등부에 장착한 플렉스센서모듈; 사용자 팔의 운동 벡터를 측정하여 값으로 산출하기 위하여, 외피의 손등부분에 장착된 6축 가속도 자이로센서모듈(IMU); 외피의 전완부에 장착되어 플렉스센서모듈로부터 센싱된 구부러짐 값을 측정하기 위한 마이크로컨트롤러(MCU), 마이크로컨트롤러로부터 구부러짐 값을 전달받고 6축 가속도자이로센서모듈로부터의 측정값을 병합하여 처리하기 위한 초소형연산처리장치(MPU) 및 초소형연산처리장치(MPU)에 내장되어 처리된 모션 데이터를 목적 장치로 송신하기 위한 제1무선통신모듈를 포함하는 제어부 및 제어부 및 전체 시스템에 전원을 공급하기 위하여 전완부에 장착되는 배터리를 포함하는 전원공급부를 포함하는 제스쳐인식 웨어러블 디바이스를 제공한다.

Description

제스쳐인식 웨어러블 디바이스 {Gesture Recognition Wearable Device}
본 발명은 제스쳐인식 웨어러블 디바이스에 관한 것이다. 보다 상세하게는,외피의 손가락부에 플렉스센서모듈을 구비하고 외피의 손등부에 6축가속도자이로센서모듈을 구비하고 있어 손동작에 따라 목적장치를 제어할 수 있는 제스쳐인식 웨어러블 디바이스에 관한 것이다.
스마트 웨어러블 산업은 국내외를 막론하고 매우 가파르게 성장하는 신산업이다. 웨어러블(wearable) 컴퓨팅 디바이스는 작고 가벼우며, 착용하고 추적하기 쉬우며, 종종 실질적인 컴퓨팅 능력을 가짐에 따라 인기가 계속 증가하고 있다.
그러나, 웨어러블 컴퓨팅 디바이스들은 일반적으로 작거나 사용하기 어려운 입력 인터페이스를 갖고 있다. 컴퓨팅 링 또는 팔찌는, 예를 들어, 사용자의 입력을 수신하는 매우 작은 터치 스크린을 사용할 수 있다. 많은 사용자가 선택할 것을 확인하는 것이 어려울 뿐만 아니라, 작은 터치 스크린의 원하는 부분을 물리적으로 선택하는 것도 쉽지 않을 수 있다.
컴퓨팅 안경과 같은 다른 웨어러블 컴퓨팅 디바이스들은 작은 통합 버튼들을 사용할 수 있다. 작은 통합된 버튼들은 몇 안 되는 선택들을 제공하고, 사용자들이 버튼들과 연관된 기능들을 기억할 것을 필요로 할 수 있어서, 사용자 경험 부족을 초래할 수 있다.
종래의 터치 시스템(touch system)으로는 압력식 터치, 적외선 터치, 정전용량식 터치 등이 있어 다양한 방식을 활용하여 단말기 디스플레이 기기에 문자 등을 입력하였고, 상기 시스템은 디스플레이 기기의 일측에 별도의 하드웨어 장치를 부착하여 사용하여 왔다.
다만 종래의 터치 시스템은 별도의 하드웨어 장치에 의해 고가로 판매 될 수밖에 없고, 대형 화면에 터치 입력을 하는 것이 용이하지 않으며, 디스플레이 기기와 사용자가 떨어져 있는 경우 터치가 어려워지는 등의 입력에 따른 불편함이 발생할 수밖에 없다.
따라서, 머신러닝 및 딥러닝 학습데이터를 이용하여 사용자의 동작을 정확하게 인식하여 디스플레이 기기를 포함한 목적장치를 제어할 수 있는 새로운 수단이 필요한 실정이다.
선행기술문헌 : KR등록특허공보 제10-1992588호(2019.06.24. 공고)
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 머신러닝 및 딥러닝 학습데이터가 저장되어 있는 데이터베이스를 이용하여 사용자의 동작을 정확하게 인식할 수 있는 제스쳐인식 웨어러블 디바이스를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명에 따른 제스쳐인식 웨어러블 디바이스는 손가락부, 손등부 및 손목부터 전완까지의 상부를 덮는 전완부를 포함하고, 손가락 부분을 제외한 하부는 개방 된 형태의 외피; 구부러짐에 따라 저항 값이 변하는 특성을 이용하여, 다섯 손가락의 구부러짐 유무 및 구부러진 정도를 검출 및 측정하기 위해 외피의 손가락부 및 손등부에 장착한 플렉스센서모듈; 사용자 팔의 운동 벡터를 측정하여 값으로 산출하기 위하여, 외피의 손등부분에 장착된 6축 가속도 자이로센서모듈(IMU); 외피의 전완부에 장착되어 플렉스센서모듈로부터 센싱된 구부러짐 값을 측정하기 위한 마이크로컨트롤러(MCU), 마이크로컨트롤러로부터 구부러짐 값을 전달받고 6축 가속도자이로센서모듈로부터의 측정값을 병합하여 처리하기 위한 초소형연산처리장치(MPU) 및 초소형연산처리장치(MPU)에 내장되어 처리된 모션 데이터를 목적 장치로 송신하기 위한 제1무선통신모듈를 포함하는 제어부 및 제어부 및 전체 시스템에 전원을 공급하기 위하여 전완부에 장착되는 배터리를 포함하는 전원공급부를 포함한다.
또한, 손가락부, 손등부 및 손목부터 전완까지의 상부를 덮는 전완부를 포함하고, 손가락 부분을 제외한 하부는 개방 된 형태의 외피; 구부러짐에 따라 저항 값이 변하는 특성을 이용하여, 다섯 손가락의 구부러짐 유무 및 구부러진 정도를 검출 및 측정하기 위해 외피의 손가락부 및 손등부에 장착한 플렉스센서모듈; 사용자 팔의 운동 벡터를 측정하여 값으로 산출하기 위하여, 외피의 손등부분에 장착된 6축 가속도 자이로센서모듈(IMU); 외피의 전완부에 장착되어 플렉스센서모듈로부터 센싱된 구부러짐 값을 측정하기 위한 마이크로컨트롤러(MCU), 마이크로컨트롤러로부터 구부러짐 값을 전달받고 6축 가속도자이로센서모듈로부터의 측정값을 병합하여 처리하기 위한 초소형연산처리장치(MPU) 및 초소형연산처리장치(MPU)에 내장되어 처리된 모션 데이터를 목적 장치로 송신하기 위한 제1무선통신모듈를 포함하는 제어부 및 제어부 및 전체 시스템에 전원을 공급하기 위하여 전완부에 장착되는 배터리를 포함하는 전원공급부를 포함하고, 제어부의 제1무선통신모듈의 동작 정보를 입력받아, 입출력 기능을 수행할 목적장치를 포함하며, 목적장치는 제어부의 제1무선통신모듈로부터 동작정보를 입력 받을 수 있는 제2무선통신모듈, 제1무선통신모듈로부터 입력받은 동작정보를 연산을 통하여 특정동작을 수행하게 하는 연산모듈, 머신러닝 및 딥러닝 학습데이터가 저장되어 있는 데이터베이스를 포함하는 것을 포함한다.
또한, 손가락부, 손등부 및 손목부터 전완까지의 상부를 덮는 전완부를 포함하고, 손가락 부분을 제외한 하부는 개방 된 형태의 외피; 구부러짐에 따라 저항 값이 변하는 특성을 이용하여, 다섯 손가락의 구부러짐 유무 및 구부러진 정도를 검출 및 측정하기 위해 외피의 손가락부 및 손등부에 장착한 플렉스센서모듈; 사용자 팔의 운동 벡터를 측정하여 값으로 산출하기 위하여, 외피의 손등부분에 장착된 6축 가속도 자이로센서모듈(IMU); 외피의 전완부에 장착되어 플렉스센서모듈로부터 센싱된 구부러짐 값을 측정하기 위한 마이크로컨트롤러(MCU), 마이크로컨트롤러로부터 구부러짐 값을 전달받고 6축 가속도자이로센서모듈로부터의 측정값을 병합하여 처리하기 위한 초소형연산처리장치(MPU) 및 초소형연산처리장치(MPU)에 내장되어 처리된 모션 데이터를 목적 장치로 송신하기 위한 제1무선통신모듈를 포함하는 제어부 및 제어부 및 전체 시스템에 전원을 공급하기 위하여 전완부에 장착되는 배터리를 포함하는 전원공급부를 포함하고, 제어부의 제1무선통신모듈의 동작 정보를 입력받아, 입출력 기능을 수행할 목적장치를 포함하며, 목적장치는 제어부의 제1무선통신모듈로부터 동작정보를 입력 받을 수 있는 제2무선통신모듈, 제1무선통신모듈로부터 입력받은 동작정보를 연산을 통하여 특정동작을 수행하게 하는 연산모듈, 머신러닝 및 딥러닝 학습데이터가 저장되어 있는 데이터베이스를 포함하는 것; 및 연산모듈은 제2무선통신모듈로부터 입력받은 동작정보를 수신하는 수신부, 머신러닝 및 딥 러닝 모델을 통해 학습시킨 가중치와 동작 데이터를 매칭하며 판단하는 매칭부, 매칭이 완료된 소정 시간 간격의 센싱 동작을 목적 장치에서 어떻게 수행할지 명령하는 실행부를 포함하는 것을 포함한다.
또한, 연산모듈은 제2무선통신모듈로부터 입력받은 동작정보를 수신부를 통하여 수신하는 수신단계, 매칭부에서 데이터베이스에 저장되어 있는 머신러닝 및 딥러닝 모델을 통해 학습시킨 가중치와 동작 데이터를 매칭하며 판단하는 매칭단계 및 매칭이 완료된 짧은 시간 간격의 상기의 웨어러블 디바이스측의 동작을 목적 장치에서 어떻게 수행할지 명령하는 실행단계를 포함하여 실행되는 것을 포함한다.
또한, 데이터베이스에 저장된 머신러닝 및 딥려닝 학습데이터는 인식시킬 동작들을 반복하며, 학습에 필요한 동작 데이터를 생성하는 학습용 데이터 생성 단계; 학습용 디바이스에서 학습에 필요한 동작데이터를 수신하는 수신 단계; 데이터 분석에 용이한 데이터 셋을 만들기 위하여, 수신하는 데이터들을 실시간으로 한 번의 동작에 20개의 데이터 간격으로 데이터 프레임화하여 저장하며 지도학습(supervised learning)을 위한 라벨링(labelling) 과정을 포함하는 전처리 단계; 전처리 단계에서 만들어진 데이터 셋을 머신 러닝 알고리즘으로 학습시키는 모델 적용 단계; 전처리 과정과 모델 적용 단계를 반복하며, 알고리즘 내 파라미터를 조정하는 수정 단계; 시계열 데이터에 대한 효과적인 딥 러닝(LSTM) 모델을 기존의 모델과 앙상블하여 예측 정확도가 높은 알고리즘을 적용하는 앙상블 단계를 거쳐 생성되는 것을 포함한다.
본 발명에 의하면 사용자의 동작정보를 정확하게 인식하여 목적장치를 제어할 수 있는 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 제스쳐인식 웨어러블 디바이스의 구성요소간의 관계를 도시한 도면,
도 2는 연산모듈의 동작 순서를 나타낸 순서도,
도 3은 데이터베이스에 저장되어 있는 머신러닝 및 딥러닝 학습데이터가 생성되는 과정을 나타낸 순서도.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 제스쳐인식 웨어러블 디바이스의 구성요소간의 관계를 도시한 도면, 도 2는 연산모듈의 동작 순서를 나타낸 순서도, 도 3은 데이터베이스에 저장되어 있는 머신러닝 및 딥러닝 학습데이터가 생성되는 과정을 나타낸 순서도이다.
본 발명의 바람직한 실시예에 따른 제스쳐인식 웨어러블 디바이스는, 도 1 을 참조하면, 외피(100), 플렉스센서모듈(200), 6축가속도자이로센서모듈(300), 제어부(400), 전원공급부(500), 목적장치(600)를 포함하여 이루어진다.
먼저, 본 발명에 따른 제스쳐인식 웨어러블 디바이스의 구성요소에 대해 상세하게 설명한다.
외피(100)는 손가락부, 손등부 및 전완부를 포함하여 이루어지고, 손가락부는 다섯손가락을 삽입할 수 있도록 형성되어 있고 전완부는 손목부터 전완까지의 상부를 덮을 수 있으며 손가락부를 제외한 하부는 개방되어 있다.
플렉스센서보듈(200)은 탄력이 있어 사용자가 손가락을 구부림에 따라 함께 구부러질 수 있으며, 구부러짐에 따라 저항 값이 변하는 특성을 가지고 있다.
구부러짐에 따라 저항 값이 변하는 특성을 이용하여, 사용자의 다섯 손가락의 구부러짐 유무 및 구부러진 정도를 검출 및 측정하기 위해 외피의 손가락 부 및 손등부에 장착된다.
6축가속도자이로센서모듈(300)은 사용자 팔의 운동 벡터를 측정하여 값으로 산출하기 위하여, 외피의 손등부분에 장착된다.
제어부(400)는 마이크로컨트롤러(410), 초소형연산처리장치(420) 및 제1무선통신모듈(430)을 포함하여 구성된다.
마이크로컨트롤러(310)은 외피(100)의 전완부에 장착되어 플렉스센서모듈(200)로부터 센싱된 구부러짐 값을 측정하여 초소형연산처리장치(320)로 전송한다.
초소형연산처리장치(420)는 마이크로 컨트롤러(410)로부터 구부러짐 값을 전달받고 6축가속도자이로센서모듈로부터의 측정값을 병합하여 처리한다.
제1무선통신모듈(430)은 초소형연산처리장치(420)에 내장되어 처리된 모션 데이터를 목적장치(600)로 송신한다.
전원공급부(500)는 제어부 및 전체 시스템에 전원을 공급하기 위하여 전완부에 장착되는 배터리를 포함하여 이루어진다.
목적장치(600)은 제2무선통신모듈(610), 연산모듈(620) 및 데이터베이스(630)을 포함하여 이루어진다.
제2무선통신모듈(610)은 제어부(400)의 제1무선통신모듈(430)로부터 플렉스센서모듈(200) 및 6축가속도자이로센서모듈(300)에 의하여 센싱된 사용자의 동작정보를 입력받을 수 있다.
연산모듈(620)은 수신부(621), 매칭부(622) 및 실행부(623)를 포함하여 이루어 지며 제2무선통신모듈을 이용하여 입력받은 사용자의 동작정보를 연산을 통하여 목적장치(600)에서 특정 동작을 수행하게 한다.
수신부(621)는 제2무선통신모듈(610)로부터 입력받은 사용자의 동작정보를 수신할 수 있으며, 매칭부(622)는 머신러닝 및 딥러닝 모델을 통해 학습시켜 데이터베이스부에 저장되어 있는 가중치와 동작데이터를 매칭하여 판단할 수 있다.
실행부(623)은 매칭이 완료된 소정 시간 간격의 센싱 동작을 목적장치(600)에서 어떻게 수행할 지 명령을 내릴 수 있다.
테이터베이스(630)는 머신러닝 및 딥러닝 학습데이터가 저장되어 있다.
데이터베이스(630)에 저장된 머신러닝 및 딥러닝 학습데이터는 도 3을 참조하면, 학습용데이터생성단계(S110), 수신단계(S120), 전처리단계(S130), 모델적용단계(S140), 수정단계(S150), 앙상블단계(S160)을 포함하여 생성된다.
학습용데이터생성단계(S110)에서는 인식시킬 동작들을 반복하며, 학습에 필요한 동작 데이터를 생성한다.
수신단계(S120)에서는 학습용 디바이스에서 학습에 필요한 동작데이터를 수신한다.
전처리단계(S130)에서는 데이터 분석에 용이한 데이터 셋을 만들기 위하여, 수신하는 데이터들을 실시간으로 한 번의 동작에 20개의 데이터 간격으로 데이터 프레임화하여 저장하며 지도학습(supervised learning)을 위한 라벨링(labelling) 과정을 포함한다.
모델적용단계(S140)에서는 전처리단계(S130)에서 만들어진 데이터 셋을 머신 러닝 알고리즘으로 학습시킨다.
수정단계(S150)에서는 전처리단계(S130)과 모델적용단계(S140)를 반복하며, 알고리즘 내 파라미터를 조정한다.
앙상블단계(S160)에서는 시계열 데이터에 대한 효과적인 딥 러닝(LSTM) 모델을 기존의 모델과 앙상블하여 예측 정확도가 높은 알고리즘을 적용한다.
이하에서는 본 발명에 따른 제스쳐인식 웨어러블 디바이스의 동작방법에 대하여 상세하게 설명한다.
사용자가 본 발명에 따른 제스처인식 웨어러블 디바이스를 착용하여 손가락을 구부리는 것을 포함한 데이터베이스에 저장되어 있는 동작을 실시한다.
손가락을 구부리면 플렉스센서모듈(200)이 손가락의 구부러진 정도를 센싱하여, 엄지, 검지, 중지, 약지, 새끼 손가락 각각의 측정 값을 따로 변수로 입력받아 구부러짐 유무 및 구부러진 정도를 검출 및 측정한다.
또한, 6축자이로센서모듈(300)을 이용하여 손가락 뿐아니라 팔의 움직임을 측정하여 값으로 산출하여 제어부로 하며, 6죽가속도자이로센서모듈은 가속도 및 각속도를 측정하고 각각의 기준 축에 따른 회전각 및 축 방향 이동거리를 측정한다.
플렉스센서모듈(200)에 의하여 측정된 동작은 제어부의 마이크로컨트롤러(MCU)로 전송되고, 마이크로 컨트롤러(410)는 플렉스센서모듈(200)로부터 센싱된 구부러짐 값을 측정하며, 초소형연산처리장치(420)에서 마이크로컨트롤러(410)로부터 구부러짐 값을 전달받고 6축가속도자이로센서모듈(300)로부터의 측정값을 병합하여 처리한다.
초소형연산처리장치(420)에서 병합처리된 모션 데이터 정보는 제어부의 제1무선통신모듈(430)을 통하여 목적장치(600)로 전송된다.
목적장치(600)로 전송된 모션 데이터 정보는 목적장치(600)의 제2무선통신모듈(610)로 전송받으며, 제2무선통신모듈(610)로 전송받은 모션 데이터 정보는 연산모듈(620)로 전송된다.
연산모듈(620)은 데이터베이스로부터 머신러닝 및 딥러닝 학습데이터를 전송받에 제2무선통신모듈(610)으로부터 전송받은 모션 데이터정보와 연산을 수행한다.
보다 상세하게는, 연산모듈(620)에서 제2무선통신모듈(610)로부터 입력받은 동작정보를 수신부(621)를 통하여 수신하는 수신단계(S210), 매칭부에서 데이터베이스(630)에 저장되어 있는 머신러닝 및 딥러닝 모델을 통해 학습시킨 가중치와 동작 데이터를 매칭하며 판단하는 매칭단계(S220) 및 매칭이 완료된 짧은 시간 간격의 상기의 웨어러블 디바이스측의 동작을 목적 장치에서 어떻게 수행할지 명령하는 실행단계(S230)를 포함하여 연산을 수행하여 목적장치(600)의 동작을 결정한다.
예컨대, 엄지 손가락과 중지 손가락을 튕기는 동작을 하는 경우 프로그램이 종료될 수 있도록 제어할 수 있고, 검지와 중지 손가락만 핀 상태로 상하좌우로 움직이는 동작을 통하여 키보드의 상, 하, 좌, 우를 입력할 수 있도록 할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 - 외피 200 - 플렉스센서모듈
300 - 6축가속도자이로센서모듈 400 - 제어부
410 - 마이크로컨트롤러 420 - 초소형연산처리장치
430 - 제1무선통신모듈 500 - 전원공급부
600 - 목적장치 610 - 제2무선통신모듈
620 - 연산모듈 630 - 데이터베이스

Claims (5)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 손가락부, 손등부 및 손목부터 전완까지의 상부를 덮는 전완부를 포함하고, 손가락 부분을 제외한 하부는 개방 된 형태의 외피;
    구부러짐에 따라 저항 값이 변하는 특성을 이용하여, 다섯 손가락의 구부러짐 유무 및 구부러진 정도를 검출 및 측정하기 위해 외피의 손가락부 및 손등부에 장착한 플렉스센서모듈;
    사용자 팔의 운동 벡터를 측정하여 값으로 산출하기 위하여, 외피의 손등부분에 장착된 6축 가속도 자이로센서모듈(IMU);
    외피의 전완부에 장착되어 플렉스센서모듈로부터 센싱된 구부러짐 값을 측정하기 위한 마이크로컨트롤러(MCU),
    마이크로컨트롤러로부터 구부러짐 값을 전달받고 6축 가속도자이로센서모듈로부터의 측정값을 병합하여 처리하기 위한 초소형연산처리장치(MPU) 및
    초소형연산처리장치(MPU)에 내장되어 처리된 모션 데이터를 목적 장치로 송신하기 위한 제1무선통신모듈
    를 포함하는 제어부 및
    제어부 및 전체 시스템에 전원을 공급하기 위하여 전완부에 장착되는 배터리를 포함하는 전원공급부
    를 포함하고,
    제어부의 제1무선통신모듈의 동작 정보를 입력받아, 입출력 기능을 수행할 목적장치
    를 포함하며,
    목적장치는
    제어부의 제1무선통신모듈로부터 동작정보를 입력 받을 수 있는 제2무선통신모듈,
    제1무선통신모듈로부터 입력받은 동작정보를 연산을 통하여 특정동작을 수행하게 하는 연산모듈,
    머신러닝 및 딥러닝 학습데이터가 저장되어 있는 데이터베이스
    를 포함하는 것
    을 포함하고,
    데이터베이스에 저장된 머신러닝 및 딥려닝 학습데이터는
    인식시킬 동작들을 반복하며, 학습에 필요한 동작 데이터를 생성하는 학습용 데이터 생성 단계,
    학습용 디바이스에서 학습에 필요한 동작데이터를 수신하는 수신 단계,
    데이터 분석에 용이한 데이터 셋을 만들기 위하여, 수신하는 데이터들을 실시간으로 한 번의 동작에 20개의 데이터 간격으로 데이터 프레임화하여 저장하며 지도학습(supervised learning)을 위한 라벨링(labelling) 과정을 포함하는 전처리 단계,
    전처리 단계에서 만들어진 데이터 셋을 머신 러닝 알고리즘으로 학습시키는 모델 적용 단계,
    전처리 과정과 모델 적용 단계를 반복하며, 알고리즘 내 파라미터를 조정하는 수정 단계,
    시계열 데이터에 대한 효과적인 딥 러닝(LSTM) 모델을 기존의 모델과 앙상블하여 예측 정확도가 높은 알고리즘을 적용하는 앙상블 단계
    를 거쳐 생성되는 것
    을 포함하는, 제스쳐인식 웨어러블 디바이스


KR1020200023573A 2020-02-26 2020-02-26 제스쳐인식 웨어러블 디바이스 KR102263815B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200023573A KR102263815B1 (ko) 2020-02-26 2020-02-26 제스쳐인식 웨어러블 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200023573A KR102263815B1 (ko) 2020-02-26 2020-02-26 제스쳐인식 웨어러블 디바이스

Publications (1)

Publication Number Publication Date
KR102263815B1 true KR102263815B1 (ko) 2021-06-11

Family

ID=76376266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200023573A KR102263815B1 (ko) 2020-02-26 2020-02-26 제스쳐인식 웨어러블 디바이스

Country Status (1)

Country Link
KR (1) KR102263815B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071960A (ko) * 2013-12-19 2015-06-29 엘에스산전 주식회사 입력 신호 단일화 장치
KR20170053854A (ko) * 2015-11-07 2017-05-17 류기범 장갑형 모션 측정 웨어러블 리모트 컨트롤러
KR101840833B1 (ko) * 2017-08-29 2018-03-21 엘아이지넥스원 주식회사 기계 학습 기반 착용로봇 제어장치 및 시스템
KR20180031625A (ko) * 2014-12-08 2018-03-28 로힛 세스 착용가능 무선 hmi 디바이스
KR20190044952A (ko) * 2017-10-23 2019-05-02 남정우 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
KR20190100114A (ko) * 2019-08-09 2019-08-28 엘지전자 주식회사 배터리 장치 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071960A (ko) * 2013-12-19 2015-06-29 엘에스산전 주식회사 입력 신호 단일화 장치
KR20180031625A (ko) * 2014-12-08 2018-03-28 로힛 세스 착용가능 무선 hmi 디바이스
KR20170053854A (ko) * 2015-11-07 2017-05-17 류기범 장갑형 모션 측정 웨어러블 리모트 컨트롤러
KR101840833B1 (ko) * 2017-08-29 2018-03-21 엘아이지넥스원 주식회사 기계 학습 기반 착용로봇 제어장치 및 시스템
KR20190044952A (ko) * 2017-10-23 2019-05-02 남정우 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
KR20190100114A (ko) * 2019-08-09 2019-08-28 엘지전자 주식회사 배터리 장치 및 그 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
문백산 외 1인. 교정된 기계학습을 이용한 사용자 특화 제스처 인식 방법. 전자공학회논문지, 56(1), 57-68 페이지. 2019년 1월. 1부.* *

Similar Documents

Publication Publication Date Title
US10210202B2 (en) Recognition of free-form gestures from orientation tracking of a handheld or wearable device
US10649549B2 (en) Device, method, and system to recognize motion using gripped object
US11543887B2 (en) User interface control of responsive devices
US11474604B2 (en) User interface control of responsive devices
CN110312471B (zh) 从神经肌肉活动测量中导出控制信号的自适应系统
US11567573B2 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
US9880632B2 (en) Systems, devices, and methods for gesture identification
US9389694B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
CN102915111B (zh) 一种腕上手势操控系统和方法
US20150084859A1 (en) System and Method for Recognition and Response to Gesture Based Input
KR101549353B1 (ko) 생체 음원 인식 기능을 갖는 스마트 와치
US20150323998A1 (en) Enhanced user interface for a wearable electronic device
US20100023314A1 (en) ASL Glove with 3-Axis Accelerometers
EP3287871B1 (en) Wearable device and method for providing feedback of wearable device
US20230113991A1 (en) Biopotential-Based Gesture Interpretation With Machine Labeling
US20220155866A1 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
CN111837094A (zh) 信息处理装置、信息处理方法和程序
KR102263815B1 (ko) 제스쳐인식 웨어러블 디바이스
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
CN112540686A (zh) 智能指环及指环工作模式的确定方法和电子设备
US11635823B1 (en) Detecting user input from multi-modal hand bio-metrics
WO2023211969A1 (en) Machine learning user motion identification using intra-body optical signals

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant