WO2019107620A1 - 제스처 인식 장치 및 그 방법 - Google Patents

제스처 인식 장치 및 그 방법 Download PDF

Info

Publication number
WO2019107620A1
WO2019107620A1 PCT/KR2017/013940 KR2017013940W WO2019107620A1 WO 2019107620 A1 WO2019107620 A1 WO 2019107620A1 KR 2017013940 W KR2017013940 W KR 2017013940W WO 2019107620 A1 WO2019107620 A1 WO 2019107620A1
Authority
WO
WIPO (PCT)
Prior art keywords
wrist
gesture recognition
substrate
value
gesture
Prior art date
Application number
PCT/KR2017/013940
Other languages
English (en)
French (fr)
Inventor
이석필
변성우
한혁수
Original Assignee
상명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교 산학협력단 filed Critical 상명대학교 산학협력단
Publication of WO2019107620A1 publication Critical patent/WO2019107620A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G01L5/228—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Definitions

  • the present invention relates to a gesture recognition technology, and more particularly, to a technique of learning and recognizing a user's gesture based on a user's bio-signal acquired from a sensor.
  • the gesture recognition technique can be classified into a contact gesture recognition method and a non-contact gesture recognition method.
  • the contact gesture recognition method is a method of utilizing data acquired from a sensor or a device submitted to the user's body for gesture recognition.
  • the non-contact gesture recognition method mainly utilizes the user's motion information obtained from a camera that captures a user's movement for gesture recognition.
  • the wearable device technology acquires the movement information of the user from a sensor or a device that can detect a user's movement from a human body or a sensor or a device attached to the wearable device, the wearable device technology- Technology.
  • the wearable device-based gesture recognition technology has the inconvenience of attaching a sensor or a device to a user's body or clothing, but relatively accurate motion information can be obtained because a sensor or a device is directly attached to a user's body or clothes.
  • sensors commonly used in wearable device technology for gesture recognition include an Inertial Measurement Unit (IMU) sensor, an EMG sensor, and a gyro sensor.
  • IMU Inertial Measurement Unit
  • an object of the present invention is to acquire bio-signals according to a change in muscle movement of a wrist using a sensor having a flexible property that can be worn on a human's wrist or forearm, An apparatus and method for extracting feature vector values of various gestures from a bio-signal and learning and recognizing various gestures using the extracted feature vector values.
  • a gesture recognition apparatus including: a first substrate surrounding a periphery of a wrist; A sensor array disposed on the first substrate for sensing changes in movement of the muscles of the wrist; A second substrate attached to the arm portion and electrically connected to the first substrate; And a second substrate disposed on the second substrate for receiving a sensing value corresponding to a change in movement of the wrist muscle from the sensor array and performing a machine learning on the received sensing value to classify the matching relationship between the sensing value and the gesture And a gesture recognition module for generating a learning model and performing a process of recognizing a wrist gesture corresponding to a sensing value currently input based on the generated learning model.
  • a method of recognizing a gesture comprising: receiving a sensing value corresponding to a change in resistance value according to movement of a wrist muscle from a plurality of sensors provided on a flexible substrate surrounding the wrist; Extracting, as a feature vector value, a difference value between an n-th sensing value and an (n + 1) -th sensing value on a time axis of a gesture recognition module provided on a printed circuit board electrically connected to the flexible substrate; Generating a learning model for classifying a matching relationship between a feature vector value and a wrist gesture by performing a machine learning on the feature vector value; And determining a wrist gesture with respect to a currently input feature vector value using the learning model.
  • a sensor having a flexible property since a sensor having a flexible property is used for gesture recognition, it can be attached to a curved attachment surface, and can be applied to various wearable devices by using a natural bending property.
  • FIG. 1 is a block diagram of a gesture recognition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a view showing a state where the gesture recognition apparatus shown in FIG. 1 is worn on the wrist.
  • FIG. 3 is a cross-sectional view taken along the cutting line A-A 'shown in Fig.
  • FIG. 4 is a block diagram of the gesture recognition module 220 shown in FIG.
  • FIG. 5 is a waveform diagram showing a noise component of a living body signal removed by the preprocessing unit shown in Fig.
  • FIG. 6 is a waveform diagram of a living body signal in which a noise component is removed by the preprocessing unit shown in FIG.
  • FIG. 7 is a graph showing a change in the feature vector value extracted by the feature vector extracting unit shown in FIG.
  • FIG. 8 is a flowchart illustrating a gesture recognition method according to an embodiment of the present invention.
  • first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • / or < / RTI &gt includes any combination of a plurality of related listed items or any of a plurality of related listed items.
  • the gesture recognition apparatus of the present invention may be an electronic device including a communication function, or embedded therein.
  • Electronic devices include, for example, a smart phone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, a desktop personal computer, Such as a laptop personal computer, a netbook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), an MP3 player, a mobile medical device, a camera, or a wearable device : At least one of a head-mounted device (HMD) such as electronic glasses, an electronic garment, an electronic bracelet, an electronic necklace, an electronic app apparel, a smart band or a smart watch.
  • HMD head-mounted device
  • FIG. 2 is a view showing a state in which the gesture recognition apparatus shown in FIG. 1 is worn on a wrist region
  • FIG. 3 is a sectional view of the gesture recognition apparatus shown in FIG. 2, Sectional view taken along the line A-A '.
  • the gesture recognition apparatus 300 learns and recognizes various gestures based on bio-signals acquired from muscle movements of a body part attached to a user's body, Device.
  • a gesture recognition device 300 that is attached to a user's wrist is described. This is for convenience of explanation, and the attachment position of the gesture recognition apparatus 300 of the present invention is not limited to the wrist region.
  • the gesture recognition device 300 of the present invention can be attached to various body parts in a curved form, not in a planar form such as an forearm, an ankle, etc., You will understand.
  • the gesture recognition apparatus 300 may include a first substrate 100 and a second substrate 200 electrically connected to the first substrate 100.
  • the first substrate 100 may be a flexible substrate having a flexible property so as to surround the wrist. Since the material and the kind of the flexible substrate deviate from the gist of the present invention, detailed description thereof will be omitted.
  • the second substrate 200 may be a printed circuit board attached to the arms.
  • the second substrate 100 may be embodied as a flexible substrate in the same manner as the first substrate 100.
  • the first substrate 100 extends in a direction perpendicular to the extending direction of the first region R1 at a first region R1 extending in a length enough to wrap the wrist circumference and at an end portion of the first region R1 And may include a second region R2. Accordingly, the first substrate 100 may have a shape of '?'.
  • the first region R1 is an area surrounding the wrist circumference as shown in Figs.
  • the length of the first region R1 is not limited as long as it can sufficiently wrap the circumference of the wrist, but it is preferable to design the first region R1 in various lengths based on statistical data on the wrist circumference by age.
  • the length of the second region R2 is not particularly limited.
  • the length of the first region may be designed to be more than or less than the length of the first region.
  • the first region R1 is provided with a sensing array 100 for sensing changes in muscle movement of the wrist.
  • the sensing array 100 may include a plurality of sensors arranged in the extending direction of the first region R1.
  • FIG. 1 shows sixteen sensors # 1 to # 16, it is not limited thereto. That is, the number of sensors can be changed in various numbers in consideration of the length of the first region R1 and the distance between the sensors.
  • Each of the plurality of sensors may be a sensor that measures the physical deformation of the sensor itself caused by the movement of the wrist.
  • the sensor may be, for example, a Flexible Epidermal Tactile Sensor (FETS).
  • FETS Flexible Epidermal Tactile Sensor
  • the sensor array 100 may be referred to as the " Flexible Epidermal Tactile Sensor Array (FETSA) ".
  • the FETS can measure the change in electrical resistance caused by the movement of the muscles of the wrist, and generate the measurement results as data (biological signals).
  • the various muscles in the wrist contract and relax as the wrist moves. At this time, the thickness, angle, and degree of swing of the wrist are changed, and thus the degree of the FETS swinging around the wrist is changed. That is, FETS acquires a change in electrical resistance corresponding to a strain of strain gauge as a biological signal.
  • the FETS FETS
  • the sensor of the present invention is not limited to the FETS, and there is no limitation as long as it is a sensor capable of converting the physical deformation of the sensor itself caused by the movement of the wrist into an electric signal.
  • a connector 120 is provided at an end of the second region R2.
  • the connector 120 can receive biometric signals from the plurality of sensors # 1 to # 16 through different wires 130.
  • the connector 120 may be physically and electrically coupled to the connector 210 provided on the second substrate 200 described below.
  • Physical coupling means that the connector 120 is inserted into the connector 210 or vice versa.
  • Electrical connection means electrical contact between the metal pin provided on the connector 120 and the metal groove of the connector 210 or vice versa.
  • the first substrate 100 and the second substrate 200 can be electrically connected.
  • the second substrate 200 may include a connector 210 and a gesture recognition module 220 implemented in a chip form.
  • the connector 210 may be physically and electrically coupled to the connector 120, as described above. Accordingly, the connector 210 can receive a biomedical signal (or a biomedical signal sequence) corresponding to a change in the movement of the wrist muscle from a plurality of FETSs (# 1 to # 16) through the connector 120.
  • a biomedical signal or a biomedical signal sequence
  • the gesture recognition module 220 may be electrically connected to the connector 210 by a patterned wiring 215 on a second substrate 200. Accordingly, the gesture recognition module 220 can receive a biometric signal (or a biometric signal sequence) from a plurality of FETSs (# 1- # 16) through the connector 120 and the connector 210.
  • the gesture recognition module 220 is a module that learns and recognizes various wrist gestures based on bio-signals (or biological signal sequences) received from a plurality of FETSs (# 1 to # 16) And may be an on-demand semiconductor chip designed to perform various operations.
  • the gesture recognition module 220 will be described in detail with reference to FIG.
  • a plurality of FETS are arranged on a first substrate 100, that is, a flexible substrate.
  • 16 may be embedded inside a flexible substrate in order to protect them from the outside.
  • the flexible substrate may be configured to include at least two stacked flexible substrates.
  • FIG. 4 is a block diagram of the gesture recognition module 220 shown in FIG.
  • the gesture recognition module 220 includes a collecting unit 221, a preprocessing unit 223, a feature vector extracting unit 225, a learning model generating unit 227, and a gesture recognizing unit 229 .
  • the collecting unit 221 collects bio-signals corresponding to changes in the movement of the wrist muscles from the plurality of FETSs # 1 to # 16 through the connector 210.
  • the collection unit 221 may be a kind of buffer memory, arranges the collected bio-signals in a predetermined unit, and outputs them to the preprocessing unit 223.
  • the preprocessing unit 223 may perform preprocessing on the bio-signals transmitted from the collecting unit 221 to remove noise components (artifacts) included in the bio-signals.
  • the bio-signal sensed by the FETS may include a noise component due to heartbeat.
  • 5 shows a waveform diagram of a living body signal including the noise component 60 due to heartbeat.
  • the pre-processing unit 223 may be configured to include various filters.
  • a median filter may be used which is advantageous for eliminating impulse noise while maintaining the attribute of the source signal.
  • FIG. 6 shows a waveform diagram of a living body signal in which noise components are removed by a media filter.
  • the feature vector extractor 225 extracts a feature vector value from the bio-signal from which the noise component is removed.
  • the feature vector value is a difference absolute mean value (DAMV) value between an Nth biological signal (Nth resistance value measured in FETS) and an N + 1th biological signal (resistance value at the current time measured in the same FETS) ), That is, the change amount of the biological signal.
  • DAMV difference absolute mean value
  • X (i ⁇ t) is the resistance value of a previous measurement time point in the FETS
  • X ((i + 1 ) ⁇ t) is the resistance value of the current time measured at the same FETS.
  • FIG. 7 is a graph showing a change in feature vector values extracted by the feature vector extracting unit shown in FIG. 4, and reference symbol A indicates a change pattern of feature vector values extracted in a time interval in which movement of the wrist occurs.
  • the learning model generation unit 227 performs a machine learning on the feature vector values extracted by the feature vector extraction unit 225, and classifies the relevance between the feature vector values and the wrist gesture based on the probability And generates a learning model 227-1.
  • SVM Small Vector Machine
  • SVM Small Vector Machine
  • the gesture recognition unit 229 uses the learning model 227-1 generated by the learning model generation unit 229-4 to stochastically relate the current feature vector value output from the feature vector extraction unit 225 This determines the highest gesture. That is, the gesture recognition unit 229 calculates the probability of the gesture corresponding to the feature vector value, and recognizes the gesture having the highest probability that the probability of the gesture exceeds 80% as the final gesture. If it does not exceed 80%, the system considers the gesture not detected.
  • FIGS. 1 to 4 are referred to together.
  • a gesture recognition module 220 provided on a printed circuit board 200 includes a plurality of sensors # 1 to # 16 provided on a flexible substrate 100 that wraps around the wrist, (A biological signal or a biological signal sequence) corresponding to a change in resistance value according to the movement of the muscles of the wrist is performed.
  • step S820 a process of extracting a feature vector value from the received sensing value (biosignal or biosignal sequence) is performed.
  • the extraction of the feature vector value may be a process of extracting a difference value between the n-th sensing value and the (n + 1) -th sensing value on the time axis as a feature vector value.
  • step S820 a process of removing impulse noise included in the received sensing value (biological signal or biological signal sequence) using a filter may be performed.
  • a MIDI filter which is advantageous for eliminating impulse noise can be used.
  • step S830 a process of generating a learning model for classifying the matching relation between the feature vector value and the wrist gesture by performing the machine learning on the feature vector value is performed.
  • SVM can be used for machine learning.
  • step S840 a process of determining the wrist gesture with respect to the feature vector value currently input using the learning model may be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 인식 장치가 제공된다. 이 장치는, 손목의 둘레를 감싸는 제1 기판; 상기 제1 기판 상에 구비되어, 손목 근육의 움직임 변화를 센싱하는 센서 어레이; 팔부위에 부착되고, 상기 제1 기판과 전기적으로 연결되는 제2 기판; 및 상기 제2 기판 상에 구비되어, 상기 센서 어레이로부터 상기 손목 근육의 움직임 변화에 대응하는 센싱값을 수신하고, 수신된 센싱값에 대해 기계학습을 수행하여 센싱값과 제스쳐 간의 매칭관계를 분류하는 학습 모델을 생성하고, 생성된 학습 모델을 기반으로 현재 입력되는 센싱 값에 대응하는 손목 제스처를 인식하는 프로세스를 수행하는 제스처 인식 모듈;을 포함한다.

Description

제스처 인식 장치 및 그 방법
본 발명은 제스처 인식 기술에 관한 것으로, 더욱 상세하게는 센서로부터 획득한 사용자의 생체신호를 기반으로 사용자의 제스처를 학습하고 인식하는 기술에 관한 것이다.
제스처 인식 기술은 접촉식 제스처 인식 방식과 비 접촉식 제스처 인식 방식로 구분 할 수 있다.
접촉식 제스처 인식 방식은 사용자의 신체에 부탁된 센서 또는 장치로부터 획득된 데이터를 제스처 인식에 활용하는 방식이다. 비 접촉식 제스처 인식 방식은 주로 사용자의 움직임을 캡쳐하는 카메라로부터 획득한 사용자의 움직임 정보를 제스처 인식에 활용하는 방식이다.
웨어러블 디바이스 기술은 사용자의 움직임을 감지할 수 있는 센서나 장치를 사람의 몸이나 옷에 부착된 센서나 장치로부터 사용자의 움직임 정보를 획득하기 때문에, 웨어러블 디바이스 기술 기반의 제스처 인식 기술은 접촉식 제스처 인식 기술에 속한다.
웨어러블 디바이스 기반의 제스처 인식 기술은 센서나 장치를 사용자의 몸이나 옷에 부착해야 하는 불편함은 있지만 사용자의 몸이나 옷에 센서나 장치가 직접 부착되기 때문에, 비교적 정확한 움직임 정보를 얻을 수 있다.
제스처 인식을 위한 웨어러블 디바이스 기술에서 주로 사용되는 센서는 Inertial Measurement Unit(IMU) 센서, 근전도 센서, gyro 센서 등을 예로 들 수 있다.
그러나 이러한 센서들은 소형화가 어렵기 때문에 스마트 밴드나 스마트 시계에 적용하기에 적합하지 않고 손목이나 팔뚝같이 곡선 형태의 부착면에 부착하기 어려운 문제점이 있다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 사람의 손목이나 팔뚝에 착용할 수 있는 플렉서블(Flexible)한 성질을 가진 센서를 이용하여 손목의 근육 움직임의 변화에 따른 생체 신호를 획득하고, 획득한 생체 신호로부터 다양한 제스처의 특징 벡터값들을 추출하고, 추출한 특징 벡터값들을 이용하여 다양한 제스처를 학습하고 인식하는 장치 및 방법을 제공하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 제스처 인식 장치는, 손목의 둘레를 감싸는 제1 기판; 상기 제1 기판 상에 구비되어, 손목 근육의 움직임 변화를 센싱하는 센서 어레이; 팔부위에 부착되고, 상기 제1 기판과 전기적으로 연결되는 제2 기판; 및 상기 제2 기판 상에 구비되어, 상기 센서 어레이로부터 상기 손목 근육의 움직임 변화에 대응하는 센싱값을 수신하고, 수신된 센싱값에 대해 기계학습을 수행하여 센싱값과 제스쳐 간의 매칭관계를 분류하는 학습 모델을 생성하고, 생성된 학습 모델을 기반으로 현재 입력되는 센싱 값에 대응하는 손목 제스처를 인식하는 프로세스를 수행하는 제스처 인식 모듈;을 포함한다.
본 발명의 다른 일면에 따른 제스처 인식 방법은, 손목을 감싸는 플렉서블 기판 상에 구비된 다수의 센서로부터 손목 근육 움직임에 따른 저항값 변화에 대응하는 센싱값을 수신하는 단계; 상기 플렉서블 기판과 전기적으로 연결된 인쇄회로기판 상에 구비된 제스처 인식 모듈이 시간축 상에서 n번째 센싱값과 n+1번째 센싱값 간의 차이값을 특징 벡터값으로서 추출하는 단계; 상기 특징 벡터값에 대해 기계학습을 수행하여 특징 벡터값과 손목 제스처 간의 매칭관계를 분류하는 학습 모델을 생성하는 단계; 상기 학습 모델을 이용하여 현재 입력되는 특징 벡터값에 대한 손목 제스처를 판별하는 단계;를 포함한다.
본 발명에 따르면, 제스처 인식을 위해 플렉서블한 성질을 가진 센서를 이용하기 때문에, 곡선 형태의 부착면에도 부착이 가능하고, 자연스럽게 꺾이는 성질을 이용하여 다양한 웨어러블 디바이스에 적용이 가능하다.
도 1은 본 발명의 실시 예에 따른 제스처 인식 장치의 구성도이다.
도 2는 도 1에 도시한 제스처 인식 장치가 손목 부위에 착용된 상태를 보여주는 도면이다.
도 3은 도 2에 도시한 절단선 A-A'를 따라 절단한 단면도이다.
도 4는 도 1에 도시한 제스처 인식 모듈(220)의 구성도이다.
도 5는 도 4에 도시한 전처리부에 의해 제거되는 생체 신호의 노이즈 성분을 도시한 파형도이다.
도 6은 도 4에 도시한 전처리부에 의해 노이즈 성분이 제거된 생체 신호의 파형도이다.
도 7은 도 4에 도시한 특징벡터 추출부가 추출한 특징벡터값의 변화를 나타내는 그래프이다.
도 8은 본 발명의 실시 예에 따른 제스처 인식 방법을 나타내는 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 제스처 인식 장치는 통신 기능이 포함된 전자 장치이거나, 그 내부에 임베딩될 수 있다. 전자 장치는, 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 비디오 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 스마트 밴드 또는 스마트 와치(smart watch)중 적어도 하나를 포함할 수 있다. 본 발명의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 본 발명의 실시 예에 따른 제스처 인식 장치의 구성도이고, 도 2는 도 1에 도시한 제스처 인식 장치가 손목 부위에 착용된 상태를 보여주는 도면이고, 도 3은 도 2에 도시한 절단선 A-A'를 따라 절단한 단면도이다.
도 1 내지 3을 참조하면, 본 발명의 실시 예에 따른 제스처 인식 장치(300)는 사용자의 신체에 부착되어 부착된 신체 부위의 근육 움직임으로부터 획득한 생체 신호를 기반으로 다양한 제스처를 학습하고 인식하는 장치일 수 있다.
본 실시 예에서는 사용자의 손목에 부착되는 제스처 인식 장치(300)가 기술된다. 이는 설명의 편의를 위함이지 본 발명의 제스처 인식 장치(300)의 부착 위치가 손목부위에 한정되는 것은 아니다. 따라서, 본 발명의 제스처 인식 장치(300)는 신체의 다양한 부위, 예를 들면, 팔뚝, 발목 등 평면 형태가 아닌 곡면 형태의 다양한 신체 부위에 부착될 수 있으며, 이는 아래의 설명을 통해 당업자라면 충분히 이해할 수 있을 것이다.
본 발명의 실시 예에 따른 제스처 인식 장치(300)는 제1 기판(100)과 상기 제1 기판(100)과 전기적으로 접속되는 제2 기판(200)을 포함할 수 있다.
제1 기판(100)은 손목의 둘레를 감싸도록 플렉서블한(Flexible) 성질을 갖는 플렉서블(Flexible) 기판일 수 있다. 플렉서블 기판의 재질 및 종류는 본 발명의 요지를 벗어나는 것이므로, 이에 대한 상세 설명은 생략하기로 한다.
제2 기판(200)은 팔부위에 부착되는 인쇄회로기판일 수 있다. 경우에 따라, 제2 기판(100)도 제1 기판(100)과 동일하게 플렉서블 기판으로 구현될 수 있다.
제1 기판(100)는 손목의 둘레를 충분히 감싸는 길이로 연장되는 제1 영역(R1)과 제1 영역(R1)의 끝단부에서 제1 영역(R1)의 연장 방향에 수직한 방향으로 연장되는 제2 영역(R2)을 포함하도록 구성될 수 있다. 따라서, 제1 기판(100)은 '┌'형태를 가질 수 있다.
제1 영역(R1)은 도 2 및 도 3에 도시된 바와 같이, 손목 둘레를 감싸는 영역이다. 제1 영역(R1)의 길이는 손목의 둘레를 충분히 감쌀 수 있는 길이이라면 제한이 없으나, 연령별 손목 둘레에 대한 통계학적 자료에 근거하여 다양한 길이로 설계하는 것이 바람직하다. 제2 영역(R2)의 길이는 특별한 제한이 없다. 제1 영역의 길이 이상 또는 미만으로 설계될 수 있다.
제1 영역(R1)에는 손목의 근육 움직임 변화를 센싱하는 센싱 어레이(100)가 구비된다. 센싱 어레이(100)는 제1 영역(R1)의 연장 방향으로 배열되는 다수의 센서를 포함할 수 있다. 도 1에서는 16개의 센서들(#1~#16)을 도시하고 있으나, 이를 한정하는 것은 아니다. 즉, 센서의 개수는 제1 영역(R1)의 길이 및 센서들 간의 이격 거리를 고려하여 다양한 개수로 변경할 수 있다.
다수의 센서 각각은 손목의 움직임에 따라 발생하는 자신(센서)의 물리적 변형을 측정하는 센서일 수 있다. 센서는, 예를 들면, Flexible Epidermal Tactile Sensor(FETS)일 수 있다. 본 발명에서 FETS를 사용하는 경우, 센서 어레이(100)는 "Flexible Epidermal Tactile Sensor Array(FETSA)"라는 용어로 불릴 수 있다. FETS는 손목 근육의 움직임에 따라 발생하는 전기저항의 변화를 측정하고, 그 측정 결과를 데이터(생체 신호)로서 생성할 수 있다. 손목에 있는 다양한 근육은 손목이 움직이는 동안 수축되고 이완된다. 이 때 손목의 두께나 각도, 틀어짐 정도 등이 변하게 되고 이에 따라 손목의 둘레를 감싸는 FETS의 틀어짐 정도가 변한다. 즉, FETS는 스트레인 게이지(strain gauge)의 변형에 대응하는 전기 저항의 변화를 생체 신호로 획득한다.
이하, 센서는 FETS로 지칭한다. 그러나, 본 발명의 센서가 FETS로 한정되는 것은 아니며, 손목의 움직임에 따라 발생하는 자신(센서)의 물리적 변형을 전기 신호로 변환할 수 있는 센서라면, 그 종류에 제한이 없다.
제2 영역(R2)의 끝단부에는 커넥터(120)가 구비된다. 커넥터(120)는 서로 다른 배선(130)을 통해 다수의 센서들(#1~#16)로부터 생체 신호를 수신할 수 있다.
커넥터(120)는 아래에서 설명하는 제2 기판(200) 상에 구비된 커넥터(210)와 물리적 및 전기적으로 결합될 수 있다.
물리적 결합은 커넥터(120)가 커넥터(210)의 내부에 삽입되거나 그 반대의 경우를 의미한다. 전기적 결합은 커넥터(120)에 구비된 금속 핀과 커넥터(210)의 금속 홈 간의 전기적 접촉 또는 그 반대의 전기적 접촉을 의미한다.
이러한 물리적 및 전기적 결합을 통해, 제1 기판(100)과 제2 기판(200)은 전기적으로 연결될 수 있다.
제2 기판(200)은 커넥터(210) 및 칩 형태로 구현된 제스처 인식 모듈(220)을 포함할 수 있다.
커넥터(210)는, 전술한 바와 같이, 커넥터(120)와 물리적 및 전기적으로 결합될 수 있다. 따라서, 커넥터(210)는 커넥터(120)를 통해 다수의 FETS(#1 ~ #16)로부터 손목 근육의 움직임 변화에 대응하는 생체 신호(또는 생체 신호 시퀀스)를 수신할 수 있다.
제스처 인식 모듈(220)은 제2 기판(200) 상에 패터닝된 배선(215)에 의해 상기 커넥터(210)와 전기적으로 연결될 수 있다. 따라서, 제스처 인식 모듈(220)은 커넥터(120) 및 커넥터(210)를 통해 다수의 FETS(#1 ~ #16)로부터 생체 신호(또는 생체 신호 시퀀스)를 수신할 수 있다.
제스처 인식 모듈(220)은 다수의 FETS(#1 ~ #16)로부터 수신한 생체 신호(또는 생체 신호 시퀀스)를 기반으로 다양한 손목 제스처를 학습하고 인식하는 모듈로서, 손목 제스처를 학습하고 인식하기 위한 다양한 연산을 수행하도록 제작된 주문형 반도체 칩일 수 있다. 제스처 인식 모듈(220)에 대해서는 도 2를 참조하여 상세히 설명하기로 한다.
한편, 도 1 내지 도 3에서는 다수의 FETS(#1 ~ #16)가 제1 기판(100), 즉, 플렉서블(Flexible) 기판 상에 배치된 것으로 도시하고 있으나, 다수의 FETS(#1 ~ #16)를 외부로부터 보호하기 위해, 플렉서블(Flexible) 기판 내부에 임베딩될 수 도 있다. 이 경우, 플렉서블(Flexible) 기판은 적층된 적어도 2개의 플렉서블(Flexible) 기판을 포함하도록 구성될 수 있다.
도 4는 도 1에 도시한 제스처 인식 모듈(220)의 구성도이다.
도 4를 참조하면, 제스처 인식 모듈(220)은 수집부(221), 전처리부(223), 특징벡터 추출부(225), 학습 모델 생성부(227) 및 제스처 인식부(229)를 포함할 수 있다.
수집부(221)는 커넥터(210)를 통해 다수의 FETS(#1 ~ #16)로부터 손목 근육의 움직임 변화에 대응하는 생체 신호를 수집한다. 수집부(221)는 일종의 버퍼 메모리일 수 있으며, 수집한 생체 신호를 일정 단위로 정렬하여 전처리부(223)로 출력한다.
전처리부(223)는 수집부(221)로부터 전달된 생체 신호에 대해 전처리를 수행하여 생체 신호에 포함된 노이즈 성분(noise 또는 artifact)를 제거할 수 있다. 본 발명의 일 실시 예에 따른 FETS를 손목에 부착하는 경우, FETS에서 센싱한 생체 신호는 심장박동에 의한 노이즈 성분을 포함할 수 있다. 도 5에는 심장 박동에 의한 노이즈 성분(60)이 포함된 생체 신호의 파형도가 도시된다.
도 5에 도시된 임펄스로 나타나는 노이즈 성분(60)을 제거하기 위해, 전처리부(223)는 다양한 필터를 포함하도록 구성될 수 있다. 본 발명의 실시예에서는, 소스 신호의 속성을 유지하면서 임펄스 노이즈를 제거하는 데 유리한 미디안 필터(median filter)가 사용될 수 있다. 도 6에는 미디어 필터로 노이즈 성분을 제거한 생체 신호의 파형도가 도시된다.
특징벡터 추출부(225)는 노이즈 성분이 제거된 생체 신호에서 특징벡터값을 추출한다. 특징벡터값은 N번째 생체 신호(FETS에서 측정한 N번째 저항값)과 N+1번째 의 생체 신호(동일한 FETS에서 측정한 현재시점의 저항값)의 평균 절대 차이값(Difference Absolute Mean Value; DAMV), 즉, 생체 신호의 변화량으로 정의할 수 있다. DAMV를 계산하는 방법은 아래의 수학식 1과 같다.
Figure PCTKR2017013940-appb-M000001
여기서, X( iΔt )는 FETS에서 측정한 이전시점의 저항값이고, X((i+ 1)Δt )는 동일한 FETS에서 측정한 현재시점의 저항값이다.
도 7은 도 4에 도시한 특징벡터 추출부가 추출한 특징 벡터값의 변화를 나타내는 그래프로서, 참조 기호 A는 손목의 움직임이 발생한 시간 구간에서 추출된 특징 벡터값의 변화 패턴을 지시한 것이다.
다시 도 4를 참조하면, 학습 모델 생성부(227)는 특징벡터 추출부(225)에서 추출한 특징벡터 값에 대해 기계학습을 수행하여, 특징 벡터값과 손목 제스쳐 간의 관련성을 확률에 기반하여 분류하는 학습 모델(227-1)을 생성한다. 기계학습 방법으로, SVM(Support Vector Machine)이 이용될 수 있다. SVM에 대한 설명은 본 발명의 요지를 벗어나는 것이므로, 이에 대한 설명은 공지 기술로 대신한다.
제스처 인식부(229)는 학습 모델 생성부(229-4)에서 생성한 학습 모델(227-1)을 이용하여, 특징벡터 추출부(225)로부터 출력되는 현재의 특징벡터값과 확률적으로 관련성이 가장 높은 제스처를 판별한다. 즉, 제스처 인식부(229)는 해당 특징벡터값에 대응하는 제스처의 확률을 계산하고, 제스처의 확률이 80%가 넘고, 확률이 가장 높은 제스처를 최종 제스처로 인식한다. 만약 80%를 넘지 않으면 시스템은 제스처가 검출 안 된 것으로 간주한다.
도 8은 본 발명의 실시 예에 따른 제스처 인식 방법을 나타내는 흐름도이다. 아래의 각 단계의 수행주체를 명확하기 위해, 도 1 내지 4를 함께 참조하여 설명한다.
도 8을 참조하면, 먼저, 단계 S810에서, 인쇄회로기판(200)에 구비된 제스처 인식 모듈(220)이 손목을 감싸는 플렉서블 기판(100) 상에 구비된 다수의 센서(#1~#16)로부터 손목의 근육 움직임에 따른 저항값 변화에 대응하는 센싱값(생체 신호 또는 생체 신호 시퀀스)을 수신하는 과정이 수행된다.
이어, 단계 S820에서, 수신된 센싱값(생체 신호 또는 생체 신호 시퀀스)으로부터 특징 벡터값을 추출하는 과정이 수행된다. 구체적으로, 특징 벡터값의 추출은 시간축 상에서 n번째 센싱값과 n+1번째 센싱값 간의 차이값을 특징 벡터값으로서 추출하는 과정일 수 있다.
한편, 단계 S820을 수행하기 앞서, 필터를 이용하여 수신된 센싱값(생체 신호 또는 생체 신호 시퀀스)에 포함된 임펄스 노이즈를 제거하는 과정이 수행될 수 있다. 여기서, 소스 신호의 속성을 그대로 유지하면, 임펄스 형태의 노이즈를 제거하는데 유리한 미디안 필터가 이용될 수 있다.
이어, 단계 S830에서, 상기 특징 벡터값에 대해 기계학습을 수행하여 특징 벡터값과 손목 제스처 간의 매칭관계를 분류하는 학습 모델을 생성하는 과정이 수행된다. 여기서, 기계 학습을 위해, SVM가 이용될 수 있다.
이어, 단계 S840에서, 상기 학습 모델을 이용하여 현재 입력되는 특징 벡터값에 대한 손목 제스처를 판별하는 과정이 수행될 수 있다.
이상에서 본 발명에 대하여 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
다양한 웨어러블 디바이스에 적용 가능하다.

Claims (11)

  1. 손목의 둘레를 감싸는 제1 기판;
    상기 제1 기판상에 구비되어, 손목 근육의 움직임 변화를 센싱하는 센서 어레이;
    팔부위에 부착되고, 상기 제1 기판과 전기적으로 연결되는 제2 기판; 및
    상기 제2 기판상에 구비되어, 상기 센서 어레이로부터 상기 손목 근육의 움직임 변화에 대응하는 센싱값을 수신하고, 수신된 센싱값에 대해 기계학습을 수행하여 센싱값과 제스쳐 간의 매칭관계를 분류하는 학습 모델을 생성하고, 생성된 학습 모델을 기반으로 현재 입력되는 센싱 값에 대응하는 손목 제스처를 인식하는 프로세스를 수행하는 제스처 인식 모듈;
    을 포함하는 것인 제스처 인식 장치.
  2. 제1항에서, 상기 센서 어레이는,
    Flexible Epidermal Tactile Sensor인 것인 제스처 인식 장치.
  3. 제1항에서, 상기 제1 기판은, 플렉서블 기판인 것인 제스처 인식 장치.
  4. 제6항에서, 상기 제1 기판은,
    손목의 둘레를 감싸는 제1 영역과 제1 영역의 끝단부에서 제1 영역의 연장 방향에 수직한 방향으로 연장되는 제2 영역을 포함하고,
    상기 제1 영역에 상기 다수의 센서들이 일렬로 배열되는 것인 제스처 인식 장치.
  5. 제4항에서, 상기 제1 영역은,
    손목 둘레 대한 통계학적 자료에 근거하여 연령별로 서로 다른 길이로 연장되는 것인 제스처 인식 장치.
  6. 제1항에서, 상기 제스처 인식 모듈은,
    시간축 상에서 n번째 센싱값과 n+1번째 센싱값 간의 차이값을 특징 벡터값으로서 추출하고, 상기 특징 벡터값에 대해 기계학습을 수행하여 특징 벡터값과 손목 제스처 간의 매칭관계를 분류하는 상기 학습 모델을 생성하는 프로세스를 수행하는 것인 제스처 인식 장치.
  7. 손목을 감싸는 플렉서블 기판 상에 구비된 다수의 센서로부터 손목 근육 움직임에 따른 저항값 변화에 대응하는 센싱값을 수신하는 단계;
    상기 플렉서블 기판과 전기적으로 연결된 인쇄회로기판 상에 구비된 제스처 인식 모듈이 시간축 상에서 n번째 센싱값과 n+1번째 센싱값 간의 차이값을 특징 벡터값으로서 추출하는 단계;
    상기 특징 벡터값에 대해 기계학습을 수행하여 특징 벡터값과 손목 제스처 간의 매칭관계를 분류하는 학습 모델을 생성하는 단계; 및
    상기 학습 모델을 이용하여 현재 입력되는 특징 벡터값에 대한 손목 제스처를 판별하는 단계;
    를 포함하는 제스처 인식 장법.
  8. 제7항에서, 상기 다수의 센서는,
    Flexible Epidermal Tactile Sensor Array인 것인 제스처 인식 방법.
  9. 제7항에서, 상기 수신하는 단계와 상기 추출하는 단계 사이에, 상기 센싱값에 포함된 임펄스 노이즈를 제거하는 단계를 더 포함하고,
    상기 임펄스 노이주는,
    심장 박동에 따른 노이즈인 것인 제스처 인식 방법.
  10. 제8항에서, 상기 제거하는 단계는,
    미디안 필터로 상기 임펄스 노이즈를 제거하는 단계인 것인 제스처 인식 방법.
  11. 제6항에서, 상기 생성하는 단계는,
    SVM(Support Vector Machine)을 이용하여 상기 특징 벡터값에 대해 기계 학습을 수행하는 단계인 것인 제스처 인식 방법.
PCT/KR2017/013940 2017-11-29 2017-11-30 제스처 인식 장치 및 그 방법 WO2019107620A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170162033A KR20190063156A (ko) 2017-11-29 2017-11-29 제스처 인식 장치 및 그 방법
KR10-2017-0162033 2017-11-29

Publications (1)

Publication Number Publication Date
WO2019107620A1 true WO2019107620A1 (ko) 2019-06-06

Family

ID=66665022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013940 WO2019107620A1 (ko) 2017-11-29 2017-11-30 제스처 인식 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR20190063156A (ko)
WO (1) WO2019107620A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633495B1 (ko) * 2021-10-14 2024-02-06 주식회사 피앤씨솔루션 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5524632A (en) * 1994-01-07 1996-06-11 Medtronic, Inc. Method for implanting electromyographic sensing electrodes
CN102930284A (zh) * 2012-09-13 2013-02-13 杭州电子科技大学 基于经验模态分解和分形的表面肌电信号模式识别方法
KR20140134803A (ko) * 2013-05-14 2014-11-25 중앙대학교 산학협력단 다중 클래스 svm과 트리 분류를 이용한 제스처 인식 장치 및 방법
KR20150112741A (ko) * 2014-03-27 2015-10-07 전자부품연구원 웨어러블 장치 및 이를 이용한 정보 입력 방법
KR20170030139A (ko) * 2015-09-08 2017-03-17 경희대학교 산학협력단 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5524632A (en) * 1994-01-07 1996-06-11 Medtronic, Inc. Method for implanting electromyographic sensing electrodes
CN102930284A (zh) * 2012-09-13 2013-02-13 杭州电子科技大学 基于经验模态分解和分形的表面肌电信号模式识别方法
KR20140134803A (ko) * 2013-05-14 2014-11-25 중앙대학교 산학협력단 다중 클래스 svm과 트리 분류를 이용한 제스처 인식 장치 및 방법
KR20150112741A (ko) * 2014-03-27 2015-10-07 전자부품연구원 웨어러블 장치 및 이를 이용한 정보 입력 방법
KR20170030139A (ko) * 2015-09-08 2017-03-17 경희대학교 산학협력단 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법

Also Published As

Publication number Publication date
KR20190063156A (ko) 2019-06-07

Similar Documents

Publication Publication Date Title
US9367139B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
US11426123B2 (en) Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US9483123B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
EP2959394B1 (en) Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control
US9372535B2 (en) Systems, articles, and methods for electromyography-based human-electronics interfaces
Harm et al. Smash: A distributed sensing and processing garment for the classification of upper body postures
CN110251080B (zh) 检测正在穿戴可穿戴电子设备的肢体
US20120157886A1 (en) Mechanomyography Signal Input Device, Human-Machine Operating System and Identification Method Thereof
US20140334083A1 (en) Systems, articles and methods for wearable electronic devices that accommodate different user forms
WO2015027089A1 (en) Systems, articles, and methods for human-electronics interfaces
WO2020122272A1 (ko) 웨어러블 디바이스 및 이의 제스처 인식 방법
Ahmed et al. Real-time sign language framework based on wearable device: analysis of MSL, DataGlove, and gesture recognition
Zhu et al. Wrist-worn hand gesture recognition based on barometric pressure sensing
KR20190098806A (ko) 동작 인식을 위한 지능형 장치 및 그 제어 방법
WO2019107620A1 (ko) 제스처 인식 장치 및 그 방법
Qaroush et al. Smart, comfortable wearable system for recognizing Arabic Sign Language in real-time using IMUs and features-based fusion
CN109793295A (zh) 一种智能手套
Vishal et al. Sign language to speech conversion
WO2019208933A1 (ko) 사용자 인증을 위한 장치 및 방법
Zhang et al. WristPress: Hand gesture classification with two-array wrist-mounted pressure sensors
CN109567819A (zh) 一种基于pvdf传感器阵列的可穿戴式装置
CN111766941B (zh) 一种基于智能戒指的手势识别方法及系统
Karasawa et al. Simultaneous recognition of hand shape and two-axis wrist bending using wearable wrist contour measuring device
KR101771927B1 (ko) 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법
Biswas et al. CORDIC framework for quaternion-based joint angle computation to classify arm movements

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933273

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17933273

Country of ref document: EP

Kind code of ref document: A1