KR101440059B1 - Information inputting device using an electromyogram signal, and method thereof - Google Patents

Information inputting device using an electromyogram signal, and method thereof Download PDF

Info

Publication number
KR101440059B1
KR101440059B1 KR1020130021627A KR20130021627A KR101440059B1 KR 101440059 B1 KR101440059 B1 KR 101440059B1 KR 1020130021627 A KR1020130021627 A KR 1020130021627A KR 20130021627 A KR20130021627 A KR 20130021627A KR 101440059 B1 KR101440059 B1 KR 101440059B1
Authority
KR
South Korea
Prior art keywords
emg
information
signal
input
signals
Prior art date
Application number
KR1020130021627A
Other languages
Korean (ko)
Other versions
KR20140107741A (en
Inventor
이용희
김순석
Original Assignee
주식회사메디아나
한라대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사메디아나, 한라대학교산학협력단 filed Critical 주식회사메디아나
Priority to KR1020130021627A priority Critical patent/KR101440059B1/en
Publication of KR20140107741A publication Critical patent/KR20140107741A/en
Application granted granted Critical
Publication of KR101440059B1 publication Critical patent/KR101440059B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Neurosurgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 인체의 동작과 관련하여 사용자의 손 동작에 따른 팔 근육의 움직임에 따라 발생하는 전류의 변화를 그래프로 기록하는 근전도(EMG) 신호를 이용해, 사용자로부터 정보를 입력받을 수 있도록 하는 근전도 신호를 이용한 정보 입력 장치 및 그 방법에 관한 것이다.
본 발명에 따른 근전도 신호를 이용한 정보 입력 장치는, 사용자의 팔에 부착하기 위한 하나 이상의 EMG 센서를 구비하고, 하나 이상의 EMG 센서로부터 사용자의 손 동작에 따른 팔 움직임에 의해 발생하는 전류의 변화를 기록하기 위한 근전도(EMG) 신호를 검출하는 근전도 신호 검출부; 및 상기 하나 이상의 근전도 신호들 간의 상관 관계에 따른 상관도 값에 따라 입력 정보를 판단하고, 판단한 입력 정보를 정보기기로 전송하거나, 내부에 저장하거나, 화면 상에 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.The present invention relates to an electromyogram (EMG) signal for enabling information to be input from a user by using an EMG signal for graphically recording a change in current caused by movement of the arm muscles according to a user's hand motion, And an information input method using the same.
An information input apparatus using an EMG signal according to the present invention includes at least one EMG sensor for attaching to an arm of a user and records a change in current caused by an arm movement according to a user's hand motion from one or more EMG sensors An electromyogram signal detector for detecting an electromyogram (EMG) signal; And a controller for determining the input information according to the correlation value according to the correlation between the one or more EMG signals and transmitting the determined input information to the information device or storing the internally stored information or displaying it on the screen .

Description

근전도 신호를 이용한 정보 입력 장치 및 그 방법{Information inputting device using an electromyogram signal, and method thereof}[0001] The present invention relates to an information inputting device using an electromyogram signal,

본 발명은 컴퓨터나 휴대형 정보기기의 입력 장치 및 그 방법에 관한 것으로서, 더욱 자세하게는 공간 또는 장소의 제한이나 신체적인 장애로 정보기기의 입력 도구를 사용할 수 없는 상황에서, 인체의 동작과 관련하여 사용자의 손 동작에 따른 팔 근육의 움직임에 따라 발생하는 전류의 변화를 그래프로 기록하는 근전도(electromyogram, 이하 EMG) 신호를 이용해, 사용자로부터 손 동작에 해당하는 데이터 정보를 입력받을 수 있도록 하는 근전도 신호를 이용한 정보 입력 장치 및 그 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an input device and a method of a computer or a portable information device and more particularly to a computer or a portable information device, (EMG) signal, which graphs changes in the current caused by the movement of the arm muscles according to the hand movements of the hand, so that an EMG signal that allows the user to input data information corresponding to hand movements To an information input device and a method thereof.

일반적으로 컴퓨터의 등장 이후에 계속된 연구 중 하나는 인간과 컴퓨터 사이의 통신을 위한 인터페이스의 개발이다. 인터페이스의 대표적인 예로 키보드와 마우스 그리고 펜 인식 장치 등이 있다. In general, one of the ongoing studies since the advent of computers is the development of interfaces for communication between humans and computers. Typical examples of interfaces are keyboards, mice, and pen-recognition devices.

이러한 인터페이스는 사용자가 정상적인 신체 구조, 특히 손으로 입력하는 도구이므로, 정보기기에 입력할 수 있는 공간적인 환경과 신체 구조가 정상적인 환경에서 가장 널리 사용되고 있다.These interfaces are most commonly used in a normal environment because the user is a normal body structure, especially a hand-operated tool.

그러나, 전술한 입력 도구들은 컴퓨터를 포함한 정보기기에 정보를 입력할 때 공간적인 장소에 제약을 받는다거나, 협소한 공간이나 움직임에 제한을 받는 장소, 그리고 신체적으로 손과 같은 부위에 장애가 있는 경우에 사용이 제한되는 문제점이 있었다.
However, the above-described input devices are limited in space when inputting information to an information device including a computer, in a place restricted to narrow space or movement, and in a case where there is a disability in a part such as a hand There is a problem that usage is limited.

대한민국 공개특허공보 제10-2012-0073830호(공개일: 2012.07.05)Korean Patent Publication No. 10-2012-0073830 (published on July 7, 2012)

전술한 문제점을 해결하기 위한 본 발명의 목적은, 공간 또는 장소의 제한이나 신체적인 장애로 정보기기의 입력 도구를 사용할 수 없는 상황에서, 사용자의 손 동작에 따른 팔 근육의 움직임에 따라 발생하는 전류의 변화를 그래프로 기록하는 근전도(EMG) 신호를 이용해, 사용자로부터 손 동작에 해당하는 데이터 정보를 입력받을 수 있도록 하는 근전도 신호를 이용한 정보 입력 장치 및 그 방법을 제공함에 있다.
SUMMARY OF THE INVENTION It is an object of the present invention to solve the above-mentioned problems and to solve the above problems by providing an apparatus and a method for correcting a current generated by movement of the arm muscles according to a hand motion of a user, (EMG) signal for graphically recording a change of an EMG signal, and to provide an information input device using the EMG signal and a method thereof so that data information corresponding to a hand operation can be received from the user.

전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 사용자의 팔에 부착하기 위한 하나 이상의 EMG 센서를 구비하고, 하나 이상의 EMG 센서로부터 사용자의 손 동작에 따른 팔 움직임에 의해 발생하는 전류의 변화를 기록하기 위한 근전도(EMG) 신호를 검출하는 근전도 신호 검출부; 및 상기 하나 이상의 근전도 신호들 간의 상관 관계에 따른 상관도 값에 따라 입력 정보를 판단하고, 판단한 입력 정보를 정보기기로 전송하거나, 내부에 저장하거나, 화면 상에 표시하도록 제어하는 제어부를 포함하는 근전도 신호를 이용한 정보 입력 장치가 제공된다.According to an aspect of the present invention, there is provided an EMG sensor having at least one EMG sensor for attaching to an arm of a user, An electromyogram signal detector for detecting an EMG signal for recording an EMG signal; And a controller for determining the input information according to the correlation value according to the correlation between the at least one EMG signals and transmitting the determined input information to an information device or storing the internally stored information or displaying it on the screen, An information input device using a signal is provided.

또한, 상기 검출한 하나 이상의 근전도 신호를 증폭하고 디지털 신호로 변환하는 신호 변환부; 상기 디지털 신호들 간의 상관도 값에 대응된 동작별 인덱스 된 입력 정보를 저장하고, 상기 디지털 신호를 분석하여 얻은 상관도 값에 따라 해당 입력 정보를 알아내는 프로그램이 저장된 프로그램부; 상기 판단한 입력 정보를 외부 정보기기로 전송하기 위한 전송부; 및 상기 검출한 근전도 신호 또는 상기 판단한 입력 정보를 화면 상에 표시하기 위한 표시부를 더 포함할 수 있다.
A signal converting unit for amplifying the detected one or more EMG signals and converting the amplified EMG signals into digital signals; A program for storing indexed input information for each operation corresponding to the correlation value between the digital signals and for finding the corresponding input information according to a correlation value obtained by analyzing the digital signal; A transmitting unit for transmitting the determined input information to an external information device; And a display unit for displaying the detected electromyogram signal or the determined input information on the screen.

한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 사용자의 팔에 부착된 하나 이상의 EMG 센서를 통해 근전도(EMG) 신호를 검출하고, 상기 근전도 신호의 분석 결과에 대응된 동작별 특징 정보를 저장하고 있는 정보 입력 장치의 근전도 신호를 이용한 정보 입력 방법으로서, (a) 상기 하나 이상의 EMG 센서로부터 하나 이상의 근전도 신호를 수신하는 단계; (b) 상기 하나 이상의 근전도 신호들 간의 상관 관계에 따른 상관도 값에 따라 특징 정보를 산출하는 단계; (c) 상기 산출된 특징 정보를 상기 저장된 동작별 특징 정보와 비교하는 단계; (d) 상기 비교 결과가 허용된 오차 범위 이내이면, 상기 동작별 특징 정보에 대응된 입력 정보를 확인하는 단계; 및 (e) 상기 입력 정보를 정보기기로 전송하거나, 내부에 저장하거나, 화면 상에 표시하는 단계를 포함하는 정보 입력 장치의 근전도 신호를 이용한 정보 입력 방법이 제공된다.According to another aspect of the present invention, there is provided a method for detecting an EMG signal through at least one EMG sensor attached to an arm of a user and detecting an EMG signal corresponding to an analysis result of the EMG signal, An information input method using an EMG signal of an information input device storing information, the method comprising: (a) receiving one or more EMG signals from the at least one EMG sensor; (b) calculating feature information according to a correlation value according to the correlation between the at least one EMG signals; (c) comparing the calculated feature information with the stored feature information of each operation; (d) confirming input information corresponding to the feature information for each operation if the comparison result is within an allowable error range; And (e) transmitting the input information to an information device, storing the input information in the information device, or displaying the input information on a screen.

그리고, 상기 제어부 또는 상기 (b) 단계는 상기 근전도 신호들 간의 상관도 값을 다음 수학식에 따라 산출하게 된다. The controller or the step (b) calculates the correlation value between the EMG signals according to the following equation.

Figure 112013017914505-pat00001
Figure 112013017914505-pat00001

Figure 112013017914505-pat00002
Figure 112013017914505-pat00002

Figure 112013017914505-pat00003
Figure 112013017914505-pat00003

여기서, N은 해석 구간에서의 샘플수이며, m은 지연 샘플수를 나타낸다.
Where N is the number of samples in the analysis interval and m is the number of delay samples.

본 발명에 의하면, 근육과 손의 연결된 동작을 바탕으로, 손에 마우스와 같은 물리적 도구를 이용하지 않더라도 팔 근육의 움직임을 통해 원하는 정보를 입력할 수 있다.According to the present invention, it is possible to input desired information through the movement of the arm muscles, even if a physical tool such as a mouse is not used on the hand, based on the connected operation of the muscles and the hands.

또한, 컴퓨터를 포함한 정보기기 및 웨어러블 컴퓨터 환경에서 기존의 마우스와 키보드를 포함한 입력장치를 대체할 수 있으며, 양손의 자유도를 제공하고, 공간적인 제한을 해결할 수 있는 잇점이 있다.In addition, it is possible to replace an existing input device including a mouse and a keyboard in an information device including a computer and a wearable computer environment, and it is possible to provide a freedom of both hands and to solve a spatial limitation.

그리고, 손과 팔에 장애가 있는 사용자들이 정보기기를 활용할 때, 그 장애인 사용자들에게 마우스나 키보드 등의 대표적인 입력장치의 한계를 극복할 수 있는 인터페이스를 제공할 수 있다.
When users with hand and arm disorders utilize information devices, it is possible to provide the disabled users with an interface that can overcome the limitations of typical input devices such as a mouse and a keyboard.

도 1은 본 발명의 실시예에 따른 근전도 신호를 이용한 정보 입력 장치의 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 정보 입력 장치의 근전도 신호를 이용한 정보 입력 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 정보 입력 장치를 밴드 형태로 사용자의 팔 근육에 부착한 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 손 동작에 따라 하나 이상의 EMG 센서로부터 수신하는 EMG 신호를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 EMG 센서의 전극을 사용자의 팔에 부착하는 예를 나타낸 도면이다.1 is a block diagram schematically showing the configuration of an information input apparatus using an EMG signal according to an embodiment of the present invention.
2 is a flowchart illustrating an information input method using an EMG signal of an information input apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an example in which an information input device according to an embodiment of the present invention is attached to a user's arm muscles in a band form.
4 is a diagram illustrating an EMG signal received from one or more EMG sensors according to a hand operation according to an embodiment of the present invention.
5 is a view illustrating an example of attaching electrodes of an EMG sensor to an arm of a user according to an embodiment of the present invention.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

인체의 움직임은 뼈와 관절로 이루어진 구조체를 바탕으로 근육 신경에 의해 이루어진다. 대부분의 정보 입력은 손을 중심으로 발달해 왔으며, 키보드와 마우스, 펜 입력 장치가 손에 의해 입력되고 있다. 사용자가 손으로 키보드와 마우스 등을 움직일 때, 손의 움직임은 손을 관장하는 팔 근육의 변화로 나타나므로, 근육의 움직임을 분석한다면 손가락과 손의 움직임을 파악할 수 있다. 근육과 손의 연결된 동작을 바탕으로, 손에 마우스와 같은 물리적인 도구를 이용하지 않더라도 팔 근육의 움직임을 통해 정보기기에 입력하고자 정보를 알 수 있다. 따라서, 본 발명에서는 근육의 움직임에 따라 발생하는 전류의 변화를 기록하는 근전도(筋電圖) 신호를 이용하여 정보를 입력하는 장치를 실현하는 것이다.
The movement of the body is made by the muscular nerves based on the structure consisting of bones and joints. Most information input has been centered around the hand, and keyboard, mouse, and pen input devices are being input by hand. When the user moves the keyboard and the mouse with the hand, the movement of the hand is represented by the change of the arm muscle controlling the hand. Therefore, when the movement of the muscle is analyzed, the movement of the finger and the hand can be grasped. Based on the concerted movement of the muscles and hands, you can know the information you want to input to the information device through the movement of the arm muscles, even if you do not use physical tools such as a mouse in your hands. Accordingly, the present invention realizes an apparatus for inputting information by using an electromyogram signal that records a change in current caused by movement of a muscle.

도 1은 본 발명의 실시예에 따른 근전도 신호를 이용한 정보 입력 장치의 구성을 개략적으로 나타낸 구성도이다.1 is a block diagram schematically showing the configuration of an information input apparatus using an EMG signal according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 근전도 신호를 이용한 정보 입력 장치(100)는, 근전도 신호 검출부(110)와 신호 변환부(120), 제어부(130), 프로그램부(ROM)(140), 저장부(RAM)(150), 입출력 인터페이스부(160), 전송부(170) 및 표시부(180)를 포함한다.1, an information input apparatus 100 using an EMG signal according to an embodiment of the present invention includes an EMG signal detecting unit 110, a signal converting unit 120, a controller 130, a program unit (ROM) A storage unit 150, an input / output interface unit 160, a transmission unit 170, and a display unit 180.

근전도 신호 검출부(110)는 사용자의 팔에 부착하기 위한 하나 이상의 EMG 센서(112~116)를 구비하고, 사용자의 손 동작에 따른 팔 근육의 움직임에 의해 하나 이상의 EMG 센서(112~116)로부터 발생하는 전류의 변화를 기록하기 위한 근전도(EMG) 신호를 검출한다.The EMG signal detecting unit 110 includes at least one EMG sensor 112 to 116 for attaching to an arm of a user and is generated from one or more EMG sensors 112 to 116 (EMG) signal for recording the change of the current to be measured.

신호 변환부(120)는 검출한 하나 이상의 근전도 신호를 증폭하고 디지털 신호로 변환한다. 이를 위해 신호 변환부(120)는 근전도 아날로그 신호를 증폭하기 위한 증폭기(Amp)(122)와 증폭된 근전도 아날로그 신호를 디지털 신호로 변환하는 아날로그/디지털 변환기(124)를 포함한다.The signal converting unit 120 amplifies the detected one or more EMG signals and converts the amplified EMG signals into digital signals. To this end, the signal converting unit 120 includes an amplifier (Amp) 122 for amplifying the EMG analog signal and an analog / digital converter 124 for converting the amplified EMG analog signal into a digital signal.

제어부(130)는 하나 이상의 근전도 신호들 간의 상관 관계에 따른 상관도 값에 따라 입력 정보를 판단하고, 판단한 입력 정보를 정보기기로 전송하거나, 내부에 저장하거나, 화면 상에 표시하도록 제어한다.The control unit 130 determines the input information according to the correlation value according to the correlation between at least one of the EMG signals, and controls the input information to be transmitted to the information device, stored therein, or displayed on the screen.

또한, 제어부(130)는, 하나 이상의 EMG 센서로부터 측정된 다채널의 근전도 신호들 간의 상관도를 얻기 위해 크로스 코릴레이션(Cross Correlation) 방법을 사용하고, 근전도 신호들 간의 상관도 값을 다음 수학식 1에 따라 산출한다.Also, the controller 130 uses a cross correlation method to obtain the correlation between the multi-channel EMG signals measured from one or more EMG sensors, and calculates the correlation value between the EMG signals using the following equation 1.

Figure 112013017914505-pat00004
Figure 112013017914505-pat00004

여기서, N은 해석 구간에서의 샘플수이며, m은 지연 샘플수를 나타낸다.Where N is the number of samples in the analysis interval and m is the number of delay samples.

이때, 제어부(130)는 cross-covarience에 대해, 다음 수학식 2와 수학식 3에 따라 산출할 수 있다.At this time, the control unit 130 can calculate the cross-covariance according to the following equations (2) and (3).

Figure 112013017914505-pat00005
Figure 112013017914505-pat00005

Figure 112013017914505-pat00006
Figure 112013017914505-pat00006

수학식 1은 상이한 신호들 간의 상관관계를 나타내는 함수로, 유사한 신호일수록 상관관계가 크게 나타나며, 시간적인 지연 파라미터를 얻을 수 있다. Equation (1) is a function representing the correlation between different signals, and a similar signal shows a larger correlation and a temporal delay parameter can be obtained.

프로그램부(140)는 디지털 신호들 간의 상관도 값에 대응된 동작별 인덱스 된 입력 정보를 저장하고, 디지털 신호를 분석하여 얻은 상관도 값에 따라 해당 입력 정보를 알아내는 프로그램이 저장되어 있다.The program unit 140 stores the indexed input information for each operation corresponding to the correlation value between the digital signals and stores a program for finding the corresponding input information according to the correlation value obtained by analyzing the digital signal.

저장부(150)는 하나 이상의 근전도 신호를 분석하여 얻은 상관도 값 등을 저장한다.The storage unit 150 stores a correlation value or the like obtained by analyzing one or more EMG signals.

입출력 인터페이스부(160)는 데이터의 입력과 출력에 대한 기능을 담당한다.The input / output interface unit 160 functions to input and output data.

전송부(170)는 판단한 입력 정보를 외부 정보기기로 전송한다.The transmitting unit 170 transmits the determined input information to the external information device.

표시부(180)는 검출한 근전도 신호 또는 판단한 입력 정보를 화면 상에 표시한다.
The display unit 180 displays the detected electromyogram signal or the determined input information on the screen.

도 2는 본 발명의 실시예에 따른 정보 입력 장치의 근전도 신호를 이용한 정보 입력 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.2 is a flowchart illustrating an information input method using an EMG signal of an information input apparatus according to an embodiment of the present invention.

본 발명의 실시예에 따른 정보 입력 장치(100)는 도 3에 도시된 바와 같이 하나 이상의 EMG 센서(112~116)를 밴드(340)에 구비하고, 밴드(340)를 사용자의 팔 근육에 삽입하여 부착시키고, 도 1에 도시된 신호 변환부(120)와 제어부(130), 프로그램부(140), 저장부(150), 입출력 인터페이스부(160), 전송부(170) 및 표시부(180)를 내장한 처리 장치(330)를 밴드(340)에 구비한 상태에서, 사용자가 손을 움직임에 따른 팔 근육의 움직임이 하나 이상의 EMG 센서(112~116)를 통해 근전도(EMG) 신호로 검출된다. 도 3은 본 발명의 실시예에 따른 정보 입력 장치를 밴드 형태로 사용자의 팔 근육에 부착한 예를 나타낸 도면이다. 즉, 도 3에 도시된 바와 같이 손가락(310)의 동작은 팔 근육의 움직임의 변화로 나타나며, 하나 이상의 EMG 센서(112~116)가 이를 감지하여 측정한 근전도(EMG) 신호를 유선 또는 무선 신호로 처리 장치(330)의 신호 변환부(120)를 경유해 제어부(130)에 전송한다. 이때, 근전도(EMG) 신호는 아날로그 형태로 증폭기(122)를 통해 수백배에서 수만배로 증폭되고, 아날로그/디지털 변환부(124)를 통해 디지털 신호로 변환되어 제어부(130)에 전송되는 것이다. 증폭기(122)는 생체신호의 증폭에서 이용되는 것으로 CMRR 100 dB 이상의 고성능 앰프로써, 1,000 ~ 10,000 배의 증폭율을 가질 수 있다.The information input apparatus 100 according to the embodiment of the present invention includes one or more EMG sensors 112 to 116 in a band 340 as shown in FIG. 3, and the band 340 is inserted into a user's arm muscles The program unit 140, the storage unit 150, the input / output interface unit 160, the transfer unit 170, and the display unit 180 shown in FIG. 1, The movement of the arm muscles as the user moves his or her hand is detected as an electromyogram (EMG) signal through one or more EMG sensors 112 to 116 in a state in which the band 340 is provided with the processing device 330 having the built- . FIG. 3 is a diagram illustrating an example in which an information input device according to an embodiment of the present invention is attached to a user's arm muscles in a band form. 3, the movement of the finger 310 is represented by a change in the movement of the arm muscles, and one or more EMG sensors 112 to 116 sense EMG signals from the sensed EMG signals, To the control unit (130) via the signal conversion unit (120) of the processing unit (330). At this time, the EMG signal is amplified in the form of an analog signal by a factor of several hundred to several tens of times through the amplifier 122, converted into a digital signal through the A / D converter 124, and then transmitted to the controller 130. The amplifier 122 is a high performance amplifier having a CMRR of 100 dB or more, which is used in the amplification of a biological signal, and can have an amplification rate of 1,000 to 10,000 times.

도 2를 참조하면, 본 발명의 실시예에 따른 정보 입력 장치(100)는 제어부(130)가 하나 이상의 EMG 센서(112~116)로부터 도 4에 도시된 바와 같이 하나 이상의 근전도(EMG) 신호를 수신한다(S210). 도 4는 본 발명의 실시예에 따른 손 동작에 따라 하나 이상의 EMG 센서로부터 수신하는 EMG 신호를 나타낸 도면이다. 즉, 도 4는 동작 시점 위치에서 동작 종점으로의 손동작에 대응하는 EMG 신호를 나타낸 것으로서, 손동작에 대응하는 EMG 신호를 검출하기 위해 표면 EMG(Surface EMG) 센서를 다수 개로 이용한다. 표면 EMG 신호는 보통 10 Hz에서 500 Hz의 신호를 의학적으로 사용하나, 근육 신경의 전달 시간을 측정하는 경우에는 100 Hz에서 5,000 Hz를 사용한다. 또한, EMG 센서(112)에 대해 전극의 위치는 도 5에 도시된 바와 같고, Ch1 V-와 Ch2 V-는 팔의 대칭적인 뒷면에 위치하도록 하여 손 동작을 측정하였다. 도 5는 본 발명의 실시예에 따른 EMG 센서의 전극을 사용자의 팔에 부착하는 예를 나타낸 도면이다.2, an information input apparatus 100 according to an embodiment of the present invention includes a controller 130 for receiving one or more EMG signals from one or more EMG sensors 112 to 116 as shown in FIG. 4 (S210). 4 is a diagram illustrating an EMG signal received from one or more EMG sensors according to a hand operation according to an embodiment of the present invention. That is, FIG. 4 shows an EMG signal corresponding to a hand movement from an operation starting point to an operation end point, and a plurality of surface EMG (surface EMG) sensors are used to detect an EMG signal corresponding to a hand movement. The surface EMG signal is usually medically used at 10 Hz to 500 Hz, but at 100 Hz to 5,000 Hz when measuring the muscle nerve transit time. In addition, the position of the electrode with respect to the EMG sensor 112 is as shown in Fig. 5, and the hand movements were measured with Ch1 V- and Ch2 V- positioned on the symmetrical backside of the arm. 5 is a view showing an example of attaching electrodes of an EMG sensor to an arm of a user according to an embodiment of the present invention.

이어, 제어부(130)는 하나 이상의 근전도 신호들 간의 상관 관계에 따른 상관도 값에 따라 특징 정보를 산출한다(S220).Next, the controller 130 calculates the feature information according to the correlation value according to the correlation between at least one of the EMG signals (S220).

즉, 제어부(130)는 근전도 신호들 간의 상관도 값을 수학식 1과 수학식 2 및 수학식 3에 따라 산출하게 된다. 두 신호의 상관 함수는 서로 다른 x(k)와 y(k)로써 두 개의 센서로부터 들어온 신호가 N 개의 디지털 신호로 이루어진 구간에서의 두 신호의 상관도는 수학식 1과 같이 산출할 수 있다. 상관도가 최대가 되는 n의 값은 두 신호의 위상 차이를 나타낸다. 입력 센서 신호가 x(k)와 y(k), z(k)와 같이 3 개이면 상관도는 x(k)와 y(k), x(k)와 z(k), y(k)와 z(k)의 3 개의 상관도를 산출하게 되며, 이 이상의 입력 신호의 경우에도 각각의 두 신호 사이의 상관도를 각각 산출하게 된다. 산출된 상관도 값과 그 때의 n의 값이 동작을 구분하기 위한 매개변수로 사용된다.That is, the controller 130 calculates the correlation value between the EMG signals according to Equations (1), (2), and (3). The correlation function of the two signals can be calculated as shown in Equation (1) by using x (k) and y (k) which are different from each other and the signals received from the two sensors are composed of N digital signals. The value of n, where the correlation is at its maximum, represents the phase difference of the two signals. If the input sensor signals are three, such as x (k), y (k), and z (k), the correlation is x (k), y (k), x (k) And z (k), and the correlation between the two signals is calculated in the case of the input signal. The calculated correlation value and the value of n at that time are used as parameters to distinguish the operation.

한편, 제어부(130)는 상관도 값에 따라 산출된 특징 정보를 프로그램부(140)의 동작별 특징 정보와 비교한다(S230).Meanwhile, the controller 130 compares the feature information calculated according to the correlation value with the feature information for each operation of the program unit 140 (S230).

즉, 제어부(130)는 전술한 과정을 거쳐 산출한 상관함수 값들에 근거해 산출한 특징 정보를 저장부(150)에 저장해 두고, 프로그램부(140)로부터 동작별로 인덱스 된 동작별 특징 정보를 읽어와 전술한 바와 같이 산출한 특징 정보와 비교하여 가장 근접한 동작을 찾아내고 일정한 오차 범위 이내인지를 판단한다. 이때, 프로그램부(140)에는 손 동작에 대응된 동작 인덱스와, 손 동작에 대응된 근전도(EMG) 신호가 저장되어 있으며, 제어부(130)는 프로그램부(140)에 저장되어 있는 동작 인덱스 정보에 근거해 특징 정보를 비교하게 된다. That is, the controller 130 stores the feature information calculated based on the correlation function values calculated through the above-described processes in the storage unit 150, reads the feature information for each operation indexed for each operation from the program unit 140 And the feature information calculated as described above to find the closest motion and determine whether it is within a certain error range. Herein, the program unit 140 stores an operation index corresponding to a hand operation and an EMG signal corresponding to a hand operation, and the control unit 130 stores operation index information stored in the program unit 140 The feature information is compared based on the comparison result.

이어, 제어부(130)는 비교 결과가 허용된 오차 범위 이내이면(S340-예), 동작별 특징 정보에 대응된 입력 정보를 확인한다(S240). 즉, 제어부(130)는 근전도(EMG) 신호에 근거하여 예컨대, 특징 정보가 'DOWN'에 해당되면 입력 정보가 'DOWN'이라는 데이터임을 확인한다.If the comparison result is within the allowable tolerance range (S340-Yes), the control unit 130 confirms the input information corresponding to the operation-specific feature information (S240). That is, the control unit 130 determines that the input information is 'DOWN' if the feature information corresponds to 'DOWN' based on the EMG signal.

이어, 제어부(130)는 확인한 입력 정보, 예컨대 'DOWN'이라는 데이터를 정보기기로 전송하거나, 내부에 저장하거나, 화면 상에 표시한다(S250). 즉, 제어부(130)는 입력정보로 'DOWN'을 정보기기에 전송하여 입력하거나, 저장부(150)에 저장하거나, 표시부(180)의 화면 상에 'DOWN'을 표시하는 것이다.Then, the control unit 130 transmits the confirmed input information, for example, 'DOWN' to the information device, stores the information therein, or displays it on the screen (S250). That is, the control unit 130 transmits 'DOWN' to the information device as input information, stores it in the storage unit 150, or displays 'DOWN' on the screen of the display unit 180.

본 발명의 실시예에 따르면, 정보기기의 소형화 및 착용 가능한 환경, 그리고 신체적인 장애가 있는 경우에 보다 효과적이며 편리한 정보 입력의 수단을 제공할 수 있다. 이를 위해 생체신호를 이용한 인간과 컴퓨터 사이의 인터페이스를 이용한다. 이 과정에서 손동작과 관련된 신호를 얻기 위해 생체신호로서 팔 근육의 EMG신호를 측정하고, 분리된 위치에서 2 채널로 측정하여 두 신호 사이의 중요한 Latency 추이 정보를 두 신호 사이의 크로스 코릴레이션을 통해 얻고, 이를 신경망에 적용함으로써 알고리즘의 인식성능을 향상시킬 수 있음을 실험을 통해 확인하였다. 대상자에 따라 종속적인 인식을 하기 때문에 변화가 크나 전반적으로 기존의 방법에 비하여 본 실시예에서 사용한 크로스 코릴레이션 파라미터를 적용한 결과가 인식률에서 5% ~ 10% 정도 향상됨을 알 수 있었다. According to the embodiment of the present invention, it is possible to provide a more effective and convenient information inputting means in the case where the information device is downsized, the wearable environment, and the physical obstacle. To do this, we use the interface between human and computer using bio-signals. In this process, the EMG signal of the arm muscle is measured as a biological signal to obtain a signal related to the hand motion, and the important latency trend information between the two signals is obtained through cross correlation between two signals , And that it can improve the recognition performance of the algorithm by applying it to the neural network. It is found that the result of applying the cross correlation parameter used in this embodiment is 5% ~ 10% higher than that of the conventional method although the change is significant because the recognition is dependent on the subject.

전술한 바와 같이 본 발명에 의하면, 공간 또는 장소의 제한이나 신체적인 장애로 정보기기의 입력 도구를 사용할 수 없는 상황에서, 인체의 동작과 관련하여 사용자의 손 동작에 따른 팔 근육의 움직임에 따라 발생하는 전류의 변화를 그래프로 기록하는 근전도(EMG) 신호를 이용해, 사용자로부터 손 동작에 해당하는 데이터 정보를 입력받을 수 있도록 하는 근전도 신호를 이용한 정보 입력 장치 및 그 방법을 실현할 수 있다.As described above, according to the present invention, in a situation where the input tool of the information device can not be used due to limitation of space or place, or a physical obstacle, it is caused by the movement of the arm muscles according to the user's hand motion The present invention can realize an information input apparatus and method using an EMG signal that enables data input corresponding to a hand operation to be input from a user by using an EMG signal for graphically recording a change in current to be applied to the EMG signal.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims and their equivalents. Only. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

본 발명은 인체의 동작과 관련하여 사용자의 손 동작에 따른 팔 움직임에 따라 발생하는 전류의 변화를 그래프로 기록하는 근전도(EMG) 신호를 이용해, 사용자로부터 정보를 입력받을 수 있도록 하는 근전도 신호를 이용한 정보 입력 장치 및 그 방법에 적용할 수 있다.
The present invention relates to an electromyogram (EMG) signal for graphically recording a change in a current generated in response to movement of the arm according to a user's hand movement, The present invention can be applied to an information input apparatus and a method thereof.

100 : 정보 입력 장치 110 : 근전도 신호 검출부
120 : 신호 변환부 130 : 제어부
140 : 프로그램부 150 : 저장부
160 : 입출력 인터페이스부 170 : 전송부
180 : 표시부100: information input device 110: electromyogram signal detector
120: signal conversion unit 130:
140: Program section 150: Storage section
160: input / output interface unit 170:
180:

Claims (5)

사용자의 팔에 부착하기 위한 하나 이상의 EMG 센서를 구비하고, 하나 이상의 EMG 센서로부터 사용자의 손 동작에 따른 팔 움직임에 의해 발생하는 전류의 변화를 기록하기 위한 근전도(EMG) 신호를 검출하는 근전도 신호 검출부;
상기 하나 이상의 근전도 신호들 간의 상관 관계에 따른 상관도 값에 따라 입력 정보를 일정한 오차 범위 이내인지를 판단하고, 판단한 입력 정보를 정보기기로 전송하거나, 내부에 저장하거나, 화면 상에 표시하도록 제어하는 제어부;
상기 검출한 하나 이상의 근전도 신호를 증폭하고 디지털 신호로 변환하는 신호 변환부;
상기 디지털 신호들 간의 상관도 값에 대응된 동작별 인덱스 된 입력 정보를 저장하고, 상기 디지털 신호를 분석하여 얻은 상관도 값에 따라 해당 입력 정보를 알아내는 프로그램이 저장된 프로그램부;
상기 하나 이상의 근전도 신호를 분석하여 얻은 상관도 값 등을 저장하는 저장부;
데이터의 입력과 출력에 대한 기능을 담당하는 입출력 인터페이스부;
상기 판단한 입력 정보를 외부 정보기기로 전송하기 위한 전송부; 및
상기 검출한 근전도 신호 또는 상기 판단한 입력 정보를 화면 상에 표시하기 위한 표시부;
를 포함하고,
상기 신호 변환부는 근전도 아날로그 신호를 증폭하기 위한 증폭기(Amp)와 증폭된 근전도 아날로그 신호를 디지털 신호로 변환하는 아날로그/디지털 변환기를 포함하는 것을 특징으로 하는 근전도 신호를 이용한 정보 입력 장치.
An EMG signal detector for detecting an EMG signal for recording a change in current caused by an arm movement according to a hand motion of a user from one or more EMG sensors, ;
Determines whether the input information is within a predetermined error range according to the correlation value according to the correlation between the at least one EMG signals, and controls the input information to be transmitted to the information device, stored therein, or displayed on the screen A control unit;
A signal converter for amplifying the detected one or more EMG signals and converting the amplified EMG signals into digital signals;
A program for storing indexed input information for each operation corresponding to the correlation value between the digital signals and for finding the corresponding input information according to a correlation value obtained by analyzing the digital signal;
A storage unit for storing a correlation value obtained by analyzing the at least one EMG signal;
An input / output interface unit for performing functions of inputting and outputting data;
A transmitting unit for transmitting the determined input information to an external information device; And
A display unit for displaying the detected electromyogram signal or the determined input information on a screen;
Lt; / RTI >
Wherein the signal converting unit includes an amplifier (Amp) for amplifying the EMG analog signal and an analog / digital converter for converting the amplified EMG analog signal into a digital signal.
삭제delete 청구항 1에 있어서,
상기 제어부는, 상기 근전도 신호들 간의 상관도 값을 다음 수학식에 따라 산출하는 것을 특징으로 하는 근전도 신호를 이용한 정보 입력 장치.
Figure 112013017914505-pat00007

Figure 112013017914505-pat00008

Figure 112013017914505-pat00009

여기서, N은 해석 구간에서의 샘플수이며, m은 지연 샘플수를 나타낸다.
The method according to claim 1,
Wherein the controller calculates a correlation value between the EMG signals according to the following equation.
Figure 112013017914505-pat00007

Figure 112013017914505-pat00008

Figure 112013017914505-pat00009

Where N is the number of samples in the analysis interval and m is the number of delay samples.
사용자의 팔에 부착된 하나 이상의 EMG 센서를 통해 근전도(EMG) 신호를 검출하고, 상기 근전도 신호의 분석 결과에 대응된 동작별 특징 정보를 저장하고 있는 정보 입력 장치의 근전도 신호를 이용한 정보 입력 방법으로서,
(a) 제어부가 상기 하나 이상의 EMG 센서로부터 하나 이상의 근전도 신호를 수신하는 단계;
(b) 제어부가 상기 하나 이상의 근전도 신호들 간의 상관 관계에 따른 상관도 값에 따라 특징 정보를 산출하는 단계;
(c) 제어부가 상기 산출된 특징 정보를 저장부에 저장해 두고, 상기 저장된 프로그램부의 동작 인덱스 정보에 근거해 동작별 특징 정보와 비교하여 가장 근접한 동작을 찾아내고 일정한 오차 범위 이내인지를 판단하는 단계;
(d) 상기 비교 결과가 허용된 오차 범위 이내이면, 제어부가 상기 동작별 특징 정보에 대응된 입력 정보를 확인하는 단계; 및
(e) 제어부가 상기 입력 정보를 정보기기로 전송하거나, 내부에 저장하거나, 화면 상에 표시하는 단계;
를 포함하는 정보 입력 장치의 근전도 신호를 이용한 정보 입력 방법.
An information input method using an EMG signal of an information input apparatus that detects an EMG signal through one or more EMG sensors attached to a user's arm and stores feature information for each operation corresponding to an analysis result of the EMG signal ,
(a) receiving at least one EMG signal from the at least one EMG sensor;
(b) calculating a feature information according to a correlation value according to a correlation between the at least one EMG signals;
(c) storing the calculated feature information in a storage unit and comparing the calculated feature information with operation-specific feature information based on operation index information of the stored program unit to find the closest operation and determining whether the operation is within a predetermined error range;
(d) checking, if the comparison result is within an allowable error range, the input information corresponding to the feature information for each action; And
(e) transmitting, by the control unit, the input information to an information device, storing the input information, or displaying the input information on a screen;
Wherein the information input device comprises:
청구항 4에 있어서,
상기 (b) 단계는 상기 근전도 신호들 간의 상관도 값을 다음 수학식에 따라 산출하는 것을 특징으로 하는 정보 입력 장치의 근전도 신호를 이용한 정보 입력 방법.
Figure 112013017914505-pat00010

Figure 112013017914505-pat00011

Figure 112013017914505-pat00012

여기서, N은 해석 구간에서의 샘플수이며, m은 지연 샘플수를 나타낸다.The method of claim 4,
Wherein the step (b) calculates the correlation value between the EMG signals according to the following equation: < EMI ID = 17.0 >
Figure 112013017914505-pat00010

Figure 112013017914505-pat00011

Figure 112013017914505-pat00012

Where N is the number of samples in the analysis interval and m is the number of delay samples.
KR1020130021627A 2013-02-28 2013-02-28 Information inputting device using an electromyogram signal, and method thereof KR101440059B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130021627A KR101440059B1 (en) 2013-02-28 2013-02-28 Information inputting device using an electromyogram signal, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021627A KR101440059B1 (en) 2013-02-28 2013-02-28 Information inputting device using an electromyogram signal, and method thereof

Publications (2)

Publication Number Publication Date
KR20140107741A KR20140107741A (en) 2014-09-05
KR101440059B1 true KR101440059B1 (en) 2014-09-17

Family

ID=51755209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021627A KR101440059B1 (en) 2013-02-28 2013-02-28 Information inputting device using an electromyogram signal, and method thereof

Country Status (1)

Country Link
KR (1) KR101440059B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101549353B1 (en) * 2014-11-18 2015-09-02 조성용 smart watch with recognition function of bio sound source
KR101717193B1 (en) 2016-01-25 2017-03-17 한국기술교육대학교 산학협력단 Virtual keyboard input device using emg signal
CN105943042A (en) * 2016-06-07 2016-09-21 中国人民解放军国防科学技术大学 Operator-hand-behavior perception system based on electromyographic signals
CN107198509B (en) * 2016-08-26 2021-01-22 常州市钱璟康复股份有限公司 Feature extraction method and system based on surface myoelectricity

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040316A (en) * 2003-04-25 2003-05-22 이용희 Human-Computer Interface based on the Biological Signal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040316A (en) * 2003-04-25 2003-05-22 이용희 Human-Computer Interface based on the Biological Signal

Also Published As

Publication number Publication date
KR20140107741A (en) 2014-09-05

Similar Documents

Publication Publication Date Title
US9299248B2 (en) Method and apparatus for analyzing capacitive EMG and IMU sensor signals for gesture control
US9999391B2 (en) Wearable electromyogram sensor system
KR100995130B1 (en) The system for recogniging of user touch pattern using touch sensor and accelerometer sensor
US8292833B2 (en) Finger motion detecting apparatus and method
KR101440059B1 (en) Information inputting device using an electromyogram signal, and method thereof
WO2014052986A3 (en) Determining physiological state(s) of an organism based on data sensed with sensors in motion
US10765357B2 (en) System and method for detecting muscle activities
KR20120113530A (en) Method and apparatus for detecting peak from biological signal
JP5187380B2 (en) Information input device and information input method
Fujiwara et al. Identification of hand gestures using the inertial measurement unit of a smartphone: a proof-of-concept study
JP4891879B2 (en) Input device
KR101941172B1 (en) Apparatus and method for controlling threshold for detecting peaks of physiological signals.
CN115857696A (en) Device interaction method, wearable device and storage medium
JP2008305198A (en) Input system and input device
KR101520462B1 (en) Apparatus for interface with disabled upper limbs
KR20030040316A (en) Human-Computer Interface based on the Biological Signal
KR100554173B1 (en) Apparatus for controlling electronic instruments using human features and method thereof
Dawes et al. Wireless smartphone control using electromyography and automated gesture recognition
KR101112763B1 (en) System and method for mouse interface using electromyogram sensor and inertial sensor
KR100516151B1 (en) Apparatus for direction control using a face muscle signal and method therefor
KR102041456B1 (en) Device and method of minnesota code output
WO2020050042A1 (en) Biological information analysis device, biological information analysis method, and biological information analysis system
KR100593572B1 (en) A mouse that measures a human biosignal and performs two-way communication with a computer
Horne et al. Resistopalatography as an assistive technology for users with spinal cord injuries
Odagaki et al. Touch interface for sensing fingertip force in mobile device using electromyogram

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 6