KR20170113957A - Method of determining motion intent of user and motion recognition system for the same - Google Patents

Method of determining motion intent of user and motion recognition system for the same Download PDF

Info

Publication number
KR20170113957A
KR20170113957A KR1020160038218A KR20160038218A KR20170113957A KR 20170113957 A KR20170113957 A KR 20170113957A KR 1020160038218 A KR1020160038218 A KR 1020160038218A KR 20160038218 A KR20160038218 A KR 20160038218A KR 20170113957 A KR20170113957 A KR 20170113957A
Authority
KR
South Korea
Prior art keywords
signal
user
motion
detected
sensor
Prior art date
Application number
KR1020160038218A
Other languages
Korean (ko)
Inventor
김기현
김정철
Original Assignee
(주)이미지스테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이미지스테크놀로지 filed Critical (주)이미지스테크놀로지
Priority to KR1020160038218A priority Critical patent/KR20170113957A/en
Publication of KR20170113957A publication Critical patent/KR20170113957A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00335
    • G06K9/00597
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

본 발명은 사용자의 동작을 검출하여 동작신호를 생성하는 제1검출수단; 사용자의 생체신호를 검출하는 제2 검출수단; 상기 생체신호를 이용하여, 상기 동작신호가 사용자가 의도한 동작에 의한 것인지 여부를 판단하는 동작의도 판단수단을 포함하는 동작 인식 시스템을 개시한다.
본 발명에 따르면, 모션센서 또는 카메라를 이용하여 사용자의 동작을 인식하면서 함께 근전도센서 등의 생체신호를 검출하여 인식된 동작이 사용자가 의도한 동작인지 아니면 의도하지 않은 동작인지 여부를 보다 정확하게 판단할 수 있다. 따라서 동작 인식 시스템에서 사용자의 무의식적인 동작으로 인해 제어대상이 오동작하는 상황을 최소화하고, 이를 통해 제품의 신뢰성과 사용편의성을 높일 수 있다.
The present invention relates to an information processing apparatus comprising first detecting means for detecting an operation of a user and generating an operation signal; Second detection means for detecting a user's biological signal; And an operation degree judging means for judging whether or not the operation signal is caused by an operation intended by the user by using the bio-signal.
According to the present invention, a motion sensor or a camera is used to detect a user's motion while simultaneously detecting a biosignal such as an electromyogram sensor or the like to more accurately determine whether the recognized motion is an intended motion or an unintended motion . Therefore, it is possible to minimize the malfunction of the control object due to the unconscious operation of the user in the motion recognition system, thereby enhancing the reliability and usability of the product.

Description

사용자의 동작 의도를 판단하는 방법과 이를 위한 동작 인식 시스템{Method of determining motion intent of user and motion recognition system for the same}TECHNICAL FIELD The present invention relates to a method for determining a motion intention of a user and a motion recognition system for the same,

본 발명은 사용자의 동작을 인식하여 전자기기를 제어하는 방법에 관한 것으로서, 구체적으로는 사용자가 의도한 동작과 의도하지 않은 동작을 구분함으로써 전자기기를 보다 정확하게 제어할 수 있는 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of controlling an electronic device by recognizing an operation of a user, and more particularly, to a method of controlling an electronic device more precisely by distinguishing an unintended operation from a user's intended operation.

종래에는 전자기기에 명령 또는 정보를 입력하기 위하여 키보드, 마우스, 조이스틱, 터치스크린 등과 같은 전통적인 입력장치가 주로 사용되었으나, 최근에는 사용자의 동작을 인식하여 전자기기를 제어하는 동작 인식 기반의 입력장치가 주목 받고 있다.Conventionally, a conventional input device such as a keyboard, a mouse, a joystick, a touch screen, or the like has been mainly used for inputting commands or information to an electronic device. In recent years, an input device based on an operation recognition It is attracting attention.

예를 들어 닌텐도의 Wii, 소니의 PSmove, 마이크로소프트의 Kinect 등의 게임기는 모션센서 및/또는 카메라를 통해 사용자의 동작을 인식하여 디스플레이에 표시된 가상객체를 제어하는 동작 인식 기술을 사용하고 있다.For example, game machines such as Nintendo Wii, Sony's PSmove, and Microsoft's Kinect use motion recognition technology to recognize the user's motion through motion sensors and / or cameras and to control the virtual objects displayed on the display.

또한 최근에는 사용자의 신체(머리, 팔 등)에 착용하는 착용형 기기에 사용자의 동작을 인식하여 착용형 기기 자체를 제어하거나 다른 전자기기를 제어하는 동작 인식 인터페이스가 적용되는 등 사용분야가 갈수록 다양해지고 있는 추세이다.In recent years, wearable devices that are worn on the wearer's body (head, arm, etc.) have been increasingly used in various fields, for example, by recognizing the motion of the user and using the motion recognition interface for controlling the wearable device itself or controlling other electronic devices .

그런데 키보드, 마우스, 조이스틱 등의 경우에는 사용자가 사용 의도가 있을 때만 손으로 조작하고, 사용의도가 없을 때는 손을 대지 않기 때문에 사용자의 의도에 반하여 동작하는 경우는 드물다.However, in the case of a keyboard, a mouse, a joystick, etc., it is rare that the user operates only when the user intends to use the device, and does not operate when the user does not intend to use the device.

그러나 모션센서 또는 카메라를 이용하는 동작인식장치는 사용자의 모든 동작을 인식할 수 있기 때문에 사용자가 의도하지 않은 무의식적인 동작도 인식하여 처리할 수 있다는 문제가 있다.However, since the motion recognition device using the motion sensor or the camera can recognize all the operations of the user, there is a problem that the user can recognize and process unintentional motion that is not intended by the user.

예를 들어, 동작인식장치를 이용하는 게임을 하다가 사용자가 게임 동작과는 무관하게 무심코 머리를 만지거나 긁는 동작을 하더라도 동작인식장치는 해당 동작을 게임 화면에 표시된 가상 객체의 이동명령으로 인식하여 해당 객체를 사용자가 의도하지 않은 엉뚱한 방향으로 이동시킬 수 있다.For example, even if a user performs a game using the motion recognition device and the user touches or scratches his / her head unintentionally regardless of the game motion, the motion recognition device recognizes the motion as a movement instruction of the virtual object displayed on the game screen, Can be moved in the wrong direction that the user does not intend.

따라서 동작인식장치에서는 인식된 동작이 사용자가 의도한 동작인지 아니면 의도하지 않은 동작인지 여부를 정확하게 판단하고, 사용자가 의도한 동작에 대해서만 대응하는 동작신호를 생성함으로써 제품의 신뢰성을 높이고 사용자의 불편을 최소화할 필요가 있다.Therefore, the motion recognition apparatus accurately determines whether the recognized motion is a motion intended by the user or an unintended motion, and generates an operation signal corresponding only to the motion intended by the user, thereby enhancing the reliability of the motion detection apparatus, You need to minimize it.

한국공개특허 제10-2013-0071080호(2013.06.28 공개)Korean Patent Publication No. 10-2013-0071080 (published on June 28, 2013)

본 발명은 이러한 문제를 해결하기 위한 것으로서, 사용자가 의도한 동작인지 아니면 의도하지 않은 동작인지 여부를 정확하게 판단하고, 사용자가 의도한 동작에 대해서만 대응하는 제어를 수행할 수 있는 동작 인식 방법과 시스템을 제공하는데 그 목적이 있다.An object of the present invention is to provide an operation recognition method and system capable of accurately determining whether a user intends to perform an intended operation or an unintended operation and performing control corresponding only to a user's intended operation The purpose is to provide.

이러한 목적을 달성하기 위하여, 본 발명의 일 양상은, 사용자의 동작을 검출하여 동작신호를 생성하는 제1검출수단; 사용자의 생체신호를 검출하는 제2 검출수단; 상기 생체신호를 이용하여, 상기 동작신호가 사용자가 의도한 동작에 의한 것인지 여부를 판단하는 동작의도 판단수단을 포함하는 동작 인식 시스템을 제공한다.In order to achieve this object, one aspect of the present invention provides an information processing apparatus comprising first detecting means for detecting an operation of a user and generating an operation signal; Second detection means for detecting a user's biological signal; And an operation degree determination means for determining whether or not the operation signal is caused by an operation intended by the user by using the bio-signal.

본 발명에 따른 동작 인식 시스템에서, 상기 동작의도 판단수단은, 상기 제1 검출수단에서 상기 동작신호가 검출된 시점을 기준으로 설정된 시간 이내에, 상기 제2 검출수단에서 설정된 기준을 만족하는 생체신호가 검출되면 상기 동작신호가 사용자가 의도한 동작에 의한 것으로 판단할 수 있다.In the motion recognition system according to the present invention, the operation-intention determining means determines whether or not the biometrics signal satisfying the criterion set by the second detecting means within a time set on the basis of the time point at which the operation signal is detected by the first detecting means It can be determined that the operation signal is caused by the operation intended by the user.

또한 본 발명에 따른 동작 인식 시스템에서, 상기 제1 검출수단, 상기 제2 검출수단, 및 상기 동작의도 판단수단은 사용자의 신체에 착용하는 착용형 장치에 설치될 수 있다.In the motion recognition system according to the present invention, the first detection means, the second detection means, and the operation degree determination means may be installed in a wearable apparatus worn on the user's body.

또한 본 발명에 따른 동작 인식 시스템에서, 상기 제1 검출수단 및 상기 제2 검출수단은 사용자의 신체에 착용하는 착용형 장치에 설치되고, 상기 동작의도 판단수단은 제어대상 기기에 설치될 수 있다.Further, in the motion recognition system according to the present invention, the first detection means and the second detection means are provided in a wearable apparatus worn on the body of the user, and the operation determination means may be installed in the control subject apparatus .

또한 본 발명에 따른 동작 인식 시스템에서, 상기 제1 검출수단은 모션센서이고, 상기 제2 검출수단은 근전도센서. 안전도센서, 안구운동감지센서, 또는 뇌전도센서일 수 있다.In the motion recognition system according to the present invention, the first detection means is a motion sensor, and the second detection means is an electromyographic sensor. A safety sensor, an eye movement sensor, or an electroencephalogram sensor.

또한 본 발명에 따른 동작 인식 시스템에서, 상기 제1 검출수단은 동작검출카메라이고, 상기 제2 검출수단은 근전도센서. 안전도센서, 안구운동감지센서, 또는 뇌전도센서일 수 있다. Further, in the motion recognition system according to the present invention, the first detection means is an operation detection camera, and the second detection means is an electromyographic sensor. A safety sensor, an eye movement sensor, or an electroencephalogram sensor.

본 발명의 다른 양상은, 사용자의 동작을 검출하여 동작신호를 생성하는 동작검출수단; 사용자가 동작의도를 입력하는 의도입력수단; 상기 의도입력수단을 통한 입력신호를 이용하여, 상기 동작신호가 사용자가 의도한 동작에 의한 것인지 여부를 판단하는 동작의도 판단수단을 포함하는 동작 인식 시스템을 제공한다.According to another aspect of the present invention, there is provided an information processing apparatus comprising: operation detecting means for detecting an operation of a user and generating an operation signal; An intention input means by which a user inputs an operation intention; And an operation degree judging means for judging whether or not the operation signal is caused by an operation intended by the user by using an input signal through the intention input means.

본 발명의 다른 양상에 따른 동작 인식 시스템에서, 상기 동작검출수단은 모션센서이고, 상기 의도입력수단은 스위치, 버튼, 터치키 또는 압력센서일 수 있다.In the motion recognition system according to another aspect of the present invention, the motion detection means may be a motion sensor, and the intention input means may be a switch, a button, a touch key, or a pressure sensor.

본 발명의 또 다른 양상은, 제1 검출수단에서 사용자의 동작을 검출하여 동작신호를 생성하는 단계; 제2 검출수단에서 사용자의 생체신호가 검출되는지 여부를 확인하는 단계; 생체신호가 검출되면, 검출된 생체신호가 설정된 기준을 만족하는지 여부를 판단하는 단계; 검출된 생체신호가 설정된 기준을 만족하면, 상기 동작신호가 사용자가 의도한 동작에 의한 것으로 판단하는 단계를 포함하는 동작 인식 방법을 제공한다.According to still another aspect of the present invention, there is provided a method of detecting a motion of a user, comprising: detecting an operation of a user at a first detecting means and generating an operation signal; Confirming whether or not the user's biological signal is detected by the second detection means; Determining whether a detected biological signal satisfies a set criterion when the biological signal is detected; And determining that the operation signal is due to an operation intended by the user if the detected bio-signal satisfies a set criterion.

본 발명에 따른 동작인식방법에서, 상기 제2 검출수단에서 사용자의 생체신호가 검출되는지 여부를 확인하는 단계에서는, 상기 제1 검출수단에서 상기 동작신호가 검출된 시점을 기준으로 설정된 시간 이내에 상기 제2 검출수단에서 생체신호가 검출되는지 여부를 확인할 수 있다.In the operation recognition method according to the present invention, in the step of confirming whether or not the user's biological signal is detected by the second detection means, within the time set based on the point of time when the operation signal is detected by the first detection means, 2 detection means can detect whether or not a living body signal is detected.

또한 본 발명에 따른 동작인식방법에서, 검출된 생체신호가 설정된 기준을 만족하는지 여부를 판단하는 단계에서는, 검출된 생체신호의 패턴이 저장된 패턴과 일치하는지 여부를 확인하거나 검출된 생체신호의 세기가 설정 기준을 만족하는지를 판단할 수 있다.In the operation recognition method according to the present invention, in the step of determining whether the detected bio-signal satisfies a set criterion, it is checked whether or not the pattern of the detected bio-signal matches the stored pattern or the intensity of the detected bio- It is possible to determine whether or not the setting criterion is satisfied.

또한 본 발명에 따른 동작인식방법에서, 상기 동작신호가 사용자가 의도한 동작에 의한 것으로 판단하는 단계에서는, 검출된 생체신호를 이용하여 제어대상 기기의 다양한 동작모드 중에서 사용자가 의도하는 동작모드를 판단하는 과정을 포함하는 것을 특징으로 할 수 있다.In the operation recognition method according to the present invention, in the step of determining that the operation signal is caused by the intended operation of the user, the operation mode intended by the user among the various operation modes of the control target device is determined The method comprising:

본 발명에 따르면, 모션센서 또는 카메라를 이용하여 사용자의 동작을 인식하면서 함께 근전도센서 등의 생체신호를 검출하여 인식된 동작이 사용자가 의도한 동작인지 아니면 의도하지 않은 동작인지 여부를 보다 정확하게 판단할 수 있다. 따라서 동작 인식 시스템에서 사용자의 무의식적인 동작으로 인해 제어대상이 오동작하는 상황을 최소화하고, 이를 통해 제품의 신뢰성과 사용편의성을 높일 수 있다.According to the present invention, a motion sensor or a camera is used to detect a user's motion while simultaneously detecting a biosignal such as an electromyogram sensor or the like to more accurately determine whether the recognized motion is an intended motion or an unintended motion . Therefore, it is possible to minimize the malfunction of the control object due to the unconscious operation of the user in the motion recognition system, thereby enhancing the reliability and usability of the product.

도 1은 본 발명의 제1 실시예에 따른 동작 인식 시스템의 구성도
도 2는 본 발명의 제1 실시예에 따른 동작검출장치의 구성을 예시한 도면
도 3은 본 발명의 제1 실시예에 따른 동작 인식 시스템의 동작 인식 방법의 일 예를 나타낸 흐름도
도 4는 본 발명의 제2 실시예에 따른 동작 인식 시스템의 구성도
도 5는 착용형 장치의 구성을 예시한 도면
도 6은 본 발명의 제2 실시예에 따른 동작 인식 시스템의 동작 인식 방법의 일 예를 나타낸 흐름도
도 7은 본 발명의 제3 실시예에 따른 동작 인식 시스템의 구성도
도 8은 본 발명의 제3 실시예에 따른 동작 인식 시스템의 동작 인식 방법의 일 예를 나타낸 흐름도
도 9는 본 발명의 제4 실시예에 따른 동작 인식 시스템의 구성도
도 10은 본 발명의 제4 실시예에 따른 동작검출장치의 구성을 예시한 도면
도 11은 본 발명의 제4 실시예에 따른 동작 인식 시스템의 동작 인식 방법의 일 예를 나타낸 흐름도
1 is a block diagram of a motion recognition system according to a first embodiment of the present invention;
2 is a diagram illustrating a configuration of an operation detecting apparatus according to a first embodiment of the present invention;
3 is a flowchart showing an example of a method of recognizing an operation of the motion recognition system according to the first embodiment of the present invention.
4 is a block diagram of a motion recognition system according to a second embodiment of the present invention
5 is a view illustrating the configuration of a wearable device
6 is a flowchart showing an example of a method of recognizing an operation of the motion recognition system according to the second embodiment of the present invention.
7 is a block diagram of the motion recognition system according to the third embodiment of the present invention
8 is a flowchart showing an example of a method of recognizing an operation of the motion recognition system according to the third embodiment of the present invention.
9 is a block diagram of a motion recognition system according to a fourth embodiment of the present invention
10 is a diagram illustrating a configuration of an operation detecting device according to a fourth embodiment of the present invention
11 is a flowchart showing an example of a method of recognizing an operation of the motion recognition system according to the fourth embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

참고로 본 명세서에서 하나의 구성요소(element)가 다른 구성요소와 연결, 결합, 또는 전기적으로 연결되는 경우는, 다른 구성요소와 직접적으로 연결, 결합, 또는 전기적으로 연결되는 경우뿐만 아니라 중간에 다른 요소를 사이에 두고 간접적으로 연결, 결합 또는 전기적으로 연결되는 경우도 포함한다.Note that, in the present specification, when an element is connected, coupled, or electrically connected to another element, not only the case where it is directly connected, coupled, or electrically connected to another element, But also indirectly connected, coupled, or electrically connected with the elements interposed therebetween.

또한 하나의 구성요소가 다른 구성요소와 직접 연결 또는 직접 결합되는 경우는 중간에 다른 요소가 개재되지 않는 것을 의미한다. 또한 어떤 부분이 어떤 구성요소를 포함 또는 구비하는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. Also, when an element is directly connected or directly coupled to another element, it means that no other element is interposed in between. Also, it is to be understood that a part including or including an element does not exclude other elements, but may further include or be equipped with other elements, unless specifically stated otherwise.

제 1 1st 실시예Example

본 발명의 제1 실시예는 모션센서와 근전도센서를 이용하여 사용자의 동작을 인식하는 방법에 관한 것이다.A first embodiment of the present invention relates to a method of recognizing a user's operation using a motion sensor and an electromyography sensor.

제1 실시예에 따른 동작 인식 방법이 적용되는 시스템은, 도 1의 구성도와 도 2의 블록도에 나타낸 바와 같이, 사용자의 동작을 검출하는 동작검출장치(100), 사용자의 신체에 장착된 근전도검출장치(200), 동작검출장치(100)의 신호를 수신하는 제어대상 기기(300)를 포함할 수 있다.The system to which the motion recognizing method according to the first embodiment is applied includes an operation detecting device 100 for detecting an operation of a user as shown in the configuration of FIG. 1 and a block diagram of FIG. 2, A detection device 200, and a control target device 300 that receives a signal from the motion detection device 100. [

동작검출장치(100)는 사용자가 손에 들거나 착용하는 장치로서, 모션센서(110)와 통신수단(130)을 포함한다.The motion detection device 100 includes a motion sensor 110 and a communication means 130 as a device for the user to hold or wear.

모션센서(110)는 동작검출장치(100)를 휴대 또는 착용한 사용자의 움직임을 감지하기 위한 센서로서, 3축 가속도센서(accelerometer), 3축 각속도센서(gyroscope), 지자계 센서, 또는 이들의 조합으로 구성될 수 있다. The motion sensor 110 is a sensor for sensing movement of a user carrying or wearing the motion detection device 100. The motion sensor 110 may be a three-axis accelerometer, a three-axis angular velocity sensor, a geomagnetic sensor, . ≪ / RTI >

모션센서(110)는 검출 신호를 증폭 및 필터링하여 제어대상 기기(300)로 송출할 동작신호를 생성하는 신호처리수단을 포함할 수 있다. 동작신호는 동작방향, 속도, 가속도 등에 대한 정보를 포함할 수 있다.The motion sensor 110 may include signal processing means for generating an operation signal to be transmitted to the control target device 300 by amplifying and filtering the detection signal. The operation signal may include information on the operation direction, speed, acceleration, and the like.

근전도검출장치(200)는 사용자의 피부에 부착되어 근육표면에서 발생하는 근전도(EMG, Electromyographic) 신호를 검출하는 적어도 하나의 근전도센서(210)와 검출된 근전도신호를 제어대상 기기(300)로 전송하는 통신수단(230)을 포함한다. 근전도센서(210)는 검출 신호를 증폭 및 필터링하는 신호처리수단을 포함할 수 있다.The electromyographic detection apparatus 200 includes at least one electromyographic sensor 210 for detecting an electromyographic (EMG) signal generated on the surface of a user's muscle and a detected electromyogram signal to the controlled device 300 And communication means (230). The electromyogram sensor 210 may include signal processing means for amplifying and filtering the detection signal.

각 통신수단(130, 230)은 제어장치(300)간의 무선통신을 수행한다. 무선통신방식은 특별히 한정되지 않으며, 블루투스(Bluetooth), 지그비(Zigbee), 적외선데이터통신(IrDA), UWB(Ultra Wide Band), 근접장통신(NFC, Near Field Communication), 와이파이(WiFi) 등의 공지된 통신방식 중에서 선택될 수 있다.Each of the communication means 130 and 230 performs wireless communication between the control devices 300. The wireless communication method is not particularly limited and may be a wireless communication method such as Bluetooth, Zigbee, infrared data communication (IrDA), UWB (Ultra Wide Band), NFC (Near Field Communication), WiFi Lt; / RTI >

본 발명의 제1 실시예에서 근전도검출장치(200)를 사용하는 이유는 동작검출장치(100)를 사용하는 사용자의 동작의도를 정확하게 판단하기 위한 것이다. The reason for using the electromyographic detection apparatus 200 in the first embodiment of the present invention is to accurately determine the operation intention of the user using the motion detection apparatus 100. [

예를 들어 사용자가 동작검출장치(100)를 손에 쥔 상태에서 제어대상 기기(300)를 제어하려는 의도를 가지고 동작검출장치(100)를 움직이는 경우에는 의식적으로 또는 무의식적으로 손에 힘을 주기 때문에 근전도검출장치(200)를 통해 손가락 움직임과 관련된 근전도신호를 검출할 수 있다. For example, when the user moves the motion detecting device 100 with the intention of controlling the controlled device 300 while holding the motion detecting device 100 in his / her hand, he / she consciously or unconsciously hands the force The electromyogram signal related to the finger motion can be detected through the electromyogram detecting device 200. [

반면에 사용자가 동작검출장치(100)를 손에 쥔 상태에서 제어대상 기기(300)를 제어하려는 의도 없이 무심코 동작검출장치(100)를 움직이는 경우에는 근전도검출장치(200)에서는 손가락 움직임과 관련된 근전도신호가 검출되지 않거나 매우 약하게 검출된다.On the other hand, when the user moves the motion detecting device 100 without intention of controlling the controlled device 300 while holding the motion detecting device 100 in his / her hand, the electromyogram detecting device 200 detects the electromyogram The signal is not detected or is detected very weakly.

따라서 이러한 차이를 이용하면 동작검출장치(100)를 움직이는 사용자의 동작이 의도된 동작인지 아니면 무의식적인 동작인지 판단할 수 있다.Accordingly, by using this difference, it can be determined whether the operation of the user who moves the motion detection apparatus 100 is an intentional operation or an unconscious operation.

한편 도 1에는 근전도검출장치(200)가 손목 착용형으로 나타나 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어 다리의 움직임을 이용하여 제어대상 기기(300)를 제어하는 경우에는 사용자가 동작검출장치(100)를 다리에 착용할 수 있는데, 이 경우에는 다리의 움직임에 따른 근전도신호를 검출하기 위하여 근전도검출장치(200)를 사용자의 종아리나 발목에 착용하는 것이 바람직하다.1, the electromyography detecting apparatus 200 is shown as a wrist-wearing type, but the present invention is not limited thereto. For example, in the case of controlling the control subject device 300 using the motion of the leg, the user can wear the motion detection device 100 on the leg. In this case, in order to detect the EMG signal according to the motion of the leg It is preferable to wear the electromyogram detecting device 200 on the user's calf or ankle.

즉, 동작검출장치(100)를 동작시키는 사용자의 신체부위에 따라 근전도검출장치(200)의 장착위치는 달라질 수 있다.That is, the mounting position of the electromyography detecting apparatus 200 may vary depending on the body part of the user operating the motion detecting device 100.

제어대상 기기(300)는 통신수단(310), 동작의도 판단수단(320), 제어신호 생성수단(330), 디스플레이(340), 구동수단(350) 등을 포함할 수 있다. The control target device 300 may include a communication unit 310, an operation determination unit 320, a control signal generation unit 330, a display 340, a driving unit 350, and the like.

통신수단(310)은 동작검출장치(100) 및 근전도검출장치(200)의 각 통신수단(130,230)과 설정된 통신방식에 따라 통신한다.The communication means 310 communicates with each of the communication means 130 and 230 of the motion detection device 100 and the electromyographic detection device 200 according to a set communication method.

동작의도 판단수단(320)은 동작검출장치(100)로부터 수신한 동작신호가 사용자가 의도한 동작에 의한 것인지, 아니면 의도하지 않은 무의식적인 동작에 의한 것인지 여부를 근전도신호를 이용하여 판단한다. The operation determination means 320 determines whether the operation signal received from the operation detection apparatus 100 is caused by an operation intended by the user or by an unintentional unconscious operation by using the EMG signal.

구체적으로는, 근전도검출장치(200)로부터 수신한 근전도신호의 특성(패턴, 세기 등)이 설정된 기준을 만족하면 동작검출장치(100)로부터 수신한 동작신호가 사용자가 의도한 동작에 의한 것으로 판단한다. 이를 위해서는 수신된 근전도신호와 대비하기 위한 기준패턴, 기준세기 등의 정보를 제어대상 기기(300)에 미리 저장해 두어야 함은 물론이다.Specifically, when the characteristics (pattern, intensity, etc.) of the electromyogram signal received from the electromyogram detecting apparatus 200 satisfy the set criteria, it is determined that the operation signal received from the motion detecting device 100 is due to the operation intended by the user do. It is needless to say that it is necessary to previously store the information such as the reference pattern and the reference intensity for comparing with the received EMG signal in the control target device 300 in advance.

만일 근전도신호가 수신되지 않거나 수신된 근전도신호의 특성이 설정된 기준을 만족하지 않으면 동작검출장치(100)로부터 수신한 동작신호가 사용자가 의도하지 않은 동작에 의한 것으로 판단한다.If the electromyogram signal is not received or the characteristics of the received electromyogram signal does not satisfy the set criterion, it is determined that the operation signal received from the motion detection device 100 is due to an operation that the user does not intend.

제어신호 생성수단(330)은, 동작검출장치(100)로부터 수신한 동작신호가 사용자가 의도한 동작에 의한 것으로 판단된 경우에, 해당 동작신호를 이용하여 제어대상 기기(300)의 동작을 제어하는 제어신호를 생성한다. When it is determined that the operation signal received from the operation detecting device 100 is caused by the user's intended operation, the control signal generating means 330 controls the operation of the control target device 300 using the operation signal As shown in Fig.

제어신호는 구체적인 제어대상에 따라 다양한 형식의 정보를 포함할 수 있다.The control signal may include various types of information depending on the specific object to be controlled.

일 예로서, 디스플레이(340)에 표시된 객체가 제어대상인 경우에는 제어신호는 해당 객체의 위치, 이동방향, 이동속도, 가속도, 회전방향, 회전각속도 등에 대한 정보를 포함할 수 있다. For example, when the object displayed on the display 340 is the object to be controlled, the control signal may include information about the position, movement direction, movement speed, acceleration, rotation direction, and rotational angular velocity of the object.

다른 예로서, 제어대상 기기(300)의 전체 또는 일부분을 동작시키는 액츄에이터 등의 구동수단(350)이 제어대상인 경우에는 구동수단(350)의 동작에 필요한 정보를 포함할 수 있다. As another example, when the driving means 350 such as an actuator that operates all or a part of the control target device 300 is the object to be controlled, it may include information necessary for the operation of the driving means 350. [

이하에서는 도 3의 흐름도를 참조하여 본 발명의 제1 실시예에 따른 동작 인식 시스템에서 사용자의 동작을 판단하는 방법을 설명한다.Hereinafter, a method for determining the user's operation in the motion recognition system according to the first embodiment of the present invention will be described with reference to the flowchart of FIG.

먼저 사용자는 모션센서(110)가 내장된 동작검출장치(100)를 도 1에 나타낸 바와 같이 손에 쥐고 사용하는 것으로 가정한다. 이 경우에는 근전도검출장치(200)는 사용자의 손목에 착용하는 것이 바람직함은 전술한 바와 같다.First, it is assumed that the user grasps and uses the motion detection device 100 with the motion sensor 110 as shown in FIG. In this case, it is preferable that the electromyogram detection device 200 is worn on the user's wrist as described above.

이 상태에서, 사용자가 임의의 동작을 수행하면 동작검출장치(100)는 모션센서(110)에 의해 생성된 동작신호를 송출하고, 제어대상 기기(300)의 통신수단(310)이 상기 동작신호를 수신한다.(ST11)In this state, when the user performs an arbitrary operation, the motion detection device 100 sends out the motion signal generated by the motion sensor 110, and when the communication means 310 of the control subject device 300 receives the motion signal (ST11)

이어서 제어대상 기기(300)의 동작의도 판단수단(320)은 근전도검출장치(200)로부터 근전도신호가 수신되는지 여부를 확인하며, 근전도신호가 수신되지 않은 경우에는 수신된 동작신호는 사용자가 의도하지 않은 동작에 의한 것으로 판단하고 해당 동작신호를 무시한다. (ST12)The operation determination unit 320 of the control target device 300 determines whether an EMG signal is received from the EMG detection device 200. If the EMG signal is not received, It is determined that the operation is not performed and the corresponding operation signal is ignored. (ST12)

만일 근전도신호가 수신된 경우에는 해당 근전도신호의 특성(패턴, 세기 등)을 저장된 특성과 대비하여 설정 기준을 충족하는지 여부를 판단하고, 설정 기준을 충족하지 않으면 해당 동작신호를 무시한다. (ST13)If the EMG signal is received, it is determined whether or not the characteristic (pattern, intensity, etc.) of the EMG signal is compared with the stored characteristic to meet the setting criterion, and if the setting criterion is not satisfied, the corresponding operating signal is ignored. (ST13)

만일 수신된 근전도신호가 설정 기준을 충족하는 경우에는, 동작의도 판단수단(320)은 수신된 동작신호가 사용자가 의도한 동작에 의한 것으로 판단하고, 이에 응하여 제어신호 생성수단(330)은 수신된 동작신호를 기초로 제어신호를 생성하여 제어대상 기기(300)의 동작을 제어한다. (ST14)If the received electromyogram signal satisfies the setting criterion, the operation determination means 320 determines that the received operation signal is due to the operation intended by the user, and in response, the control signal generation means 330 receives And controls the operation of the control target device (300) by generating a control signal based on the received operation signal. (ST14)

한편 위 ST12 단계에서는, 동작신호와 근전도신호를 서로 다른 시점에 수신한 경우에 제어대상 기기(300)가 처리하는 기준을 미리 설정해 둘 필요가 있다. 동작신호와 근전도신호가 너무 큰 시간차를 두고 수신되는 경우에는 해당 근전도신호를 이용하여 사용자의 동작의도를 정확하게 판단하는 것이 어렵기 때문이다.On the other hand, in step ST12, it is necessary to set in advance a criterion to be processed by the control subject device 300 when the operation signal and the EMG signal are received at different points in time. When the operation signal and the EMG signal are received with a time lag which is too large, it is difficult to accurately determine the user's operation intention using the EMG signal.

예를 들어 다음과 같은 몇 가지 판단기준을 선택적으로 설정해 둘 수 있다. 첫째, 동작신호와 근전도신호가 동시에 수신되면 근전도신호가 수신된 것으로 판단하고 ST13단계를 수행할 수 있다. 둘째, 동작신호가 먼저 수신되었을 때는 동작신호의 수신시점으로부터 설정된 시간 이내에 근전도신호가 수신되어야만 근전도신호가 수신된 것으로 판단하고 ST13단계를 수행할 수 있다. 셋째, 근전도신호가 먼저 수신된 경우에는 근전도신호의 수신시점으로부터 설정된 시간 이내에 동작신호가 수신되어야만 근전도신호가 수신된 것으로 판단하고 ST13단계를 수행할 수 있다. 다만, 이러한 기준은 예시에 불과한 것이므로 다른 기준이 적용될 수도 있다.For example, the following criteria can be selectively set. First, if the operation signal and the EMG signal are received at the same time, it is determined that the EMG signal has been received and step ST13 can be performed. Second, when the operation signal is received first, it is determined that the EMG signal has been received within the set time from the reception time of the operation signal, and the ST13 step can be performed. Thirdly, when the EMG signal is received first, it is determined that the EMG signal has been received only within a predetermined time from the reception of the EMG signal, and the ST13 step can be performed. However, these criteria are examples only, so other criteria may apply.

또한 사용자의 의도된 동작에 의해 제어대상 기기(300)에 대한 제어가 시작된 이후에 어떤 시점에 제어동작을 종료할 것인지에 대해서도 기준을 설정해 둘 필요가 있다.It is also necessary to set a criterion for determining at what point the control operation is terminated after the control of the control target device 300 is started by the user's intended operation.

일 예로서, 제어대상 기기(300)는 근전도신호를 수신하는 중에는 제어동작을 수행하고, 근전도신호가 수신되지 않으면 제어동작을 중료하도록 설정할 수 있다.As an example, the control subject device 300 may perform a control operation while receiving the EMG signal, and may set the control operation to be terminated if the EMG signal is not received.

다른 예로서, 제어대상 기기(300)는 특정 패턴의 근전도신호를 수신하면 설정된 기간 동안 제어동작을 수행하고, 기간이 경과하면 제어동작을 종료하도록 설정할 수 있다.As another example, when the control subject device 300 receives the electromyogram signal of a specific pattern, the control subject device 300 can perform a control operation for a set period and end the control operation when the period elapses.

또 다른 예로서, 제어대상 기기(300)가 특정 패턴의 근전도신호를 수신하면 설정된 기간 동안 제어동작을 종료시키고, 기간이 경과하면 자동으로 제어동작을 수행하도록 설정할 수 있다.As another example, when the control subject device 300 receives the electromyogram signal of a specific pattern, it is possible to terminate the control operation for a set period and automatically perform the control operation when the period elapses.

또 다른 예로서, 제어대상 기기(300)가 제1 패턴의 근전도신호를 수신하면 제어동작을 진행하고, 제2 패턴의 근전도신호를 수신하면 제어동작을 종료하도록 설정할 수 있다.As another example, when the control subject device 300 receives the EMG signal of the first pattern, the control operation proceeds, and when the EMG signal of the second pattern is received, the control operation can be terminated.

제 2 Second 실시예Example

본 발명의 제1 실시예는 모션센서(110)를 구비하는 동작검출장치(100)와 근전도센서(210)를 구비하는 근전도검출장치(200)가 별도의 장치인 것을 전제로 하는 것이다.The first embodiment of the present invention is based on the premise that the operation detecting device 100 having the motion sensor 110 and the electromyography detecting device 200 having the electromyogram sensor 210 are separate devices.

그러나 모션센서와 근전도센서는 하나의 장치에 포함될 수 있으며, 본 발명의 제2 실시예는 이러한 시스템을 이용한 동작 인식 방법에 관한 것이다.However, the motion sensor and the electromyogram sensor can be included in one apparatus, and the second embodiment of the present invention relates to a method of recognizing an operation using such a system.

본 발명의 제2 실시예에 따른 동작 인식 방법이 적용되는 시스템은, 도 4의 구성도와 도 5의 블록도에 나타낸 바와 같이, 사용자의 동작과 근전도를 검출하는 착용형 장치(500), 착용형 장치(500)의 신호를 수신하는 제어대상 기기(300)를 포함할 수 있다.As shown in the configuration of FIG. 4 and the block diagram of FIG. 5, the system to which the motion recognition method according to the second embodiment of the present invention is applied includes a wearable device 500 for detecting a user's motion and an electromyogram, And a control target device 300 that receives a signal of the apparatus 500. [

착용형 장치(500)는 사용자가 신체에 착용한 상태로 소정의 제어신호를 생성하는 장치이다. 도면에는 손목에 착용하는 것으로 나타나 있으나 착용위치는 특별히 한정되지 않으며, 따라서 사용자의 팔뚝, 다리, 발목, 허리, 목, 머리 등과 같은 다른 신체부위에 착용될 수도 있다.The wearable device 500 is a device that generates a predetermined control signal while the wearer wears the body. Although the figure is shown as being worn on the wrist, it is not particularly limited and may be worn on other parts of the body such as the forearm, leg, ankle, waist, neck, head and the like of the user.

착용형 장치(500)는, 모션센서(510), 근전도센서(520), 동작의도 판단수단(530), 저장수단(540), 통신수단(550) 등을 포함할 수 있다. The wearable device 500 may include a motion sensor 510, an electromyogram sensor 520, an operation intention determining means 530, a storage means 540, a communication means 550, and the like.

모션센서(510)와 근전도센서(520)의 구성과 기능은 제1 실시예와 동일하므로 설명을 생략한다. 근전도센서(520)는 사용자의 피부에 접할 수 있도록 착용형 장치(500)의 내측면으로 노출되는 것이 바람직하다.The configuration and functions of the motion sensor 510 and the electromyogram sensor 520 are the same as those of the first embodiment, and thus description thereof is omitted. The electromyogram sensor 520 is preferably exposed to the inner surface of the wearable device 500 so as to be in contact with the user's skin.

동작의도 판단수단(530)은 근전도센서(520)에서 검출된 근전도신호를 이용하여, 모션센서(510)에서 검출된 동작신호가 사용자가 의도한 동작에 의한 것인지, 아니면 의도하지 않은 무의식적인 동작에 의한 것인지 여부를 판단한다. 구체적인 기능은 제1 실시예에서 제어대상 기기(300)의 동작의도 판단수단(320)과 동일하므로 설명을 생략한다.The operation intention determining means 530 uses the electromyogram signal detected by the electromyogram sensor 520 to determine whether the operation signal detected by the motion sensor 510 is caused by an operation intended by the user or an unintentional unconscious operation Or not. Since the specific function is the same as the operation determination means 320 of the control target device 300 in the first embodiment, the description is omitted.

본 발명의 제2 실시예에서는 동작의도 판단수단(530)을 착용형 장치(500)에 설치하였는데, 이렇게 하면 착용형 장치(500)는 근전도신호를 제어대상 기기(300)로 전송할 필요가 없고, 사용자가 의도한 동작신호만을 제어대상 기기(300)로 전송하면 되므로 제어대상 기기(300)의 신호처리 속도를 향상시킬 수 있는 이점이 있다.In the second embodiment of the present invention, the operation determination means 530 is provided in the wearable device 500, and thus the wearable device 500 does not need to transmit the EMG signal to the control target device 300 , It is possible to increase the signal processing speed of the control subject device 300 since only the operation signal intended by the user is transmitted to the control subject device 300. [

다만 반드시 이에 한정되는 것은 아니므로 착용형 장치(500)에서 동작의도 판단수단(530)을 생략할 수도 있다. 이 경우에는 착용형 장치(500)는 모션센서(510)에서 검출된 동작신호와 근전도센서(520)에서 검출된 근전도신호를 모두 제어대상 기기(300)로 전송해야 하며, 제어대상 기기(300)에서 동작의도 여부를 판단하면 된다. However, the present invention is not necessarily limited to this, and thus the operation-intention determining means 530 in the wearable apparatus 500 may be omitted. In this case, the wearable device 500 must transmit both the operation signal detected by the motion sensor 510 and the electromyogram signal detected by the electromyogram sensor 520 to the control target device 300, It may be determined whether or not the operation is performed.

또한 본 발명의 제2 실시예에 따른 착용형 장치(500)를 사용하면 사용자가 동작검출장치를 손에 쥘 필요가 없으므로 사용자의 손가락을 이용하여 다양한 패턴의 근전도 신호를 생성할 수 있으며, 이를 통해 제어대상 기기(300)의 동작을 보다 다양한 방식으로 제어할 수 있는 이점도 있다.In addition, since the wearable device 500 according to the second embodiment of the present invention does not require the user to grip the motion detection device, it is possible to generate various patterns of EMG signals using the user's finger, There is an advantage that the operation of the control subject device 300 can be controlled in a more various manner.

제어대상 기기(300)는 통신수단(310), 제어신호 생성수단(330), 디스플레이(340), 구동수단(350) 등을 포함할 수 있다.The control target device 300 may include a communication means 310, a control signal generating means 330, a display 340, a driving means 350, and the like.

제어신호 생성수단(330)은 착용형 장치(500)로부터 수신한 동작신호를 이용하여 제어대상 기기(300)의 동작을 제어하는 제어신호를 생성한다. 만일 제어대상 기기(300)에 동작의도 판단수단이 포함된 경우에는, 수신된 동작신호가 사용자의 의도된 동작에 의한 것으로 판단된 경우에만 제어신호 생성수단(330)이 제어신호를 생성한다.The control signal generating means 330 generates a control signal for controlling the operation of the control target device 300 by using the operation signal received from the wearable device 500. If the control target device 300 includes the operation determination means, the control signal generation means 330 generates the control signal only when the received operation signal is determined to be the result of the intended operation of the user.

통신수단(310), 디스플레이(340), 구동수단(350) 등은 제1 실시예에서 설명한 바와 같다. The communication means 310, the display 340, the driving means 350, and the like are the same as those described in the first embodiment.

이하에서는 도 6의 흐름도를 참조하여 본 발명의 제2 실시예에 따른 동작 인식 시스템에서 사용자의 동작을 판단하는 방법을 설명한다.Hereinafter, a method for determining the user's operation in the motion recognition system according to the second embodiment of the present invention will be described with reference to the flowchart of FIG.

먼저 도 4에 나타낸 바와 같이, 사용자는 모션센서(510)와 근전도센서(520)를 구비한 착용형 장치(500)를 손목에 착용하는 것으로 가정한다. 4, it is assumed that the user wears a wearable device 500 having a motion sensor 510 and an EMG sensor 520 on his / her wrist.

이 상태에서, 사용자가 임의의 동작을 수행하면 모션센서(510)가 사용자 동작을 검출하여 동작신호를 생성한다. (ST21)In this state, when the user performs an arbitrary operation, the motion sensor 510 detects the user's operation and generates an operation signal. (ST21)

모션센서(510)에서 동작신호가 생성되면, 동작의도 판단수단(530)은 근전도센서(520)에서 근전도신호가 검출되는지 여부를 확인하고, 근전도신호가 검출되지 않는 경우에는 모션센서(510)에서 검출된 동작신호가 사용자가 의도하지 않은 동작에 의한 것으로 판단하고 해당 동작신호를 무시한다. (ST22)When an operation signal is generated in the motion sensor 510, the operation determination means 530 checks whether the electromyogram signal is detected in the electromyogram sensor 520. If the electromyogram signal is not detected, Determines that the operation signal detected by the user is due to an operation that is not intended by the user, and ignores the operation signal. (ST22)

위 단계에서, 근전도신호가 검출된 경우에는 동작의도 판단수단(530)은 해당 근전도신호의 특성(패턴, 세기 등)을 저장된 특성과 대비하여 설정 기준을 충족하는지 여부를 판단하고, 설정 기준을 충족하지 않으면 해당 동작신호를 무시한다. (ST23)In the above step, when the EMG signal is detected, the operation intention determining means 530 judges whether or not the characteristic (pattern, intensity, etc.) of the EMG signal satisfies the setting criterion in comparison with the stored characteristic, If it is not satisfied, the operation signal is ignored. (ST23)

만일 검출된 근전도신호가 설정 기준을 충족하는 경우에는, 동작의도 판단수단(530)은 모션센서(510)에서 검출된 동작신호가 사용자가 의도한 동작에 의한 것으로 판단한다. 이어서 제어수단(미도시)은 통신수단(540)을 통해 검출된 동작신호를 제어대상 기기(300)로 전송한다.(ST24)If the detected electromyogram signal satisfies the setting criterion, the operation determination means 530 determines that the operation signal detected by the motion sensor 510 is due to the operation intended by the user. Subsequently, the control means (not shown) transmits the operation signal detected through the communication means 540 to the control target device 300. (ST24)

이어서 제어대상 기기(300)의 제어신호 생성수단(330)은 수신한 동작신호를 기초로 제어신호를 생성하여 제어대상 기기(300)의 동작을 제어한다. (ST25)Then, the control signal generating means 330 of the control target device 300 generates a control signal based on the received operation signal and controls the operation of the control target device 300. [ (ST25)

본 발명의 제2 실시예에서도 제1 실시예와 마찬가지로 동작신호와 근전도신호가 서로 다른 시점에 검출된 경우에 착용형 장치(500)가 처리하는 기준을 미리 설정해둘 필요가 있다. In the second embodiment of the present invention, similarly to the first embodiment, when the operation signal and the EMG signal are detected at different points in time, the reference to be processed by the wearable device 500 needs to be set in advance.

예를 들어 다음과 같은 몇 가지 판단기준을 선택적으로 설정해 둘 수 있다. 첫째, 동작신호와 근전도신호가 동시에 검출되면 근전도신호가 검출된 것으로 판단하고 ST23단계를 수행할 수 있다. 둘째, 동작신호가 먼저 검출되었을 때는 동작신호의 검출시점으로부터 설정된 시간 이내에 근전도신호가 검출되어야만 근전도신호가 검출된 것으로 판단하고 ST23단계를 수행할 수 있다. 셋째, 근전도신호가 먼저 검출된 경우에는 된 경우에는 근전도신호의 검출시점으로부터 설정된 시간 이내에 동작신호가 검출되어야만 근전도신호가 검출된 것으로 판단하고 ST23단계를 수행할 수 있다. 다만, 이러한 기준은 예시에 불과한 것이므로 다른 기준이 적용될 수도 있음은 전술한 바와 같다.For example, the following criteria can be selectively set. First, if the operation signal and the EMG signal are detected at the same time, it is determined that the EMG signal is detected and the ST23 step can be performed. Secondly, when the operation signal is detected first, it is determined that the electromyogram signal is detected within the set time from the detection time of the operation signal, and the step ST23 can be performed. Thirdly, if the EMG signal is detected first, it is determined that the EMG signal has been detected within a predetermined time from the detection time of the EMG signal, and step ST23 can be performed. However, since these criteria are merely examples, other criteria may be applied as described above.

제 3 Third 실시예Example

본 발명의 제3 실시예는 동작검출카메라와 근전도센서를 이용하여 사용자의 동작을 인식하는 방법에 관한 것이다.A third embodiment of the present invention relates to a method of recognizing a user's operation using an operation detecting camera and an EMG sensor.

제3 실시예에 따른 동작 인식 방법이 적용되는 시스템은, 도 7의 구성도에 나타낸 바와 같이, 사용자의 동작을 검출하는 동작검출카메라(600), 사용자의 신체에 장착된 근전도검출장치(200), 동작검출카메라(600)에서 검출된 동작신호에 따라 제어되는 제어대상 기기(300)를 포함할 수 있다.7, the system to which the motion recognizing method according to the third embodiment is applied includes an operation detecting camera 600 for detecting an operation of a user, an electromyographic detection device 200 mounted on a user's body, And a control target device 300 controlled in accordance with an operation signal detected by the motion detection camera 600.

동작검출카메라(600)는 도면에 나타낸 바와 같이 제어대상 기기(300)에 장착되거나, 제어대상 기기(300)와 연결된 셋톱박스에 설치될 수 있으며, 사용자의 신체 움직임에 대한 정보를 검출한다. The motion detection camera 600 may be installed in the control target device 300 or may be installed in a set-top box connected to the control target device 300 as shown in the figure, and detects information about a user's body motion.

근전도검출장치(200)와 제어대상 기기(300)는 제1 실시예에서 설명한 바와 같다. The electromyographic detection device 200 and the control subject device 300 are as described in the first embodiment.

이하에서는 도 8의 흐름도를 참조하여 본 발명의 제3 실시예에 따른 동작 인식 시스템에서 사용자의 동작을 판단하는 방법을 설명한다.Hereinafter, a method for determining the user's operation in the motion recognition system according to the third embodiment of the present invention will be described with reference to the flowchart of FIG.

먼저 사용자는 근전도검출장치(200)를 착용한 상태에서 동작검출카메라(600)의 전방에 위치한다.First, the user is positioned in front of the motion detection camera 600 while wearing the electromyogram detection device 200.

이 상태에서, 사용자가 임의의 동작을 수행하면 동작검출카메라(600)가 사용자의 움직임에 대응하는 동작신호를 생성하여 제어대상 기기(300)로 전송하며, 제어대상 기기(300)에서는 상기 동작신호를 수신한다.(ST31)In this state, when the user performs an arbitrary operation, the motion detection camera 600 generates and transmits an operation signal corresponding to the motion of the user to the control subject device 300. In the control subject device 300, (ST31)

이어서 제어대상 기기(300)의 동작의도 판단수단(320)은 근전도검출장치(200)로부터 근전도신호가 수신되는지 여부를 확인하고, 근전도신호가 수신되지 않은 경우에는 동작검출카메라(600)로부터 수신한 동작신호는 사용자가 의도하지 않은 동작에 의한 것으로 판단하고 해당 동작신호를 무시한다. (ST32)The operation determination unit 320 of the control target device 300 determines whether or not an EMG signal is received from the EMG detection device 200. If the EMG signal is not received, One operation signal is determined to be due to an operation that is not intended by the user, and the operation signal is ignored. (ST32)

위 단계에서, 근전도신호가 수신된 경우에는 해당 근전도신호의 특성(패턴, 세기 등)을 저장된 특성과 대비하여 설정 기준을 충족하는지 여부를 판단하고, 설정 기준을 충족하지 않으면 해당 동작신호를 무시한다. (ST33)In the above step, when the EMG signal is received, it is determined whether or not the characteristics (pattern, intensity, etc.) of the EMG signal are compared with the stored characteristics to determine whether or not the EMG signal satisfies the setting reference. . (ST33)

만일 수신된 근전도신호가 설정 기준을 충족하는 경우에는, 동작의도 판단수단(320)은 수신된 동작신호가 사용자가 의도한 동작에 의한 것으로 판단하고, 이에 응하여 제어신호 생성수단(330)은 수신된 동작신호를 기초로 제어신호를 생성하여 제어대상 기기(300)의 동작을 제어한다. (ST34)If the received electromyogram signal satisfies the setting criterion, the operation determination means 320 determines that the received operation signal is due to the operation intended by the user, and in response, the control signal generation means 330 receives And controls the operation of the control target device (300) by generating a control signal based on the received operation signal. (ST34)

한편 위 ST32 단계에서, 동작검출카메라(600)의 동작신호와 근전도신호가 서로 다른 시점에 수신된 경우에는 제어대상 기기(300)는 제1 실시예에서 설명한 기준을 적용하여 처리할 수 있다.On the other hand, in step ST32, when the operation signal of the motion detection camera 600 and the EMG signal are received at different times, the control target device 300 can be processed by applying the criteria described in the first embodiment.

제 4 Fourth 실시예Example

본 발명의 제4 실시예에 따른 동작 인식 방법이 적용되는 시스템은, 도 9의 구성도와 도 10의 블록도에 나타낸 바와 같이, 사용자의 동작을 검출하여 동작신호를 송출하는 동작검출장치(100a)와 동작신호를 수신하는 제어대상 기기(300)를 포함한다.The system to which the motion recognition method according to the fourth embodiment of the present invention is applied includes an operation detection device 100a for detecting an operation of a user and sending out an operation signal as shown in the configuration of Fig. 9 and the block diagram of Fig. 10, And a control target device 300 that receives an operation signal.

본 발명의 제4 실시예에 따른 동작 인식 시스템은 근전도센서를 사용하지 않는 점에서 제1 내지 제3 실시예와 차이가 있다.The operation recognition system according to the fourth embodiment of the present invention differs from the first to third embodiments in that an electromyogram sensor is not used.

동작검출장치(100a)는 사용자가 손에 들거나 착용하는 장치로서, 모션센서(110), 의도검출수단(120), 통신수단(130), 저장수단(140), 동작의도 판단수단(150) 등을 포함한다.The motion detection device 100a includes a motion sensor 110, an intention detection means 120, a communication means 130, a storage means 140, an operation determination means 150, And the like.

의도검출수단(120)은 사용자의 동작의도를 검출하기 위한 것으로서, 동작검출장치(100a)의 외부로 노출된 버튼, 스위치, 터치키 등의 입력수단일 수도 있고, 사용자의 쥐는 힘을 감지하는 압력센서일 수도 있다.The intention detecting means 120 is for detecting the intention of the user, and may be an input means such as a button, a switch, a touch key or the like exposed to the outside of the motion detecting device 100a, It may be a pressure sensor.

동작의도 판단수단(150)은 의도검출수단(120)을 통해 입력되는 신호를 이용하여 모션센서(110)에서 검출된 동작신호가 사용자의 의도에 의한 것인지 여부를 판단한다. The operation intention determining unit 150 determines whether the operation signal detected by the motion sensor 110 is based on the user's intention using the signal input through the intention detecting unit 120.

이하에서는 도 11의 흐름도를 참조하여 본 발명의 제4 실시예에 따른 동작 인식 시스템에서 사용자의 동작을 판단하는 방법을 설명한다.Hereinafter, a method for determining the user's operation in the motion recognition system according to the fourth embodiment of the present invention will be described with reference to the flowchart of FIG.

먼저 사용자는 모션센서(110)가 내장된 동작검출장치(100a)를 도 9에 나타낸 바와 같이 손에 쥐고 사용하는 것으로 가정한다. First, it is assumed that the user grasps and uses the motion detection device 100a in which the motion sensor 110 is embedded, as shown in FIG.

이 상태에서, 사용자가 임의의 동작을 수행하면 모션센서(110)가 사용자 동작을 검출하여 동작신호를 생성한다. (ST41)In this state, when the user performs an arbitrary operation, the motion sensor 110 detects a user operation and generates an operation signal. (ST41)

모션센서(110)에서 동작신호가 생성되면, 동작의도 판단수단(150)은 의도검출수단(120)을 통해 소정의 신호가 검출되는지 여부를 확인하고, 입력신호가 검출되지 않은 경우에는 검출된 동작신호가 사용자가 의도하지 않은 동작에 의한 것으로 판단하고 해당 동작신호를 무시한다. (ST42)When an operation signal is generated in the motion sensor 110, the operation intention determining means 150 determines whether a predetermined signal is detected through the intention detecting means 120. If the input signal is not detected, It determines that the operation signal is due to an operation that the user does not intend and ignores the operation signal. (ST42)

만일 의도검출수단(120)을 통해 소정의 입력신호가 검출된 경우에는 동작의도 판단수단(150)은 모션센서(110)에서 검출된 동작신호가 사용자가 의도한 동작에 의한 것으로 판단한다. 이어서 제어수단(미도시)은 통신수단(130)을 통해 검출된 동작신호를 제어대상 기기(300)로 전송한다.(ST43)If a predetermined input signal is detected through the intention detecting means 120, the operation intention determining means 150 determines that the operation signal detected by the motion sensor 110 is due to an operation intended by the user. Subsequently, the control means (not shown) transmits the operation signal detected through the communication means 130 to the control target device 300. (ST43)

이어서 제어대상 기기(300)의 제어신호 생성수단(330)은 수신한 동작신호를 기초로 제어신호를 생성하여 제어대상 기기(300)의 동작을 제어한다. (ST44)Then, the control signal generating means 330 of the control target device 300 generates a control signal based on the received operation signal and controls the operation of the control target device 300. [ (ST44)

이상에서는 본 발명의 바람직한 실시예를 설명하였으나 본 발명은 전술한 실시예에 한정되지 않고 다양한 형태로 변형될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments.

일 예로서, 전술한 실시예에서는 기본적으로 모션센서(110) 또는 동작검출카메라(600)를 이용하여 사용자의 동작신호를 검출하고 제어대상 기기(300)를 제어하였는데, 제어대상 기기(300)의 동작모드가 다양한 경우에는 모션센서(110) 또는 동작검출카메라(600)에서 검출되는 동작신호만으로는 다양한 동작모드를 모두 선택하기 어려운 경우도 있다.For example, in the above-described embodiment, the operation signal of the user is detected using the motion sensor 110 or the motion detection camera 600, and the control target device 300 is controlled. However, In a case where the operation mode is various, it may be difficult to select all of the various operation modes by only the operation signal detected by the motion sensor 110 or the motion detection camera 600. [

이러한 경우에는 다양한 동작모드에 각각 대응하는 다양한 근전도신호의 특성(패턴, 세기 등)을 미리 저장해 두고, 검출된 근전도신호의 패턴 또는 세기를 이용하여 사용자의 동작의도를 판단함과 동시에 사용자가 의도하는 동작모드까지 판단하도록 설정 할 수도 있다.In this case, the characteristics (pattern, intensity, and the like) of various EMG signals corresponding to the various operation modes are stored in advance and the user's intention of the operation is determined using the detected EMG signal pattern or intensity, It is also possible to set the operation mode to be determined.

다른 예로서, 본 발명의 제1 내지 제3 실시예에서는, 사용자의 근전도를 이용하여 동작의도를 판단하였으나, 구체적인 적용분야에 따라서는 근전도를 대신하여 다른 종류의 생체신호, 예를 들어 뇌파(EEG), 심전도(EOG), 안구전도(EOG), 체온, 혈압, 맥박 등을 이용하여 동작의도를 판단할 수도 있다.As another example, in the first to third embodiments of the present invention, the degree of operation is determined using the user's EMG. However, depending on the specific application field, other types of biological signals, for example, brain waves EOG), electrocardiogram (EOG), eye conduction (EOG), body temperature, blood pressure, pulse, and the like.

구체적으로는 헤드마운트 장치를 사용하는 경우에, 안전도(EOG) 센서를 이용하여 눈 주변의 근육 움직임을 확인할 수 있고, 카메라 등의 안구운동감시센서를 이용하여 눈동자의 움직임을 확인할 수 있다. 또한 뇌전도 센서를 이용하여 뇌파를 용이하게 확인할 수도 있다. 따라서 안전도의 세기 또는 패턴, 눈동자의 움직임 또는 깜박임, 뇌파의 세기 또는 패턴 등을 설정 기준과 대비하여 설정 기준을 충족하는 경우에 한하여 모션센서에서 검출된 동작신호가 제어대상 기기로 전송되도록 할 수 있다.Specifically, when a head mount device is used, movement of muscles around the eye can be confirmed by using an EOG sensor, and movement of the pupil can be confirmed using an eye movement monitoring sensor such as a camera. In addition, EEG can be easily detected using an EEG sensor. Therefore, the operation signal detected by the motion sensor can be transmitted to the control target device only when the setting criterion is met in comparison with the setting criterion, such as the strength or pattern of the safety degree, the motion or flicker of the pupil, the intensity or pattern of the brain waves, .

한편 제어대상 기기(300)의 종류는 특별히 제한되지 않는다 예를 들어 컴퓨터 및 그 주변기기, 게임용 기기, 가상현실(VR) 기기, 증강현실(AR) 기기, 휴대폰, 태블릿PC 등의 개인용 기기, TV, 에어컨, 오디오, 비디오, 냉장고, 세탁기, 청소기 등의 가전기기, 난방기기, 조명기기, 통신기기, 홈네트워크 기기, 전자식 도어락(door lock), 차량 탑재장치, 의료기기, 산업용 로봇, 의료용 로봇 등을 포함할 수 있다.Meanwhile, the type of the control target device 300 is not particularly limited. For example, the control target device 300 may be a personal computer such as a computer and its peripheral devices, a game device, a virtual reality (VR) device, an augmented reality (AR) device, Home appliances, electronic door locks, vehicle mounted devices, medical devices, industrial robots, and medical robots, which are used in home appliances such as air conditioners, audio, video, refrigerators, washing machines and vacuum cleaners, heating devices, lighting devices, communication devices, .

이와 같이 본 발명은 구체적인 적용에 있어서 다양하게 변형 또는 수정되어 실시될 수 있으며, 변형 또는 수정된 실시예도 후술하는 특허청구범위에 개시된 본 발명의 기술적 사상을 포함한다면 본 발명의 권리범위에 속함은 당연하다 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the inventive concept as defined by the appended claims. I will do it.

100: 동작검출장치 110: 모션센서
120: 의도검출수단 130: 통신수단
140: 저장수단 150: 동작의도판단수단
200: 근전도검출장치 210: 근전도센서
230: 통신수단 300: 제어대상 기기
310: 통신수단 320: 동작의도 판단수단
330: 제어신호생성수단 340: 디스플레이
350: 구동수단 500: 착용형 장치
510: 모션센서 520: 근전도센서
530: 동작의도 판단수단 540: 저장수단
550: 통신수단 600: 동작검출카메라
100: motion detection device 110: motion sensor
120: intention detecting means 130: communication means
140: Storage means 150: Operation determination means
200: EMG detector 210: EMG sensor
230: communication means 300: control target device
310: communication means 320: means for determining the degree of operation
330: control signal generating means 340: display
350: drive means 500: wearable device
510: Motion sensor 520: EMG sensor
530: Operation state determination means 540: Storage means
550: communication means 600: motion detection camera

Claims (12)

사용자의 동작을 검출하여 동작신호를 생성하는 제1검출수단;
사용자의 생체신호를 검출하는 제2 검출수단;
상기 생체신호를 이용하여, 상기 동작신호가 사용자가 의도한 동작에 의한 것인지 여부를 판단하는 동작의도 판단수단
을 포함하는 동작 인식 시스템
First detecting means for detecting an operation of a user and generating an operation signal;
Second detection means for detecting a user's biological signal;
Determining whether or not the operation signal is caused by an operation intended by the user by using the bio-signal;
≪ / RTI >
제1항에 있어서,
상기 동작의도 판단수단은, 상기 제1 검출수단에서 상기 동작신호가 검출된 시점을 기준으로, 설정된 시간 이내에 상기 제2 검출수단에서 설정된 기준을 만족하는 생체신호가 검출되면 상기 동작신호를 사용자가 의도한 동작에 의한 것으로 판단하는 것을 특징으로 하는 동작 인식 시스템
The method according to claim 1,
Wherein the operation degree determination means determines that the biological signal satisfying the criterion set by the second detection means within a set time is detected based on the time point at which the operation signal is detected by the first detection means, Wherein the control unit determines that the operation is performed by an intended operation
제1항 또는 제2항에 있어서,
상기 제1 검출수단, 상기 제2 검출수단, 및 상기 동작의도 판단수단은 사용자의 신체에 착용하는 착용형 장치에 설치된 것을 특징으로 하는 동작 인식 시스템
3. The method according to claim 1 or 2,
Characterized in that the first detection means, the second detection means, and the operation degree determination means are provided in a wearable apparatus worn on the user's body,
제1항 또는 제2항에 있어서,
상기 제1 검출수단 및 상기 제2 검출수단은 사용자의 신체에 착용하는 착용형 장치에 설치되고,
상기 동작의도 판단수단은 제어대상 기기에 설치된 것을 특징으로 하는 동작 인식 시스템
3. The method according to claim 1 or 2,
Wherein the first detecting means and the second detecting means are provided in a wearable apparatus which is worn on the user's body,
Characterized in that the means for judging the operation intention is installed in the control subject device
제1항 또는 제2항에 있어서,
상기 제1 검출수단은 모션센서이고, 상기 제2 검출수단은 근전도센서. 안전도센서, 안구운동감지센서, 또는 뇌전도센서인 것을 특징으로 하는 동작 인식 시스템
3. The method according to claim 1 or 2,
The first detection means is a motion sensor, and the second detection means is an electromyographic sensor. A safety sensor, an eye movement sensor, or an electroencephalogram sensor.
제1항 또는 제2항에 있어서,
상기 제1 검출수단은 동작검출카메라이고, 상기 제2 검출수단은 근전도센서. 안전도센서, 안구운동감지센서, 또는 뇌전도센서인 것을 특징으로 하는 동작 인식 시스템
3. The method according to claim 1 or 2,
The first detection means is an operation detection camera, and the second detection means is an electromyographic sensor. A safety sensor, an eye movement sensor, or an electroencephalogram sensor.
사용자의 동작을 검출하여 동작신호를 생성하는 동작검출수단;
사용자가 동작의도를 입력하는 의도입력수단;
상기 의도입력수단을 통한 입력신호를 이용하여, 상기 동작신호가 사용자가 의도한 동작에 의한 것인지 여부를 판단하는 동작의도 판단수단
을 포함하는 동작 인식 시스템
Operation detecting means for detecting an operation of a user and generating an operation signal;
An intention input means by which a user inputs an operation intention;
An operation determination means for determining whether the operation signal is based on an operation intended by a user by using an input signal through the intention input means,
≪ / RTI >
제7항에 있어서,
상기 동작검출수단은 모션센서이고, 상기 의도입력수단은 스위치, 버튼, 터치키 또는 압력센서인 것을 특징으로 하는 동작 인식 시스템
8. The method of claim 7,
Characterized in that the motion detection means is a motion sensor and the intention input means is a switch, a button, a touch key or a pressure sensor.
제1 검출수단에서 사용자의 동작을 검출하여 동작신호를 생성하는 단계;
제2 검출수단에서 사용자의 생체신호가 검출되는지 여부를 확인하는 단계;
생체신호가 검출되면, 검출된 생체신호가 설정된 기준을 만족하는지 여부를 판단하는 단계;
검출된 생체신호가 설정된 기준을 만족하면, 상기 동작신호가 사용자가 의도한 동작에 의한 것으로 판단하는 단계
를 포함하는 동작 인식 방법
Detecting an operation of the user at the first detecting means and generating an operation signal;
Confirming whether or not the user's biological signal is detected by the second detection means;
Determining whether a detected biological signal satisfies a set criterion when the biological signal is detected;
When the detected bio-signal satisfies a set criterion, determining that the operation signal is due to an operation intended by the user
≪ / RTI >
제9항에 있어서,
상기 제2 검출수단에서 사용자의 생체신호가 검출되는지 여부를 확인하는 단계에서는, 상기 제1 검출수단에서 상기 동작신호가 검출된 시점을 기준으로 설정된 시간 이내에 상기 제2 검출수단에서 생체신호가 검출되는지 여부를 확인하는 것을 특징으로 하는 동작 인식 방법
10. The method of claim 9,
Wherein the step of verifying whether or not a biometric signal of a user is detected by the second detection means includes a step of detecting whether a biometric signal is detected by the second detection means within a time set on the basis of a time point at which the operation signal is detected by the first detection means The method comprising the steps of:
제9항에 있어서,
검출된 생체신호가 설정된 기준을 만족하는지 여부를 판단하는 단계에서는, 검출된 생체신호의 패턴이 저장된 패턴과 일치하는지 여부를 확인하거나 검출된 생체신호의 세기가 설정 기준을 만족하는지를 판단하는 것을 특징으로 하는 동작 인식 방법
10. The method of claim 9,
Wherein the step of determining whether the detected biomedical signal satisfies a set criterion includes checking whether a pattern of the detected biomedical signal matches the stored pattern or determining whether the strength of the detected biomedical signal satisfies a set criterion A method of recognizing a motion
제11항에 있어서,
상기 동작신호가 사용자가 의도한 동작에 의한 것으로 판단하는 단계에서는, 검출된 생체신호를 이용하여 제어대상 기기의 다양한 동작모드 중에서 사용자가 의도하는 동작모드를 판단하는 과정을 포함하는 것을 특징으로 하는 동작 인식 방법
12. The method of claim 11,
Wherein the step of determining that the operation signal is caused by the user's intended action includes the step of determining an operation mode intended by the user among various operation modes of the control target device using the detected bio- Recognition method
KR1020160038218A 2016-03-30 2016-03-30 Method of determining motion intent of user and motion recognition system for the same KR20170113957A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160038218A KR20170113957A (en) 2016-03-30 2016-03-30 Method of determining motion intent of user and motion recognition system for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160038218A KR20170113957A (en) 2016-03-30 2016-03-30 Method of determining motion intent of user and motion recognition system for the same

Publications (1)

Publication Number Publication Date
KR20170113957A true KR20170113957A (en) 2017-10-13

Family

ID=60139383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160038218A KR20170113957A (en) 2016-03-30 2016-03-30 Method of determining motion intent of user and motion recognition system for the same

Country Status (1)

Country Link
KR (1) KR20170113957A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190120941A (en) * 2018-04-17 2019-10-25 연세대학교 원주산학협력단 Polygraph apparatus for evaluate a degree of disability and control method thereof
KR102182413B1 (en) * 2019-11-28 2020-11-25 한국전자기술연구원 Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190120941A (en) * 2018-04-17 2019-10-25 연세대학교 원주산학협력단 Polygraph apparatus for evaluate a degree of disability and control method thereof
KR102182413B1 (en) * 2019-11-28 2020-11-25 한국전자기술연구원 Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor

Similar Documents

Publication Publication Date Title
US20200097083A1 (en) Neuromuscular control of physical objects in an environment
US20200113641A1 (en) Method and system for hand tracking in a robotic system
US9901402B2 (en) Method and apparatus for hand gesture control in a minimally invasive surgical system
US8682489B2 (en) Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
US8543240B2 (en) Master finger tracking device and method of use in a minimally invasive surgical system
US11822729B2 (en) Systems and methods for gesture-based control
US20100066664A1 (en) Wrist-worn input apparatus and method
US10397686B2 (en) Detection of movement adjacent an earpiece device
US20120165704A1 (en) Apparatus for controlling rehabilitation robot
US11762473B2 (en) Gesture control systems with logical states
CN105452995B (en) The method of wearable bio signal interface and the wearable bio signal interface of operation
KR20160009741A (en) Wearable control device and authentication and pairing method for the same
CN111290572A (en) Driving device and driving method based on EOG signal and head posture
WO2021154606A1 (en) Human-machine interface using biopotential sensor and location sensor
KR20170113957A (en) Method of determining motion intent of user and motion recognition system for the same
KR101499348B1 (en) Wrist band type control device
US11493994B2 (en) Input device using bioelectric potential
CN114661168A (en) Intelligent glasses interaction device, intelligent glasses and intelligent glasses interaction method
CN114610159A (en) Intelligent glasses control equipment, intelligent glasses and intelligent glasses interaction method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application