KR101675214B1 - System and method for recognizing gesture in electronic device - Google Patents

System and method for recognizing gesture in electronic device Download PDF

Info

Publication number
KR101675214B1
KR101675214B1 KR1020150005983A KR20150005983A KR101675214B1 KR 101675214 B1 KR101675214 B1 KR 101675214B1 KR 1020150005983 A KR1020150005983 A KR 1020150005983A KR 20150005983 A KR20150005983 A KR 20150005983A KR 101675214 B1 KR101675214 B1 KR 101675214B1
Authority
KR
South Korea
Prior art keywords
operation signal
signal
electronic device
noise
difference
Prior art date
Application number
KR1020150005983A
Other languages
Korean (ko)
Other versions
KR20160087423A (en
Inventor
김영철
김수형
오강한
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020150005983A priority Critical patent/KR101675214B1/en
Publication of KR20160087423A publication Critical patent/KR20160087423A/en
Application granted granted Critical
Publication of KR101675214B1 publication Critical patent/KR101675214B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

전자기기에서의 동작 인식 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 전자기기에서의 동작 인식 시스템은, 복수 개의 전위계차 센서를 이용하여 사용자의 동작에 따른 동작 신호를 추출하는 신호 추출부; 칼만 필터(Kalman Filter)를 이용하여 상기 동작 신호에 포함된 잡음을 제거하는 잡음 제거부; PCA(Principle Component Analysis) 알고리즘을 이용하여, 잡음이 제거된 상기 동작 신호의 차원을 축소시키는 특징 추출부; 및 DTW(Dynamic Time Warping) 알고리즘 및 K-NN(K-Nearest Neighbors) 분류기를 이용하여, 차원이 축소된 상기 동작 신호를 인식하는 동작 인식부를 포함한다.A motion recognition system and method in an electronic device are provided. An operation recognition system in an electronic device according to an embodiment of the present invention includes: a signal extraction unit for extracting an operation signal according to a user's operation using a plurality of potential difference sensors; A noise eliminator for removing noise included in the operation signal using a Kalman filter; A feature extracting unit for reducing a dimension of the noise canceling operation signal using a PCA (Principle Component Analysis) algorithm; And an operation recognition unit for recognizing the operation signal whose dimension is reduced by using a DTW (Dynamic Time Warping) algorithm and a K-Nearest Neighbors (K-NN) classifier.

Description

전자기기에서의 동작 인식 시스템 및 방법{SYSTEM AND METHOD FOR RECOGNIZING GESTURE IN ELECTRONIC DEVICE}[0001] SYSTEM AND METHOD FOR RECOGNIZING GESTURE IN ELECTRONIC DEVICE [0002]

본 발명은 전자기기에서 사용자의 동작을 인식하는 기술과 관련된다.
The present invention relates to a technique for recognizing a user's operation in an electronic device.

명령어 줄 인터페이스(CLI : Command Line Interface), 그래픽 사용자 인터페이스(GUI : Graphic User Interface) 등 사용자 인터페이스(UI : User Interface) 기술은 날로 발전해왔다. 최근 주목 받고 있는 감성 유저 인터페이스(NUI : Natural User Interface)는 앞서 언급한 CLI, GUI 보다 사람들이 더 손쉽게 사용할 수 있는 직관적 UI이다. NUI 기술들은 키보드와 마우스 등과 같은 입력 장치 없이 사람들의 동작, 음성, 상태 등을 센서가 분석하여 이를 인식하는 공통점이 있다. User interface (UI) technologies such as a command line interface (CLI) and a graphical user interface (GUI) have evolved. The NUI (Natural User Interface), which has been attracting attention recently, is an intuitive UI that people can use more easily than the above-mentioned CLI and GUI. NUI technologies have commonality in that sensors analyze the behavior, voice, and status of people without input devices such as keyboards and mice.

일반적으로, 스마트 TV의 NUI 환경은 카메라로 사용자의 동작을 인식하도록 구성되며, 이와 관련되어 많은 연구가 진행되고 있다. 그러나, 종래 기술에 따른 NUI는 사용자의 동작 인식율이 떨어지는 문제점이 있었으며, 이는 조명이 민감한 환경에서 더욱 문제가 된다.
In general, the NUI environment of smart TV is configured to recognize a user's operation with a camera, and a lot of research has been conducted in relation to this. However, the NUI according to the prior art has a problem in that the operation recognition rate of the user is low, which is more problematic in a light-sensitive environment.

한국공개특허공보 제10-2006-0070280호(2006.06.23)Korean Patent Publication No. 10-2006-0070280 (Jun. 23, 2006)

본 발명의 실시예들은 전자기기에서의 사용자의 동작 인식율을 향상시킬 수 있는 수단을 제공하기 위한 것이다.
Embodiments of the present invention are intended to provide a means for improving a user's operation recognition rate in an electronic device.

본 발명의 예시적인 실시예에 따르면, 복수 개의 전위계차 센서를 이용하여 사용자의 동작에 따른 동작 신호를 추출하는 신호 추출부; 칼만 필터(Kalman Filter)를 이용하여 상기 동작 신호에 포함된 잡음을 제거하는 잡음 제거부; PCA(Principle Component Analysis) 알고리즘을 이용하여, 잡음이 제거된 상기 동작 신호의 차원을 축소시키는 특징 추출부; 및 DTW(Dynamic Time Warping) 알고리즘 및 K-NN(K-Nearest Neighbors) 분류기를 이용하여, 차원이 축소된 상기 동작 신호를 인식하는 동작 인식부를 포함하는, 전자기기에서의 동작 인식 시스템이 제공된다.According to an exemplary embodiment of the present invention, a signal extracting unit extracts an operation signal according to a user's operation using a plurality of potential difference sensors. A noise eliminator for removing noise included in the operation signal using a Kalman filter; A feature extracting unit for reducing a dimension of the noise canceling operation signal using a PCA (Principle Component Analysis) algorithm; And an operation recognition unit for recognizing the operation signal whose dimension has been reduced using a dynamic time warping (DTW) algorithm and a K-nearest neighbors (K-NN) classifier.

상기 신호 추출부는, 상기 복수 개의 전위계차 센서에서 인식된 신호의 차를 상기 동작 신호로 추출할 수 있다.The signal extracting unit may extract a difference between signals recognized by the plurality of potential difference sensors as the operation signal.

상기 인식된 신호의 차는, 전자기기의 제1축 상에 배치되는 복수 개의 전위계차 센서에서 인식된 신호의 차 및 상기 제1축을 가로지르는 제2축 상에 배치되는 복수 개의 전위계차 센서에서 인식된 신호의 차를 포함할 수 있다.Wherein the difference of the recognized signals is detected by a plurality of potential field difference sensors disposed on a second axis across the first axis and a difference of signals recognized by a plurality of potential field difference sensors disposed on a first axis of the electronic device Signal.

상기 복수 개의 전위계차 센서는, 상기 전자기기의 테두리 상의 모서리 부분에 배치될 수 있다.The plurality of potential difference sensors may be disposed at corner portions on the rim of the electronic device.

상기 잡음 제거부는, 상기 동작 신호에 포함된 미세 잡음을 RMS(Root Mean Square) 에버리징(averaging)할 수 있다.The noise canceling unit may averify the root mean square (RMS) of the fine noise included in the operation signal.

상기 잡음 제거부는, 상기 동작 신호에 포함된 미세 잡음을 SMA(Standard Moving Average) 기법을 이용하여 제거할 수 있다.The noise canceller may remove the fine noise included in the operation signal using a standard moving average (SMA) technique.

상기 동작 인식부는, 상기 DTW 알고리즘을 이용하여 시계열적으로 추출되는 상기 동작 신호의 입력 벡터와 기 저장된 훈련 벡터와의 거리를 계산하고, 상기 K-NN 분류기를 이용하여 상기 입력 벡터를 중심으로 가장 가까운 K개의 훈련 벡터를 검출한 후 상기 입력 벡터를 상기 K개의 훈련 벡터 중 가장 빈도수가 높은 훈련 벡터로 분류할 수 있다.Wherein the motion recognition unit calculates a distance between an input vector of the operation signal extracted in a time series using the DTW algorithm and a pre-stored training vector, and calculates a distance between the input vector and the pre- After the K training vectors are detected, the input vector can be classified into training vectors having the highest frequency among the K training vectors.

상기 전자기기에서의 동작 인식 시스템은, 인식된 상기 동작 신호에 따라 전자기기의 동작을 제어하는 제어부를 더 포함할 수 있다.The operation recognition system in the electronic device may further include a control unit for controlling the operation of the electronic device according to the recognized operation signal.

본 발명의 다른 예시적인 실시예에 따르면, 복수 개의 전위계차 센서를 이용하여 사용자의 동작에 따른 동작 신호를 추출하는 단계; 칼만 필터(Kalman Filter)를 이용하여 상기 동작 신호에 포함된 잡음을 제거하는 단계; PCA(Principle Component Analysis) 알고리즘을 이용하여, 잡음이 제거된 상기 동작 신호의 차원을 축소시키는 단계; 및 DTW(Dynamic Time Warping) 알고리즘 및 K-NN(K-Nearest Neighbors) 분류기를 이용하여, 차원이 축소된 상기 동작 신호를 인식하는 단계를 포함하는, 전자기기에서의 동작 인식 방법이 제공된다.According to another exemplary embodiment of the present invention, there is provided a method of driving an electronic device, comprising: extracting an operation signal according to an operation of a user using a plurality of potential difference sensors; Removing noise included in the operation signal using a Kalman filter; Reducing a dimension of the noise canceled operation signal using a PCA (Principle Component Analysis) algorithm; And recognizing the motion signal whose dimension has been reduced using a dynamic time warping (DTW) algorithm and a K-nearest neighbors (K-NN) classifier.

상기 동작 신호를 추출하는 단계는, 상기 복수 개의 전위계차 센서에서 인식된 신호의 차를 상기 동작 신호로 추출할 수 있다.The step of extracting the operation signal may extract the difference between signals recognized by the plurality of potential field difference sensors as the operation signal.

상기 인식된 신호의 차는, 전자기기의 제1축 상에 배치되는 복수 개의 전위계차 센서에서 인식된 신호의 차 및 상기 제1축을 가로지르는 제2축 상에 배치되는 복수 개의 전위계차 센서에서 인식된 신호의 차를 포함할 수 있다.Wherein the difference of the recognized signals is detected by a plurality of potential field difference sensors disposed on a second axis across the first axis and a difference of signals recognized by a plurality of potential field difference sensors disposed on a first axis of the electronic device Signal.

상기 전자기기에서의 동작 인식 방법은, 상기 동작 신호에 포함된 잡음을 제거하는 단계 이후, 상기 동작 신호에 포함된 미세 잡음을 RMS(Root Mean Square) 에버리징(averaging)하는 단계를 더 포함할 수 있다.The method of recognizing an operation in the electronic device may further include a step of averaging RMS (root mean square) of the fine noise included in the operation signal after removing the noise included in the operation signal have.

상기 전자기기에서의 동작 인식 방법은, 상기 미세 잡음을 RMS 에버리징하는 단계 이후, 상기 동작 신호에 포함된 미세 잡음을 SMA(Standard Moving Average) 기법을 이용하여 제거하는 단계를 더 포함할 수 있다.The method of recognizing an operation in the electronic device may further include removing the fine noise included in the operation signal using a standard moving average (SMA) technique after RMS averaging the fine noise.

상기 동작 신호를 인식하는 단계는, 상기 DTW 알고리즘을 이용하여 시계열적으로 추출되는 상기 동작 신호의 입력 벡터와 기 저장된 훈련 벡터와의 거리를 계산하는 단계; 및 상기 K-NN 분류기를 이용하여 상기 입력 벡터를 중심으로 가장 가까운 K개의 훈련 벡터를 검출한 후 상기 입력 벡터를 상기 K개의 훈련 벡터 중 가장 빈도수가 높은 훈련 벡터로 분류하는 단계를 포함할 수 있다.The step of recognizing the operation signal may include calculating a distance between an input vector of the operation signal extracted in a time series using the DTW algorithm and a pre-stored training vector; And a step of detecting K training vectors closest to the input vector using the K-NN classifier and classifying the input vector as a training vector having the highest frequency among the K training vectors .

상기 전자기기에서의 동작 인식 방법은, 인식된 상기 동작 신호에 따라 전자기기의 동작을 제어하는 단계를 더 포함할 수 있다.
The method of recognizing an operation in the electronic device may further include controlling an operation of the electronic device in accordance with the recognized operation signal.

본 발명의 실시예들에 따르면, RMS 에버리징 기법과 SMA 기법을 동시에 이용하여 동작 신호에 포함된 미세 잡음을 제거하고 동작 신호를 부드럽게 처리할 수 있다.According to embodiments of the present invention, fine noise included in an operation signal can be removed and an operation signal can be smoothly processed by simultaneously using the RMS averaging technique and the SMA technique.

또한, 본 발명의 실시예들에 따르면, PCA 알고리즘을 이용하여 동작 신호의 차원을 축소시키고, DTW 알고리즘 및 K-NN 분류기를 이용하여 동작 신호를 인식함으로써, 동작 신호의 인식률을 크게 향상시킬 수 있다.
In addition, according to embodiments of the present invention, it is possible to greatly improve the recognition rate of the operation signal by reducing the dimension of the operation signal using the PCA algorithm and recognizing the operation signal using the DTW algorithm and the K-NN classifier .

도 1은 본 발명의 일 실시예에 따른 전자기기에서의 동작 인식 시스템이 적용되는 환경을 개략적으로 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 사용자의 동작 예시를 나타낸 도면
도 3은 본 발명의 다른 실시예에 따른 전자기기에서의 동작 인식 시스템이 적용되는 환경을 개략적으로 나타낸 도면
도 4는 본 발명의 일 실시예에 따른 전자기기에서의 동작 인식 시스템의 상세 구성을 나타낸 블록도
도 5는 본 발명의 일 실시예에 따른 신호 추출부에서 동작 신호를 획득하는 과정을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 신호 추출부에서 2차원의 동작 신호를 획득하는 과정을 설명하기 위한 도면
도 7은 본 발명의 일 실시예에 따른 잡음 제거부가 동작 신호에 포함된 잡음을 제거하는 과정을 설명하기 위한 도면
도 8은 본 발명의 일 실시예에 따른 리샘플링부에서 동작 신호를 리샘플링하는 과정을 설명하기 위한 도면
도 9는 본 발명의 일 실시예에 따른 리샘플링부에서 동작 신호를 리샘플링하는 과정을 설명하기 위한 도면
도 10은 본 발명의 일 실시예에 따른 동작 인식부에서 동작 신호의 입력 벡터와 훈련 벡터와의 거리를 계산하는 과정을 설명하기 위한 도면
도 11은 유클리디안 알고리즘과 본 발명의 일 실시예에 따른 DTW(Dynamic Time Warping) 알고리즘의 거리 측정 방법의 차이를 설명하기 위한 도면
도 12는 본 발명의 일 실시예에 따른 동작 인식부에서 K-NN(K-Nearest Neighbors) 분류기를 이용하여 동작 신호를 인식하는 과정을 설명하기 위한 도면
도 13은 본 발명의 일 실시예에 따른 전자기기의 동작 인식 방법을 설명하기 위한 흐름도1 is a view schematically showing an environment to which an operation recognition system in an electronic device according to an embodiment of the present invention is applied;
2 is a diagram illustrating an example of operation of a user according to an embodiment of the present invention.
3 is a view schematically showing an environment to which an operation recognition system in an electronic device according to another embodiment of the present invention is applied
4 is a block diagram showing a detailed configuration of an operation recognition system in an electronic device according to an embodiment of the present invention;
5 is a diagram for explaining a process of acquiring an operation signal in a signal extracting unit according to an embodiment of the present invention;
6 is a view for explaining a process of acquiring a two-dimensional operation signal in the signal extracting unit according to an embodiment of the present invention;
7 is a diagram for explaining a process of removing noise included in the noise canceling operation signal according to the embodiment of the present invention
8 is a diagram for explaining a process of resampling an operation signal in a resampler according to an embodiment of the present invention;
9 is a diagram for explaining a process of resampling an operation signal in a resampler according to an embodiment of the present invention;
10 is a diagram for explaining a process of calculating a distance between an input vector of an operation signal and a training vector in an operation recognition unit according to an embodiment of the present invention;
11 is a diagram for explaining the difference between the Euclidean algorithm and the distance measurement method of the DTW algorithm according to an embodiment of the present invention;
12 is a diagram for explaining a process of recognizing an operation signal using a K-Nearest Neighbors (K-NN) classifier in an operation recognition unit according to an embodiment of the present invention
13 is a flowchart for explaining an operation recognition method of an electronic device according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 구체적인 실시예를 설명하기로 한다. 그러나 이는 예시적 실시예에 불과하며 본 발명은 이에 한정되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, this is an exemplary embodiment only and the present invention is not limited thereto.

본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical idea of the present invention is determined by the claims, and the following embodiments are merely a means for efficiently describing the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs.

도 1은 본 발명의 일 실시예에 따른 전자기기에서의 동작 인식 시스템(100)이 적용되는 환경을 개략적으로 나타낸 도면이다.1 is a diagram schematically illustrating an environment to which an operation recognition system 100 in an electronic device according to an embodiment of the present invention is applied.

도 1에 도시된 바와 같이, 사용자는 전자기기(50)의 근방, 예를 들어 전자기기(50)의 3m 범위 이내에서 손, 발, 몸 등을 움직임으로써 전자기기(50)의 동작을 제어할 수 있다. 여기서, 전자기기(50)는 예를 들어, TV, 오디오, 에어컨, 세탁기 등이 될 수 있다. 또한, 전자기기(50)의 동작은 예를 들어, 전자기기(50)의 온/오프/절전 모드, TV의 채널 전환, 오디오의 볼륨 증감, 에어컨의 온도 증감 등이 될 수 있다.1, the user controls the operation of the electronic device 50 by moving his / her hands, feet, body, etc. in the vicinity of the electronic device 50, for example, within 3 m of the electronic device 50 . Here, the electronic device 50 may be, for example, a TV, audio, air conditioner, washing machine, or the like. The operation of the electronic device 50 may be, for example, an on / off / power saving mode of the electronic device 50, a channel switching of the TV, a volume increase or decrease of audio,

전자기기(50)에는 사용자의 동작을 감지하기 위한 복수 개의 전위계차 센서(60-1, 60-2, 60-3, 60-4)가 배치될 수 있다. 전위계차 센서(60-1, 60-2, 60-3, 60-4)는 전위계차 센서(60-1, 60-2, 60-3, 60-4)의 주변 전위값을 측정하는 센서이다. 사람의 손, 발, 몸 등의 유전체가 전위계차 센서(60-1, 60-2, 60-3, 60-4)에 가까워지면 전위계차 센서(60-1, 60-2, 60-3, 60-4)에서 측정되는 전위값은 증가한다. 반대로, 사람의 손, 발, 몸 등의 유전체가 전위계차 센서(60-1, 60-2, 60-3, 60-4)에서 멀어지면 전위계차 센서(60-1, 60-2, 60-3, 60-4)에서 측정되는 전위값은 감소한다. A plurality of potentiometer sensors 60-1, 60-2, 60-3, and 60-4 may be disposed in the electronic device 50 for sensing the operation of the user. The potential level difference sensors 60-1, 60-2, 60-3, and 60-4 are sensors that measure the potential values of the potential level difference sensors 60-1, 60-2, 60-3, and 60-4 . When the dielectrics of the human hand, foot, body and the like are close to the potentiometer sensor 60-1, 60-2, 60-3, 60-4, the potentiometer sensors 60-1, 60-2, 60-3, The potential value measured at 60-4 increases. On the other hand, when the dielectric of the human hand, foot, body, etc. is away from the potential field difference sensors 60-1, 60-2, 60-3, and 60-4, the potential difference sensors 60-1, 60-2, 3, 60-4) decreases.

전위계차 센서(60-1, 60-2, 60-3, 60-4)는 매우 민감한 센서이므로 TV 등의 전자기기(50)의 정전기 방해에 대한 영향을 최소화하여야 한다. 전자기기(50)의 정전기의 방해가 클수록 전위계차 센서(60-1, 60-2, 60-3, 60-4)에서 측정할 수 있는 전위의 측정 거리가 줄어들게 된다. 이에 따라, 본 발명의 실시예들에 따르면, 전위계차 센서(60-1, 60-2, 60-3, 60-4)가 전자기기(50)의 정전기 방해의 영향을 가장 적게 받는 테두리 상의 모서리 부분에 배치될 수 있도록 하였다. 전위계차 센서(60-1, 60-2, 60-3, 60-4)는 예를 들어, 사각 형태를 이루도록 전자기기(50)의 테두리 상의 모서리 부분에 배치될 수 있다. 도 1에 도시된 바와 같이, 제 1 전위계차 센서(60-1)은 전자기기(50)의 좌측 상단의 모서리 부분에 배치되며, 제 2 전위계차 센서(60-2)는 전자기기(50)의 우측 하단의 모서리 부분에 배치되며, 제 3 전위계차 센서(60-3)는 전자기기(50)의 우측 상단의 모서리 부분에 배치되며, 제 4 전위계차 센서(60-4)는 전자기기(50)의 좌측 하단의 모서리 부분에 배치될 수 있다.
Since the potentiometer sensors 60-1, 60-2, 60-3, and 60-4 are highly sensitive sensors, the influence of static electricity disturbance of the electronic device 50 such as a TV should be minimized. The greater the disturbance of the static electricity of the electronic device 50, the smaller the measurement distance of the electric potential that can be measured by the potentiometer sensors 60-1, 60-2, 60-3, and 60-4. Thus, according to the embodiments of the present invention, the potentiometric sensors 60-1, 60-2, 60-3, and 60-4 can detect the edges of the edges that are least affected by the electrostatic interference of the electronic device 50 To be placed in the area. The potential-difference sensors 60-1, 60-2, 60-3, and 60-4 may be disposed at corner portions on the rim of the electronic device 50, for example, in a rectangular shape. 1, the first potential difference sensor 60-1 is disposed at the upper left corner of the electronic device 50 and the second potentiometer sensor 60-2 is disposed at the upper left corner of the electronic device 50, The third electrometric difference sensor 60-3 is disposed at a corner portion of the right upper end of the electronic device 50 and the fourth electrometric difference sensor 60-4 is disposed at a corner portion of the lower right end of the electronic device 50 50 at the lower left corner.

도 2는 본 발명의 일 실시예에 따른 사용자의 동작 예시를 나타낸 도면이다. 도 2에 도시된 바와 같이, 사용자는 예를 들어, 손을 상, 하, 좌, 우로 움직이거나 시계 방향 또는 시계 반대 방향으로 원을 그리는 등 다양한 동작을 취할 수 있다. 전위계차 센서(60-1, 60-2, 60-3, 60-4)는 사용자의 동작에 따른 동작 신호를 인식할 수 있으며, 사용자의 동작에 따라 전자기기(50)의 동작이 달라질 수 있다. 예를 들어, 사용자가 손을 왼쪽에서 오른쪽으로 움직일 경우 전자기기(50)가 오프 상태로 전환될 수 있으며, 사용자가 손을 오른쪽에서 왼쪽으로 움직일 경우 전자기기(50)가 온 상태로 전환될 수 있다.
2 is a diagram illustrating an example of operation of a user according to an embodiment of the present invention. As shown in FIG. 2, the user can take various actions, such as moving the hand up, down, left, and right, or drawing a circle clockwise or counterclockwise, for example. The potential difference sensors 60-1, 60-2, 60-3, and 60-4 can recognize an operation signal according to a user's operation, and the operation of the electronic device 50 can be changed according to a user's operation . For example, when the user moves his / her hand from left to right, the electronic device 50 can be turned off, and when the user moves his / her hand from right to left, the electronic device 50 can be turned on have.

도 3은 본 발명의 다른 실시예에 따른 전자기기에서의 동작 인식 시스템(100)이 적용되는 환경을 개략적으로 나타낸 도면이다. 도 3에 도시된 바와 같이, 복수 개의 전자기기(70, 80)를 통해 전자기기에서의 동작 인식 시스템(100)을 구현할 수 있다. 제 1 전자기기(70)는 예를 들어, 스마트폰일 수 있으며, 제 2 전자기기(80)는 예를 들어, 스마트 TV일 수 있다. 3 is a diagram schematically illustrating an environment in which an operation recognition system 100 in an electronic device according to another embodiment of the present invention is applied. As shown in FIG. 3, an operation recognition system 100 in an electronic device can be implemented through a plurality of electronic devices 70 and 80. The first electronic device 70 may be, for example, a smart phone, and the second electronic device 80 may be, for example, a smart TV.

제 1 전자기기(70)에는 사용자의 동작을 감지하기 위한 복수 개의 전위계차 센서(60-1, 60-2, 60-3, 60-4)가 배치될 수 있다. 전위계차 센서(60-1, 60-2, 60-3, 60-4)는 예를 들어, 십자 형태를 이루도록 전자기기(50)의 테두리 상의 모서리 부분에 배치될 수 있다. 도 3에 도시된 바와 같이, 제 1 전위계차 센서(60-1)은 전자기기(70)의 좌측 테두리 부분에 배치되며, 제 2 전위계차 센서(60-2)는 전자기기(70)의 우측 테두리 부분에 배치되며, 제 3 전위계차 센서(60-3)는 전자기기(70)의 상측 테두리 부분에 배치되며, 제 4 전위계차 센서(60-4)는 전자기기(70)의 하측 테두리 부분에 배치될 수 있다.A plurality of potentiometer sensors 60-1, 60-2, 60-3, and 60-4 may be disposed in the first electronic device 70 to detect the operation of the user. The potential difference sensors 60-1, 60-2, 60-3, and 60-4 may be disposed at corner portions on the rim of the electronic device 50, for example, in a cross shape. 3, the first potential difference sensor 60-1 is disposed at the left edge portion of the electronic device 70 and the second potential difference sensor 60-2 is disposed at the right edge of the electronic device 70. [ The third electrometric difference sensor 60-3 is disposed at the upper edge portion of the electronic device 70 and the fourth electrometric difference sensor 60-4 is disposed at the lower edge portion of the electronic device 70. [ As shown in FIG.

제 1 전자기기(70)의 전위계차 센서(60-1, 60-2, 60-3, 60-4)는 사용자의 동작에 따른 동작 신호를 인식할 수 있으며, 인식된 동작 신호는 블루투스, 와이파이 등을 통해 제 2 전자기기(80)로 전송되어 제 2 전자기기(80)의 동작을 제어하는 데 사용될 수 있다.
The potential difference sensors 60-1, 60-2, 60-3, and 60-4 of the first electronic device 70 can recognize an operation signal according to a user's operation, and the recognized operation signals include Bluetooth, Wi- Or the like, to the second electronic device 80 to control the operation of the second electronic device 80. [

도 4는 본 발명의 일 실시예에 따른 전자기기에서의 동작 인식 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전자기기에서의 동작 인식 시스템(100)은 신호 추출부(102), 잡음 제거부(104), 정규화부(106), 리샘플링부(108), 특징 추출부(110), 동작 인식부(112) 및 제어부(114)를 포함한다.4 is a block diagram showing a detailed configuration of an operation recognition system 100 in an electronic device according to an embodiment of the present invention. 4, an operation recognition system 100 in an electronic device according to an exemplary embodiment of the present invention includes a signal extracting unit 102, a noise removing unit 104, a normalizing unit 106, a resampler 108, a feature extraction unit 110, an operation recognition unit 112, and a control unit 114.

신호 추출부(102)는 복수 개의 전위계차 센서(60-1, 60-2, 60-3, 60-4)를 이용하여 사용자의 동작에 따른 동작 신호를 추출한다. 동작 신호는 전위계차 센서(60-1, 60-2, 60-3, 60-4)에서 시계열적으로 측정되는 전위값의 변화를 의미한다. 상술한 바와 같이, 전위계차 센서(60-1, 60-2, 60-3, 60-4)는 전위계차 센서(60-1, 60-2, 60-3, 60-4)의 주변 전위값을 측정하는 센서로서, 사람의 손, 발, 몸 등의 유전체가 접근하는지 여부에 따라 측정되는 전위값이 달라질 수 있다. 이때, 신호 추출부(102)는 복수 개의 전위계차 센서(60-1, 60-2, 60-3, 60-4)에서 인식된 신호의 차를 동작 신호로서 추출할 수 있다. 이에 대해서는 도 5 및 도 6을 참조하여 구체적으로 설명하기로 한다.
The signal extracting unit 102 extracts an operation signal according to a user's operation using a plurality of potential difference sensors 60-1, 60-2, 60-3, and 60-4. The operation signal means a change in the potential value measured in time series by the potential difference sensors 60-1, 60-2, 60-3, and 60-4. As described above, the potential level difference sensors 60-1, 60-2, 60-3, and 60-4 determine the potential levels of the potential level difference sensors 60-1, 60-2, 60-3, and 60-4 , And the potential value measured according to whether or not a dielectric such as a human hand, foot, or body is approaching can be changed. At this time, the signal extracting unit 102 can extract the difference of signals recognized by the plurality of potential difference sensors 60-1, 60-2, 60-3, and 60-4 as operation signals. This will be described in detail with reference to FIGS. 5 and 6. FIG.

도 5는 본 발명의 일 실시예에 따른 신호 추출부(102)에서 동작 신호를 획득하는 과정을 설명하기 위한 도면이다. 신호 추출부(102)는 차동 증폭기의 원리를 이용하여 동작 신호를 추출할 수 있다. 도 5에 도시된 바와 같이, 제 1 전위계차 센서(60-1)와 제 2 전위계차 센서(60-2)가 전자기기(50)에 배치되어 있다고 가정할 때, 타깃(예를 들어, 사람의 손, 발 등)의 움직임에 따라 제 1 전위계차 센서(60-1) 및 제 2 전위계차 센서(60-2)에서의 전위값의 증감이 측정된다. 이때, 제 1 전위계차 센서(60-1) 및 제 2 전위계차 센서(60-2)에서는 전위값의 변화에 따른 잡음도 함께 측정된다. 예를 들어, 도 5에서 타깃(유전체)이 왼쪽에서 오른쪽으로 움직일 경우, 제 1 전위계차 센서(60-1)에서는 “타깃이 멀어지는 신호 + 주변 잡음”(이하, 신호 A라 함)이 측정되며, 제 2 전위계차 센서(60-2)에서는 “타깃이 가까워지는 신호 + 주변 잡음” (이하, 신호 B라 함)이 측정된다. 여기서, 두 신호를 차분할 경우(즉, A - B), 주변 잡음은 제거되고 타깃의 움직임에 대한 신호가 증폭된다. 신호 추출부(102)는 이러한 방법으로 두 전위계차 센서(60-1, 60-2)가 이루는 한 축(예를 들어, x축)의 움직임을 측정할 수 있다.
5 is a diagram for explaining a process of acquiring an operation signal in the signal extracting unit 102 according to an embodiment of the present invention. The signal extracting unit 102 can extract an operation signal using the principle of the differential amplifier. 5, assuming that the first potential difference sensor 60-1 and the second potential difference sensor 60-2 are disposed in the electronic device 50, a target (for example, a person The change in the potential value at the first potential difference sensor 60-1 and the second potential difference sensor 60-2 is measured in accordance with the movement of the hand, At this time, in the first potential difference sensor 60-1 and the second potential difference sensor 60-2, noise according to the change of the potential value is also measured. For example, in Fig. 5, when the target (dielectric) moves from left to right, a signal " a signal moving away from the target + ambient noise " (hereinafter, signal A) is measured in the first potential difference sensor 60-1 Quot; signal + peripheral noise " (hereinafter referred to as signal B) is measured in the second potential difference sensor 60-2. Here, when the two signals are differentiated (i.e., A - B), the ambient noise is removed and the signal for the target motion is amplified. The signal extracting unit 102 can measure the movement of one axis (e.g., the x axis) formed by the two potential difference sensors 60-1 and 60-2 in this manner.

도 6은 본 발명의 일 실시예에 따른 신호 추출부(102)에서 2차원의 동작 신호를 획득하는 과정을 설명하기 위한 도면이다. 상술한 바와 같이, 복수 개의 전위계차 센서(60-1, 60-2, 60-3, 60-4)는 예를 들어, 사각 형태 또는 십자 형태를 이루도록 전자기기(50)의 테두리에 배치될 수 있다. 이때, 신호 추출부(102)는 전자기기(50)의 제1축(예를 들어, x축) 상에 배치되는 복수 개의 전위계차 센서(60-1, 60-2)에서 인식된 신호의 차(A - B) 및 제1축을 가로지르는 제2축(예를 들어, y축) 상에 배치되는 복수 개의 전위계차 센서(60-3, 60-4)에서 인식된 신호의 차(C - D)를 동작 신호로 추출할 수 있다. 여기서, 제1축은 제 1 전위계차 센서(60-1)과 제 2 전위계차 센서(60-2)를 연결하는 직선을 의미하며, 제2축은 제 3 전위계차 센서(60-3)와 제 4 전위계차 센서(60-4)를 연결하는 직선을 의미한다. 6 is a diagram for explaining a process of acquiring a two-dimensional operation signal in the signal extracting unit 102 according to an embodiment of the present invention. As described above, the plurality of potentiometric sensors 60-1, 60-2, 60-3, and 60-4 can be disposed at the edge of the electronic device 50, for example, in a square shape or a cross shape have. At this time, the signal extracting unit 102 extracts the difference of the signals recognized by the plurality of potential difference sensors 60-1 and 60-2 disposed on the first axis (for example, the x-axis) of the electronic device 50 (C - D) of the signals recognized by the plurality of potential difference sensors 60-3 and 60-4 disposed on the first axis (A - B) and the second axis (for example, Can be extracted as an operation signal. Here, the first axis represents a straight line connecting the first potentiometric sensor 60-1 and the second potentiometric sensor 60-2, the second axis represents a straight line connecting the third potentiometric sensor 60-3 and the fourth potentiometric sensor 60-3, Means a straight line connecting the potential difference sensor 60-4.

신호 추출부(102)가 제1축 및 제2축에 대한 전위계차 센서(60-1, 60-2, 60-3, 60-4)에서의 신호의 차를 동작 신호로 추출함에 따라, 2차원 상의 타깃 움직임을 측정할 수 있다.
As the signal extracting unit 102 extracts the difference between the signals from the potential difference sensors 60-1, 60-2, 60-3, and 60-4 for the first and second axes as operation signals, You can measure target motion on a dimension.

다시 도 4로 돌아오면, 잡음 제거부(104)는 칼만 필터(Kalman Filter)를 이용하여 신호 추출부(102)에서 획득한 동작 신호에 포함된 잡음을 제거한다. 칼만 필터는 잡음이 포함되어 있는 선형 역학계의 상태를 추적하는 재귀 필터로, 일반적으로 잡음을 제거하는 데 사용된다. 다만, 기존의 칼만 필터를 이용할 경우 움직임이 없는 환경에 대한 잡음은 제거가 되지만 타깃의 동작 중에 들어가는 미세 잡음에 대해서는 완벽한 제거가 어렵다. 이에 따라, 본 발명의 실시예들은 동작 신호에 포함되어 있는 미세 잡음을 제거하기 위해 RMS(Root Mean Square) 에버리징(averaging) 기법 및 SMA(Standard Moving Average) 기법을 도입하였다. 이에 대해서는 도 7을 참조하여 구체적으로 설명하기로 한다.
Referring again to FIG. 4, the noise removing unit 104 removes noise included in the operation signal acquired by the signal extracting unit 102 using a Kalman filter. A Kalman filter is a recursive filter that tracks the state of a linear dynamics system that contains noise, and is typically used to remove noise. However, when using the existing Kalman filter, the noise for the motionless environment is removed, but it is difficult to completely remove the fine noise that enters the target during operation. Accordingly, embodiments of the present invention introduce an RMA (Root Mean Square) averaging method and a SMA (Standard Moving Average) method to remove fine noise included in an operation signal. This will be described in detail with reference to FIG.

도 7은 본 발명의 일 실시예에 따른 잡음 제거부(104)가 동작 신호에 포함된 잡음을 제거하는 과정을 설명하기 위한 도면이다. 도 7에 도시된 바와 같이, 잡음 제거부(104)는 칼만 필터를 이용하여 동작 신호에 포함된 잡음을 제거하되, 이 과정에서 RMS 에버리징 기법을 도입하였다.7 is a diagram for explaining a process of removing a noise included in an operation signal by the noise removing unit 104 according to an embodiment of the present invention. As shown in FIG. 7, the noise removing unit 104 removes the noise included in the operation signal using the Kalman filter, and introduces the RMS averaging technique in this process.

먼저, 칼만 필터에 대해 간단히 설명하면 다음과 같다.First, the Kalman filter will be briefly described as follows.

비선형 시스템인 전위계차 센서의 입력 시스템을 아래의 수학식 1 및 2로 표현한다.
The input system of the potentiometric sensor, which is a nonlinear system, is expressed by the following equations (1) and (2).

Figure 112015003392445-pat00001
Figure 112015003392445-pat00001

Figure 112015003392445-pat00002
Figure 112015003392445-pat00002

여기서, xn은 추정된 전위계차 센서의 전위값이며, wn은 추정치의 잡음으로서 추정 성능에 영향을 미친다. zn은 측정된 전위계차 센서로부터 발생한 전위값이며, vn은 측정된 전위의 잡음을 의미한다.Here, x n is the potential value of the estimated potential difference sensor, and w n affects the estimation performance as the noise of the estimate. z n is the potential value generated from the measured potential difference sensor, and v n is the noise of the measured potential.

칼만 필터는 1차 마르코프 모델로 설계되기 때문에, 초기 상태인

Figure 112015003392445-pat00003
및
Figure 112015003392445-pat00004
를 각각 수학식 3과 4로 정의한다.
Since the Kalman filter is designed as a first-order Markov model,
Figure 112015003392445-pat00003
And
Figure 112015003392445-pat00004
Are defined by equations (3) and (4), respectively.

Figure 112015003392445-pat00005
Figure 112015003392445-pat00005

Figure 112015003392445-pat00006
Figure 112015003392445-pat00006

여기서,

Figure 112015003392445-pat00007
이므로, 갱신과 예측에 대한 계산은 수학식 5 내지 10에 의해 이루어진다. 먼저, 예측 상태
Figure 112015003392445-pat00008
와 예측 오차 분산
Figure 112015003392445-pat00009
는 다음과 같다.
here,
Figure 112015003392445-pat00007
, The calculations for the update and the prediction are made by the equations (5) to (10). First,
Figure 112015003392445-pat00008
And prediction error dispersion
Figure 112015003392445-pat00009
Is as follows.

Figure 112015003392445-pat00010
Figure 112015003392445-pat00010

Figure 112015003392445-pat00011
Figure 112015003392445-pat00011

여기서,

Figure 112015003392445-pat00012
는 시스템 잡음을 나타내며, 동작이 잡음으로 제거되는 것을 방지하기 위해 현재 전위에 대한 분산으로 수학식 7과 같이 정의하였으며, 이를 통해 얻어진 예상 오차 분산을 이용하여 칼만 이득 Kn을 수학식 8과 같이 계산할 수 있다.
here,
Figure 112015003392445-pat00012
Represents the system noise and is defined as Equation (7) as the variance with respect to the current potential in order to prevent the operation from being removed by the noise, and the Kalman gain K n is calculated as Equation (8) using the estimated error variance .

Figure 112015003392445-pat00013
Figure 112015003392445-pat00013

Figure 112015003392445-pat00014
Figure 112015003392445-pat00014

여기서, R은 측정 잡음으로서, 동작이 없을 때의 전위에 대한 분산을 근사하여 입력할 수 있다. 칼만 이득을 통해 보정된 전위 추정치 xn과 예상 오차 분산 Pn을 갱신한다.
Here, R can be input as a measurement noise by approximating the variance with respect to the potential when there is no operation. The Kalman gain is used to update the corrected potential estimate x n and the expected error variance P n .

Figure 112015003392445-pat00015
Figure 112015003392445-pat00015

Figure 112015003392445-pat00016
Figure 112015003392445-pat00016

다음으로, RMS 에버리징 기법을 통해 동작 신호에 포함됨 미세 잡음을 제거하는 과정을 설명하기로 한다. RMS 에버리징은 아래 수학식 11과 같이 정의된다.
Next, a process of removing the fine noise included in the operation signal through the RMS averaging method will be described. The RMS averaging is defined by Equation (11) below.

Figure 112015003392445-pat00017
Figure 112015003392445-pat00017

여기서, Yn은 입력 값들의 제곱에 대한 평균의 제곱근을 의미하며, 변화하는 값의 크기에 대한 통계적 척도로 사용된다. Pn은 오차 분산을 의미하며, k는 차수를 의미한다. 즉, 오차 분산을 RMS 에버리징함으로써 움직임을 좀 더 완화시킬 수 있다.
Where Y n is the square root of the mean of the squares of the input values and is used as a statistical measure of the magnitude of the varying values. P n denotes the error variance, and k denotes the order. In other words, the motion can be further relaxed by averaging the error variance.

다음으로, SMA 기법을 통해 동작 신호에 포함된 미세 잡음을 제거하는 과정을 설명하기로 한다. SMA는 시간의 흐름에 따라 가장 오래된 변수를 제거하고 새로운 변수를 추가하여 구한 평균값으로서, 동작 신호를 부드럽게 해주는 역할(즉, 동작 신호에 포함된 미세 잡음 또는 특이치를 제거하거나 보정)을 한다. SMA에 대한 정의는 다음의 수학식 12와 같다.
Next, a process of removing the fine noise included in the operation signal through the SMA technique will be described. SMA is an average value obtained by removing oldest variable and adding new variable according to time, and it plays a role of softening the operation signal (that is, removing or correcting the fine noise or the specific value included in the operation signal). The definition of SMA is shown in Equation (12).

Figure 112015003392445-pat00018
Figure 112015003392445-pat00018

여기서, SMAn와 SMAn -1은 현재 이동 평균값과 이전 이동 평균값을 의미하며, k는 필터의 차수를 의미한다.
Here, SMA n and SMA n -1 mean the current moving average value and the previous moving average value, and k means the order of the filter.

본 발명의 실시예들에 따르면, RMS 에버리징 기법과 SMA 기법을 동시에 이용하여 동작 신호에 포함된 미세 잡음을 제거하고 동작 신호를 부드럽게 처리할 수 있다. 다만, 환경 잡음은 전위계차 센서와의 거리마다 다를 수 있으므로 효과적인 차수의 설정이 필요하다. 따라서, 동작에 따른 움직임 변위율(Displacement Rate)을 측정한 뒤, 이에 따라 필터의 차수를 결정할 수 있다.
According to embodiments of the present invention, fine noise included in an operation signal can be removed and an operation signal can be smoothly processed by simultaneously using the RMS averaging technique and the SMA technique. However, since the environmental noise may differ from the distance sensor, it is necessary to set an effective order. Accordingly, it is possible to determine the order of the filter after measuring the displacement rate according to the operation.

본 발명의 실시예들에 따른 잡음 제거부(104)는 예를 들어, 타깃의 동작 전 신호의 표준 편차와 좌우 30cm를 움직이는 보정을 위한 기준 동작의 표준 편차를 이용하여 수학식 13을 통해 움직임 변위율을 측정하며, 가장 높은 변위율의 차수를 사용할 수 있다.
For example, the noise eliminator 104 according to the embodiments of the present invention may calculate the motion displacement (i) by using the standard deviation of the signal before the operation of the target and the standard deviation of the reference motion for correcting the movement of 30 cm The rate can be measured and the order of the highest rate of displacement can be used.

Figure 112015003392445-pat00019
Figure 112015003392445-pat00019

다시 도 4로 돌아오면, 정규화부(106)는 잡음 제거부(104)에서 잡음이 제거된 동작 신호를 정규화한다. 정규화부(106)는 동작 신호의 인식 성능 향상을 위해 예를 들어, 동작 신호의 진폭 크기를 2로 만들 수 있다. 이에 따라, 동작 신호의 진폭은 -1부터 +1까지의 절대적 크기 범위 이내에서 출력될 수 있다. Referring again to FIG. 4, the normalization unit 106 normalizes the noise-canceled operation signal in the noise removal unit 104. The normalization unit 106 may, for example, make the magnitude of the amplitude of the operation signal 2 to improve the recognition performance of the operation signal. Accordingly, the amplitude of the operation signal can be output within an absolute magnitude range from -1 to +1.

리샘플링부(108)는 정규화부(106)에서 정규화된 동작 신호를 리샘플링한다. 동작 신호는 사람의 동작에 의해 생성되므로, 느린 동작에 대한 신호와 빠른 동작에 대한 신호의 길이가 기존 훈련 신호(동작 신호를 인식하는 데 사용되는 동작 신호의 샘플 신호)와 맞지 않을 수 있다. 즉, 같은 동작이라도 움직임의 속도에 따라 동작 신호의 인식 정도가 달라질 수 있으므로, 리샘플링부(108)는 이를 보정하기 위해 동작 신호를 리샘플링한다. 이에 대해서는 도 8 및 도 9를 참조하여 구체적으로 설명하기로 한다.
The resampling unit 108 resamples the normalized operation signal in the normalization unit 106. Since the operation signal is generated by a human operation, the signal for the slow operation and the signal for the fast operation may not match the existing training signal (the sample signal of the operation signal used to recognize the operation signal). That is, even in the same operation, the degree of recognition of the operation signal may be changed according to the speed of motion. Therefore, the resampling unit 108 resamples the operation signal to correct the operation signal. This will be described in detail with reference to FIGS. 8 and 9. FIG.

도 8 및 도 9는 본 발명의 일 실시예에 따른 리샘플링부에서 동작 신호를 리샘플링하는 과정을 설명하기 위한 도면이다. 도 8은 느린 동작에 대한 동작 신호를 훈련 신호에 맞게 리샘플링하는 과정을 나타낸 도면이며, 도 9는 빠른 동작에 대한 동작 신호를 훈련 신호에 맞게 리샘플링하는 과정을 나타낸 도면이다.8 and 9 are views for explaining a process of resampling an operation signal in a resampler according to an embodiment of the present invention. FIG. 8 is a diagram illustrating a process of resampling an operation signal for a slow operation according to a training signal, and FIG. 9 is a diagram illustrating a process of resampling an operation signal for a fast operation according to a training signal.

먼저, 도 8에 도시된 바와 같이, 예를 들어, 느린 동작에 대한 동작 신호가 120개의 연속된 데이터이고 훈련된 신호가 60개의 연속된 데이터라고 가정하였을 때, 리샘플링부(108)는 120개의 데이터셋을 60개의 데이터셋으로 리샘플링할 수 있다.First, as shown in FIG. 8, for example, when it is assumed that the operation signal for the slow operation is 120 consecutive data and the trained signal is 60 consecutive data, the resampler 108 stores 120 data The set can be resampled to 60 data sets.

이를 수학식으로 나타내면 다음과 같다.
This can be expressed by the following equation.

Figure 112015003392445-pat00020
Figure 112015003392445-pat00020

Figure 112015003392445-pat00021
(n>60)이라 할 때,
Figure 112015003392445-pat00022
Figure 112015003392445-pat00021
(n > 60)
Figure 112015003392445-pat00022

Figure 112015003392445-pat00023

Figure 112015003392445-pat00023

다음으로, 도 9에 도시된 바와 같이, 예를 들어, 빠른 동작에 대한 동작 신호가 30개의 연속된 데이터이고 훈련된 신호가 60개의 연속된 데이터라고 가정하였을 때, 리샘플링부(108)는 30개의 데이터셋을 60개의 데이터셋으로 리샘플링할 수 있다.Next, as shown in FIG. 9, for example, when it is assumed that the operation signal for the fast operation is 30 consecutive data and the trained signal is 60 consecutive data, the resampler 108 includes 30 You can resample a dataset to 60 datasets.

이를 수학식으로 나타내면 다음과 같다.
This can be expressed by the following equation.

Figure 112015003392445-pat00024
Figure 112015003392445-pat00024

Figure 112015003392445-pat00025
(n<60)이라 할 때,
Figure 112015003392445-pat00026
Figure 112015003392445-pat00025
(n < 60)
Figure 112015003392445-pat00026

Figure 112015003392445-pat00027

Figure 112015003392445-pat00027

다시 도 4로 돌아오면, 특징 추출부(110)는 PCA(Principle Component Analysis) 알고리즘을 이용하여 동작 신호의 차원을 축소시킨다. PCA 알고리즘이란 고차원의 입력 벡터를 저차원의 벡터로 표현하여 몇 개의 주성분 값으로 정보 손실을 최소화하면서 차원을 축소하는 기법이다. PCA를 통해 제거되는 벡터들은 동작 인식에 중요하지 않는 성분일 가능성이 높으므로, 본 발명의 실시예들은 벡터의 차원을 최대한 감소시키면서 가장 높은 동작 인식률을 보이는 최적의 축소된 벡터의 개수를 제공한다. Referring again to FIG. 4, the feature extraction unit 110 reduces the dimension of the operation signal using a Principle Component Analysis (PCA) algorithm. The PCA algorithm is a technique for representing a high-dimensional input vector as a low-dimensional vector and reducing the dimension by minimizing information loss with several principal components. Since the vectors removed through the PCA are likely to be components that are not critical to motion recognition, embodiments of the present invention provide a number of optimal reduced vectors that exhibit the highest motion recognition rate while minimizing the dimensionality of the vector.

이를 구체적으로 살펴보면, 특징 추출부(110)는 두 개의 차분 신호, 즉 (A - B)와 (C - D)를 서로 연결시켜 하나의 신호로 만들고, 이 신호로부터 공분산을 계산한 후 고유치 분해를 통해 고유 벡터(eigen vector)와 고유값(λ)을 추출할 수 있다. 다음으로, 특징 추출부(110)는 축소하고자 하는 차원 개수만큼의 높은 순서대로 고유값을 저장하고 이에 대응되는 고유 벡터를 사용하여 입력 신호를 저차원으로 사영시킬 수 있다. Specifically, the feature extracting unit 110 combines two differential signals (A - B) and (C - D) into one signal, calculates a covariance from the signal, The eigenvector and the eigenvalue can be extracted. Next, the feature extraction unit 110 may store the eigenvalues in descending order of the number of dimensions to be reduced, and may project the input signal to a low dimension using the corresponding eigenvectors.

일 예시로서, 특징 추출부(110)는 (1 X 60)의 두 축에 대한 신호 (A - B, C - D)를 연결하여 (1 X 120)의 하나의 신호를 획득하고, 훈련 벡터들에 대한 공분산 행렬 (120 X 120)을 계산하여 고유치 분해를 통해 고유 벡터(eigen vector)와 고유값(λ)을 추출할 수 있다.In one example, the feature extraction unit 110 obtains a signal of (1 X 120) by connecting signals (A - B, C - D) for two axes of (1 X 60) (120 x 120) for eigenvalue decomposition to extract an eigenvector and an eigenvalue (?) Through eigenvalue decomposition.

예를 들어, A =

Figure 112015003392445-pat00028
라 할 때,For example, if A =
Figure 112015003392445-pat00028
In other words,

x =

Figure 112015003392445-pat00029
로 잡으면x =
Figure 112015003392445-pat00029
If you catch

Ax =

Figure 112015003392445-pat00030
=
Figure 112015003392445-pat00031
=
Figure 112015003392445-pat00032
= λx, 여기서 고유값은 5가 된다.
Ax =
Figure 112015003392445-pat00030
=
Figure 112015003392445-pat00031
=
Figure 112015003392445-pat00032
= λx, where the eigenvalue is 5.

x =

Figure 112015003392445-pat00033
로 잡으면x =
Figure 112015003392445-pat00033
If you catch

Ax =

Figure 112015003392445-pat00034
=
Figure 112015003392445-pat00035
=
Figure 112015003392445-pat00036
= λx, 여기서 고유값은 7이 된다.
Ax =
Figure 112015003392445-pat00034
=
Figure 112015003392445-pat00035
=
Figure 112015003392445-pat00036
= λx, where the eigenvalue is 7.

만약, 10%를 축소하고자 하는 경우 특징 추출부(110)는 120쌍의 고유 벡터, 고유값 중 크기가 상위 90%(108)의 고유 벡터를 제외하고 나머지를 삭제할 수 있다. 즉, 기존 신호 (1 X 120)에 (120 X 108)의 고유 벡터를 곱하여 (1 X 108)의 신호를 얻을 수 있다.
If it is desired to reduce 10%, the feature extraction unit 110 may delete the remaining 120 eigenvectors except for the eigenvectors of the upper 90% (108) of the eigenvalues. That is, the signal of (1 × 108) can be obtained by multiplying the original signal (1 × 120) by the eigenvector of (120 × 108).

다시 도 4로 돌아오면, 동작 인식부(112)는 DTW(Dynamic Time Warping) 알고리즘 및 K-NN(K-Nearest Neighbors) 분류기를 이용하여 동작 신호를 인식한다. K-NN(K-Nearest Neighbors) 분류기란 분류할 데이터(입력 데이터 또는 입력 벡터)와 주어진 데이터(훈련 데이터 또는 훈련 벡터)의 모든 거리를 계산하여 가까운 거리의 데이터를 K개 찾은 후 그 중에서 가장 빈도수가 높은 클래스로 분류할 데이터를 분류하는 기법을 의미한다. 일반적인 K-NN 분류기에서는 입력 벡터와 훈련 벡터의 유사도를 측정하기 위해 유클리디안 알고리즘(Euclidean Algorithm)을 사용하지만, 본 발명의 실시예들에 따른 동작 신호는 시계열 신호로서 유클리디안 알고리즘에 따른 거리 측정은 적합하지 않다. 이에 따라, 본 발명의 실시예들은 유클리디안 알고리즘을 사용하는 대신 DTW 알고리즘을 사용하여 시계열적으로 추출되는 동작 신호의 입력 벡터와 기 저장된 훈련 벡터(상술한 훈련 신호의 벡터)와의 거리를 계산하도록 하였다.Referring again to FIG. 4, the motion recognition unit 112 recognizes an operation signal using a DTW (Dynamic Time Warping) algorithm and a K-Nearest Neighbors (K-NN) classifier. K-Nearest Neighbors (K-NN) classifier calculates all distances between data to be classified (input data or input vector) and given data (training data or training vectors) Is a technique for classifying data to be classified into a high class. In the general K-NN classifier, the Euclidean algorithm is used to measure the similarity between the input vector and the training vector. However, the operation signal according to the embodiments of the present invention is a time- Measurement is not appropriate. Accordingly, the embodiments of the present invention use the DTW algorithm instead of the Euclidean algorithm to calculate the distance between the input vector of the operation signal extracted in a time-series manner and the pre-stored training vector (vector of the training signal described above) Respectively.

DTW 알고리즘은 시간 순의 여러 개의 연속적인 데이터를 각각 비교하여 두 종류의 데이터가 얼마나 유사한지 여부를 판별하는 기법이다. 동작 인식부(112)는 DTW 알고리즘을 이용하여 동작 신호의 입력 벡터와 기 저장된 훈력 벡터와의 거리를 계산할 수 있다.
The DTW algorithm is a technique for determining how similar two types of data are by comparing several consecutive data in time sequence. The motion recognition unit 112 can calculate the distance between the input vector of the motion signal and the pre-stored motion vector using the DTW algorithm.

도 10은 본 발명의 일 실시예에 따른 동작 인식부(112)에서 동작 신호의 입력 벡터와 훈련 벡터와의 거리를 계산하는 과정을 설명하기 위한 도면이다. DTW 알고리즘을 통해 동작 신호의 입력 벡터와 훈련 벡터와의 유사성을 측정하는 방법은 아래 수학식을 통해 설명할 수 있다.
10 is a diagram illustrating a process of calculating a distance between an input vector of an operation signal and a training vector in the motion recognition unit 112 according to an embodiment of the present invention. A method of measuring the similarity between the input vector of the operation signal and the training vector through the DTW algorithm can be explained by the following equation.

Figure 112015003392445-pat00037
Figure 112015003392445-pat00037

Figure 112015003392445-pat00038
Figure 112015003392445-pat00038

Figure 112015003392445-pat00039

Figure 112015003392445-pat00039

도 10 및 수학식 16을 참조하면, 먼저 동작 인식부(112)는 입력 벡터(input pattern) 및 훈련 벡터(reference pattern)를 이용하여 DTW 메트릭스를 만든다. 다음으로, 동작 인식부(112)는 수학식 16을 이용하여 도 10의 우측 끝 영역부터 역으로 탐색을 시작한다. 동작 인식부(112)는 입력 벡터의 주변 값들, 즉 D(I, j-1), D(i-1, j), D(i-1, j-1)을 탐색하고 그 중 최소값을 지니는 경로를 탐색한다. 동작 인식부(112)는 이러한 방식으로 탐색된 경로를 기반으로 입력 벡터와 훈련 벡터와의 거리를 계산함으로써 시간에 따른 동작 신호와 훈련 신호의 불일치 현상을 보정할 수 있다. DTW 알고리즘은 계산 속도가 유클리디언 알고리즘에 비해 상대적으로 느리기 때문에 가까운 훈련 벡터(N개)를 검출하는 과정에서 상대적으로 많은 시간이 필요한 단점이 있다. 이러한 문제점을 해결하기 위해, 본 발명의 실시예들은 각각의 훈련 벡터를 K-means 알고리즘을 이용하여 대표 신호를 각각 K개(예를 들어, 5개) 추출한 후 이를 K-NN 알고리즘의 훈련 벡터로 사용함으로써 계산 속도를 향상시키도록 하였다.
Referring to FIGS. 10 and 16, first, the motion recognition unit 112 generates a DTW matrix using an input pattern and a training pattern. Next, the motion recognition unit 112 starts searching backward from the right end area of FIG. 10 using the equation (16). The motion recognition unit 112 searches for the peripheral values of the input vector, that is, D (I, j-1), D (i-1, j), D (i-1, j-1) Search the path. The motion recognition unit 112 may calculate the distance between the input vector and the training vector based on the path detected in this manner, thereby correcting a mismatch between the operation signal and the training signal over time. Since the computation speed is relatively slow compared to the Euclidean algorithm, the DTW algorithm requires a relatively long time in the process of detecting the near training vector (N). In order to solve such a problem, embodiments of the present invention extract K representative signals (for example, five) of each training vector using a K-means algorithm, So that the calculation speed is improved.

도 11은 유클리디안 알고리즘과 본 발명의 일 실시예에 따른 DTW 알고리즘의 거리 측정 방법의 차이를 설명하기 위한 도면이다. 도 11의 (a)는 유클리디언 알고리즘에 따른 거리 측정 방법을 나타낸 도면이며, 도 11의 (b)는 DTW 알고리즘에 따른 거리 측정 방법을 나타낸 도면이다. 여기서, 상측 신호는 동작 신호를 나타내며 하측 신호는 훈련 신호를 나타낸다.11 is a diagram for explaining the difference between the Euclidean algorithm and the distance measurement method of the DTW algorithm according to an embodiment of the present invention. FIG. 11A is a diagram illustrating a distance measurement method according to the Euclidian algorithm, and FIG. 11B is a diagram illustrating a distance measurement method according to the DTW algorithm. Here, the upper signal represents an operation signal and the lower signal represents a training signal.

도 11에 도시된 바와 같이, 유클리디언 알고리즘에 따르면 동작 신호가 훈련 신호에 비해 느리거나 빠름으로 인한 동작 신호와 훈련 신호와의 거리 측정의 오류가 발생하는 반면, DTW 알고리즘에 따르면 동작 신호가 훈련 신호에 비해 느리거나 빠름으로 인한 동작 신호와 훈련 신호와의 거리 측정의 오류가 발생하지 않는다. 즉, 동작 인식부(112)는 DTW 알고리즘을 통해 동작 신호의 입력 벡터와 훈련 벡터 사이의 거리를 정확하게 측정할 수 있다.
As shown in FIG. 11, according to the Euclidian algorithm, an error occurs in the distance measurement between the operation signal and the training signal due to the operation signal being slower or faster than the training signal. On the other hand, according to the DTW algorithm, There is no error in measuring the distance between the operation signal and the training signal due to the slow or fast relative to the signal. That is, the motion recognition unit 112 can accurately measure the distance between the input vector of the motion signal and the training vector through the DTW algorithm.

도 12는 본 발명의 일 실시예에 따른 동작 인식부(112)에서 K-NN 분류기를 이용하여 동작 신호를 인식하는 과정을 설명하기 위한 도면이다. 동작 인식부(112)는 K-NN 분류기를 통해 동작 신호의 입력 벡터를 중심으로 가장 가까운 K개의 훈련 벡터를 검출할 수 있다. 이후, 동작 인식부(112)는 검출된 K개의 훈련 벡터 중 가장 빈도수가 높은 훈련 벡터로 입력 벡터를 분류할 수 있다. 도 12를 참조하면, 동작 인식부(112)는 입력 벡터 x로부터 가장 가까운 훈련 벡터 5개(여기서는, K = 5로 가정)를 검출한 후 입력 벡터 x를 가장 빈도수가 높은 훈련 벡터, 검은색 훈련 벡터(예를 들어, 전자기기(50)의 동작을 오프시키는 훈련 벡터)로 분류할 수 있다. 12 is a diagram for explaining a process of recognizing an operation signal using the K-NN classifier in the motion recognition unit 112 according to an embodiment of the present invention. The motion recognition unit 112 can detect K training vectors closest to the input vector of the motion signal through the K-NN classifier. Then, the motion recognition unit 112 can classify the input vector into the training vector having the highest frequency among the K training vectors detected. Referring to FIG. 12, the motion recognition unit 112 detects five training vectors (here, K = 5) closest to the input vector x and inputs the input vector x as a training vector having the highest frequency, And a vector (for example, a training vector for turning off the operation of the electronic device 50).

제어부(114)는 동작 인식부(112)에서 인식된 동작 신호에 따라 전자기기(50)의 동작을 제어한다. 예를 들어, 동작 인식부(112)에서 인식된 동작 신호가 제어기기(50)를 오프시키는 동작 신호인 것으로 인식되는 경우, 제어부(114)는 전자기기(50)의 동작을 오프시킬 수 있다. 제어부(114)는 전자기기(50)의 동작을 제어하는 중앙처리장치(미도시)와 연결될 수 있다.The control unit 114 controls the operation of the electronic device 50 in accordance with the operation signal recognized by the operation recognition unit 112. For example, when it is recognized that the operation signal recognized by the operation recognition unit 112 is an operation signal for turning off the control device 50, the control unit 114 can turn off the operation of the electronic device 50. [ The control unit 114 may be connected to a central processing unit (not shown) that controls the operation of the electronic device 50.

본 발명의 실시예들에 따르면, 칼만 필터, RMS 알고리즘 에버리징, SMA 기법을 이용하여 동작 신호에 포함된 잡음을 제거하고, PCA 알고리즘을 이용하여 동작 신호의 차원을 축소시키고, DTW 알고리즘 및 K-NN 분류기를 이용하여 동작 신호를 인식함으로써, 동작 신호의 인식률을 크게 향상시킬 수 있다. 아래 표 1은 전자기기에서의 동작 인식 시스템(100)에 의한 동작 신호의 인식률을 나타낸다.
According to embodiments of the present invention, noise included in an operation signal is removed using a Kalman filter, an RMS algorithm averaging, and an SMA technique, a dimension of an operation signal is reduced using a PCA algorithm, a DTW algorithm and a K- By recognizing the operation signal using the NN classifier, the recognition rate of the operation signal can be greatly improved. Table 1 below shows the recognition rate of the operation signal by the motion recognition system 100 in the electronic device.

특징Characteristic 인식기Recognizer 동작 신호 인식률Recognition rate of motion signal 원본original 베이지안 분류기Bayesian classifier 64%64% PCA(-10%)PCA (-10%) 베이지안 분류기Bayesian classifier 72%72% 원본original K-NNK-NN 85%85% PCA(-10%)PCA (-10%) K-NNK-NN 88%88% 원본original DTW+KNNDTW + KNN 90%90% PCA(-10%)PCA (-10%) DTW+KNNDTW + KNN 92%92%

표 1에서 볼 수 있는 바와 같이, 본 발명의 실시예들에 따른 전자기기에서의 동작 인식 시스템(100)은 92%의 동작 신호 인식률을 보였다. 이에 반해, 베이지안 분류기를 사용하거나, 종래 K-NN 분류기를 사용하는 경우 동작 신호 인식률이 낮게 나타나는 것을 확인할 수 있다. 또한, PCA 알고리즘을 사용하지 않고 동작 신호의 원본을 그대로 사용하는 경우 또한 동작 신호 인식률이 낮게 나타나는 것을 확인할 수 있다.
As can be seen from Table 1, the motion recognition system 100 in the electronic device according to the embodiments of the present invention showed an operation signal recognition rate of 92%. On the other hand, when the conventional K-NN classifier is used using the Bayesian classifier, the recognition rate of the operation signal is low. Also, it can be seen that the recognition rate of the operation signal is lower when the original of the operation signal is used without using the PCA algorithm.

도 13은 본 발명의 일 실시예에 따른 전자기기의 동작 인식 방법을 설명하기 위한 흐름도이다.13 is a flowchart illustrating a method of recognizing an operation of an electronic device according to an embodiment of the present invention.

먼저, 신호 추출부(102)는 복수 개의 전위계차 센서(60-1, 60-2, 60-3, 60-4)를 이용하여 사용자의 동작에 따른 동작 신호를 추출한다(S202). 상술한 바와 같이, 신호 추출부(102)는 전자기기(50)의 제1축 상에 배치되는 복수 개의 전위계차 센서(60-1, 60-2)에서 인식된 신호의 차(A - B) 및 제1축을 가로지르는 제2축 상에 배치되는 복수 개의 전위계차 센서(60-3, 60-4)에서 인식된 신호의 차(C - D)를 2차원 동작 신호로 추출할 수 있다.First, the signal extracting unit 102 extracts an operation signal corresponding to a user's operation using a plurality of potential difference sensors 60-1, 60-2, 60-3, and 60-4 (S202). As described above, the signal extracting unit 102 extracts the difference (A - B) of the signals recognized by the plurality of potential field difference sensors 60-1 and 60-2 disposed on the first axis of the electronic device 50, And a difference (C - D) of signals recognized by a plurality of potential difference sensors (60-3, 60-4) arranged on a second axis across the first axis as a two-dimensional operation signal.

다음으로, 잡음 제거부(104)는 칼만 필터를 이용하여 동작 신호에 포함된 잡음을 제거한다(S204). 다만, 기존의 칼만 필터를 이용할 경우 움직임이 없는 환경에 대한 잡음은 제거가 되지만 타깃의 동작 중에 들어가는 미세 잡음에 대해서는 완벽한 제거가 어렵다. 이에 따라, 본 발명의 실시예들은 동작 신호에 포함되어 있는 미세 잡음을 제거하기 위해 RMS 에버리징 기법 및 SMA 기법을 도입하였다. 잡음 제거부(104)는 RMS 에버리징 기법 및 SMA 기법을 이용하여 동작 신호에 포함됨 미세 잡음을 제거할 수 있다. RMS 에버리징은 상술한 수학식 11을 통해 나타낼 수 있다. 잡음 제거부(104)는 오차 분산을 RMS 에버리징함으로써 움직임을 좀 더 완화시킬 수 있다. SMA는 시간의 흐름에 따라 가장 오래된 변수를 제거하고 새로운 변수를 추가하여 구한 평균값으로서, 동작 신호를 부드럽게 해주는 역할을 한다.Next, the noise removing unit 104 removes the noise included in the operation signal using the Kalman filter (S204). However, when using the existing Kalman filter, the noise for the motionless environment is removed, but it is difficult to completely remove the fine noise that enters the target during operation. Accordingly, the embodiments of the present invention introduce the RMS and SMA techniques to remove the fine noise included in the operation signal. The noise removing unit 104 may remove the fine noise included in the operation signal using the RMS averaging technique and the SMA technique. The RMS averaging can be represented by Equation (11). The noise removing unit 104 may further mitigate the motion by averaging the error variance. SMA is an average value obtained by removing the oldest variable and adding a new variable according to the passage of time, thereby softening the operation signal.

다음으로, 정규화부(106)는 동작 신호를 정규화한다(S206). 정규화부(106)는 동작 신호의 인식 성능 향상을 위해 예를 들어, 동작 신호의 진폭 크기를 2로 만들 수 있다. 이에 따라, 동작 신호의 진폭은 -1부터 +1까지의 절대적 크기 범위 이내에서 출력될 수 있다.Next, the normalization unit 106 normalizes the operation signal (S206). The normalization unit 106 may, for example, make the magnitude of the amplitude of the operation signal 2 to improve the recognition performance of the operation signal. Accordingly, the amplitude of the operation signal can be output within an absolute magnitude range from -1 to +1.

다음으로, 리샘플링부(108)는 정규화부(106)에서 정규화된 동작 신호를 리샘플링한다(S208). 같은 동작이라도 움직임의 속도에 따라 동작 신호의 인식 정도가 달라질 수 있으므로, 리샘플링부(108)는 이를 보정하기 위해 동작 신호를 리샘플링할 수 있다. 즉, 리샘플링부(108)는 느린 동작 또는 빠른 동작에 대한 동작 신호를 훈련 신호에 맞게 리샘플링할 수 있다.Next, the resampling unit 108 resamples the operation signal normalized by the normalization unit 106 (S208). Since the degree of recognition of the operation signal may vary depending on the speed of the movement even in the same operation, the resampling unit 108 may resample the operation signal to correct it. That is, the resampler 108 may resample an operation signal for a slow motion or a fast motion to fit the training signal.

다음으로, 특징 추출부(110)는 PCA알고리즘을 이용하여 동작 신호의 차원을 축소시킨다(S210). 구체적으로, 특징 추출부(110)는 두 개의 차분 신호, 즉 (A - B)와 (C - D)를 서로 연결시켜 하나의 신호로 만들고, 이 신호로부터 공분산을 계산한 후 고유치 분해를 통해 고유 벡터(eigen vector)와 고유값(λ)을 추출할 수 있다. 이후, 특징 추출부(110)는 축소하고자 하는 차원 개수만큼의 높은 순서대로 고유값을 저장하고 이에 대응되는 고유 벡터를 사용하여 입력 신호를 저차원으로 사영시킬 수 있다.Next, the feature extraction unit 110 reduces the dimension of the operation signal using the PCA algorithm (S210). Specifically, the feature extraction unit 110 combines the two differential signals, i.e., (A - B) and (C - D) into one signal, calculates a covariance from the signal, The vector (eigenvector) and the eigenvalue (λ) can be extracted. Then, the feature extracting unit 110 may store the eigenvalues in descending order of the number of dimensions to be reduced, and may project the input signal to a low dimension using the corresponding eigenvectors.

다음으로, 동작 인식부(112)는 DTW 알고리즘 및 K-NN 분류기를 이용하여 동작 신호를 인식한다(S212). 상술한 바와 같이, 동작 인식부(112)는 DTW 알고리즘을 이용하여 시계열적으로 추출되는 동작 신호의 입력 벡터와 기 저장된 훈련 벡터와의 거리를 계산하고, K-NN 분류기를 이용하여 입력 벡터를 중심으로 가장 가까운 K개의 훈련 벡터를 검출한 후 입력 벡터를 K개의 훈련 벡터 중 가장 빈도수가 높은 훈련 벡터로 분류할 수 있다. Next, the motion recognition unit 112 recognizes the motion signal using the DTW algorithm and the K-NN classifier (S212). As described above, the motion recognition unit 112 calculates the distance between the input vector of the operation signal extracted in a time-series manner and the pre-stored training vector using the DTW algorithm, , The input vector can be classified into the training vector having the highest frequency among the K training vectors.

마지막으로, 제어부(114)는 인식된 동작 신호에 따라 전자기기(50)를 제어한다(S214). 예를 들어, 동작 인식부(112)에서 인식된 동작 신호가 제어기기(50)를 오프시키는 동작 신호인 것으로 인식되는 경우, 제어부(114)는 전자기기(50)의 동작을 오프시킬 수 있다.
Finally, the control unit 114 controls the electronic device 50 according to the recognized operation signal (S214). For example, when it is recognized that the operation signal recognized by the operation recognition unit 112 is an operation signal for turning off the control device 50, the control unit 114 can turn off the operation of the electronic device 50. [

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

50, 70, 80 : 전자기기
60-1, 60-2, 60-3, 60-4 : 전위계차 센서
100 : 전자기기에서의 동작 인식 시스템
102 : 신호 추출부
104 : 잡음 제거부
106 : 정규화부
108 : 리샘플링부
110 : 특징 추출부
112 : 동작 인식부
114 : 제어부50, 70, 80: Electronic device
60-1, 60-2, 60-3, 60-4: Potentiometric sensor
100: Motion recognition system in electronic device
102:
104: Noise canceling
106: Normalization unit
108: resampling section
110: Feature extraction unit
112:
114:

Claims (15)

복수 개의 전위계차 센서를 이용하여 사용자의 동작에 따른 동작 신호를 추출하는 신호 추출부;
칼만 필터(Kalman Filter)를 이용하여 상기 동작 신호에 포함된 잡음을 제거하는 잡음 제거부;
PCA(Principle Component Analysis) 알고리즘을 이용하여, 잡음이 제거된 상기 동작 신호의 차원을 축소시키는 특징 추출부; 및
DTW(Dynamic Time Warping) 알고리즘을 이용하여 시계열적으로 추출되는 상기 동작 신호의 입력 벡터와 기 저장된 훈련 벡터와의 거리를 계산하고, K-NN(K-Nearest Neighbors) 분류기를 이용하여 상기 입력 벡터를 중심으로 가장 가까운 K개의 훈련 벡터를 검출한 후 상기 입력 벡터를 상기 K개의 훈련 벡터 중 가장 빈도수가 높은 훈련 벡터로 분류함으로써, 차원이 축소된 상기 동작 신호를 인식하는 동작 인식부를 포함하는, 전자기기에서의 동작 인식 시스템.
A signal extractor for extracting an operation signal according to a user's operation using a plurality of potential difference sensors;
A noise eliminator for removing noise included in the operation signal using a Kalman filter;
A feature extracting unit for reducing a dimension of the noise canceling operation signal using a PCA (Principle Component Analysis) algorithm; And
A distance between an input vector of the operation signal extracted in a time-series manner and a pre-stored training vector is calculated using a DTW (Dynamic Time Warping) algorithm, and the input vector is calculated using a K-Nearest Neighbors (K-NN) And an operation recognizing unit for recognizing the operation signal whose dimension is reduced by classifying the input vector as a training vector having the highest frequency among the K training vectors after detecting K training vectors closest to the center, A motion recognition system.
청구항 1에 있어서,
상기 신호 추출부는, 상기 복수 개의 전위계차 센서에서 인식된 신호의 차를 상기 동작 신호로 추출하는, 전자기기에서의 동작 인식 시스템.
The method according to claim 1,
Wherein the signal extracting unit extracts a difference between signals recognized by the plurality of potential difference sensors as the operation signal.
청구항 2에 있어서,
상기 인식된 신호의 차는, 전자기기의 제1축 상에 배치되는 복수 개의 전위계차 센서에서 인식된 신호의 차 및 상기 제1축을 가로지르는 제2축 상에 배치되는 복수 개의 전위계차 센서에서 인식된 신호의 차를 포함하는, 전자기기에서의 동작 인식 시스템.
The method of claim 2,
Wherein the difference of the recognized signals is detected by a plurality of potential field difference sensors disposed on a second axis across the first axis and a difference of signals recognized by a plurality of potential field difference sensors disposed on a first axis of the electronic device And a difference of the signal.
청구항 3에 있어서,
상기 복수 개의 전위계차 센서는, 상기 전자기기의 테두리 상의 모서리 부분에 배치되는, 전자기기에서의 동작 인식 시스템.
The method of claim 3,
Wherein the plurality of potential difference sensors are disposed at corner portions on an edge of the electronic device.
청구항 1에 있어서,
상기 잡음 제거부는, 상기 동작 신호에 포함된 미세 잡음을 RMS(Root Mean Square) 에버리징(averaging)하는, 전자기기에서의 동작 인식 시스템.
The method according to claim 1,
Wherein the noise eliminating unit averages a small noise included in the operation signal by an RMS (Root Mean Square).
청구항 5에 있어서,
상기 잡음 제거부는, 상기 동작 신호에 포함된 미세 잡음을 SMA(Standard Moving Average) 기법을 이용하여 제거하는, 전자기기에서의 동작 인식 시스템.
The method of claim 5,
Wherein the noise removing unit removes fine noise included in the operation signal using a standard moving average (SMA) technique.
삭제delete 청구항 1에 있어서,
인식된 상기 동작 신호에 따라 전자기기의 동작을 제어하는 제어부를 더 포함하는, 전자기기에서의 동작 인식 시스템.
The method according to claim 1,
Further comprising: a control unit for controlling the operation of the electronic device according to the recognized operation signal.
신호 추출부에서, 복수 개의 전위계차 센서를 이용하여 사용자의 동작에 따른 동작 신호를 추출하는 단계;
잡음 제거부에서, 칼만 필터(Kalman Filter)를 이용하여 상기 동작 신호에 포함된 잡음을 제거하는 단계;
특징 추출부에서, PCA(Principle Component Analysis) 알고리즘을 이용하여, 잡음이 제거된 상기 동작 신호의 차원을 축소시키는 단계;
동작 인식부에서, DTW(Dynamic Time Warping) 알고리즘을 이용하여 시계열적으로 추출되는 상기 동작 신호의 입력 벡터와 기 저장된 훈련 벡터와의 거리를 계산하는 단계; 및
상기 동작 인식부에서, K-NN(K-Nearest Neighbors) 분류기를 이용하여 상기 입력 벡터를 중심으로 가장 가까운 K개의 훈련 벡터를 검출한 후 상기 입력 벡터를 상기 K개의 훈련 벡터 중 가장 빈도수가 높은 훈련 벡터로 분류함으로써, 차원이 축소된 상기 동작 신호를 인식하는 단계를 포함하는, 전자기기에서의 동작 인식 방법.
Extracting an operation signal according to an operation of a user using a plurality of potential difference sensors in a signal extraction unit;
Removing noise included in the operation signal using a Kalman filter;
Reducing a dimension of the noise canceled operation signal using a PCA (Principle Component Analysis) algorithm;
Calculating a distance between an input vector of the operation signal extracted in a time series using a DTW (Dynamic Time Warping) algorithm and a pre-stored training vector; And
Wherein the motion recognition unit detects K training vectors closest to the input vector using a K-Nearest Neighbors (K-NN) classifier, and then outputs the input vector to the most frequent training And recognizing the motion signal whose dimension is reduced by classifying the motion signal into a vector.
청구항 9에 있어서,
상기 동작 신호를 추출하는 단계는, 상기 복수 개의 전위계차 센서에서 인식된 신호의 차를 상기 동작 신호로 추출하는, 전자기기에서의 동작 인식 방법.
The method of claim 9,
Wherein the step of extracting the operation signal extracts a difference between signals recognized by the plurality of potential difference sensors as the operation signal.
청구항 10에 있어서,
상기 인식된 신호의 차는, 전자기기의 제1축 상에 배치되는 복수 개의 전위계차 센서에서 인식된 신호의 차 및 상기 제1축을 가로지르는 제2축 상에 배치되는 복수 개의 전위계차 센서에서 인식된 신호의 차를 포함하는, 전자기기에서의 동작 인식 방법.
The method of claim 10,
Wherein the difference of the recognized signals is detected by a plurality of potential field difference sensors disposed on a second axis across the first axis and a difference of signals recognized by a plurality of potential field difference sensors disposed on a first axis of the electronic device And a difference of the signal.
청구항 9에 있어서,
상기 동작 신호에 포함된 잡음을 제거하는 단계 이후,
상기 잡음 제거부에서, 상기 동작 신호에 포함된 미세 잡음을 RMS(Root Mean Square) 에버리징(averaging)하는 단계를 더 포함하는, 전자기기에서의 동작 인식 방법.
The method of claim 9,
After removing the noise included in the operation signal,
Further comprising the step of averaging RMS (root mean square) of the fine noise included in the operation signal in the noise elimination.
청구항 12에 있어서,
상기 미세 잡음을 RMS 에버리징하는 단계 이후,
상기 잡음 제거부에서, 상기 동작 신호에 포함된 미세 잡음을 SMA(Standard Moving Average) 기법을 이용하여 제거하는 단계를 더 포함하는, 전자기기에서의 동작 인식 방법.
The method of claim 12,
After RMS averaging the fine noise,
Further comprising the step of removing fine noise included in the operation signal by using a standard moving average method (SMA) in the noise elimination.
삭제delete 청구항 9에 있어서,
제어부에서, 인식된 상기 동작 신호에 따라 전자기기의 동작을 제어하는 단계를 더 포함하는, 전자기기에서의 동작 인식 방법.The method of claim 9,
And controlling the operation of the electronic device in accordance with the recognized operation signal in the control unit.
KR1020150005983A 2015-01-13 2015-01-13 System and method for recognizing gesture in electronic device KR101675214B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150005983A KR101675214B1 (en) 2015-01-13 2015-01-13 System and method for recognizing gesture in electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150005983A KR101675214B1 (en) 2015-01-13 2015-01-13 System and method for recognizing gesture in electronic device

Publications (2)

Publication Number Publication Date
KR20160087423A KR20160087423A (en) 2016-07-22
KR101675214B1 true KR101675214B1 (en) 2016-11-11

Family

ID=56681115

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150005983A KR101675214B1 (en) 2015-01-13 2015-01-13 System and method for recognizing gesture in electronic device

Country Status (1)

Country Link
KR (1) KR101675214B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108181547A (en) * 2017-12-20 2018-06-19 珠海许继电气有限公司 A kind of dynamic time warping distance fault section location method based on Time Series Compression
CN109254654A (en) * 2018-08-20 2019-01-22 杭州电子科技大学 A kind of driving fatigue feature extracting method of combination PCA and PCANet

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073158A (en) * 2017-12-05 2018-05-25 上海电机学院 Based on PCA and KNN density algorithm Wind turbines Method for Bearing Fault Diagnosis
CN108664277B (en) * 2018-05-15 2021-11-30 精伦电子股份有限公司 Lifting awakening method and device based on triaxial acceleration sensor
CN109992106B (en) * 2019-01-10 2022-05-10 北京工业大学 Gesture track recognition method, electronic device and storage medium
CN113255554B (en) * 2021-06-04 2022-05-27 福州大学 Shooting training instantaneous percussion action recognition and standard auxiliary evaluation method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070280A (en) 2004-12-20 2006-06-23 한국전자통신연구원 Apparatus and its method of user interface using hand gesture recognition
KR100985805B1 (en) * 2009-03-26 2010-11-09 중앙대학교 산학협력단 Apparatus and method for image stabilization using adaptive Kalman filter
US20130155010A1 (en) * 2011-12-14 2013-06-20 Microchip Technology Incorporated Capacitive Proximity Based Gesture Input System

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108181547A (en) * 2017-12-20 2018-06-19 珠海许继电气有限公司 A kind of dynamic time warping distance fault section location method based on Time Series Compression
CN108181547B (en) * 2017-12-20 2020-05-12 珠海许继电气有限公司 Dynamic time bending distance fault section positioning method based on time sequence compression
CN109254654A (en) * 2018-08-20 2019-01-22 杭州电子科技大学 A kind of driving fatigue feature extracting method of combination PCA and PCANet

Also Published As

Publication number Publication date
KR20160087423A (en) 2016-07-22

Similar Documents

Publication Publication Date Title
KR101675214B1 (en) System and method for recognizing gesture in electronic device
Seto et al. Multivariate time series classification using dynamic time warping template selection for human activity recognition
CN105184325B (en) Mobile intelligent terminal
US9323337B2 (en) System and method for gesture recognition
US20120068917A1 (en) System and method for dynamic gesture recognition using geometric classification
JP2021077377A (en) Method and apparatus for learning object recognition model
CN110083277B (en) Continuous circular gesture detection for sensor systems
US8478055B2 (en) Object recognition system, object recognition method and object recognition program which are not susceptible to partial concealment of an object
KR101682268B1 (en) Apparatus and method for gesture recognition using multiclass Support Vector Machine and tree classification
KR100862349B1 (en) User interface system based on half-mirror using gesture recognition
US20190370982A1 (en) Movement learning device, skill discriminating device, and skill discriminating system
US20180032170A1 (en) System and method for estimating location of a touch object in a capacitive touch panel
US20170061198A1 (en) System and method for detecting feature points of face
Suutala et al. Towards the adaptive identification of walkers: Automated feature selection of footsteps using distinction sensitive LVQ
Ghosh et al. On an algorithm for Vision-based hand gesture recognition
Škrjanc et al. Evolving gustafson-kessel possibilistic c-means clustering
Hassan et al. User-dependent sign language recognition using motion detection
KR101978265B1 (en) Method and Apparatus for Recognizing Hand Shapes and Gestures
KR101899590B1 (en) Method and Apparatus for Recognizing Hand Shapes and Gestures
KR101141936B1 (en) Method of tracking the region of a hand based on the optical flow field and recognizing gesture by the tracking method
KR101514551B1 (en) Multimodal user recognition robust to environment variation
Chikkanna et al. Kinect based real-time gesture spotting using HCRF
Marasović et al. A novel feature descriptor for gesture classification using smartphone accelerometers
Karande Multiscale wavelet based edge detection and Independent Component Analysis (ICA) for Face Recognition
CN113873941A (en) Method and apparatus for calibrating a user activity model for use with a mobile device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191023

Year of fee payment: 4