KR20200086935A - Apparatus of recognition hand gesture using mirror padding and method thereof - Google Patents
Apparatus of recognition hand gesture using mirror padding and method thereof Download PDFInfo
- Publication number
- KR20200086935A KR20200086935A KR1020190003327A KR20190003327A KR20200086935A KR 20200086935 A KR20200086935 A KR 20200086935A KR 1020190003327 A KR1020190003327 A KR 1020190003327A KR 20190003327 A KR20190003327 A KR 20190003327A KR 20200086935 A KR20200086935 A KR 20200086935A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- value
- micro
- padding
- dipper
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법에 관한 것으로, 보다 상세하게는 미러 패딩 기법을 이용하여 정확한 스펙토그램 데이터를 생성하고, CNN(Convolutional Neural Network)에 적용하는 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus for recognizing a hand gesture using mirror padding and a method thereof, and more specifically, to generate accurate spectrogram data using a mirror padding technique, and using mirror padding applied to a convolutional neural network (CNN). Hand gesture recognition apparatus and method.
센서 기술은 사용자의 정보나 주변 정보를 습득하여 사용자로 하여금 원하는 동작을 할 수 있도록 사용되었으며, 최근 IoT 기술이 대두되면서 센서를 이용하여 스마트 디바이스를 제어할 수 있도록 하는 연구가 활발히 진행되고 있다. The sensor technology has been used to acquire the user's information or surrounding information to enable the user to perform a desired operation. Recently, as IoT technology has emerged, research to enable a smart device to be controlled using a sensor has been actively conducted.
또한, CW radar를 이용하면 물체의 속도에 따른 Doppler 신호를 측정할 수 있으며, 측정된 신호를 분석하여 물체의 움직임을 분석하기 위해 Spectrogram을 사용할 수 있다.In addition, by using CW radar, a Doppler signal can be measured according to the speed of an object, and a spectrogram can be used to analyze the motion of an object by analyzing the measured signal.
스펙토그램이란 STFT(Short Term Fourier Transform)을 진행하여 시간의 흐름에 따른 주파수의 변화를 볼 수 있도록 영상으로 표현한 것으로, 스펙토그램은 움직임에 따라 다르게 나타나는 경향을 보여준다. 이것을 Deep learning 기술에 적용하여 움직임을 인식하는 연구가 활발히 진행되고 있다. Spectogram is an image that allows you to see the frequency change over time by performing STFT (Short Term Fourier Transform). Researches to recognize motion by applying this to deep learning technology are actively being conducted.
이러한 과정을 거치기 위해서는 Deep learning에서 다수의 Training data가 필요하게 되었다.In order to go through this process, a lot of training data is needed in deep learning.
본 발명의 배경이 되는 기술은 대한민국 국내 공개특허 10-1900414(2018.09.20 공고)에 개시되어 있다.The technology that is the background of the present invention is disclosed in Korean Patent Publication No. 10-1900414 (announced on September 20, 2018).
본 발명이 이루고자 하는 기술적 과제는 미러 패딩 기법을 이용하여 정확한 스펙토그램 데이터를 생성하고, CNN(Convolutional Neural Network)에 적용하는 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법에 관한 것이다.Technical problem to be achieved by the present invention relates to an apparatus and method for recognizing a hand motion using mirror padding that generates accurate spectrogram data using a mirror padding technique and applies it to a convolutional neural network (CNN).
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 손 동작 인식 장치를 이용한 손 동작 인식 방법에 있어서, 연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 단계, 상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 단계, 상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 디퍼 값이 중앙에 위치하도록 상기 패딩 데이터를 재배치하는 단계, 상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하는 단계, 상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 단계, 상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키는 단계, 그리고 인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 상기 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식하는 단계를 포함한다.According to an embodiment of the present invention for achieving such a technical problem, in the hand motion recognition method using the hand motion recognition device, obtaining a micro Doppler data corresponding to the user's hand motion using a continuous wave radar, the obtained A step of generating a padding data by extending a part of the micro Doppler data in a mirror padding method, applying the padding data to a trigger algorithm to calculate a dipper value, comparing the calculated dipper value with a reference trigger value, and the reference trigger Rearranging the padding data so that the largest dipper value among values larger than the value is located at the center, and when the padding data is rearranged, extracting valid data by the size of the acquired micro-Doppler data, and extracting the valid data. Applying STFT (SHORT TERM FOURIER TRANSFORM) to generate spectrogram data, applying the spectrogram data to a convolutional neural network (CNN), and learning, and micro Doppler data for hand movement to be recognized And converting the input micro Doppler data into spectrogram data, and recognizing the hand motion by applying the spectrogram data to the CNN.
상기 패딩 데이터를 생성하는 단계는, 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 상기 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 확장시킬 수 있다.The step of generating the padding data may be extended by adding a portion of data of the front portion and a portion of the rear portion of the micro Doppler data obtained for a predetermined period of time to a mirror padding portion, respectively, to the front and rear portions of the micro Doppler data.
상기 일부 데이터는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 샘플 크기를 가질 수 있다.The some data may have a sample size corresponding to 23% to 25% of the micro Doppler data acquired for a certain period of time.
상기 트리거 알고리즘은, 다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하여 산출할 수 있다.The trigger algorithm may calculate and calculate a dipper value by converting a difference between a value in the current windowing region and a value in the next windowing region into an absolute value, as in the following equation.
여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.Here, k is a constant for the size of the windowing, window[k] is the micro Doppler data value in the kth windowing region, differ[k] is the kth dipper value, and a is the calculated real value. , b is the calculated imaginary value.
상기 트리거 값은, 다음의 수학식과 같이 상기 디퍼 값들의 합으로 연산될 수 있다.The trigger value may be calculated as the sum of the dipper values as in the following equation.
여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.Here, n represents the size of the windowing region.
상기 기준 트리거 값은, 상기 손 동작의 움직임이 없는 것으로 인식된 경우에 획득한 상기 마이크로 도플러 데이터를 상기 트리거 알고리즘에 적용하여 추출된 트리거 값들의 평균에 해당할 수 있다.The reference trigger value may correspond to an average of trigger values extracted by applying the micro Doppler data obtained when it is recognized that there is no movement of the hand motion to the trigger algorithm.
상기 유효 데이터를 추출하는 단계에 있어서, 상기 가장 큰 디퍼값의 앞부분과 뒷부분에 상기 마이크로 도플러 데이터의 샘플 크기의 1/2씩만 남기고, 나머지 패딩 데이터 값을 제거하여 상기 유효 데이터를 추출할 수 있다.In the step of extracting the valid data, only 1/2 of the sample size of the micro Doppler data is left in the front and rear portions of the largest dipper value, and the remaining padding data value is removed to extract the valid data.
본 발명의 다른 실시예에 따르면, 미러 패딩을 이용한 손 동작 인식 장치에 있어서, 연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 데이터 획득부, 상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 데이터 생성부, 상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 값을 중심으로 상기 패딩 데이터를 재배치하고, 상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하고, 상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 제어부, 상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키고, 인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 상기 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식하는 인식부를 포함한다.According to another embodiment of the present invention, in a hand motion recognition apparatus using mirror padding, a data acquisition unit that acquires micro Doppler data corresponding to a user's hand motion using a continuous wave radar, and a part of the obtained micro Doppler data Data generation unit that expands the mirror padding method to generate padding data, applies the padding data to a trigger algorithm to calculate a dipper value, compares the calculated dipper value with a reference trigger value, and is greater than the reference trigger value The padding data is rearranged based on the largest value among the dipper values, and when the padding data is rearranged, valid data is extracted as much as the size of the acquired micro Doppler data, and the valid data is stored in a STRT (SHORT TERM FOURIER TRANSFORM). Control unit for generating spectrogram data by applying, learning by applying the spectrogram data to a convolutional neural network (CNN), and when the micro Doppler data for the hand motion to be recognized is input, the input micro Doppler data It includes a recognition unit that converts spectrogram data and applies the spectrogram data to a CNN to recognize hand gestures.
이와 같이 본 발명에 따르면, 미러 패딩 기법을 이용하여 Raw-data와 패딩 데이터 사이의 불연속점을 방지할 수 있으며, 딥 러닝 학습에 필요한 양질의 학습 데이터를 증량시켜 효율적으로 손 동작을 인식할 수 있다.As described above, according to the present invention, the discontinuity between the raw data and the padding data can be prevented by using the mirror padding technique, and hand motion can be efficiently recognized by increasing the quality training data required for deep learning. .
도 1은 본 발명의 실시예에 따른 손 동작 인식장치의 구성을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 손 동작 인식 장치를 이용한 손 동작 인식 방법을 나타낸 순서도이다.
도 3은 도 2의 S210단계를 설명하기 위한 도면이다.
도 4는 도 2의 S220단계를 설명하기 위한 도면이다.
도 5는 도 2의 S240단계를 설명하기 위한 도면이다.
도 6은 도 2의 S250단계를 설명하기 위한 도면이다.1 is a block diagram showing the configuration of a hand gesture recognition apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a hand gesture recognition method using a hand gesture recognition device according to an embodiment of the present invention.
3 is a view for explaining step S210 of FIG. 2.
4 is a view for explaining step S220 of FIG. 2.
5 is a view for explaining step S240 of FIG.
6 is a view for explaining step S250 of FIG. 2.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains may easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part “includes” a certain component, this means that other components may be further included rather than excluding other components unless otherwise specified.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. Then, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily practice.
도 1은 본 발명의 실시예에 따른 손 동작 인식장치의 구성을 나타낸 구성도이다.1 is a block diagram showing the configuration of a hand gesture recognition apparatus according to an embodiment of the present invention.
도 1에서 나타낸 것처럼, 손 동작 인식 장치(100)는 데이터 획득부(100), 데이터 생성부(120), 제어부(130) 및 인식부(140)를 포함한다.As illustrated in FIG. 1, the hand
먼저, 데이터 획득부(100)는 연속파 레이더를 이용하여 실시간으로 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득한다.First, the
여기서, 마이크로 도플러(Micro Doppler) 데이터는 소리 또는 빛과 같은 파동이 300MHz~30GHz 대역에서 자체의 운동이나 관찰하는 사람의 운동 상태에 따라 변경되는 변경되는 데이터로서, 본 발명에서는 레이더를 이용하여 측정된다.Here, the micro Doppler (Micro Doppler) data is a wave such as sound or light is changed data according to the movement state of its own movement or observer in the 300MHz ~ 30GHz band, in the present invention is measured using a radar. .
다음으로, 데이터 생성부(120)는 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성한다.Next, the
여기서, 미러 패딩(Mirror padding) 방식은 선택된 영역에서의 데이터를 복사하여 기존 데이터의 앞 또는 뒷 부분에 배치하는 방법이다.Here, the mirror padding method is a method of copying data in a selected area and arranging it in front of or behind existing data.
즉, 데이터 생성부(120)는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 상기 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 확장시킨다.That is, the
여기서, 일부 데이터는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 샘플 크기로 설정되며, 더욱 바람직하게는 24%에 해당하는 샘플 크기로 설정된다. Here, some data is set to a sample size corresponding to 23% to 25% of the micro-Doppler data acquired for a certain period of time, more preferably to a sample size corresponding to 24%.
다음으로, 제어부(130)는 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 연산된 디퍼 값과 기준 트리거 값을 비교하고, 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 값을 중심으로 상기 패딩 데이터를 재배치한다.Next, the
또한, 제어부(130)는 패딩 데이터가 재배치되면, 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하고, 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성한다.In addition, when the padding data is rearranged, the
여기서, 기준 트리거 값은 손 동작을 인식하지 않을 경우에 획득한 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 추출된 트리거 값의 평균이다.Here, the reference trigger value is an average of the trigger values extracted by applying the micro Doppler data obtained when the hand motion is not recognized to the trigger algorithm.
다음으로, 인식부(140)는 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키고, 스펙토그램 데이터에 해당되는 손 동작을 인식한다.Next, the
여기서, CNN(Convolutional Neural Network)은 심층 신경망(Deep Neural Network)의 한 종류로 역전달 알고리즘을 이용하여 훈련된 수 있으며, 본 발명에서는 스펙토그램 데이터에 해당되는 손 동작을 인식하기 위해 사용된다.Here, CNN (Convolutional Neural Network) is a type of deep neural network (Deep Neural Network), and may be trained using a reverse transmission algorithm. In the present invention, it is used to recognize hand motion corresponding to spectrogram data.
이하에서는 도 2 내지 도 6을 이용하여 손 동작 인식 장치를 이용한 손 동작 인식 방법을 설명한다.Hereinafter, a method of recognizing a hand motion using a hand motion recognition device will be described with reference to FIGS. 2 to 6.
도 2는 본 발명의 실시예에 따른 손 동작 인식 장치를 이용한 손 동작 인식 방법을 나타낸 순서도이다.2 is a flowchart illustrating a hand gesture recognition method using a hand gesture recognition device according to an embodiment of the present invention.
먼저, 데이터 획득부(110)는 연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득한다(S210).First, the
도 3은 도 2의 S210단계를 설명하기 위한 도면이다.3 is a view for explaining step S210 of FIG. 2.
도 3에서 나타낸 것처럼, 데이터 획득부(110)는 사용자의 손 동작에 의해 변경되는 데이터인 마이크로 도플러 데이터를 실시간으로 획득한다. As shown in FIG. 3, the
다음으로, 데이터 생성부(120)는 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성한다(S220).Next, the
도 4는 도 2의 S220단계를 설명하기 위한 도면이다.4 is a view for explaining step S220 of FIG. 2.
도 4에서 나타낸 것처럼, 데이터 생성부(120)는 일정 시간동안 획득한 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 패딩 데이터를 생성한다.As shown in FIG. 4, the
이때, 미러 패딩 되는 일부 데이터는 일정 시간동안 획득한 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 데이터이다.At this time, some of the data padded by the mirror is data corresponding to 23% to 25% of the micro Doppler data acquired for a certain period of time.
예를 들어, 획득된 마이크로 도플러 데이터의 샘플 크기가 2400개이고, 미러 패딩 되는 일부 데이터가 마이크로 도플러 데이터의 24%라고 하면, 데이터 생성부(120)는 획득한 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 576개에 해당되는 데이터를 추가한다.For example, if the sample size of the acquired micro Doppler data is 2400, and some data that is mirror padded is 24% of the micro Doppler data, the
그러면, 제어부(130)는 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 연산된 디퍼 값과 기준 트리거 값을 비교하고, 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 디퍼 값이 중앙에 위치하도록 패딩 데이터를 재배치한다(S230).Then, the
이때, 제어부(130)는 아래의 수학식 1과 같이 디퍼 값을 연산한다.At this time, the
여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.Here, k is a constant for the size of the windowing, window[k] is the micro Doppler data value in the kth windowing region, differ[k] is the kth dipper value, and a is the calculated real value. , b is the calculated imaginary value.
즉, 디퍼 값은 k번째 윈도윙 영역의 마이크로 도플러 데이터의 크기와 k+1번째의 윈도윙 영역의 마이크로 도플러 데이터의 크기 차이를 연산하여 절대 값으로 변환한 값을 의미한다.In other words, the dipper value means a value calculated by calculating a difference between the size of the micro-Doppler data in the k-th windowing region and the size of the micro-Doppler data in the k+1th windowing region.
이때, 수학식 1에 나타낸 것처럼, 제어부(130)는 연산량을 줄이기 위해 실수부 값의 제곱과 허수부 값의 제곱의 합으로 연산한다.At this time, as shown in
그러면, 제어부(130)는 연산된 디퍼 값을 아래의 수학식 2에 적용하여 트리거 값(trigger)을 연산한다.Then, the
여기서, n은 윈도윙 영역의 크기를 나타낸다.Here, n represents the size of the windowing region.
즉, 수학식 2에 나타낸 것처럼, 각 윈도윙 영역의 트리거 값은 윈도윙 영역내에 존재하는 디퍼 값들의 합에 해당한다.That is, as shown in
또한, 기준 트리거 값은 손 동작의 움직임이 없는 것으로 인식된 경우에 획득한 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 추출된 트리거 값들의 평균에 해당하는 값을 의미한다.In addition, the reference trigger value refers to a value corresponding to the average of the extracted trigger values by applying the acquired micro Doppler data to the trigger algorithm when it is recognized that there is no hand movement.
다음으로, 제어부(130)는 재배치된 패딩 데이터를 이전에 획득한 마이크로 도플러 데이터의 크기만큼 유효데이터로 추출한다(S240). Next, the
도 5는 도 2의 S240단계를 설명하기 위한 도면이다.5 is a view for explaining step S240 of FIG.
도 5에서 나타낸 것처럼, 제어부(130)가 추출한 유효데이터를 나타낸다.As shown in FIG. 5, the valid data extracted by the
여기서, 제어부(130)는 가장 큰 디퍼값의 앞부분과 뒷부분에 마이크로 도플러 데이터의 샘플 크기의 1/2씩만 남기고, 나머지 패딩 데이터 값을 제거하여 유효 데이터를 추출한다. Here, the
즉, 도 5와 같이, 제어부(130)는 가장 큰 디퍼 값이 중앙에 표시되도록 1초에 해당되는 시점에 위치시켜 유효데이터를 추출한다.That is, as shown in FIG. 5, the
다음으로, 제어부(130)로부터 추출된 유효데이터는 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토 그램 데이터를 생성한다(S250).Next, the valid data extracted from the
도 6은 도 2의 S250단계를 설명하기 위한 도면이다.6 is a view for explaining step S250 of FIG. 2.
도 6에서 나타낸 것처럼, 제어부(120)는 스펙토그램 데이터를 생성하고, 생성된 스펜토그램의 크기에 따라 색상을 변경하여 표시한다.As shown in FIG. 6, the
즉, 스펙토그램의 데이터의 값이 클수록 붉은 색으로 나타내고 작을수록 파란색으로 나타낸다.That is, the larger the value of the data of the spectogram is, the redr the color, and the smaller the blue.
그러면, 제어부(130)는 S250단계로부터 생성된 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시킨다(S260).Then, the
이때, 제어부(130)는 스펙토그램 데이터와 스펙토그램 데이터에 해당되는 손 동작을 함께 학습시킨다.At this time, the
다음으로, 인식부(140)는 인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식한다(S270).Next, when the micro Doppler data for the hand motion to be recognized is input, the
즉, 인식부(140)는 딥 러닝(Deep Learning) 기법을 이용하여 손 동작을 인식한다.That is, the
이와 같이 본 발명의 실시예에 따르면, 미러 패딩 기법을 이용하여 Raw-data와 패딩 데이터 사이의 불연속점을 방지할 수 있으며, 딥 러닝 학습에 필요한 양질의 학습 데이터를 증량시킬 수 있다.As described above, according to the exemplary embodiment of the present invention, a discontinuity point between raw data and padding data may be prevented by using a mirror padding technique, and quality learning data required for deep learning learning may be increased.
본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely examples, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.
100: 손 동작 인식 장치,
110: 데이터 획득부,
120: 데이터 생성부,
130: 제어부,
140: 인식부100: hand gesture recognition device, 110: data acquisition unit,
120: data generation unit, 130: control unit,
140: recognition unit
Claims (14)
연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 단계,
상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 단계,
상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 디퍼 값이 중앙에 위치하도록 상기 패딩 데이터를 재배치하는 단계,
상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하는 단계,
상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 단계,
상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키는 단계, 그리고
인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 상기 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식하는 단계를 포함하는 손 동작 인식 방법.In the hand gesture recognition method using the hand gesture recognition device,
Obtaining micro Doppler data corresponding to a user's hand motion using a continuous wave radar,
Generating a padding data by expanding a part of the obtained micro-Doppler data in a mirror padding method;
The padding data is applied to a trigger algorithm to calculate a dipper value, compares the calculated dipper value with a reference trigger value, and sets the padding data so that the largest dipper value among the reference trigger values is located in the center. Relocating,
When the padding data is rearranged, extracting valid data as much as the size of the obtained micro Doppler data,
Generating spectrogram data by applying the effective data to a STFT (SHORT TERM FOURIER TRANSFORM),
Learning by applying the spectrogram data to a convolutional neural network (CNN), and
When the micro Doppler data for the hand motion to be recognized is input, converting the input micro Doppler data into spectrogram data, and applying the spectrogram data to the CNN to recognize the hand gesture. Recognition method.
상기 패딩 데이터를 생성하는 단계는,
일정 시간동안 획득한 상기 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 상기 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 확장시키는 손 동작 인식 방법.According to claim 1,
The step of generating the padding data,
A method of recognizing a hand motion by partially padding the data of the front part and the part of the back part of the micro-Doppler data acquired for a predetermined time, and extending them by adding them to the front and back parts of the micro-Doppler data respectively.
상기 일부 데이터는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 샘플 크기를 가지는 손 동작 인식 방법.According to claim 2,
The some data is hand motion recognition method having a sample size corresponding to 23% to 25% of the micro-Doppler data acquired for a certain period of time.
상기 트리거 알고리즘은,
다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하여 산출하는 손 동작 인식 방법:
여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.According to claim 1,
The trigger algorithm,
As shown in the following equation, the hand motion recognition method for calculating and calculating a dipper value by converting the difference between the current windowing area value and the next windowing area value to an absolute value:
Here, k is a constant for the size of the windowing, window[k] is the micro Doppler data value in the kth windowing region, differ[k] is the kth dipper value, and a is the calculated real value. , b is the calculated imaginary value.
상기 트리거 값은,
다음의 수학식과 같이 상기 디퍼 값들의 합으로 연산되는 손 동작 인식 방법:
여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.According to claim 4,
The trigger value is,
A hand motion recognition method calculated as the sum of the dipper values as in the following equation:
Here, n represents the size of the windowing region.
상기 기준 트리거 값은,
상기 손 동작의 움직임이 없는 것으로 인식된 경우에 획득한 상기 마이크로 도플러 데이터를 상기 트리거 알고리즘에 적용하여 추출된 트리거 값들의 평균에 해당하는 손 동작 인식 방법.The method of claim 5,
The reference trigger value is,
A hand motion recognition method corresponding to an average of trigger values extracted by applying the micro-Doppler data obtained when the hand motion is recognized as no motion.
상기 유효 데이터를 추출하는 단계에 있어서,
상기 가장 큰 디퍼값의 앞부분과 뒷부분에 상기 마이크로 도플러 데이터의 샘플 크기의 1/2씩만 남기고, 나머지 패딩 데이터 값을 제거하여 상기 유효 데이터를 추출하는 손 동작 인식 방법.According to claim 1,
In the step of extracting the effective data,
A hand motion recognition method of extracting the valid data by leaving only 1/2 of the sample size of the micro Doppler data at the front and rear of the largest dipper value, and removing the remaining padding data value.
연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 데이터 획득부,
상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 데이터 생성부,
상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 값을 중심으로 상기 패딩 데이터를 재배치하고, 상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하고, 상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 제어부,
상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키고, 인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 상기 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식하는 인식부를 포함하는 손 동작 인식 장치.In the hand motion recognition device using the mirror padding,
Data acquisition unit for acquiring micro Doppler data corresponding to a user's hand motion using a continuous wave radar,
A data generating unit for generating a padding data by extending a part of the obtained micro-Doppler data in a mirror padding method,
The padding data is applied to a trigger algorithm to calculate a dipper value, compares the calculated dipper value with a reference trigger value, and rearranges the padding data based on the largest value among the dipper values larger than the reference trigger value, When the padding data is rearranged, a control unit for extracting valid data as much as the size of the acquired micro-Doppler data, and applying the valid data to STFT (SHORT TERM FOURIER TRANSFORM) to generate spectrogram data,
When the spectrogram data is learned by applying it to a convolutional neural network (CNN), and when micro-doppler data for a hand motion to be recognized is input, the input micro-doppler data is converted into spectrogram data, A hand motion recognition device including a recognition unit that recognizes hand motion by applying gram data to the CNN.
상기 데이터 생성부는,
일정 시간동안 획득한 상기 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 상기 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 확장시키는 손 동작 인식 장치.The method of claim 8,
The data generation unit,
A hand motion recognition device that extends a partial pad data of a portion of the micro Doppler data and a portion data of a rear portion of the micro Doppler data acquired for a predetermined period of time to be added to the front and rear portions of the micro Doppler data.
상기 일부 데이터는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 샘플 크기를 가지는 손 동작 인식 장치.The method of claim 9,
The part of the data is a hand motion recognition device having a sample size corresponding to 23% to 25% of the micro Doppler data acquired for a predetermined time.
상기 트리거 알고리즘은,
다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하여 산출하는 손 동작 인식 장치:
여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.The method of claim 8,
The trigger algorithm,
A hand motion recognition device that calculates and calculates a dipper value by converting a difference between a current windowing area value and a value in the next windowing area to an absolute value, as shown in the following equation:
Here, k is a constant for the size of the windowing, window[k] is the micro Doppler data value in the kth windowing region, differ[k] is the kth dipper value, and a is the calculated real value. , b is the calculated imaginary value.
상기 트리거 값은,
다음의 수학식과 같이 상기 디퍼 값들의 합으로 연산되는 손 동작 인식 장치:
여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.The method of claim 11,
The trigger value is,
A hand motion recognition device calculated as the sum of the dipper values as in the following equation:
Here, n represents the size of the windowing region.
상기 기준 트리거 값은,
상기 손 동작의 움직임이 없는 것으로 인식된 경우에 획득한 상기 마이크로 도플러 데이터를 상기 트리거 알고리즘에 적용하여 추출된 트리거 값들의 평균에 해당하는 손 동작 인식 장치.The method of claim 12,
The reference trigger value is,
A hand motion recognition device corresponding to an average of trigger values extracted by applying the micro Doppler data obtained when it is recognized that there is no movement of the hand motion to the trigger algorithm.
상기 제어부는,
상기 가장 큰 디퍼값의 앞부분과 뒷부분에 상기 마이크로 도플러 데이터의 샘플 크기의 1/2씩만 남기고, 나머지 패딩 데이터 값을 제거하여 상기 유효 데이터를 추출하는 손 동작 인식 장치.
The method of claim 8,
The control unit,
The hand motion recognition device extracts the valid data by removing only the remaining half of the sample size of the micro-Doppler data in the front and rear parts of the largest dipper value, and removing the remaining padding data value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190003327A KR102140045B1 (en) | 2019-01-10 | 2019-01-10 | Apparatus of recognition hand gesture using mirror padding and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190003327A KR102140045B1 (en) | 2019-01-10 | 2019-01-10 | Apparatus of recognition hand gesture using mirror padding and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200086935A true KR20200086935A (en) | 2020-07-20 |
KR102140045B1 KR102140045B1 (en) | 2020-07-31 |
Family
ID=71831863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190003327A KR102140045B1 (en) | 2019-01-10 | 2019-01-10 | Apparatus of recognition hand gesture using mirror padding and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102140045B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102205308B1 (en) * | 2020-09-03 | 2021-01-20 | 세종대학교산학협력단 | Improved Distance accuracy of FMCW radar using modified mirror padding |
CN113702969A (en) * | 2021-08-20 | 2021-11-26 | 中北大学 | Micro Doppler signal parameter estimation method based on self-adaptive STFT method |
WO2022097894A1 (en) * | 2020-11-03 | 2022-05-12 | 재단법인대구경북과학기술원 | Apparatus and method for motion recognition based on pulse radar |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140056342A (en) * | 2011-08-18 | 2014-05-09 | 퀄컴 인코포레이티드 | Method and device for video coding applying parition-based filters, and storage medium |
KR20150050038A (en) * | 2013-10-31 | 2015-05-08 | 한국전자통신연구원 | Motion recognition device and operating method thereof and motion recognition system including the same |
KR20170132192A (en) * | 2015-04-30 | 2017-12-01 | 구글 엘엘씨 | RF-based micro-motion tracking for gesture tracking and recognition |
KR20180030123A (en) * | 2015-10-06 | 2018-03-21 | 구글 엘엘씨 | Radar - Available Sensor Fusion |
KR20180124501A (en) * | 2017-05-12 | 2018-11-21 | 국방과학연구소 | Apparatus and method for estimating hopping frequency |
KR101932008B1 (en) * | 2017-12-29 | 2018-12-24 | (주)제이엘케이인스펙션 | Image analysis apparatus and method based on feature and context of image |
-
2019
- 2019-01-10 KR KR1020190003327A patent/KR102140045B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140056342A (en) * | 2011-08-18 | 2014-05-09 | 퀄컴 인코포레이티드 | Method and device for video coding applying parition-based filters, and storage medium |
KR20150050038A (en) * | 2013-10-31 | 2015-05-08 | 한국전자통신연구원 | Motion recognition device and operating method thereof and motion recognition system including the same |
KR20170132192A (en) * | 2015-04-30 | 2017-12-01 | 구글 엘엘씨 | RF-based micro-motion tracking for gesture tracking and recognition |
KR20180030123A (en) * | 2015-10-06 | 2018-03-21 | 구글 엘엘씨 | Radar - Available Sensor Fusion |
KR20180124501A (en) * | 2017-05-12 | 2018-11-21 | 국방과학연구소 | Apparatus and method for estimating hopping frequency |
KR101932008B1 (en) * | 2017-12-29 | 2018-12-24 | (주)제이엘케이인스펙션 | Image analysis apparatus and method based on feature and context of image |
Non-Patent Citations (1)
Title |
---|
JIAJUN ZHANG 외 3명. Doppler-Radar Based Hand Gesture Recognition System Using Convolutional Neural Networks. 2017.11.22. 1부.* * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102205308B1 (en) * | 2020-09-03 | 2021-01-20 | 세종대학교산학협력단 | Improved Distance accuracy of FMCW radar using modified mirror padding |
WO2022097894A1 (en) * | 2020-11-03 | 2022-05-12 | 재단법인대구경북과학기술원 | Apparatus and method for motion recognition based on pulse radar |
CN113702969A (en) * | 2021-08-20 | 2021-11-26 | 中北大学 | Micro Doppler signal parameter estimation method based on self-adaptive STFT method |
CN113702969B (en) * | 2021-08-20 | 2023-08-18 | 中北大学 | Micro Doppler signal parameter estimation method based on self-adaptive STFT method |
Also Published As
Publication number | Publication date |
---|---|
KR102140045B1 (en) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102140045B1 (en) | Apparatus of recognition hand gesture using mirror padding and method thereof | |
US11200315B2 (en) | Artificial intelligence based malware detection system and method | |
JP7011146B2 (en) | Image processing device, image processing method, image processing program, and teacher data generation method | |
KR102021531B1 (en) | Apparatus for micro hand motion recognition using continuous wave radar and method thereof | |
JP5470262B2 (en) | Binocular detection and tracking method and apparatus | |
JP5967838B2 (en) | Synchronizing humanoid robot gestures and voice | |
KR101988182B1 (en) | Apparatus for hand motion recognition using continuous wave radar and method thereof | |
KR101724939B1 (en) | System and method for predicting intention of user using brain wave | |
KR102118519B1 (en) | Electronic apparatus and controlling method thereof | |
CN111225237B (en) | Sound and picture matching method of video, related device and storage medium | |
WO2021035071A1 (en) | Systems and methods for simulating sense data and creating perceptions | |
CN110296660A (en) | Livestock body ruler detection method and device | |
RU2721180C1 (en) | Method for generating an animation model of a head based on a speech signal and an electronic computing device which implements it | |
KR20220032382A (en) | Method and system for high resolution sound source maps based on artificial neural network. | |
CN110751941A (en) | Method, device and equipment for generating speech synthesis model and storage medium | |
CN118052917A (en) | Text-driven voice and face action generation method, device, equipment and medium | |
Cabrera et al. | One-shot gesture recognition: One step towards adaptive learning | |
CN110728661A (en) | Image distortion evaluation network training method and device based on randomly generated samples | |
CN114954483A (en) | Vehicle and control method thereof | |
JP7433849B2 (en) | Information processing device, information processing method and program | |
JP6981543B2 (en) | Motion recognition device, motion recognition method, and program | |
US20240087295A1 (en) | Training data generation apparatus | |
CN106774935B (en) | Display device | |
JP7378997B2 (en) | Information processing device, information processing method and program | |
CN117975991B (en) | Digital person driving method and device based on artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |