KR102140045B1 - 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법 - Google Patents

미러 패딩을 이용한 손 동작 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR102140045B1
KR102140045B1 KR1020190003327A KR20190003327A KR102140045B1 KR 102140045 B1 KR102140045 B1 KR 102140045B1 KR 1020190003327 A KR1020190003327 A KR 1020190003327A KR 20190003327 A KR20190003327 A KR 20190003327A KR 102140045 B1 KR102140045 B1 KR 102140045B1
Authority
KR
South Korea
Prior art keywords
data
value
padding
micro
hand motion
Prior art date
Application number
KR1020190003327A
Other languages
English (en)
Other versions
KR20200086935A (ko
Inventor
이성주
유명석
Original Assignee
세종대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교 산학협력단 filed Critical 세종대학교 산학협력단
Priority to KR1020190003327A priority Critical patent/KR102140045B1/ko
Publication of KR20200086935A publication Critical patent/KR20200086935A/ko
Application granted granted Critical
Publication of KR102140045B1 publication Critical patent/KR102140045B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법에 관한 것이다.
본 발명에 따르면, 손 동작 인식 장치를 이용한 손 동작 인식 방법에 있어서, 연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 단계, 상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 단계, 상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 디퍼 값이 중앙에 위치하도록 상기 패딩 데이터를 재배치하는 단계, 상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하는 단계, 상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 단계, 상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키는 단계, 그리고 상기 스펙토그램 데이터에 해당되는 손 동작을 인식하는 단계를 포함한다.

Description

미러 패딩을 이용한 손 동작 인식 장치 및 그 방법{APPARATUS OF RECOGNITION HAND GESTURE USING MIRROR PADDING AND METHOD THEREOF}
본 발명은 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법에 관한 것으로, 보다 상세하게는 미러 패딩 기법을 이용하여 정확한 스펙토그램 데이터를 생성하고, CNN(Convolutional Neural Network)에 적용하는 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법에 관한 것이다.
센서 기술은 사용자의 정보나 주변 정보를 습득하여 사용자로 하여금 원하는 동작을 할 수 있도록 사용되었으며, 최근 IoT 기술이 대두되면서 센서를 이용하여 스마트 디바이스를 제어할 수 있도록 하는 연구가 활발히 진행되고 있다.
또한, CW radar를 이용하면 물체의 속도에 따른 Doppler 신호를 측정할 수 있으며, 측정된 신호를 분석하여 물체의 움직임을 분석하기 위해 Spectrogram을 사용할 수 있다.
스펙토그램이란 STFT(Short Term Fourier Transform)을 진행하여 시간의 흐름에 따른 주파수의 변화를 볼 수 있도록 영상으로 표현한 것으로, 스펙토그램은 움직임에 따라 다르게 나타나는 경향을 보여준다. 이것을 Deep learning 기술에 적용하여 움직임을 인식하는 연구가 활발히 진행되고 있다.
이러한 과정을 거치기 위해서는 Deep learning에서 다수의 Training data가 필요하게 되었다.
본 발명의 배경이 되는 기술은 대한민국 국내 공개특허 10-1900414(2018.09.20 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 미러 패딩 기법을 이용하여 정확한 스펙토그램 데이터를 생성하고, CNN(Convolutional Neural Network)에 적용하는 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법에 관한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 손 동작 인식 장치를 이용한 손 동작 인식 방법에 있어서, 연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 단계, 상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 단계, 상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 디퍼 값이 중앙에 위치하도록 상기 패딩 데이터를 재배치하는 단계, 상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하는 단계, 상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 단계, 상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키는 단계, 그리고 인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 상기 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식하는 단계를 포함한다.
상기 패딩 데이터를 생성하는 단계는, 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 상기 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 확장시킬 수 있다.
상기 일부 데이터는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 샘플 크기를 가질 수 있다.
상기 트리거 알고리즘은, 다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하여 산출할 수 있다.
Figure 112019003326840-pat00001
여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
상기 트리거 값은, 다음의 수학식과 같이 상기 디퍼 값들의 합으로 연산될 수 있다.
Figure 112019003326840-pat00002
여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.
상기 기준 트리거 값은, 상기 손 동작의 움직임이 없는 것으로 인식된 경우에 획득한 상기 마이크로 도플러 데이터를 상기 트리거 알고리즘에 적용하여 추출된 트리거 값들의 평균에 해당할 수 있다.
상기 유효 데이터를 추출하는 단계에 있어서, 상기 가장 큰 디퍼값의 앞부분과 뒷부분에 상기 마이크로 도플러 데이터의 샘플 크기의 1/2씩만 남기고, 나머지 패딩 데이터 값을 제거하여 상기 유효 데이터를 추출할 수 있다.
본 발명의 다른 실시예에 따르면, 미러 패딩을 이용한 손 동작 인식 장치에 있어서, 연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 데이터 획득부, 상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 데이터 생성부, 상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 값을 중심으로 상기 패딩 데이터를 재배치하고, 상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하고, 상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 제어부, 상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키고, 인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 상기 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식하는 인식부를 포함한다.
이와 같이 본 발명에 따르면, 미러 패딩 기법을 이용하여 Raw-data와 패딩 데이터 사이의 불연속점을 방지할 수 있으며, 딥 러닝 학습에 필요한 양질의 학습 데이터를 증량시켜 효율적으로 손 동작을 인식할 수 있다.
도 1은 본 발명의 실시예에 따른 손 동작 인식장치의 구성을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 손 동작 인식 장치를 이용한 손 동작 인식 방법을 나타낸 순서도이다.
도 3은 도 2의 S210단계를 설명하기 위한 도면이다.
도 4는 도 2의 S220단계를 설명하기 위한 도면이다.
도 5는 도 2의 S240단계를 설명하기 위한 도면이다.
도 6은 도 2의 S250단계를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 손 동작 인식장치의 구성을 나타낸 구성도이다.
도 1에서 나타낸 것처럼, 손 동작 인식 장치(100)는 데이터 획득부(100), 데이터 생성부(120), 제어부(130) 및 인식부(140)를 포함한다.
먼저, 데이터 획득부(100)는 연속파 레이더를 이용하여 실시간으로 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득한다.
여기서, 마이크로 도플러(Micro Doppler) 데이터는 소리 또는 빛과 같은 파동이 300MHz~30GHz 대역에서 자체의 운동이나 관찰하는 사람의 운동 상태에 따라 변경되는 변경되는 데이터로서, 본 발명에서는 레이더를 이용하여 측정된다.
다음으로, 데이터 생성부(120)는 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성한다.
여기서, 미러 패딩(Mirror padding) 방식은 선택된 영역에서의 데이터를 복사하여 기존 데이터의 앞 또는 뒷 부분에 배치하는 방법이다.
즉, 데이터 생성부(120)는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 상기 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 확장시킨다.
여기서, 일부 데이터는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 샘플 크기로 설정되며, 더욱 바람직하게는 24%에 해당하는 샘플 크기로 설정된다.
다음으로, 제어부(130)는 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 연산된 디퍼 값과 기준 트리거 값을 비교하고, 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 값을 중심으로 상기 패딩 데이터를 재배치한다.
또한, 제어부(130)는 패딩 데이터가 재배치되면, 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하고, 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성한다.
여기서, 기준 트리거 값은 손 동작을 인식하지 않을 경우에 획득한 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 추출된 트리거 값의 평균이다.
다음으로, 인식부(140)는 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키고, 스펙토그램 데이터에 해당되는 손 동작을 인식한다.
여기서, CNN(Convolutional Neural Network)은 심층 신경망(Deep Neural Network)의 한 종류로 역전달 알고리즘을 이용하여 훈련된 수 있으며, 본 발명에서는 스펙토그램 데이터에 해당되는 손 동작을 인식하기 위해 사용된다.
이하에서는 도 2 내지 도 6을 이용하여 손 동작 인식 장치를 이용한 손 동작 인식 방법을 설명한다.
도 2는 본 발명의 실시예에 따른 손 동작 인식 장치를 이용한 손 동작 인식 방법을 나타낸 순서도이다.
먼저, 데이터 획득부(110)는 연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득한다(S210).
도 3은 도 2의 S210단계를 설명하기 위한 도면이다.
도 3에서 나타낸 것처럼, 데이터 획득부(110)는 사용자의 손 동작에 의해 변경되는 데이터인 마이크로 도플러 데이터를 실시간으로 획득한다.
다음으로, 데이터 생성부(120)는 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성한다(S220).
도 4는 도 2의 S220단계를 설명하기 위한 도면이다.
도 4에서 나타낸 것처럼, 데이터 생성부(120)는 일정 시간동안 획득한 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 패딩 데이터를 생성한다.
이때, 미러 패딩 되는 일부 데이터는 일정 시간동안 획득한 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 데이터이다.
예를 들어, 획득된 마이크로 도플러 데이터의 샘플 크기가 2400개이고, 미러 패딩 되는 일부 데이터가 마이크로 도플러 데이터의 24%라고 하면, 데이터 생성부(120)는 획득한 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 576개에 해당되는 데이터를 추가한다.
그러면, 제어부(130)는 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 연산된 디퍼 값과 기준 트리거 값을 비교하고, 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 디퍼 값이 중앙에 위치하도록 패딩 데이터를 재배치한다(S230).
이때, 제어부(130)는 아래의 수학식 1과 같이 디퍼 값을 연산한다.
Figure 112019003326840-pat00003
여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
즉, 디퍼 값은 k번째 윈도윙 영역의 마이크로 도플러 데이터의 크기와 k+1번째의 윈도윙 영역의 마이크로 도플러 데이터의 크기 차이를 연산하여 절대 값으로 변환한 값을 의미한다.
이때, 수학식 1에 나타낸 것처럼, 제어부(130)는 연산량을 줄이기 위해 실수부 값의 제곱과 허수부 값의 제곱의 합으로 연산한다.
그러면, 제어부(130)는 연산된 디퍼 값을 아래의 수학식 2에 적용하여 트리거 값(trigger)을 연산한다.
Figure 112019003326840-pat00004
여기서, n은 윈도윙 영역의 크기를 나타낸다.
즉, 수학식 2에 나타낸 것처럼, 각 윈도윙 영역의 트리거 값은 윈도윙 영역내에 존재하는 디퍼 값들의 합에 해당한다.
또한, 기준 트리거 값은 손 동작의 움직임이 없는 것으로 인식된 경우에 획득한 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 추출된 트리거 값들의 평균에 해당하는 값을 의미한다.
다음으로, 제어부(130)는 재배치된 패딩 데이터를 이전에 획득한 마이크로 도플러 데이터의 크기만큼 유효데이터로 추출한다(S240).
도 5는 도 2의 S240단계를 설명하기 위한 도면이다.
도 5에서 나타낸 것처럼, 제어부(130)가 추출한 유효데이터를 나타낸다.
여기서, 제어부(130)는 가장 큰 디퍼값의 앞부분과 뒷부분에 마이크로 도플러 데이터의 샘플 크기의 1/2씩만 남기고, 나머지 패딩 데이터 값을 제거하여 유효 데이터를 추출한다.
즉, 도 5와 같이, 제어부(130)는 가장 큰 디퍼 값이 중앙에 표시되도록 1초에 해당되는 시점에 위치시켜 유효데이터를 추출한다.
다음으로, 제어부(130)로부터 추출된 유효데이터는 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토 그램 데이터를 생성한다(S250).
도 6은 도 2의 S250단계를 설명하기 위한 도면이다.
도 6에서 나타낸 것처럼, 제어부(120)는 스펙토그램 데이터를 생성하고, 생성된 스펜토그램의 크기에 따라 색상을 변경하여 표시한다.
즉, 스펙토그램의 데이터의 값이 클수록 붉은 색으로 나타내고 작을수록 파란색으로 나타낸다.
그러면, 제어부(130)는 S250단계로부터 생성된 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시킨다(S260).
이때, 제어부(130)는 스펙토그램 데이터와 스펙토그램 데이터에 해당되는 손 동작을 함께 학습시킨다.
다음으로, 인식부(140)는 인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식한다(S270).
즉, 인식부(140)는 딥 러닝(Deep Learning) 기법을 이용하여 손 동작을 인식한다.
이와 같이 본 발명의 실시예에 따르면, 미러 패딩 기법을 이용하여 Raw-data와 패딩 데이터 사이의 불연속점을 방지할 수 있으며, 딥 러닝 학습에 필요한 양질의 학습 데이터를 증량시킬 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 손 동작 인식 장치, 110: 데이터 획득부,
120: 데이터 생성부, 130: 제어부,
140: 인식부

Claims (14)

  1. 손 동작 인식 장치를 이용한 손 동작 인식 방법에 있어서,
    연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 단계,
    상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 단계,
    상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 디퍼 값이 중앙에 위치하도록 상기 패딩 데이터를 재배치하는 단계,
    상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하는 단계,
    상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 단계,
    상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키는 단계, 그리고
    인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 상기 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식하는 단계를 포함하고,
    상기 트리거 알고리즘은,
    다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하여 산출하는 손 동작 인식 방법:
    Figure 112020074483484-pat00015

    여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
  2. 제1항에 있어서,
    상기 패딩 데이터를 생성하는 단계는,
    일정 시간동안 획득한 상기 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 상기 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 확장시키는 손 동작 인식 방법.
  3. 제2항에 있어서,
    상기 앞부분의 일부 데이터와 뒷부분의 일부 데이터는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 샘플 크기를 가지는 손 동작 인식 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 트리거 알고리즘은,
    다음의 수학식과 같이 상기 디퍼 값들의 합으로 트리거 값을 연산하는 손 동작 인식 방법:
    Figure 112020074483484-pat00006

    여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.
  6. 제5항에 있어서,
    상기 기준 트리거 값은,
    상기 손 동작의 움직임이 없는 것으로 인식된 경우에 획득한 상기 마이크로 도플러 데이터를 상기 트리거 알고리즘에 적용하여 추출된 트리거 값들의 평균에 해당하는 손 동작 인식 방법.
  7. 제1항에 있어서,
    상기 유효 데이터를 추출하는 단계에 있어서,
    상기 가장 큰 디퍼값의 앞부분과 뒷부분에 상기 마이크로 도플러 데이터의 샘플 크기의 1/2씩만 남기고, 나머지 패딩 데이터 값을 제거하여 상기 유효 데이터를 추출하는 손 동작 인식 방법.
  8. 미러 패딩을 이용한 손 동작 인식 장치에 있어서,
    연속파 레이더를 이용하여 사용자의 손 동작에 해당되는 마이크로 도플러 데이터를 획득하는 데이터 획득부,
    상기 획득한 마이크로 도플러 데이터의 일부를 미러 패딩 방식으로 확장하여 패딩 데이터를 생성하는 데이터 생성부,
    상기 패딩 데이터를 트리거 알고리즘에 적용하여 디퍼 값을 연산하고, 상기 연산된 디퍼 값과 기준 트리거 값을 비교하고, 상기 기준 트리거 값 보다 큰 디퍼 값 중에서 가장 큰 값을 중심으로 상기 패딩 데이터를 재배치하고, 상기 패딩 데이터가 재배치되면, 상기 획득한 마이크로 도플러 데이터의 크기만큼 유효 데이터를 추출하고, 상기 유효데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 제어부,
    상기 스펙토그램 데이터를 CNN(Convolutional Neural Network)에 적용하여 학습시키고, 인식 대상이 되는 손 동작에 대한 마이크로 도플러 데이터가 입력되면, 입력된 마이크로 도플러 데이터를 스펙토그램 데이터로 변환하고, 상기 스펙토그램 데이터를 CNN에 적용하여 손 동작을 인식하는 인식부를 포함하고,
    상기 트리거 알고리즘은,
    다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하여 산출하는 손 동작 인식 장치:
    Figure 112020074483484-pat00016

    여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
  9. 제8항에 있어서,
    상기 데이터 생성부는,
    일정 시간동안 획득한 상기 마이크로 도플러 데이터의 앞부분의 일부 데이터와 뒷부분의 일부 데이터를 각각 미러 패딩하여 상기 마이크로 도플러 데이터의 앞부분과 뒷부분에 각각 추가하여 확장시키는 손 동작 인식 장치.
  10. 제9항에 있어서,
    상기 앞부분의 일부 데이터와 뒷부분의 일부 데이터는 일정 시간동안 획득한 상기 마이크로 도플러 데이터의 23% 내지 25%에 해당하는 샘플 크기를 가지는 손 동작 인식 장치.
  11. 삭제
  12. 제8항에 있어서,
    상기 트리거 알고리즘은,
    다음의 수학식과 같이 상기 디퍼 값들의 합으로 트리거 값을 연산하는 손 동작 인식 장치:
    Figure 112020074483484-pat00008

    여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.
  13. 제12항에 있어서,
    상기 기준 트리거 값은,
    상기 손 동작의 움직임이 없는 것으로 인식된 경우에 획득한 상기 마이크로 도플러 데이터를 상기 트리거 알고리즘에 적용하여 추출된 트리거 값들의 평균에 해당하는 손 동작 인식 장치.
  14. 제8항에 있어서,
    상기 제어부는,
    상기 가장 큰 디퍼값의 앞부분과 뒷부분에 상기 마이크로 도플러 데이터의 샘플 크기의 1/2씩만 남기고, 나머지 패딩 데이터 값을 제거하여 상기 유효 데이터를 추출하는 손 동작 인식 장치.
KR1020190003327A 2019-01-10 2019-01-10 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법 KR102140045B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190003327A KR102140045B1 (ko) 2019-01-10 2019-01-10 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190003327A KR102140045B1 (ko) 2019-01-10 2019-01-10 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200086935A KR20200086935A (ko) 2020-07-20
KR102140045B1 true KR102140045B1 (ko) 2020-07-31

Family

ID=71831863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190003327A KR102140045B1 (ko) 2019-01-10 2019-01-10 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102140045B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102205308B1 (ko) * 2020-09-03 2021-01-20 세종대학교산학협력단 변형된 미러 패딩을 이용한 fmcw 레이다의 거리 정밀도 개선
KR102495377B1 (ko) * 2020-11-03 2023-02-06 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법
CN113702969B (zh) * 2021-08-20 2023-08-18 中北大学 基于自适应stft方法的微多普勒信号参数估计方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932008B1 (ko) 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
KR20150050038A (ko) * 2013-10-31 2015-05-08 한국전자통신연구원 동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템
KR102002112B1 (ko) * 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
KR101943734B1 (ko) * 2017-05-12 2019-01-29 국방과학연구소 도약 주파수 추정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932008B1 (ko) 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAJUN ZHANG 외 3명. Doppler-Radar Based Hand Gesture Recognition System Using Convolutional Neural Networks. 2017.11.22. 1부.*

Also Published As

Publication number Publication date
KR20200086935A (ko) 2020-07-20

Similar Documents

Publication Publication Date Title
KR102140045B1 (ko) 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법
KR101960869B1 (ko) 인공지능 기반 악성코드 검출 시스템 및 방법
JP7011146B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP5470262B2 (ja) 両眼の検出および追跡する方法、及び装置
RU2648573C2 (ru) Выделение ресурсов для машинного обучения
JP5967838B2 (ja) 人間型ロボットのジェスチャと音声の同期
KR102021531B1 (ko) 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법
US8751191B2 (en) Action analysis device and action analysis method
KR101362631B1 (ko) 머리 인식 방법
KR101724939B1 (ko) 뇌파를 이용한 사용자 의도 예측 시스템 및 그 방법
JP5051746B2 (ja) 特徴抽出装置及び方法並びにプログラム
KR102414021B1 (ko) 인공지능 신경망을 이용한 고해상도 음원지도 취득 및 분석방법 및 시스템
JP2020135747A (ja) 行動分析装置および行動分析方法
RU2721180C1 (ru) Способ генерации анимационной модели головы по речевому сигналу и электронное вычислительное устройство, реализующее его
CN110751941A (zh) 语音合成模型的生成方法、装置、设备及存储介质
JP2004513439A (ja) 信号処理システムにおいて隠れマルコフモデルの状態数を確定する方法及び装置
Cabrera et al. One-shot gesture recognition: One step towards adaptive learning
CN110728661A (zh) 基于随机生成样本的图像畸变评价网络训练方法及装置
JP2016006478A (ja) 顕著度画像生成装置、方法、及びプログラム
CN114187173A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质
CN114954483A (zh) 车辆及其控制方法
US20240087295A1 (en) Training data generation apparatus
KR102625707B1 (ko) 마이크로 도플러 레이더에서 스펙트로그램 추출을 위한 전처리 신호처리 방법
KR102296838B1 (ko) 뇌파신호 및 말초신경신호를 연동한 동작 의도 판별 방법 및 의지 제어 방법
JP7378997B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant