KR101988182B1 - 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법 - Google Patents

연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR101988182B1
KR101988182B1 KR1020180133225A KR20180133225A KR101988182B1 KR 101988182 B1 KR101988182 B1 KR 101988182B1 KR 1020180133225 A KR1020180133225 A KR 1020180133225A KR 20180133225 A KR20180133225 A KR 20180133225A KR 101988182 B1 KR101988182 B1 KR 101988182B1
Authority
KR
South Korea
Prior art keywords
data
value
trigger
windowing
hand
Prior art date
Application number
KR1020180133225A
Other languages
English (en)
Inventor
이성주
유명석
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020180133225A priority Critical patent/KR101988182B1/ko
Application granted granted Critical
Publication of KR101988182B1 publication Critical patent/KR101988182B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법에 관한 것이다.
본 발명에 따르면, 손 동작 인식 장치를 이용한 손 동작 인식 방법에 있어서, 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 단계, 상기 획득한 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 유효 데이터를 추출하는 단계, 상기 추출된 유효 데이터에 해당되는 윈도윙 영역을 선택하고, 상기 선택된 윈도윙 영역에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 상기 스펙토그램 데이터를 생성하는 단계, 그리고 상기 생성된 스펙토그램 데이터를 딥 러닝(Deep learning)에 적용하여 상기 사용자의 손 동작을 인식하는 단계를 포함한다.
연속파 레이더를 이용하여 사용자의 손 동작을 환경의 영향, 명암 및 장애물의 구분 없이 실시간으로 유효 데이터를 획득 할 수 있고, 획득한 유효데이터를 이용하여 스펙토그램을 생성하고, 딥 러닝 기술을 이용하여 생성된 스펙토그램에 해당되는 손 동작을 실시간으로 정확하게 추출할 수 있다.

Description

연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법{APPARATUS FOR HAND MOTION RECOGNITION USING CONTINUOUS WAVE RADAR AND METHOD THEREOF}
본 발명은 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법에 관한 것으로, 보다 상세하게는 연속파 레이더를 통해 손 동작에 대한 유효 데이터를 획득하고, 딥 러닝 기술을 이용하여 손 동작를 인식하는 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법에 관한 것이다.
센서 기술은 사용자의 정보나 주변 정보를 습득하여 사용자로 하여금 원하는 동작을 할 수 있도록 사용되었으며, 최근 IoT 기술이 대두되면서 센서를 이용하여 스마트 디바이스를 제어할 수 있도록 하는 연구가 활발히 진행되고 있다.
또한, Deep learning 기술이 발달함에 따라 센서를 이용한 단순한 정보를 인식하는 것에서 더욱 복잡한 정보를 인식하고, 센서의 복잡한 정보의 인식률이 높아지고 복잡하고 다양한 정보를 통해 디바이스를 제어할 수 있게 되었다.
기존의 사용자의 손 동작을 획득하기 위한 방법은 사용자가 손 동작을 획득하는 기기를 이용하거나, 다수의 광센서 또는 카메라를 활용하여 손 동작을 획득 하였지만, 이 경우 환경의 영향, 명암 및 장애물 등에 의해 사용범위가 한정적인 단점을 가지고 있다.
이러한 단점을 개선하기 위해 레이더를 이용한 손 동작 인식방법이 필요하게 되었다.
본 발명의 배경이 되는 기술은 대한민국 국내 공개특허 10-2017-0012422(2017.02.02 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 연속파 레이더를 통해 손 동작에 대한 유효 데이터를 획득하고, 딥 러닝 기술을 이용하여 손 동작을 인식하는 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법에 관한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 손 동작 인식 장치를 이용한 손 동작 인식 방법에 있어서, 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 단계, 상기 획득한 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 유효 데이터를 추출하는 단계, 상기 추출된 유효 데이터에 해당되는 윈도윙 영역을 선택하고, 상기 선택된 윈도윙 영역에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 상기 스펙토그램 데이터를 생성하는 단계, 그리고 상기 생성된 스펙토그램 데이터를 딥 러닝(Deep learning)에 적용하여 상기 사용자의 손 동작을 인식하는 단계를 포함한다.
상기 유효 데이터를 추출하는 단계는, 상기 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당하는 트리거 값을 연산하는 단계, 상기 연산된 트리거 값과 기준 트리거 값을 비교하는 단계, 상기 설정된 윈도윙 영역을 기준 단위로 쉬프트 시키는 단계, 상기 각 윈도윙 영역에 해당되는 트리거 값 중에서 상기 기준 트리거 값보다 큰 트리거 값이 검출되면, 상기 스펙토그램의 크기만큼 상기 설정된 윈도윙 영역을 쉬프트 시키면서 트리거 값을 연산하는 단계, 그리고 상기 연산된 트리거 값 중에서 가장 큰 값을 유효 데이터로 추출하는 단계를 포함할 수 있다.
상기 트리거 값을 연산하는 단계는, 다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산할 수 있다.
Figure 112018108619716-pat00001
여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
상기 트리거 값을 연산하는 단계는, 다음의 수학식과 같이, 상기 트리거 값은 상기 디퍼 값의 합으로 연산될 수 있다.
Figure 112018108619716-pat00002
여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.
상기 기준 트리거 값은, 상기 손 동작을 인식하지 않을 경우에 획득한 상기 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 추출된 트리거 값의 평균일 수 있다.
본 발명의 다른 실시예에 따르면, 손 동작 인식을 위한 손 동작 인식 장치에 있어서, 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 데이터 획득부, 상기 획득한 마이크로 도플러 데이터를 트리거 알고리즘과 스펙토그램의 크기를 이용하여 유효 데이터를 추출하고, 상기 추출된 유효 데이터에 해당되는 윈도윙 영역을 선택하고, 상기 선택된 윈도윙 영역에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 제어부, 그리고 상기 생성된 스펙토그램 데이터를 딥 러닝(Deep learning)에 적용하여 상기 사용자의 손 동작을 인식하는 인식부를 포함한다.
이와 같이 본 발명에 따르면, 연속파 레이더를 이용하여 사용자의 손 동작을 환경의 영향, 명암 및 장애물의 구분 없이 실시간으로 유효 데이터를 획득할 수 있다.
또한, 획득한 유효데이터를 이용하여 스펙토그램을 생성하고, 딥 러닝 기술을 이용하여 생성된 스펙토그램에 해당되는 손 동작을 실시간으로 정확하게 추출할 수 있다.
도 1은 본 발명의 실시예에 따른 손 동작 인식 장치의 구성을 나타낸 구성도이다.
도 2는 도 1에 도시한 제어부의 구성을 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 손 동작 인식 장치를 이용한 손 동작 인식 방법을 나타낸 순서도이다.
도 4는 도 3의 S310 단계에 기재한 마이크로 도플러 데이터의 측정 값을 나타낸 예시도이다.
도 5는 도 3의 S320단계를 설명하기 위한 순서도이다.
도 6는 도 5의 S325단계를 설명하기 위한 도면이다.
도 7은 도 3의 S330단계를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 손 동작 인식 장치의 구성을 나타낸 구성도이다.
도 1에 나타낸 것처럼, 본 발명의 실시예에 따른 손 동작 인식 장치(100)는 데이터 획득부(110), 제어부(120) 및 인식부(130)를 포함한다.
먼저, 데이터 획득부(110)는 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득한다.
여기서, 마이크로 도플러(Micro Doppler) 데이터는 소리 또는 빛과 같은 파동이 300MHz~30GHz 대역에서 자체의 운동이나 관찰하는 사람의 운동 상태에 따라 변경되는 변경되는 데이터로서, 본 발명에서는 레이더를 이용하여 측정된다.
다음으로, 제어부(120)는 획득한 마이크로 도플러 데이터를 트리거 알고리즘과 스펙토그램의 크기를 이용하여 유효 데이터를 추출하고, 추출된 유효 데이터에 해당되는 윈도윙 영역을 선택한다. 그리고, 제어부(120)는 선택된 윈도윙 영역에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램(Spectrogram) 데이터를 생성한다.
여기서, 스펙토그램은 소리나 파형을 시각화 하여 파악하기 위한 도구로 시간에 따른 진폭의 변화를 확인할 수 있으며, 표시 색상의 차이를 이용하여 진폭의 차이를 나타낸다.
다음으로, 인식부(130)는 생성된 스펙토그램 데이터를 딥 러닝(Deep Learning)에 적용하여 사용자의 손 동작을 인식한다.
여기서, 딥 러닝은 기계학습 알고리즘을 이용하여 사람의 사고방식을 컴퓨터 또는 기계에게 가르치는 분야이며, 본 발명에서는 스펙토그램 데이터를 해석하고 손 동작을 인식하는데 사용한다.
도 2는 도 1에 도시한 제어부의 구성을 나타낸 구성도이다.
도 2에서 나타낸 것처럼, 제어부(120)는 연산부(121), 비교부(122) 및 데이터 추출부(123)를 포함한다.
먼저, 연산부(121)는 윈도윙 영역의 크기를 설정하고, 설정된 윈도윙 영역에 해당되는 트리거 값을 연산한다.
즉, 연산부(121)는 트리거 값을 연산하기 위해 마이크로 도플러 데이터를 이용하여 디퍼 값을 연산한다.
또한, 연산부(121)는 연산된 디퍼 값의 합으로 트리거 값을 연산한다.
다음으로, 비교부(122)는 기준 트리거 값과 연산된 윈도윙 영역의 트리거 값을 비교한다.
그러면, 데이터 추출부(123)는 각 윈도윙 영역에 해당되는 트리거 값 중에서 기준 트리거 값보다 큰 트리거 값이 검출되면, 스펙토그램의 크기만큼 설정된 윈도윙 영역을 쉬프트 시키면서 트리거 값을 연산하고, 연산된 트리거 값 중에서 가장 큰 값을 유효 데이터로 추출한다.
이하에서는 도 3 내지 도 7을 이용하여 손 동작 인식 장치를 이용한 손 동작 인식 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 손 동작 인식 장치를 이용한 손 동작 인식 방법을 설명하기 위한 순서도이다.
먼저, 도 3에서 나타낸 것처럼, 데이터 획득부(110)는 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득한다(S310).
도 4는 도 3의 S310 단계에 기재한 마이크로 도플러 데이터의 측정 값을 나타낸 예시도이다.
도 4에서 나타낸 것처럼, 그래프의 가로 축은 시간 축이며, 세로 축은 수신 신호 세기를 나타낸다.
그러면, 제어부(120)는 데이터 획득부(110)로부터 획득된 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 유효 데이터를 추출한다(S320).
이하에서는 도 5를 이용하여 S320단계에 대해 상세히 설명한다.
도 5는 도 3의 S320단계를 설명하기 위한 순서도이다.
먼저, 연산부(121)는 윈도윙 영역의 크기를 설정하고, 설정된 윈도윙 영역에 해당되는 트리거 값을 연산한다(S321).
이때, 연산부(121)는 마이크로 도플러 데이터와 아래의 수학식 1과 같이 디퍼 값(differ)을 연산한다.
Figure 112018108619716-pat00003
여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
즉, 디퍼 값은 k번째 윈도윙 영역의 마이크로 도플러 데이터의 크기와 k+1번째의 윈도윙 영역의 마이크로 도플러 데이터의 크기 차이를 연산하여 절대 값으로 변환한 값을 의미한다.
이때, 수학식 1에 나타낸 것처럼, 연산부(121)는 연산량을 줄이기 위해 실수부 값의 제곱과 허수부 값의 제곱의 합으로 연산한다.
그러면, 연산부(121)는 연산된 디퍼 값을 아래의 수학식 2에 적용하여 트리거 값(trigger)을 연산한다.
Figure 112018108619716-pat00004
여기서, n은 윈도윙 영역의 크기를 나타낸다.
즉, 수학식 2에 나타낸 것처럼, 각 윈도윙 영역의 트리거 값은 윈도윙 영역내에 존재하는 디퍼 값들의 합이다.
그러면, 비교부(122)는 연산부(121)로부터 연산된 트리거 값과 기준 트리거 값을 비교한다(S322).
이때, 비교부(122)는 연산된 트리거 값과 기준 트리거 값을 비교하여, 기준 트리거 값 보다 큰 트리거 값이 검출될 때까지 반복적으로 비교한다.
여기서, 기준 트리거 값은 손 동작을 인식하지 않을 경우에 획득한 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 추출된 트리거 값의 평균 값을 나타내며, 실시간으로 변경될 수 있다.
다음으로, 각 윈도윙 영역에 해당되는 트리거 값 중에서 기준 트리거 값보다 큰 트리거 값이 검출되면, 데이터 추출부(123)는 스펙토그램의 크기만큼 설정된 윈도윙 영역을 쉬프트 시키면서 트리거 값을 연산한다(S324).
여기서, 기준 단위는 윈도윙 영역을 이동 시키기 위해 설정하며, 설정된 단위는 사용자로부터 설정되거나 손 동작 인식 장치(100)에 설정된 값이다.
예를 들어, 기준단위가 1이라고 하면, 데이터 추출부(123)는 윈도윙 영역을 기준 단위인 1개의 픽셀만큼 이동시키고, 윈도윙 영역의 트리거 값을 연산한다.
그러면, 데이터 추출부(123)는 연산된 트리거 값 중에서 가장 큰 값을 유효 데이터로 추출한다(S325).
예를 들어, 기준 트리거 값보다 큰 트리거 값이 검출된 경우, 쉬프트된 윈도윙 영역의 개수가 200개이고, 트리거 값이 가장 큰 값을 가지는 윈도윙 영역이 150번째의 윈도윙 영역이라고 하면, 데이터 추출부(123)는 150번째의 윈도윙 영역을 선택하여 유효 데이터를 추출한다.
도 6는 도 5의 S325단계를 설명하기 위한 도면이다.
도 6에서 나타낸 것처럼, 데이터 추출부(123)는 선택된 트리거 값을 중심으로 스펙토그램의 크기만큼 윈도윙 영역에 해당되는 데이터를 추출한다.
그러면, 제어부(120)는 추출된 유효 데이터에 해당되는 윈도윙 영역을 선택하고, 선택된 윈도윙 영역에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성한다(S330).
도 7은 본 발명의 실시예에 따른 S330단계를 설명하기 위한 도면이다.
도 7에서 나타낸 것처럼, 제어부(120)는 스펙토그램 데이터를 생성하고, 생성된 스펜토그램의 크기에 따라 색상을 변경하여 표시한다.
즉, 스펙토그램의 데이터의 값이 높으면 붉은 색으로 나타내고 작으면 파란색으로 나타낸다.
그러면, 인식부(130)는 생성된 스펙토그램 데이터를 딥 러닝(Deep learning)에 적용하여 사용자의 손 동작을 인식한다(S350).
즉, 인식부(130)는 실시간으로 획득되는 스펙토그램 데이터와 사용자의 손동작을 딥 러닝 기술을 이용하여 정확하게 사용자의 손 동작을 인식할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 연속파 레이더를 이용하여 사용자의 손 동작을 환경의 영향, 명암 및 장애물의 구분 없이 실시간으로 유효 데이터를 획득할 수 있다.
또한, 획득한 유효데이터를 이용하여 스펙토그램을 생성하고, 딥 러닝 기술을 이용하여 생성된 스펙토그램에 해당되는 손 동작을 실시간으로 정확하게 추출할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 손 동작 인식 장치, 110: 데이터 획득부,
120: 제어부, 121: 연산부,
122: 비교부, 123: 데이터 추출부,
130: 인식부,

Claims (10)

  1. 손 동작 인식 장치를 이용한 손 동작 인식 방법에 있어서,
    연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 단계,
    상기 획득한 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 유효 데이터를 추출하는 단계,
    윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당하는 트리거 값을 연산하는 단계,
    상기 연산된 트리거 값과 기준 트리거 값을 비교하는 단계,
    상기 설정된 윈도윙 영역을 기준 단위로 쉬프트 시키는 단계,
    각각의 윈도윙 영역에 해당되는 트리거 값 중에서 상기 기준 트리거 값보다 큰 트리거 값이 검출되면, 스펙토그램의 크기만큼 상기 설정된 윈도윙 영역을 쉬프트 시키면서 트리거 값을 연산하는 단계,
    상기 연산된 트리거 값 중에서 가장 큰 값을 유효 데이터로 추출하는 단계,
    상기 추출된 유효 데이터에 해당되는 윈도윙 영역을 선택하고, 상기 선택된 윈도윙 영역에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 단계, 그리고
    상기 생성된 스펙토그램 데이터를 딥 러닝(Deep learning)에 적용하여 상기 사용자의 손 동작을 인식하는 단계를 포함하는 손 동작 인식 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 트리거 값을 연산하는 단계는,
    다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하는 손 동작 인식 방법:
    Figure 112019013522175-pat00005

    여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
  4. 제3항에 있어서,
    상기 트리거 값을 연산하는 단계는,
    다음의 수학식과 같이, 상기 트리거 값은 상기 디퍼 값의 합으로 연산되는 손 동작 인식 방법:
    Figure 112018108619716-pat00006

    여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.
  5. 제1항에 있어서,
    상기 기준 트리거 값은,
    상기 손 동작을 인식하지 않을 경우에 획득한 상기 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 추출된 트리거 값의 평균인 손 동작 인식 방법.
  6. 손 동작 인식을 위한 손 동작 인식 장치에 있어서,
    연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 데이터 획득부,
    상기 획득한 마이크로 도플러 데이터를 트리거 알고리즘과 스펙토그램의 크기를 이용하여 유효 데이터를 추출하고, 상기 추출된 유효 데이터에 해당되는 윈도윙 영역을 선택하고, 상기 선택된 윈도윙 영역에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하는 제어부,
    상기 생성된 스펙토그램 데이터를 딥 러닝(Deep learning)에 적용하여 상기 사용자의 손 동작을 인식하는 인식부를 포함하 고,
    상기 제어부는,
    상기 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당하는 트리거 값을 연산부,
    상기 연산된 트리거 값과 기준 트리거 값을 비교하는 비교부, 그리고
    상기 각 윈도윙 영역에 해당되는 트리거 값 중에서 상기 기준 트리거 값보다 큰 트리거 값이 검출되면, 상기 스펙토그램의 크기만큼 상기 설정된 윈도윙 영역을 쉬프트 시키면서 트리거 값을 연산하고, 상기 연산된 트리거 값 중에서 가장 큰 값을 유효 데이터로 추출하는 데이터 추출부를 포함하는 손 동작 인식 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 연산부는,
    다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하는 손 동작 인식 장치:
    Figure 112019013522175-pat00007

    여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
  9. 제8항에 있어서,
    상기 연산부는,
    다음의 수학식과 같이, 상기 트리거 값은 상기 디퍼 값의 합으로 연산되는 손 동작 인식 장치:
    Figure 112018108619716-pat00008

    여기서, n은 상기 윈도윙 영역의 크기를 나타낸다.
  10. 제6항에 있어서,
    상기 기준 트리거 값은,
    상기 손 동작을 인식하지 않을 경우에 획득한 상기 마이크로 도플러 데이터를 트리거 알고리즘에 적용하여 추출된 트리거 값의 평균인 손 동작 인식 장치.
KR1020180133225A 2018-11-02 2018-11-02 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법 KR101988182B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180133225A KR101988182B1 (ko) 2018-11-02 2018-11-02 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180133225A KR101988182B1 (ko) 2018-11-02 2018-11-02 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101988182B1 true KR101988182B1 (ko) 2019-06-11

Family

ID=66846974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180133225A KR101988182B1 (ko) 2018-11-02 2018-11-02 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101988182B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456320A (zh) * 2019-07-29 2019-11-15 浙江大学 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN110850386A (zh) * 2019-11-20 2020-02-28 中北大学 一种基于分数阶域特征的旋翼类无人机深度学习识别方法
CN113516242A (zh) * 2021-08-10 2021-10-19 中国科学院空天信息创新研究院 一种基于自注意力机制的神经网络模型的训练方法
KR20220059806A (ko) * 2020-11-03 2022-05-10 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법
KR20230029330A (ko) * 2021-08-24 2023-03-03 세종대학교산학협력단 마이크로 도플러 레이더에서 스펙트로그램 추출을 위한 전처리 신호처리 방법
KR20230097525A (ko) * 2021-12-24 2023-07-03 성균관대학교산학협력단 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170132192A (ko) * 2015-04-30 2017-12-01 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170132192A (ko) * 2015-04-30 2017-12-01 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456320A (zh) * 2019-07-29 2019-11-15 浙江大学 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN110456320B (zh) * 2019-07-29 2021-08-03 浙江大学 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN110850386A (zh) * 2019-11-20 2020-02-28 中北大学 一种基于分数阶域特征的旋翼类无人机深度学习识别方法
CN110850386B (zh) * 2019-11-20 2023-04-18 中北大学 一种基于分数阶域特征的旋翼类无人机深度学习识别方法
KR20220059806A (ko) * 2020-11-03 2022-05-10 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법
KR102495377B1 (ko) 2020-11-03 2023-02-06 재단법인대구경북과학기술원 펄스 레이더에 기반한 동작 인식 장치 및 방법
CN113516242A (zh) * 2021-08-10 2021-10-19 中国科学院空天信息创新研究院 一种基于自注意力机制的神经网络模型的训练方法
CN113516242B (zh) * 2021-08-10 2024-05-14 中国科学院空天信息创新研究院 一种基于自注意力机制的穿墙雷达人体动作识别方法
KR20230029330A (ko) * 2021-08-24 2023-03-03 세종대학교산학협력단 마이크로 도플러 레이더에서 스펙트로그램 추출을 위한 전처리 신호처리 방법
KR102625707B1 (ko) 2021-08-24 2024-01-16 세종대학교산학협력단 마이크로 도플러 레이더에서 스펙트로그램 추출을 위한 전처리 신호처리 방법
KR20230097525A (ko) * 2021-12-24 2023-07-03 성균관대학교산학협력단 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템
KR102660187B1 (ko) 2021-12-24 2024-04-23 성균관대학교산학협력단 레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템

Similar Documents

Publication Publication Date Title
KR101988182B1 (ko) 연속파 레이더를 이용한 손 동작 인식 장치 및 그 방법
KR102021531B1 (ko) 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법
EP2701042B1 (en) Object and movement detection
US9317035B2 (en) Remote operation system
US11226408B2 (en) Sensor, estimating device, estimating method, and recording medium
Kim Detection of eye blinking using Doppler sensor with principal component analysis
KR20190087647A (ko) 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
JP2018173285A (ja) 行動認識システム、及び行動認識方法
Seifert et al. New analysis of radar micro-Doppler gait signatures for rehabilitation and assisted living
KR101608889B1 (ko) 대기열 모니터링 장치 및 방법
Rivera et al. Radar-based fall detection exploiting time-frequency features
CN111476058A (zh) 一种基于毫米波雷达的手势识别方法
Mokhtari et al. Non-wearable UWB sensor to detect falls in smart home environment
ES2967111T3 (es) Dispositivo de caracterización de la actimetría de un sujeto en tiempo real
CA2979271A1 (en) Wayfinding and obstacle avoidance system
KR20210073292A (ko) 레이더 기반 제스처 인식 시스템
KR20200106074A (ko) 다중 채널 레이더에 의한 생활 편의 시설 모니터링
Janakaraj et al. STAR: Simultaneous tracking and recognition through millimeter waves and deep learning
CN107811652B (zh) 自动调整参数的超声成像方法及系统
KR102140045B1 (ko) 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법
JP2010032442A (ja) 測位システム及び処理装置
Hornsteiner et al. Characterisation of human gait using a continuous-wave radar at 24 GHz
CN112741617A (zh) 一种基于csi的全方向步态检测算法
Rahman et al. Word-level ASL recognition and trigger sign detection with RF sensors
Zhu et al. RFMonitor: Monitoring smoking behavior of minors using COTS RFID devices

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant