KR102021531B1

KR102021531B1 - 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법

Info

Publication number: KR102021531B1
Application number: KR1020190035838A
Authority: KR
Inventors: 이성주; 유명석
Original assignee: 세종대학교 산학협력단
Priority date: 2019-03-28
Filing date: 2019-03-28
Publication date: 2019-11-04

Abstract

본 발명은 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법에 관한 것이다.
본 발명에 따르면, 미세 손 동작 인식 장치를 이용한 미세 손 동작 인식 방법에 있어서, 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 단계, 상기 획득한 마이크로 도플러 데이터에 대하여 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당되는 트리거 값을 연산하는 단계, 연산된 현재 시점의 트리거 값과 이후 시점의 트리거 값의 비율을 이용하여 트리거 비율을 연산하고, 연산된 트리거 비율 중에서 가장 큰 트리거 비율을 가지는 제1 시점을 획득하는 단계, 상기 제1 시점을 기준으로 전후에 기준시간에 해당되는 범위를 설정하고, 상기 선정된 범위 내에서 가장 큰 트리거 값을 가지는 제2 시점을 선택하는 단계, 그리고 상기 제2 시점에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 상기 스펙토그램 데이터를 생성하고, 상기 생성된 데이터를 딥러닝(Deep learning)에 적용하여 사용자의 미세 손 동작을 인식하는 단계를 포함한다.

Description

연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법 {APPARATUS FOR MICRO HAND MOTION RECOGNITION USING CONTINUOUS WAVE RADAR AND METHOD THEREOF}

본 발명은 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법에 관한 것으로, 보다 상세하게는 미세한 손 동작을 인식하기 위한 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법에 관한 것이다.

센서 기술은 사용자의 정보나 주변 정보를 습득하여 사용자로 하여금 원하는 동작을 할 수 있도록 사용되었으며, 최근 IoT 기술이 대두되면서 센서를 이용하여 스마트 디바이스를 제어할 수 있도록 하는 연구가 활발히 진행되고 있다.

또한, 딥런닝(Deep learning) 기술이 발달함에 따라 센서를 이용한 단순한 정보를 인식하는 것에서 더욱 복잡한 정보를 인식하고, 센서의 복잡한 정보의 인식률이 높아지고 복잡하고 다양한 정보를 통해 디바이스를 제어할 수 있게 되었다.

기존의 사용자의 손 동작을 획득하기 위한 방법은 사용자가 손 동작을 획득하는 기기를 이용하거나, 다수의 광센서 또는 카메라를 활용하여 손 동작을 획득 하였지만, 이 경우 환경의 영향, 명암 및 장애물 등에 의해 사용범위가 한정적인 단점을 가지고 있다.

또한, 동작이 큰 손 동작에 대해서 수월하게 측정이 가능하였지만 미세한 움직임의 경우 측정하는데 있어서 어려움이 있었다.

이러한 단점을 개선하기 위해 레이더를 이용한 손 동작 인식방법이 필요하게 되었다.

본 발명의 배경이 되는 기술은 대한민국 국내 공개특허 10-2017-0012422(2017.02.02 공고)에 개시되어 있다.

본 발명이 이루고자 하는 기술적 과제는 미세한 손 동작을 인식하기 위한 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법에 관한 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 미세 손 동작 인식 장치를 이용한 미세 손 동작 인식 방법에 있어서, 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 단계, 상기 획득한 마이크로 도플러 데이터에 대하여 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당되는 트리거 값을 연산하는 단계, 연산된 현재 시점의 트리거 값과 이후 시점의 트리거 값의 비율을 이용하여 트리거 비율을 연산하고, 연산된 트리거 비율 중에서 가장 큰 트리거 비율을 가지는 제1 시점을 획득하는 단계, 상기 제1 시점을 기준으로 전후에 기준시간에 해당되는 범위를 설정하고, 상기 선정된 범위 내에서 가장 큰 트리거 값을 가지는 제2 시점을 선택하는 단계, 그리고 상기 제2 시점에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 상기 스펙토그램 데이터를 생성하고, 상기 생성된 데이터를 딥러닝(Deep learning)에 적용하여 사용자의 미세 손 동작을 인식하는 단계를 포함한다.

상기 트리거 값을 연산하는 단계는, 다음의 수학식과 같이, 현재 시점의 윈도윙 영역의 값과 다음 시점의 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산할 수 있다.

여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.

상기 트리거 값을 연산하는 단계는, 다음의 수학식과 같이, 상기 트리거 값은 상기 디퍼 값의 합으로 연산될 수 있다.

여기서, a는 상기 윈도윙 영역의 크기를 나타낸다.

상기 트리거 비율은, 다음의 수학식과 같이, 이후 시점에서의 트리거 값을 현재 시점의 트리거 값으로 나눈 값일 수 있다.

여기서, trigger ratio는 트리거 비율이고, n은 현재 시점이고, n+delay는 이후 시점이며, delay는 지연된 시간을 나타낸다.

상기 기준시간은, 0.1초에 해당하는 시간일 수 있다.

본 발명의 다른 실시예에 따르면, 사용자의 손 동작을 미세하게 인식하기 위한 미세 손 동작 인식 장치에 있어서, 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 데이터 획득부, 상기 획득한 마이크로 도플러 데이터에 대하여 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당되는 트리거 값을 연산하는 연산부, 연산된 현재 시점의 트리거 값과 이후 시점의 트리거 값의 비율을 이용하여 트리거 비율을 연산하고, 연산된 트리거 비율 중에서 가장 큰 트리거 비율을 가지는 제1 시점을 획득하고, 상기 제1 시점을 기준으로 전후에 기준시간에 해당되는 범위를 설정하고, 상기 선정된 범위 내에서 가장 큰 트리거 값을 가지는 제2 시점을 선택하는 제어부, 그리고 상기 제2 시점에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 상기 스펙토그램 데이터를 생성하고, 상기 생성된 데이터를 딥러닝(Deep learning)에 적용하여 사용자의 미세 손 동작을 인식하는 인식부를 포함한다.

이와 같이 본 발명에 따르면, 사용자의 미세한 손 동작을 환경의 영향, 명암 및 장애물의 구분 없이 실시간으로 획득할 수 있으며, 딥 러닝 기술을 이용하여 생성된 스펙토그램에 해당되는 미세 손 동작을 실시간으로 정확하게 추출할 수 있다.

도 1은 본 발명의 실시예에 따른 미세 손 동작 인식장치의 구성을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 미세 손 동작 인식 방법을 나타낸 순서도이다.
도 3은 도 2의 S230단계를 설명하기 위한 도면이다.
도 4는 도 2의 S240단계를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 제2 시점을 나타낸 도면이다.
도 6은 도 2의 S250단계를 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 미세 손 동작 인식장치의 구성을 나타낸 구성도이다.

도 1에서 나타낸 것처럼, 본 발명의 실시예에 따른 미세 손 동작 인식 장치(100)는 데이터 획득부(110), 연산부(120), 제어부(130) 및 인식부(140)를 포함한다.

먼저 데이터 획득부(110)는 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득한다,

여기서, 마이크로 도플러(Micro Doppler) 데이터는 소리 또는 빛과 같은 파동이 300MHz~30GHz 대역에서 자체의 운동이나 관찰하는 사람의 운동 상태에 따라 변경되는 변경되는 데이터로서, 본 발명에서는 레이더를 이용하여 측정된다.

다음으로, 연산부(120)는 획득한 마이크로 도플러 데이터에 대하여 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당되는 트리거 값을 연산한다.

이때, 트리거 값은 현재 시점의 윈도윙 영역의 값과 다음 시점의 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하고, 연산된 디퍼값의 합이다.

그리고, 제어부(130)는 연산된 현재 시점의 트리거 값과 이후 시점의 트리거 값의 비율을 이용하여 트리거 비율을 연산하고, 연산된 트리거 비율 중에서 가장 큰 트리거 비율을 가지는 제1 시점을 획득한.

또한, 제어부(130)는 제1 시점을 기준으로 전후에 기준시간에 해당되는 범위를 설정하고, 선정된 범위 내에서 가장 큰 트리거 값을 가지는 제2 시점을 선택한다.

여기서, 트리거 비율은 이후 시점에서의 트리거 값을 현재 시점의 트리거 값으로 나눈 값이다.

다음으로, 인식부(140)는 제2 시점에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 상기 스펙토그램 데이터를 생성하고, 생성된 데이터를 딥러닝(Deep learning)에 적용하여 사용자의 미세 손 동작을 인식한다.

또한, 딥 러닝은 기계학습 알고리즘을 이용하여 사람의 사고방식을 컴퓨터 또는 기계에게 가르치는 분야이며, 본 발명에서는 스펙토그램 데이터를 해석하고 손 동작을 인식하는데 사용한다.

그리고, 스펙토그램은 소리나 파형을 시각화 하여 파악하기 위한 도구로 시간에 따른 진폭의 변화를 확인할 수 있으며, 표시 색상의 차이를 이용하여 진폭의 차이를 나타낸다.

이하에서는 도 2 내지 도 6을 이용하여 미세 손 동작 인식 방법을 설명한다.

도 2는 본 발명의 실시예에 따른 미세 손 동작 인식 방법을 나타낸 순서도이다.

먼저, 도 2에서 나타낸 것처럼, 데이터 획득부(110)는 연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득한다(S210).

그러면, 연산부(120)는 획득한 마이크로 도플러 데이터에 대하여 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당되는 트리거 값을 연산한다(S220)

그러면, 연산부(120)는 트리거 값을 연산하기 위해 디퍼값을 먼저 연산한다.

여기서, 연산부(120)는 획득한 마이크로 도플러 데이터를 아래의 수학식 1에 적용하여 디퍼값을 연산한다.

이때, 수학식 1에 나타낸 것처럼, 연산부(121)는 연산량을 줄이기 위해 실수부 값의 제곱과 허수부 값의 제곱의 합으로 연산한다.

그러면, 연산부(121)는 연산된 디퍼 값을 아래의 수학식 2에 적용하여 트리거 값(trigger)을 연산한다.

여기서, a는 윈도윙 영역의 크기를 나타낸다.

즉, 수학식 2에 나타낸 것처럼, 각 윈도윙 영역의 트리거 값은 윈도윙 영역내에 존재하는 디퍼 값들의 합이다.

다음으로, 제어부(130)는 연산된 현재 시점의 트리거 값과 이후 시점의 트리거 값의 비율을 이용하여 트리거 비율을 연산하고, 연산된 트리거 비율 중에서 가장 큰 트리거 비율을 가지는 제1 시점을 획득한다(S230).

여기서, 제어부(130)는 연산된 트리거 값을 수학식 3에 적용하여 트리거 비율을 연산한다.

여기서, trigger ratio는 트리거 비율이고, n은 현재 시점이고, n + delay는 이후 시점이며, delay는 지연된 시간을 나타낸다.

특히, delay는 미세 손 동작 인식 장치(100)에 등록된 시간이며, 사용자에 의해 변경이 가능한 시간이다.

예를들어, 현재 시점에서의 트리거 값이 1이고, 이후 시점에서의 트리거 값이 1.3이라고 하면, 제어부(130)는 트리거 비율을 1.3으로 연산한다.

도 3은 도 2의 S230단계를 설명하기 위한 도면이다.

제어부(130)는 각각의 시점에 해당되는 트리거 비율을 수학식 3과 같이 연산하여, 도 3과 같은 그래프로 표시할 수 있다.

여기서, 가로축은 시점을 나타내며, 세로축은 트리거 비율값을 나타낸다.

그리고, 제어부(130)는 도 3에서 표시한 것과 같이 가장 큰 트리거 비율을 가지는 시점을 제1 시점으로 선택한다.

따라서, 도 3에 나타낸 실시예에 따르면, 대략 2700ms에 해당되는 시점이 제1 시점이 된다.

그러면, 제어부(130)는 제1 시점을 기준으로 전후에 기준시간에 해당되는 범위를 설정하고, 선정된 범위 내에서 가장 큰 트리거 값을 가지는 제2 시점을 선택한다(S240).

도 4는 도 2의 S240단계를 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 제2 시점을 나타낸 도면이다.

도 4에서 나타낸 것처럼, 제어부(130)는 제1 시점을 기준으로 전후에 기준시간에 해당되는 시간의 트리거 값을 검출하고, 검출된 트리거 값 중에서 가장 큰 값을 가지는 시점을 제2 시점으로 선택한다.

예를 들어, 도 5에서 원형으로 표시한 부분의 트리거 값이 가장 큰 것으로 판단하면, 제어부(130)는 해당되는 시점인 2750ms을 제2 시점으로 선택한다.

다음으로, 인식부(140)는 제2 시점에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 상기 스펙토그램 데이터를 생성하고, 생성된 데이터를 딥 러닝(Deep learning)에 적용하여 사용자의 미세 손 동작을 인식한다(S250).

도 6은 도 2의 S250단계를 설명하기 위한 도면이다.

즉, 도 6에서 나타낸 것처럼, 인식부(140)는 스펙토그램 데이터를 생성하고, 생성된 스펙토그램의 크기에 따라 색상을 변경하여 표시한다.

즉, 스펙토그램의 데이터의 값이 크면 붉은 색으로 나타내고 작으면 파란색으로 나타낸다.

또한, 인식부(140)는 실시간으로 획득되는 스펙토그램 데이터와 사용자의 손동작을 딥 러닝 기술을 이용하여 정확하게 사용자의 손 동작을 인식할 수 있다.

이와 같이 본 발명의 실시예에 따르면, 사용자의 미세한 손 동작을 환경의 영향, 명암 및 장애물의 구분 없이 실시간으로 획득할 수 있으며, 딥 러닝 기술을 이용하여 생성된 스펙토그램에 해당되는 미세 손 동작을 실시간으로 정확하게 인식할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다 .따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100: 미세 손 동작 인식 장치, 110: 데이터 획득부,
120: 연산부, 130: 제어부,
140: 인식부

Claims

미세 손 동작 인식 장치를 이용한 미세 손 동작 인식 방법에 있어서,
연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 단계,
상기 획득한 마이크로 도플러 데이터에 대하여 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당되는 트리거 값을 연산하는 단계,
연산된 현재 시점의 트리거 값과 이후 시점의 트리거 값의 비율을 이용하여 트리거 비율을 연산하고, 연산된 트리거 비율 중에서 가장 큰 트리거 비율을 가지는 제1 시점을 획득하는 단계,
상기 제1 시점을 기준으로 전후에 기준시간에 해당되는 범위를 설정하고, 상기 설정된 범위 내에서 가장 큰 트리거 값을 가지는 제2 시점을 선택하는 단계, 그리고
상기 제2 시점에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하고, 상기 생성된 데이터를 딥러닝(Deep learning)에 적용하여 사용자의 미세 손 동작을 인식하는 단계를 포함하고,
상기 트리거 비율은,
다음의 수학식과 같이, 이후 시점에서의 트리거 값을 현재 시점의 트리거 값으로 나눈 값인 미세 손동작 인식방법:

여기서, trigger ratio는 트리거 비율이고, n은 현재 시점이고, n+delay는 이후 시점이며, delay는 지연된 시간을 나타낸다.
제1항에 있어서,
상기 트리거 값을 연산하는 단계는,
다음의 수학식과 같이, 현재 시점의 윈도윙 영역의 값과 다음 시점의 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하는 미세 손 동작 인식 방법:

여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
제2항에 있어서,
상기 트리거 값을 연산하는 단계는,
다음의 수학식과 같이, 상기 트리거 값은 상기 디퍼 값의 합으로 연산되는 미세 손 동작 인식 방법:

여기서, a는 상기 윈도윙 영역의 크기를 나타낸다.
삭제
제1항에 있어서,
상기 기준시간은,
0.1초에 해당하는 시간인 미세 손 동작 인식 방법.
사용자의 손 동작을 인식하기 위한 미세 손 동작 인식 장치에 있어서,
연속파 레이더를 이용하여 실시간으로 사용자의 손을 검출하고 마이크로 도플러 데이터를 획득하는 데이터 획득부,
상기 획득한 마이크로 도플러 데이터에 대하여 윈도윙 영역을 설정하고, 상기 설정된 윈도윙 영역에 해당되는 트리거 값을 연산하는 연산부,
연산된 현재 시점의 트리거 값과 이후 시점의 트리거 값의 비율을 이용하여 트리거 비율을 연산하고, 연산된 트리거 비율 중에서 가장 큰 트리거 비율을 가지는 제1 시점을 획득하고, 상기 제1 시점을 기준으로 전후에 기준시간에 해당되는 범위를 설정하고, 상기 설정된 범위 내에서 가장에 큰 트리거 값을 가지는 제2 시점을 선택하는 제어부, 그리고
상기 제2 시점에 해당되는 데이터를 STFT(SHORT TERM FOURIER TRANSFORM)에 적용하여 스펙토그램 데이터를 생성하고, 상기 생성된 데이터를 딥러닝(Deep learning)에 적용하여 사용자의 미세 손 동작을 인식하는 인식부를 포함하고,
상기 트리거 비율은,
다음의 수학식과 같이, 다음 시점에서의 트리거 값을 현재의 트리거 값으로 나눈 값인 미세 손동작 인식 장치:

여기서, trigger ratio는 트리거 비율이고, n은 시점이고, delay는 다음 시점의 값을 나타낸다.
제6항에 있어서,
상기 연산부는,
다음의 수학식과 같이, 현재 윈도윙 영역의 값과 다음 윈도윙 영역에서의 값의 차이를 절대값으로 변환하여 디퍼 값을 연산하는 미세 손 동작 인식 장치:

여기서, k는 윈도윙의 크기에 대한 상수이고, window[k]는 k번째 윈도윙 영역에서의 마이크로 도플러 데이터 값이며, differ[k]는 k번째의 디퍼 값이고, a 는 연산된 실수 값이고, b는 연산된 허수 값이다.
제7항에 있어서,
상기 연산부는,
다음의 수학식과 같이, 상기 트리거 값은 상기 디퍼 값의 합으로 연산되는 미세 손 동작 인식 장치:

여기서, a는 상기 윈도윙 영역의 크기를 나타낸다.
삭제
제6항에 있어서,
상기 기준 시간은,
0.1초에 해당하는 시간인 미세 손 동작 인식 장치.