KR102254331B1 - 공중 제스쳐 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 기지정된 위치에 이격되어 배치된 3개의 레이더에서 기지정된 방향 및 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하고, 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 전처리부, 제스쳐 행렬의 각 원소값에 대응하는 크기 히스토그램을 획득하고, 크기 히스토그램에 대해 로그 정규 근사를 수행하여 판별되는 근사 로그 정규 분포의 표준 편차를 기반으로 제스쳐가 발생된 시간 구간인 제스쳐 구간을 탐지하는 제스쳐 구간 탐지부, 제스쳐 행렬에서 제스쳐 구간에 대응하는 원소들로부터 3개의 레이더 각각으로부터 타겟까지의 거리를 판별하고, 판별된 거리를 이용하여 시간에 따른 타겟의 위치 변화를 판별하는 위치 추적부, 타겟의 위치 변화를 선으로 연결하여 변화 이미지를 획득하고, 획득된 변화 이미지를 기지정된 조건에 부합되도록 조절하여 제스쳐 이미지를 획득하는 이미지 변환부 및 패턴 추정 방식이 미리 학습된 인공 신공망으로 구현되어, 제스쳐 이미지의 특징을 추출하고, 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 제스쳐 판별부를 포함하는 공중 제스쳐 인식 장치 및 방법을 제공할 수 있다.

Description

공중 제스쳐 인식 장치 및 방법{NON-CONTACT TYPE MID-AIR GESTURE RECOGNIZATION APPARATUS AND METHOD}

본 발명은 제스쳐 인식 장치 및 방법에 관한 것으로, 사용자의 공중 제스쳐를 감지하여 인식할 수 있는 공중 제스쳐 인식 장치 및 방법에 관한 것이다.

전통적인 터치 기반 인터페이스와 비교하여 제스처 기반 인터페이스는 보다 직관적이고 편리한 사용자 경험(user experience)을 제공 할 수 있다는 장점으로 인해 다양하게 연구되고 있다.

이중 카메라 기반 제스처 인식은 널리 연구되고 상업화되었지만, 어두운 곳에서 사용하기가 어렵고, 사용자에 대한 개인 식별 정보 유출의 가능성이 있다. 한편 사용자의 신체에 센서를 부착하는 웨어러블 기반 제스쳐 인식이 제안되었으나, 사용자가 관련 하드웨어를 착용해야 하는 불편함이 있다.

이러한 문제를 해결하기 위해 최근에는 레이더 기반 제스쳐 인식에 대한 연구가 진행되고 있다. 현재 레이더 기반 제스쳐 인식은 도플러 레이더 또는 저전력 주파수 변조 연속파(frequency-modulated continuous wave: FMCW) 를 이용하여 획득된 반사 신호의 스펙트럼 히스토그램을 인공 신경망에 입력하여 제스쳐를 인식하고 있으나, 거리나 각도, 타겟이 되는 손의 모양 및 사용자에 따른 제스쳐 형태에 따라 정확도가 크게 낮아지는 한계가 있다.

따라서 2차원 평면 상에서의 제스쳐가 아닌 3차원 공중에서의 손 제스쳐에 대해서는 인식 성능에 문제가 있다.

한국 공개 특허 제 10-2018-0130869호 (2018.12.10 공개)

본 발명의 목적은 공중에서 3차원 제스쳐로 발생된 문자를 정확하게 인식할 수 있는 공중 제스쳐 인식 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 각도, 거리, 손 모양의 변화에 강건하게 공중 제스쳐를 인식할 수 있는 공중 제스쳐 인식 장치 및 방법을 제공하는데 있다.

본 발명의 또다른 목적은 사용자 독립적으로 제스쳐를 인식하여 사용자별로 상이할 수 있는 제스쳐 형태에 무관하게 공중 제스쳐를 정확하게 인식할 수 있는 공중 제스쳐 인식 장치 및 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 공중 제스쳐 인식 장치는 기지정된 위치에 이격되어 배치된 3개의 레이더에서 기지정된 방향 및 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하고, 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 전처리부; 상기 제스쳐 행렬의 각 원소값에 대응하는 크기 히스토그램을 획득하고, 상기 크기 히스토그램에 대해 로그 정규 근사를 수행하여 판별되는 근사 로그 정규 분포의 표준 편차를 기반으로 제스쳐가 발생된 시간 구간인 제스쳐 구간을 탐지하는 제스쳐 구간 탐지부; 상기 제스쳐 행렬에서 상기 제스쳐 구간에 대응하는 원소들로부터 3개의 레이더 각각으로부터 타겟까지의 거리를 판별하고, 판별된 거리를 이용하여 시간에 따른 타겟의 위치 변화를 판별하는 위치 추적부; 타겟의 위치 변화를 선으로 연결하여 변화 이미지를 획득하고, 획득된 변화 이미지를 기지정된 조건에 부합되도록 조절하여 제스쳐 이미지를 획득하는 이미지 변환부; 및 패턴 추정 방식이 미리 학습된 인공 신공망으로 구현되어, 상기 제스쳐 이미지의 특징을 추출하고, 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 제스쳐 판별부; 를 포함한다.

상기 전처리부는 상기 수신 신호를 인가받아 기지정된 방식으로 획득된 클러터 신호를 차감하여 배경 차감 신호를 획득하는 클러터 제거부; 및 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 구분하는 슬로우 타임 인덱스와 슬로우 타임 인덱스로 구분된 수신 신호들을 샘플링 주기에 따른 획득된 순서로 구분하는 패스트 타임 인덱스에 따라 배열하여 2차원의 제스쳐 행렬을 획득하는 행렬 변환부; 를 포함할 수 있다.

상기 제스쳐 구간 탐지부는 상기 제스쳐 행렬을 1차원 제스쳐 벡터로 변환하고, 상기 제스쳐 벡터에서 기지정된 문턱값 미만의 값을 갖는 원소를 노이즈로 제거하고, 원소 값에 따른 크기를 갖는 크기 히스토그램으로 변환하는 히스토그램 변환부; 및 크기 히스토그램에 대해 기지정된 크기의 윈도우를 이동하면서 대응하는 크기 히스토그램에 근사되는 로그 정규 분포를 탐색하고, 탐색된 로그 정규 분포의 표준 편차가 기지정된 문턱 움직임 인덱스를 초과하면, 해당 윈도우의 시간 구간을 제스쳐 구간으로 판별하는 로그 정규 근사부; 를 포함할 수 있다.

상기 위치 추적부는 상기 제스쳐 행렬 중 상기 제스쳐 구간에 대응하는 원소의 최대값을 갖는 원소의 패스트 타임 인덱스를 기반으로 3개의 레이더 각각으로부터 타겟까지의 거리를 계산하는 거리 판별부; 및 3개의 레이더 각각으로부터 타겟까지의 거리를 이용하여 삼각 측량 기법에 따라 타겟의 위치 좌표를 판별하고, 시간에 따라 변화하는 타겟의 위치 좌표를 추적하는 위치 판별부; 를 포함할 수 있다.

상기 이미지 변환부는 변화하는 타겟의 위치 좌표를 선으로 연결하고, 연결된 선과 배경의 색상을 지정하여 변화 이미지를 획득하는 이미지 획득부; 및 상기 변화 이미지를 인가받아 왜곡을 보정하고, 인공 신경망으로 구현되는 상기 제스쳐 판별부에서 요구되는 포멧으로 조절하는 이미지 조절부; 를 포함할 수 있다.

상기 공중 제스쳐 인식 장치는 변화하는 상기 타겟의 위치 좌표 중 시간적으로 인접하여 획득된 위치 좌표들과의 중간값을 획득하고, 획득된 중간값과 기지정된 기준 거리 이상 이격된 위치의 타겟의 위치 좌표를 이상치로 제거하고, 이상치가 제거된 타겟의 위치 좌표들에 대해 칼만 필터를 적용하여 평활화하는 평활화부; 를 더 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 공중 제스쳐 인식 방법은 기지정된 위치에 이격되어 배치된 3개의 레이더에서 기지정된 방향 및 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하고, 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 단계; 상기 제스쳐 행렬의 각 원소값에 대응하는 크기 히스토그램을 획득하고, 상기 크기 히스토그램에 대해 로그 정규 근사를 수행하여 판별되는 근사 로그 정규 분포의 표준 편차를 기반으로 제스쳐가 발생된 시간 구간인 제스쳐 구간을 탐지하는 단계; 상기 제스쳐 행렬에서 상기 제스쳐 구간에 대응하는 원소들로부터 3개의 레이더 각각으로부터 타겟까지의 거리를 판별하고, 판별된 거리를 이용하여 시간에 따른 타겟의 위치 변화를 판별하는 단계; 타겟의 위치 변화를 선으로 연결하여 변화 이미지를 획득하고, 획득된 변화 이미지를 기지정된 조건에 부합되도록 조절하여 제스쳐 이미지를 획득하는 단계; 및 패턴 추정 방식이 미리 학습된 인공 신공망으로 구현되어, 상기 제스쳐 이미지의 특징을 추출하고, 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 단계; 를 포함한다.

따라서, 본 발명의 실시예에 따른 공중 제스쳐 인식 장치 및 방법은 공중에서 발생된 3차원 제스쳐를 2차원의 이미지로 변환하여 판별함으로써, 공중 제스쳐를 정확하게 인식할 수 있다. 그리고 각도, 거리, 손 모양의 변화에 강건하게 공중 제스쳐를 인식할 수 있으며, 사용자 독립적으로 제스쳐를 인식하여 사용자별로 상이할 수 있는 제스쳐 형태에 무관하게 공중 제스쳐를 인식할 수 있다.

도 1은 본 발명의 일 실시예에 따른 공중 제스쳐 인식 장치의 개략적 구조를 나타낸다.
도 2는 레이더부의 3개의 레이더에 의해 구성되는 평면과 사용자의 손 위치의 일예를 나타낸다.
도 3은 배경 차감 신호를 누적하여 변환한 제스쳐 행렬을 그래픽으로 표현한 일예를 나타낸다.
도 4는 로그 정규 근사부에서 수행되는 로그 정규 근사의 일예를 나타낸다.
도 5는 위치 판별부가 삼각 측량 기법으로 타겟의 위치를 판별하는 개념을 설명하기 위한 도면이다.
도 6은 위치 판별부에서 획득된 타겟 위치의 일예를 나타낸다.
도 7은 평활화부가 도 6의 타겟들의 위치에 대해 평활화를 수행한 결과를 나타낸다.
도 8은 이미지 변환부가 타겟의 위치로부터 이미지를 획득하고 조절하는 과정을 나타낸다.
도 9는 인공 신경망으로 구현된 제스쳐 판별부의 일예를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 공중 제스쳐 인식 방법을 나타낸다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 공중 제스쳐 인식 장치의 개략적 구조를 나타내고, 도 2는 레이더부의 3개의 레이더에 의해 구성되는 평면과 사용자의 타겟 위치의 일예를 나타낸다.

도 1을 참조하면, 본 실시예에 따른 공중 제스쳐 인식 장치는 레이더부(10), 전처리부(20), 제스쳐 구간 탐지부(30), 위치 추적부(40), 평활화부(50), 이미지 변환부(60) 및 제스쳐 판별부(70)를 포함한다.

레이더부(10)는 도 2에 도시된 바와 같이, 기지정된 위치에 배치된 3개의 레이더(R1 ~ R3)를 포함한다. 3개의 레이더는 각각 기지정된 방향으로 임펄스 신호(s_i(n))를 방사하고, 방사된 임펄스 신호(s_i(n))가 반사된 수신 신호(r_i(n))를 획득한다. 여기서 i(i = {1, 2, 3})는 3개의 레이더(R1 ~ R3)에 대응하는 레이더 식별자이고, n은 샘플링 주기에 따른 샘플링 인덱스이다.

각각 기지정된 위치에 분산 배치된 3개의 레이더(R1 ~ R3)는 가상 평면(virtual plane)을 형성하고, 사용자의 제스처를 검출하기 위해 지정된 방향 및 빔 폭으로 임펄스 신호(s_i(n))를 방사하여 수신 신호(r_i(n))를 획득한다. 3개의 레이더(R1 ~ R3)가 기지정된 위치에 배치되므로, 3개의 레이더(R1 ~ R3) 각각의 좌표(도 2에서는 일예로 (-x1, 0), (x1, 0), (0, y1))는 미리 알고 있으며, 고정된 것으로 가정한다.

또한 본 실시예에서는 간단한 일예로 사용자가 손가락을 이용하여 공중에서 숫자를 쓰는 제스쳐를 취하는 것을 가정하여, 이하에서는 제스쳐를 통해 숫자를 인식하는 경우를 기초로 하여 설명하지만, 본 발명은 이에 한정되지 않는다. 즉 숫자 이외에 다양한 문자나 기호 등에 대한 제스쳐, 또는 미리 지정된 다양한 패턴의 공중 제스쳐에 대해서도 인식하도록 구성될 수 있다.

이때 3개의 레이더(R1 ~ R3) 각각으로부터 제스쳐를 발생하는 타겟(여기서는 일예로 사용자의 손) 위치(x, y)까지의 거리는 도 2에 도시된 바와 같이, d_i(d_i = {d₁, d₂, d₃})로 표현될 수 있다.

여기서 3개의 레이더는 IR-UWB(impulse radio ultra-wideband) 레이더일 수 있다. IR-UWB 레이더는 수십 나노/피코 단위 너비의 짧은 임펄스 신호를 방사하고, 물체에 반사되어 수신되는 신호와 임펄스 신호의 시간적 차이를 활용하여 물체의 존재와 거리를 판단하는 방식으로 동작한다. IR-UWB 레이더는 인체에 무해한 초광대역 주파수를 사용하므로 다른 센서의 간섭없이 대상을 비접촉 방식으로 고해상도로 탐지할 수 있으며, 송신 파워가 매우 작기 때문에 저전력, 저가격 소형으로 구현이 가능하며, 광대역을 사용하여 협대역 간섭에 강하며 신호의 스펙트럼이 유사 잡음 형태를 보이므로 보안성 또한 향상되는 장점이 있다.

3개의 레이더(R1 ~ R3)에 수신된 수신 신호(r_i(n))는 레이더에서 방사된 임펄스 신호(s_i(n))가 실내 환경에서 벽과 피검사자 및 여러 물체에 의해 다양한 경로로 반사되면서 지연 및 감쇄하고, 노이즈(N(n))가 유입되어 적어도 하나의 IR-UWB 레이더 각각으로 수신된다. 따라서 i번째 레이더(R_i)에서 수신된 수신 신호(r_i(n))는 수학식 1과 같이 표현될 수 있다.

여기서 Path는 방사된 임펄스 신호(s_i(n))가 반사되어 수신 신호(r_i(n))로 수신되는 경로의 수를 나타내고, a_p,i와 τ_p,i는 각각 임펄스 신호(s_i(n))가 p번째 경로에 따라 수신된 경우의 스케일 값과 지연값을 나타낸다.

이때, 3개의 레이더(R1 ~ R3) 각각은 주기적으로 방사되는 다수의 임펄스 신호(s_i(n))들의 시간 간격 사이에서 획득되는 수신 신호(r_i(n))를 구분함으로써, 각 임펄스 신호(s_i(n))에 대한 수신 신호(r_i(n))를 구별할 수 있다. 예를 들면, i번째 레이더(R_i)에서 m번째 방사된 임펄스 신호(s_i,m(n))에 대한 수신 신호(r_i(n))를 수신 신호(r_i,m(n))로 구분할 수 있다. 경우에 따라서 주기적으로 방사되는 임펄스 신호(s_i,m(n))의 방사 시점을 판별하지 못하는 경우, 수신 신호(r_i(n))에 대한 자기 상관(auto-correlation) 신호를 획득하여, 수신 신호(r_i(n))의 주기성을 판별함으로써, 각 임펄스 신호(s_i,m(n))에 대한 수신 신호(r_i,m(n))들을 구분할 수 있다.

본 실시예에서는 주기적으로 방사되는 임펄스 신호(s_i,m(n))에 대해 수신된 수신 신호(r_i,m(n))에서 샘플링 주기에 따라 획득된 순서를 나타내는 n을 패스트 타임 인덱스(fast time index)라 하고, 서로 다른 임펄스 신호(s_i,m(n))에 따라 수신된 수신 신호(r_i,m(n))를 구분하는 m을 슬로우 타임 인덱스(slow time index)라 한다.

전처리부(20)는 레이더부(10)에서 획득된 수신 신호(r_i,m(n))에서 클러터(clutter)를 제거하는 클러터 제거부(21)와 클러터가 제거된 배경 차감 신호(y_i,m(n))를 행렬 형태로 변환하는 행렬 변환부(22)를 포함할 수 있다.

클러터 제거부(21)는 레이더부(10)에서 획득된 수신 신호(r_i,m(n))에서 클러터를 제거한다. 임펄스 신호(s_i,m(n))는 사용자뿐만 아니라, 주변 배경에 의해서도 반사되어 수신 신호(r_i,m(n))로 수신된다. 따라서 배경 물체에 의해 반사되어 수신되는 성분인 클러터 신호(c_i,m(n)) 성분은 제거되어야 한다.

일반적으로 배경에 해당하는 물체는 사용자와 달리 고정되어 있으므로, i번째 레이더(R_i)에서 m번째 방사된 임펄스 신호(s_i,m(n))에 의해 수신된 수신 신호(r_i,m(n))에 포함된 클러터 신호(c_i,m(n))는 이전 수신된 수신 신호(r_i,m-1(n))에 포함된 클러터 신호(c_i,m-1(n))와 유사하며, 이를 이용하여 클러터 신호(c_i,m(n))는 수학식 2와 같이 획득될 수 있다.

여기서 α는 수신 신호(r_i,m(n))에 대한 클러터 신호(c_i,m(n))의 추정 비율로서, 0 < α < 1 범위의 실수값을 갖는다. 만일 α가 크다면, 수신 신호(r_i,m(n))가 클러터 신호(c_i,m(n))보다 현저히 작기 때문에 새로운 클러터 환경에 적응하는 데 더 오래 시간이 소요되게 된다. 반대로, α가 작다면, 수신 신호(r_i,m(n))가 클러터 신호(c_i,m(n))보다 커져서 새로운 클러터 환경에 빠르게 적응할 수 있지만 잡음에 민감해진다. 여기서는 일예로 추정 비율(α)을 0.8로 설정하였다.

수학식 2에 따라 클러터 신호(c_i,m(n))가 획득되면, 수학식 3과 같이, 수신 신호(r_i,m(n))에서 클러터 신호(c_i,m(n))를 차감하여 수신 신호(r_i,m(n)) 중 사용자의 신체에서 반사된 성분인 배경 차감 신호(y_i,m(n))를 획득한다.

즉 클러터 제거부(21)는 수신 신호(r_i,m(n))에서 배경 등의 정적 물체에 의한 클러터 신호(c_i,m(n))를 차감하여 배경 차감 신호(y_i,m(n))를 획득한다.

행렬 변환부(22)는 3개의 레이더(R1 ~ R3) 각각에 대해 획득된 배경 차감 신호(y_i,m(n))들을 슬로우 타임 인덱스(m)와 패스트 타임 인덱스(n)에 따라 각각 행렬 형태로 변환한다.

행렬 변환부(22)는 클러터 제거부(21)에서 획득된 배경 차감 신호(y_i,m(n))를 인가받아 누적하고, 누적된 배경 차감 신호(y_i,m(n))를 슬로우 타임 인덱스(m)와 패스트 타임 인덱스(n)를 기반으로 일예로 수학식 4와 같이 2차원 행렬 형태로 배열하여 제스쳐 행렬을 획득한다.

수학식 4에서 제스쳐 행렬(W_m×n)은 슬로우 타임 인덱스(m)에 따라 배경 차감 신호(y_i,m(n))를 행 방향으로 배열하고, 패스트 타임 인덱스(n)에 따라 배경 차감 신호(y_i,m(n))를 열 방향으로 배열한 형태로서, m×n 크기를 갖는다. 그리고 제스쳐 행렬(W_m×n)에서 각 원소(w_mn)의 값은 배경 차감 신호(y_i,m(n))의 세기를 나타낸다.

3개의 레이더(R1 ~ R3) 각각에 대해 제스쳐 행렬(W_i,m×n)이 획득되므로, 행렬 변환부(22)에는 3개의 m×n 크기의 제스쳐 행렬(W_i,m×n)이 획득된다.

다만 이는 일예로서, 행렬 변환부(22)는 슬로우 타임 인덱스(m)에 따라 배경 차감 신호(y_i,m(n))를 열 방향으로 배열하고, 패스트 타임 인덱스(n)에 따라 배경 차감 신호(y_i,m(n))를 행 방향으로 배열하여 n×m 크기의 제스쳐 행렬(W_i,n×m)을 획득할 수도 있다.

도 3은 배경 차감 신호를 누적하여 변환한 제스쳐 행렬을 그래픽으로 표현한 일예를 나타낸다.

도 3에서 (a)는 클러터가 제거되지 않은 수신 신호(r_i,m(n))를 2차원 행렬로 변환하여 그래픽으로 표현한 예를 나타내고, (b)는 클러터가 제거된 배경 차감 신호(y_i,m(n))를 2차원 행렬로 변환한 제스쳐 행렬을 그래픽으로 표현한 예를 나타낸다.

도 3에서는 제스쳐 행렬을 그래픽으로 표현하기 위해 각 원소를 픽셀로 표현하였으며, 원소(w_mn)의 값에 따라 각 픽셀의 색상을 가변하여 표시하였으며, 3개의 n×m 크기의 제스쳐 행렬(W_i,n×m)을 결합하여, n×3m 크기를 갖는 결합 제스쳐 행렬(W_n×3m)을 도시하였다.

(a) 도시된 바와 같이, 클러터가 제거되지 않은 수신 신호(r_i,m(n))의 경우, 매우 큰 클러터에 의해 그림자 성분(overshadowed)이 발생하여, 2차원 행렬로 변환하여도 의미있는 결과를 도출하기 어렵다. 반면 (b)와 같이 배경 차감 신호(y_i,m(n))를 2차원의 제스쳐 행렬로 변환하는 경우, 3개의 제스쳐 행렬(W_i,n×m) 각각에서 사용자의 제스쳐, 즉 신체 움직임에 의한 성분이 명확하게 나타남을 알 수 있다.

한편 제스쳐 구간 탐지부(30)는 행렬 변환부(22)에서 획득된 3개의 제스쳐 행렬(W_i,m×n)을 인가받고, 로그 정규 분포를 기반으로 3개의 제스쳐 행렬(W_i,m×n)을 분석하여 유의미한 제스쳐 발생 구간을 탐색한다.

제스쳐 구간 탐지부(30)는 제스쳐 행렬(W_i,m×n)을 1차원의 제스쳐 벡터로 변환하고, 변환된 1차원 제스쳐 벡터에서 불필요한 노이즈값을 제거하여 크기 히스토그램(magnitude histogram)을 획득하는 히스토그램 변환부(31)와 크기 히스토그램을 로그 정규 분포에 근사하여 크기 히스토그램에 유의미한 제스쳐가 발생되어 있는지 여부를 판별하고, 유의미한 제스쳐가 발생된 구간을 탐색하는 로그 정규 근사부(32)를 포함할 수 있다.

히스토그램 변환부(31)는 우선 3개의 제스쳐 행렬(W_i,m×n) 각각을 제스쳐 행렬(W_i,m×n)의 크기(m×n)에 대응하는 길이(l = m×n)를 갖는 1차원의 제스쳐 벡터(W_i,l)로 변환한다. 그리고 변환된 제스쳐 벡터(W_l)의 값 중 기지정된 문턱값(th1) 미만인 값(W_i,l < th1)을 노이즈로 제거한다. 일예로 문턱값(th1) 미만인 값(W_i,l)을 기지정된 값(예를 들면 0)으로 치환할 수 있다. 이는 비록 상기한 바와 같이, 클러터를 제거하여 배경 차감 신호(y_i,m(n))를 획득하더라도, 여러 주변 환경 요인에 의해 포함될 수 있는 무의미한 다양한 노이즈 성분을 제외하기 위함이다. 그리고 히스토그램 변환부(31)는 제스쳐 벡터(W_i,l)를 크기 히스토그램(magnitude histogram)으로 변환한다.

로그 정규 근사부(32)는 크기 히스토그램에 대해 로그 정규 근사(log-normal fitting)를 수행한다. 로그 정규 근사부(32)는 기지정된 크기를 갖는 윈도우를 크기 히스토그램에서 이동하면서, 수학식 5로 표현되는 로그 정규 분포(log-normal distribution)가 크기 히스토그램과 가장 유사하게 나타나도록 근사(fitting)한다.

(여기서 X는 로그 정규 분포 확률 변수를 나타내고, μ는 확률 변수(X)에 대한 자연 대수(e)의 평균을 나타내고, σ는 확률 변수(X)에 대한 자연 대수(e)의 표준 편차이다.)

여기서 로그 정규 근사부(32)는 윈도우를 기지정된 단위(예를 들면 슬로우 타임 인덱스(m)를 기준으로 10 × m)로 이동하면서, 윈도우 내에 포함된 크기 히스토그램에 대응하도록 로그 정규 분포를 근사할 수 있다.

그리고 본 실시예에서는 근사된 로그 정규 분포에서의 표준 편차(σ)를 움직임 인덱스(movement index)(mvi)라 한다.

그리고 로그 정규 근사부(32)는 근사된 로그 정규 분포에서 획득되는 움직임 인덱스(mvi)가 기지정된 문턱 움직임 인덱스(mvth)보다 큰지 판별한다. 만일 움직임 인덱스(mvi)가 문턱 움직임 인덱스(mvi_th)보다 크면, 유의미한 제스쳐가 포함된 제스쳐 구간으로 판별하고, 움직임 인덱스(mvi)가 문턱 움직임 인덱스(mvi_th) 이하이면, 제스쳐가 포함되지 않은 구간으로 판별한다. 여기서 문턱 움직임 인덱스(mvi_th)는 레이더에 의해 검출되는 움직임이 사용자가 의도한 제스쳐로 고려해야하는 움직임인지 아니면, 의도하지 않은 움직임인지 판별하기 위해 설정되는 값으로 실험적으로 획득될 수 있으며, 일예로 0.6으로 설정될 수 있다.

도 4는 로그 정규 근사부에서 수행되는 로그 정규 근사의 일예를 나타낸다.

도 4에서는 (a)에 비해 (b)가 움직임이 더욱 크고 길게 나타난 경우로, (a)는 크기 히스토그램에 근사된 로그 정규 분포의 표준 편차(σ), 즉 움직임 인덱스(mvi)가 0.34로 획득된 경우를 나타내고, (b)는 움직임 인덱스(mvi)가 0.7로 획득된 경우를 나타낸다.

따라서 (a)는 사용자가 제스쳐를 의도하지 않은 경우이고, (b)는 제스쳐를 의도한 경우로 고려할 수 있으며, 이에 문턱 움직임 인덱스(mvi_th)를 기준으로 로그 정규 근사부(32)는 (a)를 무의미한 구간으로 판별하는 반면, (b)는 유의미한 제스쳐가 포함된 구간으로 판별할 수 있다.

위치 추적부(40)는 3개의 레이더(R1 ~ R3) 각각으로부터 제스쳐가 발생된 위치까지의 거리를 판별하고, 판별된 거리를 기반으로 제스쳐가 발생된 위치를 추정한다.

위치 추적부(40)는 거리 판별부(41)와 위치 판별부(42)를 포함할 수 있다.

거리 판별부(41)는 행렬 변환부(22)에서 획득된 3개의 제스쳐 행렬(W_i,m×n)을 인가받고, 3개의 제스쳐 행렬(W_i,m×n) 각각에서 제스쳐 구간 탐지부(30)에서 판별된 제스쳐 구간에 대응하는 슬로우 타임 인덱스(m)에서 레이더(R1 ~ R3)로부터 타겟까지의 거리(R_i(m))를 수학식 6에 따라 획득한다.

여기서 R_i(m)은 슬로우 타임 인덱스(m)에 따른 레이더(R1 ~ R3)로부터 타겟까지의 거리를 나타내고, r_step 는 패스트 타임 인덱스(n), 즉 샘플링 인덱스에 대응하는 거리이다.

수학식 6에 따르면, 제스쳐 행렬(W_i,m×n)에서 최대값을 갖는 원소의 패스트 타임 인덱스(n)를 획득하고, 패스트 타임 인덱스(n)에 따른 샘플링 시간 당 전자파가 이동하는 거리(r_step)의 1/2로 타겟까지의 거리(R_i(m))를 계산한다. 여기서 패스트 타임 인덱스(n)에 거리(r_step)의 1/2을 곱하는 것은 수신 신호(r_i,m(n))가 레이더에서 방사된 임펄스 신호(s_i,m(n))가 타겟까지 왕복하여 획득된 신호이기 때문이다.

다만 임펄스 신호(s_i,m(n))가 반사된 수신 신호(r_i,m(n))에서는 타겟의 레이더 단면적(radar cross-section: RCS), 안테나 특성 및 다중 경로의 영향 등으로 인해, 위치에 따른 크기가 상이하게 나타날 수 있다. 경우에 따라서 제스쳐를 발생하는 타겟의 위치 보다 주변 물체나 다중 경로로 인해 반사된 신호가 더 크게 감지될 수 도 있다. 이러한 오류를 제거하기 위해, 히스토그램 변환부(31)와 마찬가지로 제스쳐 행렬(W_i,m×n)의 각 원소 중 기지정된 문턱값(th1) 미만인 원소의 값을 노이즈로 제거(일예로 기지정된 값(0)으로 치환)하고, 수학식 6에 따라 계산되는 슬로우 타임 인덱스(m)별 거리(R_i(m))에 중간값 필터(median filter)를 적용하여 이상치(outlier)를 제거함으로써 레이더(R1 ~ R3) 각각과 제스쳐를 발생하는 타겟까지의 거리를 수학식 7과 같이 계산할 수 있다.

여기서 d_i(m)은 중간값 필터 함수(med())가 적용된 슬로우 타임 인덱스(m)별 제스쳐 거리를 나타내고, K는 중간값 필터를 적용하기 위한 윈도우 길이(2K + 1)를 조절하기 위한 값이다.

중간값 필터 함수(med())를 적용함으로써, 제스쳐를 발생하는 타겟이 되는 손의 모양이나 손가락 모양, 제스쳐 방향 및 속도의 변화에도 강건하게 레이더로부터 손까지의 제스쳐 거리(d_i(m))를 도출할 수 있다.

위치 판별부(42)는 레이더로부터 타겟까지의 제스쳐 거리(d_i(m))를 이용하여 최소 제곱법(least square)에 기초한 삼각 측량 기법에 따라 타겟의 위치를 판별한다.

도 5는 위치 판별부가 삼각 측량 기법으로 타겟의 위치를 판별하는 개념을 설명하기 위한 도면이고, 도 6은 위치 판별부에서 획득된 타겟 위치의 일예를 나타낸다.

도 5에서 3개의 레이더(R1 ~ R3) 각각의 위치 좌표는 (x_i, y_i)로 표현되었고, 타겟(Z)의 좌표는 (x,y)로 표현되었으며, 3개의 레이더(R1 ~ R3) 각각으로부터 타겟까지의 거리는 d_i로 표현되었다.

손 위치 지정은 최소 제곱법에 기초한 삼각 측량을 통해 수행되며, 거리 판별부(41)에서 획득된 3개의 제스쳐 거리(d_i)에 대한 수학식 8을 만족하는 최소의 x 및 y값을 계산하여 타겟(Z)의 좌표(x, y)를 판별할 수 있다.

도 6은 제스쳐 구간 탐지부(30)에서 판별된 제스쳐 구간 동안 추적된 타겟의 위치를 나타낸 결과이다. 도 6을 참조하면, 비록 클러터를 제거하고 불필요한 노이즈 성분을 제거하였으며, 중간값 필터 함수(med())를 적용하여 타겟의 형상이나 제스쳐 방향이나 속도 변화에 등에 강건하게 타겟의 위치를 추적하였음에도 측정 지연 및 다중 경로 등으로 인한 성분과 이상치 등이 여전히 포함되어 정확한 제스쳐를 판별하기 어렵다는 것을 알 수 있다.

이에 평활화부(50)가 위치 추적부(40)에서 획득된 다수의 타겟(Z)의 좌표(x, y) 중 이상치을 제거하고, 평활화(smoothing)하여, 제스쳐 인식이 용이한 형태로 변환한다.

평활화부(50)는 이상치 제거부(51) 및 칼만 필터부(52)를 포함할 수 있다. 이상치 제거부(51)는 거리 판별부(41)와 유사하게 중간값 필터를 이용하여 다수의 타겟(Z)의 좌표(x, y) 중 시간적으로 인접하여 획득된 기지정된 타겟(Z)들의 좌표(x, y)에 대한 중간값을 획득하고, 획득된 중간값과 기지정된 기준 거리 이상 차이가 발생된 타겟의 좌표를 제거한다. 즉 돌출된 위치에 존재하는 타겟(Z)의 좌표(x, y)를 이상치로 판별하여 제거한다.

한편, 칼만 필터부(52)는 이상치가 제거된 타겟(Z)들의 좌표(x, y)에 대해 평활화를 수행한다.

X 및 y 좌표 각각에서의 타겟, 즉 손 동작은 수학식 9 및 10으로 모델링될 수 있다.

여기서 x와 y는 손 동작 좌표이고, ν_x와 ν_y는 속도이며, w는 시스템 잡음이다. 그리고 Δt는 레이더의 샘플링 주파수로부터 계산되는 시간 업데이트 간격을 나타낸다.

한편, 2차원 손 움직임 상태 공간 표현은 시스템에 입력이 없을 때, 수학식 11 및 12로 주어진다.

여기서 k는 이산 시간 단위(discrete time unit)이고, (x₀, ε_k, θ_k)는 평균(

, 0, 0)과 공분산(covariance)(P₀, Q_k, R_k)을 각각 갖는 가우시안 비상관 백색 잡음 시퀀스이다. 그리고 X는 상태 행렬, A는 상태 천이 행렬이며, H는 출력 행렬이다. 그리고 X, A 및 Z는 수학식 13으로 정의될 수 있다.

초기 속도는 0으로 설정되며, 현재 속도는 이전 추정 샘플에 의해 계산될 수 있다. 칼만 필터를 통해 추정된 출력 위치값은 (x_e, y_e)이며, 입력 측정값은 Z(x,y)이다.

칼만 필터부(52)는 이상치가 제거된 타겟(Z)들의 좌표(x, y)를 인가받아 위치와 속도를 추정하여 상태 행렬(X)을 출력한다.

도 7은 평활화부가 도 6의 타겟들의 위치에 대해 평활화를 수행한 결과를 나타낸다.

도 7을 도 6과 비교하면 도 7의 타겟들의 위치가 도 6에 비해 매끄럽게 변화함을 알 수 있다.

이미지 변환부(60)는 평활화부(50)에 의해 평활화된 타겟들의 위치로부터 사용자의 제스쳐에 대응하는 2차원 이미지를 획득한다.

이미지 변환부(60)는 평활화된 타겟들의 위치로부터 이미지를 획득하는 이미지 획득부(61) 및 획득된 이미지를 후술하는 제스쳐 판별부(70)에서 인식하기 용이한 형태로 조절하는 이미지 조절부(620)를 포함할 수 있다.

도 8은 이미지 변환부가 타겟의 위치로부터 이미지를 획득하고 조절하는 과정을 나타낸다.

도 8을 참조하면, 이미지 획득부(61)는 우선 (a)와 같이 시간의 흐름에 따라 추적된 다수의 타겟(Z)의 위치가 좌표(x, y)으로 인가되면, 시간적으로 인접한 위치들을 라인으로 연결한다. 그리고 (c)와 같이 배경과 라인의 색상을 기지정된 색상으로 전환하여 타겟의 위치 변화를 나타내는 변화 이미지를 획득한다. 여기서는 일예로 배경을 검은색으로 전환하고 라인을 흰색으로 전환하는 경우를 예시하였으나 이에 한정되지 않는다. 다만 라인을 흰색으로 선택하는 경우, 후술하는 이미지 조절부(620)에서의 처리가 용이하다.

변화 이미지가 획득되면, 이미지 조절부(620)는 점들을 연결하는 과정의 불연속으로 인한 이미지 왜곡을 제거하기 위해 변화 이미지에 수학식 14에 따른 2차원 평균화 필터(averaging filter)를 적용한다.

여기서 f(x,y)는 변화 이미지의 픽셀값이고, g(x,y)는 평균화 필터가 적용된 변화 이미지의 픽셀값을 나타낸다. (2a+1)와 (2b+1)은 각각 필터 윈도우의 수평 길이와 수직 길이이다.

평균화 필터(averaging filter)를 적용하면 (d)와 같이 부드러운 이미지를 획득할 수 있는 반면, 경계에서의 흐림이 발생된다. 따라서 흐려진 변화 이미지를 선명하게 하기 위해, 수학식 15와 같이 픽셀 값(g(x,y))이 기지정된 문턱 픽셀값 이상이면, 픽셀 최대값(여기서는 일예로 흰색 색상값인 255)로 변경하여 (e)와 같이 선명화된 변화 이미지를 획득한다.

이후 이미지 조절부(620)는 변화 이미지의 중심 위치를 판별하여, 이미지를 전체 이미지 행렬의 중심점에 배치하고, 인공 신경망으로 구현되는 제스쳐 판별부(70)에서 처리하기 용이한 크기로 크기 변경하여 제스쳐 이미지를 출력한다.

제스쳐 판별부(70)는 이미지 변환부(60)에서 획득된 제스쳐 이미지를 인가받고, 제스쳐 이미지의 특징을 추출하고 추출된 특징을 분류하여 제스쳐를 판별한다.

제스쳐 판별부(70)는 패턴 추정 방식이 미리 학습된 인공 신경망으로 구현될 수 있으며, 일예로 컨볼루션 신경망(Convolutional neural network: CNN)으로 구현될 수 있다. 컨볼루션 신경망(CNN)은 영상 인식, 음성 인식, 자연어 처리, 필기체 인식 등에 주로 사용되는 신경망으로 잘 알려진 신경망이므로 제스쳐 이미지를 인가받아 제스쳐 이미지를 기지정된 개수의 제스쳐 중 하나로 분류하여 사용자의 제스쳐를 판별한다.

도 9는 인공 신경망으로 구현된 제스쳐 판별부의 일예를 나타낸다.

도 9를 참조하면, 컨볼루션 신경망으로 구현되는 제스쳐 판별부(70)는 다수의 컨볼루션 레이어와 다수의 컨볼루션 레이어들 사이 각각에 맥스 풀링(Max-Pooling) 레이어를 포함하여 입력된 제스쳐 이미지의 특징을 추출하는 특징 추출부와 적어도 하나의 완전 연결 레이어(fully-connected layer) 및 소프트 맥스 레이어(soft-max layer)를 포함하여 특징 추출부에서 추출한 특징에 따라 기지정된 다수의 클래스 중 대응하는 하나의 클래스로 분류하는 분류부를 포함할 수 있다.

본 실시예에서는 사용자가 손가락을 이용하여 공중에서 숫자를 쓰는 제스쳐를 취하는 것으로 가정하였으므로, 분류부는 특징 추출부에서 추출한 특징에 따라 제스쳐를 0 ~ 9까지의 10개의 숫자 중 하나로 분류할 수 있다. 도 8 및 도 9의 경우, 제스쳐 판별부(70)는 사용자의 제스쳐가 숫자 3을 나타냄을 판별할 수 있다. 즉 사용자가 공중에서 손가락으로 쓴 숫자를 인식할 수 있다.

컨볼루션 신경망(CNN)을 이용한 이미지 분류 기법은 공지된 기술이므로 여기서는 상세하게 설명하지 않는다.

결과적으로 본 실시예에 따른 공중 제스쳐 인식 장치는 3개의 레이더(R1 ~ R3) 각각에서 수신한 수신 신호(r_i,m(n))를 기반으로 획득되는 배경 차감 신호(y_i,m(n))를 원소로 갖는 2차원의 제스쳐 행렬(W_i,m×n)로부터 타겟의 이동에 의한 제스쳐가 발생된 시간 구간을 나타내는 제스쳐 구간과 제스쳐가 발생된 위치를 판별한다. 그리고 제스쳐 구간에서의 타겟의 위치 변화를 기반으로 2차원의 제스쳐 이미지를 생성하고, 생성된 제스쳐 이미지를 패턴 추정 방식이 미리 학습된 인공 신경망의 입력으로 인가하여 분류되도록 함으로써, 제스쳐를 정확하게 판별할 수 있다.

도 10은 본 발명의 일 실시예에 따른 공중 제스쳐 인식 방법을 나타낸다.

도 1 내지 도 9를 참조하여, 도 10의 공중 제스쳐 인식 방법을 설명하면, 우선 기지정된 위치에 분산 배치되어 3개의 레이더(R1 ~ R3)가 각각 지정된 방향 및 빔 각도로 기지정된 주기에 따라 반복적으로 임펄스 신호(s_i,m(n))를 방사하여 수신 신호(r_i,m(n))를 획득한다(S11).

3개의 레이더(R1 ~ R3)를 통해 수신 신호(r_i,m(n))가 획득되면, 획득된 수신 신호(r_i,m(n))에서 클러터를 기지정된 방식으로 제거하여 배경 차감 신호(y_i,m(n))를 획득한다(S12). 이후 배경 차감 신호(y_i,m(n))를 누적하고, 샘플링 주기에 따라 획득된 순서를 나타내는 패스트 타임 인덱스(n)와 서로 다른 임펄스 신호(s_i,m(n))에 따라 수신된 수신 신호(r_i,m(n))를 구분하는 슬로우 타임 인덱스(m)에 따라 배열하여 2차원의 제스쳐 행렬(W_m×n)을 획득한다(S13).

그리고 제스쳐 행렬(W_i,m×n)을 크기(m×n)에 대응하는 길이(l = m×n)를 갖는 1차원의 제스쳐 벡터(W_i,l)로 변환하고, 제스쳐 벡터(W_i,l)에서 기지정된 문턱값(th1) 미만인 값들을 노이즈로 제거하여, 크기 히스토그램으로 변환한다(S14).

크기 히스토그램에 대해 기지정된 크기의 윈도우를 시간축에서 기정된 단위(예를 들면 슬로우 타임 인덱스(m)를 기준으로 10 × m)로 이동하면서 윈도우 내의 크기 히스토그램과 유사한 로그 정규 분포를 탐색하는 로그 정규 근사를 수행하고, 탐색된 로그 정규 분포의 표준 편차(σ)가 기지정된 문턱 움직임 인덱스(mvi_th)를 초과하는 시간 구간을 제스쳐 구간으로 판별한다(S15).

제스쳐 구간이 판별되면, 2차원 행렬(W_m×n)로부터 제스쳐 구간에 대응하는 슬로우 타임 인덱스(m)에 따른 레이더(R1 ~ R3)로부터 타겟까지의 거리(d_i(m))를 계산한다(S16).

3개의 레이더(R1 ~ R3) 각각으로부터 타겟까지의 거리(d_i(m))를 이용하여, 삼각 측량 기법의 최소 제곱법에 따라 타겟의 위치를 판별하고, 시간, 즉 슬로우 타임 인덱스(m)에 따른 타겟의 위치 변화를 추적한다(S17).

타겟의 위치가 추적되면, 인접한 위치에 비해 돌출된 이상치를 제거하고, 평활화한다(S18). 그리고 평활화된 타겟의 위치 변화를 시간 순서로 선으로 연결하고, 배경과 선의 색상을 지정하여 타겟의 위치 변화를 나타내는 변화 이미지를 획득한다(S19). 변화 이미지가 획득되면, 획득된 벼화 이미지의 왜곡을 제거하고 선명화하며 크기 조절하여 인식이 용이한 형태로 조절하여 제스쳐 이미지를 획득한다(S20).

이후 제스쳐 이미지를 패턴 추정 방식이 미리 학습된 인공 신경망에 입력하여, 제스쳐 이미지의 특징을 추출하고, 추출된 특징에 따라 제스쳐를 분류하여 사용자의 제스쳐를 판별한다(S21).

본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10: 레이더부 20: 전처리부
30: 제스쳐 구간 탐지부 40: 위치 추적부
50: 평활화부 60: 이미지 변환부
70: 제스쳐 판별부

Claims (12)

1. 기지정된 위치에 이격되어 배치된 3개의 레이더에서 기지정된 방향 및 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하고, 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 전처리부;
   상기 제스쳐 행렬의 각 원소값에 대응하는 크기 히스토그램을 획득하고, 상기 크기 히스토그램에 대해 로그 정규 근사를 수행하여 판별되는 근사 로그 정규 분포의 표준 편차를 기반으로 제스쳐가 발생된 시간 구간인 제스쳐 구간을 탐지하는 제스쳐 구간 탐지부;
   상기 제스쳐 행렬에서 상기 제스쳐 구간에 대응하는 원소들로부터 3개의 레이더 각각으로부터 타겟까지의 거리를 판별하고, 판별된 거리를 이용하여 시간에 따른 타겟의 위치 변화를 판별하는 위치 추적부;
   타겟의 위치 변화를 선으로 연결하여 변화 이미지를 획득하고, 획득된 변화 이미지를 기지정된 조건에 부합되도록 조절하여 제스쳐 이미지를 획득하는 이미지 변환부; 및
   패턴 추정 방식이 미리 학습된 인공 신공망으로 구현되어, 상기 제스쳐 이미지의 특징을 추출하고, 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 제스쳐 판별부; 를 포함하는 공중 제스쳐 인식 장치.
2. 제1 항에 있어서, 상기 전처리부는
   상기 수신 신호를 인가받아 기지정된 방식으로 획득된 클러터 신호를 차감하여 배경 차감 신호를 획득하는 클러터 제거부; 및
   반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 구분하는 슬로우 타임 인덱스와 슬로우 타임 인덱스로 구분된 수신 신호들을 샘플링 주기에 따른 획득된 순서로 구분하는 패스트 타임 인덱스에 따라 배열하여 2차원의 제스쳐 행렬을 획득하는 행렬 변환부; 를 포함하는 공중 제스쳐 인식 장치.
3. 제2 항에 있어서, 상기 제스쳐 구간 탐지부는
   상기 제스쳐 행렬을 1차원 제스쳐 벡터로 변환하고, 상기 제스쳐 벡터에서 기지정된 문턱값 미만의 값을 갖는 원소를 노이즈로 제거하고, 원소 값에 따른 크기를 갖는 크기 히스토그램으로 변환하는 히스토그램 변환부; 및
   크기 히스토그램에 대해 기지정된 크기의 윈도우를 이동하면서 대응하는 크기 히스토그램에 근사되는 로그 정규 분포를 탐색하고, 탐색된 로그 정규 분포의 표준 편차가 기지정된 문턱 움직임 인덱스를 초과하면, 해당 윈도우의 시간 구간을 제스쳐 구간으로 판별하는 로그 정규 근사부; 를 포함하는 공중 제스쳐 인식 장치.
4. 제3 항에 있어서, 상기 위치 추적부는
   상기 제스쳐 행렬 중 상기 제스쳐 구간에 대응하는 원소의 최대값을 갖는 원소의 패스트 타임 인덱스를 기반으로 3개의 레이더 각각으로부터 타겟까지의 거리를 계산하는 거리 판별부; 및
   3개의 레이더 각각으로부터 타겟까지의 거리를 이용하여 삼각 측량 기법에 따라 타겟의 위치 좌표를 판별하고, 시간에 따라 변화하는 타겟의 위치 좌표를 추적하는 위치 판별부; 를 포함하는 공중 제스쳐 인식 장치.
5. 제4 항에 있어서, 상기 이미지 변환부는
   변화하는 타겟의 위치 좌표를 선으로 연결하고, 연결된 선과 배경의 색상을 지정하여 상기 변화 이미지를 획득하는 이미지 획득부; 및
   상기 변화 이미지를 인가받아 왜곡을 보정하고, 인공 신경망으로 구현되는 상기 제스쳐 판별부에서 요구되는 포멧으로 조절하는 이미지 조절부; 를 포함하는 공중 제스쳐 인식 장치.
6. 제4 항에 있어서, 상기 공중 제스쳐 인식 장치는
   변화하는 상기 타겟의 위치 좌표 중 시간적으로 인접하여 획득된 위치 좌표들과의 중간값을 획득하고, 획득된 중간값과 기지정된 기준 거리 이상 이격된 위치의 타겟의 위치 좌표를 이상치로 제거하고, 이상치가 제거된 타겟의 위치 좌표들에 대해 칼만 필터를 적용하여 평활화하는 평활화부; 를 더 포함하는 공중 제스쳐 인식 장치.
7. 기지정된 위치에 이격되어 배치된 3개의 레이더에서 기지정된 방향 및 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하고, 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 단계;
   상기 제스쳐 행렬의 각 원소값에 대응하는 크기 히스토그램을 획득하고, 상기 크기 히스토그램에 대해 로그 정규 근사를 수행하여 판별되는 근사 로그 정규 분포의 표준 편차를 기반으로 제스쳐가 발생된 시간 구간인 제스쳐 구간을 탐지하는 단계;
   상기 제스쳐 행렬에서 상기 제스쳐 구간에 대응하는 원소들로부터 3개의 레이더 각각으로부터 타겟까지의 거리를 판별하고, 판별된 거리를 이용하여 시간에 따른 타겟의 위치 변화를 판별하는 단계;
   타겟의 위치 변화를 선으로 연결하여 변화 이미지를 획득하고, 획득된 변화 이미지를 기지정된 조건에 부합되도록 조절하여 제스쳐 이미지를 획득하는 단계; 및
   패턴 추정 방식이 미리 학습된 인공 신공망으로 구현되어, 상기 제스쳐 이미지의 특징을 추출하고, 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 단계; 를 포함하는 공중 제스쳐 인식 방법.
8. 제7 항에 있어서, 상기 제스쳐 행렬을 획득하는 단계는
   상기 수신 신호를 인가받아 기지정된 방식으로 획득된 클러터 신호를 차감하여 배경 차감 신호를 획득하는 단계; 및
   반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 구분하는 슬로우 타임 인덱스와 슬로우 타임 인덱스로 구분된 수신 신호들을 샘플링 주기에 따른 획득된 순서로 구분하는 패스트 타임 인덱스에 따라 배열하여 2차원의 제스쳐 행렬을 생성하는 단계; 를 포함하는 공중 제스쳐 인식 방법.
9. 제8 항에 있어서, 상기 제스쳐 구간을 탐지하는 단계는
   상기 제스쳐 행렬을 1차원 제스쳐 벡터로 변환하고, 상기 제스쳐 벡터에서 기지정된 문턱값 미만의 값을 갖는 원소를 노이즈로 제거하고, 원소 값에 따른 크기를 갖는 크기 히스토그램으로 변환하는 단계; 및
   크기 히스토그램에 대해 기지정된 크기의 윈도우를 이동하면서 대응하는 크기 히스토그램에 근사되는 로그 정규 분포를 탐색하고, 탐색된 로그 정규 분포의 표준 편차가 기지정된 문턱 움직임 인덱스를 초과하면, 해당 윈도우의 시간 구간을 제스쳐 구간으로 판별하는 단계; 를 포함하는 공중 제스쳐 인식 방법.
10. 제9 항에 있어서, 상기 타겟의 위치 변화를 판별하는 단계는
    상기 제스쳐 행렬 중 상기 제스쳐 구간에 대응하는 원소의 최대값을 갖는 원소의 패스트 타임 인덱스를 기반으로 3개의 레이더 각각으로부터 타겟까지의 거리를 계산하는 단계; 및
    3개의 레이더 각각으로부터 타겟까지의 거리를 이용하여 삼각 측량 기법에 따라 타겟의 위치 좌표를 판별하고, 시간에 따라 변화하는 타겟의 위치 좌표를 추적하는 단계; 를 포함하는 공중 제스쳐 인식 방법.
11. 제10 항에 있어서, 상기 제스쳐 이미지를 획득하는 단계는
    변화하는 타겟의 위치 좌표를 선으로 연결하고, 연결된 선과 배경의 색상을 지정하여 상기 변화 이미지를 획득하는 단계; 및
    상기 변화 이미지를 인가받아 왜곡을 보정하고, 미리 지정된 포멧으로 조절하는 단계; 를 포함하는 공중 제스쳐 인식 방법.
12. 제10 항에 있어서, 상기 공중 제스쳐 인식 방법은
    변화하는 상기 타겟의 위치 좌표 중 시간적으로 인접하여 획득된 위치 좌표들과의 중간값을 획득하고, 획득된 중간값과 기지정된 기준 거리 이상 이격된 위치의 타겟의 위치 좌표를 이상치로 제거하는 단계; 및
    이상치가 제거된 타겟의 위치 좌표들에 대해 칼만 필터를 적용하여 평활화하는 단계; 를 더 포함하는 공중 제스쳐 인식 방법.

Images