KR20210001227A - 비접촉식 제스쳐 인식 장치 및 방법 - Google Patents

비접촉식 제스쳐 인식 장치 및 방법 Download PDF

Info

Publication number
KR20210001227A
KR20210001227A KR1020190076997A KR20190076997A KR20210001227A KR 20210001227 A KR20210001227 A KR 20210001227A KR 1020190076997 A KR1020190076997 A KR 1020190076997A KR 20190076997 A KR20190076997 A KR 20190076997A KR 20210001227 A KR20210001227 A KR 20210001227A
Authority
KR
South Korea
Prior art keywords
gesture
matrix
signal
gesture recognition
clutter
Prior art date
Application number
KR1020190076997A
Other languages
English (en)
Other versions
KR102228524B1 (ko
Inventor
조성호
샤자더아메드
파힘칸
임대현
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020190076997A priority Critical patent/KR102228524B1/ko
Publication of KR20210001227A publication Critical patent/KR20210001227A/ko
Application granted granted Critical
Publication of KR102228524B1 publication Critical patent/KR102228524B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Abstract

본 발명은 기지정된 위치에 배치되어 적어도 하나의 IR-UWB 레이더에서 기지정된 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하고, 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 전처리부, 제스쳐 행렬을 행렬의 각 원소값에 대응하는 픽셀 값을 갖는 회색조 이미지로 변환하는 이미지 변환부 및 미리 학습된 패턴 추정 방식에 따라 회색조 이미지의 특징을 추출하고, 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 제스쳐 판별부를 포함하여, 부가적인 장비를 요구하지 않고, 주변 환경 변화에 무관하게 작은 움직임의 제스쳐인 손가락 카운팅을 정확하게 수행할 수 있으며, 차량 내에서 운전자의 시각적 주의를 분산시키지 않고 사용자 명령을 판별할 수 있도록 하는 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치 및 방법을 제공할 수 있다.

Description

비접촉식 제스쳐 인식 장치 및 방법{NON-CONTACT TYPE GESTURE RECOGNIZATION APPARATUS AND METHOD}
본 발명은 제스쳐 인식 장치 및 방법에 관한 것으로, 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치 및 방법에 관한 것이다.
최근 차량에는 다양한 편의 기능이 제공되고 있으며, 이로 인해 운전자가 차량 내에서 조작해야 하는 장치의 개수 또한 증가되고 있다.
이러한 차량내의 다양한 장치를 제어하기 위해 현재는 주로 버튼 기반 또는 터치 기반 인터페이스가 이용되고 있다. 그러나 버튼 및 터치를 이용하는 기존의 인터페이스는 차량 주행 중 도로를 모니터링해야 하는 운전자의 주의를 분산시켜 사고를 유발할 수 있다.
이러한 문제를 해결하기 위한 대체 인터페이스로 음성 인식 인터페이스가 제안된 바 있으나, 음성 인식 기능은 음성 톤이나 발음 명료도가 변경되면 글리치(glitch)가 발생할 수 있으며, 주변 환경 요인에 의한 영향을 크게 받는다는 한계가 있다.
제스쳐 인식은 최근 주목 받고 있는 인터페이스이고, 특히 손가락 카운팅 기반 제스쳐 인식은 차량 내 다양한 장치를 제어하기에 적합한 휴먼 컴퓨터 인터페이스(human-computer interface: HCI)를 제공 할 수 있다. 현재 주로 이용되는 제스쳐 인식 센서로는 카메라, 장갑과 같은 웨어러블 기기 등이 있다.
카메라를 이용한 제스쳐 인식은 높은 평균 인식률을 가질 수 있으나, 주변 환경, 즉 조명에 의한 영향을 크게 받을 뿐만 아니라 개인 정보 보호 측면에서 문제가 있다.
그리고 웨어러블 기기를 이용한 제스쳐 인식은 손과 손가락의 움직임을 다중 매개 변수 데이터로 디지털화하는 센서를 사용하여 데이터 수집이 용이하고, 사용자의 제스쳐를 매우 정확하게 인식할 수 있으나, 사용자가 웨어러블 기기를 항시 착용해야 한다는 불편함이 존재한다.
한국 등록 특허 제10-1860731호 (2018.05.17 등록)
본 발명의 목적은 작은 움직임의 제스쳐인 손가락 카운팅을 정확하게 수행할 수 있는 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 사용자의 불편함을 초래하지 않고 주변 환경 변화에 무관하게 손가락 카운팅을 정확하게 수행할 수 있는 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 차량 내에서 운전자의 시각적 주의를 분산시키지 않고 명령을 판별할 수 있는 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치는 기지정된 위치에 배치되어 적어도 하나의 레이더에서 기지정된 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하고, 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 전처리부; 상기 제스쳐 행렬을 행렬의 각 원소값에 대응하는 픽셀 값을 갖는 회색조 이미지로 변환하는 이미지 변환부; 및 미리 학습된 패턴 추정 방식에 따라 상기 회색조 이미지의 특징을 추출하고, 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 제스쳐 판별부; 를 포함한다.
상기 전처리부는 상기 수신 신호를 인가받아 기지정된 방식으로 획득된 클러터 신호를 차감하여 제스쳐 신호를 획득하는 클러터 제거부; 및 기지정된 펄스 반복 주기의 시퀀스에 따라 반복 방사된 상기 임펄스 신호 각각에 대응하여 획득되는 상기 제스쳐 신호를 기지정된 배열에 따라 누적하여 2차원의 제스쳐 행렬을 획득하는 행렬 변환부; 를 포함할 수 있다.
상기 행렬 변환부는 상기 제스쳐 신호(yk[n])를 수학식
Figure pat00001
(여기서 n은 샘플링 주기에 따른 샘플링 인덱스로서 패스트 타임 인덱스를 나타내고, m은 시퀀스(k)에서 임펄스 신호와 수신 신호 사이의 지연 시간으로 슬로우 타임 인덱스를 나타낸다.)에 따라 누적하여 2차원의 제스쳐 행렬을 획득할 수 있다.
상기 전처리부는 상기 제스쳐 행렬을 수학식
Figure pat00002
(여기서
Figure pat00003
는 제스쳐 행렬의 벡터 표현이고, μ와 δ는 각각 제스쳐 벡터(
Figure pat00004
)의 평균과 표준편차를 나타내며, abs는 절대값 함수이고,
Figure pat00005
정규화된 제스쳐 행렬의 벡터 표현이다.)에 따라 정규화하여 출력하는 정규화부; 를 더 포함할 수 있다.
상기 이미지 변환부는 상기 제스쳐 행렬을 각 원소 값에 대응하는 픽셀 값을 갖는 2차원의 RGB 이미지로 변환하고, 변환된 RGB 이미지를 기지정된 범위의 픽셀 값을 갖는 회색조 이미지로 변환하여 출력할 수 있다.
비접촉식 제스쳐 인식 장치는 차량 내의 기지정된 위치에 장착되어 운전자의 손을 향해 상기 임펄스 신호를 방사하는 적어도 하나의 IR-UWB 레이더; 를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 방법은 기지정된 위치에 배치되어 적어도 하나의 레이더에서 기지정된 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하는 단계; 클러터가 제거된 제스쳐 신호를 인가받아 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 단계; 상기 제스쳐 행렬을 행렬의 각 원소값에 대응하는 픽셀 값을 갖는 회색조 이미지로 변환하는 단계; 미리 학습된 패턴 추정 방식에 따라 상기 회색조 이미지의 특징을 추출하는 단계; 및 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 단계; 를 포함한다.
따라서, 본 발명의 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치 및 방법은 IR-UWB 레이더와 인공 신경망을 이용하여 웨어러블 기기와 같은 부가적인 장비를 요구하지 않고, 주변 환경 변화에 무관하게 작은 움직임의 제스쳐인 손가락 카운팅을 정확하게 수행할 수 있다. 그러므로 차량 내에서 운전자의 시각적 주의를 분산시키지 않고 사용자 명령을 판별할 수 있도록 함으로써, 차량 사고 발생 가능성을 크게 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치가 차량 내에 배치되는 위치의 일예를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치의 개략적 구조를 나타낸다.
도 3은 도 1의 클러터 제거부에 의해 클러터가 제거되기 전후의 신호 파형의 일예를 나타낸다.
도 4는 손가락 제스쳐에 따라 RGB 이미지로 표현된 2차원의 정규화된 제스쳐 행렬과 이의 1차원 절대 평균 신호 그래프를 나타낸다.
도 5는 원소 값에 따라 픽셀을 RGB 색상으로 표현한 2차원의 정규화된 제스쳐 행렬과 정규화된 제스쳐 행렬을 변환한 회색조 이미지의 일예를 나타낸다.
도 6은 새끼 손가락의 움직임에 따라 생성된 회색조 이미지의 차를 비교하기 위해 나타낸 도면이다.
도 7은 인공 신경망으로 구현된 제스쳐 판별부의 일예를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 방법을 나타낸다.
도 9는 본 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치가 성능을 평가하기 위해 실제 차량내에 장착된 예를 나타낸다.
도 10 및 도 11은 클러터 제거 여부에 따라 정규화된 제스쳐 행렬을 변환한 RGB 이미지의 차를 나타낸다.
도 12는 여러가지 손 제스쳐에 따라 획득된 회색조 이미지의 일예를 나타낸다.
도 13은 본 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치의 제스쳐 인식 성능을 실험한 결과를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치가 차량 내에 배치되는 위치의 일예를 나타낸다.
본 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치는 차량 내에 배치되어 차량의 운전자의 손 제스쳐, 특히 손가락 개수를 인식하기 위해 이용될 수 있다.
본 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치가 차량 내에 배치되면, 운전자는 적어도 하나의 손가락을 접거나 피는 간단한 제스쳐만으로 차량 내에 미리 지정된 각종 기기를 제어할 수 있다. 따라서 운전자가 차량 주행 중에 시각적 주의를 분산 시키는 버튼이나 터치 센서를 조작하지 않아도 되므로, 안전사고 발생 가능성을 크게 낮출 수 있다. 또한 비접촉식으로 불편한 웨어러블 기기를 착용하지 않아도 되어 운전자의 편의성을 향상 시킬 수 있다.
다만 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치가 운전자의 손 제스쳐, 즉 손가락 개수를 정확하게 인식하기 위해서는 차량 내에서도 제스쳐 인식 장치가 배치되는 위치가 중요하다. 본 실시예에 따른 제스쳐 인식 장치는 레이더를 포함하여, 비접촉식으로 운전자의 손 제스쳐를 감지할 수 있으며, 이에 제스쳐 인식 장치에서 레이더의 배치 위치가 매우 중요하다.
도 1에서는 일예로 차량 내에 본 실시예의 제스쳐 인식 장치의 레이더가 배치될 수 있는 것으로 고려되는 3가지 위치(P1 ~ P3)를 도시하였다.
제2 위치(P2)의 경우, 레이더에서 방사되는 신호가 운전자 방향으로 직접 투영되어 운전자의 움직임을 관찰하기 용이하다는 장점이 있으나, 운전자의 손뿐만 아니라 머리나 상반신의 움직임이 함께 감지되어 손 제스쳐만을 검출하기 어렵다는 문제가 확인되었다.
제3 위치(P3)의 경우, 운전자의 손만이 검출되도록 레이더의 조사 방향 및 각도를 조절함으로써, 운전자의 다른 신체 부위의 움직임에 의한 불필요한 신호가 검출되는 것을 방지할 수 있다. 그러나 제3 위치(P3)는 차량의 센터페시아(center fascia)에 해당하는 위치로, 차량 내의 각종 기기를 조작하기 위한 다양한 버튼 등이 배치되어 있을 뿐만 아니라, 기어가 배치되어 있다. 따라서 운전자는 주행 중 수시로 오른손을 사용하게 되며, 이는 제스쳐 인식 장치가 운전자의 제스쳐를 오인식하게 할 가능성을 높인다는 문제가 있다.
그에 반해 제1 위치(P1)의 경우, 제3 위치(P3)와 마찬가지로 운전자의 손만이 검출되도록 레이더의 조사 방향 및 각도를 조절하기 용이하며, 운전자의 의도하지 않은 제스처를 감지할 가능성이 낮다. 즉 운전자의 손 제스쳐에 따른 손가락 개수를 판별하기에 용이하다. 따라서 여기서는 제스쳐 인식 장치는 레이더가 제1 위치(P1)에 배치되는 것으로 가정한다. 그러나 본 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치는 이에 한정되지 않으며, 레이더는 차량 내에서 운전자의 손 제스쳐를 감지하기 용이한 다양한 위치에 배치될 수 있다. 뿐만 아니라 경우에 따라서는 운전자 이외에 다른 탑승자의 손 제스쳐를 인식ㅎ기 위해 차량내의 여러 위치에 다수의 레이더가 배치될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치의 개략적 구조를 나타낸다.
도 2를 참조하면, 본 실시예에 따른 제스쳐 인식 장치는 레이더부(10), 전처리부(20), 이미지 변환부(30), 제스쳐 판별부(40) 및 명령 판별부(50)를 포함할 수 있다.
레이더부(10)는 비접촉 방식으로 사용자의 제스쳐를 판별하기 위해 기지정된 위치에 배치된 적어도 하나의 레이더를 포함하여 기지정된 파형 및 주기의 신호를 방사하고, 방사된 신호가 반사되어 수신된 수신 신호를 획득한다.
여기서 적어도 하나의 레이더는 IR-UWB(impulse radio ultra-wideband) 레이더일 수 있다. IR-UWB 레이더는 수십 나노/피코 단위 너비의 짧은 임펄스 신호를 방사하고, 물체에 반사되어 수신되는 신호와 임펄스 신호의 시간적 차이를 활용하여 물체의 존재와 거리를 판단하는 방식으로 동작한다. IR-UWB 레이더는 인체에 무해한 초광대역 주파수를 사용하므로 다른 센서의 간섭없이 대상을 비접촉 방식으로 고해상도로 탐지할 수 있으며, 송신 파워가 매우 작기 때문에 저전력, 저가격 소형으로 구현이 가능하며, 광대역을 사용하여 협대역 간섭에 강하며 신호의 스펙트럼이 유사 잡음 형태를 보이므로 보안성 또한 향상되는 장점이 있다.
레이더부(10)의 적어도 하나의 레이더는 기지정된 파형을 갖는 임펄스 신호(s[n])를 방사하고, 방사된 임펄스 신호(s[n])가 반사된 수신 신호(x[n])로 획득된다. 이때 수신 신호(x[n])에는 방사된 임펄스 신호(s[n])의 에코가 포함되며, 이는 물리적 매체로 존재하는 서로 다른 물체에 의해 반사되고 산란된 성분이 포함된다.
이에 수신 신호(x[n])는 수학식 1과 같이 임펄스 트레인(impulse train)으로 표현될 수 있다.
Figure pat00006
여기서 n은 수신 신호(x[n])가 샘플링 주기에 따른 샘플링 인덱스를 나타내고, N[n]은 노이즈를 나타내며, Npath는 방사된 임펄스 신호(s[n])가 반사되어 수신되는 경로의 수를 나타낸다. am와 τm은 각각 임펄스 신호(s[n])가 m번째 경로에 따라 수신된 경우의 스케일 값과 지연값을 나타낸다.
전처리부(20)는 레이더부(10)에서 획득된 수신 신호(x[n])에서 클러터(clutter)를 제거하는 클러터 제거부(21)와 클러터가 제거된 제스쳐 신호(y[n])를 행렬 형태로 변환하여 제스쳐 행렬(r[n,m])을 획득하는 행렬 변환부(22) 및 제스쳐 행렬(r[n,m])을 정규화(normalization)하는 정규화부(23)를 포함할 수 있다.
수신된 광대역의 수신 신호(x[n])에는 레이더의 빔 폭내에 위치하는 모든 객체로부터의 임펄스 신호(s[n])가 반사된 성분이 포함된다. 따라서 수신 신호(x[n])에서 일부는 관심 대상 객체(예를 들면 운전자의 손)의 제스쳐에 의해 발생된 것이지만, 대부분은 주변 환경에 존재하는 정적 객체(또는 배경)에서 반사된 성분이다. 관심 대상 객체를 제외한 배경에 의해 반사되어 수신된 성분은 관심 대상 객체의 제스쳐를 판별하기 어렵게 하는 불필요한 클러터(clutter)로서 제거되어야 하는 성분이다.
이에 클러터 제거부(21)는 레이더부(10)로부터 인가된 수신 신호(x[n])에서 기지정된 방식으로 클러터 신호(ck[n])를 제거하여 제스쳐 신호(yk[n])를 출력한다.
수신 신호(x[n])에서 클러터를 제거하기 위한 기법으로는 칼만 필터 기법, 특이값 분해법 및 루프백 필터 기법 등의 다양한 기법이 존재하며, 여기서는 클러터 제거부(21)가 일예로 루프백 필터 기법을 이용하여 클러터를 제거하는 것으로 가정한다.
적어도 하나의 레이더는 임펄스 신호(s[n])를 기지정된 펄스 반복 주기(pulse repetition interval: 이하 PRI)의 시퀀스(k)에 따라 반복적으로 방사하고, 일반적으로 배경에 해당하는 정적 객체는 관심 대상 객체와 달리 고정되어 있으므로, 현재 시퀀스(k)에서 수신된 수신 신호(xk[n])에 포함된 클러터 신호(ck[n])는 이전 시퀀스(k-1)에서 획득된 클러터 신호(ck-1[n])를 이용하여 수학식 2와 같이 획득될 수 있다.
Figure pat00007
여기서 k은 레이더가 획득한 수신 신호(xk[n])의 시퀀스 인덱스이고, 는 수신 신호(xk[n])와 클러터 신호(ck[n])의 비율을 조절하기 위한 업데이트 가중치로서, 0 < α < 1 범위의 실수값을 갖는다. 업데이트 가중치(α)는 클러터 신호(ck[n])의 업데이트 속도와 정확도를 조절하기 위해 설정되는 값으로, 일반적으로 작은 제스쳐를 검출하기 위해서는 1에 가까운 값을 갖도록 설정되어야 한다. 본 실시예에서는 손가락의 변화와 같은 작은 제스쳐를 검출해야하므로, 업데이트 가중치(α)는 실험을 통해 0.95로 설정하였으나, 이는 일예로서 업데이트 가중치(α)는 다양하게 조절될 수 있다.
수학식 2에 따라 수신 신호(xk[n])에 대한 클러터 신호(ck[n])가 획득되면, 클러터 제거부(21)는 수학식 3과 같이 제스쳐 신호(yk[n])를 획득할 수 있다.
Figure pat00008
도 3은 도 1의 클러터 제거부에 의해 클러터가 제거되기 전후의 신호 파형의 일예를 나타낸다.
하나의 임펄스 신호(s[n])가 방사되고 다음 임펄스 신호(s[n+1])가 방사될 때까지의 단일 PRI, 즉 하나의 시퀀스에서 획득되는 제스쳐 신호(yk[n])는 도 3의 (b)와 도시된 바와 같은 클러터 신호(ck[n])가 제거되기 이전의 수신 신호(x[n])가 루프백 필터로 구현되는 클러터 제거부(21) 의해 지연되고 클러터 신호(ck[n])가 제거되어 (b)와 같이 획득된다.
즉 클러터 제거부(21)가 클러터 신호(ck[n])를 제거하기 위해 소요되는 평균 지연 시간은 클러터 제거부(21)로 입력되는 수신 신호(x[n])와 클러터 제거부(21)에서 출력되는 제스쳐 신호(yk[n]) 사이의 시간차의 평균으로 계산될 수 있다.
일예로 도 3의 (a)에서 수신 신호(xk[n])의 샘플 중 중심에 해당하는 샘플의 시간은 43인데 반해, 제스쳐 신호(yk[n])의 샘플 중 중심에 해당하는 샘플은 122로 클러터 제거부(21)에 의해 79 샘플링 시간만큼 지연되었음을 알 수 있다.
한편 상기한 바와 같이, 레이더부(10)는 PRI 단위로 반복하여 임펄스 신호(s[n])를 방사하며, 행렬 변환부(22)는 반복 방사된 임펄스 신호(s[n])의 시퀀스(k)에 따라 시퀀스별로 샘플링되고 클러터가 제거된 제스쳐 신호(yk[n])를 누적하여 수학식 4와 같은 2차원의 제스쳐 행렬(r[n,m])을 획득한다.
Figure pat00009
여기서 Noise는 잡음 벡터를 나타내고, m는 시퀀스(k)에서 임펄스 신호(sk[n])와 수신 신호(xk[n]) 사이의 지연 시간을 나타낸다.
수학식 4의 2차원의 제스쳐 행렬(r[n,m])은 수학식 5와 같이 벡터 형태로 표현될 수 있다.
Figure pat00010
수학식 5에서 N은 잡음 벡터를 나타내고, n과 m은 각각 제스쳐 행렬(r[n,m])의 행과 열로서 패스트 타임 인덱스(fast time index) 및 슬로우 타임 인덱스(slow time index)라고 한다.
패스트 타임(n)은 레이더에서 방사된 임펄스 신호의 하나의 시퀀스를 구성하며, 슬로우 타임(m)은 PRI에 따라 전송된 임펄스 신호의 반복을 의미한다.
정규화부(23)는 이후 인공 신경망으로 구현되는 제스쳐 판별부(40)에서 제스쳐 판별을 용이하게 할 수 있도록 제스쳐 행렬(r[n,m]) 또는 제스쳐 벡터(
Figure pat00011
)를 통계적 기법에 따라 정규화하여 정규화된 제스쳐 벡터(
Figure pat00012
)을 수학식 6에 따라 획득한다.
Figure pat00013
여기서 μ와 δ는 각각 제스쳐 벡터(
Figure pat00014
)의 평균과 표준편차를 나타내고, abs는 절대값 함수이다.
즉 정규화부(23)는 제스쳐 벡터(
Figure pat00015
)에서 평균값을 뺀 결과를 다시 표준 편차로 나눈 후 절대값을 취함으로써, 정규화된 제스쳐 벡터(
Figure pat00016
)(또는 정규화된 제스쳐 행렬이라 함)를 획득한다.
이미지 변환부(30)는 정규화된 제스쳐 행렬(
Figure pat00017
)을 2차원 이미지로 변환한다. 이때, 이미지 변환부(30)는 2차원 행렬인 정규화된 제스쳐 행렬(
Figure pat00018
)의 각 원소값을 픽셀 값으로 하여 2차원 RGB 이미지를 우선 획득하고, 획득된 RGB 이미지를 기지정된 회색조(greyscale) 이미지로 변환할 수 있다. 일예로 이미지 변환부(30)는 RGB 이미지를 0 ~ 255 범위의 픽셀 값을 갖는 회색조 이미지로 변환할 수 있으며, 이때 픽셀값 0은 회색조 이미지의 검은색으로 나타나고, 255는 흰색으로 나타난다.
도 4는 손가락 제스쳐에 따라 RGB 이미지로 표현된 2차원의 정규화된 제스쳐 행렬과 이의 1차원 절대 평균 신호 그래프를 나타내고, 도 5는 원소 값에 따라 픽셀을 RGB 색상으로 표현한 2차원의 정규화된 제스쳐 행렬과 정규화된 제스쳐 행렬을 변환한 회색조 이미지의 일예를 나타내며, 도 6은 새끼 손가락의 움직임에 따라 생성된 회색조 이미지의 차를 비교하기 위해 나타낸 도면이다.
도 4에서 왼쪽 이미지는 본 실시예에서 구분하고자 하는 손 제스쳐의 일예로 서로 다른 개수의 손가락을 폈다가 접는 5가지 제스쳐(a ~ e)를 나타낸다.
본 실시예에서는 제스쳐 인식 장치가 인식해야하는 제스쳐의 시작과 끝을 판별할 수 있도록 사용자의 손 제스쳐가 주먹으로부터 시작되고, 주먹으로 다시 끝나는 것으로 설정된 것으로 가정한다. 따라서 손가락 개수에 대응하는 5가지 손 제스쳐(a ~ e)가 모드 주먹에서 시작하여 주먹으로 종료되는 것으로 도시되었다.
가운데 이미지는 5가지 손 제스쳐(a ~ e)의 손가락 개수에 따라 획득된 정규화된 제스쳐 행렬(
Figure pat00019
)을 RGB 이미지로 표현한 결과를 나타내고, 오른쪽 이미지는 RGB 이미지를 1차원 절대 평균 신호로 변환한 결과를 나타낸다.
도 4를 살펴보면, 손가락을 하나만 폈다가 접는 (a)의 손 제스쳐의 경우, 5개의 손가락을 모두 폈다가 접는 (e)의 손 제스쳐 비해 잡음이 더 많이 포함됨을 알 수 있다. 그리고 가운데 이미지에서 정규화된 제스쳐 행렬(
Figure pat00020
)은 원소값의 크기가 증가하면 청색에서 황색으로 변화된다.
RGB 이미지에서 슬로우 타임 동안 평균화된 1차원 신호 패턴은 2차원 RGB 이미지의 패턴 간 유사도를 비교할 때, 서로 구분이 용이하지 않다는 점을 알 수 있다. 즉 RGB 이미지로 표현된 정규화된 제스쳐 행렬(
Figure pat00021
)로부터 5가지 손 제스쳐(a ~ e)를 구분하지 용이하지 않다.
이에 각 손 제스쳐(a ~ e) 사이의 차이를 용이하게 구분할 수 있도록 이미지 변환부(30)는 도 5에 도시된 바와 같이, RGB 이미지(a)를 회색조 이미지(b)로 다시 변환한다.
도 6에서 박스 부분은 유사한 패턴을 가진 영역을 나타내고, 빨간색 화살표 영역은 새끼 손가락의 움직임에도 패턴의 차이가 발생한 영역을 나타낸다. 도 6을 참조하면, 변환된 회색조 이미지에서는 정밀한 패턴 분류기를 이용하여 차이를 구분할 수 있음을 알 수 있다.
도 4에서는 손 제스쳐의 간단한 일예로 5개의 제스쳐만을 도시하였으나, 주먹으로부터 손가락을 펴는 개수를 여러 조합으로 변화한 후 다시 주먹을 쥐는 형태의 제스쳐가 포함되도록 함으로써, 손 제스쳐의 종류를 더욱 증가시킬 수도 있다.
다시 도 2를 참조하면, 제스쳐 판별부(40)는 이미지 변환부(30)에서 획득된 회색조 이미지를 인가받아 특징을 추출하는 특징 추출부(41)와 추출된 특징을 분류하여 제스쳐를 판별하는 제스쳐 분류부(42)를 포함할 수 있다.
본 실시예에서 제스쳐 판별부(40)는 미리 학습된 인공 신경망으로 구현될 수 있으며, 컨볼루션 신경망(Convolutional neural network: CNN)으로 구현될 수 있다. 컨볼루션 신경망(CNN)은 영상 인식, 음성 인식, 자연어 처리, 필기체 인식 등에 주로 사용되는 신경망이다.
도 7은 인공 신경망으로 구현된 제스쳐 판별부의 일예를 나타낸다.
도 7을 참조하면, 특징 추출부(41)는 다수의 컨볼루션 레이어와 다수의 컨볼루션 레이어들 사이 각각에 배치 정규화(batch normalization) 레이어와 ReLU(Rectified Linear Unit) 레이어 및 맥스 풀링(Max-Pooling) 레이어를 포함할 수 있다.
특징 추출부(41)는 인가된 회색조 이미지로부터 고레벨의 특징과 저레벨의 특징을 모두 추출하기 위해, 다수의 컨볼루션 레이어를 포함할 수 있으며, 회색조 이미지로부터 상세한 특징을 추출하기 위하여 다수의 컨볼루션 레이어 각각은 다수의 컨볼루션 필터를 포함할 수 있다. 일반적으로 컨볼루션 필터의 크기가 작을수록 더욱 상세한 특징을 추출할 수 있으며, 여기서는 일예로 3 ㅧ 3크기의 컨볼루션 필터가 이용되는 것으로 가정한다.
그리고 배치 정규화 레이어는 다수의 컨볼루션 레이어 각각에서 추출된 특징을 모든 분포에서 일괄 정규화하여 컨볼루션 신경망의 학습 및 특징 추출 속도를 향상 시킨다. ReLU 레이어는 정규화된 특징을 정류하는 활성화 함수로서, 특징값이 0 이하인 경우 0으로 출력하고, 0 이상이면, 특징값을 그대로 출력한다. 맥스 풀링 레이어는 매개 변수의 수를 줄임으로써 오버 피팅(overfitting) 문제를 방지한다.
특징 추출부(41)에 포함되는 컨볼루션 레이어의 개수는 다양하게 조절될 수 있으나, 컨볼루션 레이어의 개수가 적으면 제스쳐 판별 성능이 저하된다. 반면, 컨볼루션 레이어의 개수가 많으면 제스쳐 판별 속도가 저하될 뿐만 아니라, 오버 피팅 등으로 인해 제스쳐 판별 성능이 함께 저하되는 경우도 발생할 수 있다.
컨볼루션 레이어의 개수는 인가되는 회색조 이미지의 특성을 고려하여 설정되어야 하며 여기서는 실험을 통해 일예로 특징 추출부(41)가 6의 컨볼루션 레이어를 포함하는 것으로 가정하여 도시하였다.
제스쳐 분류부(42)는 다수의 완전 연결 레이어(FC(fully-connected) layer)와 분류 레이어(Classification layer)를 포함하여, 특징 추출부(41)에서 추출한 특징을 기지정된 개수의 제스쳐(g1 ~ g5) 중 하나로 분류한다.
완전 연결 레이어(FC layer)는 특징 추출부에서 추출된 특징 맵 각각을 기지정된 클래스로 분류로 분류하고, 분류 레이어는 완전 연결 레이어에서 분류된 클래스가 해당하는 제스쳐 분류(g1 ~ g5)를 판별한다.
명령 판별부(50)는 제스쳐 판별부(40)에 의해 판별된 제스쳐(g1 ~ g5)에 대응하는 사용자 명령을 판별하여 출력한다. 여기서 제스쳐(g1 ~ g5)에 대응하는 사용자 명령은 다수의 제스쳐(g1 ~ g5) 각각에 대해 미리 맵핑되어 저장될 수 있으며, 사용자에 의해 지정될 수 있다.
도 8은 본 발명의 일 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 방법을 나타낸다.
도 2를 참조하여, 도 8의 비접촉식 손가락 카운팅 기반 제스쳐 인식 방법을 설명하면, 우선 적어도 하나의 IR-URB 레이더를 이용하여 기지정된 파형의 임펄스 신호(s[n])를 주기적으로 방사하고, 방사된 임펄스 신호(s[n])에 대한 수신 신호(x[n])를 획득한다(S11). 그리고 수신 신호(x[n])에서 클러터 신호(ck[n])를 제거하여 제스쳐 신호(yk[n])를 수학식 3과 같이 획득한다(S12).
클러터가 제거된 제스쳐 신호(yk[n])가 획득되면, PRI 단위로 반복하여 획득되는 제스쳐 신호(yk[n])를 누적하여 수학식 4와 같이 2차원의 제스쳐 행렬(r[n,m])을 획득한다(S13). 그리고 제스쳐 행렬(r[n,m])을 수학식 6에 따라 정규화한다(S14).
제스쳐 행렬(r[n,m])이 정규화되어 정규화된 제스쳐 행렬(
Figure pat00022
)이 획득되면, 2차원 행렬인 정규화된 제스쳐 행렬(
Figure pat00023
)의 각 원소값을 픽셀 값으로 하여 2차원 RGB 이미지를 획득한다(S15). 그리고 2차원 RGB 이미지를 기지정된 범위의 픽셀값을 갖는 회색조 이미지로 변환한다(S16).
이후 회색조 이미지를 미리 학습된 컨볼루션 신경망에 입력하여, 이미지 특징을 추출하고(S17), 추출된 특징을 분류하여 특징에 대응하는 제스쳐를 판별한다(S18).
제스쳐가 판별되면, 판별된 제스쳐에 맵핑된 명령을 탐색하고, 탐색된 명령을 사용자가 제스쳐를 통해 입력한 명령으로 판별한다(S19).
도 9는 본 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치가 성능을 평가하기 위해 실제 차량내에 장착된 예를 나타낸다.
도 9에서는 도 1에서 설명한 바와 같이, 본 실시예에 따른 제스쳐 인식 장치, 특히 레이더가 차량 내에서 운전자의 전방 좌측, 즉 도1 의 제1 위치(P1)에 배치된 경우를 도시하였으며, 이때 운전자가 제스쳐를 취하는 손과의 거리는 45cm 인 경우를 도시하였다. 그리고 레이더로는 IR-UWB 레이더가 이용되었다.
도 10 및 도 11은 클러터 제거 여부에 따라 정규화된 제스쳐 행렬을 변환한 RGB 이미지의 차를 나타낸다.
도 10은 제스쳐 인식 장치가 도 9에서와 같이 정상적으로 장착된 경우에 획득되는 RGB 이미지를 나타내고, 도 11은 제스쳐 인식 장치의 레이더가 운전자의 머리를 포함하도록 장착된 경우에 획득되는 RGB 이미지를 나타낸다. 그리고 도 10 및 도 11 각각에서 (a)는 클러터를 제거하지 않고 획득되는 RGB 이미지를 나타내고, (b)는 클러터를 제거하여 획득되는 RGB 이미지를 나타낸다.
도 10 및 도 11의 (a)에 도시된 바와 같이, 클러터가 제거되지 않는 경우, 정규화된 제스쳐 행렬을 변환하여 RGB 이미지가 획득되더라도, RGB 이미지 패턴에서 운전자의 제스쳐에 따른 특징이 거의 나타나지 않음을 알 수 있다. 반면, (b)에서는 클러터가 제거되어 RGB 이미지에서 배경에 의한 영향이 제거됨에 따라 운전자의 제스쳐가 RGB 이미지에 상대적으로 선명하게 나타남을 알 수 있다. 다만, 도 11의 (b)는 운전자의 머리 움직임이 함께 반영됨에 따라 도 10의 (b)에 도시된 RGB 이미지에 비해 넓은 영역에서 불필요한 제스쳐가 감지되었음을 알 수 있다. 이는 본 실시예의 제스쳐 인식 장치가 운전자의 손 제스쳐를 정확하게 인식하지 못하게 하는 요인으로, 레이더는 가급적 운전자의 손에 대해서만 임펄스 신호를 방사하도록 빔의 조사 방향과 각도가 조절되어야 한다.
도 12는 여러가지 손 제스쳐에 따라 획득된 회색조 이미지의 일예를 나타낸다.
상기한 바와 같이, 손 제스쳐는 단순히 정규화된 제스쳐 행렬을 원소값에 따라 변환한 RGB 이미지보다 회색조 이미지에서 더욱 명확하게 차이가 나타날 수 있다. 이에 도 12에서는 도 4에 도시된 5가지 손제스쳐에 따라 획득된 5개의 회색조 이미지를 도시하였으며, 도 12를 살펴보면, 5개의 회색조 이미지에서 상부는 유사 영역으로 차이가 크게 나타나지 않는 반면 하부에서는 각 회색조 이미지 사이의 차이가 크게 두드러짐을 알 수 있다. 이는 미리 학습된 인공 신경망을 이용하여 충분히 식별 가능한 수준으로 본 실시예에 따른 제스쳐 인식 장치는 운전자의 여러가지 손 제스쳐를 식별하고 인식할 수 있다.
도 13은 본 실시예에 따른 비접촉식 손가락 카운팅 기반 제스쳐 인식 장치의 제스쳐 인식 성능을 실험한 결과를 나타낸다.
도 13에 도시된 바와 같이, 본 실시예에 따른 제스쳐 인식 장치는 학습 정확도에 근사하는 유효 정확도를 나타냄을 알 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 레이더부 20: 전처리부
30: 이미지 변환부 40: 제스쳐 판별부
50: 명령 판별부 21: 클러터 제거부
22: 행렬 변환부 23: 정규화부
41: 특징 추출부 42: 제스쳐 분류부

Claims (11)

  1. 기지정된 위치에 배치된 적어도 하나의 레이더에서 기지정된 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하고, 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 전처리부;
    상기 제스쳐 행렬을 행렬의 각 원소값에 대응하는 픽셀 값을 갖는 회색조 이미지로 변환하는 이미지 변환부; 및
    미리 학습된 패턴 추정 방식에 따라 상기 회색조 이미지의 특징을 추출하고, 추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 제스쳐 판별부; 를 포함하는 비접촉식 제스쳐 인식 장치.
  2. 제1 항에 있어서, 상기 전처리부는
    상기 수신 신호를 인가받아 기지정된 방식으로 획득된 클러터 신호를 차감하여 제스쳐 신호를 획득하는 클러터 제거부; 및
    기지정된 펄스 반복 주기의 시퀀스에 따라 반복 방사된 상기 임펄스 신호 각각에 대응하여 획득되는 상기 제스쳐 신호를 기지정된 배열에 따라 누적하여 2차원의 제스쳐 행렬을 획득하는 행렬 변환부; 를 포함하는 비접촉식 제스쳐 인식 장치.
  3. 제2 항에 있어서, 상기 행렬 변환부는
    상기 제스쳐 신호(yk[n])를 수학식
    Figure pat00024

    (여기서 n은 샘플링 주기에 따른 샘플링 인덱스로서 패스트 타임 인덱스를 나타내고, m은 시퀀스(k)에서 임펄스 신호와 수신 신호 사이의 지연 시간으로 슬로우 타임 인덱스를 나타낸다.)
    에 따라 누적하여 2차원의 제스쳐 행렬을 획득하는 비접촉식 제스쳐 인식 장치.
  4. 제3 항에 있어서, 상기 전처리부는
    상기 제스쳐 행렬을 수학식
    Figure pat00025

    (여기서
    Figure pat00026
    는 제스쳐 행렬의 벡터 표현이고, μ와 δ는 각각 제스쳐 벡터(
    Figure pat00027
    )의 평균과 표준편차를 나타내며, abs는 절대값 함수이고,
    Figure pat00028
    정규화된 제스쳐 행렬의 벡터 표현이다.)
    에 따라 정규화하여 출력하는 정규화부; 를 더 포함하는 비접촉식 제스쳐 인식 장치.
  5. 제3 항에 있어서, 상기 이미지 변환부는
    상기 제스쳐 행렬을 각 원소 값에 대응하는 픽셀 값을 갖는 2차원의 RGB 이미지로 변환하고, 변환된 RGB 이미지를 기지정된 범위의 픽셀 값을 갖는 회색조 이미지로 변환하여 출력하는 비접촉식 제스쳐 인식 장치.
  6. 제1 항에 있어서, 비접촉식 제스쳐 인식 장치는
    차량 내의 기지정된 위치에 장착되어 운전자의 손을 향해 상기 임펄스 신호를 방사하는 적어도 하나의 IR-UWB 레이더; 를 더 포함하는 비접촉식 제스쳐 인식 장치.
  7. 기지정된 위치에 배치된 적어도 하나의 레이더에서 기지정된 주기로 반복 방사된 임펄스 신호 각각에 대응하여 수신된 수신 신호들을 인가받아 클러터를 제거하는 단계;
    클러터가 제거된 제스쳐 신호를 인가받아 누적하여 2차원 행렬 형태의 제스쳐 행렬을 획득하는 단계;
    상기 제스쳐 행렬을 행렬의 각 원소값에 대응하는 픽셀 값을 갖는 회색조 이미지로 변환하는 단계;
    미리 학습된 패턴 추정 방식에 따라 상기 회색조 이미지의 특징을 추출하는 단계; 및
    추출된 특징을 분류하여 사용자의 제스쳐를 판별하는 단계; 를 포함하는 비접촉식 제스쳐 인식 방법.
  8. 제7 항에 있어서, 상기 제스쳐 행렬을 획득하는 단계는
    기지정된 펄스 반복 주기의 시퀀스에 따라 반복 방사된 상기 임펄스 신호 각각에 대응하여 획득되는 상기 제스쳐 신호를 수학식
    Figure pat00029

    (여기서 n은 샘플링 주기에 따른 샘플링 인덱스로서 패스트 타임 인덱스를 나타내고, m은 시퀀스(k)에서 임펄스 신호와 수신 신호 사이의 지연 시간으로 슬로우 타임 인덱스를 나타낸다.)
    에 따라 누적하여 2차원의 제스쳐 행렬을 획득하는 비접촉식 제스쳐 인식 방법.
  9. 제8 항에 있어서, 상기 제스쳐 행렬을 획득하는 단계는
    상기 제스쳐 행렬을 수학식
    Figure pat00030

    (여기서
    Figure pat00031
    는 제스쳐 행렬의 벡터 표현이고, μ와 δ는 각각 제스쳐 벡터(
    Figure pat00032
    )의 평균과 표준편차를 나타내며, abs는 절대값 함수이고,
    Figure pat00033
    정규화된 제스쳐 행렬의 벡터 표현이다.)
    에 따라 정규화하는 단계; 를 더 포함하는 비접촉식 제스쳐 인식 방법.
  10. 제8 항에 있어서, 상기 회색조 이미지로 변환하는 단계는
    상기 제스쳐 행렬을 각 원소 값에 대응하는 픽셀 값을 갖는 2차원의 RGB 이미지로 변환하는 단계; 및
    변환된 RGB 이미지를 기지정된 범위의 픽셀 값을 갖는 회색조 이미지로 변환하여 출력하는 단계; 를 포함하는 비접촉식 제스쳐 인식 방법.
  11. 제7 항에 있어서, 비접촉식 제스쳐 인식 방법은
    차량 내의 기지정된 위치에 장착된 적어도 하나의 IR-UWB 레이더가 운전자의 손을 향해 상기 임펄스 신호를 방사하여 상기 수신 신호를 획득하는 단계; 를 더 포함하는 비접촉식 제스쳐 인식 방법.
KR1020190076997A 2019-06-27 2019-06-27 비접촉식 제스쳐 인식 장치 및 방법 KR102228524B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190076997A KR102228524B1 (ko) 2019-06-27 2019-06-27 비접촉식 제스쳐 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190076997A KR102228524B1 (ko) 2019-06-27 2019-06-27 비접촉식 제스쳐 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210001227A true KR20210001227A (ko) 2021-01-06
KR102228524B1 KR102228524B1 (ko) 2021-03-15

Family

ID=74128275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190076997A KR102228524B1 (ko) 2019-06-27 2019-06-27 비접촉식 제스쳐 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102228524B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949447A (zh) * 2021-02-25 2021-06-11 北京京东方技术开发有限公司 手势识别方法、系统、装置、设备和介质
CN113128337A (zh) * 2021-03-10 2021-07-16 恒鸿达科技有限公司 一种斜体引身测试计数方法、装置、设备和介质
CN113208566A (zh) * 2021-05-17 2021-08-06 深圳大学 一种数据处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130040642A (ko) * 2011-10-14 2013-04-24 삼성테크윈 주식회사 레이다 센서 및 이를 이용한 물체 검출 방법
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20170012422A (ko) * 2014-08-07 2017-02-02 구글 인코포레이티드 레이더-기반 제스처 인식
KR20170031829A (ko) * 2015-09-11 2017-03-22 금호마린테크 (주) 선박 레이더를 이용한 물표의 획득 방법 및 이를 이용한 물표의 획득 시스템
KR101860731B1 (ko) 2016-02-26 2018-05-24 자동차부품연구원 차량용 제스처 인식 인터페이스 장치
KR20180094314A (ko) * 2017-02-15 2018-08-23 (주)더블유알티랩 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130040642A (ko) * 2011-10-14 2013-04-24 삼성테크윈 주식회사 레이다 센서 및 이를 이용한 물체 검출 방법
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20170012422A (ko) * 2014-08-07 2017-02-02 구글 인코포레이티드 레이더-기반 제스처 인식
KR20170031829A (ko) * 2015-09-11 2017-03-22 금호마린테크 (주) 선박 레이더를 이용한 물표의 획득 방법 및 이를 이용한 물표의 획득 시스템
KR101860731B1 (ko) 2016-02-26 2018-05-24 자동차부품연구원 차량용 제스처 인식 인터페이스 장치
KR20180094314A (ko) * 2017-02-15 2018-08-23 (주)더블유알티랩 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이 진섭 외 1인. IR-UWB 레이다를 이용한 모션 인식에 관한 연구. The Journal of Korean Institute of Electromagnetic Engineering and Science, Vol. 30, No 3, 236-242 Pages. 2019.03.31. 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949447A (zh) * 2021-02-25 2021-06-11 北京京东方技术开发有限公司 手势识别方法、系统、装置、设备和介质
CN113128337A (zh) * 2021-03-10 2021-07-16 恒鸿达科技有限公司 一种斜体引身测试计数方法、装置、设备和介质
CN113208566A (zh) * 2021-05-17 2021-08-06 深圳大学 一种数据处理方法、装置、电子设备及存储介质
CN113208566B (zh) * 2021-05-17 2023-06-23 深圳大学 一种数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102228524B1 (ko) 2021-03-15

Similar Documents

Publication Publication Date Title
KR102228524B1 (ko) 비접촉식 제스쳐 인식 장치 및 방법
Abiyev et al. Sign language translation using deep convolutional neural networks
Sivaraman et al. Active learning for on-road vehicle detection: A comparative study
Shi et al. Real-time traffic light detection with adaptive background suppression filter
Misra et al. Vision-based hand gesture recognition of alphabets, numbers, arithmetic operators and ASCII characters in order to develop a virtual text-entry interface system
Barros et al. A dynamic gesture recognition and prediction system using the convexity approach
Agrawal et al. Recognition of Indian Sign Language using feature fusion
US20130266174A1 (en) System and method for enhanced object tracking
WO2023029390A1 (zh) 一种毫米波雷达手势检测识别方法
KR100862349B1 (ko) 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
CN110084209B (zh) 基于父子分类器的实时性手势识别方法
Gamage et al. Gaussian process dynamical models for hand gesture interpretation in sign language
WO2022134989A1 (zh) 一种手势识别方法以及装置
Verma et al. Framework for dynamic hand gesture recognition using Grassmann manifold for intelligent vehicles
KR102254331B1 (ko) 공중 제스쳐 인식 장치 및 방법
Hameed et al. Recognizing british sign language using deep learning: A contactless and privacy-preserving approach
Choi et al. Fmcw radar-based real-time hand gesture recognition system capable of out-of-distribution detection
Kharate et al. Vision based multi-feature hand gesture recognition for indian sign language manual signs
KR102322817B1 (ko) 도플러 레이다 및 음성 센서를 이용한 cnn 기반의 hmi 시스템, hmi 시스템의 센서 데이터 처리 장치 및 그 동작 방법
Le et al. A fast and compact deep Gabor network for micro-Doppler signal processing and human motion classification
Hussain et al. An Efficient and Robust Hand Gesture Recognition System of Sign Language Employing Finetuned Inception-V3 and Efficientnet-B0 Network.
Nath et al. Embedded sign language interpreter system for deaf and dumb people
Minhas et al. Accurate pixel-wise skin segmentation using shallow fully convolutional neural network
Lahiani et al. A survey on hand gesture recognition for mobile devices
Ege Human activity classification with deep learning using FMCW radar

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant