KR101534745B1

KR101534745B1 - 제스처 인식 장치

Info

Publication number: KR101534745B1
Application number: KR1020130168912A
Authority: KR
Inventors: 주시현; 오종민; 민정상
Original assignee: 현대자동차 주식회사
Priority date: 2013-12-31
Filing date: 2013-12-31
Publication date: 2015-07-07
Also published as: US20150186717A1; US9349044B2

Abstract

본 발명은 제스처 인식 장치에 관한 것이다. 본 발명은 미리 설정된 제스처 인식 영역 내의 사용자를 촬영하여 객체 영상을 생성하는 영상 생성부, 미리 설정된 제스처 시작 위치로 접근하는 사용자의 손을 감지하는 손 감지부, 손이 제스처 시작 위치에 위치하는지 여부에 따라 제스처 입력 모드로 진입하고, 제스처 입력 모드 시 객체 영상으로부터 손을 검출하여 제스처를 인식하는 제스처 인식부, 및 제스처 입력 모드 시 손이 제스처 시작 위치 및 제스처 인식 영역 내에 위치하는지 여부를 알려주는 피드백을 제공하는 피드백부를 포함한다.

Description

제스처 인식 장치{GESTURE RECOGNIZE APPARATUS}

본 발명은 제스처 인식 장치에 관한 것으로, 특히 차량용 제스처 인식 장치 에 관한 기술이다.

일반적으로 차량용 정보 기기는 차량 운전이나 탑승자의 편의성, 오락성 등을 제공하기 위한 기기이다. 예컨대, 오디오, AVN(Audio Visual Navigation) 시스템, 텔레매틱스 등을 포함한다.

최근 일부 차량용 정보 기기는 운전 중 정보 기기의 버튼 조작에 의해 운전자의 시선이 전방에서 벗어나는 것을 방지하기 위해 원격 제어 방법으로 제어된다.

원격 제어 방법은 차량의 핸들에 배치된 버튼을 이용하거나, 사용자의 제스처를 인식하여 차량용 정보 기기를 제어하는 방법 등이 있다. 이 중 사용자의 제스처를 인식하는 방법은 카메라로 사용자의 손을 촬영하고, 손의 움직임을 직관적인 버튼으로 이용하는 방법이다.

그런데, 차량의 주행 중에 진동이 발생하거나 운전자가 조작 버튼 등을 조작하기 위해 손이 움직이는 경우 의도하지 않은 제스처가 입력될 수 있다. 이를 방지하기 위해 제스처 입력을 위한 별도의 버튼을 누르거나 손을 흔드는 등의 모션을 이용하여 제스처 인식 장치를 활성화시키는 방법을 이용하고 있다. 그러나, 이러한 방법은 사용자가 제스처 입력하고자 하는 순간에 제스처를 즉시 입력하기 어렵고, 단순히 버튼을 조작하는 방식에 비해 운전자의 주의력을 분산시킬 수 있다.

본 발명의 실시 예는 제스처를 인식할 수 있는 시작 위치에 손이 위치하는지 여부를 감지하여 제스처를 입력 받음으로써 별도의 버튼이나 모션 없이 제스처를 인식할 수 있는 제스처 인식 장치를 제공한다.

또한, 본 발명의 실시 예는 손이 시작 위치에 위치하거나 제스처를 인식할 수 있는 인식 영역 내에서 모션이 취해지는 경우 손에 촉각적인 피드백을 제공함으로써 사용자가 제스처 입력이 정상적으로 진행되고 있는지 여부를 알 수 있는 제스처 인식 장치를 제공한다.

본 발명의 실시 예에 따른 제스처 인식 장치는 미리 설정된 제스처 인식 영역 내의 사용자를 촬영하여 객체 영상을 생성하는 영상 생성부; 미리 설정된 제스처 시작 위치로 접근하는 상기 사용자의 손을 감지하는 손 감지부; 상기 손이 상기 제스처 시작 위치에 위치하는지 여부에 따라 제스처 입력 모드로 진입하고, 상기 제스처 입력 모드 시 상기 객체 영상으로부터 상기 손을 검출하여 제스처를 인식하는 제스처 인식부; 및 상기 제스처 입력 모드 시 상기 손이 상기 제스처 시작 위치 및 상기 제스처 인식 영역 내에 위치하는지 여부를 알려주는 피드백을 제공하는 피드백부를 포함한다.

여기서, 상기 제스처 인식 영역은 차량의 기어 노브를 기준으로 일정 크기를 갖는 영역이고, 상기 영상 생성부는 상기 기어 노브의 방향으로 배치된 카메라를 포함한다. 그리고, 상기 제스처 시작 위치는 상기 기어 노브의 상부 방향으로 상기 기어 노브와 일정 거리 이격된 위치이고, 상기 손 감지부는 상기 기어 노브 상에 배치된 근거리 센서를 포함한다.

그리고, 상기 피드백부는 상기 손에 공기를 분사하여 촉각적인 상기 피드백을 제공하는 적어도 하나의 공기압 분사 장치를 포함한다. 여기서, 상기 공기압 분사 장치는 상기 공기를 분사하는 분사 영역의 크기에 따라 상기 기어 노브의 주변에 서로 이격되어 배치된다.

또한, 상기 피드백부는 상기 제스처 시작 위치 및 상기 제스처 인식 영역 각각의 상기 피드백을 상기 공기의 분사 패턴 및 주기에 따라 서로 다르게 제공한다. 그리고, 상기 제스처 인식부는 상기 제스처 시작 위치 및 상기 제스처 인식 영역 내에 위치하는 상기 손의 이동 경로를 따라 상기 공기압 분사 장치를 제어한다. 또한, 상기 사용자의 방향으로 광을 조사하는 조명부를 더 포함한다.

본 발명의 실시 예는 제스처를 인식할 수 있는 시작 위치에 손이 위치하는지 여부를 감지하여 제스처를 입력 받음으로써 별도의 버튼이나 모션 없이 제스처를 인식할 수 있다.

또한, 본 발명의 실시 예는 손이 시작 위치에 위치하거나 제스처를 인식할 수 있는 인식 영역 내에서 모션이 취해지는 경우 손에 촉각적인 피드백을 제공함으로써 사용자가 제스처 입력이 정상적으로 진행되고 있는지 여부를 알 수 있다.

도 1 및 도 2는 본 발명의 실시 예에 따른 제스처 인식 장치를 도시한 도면.
도 3a, 도 3b, 도 4a 및 도 4b는 도 1에 도시된 피드백부(40)를 설명하기 위해 도시한 도면.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 첨부된 도면을 참조로 하여 상세히 설명한다.

도 1 및 도 2는 본 발명의 실시 예에 따른 제스처 인식 장치를 도시한 도면이고, 도 3a, 도 3b, 도 4a 및 도 4b는 도 1에 도시된 피드백부(40)를 설명하기 위해 도시한 도면이다.

도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 제스처 인식 장치(1)는 조명부(10), 영상 생성부(20), 손 감지부(30), 피드백부(40) 및 제스처 인식부(50)를 포함한다. 조명부(10)는 차량 내부의 조도 레벨이 미리 설정된 레벨보다 낮은 경우 사용자의 방향으로 광을 조사한다.

여기서, 조명부(10)는 영상 생성부(20)가 적외선 카메라를 포함하는 경우 적외선을 조사하는 조명 장치를 포함하고, 영상 생성부(20)가 RGB 카메라를 포함하는 경우 가시광선을 조사하는 조명 장치를 포함할 수 있다.

영상 생성부(20)는 미리 설정된 제스처 인식 영역(C1) 상의 사용자(A)를 촬영하여 객체 영상을 생성한다. 여기서, 제스처 인식 영역(C1)은 차량의 기어 노브(B)를 기준으로 일정 크기의 영역으로 설정될 수 있다. 이를 위해, 영상 생성부(20)는 차량의 천장으로부터 기어 노브(B)의 방향으로 배치된 2D/3D 카메라, 적외선 카메라 등을 포함할 수 있다.

손 감지부(30)는 사용자(A)의 손을 감지한다. 손 감지부(30)는 기어 노브(B) 상에 배치된 근거리 센서를 포함하고, 근거리 센서를 통해 기어 노브에 접근하는 손의 위치를 감지할 수 있다.

피드백부(40)는 제스처 입력 모드 시 활성화되어 사용자(A)의 손에 제스처의 시작 위치 및 제스처 인식 영역을 알려주는 촉각 피드백을 제공한다. 즉, 사용자(A)의 손이 제스처 시작 위치에 있거나, 제스처 인식 영역 내에서 모션을 취하는 경우 피드백부(40)는 사용자(A)의 손바닥에 촉각 피드백을 제공한다.

이를 위해, 피드백부(40)는 제스처 인식 영역(C1) 상에 위치한 사용자의 손을 향해 공기를 분사하는 적어도 하나의 공기압 분사 장치(42)를 포함할 수 있다. 여기서, 공기압 분사 장치(42)의 개수 및 배치는 제스처 인식 영역(C1)과 공기압 분사 장치(42)의 분사 영역(C2)의 크기에 따라 조절될 수 있다.

예컨대, 도 3a에 도시된 바와 같이, 공기압 분사 장치(42)가 모터 등을 통해 공기 분사 방향을 조절할 수 있는 경우 공기 분사 방향에 대응하는 분사 영역(C2)의 크기를 고려하여 제스처 인식 영역(C1) 내에 4개의 공기압 분사 장치(42)를 배치할 수 있다.

반면, 도 3b에 도시된 바와 같이, 공기압 분사 장치(42)의 공기 분사 방향을 조절할 수 없는 경우 제스처 인식 영역(C1) 내에 16개의 공기압 분사 장치(42)를 어레이(array) 형태로 배치할 수 있다.

피드백부(40)는 제스처 시작 위치 및 제스처 인식 영역에 대응하는 피드백을 공기압 분사 장치(42)의 공기 분사 패턴 및 주기에 따라 서로 다르게 제공할 수 있다.

예컨대, 도 4a에 도시된 바와 같이, 사용자의 손이 제스처 시작 위치에 있는 경우 공기압 분사 장치(42)를 통해 연속적으로 상대적으로 긴 주기 동안 공기(D)를 분사할 수 있다. 그리고, 도 4b에 도시된 바와 같이, 사용자의 손이 제스처 인식 영역 내에 위치하고, 모션 제스처를 취하는 경우 손의 이동 위치에 공기압 분사 장치(42)를 통해 비연속적으로 상대적으로 짧은 주기 동안 공기(D)를 분사할 수 있다.

즉, 사용자는 손바닥으로 분사되는 공기를 통해 현재 자신의 손의 위치가 제스처 시작 위치에 정상적으로 위치하여 제스처 시작 모드가 활성화되었는지 여부를 알 수 있고, 제스처 인식 영역 내에서 제스처를 취하고 있는지 여부를 알 수 있다.

제스처 인식부(50)는 손 감지부(30)를 통해 감지된 손의 위치에 따라 제스처 입력 모드로 진입하여 피드백부(40)를 활성화시킨다. 그리고, 제스처 인식부(50)는 제스처 입력 모드 시 영상 생성부(20)로부터 객체 영상을 전달 받고, 객체 영상으로부터 사용자(A)의 손을 검출하여 제스처를 인식한다.

구체적으로, 제스처 인식부(50)는 감지된 손의 위치가 미리 설정된 제스처 시작 위치에 대응하는지 여부를 판단하고, 감지된 손의 위치가 미리 설정된 제스처 시작 위치에 있는 경우 제스처 입력 모드로 진입할 수 있다. 여기서, 제스처 시작 위치는 기어 노브(B)의 상부 방향으로 미리 설정된 거리만큼 이격된 위치이다.

그리고, 제스처 인식부(50)는 감지된 손의 위치가 미리 설정된 제스처 시작 위치에 있지 않은 경우 제스처 입력 모드를 비활성화시킨다. 예컨대, 감지된 손이 기어 노브(B) 상에 미리 설정된 거리 이내에 위치하거나, 기어 노브(B)에 접촉한 경우 제스처 인식부(50)는 제스처 입력을 하고자 하는 의도가 없는 것으로 판단하여 해당 제스처를 인식하지 않는다.

그리고, 제스처 인식부(50)는 제스처 입력 모드의 활성화 시 제스처 시작 위치 및 제스처 인식 영역(C1) 내에 위치하는 손의 이동 경로에 따라 공기압 분사 장치(42)를 제어한다. 즉, 제스처 인식부(50)는 손이 제스처 시작 위치에 있거나, 손이 제스처 인식 영역(C1) 내에서 모션을 취하는 경우 해당 손의 위치에 대응하는 공기압 분사 장치(42)가 공기를 분사하도록 제어할 수 있다.

한편, 본 발명의 실시 예는 제스처 시작 위치를 기어 노브(B) 상에 설정하는 경우를 예를 들어 설명하였으나, 본 발명은 이에 한정되지 않고, 차량 내의 핸들 등 다른 위치에 설정할 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10: 조명부
20: 영상 생성부
30: 손 감지부
40: 피드백부
50: 제스처 인식부

Claims

미리 설정된 제스처 인식 영역 내의 사용자를 촬영하여 객체 영상을 생성하는 영상 생성부;
미리 설정된 제스처 시작 위치로 접근하는 상기 사용자의 손을 감지하는 손 감지부;
상기 손이 상기 제스처 시작 위치에 위치하는지 여부에 따라 제스처 입력 모드로 진입하고, 상기 제스처 입력 모드 시 상기 객체 영상으로부터 상기 손을 검출하여 제스처를 인식하는 제스처 인식부; 및
상기 제스처 입력 모드 시 상기 손이 상기 제스처 시작 위치 및 상기 제스처 인식 영역 내에 위치하는지 여부를 알려주는 피드백을 제공하는 피드백부
를 포함하고,
상기 피드백부는,
상기 손에 공기를 분사하여 촉각적인 상기 피드백을 제공하는 적어도 하나의 공기압 분사 장치를 포함하는 제스처 인식 장치.
제1 항에 있어서,
상기 제스처 인식 영역은 차량의 기어 노브를 기준으로 일정 크기를 갖는 영역인 제스처 인식 장치.
제2 항에 있어서,
상기 영상 생성부는
상기 기어 노브의 방향으로 배치된 카메라를 포함하는 제스처 인식 장치.
제2 항에 있어서,
상기 제스처 시작 위치는 상기 기어 노브의 상부 방향으로 상기 기어 노브와 일정 거리 이격된 위치인 제스처 인식 장치.
제4 항에 있어서,
상기 손 감지부는
상기 기어 노브 상에 배치된 근거리 센서를 포함하는 제스처 인식 장치.
삭제
제1 항에 있어서,
상기 공기압 분사 장치는
상기 공기를 분사하는 분사 영역의 크기에 따라 차량의 기어 노브의 주변에 서로 이격되어 배치된 제스처 인식 장치.
제1 항에 있어서,
상기 피드백부는
상기 제스처 시작 위치 및 상기 제스처 인식 영역 각각의 상기 피드백을 상기 공기의 분사 패턴 및 주기에 따라 서로 다르게 제공하는 제스처 인식 장치.
제1 항에 있어서,
상기 제스처 인식부는
상기 제스처 시작 위치 및 상기 제스처 인식 영역 내에 위치하는 상기 손의 이동 경로를 따라 상기 공기압 분사 장치를 제어하는 제스처 인식 장치.
제1 항에 있어서,
상기 사용자의 방향으로 광을 조사하는 조명부를 더 포함하는 제스처 인식 장치.