KR101630153B1 - 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법 - Google Patents

제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법 Download PDF

Info

Publication number
KR101630153B1
KR101630153B1 KR1020140177422A KR20140177422A KR101630153B1 KR 101630153 B1 KR101630153 B1 KR 101630153B1 KR 1020140177422 A KR1020140177422 A KR 1020140177422A KR 20140177422 A KR20140177422 A KR 20140177422A KR 101630153 B1 KR101630153 B1 KR 101630153B1
Authority
KR
South Korea
Prior art keywords
gesture
user
gesture recognition
information
coordinate system
Prior art date
Application number
KR1020140177422A
Other languages
English (en)
Inventor
박형순
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140177422A priority Critical patent/KR101630153B1/ko
Priority to CN201510557935.4A priority patent/CN105700674A/zh
Priority to US14/958,676 priority patent/US20160170495A1/en
Application granted granted Critical
Publication of KR101630153B1 publication Critical patent/KR101630153B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법에 관한 발명이다.
일 실시 예에 따른 제스처 인식 장치는 단일 감지 영역을 가지며, 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집하는 수집부 및 미리 설정된 차량 좌표계를 기초로 제스처의 좌표 및 공간 벡터를 검출하고, 제스처 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 제어부를 포함한다.

Description

제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법{GESTURE RECOGNITION APPARATUS, VEHICLE HAVING OF THE SAME AND METHOD FOR CONTROLLING OF VEHICLE}
제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법에 관한 발명이다.
차량은 기본적인 주행 기능 외에도 오디오 기능, 비디오 기능, 내비게이션 기능, 공조 제어, 시트 제어, 조명 제어 등의 사용자 편의를 위한 부가적인 기능을 수행할 수 있다.
이러한 차량에는 각각의 기능을 수행하기 위한 전자 장치가 마련되어 있고, 각 전자 장치의 동작 명령을 입력 받기 위한 입력부가 마련되어 있다. 이러한 입력부는 하드 키(hard key) 방식, 터치 방식, 음성 인식 방식 및 제스처 인식 방식 중 적어도 하나의 방식으로 구현될 수 있다.
일 측면은 차량 좌표계를 기초로 사용자의 제스처 의도를 판단하는 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법을 제공하고자 한다.
일 측면에 따른 제스처 인식 장치는 단일 감지 영역을 가지며, 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집하는 수집부; 및 미리 설정된 차량 좌표계를 기초로 제스처의 좌표 및 공간 벡터를 검출하고, 제스처 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 제어부;를 포함한다.
또한, 미리 설정된 차량 좌표계는, 차량의 내부 설계 도면에 기초한 좌표계를 포함할 수 있다.
또한, 제어부는, 차량 좌표계에 대한 수집부의 위치를 기초로 차량 좌표계에 대한 제스처의 좌표 및 공간 벡터를 검출할 수 있다.
또한, 제어부는, 복수 개의 전자 장치 중 공간 벡터의 연장선상에 위치한 전자 장치를 제스처 인식 대상으로 결정할 수 있다.
또한, 제스처 인식 대상으로 제스처 정보에 따른 동작 명령을 출력하는 출력부;를 더 포함하는 제스처 인식 장치.
또한, 제스처 정보는, 사용자의 손 정보, 손가락 정보 및 팔 정보를 포함하는 군에서 선택된 적어도 하나를 포함할 수 있다.
또한, 수집부는, 제스처 인식을 위한 사용자 제스처의 영상을 수집하는 영상 수집부를 포함할 수 있다.
또한, 수집부는, 사용자 제스처에서 반사된 광을 수신하는 광 센서를 포함할 수 있다.
또한, 수집부는, 사용자의 안면 정보 및 사용자의 시선 정보 중 적어도 하나를 수집할 수 있다.
또한, 제어부는, 미리 설정된 차량 좌표계를 기초로 사용자의 안면 좌표 및 공간 벡터를 검출하고, 안면 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정할 수 있다.
또한, 제어부는, 미리 설정된 차량 좌표계를 기초로 사용자의 눈의 좌표 및 공간 벡터를 검출하고, 눈의 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정할 수 있다.
또한, 제스처 인식 대상이 결정되었음을 알리는 알람부;를 더 포함할 수 있다.
일 측면에 따른 차량은 단일 감지 영역을 가지며, 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집하는 수집부; 및 미리 설정된 차량 좌표계를 기초로 제스처의 좌표 및 공간 벡터를 검출하고, 제스처 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 제어부;를 포함한다.
또한, 미리 설정된 차량 좌표계는, 차량의 내부 설계 도면에 기초한 좌표계를 포함할 수 있다.
또한, 제어부는, 차량 좌표계에 대한 수집부의 위치를 기초로 차량 좌표계에 대한 제스처의 좌표 및 공간 벡터를 검출할 수 있다.
또한, 제어부는, 복수 개의 전자 장치 중 공간 벡터의 연장선상에 위치한 전자 장치를 제스처 인식 대상으로 결정할 수 있다.
또한, 제스처 인식 대상으로 제스처 정보에 따른 동작 명령을 출력하는 출력부;를 더 포함할 수 있다.
또한, 제스처 정보는, 사용자의 손 정보, 손가락 정보 및 팔 정보를 포함하는 군에서 선택된 적어도 하나를 포함할 수 있다.
또한, 수집부는, 사용자의 안면 정보 및 사용자의 시선 정보 중 적어도 하나를 수집할 수 있다.
또한, 제어부는, 미리 설정된 차량 좌표계를 기초로 사용자 안면의 좌표 및 공간 벡터를 검출하고, 안면 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정할 수 있다.
또한, 제어부는, 미리 설정된 차량 좌표계를 기초로 사용자 눈의 좌표 및 공간 벡터를 검출하고, 눈 좌표 및 공간 벡터에 기초해 복수의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정할 수 있다.
또한, 제스처 인식 대상이 활성화되었음을 알리는 알람부;를 더 포함할 수 있다.
일 측면에 따른 차량의 제어 방법은 수집부에서 사용자의 제스처 정보를 수집하는 단계; 미리 설정된 차량 좌표계를 기초로 제스처의 좌표 및 공간 벡터를 검출하는 단계; 및 제스처 좌표 및 공간 벡터에 기초해 복수의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 단계;를 포함한다.
또한, 미리 설정된 차량 좌표계를 기초로 제스처의 좌표 및 공간 벡터를 검출하는 단계는, 차량 좌표계에 대한 수집부의 위치를 기초로 차량 좌표계에 대한 제스처의 좌표 및 공간 벡터를 검출하는 것을 포함할 수 있다.
또한, 제스처 좌표 및 공간 벡터에 기초해 복수의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 단계는, 복수 개의 전자 장치 중 공간 벡터의 연장선상에 위치한 전자 장치를 제스처 인식 대상으로 결정하는 것을 포함할 수 있다.
또한, 제스처 인식 대상으로 결정된 전자 장치로 제스처 정보에 따른 동작 명령을 출력하는 단계;를 더 포함할 수 있다.
또한, 제스처 인식 대상이 활성화 되었음을 사용자에게 알리는 단계;를 더 포함할 수 있다.
또한, 제스처 인식 대상을 결정하는 것은 사용자의 안면 정보에 기초해 제스처 인식 대상을 결정하는 것을 포함하고, 사용자의 안면 정보에 기초해 제스처 인식 대상을 결정하는 것은, 수집부에서 사용자의 안면 정보를 수집하고, 미리 설정된 차량 좌표계를 기초로 사용자 안면의 좌표 및 공간 벡터를 검출하고, 사용자 안면의 좌표 및 공간 벡터에 기초해 복수개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 것을 포함할 수 있다.
또한, 제스처 인식 대상을 결정하는 것은 사용자의 시선 정보에 기초해 제스처 인식 대상을 결정하는 것을 포함하고, 사용자의 시선 정보에 제스처 인식 대상을 결정하는 것은, 수집부에서 사용자의 시선 정보를 수집하고, 미리 설정된 차량 좌표계를 기초로 사용자의 눈 좌표 및 공간 벡터를 검출하고, 사용자의 눈 좌표 및 공간 벡터에 기초해 복수개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 것을 포함할 수 있다.
일 측면에 따른 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법에 의하면 단일 감지 영역에 입력된 사용자의 제스처를 인식해 복수 개의 전자 장치를 제어할 수 있다.
다른 측면에 따른 제스처 인식 장치, 그럴 가지는 차량 및 차량의 제어 방법에 의하면 사용자의 의도를 보다 명확하게 파악해 제스처 인식 대상을 결정할 수 있다.
도 1은 일 실시 예에 따른 차량의 외관도 이다.
도 2 및 도 3은 일 실시 예에 따른 차량의 내부 구성을 나타낸 도면이다.
도 4은 일 실시 예에 다른 제스처 인식 장치의 제어 블록도 이다.
도 5는 다른 실시 예에 따른 제스처 인식 장치의 제어 블록도 이다.
도 6은 또 다른 실시 예에 따른 제스처 인식 장치의 제어 블록도 이다.
도 7은 차량 내부에 형성된 수집부의 감지 영역을 도시한 도면이다.
도 8 및 도 9는 사용자의 제스처 입력 예를 도시한 도면이다.
도 10은 차량 좌표 계의 형성 예를 도시한 도면이다.
도 11은 도 10에 도시한 차량 좌표 계 내부에 형성된 감지 영역의 좌표 계를 도시한 도면이다.
도 12 및 도 13은 제스처의 좌표 및 공간 벡터의 검출 예를 도시한 도면이다.
도 14는 도 12에 도시한 제스처 좌표 및 공간 벡터에 기초해 제스처 인식 대상이 결정되는 방법을 도시한 도면이다.
도 15는 도 13에 도시한 제스처 좌표 및 공간 벡터에 기초해 제스처 인식 대상이 결정되는 방법을 도시한 도면이다.
도 16은 AVN 장치 주위에 마련된 조명이 온 상태로 전환된 예를 도시한 도면이다.
도 17은 RSE 시스템의 디스플레이 주위에 마련된 조명이 온 상태로 전환된 예를 도시한 도면이다.
도 18은 일 예에 따른 동작 명령의 입력 예를 도시한 도면이다.
도 19는 일 실시 예에 따른 차량의 제어 방법을 도시한 순서도 이다.
도 20은 다른 실시 예에 따른 차량의 제어 방법을 도시한 순서도 이다.
도 21은 또 다른 실시 예에 따른 차량의 제어 방법을 도시한 순서도 이다.
이하 첨부된 도면을 참조하여 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법에 대한 실시 예를 상세하게 설명하도록 한다.
도 1은 일 실시 예에 따른 차량(100)의 외관도 이다.
차량(100)은 사람 또는 화물을 운송할 목적으로 주행하는 기기로, 도로 위를 이동할 수 있다.
도 1을 참조하면, 차량(100)은 차량(100)의 외관을 형성하는 본체(1)와, 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(30)와, 차량(100)을 이동시키는 차륜(51, 52)과, 차륜(51, 52)을 회전시키는 구동 장치(60)와, 차량(100) 내부를 외부로부터 차폐시키는 도어(71)와, 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(81, 82)를 포함할 수 있다.
전면 유리(30)는 본체(100)의 전방 상측에 마련되어 차량(100) 내부의 운전자가 차량(100) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
차륜(51, 52)은 차량(100)의 전방에 마련되는 전륜(51)과 차량(100)의 후방에 마련되는 후륜(52)을 포함하며, 구동 장치(60)는 본체(1)가 전방 또는 후방으로 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공할 수 있다. 이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 채용할 수 있다.
도어(71)는 본체(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킬 수 있다.
도어(71)에는 밖을 내다 보거나 밖에서 안을 볼 수 있는 윈도우(72)가 설치될 수 있다. 실시 예에 따라 윈도우(72)는 한쪽에서만 볼 수 있도록 마련될 수 있으며, 개폐 가능하도록 마련될 수도 있다.
사이드 미러(81, 82)는 본체(1)의 좌측에 마련되는 좌측 사이드 미러(81) 및 우측에 마련되는 우측 사이드 미러(82)를 포함하며, 차량(100) 내부의 운전자가 차량(100) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
이외에도 차량(100)은 전방 시야 확보를 위한 전방 카메라, 측면 시야를 확보하기 위한 좌측 카메라 또는 우측 카메라를 포함할 수 있으며, 후방의 장애물 등을 감지하는 근접 센서 또는 강수 여부 및 강수량을 감지하는 레인 센서 등과 같은 감지 장치를 포함할 수 있다.
근접센서는 차량(100)의 측면 또는 후면에 감지 신호를 발신하고 장애물로부터 반사되는 반사 신호를 수신하는 방식을 채용할 수 있다. 근접센서는 수신된 반사 신호의 파형을 기초로 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다.
레인 센서는 전면 유리(30)에 떨어지는 강수량에 대한 정보를 수집할 수 있다. 레인 센서의 예로는 광 센서, 자기 센서 등이 있으나 이에 한정되는 것은 아니다.
도 2 및 도 3은 일 실시 예에 따른 차량(100)의 내부 구성을 나타낸 도면이다.
도 2 및 도 3에 도시된 바를 참조하면 차량(100)은 운전자 등이 탑승하는 시트(110)와, 기어 박스(120), 센터페시아(130) 및 스티어링 휠(140) 등이 마련된 대시보드(150)(dashboard)를 포함할 수 있다.
시트(110)는 운전자가 앉는 운전석과, 동승자가 앉는 조수석과, 차량 내 후방에 위치하는 뒷좌석을 포함할 수 있다. 이 때, 운전석과 조수석의 시트 후면에는 RSE 시스템(Rear Seat Entertainment System)이 마련될 수 있다. RSE 시스템은 뒷좌석 승객의 편의 제공을 위해 마련된 것으로, 시트 후면에 설치된 디스플레이를 포함할 수 있다. RSE 시스템 디스플레이는 운전석 후면에 마련된 제 1 디스플레이와, 조수석 후면에 마련된 제 2 디스플레이를 포함할 수 있다.
기어 박스(120)에는 차량(100) 변속을 위한 변속 레버(121)와, 차량(100)의 기능 수행을 제어하기 위한 터치 패드(122)가 설치될 수 있다. 한편, 필요에 따라 다이얼 조작부(123)가 선택적으로 설치될 수도 있다.
센터페시아(130)에는 공조 장치(131), 시계(132), 오디오 장치(133) 및 AVN 장치(134) 등이 설치될 수 있다.
공조 장치(131)는 차량(100) 내부의 온도, 습도, 공기의 청정도, 공기의 흐름을 조절하여 차량(100)의 내부를 쾌적하게 유지한다. 공조 장치(131)는 센터페시아(130)에 설치되고 공기를 토출하는 적어도 하나의 토출구(131a)를 포함할 수 있다. 센터페시아(130)에는 공조 장치(131) 등을 제어하기 위한 버튼이나 다이얼 등이 설치될 수 있다. 운전자 등의 사용자는 센터페시아(130)에 배치된 버튼을 이용하여 공조 장치(131)를 제어할 수 있다.
시계(132)는 공조 장치(131)를 제어하기 위한 버튼이나 다이얼 주위에 마련될 수 있다.
오디오 장치(133)는 오디오 장치(133)의 기능 수행을 위한 다수의 버튼들이 마련된 조작패널을 포함한다. 오디오 장치는 라디오 기능을 제공하는 라디오 모드와 오디오 파일이 담긴 다양한 저장매체의 오디오 파일을 재생하는 미디어 모드를 제공할 수 있다.
AVN 장치(134)는 사용자의 조작에 따라 오디오 기능, 비디오 기능 및 내비게이션 기능을 통합적으로 수행할 수 있는 장치이다. AVN 장치(134)는 지상파 라디오 신호에 기초하여 라디오를 재생하는 라디오 서비스, CD(Compact Disk) 등을 재생하는 오디오 서비스, DVD(Digital Versatile Disk) 등을 재생하는 비디오 서비스와, 목적지 안내 기능을 수행하는 내비게이션 서비스, 차량과 연결된 이동 단말의 전화 수신 여부를 제어하는 전화 서비스를 제공할 수 있다.
AVN 장치(134)는 오디오 화면, 비디오 화면 및 네비게이션 화면을 제공하기 위한 디스플레이(135)를 포함할 수 있으며, 디스플레이는 액정 디스플레이(LCD) 등으로 구현될 수 있다 .
AVN 장치(134)는 도 2에 도시된 바와 같이 센터페시아(130) 상단에 매립되어 설치될 수 있으며, 이동식(mobile) 또는 탈부착식으로 장착될 수도 있다.
스티어링 휠(140)은 차량(100)의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림(141) 및 차량(100)의 조향 장치와 연결되고 림(141)과 조향을 위한 회전축의 허브를 연결하는 스포크(142)를 포함할 수 있다. 실시 예에 따라서 스포크(142)에는 차량(100) 내의 각종 장치, 일례로 오디오 장치 등을 제어하기 위한 조작 장치(142a, 142b)가 형성될 수 있다.
한편, 대시보드(150)에는 차량(100)의 주행 속도, 엔진 회전 수 또는 연료 잔량 등을 표시할 수 있는 각종 계기판 및 각종 물건을 수납할 수 있는 글로브 박스(globe box) 등이 마련될 수도 있다.
이러한 차량(100) 내부에는 사용자의 제스처를 인식하기 위한 제스처 인식 장치(200)가 설치될 수 있다. 보다 상세하게 제스처 인식 장치(200)는 AVN 장치의 주위, 또는 기어 박스 내부에 매립 설치될 수 있으나 설치 위치가 이에 제한되지는 않는다.
제스처 인식 장치(200)는 단일 감지 영역 내에서 사용자의 제스처 정보를 수집해, 수집한 제스처 정보를 기초로 제스처 인식 대상을 결정할 수 있다. 아울러, 제스처 인식 대상으로 제스처 정보에 따른 동작 명령을 출력할 수 있다. 즉, 단일 감지 영역에 제스처를 입력해 복수의 전자장치를 제어할 수 있다.
본 명세서에서, 사용자의 제스처 정보는 사용자의 손 정보, 손가락 정보 및 팔 정보를 포함하는 군에서 선택된 적어도 하나를 포함하는 개념으로 정의한다. 보다 상세하게, 사용자의 제스처 정보는 사용자의 손, 손가락 또는 팔의 방향 및 위치에 대한 정보를 포함할 수 있다.
이하, 제스처 인식 장치(200)에 대해 상세하게 설명한다.
도 4는 일 실시 예에 따른 제스처 인식 장치(200)의 제어 블록도이다.
도 4를 참조하면, 일 실시 예에 따른 제스처 인식 장치(200)는 수집부(210)와, 저장부(220)와, 출력부(230)와, 제어부(240)를 포함할 수 있다.
수집부(210)는 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집할 수 있다. 보다 상세하게, 수집부(210)는 단일 감지 영역을 가질 수 있으며, 단일 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집하고, 이를 제어부(240)에 출력할 수 있다.
수집부(210)는 사용자의 제스처 영상을 수집하는 영상 수집부를 포함할 수 있다. 여기서 영상 수집부는 하나의 카메라, 서로 다른 위치에서 대상체의 영상을 수집하는 두 개의 카메라 또는 삼차원 카메라일 수 있다.
수집부(210)는 대상체의 정전 용량을 검출하는 정전 용량 센서, 대상체와의 거리 검출을 위한 초음파 센서 또는 대상체에서 반사되는 광을 검출하는 광 센서를 포함할 수도 있으며, 당해 업계에서 통상의 지식을 지닌 자가 쉽게 생각할 수 있는 범위 내의 여러 제스처 수집 수단을 포함할 수 있다.
저장부(220)는 제어부(240)의 제어에 따라 제스처 인식 장치(200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램을 저장할 수 있다. 보다 상세하게, 저장부(220)는 복수의 전자 장치(300)에 대한 동작 명령을 각각 저장하고, 동작 명령에 대응하는 사용자의 제스처 정보를 저장할 수 있다.
여기서 복수의 전자 장치(300)는, 뒷좌석 승객에게 편의를 제공하기 위한 RSE 시스템(111)과, 차량(100) 내부의 온도를 조절하기 위한 공조 장치(131)와, 라디오나 음악 파일을 재생시키기 위한 오디오 장치(133)와, 목적지까지 길을 안내하는 내비게이션 장치(134)와, 외부 단말 장치와 통신을 수행하기 위한 블루투스 장치(미도시)와, 시트에 열을 제공하기 위한 히터(미도시)와, 윈도우 글래스를 자동으로 개폐하기 위한 윈도우 글래스 개폐 장치(미도시)와, 선루프를 자동으로 개폐하기 위한 선루프 개폐 장치(미도시)와, 전후좌우 도어를 자동으로 개폐하기 위한 도어 개폐 장치 및 전후좌우의 도어를 잠금 또는 해제하기 위한 도어 잠금 장치(미도시) 등을 포함할 수 있다.
저장부(220)는 하나의 제스처에 대응하는 적어도 두 개의 전자 장치(300)의 동작 명령을 저장할 수도 있다.
이러한 저장부(220)는, 제스처 인식 장치(200)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리 등)를 포함하는 용어로 사용될 수 있다. 또한, 비활성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다. 아울러, 저장부(220)는 제어부(240)의 롬(ROM, 242)과 램(RAM, 243)을 포함하는 개념일 수 있다.
출력부(230)는 복수의 전자 장치(300)에 각각 연결되어 적어도 하나의 전자 장치(300)에 동작 명령을 출력할 수 있다. 복수의 전자 장치(300) 중 적어도 하나가 제스처 인식 대상으로 결정되면, 출력부(230)는 제어부(240)의 제어 신호에 따라 제스처 인식 대상으로 결정된 전자 장치(300)에 제스처 정보에 따른 동작 명령을 출력할 수 있다.
이러한 출력부(230)는 복수의 전자 장치(300)가 연결되는 디지털 포트 및 아날로그 포트 등을 포함할 수 있다. 아울러 출력부(230)는 복수의 전자 장치(300)와 통신을 하기 위한 CAN 통신을 포함할 수 있다.
제어부(240)는 프로세서(241), 제스처 인식 장치(200)의 제어를 위한 제어 프로그램(243)이 저장된 롬(242) 및 제스처 인식 장치(200)의 외부에서 수집된 사용자의 제스처 정보를 저장하거나, 제스처 인식 장치(200)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(243)을 포함할 수 있다.
제어부(240)는 제스처 인식 장치(200)의 전반적인 동작 및 제스처 인식 장치(200)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다.
제어부(240)는 미리 설정된 차량 좌표계를 기초로 제스처의 좌표 및 공간 벡터를 검출하고, 제스처의 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정할 수 있다.
차량 좌표계에 대한 제스처의 좌표 및 공간 벡터가 검출되면, 제어부(240)는 복수 개의 전자 장치(300) 중 공간 벡터의 연장선상에 위치한 전자 장치(300)를 제스처 인식 대상으로 결정할 수 있다.
제스처 인식 대상이 결정되면, 제어부(240)는 제스처 인식 대상으로 결정된 전자 장치(300)에 제스처 정보에 따른 동작 명령을 출력하도록 출력부(230)를 제어할 수 있다. 이하, 관련 부분에서 상세하게 설명한다.
도 5는 다른 실시 예에 따른 제스처 인식 장치(200a)의 제어 블록도이다.
도 5를 참조하면, 일 실시 예에 따른 제스처 인식 장치(200a)는 수집부(210)와, 저장부(220)와, 출력부(230)와, 알람부(235a)와, 제어부(240)를 포함할 수 있다. 도 4에 따른 제스처 인식 장치(200)는, 알람부(235a)를 더 포함함에 있어서 도 3에 따른 제스처 인식 장치(200)와 차이가 있으며, 이하 도 3과의 차이점을 중심으로 제스처 인식 장치(200a)에 대해 설명하도록 한다.
본 실시 예에 따른 제스처 인식 장치(200a)는 알람부(235a)를 더 포함할 수 있다.
알람부(235a)는 복수의 전자 장치(300) 주위에 조명 형태로 제공될 수 있으며, 실시 예에 따라 음성 형태로 제공할 수도 있다. 알람부(235a)는 어느 하나의 전자 장치(300)가 제스처 인식 대상으로 결정되었음을 사용자에게 알려줌으로써 사용자가 제스처 인식 대상을 쉽게 인식 가능하도록 한다.
예를 들어, 사용자의 제스처에 의해 AVN 장치(134)가 제스처 인식 대상으로 결정된 경우, 사용자가 제스처 인식 대상에 맞는 제어 동작을 수행하도록 AVN 장치(134) 주위에 설치된 조명을 온 상태로 전환하거나, 이미 제공된 조명의 컬러를 바꿀 수 있다. 실시 예에 따라 AVN 장치(134)가 제스처 인식 대상으로 결정되었음을 음성 신호로 제공할 수도 있다.
도 6은 또 다른 실시 예에 따른 제스처 인식 장치(200b)의 제어 블록도이다.
도 6을 참조하면, 또 다른 실시 예에 따른 제스처 인식 장치(200b)는 수집부(210b)와, 저장부(220)와, 출력부(230)와, 제어부(240)를 포함할 수 있으며, 수집부(210b)는 제 1 수집부(211b)와 제 2 수집부(212b)를 포함할 수 있다. 도 5에 따른 제스처 인식 장치(200b)는 수집부(210b)의 구성에 있어서 도 3에 따른 제스처 인식 장치(200)와 차이가 있으며, 이하 도 3과의 차이점을 중심으로 제스처 인식 장치(200b)에 대해 설명하도록 한다.
본 실시 예에 따른 제스처 인식 장치(200)는 제 1 수집부(211b)와 제 2 수집부(212b)를 포함할 수 있으며, 제 2 수집부(212b)는 제 1 수집부(211b)의 보조 수집부로서 기능할 수 있다. 제 1 수집부(211b) 및 제 2 수집부(212b)와 같은 표현은 복수의 수집부(211a, 211b)를 구분하기 위한 용어로 제 1 수집부(211b)가 제 2 수집부(212b)의 보조 수집부로서 기능할 수 있음은 물론이다. 이하, 제 2 수집부(212b)가 제 1 수집부(211b)의 보조 수집부로서 기능함을 전제로 설명한다.
제 1 수집부(211b)는 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집할 수 있다. 보다 상세하게, 제 1 수집부(211b)는 단일 감지 영역을 가질 수 있으며, 단일 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집하고, 이를 제어부(240)에 출력할 수 있다.
제 2 수집부(212b)는 사용자의 안면 정보 또는 사용자의 시선 정보 중 적어도 하나를 수집할 수 있다. 보다 상세하게, 차량(100)의 주행 상황에 따라 사용자의 제스처 만으로 사용자의 의도 파악이 어려운 경우 제 2 수집부(212b)를 통해 수집한 사용자의 안면 정보 또는 시선 정보를 통해 제스처 인식 대상을 결정할 수 있다. 이 때, 사용자의 시선 정보는 사용자의 눈동자 정보를 포함하는 개념으로 정의한다.
제 2 수집부(212b)는 사용자의 안면 영상 또는 사용자의 눈 영상을 수집하는 영상 수집부를 포함할 수 있다. 여기서 영상 수집부는 하나의 카메라, 서로 다른 위치에서 사용자의 안면 영상 또는 눈 영상을 수집하는 두 개의 카메라 또는 3차원 카메라일 수 있다.
제어부(240)는 미리 설정된 차량 좌표계를 기초로 사용자 안면의 좌표 및 공간 벡터를 검출하고, 사용자 안면의 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정할 수 있다. 보다 상세하게, 차량 좌표계에 대한 제 2 수집부(212b)의 위치를 기초로 차량 좌표계에 대한 사용자 안면의 좌표 및 공간 벡터를 검출할 수 있으며, 사용자 안면의 좌표 및 공간 벡터에 기초해 공간 벡터의 연장선상에 위치한 전자 장치(300)를 제스처 인식 대상으로 결정할 수 있다.
같은 방식으로, 제어부(240)는 미리 설정된 차량 좌표계를 기초로 사용자의 눈 좌표 및 공간 벡터를 검출하고, 사용자의 눈 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정할 수 있다. 보다 상세하게, 차량 좌표계에 대한 제 2 수집부(212b)의 위치를 기초로 차량 좌표계에 대한 사용자의 눈 좌표 및 공간 백터를 검출할 수 있으며, 사용자의 눈 좌표 및 공간 벡터에 기초해 공간 벡터의 연장선상에 위치한 전자 장치(300)를 제스처 인식 대상으로 결정할 수 있다.
본 실시 예에 따른 제스처 인식 장치(200)는 사용자의 안면 인식 방식 및 시선 인식 방식을 함께 채용 함으로써 사용자의 의도를 보다 명확하게 파악 할 수 있다. 한편, 사용자의 안면 인식 및 시선 인식 방식은 전술한 바와 같이 제스처 인식 방식의 보조적인 형태로 적용 가능하며, 실시 예에 따라 사용자의 안면 인식 및 시선 인식이 동시에 적용되거나 둘 중 하나의 방식이 채용될 수도 있다.
이상으로, 제스처 인식 장치(200, 200a, 200b)의 제어 블록도에 대해 설명하였다. 일 실시 예에 따른 차량(100)의 경우 전술한 제스처 인식 장치(200, 200a, 200b)가 그대로 포함될 수 있으며, 이하 차량(100)에 대한 별도의 제어 블록도는 생략하도록 한다.
이하, 복수의 전자 장치(300) 중 사용자가 의도한 전자 장치(300)의 구분 원리 및 동작 명령 출력 예에 대해 상세하게 설명한다.
먼저, 사용자가 의도한 전자 장치(300)의 구분 원리에 대해 설명한다.
일 예에 따른 제스처 인식 장치(200)는 수집부(210)를 통해 사용자의 제스처 정보를 수집하고, 미리 설정된 차량(100) 좌표 계를 기초로 제스처의 좌표 및 공간 벡터를 검출하고, 제스처의 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정할 수 있다.
사용자는 수집부(210) 주위에 형성된 감지 영역에 제스처 정보를 입력할 수 있다. 도 7은 차량(100) 내부에 형성된 수집부(210)의 감지 영역(S1)을 도시한 도면이다.
도 7에 도시된 바를 참조하면, 제스처 인식 장치(200)의 수집부(210) 주위에는 단일 감지 영역(S1)이 형성될 수 있다. 사용자는 단일 감지 영역(S1)에 제스처를 입력해 다양한 전자 장치(300)를 제어할 수 있다. 도 7에서는 운전석과 조수석 사이에 감지 영역(S1)이 형성된 경우를 예로 들어 도시하였으나, 감지 영역(S1)의 형성 예가 이에 한정되는 것은 아니다.
도 8 및 도 9는 사용자의 제스처 입력 예를 도시한 도면이다.
도 8에 도시된 바를 참조하면, 사용자는 특정 전자 장치(300)를 가리키며 일 방향으로 스윙 하는 제스처를 입력할 수 있다. 수집부(210)는 이와 같은 사용자의 제스처 정보를 수집하고, 수집한 제스처 정보를 제어부(240)에 전달할 수 있다.
도 9에 도시된 바를 참조하면, 사용자는 특정 전자 장치(300)를 가리키는 제스처를 입력할 수도 있다. 수집부(210)는 이와 같은 사용자의 제스처 정보를 수집하고 수집한 제스처 정보를 제어부(240)에 전달할 수 있다.
제어부(240)는, 사용자의 제스처 정보가 수집되면 미리 설정된 차량 좌표계를 기초로 제스처의 좌표 및 공간 벡터를 검출할 수 있다. 일 예에 따르면 제어부(240)는 차량 좌표계에 대한 수집부(210)의 위치를 기초로 차량 좌표계에 대한 제스처의 좌표 및 공간 벡터를 검출할 수 있다. 여기서, 차량 좌표계는 차량(100) 내부 설계 도면에 기초한 좌표계일 수 있다.
도 10은 차량 좌표계(C1)의 형성 예를 도시한 도면이고, 도 11은 도 10에 도시한 차량 좌표계(C1) 내부에 형성된 감지 영역(S1)의 좌표계(C2)를 도시한 도면이고, 도 12 및 도 13은 제스처의 좌표 및 공간 벡터의 검출 예를 도시한 도면이다.
차량 좌표계(C1)는 도 10과 같이 마련될 수 있다. 이와 같은 차량 좌표계(C1)는 차량(100) 내부 설계 시 도면에 기초할 수 있으며, 차량(100) 내부에 포함되는 전자 장치(300)는 도 10에 도시한 좌표계 상에 위치할 수 있다. 일 예에 따르면 AVN 장치(134)는 차량 좌표계(C1) 상에서 (x1, y1)으로 정의될 수 있으며, 공기조화기는 차량 좌표계(C1) 상에서 (x2, y2)로 정의될 수 있으며, RSE 시스템(111)의 조수석 후면에 마련된 디스플레이는 (x3, y3)으로 정의될 수 있다.
감지 영역(S1)의 좌표계(C2)는 도 11에 도시된 바와 같이 차량 좌표계(C1) 상의 특정 지점에 마련될 수 있다. 저장부(220)에는 차량 좌표계(C1)에 대한 감지 영역 좌표계(C2)의 상대적 위치에 대한 정보가 미리 저장될 수 있으며, 이에 감지 영역 좌표계(C2) 상의 좌표는 차량 좌표계(C1) 상의 좌표로 변환될 수 있다.
이러한 감지 영역 좌표계(C2) 상에 사용자의 제스처가 입력되면 제스처의 좌표 및 공간 벡터가 검출될 수 있다.
도 12 및 도 13에 도시된 바를 참조하면, 일 예에 따른 제스처 인식 장치(200)는 사용자의 검지 손가락 끝 지점을 제스처 좌표(P1)로 검출할 수 있으며, 사용자의 검지 손가락이 가리키는 방향을 제스처 공간 벡터(V1)로 검출할 수 있다.
도 12 및 도 13에서는 사용자의 검지 손가락 끝 지점이 제스처 좌표(P1)로 검출되며 사용자의 검지 손가락이 가리키는 방향이 제스처 공간 벡터(V2)로 검출되는 경우를 예로 들어 도시하였으나, 손바닥 중심부가 제스처 좌표로 인식되고 손바닥이 가리키는 방향이 공간 벡터로 검출될 수 있음은 물론이다.
감지 영역 좌표계(C2) 상에 검출된 사용자의 제스처 좌표(P1) 및 제스처 공간 벡터(V1)는 차량 좌표계(C1) 상의 좌표(P1a) 및 공간 벡터(V1a)로 변환될 수 있다. 본 과정에서는 저장부(220)에 미리 저장된 차량 좌표계(C1)에 대한 감지 영역 좌표계(C2)의 위치 정보가 제공될 수 있다.
차량 좌표계(C1)에 대한 제스처 좌표(P1a) 및 제스처 공간 벡터(V1a)가 검출되면, 제어부(240)는 복수 개의 전자 장치(300) 중 제스처 공간 벡터(V1a)의 연장선상에 위치한 전자 장치(300)를 제스처 인식 대상으로 결정할 수 있다.
도 14는 도 12에 도시한 제스처 좌표(P1) 및 공간 벡터(V1)에 기초해 제스처 인식 대상이 결정되는 방법을 도시한 도면이고, 도 15는 도 13에 도시한 제스처 좌표(P1) 및 공간 벡터(V1)에 기초해 제스처 인식 대상이 결정되는 방법을 도시한 도면이다.
차량 좌표계(C1)에 대한 제스처의 좌표(P1) 및 공간 벡터(V1)가 검출되면, 도 14에 도시된 바와 같이 공간 벡터(V1)의 연장선상에 위치한 전자 장치(300)가 제스처 인식 대상으로 결정될 수 있다. 도 14에서는 사용자의 검지 손가락이 가리키는 방향의 연장선 상에 있는 AVN 장치(134)가 제스처 인식 대상으로 결정될 수 있으며, 도 15에서는 사용자의 검지 손가락이 가리키는 방향의 연장선 상에 있는 RSE 시스템(111)이 제스처 인식 대상으로 결정될 수 있다.
제스처 인식 대상이 결정되면, 사용자에게 알람을 제공할 수 있다.
도 16은 AVN 장치(134) 주위에 마련된 조명 장치(134a)가 온 상태로 전환된 예를 도시한 도면이고, 도 17은 RSE 시스템(111)의 디스플레이(111a) 주위에 마련된 조명 장치(111aa)가 온 상태로 전환된 예를 도시한 도면이다.
도 16에 도시된 바를 참조하면, AVN 장치(134)의 디스플레이(135) 주위에는 조명 장치(134a)가 마련될 수 있다. 조명 장치(134a)는 AVN 장치(134)가 제스처 인식 대상으로 결정되었음을 사용자에게 피드백 하도록 마련된 것으로, AVN 장치(134)가 제스처 인식 대상으로 결정되면 온 상태로 전환될 수 있다. 실시 예에 따라 AVN 장치(134)가 제스처 인식 대상으로 결정되었음을 알리는 음성 신호가 함께 또는 단독으로 출력될 수도 있다.
도 17에 도시된 바를 참조하면, 조수석 시트(110b)의 후면에 설치된 RSE 시스템(111)의 디스플레이(111b) 주위에는 조명 장치(111bb)가 마련될 수 있다. 조명 장치(111bb)는 RSE 시스템(111)이 활성화 되었음을 사용자에게 피드백 하도록 마련된 것으로, RSE 시스템(111)이 활성화 되면 온 상태로 전환될 수 있다. 실시 예에 따라 RSE 시스템(111)이 활성화 되었음을 운전자가 쉽게 확인할 수 있도록 센터페시아(130) 전면에 RSE 시스템(111)에 대한 별도의 조명 장치를 마련할 수 있으며, 음성 신호를 함께 제공할 수도 있다.
제스처 인식 대상이 결정되면, 출력부(230)를 통해 전자 장치(300)에 대한 동작 명령이 출력될 수 있다. 전자 장치(300)에 대한 동작 명령 출력은 제스처 인식 대상의 결정 과정과 동시에 수행되거나, 사용자에 의해 별도로 입력된 제스처 정보에 따라 수행될 수 있다. 예를 들어, 사용자가 도 8에 도시된 바와 같이 스윙 제스처를 입력하면 제스처 인식 대상의 결정과 동시에 전자 장치(300)에 대한 동작 명령이 출력될 수 있다. 반면, 도 9에 도시된 바와 같이 특정 전자 장치(300)를 가리키는 제스처를 입력하면 제스처 인식 대상의 결정 과정이 수행되고 계속해서 입력되는 사용자의 제스처 정보에 따라 동작 명령이 출력될 수 있다.
도 18은 일 예에 따른 동작 명령의 입력 예를 도시한 도면이다.
도 18에 도시된 바를 참조하면, RSE 시스템(111)이 제스처 인식 대상으로 결정되면, 사용자는 RSE 시스템(111)에 대한 제어 명령을 출력할 수 있다.
일 예에 따르면 사용자는 감지 영역(S1) 중 일 영역을 잡아 RSE 시스템(111)의 디스플레이(111b) 방향으로 던지는 제스처를 입력해, AVN 장치(134)의 디스플레이(135)에 출력중인 화면을 RSE 시스템(111)의 디스플레이(111b)에 전달할 수 있다.
다음으로, 일 실시 예에 따른 차량(100)의 제어 방법에 대해 설명한다.
도 19는 일 실시 예에 따른 차량의 제어 방법을 도시한 순서도 이다.
도 19를 참조하면, 일 실시 예에 따른 차량의 제어 방법은 수집부(210)에서 사용자의 제스처 정보를 수집하고(410), 미리 설정된 차량(100) 좌표 계를 기초로 제스처의 좌표 및 공간 벡터를 검출하고(420), 제스처의 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정하고(430), 제스처 인식 대상으로 제스처 정보에 따른 동작 명령을 출력하는 것(440)을 포함한다.
수집부(210)에서 사용자의 제스처 정보를 수집하는 것은, 수집부(210)의 감지 영역(S1)에서 행해지는 사용자의 제스처 정보를 수집하는 것을 포함할 수 있다(410). 수집부(210)는 감지 영역(S1)에 사용자의 제스처가 입력되면 사용자의 제스처 정보를 제어부(240)에 출력한다.
제어부(240)는 수집부(210)로부터 사용자의 제스처 정보를 전달 받으면, 미리 설정된 차량 좌표계(C1)를 기초로 제스처의 좌표 및 공간 벡터를 검출할 수 있다(420). 미리 설정된 차량 좌표계(C1)를 기초로 제스처의 좌표 및 공간 벡터를 검출하는 것은, 차량 좌표계(C1)에 대한 수집부(210)의 위치를 기초로 차량 좌표계(C1)에 대한 제스처의 좌표 및 공간 벡터를 검출하는 것을 포함할 수 있다.
제스처의 좌표 및 공간 벡터가 검출 되면, 제스처의 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정하는 과정이 수행될 수 있다(430). 제스처의 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정하는 과정은, 복수 개의 전자 장치(300) 중 공간 벡터의 연장선 상에 위치한 전자 장치(300)를 제스처 인식 대상으로 결정하는 것을 포함할 수 있다.
제스처 인식 대상이 결정되면, 제스처 인식 대상으로 제스처 정보에 따른 동작 명령을 출력할 수 있다(440). 제스처 정보에 따른 동작 명령은 저장부(220)에 미리 저장될 수 있으며, 제어부(240)는 저장부(220)에 미리 저장된 제스처 정보에 따른 동작 명령 정보를 기초로 제스처 정보에 따른 동작 명령을 출력할 수 있다.
사용자에 의해 입력된 단일 제스처에 의해 제스처 인식 대상의 결정 과정 및 동작 명령 출력 과정이 동시에 또는 순차적으로 수행될 수 있으며, 실시 예에 따라 사용자에 의해 일차적으로 입력된 제스처에 의해 제스처 인식 대상의 결정 과정이 수행되고, 계속해서 입력된 제스처에 의해 동작 명령 출력 과정이 수행될 수도 있다.
다음으로, 다른 실시 예에 따른 차량의 제어 방법에 대해 설명한다.
도 20은 다른 실시 예에 따른 차량의 제어 방법을 도시한 순서도 이다.
도 20을 참조하면, 다른 실시 예에 다른 차량의 제어 방법은 수집부(210)에서 사용자의 제스처 정보를 수집하고(410), 미리 설정된 차량(100) 좌표 계를 기초로 제스처의 좌표 및 공간 벡터를 검출하고(420), 제스처의 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정하고(430), 제스처 인식 대상이 활성화 되었음을 사용자에게 알리고(435a), 제스처 인식 대상으로 제스처 정보에 따른 동작 명령을 출력하는 것(440)을 포함한다. 즉, 본 실시 예에 따른 차량(100)의 제어 방법은 제스처 인식 대상이 활성화 되었음을 사용자에게 알리는 과정(435a)을 더 포함함에 있어서 도 19에 따른 차량(100)의 제어 방법과 차이가 있다.
일 실시 예에 따른 차량의 제어 방법은, 제스처 인식 대상이 결정되면 사용자에게 제스처 인식 대상이 활성화 되었음을 알릴 수 있다(435a). 실시 예에 따라, 복수 개의 전자 장치(300) 중 하나의 전자 장치(300)를 가리키는 제스처가 입력될 수 있으며, 이 경우는 제스처 인식 대상에 동작 명령을 출력하기 위한 별도의 제스처가 추가적으로 입력되어야 한다. 이 때, 본 실시 예에 따른 차량(100)의 제어 방법에 따라 사용자에게 알람을 제공함으로써 사용자에게 편의를 제공할 수 있다. 설명의 편의상, 알람의 제공 방법과 관련해 전술한 설명과 중복되는 설명은 생략하도록 한다.
다음으로, 또 다른 실시 예에 따른 차량의 제어 방법에 대해 설명한다.
도 21은 또 다른 실시 예에 따른 차량의 제어 방법을 도시한 순서도 이다.
도 21을 참조하면, 또 다른 실시 예에 따른 차량의 제어 방법은 제 1 수집부(211b)에서 사용자의 제스처 정보를 수집하고(410), 미리 설정된 차량(100) 좌표 계를 기초로 제스처의 좌표 및 공간 벡터를 검출하고(420), 제스처 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정하고(430), 제스처 인식 대상이 결정되면 제스처 인식 대상으로 제스처 정보에 따른 동작 명령을 출력하는 것(435b, 440)을 포함할 수 있다.
반면, 제스처 인식 대상이 결정되지 않으면 제 2 수집부(212b)에서 사용자의 안면 정보를 수집하고(450b), 미리 설정된 차량 좌표계(C1)를 기초로 사용자 안면의 좌표 및 공간 벡터를 검출하고(460b), 사용자 안면 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정하는 것(470b)을 포함할 수 있다.
즉, 본 실시 예에 따른 차량의 제어 방법은 제 2 수집부(212b)에 의한 제스처 인식 대상 결정 알고리즘을 가지는 점에서 도 19에 따른 차량(100)의 제어 방법과 차이를 가진다. 이하, 도 19과의 차이를 중심으로 차량(100)의 제어 방법에 대해 설명한다.
제 1 수집부(211b)에 입력된 사용자의 제스처 정보를 기초로 제스처 인식 대상이 결정되지 않은 것으로 판단되면(435b), 제 2 수집부(212b)에서 사용자 안면 정보를 수집할 수 있다(450b).
본 실시 예에 따른 제어 과정은 제스처 인식 대상을 결정하는 과정의 정확성을 도모하는 것을 목적으로 한다. 차량(100)의 운행 중 다양한 외부 자극으로 인해 제 1 수집부(211b)에서 수집한 사용자의 제스처 정보 만으로 제스처 인식 대상의 결정이 어려울 수 있다. 이 경우, 사용자의 안면 정보를 수집해 제스처 인식 대상을 결정함으로써 사용자의 의도를 보다 명확하게 파악할 수 있다.
예를 들면, 공조 장치(131)와 AVN 장치(134) 는 가까이에 마련되어 있어 차량(100)의 흔들림이 심하거나, 사용자가 운전 중인 경우 사용자의 제스처가 공조 장치(131)를 제어하고자 하는 것인지 AVN 장치(134)를 제어하고자 하는 것인지 파악하기 어려울 수 있다. 이 경우 사용자가 AVN 장치(134)를 향해 고개를 돌리면 AVN 장치(134)를 제어하는 것으로 파악될 수 있으며, 결과적으로 사용자의 의도를 보다 명확하게 반영해 제스처 인식 대상을 결정할 수 있다.
제 2 수집부(212b)는 사용자의 안면 정보를 수집하고, 수집한 정보를 제어부(240)에 출력할 수 있다.
제어부(240)는 제 2 수집부(212b)로부터 사용자의 안면 정보를 전달 받으면, 미리 설정된 차량 좌표계(C1)를 기초로 사용자 안면의 좌표 및 공간 벡터를 검출할 수 있다(460b). 460b 과정에서 미리 설정된 차량 좌표계(C1)를 기초로 사용자 안면의 좌표 및 공간 벡터를 검출하는 것은, 차량 좌표계(C1)에 대한 제 2 수집부(212b)의 위치를 기초로 차량 좌표계(C1)에 대한 사용자의 안면 좌표 및 공간 벡터를 검출하는 것을 포함할 수 있다. 일 예에 따르면, 사용자 안면의 중앙에 위치한 코의 끝 부분이 안면 좌표로 결정될 수 있으며, 사용자 안면의 전면 방향이 공간 벡터의 방향으로 결정될 수 있으나 이에 한정되는 것은 아니다.
안면 좌표 및 공간 벡터가 검출되면, 안면 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정하는 과정이 수행될 수 있다(470b). 안면 좌표 및 공간 벡터에 기초해 제스처 인식 대상을 결정하는 과정은, 복수 개의 전자 장치(300) 중 공간 벡터의 연장선 상에 위치한 전자 장치(300)를 제스처 인식 대상으로 결정하는 것을 포함할 수 있다.
실시 예에 따라 제 2 수집부(212b)는 사용자의 안면 정보 외에 사용자의 시선 정보를 수집할 수도 있으며, 시선 정보의 활용 예와 관련해 전술한 바와 중복되는 설명은 생략하도록 한다.
이상으로, 제스처 인식 장치(200, 200a, 200b), 그를 가지는 차량(100) 및 차량의 제어 방법의 실시 예에 대해 설명하였다. 발명의 기술적 사상이 전술한 실시 예에 의해 한정되는 것은 아니며 당해 업계에서 통상의 지식을 지닌 자가 쉽게 생각할 수 있는 범위 내의 변경을 포함하는 개념으로 넓게 이해될 수 있다.
100 : 차량
110 : 시트
120 : 기어 박스
130 : 센터페시아
140 : 스티어링 휠
150 : 대시보드
200 : 제스처 인식 장치

Claims (29)

  1. 단일 감지 영역을 가지며, 상기 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집하는 수집부; 및
    미리 설정된 차량 좌표계를 기초로 상기 제스처의 좌표 및 공간 벡터를 검출하고, 상기 제스처 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 제어부를 포함하고
    상기 미리 설정된 차량 좌표계는,
    차량의 내부 설계 도면에 기초한 좌표계를 포함하는 제스처 인식 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 차량 좌표계에 대한 상기 수집부의 위치를 기초로 상기 차량 좌표계에 대한 상기 제스처의 좌표 및 공간 벡터를 검출하는 제스처 인식 장치.
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 복수 개의 전자 장치 중 상기 공간 벡터의 연장선상에 위치한 전자 장치를 제스처 인식 대상으로 결정하는 제스처 인식 장치.
  5. 제 1항에 있어서,
    상기 제스처 인식 대상으로 상기 제스처 정보에 따른 동작 명령을 출력하는 출력부;를 더 포함하는 제스처 인식 장치.
  6. 제 1항에 있어서,
    상기 제스처 정보는,
    사용자의 손 정보, 손가락 정보 및 팔 정보를 포함하는 군에서 선택된 적어도 하나를 포함하는 제스처 인식 장치
  7. 제 1항에 있어서,
    상기 수집부는,
    제스처 인식을 위한 상기 사용자 제스처의 영상을 수집하는 영상 수집부를 포함하는 제스처 인식 장치.
  8. 제 1항에 있어서,
    상기 수집부는,
    상기 사용자 제스처에서 반사된 광을 수신하는 광 센서를 포함하는 제스처 인식 장치.
  9. 제 1항에 있어서,
    상기 수집부는,
    사용자의 안면 정보 및 사용자의 시선 정보 중 적어도 하나를 수집하는 제스처 인식 장치.
  10. 제 9항에 있어서,
    상기 제어부는,
    미리 설정된 차량 좌표계를 기초로 상기 사용자의 안면 좌표 및 공간 벡터를 검출하고, 상기 안면 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 상기 제스처 인식 대상으로 결정하는 제스처 인식 장치.
  11. 제 9항에 있어서,
    상기 제어부는,
    미리 설정된 차량 좌표계를 기초로 상기 사용자의 눈의 좌표 및 공간 벡터를 검출하고, 상기 눈의 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 상기 제스처 인식 대상으로 결정하는 제스처 인식 장치.
  12. 제 1항에 있어서,
    상기 제스처 인식 대상이 결정되었음을 알리는 알람부;를 더 포함하는 제스처 인식 장치.
  13. 단일 감지 영역을 가지며, 상기 감지 영역 내에서 행해지는 사용자의 제스처 정보를 수집하는 수집부; 및
    미리 설정된 차량 좌표계를 기초로 상기 제스처의 좌표 및 공간 벡터를 검출하고, 상기 제스처 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 상기 제스처 인식 대상으로 결정하는 제어부를 포함하고
    상기 미리 설정된 차량 좌표계는,
    차량의 내부 설계 도면에 기초한 좌표계를 포함하는 차량.
  14. 삭제
  15. 제 13항에 있어서,
    상기 제어부는,
    상기 차량 좌표계에 대한 상기 수집부의 위치를 기초로 상기 차량 좌표계에 대한 상기 제스처의 좌표 및 공간 벡터를 검출하는 차량.
  16. 제 13항에 있어서,
    상기 제어부는,
    상기 복수 개의 전자 장치 중 상기 공간 벡터의 연장선상에 위치한 전자 장치를 제스처 인식 대상으로 결정하는 차량.
  17. 제 13항에 있어서,
    상기 제스처 인식 대상으로 상기 제스처 정보에 따른 동작 명령을 출력하는 출력부;를 더 포함하는 차량.
  18. 제 13항에 있어서,
    상기 제스처 정보는,
    사용자의 손 정보, 손가락 정보 및 팔 정보를 포함하는 군에서 선택된 적어도 하나를 포함하는 차량.
  19. 제 13항에 있어서,
    상기 수집부는,
    사용자의 안면 정보 및 사용자의 시선 정보 중 적어도 하나를 수집하는 차량.
  20. 제 19항에 있어서,
    상기 제어부는,
    미리 설정된 차량 좌표계를 기초로 상기 사용자 안면의 좌표 및 공간 벡터를 검출하고, 상기 안면 좌표 및 공간 벡터에 기초해 복수 개의 전자 장치 중 하나의 전자 장치를 상기 제스처 인식 대상으로 결정하는 차량.
  21. 제 19항에 있어서,
    상기 제어부는,
    미리 설정된 차량 좌표계를 기초로 상기 사용자 눈의 좌표 및 공간 벡터를 검출하고, 상기 눈 좌표 및 공간 벡터에 기초해 복수의 전자 장치 중 하나의 전자 장치를 상기 제스처 인식 대상으로 결정하는 차량.
  22. 제 13항에 있어서,
    상기 제스처 인식 대상이 활성화되었음을 알리는 알람부;를 더 포함하는 차량.
  23. 수집부에서 사용자의 제스처 정보를 수집하는 단계;
    미리 설정된 차량 좌표계를 기초로 상기 제스처의 좌표 및 공간 벡터를 검출하는 단계; 및
    상기 제스처 좌표 및 공간 벡터에 기초해 복수의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 단계를 포함하고
    상기 미리 설정된 차량 좌표계는,
    차량의 내부 설계 도면에 기초한 좌표계를 포함하는 차량의 제어방법.
  24. 제 23항에 있어서,
    상기 미리 설정된 차량 좌표계를 기초로 상기 제스처의 좌표 및 공간 벡터를 검출하는 단계는,
    상기 차량 좌표계에 대한 상기 수집부의 위치를 기초로 상기 차량 좌표계에 대한 상기 제스처의 좌표 및 공간 벡터를 검출하는 것을 포함하는 차량의 제어 방법.
  25. 제 23항에 있어서,
    상기 제스처 좌표 및 공간 벡터에 기초해 복수의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 단계는,
    상기 복수 개의 전자 장치 중 상기 공간 벡터의 연장선상에 위치한 전자 장치를 제스처 인식 대상으로 결정하는 것을 포함하는 차량의 제어 방법.
  26. 제 23항에 있어서,
    상기 제스처 인식 대상으로 결정된 전자 장치로 상기 제스처 정보에 따른 동작 명령을 출력하는 단계;를 더 포함하는 차량의 제어 방법.
  27. 제 23항에 있어서,
    상기 제스처 인식 대상이 활성화 되었음을 사용자에게 알리는 단계;를 더 포함하는 차량의 제어 방법.
  28. 제 23항에 있어서,
    상기 제스처 인식 대상을 결정하는 것은 사용자의 안면 정보에 기초해 제스처 인식 대상을 결정하는 것을 포함하고,
    사용자의 안면 정보에 기초해 제스처 인식 대상을 결정하는 것은,
    수집부에서 사용자의 안면 정보를 수집하고,
    미리 설정된 차량 좌표계를 기초로 상기 사용자 안면의 좌표 및 공간 벡터를 검출하고,
    상기 사용자 안면의 좌표 및 공간 벡터에 기초해 복수개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 것을 포함하는 차량의 제어 방법.
  29. 제 23항에 있어서,
    상기 제스처 인식 대상을 결정하는 것은 사용자의 시선 정보에 기초해 제스처 인식 대상을 결정하는 것을 포함하고,
    사용자의 시선 정보에 제스처 인식 대상을 결정하는 것은,
    수집부에서 사용자의 시선 정보를 수집하고,
    미리 설정된 차량 좌표계를 기초로 사용자의 눈 좌표 및 공간 벡터를 검출하고,
    상기 사용자의 눈 좌표 및 공간 벡터에 기초해 복수개의 전자 장치 중 하나의 전자 장치를 제스처 인식 대상으로 결정하는 것을 포함하는 차량의 제어 방법.
KR1020140177422A 2014-12-10 2014-12-10 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법 KR101630153B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140177422A KR101630153B1 (ko) 2014-12-10 2014-12-10 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
CN201510557935.4A CN105700674A (zh) 2014-12-10 2015-09-02 手势识别设备、具有其的车辆以及用于控制车辆的方法
US14/958,676 US20160170495A1 (en) 2014-12-10 2015-12-03 Gesture recognition apparatus, vehicle having the same, and method for controlling the vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140177422A KR101630153B1 (ko) 2014-12-10 2014-12-10 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법

Publications (1)

Publication Number Publication Date
KR101630153B1 true KR101630153B1 (ko) 2016-06-24

Family

ID=56111134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140177422A KR101630153B1 (ko) 2014-12-10 2014-12-10 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법

Country Status (3)

Country Link
US (1) US20160170495A1 (ko)
KR (1) KR101630153B1 (ko)
CN (1) CN105700674A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018080142A1 (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11474690B2 (en) 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235538A1 (en) * 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle
CN107728482A (zh) 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 控制系统、控制处理方法及装置
CN106945636B (zh) * 2017-04-11 2020-01-14 北京新能源汽车股份有限公司 一种车辆的控制装置、方法和汽车
CN108736983A (zh) * 2018-03-30 2018-11-02 斑马网络技术有限公司 车辆、超声波系统和装置及其信息交互方法
CN108528330B (zh) * 2018-03-30 2022-01-25 斑马网络技术有限公司 车辆及其信息交互方法
CN110827454A (zh) * 2019-11-19 2020-02-21 图正(无锡)研究院有限公司 一种人脸识别与意图识别的锁具控制系统
CN112771480B (zh) * 2020-06-28 2022-04-12 华为技术有限公司 交互方法及电子设备
CN111985417A (zh) * 2020-08-24 2020-11-24 中国第一汽车股份有限公司 功能部件识别方法、装置、设备及存储介质
CN112433619B (zh) * 2021-01-27 2021-04-20 国汽智控(北京)科技有限公司 汽车的人机交互方法、系统、电子设备及计算机存储介质
CN113076836B (zh) * 2021-03-25 2022-04-01 东风汽车集团股份有限公司 一种汽车手势交互方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005178473A (ja) * 2003-12-17 2005-07-07 Denso Corp 車載機器用インターフェース
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110117966A (ko) * 2010-04-22 2011-10-28 한국전자통신연구원 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038149A1 (en) * 1998-01-26 1999-07-29 Wayne Westerman Method and apparatus for integrating manual input
US7370983B2 (en) * 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
CN100432897C (zh) * 2006-07-28 2008-11-12 上海大学 手、眼关系引导的非接触式位置输入系统和方法
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
CN102841679B (zh) * 2012-05-14 2015-02-04 乐金电子研发中心(上海)有限公司 一种非接触式人机互动方法与装置
CN103488299B (zh) * 2013-10-15 2016-11-23 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
CN203681429U (zh) * 2013-12-31 2014-07-02 上海博泰悦臻网络技术服务有限公司 一种车载系统的显示控制装置、车载系统
CN104182037B (zh) * 2014-06-17 2017-06-27 惠州市德赛西威汽车电子股份有限公司 一种基于坐标变换的手势识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005178473A (ja) * 2003-12-17 2005-07-07 Denso Corp 車載機器用インターフェース
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110117966A (ko) * 2010-04-22 2011-10-28 한국전자통신연구원 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018080142A1 (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10948995B2 (en) 2016-10-24 2021-03-16 VTouch Co., Ltd. Method and system for supporting object control, and non-transitory computer-readable recording medium
US11474690B2 (en) 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control

Also Published As

Publication number Publication date
CN105700674A (zh) 2016-06-22
US20160170495A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
KR101630153B1 (ko) 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
US10180729B2 (en) Human machine interface apparatus for vehicle and methods of controlling the same
US10229654B2 (en) Vehicle and method for controlling the vehicle
US20140195096A1 (en) Apparatus and method for contactlessly detecting objects and/or persons and gestures and/or operating procedures made and/or carried out thereby
US20160132126A1 (en) System for information transmission in a motor vehicle
US20150131857A1 (en) Vehicle recognizing user gesture and method for controlling the same
JP4872451B2 (ja) 車両用入力装置
US10133357B2 (en) Apparatus for gesture recognition, vehicle including the same, and method for gesture recognition
US9446712B2 (en) Motor vehicle comprising an electronic rear-view mirror
US10649587B2 (en) Terminal, for gesture recognition and operation command determination, vehicle having the same and method for controlling the same
JP2016503741A (ja) 自動車用の入力装置
JP3941786B2 (ja) 車両用操作入力装置および方法
US20160091978A1 (en) Gesture recognition apparatus, vehicle having the same and method for controlling the same
CN109278844B (zh) 方向盘、具有方向盘的车辆以及用于控制车辆的方法
US10864866B2 (en) Vehicle and control method thereof
KR20220100609A (ko) 향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스
US20200218442A1 (en) Terminal, vehicle having the terminal, and method for controlling the vehicle
KR20190099763A (ko) 차량 및 그 제어 방법
KR101946746B1 (ko) 차량에서 비-차량 오브젝트의 위치 결정
US20180297471A1 (en) Support to handle an object within a passenger interior of a vehicle
WO2017017938A1 (ja) ジェスチャ操作システム、方法およびプログラム
US9573471B2 (en) Terminal, vehicle having the same, and control method thereof
KR101882202B1 (ko) 사용자 인터페이스 장치, 이를 포함하는 차량 및 차량의 제어 방법
CN206664440U (zh) 一种车载内后视镜
KR101592887B1 (ko) 입력장치, 이를 포함하는 차량 및 그 제어방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 4