KR101621369B1 - 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법 - Google Patents

제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법 Download PDF

Info

Publication number
KR101621369B1
KR101621369B1 KR1020140174878A KR20140174878A KR101621369B1 KR 101621369 B1 KR101621369 B1 KR 101621369B1 KR 1020140174878 A KR1020140174878 A KR 1020140174878A KR 20140174878 A KR20140174878 A KR 20140174878A KR 101621369 B1 KR101621369 B1 KR 101621369B1
Authority
KR
South Korea
Prior art keywords
gesture
contact
space
contact surface
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140174878A
Other languages
English (en)
Inventor
박형순
심현철
박언규
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140174878A priority Critical patent/KR101621369B1/ko
Priority to US14/825,153 priority patent/US10133357B2/en
Priority to CN201510512372.7A priority patent/CN105677009B/zh
Application granted granted Critical
Publication of KR101621369B1 publication Critical patent/KR101621369B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 제스처를 인식하여 명령을 수행할 수 있는 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법을 개시한다. 본 발명의 실시 예에 따른 제스처 인식 장치는 공간상에서 대상체의 위치 및 움직임을 감지할 수 있는 제스처 센서와, 제스처 센서와 소정 거리 떨어져 위치하여 대상체와 접촉할 수 있는 접촉면을 구비하는 커버를 포함한다.

Description

제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법{APPARATUS FOR GESTURE RECOGNITION, VEHICLE COMPRISING THE SAME, AND MOTHOD FOR GESTURE RECOGNITION}
본 발명은 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법에 관한 것으로, 더욱 상세하게는 사용자의 제스처를 인식하여 명령을 수행할 수 있는 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법에 관한 것이다.
차량은 기본적인 주행 기능 외에도 오디오 기능, 비디오 기능, 내비게이션 기능, 공조 제어, 시트 제어, 조명 제어 등의 사용자 편의를 위한 부가적인 기능을 더 포함할 수 있다.
이러한 기능을 수행하기 위해 차량에는 하드 키(hard key) 방식, 터치 스크린 방식, 또는 제스처 인식 방식에 따라 사용자로부터 원하는 메뉴의 선택을 입력 받거나 선택된 메뉴에 대한 동작 명령을 입력 받고 메뉴 화면 또는 제어 화면을 표시하는 단말기가 마련된다.
이 단말기에 명령을 입력하기 위한 방식으로 하드 키 방식을 이용할 경우에는 다양한 명령을 수행하기 위해 다수의 하드 키를 구비하기 위해서는 물리적으로 넓은 공간이 소모되거나, 소수의 하드 키로 동작 명령을 입력 받기 위해 사용자의 조작 부하가 늘어나는 문제가 있고 야간 시 물리적 버튼의 식별을 위한 버튼 조명 LED(light-emitting diode)과 기타 버튼 기구물이 필요하여 단말기의 제조 비용이 증가하는 문제가 발생한다.
한편, 단말기에 명령을 입력하기 위한 방식으로 터치 스크린 방식을 이용할 경우에는 운전자가 동작 명령을 입력하기 위해 터치 스크린을 주시한 채로 터치해야 하기 때문에 안전 운전에 영향을 미칠 수 있다. 또한 사용자가 좌석에 앉은 채로 터치 스크린을 터치하기에는 불편함이 있는 실정이다.
따라서 제스처를 인식할 수 있는 단말기의 필요성이 대두되고 있다. 제스처 인식 방식의 경우 특정한 손 모양을 이용하거나 일정 시간 멈춤 등의 동작을 이용하는데, 이때 손의 동작이 부자연스럽거나 의도하지 않은 손의 움직임이 있으면 동작 명령을 오 인식할 수 있다. 또한 연속적인 자연스러운 동작 가운데 제스처의 시작과 끝을 구분하는 것이 쉽지 않아 사용자가 의도한 제스처를 정확하게 인식하기 어려운 문제가 있다.
공개특허공보 제2012-0057444호에는 차량용 제스처 사용자 인터페이스에 관하여 개시되어 있다.
공개특허공보 제2012-0057444호(2012년 6월 5일 공개)
본 발명은 제스처의 인식 정확도를 향상시키고, 사용자에게 의도하는 바대로 제스처가 입력되고 있는지에 대한 즉각적인 피드백을 제공할 수 있는 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법을 제공하고자 한다.
또한 제스처의 입력 방법을 공간 제스처와 접촉 제스처로 구분하여 보다 폭넓은 실행 명령을 제공할 수 있는 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 공간상에서 대상체의 위치 및 움직임을 감지할 수 있는 제스처 센서; 및 상기 제스처 센서와 소정 거리 떨어져 위치하여 상기 대상체와 접촉할 수 있는 접촉면을 구비하는 커버;를 포함하는 제스처 인식 장치가 제공될 수 있다.
상기 커버는 상기 제스처 센서를 중심으로 하는 반구형 또는 반구형의 일부 형상을 포함하는 제스처 인식 장치가 제공될 수 있다.
상기 접촉면은 상기 제스처 센서로부터 상기 접촉면 상의 각 지점 사이의 거리가 일정하도록 마련되는 제스처 인식 장치가 제공될 수 있다.
상기 커버는 평면 접촉면과 상기 평면 접촉면의 외곽에서 연장되는 곡면 접촉면을 포함하는 제스처 인식 장치가 제공될 수 있다.
상기 커버는 상기 대상체가 삽입될 수 있도록 일 측이 개구되도록 마련되어, 상기 접촉면과 상기 제스처 센서 사이에 제스처 입력 공간이 마련되는 제스처 인식 장치가 제공될 수 있다.
상기 커버는 사용자의 손가락 끝 마디가 안착할 수 있도록 오목하게 형성되는 탭부를 포함하는 제스처 인식 장치가 제공될 수 있다.
상기 제스처 센서로부터 입력되는 신호를 통해 제스처를 분석하여 동작 신호를 출력하는 제어부를 더 포함하는 제스처 인식 장치가 제공될 수 있다.
상기 제어부는 상기 대상체가 상기 접촉면에 접촉한 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 접촉 제스처로 인식하는 제스처 인식 장치가 제공될 수 있다.
상기 제어부는 상기 대상체가 상기 접촉면에서 떨어진 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 공간 제스처로 인식하는 제스처 인식 장치가 제공될 수 있다.
본 발명의 다른 측면에 따르면, 공간상에서 대상체의 위치 및 움직임을 감지할 수 있는 제스처 인식부; 상기 제스처 인식부와 이격되어 위치하고 상기 대상체가 접촉 가능하도록 마련되는 접촉부; 및 상기 제스처 인식부의 신호를 수신하여 제스처를 분석하고 동작 신호를 출력하는 제어부;를 포함하고, 상기 제어부는 상기 대상체가 상기 접촉부에 접촉한 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 접촉 제스처로 인식하는 제스처 인식 장치가 제공될 수 있다.
상기 제어부는 상기 대상체가 상기 접촉부에서 떨어진 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 공간 제스처로 인식하는 제스처 인식 장치가 제공될 수 있다.
상기 접촉부는 탭부를 포함하고, 상기 제어부는 상기 대상체가 상기 탭부에 접촉하는 것을 탭 제스처로 입력받는 제스처 인식 장치가 제공될 수 있다.
상기 접촉부는 스크롤부를 포함하고, 상기 제어부는 상기 대상체가 상기 스크롤부에 접촉한 상태로 이동하는 궤적을 스크롤 제스처로 입력받는 제스처 인식 장치가 제공될 수 있다.
상기 접촉부 하부에 마련되어 상기 대상체가 삽입 수 있는 공간을 형성하는 공간 입력부를 더 포함하고, 상기 제어부는 상기 접촉부 상부에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 제1공간 제스처로 인식하고, 상기 공간 입력부에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 제2공간 제스처로 인식하며, 상기 제1공간 제스처와 상기 제2공간 제스처를 구분하여 서로 다른 동작 신호를 출력하는 제스처 인식 장치가 제공될 수 있다.
상기 제어부는 상기 대상체가 미리 저장된 상기 접촉부의 접촉면 위치에 있는 것으로 인식되는 경우 접촉 제스처 인식을 시작하는 제스처 인식 장치가 제공될 수 있다.
상기 제어부는 상기 대상체가 미리 저장된 상기 탭부의 접촉면 위치에 있는 것으로 인식되는 경우 탭 제스처로 인식하고, 상기 대상체가 미리 저장된 상기 탭부를 제외한 상기 접촉부의 접촉면 위치에 있는 것으로 인식되는 경우 접촉 제스처 인식을 시작하는 제스처 인식 장치가 제공될 수 있다.
상기 제어부는 상기 대상체가 미리 저장된 상기 접촉부의 접촉면 위치에서 벗어난 것으로 인식되는 경우 접촉 제스처 인식을 종료하는 제스처 인식 장치가 제공될 수 있다.
상기 제어부는 상기 대상체가 미리 저장된 상기 접촉부의 접촉면 위치에서 벗어난 것으로 인식되고 나서 일정 시간 이내에 상기 대상체가 다시 미리 저장된 상기 접촉부의 접촉면 위치에 있는 것으로 인식되는 경우 연속적인 접촉 제스처로 인식하는 제스처 인식 장치가 제공될 수 있다.
상기 제어부는 상기 대상체가 미리 저장된 상기 접촉부의 접촉면 위치보다 아래에 있는 것으로 인식되는 경우 제2공간 제스처 인식을 시작하는 제스처 인식 장치가 제공될 수 있다.
본 발명의 또 다른 측면에 따르면, 차량 내부에 마련되는 장착면과, 상기 장착면에 설치되고 차량 내부의 공간상에서 대상체의 위치 및 움직임을 감지할 수 있는 제스처 인식부와, 상기 제스처 인식부와 이격되어 위치하고 상기 대상체가 접촉 가능하도록 마련되는 접촉부와, 상기 제스처 인식부의 신호를 수신하여 제스처를 분석하고 동작 신호를 출력하는 제어부를 포함하고, 상기 제어부는 상기 대상체가 상기 접촉부에 접촉한 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 접촉 제스처로 인식하는 제스처 인식 장치를 포함하는 차량이 제공될 수 있다.
상기 장착면은 기어박스 또는 센터페시아 중 어느 하나 이상에 마련되는 차량이 제공될 수 있다.
상기 제스처 인식부는 상기 장착면으로부터 요입된 홈에 설치되고, 상기 접촉부는 상기 장착면의 연장면과 동일 위치에 마련되는 차량이 제공될 수 있다.
본 발명의 또 다른 측면에 따르면, 상기 제스처 센서에 감지된 신호에 기초하여 공간상에서 움직이는 대상체의 위치를 인식하고, 상기 인식된 대상체의 위치가 미리 저장된 접촉면의 위치정보들 중 어느 하나에 매칭되는지를 판단하고, 상기 매칭되는 위치정보가 존재한다고 판단되면 접촉 제스처로 인식하는 제스처 인식 방법이 제공될 수 있다.
상기 인식된 대상체의 위치가 상기 접촉면 중 특정 영역으로 지정된 기능부의 위치정보에 매칭되는지를 판단하고, 상기 매칭되는 위치정보가 존재한다고 판단되면 기능 제스처로 인식하는 제스처 인식 방법이 제공될 수 있다.
상기 매칭되는 위치정보가 존재하지 않는다고 판단되면 공간 제스처로 인식하는 제스처 인식 방법이 제공될 수 있다.
상기 매칭되는 위치정보가 존재하지 않는다고 판단되는 경우에, 상기 인식된 대상체가 상기 접촉면 밖에 있는 것으로 판단되면 제1공간 제스처로 인식하고, 상기 인식된 대상체의 위치가 상기 접촉면 안에 있는 것으로 판단되면 제2공간 제스처로 인식하는 제스처 인식 방법이 제공될 수 있다.
본 발명의 실시 예에 따른 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법은 대상체를 접촉한 상태에서 제스처를 입력할 수 있도록 하여 제스처의 입력 시점 및 종점과 그 경로를 정확하게 인식할 수 있음으로써 작동 정확성이 향상될 수 있다.
또한 대상체를 접촉한 상태에서만 접촉 제스처로 인식함으로써 여러 획을 포함하는 제스처를 입력하는 경우 획과 획 사이의 이동 동작에서는 제스처로 인식하지 않아 사용자가 의도하는 바대로 제스처가 입력될 수 있다. 따라서 보다 정교하고 폭넓은 제스처의 사용이 가능해진다.
또한 사용자가 접촉면에 제스처를 입력함으로써 본인이 입력하고 있는 제스처의 모양에 대한 피드백이 즉각적으로 제공되도록 하여 조작감을 향상시키고 보다 정확한 제스처의 입력이 가능케 할 수 있다.
또한 접촉면에 접촉한 상태로 입력하는 접촉 제스처와, 공간 상에서 입력하는 공간 제스처를 구분하여 입력할 수 있도록 함으로써 실행할 수 있는 명령의 수를 증가시킬 수 있고, 공간 상에서 입력하는 것이 편한 경우에는 공간 제스처를 이용하고, 접촉면에 그리는 것이 정확한 경우에는 접촉 제스처를 이용할 수 있도록 하여 제스처 인식의 효율성과 정확성을 함께 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 차량의 외장을 나타내는 도면이다.
도 2는 본 발명의 제1실시예에 따른 제스처 인식 장치가 마련된 차량의 내장을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 제스처 인식 장치의 제어 구성도이다.
도 4는 본 발명의 제1실시예에 따른 제스처 인식 장치를 나타내는 사시도이다.
도 5는 본 발명의 제1실시예에 따른 제스처 인식 장치의 구조를 설명하기 위한 단면도이다.
도 6은 손가락이 탭 부에 안착되는 모습을 나타내는 것으로, 도 5의 A 영역을 나타내는 확대도이다.
도 7의 (a)는 공간 상에서 숫자 “5”를 입력했을 때의 손가락 궤적을 나타내는 그림이고, (b)는 접촉면 상에서 숫자 “5”를 입력했을 때의 손가락 궤적을 나타내는 그림이다.
도 8은 본 발명의 제1실시예에 따른 제스처 인식 장치가 기어박스에 설치된 모습을 나타내는 사시도이다.
도 9는 본 발명의 제1실시예에 따른 제스처 인식 장치가 센터페시아에 설치된 모습을 나타내는 사시도이다.
도 10은 본 발명의 제2실시예에 따른 제스처 인식 장치의 구조를 설명하기 위한 단면도이다.
도 11은 본 발명의 제2실시예에 따른 제스처 인식 장치의 터치 영역을 설명하기 위한 평면도이다.
도 12는 본 발명의 제3실시예에 따른 제스처 인식 장치의 구조를 설명하기 위한 단면도이다.
도 13은 본 발명의 제4실시예에 따른 제스처 인식 장치의 구조를 설명하기 위한 단면도이다.
도 14는 본 발명의 제1실시예에 따른 제스처 인식 방법을 설명하기 위한 순서도이다.
도 15는 본 발명의 제2실시예에 따른 제스처 인식 방법을 설명하기 위한 순서도이다.
이하에서는 본 발명의 실시 예들을 첨부 도면을 참조하여 상세히 설명한다. 아래에서 소개하는 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달하기 위해 제시하는 것일 뿐, 본 발명이 제시하는 실시 예만으로 한정되는 것은 아니다. 본 발명은 다른 실시 형태로도 구체화될 수 있다. 도면은 본 발명을 명확히 하기 위해 설명과 관계 없는 부분의 도시를 생략할 수 있고, 이해를 돕기 위해 구성요소의 크기 등을 다소 과장하여 표현할 수 있다.
본 발명의 실시예에 따른 제스처 입식 장치는 차량(1)에 설치되어 동작할 수 있다. 뿐만 아니라, 멀티미디어 기기, 의료 기기, 또는 컴퓨터 등 다양한 전자장치에 연결되어 동작할 수도 있다.
여기서 차량(1)은 인간, 물건 또는 동물 등과 같은 피운송체를 출발지에서 목적지로 이동시키는 다양한 장치를 의미한다. 차량(1)은 도로 또는 선로를 주행 하는 차량, 바다나 강 위로 이동하는 선박 및 공기의 작용을 이용하여 창공을 비행하는 비행기 등을 포함할 수 있다.
또한 도로 또는 선로를 주행하는 차량(1)은 적어도 하나의 차륜의 회전에 따라 소정의 방향으로 이동할 수 있으며, 예를 들어 삼륜 또는 사륜 자동차, 건설기계, 이륜 자동차, 원동기 장치, 자전거, 및 선로를 주행하는 열차를 포함할 수 있다.
도 1과 도 2를 참고하여 본 발명의 실시예에 따른 차량(1)에 대하여 설명하도록 한다. 도 1은 본 발명의 실시예에 따른 차량(1)의 외장(10)을 나타내는 도면이고, 도 2는 본 발명의 제1실시예에 따른 제스처 인식 장치(100)가 마련된 차량의 내장(20)을 나타내는 도면이다.
차량(1)은 내장(20)과 외장(10)을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.
도 1 에 도시된 바와 같이 차체의 외장(10)은 프론트 패널(11), 본네트(12), 루프 패널(13), 리어 패널(14), 트렁크(15), 전후좌우 도어(16), 및 전후좌우 도어에 마련된 윈도우 글래스(17) 등을 포함한다.
차체의 외장(10)은 프론트 패널(11), 본네트(12), 루프 패널(13), 리어 패널(14), 트렁크(15), 및 전후좌우 윈도우 글래스(17) 사이의 경계에 마련된 필러(18)를 더 포함한다.
그리고 차체의 외장(10)은 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(119) 등을 더 포함한다.
차량(1)의 차대는 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 전후좌우 차륜 등을 더 포함한다.
한편, 차량(1)은 운전자 및 탑승자의 안전을 위한 여러 가지 안전장치들을 더 포함할 수 있다. 차량(1)의 안정장치는 차량 충돌 시 운전자 등 탑승자의 안전을 목적으로 하는 에어백 제어 장치와, 차량의 가속 또는 코너링 시 차량의 자세를 차량자세 안정 제어 장치(ESC: Electronic Stability Control) 등 여러 종류가 제공될 수 있다.
이외에도 차량(1)은 후방 또는 측방의 장애물 내지 다른 차량을 감지하는 근접센서, 강수 여부 및 강수량을 감지하는 레인 센서, 실내/외 온도를 감지하는 온도 센서, 전후좌우 휠의 속도를 감지하는 휠 속도 센서, 가속도를 감지하는 가속도 센서, 요 레이트를 감지하는 요레이트 센서, 차량의 자세를 감지하는 자이로 센서 등의 검출부를 선택적으로 더 포함하는 것도 가능하다.
이러한 차량(1)은 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 여러 가지 안전 장치 및 각종 센서들의 구동을 제어하는 전자 제어 유닛(ECU: Electronic Control Unit)을 포함한다.
또한 차량(1)은 운전자의 편의를 위해 설치된 공조장치, 조명 장치, 내비게이션 장치, 시트의 히터(즉, 열선), 핸즈프리 장치, GPS, 오디오 장치 및 블루투스 장치, 후방 카메라, 외부 단말기의 충전 장치, 또는 하이패스 장치 등의 전자장치를 선택적으로 포함할 수 있다.
또한 차량(1)은 선루프를 자동으로 개폐하기 위한 선루프 개폐 장치, 도어를 자동으로 개폐하기 위한 도어 개폐 장치, 또는 윈도우 글래스를 자동으로 개폐하기 위한 윈도우 글래스 개폐 장치 등의 전자장치를 선택적으로 포함할 수 있다.
이러한 차량(1)은 시동모터(미도시)에 동작 명령을 입력하기 위한 시동 버튼을 더 포함할 수 있다. 즉 차량(1)은 시동 버튼이 온 되면 시동모터(미도시)를 동작시키고 시동 모터의 동작을 통해 동력 발생장치인 엔진(미도시)을 구동시킨다.
또한 차량(1)은 내비게이션 장치, 오디오 장치, 실내의 조명 장치, 시동 모터, 및 그 외 전자장치들에 전기적으로 연결되어 구동 전력을 공급하는 배터리(미도시)를 더 포함한다. 이러한 배터리는 주행 중 자체 발전기 또는 엔진의 동력을 이용하여 충전을 수행한다.
도 2를 참고하면, 차체의 내장(20)은 탑승자가 앉는 시트(21: 21a, 21b)와, 대시 보드(22)와, 대시 보드(22) 상에 배치되는 계기판(즉 클러스터, 23)과, 차량 방향을 조작하는 스티어링 휠(24)과, 오디오 장치와 공조 장치의 조절판이 있는 센터페시아(25)와, 운전석(21a)과 조수석(21b) 사이에 위치하는 기어박스(26)를 포함할 수 있다.
시트(21)는 운전자가 앉는 운전석(21a), 동승자가 앉는 조수석(21b), 차량 내 후방에 위치하는 뒷좌석(미도시)을 포함한다. 한편, 차량의 종류에 따라 뒷자석의 배치와 열의 개수는 달라질 수 있다.
클러스터(23)는 타코미터, 속도계, 냉각수 온도계, 연료계, 방향전환 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 자동변속 선택레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 및/또는 연료부족 경고등이 배치될 수 있다.
또한 클러스터(23)는 디지털 방식으로 구현할 수도 있다. 이러한 디지털 방식의 클러스터는 차량 정보 및 주행 정보를 영상으로 표시한다.
스티어링휠(24)은 차량(1)의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림 및 차량(1)의 조향 장치와 연결되고 림과 조향을 위한 회전축의 허브를 연결하는 스포크를 포함할 수 있다. 실시 예에 따라서 스포크에는 차량(1) 내의 각종 장치, 일례로 오디오 장치 등을 제어하기 위한 조작버튼 등이 형성될 수 있다.
센터페시아(25)는 대시 보드(22) 중에서 운전석(21a)과 조수석(21b) 사이에 위치하고, 오디오 장치(25a), 공조 장치(25c) 및 시트의 히터를 조정하기 위한 복수의 버튼이 배치된 컨트롤 패널을 갖는다. 이러한 센터페시아(25)에는 송풍구, 시거잭 등이 설치될 수 있다. 또한 센터페시아(25)에는 사용자로부터 정보를 입력받고 입력된 정보에 대응하는 결과를 출력하는 단말 장치, 예를 들어 내비게이션 장치(25b)가 마련될 수 있다. 한편, 오디오 장치(25a)와 내비게이션 장치(25b)는 AVN(Audio-Video-Navigation) 장치로서 일체로 제공될 수 있다.
오디오 장치(25a)는 다양한 기능을 수행하기 위한 다수의 버튼들이 마련된 조작패널을 포함한다. 오디오 장치(25a)는 라디오 기능을 제공하는 라디오 모드와, 오디오 파일이 담긴 다양한 저장매체의 오디오 파일을 재생하는 미디어 모드를 제공할 수 있다. 오디오 장치(25a)의 조작패널에 형성된 버튼들은 라디오 모드의 수행과 관련된 기능을 제공하는 버튼들과, 미디어 모드의 수행과 관련된 기능을 제공하는 버튼들과, 두 모드에 공통적으로 사용되는 버튼들로 나뉠 수 있다.
내비게이션 장치(25b)는 다수의 위성위치확인시스템(Global Positioning System: 이하 "GPS"라 함)을 통해 위성들로부터 위치정보를 각각 제공받아 현재 차량의 위치를 계산하고, 계산된 위치를 지도에 맵 매칭(Map Matching)시켜 표시하고, 사용자로부터 목적지를 입력받아 미리 설정된 경로탐색 알고리즘에 따라 계산된 현재 위치부터 목적지까지의 경로 탐색을 수행하고, 탐색된 경로를 지도에 매칭시켜 표시하고, 경로를 따라 사용자를 목적지까지 안내하는 장치로, 차량(1)의 센터페시아(25) 내부에 매립되어 형성될 수 있다. 또는 내비게이션 장치(25b)는 대시보드(22) 상에 거치식으로 설치될 수도 있다.
공조 장치는 차량(1) 내부의 온도, 습도, 공기의 청정도, 공기의 흐름을 조절하여 차량(1)의 내부를 쾌적하게 유지하는 장치로, 차량(1)의 센터페시아(25) 내부에 매립되어 형성될 수 있다. 또한 공조 장치(25)는 공조된 바람을 토출하는 적어도 하나의 송풍구(25c)를 포함할 수 있다.
기어박스(26)는 운전자가 차량(1)을 운전하는 도중에 조작할 필요가 있는 조작 장치들이 위치할 수 있다. 일반적으로 기어박스에는 차량(1)의 변속을 위한 변속 레버와, 차량(1)의 각종 장치들을 실행하거나, 차량(1)의 제어모듈 또는 제어장치들의 실행여부를 조작할 수 있는 입력장치가 마련될 수 있다.
차량(1)은 사용자에 의해 입력된 동작 명령에 기초하여 각종 전자장치의 동작을 제어하기 위한 제스처 인식 장치(100)를 포함할 수 있다. 본 발명의 실시 예에 따른 제스처 인식 장치(100)는 사용자의 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 확인하고 확인된 동작 명령을 전자장치로 출력할 수 있다.
도 3을 참고하여 제스처 인식 장치(100)에 대하여 설명한다. 도 3은 본 발명의 실시예에 따른 제스처 인식 장치(100)의 제어 구성도이다.
도 3에 도시된 바와 같이, 제스처 인식 장치(100)는 대상체를 인식할 수 있는 제스처 인식부(101)와, 대상체가 접촉 가능하도록 마련되는 접촉부(102)와, 제스처 인식부(101)로부터 전송된 신호를 수신하고 수신된 신호에 기초하여 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 확인하는 제어부(103)와, 저장부(104) 및 출력부(105)를 포함할 수 있다.
한편, 제어부(103)는 저장부(104), 및 출력부(105)와 함께 배치되어 하나의 모듈로 구현될 수 있다.
제스처 인식부(101)는 대상체를 인식하고 인식된 대상체의 위치, 형상, 및 이동 정보에 대한 인식 신호를 제어부(103)에 전송한다. 대상체는 사용자의 신체 일부 또는 도구를 포함할 수 있다. 사용자의 신체 일부는 손 또는 손가락을 포함하며, 도구는 펜 또는 장갑을 포함할 수 있다.
제스처 인식부(101)는 공간상에서의 대상체의 위치를 감지할 수 있다. 일 예로, 제스처 인식부(101)를 기준점으로 할 때, 대상체의 일 점이 공간 상에서 어느 위치에 위치하는지를 3차원 직교 좌표계(xyz 좌표계)를 이용하여 나타낼 수 있다. 또는 구면 좌표계나 원통 좌표계를 이용할 수도 있다.
또는 제스처 인식부(101)는 대상체의 형상을 감지할 수 있다. 일 예로, 대상체가 손가락인 경우 손가락의 전체적인 형상 및 일반적으로 터치가 이루어지는 손 끝 마디의 중심점을 감지할 수 있다.
또는 제스처 인식부(101)는 대상체의 움직임을 감지할 수 있다. 일 예로, 대상체가 움직이기 시작하는 시점과 대상체가 움직임을 멈추는 종점과 시점과 종점 사이에서 대상체가 움직인 이동 궤적을 감지할 수 있다.
제스처 인식부(101)는 이미지 센서 또는 적외선 센서(IR 센서)를 이용할 수 있다. 다만, 이미지 센서와 적외선 센서는 공간 상에서 대상체를 검출 또는 감지할 수 있는 센서의 일 예를 나타낸 것으로 이와 다른 방식을 이용하는 센서가 사용되는 경우를 포함한다.
접촉부(102)는 제스처 인식부(101)와 이격되어 위치하고, 대상체가 접촉 가능하도록 마련될 수 있다.
제스처 인식부(101)는 대상체가 접촉부(102)에 접촉한 상태에서 대상체의 위치 및 움직임을 감지할 수 있도록 위치한다. 이미지 센서 또는 적외선 센서의 경우 대상체가 센서로부터 일정 거리 떨어진 경우에 대상체를 감지할 수 있다. 따라서 접촉부(102)는 제스처 인식부(101)로부터 센서가 대상체를 감지할 수 있는 기준 거리 이상 떨어져 위치하여야 한다.
제어부(103)는 제스처 인식부(101)에서 수집된 대상체와 관련된 신호에 기초하여 제스처를 인식한다. 제어부(103)는 센서로부터 수집된 영상에 대상체가 존재하는지 판단하고, 대상체가 존재한다고 판단되면 대상체의 위치와 형상과 이동 방향을 확인하여 사용자에 의해 의도된 제스처가 무엇인지 인식할 수 있다.
또한 제어부(103)는 대상체의 위치를 시간의 경과에 따라 추적함으로써 대상체의 이동 정보를 인식할 수 있다. 여기서 이동 정보는 대상체의 이동 방향 및 대상체의 이동 거리를 포함한다.
제어부(103)는 공간 제스처와 접촉 제스처를 구분할 수 있다.
공간 제스처는 대상체가 접촉부(102)에 접촉되지 않은 상태에서 인식되는 제스처일 수 있다. 공간 제스처는 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상일 수 있다. 일 예로, 사용자가 접촉부(102)에서 떨어진 상태에서 손을 좌에서 우로 이동시키는 제스처를 행하였다고 가정하면, 제어부(103)는 대상체의 형상을 분석하여 사용자의 손임을 알 수 있고, 손의 위치를 분석하여 접촉부(102)에서 떨어진 상태임을 알 수 있고, 손의 이동 궤적을 분석하여 해당 궤적이 나타내는 제스처를 판별할 수 있다.
접촉 제스처는 대상체가 접촉부(102)에 접촉한 상태에서 인식되는 제스처일 수 있다. 접촉 제스처는 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상일 수 있다. 일 예로, 사용자가 손가락을 접촉부(102)에 접촉한 상태에서 숫자를 그리는 제스처를 행하였다고 가정하면, 제어부(103)는 대상체의 형상을 분석하여 사용자의 손가락임을 알 수 있고, 손가락의 위치를 분석하여 접촉부(102)에 접촉한 상태임을 알 수 있고, 손가락의 이동 궤적을 분석하여 해당 궤적이 나타내는 제스처를 판별할 수 있다.
제어부(103)는 대상체가 접촉부(102)에 접촉하였는지를 알기 위해 접촉부(102)의 위치정보와 대상체의 위치정보를 비교할 수 있다. 제어부(103)는 미리 저장된 접촉부(102)의 위치정보를 이용할 수 있다. 일 예로, 제스처 인식부(101)를 기준점으로 할 때, 접촉부(102)의 일 점이 공간 상에서 어느 위치에 위치하는지를 3차원 직교 좌표계(xyz 좌표계)를 이용하여 나타낼 수 있다. 또는 구면 좌표계나 원통 좌표계를 이용할 수도 있다.
제어부(103)는 제스처 인식부(101)에서 감지한 대상체의 위치정보와 저장된 접촉부(102)의 위치정보를 비교하여 서로 같은 경우 대상체가 접촉부(102)에 접촉한 것으로 보고 접촉 제스처를 인식할 수 있다.
저장부(104)는 복수의 전자장치(160)의 동작 명령을 각각 저장하고, 각 전자장치(160)를 제어하기 위한 동작 명령에 대응하는 제스처 정보를 저장한다. 여기서 복수의 전자장치(160)는, 라디오나 음악 파일을 재생시키기 위한 오디오 장치(25a)와, 목적지까지 길을 안내하는 내비게이션 장치(25b)와, 차량 내부 밝기를 조정하기 위한 복수의 조명 장치와, 차량 내부의 온도를 조절하기 위한 공조 장치(25c)와, 차량의 외부에 배치된 조명 장치(헤드 라이트 등)와, 외부 단말 장치와 통신을 위한 블루투스 장치와, 시트에 열을 제공하기 위한 히터와, 윈도우 글래스를 자동으로 개폐하기 위한 윈도우 글래스 개폐 장치와, 선루프를 자동으로 개폐하기 위한 선루프 개폐 장치와, 전후좌우 도어를 자동으로 개폐하기 위한 도어 개폐 장치 및 전후좌우의 도어를 잠금 또는 해제하기 위한 도어 잠금 장치(미도시)를 포함할 수 있다.
아울러 저장부(104)는 하나의 제스처에 대응하는 적어도 두 개의 전자장치의 동작 명령을 저장하는 것도 가능하다.
또한 저장부(104)는 접촉부(102)의 위치정보를 저장할 수 있다. 제스처 인식부(101)로부터 접촉부(102)가 떨어진 거리 및 방향에 관한 정보를 저장하여, 대상체의 위치정보와 비교하여 대상체가 접촉부(102)에 접촉했는지를 판단할 수 있다.
또한 저장부(104)는 접촉부(102) 상에서 미리 정의된 영역인 기능부의 위치정보를 저장할 수 있다. 기능부는 탭, 스크롤, 키패드, 또는 바로가기 등을 수행할 수 있다.
출력부(105)는 복수의 전자장치(160)에 각각 연결되어 적어도 하나의 전자장치에 동작 명령을 출력한다. 이러한 출력부(105)는 복수의 전자장치(160)가 연결되는 디지털 포트 및 아날로그 포트 등을 포함할 수 있다.
아울러 출력부(105)는 복수의 전자장치와 통신을 위한 CAN 통신을 포함할 수 있다.
다음으로 도 4와 도 5를 참고하여 본 발명의 제1실시예에 다른 제스처 인식 장치(100)에 대하여 상세히 설명하도록 한다. 도 4는 본 발명의 제1실시예에 따른 제스처 인식 장치(100)를 나타내는 사시도이고, 도 5는 본 발명의 제1실시예에 따른 제스처 인식 장치(100)의 구조를 설명하기 위한 단면도이다.
제스처 인식 장치(100)는 공간상에서 대상체의 위치 및 움직임을 감지할 수 있는 제스처 센서(120)와, 대상체와 접촉할 수 있는 커버(110)를 포함할 수 있다.
미 설명된 부호는 커버(110)가 설치되는 장착면(107)과, 미리 정의된 기능을 수행할 수 있는 하드 키(108)와, 오디오의 볼륨 등을 조절할 수 있는 노브(109)이다.
제스처 센서(120)는 대상체의 평면 상 위치뿐만 아니라 공간 상 위치 및 움직임을 감지할 수 있다. 즉, 제스처 센서(120)로부터 대상체까지의 거리 정보와 방향 정보를 알 수 있다. 또한 대상체의 형상을 감지할 수도 있다.
제스처 센서(120)는 이미지 센서 또는 적외선 센서(IR 센서) 중 어느 하나를 사용할 수 있다.
커버(110)는 제스처 센서(120)가 대상체를 인식하는 데 방해가 되지 않는 재질로 마련될 수 있다. 일 예로, 제스처 센서(120)로서 이미지 센서가 이용되는 경우 투명한 커버(110)가 사용될 수 있다. 일 예로, 커버는 광학 플라스틱을 사용할 수 있다.
커버(110)는 제스처 센서(120)와 소정 거리 떨어져 위치할 수 있다. 제스처 센서(120)가 대상체를 인식하기 위해서는 대상체가 제스처 센서(120)로부터 소정 거리 떨어져 위치하여야 한다. 따라서 커버(110)는 제스처 센서(120)가 대상체를 인식할 수 있는 최소 거리 이상 떨어져 위치할 수 있다.
커버(110)는 대상체와 접촉할 수 있는 접촉면(111)을 구비한다. 일 예로, 커버(110)는 일정한 두께를 가질 수 있으며, 접촉면(111)은 커버(110)의 외측면일 수 있다.
커버(110)는 제스처 센서(120)를 중심으로 하는 반구형 또는 반구형의 일부 형상을 포함할 수 있다. 이 때, 제스처 센서(120)의 중앙부를 구의 중심으로 할 수 있다. 커버(110)가 제스처 센서(120)를 중심으로 하는 반구형으로 마련되는 경우, 제스처 센서(120)로부터 커버(110)의 접촉면(111)까지의 거리(도 5의 r 참고)가 일정할 수 있다.
사용자는 커버(110)를 손으로 쥔 상태에서 접촉 제스처를 입력할 수 있다. 따라서 커버(110)가 볼록한 곡면을 포함하는 경우 사용자가 손으로 쥐는 그립(Grip) 감각(또는 그립감)을 향상시킬 수 있다. 일 예로, 커버(110)는 마우스(Mouse) 형상과 유사한 형상을 할 수 있다.
사용자가 커버(110)를 쥔 상태에서 입력할 수 있는 접촉 제스처에는 손가락으로 접촉면(111)을 두드리거나, 접촉면(111)을 문지르거나, 접촉면(111)에 곡선 또는 원을 그릴 수 있다. 또는 커버(110)를 쥔 상태에서 손 전체를 이용하여 접촉면(111)을 두드리거나, 문지를 수 있다. 제어부(103)는 각각의 접촉 제스처를 인식하여 동작 명령을 출력할 수 있다.
커버(110)는 탭 제스처를 입력할 수 있는 탭부(112)를 포함할 수 있다. 탭 제스처는 손가락으로 접촉부(102)를 두드리는 제스처를 의미한다.
제어부(103)는 커버(110)의 일정한 영역을 탭부(112)로 미리 지정할 수 있다. 일 예로, 사용자의 검지 또는 중지 손가락을 탭(Tab)하기 용이한 위치에 탭부(112)를 지정할 수 있다. 제어부(103)는 대상체가 탭부(112)를 접촉하는 경우 접촉 제스처가 입력된 것으로 보고 동작 명령을 출력할 수 있다. 즉, 사용자가 탭부(112)를 두드리는 것은 마우스의 버튼을 클릭하는 것과 유사한 행위로 볼 수 있다.
탭부(112)는 복수로 마련될 수 있으며, 각각의 탭부(112)는 서로 다른 동작 명령으로 해석될 수 있다. 일 예로, 탭부(112)는 전방에 위치할 수 있고, 두 개로 마련되어 서로 떨어져 배치될 수 있다. 즉, 두 개의 탭부(112)는 각각 검지 손가락과 중지 손가락이 탭 하기 용이한 위치에 있을 수 있다.
제어부(103)는 사용자가 탭부(112)에서 손가락을 움직이는 동작을 포인팅(Pointing) 제스처로 인식할 수 있다. 즉, 사용자가 탭부(112)에 손가락을 안착한 상태에서 미세하게 움직이는 방향으로 디스플레이부 상의 커서가 이동할 수 있다. 이는 IBM 사의 포인팅 스틱의 조작과 유사할 수 있다.
도 6은 손가락이 탭 부에 안착되는 모습을 나타내는 것으로, 도 5의 A 영역을 나타내는 확대도이다.
도 6을 참고하면, 탭부(112)는 오목한 형상일 수 있다. 일 예로, 손가락 끝 마디가 안착할 수 있도록 커버(110)로부터 오목하게 들어간 형상일 수 있다. 따라서 사용자는 눈으로 탭부(112)를 확인하지 않고도 손가락이 탭부(112)에 위치하고 있는지 여부를 쉽게 알 수 있다. 또한 손가락 끝 마디의 곡선 형상과 유사하게 탭부(112) 형상을 마련하는 경우 조작감을 향상시킬 수 있다.
도 4에는 두 개의 탭 부가 전방에 마련되며, 두 개의 탭 부 모두 오목한 형상을 하는 것이 도시되어 있다. 즉, 각각의 탭부(112)는 사용자의 검지 손가락의 끝 마디와 중지 손가락의 끝 마디가 안착될 수 있다.
제어부(103)는 공간 제스처를 인식할 수 있다. 즉, 공간상에서 대상체의 형상 또는 움직임을 제스처로 인식할 수 있다.
제어부(103)는 대상체의 형상을 제스처로 인식할 수 있다. 일 예로, 사용자가 일부 손가락을 피는 등으로 손의 모양을 달리 하는 경우 제어부(103)는 손의 모양에 따라 서로 다른 제스처로 인식할 수 있다.
그리고 제어부(103)는 대상체의 움직임을 공간 제스처로 인식할 수 있다. 일 예로, 사용자가 손을 좌측에서 우측으로 움직이거나 그 반대 방향으로 움직이는 경우, 사용자가 손을 핀 상태에서 쥐는 경우, 사용자가 손을 편 채로 흔드는 경우 등 손의 움직임을 달리하는 경우 제어부(103)는 손의 움직임에 따라 서로 다른 제스처로 인식할 수 있다.
한편, 제스처 센서(120)는 사용자가 앞의 제스처들 보다 더 정교한 제스처를 입력하는 경우에도 대상체의 움직임을 인식할 수 있으며, 제어부(103)는 이를 공간 제스처로 인식할 수 있다. 일 예로, 사용자가 손가락으로 약속된 경로 또는 궤적을 그리는 경우에 제어부(103)는 이를 공간 제스처로 인식할 수 있다.
다만, 사용자가 약속된 제스처를 입력하고, 제어부(103)가 사용자의 의도에 부합하는 제스처를 인식하는 데는 두 가지 문제가 있다.
첫 번째는 제스처의 시작과 끝을 알기 어렵다는 점이다. 사용자가 제스처를 그리기 시작하는 시점은 사용자의 의지에 따라 달라질 수 있다. 따라서 제어부(103)가 제스처의 시작 지점을 인식할 수 있도록 하기 위해서는 사용자가 별도의 조작을 통해 제스처의 입력이 시작됨을 알려주어야 한다. 마찬가지로, 제어부(103)가 제스처의 입력이 끝났음을 인식할 수 있도록 하기 위해서도 사용자가 별도의 조작을 통해 제스처의 입력이 끝났음을 알려줄 필요가 있다.
두 번째는 사용자가 의도하는 제스처의 모양과 제스처 센서(120)가 인식하는 제스처의 모양이 서로 달라질 수 있다는 점이다.
먼저 사용자가 공간 상에서 2차원 모양의 제스처(평면 제스처)를 입력하는 경우를 살펴보자. 사용자가 손가락으로 가상의 평면 상에 평면 제스처를 입력하고자 하여도 실제로는 3차원 모양의 제스처를 그리게 된다. 즉, 손가락의 높낮이는 제스처를 그리는 도중에 달라질 수밖에 없다. 따라서 사용자가 의도하는 제스처의 모양과 제스처 센서(120)가 인식하는 제스처의 모양 사이에는 차이가 발생하게 된다.
이러한 차이는 제스처의 인식 정확도에 악영향을 미친다. 정교한 모양의 제스처를 입력할수록 위와 같은 왜곡에 의해 오 인식될 위험이 존재한다.
다음으로 제스처가 둘 이상의 획으로 연결되는 경우를 살펴보도록 한다. 제스처가 하나의 획으로 연결되는 경우에는 크게 문제가 발생하지 않는다. 그러나 제스처가 둘 이상의 획으로 연결되는 경우에는 제스처와 연결 동작의 경계가 모호해진다.
평면 상에 손가락을 이용하여 두 개의 획으로 구성되는 제스처를 그리는 경우를 생각해보면, 평면에 손가락을 접촉한 이후에 하나의 획을 긋고 손가락을 떼게 된다. 그리고 손가락을 뗀 위치에서 벗어난 위치에서 다시 손가락을 접촉하여 두 번째 획을 긋고 손가락을 뗀다.
제스처의 시작과 끝을 제어부(103)가 어떻게 인지하는지에 대한 문제를 제외하더라도, 획과 획을 연결하는 연결 동작은 사용자가 의도하는 제스처의 일부분이 아니지만, 제어부(103)는 이 연결 동작 역시 제스처의 일부분으로 인식하게 된다. 따라서 사용자가 의도하는 제스처의 모양과 제어부(103)가 인식하는 제스처의 모양이 크게 달라진다.
도 7을 참고하여 공간 상에서 손가락으로 제스처를 그릴 때 제스처가 왜곡되어 제스처 센서(120)에 입력되는 것을 설명하도록 한다. 도 7의 (a)는 공간 상에서 숫자 “5”를 입력했을 때의 손가락 궤적을 나타내는 그림이고, (b)는 접촉면(111) 상에서 숫자 “5”를 입력했을 때의 손가락 궤적을 나타내는 그림이다.
도 7의 (a)를 참고하면, 사용자가 손가락으로 숫자 “5”를 공간 상에서 그린다고 하였을 때, 제스처 센서(120)가 인식하는 손가락의 궤적은 숫자 “5”의 모양과는 차이가 있음을 알 수 있다.
사용자가 숫자 “5”를 그릴 때 연속된 하나의 획으로 그리는 것이 아니라 두 개의 획으로 나누어서 그리는데, 제스처 센서(120)는 두 개의 획 사이에 손가락이 이동하는 궤적도 제스처로 인식하게 된다. 즉, 제어부(103)는 손가락이 a1 지점에 있을 때를 제스처의 시작으로 인식하고, 손가락이 a2 지점에 있을 때를 제스처의 종료로 인식하며, a1 지점과 a2 지점 사이에서 손가락이 이동한 궤적을 제스처로 인식하게 된다.
따라서 제어부(103)가 인식하는 제스처의 모양은 사용자가 의도하는 제스처인 숫자 “5”와는 차이가 발생하게 된다.
도 7의 (b)를 참고하여 사용자가 손가락으로 숫자 “5”를 접촉면(111) 상에서 그리는 경우를 살펴보도록 한다. 제어부(103)는 손가락이 b1 지점에 있을 때를 제스처의 시작으로 인식하고, 손가락이 b2 지점에 있을 때를 하나의 획이 종료된 것으로 인식한다. 그리고 손가락이 b3 지점에 있을 때를 다른 획이 시작하는 것으로 인식하고, 손가락이 b4 지점에 있을 때를 제스처의 종료로 인식하게 된다. 즉, 제어부(103)는 손가락이 접촉면(111)에 접촉한 상태에서 손가락이 이동하는 궤적만을 제스처로 보기 때문에, b2와 b3 사이에서 손가락이 이동하는 궤적은 제스처로 보지 않는다. 따라서 사용자가 의도하는 제스처의 모양과 제어부(103)가 인식하는 제스처의 모양이 일치하게 되어 제스처 인식률을 높일 수 있다.
도 8은 본 발명의 제1실시예에 따른 제스처 인식 장치(100)가 기어박스(26)에 설치된 모습을 나타내는 사시도이고, 도 9는 본 발명의 제1실시예에 따른 제스처 인식 장치(100)가 센터페시아(25)에 설치된 모습을 나타내는 사시도이다.
기어박스(26)는 일반적으로 차량(1) 내부의 운전석과 조수석 사이에 설치되어 있을 수 있고, 운전자가 차량(1)을 운전하는 도중에 조작할 필요가 있는 조작장치들이 장착될 수 있다.
도 8을 참고하면, 기어박스(26)에는 차량(1) 변속을 위한 변속레버(26a)와, 차량(1)의 각종 장치를 실행하기 위한 버튼(26b)이 설치될 수 있다. 그리고 본 발명의 제1실시예에 따른 제스처 인식 장치(100)가 설치될 수 있다.
본 발명의 실시예에 따른 제스처 인식 장치(100)는 기어박스(26)에 설치되어 운전자가 운전 중 전방을 주시한 상태에서도 편안하게 조작 가능할 수 있다. 일 예로, 변속레버(26a)의 하부에 위치하여 암 레스트(Arm rest, 26c)에 팔을 거치한 상태에서 제스처를 입력할 수 있다.
한편, 도 8에 도시된 것과 달리 후석의 암 레스트 전방에 위치할 수도 있다.
도 9를 참고하면, 센터페시아(25)에는 오디오 장치(25a) 및 내비게이션 장치(25b) 등이 설치될 수 있다. 내비게이션 장치(25b)는 차량(1)의 센터페시아(25) 내부에 매립되거나 대시보드 상에 돌출되어 형성될 수 있다. 그리고 본 발명의 제1실시예에 따른 제스처 인식 장치(100)가 설치될 수 있다.
본 발명의 실시예에 따른 제스처 인식 장치(100)는 내비게이션 장치(25b) 하부에 위치하여 운전자가 내비게이션 장치(25b)의 조작을 용이하게 할 수 있다. 즉, 운전자는 네비게이션 장치(25b)와 근접한 위치에서 제스처를 입력할 수 있게 되어 즉각적인 피드백을 얻을 수 있게 된다.
한편, 제스처 인식 장치(100)는 차량(1) 내부의 디스플레이 장치들과 접속되어 디스플레이 장치들에 표시되는 각종 아이콘 등을 선택하거나 실행할 수 있다. 차량(1)에 설치되는 디스플레이 장치에는 오디오 장치(25a), 내비게이션 장치(25b), 또는 클러스터 등이 있을 수 있다. 또한 필요에 따라 디스플레이 장치가 기어박스(26)에 설치될 수 있다. 또한 디스플레이 장치는 HUD(Head Up Display) 장치 또는 백미러 등과 접속될 수도 있다.
일 예로, 제스처 인식 장치(100)는 디스플레이 장치 상에 표시되는 커서(Cursor)를 움직이거나 또는 아이콘(Icon)을 실행할 수 있다. 아이콘(Ion)은 메인 메뉴, 선택 메뉴, 설정 메뉴 등을 포함할 수 있다. 또한 제스처 인식 장치(100)를 통해 차량(1)의 운행 조건을 설정하거나, 차량(1)의 주변 기기들을 실행할 수 있다.
다음으로 도 10과 도 11을 참고하여 본 발명의 제2실시예에 따른 제스처 인식 장치(100-1)에 대하여 설명하도록 한다. 도 10은 본 발명의 제2실시예에 따른 제스처 인식 장치(100-1)의 구조를 설명하기 위한 단면도이고, 도 11은 본 발명의 제2실시예에 따른 제스처 인식 장치(100-1)의 터치 영역을 설명하기 위한 평면도이다.
도 10을 참고하면, 본 발명의 제2실시예에 따른 제스처 인식 장치(100-1)의 커버(110-1)는 평면 접촉면(113)과 평면 접촉면(113)의 외곽에서 연장되는 곡면 접촉면(114)을 포함한다. 이 때 곡면 접촉면(114)은 제스처 센서(120)를 중심으로 하는 구면의 일부일 수 있다.
한편, 곡면 접촉면(114)의 전방에는 탭부(112)가 위치할 수 있다.
본 발명의 제2실시예에 따른 제스처 인식 장치(100-1)는 평면 접촉면(113)을 포함함으로써 사용자가 접촉 제스처를 그리는 것이 보다 용이할 수 있다. 사용자가 손가락을 이용하여 숫자 또는 문자 등 미리 약속된 모양의 제스처를 그리는 경우에는 곡면에 그리는 것 보다 평면에 그리는 것이 더 용이할 수 있다.
도 11을 참고하면, 본 발명의 제2실시예에 다른 제스처 인식 장치(100-1)의 평면 접촉면(113)에는 다양한 키패드(Key pad)들이 그려져 있을 수 있다. 일 예로, 숫자 키패드(113a)와 스크롤 키패드(113b)와 단축 키패드(113c)를 포함할 수 있다. 단축 키패드(113c)는 설정에 의해 그 기능을 바꿀 수 있도록 제공될 수 있다.
숫자 키패드(113a)와 단축 키패드(113c)는 접촉 제스처를 통해 명령을 입력할 수 있다. 즉, 사용자가 손가락 또는 펜 등으로 숫자 키패드(113a)와 단축 키패드(113c)가 그려진 위치를 접촉함으로써 해당 기능을 실행시킬 수 있다.
더 상세히 설명하면, 제어부(103)는 미리 저장된 키패드의 위치정보와 손가락의 위치정보를 비교하여 두 위치정보가 같은 경우에 손가락이 키패드를 접촉한 것으로 보고 동작 명령을 실행할 수 있다. 즉, 손가락이 숫자 “1” 키패드를 접촉한다고 하였을 때, 제어부(103)는 제스처 센서(120)에서 입력되는 입력 신호로부터 손가락의 위치정보가 숫자 “1” 키패드의 위치정보와 일치함을 판단하고, 숫자 “1”에 대응하는 동작 명령을 송출한다.
스크롤 키패드(113b)는 스크롤 제스처를 통해 명령을 입력할 수 있다. 즉, 사용자가 스크롤 키패드(113b)가 그려진 위치에 손가락 또는 펜 등을 접촉한 상태로 이동시키는 경우 스크롤 명령을 실행할 수 있다.
도 12는 본 발명의 제3실시예에 따른 제스처 인식 장치(100-2)의 구조를 설명하기 위한 단면도이다.
도 12를 참고하면, 본 발명의 제3실시예에 따른 제스처 인식 장치(100-2)의 커버(110-2)는 대상체가 삽입될 수 있도록 일 측이 개구되어 공간(115)을 형성한다. 커버(110-2)가 개구됨으로써 접촉면(113, 114)과 제스처 센서(120) 사이에 형성되는 공간(115)은 제스처를 입력할 수 있는 공간으로 사용될 수 있다.
접촉면(113, 114)은 평면 접촉면(113)과 곡면 접촉면(114)를 포함할 수 있다.
도면에 도시된 커버(110-2)는 전방을 제외한 양 측부와 후방이 개구되어 대상체가 개구부의 일 측부에서 삽입되어 다른 측부로 지나갈 수 있도록 마련된다. 다만, 이와 달리 후방만이 개구되어 대상체가 후방을 통해 삽입되었다가 다시 후방을 통해 빠져나갈 수 있도록 마련될 수도 있다.
본 발명의 제3실시예에 따른 제스처 인식 장치(100-2)는 공간적으로 세 가지의 제스처를 구분할 수 있다. 즉, 제어부(103)는 접촉면(113, 114) 상부에서 입력되는 제스처를 제1공간 제스처로 인식할 수 있고, 접촉면(113, 114)에 접촉한 상태에서 입력되는 제스처를 접촉 제스처로 인식할 수 있으며, 공간 입력부에서 입력되는 제스처를 제2공간 제스처로 인식할 수 있다.
또한 제어부(103)는 제1공간 제스처와 제2공간 제스처를 구분하여 서로 다른 동작 신호를 출력할 수 있다. 즉, 사용자가 똑같이 손을 흔드는 동작으로 제스처를 입력하는 경우에도 접촉면(113, 114) 상부에서 손을 흔드는 경우와 공간 입력부에서 손을 흔드는 경우를 구분하여 서로 다른 동작 신호를 출력할 수 있다. 따라서, 제스처로 입력할 수 있는 동작 신호를 다양하게 마련할 수 있다.
또한 제1공간 제스처와 제2공간 제스처를 구분함으로써 서로 다른 장치를 동작할 수 있다. 일 예로, 제어부(103)는 제1공간 제스처를 이용하여 내비게이션을 동작할 수 있고, 제2공간 제스처를 이용하여 공조 장치를 동작할 수 있다.
도 13은 본 발명의 제4실시예에 따른 제스처 인식 장치(100-3)의 구조를 설명하기 위한 단면도이다.
본 발명의 제1 내지 제3실시예에 따른 제스처 인식 장치(100, 100-1, 100-2)의 커버(110, 110-1, 110-2)는 주변 장착면(107)으로부터 돌출되도록 마련되었다. 이와 달리, 본 발명의 제4실시예에 따른 제스처 인식 장치(100-3)의 커버(110-3)의 접촉면(111)은 장착면(107)의 연장선과 동일 위치에 마련된다.
도 13을 참고하면, 제스처 센서(120)는 장착면(107)으로부터 요입된 홈(107a)에 설치된다. 앞에서 제스처 센서(120)가 대상체를 인식하기 위해서는 일정 거리가 필요함을 설명한 바 있다. 이와 같은 이유로 제스처 센서(120)가 설치되는 요입홈(107a)의 깊이는 제스처 센서(120)가 대상체를 인식하기 위해 필요한 최소한의 거리보다 길어야 한다.
커버(110-3)의 접촉면(111)은 장착면(107)과 동일 평면을 형성할 수 있다. 따라서 커버(110-3)가 주변으로부터 돌출되지 않아 미려한 외관을 제공할 수 있다. 특히, 제스처 인식 장치(100-3)가 차량(1)에 설치되는 경우 커버(110-3)가 주변의 장착면(107)으로부터 돌출되지 않음으로써 차량(1)의 실내 디자인을 고급스럽게 할 수 있다.
다음으로 도 14 및 도 15를 참고하여 본 발명의 실시예에 따른 제스처 인식 방법에 대하여 설명하도록 한다.
도 14는 본 발명의 제1실시예에 따른 제스처 인식 방법을 설명하기 위한 순서도이다.
본 발명의 제1실시예에 따른 제스처 인식 방법은 제스처 센서(120)에 감지된 신호에 기초하여 공간 상에서 움직이는 대상체의 형상 및 위치를 인식한다(201). 대상체의 형상을 인식함으로써 대상체가 제스처 입력 수단인지 여부를 판단할 수 있다. 한편, 대상체의 형상 정보를 토대로 대상체의 위치를 인식할 수 있다. 일 예로, 대상체가 사용자의 손가락인 경우, 사용자의 손가락 끝 마디의 위치를 인식할 수 있다.
다음으로, 접촉면(111)의 위치정보와 대상체의 위치를 비교한다(202). 접촉면(111)의 위치정보는 미리 저장부(104)에 저장되어 있을 수 있다. 또는 대상체의 위치를 인식함과 함께 접촉면(111)의 위치를 인식하여 저장될 수도 있다.
접촉면(111)은 제스처 센서(120)로부터 일정 거리 떨어져 위치하는 커버(110-3)의 외면을 의미할 수 있으며, 접촉면(111)의 위치정보는 커버(110-3)의 외면을 따라 복수로 저장되어 있을 수 있다.
접촉면(111)의 위치정보와 대상체의 위치를 비교하는 때에는 인식된 대상체의 위치가 접촉면(111)의 위치정보들 중 어느 하나에 매칭되는지를 판단할 수 있다. 이 때, 매칭된다는 것은 일치하는 것뿐만 아니라 매칭 범위에 속하는 것을 포함할 수 있다. 매칭 범위는 제스처 센서(120)의 인식 오차를 고려할 수 있다. 한편, 매칭 범위를 넓게 정하는 경우 대상체가 접촉면(111)에 일정 범위 이내로 근접하는 경우 접촉면(111)의 위치정보에 매칭되는 것으로 판단할 수도 있다.
위에서 대상체의 위치와 매칭되는 접촉면(111)의 위치정보가 존재하는 것으로 판단되면 대상체의 접촉을 접촉 제스처로 인식한다(203).
접촉 제스처로 인식한 후에는 바로 동작 명령을 출력할 수도 있고(204), 대상체가 이동하는지 여부를 일정 시간 동안 기다릴 수 있다. 대상체의 이동을 감지하는 경우에는 이를 추적하여 대상체가 접촉면(111) 상에서 이동한 궤적을 인식할 수 있다.
한편, 대상체가 접촉면(111)으로부터 떨어진 것으로 볼 수 있는 경우에 접촉 제스처를 종료할 수 있다. 즉, 대상체의 위치와 매칭되는 접촉면(111)의 위치정보가 존재하지 않는 경우에 대상체가 접촉면(111)으로부터 떨어진 것으로 보고 접촉 제스처를 종료할 수 있다.
또는 대상체가 접촉면(111)으로부터 떨어진 경우에 바로 접촉 제스처를 종료하지 않고 일정 시간 동안 기다릴 수 있다. 일정 시간 이내에 다시 대상체가 접촉면(111)에 접촉한 것으로 판단되는 경우 이전에 입력된 제스처의 연장으로 인식할 수 있다.
일 예로, 복수의 획으로 이루어지는 제스처의 경우 하나의 획에서 다음 획으로 이동하는 때에는 대상체가 접촉면(111)으로부터 떨어져 이동하게 된다. 따라서 대상체가 접촉면(111)으로부터 떨어지는 경우에 바로 접촉 제스처 인식을 종료하지 않고 다음 제스처를 기다리게 된다.
다음으로, 인식된 대상체의 위치와 매칭되는 접촉면(111) 위치정보가 존재하지 않는 것으로 판단되는 경우에는 대상체의 형상 또는 이동을 공간 제스처로 인식할 수 있다(205).
대상체의 형상을 공간 제스처로 인식하는 경우에는 일정 시각에서의 대상체의 형상 자체를 공간 제스처로 인식할 수 있다. 또는 대상체의 이동을 공간 제스처로 인식하는 경우에는 연속된 시간 동안 움직이는 대상체를 추적하여, 대상체의 이동 경로 또는 대상체의 변형을 공간 제스처로 인식할 수 있다.
공간 제스처로 인식한 후에는 바로 동작 명령을 출력할 수도 있고(206), 대상체가 이동하는지 여부를 일정 시간 동안 기다릴 수 있다.
도 15는 본 발명의 제2실시예에 따른 제스처 인식 방법을 설명하기 위한 순서도이다.
본 발명의 제2실시예에 따른 제스처 인식 방법은 대상체의 위치와 매칭되는 접촉면(111)의 위치정보가 존재하는 것으로 판단되는 경우, 다시 한번 대상체의 위치와 매칭되는 기능부의 위치정보가 존재하는지 판단할 수 있다(207).
기능부는 접촉면(111)의 미리 지정된 영역으로 마련될 수 있다. 따라서 대상체의 위치와 매칭되는 접촉면(111)의 위치정보가 존재하는 것으로 판단되는 경우(203)에도, 매칭되는 접촉면(111)의 위치정보가 기능부의 위치정보인 경우에는 기능 제스처로 판단할 수 있다(208).
기능 제스처에는 탭 제스처, 스크롤 제스처, 키패드 제스처, 또는 바로가기 제스처 등이 있을 수 있다.
기능 제스처로 판단되는 경우 그 제스처에 대응되는 기능을 수행하도록 동작 명령을 출력할 수 있다(209). 일 예로, 탭 제스처로 판단되는 경우 디스플레이부 상에서 커서가 이동하여 가선택된 상태에 있는 메뉴를 선택할 수 있다.
한편, 대상체의 위치와 매칭되는 기능부의 위치정보가 존재하지 않는 경우에는 일반적인 접촉 제스처로 판단할 수 있다(203).
본 발명의 제2실시예에 따른 제스처 인식 방법은 제1공간 제스처와 제2공간 제스처를 구분할 수 있다. 즉, 커버(110-3)의 외측에서 입력되는 공간 제스처는 제1공간 제스처로 인식하고, 커버(110-3)의 하부에 마련되는 제스처 입력 공간(115)에서 입력되는 공간 제스처는 제2공간 제스처로 인식할 수 있다.
이를 판단하기 위해, 인식된 대상체의 위치와 접촉면(111)의 위치정보들을 비교하여(210) 대상체가 접촉면(111) 밖에 있는 것으로 판단되면 제1공간 제스처로 인식하고(211), 대상체가 접촉면(111) 안에 있는 것으로 판단되면 제2공간 제스처로 인식할 수 있다(213). 즉, 접촉면(111)의 위치정보는 제1공간 제스처와 제2공간 제스처를 구분하기 위한 경계로 작용할 수 있다.
제1공간 제스처로 인식되는 경우 그에 따른 동작 명령을 출력하고(212), 제2공간 제스처로 인식되는 경우 그에 따른 동작 명령을 출력할 수 있다(214). 한편, 제1공간 제스처와 제2공간 제스처가 동일한 형상 또는 궤적을 가지는 경우에도 그 위치가 서로 다르기 때문에 서로 다른 동작 명령을 출력할 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
1: 차량, 10: 외장,
20: 내장, 100: 제스처 인식 장치,
101: 제스처 인식부, 102: 접촉부,
103: 제어부, 104: 저장부,
105: 출력부, 106: 전자장치,
107: 장착면, 108: 버튼,
109: 다이얼, 110: 커버,
111: 접촉면, 112: 탭부,
113: 평면 접촉면, 114: 곡면 접촉면,
115: 제스처 입력 공간, 120: 제스처 센서.

Claims (26)

  1. 공간상에서 대상체의 위치 및 움직임을 감지할 수 있는 제스처 센서; 및
    상기 제스처 센서와 소정 거리 떨어져 위치하여 상기 대상체와 접촉할 수 있는 접촉면을 구비하는 커버;를 포함하고,
    상기 커버는 상기 대상체가 삽입될 수 있도록 일 측이 개구되도록 마련되어, 상기 접촉면과 상기 제스처 센서 사이에 제스처 입력 공간이 마련되는 제스처 인식 장치.
  2. 제1항에 있어서,
    상기 커버는 상기 제스처 센서를 중심으로 하는 반구형 또는 반구형의 일부 형상을 포함하는 제스처 인식 장치.
  3. 제1항에 있어서,
    상기 접촉면은 상기 제스처 센서로부터 상기 접촉면 상의 각 지점 사이의 거리가 일정하도록 마련되는 제스처 인식 장치.
  4. 제1항에 있어서,
    상기 커버는 평면 접촉면과 상기 평면 접촉면의 외곽에서 연장되는 곡면 접촉면을 포함하는 제스처 인식 장치.
  5. 삭제
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 커버는 사용자의 손가락 끝 마디가 안착할 수 있도록 오목하게 형성되는 탭부를 포함하는 제스처 인식 장치.
  7. 제1항에 있어서,
    상기 제스처 센서로부터 입력되는 신호를 통해 제스처를 분석하여 동작 신호를 출력하는 제어부를 더 포함하는 제스처 인식 장치.
  8. 제7항에 있어서,
    상기 제어부는 상기 대상체가 상기 접촉면에 접촉한 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 접촉 제스처로 인식하는 제스처 인식 장치.
  9. 제8항에 있어서,
    상기 제어부는 상기 대상체가 상기 접촉면에서 떨어진 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 공간 제스처로 인식하는 제스처 인식 장치.
  10. 공간상에서 대상체의 위치 및 움직임을 감지할 수 있는 제스처 인식부;
    상기 제스처 인식부와 이격되어 위치하고 상기 대상체가 접촉 가능하도록 마련되는 접촉부;
    상기 접촉부 하부에 마련되어 상기 대상체가 삽입 수 있는 공간을 형성하는 공간 입력부; 및
    상기 제스처 인식부의 신호를 수신하여 제스처를 분석하고 동작 신호를 출력하는 제어부;를 포함하고,
    상기 제어부는 상기 대상체가 상기 접촉부에 접촉한 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 접촉 제스처로 인식하고,
    상기 제어부는 상기 접촉부 상부에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 제1공간 제스처로 인식하고, 상기 공간 입력부에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 제2공간 제스처로 인식하며, 상기 제1공간 제스처와 상기 제2공간 제스처를 구분하여 서로 다른 동작 신호를 출력하는 제스처 인식 장치.
  11. 제10항에 있어서,
    상기 제어부는 상기 대상체가 상기 접촉부에서 떨어진 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 공간 제스처로 인식하는 제스처 인식 장치.
  12. 제10항에 있어서,
    상기 접촉부는 탭부를 포함하고,
    상기 제어부는 상기 대상체가 상기 탭부에 접촉하는 것을 탭 제스처로 입력받는 제스처 인식 장치.
  13. 제10항에 있어서,
    상기 접촉부는 스크롤부를 포함하고,
    상기 제어부는 상기 대상체가 상기 스크롤부에 접촉한 상태로 이동하는 궤적을 스크롤 제스처로 입력받는 제스처 인식 장치.
  14. 삭제
  15. 제10항에 있어서,
    상기 제어부는 상기 대상체가 미리 저장된 상기 접촉부의 접촉면 위치에 있는 것으로 인식되는 경우 접촉 제스처 인식을 시작하는 제스처 인식 장치.
  16. 제12항에 있어서,
    상기 제어부는 상기 대상체가 미리 저장된 상기 탭부의 접촉면 위치에 있는 것으로 인식되는 경우 탭 제스처로 인식하고, 상기 대상체가 미리 저장된 상기 탭부를 제외한 상기 접촉부의 접촉면 위치에 있는 것으로 인식되는 경우 접촉 제스처 인식을 시작하는 제스처 인식 장치.
  17. 제15항 또는 제16항에 있어서,
    상기 제어부는 상기 대상체가 미리 저장된 상기 접촉부의 접촉면 위치에서 벗어난 것으로 인식되는 경우 접촉 제스처 인식을 종료하는 제스처 인식 장치.
  18. 제17항에 있어서,
    상기 제어부는 상기 대상체가 미리 저장된 상기 접촉부의 접촉면 위치에서 벗어난 것으로 인식되고 나서 일정 시간 이내에 상기 대상체가 다시 미리 저장된 상기 접촉부의 접촉면 위치에 있는 것으로 인식되는 경우 연속적인 접촉 제스처로 인식하는 제스처 인식 장치.
  19. 제10항에 있어서,
    상기 제어부는 상기 대상체가 미리 저장된 상기 접촉부의 접촉면 위치보다 아래에 있는 것으로 인식되는 경우 제2공간 제스처 인식을 시작하는 제스처 인식 장치.
  20. 차량 내부에 마련되는 장착면과,
    상기 장착면에 설치되고 차량 내부의 공간상에서 대상체의 위치 및 움직임을 감지할 수 있는 제스처 인식부와,
    상기 제스처 인식부와 이격되어 위치하고 상기 대상체가 접촉 가능하도록 마련되는 접촉부와,
    상기 접촉부 하부에 마련되어 상기 대상체가 삽입 수 있는 공간을 형성하는 공간 입력부와,
    상기 제스처 인식부의 신호를 수신하여 제스처를 분석하고 동작 신호를 출력하는 제어부를 포함하고,
    상기 제어부는 상기 대상체가 상기 접촉부에 접촉한 상태에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 접촉 제스처로 인식하고,
    상기 제어부는 상기 접촉부 상부에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 제1공간 제스처로 인식하고, 상기 공간 입력부에서의 상기 대상체의 위치, 형상, 및 이동 궤적 중 어느 하나 이상을 제2공간 제스처로 인식하며, 상기 제1공간 제스처와 상기 제2공간 제스처를 구분하여 서로 다른 동작 신호를 출력하는 제스처 인식 장치를 포함하는 차량.
  21. 제20항에 있어서,
    상기 장착면은 기어박스 또는 센터페시아 중 어느 하나 이상에 마련되는 차량.
  22. 제20항에 있어서,
    상기 제스처 인식부는 상기 장착면으로부터 요입된 홈에 설치되고,
    상기 접촉부는 상기 장착면의 연장면과 동일 위치에 마련되는 차량.
  23. 제스처 센서에 감지된 신호에 기초하여 공간상에서 움직이는 대상체의 위치를 인식하고,
    상기 인식된 대상체의 위치가 미리 저장된 접촉면의 위치정보들 중 어느 하나에 매칭되는지를 판단하고,
    상기 매칭되는 위치정보가 존재한다고 판단되면 접촉 제스처로 인식하고,
    상기 매칭되는 위치정보가 존재하지 않는다고 판단되는 경우에, 상기 인식된 대상체가 상기 접촉면 밖에 있는 것으로 판단되면 제1공간 제스처로 인식하고, 상기 인식된 대상체의 위치가 상기 접촉면 안에 있는 것으로 판단되면 제2공간 제스처로 인식하는 제스처 인식 방법.
  24. 제23항에 있어서,
    상기 인식된 대상체의 위치가 상기 접촉면 중 특정 영역으로 지정된 기능부의 위치정보에 매칭되는지를 판단하고,
    상기 매칭되는 위치정보가 존재한다고 판단되면 기능 제스처로 인식하는 제스처 인식 방법.
  25. 제23항에 있어서,
    상기 매칭되는 위치정보가 존재하지 않는다고 판단되면 공간 제스처로 인식하는 제스처 인식 방법.
  26. 삭제
KR1020140174878A 2014-12-08 2014-12-08 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법 Active KR101621369B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140174878A KR101621369B1 (ko) 2014-12-08 2014-12-08 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법
US14/825,153 US10133357B2 (en) 2014-12-08 2015-08-12 Apparatus for gesture recognition, vehicle including the same, and method for gesture recognition
CN201510512372.7A CN105677009B (zh) 2014-12-08 2015-08-19 手势识别设备及具有该设备的交通工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140174878A KR101621369B1 (ko) 2014-12-08 2014-12-08 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법

Publications (1)

Publication Number Publication Date
KR101621369B1 true KR101621369B1 (ko) 2016-05-27

Family

ID=56094305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140174878A Active KR101621369B1 (ko) 2014-12-08 2014-12-08 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법

Country Status (3)

Country Link
US (1) US10133357B2 (ko)
KR (1) KR101621369B1 (ko)
CN (1) CN105677009B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042763A (ko) * 2018-10-16 2020-04-24 현대자동차주식회사 차량용 조작 장치
CN114995652A (zh) * 2022-06-28 2022-09-02 天翼数字生活科技有限公司 屏幕控制方法及用户终端
US20230063397A1 (en) * 2021-08-31 2023-03-02 Toyota Motor Engineering & Manufacturing North America, Inc. Deformable user input systems

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140309878A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Providing gesture control of associated vehicle functions across vehicle zones
DE102014216389A1 (de) * 2014-08-19 2016-02-25 BSH Hausgeräte GmbH Bedienvorrichtung für ein Haushaltsgerät mit stabil positioniertem ringförmigen Bedienelement-Vorderteil und Haushaltsgerät mit einer derartigen Bedienvorrichtung
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
US10073574B2 (en) * 2015-10-26 2018-09-11 Semiconductor Components Industries, Llc Methods and apparatus for a capacitive sensor
CN106600939A (zh) * 2017-01-25 2017-04-26 焦作市兔比科技有限公司 便携可分离式无线控制装置
JP2018190268A (ja) * 2017-05-10 2018-11-29 富士フイルム株式会社 タッチ式操作装置とその作動方法および作動プログラム
DE102017218506A1 (de) * 2017-10-17 2019-04-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, System und Verfahren zur Bedienung einer graphischen Benutzeroberfläche sowie Kraftfahrzeug
CN108162811A (zh) * 2017-12-15 2018-06-15 北京汽车集团有限公司 座椅控制方法及装置
US11467553B2 (en) * 2018-10-22 2022-10-11 Accenture Global Solutions Limited Efficient configuration of scenarios for event sequencing
CN110333782B (zh) * 2019-06-25 2023-10-20 浙江吉利控股集团有限公司 一种大灯照射角度调节方法及其系统
KR20230024135A (ko) 2021-08-11 2023-02-20 현대자동차주식회사 스피어타입 변속조작장치의 작동제어방법
CN115303072A (zh) * 2022-08-09 2022-11-08 一汽奔腾轿车有限公司 一种通用化副仪表板及汽车

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006103364A (ja) * 2004-09-30 2006-04-20 Mazda Motor Corp 車両用情報表示装置
KR101091515B1 (ko) * 2009-09-14 2011-12-08 대성전기공업 주식회사 차량의 원격 터치 패드 장치 및 그 제어 방법
JP2013025666A (ja) 2011-07-25 2013-02-04 Sony Corp 情報処理装置、情報処理方法及び入力装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080122799A1 (en) 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
JP2007008246A (ja) 2005-06-29 2007-01-18 Mitsubishi Motors Corp 入力装置
WO2009058745A2 (en) * 2007-10-28 2009-05-07 Synaptics Incorporated Determining actuation of multi-sensor electrode capacitive buttons
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
JP2009294720A (ja) 2008-06-02 2009-12-17 Autonetworks Technologies Ltd 車載機器操作装置
JP2010244772A (ja) * 2009-04-03 2010-10-28 Sony Corp 静電容量式タッチ部材及びその製造方法、並びに静電容量式タッチ検出装置
KR101470027B1 (ko) * 2009-08-18 2014-12-05 현대자동차일본기술연구소 차량용 조작 장치
US8527900B2 (en) * 2010-07-21 2013-09-03 Volkswagen Ag Motor vehicle
KR20120057444A (ko) 2010-11-26 2012-06-05 현대자동차주식회사 차량용 제스처 사용자 인터페이스
WO2012144217A1 (ja) * 2011-04-22 2012-10-26 パナソニック株式会社 車両用入力装置及び車両用入力方法
CN102490667B (zh) * 2011-10-11 2015-07-29 科世达（上海）管理有限公司 一种汽车中控系统
KR20140058309A (ko) 2012-11-06 2014-05-14 삼성전자주식회사 차량용 컨트롤 장치
US20150042580A1 (en) * 2013-08-08 2015-02-12 Lg Electronics Inc. Mobile terminal and a method of controlling the mobile terminal
US9395837B2 (en) * 2013-09-30 2016-07-19 Your Voice S.P.A. Management of data in an electronic device
US9983623B2 (en) * 2014-06-17 2018-05-29 Touchplus Information Corp. Touch sensing device and touch control system
CN104834244A (zh) * 2014-11-05 2015-08-12 电子科技大学 一种手势开关及手势控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006103364A (ja) * 2004-09-30 2006-04-20 Mazda Motor Corp 車両用情報表示装置
KR101091515B1 (ko) * 2009-09-14 2011-12-08 대성전기공업 주식회사 차량의 원격 터치 패드 장치 및 그 제어 방법
JP2013025666A (ja) 2011-07-25 2013-02-04 Sony Corp 情報処理装置、情報処理方法及び入力装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042763A (ko) * 2018-10-16 2020-04-24 현대자동차주식회사 차량용 조작 장치
KR102518551B1 (ko) 2018-10-16 2023-04-07 현대자동차주식회사 차량용 조작 장치
US20230063397A1 (en) * 2021-08-31 2023-03-02 Toyota Motor Engineering & Manufacturing North America, Inc. Deformable user input systems
US11993146B2 (en) * 2021-08-31 2024-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Deformable user input systems
CN114995652A (zh) * 2022-06-28 2022-09-02 天翼数字生活科技有限公司 屏幕控制方法及用户终端
CN114995652B (zh) * 2022-06-28 2024-05-31 天翼数字生活科技有限公司 屏幕控制方法及用户终端

Also Published As

Publication number Publication date
CN105677009B (zh) 2020-05-12
CN105677009A (zh) 2016-06-15
US20160162037A1 (en) 2016-06-09
US10133357B2 (en) 2018-11-20

Similar Documents

Publication Publication Date Title
KR101621369B1 (ko) 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법
US9701201B2 (en) Input apparatus for vehicle and vehicle including the same
KR102686009B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
KR101575650B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
US10732760B2 (en) Vehicle and method for controlling the vehicle
JP2018150043A (ja) 自動車における情報伝送のためのシステム
US20160170495A1 (en) Gesture recognition apparatus, vehicle having the same, and method for controlling the vehicle
CN101466569A (zh) 车辆输入设备
US10166868B2 (en) Vehicle-mounted equipment operation support system
US20180307405A1 (en) Contextual vehicle user interface
WO2018022329A1 (en) Detecting user interactions with a computing system of a vehicle
US9665269B2 (en) Touch input apparatus and vehicle having the same
US10864866B2 (en) Vehicle and control method thereof
US10126938B2 (en) Touch input apparatus and vehicle having the same
JP2018144582A (ja) 車載機器操作装置
KR101619893B1 (ko) 다이얼 조작장치, 이를 포함하는 차량 및 그 제어방법
US20170060312A1 (en) Touch input device and vehicle including touch input device
KR102777585B1 (ko) 차량 및 그 제어방법
KR20180070086A (ko) 차량, 및 그 제어방법
US20160117094A1 (en) Input apparatus, vehicle comprising of the same, and control method of the vehicle
KR20160111651A (ko) 다이얼 조작장치 및 이를 포함하는 차량
CN107608501B (zh) 用户接口设备及包括其的车辆以及控制车辆的方法
US20180086289A1 (en) Vehicle-mounted equipment operating device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141208

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151020

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160428

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160510

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160511

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190429

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200428

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210428

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220427

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230425

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240425

Start annual number: 9

End annual number: 9