KR20160036242A - 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법 - Google Patents

제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법 Download PDF

Info

Publication number
KR20160036242A
KR20160036242A KR1020140128185A KR20140128185A KR20160036242A KR 20160036242 A KR20160036242 A KR 20160036242A KR 1020140128185 A KR1020140128185 A KR 1020140128185A KR 20140128185 A KR20140128185 A KR 20140128185A KR 20160036242 A KR20160036242 A KR 20160036242A
Authority
KR
South Korea
Prior art keywords
information
gesture
vehicle
unit
motion
Prior art date
Application number
KR1020140128185A
Other languages
English (en)
Inventor
박형순
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140128185A priority Critical patent/KR20160036242A/ko
Priority to US14/563,526 priority patent/US20160091978A1/en
Priority to CN201410842783.8A priority patent/CN105799613A/zh
Publication of KR20160036242A publication Critical patent/KR20160036242A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B60K2360/146—
    • B60K2360/1464—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Abstract

본 발명은 대상체의 정보를 수집하는 수집부; 수집부의 움직임을 검출하는 제1검출부; 대상체의 정보에 기초하여 제스처의 정보를 인식하는 제스처 인식 장치를 포함하고, 제스처 인식 장치는, 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부; 검출된 수집부의 움직임의 정보에 기초하여 인식된 제스처의 정보를 보정하고, 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함한다.
본 발명은 외력에 의한 흔들림과 제스처 인식을 위한 대상체의 움직임을 구분할 수 있어 제스처 인식의 정확도를 높일 수 있다.
사용자가 의도한 동작 명령을 정확하게 인식할 수 있기 때문에 제스처를 반복하는 횟수를 줄일 수 있어 사용자의 편의성을 향상시킬 수 있다.
이에 따라 사용자가 운전 중에도 각종 전자 장치를 용이하게 조작할 수 있고 사용자의 편리성 및 차량의 안전성을 향상시킬 수 있다.
이로 인해 제스처 인식 장치 및 차량의 품질을 향상시킬 수 있어 상품성을 증대시킬 수 있다.

Description

제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법 {Gesture recognition apparatus, vehicle having the same and method for controlling the same}
본 발명은 사용자가 의도한 제스처를 인식하기 위한 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.
차량은 기본적인 주행 기능 외에도 오디오 기능, 비디오 기능, 내비게이션 기능, 공조 제어, 시트 제어, 조명 제어 등의 사용자 편의를 위한 부가적인 기능을 더 수행한다.
이러한 차량에는 각각의 기능을 수행하기 위한 전자 장치가 마련되어 있고, 각 전자 장치의 동작 명령을 입력받기 위한 입력부가 마련되어 있다.
각 전자 장치의 입력부는 하나의 패널에 통합적으로 배치될 수도 있고, 서로 다른 패널에 각각 배치될 수도 있다.
이러한 입력부는 하드 키(hard key) 방식, 터치 방식, 음성 인식 방식 및 제스처 인식 방식 중 적어도 하나의 방식으로 구현 가능하다.
입력부를 하드 키 방식으로 구현할 경우에는 다수의 하드 키를 구비하기 위해 물리적으로 넓은 공간이 소모되거나, 소수의 하드 키로 동작 명령을 입력받기 위해 사용자의 조작 부하가 늘어나는 문제가 있고 야간 시 물리적 버튼의 식별을 위한 버튼 조명LED(light-emitting diode)과, 버튼 기구물이 필요하여 입력부의 제조 비용이 증가하는 문제가 발생한다.
입력부를 터치 스크린 방식으로 구현할 경우에는 운전자가 동작 명령을 입력하기 위해 터치 스크린을 일일이 터치해야 하기 때문에 안전 운전에 영향을 미칠 수 있다.
입력부를 제스처 인식 방식으로 구현할 경우에는 부자연스러운 제스처를 취하거나 의도치 않은 손의 움직임이 생겼을 때 동작 명령을 오 인식하는 문제점이 있었고, 또한 손을 검출하는 장치에 외력이 작용하여 흔들림이 생겼을 때 제스처를 오 인식하는 문제점이 있었다.
일 측면은 대상체의 정보를 수집하는 수집부의 흔들림에 기초하여 인식된 제스처의 정보를 보정하는 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
다른 측면은 대상체의 정보를 수집하는 수집부의 흔들림과 차량의 흔들림에 기초하여 인식된 제스처의 정보를 보정하는 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
또 다른 측면은 차량의 흔들림에 기초하여 인식된 제스처의 정보를 보정하는 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
일 측면에 따른 차량은 대상체의 정보를 수집하는 수집부; 수집부의 움직임을 검출하는 제1검출부; 대상체의 정보에 기초하여 제스처의 정보를 인식하는 제스처 인식 장치를 포함하고, 제스처 인식 장치는, 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부; 검출된 수집부의 움직임의 정보에 기초하여 인식된 제스처의 정보를 보정하고, 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함한다.
제어부는, 획득된 제스처의 정보 보정 시, 제스처의 형상 정보를 획득한다.
제스처 인식 장치는, 차량의 주행 정보를 수신하는 통신부를 더 포함하고, 제어부는, 주행 정보에 기초하여 차량의 움직임의 정보를 획득하고, 획득된 차량의 움직임의 정보에 기초하여 보정된 제스처의 정보를 추가적으로 보정하고 추가적으로 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인한다.
차량의 주행 정보는, 차량의 휠 속도와 차량의 실제 속도 정보를 포함한다.
차량은 차량의 움직임을 검출하는 제2검출부를 더 포함하고, 제스처 인식 장치는, 차량의 움직임의 정보를 수신하는 통신부를 더 포함하고, 제어부는, 검출된 차량의 움직임의 정보에 기초하여 보정된 제스처의 정보를 추가적으로 보정하고 추가적으로 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인한다.
제2검출부는, 가속도 센서, 요레이트 센서 자이로센서 및 휠 속도 센서 중 적어도 하나를 포함한다.
다른 측면에 따른 차량은 대상체의 정보를 수집하는 수집부; 수집부의 움직임을 검출하는 제1검출부; 차량의 움직임을 검출하는 제2검출부; 대상체의 정보에 기초하여 제스처의 정보를 인식하는 제스처 인식 장치를 포함하고, 제스처 인식 장치는, 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부; 검출된 차량의 움직임의 정보 및 수집부의 움직임의 정보에 기초하여 인식된 제스처의 정보를 보정하고 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함한다.
제어부는, 획득된 제스처의 정보 보정 시, 제스처의 형상 정보를 획득한다.
또 다른 측면에 따른 차량은 대상체의 정보를 수집하는 수집부; 차량의 움직임을 검출하는 검출부; 대상체의 정보에 기초하여 제스처의 정보를 인식하는 제스처 인식 장치를 포함하고, 제스처 인식 장치는, 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부; 검출된 차량의 움직임의 정보에 기초하여 인식된 제스처의 정보를 보정하고 보정된 제스처의 정보에 기초하여 제스처의 형상을 확인하고 확인된 제스처의 형상에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함한다.
또 다른 측면에 따른 제스처 인식 장치는 대상체의 정보를 수집하는 수집부; 수집부의 움직임을 검출하는 검출부; 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부; 수집된 대상체의 정보에 기초하여 제스처의 정보를 획득하고, 검출된 움직임의 정보에 기초하여 획득된 제스처의 정보를 보정하고, 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부; 확인된 전자 장치로 동작 명령을 출력하는 출력부를 포함한다.
수집부는, 제스처 인식을 위한 대상체의 영상을 수집하는 영상 수집부를 포함한다.
수집부는, 대상체에서 반사된 광을 수신하는 광 센서이다.
제어부는, 획득된 제스처의 정보의 보정 시, 제스처의 형상 정보를 획득한다.
제스처 인식 장치는 차량의 주행 정보를 수신하는 통신부를 더 포함하고, 제어부는, 주행 정보에 기초하여 차량의 움직임의 정보를 획득하고, 차량의 움직임의 정보에 기초하여 보정된 제스처의 정보를 추가로 보정한다.
제스처 인식 장치는 차량의 움직임 정보를 수신하는 통신부를 더 포함하고, 제어부는, 차량의 움직임의 정보에 기초하여 보정된 제스처의 정보를 추가로 보정한다.
수집부와 검출부는 일체로 형성된다.
또 다른 측면에 따른 제스처 인식 장치는 대상체의 정보를 수집하는 수집부; 적어도 하나의 전자 장치의 동작 명령에 대응하는 제스처의 정보를 저장하는 저장부; 차량의 움직임 정보를 수신하는 통신부; 수집된 대상체의 정보에 기초하여 제스처의 정보를 획득하고, 차량의 움직임의 정보에 기초하여 획득된 제스처의 정보를 보정하고, 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함한다.
차량의 움직임의 정보는, 차량의 가속도 정보, 요레이트 정보, 각속도 정보, 차량의 휠 속도 정보와 차량의 실제 속도 정보 중 적어도 하나이다.
또 다른 측면에 따른 제스처 인식 장치의 제어 방법은, 차량에 마련된 제스처 인식 장치의 제어 방법에 있어서, 수집부를 이용하여 차량 내부의 대상체의 정보를 수집하고, 수집된 대상체의 제스처를 획득하고, 대상체의 정보 수집 시 수집부의 움직임을 검출하고, 검출된 움직임의 정보에 기초하여 획득된 제스처의 정보를 보정하고, 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하고, 확인된 전자 장치에 동작 명령을 출력한다.
획득된 제스처의 정보를 보정하는 것은, 차량의 주행 정보를 수신하고, 수신된 주행 정보에 기초하여 차량의 움직임의 정보를 획득하고, 획득된 차량의 움직임의 정보에 기초하여 보정된 제스처의 정보를 추가 보정하는 것을 포함한다.
획득된 제스처의 정보를 보정하는 것은, 차량의 움직임의 정보를 수신하고, 수신된 차량의 움직임의 정보에 기초하여 보정된 제스처의 정보를 추가 보정하는 것을 포함한다.
차량의 움직임의 정보는, 차량의 가속도 정보, 요레이트 정보, 각속도 정보, 차량의 휠 속도 정보와 차량의 실제 속도 정보 중 적어도 하나이다.
또 다른 측면에 따른 제스처 인식 장치의 제어 방법은 차량에 마련된 제스처 인식 장치의 제어 방법에 있어서, 차량에 위치한 대상체의 정보를 수집하고, 수집된 대상체의 제스처를 획득하고, 차량의 움직임을 수신하고, 검출된 움직임의 정보에 기초하여 획득된 제스처의 정보를 보정하고, 보정된 제스처의 정보에 기초하여 제스처의 형상을 인식하고, 제스처의 형상에 기초하여 전자 장치의 동작 명령을 확인하고, 확인된 전자 장치에 동작 명령을 출력한다.
본 발명은 외력에 의한 흔들림과 제스처 인식을 위한 대상체의 움직임을 구분할 수 있어 제스처 인식의 정확도를 높일 수 있다.
사용자가 의도한 동작 명령을 정확하게 인식할 수 있기 때문에 제스처를 반복하는 횟수를 줄일 수 있어 사용자의 편의성을 향상시킬 수 있다.
이에 따라 사용자가 운전 중에도 각종 전자 장치를 용이하게 조작할 수 있고 사용자의 편리성 및 차량의 안전성을 향상시킬 수 있다.
이로 인해 제스처 인식 장치 및 차량의 품질을 향상시킬 수 있어 상품성을 증대시킬 수 있다.
도 1 은 일 실시 예에 따른 제스처 인식 장치가 마련된 차량의 예시도이다.
도 2는 일 실시 예에 따른 제스처 인식 장치가 마련된 차량의 내부 예시도이다.
도 3은 일 실시 예에 따른 제스처 인식 장치의 제어 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 실시 예에 따른 휴먼 머신 인터페이스 장치가 마련된 차량의 예시도이고, 도 2는 실시 예에 따른 휴먼 머신 인터페이스 장치가 마련된 차량의 내부 예시도이다.
차량(1)은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 주행하는 기기로, 도로 위를 이동한다.
차량(1)은 내장과 외장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.
도 1 에 도시된 바와 같이 차체의 외장(110)은 프론트 패널(111), 본네트(112), 루프 패널(113), 리어 패널(114), 트렁크(115), 전후좌우 도어(116) 및 전후좌우 도어에 마련된 윈도우 글래스(117) 등을 포함한다.
그리고 차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 트렁크, 전후좌우 윈도우 글래스 사이의 경계에 마련된 필러(118)를 더 포함한다.
또한 전후좌우 도어에 설치된 사이드 윈도우 글래스와, 필러와 필러 사이에 설치되되 개폐 불가능하게 설치된 쿼터 윈도우 글래스, 후방 측에 설치된 리어 윈도우 글래스, 전방 측에 설치된 프런트 윈도우 글래스를 더 포함한다.
차체의 외장은 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(119) 등을 더 포함한다.
차량의 차대는 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 전후좌우 차륜 등을 더 포함한다.
차량은 운전자 및 탑승자의 안전을 위한 여러 가지 안전장치들을 더 포함한다.
차량의 안정장치로는 차량 충돌 시 운전자 등 탑승자의 안전을 목적으로 하는 에어백 제어 장치와, 차량의 가속 또는 코너링 시 차량의 자세를 차량자세 안정 제어 장치(ESC: Electronic Stability Control) 등 여러 종류의 안전장치들이 있다.
이외에도 차량(1)은 후방 또는 측방의 장애물 내지 다른 차량을 감지하는 근접센서, 강수 여부 및 강수량을 감지하는 레인 센서, 실내/외 온도를 감지하는 온도 센서, 전후좌우 휠의 속도를 감지하는 휠 속도 센서, 가속도를 감지하는 가속도 센서, 요 레이트를 감지하는 요레이트 센서, 차량의 자세를 감지하는 자이로 센서 등의 검출부를 선택적으로 더 포함하는 것도 가능하다.
이러한 차량(1)은 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 여러 가지 안전 장치 및 각종 센서들의 구동을 제어하는 전자 제어 유닛(ECU: Electronic Control Unit)을 포함한다.
또한 차량(1)은 운전자의 편의를 위해 설치된 공조장치, 조명 장치, 내비게이션 장치, 시트의 히터(즉, 열선), 핸즈프리 장치, GPS, 오디오 장치 및 블루투스 장치, 후방 카메라, 외부 단말기의 충전 장치, 하이패스 장치 등의 전자 장치를 선택적으로 포함할 수 있다.
또한 차량(1)은 선루프를 자동으로 개폐하기 위한 선루프 개폐 장치, 도어를 자동으로 개폐하기 위한 도어 개폐 장치, 윈도우 글래스를 자동으로 개폐하기 위한 윈도우 글래스 개폐 장치 등의 전자 장치를 선택적으로 포함할 수 있다.
이러한 차량(1)은 시동모터(미도시)에 동작 명령을 입력하기 위한 시동 버튼을 더 포함할 수 있다.
즉 차량(1)은 시동 버튼이 온 되면 시동모터(미도시)를 동작시키고 시동 모터의 동작을 통해 동력 발생장치인 엔진(미도시)을 구동시킨다.
차량(1)은 내비게이션 장치, 오디오 장치, 실내의 조명 장치, 시동 모터, 그 외 전자 장치들에 전기적으로 연결되어 구동 전력을 공급하는 배터리(미도시)를 더 포함한다.
이러한 배터리는 주행 중 자체 발전기 또는 엔진의 동력을 이용하여 충전을 수행한다.
도 2에 도시된 바와 같이, 차체의 내장(120)은 탑승자가 앉는 시트(121: 121a, 121b)와, 대시 보드(122)와, 대시 보드 상에 배치되고 타코미터, 속도계, 냉각수 온도계, 연료계, 방향전환 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 자동변속 선택레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 연료부족 경고등이 배치된 계기판(즉 클러스터, 123)과, 차량 방향을 조작하는 스티어링 휠(124)과, 오디오 장치와 공조 장치의 조절판이 있는 센터 페시아(125)를 포함한다.
시트(121)는 운전자가 앉는 운전석(121a), 동승자가 앉는 조수석(121b), 차량 내 후방에 위치하는 뒷좌석을 포함한다.
클러스터(123)는 디지털 방식으로 구현할 수 있다. 이러한 디지털 방식의 클러스터는 차량 정보 및 주행 정보를 영상으로 표시한다.
센터 페시아(125)는 대시 보드(122) 중에서 운전석(121a)과 조수석(121b) 사이에 위치하고, 오디오 장치, 공조 장치 및 시트의 히터를 조정하기 위한 복수의 버튼이 배치된 컨트롤 패널을 갖는다.
이러한 센터 페시아(125)에는 송풍구, 시거잭 등이 설치될 수 있다.
또한 센터 페시아(125)에는 사용자로부터 정보를 입력받고 입력된 정보에 대응하는 결과를 출력하는 단말 장치(예를 들어, 내비게이션 장치)가 마련될 수 있다.
차량(1)에는 사용자에 의해 입력된 동작 명령에 기초하여 각종 전자 장치의 동작을 제어하기 위한 제스처 인식 장치(200)가 마련될 수 있다.
즉 제스처 인식 장치(200)는 각종 전자 장치의 동작 명령을 입력받고, 입력된 동작 명령을 해당 전자 장치로 전송한다.
본 실시 예의 제스처 인식 장치(200)는 사용자의 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 확인하고 확인된 동작 명령을 전자 장치로 출력한다.
이러한 제스처 인식 장치를 도 3을 참조하여 설명한다.
도 3은 일 실시 예에 따른 제스처 인식 장치의 제어 구성도이다.
도 3에 도시된 바와 같이, 제스처 인식 장치(200)는 수집부(210) 및 검출부(220)로부터 전송된 신호를 수신하고 수신된 신호에 기초하여 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 확인하는 것으로, 제어부(230), 저장부(240) 및 출력부(250)를 포함한다.
아울러 제스처 인식 장치(200)는 제어부(230), 저장부(240) 및 출력부(250)가 배치된 본체 내에 수집부(210)와 검출부(220)가 함께 배치되어 하나의 모듈로 구현될 수 있다.
수집부(210)는 대상체(예를 들어, 사용자의 손)를 검출하고 검출된 대상체의 형상과 이동 정보에 대한 검출 신호를 제어부(230)에 전송한다.
이러한 수집부(210)는 대상체의 영상을 수집하는 영상 수집부를 포함한다.
여기서 영상 수집부는 하나의 카메라, 서로 다른 위치에서 대상체의 영상을 수집하는 두 개의 카메라 또는 3차원 카메라일 수 있다.
수집부(210)는 대상체의 정전 용량을 검출하는 정전 용량 센서, 대상체와의 거리 검출을 위한 초음파 센서 또는 대상체에서 반사되는 광을 검출하는 광 센서를 포함할 수 있다.
검출부(220)는 수집부(220)에 일체로 배치되거나, 수집부(220)가 마련된 하우징(H) 내에 함께 배치될 수 있다.
이러한 검출부(220)는 수집부(220)의 움직임을 검출하고 검출 신호를 제어부(230)에 전송한다.
즉 검출부(220)는 수집부(220)에서 발생되는 진동을 검출하는 진동 검출부로, 가속도 센서 또는 자이로 센서를 포함한다.
제어부(230)는 수집부(210)에서 수집된 대상체의 검출 신호에 기초하여 제스처를 인식한다.
제어부(230)의 제스처 인식 구성을 영상 수집부의 종류에 따라 좀 더 구체적으로 설명한다.
제어부(230)는 하나의 카메라에서 수집된 영상을 이용하여 2 차원 영상을 획득하고 획득된 2차원의 영상에 대상체가 존재하는지 판단하고, 대상체가 존재한다고 판단되면 대상체의 형상과 이동 방향을 확인하여 사용자에 의해 의도된 제스처를 인식한다.
제어부(230)는 두 개의 카메라에서 수집된 두 개의 2차원 영상을 이용하여 3 차원 영상을 획득하고 획득된 3차원의 영상에 대상체가 존재하는지 판단하고, 대상체가 존재한다고 판단되면 대상체의 형상과 이동 방향을 확인하여 사용자에 의해 의도된 제스처를 인식한다.
제어부(230)는 3차원 카메라에서 수집된 3차원 영상에 대상체가 존재하는지 판단하고, 대상체가 존재한다고 판단되면 대상체의 형상과 이동 방향을 확인하여 사용자에 의해 의도된 제스처를 인식한다.
이때 수집부에서 수집된 대상체의 영상은, 수집부에 작용하는 진동에 의해 모션 블러(Motion Blur)를 포함할 수 있다.
이에 따라 제어부(230)에서 인식된 제스처의 정보는, 모션 블러가 포함된 제스처의 형상 정보를 포함한다.
따라서 제어부(230)는 제스처가 인식되면 수집부(210)의 움직임에 기초하여 인식된 제스처의 정보를 보정하고 보정된 제스처의 정보에 대응하는 전자 장치(300)의 동작 명령을 확인한다.
예를 들어, 제어부(230)는 영상 내 대상체의 적어도 하나의 지점을 기준 지점으로 설정하고, 수집부(210)의 움직임의 크기 및 방향 정보에 기초하여 설정된 기준 지점을 조정함으로써 대상체의 형상 정보를 보정할 수 있다.
이에 따라 사용자에 의해 취해진 제스처의 형상을 획득할 수 있다.
제어부(230)는 대상체가 검출되는 시간 동안 시간의 변화에 따른 움직임의 정보를 순차적으로 적용하여 제스처의 정보를 보정하는 것도 가능하다.
예를 들어, 제어부(230)는 대상체가 2초 동안 검출되었다면 검출된 시작 시점부터 1초 사이의 수집부의 움직임 방향 및 크기에 기초하여 대상체의 영상을 1차 보정하고, 1초에서 2초 사이에 검출된 수집부의 움직임의 방향 및 크기에 기초하여 1차 보정된 영상을 2차 보정한다.
이에 따라 제어부(230)는 인식된 제스처의 형상 정보에서 모션 블러에 해당하는 부분을 제거(즉, 모션 블러 프리)함으로써 명확한 제스처의 형상을 획득할 수 있다.
또한 제어부(230)는 보정된 제스처의 위치를 시간의 흐름에 따라 확인함으로써 제스처의 이동 정보를 인식한다.
여기서 이동 정보는 대상체의 이동 방향 및 대상체의 이동 거리를 포함한다.
저장부(240)는 복수의 전자 장치의 동작 명령을 각각 저장하고, 각 전자 장치를 제어하기 위한 동작 명령에 대응하는 제스처 정보를 저장한다.
여기서 복수의 전자 장치는, 차량 내부의 온도를 조절하기 위한 공조 장치와, 라디오나 음악 파일을 재생시키기 위한 오디오 장치와, 목적지까지 길을 안내하는 내비게이션 장치와, 차량 내부 밝기를 조정하기 위한 복수의 조명 장치와, 차량의 외부에 배치된 조명 장치(헤드 라이트 등), 외부 단말 장치와 통신을 위한 블루투스 장치와, 시트에 열을 제공하기 위한 히터와, 윈도우 글래스를 자동으로 개폐하기 위한 윈도우 글래스 개폐 장치와, 선루프를 자동으로 개폐하기 위한 선루프 개폐 장치와, 전후좌우 도어를 자동으로 개폐하기 위한 도어 개폐 장치 및 전후좌우의 도어를 잠금 또는 해제하기 위한 도어 잠금 장치(미도시)를 포함한다.
아울러 저장부(240)는 하나의 제스처에 대응하는 적어도 두 개의 전자 장치의 동작 명령을 저장하는 것도 가능하다.
출력부(250)는 복수의 전자 장치에 각각 연결되어 적어도 하나의 전자 장치에 동작 명령을 출력한다.
이러한 출력부(250)는 복수의 전자 장치가 연결되는 디지털 포트 및 아날로그 포트 등을 포함할 수 있다.
아울러 출력부(250)는 복수의 전자 장치와 통신을 위한 CAN 통신을 포함할 수 있다.
도 4는 일 실시 예에 따른 제스처 인식 장치의 제어 순서도로, 차량 내부에서의 제어 순서를 설명한다.
차량 내의 제스처 인식 장치는 운전자나 동승자 탑승 시 차량 내부의 영상을 수집하고, 수집부의 움직임을 검출(401)한다.
차량 내의 영상 수집과 수집부의 움직임 검출을 함께 수행하는 것은, 대상체가 포함된 영상의 수집 시점에 수집부에 진동이 발생하였는지를 판단하기 위해서이다.
즉 영상 수집 시 수집부에 외력이 작용하여 진동이 발생하게 되면 수집된 영상에 모션 블러가 발생될 수 있기 때문이다.
제스처 인식 장치는 수집된 영상을 영상 처리하고, 영상 처리된 영상 내의 대상체가 포함되어 있는지 판단하고, 영상 내에 대상체가 포함되어 있다고 판단되면 대상체의 제스처를 인식(402)한다.
여기서 제스처를 인식하는 것은, 대상체의 형상 및 이동 정보를 인식하는 것을 포함한다.
다음 제스처 인식 장치는 대상체의 영상 수집 시점에 수집부에 진동에 의한 움직임이 발생하였는지 판단(403)하고, 이때 수집부에 진동이 발생하지 않았다고 판단되면 인식된 제스처에 대응하는 전자 장치의 동작 명령을 확인(404)한다.
반면, 제스처 인식 장치는 대상체의 영상 수집 시에 수집부에 움직임이 발생하였다고 판단되면 수집부의 움직임 정보에 기초하여 인식된 제스처의 정보를 보정(404)하고, 보정된 제스처에 대응하는 전자 장치의 동작 명령을 확인(405)한다.
다음 제스처 인식 장치는 확인된 전자 장치로 확인된 동작 명령을 출력(406)한다.
제스처 인식 장치는 대상체의 영상 수집 시에 수집부에 진동에 의한 움직임이 발생하게 되면, 대상체의 영상에 모션 블러(Motion Blur)가 포함되기 때문에, 영상 내의 모션 블러를 제거하기 위해 수집부의 움직임의 정보에 기초하여 인식된 제스처의 정보를 보정함으로써 대상체의 고유 형상을 가진 영상을 얻을 수 있다.
도 5에 도시된 바와 같이, 제스처 인식 장치는 모션 블러가 발생된 영상(BI) 내 적어도 하나의 지점을 기준 지점(예를 들어 테두리 지점)으로 설정하고, 수집부(210)의 움직임의 크기 및 이동 정보에 기초하여 설정된 기준 지점을 조정함으로써 대상체의 형상이 보정된 모션 블러 프리의 영상(Motion Blur Free, OI)을 획득할 수 있다.
그리고 제스처 인식 장치는 보정된 대상체의 위치를 시간의 흐름에 따라 확인함으로써 대상체의 이동 정보를 획득할 있고, 보정된 대상체의 형상과 이동 정보에 기초하여 제스처를 인식할 수 있다.
이와 같이 인식된 제스처의 정보에서 수집부의 움직임의 정보에 대응하는 노이즈를 제거함으로써 명확한 제스처의 영상을 획득할 수 있다.
도 6은 다른 실시 예에 따른 제스처 인식 장치의 제어 구성도이다.
도 6에 도시된 바와 같이, 제스처 인식 장치(200)는 수집부(210), 제1검출부(220) 및 제2검출부(350)로부터 전송된 신호를 수신하고, 수신된 신호에 기초하여 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 확인하는 것으로, 제어부(230), 저장부(240), 출력부(250) 및 통신부(260)를 포함한다.
여기서 제1검출부(220)는 일 실시 예의 검출부(220)와 동일하며, 제2검출부와의 차별화를 위해 제1, 제2로 구분한다.
제2검출부(350)는 차량에 마련되고 차량의 움직임을 검출하고, 검출된 차량의 움직임 정보를 제스처 인식 장치로 전송한다.
제2검출부(350)는 차량의 주행 정보, 자세 정보 등의 움직임을 검출하는 것으로, 차량의 휠속도, 차량의 가속도, 차량의 요레이트, 차량의 각속도 중 적어도 하나를 검출한다.
이러한 제2 검출부(350)는 휠 속도 센서, 가속도 센서, 요레이트 센서 및 자이로 센서 중 적어도 하나의 센서를 포함한다.
아울러 제스처 인식 장치(200)는 제어부(230), 저장부(240) 및 출력부(250)가 배치된 본체 내에 수집부(210)와 제1검출부(220)가 함께 배치되어 하나의 모듈로 구현될 수 있다.
다른 실시 예에 따른 수집부(210), 제1검출부(220), 저장부(240) 및 출력부(250)는 일 실시 예의 수집부(210), 제1검출부(220), 저장부(240) 및 출력부(250)와 동일하여 설명을 생략한다.
제어부(230)는 수집부(210)에서 수집된 대상체의 검출 신호에 기초하여 제스처를 인식한다.
여기서 수집부에 수집된 대상체의 영상은 차량의 움직임 및 수집부의 움직임에 의해 모션 블러를 포함할 수 있다.
즉 차량의 움직임에 대응하여 차량 내에 배치된 수집부의 움직임이 발생하고, 이때 수집부와 대상체 상호 간의 위치가 순간 변화함에 따라 사용자가 의도한 제스처의 이동 정보와 다른 이동 정보를 가진 제스처가 인식되게 된다.
또한 차량의 움직임 및 외력이 수집부에 전달됨에 따라 수집부의 진동이 발생하고, 수집부의 진동에 의해 사용자가 의도한 제스처의 형상 정보와 다른 형상 정보를 가진 제스처가 인식될 수 있다.
즉 제어부(230)에서 인식된 제스처의 정보는, 모션 블러가 포함된 제스처의 정보를 포함한다.
따라서 제어부(230)는 제스처가 인식되면 차량의 움직임 정보에 기초하여 인식된 제스처의 정보를 보정하고, 수집부(210)의 움직임의 정보에 기초하여 보정된 제스처의 정보를 추가 보정하며 추가 보정된 제스처의 정보에 대응하는 전자 장치(300)의 동작 명령을 확인한다.
예를 들어, 제어부(230)는 영상 내 대상체의 적어도 하나의 지점을 기준 지점으로 설정하고, 차량의 움직임의 크기 및 방향 정보에 기초하여 설정된 기준 지점을 조정한 후 수집부(210)의 움직임의 크기 및 방향 정보에 기초하여 조정된 기준 지점을 추가 조정함으로써 대상체의 형상 정보 및 이동 정보를 보정할 수 있다.
이에 따라 사용자에 의해 취해진 제스처의 형상 및 이동 정보를 획득할 수 있다.
여기서 차량의 움직임 정보는 차량의 가속도 정보를 포함한다.
제어부(230)는 차량에 마련된 휠 속도 센서로부터 전후좌우 휠의 속도 정보를 수신하고, 수신된 전후좌우 휠의 속도 정보에 기초하여 차량의 실제 속도 정보를 획득하고, 획득된 차량의 실제 속도 정보에 기초하여 차량의 가속도 정보를 획득한다.
제어부(230)는 차량 내에 마련된 요레이트 센서로부터 차량의 요 레이트 정보를 수신하고, 수신된 요레이트 정보에 기초하여 차량의 가속도 정보를 획득하는 것도 가능하다.
제어부(230)는 차량 내에 마련된 자이로 센서로부터 차량의 각속도 정보를 수신하고, 수신된 각속도 정보에 기초하여 차량의 가속도 정보를 획득하는 것도 가능하다.
제어부(230)는 차량 내에 마련된 가속도 센서로부터 차량의 가속도 정보를 직접 수신하는 것도 가능하다.
제어부(230)는 대상체가 검출되는 시간 동안 시간의 변화에 따른 차량(1)의 움직임 및 수집부(210)의 움직임의 정보를 순차적으로 적용하여 제스처의 이동 정보를 보정한다.
예를 들어, 제어부(230)는 대상체가 2초 동안 검출되었다면 검출된 시작 시점부터 1초 사이의 차량의 움직임 및 수집부의 움직임 방향 및 크기에 기초하여 대상체의 영상을 1차 보정하고, 1초에서 2초 사이에 검출된 차량의 움직임 및 수집부의 움직임의 방향 및 크기에 기초하여 1차 보정된 영상을 2차 보정한다.
여기서 대상체의 영상을 1차 및 2차 보정하는 것은, 대상체의 위치와 형상을 보정하는 것을 포함한다.
이에 따라 제어부(230)는 인식된 제스처의 형상 정보에서 모션 블러에 해당하는 부분을 제거(즉, 모션 블러 프리)함으로써 명확한 제스처의 형상을 획득할 수 있고, 보정된 제스처의 위치 변화를 시간의 흐름에 따라 확인함으로써 제스처의 이동 정보를 획득할 수 있다.
여기서 이동 정보는 대상체의 이동 방향 및 대상체의 이동 거리를 포함한다.
통신부(260)는 제2검출부(350)와 통신을 수행하고, 제2검출부(350)에서 검출된 차량의 움직임 정보를 제어부(230)에 전송한다.
이러한 통신부(260)는 CAN통신을 포함할 수 있다.
도 7은 다른 실시 예에 따른 제스처 인식 장치의 제어 순서도로, 차량 내부에서의 제어 순서를 설명한다.
차량 내의 제스처 인식 장치는 운전자나 동승자 탑승 시 차량 내부의 영상을 수집하고, 수집부(210)의 움직임을 검출하고 차량의 움직임을 획득(411)한다.
차량 내의 영상 수집 시에 수집부의 움직임을 검출하고 동시에 차량의 움직임을 함께 획득하는 것은, 대상체가 포함된 영상의 수집 시점에 차량의 움직임에 의해 수집부와 대상체 사이의 위치가 변화하였는지를 판단하고, 또한 차량의 움직임과 그 외 외력에 의해 수집부에 진동이 발생하였는지를 판단하기 위해서이다.
즉 영상 수집 시 차량 및 수집부 중 적어도 하나에 움직임이 작용하여 수집부와 대상체와의 사이에 위치가 변화하거나 수집부에 진동이 발생하게 되면 수집된 영상에 모션 블러가 발생할 수 있기 때문이다.
제스처 인식 장치는 수집된 영상을 영상 처리하고, 영상 처리된 영상 내의 대상체가 포함되어 있는지 판단하고, 영상 내에 대상체가 포함되어 있다고 판단되면 대상체의 제스처를 인식(412)한다.
여기서 제스처를 인식하는 것은, 대상체의 형상 및 이동 정보를 인식하는 것을 포함한다.
다음 제스처 인식 장치는 대상체의 영상 수집 시점에 차량의 움직임에 의해 수집부와 대상체 사이에 위치가 변화하였는지 판단(413)한다.
제스처 인식 장치는 차량의 움직임이 발생하지 않았다고 판단되면 수집부의 움직임이 발생하였는지 판단(414)하고, 수집부에도 움직임이 발생하지 않았다고 판단되면 인식된 제스처의 정보에 대응하는 동작 명령을 확인(415)한다.
여기서 수집부의 움직임이 발생하였는지 판단하는 것은, 차량이 정차된 상태에서 사용자의 움직임 등의 외력에 의해 수집부에 진동이 발생하였다고 판단하는 것을 포함한다.
다음 제스처 인식 장치는 차량의 움직임이 발생하지 않은 상태에서 수집부의 움직임이 발생하였다고 판단되면 수집부의 움직임 정보에 기초하여 제스처의 정보를 보정(416)하고, 보정된 제스처의 정보에 대응하는 동작 명령을 확인(417)한다.
예를 들어, 차량이 정차된 상태에서 차량 내부의 사용자의 움직임 등의 외력에 의해 수집부에 진동이 발생하였다고 판단되면 수집부에 작용한 진동의 크기 및 방향에 기초하여 인식된 제스처를 보정한다.
다음 제스처 인식 장치는 차량의 움직임이 발생하였다고 판단되면 차량의 움직임 정보에 기초하여 제스처의 정보를 보정(418)한다.
즉, 수집부를 이용하여 대상체의 정보 수집 시에, 차량의 움직임에 대응하는 힘이 수집부에 작용하게 되면 힘의 방향에 따라 수집부와 대상체 사이의 위치가 변화하게 됨으로써 대상체가 이동하는 것과 같은 제스처가 인식될 수 있기 때문이다.
예를 들어, 도 8에 도시된 바와 같이, 차량의 속도가 갑자기 빨라져 기준 속도 변화량 이상이 되면, 즉 급가속됨에 따라 수집부(120)가 앞쪽으로 순간 이동하면 차량 내 수집부와 대상체(즉, 사용자의 손) 사이의 위치가 멀어지고, 이때 수집부에는 대상체가 앞에서 뒤로 이동하는 것과 같은 영상이 수집될 수 있다.
이와 같이 제스처 인식 장치는 차량의 움직임에 따라 제스처의 이동 정보를 오 인식할 수 있기 때문에, 대상체의 영상 수집 시 차량이 움직임이 발생하면 차량의 움직임에 기초하여 시간에 따른 대상체의 위치를 보정한다.
예를 들어, 제스처 인식 결과 대상체가 뒤쪽으로 -5만큼 이동하나 상태에서 차량의 움직임이 앞쪽으로 +5만큼 이동하였다고 판단되면 대상체는 정지 상태였다고 판단할 수 있다.
다음 제스처 인식 장치는 차량의 움직임이 발생한 상태에서 수집부의 움직임이 발생하였는지 판단(419)하고, 이때 수집부에 진동이 발생하지 않았다고 판단되면 차량의 움직임에 따라 보정된 제스처의 정보에 대응하는 동작 명령을 확인(420)한다.
여기서 수집부에 움직임이 발생하였는지 판단하는 것은, 차량의 움직임에 따른 힘 및 그 외 외력에 의해 수집부에 진동이 발생하였는지 판단하는 것을 포함한다.
아울러 차량의 움직임에 따른 힘에 대응하는 수집부의 움직임의 정보는 실험에 의해 획득되어 미리 저장되어 있다.
제스처 인식 장치는 차량의 움직임이 발생한 상태에서 수집부에 움직임도 발생하였다고 판단되면 수집부의 움직임 정보에 기초하여 보정된 제스처의 정보를 추가 보정(421)하고, 추가 보정된 제스처에 대응하는 전자 장치의 동작 명령을 확인(422)한다.
도 9에 도시된 바와 같이, 대상체의 영상 수집 시에 차량의 움직임이 발생하게 되면, 대상체의 영상에 모션 블러(Motion Blur)가 발생하는데, 이때 차량의 움직임에 대응하는 힘의 방향 및 크기에 기초한 거리만큼 위치가 이동되는 모션 블러(BI1)가 발생하게 되고, 차량의 움직임에 대응하는 힘의 크기와 외력에 의해 수집부에 진동이 발생하게 되면 모션 블러(BI2)가 더 발생하게 된다.
이때 두 개의 손가락을 편 대상체의 형상이, 세 개 또는 네 개의 손가락을 편 대상체의 형상으로 인식될 수 있고, 또한 오른쪽에서 왼쪽으로 이동하는 이동 정보를 가진 제스처로 인식될 수 있다.
따라서, 제스처 인식 장치는 차량의 움직임의 크기 및 방향 정보, 수집부의 움직임의 크기 및 방향 정보에 기초하여 영상을 보정하되, 일정 시간 간격으로 영상을 보정함으로써 일정 시간 간격으로 모션 블러 프리의 영상(Motion Blur Free, OI)을 획득할 수 있다.
이에 따라 제스처 인식 장치는 대상체의 고유 형상을 가진 영상(OI)을 얻을 수 있고 또한 대상체의 이동 정보를 얻음으로써 명확한 제스처의 영상을 획득할 수 있다.
다음 제스처 인식 장치는 확인된 전자 장치로 확인된 동작 명령을 출력(423)하??로써, 해당 전자 장치가 사용자의 의도에 대응하는 동작명령으로 동작하도록 할 수 있다.
도 10은 또 다른 실시 예에 따른 제스처 인식 장치의 제어 구성도이다.
도 10에 도시된 바와 같이, 제스처 인식 장치(200)는 수집부(210) 및 검출부(350)로부터 전송된 신호를 수신하고, 수신된 신호에 기초하여 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 확인하는 것으로, 제스처 인식 장치는 제어부(230), 저장부(240), 출력부(250) 및 통신부(260)를 포함한다.
여기서 검출부(350)는 다른 실시 예의 제2검출부(350)와 동일한 것으로, 설명을 생략한다.
아울러 제스처 인식 장치(200)는 제어부(230), 저장부(240) 및 출력부(250)가 배치된 본체 내에 수집부(210)와가 함께 배치되어 하나의 모듈로 구현될 수 있다.
또 다른 실시 예에 따른 수집부(210), 저장부(240), 출력부(250) 및 통신부(260)는 다른 실시 예의 수집부(210), 저장부(240), 출력부(250) 및 통신부(260)와 동일하여 설명을 생략한다.
제어부(230)는 수집부(210)에서 수집된 대상체의 검출 신호에 기초하여 제스처를 인식한다.
여기서 수집부에 수집된 대상체의 영상은 차량의 움직임에 의해 모션 블러를 포함할 수 있다.
즉 차량의 움직임에 대응하여 차량 내에 배치된 수집부의 움직임이 발생하고, 이때 수집부와 대상체 상호 간의 위치가 순간 변화함에 따라 사용자가 의도한 제스처의 이동 정보와 다른 이동 정보를 가진 제스처가 인식되게 된다.
또한 차량의 움직임이 수집부에 전달됨에 따라 수집부의 진동이 발생하고, 수집부의 진동에 의해 사용자가 의도한 제스처의 형상 정보와 다른 형상 정보를 가진 제스처가 인식될 수 있다.
여기서 수집부에 전단될 진동은, 차량의 움직임에 기초하여 예측 가능한 것으로, 실험에 의해 획득되어 저장된 정보이다.
즉 제어부(230)에서 인식된 제스처의 정보는, 차량의 움직임에 의해 발생된 모션 블러가 포함된 제스처의 정보를 포함한다.
따라서 제어부(230)는 제스처가 인식되면 차량의 움직임 정보에 기초하여 인식된 제스처의 정보를 보정하고, 보정된 제스처의 정보에 대응하는 전자 장치(300)의 동작 명령을 확인한다.
아울러 제어부(230)는 차량의 움직임에 대응하는 수집부의 움직임을 확인하고, 확인된 수집부의 움직임에 기초하여 제스처의 정보를 추가 보정하는 것도 가능하다.
예를 들어, 제어부(230)는 영상 내 대상체의 적어도 하나의 지점을 기준 지점으로 설정하고, 차량의 움직임의 크기 및 방향 정보에 기초하여 설정된 기준 지점을 조정함으로써 대상체의 형상 정보 및 이동 정보를 보정할 수 있다.
이에 따라 사용자에 의해 취해진 제스처의 형상 및 이동 정보를 획득할 수 있다.
여기서 차량의 움직임 정보는 차량의 가속도 정보를 포함한다.
제어부(230)는 차량에 마련된 휠 속도 센서로부터 전후좌우 휠의 속도 정보를 수신하고, 수신된 전후좌우 휠의 속도 정보에 기초하여 차량의 실제 속도 정보를 획득하고, 획득된 차량의 실제 속도 정보에 기초하여 차량의 가속도 정보를 획득한다.
제어부(230)는 차량 내에 마련된 요레이트 센서로부터 차량의 요 레이트 정보를 수신하고, 수신된 요레이트 정보에 기초하여 차량의 가속도 정보를 획득하는 것도 가능하다.
제어부(230)는 차량 내에 마련된 자이로 센서로부터 차량의 각속도 정보를 수신하고, 수신된 각속도 정보에 기초하여 차량의 가속도 정보를 획득하는 것도 가능하다.
제어부(230)는 차량 내에 마련된 가속도 센서로부터 차량의 가속도 정보를 직접 수신하는 것도 가능하다.
제어부(230)는 대상체가 검출되는 시간 동안 시간의 변화에 따른 차량(1)의 움직임의 정보를 순차적으로 적용하여 제스처의 이동 정보를 보정한다.
예를 들어, 제어부(230)는 대상체가 2초 동안 검출되었다면 검출된 시작 시점부터 1초 사이의 차량의 움직임의 방향 및 크기에 기초하여 대상체의 영상을 1차 보정하고, 1초에서 2초 사이에 검출된 차량의 움직임의 방향 및 크기에 기초하여 1차 보정된 영상을 2차 보정한다.
여기서 대상체의 영상을 1차 및 2차 보정하는 것은, 대상체의 위치와 형상을 보정하는 것을 포함한다.
이에 따라 제어부(230)는 인식된 제스처의 형상 정보에서 모션 블러에 해당하는 부분을 제거(즉, 모션 블러 프리)함으로써 명확한 제스처의 형상을 획득할 수 있고, 보정된 제스처의 위치 변화를 시간의 흐름에 따라 확인함으로써 제스처의 이동 정보를 획득할 수 있다.
여기서 이동 정보는 대상체의 이동 방향 및 대상체의 이동 거리를 포함한다.
도 11은 다른 실시 예에 따른 제스처 인식 장치의 제어 순서도로, 차량 내부에서의 제어 순서를 설명한다.
차량 내의 제스처 인식 장치는 운전자나 동승자 탑승 시 차량 내부의 영상을 수집하고, 차량의 움직임을 획득(431)한다.
차량 내의 영상 수집 시에 차량의 움직임을 함께 획득하는 것은, 대상체가 포함된 영상의 수집 시점에 차량의 움직임에 의해 수집부와 대상체 사이의 위치가 변화하였는지를 판단하기 위해서이다.
즉 영상 수집 시 차량에 움직임이 작용하여 수집부와 대상체와의 사이에 위치가 변화하게 되면 수집된 영상에 모션 블러가 발생할 수 있기 때문이다.
제스처 인식 장치는 수집된 영상을 영상 처리하고, 영상 처리된 영상 내의 대상체가 포함되어 있는지 판단하고, 영상 내에 대상체가 포함되어 있다고 판단되면 대상체의 제스처를 인식(432)한다.
여기서 제스처를 인식하는 것은, 대상체의 형상 및 이동 정보를 인식하는 것을 포함한다.
다음 제스처 인식 장치는 대상체의 영상 수집 시점에 차량의 움직임이 발생하였는지 판단(433)한다.
제스처 인식 장치는 차량의 움직임이 발생하지 않았다고 인식된 제스처의 정보에 대응하는 동작 명령을 확인(434)한다.
여기서 차량의 움직임이 발생하였는지 판단하는 것은, 차량의 움직임에 의해 수집부의 위치가 순간 이동하여 수집부와 대상체 사이의 상호 위치가 변화하였는지 판단하는 것을 포함한다.
다음 제스처 인식 장치는 차량의 움직임이 발생하였다고 판단되면 차량의 움직임 정보에 기초하여 제스처의 정보를 보정(435)하고, 보정된 제스처의 정보에 대응하는 동작 명령을 확인(436)한다.
즉, 수집부를 이용하여 대상체의 정보 수집 시에, 차량의 움직임에 대응하는 힘이 수집부에 작용하게 되면 힘의 방향에 따라 수집부와 대상체 사이의 위치가 변화하게 됨으로써 대상체가 이동하는 것과 같은 제스처가 인식될 수 있기 때문이다.
도12에 도시된 바와 같이, 차량의 속도가 갑자기 빨라지면서 기준 속도 변화량 이상이 되고 왼쪽으로 회전하게 되면, 즉 차량의 급가속 및 회전에 따라 수집부(120)가 왼쪽으로 순간 이동하면서 차량 내 수집부와 대상체(즉, 사용자의 손) 사이의 좌우 위치가 멀어지고, 이때 수집부에는 대상체가 왼쪽에서 오른쪽으로 이동하는 것과 같은 영상이 수집될 수 있다.
즉 대상체의 영상 수집 시에 차량의 움직임이 발생하게 되면, 대상체의 영상에 모션 블러(Motion Blur)가 발생하는데, 이때 차량의 움직임에 대응하는 힘의 방향 및 크기에 기초한 거리만큼 위치가 이동되는 모션 블러(BI)가 발생하게 된다.
이때 두 개의 손가락을 편 대상체의 형상이, 세 개 또는 네 개의 손가락을 편 대상체의 형상으로 인식될 수 있고, 또한 오른쪽에서 왼쪽으로 이동하는 이동 정보를 가진 제스처로 인식될 수 있다.
이와 같이 제스처 인식 장치는 차량의 움직임에 따라 제스처의 이동 정보를 오 인식할 수 있기 때문에, 대상체의 영상 수집 시 차량이 움직임이 발생하면 차량의 움직임에 기초하여 시간에 따른 대상체의 위치를 보정한다.
따라서, 제스처 인식 장치는 차량의 움직임의 크기 및 방향 정보에 기초하여 영상을 보정하되, 일정 시간 간격으로 영상을 보정함으로써 일정 시간 간격으로 모션 블러 프리의 영상(Motion Blur Free, OI)을 획득할 수 있다.
아울러 제스처 인식 장치는 차량의 움직임에 대응하는 힘 크기 및 힘의 방향을 확인하고 확인된 힘의 크기 및 방향에 기초하여 수집부에 작용되는 진동의 크기 및 방향을 예측하는 것도 가능하다.
이때 제스처 인식 장치는 예측된 수집부의 진동의 크기 및 방향에 기초하여 제스처의 정보를 추가 보정하는 것도 가능하다.
이에 따라 제스처 인식 장치는 대상체의 고유 형상을 가진 영상을 얻을 수 있고 또한 대상체의 이동 정보를 얻음으로써 명확한 제스처의 영상을 획득할 수 있다.
다음 제스처 인식 장치는 확인된 전자 장치로 확인된 동작 명령을 출력(437)함으로써, 해당 전자 장치가 사용자의 의도에 대응하는 동작명령으로 동작하도록 할 수 있다.
도 13은 또 다른 실시 예에 따른 제스처 인식 장치의 제스처 인식 예시도이다.
또 다른 실시 예에 따른 제스처 인식 장치는 차량 내부의 공간을 복수 개의 영역으로 구분하고, 각 영역(A, B, C)에 배치된 전자 장치의 정보와, 각 전자 장치의 동작 명령에 대응하는 제스처 정보를 저장한다.
이러한 제스처 인식 장치는 어느 하나의 영역 내에서 대상체 검출 시, 대상체가 검출된 영역을 확인하고, 또한 제스처 정보에 대응하는 전자 장치의 동작 명령을 확인한 후 확인된 전자 장치에 인식된 제스처에 대응하는 동작 명령을 전송한다.
제스처 인식 장치는, 차량의 움직임 정보와 수집부의 움직임 정보 중 적어도 하나의 움직임 정보에 기초하여 인식된 제스처 정보를 보정하고, 보정된 제스처 정보에 대응하는 전자 장치의 동작 명령을 확인한다.
예를 들어, 제1영역(A)에서 손을 왼쪽에서 오른쪽으로 움직이는 제스처를 수행하고자 할 때, 차량의 움직임이 발생하게 되면 수집부와 대상체 사이의 위치가 변화하게 되고, 이때 수집부에는 제2영역(B)까지 이동하는 대상체의 영상이 수집되게 된다.
이에 따라 제스처 인식 장치는 제1영역과 제2영역 모두에서 제스처가 수행되었다고 판단하고, 제스처 인식 오류를 출력할 수 있는데, 이를 방지하기 위해 차량의 움직임에 대응하는 힘의 방향과 크기에 기초하여 대상체의 이동 정보(d)를 보정함으로써 제스처가 제1영역(A) 내에서 수행되었음을 인식하게 되고, 이 인식 결과에 기초하여 제1영역(A)에 배치된 전자 장치에 보정된 제스처의 정보에 대응하는 동작 명령을 출력할 수 있다.
이에 따라 사용자가 어느 영역에서 제스처를 취했는지를 정확하게 판단할 수 있어 전자 장치를 사용자가 의도한 대로 제어할 수 있다.
아울러 복수의 영역별로 전자 장치의 동작을 제어할 경우, 제스처 인식율을 더 향상시킬 수 있어 사용자의 만족도를 높일 수 있다.
1: 차량 200: 제스처 인식 장치
210: 수집부 220: 검출부(또는 제1검출부)
230: 제어부 240: 저장부
250: 출력부 260: 통신부
300: 전자 장치 350: 검출부(또는 제2검출부)

Claims (23)

  1. 대상체의 정보를 수집하는 수집부;
    상기 수집부의 움직임을 검출하는 제1검출부;
    상기 대상체의 정보에 기초하여 제스처의 정보를 인식하는 제스처 인식 장치를 포함하고,
    상기 제스처 인식 장치는,
    상기 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부;
    상기 검출된 수집부의 움직임의 정보에 기초하여 상기 인식된 제스처의 정보를 보정하고, 상기 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함하는 차량.
  2. 제 1 항에 있어서, 상기 제어부는,
    상기 획득된 제스처의 정보 보정 시, 상기 제스처의 형상 정보를 획득하는 차량.
  3. 제 2 항에 있어서,
    상기 제스처 인식 장치는, 차량의 주행 정보를 수신하는 통신부를 더 포함하고,
    상기 제어부는, 상기 주행 정보에 기초하여 상기 차량의 움직임의 정보를 획득하고, 상기 획득된 차량의 움직임의 정보에 기초하여 상기 보정된 제스처의 정보를 추가적으로 보정하고 추가적으로 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 차량.
  4. 제 3 항에 있어서, 상기 차량의 주행 정보는,
    상기 차량의 휠 속도와 상기 차량의 실제 속도 정보를 포함하는 차량.
  5. 제 4 항에 있어서,
    차량의 움직임을 검출하는 제2검출부를 더 포함하고,
    상기 제스처 인식 장치는, 상기 차량의 움직임의 정보를 수신하는 통신부를 더 포함하고,
    상기 제어부는, 상기 검출된 차량의 움직임의 정보에 기초하여 상기 보정된 제스처의 정보를 추가적으로 보정하고 추가적으로 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 차량.
  6. 제 5 항에 있어서, 상기 제2검출부는,
    가속도 센서, 요레이트 센서 자이로센서 및 휠 속도 센서 중 적어도 하나를 포함하는 차량.
  7. 대상체의 정보를 수집하는 수집부;
    상기 수집부의 움직임을 검출하는 제1검출부;
    차량의 움직임을 검출하는 제2검출부;
    상기 대상체의 정보에 기초하여 제스처의 정보를 인식하는 제스처 인식 장치를 포함하고,
    상기 제스처 인식 장치는,
    상기 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부;
    상기 검출된 차량의 움직임의 정보 및 수집부의 움직임의 정보에 기초하여 상기 인식된 제스처의 정보를 보정하고 상기 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함하는 차량.
  8. 제 7 항에 있어서, 상기 제어부는,
    상기 획득된 제스처의 정보 보정 시, 상기 제스처의 형상 정보를 획득하는 차량.
  9. 대상체의 정보를 수집하는 수집부;
    차량의 움직임을 검출하는 검출부;
    상기 대상체의 정보에 기초하여 제스처의 정보를 인식하는 제스처 인식 장치를 포함하고,
    상기 제스처 인식 장치는,
    상기 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부;
    상기 검출된 차량의 움직임의 정보에 기초하여 상기 인식된 제스처의 정보를 보정하고 상기 보정된 제스처의 정보에 기초하여 제스처의 형상을 확인하고 상기 확인된 제스처의 형상에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함하는 차량.
  10. 대상체의 정보를 수집하는 수집부;
    상기 수집부의 움직임을 검출하는 검출부;
    상기 제스처의 정보에 대응하는 전자 장치의 동작 명령을 저장하는 저장부;
    상기 수집된 대상체의 정보에 기초하여 제스처의 정보를 획득하고, 상기 검출된 움직임의 정보에 기초하여 상기 획득된 제스처의 정보를 보정하고, 상기 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부;
    상기 확인된 전자 장치로 상기 동작 명령을 출력하는 출력부를 포함하는 제스처 인식 장치.
  11. 제 10 항에 있어서, 상기 수집부는,
    제스처 인식을 위한 대상체의 영상을 수집하는 영상 수집부를 포함하는 제스처 인식 장치.
  12. 제 10 항에 있어서, 상기 수집부는,
    상기 대상체에서 반사된 광을 수신하는 광 센서인 제스처 인식 장치.
  13. 제 10 항에 있어서, 상기 제어부는,
    상기 획득된 제스처의 정보의 보정 시, 상기 제스처의 형상 정보를 획득하는 제스처 인식 장치.
  14. 제 10 항에 있어서,
    차량의 주행 정보를 수신하는 통신부를 더 포함하고,
    상기 제어부는, 상기 주행 정보에 기초하여 상기 차량의 움직임의 정보를 획득하고, 상기 차량의 움직임의 정보에 기초하여 상기 보정된 제스처의 정보를 추가로 보정하는 제스처 인식 장치.
  15. 제 10 항에 있어서,
    차량의 움직임 정보를 수신하는 통신부를 더 포함하고,
    상기 제어부는, 상기 차량의 움직임의 정보에 기초하여 상기 보정된 제스처의 정보를 추가로 보정하는 제스처 인식 장치.
  16. 제 10 항에 있어서,
    상기 수집부와 상기 검출부는 일체로 형성된 제스처 인식 장치.
  17. 대상체의 정보를 수집하는 수집부;
    적어도 하나의 전자 장치의 동작 명령에 대응하는 제스처의 정보를 저장하는 저장부;
    차량의 움직임 정보를 수신하는 통신부;
    상기 수집된 대상체의 정보에 기초하여 제스처의 정보를 획득하고, 상기 차량의 움직임의 정보에 기초하여 상기 획득된 제스처의 정보를 보정하고, 상기 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하는 제어부를 포함하는 제스처 인식 장치.
  18. 제 17 항에 있어서, 상기 차량의 움직임의 정보는,
    상기 차량의 가속도 정보, 요레이트 정보, 각속도 정보, 상기 차량의 휠 속도 정보와 상기 차량의 실제 속도 정보 중 적어도 하나인 제스처 인식 장치.
  19. 차량에 마련된 제스처 인식 장치의 제어 방법에 있어서,
    수집부를 이용하여 차량 내부의 대상체의 정보를 수집하고,
    상기 수집된 대상체의 제스처를 획득하고,
    상기 대상체의 정보 수집 시 상기 수집부의 움직임을 검출하고,
    상기 검출된 움직임의 정보에 기초하여 상기 획득된 제스처의 정보를 보정하고,
    상기 보정된 제스처의 정보에 대응하는 전자 장치의 동작 명령을 확인하고,
    상기 확인된 전자 장치에 동작 명령을 출력하는 제스처 인식 장치의 제어 방법.
  20. 제 19 항에 있어서, 상기 획득된 제스처의 정보를 보정하는 것은,
    차량의 주행 정보를 수신하고,
    상기 수신된 주행 정보에 기초하여 차량의 움직임의 정보를 획득하고,
    상기 획득된 차량의 움직임의 정보에 기초하여 상기 보정된 제스처의 정보를 추가 보정하는 것을 포함하는 차량의 제어 방법.
  21. 제 19 항에 있어서, 상기 획득된 제스처의 정보를 보정하는 것은,
    차량의 움직임의 정보를 수신하고,
    상기 수신된 차량의 움직임의 정보에 기초하여 상기 보정된 제스처의 정보를 추가 보정하는 것을 포함하는 제스처 인식 장치의 제어 방법.
  22. 제 21 항에 있어서, 상기 차량의 움직임의 정보는,
    상기 차량의 가속도 정보, 요레이트 정보, 각속도 정보, 상기 차량의 휠 속도 정보와 상기 차량의 실제 속도 정보 중 적어도 하나인 제스처 인식 장치의 제어 방법.
  23. 차량에 마련된 제스처 인식 장치의 제어 방법에 있어서,
    차량에 위치한 대상체의 정보를 수집하고,
    상기 수집된 대상체의 제스처를 획득하고,
    상기 차량의 움직임을 수신하고,
    상기 검출된 움직임의 정보에 기초하여 상기 획득된 제스처의 정보를 보정하고,
    상기 보정된 제스처의 정보에 기초하여 상기 제스처의 형상을 인식하고,
    상기 제스처의 형상에 기초하여 전자 장치의 동작 명령을 확인하고,
    상기 확인된 전자 장치에 동작 명령을 출력하는 제스처 인식 장치의 제어 방법.
KR1020140128185A 2014-09-25 2014-09-25 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법 KR20160036242A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140128185A KR20160036242A (ko) 2014-09-25 2014-09-25 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
US14/563,526 US20160091978A1 (en) 2014-09-25 2014-12-08 Gesture recognition apparatus, vehicle having the same and method for controlling the same
CN201410842783.8A CN105799613A (zh) 2014-09-25 2014-12-30 手势识别装置及其控制方法以及具有该装置的车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140128185A KR20160036242A (ko) 2014-09-25 2014-09-25 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160060912A Division KR20160061942A (ko) 2016-05-18 2016-05-18 제스처 인식 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20160036242A true KR20160036242A (ko) 2016-04-04

Family

ID=55584339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140128185A KR20160036242A (ko) 2014-09-25 2014-09-25 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20160091978A1 (ko)
KR (1) KR20160036242A (ko)
CN (1) CN105799613A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203766B2 (en) 2016-04-25 2019-02-12 Lg Electronics Inc. Display apparatus for vehicle
WO2021006706A1 (en) * 2019-07-10 2021-01-14 Samsung Electronics Co., Ltd. Method for jiggling compensation during object recognition and electronic device thereof
KR102274334B1 (ko) * 2021-03-29 2021-07-08 (주)복서 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013021875B4 (de) * 2013-12-21 2021-02-04 Audi Ag Sensorvorrichtung und Verfahren zum Erzeugen von wegezustandsabhängig aufbereiteten Betätigungssignalen
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
WO2018066026A1 (ja) * 2016-10-03 2018-04-12 三菱電機株式会社 自動運転制御パラメータ変更装置および自動運転制御パラメータ変更方法
TWI636395B (zh) * 2016-11-10 2018-09-21 財團法人金屬工業研究發展中心 基於深度值之手勢操作方法及其系統
KR102406511B1 (ko) * 2017-07-04 2022-06-10 현대자동차주식회사 차량 시스템 및 그 제어 방법
WO2019016971A1 (ja) * 2017-07-19 2019-01-24 日本電気株式会社 乗員数検知システム、乗員数検知方法、およびプログラム
CN107685712A (zh) * 2017-07-31 2018-02-13 芜湖市振华戎科智能科技有限公司 电动汽车人车互联自动锁门系统
CN108229345A (zh) * 2017-12-15 2018-06-29 吉利汽车研究院（宁波）有限公司 一种驾驶员检测系统
CN111845749A (zh) * 2019-04-28 2020-10-30 郑州宇通客车股份有限公司 一种自动驾驶车辆的控制方法及系统
CN110276292B (zh) * 2019-06-19 2021-09-10 上海商汤智能科技有限公司 智能车运动控制方法及装置、设备和存储介质
US20220116743A1 (en) * 2020-10-14 2022-04-14 Lyft, Inc. Detecting handheld device movements utilizing a handheld-movement-detection model
KR20220059975A (ko) * 2020-11-02 2022-05-11 현대자동차주식회사 차량 및 그 제어방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000142423A (ja) * 1998-10-29 2000-05-23 Uei Kin 自動車のホイ―ル操向角認識装置
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP2006143159A (ja) * 2004-11-25 2006-06-08 Alpine Electronics Inc 車両用動き認識装置
EP2304527A4 (en) * 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
KR101393967B1 (ko) * 2008-08-29 2014-05-12 현대자동차주식회사 얼굴 검출 시스템
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
JP5454133B2 (ja) * 2009-12-25 2014-03-26 富士通株式会社 検知情報補正装置、可搬型装置、検知情報補正方法、およびコンピュータプログラム
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
US9007304B2 (en) * 2010-09-02 2015-04-14 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
US9436231B2 (en) * 2011-04-07 2016-09-06 Qualcomm Incorporated Rest detection using accelerometer
US8886407B2 (en) * 2011-07-22 2014-11-11 American Megatrends, Inc. Steering wheel input device having gesture recognition and angle compensation capabilities
WO2013074868A1 (en) * 2011-11-16 2013-05-23 Flextronics Ap, Llc Complete vehicle ecosystem
US8791913B2 (en) * 2012-01-26 2014-07-29 Honeywell International Inc. Adaptive gesture recognition system and method for unstable work environments
DE102012203535A1 (de) * 2012-03-06 2013-09-12 Bayerische Motoren Werke Aktiengesellschaft Tastenloser Fahrzeugschlüssel mit Gestikerkennung
JPWO2013145223A1 (ja) * 2012-03-29 2015-12-10 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US9701258B2 (en) * 2013-07-09 2017-07-11 Magna Electronics Inc. Vehicle vision system
KR101550604B1 (ko) * 2013-09-25 2015-09-07 현대자동차 주식회사 차량용 조작 장치
US9430046B2 (en) * 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203766B2 (en) 2016-04-25 2019-02-12 Lg Electronics Inc. Display apparatus for vehicle
WO2021006706A1 (en) * 2019-07-10 2021-01-14 Samsung Electronics Co., Ltd. Method for jiggling compensation during object recognition and electronic device thereof
US11297464B2 (en) 2019-07-10 2022-04-05 Samsung Electronics Co., Ltd. Method for jiggling compensation during object recognition and electronic device thereof
KR102274334B1 (ko) * 2021-03-29 2021-07-08 (주)복서 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US20160091978A1 (en) 2016-03-31
CN105799613A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
KR20160036242A (ko) 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
KR101556521B1 (ko) 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
US10443291B2 (en) Vehicle door control apparatus and vehicle
KR101851155B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
CN105539287B (zh) 周边监视装置
JP5030580B2 (ja) 車両用作動システム、車両
EP3590772B1 (en) Monitoring system
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
US20160170495A1 (en) Gesture recognition apparatus, vehicle having the same, and method for controlling the vehicle
KR102528232B1 (ko) 차량 및 그 제어 방법
US10864866B2 (en) Vehicle and control method thereof
KR102494865B1 (ko) 차량 및 그 제어 방법
JP2018163112A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
EP3453589B1 (en) Vehicle control device mounted on vehicle and method for controlling vehicle
US10983691B2 (en) Terminal, vehicle having the terminal, and method for controlling the vehicle
KR101518904B1 (ko) 차량용 조작 장치
JP2020050090A (ja) 室内監視装置
KR20190099763A (ko) 차량 및 그 제어 방법
US20210385432A1 (en) Vehicle control device
KR101946746B1 (ko) 차량에서 비-차량 오브젝트의 위치 결정
US20190258247A1 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
US11314976B2 (en) Vehicle control device
KR20160061942A (ko) 제스처 인식 장치 및 그 제어 방법
KR102263153B1 (ko) 동작 인식 장치 및 그 동작 방법
JP2018158701A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101002900; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160518

Effective date: 20161230