KR101537936B1 - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR101537936B1
KR101537936B1 KR1020130135532A KR20130135532A KR101537936B1 KR 101537936 B1 KR101537936 B1 KR 101537936B1 KR 1020130135532 A KR1020130135532 A KR 1020130135532A KR 20130135532 A KR20130135532 A KR 20130135532A KR 101537936 B1 KR101537936 B1 KR 101537936B1
Authority
KR
South Korea
Prior art keywords
gesture
interest
driver
vehicle
pattern
Prior art date
Application number
KR1020130135532A
Other languages
English (en)
Other versions
KR20150054042A (ko
Inventor
한재선
김주현
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130135532A priority Critical patent/KR101537936B1/ko
Priority to CN201410643964.8A priority patent/CN104627094B/zh
Priority to US14/535,829 priority patent/US20150131857A1/en
Publication of KR20150054042A publication Critical patent/KR20150054042A/ko
Application granted granted Critical
Publication of KR101537936B1 publication Critical patent/KR101537936B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 측면은, 사용자의 제스처를 인식함에 있어 운전자의 제스처와 동승자의 제스처를 구분함으로써 동승자에 의해 차량이 오작동되거나 임의로 작동되는 것을 방지할 수 있는 차량 및 그 제어방법을 제공한다.
본 발명의 일 실시예에 따른 차량은, 차량의 내부에 장착되어 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하는 촬영부; 상기 촬영부가 촬영한 제스처 영상으로부터 관심 객체를 검출하고, 상기 관심 객체가 상기 운전자의 것인지 여부를 판단하는 영상 분석부; 및 상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 제어부를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD FOR THE SAME}
개시된 발명은 사용자의 제스처를 인식하고, 인식된 제스처에 따라 특정 기능을 수행하는 차량 및 그 제어방법에 관한 것이다.
차량에 대한 기술이 발전함에 따라, 차량이 수행하는 기본적인 기능인 주행 이외에도 사용자의 편의를 위한 다양한 기능이 제공되고 있다.
이처럼 차량이 수행할 수 있는 기능이 다양해지면서 사용자의 조작 부하가 증가되고, 조작 부하의 증가는 운전에 대한 집중도를 저하시켜 안전 운전을 방해하는 요인이 된다. 또한, 기기의 조작이 미숙한 사용자는 차량이 수행할 수 있는 기능을 제대로 활용하지 못하게 된다.
따라서, 사용자의 조작 부하를 감소시키기 위한 사용자 인터페이스에 대한 연구 및 개발이 이루어지고 있는바, 특히, 간단한 제스처(gesture)만으로 특정 기능을 제어할 수 있게 하는 제스처 인식 기술이 차량에 적용되면, 사용자의 조작 부하를 효과적으로 감소시킬 수 있을 것으로 기대되고 있다.
본 발명의 일 측면은, 사용자의 제스처를 인식함에 있어 운전자의 제스처와 동승자의 제스처를 구분함으로써 동승자에 의해 차량이 오작동되거나 임의로 작동되는 것을 방지할 수 있는 차량 및 그 제어방법을 제공한다.
본 발명의 일 실시예에 따른 차량은, 차량의 내부에 장착되어 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하는 촬영부; 상기 촬영부가 촬영한 제스처 영상으로부터 관심 객체를 검출하고, 상기 관심 객체가 상기 운전자의 것인지 여부를 판단하는 영상 분석부; 및 상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 제어부를 포함한다.
상기 영상 분석부는, 상기 관심 객체에 대해 관심 패턴을 추출하고, 상기 관심 패턴이 미리 정의된 특징을 갖는지 여부를 판단할 수 있다.
상기 영상 분석부는, 상기 관심 패턴이 상기 미리 정의된 특징을 가지면, 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.
상기 관심 객체는, 인체의 팔 또는 손인 것으로 할 수 있다.
상기 관심 패턴은, 상기 팔의 끝부터 상기 팔과 상기 손의 연결부위인 손목까지 연결된 손목연결 패턴을 포함할 수 있다.
상기 미리 정의된 특징은, 상기 손목연결 패턴이 상기 제스처 영역의 왼쪽 또는 오른쪽에서부터 시작되는지 여부인 것으로 할 수 있다.
상기 차량이 LHD(Left Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 손목연결 패턴이 상기 제스처 영역의 왼쪽에서부터 시작되면 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.
상기 차량이 RHD(Right Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 손목연결 패턴이 상기 제스처 영역의 오른쪽에서부터 시작되면 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.
상기 관심 패턴은, 상기 팔과 상기 손의 연결부위인 손목과 상기 손의 엄지 손가락 끝을 연결하여 형성되는 제1손가락 패턴 및 상기 손목과 상기 엄지 손가락이 아닌 다른 손가락 끝을 연결하여 형성되는 제2손가락 패턴을 포함할 수 있다.
상기 미리 정의된 특징은, 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽 또는 오른쪽에 위치하는지 여부인 것으로 할 수 있다.
상기 차량이LHD(Left Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽에 있으면 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.
상기 차량이RHD(Right Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 오른쪽에 있으면 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.
상기 차량은, 특정 제스처와 특정 동작을 맵핑시켜 저장하는 저장부를 더 포함할 수 있다.
상기 제어부는, 상기 저장부에서 상기 관심 객체가 나타내는 제스처와 일치하는 특정 제스처를 검색하고, 상기 검색된 특정 제스처에 맵핑된 특정 동작을 실행시킬 수 있는 제어 신호를 생성할 수 있다.
상기 저장부는, 특정 제스처와 제스처 인식 권한의 변경을 맵핑시켜 저장할 수 있다.
상기 제어부는, 상기 관심 객체가 나타내는 제스처가 상기 특정 제스처와 일치하면, 제스처 인식 권한의 변경을 위한 제어 신호를 생성할 수 있다.
상기 제스처 인식 권한의 변경은, 상기 제스처 인식 권한의 주체를 상기 동승자까지 확대하는 것 및 상기 제스처 인식 권한의 주체를 상기 운전자에게 한정시키는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 차량의 제어방법은, 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하고; 상기 제스처 영역이 촬영된 제스처 영상으로부터 관심 객체를 검출하고; 상기 관심 객체가 상기 운전자의 것인지 여부를 판단하고; 상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 것을 포함한다..
상기 차량의 제어방법은, 상기 관심 객체에 대해 관심 패턴을 추출하고; 상기 관심 패턴이 미리 정의된 특징을 가지면, 상기 관심 객체를 상기 운전자의 것으로 판단하는 것을 더 포함할 수 있다.
상기 관심 객체는, 인체의 팔 또는 손이고, 상기 관심 패턴은, 상기 팔의 끝부터 상기 팔과 상기 손의 연결부위인 손목까지 연결된 손목연결 패턴을 포함할 수 있다.
상기 미리 정의된 특징은, 상기 손목연결 패턴이 상기 제스처 영역의 왼쪽 또는 오른쪽에서부터 시작되는지 여부인 것으로 할 수 있다.
상기 관심 객체는, 인체의 팔 또는 손이고 상기 관심 패턴은, 상기 팔과 상기 손의 연결부위인 손목과 상기 손의 엄지 손가락 끝을 연결하여 형성되는 제1손가락 패턴 및 상기 손목과 상기 엄지 손가락이 아닌 다른 손가락 끝을 연결하여 형성되는 제2손가락 패턴을 포함할 수 있다.
상기 미리 정의된 특징은, 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽 또는 오른쪽에 위치하는지 여부인 것으로 할 수 있다.
본 발명의 일 측면에 따른 차량 및 그 제어방법에 의하면, 사용자의 제스처를 인식함에 있어 운전자의 제스처와 동승자의 제스처를 구분함으로써 동승자에 의해 차량이 오작동되거나 임의로 작동되는 것을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량을 외부에서 바라본 외관도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 제어 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도 4는 촬영부에 의해 촬영되는 영역인 제스처 영역을 나타낸 도면이다.
도 5는 촬영부가 차량의 헤드라이닝에 장착된 실시예를 나타낸 도면이다.
도 6은 촬영부가 차량의 센터 콘솔에 장착된 실시예를 나타낸 도면이다.
도 7 내지 도 9는 영상 분석부에서 운전자를 식별하기 위해 수행하는 패턴 분석의 예시를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 차량에 있어서, AVN 장치를 포함하는 차량의 제어 블록도이다.
도 11은 본 발명의 일 실시예에 따른 차량에 있어서, 공조 장치를 포함하는 차량의 제어 블록도이다.
도 12 는 제스처 인식 권한의 주체를 동승자까지 확대할 수 있는 특정 제스처의 예시를 나타낸 도면이다.
도 13은 동승자에게도 제스처 인식 권한이 부여된 경우, 영상 분석부가 동승자를 식별하기 위해 수행하는 패턴 분석의 예시를 나타낸 도면이다.
도 14 및 도 15는 제스처 인식 권한을 동승자로부터 다시 가져올 수 있는 특정 제스처의 예시를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 차량의 제어방법에 관한 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 차량을 외부에서 바라본 외관도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(100)은 차량(100)의 외관을 형성하는 본체(1), 차량(100)을 이동시키는 차륜(51, 52), 차륜(51, 52)을 회전시키는 구동 장치(60), 차량(100) 내부를 외부로부터 차폐시키는 도어(71, 72(도 3 참조)), 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(30), 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(81, 82)를 포함한다.
차륜(51, 52)은 차량의 전방에 마련되는 전륜(51), 차량의 후방에 마련되는 후륜(52)을 포함하며, 구동 장치(60)는 본체(1)가 전방 또는 후방으로 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다. 이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 채용할 수 있다.
도어(71, 72)는 본체(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킨다.
전면 유리(30)는 본체(100)의 전방 상측에 마련되어 차량(100) 내부의 운전자가 차량(100) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
또한, 사이드 미러(81, 82)는 본체(1)의 좌측에 마련되는 좌측 사이드 미러(81) 및 우측에 마련되는 우측 사이드 미러(82)를 포함하며, 차량(100) 내부의 운전자가 차량(100) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
이외에도 차량(100)은 후면 또는 측면의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.
근접 센서는 차량의 측면 또는 후면에 감지 신호를 발신하고, 다른 차량 등의 장애물로부터 반사되는 반사 신호를 수신할 수 있다. 수신된 반사 신호의 파형을 기초로 차량(100) 측면이나 후면의 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다. 이와 같은 근접 센서의 일 예로서 초음파를 발신하고, 장애물에 반사된 초음파를 이용하여 장애물까지의 거리를 검출하는 방식을 채용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량의 제어 블록도이다.
도 2를 참조하면, 차량(100)은 차량(100) 내부의 특정 영역을 촬영하는 촬영부(110), 촬영된 영상으로부터 관심 객체를 검출하고 검출된 관심 객체가 운전자의 것인지 여부를 판단하는 영상 분석부(120), 검출된 관심 객체가 운전자의 것이면 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 제어부(131) 및 제스처와 그에 대응되는 이벤트가 저장된 저장부(132)를 포함한다. 본 발명의 실시예에서, 사용자는 차량(100)에 탑승한 운전자 및 동승자를 포함하는 것으로 한다.
촬영부(110)는 차량(100) 내부에 장착되어 특정 영역을 촬영하는바, 특정 영역은 제스처를 취하는 운전자의 신체 일부가 포함된 영역이다. 이하 상술할 실시예에서는 이 특정 영역을 제스처 영역이라 하고, 촬영부(110)가 촬영한 영상을 제스처 영상이라 하기로 한다.
촬영부(110)는 CCD 센서, CMOS 센서 등의 영상 센서를 포함할 수 있고, 적외선 영역에 대해서도 충분한 감도를 가진 영상 센서를 포함하면 적외선 촬영을 하는 것이 가능하다. 즉, 촬영부(110)는 일반 카메라뿐만 아니라 적외선 카메라로 구현되는 것도 가능하다.
촬영부(110)가 적외선 카메라로 구현되는 경우, 피사체에 적외선을 조사하는 적외선 광원을 더 포함하여 영상 센서로 하여금 피사체에 반사되어 돌아오는 적외선을 감지하도록 할 수 있다. 적외선 광원의 일 예로 적외선 LED(Light Emitting Diode)를 사용할 수 있다. 또는, 별도의 적외선 광원을 구비하지 않고 피사체에서 자체적으로 발생되는 적외선을 감지하는 것도 가능하다.
이 밖에도 촬영부(110)는 제스처 영상을 광신호로 받아들이는 렌즈를 더 포함할 수 있고, 영상 센서가 렌즈에서 받아들인 광신호를 전기신호로 변환하여 출력하면 이 전기신호를 데이터 처리 가능한 디지털 신호로 변환하는 영상 A/D(Analog to Digital) 변환기를 더 포함할 수 있다.
또한, 촬영부(110)가 적외선 카메라로 구현되는 경우에는 자외선, 가시광선 등 적외선 이외의 광선을 차단하여 외부 노이즈를 제거하는 적외선 필터를 더 구비하는 것도 가능하다.
운전자가 운전 중에 가장 용이하게 취할 수 있는 제스처는 팔 또는 손에 의한 제스처일 수 있다. 따라서, 제어부(131)에서 인식할 수 있는 제스처는 운전자의 팔 또는 손에 의한 제스처일 수 있고, 영상 분석부(120)에서 검출하는 관심 객체는 운전자의 팔 또는 손일 수 있다. 제어부(131)가 운전자의 팔 또는 손에 의한 제스처를 인식하기 위해서는, 촬영부(110)가 촬영하는 제스처 영상에 운전자의 팔 또는 손이 포함되어야 한다. 이하, 운전자의 팔 또는 손이 포함된 영상을 촬영하기 위한 촬영부(110)의 위치를 설명한다.
도 3은 본 발명의 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이고, 도 4는 촬영부에 의해 촬영되는 영역인 제스처 영역을 나타낸 도면이다.
도 3을 참조하면, 촬영부(110)는 운전자의 손을 촬영할 수 있도록 차량(100) 앞쪽의 대시보드(10)에 장착될 수 있다.
대시보드(10)의 중앙 영역인 센터페시아(11)에는 AVN(Audio Video Navigation) 디스플레이(141)와 AVN 입력부(142)가 마련될 수 있다. AVN(140)은 오디오, 비디오 및 내비게이션 기능을 통합적으로 수행할 수 있는 장치로서, AVN 디스플레이(141)는 오디오 화면, 비디오 화면 및 내비게이션 화면 중 적어도 하나를 선택적으로 표시할 수 있고, LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.
사용자는 AVN 입력부(142)를 조작하여 AVN(140)을 제어하기 위한 명령을 입력할 수 있다. AVN 입력부(142)는 도 3에 도시된 바와 같이 AVN 디스플레이(141)와 인접한 영역에 하드 키 타입으로 마련될 수도 있고, AVN 디스플레이(141)가 터치 스크린 타입으로 구현되는 경우에는 AVN 디스플레이(141)가 AVN 입력부(142)의 기능도 함께 수행할 수 있다.
차량(100)의 내부에는 음향을 출력할 수 있는 스피커(143)가 마련되는바, 오디오 기능, 비디오 기능 및 내비게이션 기능을 수행함에 있어 필요한 음향이 스피커(143)를 통해 출력될 수 있다.
운전석(21) 쪽의 대시보드(10)에는 스티어링 휠(12)이 마련되며, 대시보드(10)의 영역 중 스티어링 휠(12)이 마련된 영역과 인접한 영역에는 차량(100)의 현재 속도를 나타내는 속도 게이지((161b)와 차량(100)의 RPM을 나타내는 RPM 게이지(161c)가 구비될 수 있으며, 이와 더불어 차량(100)에 관한 정보를 디지털 화면으로 표시하는 클러스터 디스플레이(161a)가 더 구비될 수 있다.
스티어링 휠(12)에는 클러스터 입력부(162)가 마련되어 클러스터 디스플레이(161a)에 표시될 정보에 관한 선택을 사용자로부터 입력 받을 수 있다. 또한, 클러스터 입력부(162)는 운전자가 운전 중에도 용이하게 조작할 수 있으므로, 클러스터 디스플레이(161a)에 표시될 정보에 관한 선택뿐만 아니라 AVN장치를 제어하기 위한 명령도 입력 받을 수 있다.
한편, 센터 콘솔(40)에는 죠그 서틀(jog shuttle) 타입 또는 하드 키 타입의 센터 입력부(43)가 마련될 수 있다. 센터 콘솔(40)은 운전석(21)과 조수석(22) 사이에 위치하여 기어조작 레버(41)와 트레이(42)가 형성된 부분을 의미한다. 센터 입력부(43)는 AVN 입력부(142)의 전부 또는 일부 기능을 수행하거나, 클러스터 입력부(162)의 전부 또는 일부 기능을 수행할 수 있다.
이하, 도 4를 참조하여 촬영부(110)의 장착 위치를 더 구체적으로 설명하도록 한다.
일 예로, 제스처 영역(5)의 좌우 영역은 도 4에 도시된 바와 같이 스티어링 휠(12)의 중심으로부터 우측 방향으로 이어질 수 있으며, AVN 디스플레이(141)의 중심에서 운전석(21) 쪽으로 약간 치우친 지점(약 5도)까지 이어질 수 있다.
그리고, 제스처 영역(5)의 상하 영역은 스티어링 휠(12)의 상단+α 지점으로부터 스티어링 휠(12)의 하단+β 지점까지 이어질 수 있다. 여기서, +α와 +β는 스티어링 휠(12)의 상하 틸팅(tilting) 각도를 고려한 것으로서, 상호 동일한 값을 가질 수도 있고 다른 값을 가질 수도 있다.
도 4의 제스처 영역(5)은 통상적으로 운전자(3)의 오른손이 스티어링 휠(12)을 중심으로 일정 반경 내에 위치한다는 점에 기초하여 설정된 것이다. 운전자(3)의 오른손을 촬영하는 것은 차량(100)이 LHD(Left Hand Drive) 차량 즉, 스티어링 휠(12)이 왼쪽에 장착된 차량인 경우에 적용되는 것이므로, 차량(100)이 RHD(Right Hand Drive) 차량인 경우에는 제스처 영역(5)의 좌우 영역이 스티어링 휠(12)의 중심으로부터 좌측 방향으로 이어질 수 있다.
상술한 도 4의 제스처 영역(5)은 촬영부(110)가 촬영하는 영역에 대한 일 예시에 불과하며, 촬영된 영상에 운전자(3)의 손이 포함될 수만 있으면 제스처 영역(5)이 될 수 있다.
촬영부(110)는 제스처 영역(5)을 촬영할 수 있는 위치에 장착되며, 촬영부(110)의 장착 위치를 결정함에 있어 제스처 영역(5)과 함께 촬영부(110)의 화각(angle of view)이 고려될 수 있다.
도 5는 촬영부가 차량의 헤드라이닝에 장착된 실시예를 나타낸 도면이고, 도 6은 촬영부가 차량의 센터 콘솔에 장착된 실시예를 나타낸 도면이다.
촬영부(110)는 제스처 영역(5)을 촬영할 수만 있으면, 대시보드(10) 이외의 위치에도 장착될 수 있는바, 도 5에 도시된 바와 같이 헤드라이닝(13)에 장착될 수도 있고, 도 6에 도시된 바와 같이 센터 콘솔(40)에 장착되는 것도 가능하다.
다만, 촬영부(110)가 헤드라이닝(13)이나 센터 콘솔(40)에 장착되면, 제스처 영역(5)이 도 4의 예시와는 달라지게 된다. 촬영부(110)가 헤드라이닝(13) 또는 센터 콘솔(40)에 장착되는 경우에 대한 제스처 영역(5)의 일 예로, 좌우 영역은 도 4의 예시와 마찬가지로 스티어링 휠(12)의 중심으로부터 우측 방향으로 이어질 수 있으며, AVN 디스플레이(141)의 중심에서 운전석(21) 쪽으로 약간 치우친 지점(약 5도)까지 이어질 수 있다. 그러나, 제스처 영역(5)의 상하 영역은 도 4의 예시와 달리 대시보드(10)부터 센터 콘솔(40)의 트레이(42)까지 이어질 수 있다.
도 7 내지 도 9는 영상 분석부에서 운전자를 식별하기 위해 수행하는 패턴 분석의 예시를 나타낸 도면이다.
촬영부(110)가 제스처 영역(5)을 촬영한다 하더라도, 촬영된 제스처 영상에는 운전자(3)의 손 이외에 조수석(22)이나 뒷자석에 탑승한 동승자의 손이 더 포함되거나, 운전자(3)의 손은 포함되지 않고 동승자의 손만 포함되는 경우가 있을 수 있다. 이 경우, 제어부(131)가 동승자의 손이 나타내는 제스처를 인식하여 그에 대응되는 동작을 실행시키게 되면, 운전자의 의도와 다르게 차량(100)이 임의로 작동되거나 오작동될 수 있다. 따라서, 영상 분석부(120)는 제스처 영상에 나타난 손이 운전자(3)의 것인지, 동승자의 것인지 여부를 식별하고, 운전자(3)의 것인 경우에만 제어부(131)가 제스처를 인식할 수 있도록 한다.
앞서, 영상 분석부(120)에서 검출하는 관심 객체가 운전자의 팔 또는 손일 수 있다고 하였다. 따라서, 저장부(132)는 제스처 영상에 나타날 수 있는 인체의 팔과 손이 갖는 특징에 관한 정보 및 각 손가락이 갖는 특징에 관한 정보를 저장할 수 있다. 저장부(132)는 하드 디스크, 플래시 메모리, 롬(ROM), 광디스크 드라이브 등 정보의 입출력이 가능한 적어도 하나의 기억 소자를 포함할 수 있다.
영상 분석부(120)는 저장부(132)에 저장된 정보에 기초하여 제스처 영상으로부터 관심 객체를 검출할 수 있다. 구체적인 예로서, 영상 분석부(120)는 제스처 영상을 구성하는 픽셀값에 기초하여 일정 윤곽을 갖는 객체를 검출하고, 검출된 객체가 저장부(132)에 저장된 사용자의 팔의 형상 및 손의 형상의 특징을 가지면 검출된 객체를 사용자의 팔과 손으로 인식할 수 있고, 사용자의 팔과 손이 연결되는 부분은 손목으로 인식할 수 있다.
제스처 영상이 컬러 영상인 경우에는 픽셀값에 포함된 색상 정보 특히, 피부색 정보에 기초하여 일정 윤곽을 갖는 객체를 검출할 수 있고, 사용자의 영상이 적외선 영상인 경우에는 픽셀값에 포함된 밝기 정보에 기초하여 일정 윤곽을 갖는 객체를 검출할 수 있다.
관심 객체가 검출되면, 영상 분석부(120)는 검출된 관심 객체에 대해 관심 패턴을 추출한다. 관심 패턴은 팔의 특정 포인트와 손목 포인트를 연결하는 손목연결 패턴, 손가락들 사이의 관계를 나타내는 손가락 패턴 등을 포함할 수 있다.
구체적으로, 영상 분석부(120)는 도 7에 도시된 바와 같이 제스처 영역(5)에 존재하는 인체의 팔 끝 포인트(a)와 인체의 손목에 위치하는 손목 포인트(b)를 연결한 손목연결 패턴(a-b)을 관심 패턴으로서 추출할 수 있다.
그리고, 추출된 손목연결 패턴(a-b)이 미리 정의된 특징을 갖는지 여부를 판단하고, 미리 정의된 특징을 가지면 해당 관심 객체(1)를 운전자의 것으로 판단한다. 차량(100)이 LHD 차량인 경우에는 운전자의 손이 제스처 영역(5)의 왼쪽에서 들어올 것으로 예상할 수 있다. 따라서, 영상 분석부(120)는 손목연결 패턴(a-b)이 제스처 영역(5)의 좌측에서부터 시작되는지 여부를 판단한다.
예를 들어, 영상 분석부(120)는 팔 끝 포인트(a)가 제스처 영역(5)의 좌측 경계 영역(L)에 위치하는 경우에, 손목연결 패턴(a-b)이 제스처 영역(5)의 왼쪽에서부터 시작된 것으로 판단할 수 있고, 검출된 관심 객체(1)를 운전자의 것으로 판단할 수 있다. 여기서, 좌측 경계 영역(L)은 제스처 영역(5)을 구성하는 네 개의 모서리 중 좌측 모서리의 하측 단부를 포함하는 일부 영역과 하측 모서리의 좌측 단부를 포함하는 일부 영역에 의해 형성될 수 있다.
그러나, 운전자의 팔이 제스처 영역(5)에 모두 포함되어 그 경계에 걸쳐있지 않은 경우도 있다. 따라서, 팔 끝 포인트(a)가 제스처 영역(5)의 좌측 경계 영역(L)에 위치하지 않는 경우라도, 팔 끝 포인트(a)가 손목 포인트(b)보다 왼쪽에 있다면, 영상 분석부(120)는 관심 객체(1)를 운전자의 것으로 판단할 수 있다.
또는 운전자의 손만 제스처 영역(5)에 포함된 경우도 있을 수 있다. 따라서, 제스처 영상에 팔 끝 포인트(a)가 존재하지 않는 경우라도, 사용자의 손바닥이 제스처 영역(5)의 좌측 경계 영역(L)에 걸쳐 있거나, 손목 포인트(b)가 좌측 경계 영역(L)에 위치한다면, 영상 분석부(120)는 관심 객체(1)를 운전자의 것으로 판단할 수 있다.
한편, 영상 분석부(120)는 손목연결 패턴(a-b)이 제스처 영역(5)의 좌측에서부터 시작되는지 여부만을 판단할 수도 있으나, 운전자 식별의 정확성을 더 향상시키기 위해 운전자를 식별하는 추가적인 알고리즘을 더 포함할 수 있다.
1차적으로 손목연결 패턴(a-b)이 제스처 영역(5)의 좌측에서부터 시작되는지 여부를 확인하고, 2차적으로 손가락 패턴을 이용하여 관심 객체(1)가 운전자의 것인지 여부를 한 번 더 확인할 수 있다.
이를 위해, 영상 분석부(120)는 제스처 영상으로부터 손가락 패턴을 추출한다. 도 8의 예시에 따르면, 손가락 패턴은 손목 포인트(b)와 엄지 손가락 끝 포인트(c)를 연결하여 형성되는 제1손가락 패턴(b-c)과 손목 포인트(b)와 엄지 손가락이 아닌 다른 손가락 끝 포인트(d)를 연결하여 형성되는 제2손가락 패턴(b-d)을 포함할 수 있다.
영상 분석부(120)는 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)보다 좌측에 있으면, 제스처 영상에 나타난 관심 객체(1)를 운전자의 것으로 최종적으로 판단할 수 있다.
도 9를 참조하여 관심 객체(1)가 운전자의 것이 아닌 경우를 설명한다. 촬영부(110)가 도 9에 도시된 제스처 영역(5)을 촬영한 경우, 손목연결 패턴(a-b)이 좌측 경계 영역(L)에서부터 시작되지 않으므로 영상 분석부(120)는 관심 객체(1)가 운전자의 것이 아니라고 판단할 수 있다. 추가적으로, 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)보다 우측에 있으므로 관심 객체(1)가 운전자의 것이 아닌 것으로 최종적으로 판단할 수 있다.
또한, 영상 분석부(120)가 상기 두 가지 알고리즘을 이용하여 운전자를 식별함에 있어서, 그 순서가 바뀌는 것도 무방하고, 둘 중 하나의 알고리즘만 이용하는 것도 가능하다. 구체적으로, 손가락 패턴을 이용하여 관심 객체(1)가 운전자의 것인지 여부를 먼저 판단하고, 운전자의 것으로 판단된 경우에 한하여 손목연결 패턴을 이용하여 한 번 더 확인할 수 있다. 또한, 손가락 패턴만을 이용하거나 손목연결 패턴만을 이용하는 것도 가능하다.
또한, 제스처 영역(5)에 운전자의 손과 동승자의 손이 모두 포함된 경우에도 전술한 알고리즘에 따라 운전자의 손에 대한 관심 패턴과 동승자의 손에 대한 관심 패턴을 구분할 수 있음은 물론이다.
상기 도 7내지 도 9를 참조하여 설명한 운전자 식별 알고리즘은 차량(100)이 LHD 차량인 경우에 대해 적용될 수 있는 것으로서, 차량(100)이 RHD 차량인 경우에는 손목연결 패턴이 제스처 영역(5)의 우측 영역으로부터 시작되는 경우 또는 제1손가락 패턴이 제2손가락 패턴보다 우측에 있는 경우에 제스처 영상에 나타난 관심 객체(1)를 운전자의 것으로 판단할 수 있다.
전술한 알고리즘은 영상 분석부(120)에 적용될 수 있는 일 예시에 불과하며, 본 발명의 실시예가 상기 예시에 한정되는 것은 아니다. 따라서, 손목연결 패턴이나 손가락 패턴이 아닌 다른 패턴을 관심 패턴으로 설정하는 것도 가능하고, 손목연결 패턴이나 손가락 패턴의 다른 특징을 이용하여 관심 객체(1)가 운전자의 것인지 여부를 판단하는 것도 가능하다.
한편, 제스처 영상에는 조수석(22)에 탑승한 동승자의 손뿐만 아니라, 뒷자석에 탑승한 동승자의 손이 포함될 수도 있다. 뒷자석에 탑승한 동승자가 운전석(21) 쪽에 위치하는 경우에는 관심 패턴의 방향성만으로 운전자와 동승자를 구별하기 어려울 수 있다. 따라서, 차량(100)은 촬영부(110)와 피사체 사이의 거리 정보를 이용하여 운전자와 동승자를 구별할 수 있는바, 촬영부(110)가 적외선 광원을 포함하는 적외선 카메라로 구현되는 경우, 영상 센서가 감지하는 신호의 문턱 값(threshold value)을 제어하여 일정 거리 내에 존재하는 피사체만 촬영하도록 할 수 있다. 또는, 영상 분석부(120)에서 픽셀값이 미리 정의된 기준값 이상인 영역에 대해서만 운전자의 손이 위치하는 영역으로 판단하는 것도 가능하다.
또는 촬영부(110)를 3D 카메라로 구현하여 제스처 영상에 깊이 정보가 포함되도록 하는 것도 가능한바, 영상 분석부(120)는 촬영부(110)와 일정 거리 내에 존재하는 관심 객체(1)에 대해서만 관심 패턴을 검출함으로써, 뒷자석에 탑승한 동승자의 손을 걸러낼 수 있다.
제스처 영상에 나타난 관심 객체(1)가 운전자의 것으로 판단되면, 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하고, 인식된 제스처에 대응되는 제어 신호를 생성한다. 제어부(131)에서 인식할 수 있는 제스처는 정적인 포즈(pose)나 동적인 모션(motion)을 모두 포함하는 개념으로 정의한다.
제어부(131)는 공지된 제스처 인식 기술 중 적어도 하나를 사용하여 관심 객체가 나타내는 제스처를 인식할 수 있는바, 예를 들어, 운전자의 손이 나타내는 모션을 인식하는 경우에는 제스처 영상으로부터 손의 모션을 나타내는 모션 패턴을 검출하고, 검출된 모션 패턴이 저장부(132)에 저장된 모션 패턴과 일치하는지 여부를 판단할 수 있다. 제어부(131)는 두 패턴의 일치성을 판단하기 위해, DTW(Dynamic Time Warping) 알고리즘 또는 HMM(Hidden Markov Model) 알고리즘 등의 다양한 알고리즘 중 하나를 이용할 수 있다.
저장부(132)에는 특정 제스처와 그에 대응되는 이벤트가 맵핑되어 저장되어 있다. 따라서, 제어부(131)는 제스처 영상으로부터 인식한 제스처와 일치하는 특정 제스처를 저장부(132)에서 검색하고, 검색된 특정 제스처에 대응되는 이벤트를 실행할 수 있는 제어 신호를 생성한다. 이하, 도 10 및 도 11을 참조하여 제어부(131)의 동작을 구체적으로 설명하도록 한다.
도 10은 본 발명의 일 실시예에 따른 차량에 있어서, AVN 장치를 포함하는 차량의 제어 블록도이고, 도 11은 본 발명의 일 실시예에 따른 차량에 있어서, 공조 장치를 포함하는 차량의 제어 블록도이다.
도 10을 참조하면, 차량(100)은 오디오 기능, 비디오 기능 및 내비게이션 기능을 수행하는 AVN 장치(140)를 포함할 수 있다. 다시 도 3을 참조하면, AVN 장치(140)는 오디오 화면, 비디오 화면 및 내비게이션 화면 중 적어도 하나를 선택적으로 표시하는 AVN 디스플레이(141), AVN 장치(140)에 관한 제어 명령을 입력하는 AVN 입력부(142) 및 각 기능을 수행하는데 필요한 음향을 출력하는 스피커(143)를 포함한다.
운전 중인 운전자가 AVN 입력부(142)를 조작하여 AVN 장치(140)에 관한 제어 명령을 입력하는 것은 운전에 대한 집중도를 저하시켜 안전 운전을 방해할 수 있다. 따라서, 저장부(132)는 운전자의 손이 나타내는 특정 제스처에 대응되는 이벤트로 AVN 장치(140)의 동작을 저장할 수 있다.
저장부(132)에는 여러 종류의 제스처가 저장될 수 있고, 각각의 제스처에 다른 AVN 장치(140)의 동작이 맵핑될 수 있는바, 예를 들어, 제스처 1에는 오디오 기능의 온(on)이 맵핑되고, 제스처 2에는 비디오 기능의 온이 맵핑되고, 제스처 3에는 내비게이션 기능의 온이 맵핑될 수 있다.
제어부(131)가 인식한 제스처가 제스처 1인 경우, 오디오 기능을 온 시키기 위한 제어 신호를 생성하여AVN 장치(140)로 전송하고, 제어부(131)가 인식한 제스처가 제스처 2 또는 제스처 3인 경우, 비디오 기능 또는 내비게이션 기능을 온 시키기 위한 제어 신호를 생성하여 AVN 장치(140)로 전송할 수 있다.
또는, 오디오 기능, 비디오 기능 및 내비게이션 기능 중 적어도 두 개의 기능이 수행 중일 때, AVN 디스플레이(141)에 표시되는 화면을 전환하는 동작이 특정 제스처에 맵핑되어 저장되는 것도 가능하다. 예를 들어, 제스처 4에 오디오 화면으로의 전환이 맵핑되고, 제스처 5에는 내비게이션 화면으로의 전환이 맵핑될 수 있다.
따라서, 제어부(131)가 인식한 제스처가 제스처 4인 경우, AVN 디스플레이(141)에 표시되는 화면을 오디오 화면으로 전환시키기 위한 제어 신호를 생성하여 AVN 장치(140)로 전송할 수 있고, 제어부(131)가 인식한 제스처가 제스처 5인 경우, AVN 디스플레이(141)에 표시되는 화면을 내비게이션 화면으로 전환시키기 위한 제어 신호를 생성하여 AVN 장치(140)로 전송할 수 있다.
도 11을 참조하면, 차량(100)은 그 내부의 온도를 제어할 수 있는 공조 장치(150)를 포함할 수 있고, 제어부(131)는 공조 장치(150)를 제어하여 차량(100) 내부의 온도를 조절할 수 있다. 공조 장치(150)는 차량(100) 내부의 난방 및 냉방을 모두 수행할 수 있으며, 가열되거나 냉각된 공기를 통풍구(143)를 통해 배출함으로써 차량(100) 내부의 온도를 조절할 수 있다.
차량(100)에 구비되는 공조 장치는 널리 공지된 기술이므로, 이에 관한 더 구체적인 설명은 생략하도록 한다.
사용자는 공조 장치(150)를 이용하여 차량(100) 내부의 온도를 제어하기 위해, 상기 도 3에 도시된 바와 같이 센터페시아(11)에 마련된 공조 입력부(151)를 조작해야 한다. 그러나, 운전 중에 공조 입력부(151)를 조작하는 것은 안전 운전에 방해가 될 수 있고, 날씨가 매우 춥거나 매우 더운 날에는 사용자가 차량(100)에 타자마자 원하는 온도로 신속하게 차량(100) 내부의 온도를 제어하는 것이 필요하다.
따라서, 저장부(132)에 운전자의 손이 나타내는 특정 제스처에 대응되는 이벤트로 공조 장치(150)의 동작이 맵핑되어 저장될 수 있다. 예를 들어, 저장부(132)에 저장된 제스처 1에 차량(100)의 내부 온도를 미리 설정된 온도로 제어하는 동작이 맵핑되고, 제스처 2에는 차량(100)의 내부 온도를 최저 온도로 제어하는 동작이 맵핑되고, 제스처 3에는 차량(100)의 내부 온도를 최고 온도로 제어하는 동작이 맵핑될 수 있다.
그리고, 제어부(131)가 인식한 제스처가 제스처 1인 경우, 차량(100)의 내부 온도를 미리 설정된 온도로 제어하기 위한 제어 신호를 생성하여 공조 장치(150)로 전송하고, 제어부(131)가 인식한 제스처가 제스처 2인 경우, 차량(100)의 내부 온도를 최저 온도로 제어하기 위한 제어 신호를 생성하여 공조 장치(150)로 전송하고, 제어부(131)가 인식한 제스처가 제스처 3인 경우, 차량(100)의 내부 온도를 최고 온도로 제어하기 위한 제어 신호를 생성하여 공조 장치(150)로 전송할 수 있다.
전술한 AVN 장치(140)와 공조 장치(150)의 동작은 특정 제스처에 맵핑될 수 있는 동작의 예시에 불과하며, 본 발명의 실시예가 상기 예시에 한정되는 것은 아니다. 또한, AVN 장치(140)와 공조 장치(150) 외에도 사용자가 명령을 입력하여 제어될 수 있는 장치이면 그 동작을 특정 제스처에 맵핑시켜 저장할 수 있다.
한편, 운전자에게 한정되어 있던 제스처 인식 권한을 변경하는 것도 가능한바, 제스처 인식 권한을 동승자에게도 부여하거나 부여한 권한을 다시 가져올 수도 있다. 사용자가 차량(100)에 구비된 다양한 입력부(142,143,162)를 조작하여 제스처 인식 권한을 변경하는 것도 가능하나, 제스처 인식 권한의 변경이 제스처 인식을 통해 이루어지도록 하는 것도 가능하다.
도 12 는 제스처 인식 권한의 주체를 동승자까지 확대할 수 있는 특정 제스처의 예시를 나타낸 도면이다.
제스처 인식 권한을 변경하기 위해, 저장부(132)에 특정 제스처와 제스처 인식 권한 변경 동작을 맵핑시켜 저장할 수 있다. 예를 들어, 저장부(132)는 검지 손가락을 펴서 조수석 방향 즉, 우측 방향을 가리키고 나머지 손가락들은 구부린 상태의 제스처를 제스처 인식 권한을 조수석의 동승자게도 부여하는 동작에 맵핑시켜 저장할 수 있다.
따라서, 도 12에 도시된 바와 같이 관심 객체(1)가 운전자의 것이고, 관심 객체(1)가 나타내는 제스처가 검지 손가락을 조수석 방향, 즉 우측 방향을 가리키고 나머지 손가락들은 구부린 포즈인 경우, 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하고 제스처 인식 권한의 주체를 조수석의 동승자까지 확대시킨다. 즉, 제스처 인식 권한을 동승자에게도 부여한다.
동승자도 제스처 인식 권한을 갖게 된 경우, 영상 분석부(120)는 관심 객체(1)가 운전자 또는 동승자의 것인지 여부를 판단하고, 관심 객체(1)가 운전자의 것이 아닌 동승자의 것인 경우에도 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하여 그에 대응되는 동작을 실행시키기 위한 제어 신호를 생성할 수 있다.
도 13은 동승자에게도 제스처 인식 권한이 부여된 경우, 영상 분석부가 동승자를 식별하기 위해 수행하는 패턴 분석의 예시를 나타낸 도면이다.
동승자에게도 제스처 인식 권한이 있는 경우에는, 영상 분석부(120)가 관심 객체(1)가 누구의 것인지를 판단함에 있어서 제스처 인식 권한이 운전자에게 있었던 경우와 반대의 기준도 함께 적용할 수 있다. 예를 들어, 제스처 인식 권한이 운전자에게 있는 경우에는 상기 도 7에 도시된 바와 같이 손목연결 패턴(a-b)이 제스처 영역(5)의 좌측 경계 영역(L)에서부터 시작되는지 여부 또는 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)의 왼쪽에 위치하는지 여부만을 기준으로 운전자를 식별하였다.
그러나, 제스처 인식 권한이 동승자에게 있는 경우에는, 도 13에 도시된 바와 같이 손목연결 패턴(a-b)이 제스처 영역(5)의 우측 경계 영역(R)에서부터 시작되는지 여부 또는 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)의 오른쪽에 위치하는지 여부를 기준으로 동승자를 식별할 수 있다. 즉, 손목연결 패턴(a-b)이 제스처 영역(5)의 우측 경계 영역(R)에서부터 시작되거나 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)의 오른쪽에 위치하면 관심 객체(1)를 동승자의 것으로 판단할 수 있다.
제어부(131)는 제스처 영역(5)에 나타난 관심 객체(1)가 운전자의 것인 경우뿐만 아니라 동승자의 것인 경우에도 관심 객체가 나타내는 제스처를 인식하여 그에 대응되는 동작을 실행시킬 수 있다.
한편, 제스처 인식 권한의 주체를 조수석(22)에 탑승한 동승자뿐만 아니라 뒷자석에 탑승한 동승자에게까지도 확대할 수 있다. 이 경우에는 영상 분석부(120)에서 관심 객체(1)가 누구의 것인지 판단하는 알고리즘을 생략하고, 제어부(131)에서 바로 관심 객체(1)가 나타내는 제스처를 인식할 수 잇다.
도 14 및 도 15는 제스처 인식 권한을 동승자로부터 다시 가져올 수 있는 특정 제스처의 예시를 나타낸 도면이다.
전술한 바와 같이 제스처 인식 권한을 변경하기 위해, 저장부(132)에 특정 제스처와 제스처 인식 권한 변경 동작을 맵핑시켜 저장할 수 있는바, 제스처 인식 권한의 변경은 제스처 인식 권한의 주체를 다시 운전자로 한정시키는 것도 포함할 수 있다. 예를 들어, 저장부(132)는 손바닥을 폈다가 다시 오므리는 동작을 반복하는 모션을 제스처 인식 권한을 다시 운전자에게 한정시키는 동작에 맵핑시켜 저장할 수 있다.
따라서, 도 14에 도시된 바와 같이 관심 객체가 운전자의 것이고, 관심 객체가 나타내는 제스처가 손바닥을 폈다가 다시 오므리는 동작을 반복하는 모션인 경우, 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하고 제스처 인식 권한을 다시 운전자에게 한정시킨다. 제스처 인식 권한이 다시 운전자에게 한정된 이후에는 영상 분석부(120)에서 제스처 영역(5)에 존재하는 관심 객체(1)가 운전자의 것인지 여부를 판단하고, 관심 객체(1)가 운전자의 것인 경우에만 제어부(131)에서 관심 객체가 나타내는 제스처를 인식하여 그에 대응되는 동작을 실행시킬 수 있다.
또 다른 예로서, 저장부(132)는 주먹을 쥐고 있는 포즈를 제스처 인식 권한을 다시 운전자에게 한정시키는 동작에 맵핑시켜 저장할 수 있다. 따라서, 도 15에 도시된 바와 같이 관심 객체(1)가 운전자의 것이고, 관심 객체(1)가 나타내는 제스처가 주먹을 쥐는 포즈인 경우, 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하고 제스처 인식 권한을 다시 운전자에게 한정시킨다.
이처럼, 운전자는 제스처를 통해 제스처 인식의 권한의 주체를 자유롭게 변경함으로써 상황에 맞게 차량(100)에 대한 통제권을 조정할 수 있다.
상기 도 12, 도 14 및 도 15에 도시된 제스처는 제스처 인식 권한을 변경할 수 있는 제스처의 예시들에 불과하며, 본 발명의 실시예에서는 상기 제스처들 이외에도 운전자가 취할 수 있고, 제어부(131)가 인식할 수 있는 다양한 제스처들이 사용될 수 있다.
이하 본 발명의 일 측면에 따른 차량의 제어방법에 관한 실시예를 설명하도록 한다. 본 발명의 일 측면에 따른 차량의 제어방법에는 전술한 실시예에 따른 차량(100)이 적용될 수 있는바, 상기 도 1 내지 도 15에 관한 설명은 후술할 차량의 제어방법에 대해서도 적용될 수 있음은 물론이다.
도 16은 본 발명의 일 실시예에 따른 차량의 제어방법에 관한 순서도이다.
도 16을 참조하면, 먼저 촬영부(110)를 이용하여 제스처 영상을 촬영한다(311). 제스처 영상은 제스처 영역이 촬영된 영상이며, 제스처 영역은 제스처를 취하는 운전자의 신체 일부가 포함된 영역이다. 당해 실시예에서는 제스처를 취하는 운전자의 신체 일부가 손인 것으로 한다. 따라서, 촬영부(110)가 촬영하는 제스처 영상은 운전자의 손이 포함된 영상이 된다.
촬영된 제스처 영상으로부터 관심 객체를 검출한다(312). 당해 실시예에서는 관심 객체가 사용자의 손이 되며, 사용자는 운전자와 동승자를 포함한다.
관심 객체가 검출되면, 검출된 관심 객체에 대해 관심 패턴을 추출한다(313). 관심 패턴은 팔의 특정 포인트와 손목 포인트를 연결하는 손목연결 패턴, 손가락들 사이의 관계를 나타내는 손가락 패턴 등을 포함할 수 있다. 구체적으로, 상기 도 7을 참조하면, 제스처 영역(5)에 존재하는 인체의 팔 끝 포인트(a)와 인체의 손목에 위치하는 손목 포인트(b)를 연결한 손목연결 패턴(a-b)을 관심 패턴으로서 추출할 수 있다. 또한, 상기 도 8에 도시된 바와 같이 손목 포인트(b)와 엄지 손가락 끝 포인트(c)를 연결하여 형성되는 제1손가락 패턴(b-c)과 손목 포인트(b)와 엄지 손가락이 아닌 다른 손가락 끝 포인트(d)를 연결하여 형성되는 제2손가락 패턴(b-d)도 관심 패턴으로서 추출할 수 있다.
추출된 관심 패턴이 미리 정의된 특징을 갖는지 여부를 판단한다(314). 예를 들어, 상기 도 7에 도시된 바와 같이 손목연결 패턴(a-b)이 제스처 영역(5)의 왼쪽에서부터 시작되는지 여부, 더 구체적으로는 손목연결 패턴(a-b)의 팔 끝 포인트(a)가 좌측 경계 영역(L)에 위치하는지 여부를 판단할 수 있다. 또는, 상기 도 8에 도시된 바와 같이 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)보다 좌측에 있는지 여부를 판단할 수도 있다.
관심 패턴이 미리 정의된 특징을 가지면(314의 예), 검출된 관심 객체를 운전자의 것으로 판단한다(315).
그리고, 검출된 관심 객체가 나타내는 제스처를 인식하고(316), 인식된 제스처에 대응되는 동작을 수행한다. 인식된 제스처에 대응되는 동작은 저장부(132)에 미리 저장되어 있으며, 사용자가 설정 및 변경하는 것이 가능하다.
한편, 운전자는 제스처를 통해 제스처 인식 권한의 주체를 자유롭게 변경함으로써 상황에 맞게 차량에 대한 통제권을 조정할 수 있다. 이를 위해, 특정 제스처를 제스처 인식 권한의 주체 확대와 맵핑시켜 저장하고, 이 특정 제스처가 인식되면, 제스처 인식 권한을 동승자에게도 부여할 수 있다. 즉, 제스처 인식 권한의 주체를 동승자까지 확대할 수 있다. 또한, 제스처 인식 권한을 다시 운전자에게 한정하는 것도 가능한바, 그에 대응되는 다른 특정 제스처를 저장하고, 다른 특정 제스처가 인식되면, 제스처 인식 권한의 주체를 다시 운전자에게 한정시킬 수 있다.
전술한 차량 및 그 제어방법의 실시예에 의하면, 사용자의 제스처를 인식함에 있어 운전자의 제스처와 동승자의 제스처를 구분함으로써 동승자에 의해 차량이 오작동되거나 임의로 작동되는 것을 방지할 수 있다.
100 : 차량 110 : 촬영부
120 : 영상 분석부 131 : 제어부
132 : 저장부

Claims (23)

  1. 차량의 내부에 장착되어 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하는 촬영부;
    상기 촬영부가 촬영한 제스처 영상으로부터 인체의 팔 및 손을 포함하는 관심 객체를 검출하고, 상기 관심 객체에 대해 상기 팔의 끝부터 상기 팔과 상기 손의 연결 부위인 손목까지 연결된 손목연결 패턴을 포함하는 관심 패턴을 추출하고, 상기 관심 패턴이 미리 정의된 특징을 갖는지 여부에 대한 판단 결과에 기초하여 상기 관심 객체가 상기 운전자의 것인지 여부를 판단하는 영상 분석부; 및
    상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 제어부를 포함하는 차량.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 미리 정의된 특징은,
    상기 손목연결 패턴이 상기 제스처 영역의 왼쪽 또는 오른쪽에서부터 시작되는지 여부를 포함하는 차량.
  7. 제 6 항에 있어서,
    상기 차량이 LHD(Left Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 손목연결 패턴이 상기 제스처 영역의 왼쪽에서부터 시작되면 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
  8. 제 6 항에 있어서,
    상기 차량이 RHD(Right Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 손목연결 패턴이 상기 제스처 영역의 오른쪽에서부터 시작되면 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
  9. 제 1 항에 있어서,
    상기 관심 패턴은, 상기 팔과 상기 손의 연결부위인 손목과 상기 손의 엄지 손가락 끝을 연결하여 형성되는 제1손가락 패턴 및 상기 손목과 상기 엄지 손가락이 아닌 다른 손가락 끝을 연결하여 형성되는 제2손가락 패턴을 더 포함하는 차량.
  10. 제 9 항에 있어서,
    상기 미리 정의된 특징은,
    상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽 또는 오른쪽에 위치하는지 여부를 더 포함하는 차량.
  11. 제 10 항에 있어서,
    상기 차량이LHD(Left Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽에 있으면 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
  12. 제 10 항에 있어서,
    상기 차량이RHD(Right Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 오른쪽에 있으면 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
  13. 제 1 항에 있어서,
    특정 제스처와 특정 동작을 맵핑시켜 저장하는 저장부를 더 포함하는 차량.
  14. 제 13 항에 있어서,
    상기 제어부는,
    상기 저장부에서 상기 관심 객체가 나타내는 제스처와 일치하는 특정 제스처를 검색하고, 상기 검색된 특정 제스처에 맵핑된 특정 동작을 실행시킬 수 있는 제어 신호를 생성하는 차량.
  15. 제 14 항에 있어서,
    상기 저장부는,
    특정 제스처와 제스처 인식 권한의 변경을 맵핑시켜 저장하는 차량.
  16. 제 15 항에 있어서,
    상기 제어부는,
    상기 관심 객체가 나타내는 제스처가 상기 특정 제스처와 일치하면, 제스처 인식 권한의 변경을 위한 제어 신호를 생성하는 차량.
  17. 제 16 항에 있어서,
    상기 제스처 인식 권한의 변경은,
    상기 제스처 인식 권한의 주체를 상기 동승자까지 확대하는 것 및 상기 제스처 인식 권한의 주체를 상기 운전자에게 한정시키는 것을 포함하는 차량.
  18. 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하고;
    상기 제스처 영역이 촬영된 제스처 영상으로부터 인체의 팔 및 손을 포함하는 관심 객체를 검출하고;
    상기 관심 객체에 대해 상기 팔의 끝부터 상기 팔과 상기 손의 연결부위인 손목까지 연결된 손목연결 패턴을 포함하는 관심 패턴을 추출하고;
    상기 관심 패턴이 미리 정의된 특징을 가지면, 상기 관심 객체를 상기 운전자의 것으로 판단하고;
    상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 것을 포함하는 차량의 제어방법.
  19. 삭제
  20. 삭제
  21. 제 18 항에 있어서,
    상기 미리 정의된 특징은,
    상기 손목연결 패턴이 상기 제스처 영역의 왼쪽 또는 오른쪽에서부터 시작되는지 여부를 포함하는 차량의 제어방법.
  22. 제 18 항에 있어서,
    상기 관심 패턴은, 상기 팔과 상기 손의 연결부위인 손목과 상기 손의 엄지 손가락 끝을 연결하여 형성되는 제1손가락 패턴 및 상기 손목과 상기 엄지 손가락이 아닌 다른 손가락 끝을 연결하여 형성되는 제2손가락 패턴을 더 포함하는 차량의 제어방법.
  23. 제 22 항에 있어서,
    상기 미리 정의된 특징은,
    상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽 또는 오른쪽에 위치하는지 여부를 더 포함하는 차량의 제어방법.
KR1020130135532A 2013-11-08 2013-11-08 차량 및 그 제어방법 KR101537936B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130135532A KR101537936B1 (ko) 2013-11-08 2013-11-08 차량 및 그 제어방법
CN201410643964.8A CN104627094B (zh) 2013-11-08 2014-11-07 识别用户手势的车辆和用于控制该车辆的方法
US14/535,829 US20150131857A1 (en) 2013-11-08 2014-11-07 Vehicle recognizing user gesture and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130135532A KR101537936B1 (ko) 2013-11-08 2013-11-08 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20150054042A KR20150054042A (ko) 2015-05-20
KR101537936B1 true KR101537936B1 (ko) 2015-07-21

Family

ID=53043840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130135532A KR101537936B1 (ko) 2013-11-08 2013-11-08 차량 및 그 제어방법

Country Status (3)

Country Link
US (1) US20150131857A1 (ko)
KR (1) KR101537936B1 (ko)
CN (1) CN104627094B (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818725B2 (en) * 2011-11-16 2014-08-26 Flextronics Ap, Llc Location information exchange between vehicle and device
US9939912B2 (en) * 2014-03-05 2018-04-10 Denso Corporation Detection device and gesture input device
US9725098B2 (en) * 2014-08-11 2017-08-08 Ford Global Technologies, Llc Vehicle driver identification
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
JP2017059103A (ja) * 2015-09-18 2017-03-23 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、判定プログラムおよび記録媒体
CN105224088A (zh) * 2015-10-22 2016-01-06 东华大学 一种基于手势识别的体感操控车载平板系统及方法
JP6515028B2 (ja) * 2015-12-18 2019-05-15 本田技研工業株式会社 車両用操作装置
JP6543185B2 (ja) * 2015-12-22 2019-07-10 クラリオン株式会社 車載装置
DE102016001314B4 (de) * 2016-02-05 2017-10-12 Audi Ag Bedienvorrichtung und Verfahren zum Empfangen einer Zeichenfolge von einem Benutzer in einem Kraftfahrzeug
JP6733309B2 (ja) * 2016-05-25 2020-07-29 株式会社ノーリツ 給湯装置
US10220854B2 (en) 2017-01-20 2019-03-05 Honda Motor Co., Ltd. System and method for identifying at least one passenger of a vehicle by a pattern of movement
US10214221B2 (en) 2017-01-20 2019-02-26 Honda Motor Co., Ltd. System and method for identifying a vehicle driver by a pattern of movement
CN107102731A (zh) * 2017-03-31 2017-08-29 斑马信息科技有限公司 用于车辆的手势控制方法及其系统
CN108874116B (zh) * 2017-05-12 2022-11-08 宝马股份公司 用于特定于用户的功能的系统、方法、设备以及车辆
CN109144040B (zh) * 2017-06-16 2023-09-05 纵目科技（上海）股份有限公司 系统通过识别控制信息控制车辆的方法和系统
FR3069657A1 (fr) * 2017-07-31 2019-02-01 Valeo Comfort And Driving Assistance Dispositif optique pour l'observation d'un habitacle de vehicule
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
KR102348121B1 (ko) * 2017-09-12 2022-01-07 현대자동차주식회사 운전자 프로파일 로딩 시스템 및 방법
CN109720354B (zh) * 2017-10-31 2021-02-26 长城汽车股份有限公司 基于人际关系的车辆功能使用方法
TWM563382U (zh) * 2017-11-09 2018-07-11 英屬開曼群島商麥迪創科技股份有限公司 車體設備控制系統
GB2568669B (en) * 2017-11-17 2020-03-25 Jaguar Land Rover Ltd Proximity based vehicle controller
JP2019101826A (ja) * 2017-12-04 2019-06-24 アイシン精機株式会社 ジェスチャ判定装置およびプログラム
KR102041965B1 (ko) * 2017-12-26 2019-11-27 엘지전자 주식회사 차량에 구비된 디스플레이 장치
US10628667B2 (en) * 2018-01-11 2020-04-21 Futurewei Technologies, Inc. Activity recognition method using videotubes
JP2019139633A (ja) * 2018-02-14 2019-08-22 京セラ株式会社 電子機器、移動体、プログラムおよび制御方法
CN108664120A (zh) * 2018-03-30 2018-10-16 斑马网络技术有限公司 手势识别系统及其方法
JP7331846B2 (ja) * 2018-06-07 2023-08-23 ソニーグループ株式会社 制御装置、制御方法、プログラム、および移動体
CN108803426A (zh) * 2018-06-27 2018-11-13 常州星宇车灯股份有限公司 一种基于tof手势识别的车机控制系统
WO2020111192A1 (ja) * 2018-11-28 2020-06-04 株式会社堀場製作所 車両試験システム及び車両試験方法
WO2020157531A1 (ja) * 2019-01-29 2020-08-06 日産自動車株式会社 乗車許可判断装置及び乗車許可判断方法
JP7164479B2 (ja) * 2019-03-28 2022-11-01 本田技研工業株式会社 車両用運転支援システム
KR20210017515A (ko) * 2019-08-08 2021-02-17 현대자동차주식회사 차량의 모션 인식 장치 및 방법
US11873000B2 (en) * 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
JP2021133877A (ja) * 2020-02-28 2021-09-13 株式会社Subaru 車両の乗員監視装置
CN112532833A (zh) * 2020-11-24 2021-03-19 重庆长安汽车股份有限公司 智能拍录系统
EP4281946A1 (en) * 2021-01-25 2023-11-29 Sony Semiconductor Solutions Corporation Electronic device, method and computer program
CN115220566A (zh) * 2021-04-19 2022-10-21 北京有竹居网络技术有限公司 姿态识别方法、装置、设备、介质和计算机程序产品
KR102567935B1 (ko) * 2021-08-17 2023-08-17 한국자동차연구원 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템 및 그 방법
WO2024002255A1 (zh) * 2022-06-29 2024-01-04 华人运通(上海)云计算科技有限公司 对象的控制方法、装置、设备、存储介质及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004067031A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 操作者判別装置およびこれを用いた車載装置
KR20040036593A (ko) * 2002-10-25 2004-04-30 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP2009252105A (ja) * 2008-04-09 2009-10-29 Denso Corp プロンプター式操作装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925421B2 (ja) * 2003-02-10 2007-06-06 株式会社デンソー 車載機器の操作装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
JP5201999B2 (ja) * 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
JP4984748B2 (ja) * 2006-08-30 2012-07-25 株式会社デンソー 操作者判定装置及び操作者判定装置を備えた車載用装置
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
EP2304527A4 (en) * 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
CN102467657A (zh) * 2010-11-16 2012-05-23 三星电子株式会社 手势识别系统和方法
DE102011010594A1 (de) * 2011-02-08 2012-08-09 Daimler Ag Verfahren, Vorrichtung und Computerprogrammprodukt zum Ansteuern einer Funktionseinheit eines Fahrzeugs
US10025388B2 (en) * 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
BR112014015915A8 (pt) * 2011-12-29 2017-07-04 Intel Corp sistemas, métodos e aparelho para controlar a iniciação e a terminação de gestos
DE102012000201A1 (de) * 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US8866895B2 (en) * 2012-02-07 2014-10-21 Sony Corporation Passing control of gesture-controlled apparatus from person to person
US9536361B2 (en) * 2012-03-14 2017-01-03 Autoconnect Holdings Llc Universal vehicle notification system
JP5916566B2 (ja) * 2012-08-29 2016-05-11 アルパイン株式会社 情報システム
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
CN103226378A (zh) * 2013-05-03 2013-07-31 合肥华恒电子科技有限责任公司 一种分体式平板计算机
JP6331022B2 (ja) * 2013-09-27 2018-05-30 パナソニックＩｐマネジメント株式会社 表示装置、表示制御方法、及び表示制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004067031A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 操作者判別装置およびこれを用いた車載装置
KR20040036593A (ko) * 2002-10-25 2004-04-30 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP2009252105A (ja) * 2008-04-09 2009-10-29 Denso Corp プロンプター式操作装置

Also Published As

Publication number Publication date
CN104627094A (zh) 2015-05-20
CN104627094B (zh) 2018-10-09
US20150131857A1 (en) 2015-05-14
KR20150054042A (ko) 2015-05-20

Similar Documents

Publication Publication Date Title
KR101537936B1 (ko) 차량 및 그 제어방법
US11124118B2 (en) Vehicular display system with user input display
US9720498B2 (en) Controlling a vehicle
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
CN105807912B (zh) 车辆、用于控制该车辆的方法和其中的手势识别装置
US20110029185A1 (en) Vehicular manipulation input apparatus
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
US20160132126A1 (en) System for information transmission in a motor vehicle
US20160170495A1 (en) Gesture recognition apparatus, vehicle having the same, and method for controlling the vehicle
US10133357B2 (en) Apparatus for gesture recognition, vehicle including the same, and method for gesture recognition
JP5126666B2 (ja) 車両用操作入力装置
KR101741691B1 (ko) 차량 및 그 제어방법
JP4577387B2 (ja) 車両用操作入力装置
CN109278844B (zh) 方向盘、具有方向盘的车辆以及用于控制车辆的方法
KR101484202B1 (ko) 제스쳐 인식 시스템을 갖는 차량
JP7091983B2 (ja) 機器制御装置
KR20200093091A (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
KR101542502B1 (ko) 차량 제어 장치 및 그 제어 방법
JP5912177B2 (ja) 操作入力装置、操作入力方法及び操作入力プログラム
JP2017134777A (ja) 動作判定プログラム、動作判定方法及び制御装置
KR102263153B1 (ko) 동작 인식 장치 및 그 동작 방법
CN110850975B (zh) 具有手掌辨识的电子系统、车辆及其操作方法
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
KR20130076214A (ko) 운전자의 포인팅 제스처를 이용한 차량 구동 장치 및 그 방법
CN107608501B (zh) 用户接口设备及包括其的车辆以及控制车辆的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4