KR20150073857A - 햅틱 피드백을 구비하는 차량 내 제스처 기반 입력 시스템 - Google Patents

햅틱 피드백을 구비하는 차량 내 제스처 기반 입력 시스템 Download PDF

Info

Publication number
KR20150073857A
KR20150073857A KR1020140184343A KR20140184343A KR20150073857A KR 20150073857 A KR20150073857 A KR 20150073857A KR 1020140184343 A KR1020140184343 A KR 1020140184343A KR 20140184343 A KR20140184343 A KR 20140184343A KR 20150073857 A KR20150073857 A KR 20150073857A
Authority
KR
South Korea
Prior art keywords
vehicle
actuator
haptic
gesture
driver
Prior art date
Application number
KR1020140184343A
Other languages
English (en)
Inventor
닷 트루옹
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150073857A publication Critical patent/KR20150073857A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

차량 시스템을 제어하는 시스템은, 햅틱 액츄에이터, 제스처 검출 디바이스, 제어기 및 복수의 차량 시스템을 포함한다. 제스처 검출 디바이스는, 차량 운전자 또는 승객의 움직임을 포착하고, 차량 운전자 또는 승객에 의해 이루어지는 제스처를 나타내는 데이터를 출력한다. 제어기는, 제스처 검출 디바이스에 연결되고, 제스처 검출 디바이스로부터 제스처를 나타내는 신호를 수신한다. 제어기는, 햅틱 액츄에이터에 연결되고, 검출된 제스처에 기초하는 햅틱 효과를 선택하여, 선택된 햅틱 효과를 제공하는 신호를 햅틱 액츄에이터에 송신한다. 제어기는 또한 차량 시스템에 연결되고, 검출된 제스처에 기초하여, 제어기는 특정 액션을 수행하는 신호를 차량 시스템 중 하나에 송신한다. 차량 시스템의 특정 액션은 선택된 햅틱 효과와 매칭된다.

Description

햅틱 피드백을 구비하는 차량 내 제스처 기반 입력 시스템{GESTURE BASED INPUT SYSTEM IN A VEHICLE WITH HAPTIC FEEDBACK}
본 발명은 일반적으로 차량용 제스처 기반 입력 시스템에 관한 것으로, 보다 구체적으로는, 차량 시스템들을 제어하는 제스처 기반 입력 시스템에 관한 것이며, 제스처 기반 입력들을 확인하기 위해 사용자에게 햅틱 효과들을 제공하는 햅틱 피드백을 포함하는 제스처 기반 입력 시스템에 관한 것이다.
차량들은 차량의 탑승자들에 대해 편안한 환경을 지원하고, 즐길 수 있게 해주며, 및/또는 제공하는 기술을 계속 추가하고 있다. 예를 들어, 이에 제한되는 것은 아니지만, GPS(Global Positioning Systems)를 사용하는 네비게이션 시스템, 환경 또는 기후 제어 시스템(HVAC 제어 등), 라디오, CD 플레이어, 보조 디바이스 플레이어, 비디오 스크린, DVD 플레이어, 전화 시스템, 및 기타 유사한 시스템들이 종종 차량에 통합된다. 이들 시스템에 대한 제어는, 이에 제한되는 것은 아니지만, 노브(knobs), 버튼, 다이얼 및 터치 스크린 등 다양한 형태로 제공된다. 점점 더 많은 제어 시스템들이 터치 스크린에 통합되고 있다. 이러한 제어를 사용하는 것은 운전자가 자신의 시선을 길에서 벗어나게 할 것을 요구하며, 이는 위험하다. 물리적 입력에 대한 대안으로서 스크린에 디스플레이되는 가상 버튼 및 슬라이더를 사용하는 터치 스크린 디바이스의 사용이 증가하면서 이러한 점은 특히 문제가 많을 수 있다. 사용자들은 거의 하나 이상의 손가락(들)으로 스크린 상의 가상 버튼, 슬라이더, 스크롤러 등을 터치 및/또는 그렇지 않으면 조작하는 것에 의해서만 이러한 디바이스들과 인터페이스할 수 있다. 가상 버튼들, 슬라이드들 등의 사이에는 종종 물리적 또는 "느낌" 차이가 없기 때문에, 사용자는 예를 들어 물리적 버튼들 또는 노브들에서는 가능하였던 가상 버튼의 위치에 대해 "느낄" 수 없다. 또한, 스크린 상의 그래픽 디스플레이는 운전자가 도로 대신 스크린을 더욱 응시하도록 하는 조작에 응답하여 시각적 피드백을 제공한다.
최근 개발들은 차량 시스템들 중 일부에 대해 음성-제어 시스템들을 가능하게 하였다. 그러나, 음성-제어 시스템은, 특히 음성 명령을 수신하는 마이크로폰이 음성 명령을 정확히 수신하거나 이해하지 못하는 상황에서, 차량의 승객들에게 지장을 준다. 이는 명령의 반복을 초래하고, 종종 사용자로 하여금 명령을 큰 소리로 말하게(shout) 하여, 차량의 다른 승객들에게 지장을 준다. 또한, 차량의 환경 시스템 및 도로 잡음 등의 주변 잡음이 명령을 수신하는 마이크로폰에 간섭을 줄 수 있다.
사용자의 제스처 또는 손 동작에 컴퓨터 시스템이 반응할 수 있는 제스처 기반 인터페이스들에서 최근 일부 개발이 있었다. 그러나, 차량 내 제스처 기반 인터페이스들은 제스처 기반 명령이 시스템에 의해 적절히 해석되는지를 확인하려고 운전자가 디스플레이 스크린 또는 기타 디바이스들을 응시하는 경향이 있는 운전자 집중방해(distraction)의 문제점을 완화하지 못할 수 있다. 또한, 시스템의 돌발적 활성화가 회피될 필요가 있다. 따라서, 제스처 기반 입력 시스템을 차량에 통합하고, 운전자 등의 사용자가 차량을 운전하는 주요 임무로부터 집중을 방해받지 않는 방식으로 피드백을 제공하는 것이 바람직할 것이다.
본 발명의 실시예들은, 햅틱 액츄에이터, 제스처 검출 디바이스, 제어기 및 복수의 차량 시스템들을 포함하는 차량 시스템들을 제어하는 시스템들에 관한 것이다. 제스처 검출 디바이스는, 차량 운전자 또는 승객의 움직임을 포착하고, 차량 운전자 또는 승객에 의해 이루어지는 제스처를 나타내는 데이터를 출력한다. 제어기는, 제스처 검출 디바이스에 연결되고, 제스처를 나타내는 제스처 검출 디바이스로부터의 신호를 수신한다. 제어기는, 햅틱 액츄에이터에 연결되고, 검출된 제스처에 기초하는 햅틱 효과를 선택하여, 선택된 햅틱 효과를 제공하는 신호를 햅틱 액츄에이터에 송신한다. 제어기는 차량 시스템들에도 연결되고, 검출된 제스처에 기초하여, 제어기는 특정 액션을 수행하는 신호를 차량 시스템들 중 하나에 송신한다. 차량 시스템의 특정 액션은 선택된 햅틱 효과와 매칭된다.
본 발명의 실시예들은, 또한, 햅틱 액츄에이터, 제스처 검출 디바이스, 오디오 검출 디바이스, 제어기 및 복수의 차량 시스템들을 포함하는 차량 시스템들을 제어하는 시스템들에 관한 것이다. 제스처 검출 디바이스는, 차량 운전자 또는 승객의 움직임을 포착하고, 차량 운전자 또는 승객에 의해 이루어지는 제스처를 나타내는 데이터를 출력한다. 오디오 검출 디바이스는, 차량 운전자 또는 승객으로부터의 음성 명령을 검출하고, 음성 명령을 나타내는 데이터를 제어기에 출력한다. 제어기는, 제스처 검출 디바이스 및 오디오 검출 디바이스에 연결되어, 제스처를 나타내는 제스처 검출 디바이스로부터의 신호들 및 음성 명령을 나타내는 오디오 검출 디바이스로부터의 신호들을 수신한다. 제어기는, 햅틱 액츄에이터에 연결되고, 검출된 제스처 또는 검출된 음성 명령에 기초하여 햅틱 효과를 선택하고, 선택된 햅틱 효과를 제공하는 신호를 햅틱 액츄에이터에 송신한다. 제어기는 또한 차량 시스템들에 연결되고, 검출된 제스처 또는 검출된 음성 명령에 기초하여, 제어기는 특정 액션을 수행하는 신호를 차량 시스템들 중 하나에 송신한다. 차량 시스템의 특정 액션은 선택된 햅틱 효과와 매칭된다.
본 발명의 상술한 특징들 및 이점들과 기타 특징들 및 이점들은 첨부 도면에 도시되는 실시예들의 이하 설명으로부터 명백해 질 것이다. 본 명세서에 포함되며 본 명세서의 일부를 구성하는 첨부 도면들은, 본 발명의 원리드를 설명하는데 더욱 역할을 할 것이며, 당업자들로 하여금 본 발명을 이루고 사용할 수 있게 해 준다. 도면들은 크기 조정되지 않은 것이다.
도 1은 본 발명의 제스처 기반 입력 시스템 및 햅틱 피드백 시스템의 실시예를 도시하는 다양한 시스템들을 구비하는 차량의 개략도이다.
도 2는 도 1의 차량의 좌석들 중 하나의 개략도이다.
도 3은 도 1의 차량의 운전자 좌석과 전방 승객 좌석 사이의 센터 콘솔 및 팔걸이의 개략도이다.
도 4는 본 발명의 제스처 기반 입력 및 햅틱 피드백 시스템의 일 실시예의 블럭도이다.
도 5는 차량의 디스플레이 디바이스의 개략도이다.
도 6은 본 발명의 제스처 및 오디오 기반 입력 및 햅틱 피드백 시스템의 일 예의 블럭도이다.
이제 본 발명의 특정 실시예들이 도면을 참조하여 설명되며, 동일 참조 번호들은 동일하거나 또는 기능적으로 유사한 구성요소들을 나타낸다. 이하의 상세한 설명은, 본질적으로 단지 예시적인 것으로, 본 발명 또는 본 출원 및 본 발명의 사용을 제한하려는 것이 아니다. 본 발명의 실시예들의 설명이 차량 내 제스처 기반 입력 및 햅틱 피드백 시스템의 정황에 있지만, 본 발명은 유용하다고 여겨지는 임의의 다른 애플리케이션에 사용될 수도 있다. 또한, 선행 기술 분야, 배경 기술, 간략한 요약 또는 이하의 상세한 설명에서 제시되는 임의의 표현되거나 또는 시사되는 이론에 의해 얽매이려는 의도는 없다.
도 1은 차량(V)의 내부의 개략도이다. 차량 내부의 몇몇 통상적인 특징들이 도 1 내지 도 3을 참조하여 설명될 것이다. 차량(V)은 머리 받침(12), 등 받침(14) 및 좌석 베이스(16)를 포함하는 운전자 좌석(10)을 포함한다. 이와 유사하게, 승객 측 전방 좌석(20)은, 머리 받침(22), 등 받침(24) 및 좌석 베이스(26)를 포함한다. 운전자 측 후방 좌석(30)은, 머리 받침(32), 등 받침(34) 및 좌석 베이스(36)을 포함하고, 승객 측 후방 좌석(40)은, 머리 받침(42), 등 받침(44) 및 좌석 베이스(46)을 포함한다. 당업자들은 차량(V)이 더 많은 좌석들(도 1에 도시된 바와 같이) 또는 더 적은 좌석들을 포함할 수 있다는 점을 인식할 것이다. 또한, 모든 좌석이 본 명세서에 개시되는 모든 특징들을 포함할 필요는 없다. 예를 들어, 이에 제한되는 것은 아니지만, 머리 받침들이 제공될 필요는 없다. 차량(V)은, 또한, 공지된 바와 같이, 핸들(18) 및 운전자 좌석(10)과 승객 측 전방 좌석(20) 사이에 배치되는 팔 받침(28)을 포함한다.
차량(V)은 또한 운전자 좌석(10)과 승객 측 전방 좌석(20) 사이의 전방 대쉬에 배치되는 전자 제어 및 디스플레이 시스템(50)을 포함할 수 있다. 전자 제어 및 디스플레이 시스템(50)은, 이에 제한되는 것은 아니지만, 라디오, 네비게이션 시스템, 차량 기후 제어 시스템, 블루투스 시스템, DVD 플레이어, CD 플레이어 및 셀룰러 전화 등의 보조 시스템들, 정보 시스템 및 기타 당업자들에게 공지된 시스템들 등의 시스템들의 기능들을 제어하고 디스플레이하는데 사용될 수 있는 종래의 제어 및 디스플레이 시스템과 유사할 수 있다. 운전자 측 후방 제어 및 디스플레이 시스템(38)은, 운전자 좌석 머리 받침(12)에 부착되어, 운전자 측 후방 좌석(30)을 마주볼 수 있다. 유사하게, 승객 측 후방 제어 및 디스플레이 시스템(48)은, 승객 측 후방 좌석 머리 받침(22)에 부착되어, 승객 측 후방 좌석(40)을 마주볼 수 있다. 제어 및 디스플레이 시스템(38, 48)은, 이에 제한되는 것은 아니지만, 후방 기후 시스템, DVD 플레이어 및 CD 플레이어 등의 후방 엔터테인먼트 시스템, 블루투스 시스템, 및 기타 당업자들에게 공지된 시스템들 등의 시스템들의 기능들을 제어 및 디스플레이하는 종래의 제어 및 디스플레이 시스템들을 포함할 수 있다.
제어 및 디스플레이 시스템(50)은 운전자 및/또는 승객의 움직임들을 검출하도록 구성되는 카메라 또는 기타 제스처 입력 검출기(60)를 포함할 수 있다. 유사하게, 제어 및 디스플레이 시스템(38, 48)은, 각각, 이하 보다 상세히 설명되는 바와 같이, 후방 좌석(30, 40)에서의 승객들의 움직임들을 검출하는, 카메라 또는 기타 제스처 입력 검출기(39, 49)를 포함할 수 있다. 카메라(60, 39, 49)는 각각의 제어 및 디스플레이 시스템(50, 38, 48)과 연관되는 것으로 도시되지만, 본 명세서는 이러한 실시예에 제한되는 것이 아니다. 그 대신, 운전자 및 승객들의 제스처가 검출될 수 있고 이하 상세히 설명되는 바와 같이 사용될 수 있는 임의의 방식이 사용될 수 있다. 예를 들어, 이에 제한되는 것은 아니지만, 차량(V)의 내부에 배치되는 다수의 카메라들이 전체 차량 내부의 움직임을 추적할 수 있다. 이러한 그룹의 카메라는, 승객들의 손 및 손가락의 움직임들과 같이 상세한 것들을 포함하여, 승객들 각각의 위치, 방향 및 움직임들을 검출할 수 있다. 본 실시예에 사용되는 카메라는 광학적 검출을 위해 사용되는 모션 캡쳐 카메라들일 수 있다. 그러나, 당업자들은, 이에 제한되는 것은 아니지만, 적외선, RFID 및 전자기 등의 다른 타입의 카메라 또는 검출 시스템들이 사용될 수 있다는 점을 이해할 것이다. 당업자들에 의해 이해되는 바와 같이, XBOX KinectTM 또는 유사한 시스템들 등의 게임에서 모션 검출 및 처리를 위해 사용되는 시스템들 등이 사용될 수 있다.
도 2는 도 1의 운전자 좌석(10)을 보다 상세히 도시한다. 특히, 운전자 좌석(10)은 운전자 좌석(10)의 일부에 하나 이상의 햅틱 액츄에이터(110)를 포함할 수 있다. 도 2에 도시된 실시예에서는, 햅틱 액츄에이터(110)가, 머리 받침(12), 등 받침(14) 및 좌석 베이스(16)에 통합된다. 그러나, 당업자들에 의해 이해될 수 있는 바와 같이, 햅틱 액츄에이터(110)는 운전자 좌석(10)에서 더 많은 또는 더 적은 위치에 통합될 수 있다. 햅틱 액츄에이터(110)는, 이하 보다 상세히 설명되는 바와 같이, 제스처 기반 입력 시스템과 함께 사용된다. 또한, 도 2는 운전자 좌석(10)에 통합되는 햅틱 액츄에이터(110)를 도시하지만, 햅틱 액츄에이터는, 승객 좌석(20), 운전자 측 후방 좌석(30), 및 승객 측 후방 좌석(40)에, 보다 구체적으로는, 이들 각각의 머리 받침(22, 32, 42), 등 받침(24, 34, 44) 및 좌석 베이스(26, 36, 46)에 통합될 수도 있다.
도 3은 운전자 좌석(10)과 승객 좌석(20) 사이에 배치되는 팔 받침(28) 및 센터 콘솔(29)의 일부를 도시한다. 팔 받침(28)은 내부에 통합되는 햅틱 액츄에이터(110)를 포함할 수 있다. 또한, 센터 콘솔(29)은 카메라 또는 기타 제스처 입력 검출기(62)를 포함할 수 있다. 제스처 입력 검출기(62)가 센터 콘솔(29)에 사용되는 상황에서는, 카메라(60)를 대체할 수 있다. 또한, 카메라 또는 제스처 입력 검출기(62)는 사용자가 카메라(62)의 근처에서 제스처를 수행해야 할 필요가 있도록 제한된 시야를 포함할 수 있다. 이러한 상황은 사용자의 의도하지 않은 움직임들이 차량 시스템을 제어하는 제스처들로서 검출되지 않도록 바람직한 것일 수 있다. 또한, 카메라 또는 제스처 입력 검출기(62)를 디스플레이 시스템(50)으로부터 분리하는 것은, 제스처들을 디스플레이를 응시하는 것으로부터 분리하도록 사용자를 심리적으로 훈련시킨다. 따라서, 운전자는 디스플레이(50)를 보는 대신 자신의 시야를 도로에 유지하는 것이 보다 용이하게 되고, 이는 이하 보다 상세히 설명되는 햅틱 피드백 시스템에 의한 도움도 받을 것이다.
햅틱 액츄에이터(110)는 차량(V)의 다른 공통 접촉면들에 제공될 수 있다. 예를 들어, 이에 제한되는 것은 아니지만, 핸들(18)이 도 1에 도시된 바와 같이 햅틱 액츄에이터(110)를 포함할 수 있다. 또한, 도어 팔 받침, 후방 승객 좌석들 사이의 팔 받침, 좌석 벨트 및 차량의 바닥 등 다른 표면이 햅틱 액츄에이터(110)를 포함할 수 있다. 또한, 햅틱 액츄에이터는 차량(V)의 운전자 또는 승객들에 의해 착용될 수 있는 물건들 또는 아이템들에 제공될 수 있다. 예를 들어, 이에 제한되는 것은 아니지만, 운전자 또는 승객에 의해 햅틱 효과가 바로 느껴지도록 운전자 또는 승객이 착용할 수 있는 장갑, 모자, 목걸이, 손목 밴드 또는 팔찌 및 기타 유사한 아이템들에 햅틱 액츄에이터(110)가 제공될 수 있다.
일 실시예에서, 햅틱 액츄에이터(110)는, 예를 들어, 좌석(10, 20, 30, 40)의 일부에, 팔 받침(28), 핸들(18) 또는 착용가능 물체 등 액츄에이터(110)가 위치되는 물체에 진동을 생성하는 진동촉각 디바이스일 수 있다. 다른 타입의 햅틱 피드백이 제공될 수 있다. 예를 들어, 이에 제한되는 것은 아니지만, 햅틱 액츄에이터(110)는 정전 마찰 또는 초음파 마찰을 사용자에게 제공할 수 있다. 운동감각 피드백(예를 들어, 액티브한 저항력 피드백), 변형, 및/또는 질감 등 다른 타입의 촉각 피드백을 포함하는 다른 타입의 햅틱 효과가 생성되어 사용자에게 제공될 수 있다. 도 1 내지 도 3에 도시된 바와 같이, 상이한 이벤트들을 나타내기 위해, 또는 상이한 사용자들에게 햅틱 효과들을 제공하기 위해 다수의 햅틱 액츄에이터들이, 이하 보다 상세히 설명되는 바와 같이, 차량(V)의 상이한 영역들에 통합될 수 있다. 햅틱 액츄에이터(110)는, 전자기 모터, 모터에 의해 편심 질량이 이동되는 ERM(Eccentric Rotating Mass) 액츄에이터, 스프링에 부착된 질량체가 앞뒤로 구동되는 LRA(Linear Resonant Actuator), 형상 기억 합금, 신호에 응답하여 변형되는 전기-활성 폴리머, 강성 변경 메커니즘, 진동햅틱 액츄에이터, 관성 액츄에이터, 압전 액츄에이터, 이동 자석 액츄에이터 또는 기타 적합한 타입의 액츄에이팅 디바이스들을 포함할 수 있다.
도 4는 제스처 기반 입력 및 햅틱 피드백 시스템(100)의 일 실시예의 블럭도 및 이 시스템(100)을 이용하는 순서도이다. 특히, 제스처 입력 블럭(102)은 운전자 등 차량의 사용자에 의한 제스처를 나타낸다. 이러한 제스처는 사용자에 의한 손 및/또는 손가락 제스처인 것으로 고려된다. 다른 제스처도 사용될 수 있다. 사용자에 의해 제스처가 이루어지면, 카메라 또는 기타 제스처 검출기(60)는 사용자에 의한 제스처를 검출한다. 위에 설명된 바와 같이, 제스처 검출기(60)는, 단일 카메라, 다수 카메라들 또는 사용자의 위치, 방향 및 움직임을 검출하도록 구성되는 기타 디바이스들일 수 있다.
카메라 또는 제스처 검출기(60)가 제스처를 검출하면, 제스처 입력 제어기/해석기(104)에 신호를 송신한다. 제스처 입력 제어기/해석기(104)는, 카메라 신호를 제스처 신호로 변환하고, 이 신호를 컴퓨터/제어기(106)에 송신한다. 예를 들어, 이에 제한되는 것은 아니지만, 카메라(60)는, 검출된 손/손가락의 위치, 모션의 속도/방향, 및 사용자 손/손가락의 위치, 방향 및 움직임에 관한 기타 데이터의 형태로 데이터를 제공한다. 제스처 입력 제어기/해석기(104)는 이러한 데이터를 잠재적 제스처의 테이블로부터의 특정 제스처로 변환한다. 예를 들어, 이에 제한되는 것은 아니지만, 가능한 제스처들로는, 특정 방향으로 손 흔들기, 상하좌우로의 손가락 움직임, 손/손가락 회전, 손가락으로 집기/손가락 풀기(pinch/unpinch), 빠르게 흔들기, 카메라 쪽으로의 손가락 움직임 및 당업계에 알려진 기타 제스처들이 포함될 수 있다. 원한다면, 예를 들어, 집게 손가락에 의한 움직임이 새끼 손가락에 의한 움직임으로부터 움직임에 의해 구별될 수 있도록, 정교한 검출 시스템이 개별 손가락을 검출할 수 있다. 그러나, 인터렉티브 햅틱 피드백 시스템의 사용은, 이하 보다 상세히 설명되는 바와 같이, 움직임에서의 경미한 변화들 사이를 인식하거나 또는 구별할 필요가 없는 시스템을 허용한다. 따라서, 비용이 덜 드는 제스처 인식 시스템이 인터렉티브 햅틱 피드백 시스템과 조합하여 사용될 수 있다.
제스처 입력 제어기/변환기(104)가 데이터를 변환한 후, 제스처 신호는 컴퓨터/제어기(106)에 송신된다. 당업자들은 제스처 제어기/해석기(104)가 컴퓨터/제어기(106)와 조합될 수 있다는 점을 인식할 것이다. 도 4에 도시된 실시예에서, 컴퓨터/제어기(106)가 제스처 신호를 수신하면, 컴퓨터/제어기(106)는 데이터를 처리하여 3개의 상이한 디바이스에 신호를 제공한다. 특히, 컴퓨터/제어기(106)는 제스처 신호를 햅틱 테이블(108)로부터 선택되는 햅틱 효과에 매칭한다. 예를 들어, 이에 제한되는 것은 아니지만, 햅틱 효과가 일반적으로 진동 효과이면, 정도, 크기, 빈도 및/또는 지속기간의 면에서 특정 진동 효과가 선택된다. 또한, 제스처 기반 입력 시스템이 다수 사용자들로부터의 입력을 허용하면, 컴퓨터/제어기(106)는 어느 사용자에게 햅틱 효과가 전달될 것인지를 선택한다. 또한, 일 실시예에서는, 개별 사용자에 대해 상이한 햅틱 액츄에이터(110)가 선택될 수 있다. 예를 들어, 이에 제한되는 것은 아니지만, 운전자 좌석(10)의 머리 받침(12)에 있는 햅틱 액츄에이터(110)의 활성화는 운전자 좌석(10)의 좌석 베이스(16)에 있는 햅틱 액츄에이터(110)의 활성화와는 상이한 피드백 의미를 가질 수 있다. 본질적으로, 컴퓨터/제어기(106)는 어느 햅틱 액츄에이터(110)에 신호가 송신될지를 선택한다. 따라서, 컴퓨터/제어기(106)는, 햅틱 테이블(108)로부터 특정 햅틱 효과를 선택하고, 해당 효과가 적용될 특정 햅틱 액츄에이터(110)를 선택한다. 그리고, 선택된 햅틱 효과를 위한 신호는 선택된 햅틱 엑츄에이터(110)에 송신된다.
동시에, 컴퓨터/제어기(106)는 취해지는 액션을 보여주는 신호를 디스플레이(50)에 송신한다. 예를 들어, 이에 제한되는 것은 아니지만, 사용자가 아이콘(예를 들어, 라디오, 네비게이션, 기후 등)을 선택하면, 컴퓨터/제어기(106)는 선택된 아이콘이 하이라이트되는 신호를 디스플레이(50)에 송신한다. 또한, 선택된 아이콘과 관련된 임의의 서브-메뉴가 디스플레이될 것이다. 예를 들어, 이에 제한되는 것은 아니지만, 도 5는 메인 메뉴(52) 및 서브 메뉴(54)가 있는 디스플레이의 일 예를 도시한다. 이하 보다 상세히 설명되는 바와 같이, 제스처는, 도 5에 도시된 바와 같이, 메인 메뉴(52) 상의 기후 제어 아이콘을 선택하는 것으로서 해석될 수 있다. 이러한 선택에 의해, 컴퓨터/제어기(106)는, 도 5에 도시된 바와 같이, 기후 제어 아이콘을 하이라이트하는 신호를 디스플레이에 송신한다. 기후 제어 아이콘이 선택되면, 기후 제어와 관련된 서브 메뉴(54)가 나타난다. 유사하게, 메인 메뉴(52) 상의 임의의 기타 아이콘이 선택되면, 해당 메인 메뉴와 관련된 서브 메뉴가 나타날 것이다.
또한, 사용자에 의한 제스처가 특정 시스템을 제어하는데 사용되는 경우, 컴퓨터/제어기(106)는 또한 선택된 제어를 수행하는 신호를 차량 시스템(112)에 송신한다. 예를 들어, 이에 제한되는 것은 아니지만, 메인 메뉴(52)의 기후 아이콘 선택시, 운전자 측 온도를 올리는 제스처가 카메라(60)에 의해 인식되어 상술된 바와 같이 처리되는 경우, 컴퓨터/제어기(106)는, 예를 들어, 운전자 측 통풍구를 통해 배출되는 공기 기온을 올리는 신호를 차량의 기후 제어 시스템에 송신한다. 다른 예에서, 메인 메뉴(52)로부터 라디오 아이콘이 선택되고, 볼륨을 올리기 위한 특정 제스처가 인식되는 경우, 컴퓨터/제어기(106)는 볼륨을 올리는 신호를 라디오 제어 시스템(112)에 송신한다. 이러한 신호들은, CD 플레이어, 네비게이션 시스템, 전화, DVD 플레이어, 게이밍 시스템 또는 기타 차량 시스템 또는 서브-시스템, 또는 차량 시스템에 연결되는 보조 시스템 등 기타 차량 제어 시스템(112)에 송신될 것이다. 또한, 당업자들은, 디스플레이(50)가 기타 차량 시스템들로부터 분리되어 식별되었지만, 디스플레이(50)는 차량 시스템들 중 하나이고, 분리되어 식별될 필요가 없다는 점을 이해할 것이다. 일부 액션들은 아이콘 하이라이팅 등 디스플레이 상의 액션만을 초래하기 때문에 본 설명에서는 편의상 분리되어 식별되었지만, 다른 액션들은 기타 차량 시스템 상의 액션만을 초래하거나 또는 기타 차량 시스템 및 디스플레이 양자 모두에서의 액션을 초래한다.
따라서, 상술된 햅틱 피드백은 제스처 기반 입력에 기초하여 취해지는 액션들을 확인하거나 또는 설명하는데 사용될 수 있다. 일 실시예에서, 이하 표 1에 요약되고 도 5에 도시된 시스템 등의 시스템에 관하여 설명되는 바와 같이, 차량(V)의 운전자는 카메라(60)에 의해 모니터되는 제스처를 행한다. 이하의 예는 제스처를 행하는 운전자 및 운전자가 느끼는 이하 설명되는 특정 햅틱 효과들에 관하여 설명되지만, 당업자들은 유사한 제스처가 차량 내 승객들에 의해 행해질 수 있고, 이러한 제스처는 카메라(60) 또는 다른 카메라에 의해 검출될 수 있으며, 제스처를 행한 승객에게 햅틱 효과가 제공될 수 있다는 점을 인식할 것이다. 물론, 당업자들은, 또한, 일부 실시예들에서, 차량의 운전자만이 햅틱 피드백을 감지하는 한편, 승객들은 시선을 도로에 유지할 필요가 없기 때문에 오디오 또는 비주얼 등 다른 타입의 피드백을 수신할 수 있다는 점을 이해할 것이다. 그러나, 게이밍 시스템 또는 비디오 시스템 등 차량 내 엔터테인먼트 시스템과 인터렉트할 때 승객들이 자신의 체험을 강화하는 데 햅틱 효과가 바람직할 수 있다.
표 1에 관하여 논의되는 특정 실시예에서, 운전자는 자신의 손/손가락을 흔들어 시스템을 기동한다. 따라서, 컴퓨터/제어기(106)는, 테이블(108)로부터 짧은 진동의 햅틱 효과를 선택하는 신호를 송신하고, 이를 운전자 좌석(10) 등에 있는 운전자와 관련된 햅틱 액츄에이터(110)에 송신한다. 짧은 진동을 느끼면, 운전자는 손가락 또는 손을 움직이기 시작하여 메인 메뉴(52)를 추적한다. 운전자가 손가락/손을 움직임에 따라, 가벼운 연속 진동은 디스플레이(50) 상의 포인터가 스크린을 가로질러 움직인다는 것을 운전자에게 알린다. 포인터가 기후 아이콘 등 메인 메뉴(52) 상의 선택가능한 영역에 도달하면, 진동의 강도는 중간 연속 진동으로 상승된다. 운전자는 자신의 손가락으로 집는 것에 의해 해당 아이콘을 선택할 수 있다. 컴퓨터/제어기(106)는, 제스처를 인식하면, 햅틱 효과 테이블(108)로부터 다수의 짧은 진동을 선택하는 신호를 송신하고, 이러한 진동을 위한 신호를 운전자와 관련된 햅틱 액츄에이터(110)에 송신한다. 동시에, 도 5에 도시된 바와 같이, 기후 아이콘을 하이라이트하고 서브 메뉴(54) 상에 기후 서브 메뉴 옵션들을 디스플레이하는 신호가 디스플레이(50)에 송신된다. 햅틱 효과는 사용자로 하여금 해당 아이콘이 선택된 것을 알게 해 준다. 운전자가 디스플레이(50)를 응시할 필요성을 더욱 회피하기 위해서, 운전자가 시스템을 활성화할 때, 디스플레이(50)는 특정 아이콘을 항상 시작할 수 있다. 이는 사용자가 아이콘들이 선택되는 순서에 익숙하게 해 준다. 예를 들어, 디스플레이(50)가 라디오 아이콘과 함께 항상 시작하면, 운전자가 4회 중간 연속 진동을 느낄 때, 포인터가 기후 아이콘 상에 있다는 것을, 운전자가 알게 된다. 운전자가 어떠한 특정 아이콘이 선택되는지를 인식하게 해 주는 다수의 다른 진동들이 가능하다. 예를 들어, 이에 제한되는 것은 아니지만, 각 아이콘에는, 특정 효과에 의해서 또는 운전자가 효과를 느끼는 위치에 의해서 등, 자신의 고유한 햅틱 효과가 지정될 수 있다. 예를 들어, 이에 제한되는 것은 아니지만, 라디오 아이콘이 선택되면, 운전자 좌석(10)의 머리 받침(12)에 있는 햅틱 액츄에이터(110)를 통해 햅틱 효과가 전달될 수 있는 한편, 기후 아이콘이 선택되면, 운전자 좌석(10)의 좌석 베이스(14)에 있는 햅틱 액츄에이터를 통해 햅틱 효과가 전달될 수 있다. 물론, 제어되는 시스템들의 수에 의존하여, 다른 변화가 필요할 수 있다. 예를 들어, 이에 제한되는 것은 아니지만, 사운드와 관련된 각 아이콘은 머리 받침(12)에 있는 햅틱 액츄에이터(110)에 전달되는 햅틱 효과와 관련될 수 있고, 이들 각각은, 라디오용 1회 진동, CD 플레이어용 2회 진동 및 전화용 3회 진동 등 고유의 햅틱 효과를 갖는다. 유사하게, 기후 아이콘의 선택은 좌석 베이스(12)에 1회 진동을 초래할 수 있고, 네비게이션 아이콘의 선택은 좌석 베이스(14)에 2회 진동을 초래할 수 있다. 유사하게, 단일 햅틱 액츄에이터를 통해 모든 햅틱 효과들이 전달되는 경우, 햅틱 효과에서의 진동은 아이콘들 사이를 구별하는데 사용될 수 있다.
메인 메뉴(52)로부터 아이콘이 선택되고, 선택된 시스템용 서브 메뉴(54)가 나타나면, 상술된 바와 같이, 운전자는 선택된 시스템을 서브 메뉴(54) 상에 디스플레이되는 바와 같이 제어하기 위한 또 다른 제스처를 행할 수 있다. 따라서, 도 5 및 표 1에 제공되는 예에서, 기후 아이콘의 선택시, 운전자는 메인 메뉴(52)에 관하여 상술된 것과 유사한 형태로 손가락을 움직여 서브 메뉴(54)의 상단 바를 따라 아이템을 선택하고, 적절한 햅틱 효과가 제공된다. 예를 들어, 이에 제한되는 것은 아니지만, 서브 메뉴(54)의 상단 바에서 "Auto" 선택시, 운전자는 회전식 다이얼 또는 노브와 유사하게 자신의 손을 시계 방향으로 회전하여 온도를 높이고, 반시계 방향으로 회전하여 온도를 낮출 수 있다. 이러한 제스처가 카메라(60)에 의해 인식되면, 컴퓨터/제어기(106)는, 햅틱 효과 테이블(108)로부터 크기가 증가하는 연속 진동의 햅틱 효과를 선택하는 신호를 송신하고, 이러한 효과용 신호는 해당 효과를 느끼는 운전자와 관련된 햅틱 액츄에이터(110)에 송신된다. 동시에, 온도 슬라이드의 상향 화살표를 하이라이트하고 디스플레이되는 온도 설정을 올리는 신호가 디스플레이(50)에 송신된다. 또한, 온도를 선택된 온도로 설정하는 신호가 차량 기후 제어 시스템에 송신된다.
제스처 입력 시스템 액션 햅틱 효과 예
손/손가락 흔들기 입력/기동 대기 짧은 진동
손가락/손 추적 스크린 상에 포인터 출현 가벼운 연속 진동
손가락/손 추적 선택가능한 영역 상의 포인터 중간 연속 진동
좌에서 우로 손/손가락 움직임 다음 메뉴, 추적, 기타 옵션, 수락, 보다 높은 값 짧은 진동
우에서 좌로의 손/손가락 움직임 이전 메뉴, 추적, 옵션, 또는 홈, 거절, 보다 낮은 값 짧은 진동
손/손가락 하향 움직임 스크롤 다운, 더 이상의 메뉴, 보다 낮은 값 값 변화/스크롤 액션에 대한 짧은 진동
손/손가락 상향 움직임 스크롤 업, 더 이상의 메뉴, 보다 높은 값, 상위 메뉴 값 변화/스크롤 액션에 대한 짧은 진동
손가락으로 집기/손 접기 아이콘/메뉴 선택, 줌 변화, 메뉴 진행, 뒤로, 수락 짧은 진동 또는 다수의 짧은 진동
손가락 표기/손 펴기 아이콘/메뉴 선택, 줌 변화, 메뉴 진행, 뒤로, 수락 짧은 진동 또는 다수의 짧은 진동
손가락/손 흔들기(메뉴에서) 거절, 뒤로, 홈, 클리어 연속 진동
스크린으로의 손가락/손 움직임 수락, 선택, 다음, 줌 짧은 또는 중간 길이 진동
손을 시계 방향으로 회전/손가락을 시계 방향 원호로 움직임 가상 다이얼 값 변경, 메뉴/스크린/아이콘 회전 크기가 증가하는 연속 진동 또는 값/위치의 변화에 대한 진동
손을 반시계 방향으로 회전/손가락을 반시계 방향 원호로 움직임 가상 다이얼 값 변경, 메뉴/스크린/아이콘 회전 크기가 감소하는 연속 진동 또는 값/위치의 변화에 대한 진동
당업자들은 본 설명 및 위 표 1이 사용될 수 있는 제스처들 및 햅틱 효과들의 타입들의 단지 예들을 제공한다는 점을 인식할 것이다. 유사한 손 제스처들 및 햅틱 효과들이 다른 차량 시스템들을 제어하는데 사용될 수 있다. 또한, 이와는 상이한 제스처들 및 햅틱 효과들이 사용될 수 있다. 제스처 식별 및 햅틱 효과 피드백 시스템의 바람직한 목적은, 운전자의 집중을 방해할 수 있는, 디스플레이로의 도달 또는 디스플레이 응시 없이도, 운전자 또는 승객이 차량 시스템을 제어하고, 운전자 또는 승객이 제스처 명령에 응답하여 소망하는 액션이 수행중이라고 안심할 수 있도록 충분한 햅틱 효과를 갖는, 간단한 방법을 허용하는 것이다. 또한, 이러한 피드백을 제공하는 것은 운전자 및/또는 승객(들)의 체험을 강화하는데 사용될 수 있다.
또한, 위에 설명된 실시예는 햅틱 효과 피드백을 갖는 제스처 기반 입력 시스템에 관련되지만, 당업자들은 개선된 제스처들을 검출하는 것이 비용이 비쌀 것이라는 점을 인식할 것이다. 따라서, 도 6 및 이하의 표 2는, 위 실시예에서와 같이, 명령들을 확인하는데는 햅틱 효과 피드백이 사용되며, 제스처 기반 입력 및 오디오 입력이 조합되는 실시예를 보여준다. 특히, 도 6은, 제스처 및 오디오 기반 입력 및 피드백 시스템(200)의 블럭도와 이 시스템(200)을 사용하는 순서도를 도시한다.
도 6에서, 제스처 입력 블럭(202)은 운전자 등 차량의 사용자에 의한 제스처를 나타낸다. 이러한 제스처는 사용자에 의한 손 및/또는 손가락 제스처인 것으로 고려된다. 다른 제스처도 사용될 수 있다. 사용자에 의해 제스처가 이루어지면, 기타 제스처 검출기(60)의 카메라가 사용자에 의한 제스처를 검출한다. 위에 설명된 바와 같이, 제스처 검출기(60)는, 단일 카메라, 다수의 카메라, 또는 사용자의 위치, 방향 및 움직임을 검출하도록 구성되는 기타 디바이스일 수 있다.
유사하게, 음성/오디오 입력 블럭(214)은 운전자 등 차량의 사용자에 의해 이루어지는 사운드 또는 음성 명령을 나타낸다. 이러한 음성 명령은, 예를 들어, 이하 표 2에 보여지는 단순 음성 명령 등 단순 음성 명령일 것이다. 다른 음성 명령도 사용될 수 있다. 오디오 입력 검출기 또는 마이크로폰(64)은 오디오/음성 명령을 검출한다. 마이크로폰(64)은, 도 1에 도시된 바와 같이, 카메라(60) 근처에 위치되거나, 당업자들에게 알려진 바와 같이, 차량(V) 내 어느 곳에나 위치될 수 있다.
카메라 또는 제스처 검출기(60)가 제스처를 검출하면, 제스처 입력 제어기/해석기(204)에 신호를 송신한다. 제스처 입력 제어기/해석기(204)는, 카메라 신호를 제스처 신호로 변환하여, 컴퓨터/제어기(206)에 송신한다. 예를 들어, 이에 제한되는 것은 아니지만, 카메라(60)는, 검출된 손/손가락의 위치, 움직임의 속도/방향, 및 사용자 손/손가락의 위치, 방향 및 움직임에 관한 기타 데이터의 형태로 데이터를 제공할 수 있다. 제스처 입력 제어기/해석기(204)는 이 데이터를 잠재적 제스처들의 테이블로부터의 특정 제스처로 변환한다. 예를 들어, 이에 제한되는 것은 아니지만, 가능한 제스처들에는, 특정 방향으로 손 흔들기, 상하좌우로의 손가락 움직임, 손/손가락 회전, 손가락으로 집기/손가락 풀기, 빠르게 흔들기, 카메라 쪽으로의 또는 카메라로부터 먼 쪽으로의 손가락 움직임, 및 당업자들에게 알려진 기타 제스처들이 포함될 수 있다. 원한다면, 예를 들어, 집게 손가락에 의한 움직임이 새끼 손가락에 의한 움직임으로부터 움직임에 의해 구별될 수 있도록, 정교한 검출 시스템이 개별 손가락을 검출할 수 있다. 그러나, 인터렉티브 햅틱 피드백 시스템의 사용은, 이하 보다 상세히 설명되는 바와 같이, 움직임에서의 경미한 변화들 사이를 인식하거나 또는 구별할 필요가 없는 시스템을 허용한다. 따라서, 비용이 덜 드는 제스처 인식 시스템이 인터렉티브 햅틱 피드백 시스템과 조합하여 사용될 수 있다.
유사하게, 마이크로폰(64)이 사운드를 검출하면, 오디오 입력 제어기/해석기(218)에 신호를 송신한다. 오디오 입력 제어기/해석기(218)는 음성 신호를 음성 명령을 나타내는 데이터 신호로 변환하여 컴퓨터/제어기(206)에 송신한다.
제스처 입력 제어기/해석기(204) 및/또는 오디오 입력 제어기/해석기(218)가 데이터를 변환한 후, 신호는 컴퓨터/제어기(206)에 송신된다. 당업자들은 제스처 입력 제어기/해석기(204), 오디오 입력 제어기/해석기(218) 및 컴퓨터/제어기(206)가 본 발명을 벗어나지 않고도 조합될 수 있다는 점을 인식할 것이다. 도 6에 도시된 실시예에서, 컴퓨터/제어기(206)가 제스처 또는 오디오 신호를 수신하면, 컴퓨터/제어기(206)는 데이터를 처리하여 3개의 상이한 디바이스에 신호를 제공한다. 특히, 컴퓨터/제어기(206)는 제스처 또는 오디오 신호를 햅틱 테이블(208)로부터 선택되는 햅틱 효과에 매칭한다. 예를 들어, 이에 제한되는 것은 아니지만, 햅틱 효과가 일반적으로 진동 효과이면, 정도, 크기, 빈도 및/또는 지속기간의 면에서 특정 진동 효과가 선택된다. 또한, 제스처 및 오디오 기반 입력 시스템이 다수 사용자들로부터의 입력을 허용하면, 컴퓨터/제어기(206)는 어느 사용자에게 햅틱 효과가 전달될 것인지를 선택한다. 또한, 일 실시예에서는, 개별 사용자에 대해 상이한 햅틱 액츄에이터(110)가 선택될 수 있다. 예를 들어, 이에 제한되는 것은 아니지만, 운전자 좌석(10)의 머리 받침(12)에 있는 햅틱 액츄에이터(110)의 활성화는 운전자 좌석(10)의 좌석 베이스(16)에 있는 햅틱 액츄에이터(110)의 활성화와는 상이한 피드백 의미를 가질 수 있다. 본질적으로, 컴퓨터/제어기(206)는 어느 햅틱 액츄에이터(110)에 신호가 송신될지를 선택한다. 따라서, 컴퓨터/제어기(206)는, 햅틱 테이블(208)로부터 특정 햅틱 효과를 선택하고, 해당 효과가 적용될 특정 햅틱 액츄에이터(110)를 선택한다. 그리고, 선택된 햅틱 효과를 위한 신호는 선택된 햅틱 엑츄에이터(110)에 송신된다.
동시에, 컴퓨터/제어기(206)는 취해지는 액션을 보여주는 신호를 디스플레이(50)에 송신한다. 예를 들어, 이에 제한되는 것은 아니지만, 사용자가 아이콘(예를 들어, 라디오, 네비게이션, 기후 등)을 선택하면, 컴퓨터/제어기(206)는 선택된 아이콘이 하이라이트되는 신호를 디스플레이(50)에 송신한다. 또한, 선택된 아이콘과 관련된 임의의 서브-메뉴가 디스플레이될 것이다. 예를 들어, 이에 제한되는 것은 아니지만, 도 5는 메인 메뉴(52) 및 서브 메뉴(54)가 있는 디스플레이의 일 예를 도시한다. 제스처 또는 음성 명령을 사용하는 등에 의해 메인 메뉴(52) 상의 기후 제어 아이콘이 선택되면, 컴퓨터/제어기(206)는, 도 5에 도시된 바와 같이, 기후 아이콘을 하이라이트하는 신호를 디스플레이(50)에 송신한다. 기후 제어 아이콘이 선택되면, 기후 제어와 관련된 서브 메뉴(54)가 나타난다. 유사하게, 메인 메뉴(52) 상의 임의의 기타 아이콘이 선택되면, 해당 메인 메뉴와 관련된 서브 메뉴가 나타날 것이다.
또한, 사용자에 의한 제스처 또는 오디오 명령이 특정 시스템을 제어하는데 사용되는 경우, 컴퓨터/제어기(206)는 또한 선택된 제어를 수행하는 신호를 차량 시스템(212)에 송신한다. 예를 들어, 이에 제한되는 것은 아니지만, 메인 메뉴(52)의 기후 아이콘 선택시, 운전자 측 온도를 올리는데 사용되는 제스처 또는 오디오 명령이 카메라(60)/마이크로폰(64)에 의해 인식되어 상술된 바와 같이 처리되는 경우, 컴퓨터/제어기(206)는, 예를 들어, 운전자 측 통풍구를 통해 배출되는 공기 기온을 올리는 신호를 차량의 기후 제어 시스템에 송신한다. 다른 예에서, 메인 메뉴(52)로부터 라디오 아이콘이 선택되고, 볼륨을 올리기 위한 특정 제스처 또는 오디오 명령이 주어지는 경우, 컴퓨터/제어기(206)는 볼륨을 올리는 신호를 라디오 제어 시스템(212)에 송신한다. 이러한 신호들은, CD 플레이어, 네비게이션 시스템, 전화, DVD 플레이어, 게이밍 시스템 또는 기타 차량 시스템 또는 서브-시스템, 또는 차량 시스템에 연결되는 보조 시스템 등 기타 차량 제어 시스템(212)에 송신될 것이다. 또한, 당업자들은, 디스플레이(50)가 기타 차량 시스템들로부터 분리되어 식별되었지만, 디스플레이(50)는 차량 시스템들 중 하나이고, 분리되어 식별될 필요가 없다는 점을 이해할 것이다. 일부 액션들은 아이콘 하이라이팅 등 디스플레이 상의 액션만을 초래하기 때문에 본 설명에서는 편의상 분리되어 식별되었지만, 다른 액션들은 기타 차량 시스템 상의 액션만을 초래하거나 또는 기타 차량 시스템 및 디스플레이 양자 모두에서의 액션을 초래한다.
따라서, 상술된 햅틱 피드백은 제스처 기반 입력에 기초하여 취해지는 액션들을 확인하거나 또는 설명하는데 사용될 수 있다. 일 실시예에서, 이하 표 2에 요약되고 도 5에 도시된 시스템 등의 시스템에 관하여 설명되는 바와 같이, 차량(V)의 운전자는, 카메라(60)에 의해 모니터되는 제스처를 행하고, 마이크로폰(64)에 의해 수신되는 음성 명령을 준다. 이하의 예는 제스처를 행하고 음성 명령을 주는 운전자 및 이하 설명되는 특정 햅틱 효과들에 관하여 설명되지만, 당업자들은 유사한 제스처 및 음성 명령이 차량 내 승객들에 의해 행해질 수 있고, 이러한 제스처 및 음성 명령은 카메라(60)/마이크로폰(64) 또는 다른 카메라/마이크로폰에 의해 검출될 수 있으며, 제스처를 행한/음성 명령을 준 사용자에게 햅틱 효과가 제공될 수 있다는 점을 인식할 것이다. 물론, 당업자들은, 또한, 일부 실시예들에서, 차량의 운전자만이 햅틱 피드백을 감지하는 한편, 승객들은 시선을 도로에 유지할 필요가 없기 때문에 오디오 또는 비주얼 등 다른 타입의 피드백을 수신할 수 있다는 점을 이해할 것이다. 그러나, 게이밍 시스템 또는 비디오 시스템 등 차량 내 엔터테인먼트 시스템과 인터렉트할 때 승객들이 자신의 체험을 강화하는 데 햅틱 효과가 바람직할 수 있다.
제스처-기반 입력, 오디오-기반 입력, 및 햅틱 효과 피드백을 조합하는 특정 예에서, 표 2는, 다양한 차량 시스템을 제어하는 다양한 손 제스처 및 음성 명령, 및 이러한 액션과 관련된 햅틱 효과들을 보여준다. 표 2는 도 5에 도시된 예시적인 디스플레이(50)에 관하여 설명될 것이다. 따라서, 표 1과 관련되어 상술된 바와 같이, 운전자는 자신의 손 또는 손가락을 흔들어 시스템을 활성화할 수 있다. 따라서, 컴퓨터/제어기(206)는, 테이블(208)로부터 짧은 진동의 햅틱 효과를 선택하는 신호를 송신하고, 이를 운전자 좌석(10) 등에 있는 운전자와 관련된 햅틱 액츄에이터(110)에 송신한다. 짧은 진동을 느끼면, 운전자는 손가락 또는 손을 움직이기 시작하여 메인 메뉴(52)를 추적한다. 운전자가 손가락/손을 움직임에 따라, 가벼운 연속 진동은, 표 2에 "기본 네비게이션" 아래에 나타낸 바와 같이, 운전자의 손/손가락이 메인 메뉴(52)에서의 아이콘 위에 있을 때를 운전자에게 알려준다. 그러면, 운전자는, 표 2에 보여지는 바와 같이 "선택" 또는 "네" 등의 음성 명령을 주어 아이콘을 선택할 수 있다. 컴퓨터/제어기(206)는, 음성 명령을 인식하면, 햅틱 효과 테이블로부터 짧은 진동을 선택하는 신호를 송신하고, 이러한 진동을 위한 신호를 운전자와 관련된 햅틱 액츄에이터(110)에 송신할 것이다. 동시에, 도 5에 도시된 바와 같이, 기후 아이콘을 하이라이트하고 서브 메뉴(54) 상에 기후 서브 메뉴 옵션들을 디스플레이하는 신호가 디스플레이(50)에 송신된다. 햅틱 효과는 운전자로 하여금 해당 아이콘이 선택된 것을 알게 해 준다. 상술된 바와 같이, 운전자가 메인 메뉴(52) 상에서 각 차량 시스템과 관련된 상이한 햅틱 효과 등의 원하는 아이콘을 선택한 것을 알게 되는 것을 보장하는 햅틱 피드백용 몇몇 옵션들이 사용될 수 있다.
메인 메뉴(52)로부터 아이콘이 선택되고, 선택된 시스템용 서브 메뉴(54)가 나타나면, 상술된 바와 같이, 운전자는 선택된 시스템을 서브 메뉴(54) 상에 디스플레이되는 바와 같이 제어하기 위한 또 다른 제스처를 행할 수 있다. 따라서, 도 5 및 표 2에 제공되는 예에서, 기후 아이콘의 선택시, 운전자는 메인 메뉴(52)에 관하여 상술된 것과 유사한 형태로 손가락을 움직여 서브 메뉴(54)의 상단 바를 따라 아이템을 선택하고, 적절한 햅틱 효과가 제공된다. 예를 들어, 이에 제한되는 것은 아니지만, 서브 메뉴(54)의 상단 바를 따르는 아이콘들 위에 운전자가 손/손가락을 이동하면, 표 2의 "기본 네비게이션" 특징들이 사용된다. 따라서, 운전자의 손/손가락이 "Auto" 아이콘 위에 머무르면, 햅틱 액츄에이터(110)로부터 가벼운 연속 진동이 느껴진다. 또한, 운전자는, 상술된 바와 같이, "선택" 또는 "네"의 음성 명령에 의해 "Auto" 아이콘을 선택할 수 있다. 음성 명령의 수신시, 컴퓨터/제어기(206)는, 짧은 진동을 위한 신호를 햅틱 액츄에이터(110)에 송신하고, "Auto" 아이콘을 하이라이트하는 신호를 디스플레이(50)에 송신한다.
서브-메뉴가 선택되면, 운전자는 서브 메뉴에서의 다른 활동들을 수행할 수 있다. 예를 들어, 운전자의 손가락은 도 5에서 72인 운전자 측 온도 판독 위로 이동될 수 있다. 가벼운 연속 진동 등의 햅틱 효과는 온도가 선택된다는 것을 운전자에게 확인하여 준다. 그러면, 운전자는, 표 2의 "값 변경, 직접 입력, 텍스트 입력" 열에 보여지는 바와 같이, "74" 등의 음성 명령으로 운전자 측 온도의 값을 변경할 수 있다. 따라서, 컴퓨터/제어기(206)는, 짧은 진동을 위한 신호를 햅틱 액츄에이터(110)에 송신하고, 디스플레이되는 운전자 측 온도 설정을 "72"에서 "74"로 변경하는 신호를 디스플레이(50)에 송신하고, 차량 HVAC 시스템에게 운전자 측에 74도 온도를 제공하는 신호를 기후 제어 시스템에 송신한다.
표 2는, 운전자가 디스플레이(50)를 응시할 필요없이 비교적 간단하게 다양한 차량 기능들의 선택 및 제어를 수행하기 위해, 제스처 및 음성 입력과 햅틱 효과 피드백이 어떻게 조합 사용되는가를 보여준다. 위에는 특정 서브-메뉴 선택이 설명되었지만, 당업자들은, 메인 메뉴(52) 상에서 라디오 아이콘을 선택하는 것 및 음성 명령을 사용하여 방송국을 변경하거나 볼륨을 높이고 낮추는 것 등에 의해서 표 2에 설명되는 바와 같이, 다른 차량 시스템들이, 해당 명령이 컴퓨터/제어기(206)에 의해 처리된 피드백을 제공하는 표 2에 보여지는 대응 햅틱 효과로, 제어될 수 있다는 점을 인식할 것이다.
Figure pat00001
이하의 표 3을 참조하여 설명되는 다른 실시예에서는, 전방 승객 및 후방 승객 사이의 인터렉션이 햅틱 효과 피드백 시스템에 통합된다. 도 4 또는 도 6에 도시된 실시예들이 사용되어 표 3에 보여지는 응답들을 구현할 수 있다.
첫번째 액션 두번째 액션 햅틱 효과
전방 승객이 후방 승객용 미디어/게임을 선택함 없음 가벼운 진동
전방 승객이 후방 승객용 미디어/게임을 차단함 없음 가벼운 진동
후방 승객이 미디어/게임을 차단함 없음 가벼운 진동
후방 승객이 미디어/게임을 선택함 전방 승객이 미디어/게임 재생을 허가함 중간 진동
한 후방 승객이 미디어/게임과 인터렉트함 다른 후방 승객이 미디어/게임과 인터렉트함 미디어/게임에 대응하는 진동들
후방 승객 미디어/게임 시스템이 이슈를 갖고 있음 없음 중간 진동
후방 좌석 벨트가 풀림 없음 시간에 따라 강도가 커지는 진동
문 열기/열림 없음 연속 진동
상술된 바와 같이, 표 1 내지 표 3을 참조하여 설명되는 제스처들, 명령들 및 특정 햅틱 효과들은 단지 예이다. 특정 제스처, 명령 및 그 결과인 햅틱 효과의 무한한 변경사항들이 본 발명의 범위 및 내용을 유지하면서 당업자들에 의해 고려될 수 있다.
따라서, 다양한 실시예들이 위에 설명되었지만, 이들은 제한의 방식이 아니라 본 발명의 설명 및 예로서만 제공된 것이라는 점이 이해되어야 한다. 당업자들에게는 본 발명의 사상 및 범위를 벗어나지 않고도 형태 및 상세에 있어 다양한 변경들이 이루어질 수 있다는 점이 명백할 것이다. 따라서, 본 발명의 폭 및 범위는 상술된 예시적 실시예들 중 임의의 것에 의해 제한되어서는 안 되며, 첨부된 특허청구범위 및 그 등가물에 따라서만 제한되어야 한다. 본 명세서에 논의되는 각 실시예의 각 특징, 본 명세서에 인용되는 각 참조문헌의 특징은 임의의 다른 실시예의 특징들과 조합하여 사용될 수 있다는 점도 이해될 것이다. 본 명세서에 논의되는 모든 특허 및 공보는 그 전부가 본 명세서에 참조로 통합된다.

Claims (23)

  1. 복수의 차량 시스템들 중 하나 이상을 제어하는 시스템에 있어서,
    차량 운전자 또는 승객에게 햅틱 피드백을 제공하도록 구성되는 햅틱 액츄에이터;
    차량 내부에 배치되는 제스처 검출 디바이스- 상기 제스처 검출 디바이스는, 차량 운전자 또는 승객의 움직임들을 포착하고, 차량 운전자 또는 승객에 의해 이루어지는 제스처를 나타내는 데이터를 출력하도록 구성됨 -; 및
    상기 제스처 검출 디바이스에 연결되고, 상기 제스처 검출 디바이스로부터 제스처를 나타내는 신호를 수신하도록 구성되는 제어기- 상기 제어기는 햅틱 효과 피드백 시스템 및 상기 복수의 차량 시스템에 연결됨 -을 포함하고,
    상기 제스처를 나타내는 신호에 기초하여, 상기 제어기는, 효과 테이블로부터 햅틱 효과를 선택하는 신호를 송신하도록 구성되고, 상기 선택된 햅틱 효과를 제공하는 신호를 상기 햅틱 액츄에이터에 송신하도록 구성되며,
    상기 제스처를 나타내는 신호에 기초하여, 상기 제어기는, 상기 복수의 차량 시스템 중 적어도 하나에 특정 액션을 수행하는 신호를 송신하도록 더욱 구성되며, 상기 차량 시스템의 특정 액션은 상기 선택된 햅틱 효과와 매칭되는 시스템.
  2. 제1항에 있어서,
    상기 차량 시스템은 디스플레이이고, 상기 제어기로부터 상기 디스플레이로의 신호는 상기 디스플레이 상의 아이콘을 하이라이트하는 시스템.
  3. 제2항에 있어서,
    상기 제어기는 상기 복수의 차량 시스템 중 2번째 것에 특정 액션을 수행하는 신호를 송신하도록 더욱 구성되고, 상기 복수의 차량 시스템 중 2번째 것의 특정 액션은 상기 디스플레이의 특정 액션 및 상기 햅틱 효과와 매칭되는 시스템.
  4. 제1항에 있어서,
    상기 복수의 차량 시스템은, 디스플레이, 라디오, CD 플레이어, 기후 제어 시스템, 네비게이션 시스템, 블루투스 시스템 및 보조 디바이스 시스템을 포함하는 그룹으로부터 선택되는 시스템.
  5. 제1항에 있어서,
    상기 햅틱 액츄에이터는, 전자기 모터 액츄에이터, 편심 회전 질량 액츄에이터, 선형 공진 액츄에이터, 형상 기억 합금 액츄에이터, 전기-활성 폴리머 액츄에이터, 진동햅틱 액츄에이터, 관성 액츄에이터, 압전 액츄에이터 및 이동 자석 액츄에이터를 포함하는 그룹으로부터 선택되는 시스템.
  6. 제1항에 있어서,
    상기 햅틱 액츄에이터는 상기 차량의 내부의 일부에 연결되는 시스템.
  7. 제6항에 있어서,
    상기 햅틱 액츄에이터는, 좌석, 핸들, 팔 받침, 도어 팔 받침 또는 좌석 벨트 중 적어도 하나에 연결되는 시스템.
  8. 제1항에 있어서,
    상기 햅틱 액츄에이터는 차량 운전자 또는 승객에 의해 착용가능한 물건에 연결되는 시스템.
  9. 제8항에 있어서,
    상기 차량 운전자 또는 승객에 의해 착용가능한 물건은, 장갑, 모자, 손목 밴드 또는 팔찌 중 적어도 하나인 시스템.
  10. 제1항에 있어서,
    상기 제스처 검출 디바이스는 적어도 하나의 카메라인 시스템.
  11. 제1항에 있어서,
    상기 차량의 내부에 배치되는 오디오 검출 디바이스- 상기 오디오 검출 디바이스는, 차량 운전자 또는 승객의 음성 명령을 수신하고, 상기 음성 명령을 나타내는 데이터를 출력하도록 구성됨 -를 더 포함하고,
    상기 제어기는, 상기 오디오 검출 디바이스에 연결되고, 상기 음성 명령을 나타내는 신호를 상기 오디오 검출 디바이스로부터 수신하도록 구성되고,
    상기 음성 명령을 나타내는 신호에 기초하여, 상기 제어기는, 상기 효과 테이블로부터 햅틱 효과를 선택하는 신호를 송신하도록 구성되고, 상기 선택된 햅틱 효과를 제공하는 신호를 상기 햅틱 액츄에이터에 송신하도록 구성되며,
    상기 음성 명령을 나타내는 신호에 기초하여, 상기 제어기는, 특정 액션을 수행하는 신호를 상기 복수의 차량 시스템 중 적어도 하나에 송신하도록 더욱 구성되며, 상기 차량 시스템의 특정 액션은 상기 선택된 햅틱 효과와 매칭되는 시스템.
  12. 제11항에 있어서,
    상기 오디오 검출 디바이스는 마이크로폰을 포함하는 시스템.
  13. 복수의 차량 시스템 중 하나 이상을 제어하는 방법에 있어서,
    차량의 운전자 또는 승객의 움직임을 추적하여, 제스처의 테이블로부터 상기 운전자 또는 승객에 의한 제스처를 검출하는 단계;
    상기 검출된 제스처에 기초하여 효과 테이블로부터 햅틱 효과를 선택하는 단계;
    상기 햅틱 효과를 햅틱 액츄에이터를 통해 상기 운전자 또는 승객에게 제공하는 단계; 및
    상기 복수의 차량 시스템 중 적어도 하나를 제어하여 상기 검출된 제스처에 기초하는 특정 액션을 수행하는 단계- 상기 복수의 차량 시스템 중 적어도 하나의 특정 액션은 상기 선택된 햅틱 효과와 매칭됨 -을 포함하는 방법.
  14. 제13항에 있어서,
    상기 차량 시스템은 디스플레이이고, 상기 특정 액션은 상기 검출된 제스처에 기초하여 상기 디스플레이 상의 아이콘을 하이라이트하는 방법.
  15. 제14항에 있어서,
    복수의 차량 시스템 중 적어도 2번째 것을 제어하여 특정 액션을 수행하는 단계를 더 포함하고, 상기 복수의 차량 시스템 중 2번째 것의 특정 액션은 상기 디스플레이의 특정 액션 및 상기 햅틱 효과와 매칭되는 방법.
  16. 제13항에 있어서,
    상기 복수의 차량 시스템은, 디스플레이, 라디오, CD 플레이어, 기후 제어 시스템, 네비게이션 시스템, 블루투스 시스템 및 보조 디바이스 시스템을 포함하는 그룹으로부터 선택되는 복수의 차량 시스템을 포함하는 방법.
  17. 제13항에 있어서,
    상기 햅틱 액츄에이터는, 전자기 모터 액츄에이터, 편심 회전 질량 액츄에이터, 선형 공진 액츄에이터, 형상 기억 합금 액츄에이터, 전기-활성 폴리머 액츄에이터, 진동햅틱 액츄에이터, 관성 액츄에이터, 압전 액츄에이터 및 이동 자석 액츄에이터를 포함하는 그룹으로부터 선택되는 방법.
  18. 제13항에 있어서,
    상기 햅틱 액츄에이터는 상기 차량의 내부에 연결되는 방법.
  19. 제18항에 있어서,
    상기 햅틱 액츄에이터는 좌석, 핸들, 팔 받침, 도어 팔 받침 또는 좌석 벨트 중 적어도 하나에 연결되는 방법.
  20. 제13항에 있어서,
    상기 햅틱 액츄에이터는 상기 운전자 또는 승객에 의해 착용가능한 물건에 연결되는 방법.
  21. 제13항에 있어서,
    상기 운전자 또는 승객의 움직임을 추적하는 단계는 카메라를 통해 수행되는 방법.
  22. 제13항에 있어서,
    상기 차량에서 사운드를 검출하여 차량 운전자 또는 승객으로부터의 음성 명령을 검출하는 단계;
    상기 검출된 음성 명령에 기초하여 효과 테이블로부터 햅틱 효과를 선택하는 단계;
    상기 햅틱 액츄에이터를 통해 상기 햅틱 효과를 제공하는 단계; 및
    상기 복수의 차량 시스템 중 적어도 하나를 제어하여 상기 검출된 음성 명령에 기초하는 특정 액션을 수행하는 단계- 상기 복수의 차량 시스템 중 적어도 하나의 특정 액션은 상기 선택된 햅틱 효과와 매칭됨 -를 더 포함하는 방법.
  23. 제22항에 있어서,
    상기 차량에서 사운드를 검출하는 단계는 마이크로폰을 통해 수행되는 방법.
KR1020140184343A 2013-12-20 2014-12-19 햅틱 피드백을 구비하는 차량 내 제스처 기반 입력 시스템 KR20150073857A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/137,540 US9248840B2 (en) 2013-12-20 2013-12-20 Gesture based input system in a vehicle with haptic feedback
US14/137,540 2013-12-20

Publications (1)

Publication Number Publication Date
KR20150073857A true KR20150073857A (ko) 2015-07-01

Family

ID=52282392

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140184343A KR20150073857A (ko) 2013-12-20 2014-12-19 햅틱 피드백을 구비하는 차량 내 제스처 기반 입력 시스템

Country Status (5)

Country Link
US (3) US9248840B2 (ko)
EP (2) EP2889723B1 (ko)
JP (2) JP6935164B2 (ko)
KR (1) KR20150073857A (ko)
CN (1) CN104731319A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190028888A (ko) * 2017-09-11 2019-03-20 (주)신오전자 차량용 hmi 시스템 및 방법
KR20200043046A (ko) * 2018-10-17 2020-04-27 유병훈 환경제어장치 및 환경제어방법
KR102559138B1 (ko) * 2022-12-28 2023-07-25 에이아이다이콤 (주) 차량용 비 접촉식 제어 시스템
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146320B2 (en) * 2007-10-29 2018-12-04 The Boeing Company Aircraft having gesture-based control for an onboard passenger service unit
WO2013074897A1 (en) * 2011-11-16 2013-05-23 Flextronics Ap, Llc Configurable vehicle console
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US20150185845A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara Providing tactle feedback for gesture based inputs
US9430046B2 (en) * 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
US9829979B2 (en) * 2014-04-28 2017-11-28 Ford Global Technologies, Llc Automotive touchscreen controls with simulated texture for haptic feedback
US11625145B2 (en) 2014-04-28 2023-04-11 Ford Global Technologies, Llc Automotive touchscreen with simulated texture for the visually impaired
US10579252B2 (en) 2014-04-28 2020-03-03 Ford Global Technologies, Llc Automotive touchscreen with simulated texture for the visually impaired
US9827904B2 (en) * 2014-10-20 2017-11-28 Immersion Corporation Systems and methods for enhanced continuous awareness in vehicles using haptic feedback
KR101902434B1 (ko) * 2014-11-13 2018-10-01 현대자동차주식회사 터치 입력장치 및 이를 포함하는 차량
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
KR101784472B1 (ko) * 2015-01-13 2017-10-11 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 기기
US10099608B2 (en) * 2015-01-16 2018-10-16 Ford Global Technologies, Llc Haptic vehicle alert based on wearable device
DE102015204280A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Aktivierung eines Aktuators eines Kraftfahrzeugs, zur Ausführung des Verfahrens eingerichtete Vorrichtung und Computerprogrammprodukt
US9550406B2 (en) * 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
EP3106343A1 (en) * 2015-06-19 2016-12-21 Continental Automotive GmbH Gesture based user input device for car electronics
JP2017026230A (ja) * 2015-07-23 2017-02-02 パナソニックＩｐマネジメント株式会社 空調制御装置、空調装置、空調制御方法、空調制御システム、空調制御プログラム、および記録媒体
KR101910383B1 (ko) * 2015-08-05 2018-10-22 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US20170060245A1 (en) * 2015-08-31 2017-03-02 Fujitsu Ten Limited Input device, integrated input system, input device control method, and program
JP6585431B2 (ja) * 2015-08-31 2019-10-02 株式会社デンソーテン 入力装置、統合入力システム、入力装置の制御方法およびプログラム
USD788169S1 (en) * 2015-09-03 2017-05-30 Continental Automotive Gmbh Display screen with icon
US10116873B1 (en) * 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
JP6576225B2 (ja) * 2015-11-27 2019-09-18 クラリオン株式会社 車両用報知装置および車両用報知方法
DE102015120605A1 (de) * 2015-11-27 2017-06-01 Valeo Schalter Und Sensoren Gmbh Bedienvorrichtung für ein Kraftfahrzeug mit Antriebseinrichtung zum Ausgeben einer haptischen Rückmeldung sowie Kraftfahrzeug
US9990078B2 (en) * 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
US10013858B2 (en) * 2016-02-26 2018-07-03 At&T Intellectual Property I, L.P. Notification system with haptic feedback garment and methods for use therewith
EP3214528B1 (en) 2016-03-04 2019-09-11 Nxp B.V. Gesture feedback
WO2018017210A1 (en) 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic guidance system
US9891711B1 (en) 2016-07-26 2018-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array LIDAR
DE102016214523A1 (de) * 2016-08-05 2018-02-08 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur gestenbasierten Steuerung eines Systems
DE102016214692B4 (de) * 2016-08-08 2018-02-15 Audi Ag Verfahren und Benutzerschnittstelle, betreffend eine haptische Rückmeldung für einen Bildschirm
EP3290284A1 (en) * 2016-08-30 2018-03-07 Honda Research Institute Europe GmbH Vehicle with a driver seat and at least one passenger seat and a method for providing a co-driver and/or at least one fellow passenger with information on a currently experienced driving situation
DE102016216318A1 (de) 2016-08-30 2018-03-01 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung eines elektronischen Gerätes
ES2884265T3 (es) * 2016-09-09 2021-12-10 Behr Hella Thermocontrol Gmbh Unidad de mando para un aparato, en particular para un componente de vehículo
JP6943525B2 (ja) * 2016-09-12 2021-10-06 ソニーグループ株式会社 情報提示装置、操舵装置、および情報提示方法
GB2555088A (en) * 2016-10-11 2018-04-25 Jaguar Land Rover Ltd Interface apparatus and method
CN109891382B (zh) * 2016-10-24 2023-06-30 福特汽车公司 基于手势的用户界面
WO2018092595A1 (ja) * 2016-11-17 2018-05-24 ソニー株式会社 振動提示装置および振動提示方法、並びにプログラム
DE102017200717A1 (de) * 2016-12-23 2018-06-28 Audi Ag Berührungslos bedienbare Bedienvorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug und Betriebsverfahren für die Bedienvorrichtung
US20180199716A1 (en) * 2017-01-13 2018-07-19 Palm Beach Technology Llc Smart chair
DE102017201236B4 (de) 2017-01-26 2023-09-07 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems, Bediensystem und Fahrzeug mit einem Bediensystem
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10742061B2 (en) 2017-06-28 2020-08-11 Honda Motor Co., Ltd. Smart functional leather for recharging a portable electronic device
US11225191B2 (en) 2017-06-28 2022-01-18 Honda Motor Co., Ltd. Smart leather with wireless power
US11665830B2 (en) 2017-06-28 2023-05-30 Honda Motor Co., Ltd. Method of making smart functional leather
US10682952B2 (en) 2017-06-28 2020-06-16 Honda Motor Co., Ltd. Embossed smart functional premium natural leather
US10953793B2 (en) * 2017-06-28 2021-03-23 Honda Motor Co., Ltd. Haptic function leather component and method of making the same
US10272836B2 (en) 2017-06-28 2019-04-30 Honda Motor Co., Ltd. Smart functional leather for steering wheel and dash board
KR102406511B1 (ko) * 2017-07-04 2022-06-10 현대자동차주식회사 차량 시스템 및 그 제어 방법
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US20190124290A1 (en) * 2017-10-20 2019-04-25 Shenzhen Matego Electronics Technology Co., Ltd. Dashboard Camera
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US10433630B2 (en) 2018-01-05 2019-10-08 L'oreal Cosmetic applicator system including trackable cosmetic device, and client device to assist users in makeup application
US10810902B2 (en) 2018-01-05 2020-10-20 L'oreal Trackable cosmetic device to assist users in makeup application
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3787926A4 (en) * 2018-05-04 2022-02-23 Honda Motor Co., Ltd. FUNCTIONAL LEATHER COMPONENT AND ASSOCIATED METHOD OF MANUFACTURING
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3613638A1 (en) 2018-08-10 2020-02-26 Lg Electronics Inc. Vehicle display system for vehicle
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US10800433B2 (en) 2018-09-14 2020-10-13 Honda Motor Co., Ltd. Seat haptic system and method of equalizing haptic output
WO2020085521A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 입출력 장치 및 그것을 포함하는 차량
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11345309B2 (en) 2018-12-07 2022-05-31 Universal City Studios Llc Ride vehicle restraint system
US10682578B1 (en) 2018-12-14 2020-06-16 Universal City Studios Llc Ride vehicle restraint system
KR20200085970A (ko) * 2019-01-07 2020-07-16 현대자동차주식회사 자동차 및 그 제어 방법
US10810845B2 (en) 2019-01-11 2020-10-20 Drift Net Security system for detecting hazardous events and occupants in a building
US11899448B2 (en) * 2019-02-21 2024-02-13 GM Global Technology Operations LLC Autonomous vehicle that is configured to identify a travel characteristic based upon a gesture
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11238671B2 (en) 2019-04-18 2022-02-01 Honda Motor Co., Ltd. System and method for providing haptic alerts within a vehicle
US11751337B2 (en) 2019-04-26 2023-09-05 Honda Motor Co., Ltd. Wireless power of in-mold electronics and the application within a vehicle
FR3095912B1 (fr) * 2019-05-06 2022-05-13 St Microelectronics Rousset Procédé de compensation d’un déphasage entre le signal émis par un objet et celui reçu d’un lecteur équipé d’un détecteur d’enveloppe et objet correspondant
CN111942242B (zh) * 2019-05-14 2022-10-25 奥迪股份公司 用于车辆中安抚儿童的系统、车辆、相对应的方法和介质
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
DE102019210008A1 (de) 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems und Bediensystem
DE102019210009A1 (de) 2019-07-08 2021-01-28 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem in einem Fahrzeug
DE102019210010A1 (de) 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren und Bediensystem zum Erfassen einer Nutzereingabe für eine Einrichtung eines Fahrzeugs
WO2021049296A1 (ja) * 2019-09-09 2021-03-18 国立研究開発法人科学技術振興機構 力覚提示装置及び力覚提示方法
KR20210029921A (ko) * 2019-09-09 2021-03-17 현대자동차주식회사 터치 스크린, 그를 가지는 차량 및 그 제어 방법
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US20210276575A1 (en) * 2020-03-04 2021-09-09 Ford Global Technologies, Llc Vehicle component identification system
US11144129B2 (en) * 2020-03-04 2021-10-12 Panasonic Avionics Corporation Depth sensing infrared input device and associated methods thereof
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
DE102020003923B3 (de) * 2020-06-30 2021-11-04 Daimler Ag Bedieneinheit mit einer berührungssensitiven Bedienfläche
GB2597492B (en) * 2020-07-23 2022-08-03 Nissan Motor Mfg Uk Ltd Gesture recognition system
US11521470B2 (en) * 2020-10-28 2022-12-06 Cerence Operating Company Haptic communication with a vehicle's occupant
WO2022241015A1 (en) * 2021-05-12 2022-11-17 Polestar Performance Ab Electroactive polymer seat
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US20230049900A1 (en) * 2021-08-16 2023-02-16 Toyota Research Institute, Inc. Displaced haptic feedback
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482534B2 (en) 1995-06-29 2013-07-09 Timothy R. Pryor Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP4454789B2 (ja) * 1999-05-13 2010-04-21 キヤノン株式会社 帳票分類方法及び装置
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
CN100375993C (zh) * 2000-09-28 2008-03-19 伊默逊股份有限公司 用于触觉反馈接口设备的有方向触觉反馈
US6703999B1 (en) * 2000-11-13 2004-03-09 Toyota Jidosha Kabushiki Kaisha System for computer user interface
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
US7196790B2 (en) * 2002-03-18 2007-03-27 Honeywell International Inc. Multiple wavelength spectrometer
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7295904B2 (en) 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
DE102004044880B3 (de) * 2004-09-14 2006-06-14 Siemens Ag Bedienelement für eine Heizungs- und Klimaanlage
US7792328B2 (en) 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
JP4605170B2 (ja) * 2007-03-23 2011-01-05 株式会社デンソー 操作入力装置
US8508486B2 (en) * 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
US8031172B2 (en) 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
EP2304527A4 (en) 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
CN104679247B (zh) 2009-07-22 2018-07-24 意美森公司 用于在输入控制手势以及关于虚拟设备的控制期间提供复杂触觉激励的系统和方法
JP5847407B2 (ja) * 2010-03-16 2016-01-20 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プレタッチ及びトゥルータッチのためのシステム及び方法
EP2676178B1 (en) 2011-01-26 2020-04-22 Novodigit Sarl Breath-sensitive digital interface
ES2791722T3 (es) 2012-02-02 2020-11-05 Airbus Helicopters Espana Sa Maqueta virtual con ayuda portátil háptica
KR102024006B1 (ko) * 2012-02-10 2019-09-24 삼성전자주식회사 진동 장치간 진동 전달을 제어하는 장치 및 방법
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9149236B2 (en) * 2013-02-04 2015-10-06 Intel Corporation Assessment and management of emotional state of a vehicle operator
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US9891711B1 (en) * 2016-07-26 2018-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Human machine interface with haptic response based on phased array LIDAR

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190028888A (ko) * 2017-09-11 2019-03-20 (주)신오전자 차량용 hmi 시스템 및 방법
KR20200043046A (ko) * 2018-10-17 2020-04-27 유병훈 환경제어장치 및 환경제어방법
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
KR102559138B1 (ko) * 2022-12-28 2023-07-25 에이아이다이콤 (주) 차량용 비 접촉식 제어 시스템

Also Published As

Publication number Publication date
JP2015133109A (ja) 2015-07-23
US20180015933A1 (en) 2018-01-18
CN104731319A (zh) 2015-06-24
US10449972B2 (en) 2019-10-22
US20150175172A1 (en) 2015-06-25
EP2889723A1 (en) 2015-07-01
JP2021166058A (ja) 2021-10-14
EP2889723B1 (en) 2020-03-11
EP3696651A1 (en) 2020-08-19
US9718477B2 (en) 2017-08-01
US20160144868A1 (en) 2016-05-26
JP6935164B2 (ja) 2021-09-15
US9248840B2 (en) 2016-02-02

Similar Documents

Publication Publication Date Title
US10449972B2 (en) Gesture based input system in a vehicle with haptic feedback
US10394375B2 (en) Systems and methods for controlling multiple displays of a motor vehicle
US10579252B2 (en) Automotive touchscreen with simulated texture for the visually impaired
EP2933130B1 (en) Vehicle control apparatus and method thereof
JP5275970B2 (ja) 対話型操作装置および対話型操作装置を動作させるための方法
EP3093734B1 (en) Systems and methods for distributing haptic effects to users interacting with user interfaces
CN103906646B (zh) 用于尤其在机动车内提供图形用户界面的方法和装置
JP2020537209A (ja) ユーザインタフェースの動作及び運動ベースの制御
US10144285B2 (en) Method for operating vehicle devices and operating device for such devices
JP5644962B2 (ja) 操作装置
JP6114996B2 (ja) 注視追跡のためのシステムおよび方法
WO2015001875A1 (ja) 情報処理装置
JP2020506476A (ja) マンマシンインタフェースの操作方法並びにマンマシンインタフェース
US20190212910A1 (en) Method for operating a human-machine interface and human-machine interface
CN112384403A (zh) 用于运行显示操作设备的方法、显示操作设备以及机动车
CN105739681B (zh) 改变触觉控制器的触觉表面来传达交互式系统信息的技术
US20230049900A1 (en) Displaced haptic feedback
KR101047420B1 (ko) 차재 기기의 조작장치
CN107783647B (zh) 柔性屏输入设备及信息娱乐系统
JP2020157926A (ja) 制御装置及び制御システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application