KR20140130743A - 제스처 기반 자동차 제어 - Google Patents

제스처 기반 자동차 제어 Download PDF

Info

Publication number
KR20140130743A
KR20140130743A KR1020147027750A KR20147027750A KR20140130743A KR 20140130743 A KR20140130743 A KR 20140130743A KR 1020147027750 A KR1020147027750 A KR 1020147027750A KR 20147027750 A KR20147027750 A KR 20147027750A KR 20140130743 A KR20140130743 A KR 20140130743A
Authority
KR
South Korea
Prior art keywords
vehicle
gesture
given
dimensional images
predetermined
Prior art date
Application number
KR1020147027750A
Other languages
English (en)
Other versions
KR101755086B1 (ko
Inventor
니콜라스 케네스 홉스
리앙-유 치 (톰)
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20140130743A publication Critical patent/KR20140130743A/ko
Application granted granted Critical
Publication of KR101755086B1 publication Critical patent/KR101755086B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/333—Lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0008—Feedback, closed loop systems or details of feedback error signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

제스처 기반 제어를 위한 방법들 및 장치들이 개시되어 있다. 하나의 양태에서, 차량의 복수의 사전 결정된 영역들과 결합한 복수의 사전 결정된 제스처들과, 복수의 기능들 간의 상관 관계를 유지하는 단계를 포함하는 방법이 개시되어 있다. 이 방법은 차량의 내부의 3차원 영상들을 기록하는 단계, 및 3차원 영상들에 기초하여, 차량의 주어진 영역에서 주어진 제스처를 검출하는 단계를 추가로 포함하고, 주어진 제스처는 복수의 사전 결정된 제스처들 중 하나에 대응하고, 주어진 영역은 복수의 사전 결정된 영역들 중 하나에 대응한다. 이 방법은 또한, 상관 관계에 기초하여, 주어진 영역과 결합한 주어진 제스처와 연관된 기능을 선택하는 단계 및 차량에서 기능을 개시하는 단계를 추가로 포함한다.

Description

제스처 기반 자동차 제어{GESTURE-BASED AUTOMOTIVE CONTROLS}
관련 출원의 상호 참조
본 출원은 2012년 4월 2일자로 출원된 미국 특허 출원 제13/437,730호를 기초로 우선권을 주장하고, 이 미국 출원의 내용은 참조 문헌으로서 본 명세서에 포함된다.
어떤 경우들에서, 차량의 운전자는 다수의 기능들을 한번에 수행하고자 할 수 있다. 예를 들어, 차량을 조종하는 것에 부가하여, 운전자는 내비게이션 목적지를 입력하거나, 차량 내의 온도를 변경하거나, 차량에서 재생 중인 음악의 볼륨을 변경하고자 할 수 있다. 다른 기능들이 또한 가능하다.
하나의 양태에서, 차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 복수의 사전 결정된 영역들과 결합한 복수의 사전 결정된 제스처들과, 복수의 기능들 간의 상관 관계를 유지하는 단계를 포함하는 예시적인 방법이 개시되어 있다. 이 예시적인 방법은 차량의 내부의 3차원 영상들을 기록하는 단계, 및 3차원 영상들에 기초하여, 차량의 주어진 영역에서 주어진 제스처를 검출하는 단계를 추가로 포함하고, 주어진 제스처는 복수의 사전 결정된 제스처들 중 하나에 대응하고, 주어진 영역은 복수의 사전 결정된 영역들 중 하나에 대응한다. 이 예시적인 방법은 또한, 상관 관계에 기초하여, 주어진 영역과 결합한 주어진 제스처와 연관된 기능을 선택하는 단계 및 차량에서 기능을 개시하는 단계를 추가로 포함한다.
다른 양태에서, 컴퓨팅 디바이스로 하여금 앞서 기술한 예시적인 방법의 기능들을 수행하게 하기 위해 컴퓨팅 디바이스에 의해 실행가능한 명령어들을 저장하고 있는 예시적인 비일시적 컴퓨터 판독가능 매체가 개시되어 있다.
또 다른 양태에서, 차량의 내부의 3차원 영상들을 기록하도록 구성되는 카메라, 적어도 하나의 프로세서, 및 데이터 저장 장치를 포함하는 예시적인 차량이 개시되어 있다. 데이터 저장 장치는, 차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 복수의 사전 결정된 영역들과 결합한 복수의 사전 결정된 제스처들과, 복수의 기능들 간의 상관 관계를 포함한다. 데이터 저장 장치는, 차량의 내부의 3차원 영상들을 기록하고, 3차원 영상들에 기초하여, 차량의 주어진 영역에서 주어진 제스처를 검출하도록, 적어도 하나의 프로세서에 의해 실행가능한 명령어들을 추가로 포함하고, 여기서 주어진 제스처는 복수의 사전 결정된 제스처들 중 하나에 대응하고, 주어진 영역은 복수의 사전 결정된 영역들 중 하나에 대응한다. 이 명령어들은 또한, 상관 관계에 기초하여, 주어진 영역과 결합한 주어진 제스처와 연관된 기능을 선택하고, 차량에서 기능을 개시하도록, 적어도 하나의 프로세서에 의해 실행가능하다.
이들은 물론 다른 양태들, 장점들, 및 대안들은, 적절한 경우, 첨부 도면들을 참조하여 이하의 상세한 설명을 읽어봄으로써 당업자에게 명백하게 될 것이다.
도 1은 일 실시예에 따른, 예시적인 방법을 나타낸 플로우차트.
도 2는 일 실시예에 따른, 예시적인 차량의 예시적인 계기판의 영상을 나타낸 도면.
도 3a 내지 도 3d는 일 실시예에 따른, 예시적인 차량에서 에어컨 시스템(air conditioning system)을 제어하기 위해 제스처가 사용되는 예시적인 방법의 예시적인 구현예를 나타낸 도면.
도 4a 내지 도 4c는 일 실시예에 따른, 예시적인 차량에서 오디오 시스템을 제어하기 위해 제스처가 사용되는 예시적인 방법의 예시적인 구현예를 나타낸 도면.
도 5는 일 실시예에 따른, 제스처들, 영역들, 및 기능들 간의 예시적인 상관 관계를 나타낸 도면.
도 6은 일 실시예에 따른, 예시적인 차량을 나타낸 도면.
도 7은 일 실시예에 따른, 예시적인 차량의 간략화된 블록도.
도 8은 일 실시예에 따른, 예시적인 컴퓨터 프로그램 제품의 간략화된 블록도.
이하의 상세한 설명은 개시된 시스템들 및 방법들의 다양한 특징들 및 기능들을 첨부 도면들을 참조하여 기술한다. 도면들에서, 유사한 심볼들은, 문맥이 달리 언급하지 않는 한, 통상적으로 유사한 구성요소들을 가리킨다. 본 명세서에 기술된 예시적인 시스템 및 방법 실시예들은 제한하기 위한 것이 아니다. 개시된 시스템들 및 방법들의 특정 양태들이 아주 다양한 상이한 구성들 - 이들 모두가 본 명세서에서 생각되고 있음 - 로 배열 및 결합될 수 있다는 것을 잘 알 것이다.
앞서 살펴본 바와 같이, 어떤 경우들에서, 사용자가 차량을 조종하고 있는 동안, 사용자는 목적지를 탐색하거나, 차량 내의 온도를 변경하거나, 차량에서 재생 중인 음악의 볼륨을 변경하는 것과 같은 다수의 부가 기능들을 수행하고자 할 수 있다. 다른 기능들이 또한 가능하다.
이 부가 기능들을 수행하는 것은 사용자가 차량 내의 하나 이상의 컨트롤들을 찾아내고(locate) 조작하는 것을 필요로 할 수 있다. 예를 들어, 차량 내의 온도를 변경하기 위해, 사용자는 히터를 제어하는 차량의 계기판 상의 버튼 또는 노브를 찾아낼 수 있다. 다른 예로서, 차량 내의 시트의 위치를 변경하기 위해, 사용자는 시트의 위치를 제어하는 시트의 측면에 있는 디바이스를 찾아낼 수 있다. 다른 제어들이 또한 가능하다.
사용자가 차량을 조종하고 있는 동안, 사용자가 컨트롤들을 찾아내는 것이 어려울 수 있다. 게다가, 사용자가 컨트롤들을 조작하는 것이 어려울 수 있다. 그에 부가하여, 사용자에 가장 가까운 차량의 어떤 영역들에 컨트롤들을 포함시키는 것이 안전하지 않을 수 있다. 예를 들어, 에어백이 설치되어 있을 수 있는 스티어링 휠(steering wheel) 또는 다른 표면 상에 컨트롤들을 포함시키는 것은 안전하지 않을 수 있다. 그 결과, 컨트롤들이 포함될 수 있는 차량의 영역들이 제한될 수 있다.
차량에서의 제스처 기반 제어를 위한 방법들 및 시스템들이 개시되어 있다. 차량은 차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 복수의 사전 결정된 영역들과 결합한 복수의 사전 결정된 제스처들과, 복수의 기능들 간의 상관 관계를 유지할 수 있다.
사용자는 차량의 한 영역에서 제스처를 수행할 수 있다. 예시적인 제스처들은 스와이프(swiping), 포인팅(pointing), 탭핑(tapping), 잡기(grasping), 및 핀치(pinching)를 포함한다. 예시적인 영역들은 스티어링 휠, 에어컨 통풍구, 및 사용자의 귀를 포함한다. 이하에서 기술되는 바와 같이, 다른 제스처들 및 영역들이 또한 가능하다.
차량은 제스처의 3차원 영상들을 기록하도록 구성되는 하나 이상의 카메라들을 포함할 수 있다. 차량은 3차원 영상들에 기초하여 제스처 및 영역을 검출할 수 있다. 게다가, 차량은, 상관 관계에 기초하여, 제스처 및 영역과 연관되어 있는 기능을 선택할 수 있다. 이어서, 차량은 차량에서 기능을 개시할 수 있다.
도 1에 도시된 방법(100)은, 예를 들어, 본 명세서에 기술된 차량들에서 사용될 수 있는 방법의 일 실시예를 제시한다. 방법(100)은 블록들(102 내지 110) 중 하나 이상에 의해 예시되어 있는 하나 이상의 동작들, 기능들 또는 작용들을 포함할 수 있다. 비록 블록들이 순차적 순서로 예시되어 있지만, 이 블록들은 또한 병렬로, 그리고/또는 본 명세서에 기술된 것들과 상이한 순서로 수행될 수 있다. 또한, 다양한 블록들이, 원하는 구현에 기초하여, 더 적은 수의 블록들로 결합되고, 부가의 블록들로 나누어지며, 그리고/또는 제거될 수 있다.
그에 부가하여, 방법(100) 및 본 명세서에 개시되어 있는 다른 프로세스들 및 방법들에 대해, 플로우차트는 본 실시예들의 하나의 가능한 구현의 기능 및 동작을 보여주고 있다. 이와 관련하여, 각각의 블록은 프로세스에서의 특정 논리적 기능들 또는 단계들을 구현하기 위해 프로세서에 의해 실행가능한 하나 이상의 명령어들을 포함하는 모듈, 세그먼트, 또는 프로그램 코드의 일부분을 나타낼 수 있다. 프로그램 코드는, 예를 들어, 디스크 또는 하드 드라이브를 포함한 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독가능 매체에 저장될 수 있다. 컴퓨터 판독가능 매체는, 예를 들어, 레지스터 메모리, 프로세서 캐시, 및/또는 RAM(Random Access Memory)과 같이 짧은 기간 동안 데이터를 저장하는 컴퓨터 판독가능 매체와 같은 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한, 예를 들어, ROM(read only memory), 광 또는 자기 디스크, 및 CD-ROM(compact-disc read only memory)과 같은 보조 또는 영속적 장기 저장 장치와 같은 비일시적 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독가능 매체는, 예를 들어, 컴퓨터 판독가능 저장 매체, 유형의(tangible) 저장 디바이스, 또는 다른 제조 물품으로 간주될 수 있다.
그에 부가하여, 방법(100) 및 본 명세서에 개시되어 있는 다른 프로세스들 및 방법들에 대해, 각각의 블록은 프로세스에서의 특정 논리적 기능들을 수행하도록 구성되는 회로를 나타낼 수 있다.
도시된 바와 같이, 방법(100)은 블록(102)에서 시작하고, 여기서, 차량은 차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 복수의 사전 결정된 영역들과 결합한 복수의 사전 결정된 제스처들과, 복수의 기능들 간의 상관 관계를 유지한다.
사전 결정된 제스처들은, 예를 들어, 차량의 탑승자가 그의 손, 손가락, 팔, 다리, 머리, 또는 그의 조합으로 행할 수 있는 임의의 제스처를 포함할 수 있다. 탑승자는 차량의 운전자 또는 승객일 수 있다. 예를 들어, 사전 결정된 제스처들은 스와이프, 탭핑, 포인팅, 잡기, 핀치, 또는 웨이빙(waving) 제스처들은 물론, 미식 수화(ASL; American Sign Language)에서 사용되는 것들과 같은 손 및/또는 손가락의 사전 결정된 위치들 및 움직임들을 포함할 수 있다. 다른 사전 결정된 제스처들이 또한 가능하다.
사전 결정된 영역들은, 예를 들어, 차량의 임의의 영역을 포함할 수 있다. 예를 들어, 사전 결정된 영역들은 차량의 스티어링 휠, 계기판, 에어컨 통풍구, 시트, 헤드레스트(headrest), 암 레스트(arm rest), 또는 리어 뷰 미러(rear-view mirror)와 같은 차량의 내부 표면들은 물론, 탑승자의 귀, 팔, 또는 어깨와 같은 탑승자의 표면들을 포함할 수 있다. 다른 내부 표면들이 또한 가능하다. 게다가, 사전 결정된 영역들은 탑승자의 머리와 스티어링 휠 사이의 개방 공간 영역(open-air region), 탑승자의 머리와 윈도우 사이의 개방 공간 영역, 및 탑승자와 시트 사이의 개방 공간 영역과 같은 차량의 개방 공간 영역들을 포함할 수 있다. 다른 개방 공간 영역들이 또한 가능하다. 게다가, 다른 사전 결정된 영역들이 또한 가능하다.
기능들은, 예를 들어, 차량의 임의의 기능을 포함할 수 있다. 예를 들어, 기능들은 차량 내의 오디오 시스템에서 볼륨 또는 음악 선택을 수정하는 것, 엔터테인먼트 시스템 또는 차량내 디스플레이에서 볼륨 또는 콘텐츠 선택을 수정하는 것, 차량 내의 에어컨 시스템, 히터, 또는 온도 조절 시스템(climate control system)에서 팬 속도 또는 온도를 수정하는 것, 차량 내의 시트의 시트 위치를 수정하는 것, 자동차에서의 윈드쉴드 와이퍼(windshield wiper)들을 중지시키거나, 시작하거나, 그의 속도를 수정하는 것, 자동차에서의 윈도우를 열거나, 닫거나, 그의 위치를 수정하는 것, 차량에서의 정속 주행 시스템(cruise control system)의 속도를 수정하는 것, 차량에서의 차광막을 열거나, 닫거나, 그의 위치를 수정하는 것, 또는 차량에서의 선루프를 열거나, 닫거나, 그의 위치를 수정하는 것을 포함할 수 있다. 다른 기능들이 또한 가능하다.
예시적인 상관 관계가 도 5와 관련하여 이하에서 더 기술된다.
방법(100)은 차량이 차량의 내부의 3차원 영상들을 기록하는 블록(104)에서 계속된다. 이를 위해, 차량은 3차원 영상들을 기록하도록 구성되는 하나 이상의 카메라들을 포함할 수 있다. 카메라(들)는, 예를 들어, 깊이 카메라(depth camera) 및/또는 3차원 레이저 스캐너를 포함할 수 있다. 카메라(들)는 차량의 천장, 차량의 계기판, 또는 차량의 리어 뷰 미러와 같은 차량 내의 어디든 배치될 수 있다. 카메라(들)는 차량 내의 다른 곳에도 배치될 수 있다. 2개 이상의 카메라가 사용되는 실시예들에서, 카메라들은 차량 내의 상이한 위치들에 배치될 수 있고, 그의 상이한 위치들로부터 3차원 영상들을 기록할 수 있다.
방법(100)은, 3차원 영상들에 기초하여, 차량이 차량의 주어진 영역에서 주어진 제스처를 검출하는 블록(106)에서 계속되고, 여기서 주어진 제스처는 복수의 사전 결정된 제스처들 중 하나에 대응하고, 주어진 영역은 복수의 사전 결정된 영역들 중 하나에 대응한다. 주어진 제스처는, 예를 들어, 앞서 기술한 예시적인 제스처들 중 임의의 것을 포함할 수 있다. 이와 유사하게, 주어진 영역도, 예를 들어, 앞서 기술한 예시적인 영역들 중 임의의 것을 포함할 수 있다.
차량은, 예를 들어, 하나 이상의 탑승자들의 손, 손가락, 팔, 다리, 및/또는 머리가 나타나는지 3차원 영상들을 모니터링하는 것에 의해 주어진 제스처를 검출할 수 있다. 이를 위해, 탑승자의 손, 손가락, 팔, 다리, 및/또는 머리는 기지의 및/또는 인식가능한 형상, 텍스처, 색상, 깊이, 및/또는 패턴을 가질 수 있다. 예를 들어, 차량은 각종의 피부색을 나타내는 것으로 간주되는 하나 이상의 사전 결정된 색상들 및/또는 색조들과 일치하거나 그와 비슷한 색상 또는 색조를 가지는 물체 또는 물품이 나타나는지 3차원 영상들을 모니터링할 수 있다.
다른 대안으로서 또는 그에 부가하여, 차량은 탑승자의 손, 손가락, 팔, 다리, 및/또는 머리를 수반하는 제스처를 검출하기 위해 배경 차감(background subtraction) 기법들을 사용할 수 있다. 이를 위해, 차량은 3차원 영상들과 참조 3차원 영상 간의 변화들을 검출하기 위해 3차원 영상들을 참조 3차원 영상과 비교할 수 있다. 참조 3차원 영상은, 예를 들어, 차량이 비어 있는 것을 보여주는 또는 차량에서 전형적인 운전 위치(예컨대, 양손이 스티어링 휠에 있음)에 있는 탑승자를 보여주는 3차원 영상일 수 있다. 다른 참조 3차원 영상들이 또한 가능하다. 3차원 영상과 참조 3차원 영상 간의 변화들을 검출하기 위해, 웨어러블 컴퓨팅 디바이스(wearable computing device)는, 공통 픽셀들이 소거되고 3차원 영상과 참조 3차원 영상 간의 변화들을 나타내는 상이한 픽셀들이 남아 있도록, 참조 3차원 영상으로부터 3차원 영상을 "차감"할 수 있다. 이 변화들은, 예를 들어, 탑승자의 손, 손가락, 팔, 다리, 및/또는 머리를 수반하는 제스처를 나타낼 수 있다.
또 다른 대안으로서 또는 그에 부가하여, 차량은, 예를 들어, 3차원 영상들의 광학 흐름 차이(optical-flow differential)를 모니터링함으로써 탑승자의 손, 손가락, 팔, 다리, 및/또는 머리의 움직임을 검출하기 위해 3차원 영상들을 모니터링할 수 있다. 예를 들어, 탑승자의 손, 손가락, 팔, 다리, 및/또는 머리가 사전 결정된 제스처를 하고 있을 때, 손, 손가락, 팔, 다리, 및/또는 머리의 가현 운동(apparent movement)은 차량의 나머지의 가현 운동보다 상당히 더 높을 것이다. 그 결과, 손, 손가락, 팔, 다리, 및/또는 머리의 광학 흐름 벡터들은, 평균적으로, 차량의 나머지의 광학 흐름 벡터보다 더 큰 크기를 가질 것이고, 따라서 손, 손가락, 팔, 다리, 및/또는 머리와 차량의 나머지 간에 광학 흐름 차이를 생성한다. 따라서, 광학 흐름 차이를 검출하는 것에 의해, 차량은 탑승자의 손, 손가락, 팔, 다리, 및/또는 머리의 움직임을 검출할 수 있다.
차량이 또한 다른 기법들을 사용하여 주어진 제스처를 검출할 수 있다는 것을 잘 알 것이다.
차량은 3차원 영상들에서의 검출된 주어진 제스처의 위치에 기초하여 주어진 영역을 검출할 수 있다. 예를 들어, 차량은 3차원 영상들에서의 검출된 주어진 제스처의 위치를 상관 관계에서의 복수의 사전 결정된 영역들에 대응하는 위치들과 비교할 수 있다. 이 비교에 기초하여, 차량은 검출된 주어진 제스처가 주어진 영역에 대응하는 위치 근방에 및/또는 그 위치 내에 있는 것으로 결정할 수 있다.
차량이 또한 다른 기법들을 사용하여 주어진 영역을 검출할 수 있다는 것을 잘 알 것이다.
블록(108)에서, 차량은, 상관 관계에 기초하여, 주어진 영역과 결합한 주어진 제스처와 연관된 기능을 선택한다. 이를 위해, 차량은 상관 관계에서 주어진 영역과 결합된 주어진 제스처를 탐색할 수 있고, 상관 관계로부터, 주어진 영역과 결합된 주어진 제스처와 연관된 기능을 선택할 수 있다.
블록(110)에서, 차량은 그 기능을 개시한다. 이 기능은, 예를 들어, 앞서 기술한 예시적인 기능들 중 임의의 것일 수 있다.
일부 실시예들에서, 기능을 개시한 것에 부가하여, 차량은 청각적 피드백, 시각적 피드백, 및/또는 햅틱 피드백과 같은 피드백을 사용자에게 트리거할 수 있다. 이러한 피드백은, 온도 조절 시스템의 팬 속도의 작은 감소 또는 시트의 약간의 위치 변경과 같이, 기능이 사용자에 의해 즉각 검출가능하지 않을 때 특히 유용할 수 있다.
게다가, 일부 실시예들에서, 차량은 주어진 제스처의 범위(extent)를 결정할 수 있다. 예를 들어, 주어진 제스처가 스와이프 제스처(swipe gesture)인 경우, 차량은 스와이프의 범위(예컨대, 공간 및/또는 시간에서 스와이프가 얼마나 오랫동안 계속되는지)를 결정할 수 있다. 차량은 이어서 범위에 기초하여 동작 파라미터를 결정할 수 있다. 예를 들어, 더 큰 범위에 대해서는, 차량은 더 작은 범위에 대해서보다 더 큰 동작 파라미터를 결정할 수 있다. 동작 파라미터는, 예를 들어, 범위에 비례하거나 거의 비례할 수 있다. 이 실시예들에서, 차량이 기능을 개시할 때, 차량은 결정된 동작 파라미터로 기능을 개시할 수 있다.
예를 들어, 윈도우를 포함하는 영역에서 스와이프 제스처가 있고, 윈도우를 포함하는 영역에서의 스와이프 제스처가 윈도우를 여는 것과 연관되어 있는 경우, 차량은 스와이프의 범위를 결정할 수 있고 또한 스와이프의 범위에 기초하여 윈도우를 얼마나 열지를 결정할 수 있다. 예를 들어, 차량은 더 짧은 스와이프에 대해서보다 더 긴 스와이프에 대해 윈도우를 더 많이 열 수 있다.
다른 예로서, 에어컨 통풍구를 포함하는 영역에서 스와이프 제스처가 있고, 에어컨 통풍구를 포함하는 영역에서의 스와이프 제스처가 차량 내의 온도를 낮추는 것과 연관되어 있는 경우, 차량은 스와이프의 범위를 결정할 수 있고 또한 스와이프의 범위에 기초하여 차량 내의 온도를 얼마나 낮출지를 결정할 수 있다. 예를 들어, 차량은 더 짧은 스와이프에 대해서보다 더 긴 스와이프에 대해 온도를 더 많이 낮출 수 있다.
이러한 범위는 또한 스와이프 제스처 이외의 제스처들에 대해서도 결정될 수 있을 것이다. 예를 들어, 스피커를 포함하는 영역에서 탭핑 제스처가 있고, 스피커를 포함하는 영역에서의 탭핑 제스처가 오디오 시스템의 볼륨을 낮추는 것과 연관되어 있는 경우, 차량은 탭핑의 범위(예컨대, 탭핑이 몇번인지, 탭핑이 얼마나 오랫동안 지속되는지 등)를 결정할 수 있고, 또한 탭핑의 범위에 기초하여 오디오 시스템의 볼륨을 얼마나 낮출지를 결정할 수 있다. 예를 들어, 차량은 더 적은 탭핑들(또는 더 짧은 탭핑)에 대해서보다 더 많은 탭핑들(또는 더 긴 탭핑)에 대해 볼륨을 더 많이 낮출 수 있다.
일부 실시예들에서, 제스처의 범위 및 대응하는 동작 파라미터를 결정하고 이어서 결정된 동작 파라미터로 기능을 개시하기 보다는, 차량은 그 대신에 제스처의 범위를 계속하여 결정하고 대응하는 동작 파라미터를 갱신할 수 있고, 갱신된 동작 파라미터로 기능을 계속하여 개시할 수 있다. 예를 들어, 차량은 (예컨대, 에어컨 통풍구가 덮어지도록) 에어컨 통풍구를 포함하는 영역에서 덮기 제스처(cover gesture)를 검출할 수 있고, 에어컨 통풍구를 포함하는 영역에서의 덮기 제스처는 에어컨 시스템의 팬 속도를 낮추는 것과 연관되어 있을 수 있다. 차량이 에어컨 통풍구를 포함하는 영역에서 덮기 제스처를 검출하면, 차량은 (예컨대, 사전 결정된 양만큼) 팬 속도를 낮출 수 있다. 차량이 덮기 제스처를 계속하여 검출할 때, 차량은 (예컨대, 예를 들어, 사전 결정된 양, 증가하는 양 등의 증분으로) 팬 속도를 계속하여 낮출 수 있다. 차량이 덮기 제스처가 종료된 것을 검출하면, 차량은 팬 속도를 낮추는 것을 중단할 수 있다. 그 결과, 덮기 제스처 동안, 차량은 덮기 제스처의 범위에 기초한 양만큼 팬 속도를 낮출 수 있다.
일부 실시예들에서, 차량은 주어진 제스처 및/또는 주어진 영역을 검출하는 데 어려움을 겪을 수 있다. 예를 들어, 차량은 주어진 제스처 및 주어진 영역 중 하나 또는 둘 다의 신뢰도 레벨(confidence level)이 사전 결정된 임계치 미만인지를 결정할 수 있다. 이 실시예들에서, 차량은 주어진 영역에서 주어진 제스처를 반복하라고 탑승자에게 요청할 수 있다. 탑승자가 주어진 영역에서 주어진 제스처를 반복할 때, 차량은 부가의 3차원 영상들을 기록할 수 있고, 부가의 3차원 영상들(그리고, 어떤 경우들에서, 이전에 기록된 3차원 영상들)에 기초하여 주어진 제스처 및 주어진 영역을 검출할 수 있다.
예시를 위해, 다수의 예시적인 구현들이 기술되어 있다. 그렇지만, 예시적인 구현들이 단지 예시를 위한 것이고 제한하기 위한 것이 아님을 잘 알 것이다. 다른 예시적인 구현들이 또한 가능하다.
도 2는 일 실시예에 따른, 예시적인 차량의 예시적인 계기판(200)의 영상이다. 도시된 바와 같이, 예시적인 계기판(200)은 디스플레이(202)(예컨대, LCD(liquid crystal display), LED(light-emitting diode) 디스플레이, 터치스크린 등), 에어컨 통풍구(204), 속도계(206), 및 스티어링 휠(208)을 포함하고 있다.
예시를 위해, 이하에서의 예시적인 구현예들은 예시적인 계기판(200)과 유사한 계기판들과 관련하여 기술되어 있다. 그렇지만, 계기판들이, 도시된 것들 대신에 또는 그에 부가하여, 부가의 구성요소들을 포함할 수 있다는 것을 잘 알 것이다. 게다가, 계기판들의 구성요소들이 재배열되거나 제거될 수 있다. 즉, 도시된 계기판들은 제한하기 위한 것이 아니고, 다른 계기판들이 또한 가능하다.
도 3a 내지 도 3d는 일 실시예에 따른, 예시적인 차량에서 에어컨 시스템을 제어하기 위해 제스처가 사용되는 예시적인 방법의 예시적인 구현예를 나타낸 것이다. 도시된 바와 같이, 사용자(300)가 차량을 운전하고 있다. 앞서 기술한 바와 같이, 차량은 차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 복수의 사전 결정된 영역들과 결합한 복수의 사전 결정된 제스처들과, 복수의 기능들 간의 상관 관계를 유지할 수 있다. 예를 들어, 상관 관계는 에어컨 통풍구를 포함하는 영역에서의 하향 스와이프 제스처(downward swiping gesture)가 에어컨 시스템의 팬 속도를 감소시키는 기능과 연관되어 있는 것을 포함할 수 있다. 다른 예들이 또한 가능하다.
도시된 바와 같이, 디스플레이 상의 팬 속도 표시기(302)는 차량에서의 에어컨 시스템의 팬 속도가 높다는 것을 나타낸다. 게다가, 카메라(304)는 차량의 천장에 배치되어 있다. 카메라(304)는 차량의 내부의 3차원 영상들을 기록하도록 구성될 수 있다. 단지 하나의 카메라(304)가 도시되어 있지만, 2개 이상의 카메라가 사용될 수 있을 것이다.
어떤 지점에서, 사용자(300)는 에어컨 시스템의 팬 속도를 낮추고자 할 수 있다. 이를 위해, 사용자(300)는 에어컨 통풍구를 포함하는 영역에서 하향 스와이프 제스처를 할 수 있다. 이것은 도 3a의 부분(306)의 상세도를 나타낸 도 3b 및 도 3c에 예시되어 있다. 도 3b 및 도 3c에 도시된 바와 같이, 사용자(300)는 그의 손(308)을 사용하여 에어컨 통풍구(310) 상에서 하향 스와이프 제스처(312)를 하고 있다.
카메라(304)는 에어컨 통풍구(310)를 포함하는 영역에서 하향 스와이프 제스처(312)의 3차원 영상들을 기록할 수 있다. 3차원 영상들에 기초하여, 차량은 에어컨 통풍구(310)를 포함하는 영역에서 하향 스와이프 제스처(312)를 검출할 수 있다.
차량은 이어서, 상관 관계에 기초하여, 에어컨 통풍구(310)를 포함하는 영역에서 하향 스와이프 제스처(312)와 연관된 기능을 선택할 수 있다. 예를 들어, 에어컨 통풍구(310)를 포함하는 영역에서의 하향 스와이프 제스처(312)는, 앞서 기술한 바와 같이, 에어컨 시스템의 팬 속도를 감소시키는 기능과 연관되어 있을 수 있다. 다른 예들이 또한 가능하다.
차량이 상관 관계로부터 기능을 선택하면, 차량은 차량에서 기능을 개시할 수 있다. 즉, 차량은 차량에서의 팬 속도를 감소시킬 수 있다.
도 3d에 도시된 바와 같이, 디스플레이 상의 팬 속도 표시기(302)는 차량에서의 에어컨 시스템의 팬 속도가 감소되었다는 것을 나타낸다. 팬 속도 표시기(302)는 사용자(300)가 팬 속도가 감소되었다는 것을 확인할 수 있게 하는 사용자(300)에 대한 시각적 피드백으로서 역할할 수 있다. 일부 실시예들에서, 차량은, 시각적 피드백 대신에 또는 그에 부가하여, 햅틱 또는 청각적 피드백을 트리거할 수 있거나, 어떤 피드백도 트리거하지 않을 수 있다.
일부 실시예들에서, 차량은, 그에 부가하여, 하향 스와이프 제스처(312)의 범위를 결정하는 범위를 결정할 수 있고, 예를 들어, 범위에 비례하는 양만큼 팬 속도를 감소시킬 수 있다.
도 4a 내지 도 4c는 일 실시예에 따른, 예시적인 차량에서 오디오 시스템을 제어하기 위해 제스처가 사용되는 예시적인 방법의 예시적인 구현예를 나타낸 것이다. 도시된 바와 같이, 사용자(400)가 차량을 운전하고 있다. 앞서 기술한 바와 같이, 차량은 차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 복수의 사전 결정된 영역들과 결합한 복수의 사전 결정된 제스처들과, 복수의 기능들 간의 상관 관계를 유지할 수 있다. 예를 들어, 상관 관계는 사용자(400)의 귀를 포함하는 영역에서의 탭핑 제스처가 차량 내의 오디오 시스템을 끄는 기능과 연관되어 있는 것을 포함할 수 있다. 다른 예들이 또한 가능하다.
도시된 바와 같이, 디스플레이 상의 오디오 시스템 표시기(402)는 오디오 시스템이 라디오 방송국으로부터의 음악을 재생하고 있다는 것을 나타낸다. 게다가, 카메라(404)가 차량의 천장에 배치되어 있다. 카메라(404)는 차량의 내부의 3차원 영상들을 기록하도록 구성될 수 있다. 단지 하나의 카메라(404)가 도시되어 있지만, 2개 이상의 카메라가 사용될 수 있을 것이다.
어떤 지점에서, 사용자(400)는 오디오 시스템을 끄고자 할 수 있다. 이를 위해, 사용자(400)는 사용자(400)의 귀를 포함하는 영역에서 탭핑 제스처를 할 수 있다. 이것은 도 4a의 부분(406)의 상세도를 나타낸 도 4b에 예시되어 있다. 도 4b에 도시된 바와 같이, 사용자(400)는 그의 손(408)을 사용하여 사용자(400)의 귀(410)에 대해 탭핑 제스처를 하고 있다.
카메라(404)는 사용자(400)의 귀(410)를 포함하는 영역에서의 탭핑 제스처의 3차원 영상들을 기록할 수 있다. 3차원 영상들에 기초하여, 차량은 사용자(400)의 귀(410)를 포함하는 영역에서 탭핑 제스처를 검출할 수 있다.
차량은 이어서, 상관 관계에 기초하여, 사용자(400)의 귀(410)를 포함하는 영역에서 탭핑 제스처와 연관된 기능을 선택할 수 있다. 예를 들어, 사용자(400)의 귀(410)를 포함하는 영역에서의 탭핑 제스처는, 앞서 기술한 바와 같이, 오디오 시스템을 끄는 기능과 연관되어 있을 수 있다. 다른 예들이 또한 가능하다.
차량이 상관 관계로부터 기능을 선택하면, 차량은 차량에서 기능을 개시할 수 있다. 즉, 차량은 오디오 시스템을 끌 수 있다.
도 4c에 도시된 바와 같이, 디스플레이 상의 오디오 시스템 표시기(402)는 오디오 시스템이 꺼졌다는 것을 나타낸다. 오디오 시스템 표시기(402)는 사용자(400)가 오디오 시스템이 꺼졌다는 것을 확인할 수 있게 하는 사용자(400)에 대한 시각적 피드백으로서 역할할 수 있다. 일부 실시예들에서, 차량은, 시각적 피드백 대신에 또는 그에 부가하여, 햅틱 또는 청각적 피드백을 트리거할 수 있거나, 어떤 피드백도 트리거하지 않을 수 있다.
도 5는 일 실시예에 따른, 제스처들, 영역들, 및 기능들 간의 예시적인 상관 관계(500)를 나타낸 것이다. 도시된 바와 같이, 상관 관계(500)는 차량의 복수의 사전 결정된 영역들(504)과 결합한 복수의 사전 결정된 제스처들(502)과, 복수의 기능들(506)을 포함하고 있다. 상세하게는, 복수의 사전 결정된 영역들(504) 중 특정 영역과 결합한 복수의 사전 결정된 제스처들(502) 중의 각각의 제스처는 복수의 기능들(506) 중 특정 기능과 연관되어 있다.
공통의 제스처가 2개의 상이한 영역들과 연관되어 있을 수 있고, 공통의 제스처가, 상이한 영역들에 따라, 상이한 기능들과 연관되어 있을 수 있다. 예를 들어, 도시된 바와 같이, 에어컨 통풍구를 포함하는 영역에서의 상향 스와이프 제스처(swipe up gesture)는 팬 속도를 증가시키는 기능과 연관되어 있는 반면, 운전자 윈도우(driver window)를 포함하는 영역에서의 상향 스와이프 제스처는 운전자 윈도우를 닫는 기능과 연관되어 있다.
이와 유사하게, 공통의 영역이 2개의 상이한 제스처들과 연관되어 있을 수 있고, 공통의 영역이, 상이한 제스처들에 따라, 상이한 기능들과 연관되어 있을 수 있다. 예를 들어, 도시된 바와 같이, 에어컨 통풍구를 포함하는 영역에서의 상향 스와이프 제스처는 팬 속도를 증가시키는 기능과 연관되어 있는 반면, 에어컨 통풍구를 포함하는 영역에서의 하향 스와이프 제스처(swipe down gesture)는 팬 속도를 감소시키는 기능과 연관되어 있다. 게다가, 도시된 바와 같이, 에어컨 통풍구를 포함하는 영역에서의 우측 스와이프 제스처(swipe right gesture)는 온도를 증가시키는 기능과 연관되어 있는 반면, 에어컨 통풍구를 포함하는 영역에서의 좌측 스와이프 제스처(swipe left gesture)는 온도를 감소시키는 기능과 연관되어 있다.
일부 실시예들에서, 상관 관계(500)가 사전 설정되어 있을 수 있고, 차량의 사용자는 차량과 상호작용하기 위해 상관 관계(500)를 학습(learn)할 수 있다. 다른 실시예들에서, 상관 관계(500)가 사용자와의 설정 프로세스(set-up process) 동안 생성될 수 있고, 사용자는 상관 관계에서 상관되어야 하는 제스처들, 영역들 및 기능들을 선택할 수 있다. 이 실시예들에서, 차량은 상이한 사용자들에 대한 상이한 상관 관계들을 유지할 수 있고, (예컨대, 얼굴 인식, 전자 열쇠(key fob)의 검출, 패스코드 또는 다른 식별자의 사용자 입력 등을 통해) 사용자를 식별함으로써 어느 상관 관계들을 사용할지를 결정할 수 있다. 또 다른 실시예들에서, 상관 관계(500)는 사전 설정된 요소들과 선택된 요소들의 조합일 수 있고, 제스처들, 영역들, 및 기능들 중 일부는 사전 설정되어 있고, 제스처들, 영역들 및 기능들 중 일부는 사용자에 의해 선택된다.
다수의 예시적인 제스처들, 영역들, 및 기능들이 도시되어 있지만, 예시적인 제스처들, 영역들, 및 기능들이 단지 예시적인 것이고 제한하는 것이 아님을 잘 알 것이다. 다른 제스처들, 영역들, 및 기능들, 그리고 그의 조합들이 또한 가능하다.
이상의 예시적인 방법들의 예시적인 실시예들이 구현될 수 있는 시스템들에 대해 이제부터 더 상세히 기술할 것이다. 일반적으로, 예시적인 시스템은 차량의 형태로 구현될 수 있거나 차량의 형태를 취할 수 있다. 차량은, 예를 들어, 자동차, 승용차, 트럭, 오토바이, 버스, 보트, 비행기, 헬리콥터, 잔디 깎는 기계(lawn mowers), 토공 기계(earth movers), 스노우모빌(snowmobiles), 레저 차량, 놀이 공원 차량, 농기계, 건설 장비, 전차(trams), 골프 카트, 기차, 및 트롤리(trolley)를 포함한 다수의 형태들을 취할 수 있다. 다른 차량들이 또한 가능하다.
게다가, 다른 예시적인 시스템은 본 명세서에 기술된 기능을 제공하기 위해 적어도 하나의 프로세서에 의해 실행가능한 프로그램 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체의 형태를 취할 수 있다. 예시적인 시스템은 또한 이러한 프로그램 명령어들을 저장하고 있는 이러한 비일시적 컴퓨터 판독가능 매체를 포함하는 차량 또는 차량의 서브시스템의 형태를 취할 수 있다.
도 6은 일 실시예에 따른 예시적인 차량(600)을 나타낸 것이다. 도 6에서의 차량(600)이 자율 모드에서 동작하도록 구성되어 있지만, 일부 실시예들에서, 상기 방법들은 자율 모드에서 동작하도록 구성되어 있지 않은 차량에서 구현될 수 있다.
도 6은 차량(600)의 우측면도, 정면도, 배면도, 및 상면도를 나타낸 것이다. 차량(600)이 도 6에서 승용차로서 예시되어 있지만, 다른 실시예들이 가능하다. 예를 들어, 차량(600)은, 특히, 트럭, 밴, 세미 트레일러 트럭(semi-trailer truck), 오토바이, 골프 카트, 오프로드 차량(off-road vehicle), 또는 농장용 차량(farm vehicle)을 나타낼 수 있다. 도시된 바와 같이, 차량(600)은 제1 센서 유닛(602), 제2 센서 유닛(604), 제3 센서 유닛(606), 무선 통신 시스템(608), 및 외부 카메라(610)를 포함하고 있다.
제1, 제2 및 제3 센서 유닛들(602 내지 606) 각각은 위성 위치 확인 시스템(global positioning system) 센서들, 관성 측정 유닛들, RADAR(radio detection and ranging) 유닛들, 레이저 거리 측정기들(laser rangefinders), LIDAR(light detection and ranging) 유닛들, 외부 카메라들, 및 음향 센서들의 임의의 조합을 포함할 수 있다. 다른 유형들의 센서들이 또한 가능하다.
제1, 제2, 및 제3 센서 유닛들(602 내지 606)이 차량(600) 상의 특정 위치들에 탑재되어 있는 것으로 도시되어 있지만, 일부 실시예들에서, 센서 유닛(602)은 차량(600) 상의 다른 곳에, 차량(600)의 내부에 또는 외부에 탑재될 수 있다. 게다가, 단지 3개의 센서 유닛들만이 도시되어 있지만, 일부 실시예들에서, 더 많거나 더 적은 수의 센서 유닛들이 차량(600)에 포함되어 있을 수 있다.
일부 실시예들에서, 제1, 제2, 및 제3 센서 유닛들(602 내지 606) 중 하나 이상은 센서들이 이동가능하게 탑재될 수 있는 하나 이상의 이동식 마운트들(movable mounts)을 포함할 수 있다. 이동식 마운트는, 예를 들어, 회전 플랫폼(rotating platform)을 포함할 수 있다. 회전 플랫폼 상에 탑재되어 있는 센서들은, 센서들이 차량(600) 주위의 각각의 방향으로부터 정보를 획득할 수 있도록, 회전될 수 있다. 다른 대안으로서 또는 그에 부가하여, 이동식 마운트는 틸팅 플랫폼(tilting platform)을 포함할 수 있다. 틸팅 플랫폼 상에 탑재되어 있는 센서들은, 센서들이 다양한 각도에서 정보를 획득할 수 있도록, 특정 범위의 각도들 및/또는 방위각들 내에서 틸팅될 수 있다. 이동식 마운트는 또한 다른 형태들을 취할 수 있다.
게다가, 일부 실시예들에서, 제1, 제2, 및 제3 센서 유닛들(602 내지 606) 중 하나 이상은 센서들 및/또는 이동식 마운트들을 이동시킴으로써 센서 유닛 내의 센서들의 위치 및/또는 배향을 조절하도록 구성되는 하나 이상의 액추에이터들을 포함할 수 있다. 예시적인 액추에이터들은 모터, 공압 액추에이터, 유압 피스톤, 릴레이, 솔레노이드, 및 압전 액추에이터를 포함한다. 다른 액추에이터들이 또한 가능하다.
무선 통신 시스템(608)은 직접 또는 통신 네트워크를 통해 하나 이상의 다른 차량들, 센서들, 또는 다른 엔터티들에 무선으로 결합하도록 구성되는 임의의 시스템일 수 있다. 이를 위해, 무선 통신 시스템(608)은 직접 또는 공중 인터페이스(air interface)를 통해 다른 차량들, 센서들, 또는 다른 엔터티들과 통신하기 위한 칩셋 및 안테나를 포함할 수 있다. 칩셋 또는 무선 통신 시스템(608)은 일반적으로, 특히, 블루투스, IEEE 802.11에 기술되어 있는 통신 프로토콜들(임의의 IEEE 802.11 개정들을 포함함), 셀룰러 기술(GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE 등), Zigbee, DSRC(dedicated short range communications), 및 RFID(radio frequency identification) 통신과 같은 하나 이상의 다른 유형들의 무선 통신(예컨대, 프로토콜들)에 따라 통신하도록 구성될 수 있다. 무선 통신 시스템(608)은 또한 다른 형태들을 취할 수 있다.
무선 통신 시스템(608)이 차량(600)의 지붕에 배치되어 있는 것으로 도시되어 있지만, 다른 실시예에서, 무선 통신 시스템(608)은, 전체적으로 또는 부분적으로, 다른 곳에 위치되어 있을 수 있다.
외부 카메라(610)는 차량(600)이 위치해 있는 환경의 영상들을 포착하도록 구성되는 임의의 카메라(예컨대, 스틸 카메라, 비디오 카메라 등)일 수 있다. 이를 위해, 외부 카메라(610)는 가시광을 검출하도록 구성되어 있을 수 있거나, 적외선 또는 자외선 광, 또는 x-선과 같은 스펙트럼의 다른 부분들로부터의 광을 검출하도록 구성될 수 있다. 다른 유형들의 카메라들이 또한 가능하다. 외부 카메라(610)는 2차원 검출기일 수 있거나, 3차원 공간 거리(spatial range)를 가질 수 있다. 일부 실시예들에서, 외부 카메라(610)는, 예를 들어, 외부 카메라(610)로부터 환경 내의 다수의 지점들까지의 거리를 나타내는 2차원 영상을 발생시키도록 구성되는 거리 검출기(range detector)일 수 있다. 이를 위해, 외부 카메라(610)는 하나 이상의 거리 검출 기법들을 사용할 수 있다. 예를 들어, 외부 카메라(610)는 차량(600)이 격자 또는 바둑판 패턴과 같은 사전 결정된 광 패턴으로 환경 내의 물체를 조명하고(illuminate) 물체로부터의 사전 결정된 광 패턴의 반사를 검출하기 위해 외부 카메라(610)를 사용하는 구조화된 광 기법(structured light technique)을 사용할 수 있다. 반사된 광 패턴에서의 왜곡들에 기초하여, 차량(600)은 물체 상의 지점들까지의 거리를 결정할 수 있다. 사전 결정된 광 패턴은 적외선 광, 또는 다른 파장의 광을 포함할 수 있다. 다른 예로서, 외부 카메라(610)는 차량(600)이 레이저를 방출하고 환경 내의 물체 상의 다수의 지점들에 걸쳐 스캔하는 레이저 스캔 기법을 사용할 수 있다. 물체를 스캔하는 동안, 차량(600)은 외부 카메라(610)를 사용하여 각각의 지점에 대해 물체로부터의 레이저의 반사를 검출한다. 레이저가 각각의 지점에서 물체로부터 반사하는 데 걸리는 시간의 길이에 기초하여, 차량(600)은 물체 상의 지점들까지의 거리를 결정할 수 있다. 또 다른 예로서, 외부 카메라(610)는 차량(600)이 광 펄스를 방출하고 외부 카메라(610)를 사용하여 물체 상의 다수의 지점들에서 물체로부터의 광 펄스의 반사를 검출하는 TOF(time-of-flight) 기법을 사용할 수 있다. 상세하게는, 외부 카메라(610)는 다수의 픽셀들을 포함할 수 있고, 각각의 픽셀은 물체 상의 한 지점으로부터의 광 펄스의 반사를 검출할 수 있다. 광 펄스가 각각의 지점에서 물체로부터 반사하는 데 걸리는 시간의 길이에 기초하여, 차량(600)은 물체 상의 지점들까지의 거리를 결정할 수 있다. 광 펄스는 레이저 펄스일 수 있다. 특히, 입체 삼각측량(stereo triangulation), 광 시트 삼각측량(sheet-of-light triangulation), 간섭 측정(interferometry), 및 부호화 개구(coded aperture) 기법을 포함한 다른 거리 검출 기법들이 또한 가능하다. 외부 카메라(610)는 또한 다른 형태들을 취할 수 있다.
일부 실시예들에서, 외부 카메라(610)는, 앞서 기술한 바와 같이, 외부 카메라(610) 및/또는 이동식 마운트를 이동시킴으로써 외부 카메라(610)의 위치 및/또는 배향을 조절하도록 구성되는 이동식 마운트 및/또는 액추에이터를 포함할 수 있다.
외부 카메라(610)가 차량(600)의 전면 유리(front windshield)에 탑재되어 있는 것으로 도시되어 있지만, 다른 실시예에서, 외부 카메라(610)는 차량(600) 상의 다른 곳에, 차량(600)의 내부에 또는 외부에 탑재될 수 있다.
차량(600)은, 도시된 것들에 부가하여 또는 그 대신에, 하나 이상의 다른 구성요소들을 포함할 수 있다.
도 7은 일 실시예에 따른 예시적인 차량(700)의 간략화된 블록도이다. 차량(700)은, 예를 들어, 도 6과 관련하여 앞서 기술한 차량(600)과 유사할 수 있다. 차량(700)은 또한 다른 형태들을 취할 수 있다. 도 7에서의 차량(700)이 자율 모드에서 동작하도록 구성되는 것으로 기술되어 있지만, 일부 실시예들에서, 상기 방법들은 자율 모드에서 동작하도록 구성되어 있지 않은 차량에서 구현될 수 있다. 이 실시예들에서, 차량은 더 적은 및/또는 상이한 시스템들 및/또는 구성요소들을 포함할 수 있다.
도시된 바와 같이, 차량(700)은 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 주변 장치들(708), 그리고 프로세서(712), 데이터 저장 장치(714) 및 명령어들(716)을 포함하는 컴퓨터 시스템(710)을 포함하고 있다. 다른 실시예들에서, 차량(700)은 더 많은, 더 적은, 또는 상이한 시스템들을 포함할 수 있고, 각각의 시스템은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 그에 부가하여, 도시된 시스템들 및 구성요소들은 임의의 수의 방식들로 결합되거나 분할될 수 있다.
추진 시스템(702)은 차량(700)에 동력 운동(powered motion)을 제공하도록 구성될 수 있다. 도시된 바와 같이, 추진 시스템(702)은 엔진/모터(718), 에너지원(720), 변속기(722), 및 휠들/타이어들(724)을 포함하고 있다.
엔진/모터(718)는 내연 기관, 전기 모터, 증기 기관, 및 스털링 엔진(Stirling engine)의 임의의 조합일 수 있거나 그를 포함할 수 있다. 다른 모터들 및 엔진들이 또한 가능하다. 일부 실시예들에서, 추진 시스템(702)은 다수의 유형들의 엔진들 및/또는 모터들을 포함할 수 있다. 예를 들어, 가스-전기 하이브리드 자동차(gas-electric hybrid car)는 가솔린 엔진 및 전기 모터를 포함할 수 있다. 다른 예들이 가능하다.
에너지원(720)은 엔진/모터(718)에 전체적으로 또는 부분적으로 동력을 제공하는 에너지의 공급원일 수 있다. 즉, 엔진/모터(718)는 에너지원(720)을 기계 에너지로 변환하도록 구성될 수 있다. 에너지원들(720)의 예들은 가솔린, 디젤, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양광 패널(solar panel), 배터리, 및 다른 전기 전력원들을 포함한다. 에너지원(들)(720)은, 그에 부가하여 또는 다른 대안으로서, 연료 탱크, 배터리, 커패시터, 및/또는 플라이휠(flywheel)의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 에너지원(720)은 차량(700)의 다른 시스템들에도 에너지를 제공할 수 있다.
변속기(722)는 기계적 동력을 엔진/모터(718)로부터 휠들/타이어들(724)에 전달하도록 구성될 수 있다. 이를 위해, 변속기(722)는 기어박스, 클러치, 차동 장치(differential), 구동축, 및/또는 다른 요소들을 포함할 수 있다. 변속기(722)가 구동축들을 포함하는 실시예들에서, 구동축들은 휠들/타이어들(724)에 결합되도록 구성되는 하나 이상의 차축들을 포함할 수 있다.
차량(700)의 휠들/타이어들(724)은 외발 자전거, 자전거/오토바이, 삼륜차, 또는 자동차/트럭의 사륜 형식을 포함한 다양한 형식들로 구성될 수 있다. 6개 이상의 휠을 포함하는 것들과 같은 다른 휠/타이어 형식들이 또한 가능하다. 임의의 경우에, 차량(700)의 휠들/타이어들(724)은 다른 휠들/타이어들(724)에 대해 차동적으로 회전하도록 구성될 수 있다. 일부 실시예들에서, 휠들/타이어들(724)은 변속기(722)에 고정되게 부착되어 있는 적어도 하나의 휠 및 구동면(driving surface)과 접촉할 수 있는 휠의 림(rim)에 결합되어 있는 적어도 하나의 타이어를 포함할 수 있다. 휠들/타이어들(724)은 금속 및 고무의 임의의 조합, 또는 다른 물질들의 조합을 포함할 수 있다.
추진 시스템(702)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
센서 시스템(704)은 차량(700)이 위치해 있는 환경에 관한 정보를 감지하도록 구성되는 다수의 센서들은 물론, 센서들의 위치 및/또는 배향을 수정하도록 구성되는 하나 이상의 액추에이터들(736)을 포함할 수 있다. 도시된 바와 같이, 센서 시스템의 센서들은 GPS(Global Positioning System)(726), IMU(inertial measurement unit)(728), RADAR 유닛(730), 레이저 거리 측정기 및/또는 LIDAR 유닛(732), 그리고 카메라(734)를 포함하고 있다. 센서 시스템(704)은, 예를 들어, 차량(700)의 내부 시스템들(예컨대, O2 모니터, 연료 게이지, 엔진 오일 온도 등)을 모니터링하는 센서들을 포함한 부가의 센서들을 또한 포함할 수 있다. 다른 센서들이 또한 가능하다.
GPS(726)는 차량(700)의 지리적 위치를 추정하도록 구성되는 임의의 센서일 수 있다. 이를 위해, GPS(726)는 지구(Earth)에 대한 차량(700)의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다. GPS(726)는 또한 다른 형태들을 취할 수 있다.
IMU(728)는 관성 가속도(inertial acceleration)에 기초하여 차량(700)의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 임의의 조합일 수 있다. 일부 실시예들에서, 센서들의 조합은, 예를 들어, 가속도계들 및 자이로스코프들을 포함할 수 있다. 센서들의 다른 조합들이 또한 가능하다.
RADAR 유닛(730)은 무선 신호를 사용하여 차량(700)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 임의의 센서일 수 있다. 일부 실시예들에서, 물체들을 감지하는 것에 부가하여, RADAR 유닛(730)은, 그에 부가하여, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.
이와 유사하게, 레이저 거리 측정기 또는 LIDAR 유닛(732)은 레이저를 사용하여 차량(700)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 임의의 센서일 수 있다. 상세하게는, 레이저 거리 측정기 또는 LIDAR 유닛(732)은 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 있다. 레이저 거리 측정기 또는 LIDAR 유닛(732)은 코히런트(coherent)(예컨대, 헤테로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다.
카메라(734)는 차량(700)의 내부의 3차원 영상들을 기록하도록 구성되는 임의의 카메라(예컨대, 스틸 카메라, 비디오 카메라 등)일 수 있다. 이를 위해, 카메라(734)는, 예를 들어, 깊이 카메라일 수 있다. 다른 대안으로서 또는 그에 부가하여, 카메라(734)는 외부 카메라(610)와 관련하여 앞서 기술한 형태들 중 임의의 것을 취할 수 있다. 일부 실시예들에서, 카메라(734)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 차량(700)의 내부 및 외부 상의 다수의 위치들에 배치될 수 있다.
센서 시스템(704)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
제어 시스템(706)은 차량(700) 및 그의 구성요소들의 동작을 제어하도록 구성될 수 있다. 이를 위해, 제어 시스템(706)은 조향 유닛(steering unit)(738), 쓰로틀(throttle)(740), 브레이크 유닛(742), 센서 융합 알고리즘(sensor fusion algorithm)(744), 컴퓨터 비전 시스템(computer vision system)(746), 내비게이션 또는 경로 지정 시스템(navigation or pathing system)(748), 및 장애물 회피 시스템(obstacle avoidance system)(750)을 포함할 수 있다.
조향 유닛(738)은 차량(700)의 방향을 조절하도록 구성되는 메커니즘들의 임의의 조합일 수 있다.
쓰로틀(740)은 엔진/모터(718)의 동작 속도 그리고 결과적으로 차량(700)의 속도를 제어하도록 구성되는 메커니즘들의 임의의 조합일 수 있다.
브레이크 유닛(742)은 차량(700)을 감속시키도록 구성되는 메커니즘들의 임의의 조합일 수 있다. 예를 들어, 브레이크 유닛(742)은 휠들/타이어들(724)의 속도를 줄이기 위해 마찰을 사용할 수 있다. 다른 예로서, 브레이크 유닛(742)은 휠들/타이어들(724)의 운동 에너지(kinetic energy)를 전류로 변환할 수 있다. 브레이크 유닛(742)은 또한 다른 형태들을 취할 수 있다.
센서 융합 알고리즘(744)은 센서 시스템(704)으로부터의 데이터를 입력으로서 받아들이도록 구성되는 알고리즘(또는 알고리즘을 저장하는 컴퓨터 프로그램 제품)일 수 있다. 데이터는, 예를 들어, 센서 시스템(704)의 센서들에서 감지되는 정보를 나타내는 데이터를 포함할 수 있다. 센서 융합 알고리즘(744)은, 예를 들어, 칼만 필터(Kalman filter), 베이지안 네트워크(Bayesian network), 또는 다른 알고리즘을 포함할 수 있다. 센서 융합 알고리즘(744)은 또한, 예를 들어, 차량(700)이 위치해 있는 환경 내의 개개의 물체들 및/또는 특징(feature)들의 평가들(evaluations), 특정 상황들의 평가들, 및/또는 특정 상황들에 기초한 가능한 영향들의 평가들을 포함한 센서 시스템(704)으로부터의 데이터에 기초한 다양한 평가들을 제공하도록 구성될 수 있다. 다른 평가들이 또한 가능하다.
컴퓨터 비전 시스템(746)은, (예컨대, 카메라(734)가 차량(700)의 외부에 탑재된 카메라를 포함한 다수의 카메라들을 포함하는 실시예들에서) 예를 들어, 교통 신호들 및 장애물들을 포함한, 차량(700)이 위치해 있는 환경 내의 물체들 및/또는 특징들을 식별하기 위해, 카메라(734)에 의해 포착되는 영상들을 처리 및 분석하도록 구성되는 임의의 시스템일 수 있다. 이를 위해, 컴퓨터 비전 시스템(746)은 물체 인식 알고리즘, SFM(Structure from Motion) 알고리즘, 비디오 추적, 또는 다른 컴퓨터 비전 기법들을 사용할 수 있다. 일부 실시예들에서, 컴퓨터 비전 시스템(746)은, 그에 부가하여, 환경의 지도를 제작하고(map the environment), 물체들을 추적하며, 물체들의 속도를 추정하고, 기타 등등을 하도록 구성될 수 있다.
내비게이션 및 경로 지정 시스템(748)은 차량(700)에 대한 운행 경로를 결정하도록 구성되는 임의의 시스템일 수 있다. 내비게이션 및 경로 지정 시스템(748)은, 그에 부가하여, 차량(700)이 동작하고 있는 동안 동적으로 운행 경로를 갱신하도록 구성될 수 있다. 일부 실시예들에서, 내비게이션 및 경로 지정 시스템(748)은, 차량(700)에 대한 운행 경로를 결정하기 위해, 센서 융합 알고리즘(744), GPS(726), 및 하나 이상의 사전 결정된 지도들로부터의 데이터를 포함하도록 구성될 수 있다.
장애물 회피 시스템(750)은 차량(700)이 위치해 있는 환경 내의 장애물들을 식별, 평가 및 회피 또는 다른 방식으로 협상하도록 구성되는 임의의 시스템일 수 있다.
제어 시스템(706)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
주변 장치들(708)은 차량(700)이 외부 센서들, 다른 차량들, 및/또는 사용자와 상호작용할 수 있게 하도록 구성될 수 있다. 이를 위해, 주변 장치들(708)은, 예를 들어, 무선 통신 시스템(752), 터치스크린(754), 마이크(756), 및/또는 스피커(758)를 포함할 수 있다.
무선 통신 시스템(752)은 앞서 기술한 형태들 중 임의의 것을 취할 수 있다.
터치스크린(754)은 차량(700)에 명령들을 입력하기 위해 사용자에 의해 사용될 수 있다. 이를 위해, 터치스크린(754)은, 특히, 용량성 감지, 저항 감지, 또는 표면 탄성파 프로세스를 통해 사용자의 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성될 수 있다. 터치스크린(754)은 터치스크린 표면에 평행한 또는 그에 평면인 방향으로의, 터치스크린 표면에 수직인 방향으로의, 또는 둘 다로의 손가락 움직임을 감지할 수 있고, 또한 터치스크린 표면에 가해지는 압력의 레벨을 감지할 수 있다. 터치스크린(754)은 하나 이상의 반투명 또는 투명 절연층들 및 하나 이상의 반투명 또는 투명 전도층들로 형성되어 있을 수 있다. 터치스크린(754)은 또한 다른 형태들을 취할 수 있다.
마이크(756)는 차량(700)의 사용자로부터 오디오(예컨대, 음성 명령 또는 다른 오디오 입력)를 수신하도록 구성될 수 있다. 이와 유사하게, 스피커들(758)은 오디오를 차량(700)의 사용자에게 출력하도록 구성될 수 있다.
주변 장치들(708)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
컴퓨터 시스템(710)은 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및 주변 장치들(708) 중 하나 이상으로 데이터를 전송하고 그로부터 데이터를 수신하도록 구성될 수 있다. 이를 위해, 컴퓨터 시스템(710)은 시스템 버스, 네트워크, 및/또는 다른 연결 메커니즘(도시 생략)에 의해 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및 주변 장치들(708) 중 하나 이상에 통신가능하게 링크될 수 있다.
컴퓨터 시스템(710)은 또한 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및/또는 주변 장치들(708)의 하나 이상의 구성요소들과 상호작용하고 이들을 제어하도록 구성될 수 있다. 예를 들어, 컴퓨터 시스템(710)은 연료 효율을 향상시키기 위해 변속기(722)의 동작을 제어하도록 구성될 수 있다. 다른 예로서, 컴퓨터 시스템(710)은 카메라(734)로 하여금 차량의 내부의 3차원 영상들을 기록하게 하도록 구성될 수 있다. 또 다른 예로서, 컴퓨터 시스템(710)은 센서 융합 알고리즘(744)에 대응하는 명령어들을 저장 및 실행하도록 구성될 수 있다. 또 다른 예로서, 컴퓨터 시스템(710)은 터치스크린(754) 상에 디스플레이를 디스플레이하는 명령어들을 저장 및 실행하도록 구성될 수 있다. 다른 예들이 또한 가능하다.
도시된 바와 같이, 컴퓨터 시스템(710)은 프로세서(712) 및 데이터 저장 장치(714)를 포함하고 있다. 프로세서(712)는 하나 이상의 범용 프로세서들 및/또는 하나 이상의 특수 목적 프로세서들을 포함할 수 있다. 프로세서(712)가 2개 이상의 프로세서를 포함할 경우, 이러한 프로세서들은 개별적으로 또는 결합하여 동작할 수 있다. 데이터 저장 장치(714)는, 차례로, 광, 자기, 및/또는 유기 저장 장치와 같은 하나 이상의 휘발성 및/또는 하나 이상의 비휘발성 저장 구성요소들을 포함할 수 있고, 데이터 저장 장치(714)는 전체적으로 또는 부분적으로 프로세서(712)와 통합될 수 있다.
일부 실시예들에서, 데이터 저장 장치(714)는 도 1 및 도 3a 내지 도 4c와 관련하여 앞서 기술한 것들을 포함한 다양한 차량 기능들을 실행하기 위해 프로세서(712)에 의해 실행가능한 명령어들(716)(예컨대, 프로그램 로직)을 포함할 수 있다. 게다가, 데이터 저장 장치(714)는 차량(700)에 대한 상관 관계(762)를 포함할 수 있고, 앞서 기술한 형태들 중 임의의 것을 취할 수 있다. 데이터 저장 장치(714)는 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및 주변 장치들(708) 중 하나 이상으로 데이터를 전송하고, 그로부터 데이터를 수신하며, 그와 상호작용하고 그리고/또는 그를 제어하는 명령어들을 포함한 부가의 명령어들을 또한 포함할 수 있다.
컴퓨터 시스템(702)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
도시된 바와 같이, 차량(700)은 차량(700)의 구성요소들 중 일부 또는 전부에 전력을 제공하도록 구성되어 있을 수 있는 전원 공급 장치(power supply)(760)를 추가로 포함하고 있다. 이를 위해, 전원 공급 장치(760)는, 예를 들어, 재충전가능 리튬 이온 또는 납산(lead-acid) 배터리를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 배터리 뱅크들(banks of batteries)이 전력을 제공하도록 구성될 수 있다. 다른 전원 공급 장치 물질들 및 구성들이 또한 가능하다. 일부 실시예들에서, 어떤 완전 전기 자동차들에서와 같이, 전원 공급 장치(760) 및 에너지원(720)이 함께 구현될 수 있다.
일부 실시예들에서, 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및 주변 장치들(708) 중 하나 이상은 그 각자의 시스템들 내부에 및/또는 외부에 있는 다른 구성요소들과 상호연결된 방식으로 동작하도록 구성될 수 있다.
게다가, 차량(700)은, 도시된 것들에 부가하여 또는 그 대신에, 하나 이상의 요소들을 포함할 수 있다. 예를 들어, 차량(700)은 하나 이상의 부가의 인터페이스들 및/또는 전원 공급 장치들을 포함할 수 있다. 다른 부가의 구성요소들이 또한 가능하다. 이러한 실시예들에서, 데이터 저장 장치(714)는 부가의 구성요소들을 제어하고 그리고/또는 그와 통신하기 위해 프로세서(712)에 의해 실행가능한 명령어들을 추가로 포함할 수 있다.
게다가, 구성요소들 및 시스템들 각각이 차량(700)에 통합되어 있는 것으로 도시되어 있지만, 일부 실시예들에서, 하나 이상의 구성요소들 또는 시스템들이 차량(700)에 분리가능하게(removably) 탑재되어 있거나 그에 유선 또는 무선 연결들을 사용하여 다른 방식으로 (기계적으로 또는 전기적으로) 연결될 수 있다.
게다가, 이상의 설명이 자율 모드에서 동작하도록 구성되는 차량(700)에 중점을 두고 있지만, 다른 실시예에서, 차량은 자율 모드에서 동작하도록 구성되어 있지 않을 수 있다. 이 실시예들에서, 예를 들어, 다음과 같은 구성요소들 중 하나 이상이 생략될 수 있다: GPS(global positioning system)(726), 관성 측정 유닛(728), RADAR 유닛(730), 레이저 거리 측정기 또는 LIDAR 유닛(732), 액추에이터들(736), 센서 융합 알고리즘(744), 컴퓨터 비전 시스템(746), 내비게이션 또는 경로 지정 시스템(748), 장애물 회피 시스템(750), 무선 통신 시스템(752), 터치스크린(754), 마이크(756), 및 스피커(758).
차량(700)은 또한 다른 형태들을 취할 수 있다.
일부 실시예들에서, 개시된 방법들은 기계 판독가능 형식으로 비일시적 컴퓨터 판독가능 저장 매체 상에 또는 다른 비일시적 매체 또는 제조 물품들 상에 인코딩되어 있는 컴퓨터 프로그램 명령어들로서 구현될 수 있다. 도 8은 본 명세서에 제시된 적어도 일부 실시예들에 따라 구성된, 컴퓨팅 디바이스 상에서 컴퓨터 프로세스를 실행하기 위한 컴퓨터 프로그램을 포함하는 예시적인 컴퓨터 프로그램 제품(800)의 부분 개념도를 나타낸 개략도이다.
하나의 실시예에서, 예시적인 컴퓨터 프로그램 제품(800)은 신호 전달 매체(signal bearing medium)(802)를 사용하여 제공된다. 신호 전달 매체(802)는, 하나 이상의 프로세서들에 의해 실행될 때, 도 1 및 도 3a 내지 도 4c와 관련하여 앞서 기술한 기능의 일부 또는 전부와 같은 기능을 제공할 수 있는 하나 이상의 프로그래밍 명령어들(804)을 포함할 수 있다.
일부 실시예들에서, 신호 전달 매체(802)는 하드 디스크 드라이브, CD(Compact Disc), DVD(Digital Video Disk), 디지털 테이프, 메모리 등(이들로 제한되지 않음)과 같은 컴퓨터 판독가능 매체(806)를 포함할 수 있다. 게다가, 일부 실시예들에서, 신호 전달 매체(802)는 메모리, R/W(read/write) CD, R/W DVD 등(이들로 제한되지 않음)과 같은 컴퓨터 기록가능 매체(808)를 포함할 수 있다. 게다가, 일부 실시예들에서, 신호 전달 매체(802)는 디지털 및/또는 아날로그 통신 매체(예컨대, 광섬유 케이블, 도파로, 유선 통신 링크, 무선 통신 링크 등)(이들로 제한되지 않음)와 같은 통신 매체(810)를 포함할 수 있다. 따라서, 예를 들어, 신호 전달 매체(802)는 통신 매체(810)의 무선 형태에 의해 전달될 수 있다.
하나 이상의 프로그래밍 명령어들(804)은, 예를 들어, 컴퓨터 실행가능 및/또는 논리 구현(logic implemented) 명령어들일 수 있다. 일부 예들에서, 컴퓨팅 디바이스(예컨대, 도 7의 컴퓨터 시스템(710))는, 프로그래밍 명령어들(804)이 컴퓨터 판독가능 매체(806), 컴퓨터 기록가능 매체(808), 및/또는 통신 매체(810) 중 하나 이상에 의해 컴퓨팅 디바이스로 전달된 것에 응답하여, 다양한 동작들, 기능들, 또는 작용들을 제공하도록 구성될 수 있다.
비일시적 컴퓨터 판독가능 매체는 또한 서로로부터 원격지에 위치해 있을 수 있는 다수의 데이터 저장 요소들 간에 분배될 수 있다.
일부 실시예들에서, 프로그래밍 명령어들(804) 중 일부 또는 전부를 실행하는 컴퓨팅 디바이스는 도 7에 예시되어 있는 차량(700)과 같은 차량일 수 있다. 다른 컴퓨팅 디바이스들이 또한 가능하다.
다양한 양태들 및 실시예들이 본 명세서에 개시되어 있지만, 다른 양태들 및 실시예들이 당업자에게는 명백할 것이다. 본 명세서에 개시되어 있는 다양한 양태들 및 실시예들은 예시를 위한 것이고 제한하기 위한 것이 아니며, 진정한 범주 및 사상은 이하의 청구항들에 의해 나타내어진다.

Claims (20)

  1. 차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 상기 복수의 사전 결정된 영역들과 결합한 상기 복수의 사전 결정된 제스처들과, 상기 복수의 기능들 간의 상관 관계(correlation)를 유지하는 단계;
    상기 차량의 내부의 3차원 영상들을 기록하는 단계;
    상기 3차원 영상들에 기초하여, 상기 차량의 주어진 영역에서 주어진 제스처를 검출하는 단계 - 상기 주어진 제스처는 상기 복수의 사전 결정된 제스처들 중 하나에 대응하고, 상기 주어진 영역은 상기 복수의 사전 결정된 영역들 중 하나에 대응함 -;
    상기 상관 관계에 기초하여, 상기 주어진 영역과 결합한 상기 주어진 제스처와 연관된 기능을 선택하는 단계; 및
    상기 차량에서 상기 기능을 개시하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 3차원 영상들은 깊이 카메라(depth camera) 및 3차원 레이저 스캐너 중 적어도 하나를 사용하여 기록되는, 방법.
  3. 제1항에 있어서, 상기 주어진 영역에서 상기 주어진 제스처를 검출한 것에 응답하여, 청각적 피드백, 시각적 피드백, 및 햅틱 피드백 중 적어도 하나를 트리거하는 단계를 추가로 포함하는 방법.
  4. 제1항에 있어서, 상기 3차원 영상들은 상기 차량의 천장으로부터 기록되는, 방법.
  5. 제1항에 있어서,
    상기 주어진 제스처의 범위(extent)를 결정하는 단계; 및
    상기 범위에 기초하여 동작 파라미터를 결정하는 단계
    를 추가로 포함하고, 상기 기능을 개시하는 단계는 상기 동작 파라미터로 상기 기능을 개시하는 단계를 포함하는, 방법.
  6. 제1항에 있어서, 상기 차량의 내부의 3차원 영상들을 기록하는 단계는, 제1 위치로부터 상기 차량의 내부의 3차원 영상들을 기록하는 단계 및 제2 위치로부터 상기 차량의 내부의 3차원 영상들을 기록하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 차량의 상기 주어진 영역은 상기 차량의 내부 표면을 포함하는, 방법.
  8. 제7항에 있어서, 상기 내부 표면은 상기 차량의 계기판, 상기 차량의 스티어링 휠(steering wheel), 에어컨 통풍구(air-conditioning vent), 상기 차량의 시트, 상기 차량의 헤드레스트(headrest), 상기 차량의 암 레스트(arm rest), 상기 차량의 리어 뷰 미러(rear-view mirror), 상기 차량의 윈도우(window), 상기 차량의 운전자, 및 차량의 승객 중 적어도 하나를 포함하는, 방법.
  9. 제1항에 있어서, 상기 기능을 개시하는 단계는, 상기 차량 내의 에어컨 시스템, 히터, 온도 조절 시스템(climate control system), 정속 주행 시스템(cruise control system), 오디오 시스템, 시트, 윈도우, 윈드쉴드 와이퍼들(windshield wipers), 엔터테인먼트 시스템, 디스플레이, 또는 차광막(sunscreen)을 제어하는 단계를 포함하는, 방법.
  10. 차량으로서,
    상기 차량의 내부의 3차원 영상들을 기록하도록 구성되는 카메라;
    적어도 하나의 프로세서; 및
    데이터 저장 장치
    를 포함하고, 상기 데이터 저장 장치는
    (i) 상기 차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 상기 복수의 사전 결정된 영역들과 결합한 상기 복수의 사전 결정된 제스처들과, 상기 복수의 기능들 간의 상관 관계, 및
    (ii) 명령어들
    을 포함하며, 상기 명령어들은
    (a) 상기 차량의 내부의 3차원 영상들을 기록하고,
    (b) 상기 3차원 영상들에 기초하여, 상기 차량의 주어진 영역에서 주어진 제스처를 검출하며 - 상기 주어진 제스처는 상기 복수의 사전 결정된 제스처들 중 하나에 대응하고, 상기 주어진 영역은 상기 복수의 사전 결정된 영역들 중 하나에 대응함 -,
    (c) 상기 상관 관계에 기초하여, 상기 주어진 영역과 결합한 상기 주어진 제스처와 연관된 기능을 선택하며,
    (d) 상기 차량에서 상기 기능을 개시하도록 상기 적어도 하나의 프로세서에 의해 실행가능한 것인, 차량.
  11. 제10항에 있어서, 상기 카메라는 깊이 카메라 및 3차원 레이저 스캐너 중 적어도 하나를 포함하는, 차량.
  12. 제10항에 있어서, 상기 주어진 영역에서 상기 주어진 제스처를 검출한 것에 응답하여 피드백을 제공하도록 구성되는 적어도 하나의 피드백 메커니즘을 추가로 포함하는 차량.
  13. 제12항에 있어서, 상기 적어도 하나의 피드백 메커니즘은 청각적 피드백 메커니즘, 시각적 피드백 메커니즘, 및 햅틱 피드백 메커니즘 중 적어도 하나를 포함하는, 차량.
  14. 제10항에 있어서, 상기 카메라는 상기 차량의 천장에 배치되는, 차량.
  15. 제10항에 있어서, 제어가능 구성요소(controllable component)를 추가로 포함하고,
    상기 제어가능 구성요소는 에어컨 시스템, 히터, 온도 조절 시스템, 정속 주행 시스템, 오디오 시스템, 시트, 윈도우, 윈드쉴드 와이퍼들, 및 차광막 중 적어도 하나를 포함하고;
    상기 기능을 개시하는 것은 상기 제어가능 구성요소를 제어하는 것을 포함하는, 차량.
  16. 제10항에 있어서, 상기 차량의 부가적인 내부 부분의 부가적인 3차원 영상들을 기록하도록 구성되는 부가적인 카메라를 추가로 포함하는 차량.
  17. 제16항에 있어서, 상기 제스처를 검출하는 것은 또한 상기 부가적인 3차원 영상들에 기초하는, 차량.
  18. 제10항에 있어서, 상기 차량은 자율 모드에서 동작하도록 구성되는, 차량.
  19. 컴퓨팅 디바이스로 하여금 동작들을 수행하게 하기 위해 상기 컴퓨팅 디바이스에 의해 실행가능한 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체로서,
    상기 동작들은
    차량의 복수의 사전 결정된 영역들 중의 특정 영역과 결합한 복수의 사전 결정된 제스처들 중의 각각의 제스처가 복수의 기능들 중의 특정 기능과 연관되도록, 상기 복수의 사전 결정된 영역들과 결합한 상기 복수의 사전 결정된 제스처들과, 상기 복수의 기능들 간의 상관 관계를 유지하는 동작;
    상기 차량의 내부의 3차원 영상들을 기록하는 동작;
    상기 3차원 영상들에 기초하여, 상기 차량의 주어진 영역에서 주어진 제스처를 검출하는 동작 - 상기 주어진 제스처는 상기 복수의 사전 결정된 제스처들 중 하나에 대응하고, 상기 주어진 영역은 상기 복수의 사전 결정된 영역들 중 하나에 대응함 -;
    상기 상관 관계에 기초하여, 상기 주어진 영역과 결합한 상기 주어진 제스처와 연관된 기능을 선택하는 동작; 및
    상기 차량에서 상기 기능을 개시하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  20. 제19항에 있어서, 상기 컴퓨팅 디바이스는 상기 차량에 있는 것인, 비일시적 컴퓨팅 판독가능 매체.
KR1020147027750A 2012-04-02 2013-02-03 제스처 기반 자동차 제어 KR101755086B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/437,730 US8942881B2 (en) 2012-04-02 2012-04-02 Gesture-based automotive controls
US13/437,730 2012-04-02
PCT/US2013/024543 WO2013151614A1 (en) 2012-04-02 2013-02-03 Gesture-based automotive controls

Publications (2)

Publication Number Publication Date
KR20140130743A true KR20140130743A (ko) 2014-11-11
KR101755086B1 KR101755086B1 (ko) 2017-07-06

Family

ID=49236089

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147027750A KR101755086B1 (ko) 2012-04-02 2013-02-03 제스처 기반 자동차 제어

Country Status (7)

Country Link
US (1) US8942881B2 (ko)
EP (1) EP2834121B1 (ko)
JP (1) JP6126199B2 (ko)
KR (1) KR101755086B1 (ko)
CN (1) CN104411530B (ko)
HK (1) HK1204309A1 (ko)
WO (1) WO2013151614A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170133142A (ko) 2016-05-25 2017-12-05 연세대학교 산학협력단 차량의 장치들을 제어하기 위한 장치 및 방법
US10180729B2 (en) 2014-10-06 2019-01-15 Hyundai Motor Company Human machine interface apparatus for vehicle and methods of controlling the same
US10430063B2 (en) 2017-09-27 2019-10-01 Hyundai Motor Company Input apparatus for vehicle having metal buttons and control method of the input apparatus

Families Citing this family (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112012004767T5 (de) * 2011-11-16 2014-11-06 Flextronics Ap, Llc Vollständiges Fahrzeugökosystem
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
KR101459445B1 (ko) * 2012-12-18 2014-11-07 현대자동차 주식회사 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
MY167493A (en) * 2013-02-20 2018-08-30 Panasonic Ip Corp America Program and Method for Controlling Portable Information Terminal
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US8818716B1 (en) 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search
US9081382B2 (en) * 2013-03-15 2015-07-14 Fresenius Medical Care Holdings, Inc. Autonomous vehicle comprising extracorporeal blood treatment machine
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US8886399B2 (en) * 2013-03-15 2014-11-11 Honda Motor Co., Ltd. System and method for controlling a vehicle user interface based on gesture angle
US9251715B2 (en) 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
DE102013208709A1 (de) * 2013-05-13 2014-11-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ermitteln von Eingangsdaten einer Fahrerassistenzeinheit
EP2821884B1 (en) * 2013-07-01 2018-09-05 Airbus Operations GmbH Cabin management system having a three-dimensional operating panel
US20150019017A1 (en) * 2013-07-12 2015-01-15 Whirlpool Corporation Home appliance and method of operating a home appliance
KR102179056B1 (ko) * 2013-07-19 2020-11-16 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9760698B2 (en) 2013-09-17 2017-09-12 Toyota Motor Sales, U.S.A., Inc. Integrated wearable article for interactive vehicle control system
US9807196B2 (en) 2013-09-17 2017-10-31 Toyota Motor Sales, U.S.A. Automated social network interaction system for a vehicle
US20150081133A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Gesture-based system enabling children to control some vehicle functions in a vehicle
US9340155B2 (en) 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
US9902266B2 (en) 2013-09-17 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with personal convenience reminders
US9400564B2 (en) 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
US9387824B2 (en) 2013-09-17 2016-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
KR101507242B1 (ko) * 2013-10-21 2015-03-31 포항공과대학교 산학협력단 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR101534718B1 (ko) * 2013-12-02 2015-07-07 현대자동차 주식회사 차량용 인포테인먼트 장치 및 차량용 인포테인먼트 장치 제어방법
CN103634402A (zh) * 2013-12-09 2014-03-12 赵生捷 智能车载安全防护系统
FR3014571B1 (fr) * 2013-12-11 2021-04-09 Dav Dispositif de commande a retour sensoriel
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US9875019B2 (en) 2013-12-26 2018-01-23 Visteon Global Technologies, Inc. Indicating a transition from gesture based inputs to touch surfaces
US20150185858A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara System and method of plane field activation for a gesture-based control system
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
KR20150087544A (ko) 2014-01-22 2015-07-30 엘지이노텍 주식회사 제스처 장치, 그 동작 방법 및 이를 구비한 차량
WO2015117852A1 (en) * 2014-02-07 2015-08-13 Koninklijke Philips N.V. Method of operating a control system and control system therefore
US10423226B2 (en) 2014-02-07 2019-09-24 Ultrahaptics IP Two Limited Systems and methods of providing haptic-like feedback in three-dimensional (3D) sensory space
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
GB2525840B (en) * 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
JP6331567B2 (ja) * 2014-03-27 2018-05-30 株式会社デンソー 車両用表示入力装置
US10466657B2 (en) 2014-04-03 2019-11-05 Honda Motor Co., Ltd. Systems and methods for global adaptation of an implicit gesture control system
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9498395B2 (en) 2014-04-16 2016-11-22 Stephen C. Golden, JR. Joint movement detection device and system for coordinating motor output with manual wheelchair propulsion
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
KR102246553B1 (ko) * 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
WO2015163539A1 (en) * 2014-04-24 2015-10-29 Lg Electronics Inc. Head mounted display and method for controlling the same
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US11983401B1 (en) 2014-06-04 2024-05-14 ULTRAHAPTICS IP TWO LIMITED, , United Kingd Systems and methods of interacting with a virtual grid in a three-dimensional (3D) sensory space
US9330306B2 (en) 2014-06-11 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. 3D gesture stabilization for robust input control in mobile environments
US10936050B2 (en) 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
US20150371529A1 (en) * 2014-06-24 2015-12-24 Bose Corporation Audio Systems and Related Methods and Devices
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
DE102014212418A1 (de) * 2014-06-27 2015-12-31 Robert Bosch Gmbh Autonomer Serviceroboter
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
JP6379822B2 (ja) * 2014-08-01 2018-08-29 ヤマハ株式会社 入力装置及び電子機器
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
JP2016053880A (ja) * 2014-09-04 2016-04-14 株式会社ランディード 車載システム、情報処理方法、およびコンピュータプログラム
US9540016B2 (en) * 2014-09-26 2017-01-10 Nissan North America, Inc. Vehicle interface input receiving method
US9248839B1 (en) * 2014-09-26 2016-02-02 Nissan North America, Inc. Vehicle interface system
FR3028221B1 (fr) * 2014-11-12 2018-03-16 Psa Automobiles Sa. Interface homme/machine et procede de controle de fonctions d’un vehicule par detection de mouvement et/ou d’expression du conducteur
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
US10146317B2 (en) 2014-12-12 2018-12-04 Ford Global Technologies, Llc Vehicle accessory operation based on motion tracking
KR101603553B1 (ko) * 2014-12-15 2016-03-15 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 제스쳐 인식 방법 및 이를 수행하는 차량
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
DE102015200006A1 (de) * 2015-01-02 2016-07-07 Volkswagen Ag Vorrichtung und Verfahren zur Unterstützung eines Anwenders vor einer Bedienung eines Schalters zur elektromotorischen Verstellung eines Teils eines Fortbewegungsmittels
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US20160257198A1 (en) 2015-03-02 2016-09-08 Ford Global Technologies, Inc. In-vehicle component user interface
CN106155289A (zh) * 2015-04-14 2016-11-23 鸿富锦精密工业（深圳）有限公司 车辆控制系统及其操作方法
TW201636234A (zh) * 2015-04-14 2016-10-16 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
US10859675B2 (en) 2015-04-20 2020-12-08 Resmed Sensor Technologies Limited Gesture recognition with sensors
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
EP3106343A1 (en) * 2015-06-19 2016-12-21 Continental Automotive GmbH Gesture based user input device for car electronics
JP2017026230A (ja) * 2015-07-23 2017-02-02 パナソニックＩｐマネジメント株式会社 空調制御装置、空調装置、空調制御方法、空調制御システム、空調制御プログラム、および記録媒体
US9869560B2 (en) 2015-07-31 2018-01-16 International Business Machines Corporation Self-driving vehicle's response to a proximate emergency vehicle
US9483948B1 (en) 2015-08-07 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and pedestrians
US9785145B2 (en) 2015-08-07 2017-10-10 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9721397B2 (en) 2015-08-11 2017-08-01 International Business Machines Corporation Automatic toll booth interaction with self-driving vehicles
EP3133469B1 (en) * 2015-08-18 2019-11-13 Sikorsky Aircraft Corporation System and method for digitization of vehicular components
US9718471B2 (en) 2015-08-18 2017-08-01 International Business Machines Corporation Automated spatial separation of self-driving vehicles from manually operated vehicles
TWI578021B (zh) * 2015-08-19 2017-04-11 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
US9481366B1 (en) 2015-08-19 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and animals
US9896100B2 (en) 2015-08-24 2018-02-20 International Business Machines Corporation Automated spatial separation of self-driving vehicles from other vehicles based on occupant preferences
US9967717B2 (en) 2015-09-01 2018-05-08 Ford Global Technologies, Llc Efficient tracking of personal device locations
US9914418B2 (en) 2015-09-01 2018-03-13 Ford Global Technologies, Llc In-vehicle control location
US9731726B2 (en) 2015-09-02 2017-08-15 International Business Machines Corporation Redirecting self-driving vehicles to a product provider based on physiological states of occupants of the self-driving vehicles
US9513632B1 (en) 2015-09-16 2016-12-06 International Business Machines Corporation Driving mode alerts from self-driving vehicles
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9481367B1 (en) 2015-10-14 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and animals
US9834224B2 (en) 2015-10-15 2017-12-05 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9944291B2 (en) 2015-10-27 2018-04-17 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9751532B2 (en) 2015-10-27 2017-09-05 International Business Machines Corporation Controlling spacing of self-driving vehicles based on social network relationships
US10607293B2 (en) 2015-10-30 2020-03-31 International Business Machines Corporation Automated insurance toggling for self-driving vehicles
US10137777B2 (en) 2015-11-03 2018-11-27 GM Global Technology Operations LLC Systems and methods for vehicle system control based on physiological traits
US10176525B2 (en) 2015-11-09 2019-01-08 International Business Machines Corporation Dynamically adjusting insurance policy parameters for a self-driving vehicle
US9791861B2 (en) 2015-11-12 2017-10-17 International Business Machines Corporation Autonomously servicing self-driving vehicles
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
US11023049B2 (en) * 2015-11-24 2021-06-01 Ford Global Technologies, Llc Methods and systems for enabling gesture control for a vehicle feature
DE102015223329A1 (de) 2015-11-25 2017-06-01 Zf Friedrichshafen Ag Verfahren zur Steuerung eines Flurförderfahrzeugs, Auswertevorrichtung für ein Flurförderfahrzeug, Flurförderfahrzeug
US10061326B2 (en) 2015-12-09 2018-08-28 International Business Machines Corporation Mishap amelioration based on second-order sensing by a self-driving vehicle
US10046637B2 (en) 2015-12-11 2018-08-14 Ford Global Technologies, Llc In-vehicle component control user interface
WO2017124480A1 (zh) * 2016-01-23 2017-07-27 刘建兵 调节座椅时的技术信息展示方法以及手势系统
WO2017124479A1 (zh) * 2016-01-23 2017-07-27 刘建兵 手势调节座椅技术的信息采集方法以及手势系统
US9836973B2 (en) 2016-01-27 2017-12-05 International Business Machines Corporation Selectively controlling a self-driving vehicle's access to a roadway
US9835709B2 (en) 2016-02-02 2017-12-05 Bao Tran Systems and methods for permission based control of robots
US10291348B2 (en) 2016-02-02 2019-05-14 Bao Tran Systems and methods for control of drones
DE112016006547T5 (de) * 2016-03-04 2018-11-22 Intel Corporation Betreiben von Vorrichtungen des Internets der Dinge unter Verwendung eines LiDAR-Verfahrens und einer LiDAR-Vorrichtung
US10082877B2 (en) * 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
EP3445612A4 (de) * 2016-04-20 2020-01-01 Continental Automotive GmbH Seitenblickspiegel mit erfassung von gesichtsbewegung und gesten
US9914415B2 (en) 2016-04-25 2018-03-13 Ford Global Technologies, Llc Connectionless communication with interior vehicle components
US10034066B2 (en) 2016-05-02 2018-07-24 Bao Tran Smart device
US10053110B2 (en) * 2016-05-06 2018-08-21 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methodologies for controlling an autonomous vehicle
DE112016006769B4 (de) 2016-05-20 2024-03-28 Ford Global Technologies, Llc Verfahren für Gebärdenspracheneingaben in eine Benutzerschnittstelle eines Fahrzeugs und Fahrzeug
US10685391B2 (en) 2016-05-24 2020-06-16 International Business Machines Corporation Directing movement of a self-driving vehicle based on sales activity
KR102521934B1 (ko) 2016-06-13 2023-04-18 삼성디스플레이 주식회사 터치 센서 및 이를 이용한 터치 감지 방법
US20180012196A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
US10093322B2 (en) 2016-09-15 2018-10-09 International Business Machines Corporation Automatically providing explanations for actions taken by a self-driving vehicle
US10643256B2 (en) 2016-09-16 2020-05-05 International Business Machines Corporation Configuring a self-driving vehicle for charitable donations pickup and delivery
US11024160B2 (en) 2016-11-07 2021-06-01 Nio Usa, Inc. Feedback performance control and tracking
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10515390B2 (en) 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
US10259452B2 (en) 2017-01-04 2019-04-16 International Business Machines Corporation Self-driving vehicle collision management system
US10529147B2 (en) 2017-01-05 2020-01-07 International Business Machines Corporation Self-driving vehicle road safety flare deploying system
US10363893B2 (en) 2017-01-05 2019-07-30 International Business Machines Corporation Self-driving vehicle contextual lock control system
US10466772B2 (en) * 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
US10152060B2 (en) 2017-03-08 2018-12-11 International Business Machines Corporation Protecting contents of a smart vault being transported by a self-driving vehicle
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
CN108162811A (zh) * 2017-12-15 2018-06-15 北京汽车集团有限公司 座椅控制方法及装置
KR102041965B1 (ko) * 2017-12-26 2019-11-27 엘지전자 주식회사 차량에 구비된 디스플레이 장치
CN109987036A (zh) * 2017-12-29 2019-07-09 周秦娜 一种基于驾驶员身体姿态提高交互准确度的控制方法
EP3735652A1 (en) * 2018-01-03 2020-11-11 Sony Semiconductor Solutions Corporation Gesture recognition using a mobile device
US11167771B2 (en) 2018-01-05 2021-11-09 Magna Mirrors Of America, Inc. Vehicular gesture monitoring system
DE102018201897A1 (de) 2018-02-07 2019-08-08 Ford Global Technologies, Llc Verfahren zum Betrieb eines selbstfahrenden Kraftfahrzeugs
KR101933150B1 (ko) * 2018-04-10 2018-12-27 주식회사 이큐포올 명령어/정보 입력시스템 및 방법
CN110374449A (zh) * 2018-04-12 2019-10-25 上海擎感智能科技有限公司 基于姿势识别的车窗控制方法及系统、车载终端
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
CN108894656A (zh) * 2018-06-27 2018-11-27 常州星宇车灯股份有限公司 一种基于tof手势识别的车窗控制装置及其控制方法
WO2020013519A1 (en) 2018-07-10 2020-01-16 Samsung Electronics Co., Ltd. Method and system of displaying multimedia content on glass window of vehicle
DE102018216662A1 (de) * 2018-09-27 2020-04-02 Continental Automotive Gmbh Armaturenbrettanordnung, Verfahren und Verwendung
KR20200103901A (ko) * 2019-02-13 2020-09-03 현대자동차주식회사 자율주행차량의 제스처 인터페이스 시스템 및 그 동작 방법
CN111563401A (zh) * 2019-02-14 2020-08-21 上海汽车集团股份有限公司 一种车载手势识别方法、系统、存储介质及电子设备
US11899448B2 (en) 2019-02-21 2024-02-13 GM Global Technology Operations LLC Autonomous vehicle that is configured to identify a travel characteristic based upon a gesture
DE102019204054A1 (de) * 2019-03-25 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur Bereitstellung eines Sprachdialogs in Gebärdensprache bei einem Sprachdialog-System für ein Fahrzeug
US11661007B2 (en) 2019-05-31 2023-05-30 SMR Automotive Systems India Limited Wireless mirror control device
DE102019210912A1 (de) * 2019-07-23 2021-01-28 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verstellvorrichtung und Verfahren für die fremdkraftbetätigte Verstellung eines Verstellteils an einem Fahrzeug auf Basis wenigstens eines Bedienereignisses
KR20210017515A (ko) * 2019-08-08 2021-02-17 현대자동차주식회사 차량의 모션 인식 장치 및 방법
CN110825236B (zh) * 2019-11-21 2023-09-01 江西千盛文化科技有限公司 一种基于智能vr语音控制的展示系统
US11866063B2 (en) 2020-01-10 2024-01-09 Magna Electronics Inc. Communication system and method
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US11055998B1 (en) 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
US11290856B2 (en) 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
CN113247010A (zh) * 2021-05-11 2021-08-13 上汽通用五菱汽车股份有限公司 巡航车速控制方法、车辆及计算机可读存储介质
EP4215400A1 (en) * 2022-01-21 2023-07-26 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for initiating a function of a vehicle
CN114461068A (zh) * 2022-02-07 2022-05-10 中国第一汽车股份有限公司 一种车辆使用指导交互方法、装置、设备和介质

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US7359782B2 (en) * 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
US8041483B2 (en) * 1994-05-23 2011-10-18 Automotive Technologies International, Inc. Exterior airbag deployment techniques
US7860626B2 (en) * 1995-06-07 2010-12-28 Automotive Technologies International, Inc. Vehicular heads-up display system with adjustable viewing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US8768286B2 (en) * 2001-10-24 2014-07-01 Mouhamad Ahmad Naboulsi Hands on steering wheel vehicle safety control system
US6792339B2 (en) * 2002-02-19 2004-09-14 International Business Machines Corporation Artificial passenger with condition sensors
US20080065291A1 (en) 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components
EP1586423B1 (en) * 2002-12-10 2011-10-05 Honda Motor Co., Ltd. Robot control device, robot control method, and robot control program
JP3752246B2 (ja) 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP2005117621A (ja) * 2003-09-16 2005-04-28 Honda Motor Co Ltd 画像配信システム
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
KR100590549B1 (ko) * 2004-03-12 2006-06-19 삼성전자주식회사 3차원 포인팅 방법을 이용한 로봇의 원격 제어 방법 및이를 구현한 로봇 제어 시스템
US7295904B2 (en) 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
DE102006009291A1 (de) 2006-03-01 2007-09-06 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
JP2007237919A (ja) * 2006-03-08 2007-09-20 Toyota Motor Corp 車両用入力操作装置
US8230362B2 (en) * 2006-05-31 2012-07-24 Manheim Investments, Inc. Computer-assisted and/or enabled systems, methods, techniques, services and user interfaces for conducting motor vehicle and other inspections
JP5030580B2 (ja) * 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8214098B2 (en) * 2008-02-28 2012-07-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
JP2010163111A (ja) * 2009-01-16 2010-07-29 Toyota Boshoku Corp 風量調整装置
JP2010184600A (ja) 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
US7983450B2 (en) * 2009-03-16 2011-07-19 The Boeing Company Method, apparatus and computer program product for recognizing a gesture
US9551590B2 (en) 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8751063B2 (en) * 2011-01-05 2014-06-10 Orbotix, Inc. Orienting a user interface of a controller for operating a self-propelled device
KR20140040094A (ko) * 2011-01-28 2014-04-02 인터치 테크놀로지스 인코퍼레이티드 이동형 원격현전 로봇과의 인터페이싱
US8589014B2 (en) * 2011-06-01 2013-11-19 Google Inc. Sensor field selection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180729B2 (en) 2014-10-06 2019-01-15 Hyundai Motor Company Human machine interface apparatus for vehicle and methods of controlling the same
KR20170133142A (ko) 2016-05-25 2017-12-05 연세대학교 산학협력단 차량의 장치들을 제어하기 위한 장치 및 방법
US10430063B2 (en) 2017-09-27 2019-10-01 Hyundai Motor Company Input apparatus for vehicle having metal buttons and control method of the input apparatus

Also Published As

Publication number Publication date
CN104411530A (zh) 2015-03-11
EP2834121B1 (en) 2020-01-08
EP2834121A1 (en) 2015-02-11
HK1204309A1 (en) 2015-11-13
JP6126199B2 (ja) 2017-05-10
EP2834121A4 (en) 2017-01-11
US8942881B2 (en) 2015-01-27
US20130261871A1 (en) 2013-10-03
KR101755086B1 (ko) 2017-07-06
JP2015521127A (ja) 2015-07-27
WO2013151614A1 (en) 2013-10-10
CN104411530B (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
KR101755086B1 (ko) 제스처 기반 자동차 제어
US11829152B2 (en) Actively modifying a field of view of an autonomous vehicle in view of constraints
EP3266667B1 (en) Safely navigating on roads through maintaining safe distance from other vehicles
US9387854B1 (en) Use of environmental information to aid image processing for autonomous vehicles
US9950708B1 (en) Adaptation of autonomous driving behaviour based on occupant presence and position
US8676427B1 (en) Controlling autonomous vehicle using audio data
US9026300B2 (en) Methods and systems to aid autonomous vehicles driving through a lane merge
US9355562B1 (en) Using other vehicle trajectories to aid autonomous vehicles driving through partially known areas
US8948954B1 (en) Modifying vehicle behavior based on confidence in lane estimation
US11079768B2 (en) Use of a reference image to detect a road obstacle
US8838322B1 (en) System to automatically measure perception sensor latency in an autonomous vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right