KR101652535B1 - 차량 인터페이스를 위한 제스처 기반 제어 시스템 - Google Patents

차량 인터페이스를 위한 제스처 기반 제어 시스템 Download PDF

Info

Publication number
KR101652535B1
KR101652535B1 KR1020117001280A KR20117001280A KR101652535B1 KR 101652535 B1 KR101652535 B1 KR 101652535B1 KR 1020117001280 A KR1020117001280 A KR 1020117001280A KR 20117001280 A KR20117001280 A KR 20117001280A KR 101652535 B1 KR101652535 B1 KR 101652535B1
Authority
KR
South Korea
Prior art keywords
gesture
delete delete
user
finger
hand
Prior art date
Application number
KR1020117001280A
Other languages
English (en)
Other versions
KR20110022057A (ko
Inventor
퀸들라 헐트만 크레이머
존 에스. 언더코펠러
Original Assignee
오블롱 인더스트리즈, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오블롱 인더스트리즈, 인크 filed Critical 오블롱 인더스트리즈, 인크
Publication of KR20110022057A publication Critical patent/KR20110022057A/ko
Application granted granted Critical
Publication of KR101652535B1 publication Critical patent/KR101652535B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/595—Data transfer involving internal databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

제스처를 이용하여 차량 서브시스템을 제어하기 위한 시스템 및 방법이 기재된다. 이러한 제어는 차량 내 센서를 통해 물체의 이미지를 수신하고 상기 물체에 의해 만들어지는 제스처를 나타내는 제스처 데이터를 출력하는 과정을 포함한다. 상기 물체는 사용자의 하나 이상의 손 및/또는 손가락이다. 제스처 데이터는 시공간에서의 하나의 점에서의 물체의 순간적인 상태이다. 제어하는 과정은 물체의 위치를 추출하고, 물체의 양자화된 포즈와 배향 벡터를 복원하며, 제스처 데이터를 제스처 신호로 번역함으로써 물체의 제스처를 자동으로 검출하는 과정을 포함한다. 이러한 제어는 제스처 신호에 반응하여 차량 서브시스템과 사용자의 상호대화를 관리하는 과정을 포함한다.

Description

차량 인터페이스를 위한 제스처 기반 제어 시스템{GESTURE-BASED CONTROL SYSTEM FOR VEHICLE INTERFACES}
관련 출원
본 출원은 2008년6월18일자 미국 특허 출원 제61/073,740호를 기초로 우선권 주장한다.
이 특허 출원은 2005년2월8일자 미국 특허 출원 60/651,290호를 기초로 우선권주장하는 2006년2월8일에 출원된 미국 특허 출원 제11/350,697호(미국 특허 출원 2006/0187196 A1으로 공개됨)의 동시계속 출원이다.
이 출원은 2008년4월24일자 미국 특허 출원 제12/109,263호의 동시계속 출원이다.
기술분야
본 발명은 컴퓨터 시스템에 관한 것이며, 특히, 차량 인터페이스를 위한 제스처 기반 제어 시스템 및 방법에 관한 것이다.
인간-컴퓨터 상호대화를 촉진하는 종래의 제어 시스템 및 사용자 인터페이스는 많은 결함을 갖고 있다.
참조를 위한 인용
본 명세서에서 언급되는 각각의 특허, 특허 출원 및 공개 특허는, 각각의 개별 특허, 특허 출원 및/또는 공개 특허가 구체적이며 개별적으로 지칭되는 한 본원에서 참조로서 포함된다.
도 1A는 본 발명의 하나의 실시예에 따르는 제스처 제어 시스템의 블록도이다.
도 1B는 본 발명의 하나의 실시예에 따르는 차량 서브시스템과 일체 구성되는 제스처 제어 시스템의 블록도이다.
도 1C는 본 발명의 하나의 실시예에 따르는 제어기의 블록도이다.
도 1D는 본 발명의 하나의 실시예에 따르는 제스처를 이용하는 차량 서브 시스템을 제어하기 위한 순서도이다.
도 2는 본 발명의 하나의 실시예에 따르는 마킹 태그의 도표이다.
도 3은 본 발명의 하나의 실시예에 따르는 제스처 어휘에서의 포즈에 대한 도표이다.
도 4는 본 발명의 하나의 실시예에 따르는 제스처 어휘에서의 배향에 대한 도표이다.
도 5는 본 발명의 하나의 실시예에에 따르는 제스처 어휘에서의 2손 조합의 도표이다.
도 6은 본 발명의 하나의 실시예에 따르는 제스처 어휘에서의 배향 혼합의 도표이다.
도 7은 본 발명의 하나의 실시예에 따르는 시스템 동작의 순서도이다.
도 8a 및 8b는 본 발명의 하나의 실시예에 따르는 예시적 명령어를 도시한다.
본원에서 서브시스템의 제스처 기반 제어를 위한 시스템 및 방법이 기재된다. 상기 시스템 및 방법의 실시예는 이하에서 더 상세히 설명되겠지만 공간 운영 환경(SOE: Spatial Operating Environment)의 맥락에서 제공된다. 상기 SOE는 제스처 제어 시스템, 또는 제스처 기반 제어 시스템을 포함하고, 공간 사용자 인터페이스(SUI: Spatial User Interface) 또는 공간 인터페이스(SI: Spatial Interface)라고도 지칭될 수 있다.
다음의 기재에서, 다수의 특징들이 본 발명의 실시예를 더 잘 이해하도록 제공된다. 본 발명의 실시예들은 이러한 특정 범위에 국한되지 않고 실시될 수 있음이 자명하다. 또한, 잘 알려진 특징부는 상세히 설명되지 않았다.
시스템
본원에서 제스처 기반 제어 시스템의 실시예가 공간 운영 환경(SOE)의 맥락에서 기재된다. 예를 들어, 도 1A는 하나의 실시예에 따르는 공간 운영 환경의 블록도이다. 사용자는 카메라(104A-104D)의 어레이의 가시 영역(viewing area, 150)에 자신의 손(101, 102)을 위치시킨다. 상기 카메라는, 손가락과 손(101, 102)의 위치, 배향 및 움직임을 검출하고, 전-프로세서(pre-processor, 105)로 출력 신호를 발생시킨다. 전-프로세서(105)는 카메라 출력을 제스처 신호로 번역하며, 상기 제스처 신호는 시스템의 컴퓨터 프로세싱 유닛(107)으로 제공된다. 상기 컴퓨터(107)는 입력 정보를 이용하여, 스크린 커서를 제어하기 위한 명령어를 발생시키기고, 비디오 출력을 디스플레이(103)로 제공한다.
상기 시스템이 1명의 사용자의 손을 입력으로 갖는 것처럼 보이지만, 실시예는 다수의 사용자를 이용하여 구현될 수 있다. 또한, 손을 대신하여, 또는 손에 추가로, 상기 시스템은 사용자의 신체의 임의의 부분(가령, 머리, 발, 다리, 팔, 팔꿈치, 무릎 등)을 추적할 수 있다.
도시된 실시예에서, 4대의 카메라가 사용되어, 사용자의 손(101 및 102)의 위치, 배향 및 움직임을 검출할 수 있다. 본 발명의 사상과 범위 내에서, 본 발명은 더 많은(가령, 6개의 카메라, 또는 8대의 카메라 등), 또는 더 적은 대수의 카메라(가령, 2대의 카메라)를 이용하여 구현될 수 있다. 덧붙이자면, 예시적 실시예에서, 카메라가 대칭적으로 배치될지라도, 본 발명에서 이러한 대칭성이 필수인 것은 아니다. 사용자의 손의 위치, 배향 및 움직임의 검출을 가능하게 하는 어떠한 카메라의 대수나 배치 방식도 본 발명에서 사용될 수 있다.
본 발명의 하나의 실시예에서, 사용되는 카메라는 그레이-스케일(grey-scale) 이미지를 캡처할 수 있는 모션 캡처 카메라이다. 하나의 실시예에서, 사용되는 카메라는 Vicon 사에 의해 제조된 카메라(가령, Vicon MX40 카메라)이다. 이 카메라는 온-카메라 프로세싱(on-camera processing) 기능을 포함하며, 초 당 1000 프레임으로 이미지 캡처할 수 있다. 모션 캡처 카메라는 마커(marker)를 검출하고 마커의 위치를 파악할 수 있다.
기재되는 실시예에서, 카메라는 광학 검출을 위해 사용된다. 또 다른 실시예에서, 카메라 또는 그 밖의 다른 검출기가 전자기(electromagnetic) 타입, 정자기(magnetostatic) 타입, RFID 타입 또는 그 밖의 다른 임의의 적합한 검출 타입용으로 사용될 수 있다.
전-프로세서(105)가 사용되어, 3차원 공간 포인트의 재구성 및 골격 포인트(skeletal point)의 라벨링을 발생시킨다. 상기 제스처 번역기(106)가 사용되어 3D 공간 정보와 마커 움직임 정보가 명령어 언어로 변환되며, 상기 명령어 언어는 컴퓨터 프로세서에 의해, 디스플레이 상의 커서의 위치, 형태 및 액션(action)을 업데이트할 수 있다. 본 발명의 또 다른 실시예에서, 상기 전-프로세서(105)와 제스처 번역기(106)는 하나의 단일 장치로 조합될 수 있다.
컴퓨터(107)는 임의의 범용 컴퓨터일 수 있으며, 예를 들자면, Apple, Dell 또는 그 밖의 다른 임의의 적합한 제조사의 컴퓨터일 수 있다. 상기 컴퓨터(107)는 애플리케이션을 실행하고, 디스플레이 출력을 제공한다. 다른 경우라면 마우스나 그 밖의 다른 공지된 입력 장치로부터 제공될 커서 정보가, 제스처 시스템으로부터 제공된다.
차량 인터페이스와 일체 구성되는 제스터 제어 시스템
도 1B는 본 발명의 하나의 실시예에 따르는, 차량 서브시스템(120)과 일체 구성되는 제스처 제어 시스템의 블록도이다. 차량(가령, 자동차, 트랙터, 항공기 등)의 운전석이나 그 밖의 다른 승객석에 위치하는 사람이 물체(가령, 자신의 손(101 및 102) 중 하나 이상 및 상기 하나 이상의 손(101 및 102)의 손가락의 세트)를 이용하여 차량 서브시스템(120)을 제어할 수 있다. 차량의 운전석은 카메라(104A-104D)의 어레이의 시야 영역이다. 상기 카메라가 물체(가령, 손(101 및 102) 및 손가락)의 위치, 배향 및 움직임을 검출하고, 전-프로세서(105)로 출력 신호르 발생시킨다. 상기 전-프로세서(105)가 카메라 출력을 제스처 신호로 번역하고, 상기 제스처 신호가 시스템의 제어기(107)(본원에서는 또한 컴퓨터 프로세시 유닛(107) 또는 컴퓨터(107)라고도 지칭됨)로 제공된다. 상기 제어기(107)는 입력 정보를 이용하여, 하나 이상의 차량 서브시스템(120)을 제어하기 위한 명령어를 발생시킬 수 있다.
본 발명의 실시예의 제어기(107)는, 상호대화 시스템을 통해 수행되는 자동차 서브시스템의 요소와의 사용자 상호대화를 관리하기 위한 하나 이상의 제어 프로그램을 포함한다. 도 1C는 본 발명의 하나의 실시예에 따르는 제어기(107)의 블록도이다. 예를 들어, 이 제어기(107)는 자동차 서브 시스템의 대응되는 요소의 제스처 제어를 위한 실내온도 제어(climate control, 131), 오디오(132), 통신(communication, 133), 네비게이션(navigation, 134), 안내(guidance, 135), 엔터테인먼트(136), 동작 정보 시각화(137) 및 네트워크 제어(138) 프로그램 또는 애플리케이션을 포함한다(그러나 이러한 제어 프로그램으로 국한되는 것은 아니다). 차량의 제어기에 포함된 제어 프로그램은 차량의 제어에 이용될 수 있는 차량 서브시스템에 대응한다.
본 발명의 시스템이 한 명의 사용자의 손 및/또는 손가락을 추적되는 물체로서 사용하는 것으로 나타나지만, 본 발명의 실시예는 다수 명의 사용자를 이용하여 구현될 수도 있다. 덧붙여, 손을 대신하여, 또는 손에 추가로, 상기 시스템은 사용자의 신체의 하나 이상의 임의의 부위(가령, 머리, 발, 다리, 팔, 팔꿈치, 무릎 등) 등의 물체를 추적할 수 있다.
도시된 실시예에서, 4대의 카메라가 사용자의 손(101 및 102)의 위치, 배향 및 움직임을 검출하기 위해 사용된다. 본 발명의 실시예는, 본 발명의 사상과 범위 내에서, 더 많은 대수의 카메라(가령, 6대의 카메라, 또는 8대의 카메라 등), 또는 더 적은 대수의 카메라(가령, 2대의 카메라)와 함께 사용될 수 있다. 덧붙여, 예시적 실시예에서 카메라가 대칭적으로 배치되었지만, 이러한 대칭성이 반드시 필요한 것은 아니다. 사용자의 손의 위치, 배향 및 움직임의 검출을 가능하게 하는 카메라의 임의의 대수 또는 위치가 사용될 수 있다.
전-프로세서(105)가 사용되어, 3차원 공간 포인트의 재구성 및 골격 포인트(skeletal point)의 라벨링을 발생시킨다. 상기 제스처 번역기(106)가 사용되어 3D 공간 정보와 물체 움직임 정보가 명령어 언어로 변환되며, 상기 명령어 언어는 컴퓨터 프로세서에 의해, 차량 서브시스템을 제어하기 위해 번역될 수 있다. 본 발명의 또 다른 실시예에서, 상기 전-프로세서(105)와 제스처 번역기(106)는 하나의 단일 장치로 조합될 수 있다.
차량 서브시스템과 일체 구성되는 제스처 제어 시스템의 실시예에 의해, 차량의 운전자 또는 승객은 제스처를 이용하여 차량 서브시스템 제어 요소 및 차량 서브시스템의 하나 이상의 매개변수를 제어한다. 따라서 사용자는 제스처에 의해 구동되는 인터페이스를 이용하여, 차량 서브 시스템의 하나 이상의 매개변수(가령, 조종 시스템, 탐색 시스템 및 주변 시스템 기능)를 제어할 수 있다. 본원에서 기재되는 제스처 제어 시스템은 하나 이상의 차량 서브시스템(120)과 일체 구성되며, 상기 차량 서브시스템(120)의 예로는, 디지털 오디오 재생기, 전화기, 정속 주행 제어(cruise control), 자동조종 및 그 밖의 다른 자동화된 안내 모듈, 실내온도 제어, 동작 정보 시각화 및 네트워크 연결된 애플리케이션 등이 있다.
본원에서 기재되는 제스처 제어 시스템은 사용자에게 다양한 유형의 피드백을 제공하는 피드백 장치(125)를 포함하며, 예를 들어, 오디오 큐(audio cue), 헤드-업 디스플레이(head-up display) 상에서의 시각적 출력, 대시 및 패널 장착 픽셀 기반 디스플레이 상에서의 시각적 출력, 특수 조명 또는 컬러 변경 인디케이터 및 햅틱(haptic) 또는 촉각 디스플레이 등이 있다(그러나 이에 국한되는 것은 아님). 피드백 장치(125)는 제어기(107)에 연결되어 있는 것처럼 보이지만, 실시예는 이에 국한되지 않으며, 피드백 장치(125)는 통합 시스템의 그 밖의 다른 구성요소에 연결될 수 있다.
도 1D는 하나의 실시예에 따라 제스처를 이용하여 차량 서브시스템을 제어하기(140) 위한 순서도이다. 상기 실시예는 차량에서 다수의 센서를 통해 물체의 이미지를 수신하는 단계(142)와 상기 물체에 의해 만들어지는 제스처를 표현하는 제스처 데이터를 출력하는 단계(144)를 포함한다. 상기 물체는 사용자의 손, 또는 손가락, 또는 손과 손가락 모두를 포함한다. 제스처 데이터는 공간과 시간의 한 점에서의 물체의 순간적인 상태이다. 상기 실시예는, 물체의 위치를 추출함으로써 제스처 데이터로부터 물체의 제스체를 자동으로 검출하는 단계(146)와, 물체의 양자화된(quantized) 포즈(pose) 및 배향 벡터를 복원하는 단계와, 제스처 데이터를 제스처 신호로 번역하는 단계를 포함한다. 상기 실시예는, 제스처 신호에 응답하여, 복수의 차량 서브시스템과 사용자의 상호대화를 관리하는 단계(148)를 포함한다.
본 발명의 하나의 실시예의 제스처 제어 시스템은 몇 가지 여러 다른 방식으로 구성될 수 있다. 하나의 실시예의 시스템 및 방법은 2개의 구별되는 유형의 제스처 제어를 포함하며, 상기 두 유형의 제스처 제어는, 복수의 물리적 물체에 인접한 하나의 또는 복수의 손가락의 최소 움직임과, 전체 손을 포함하는 자유 공간 움직임이다. 물론, 이들은 이상화된 카테고리이다. 실제로는, 특정 설정이 두 종류의 제스처 제어 시스템 간의 구별을 흐리게 할 수 있다.
차량 서브시스템과 일체 구성된 제스처 제어 시스템에 대한 다음의 기재는 자동차의 맥락의 세부사항을 참조하여 설명될 것이지만, 기재된 시스템은 완전히 일반화된 것이며, 임의의 차량 타입과 연계되는 기능의 상호대화 제어를 위해 사용될 수 있다.
하나의 실시예의 차량 인터페이스를 위한 제스처 제어 시스템은, 3차원 공간에서 손가락 및/또는 손 전체의 위치를 추적하는 센서들의 세트와, 센서 데이터를 처리하기 위한 애플리케이션 또는 구성요소와, 손가락 및/또는 손 위치를 제어 프로그램 또는 그 밖의 다른 차량 기반 프로그램(또는 애플리케이션)에 의해 사용될 수 있는 형태로 나타내기 위한 표현 요소와, 상호대화 시스템을 통한 자동차 서브시스템의 요소와 사용자의 상호대화를 관리하기 위한 제어 프로그램과, 인간 조작자에게 제스처 제어 시스템이 자동차 서브시스템의 요소에 미치는 영향뿐 아니라, 조작자의 관련 손 포즈 및 움직임에 대한 제스처 제어 시스템의 순간적인 해석, 진행 중인 해석 및 예측되는 해석을 통지하는 시각적 및 그 밖의 다른 채널을 통한 연속(continuous) 및/또는 동적(dynamic) 피드백을 포함하는 피드백 체계 중 한 가지 이상을 포함한다. 차량 인터페이스를 위한 제스처 제어 시스템이, 이하에서 설명될 마커(marker)의 사용을 고려하지 않을지라도, 실시예들이 이에 국한되는 것은 아니다.
하나의 실시예의 센서는 다양한 형태를 취할 수 있다. 하나의 실시예는, 서로 연결되어 스테레오 비전 시스템을 형성하는 둘 이상의 소형 카메라를 이용한다. 상기 카메라는 호스트 차량(host vehicle)의 운전석 및/또는 승객석을 보도록 배치된다. 이러한 스테레오 비전 시스템은, 최소한, 자신의 시계(field of view) 내에서, 물체에 대한 3차원 데이터 포인트 클라우드(three-dimensional data point cloud)를 발생한다. 데이터 세트 내 포인트들의 분해 심도 정확도는 다양한 인수들에 따라 달라지며, 이러한 인수들의 예로는, 카메라 기선(baseline)으로부터의 거리가 있다. 그러나 이러한 거리는 대략 1밀리미터(㎜)이다. 이미징되는 물체는 사용자 또는 조작자의 아무것도 착용하지 않은 손 및/또는 손가락이다.
본 발명의 또 다른 실시예의 센서는 비행시간 심도 감지 카메라(time-of-flight depth-sensing camera)이다. 또 다른 실시예에서의 센서는 구조광 3차원 센서이다.
포인트 클라우드가 스테레오 센서 세트에 의해 발생된다고 가정하면, 제스처 제어 시스템은 손과 손가락 중 하나 이상의 위치를 추출하며, 그 후, 상기 추출된 위치로부터 양자화된 손 포즈와 연속 손 및 손가락 배향 벡터가 복원될 수 있다,. 이러한 복원을 위해 사용되는 접근법은, 차량 시스템이 집합 태깅된 데이터(aggregate-tagged data)가 아닌 구조화되지 않은(unstructured) 포인트 클라우드를 갖고 시작한다는 점을 제외하고, 이하에서 설명될 방법과 실질적으로 유사하다. 본 발명의 시스템의 상호대화 모드를 구현하는 메커니즘에 손 및 손가락 표현이 이용 가능해진다.
본 발명의 실시예는 스테레오 연결된 카메라의 복수의 세트를 이용하거나, 둘 이상의 카메라를 다루기 위해 수정된 픽셀 데이터를 처리하는 상관 알고리즘(correlation algorithm)을 이용한다. 예를 들어, 카메라의 개수가 증가할수록, 시계가 확장되고, 손의 일부분의 가려짐(occlusion)에 의해 나타난 어려움이 감소되며, 포인트 클라우드 데이터의 정확도가 증가된다.
제스처 제어 시스템의 제 1 상호대화 모드 하에서, 차량의 운전자는 손은 운전대(또는 그 밖의 다른 차량 안내 수단)에 여전히 접촉, 또는 매우 가까이 위치시키면서, 손가락 움직임을 이용해 다양한 서브시스템을 제어하다. 이러한 운전대 중심 모드(steering-wheel-centric mode)는 각각의 운전자의 손의 손가락들의 부분집합의 위치를 정확히 추적하는 것을 포함, 또는 사용한다.
예를 들어, 운전자가 자신의 손으로 운전대의 10시와 2시 방향을 평범하게 잡고, 손가락으로 운전대를 감싸는 것을 시작한다. 임의의 한 손의 검지와 중지 중 하나를 뻗음으로써, 제어 시스템이 활성화된다. 손가락 움직임의 다양한 조합에 의해, 차량 서브시스템의 다양한 제어 모드, 요소 및/또는 매개변수의 탐색과 선택이 가능해진다. 대안적 방식은 사용자의 검지 및 중지를 대신해, 또는 검지 및 중지에 추가로, 엄지의 추적된 움직임을 포함한다.
"플러스/마이너스" 상태 변화와 조합된 이용 가능한 모드를 순차적으로 하나씩 거침으로써, 간단한 시스템 제어(가령, 차량 시스템)가 이뤄질 수 있다. 손가락 제어 상태 공간의 샘플 설정으로는, 제어 시스템을 활성화시키기 위해 임의의 한 손의 손가락을 모두 펴는 것과, 두 손가락을 빠르게 접었다 다시 펴면서 튀기는 것이 주 제어 모드를 순회(cycle through)하여 활성화한다(가령, 라디오, 전화기, 디지털 오디오 재생기, 실내온도 제어 등). 그 후, 나머지 손이 상기 모드 내의 이용가능한 옵션을 하나씩 거치면서 제어한다. 두 손가락을 빠르게 쥐었다가 펴는 설정은 연결된 시스템의 주 설정 모드를 순회한다. 한 손가락을 접었다 펴면서 튀기는 것, 또는 각각의 검지와 중지를 유지하는 움직임에 의해, 개별 설정값의 매개변수가 하나씩 높아지거나 낮아진다. 유사한 동작에 의해, 2-레벨 이상의 깊이를 갖는 제어 토폴로지의 경우, 서브-모드, 서브-서브 모드 등으로의 이동이 가능해진다.
따라서, 예를 들어, 라디오 모드에서, 최초 설정 모드는 볼륨 제어이다. 검지를 빠르게 접었다가 다시 폄(grip-and-extend-again)으로써, 1증분만큼 볼륨 설정값이 높아진다. 이와 반대로, 중지를 접었다 펴는 것은 볼륨을 1증분만큼 낮춘다. (나머지 손가락은 뻗은 채로) 어느 한 손가락을 운전대 상에 유지함으로써, 볼륨이 일정한 비율로 증가, 또는 감소된다. 두 손가락을 접었다 다시 폄으로써, 다음 설정 모드로 진행되고, 라디오가 사전 설정된다. 여기서 다시, 사전 설정 리스트의 상향 및 하향 이동이, 검지와 중지 움직임에 의해 제어된다.
손가락 움직임과 본원에서 기재되는 제어 입력의 비교적 단순한 매핑은 몇 가지 바람직한 특징을 갖는다. 상호대화형 모델의 대부분이 익숙한 차량 인터페이스(가령, 거의 모든 차량 라디오에서 발견되는 업/다운 버튼)를 바탕으로 한다.
제스처 제어 시스템은 사용자에게 피드백을 제공하기 위한 다양한 이용 가능한 출력 장치에 연결될 수 있다. 예를 들어, 제스처 제어 시스템의 출력은, 제스처와 관련되거나, 상기 제스처에 의해 발효되는 제어와 관련되는 합성 음성 피드백을 포함한다. 또 다른 예를 들면, 제스처 제어 시스템의 출력은 기본 문/숫자 혼합 디스플레이 상의 큰 텍스트를 포함한다. 덧붙여, 하드-몰딩된 2진 조명 디스플레이, 또는 마스킹된 LCD 스크린을 포함하는 출력이 제공될 수 있다.
제스처 제어 시스템의 사용에 의해, 손을 운전대에서 멀리 이동시키거나, 운전하는 손의 위치나 포즈를 변경할 필요가 감소된다. 이러한 운전-친화적인 인간 공학은 안락함과 단순함을 제공하며, 안전을 위해서도 바람직할 수 있다.
완전 그래픽 디스플레이가 제공되고, 제스처 제어 시스템에 연결되어 있는 경우, 상호대화적 행동(interactive behavior)의 추가적 세트가 이용 가능해진다. 손가락 움직임이 그래픽 디스플레이 상에서의 포인터 커서의 위치를 구동시키며, 이에 따라서, 제어 모드(control mode) 및 설정값(setting)의 비-선형적 선택이 가능해진다. 하나의 실시예에서, 이러한 그래픽 디스플레이는 (가령, 내재적인 광학 파워가 눈의 원근조절(ocular accommodation)에 최적화된 심도로 디스플레이에 제공되는 헤드-업(head-up) 구성의 경우) 앞유리와 일체 구성되거나, 운전대 바로 앞이나 바로 뒤에 위치하는 대시보드 조립체에 장착된다. 이러한 구성은 그래픽 디스플레이를, 운전대 위쪽의, 운전자의 보통의 시계 내에 위치한다.
이러한 비-선형 제어 스타일을 위해, 손이 보통의 운전 위치에서 시작한다. 임의의 한 손의 검지를 폄으로써, 제어 시스템이 활성화되고 디스플레이 상에서 포인팅 커서가 디스플레이된다. 손가락 끝의 상대적 움직임에 의해, 디스플레이 영역에 걸쳐 커서의 수평 및 수직 움직임이 구동된다. 디스플레이 상의 인터페이스 그래픽이 포인터 근접성(pointer proximity)에 의해 선택될 수 있고, 비-포인터 손(non-pointer hand)의 1회 및 2회 손가락 클릭에 의해, 또는 비-포인터 손의 검지의 2차원적인 손가락 끝 움직임에 의해, 조작될 수 있다. 간단한 (가상의) 토글 버튼(toggle button)이 제어될 수 있다. 앞서 언급된 바와 같이 검지와 중지에 의해 가상의 눈금(scale) 또는 슬라이더(slider)(가령, 볼륨 제어용 눈금 또는 슬라이더)가 제어될 수 있다.
제스처 제어 시스템의 제 2 상호대화 모드는 자유 공간 제어(free-space control)를 포함한다. 이 모드에서, 사용자(가령, 차량 운전자 또는 승객)는, 차량 내부의 특정한 개방 공간 내에서 자신의 손들 중 하나를 움직이고, 손가락의 관절을 구부림으로써, 탐색 시스템, 라디오 및/또는 그 밖의 다른 서브시스템과 상호대화한다. 자유 공간 제어는 완전 그래픽 디스플레이와 결합되어 사용될 수 있으며, 이 경우, 하나의 실시예에서는 감지 공간이 위치하고, 따라서 디스플레이의 바로 앞에서의 조작자의 동작이 감지될 수 있다.
하나의 실시예에서, 디스플레이를 향하는 "총 쏘기 마임(mime gun)" 포즈가 제어 시스템을 활성화시킨다. 10개의 포즈, 이들 포즈들 사이의 중간 포즈, 미세하게 조정된 손이 가리키는 방향 및 움직임에 따른 순서 변경이 하나의 실시예의 핵심 제스처 어휘를 구성한다. 그러나 제스처 어휘는 10개의 포즈로 국한되는 것은 아니다. 하나의 실시예의 10개의 포즈가 연어(combinatory)를 이용해 생성된다. "총 쏘기 마임"의 '몸통(barrel)'이, 검지 홀로, 또는 검지와 중지 모두에 의해, 형성될 수 있다. 이들 2개의 상태 중 어느 것에 대해서도, 엄지는 상기 '몸통'에 수직이거나(손의 평면으로), 상기 '몸통'에 평행하게 '클릭될(clicked)'수 있다. 덧붙여, 이들 4개의 상태 각각에 대하여, 전체 손과 손가락 조합의 지오메트리가, 수직으로(중력 방향 평면으로), 또는 수평으로(중력에 수직인 평면) 배향될 수 있다. 이는 8개의 기본 포즈를 제공하며, '몸통'이 실질적으로 내측(medially)을 가리키도록 손을 회전시킴으로써, 2개의 추가적인 포즈가 형성된다.
하나의 실시예의 10개의 포즈는 다음에 따라, 제스처 기술어(이하에서 더 상세히 기재됨)로 표현된다:
^^^│-:-x ('1개 손가락으로 가리킴')
^^^││:-x ('1개 손가락 클릭')
^^││-:-x ('2개 손가락으로 가리킴')
^^│││:-x ('2개 손가락 클릭')
^^^│-:vx ('1개 손가락으로 가리키면서 손바닥을 아래로')
^^^││:vx ('1개 손가락을 클릭하면서 손바닥을 아래로')
^^││-:vx ('2개 손가락으로 가리키면서 손바닥을 아래로')
^^│││:vx ('2개 손가락을 클릭하면서 손바닥을 아래로')
^^^│-:.- ('1개 손가락으로 가리키면서 손바닥을 내측으로')
^^││-:.- ('2개 손가락으로 가리키면서 손바닥을 내측으로')
본원에서 제공되는 포즈와 제스처 기술어는 제스처 제어 시스템에서 사용되는 단지 하나의 예시이며, 그 밖의 다른 많은 예시와 조합이 가능하며, 그들 중 일부가 아래에서 설명된다.
하나의 실시예의 제스처 제어 시스템은, 그래픽 디스플레이, 또는 그 밖의 다른 피드백 장치, 메뉴 요소의 세트, 선택 요소 및 팬(pan)과 줌(zoom) 기능을 이용하여 제공된다. 시스템의 탐색은, 표적 서브시스템의 고레벨 선택에서, 개별 선택 요소의 조작까지로의 이뤄진다.
(수직 방향으로, 엄지를 세우고, 1개의 손가락으로 가리키는 동작의 첫 번째 복원 후) 제어 시스템이 활성화된 때, 현재 모드를 위한 포인팅 커서 및 문맥적 메뉴 요소가 나타난다. 검지의 움직임 및/또는 가리키는 방향에 의해, 커서 위치가 찾아진다. 버튼, 슬라이더 및 메뉴 요소들에 대한 기본 선택 및 제어는 포인터를 요소 내에 위치시키고 엄지를 (검지와 정렬된) 하향/클릭 위치로 움직임으로써, 이뤄진다. 스크린에서 내측(medial side)으로 커서를 이동시키는 것은, 높은 레벨의 메뉴 리스트를 가져온다. 이때, 커서 움직임은 2차원(위쪽 또는 아래쪽)으로 제약된다. 높은 레벨 메뉴에서 하나의 옵션을 선택함으로써, 제어 모드가 변경된다(예를 들어, 전화에서 탐색 시스템으로 변경된다).
호스트 차량 시스템의 모드가 손의 실제 3차원 움직임을 이용할 수 있다. 탐색 시스템 모드 내에서, 예를 들어, 손을 엄지-수평 포즈로 뒤집음으로써, 보통의 선택 요소가 반투명해지고, 맵(map)의 위치 및 줌이 손의 왼쪽, 오른쪽, 상향, 하향, 전방향, 후방향에 따르게 된다. 엄지-수직 포즈로 다시 돌아오면, 맵 뷰가 동결(freeze)되고, 맥락적 메뉴(contextual menu) 및 선택 요소가 복원된다.
기본 시스템을 통한 최소 수준의 안락함과 친숙함을 얻는 조작자를 위해 다양한 세밀화가 가능하다. 예를 들어, 앞서 나열된 2-손가락 포즈가 특정 "단축(short-cut)" 기능에 선택적으로 연계될 수 있다. 운전자는 공통의 라디오 기능(볼륨 제어 및 방송국 사전 설정)이 항상 이용 가능하도록, 이들 기능을 2-손가락 포즈와 연계시키도록 선택할 수 있다. 이러한 사용자 맞춤 구성이 활성화되면, 라디오를 조작하기 위해 어떠한 상호대화적 맥락 스위치도 불필요하고, 따라서 이러한 제어 동작이 그 밖의 다른 진행 중인 제어 시퀀스와 "아웃오브밴드(out-of-band")로 발생할 수 있다. 즉, (본 예시의 경우) 1-손가락 포즈가 앞서 언급된 바와 같이 동작하고; 2-손가락 포즈가 라디오 단축 및 이와 연계된 피드백 그래픽을 직접, 그리고 즉시 활성화되게 한다. 이러한 라디오 단축 및 이와 연계된 피드백 그래픽은 활성 손이 제어 공간을 떠나거나 "표준" 제어 시맨틱과 연계된 1-손가락 포즈로 되돌아 올 때 사라진다. 추후 더 상세히 설명되겠지만, 본원에서 기재된 다양한 상호대화는 조합되어, 제어와 인터페이스 행동의 잠재적으로 방대한 집합을 형성할 수 있다.
마커 태그( Marker Tag )
앞서 설명된 시스템과 방법과 달리, 본 발명의 하나의 실시예의 시스템과 방법은 사용자의 하나 이상의 손가락 상에 위치하는 마커 태그(marker tag)를 이용하여, 시스템이 사용자의 손의 위치를 파악할 수 있고, 왼손인지 오른손인를 식별하며, 어느 손가락이 보이는지를 식별할 수 있다. 이로 인해서, 시스템은 사용자 손의 위치, 배향 및 움직임을 검출할 수 있다. 이 정보로 인해서, 복수의 제스처가 시스템에 의해 인식될 수 있고, 사용자에 의해 명령어(command)로서 사용될 수 있다.
하나의 실시예에서 상기 마커 태그는, (본 발명의 실시예에서, 인간의 손의 다양한 위치에 부착되기에 적합한) 기판과, 상기 기판의 표면에 고유의 식별 패턴으로 배열된 개별적인 마커를 포함하는 물리적 태그이다.
상기 마커 및 이와 연계된 외부 감지 시스템은, 이들의 3차원 위치의 정확하고 정교하며 신속하고 연속적인 획득(acquisition)을 가능하게 하는 임의의 영역(광, 전자기, 정자기 등)에서 동작할 수 있다. 상기 마커 자체는, (가령, 구조된(structured) 전자기 펄스를 발산함으로써) 능동적으로, 또는 (가령, 본원에서 언급되는 바와 같이, 광학 역반사에 의해) 수동적으로 동작할 수 있다.
획득의 각각의 프레임에서, 검출 시스템은, 복원된 3차원 위치의 집성된 ‘클라우드(cloud)’를 수신하는데, 상기 집성된 클라우드는, (카메라 또는 그 밖의 다른 검출기의 가시 범위 내에서) 기기의 작업공간에 현재 존재하는 태그로부터의 모든 마커를 포함한다. 각각의 태그 상의 마커들은 충분히 많으며, 고유의 패턴으로 배열되어 있어서, 검출 시스템은, (1) 각각의 복원된 마커 위치가, 하나의 단일 태그를 형성하는 포인트들의 유일무이한 하위집합(subcollection)에 할당되는, 세분화(segmentation) 작업, (2) 각각의 세분화된 포인트 하위집합이 특정한 하나의 태그로서 식별되는, 라벨링(labelling) 작업, (3) 식별된 태그의 3차원 위치가 복원되는, 위치 파악(location) 작업, 및 (4) 식별된 태그의 3차원 배향이 복원되는 배향(orientation) 작업을 수행할 수 있다. 작업(1) 및 작업(2)은 마커 패턴의 특정 속성을 통해 가능해지며, 이는 이하에서 설명될 것이며, 도 2에서 하나의 실시예로서 도시되어 있다.
하나의 실시예에서 태그 상의 마커가 정규 격자 위치의 서브셋에 부착된다. 본 실시예에서처럼, 이러한 기저 격자(underlying grid)는 전통적인 카테시안 정렬(cartesian sort)을 이용하거나, 대신, 그 밖의 다른 임의의 정규 평면 테셀레이션(tessellation)(가령, 삼각형/육각형 붙이기 배열(triangular/hexagonal tiling arrangement))을 이용할 수 있다. 격자의 눈금(scale)과 공간(spacing)은, 마커-감지 시스템의 알려진 공간 분해능과 관련하여, 확립되어, 이웃하는 격자 위치가 혼동될 가능성이 없도록 할 수 있다. 모든 태그에 대한 마커 패턴의 선택은 다음의 제약사항을 만족시켜야 한다: 어떠한 태그의 패턴도, 그 밖의 다른 임의의 태그의 패턴의 회전(rotation), 이동(translation), 반사대칭(mirroring) 중 임의의 조합을 통한 패턴과 일체하지 않아야 한다. 일부 특정 개수의 구성 마커의 손실(또는 맞물림)은 용인되도록 마커의 다중도 및 배열이 선택될 수 있다. 임의의 변형 후, 오염된 모듈을 그 밖의 다른 임의의 모듈과 혼란할 가능성이 없어야 한다.
도 2를 참조해 보면, 복수의 태그(201A-201E)(왼손)와 태그(202A-202E)(오른손)가 나타난다. 각각의 태그는 장방형이고, 이 실시예에서, 5×7 격자 어레이로 구성된다. 장방형 형태는 태그의 배향을 결정할 때 도움이 되기 위해, 그리고 반사 중복(mirror duplicate)의 가능성을 감소시키기 위해 선택된 것이다. 도시된 실시예에서, 각각의 손의 각각의 손가락에 대한 태그가 존재한다. 일부 실시예에서, 하나의 손에 1, 2, 3 또는 4개의 태그를 이용하는 것이 적합할 수 있다. 각각의 태그는 다른 그레이-스케일이나 컬러 음영을 갖는 경계부를 갖는다. 이 실시예에서, 이러한 경계부 내에 3×5 격자 어레이가 있다. 마커(도 2에서 검은 점으로 표현됨)가 격자 어레이 내 특정 점에 배치되어, 정보를 제공할 수 있다.
각각의 패턴의 ‘공통(common)’과 ‘고유(unique)’ 서브패턴으로의 세분화를 통해, 검증 정보가 태그의 마커 패턴에 인코딩될 수 있다. 예를 들어, 본 발명의 실시예는 2가지 가능한 ‘경계부 패턴’을 특정한다(장방형 경계부 주변에 마커가 분포). 따라서 태그의 ‘군(family)’이 확립되며, 왼손에 대한 태그는 모두, 태그(201A-201E)에서 나타난 바와 같이, 서로 동일한 경계부 패턴을 이용하며, 반면에, 오른손의 손가락에 부착된 태그는, 태그(202A-202E)에서 나타난 바와 같이, 서로 다른 패턴을 할당받을 수 있다. 이러한 서브패턴은, 태그의 모든 배향에서, 왼 패턴이 오른 패턴과 구별될 수 있도록 선택된 것이다. 도시된 예에서, 왼손 패턴은 각각의 코너에 하나의 마커를 포함하고, 코너 격자 위치로부터 두 번째에 하나의 마커를 포함한다. 오른손 패턴은 단 2개의 코너에만 마커를 가지며, 코너가 아닌 격자 위치에 2개의 마커를 갖는다. 패턴을 자세히 살펴보면, 4개의 마커 중 임의의 3개가 보이는 한, 왼손 패턴은 오른손 패턴으로부터 확실하게 구별될 수 있음을 알 수 있다. 하나의 실시예에서, 경계부의 컬러 또는 음영이 어느 손인지(handedness)에 대한 지시자(indicator)로서 사용될 수도 있다.
물론 각각의 태그는 여전히 고유의 내부 패턴을 이용하는데, 이때 마커는 자신의 군(family)의 공통 경계부 내에서 분포되어 있다. 도시된 실시예에서, 내부 격자 어레이 내 2개의 마커가, 손가락의 회전이나 배향으로 인한 어떠한 중복도 없이, 10개의 손가락 각각을 고유하게 식별하기에 충분함이 밝혀졌다. 마커 중 하나가 맞물리는 경우라도, 태그의 패턴과 왼손/오른손 특성(handedness)의 조합이 고유의 식별자를 만들어낸다.
본 실시예에서, 각각의 역반사성 마커(retroreflective marker)를 자신의 의도된 위치에 부착하는 작업(수작업)을 보조하기 위해, 격자 위치가 강성(rigid) 기판 상에 시각적으로 제공된다. 이들 격자 및 의도되는 마커 위치는 컬러 잉크젯 프린터를 통해 기판 상으로 그대로 인쇄되며, 이때, 상기 기판은 연성 ‘수축 필름(shrink film)’의 시트이다. 각각의 모듈은 상기 시트로부터 절단되고, 오븐-베이킹되며, 이러한 오븐-베이킹 동안 각각의 모듈을 열처리함으로써, 정확하고 재연 가능한 수축이 수행된다. 이러한 절차에 뒤 따르는 짧은 간격 후, 가령, 손가락의 길이방향 곡선을 다소 따르도록 냉각 태그의 형태가 정해질 수 있다. 그 후, 기판이 적정하게 강성이 되고, 마커는 지시된 격자 점에 부착될 수 있다.
하나의 실시예에서, 마커 자체는 3차원이며, 예를 들면, 접착제나 그 밖의 다른 임의의 적합한 수단을 통해 기판에 부착되는 소형의 반사성 구이다. 마커의 3차원 특성은 2차원 마커에 비해 검출 및 위치 파악에 도움이 될 수 있다. 그러나 본 발명의 사상과 범위 내에서 어느 것이든 사용될 수 있다.
이제, 태그가 Velcro나 그 밖의 다른 적합한 수단을 통해, 조작자가 착용하는 장갑에 부착되거나, 대신, 약한 양면 접착 테이프를 이용해 조작자의 손가락에 직접 부착된다. 세 번째 실시예에서, 강성 기판 없이, 개별 마커를 조작자의 손가락 및 손에 직접 부착, 또는 칠(paint)하는 것이 가능하다.
제스처 어휘( Gesture Vocabulary )
본 실시예는 손 포즈(hand pose), 배향, 손 조합, 배향 혼합으로 구성된 제스처 어휘를 고려한다. 또한 본 실시예의 제스처 어휘에서, 포즈와 제스처를 설계하고 소통하기 위한 표기 언어(notation language)가 구현된다. 상기 제스처 어휘는, 운동 관절(kinematic linkage)의 순간적인 ‘포즈 상태’를, 압축적인 텍스트 형태로 표현하기 위한 시스템이다. 상기 관절은 생물학적(예를 들어 인간의 손, 또는 인간 몸 전체, 또는 메뚜기 다리, 또는 여우 원숭이의 척추관절)이거나, 비생물학적(가령, 로봇의 암)인 것일 수 있다. 어떠한 경우라도, 관절은 단순형(척추)이거나, 가지형(손)일 수 있다. 본 실시예의 상기 제스처 어휘 시스템은 임의의 특정 관절에 대해, 일정 길이 문자열을 확립하고, 상기 문자열의 ‘문자 위치(character location)’를 차지하는 특정 ASCII 문자들의 집합이, 관절의 순간적인 상태, 즉, ‘포즈’의 고유한 기술어(description)가 된다.
손 포즈
도 3은 제스처 어휘의 하나의 실시예에서의 손 포즈를 도시한다. 상기 실시예는 하나의 손의 다섯 개의 손가락 각각이 사용된다고 가정한다. 이들 손가락은 소지(새끼손가락)-p, 약지-r, 중지-m, 검지-i, 엄지-t로 코딩된다. 엄지와 손가락들에 대한 복수의 포즈들이 도 3에서 정의되어 있다. 제스처 어휘의 문자열은, 관절(이 경우, 손가락)에서 각각의 표현할 수 있는 자유도(degree of freedom)에 대하여 단일 문자 위치를 확립한다. 덧붙이자면, 문자열의 상기 위치에 유한 개수의 표준 ASCII 문자들 중 하나를 할당함으로써 전체 범위의 움직임이 표현될 수 있도록, 이러한 각각의 자유도는 이산화(또는 양자화)되는 것으로 이해된다. 이러한 자유도는 신체-특정 원점 및 좌표 시스템(손 등, 메뚜기의 몸체의 중심, 로봇 암의 부착부(base) 등)에 관련하여 표현된다. 따라서 적은 개수의 추가적인 제스처 어휘 문자 위치가, 더 전역적인 좌표 시스템에서 관절의 위치와 배향을 ‘전체적으로’ 표현하도록 사용된다.
도 3을 참조하면, ASCII 문자를 이용하여 복수의 포즈가 정의되고 식별된다. 상기 포즈 중 일부는 엄지형(thumb)과 비-엄지형(non-thumb)로 나뉜다. 이 실시예에서, 본 발명은 ASCII 문자 자체가 포즈의 암시인 코딩을 사용한다. 그러나 포즈를 표현하기 위해 어떠한 문자라도, 포즈를 암시하는 것에 관계없이, 사용될 수 있다. 덧붙여, 본 발명에서 표기 문자열용으로 ASCII 문자를 이용하기 위한 어떠한 요구사항도 없다. 임의의 적합한 기호, 숫자, 또는 그 밖의 다른 표현법이 본 발명의 사상과 범위 내에서 사용될 수 있다. 예를 들어, 바람직하다면, 표기법은 손가락 당 2비트를 이용할 수 있다. 또는 요구되는 대로 그 밖의 다른 비트 수를 이용할 수도 있다.
구부러진 손가락이 문자 “^”로 표현되며, 구부러진 엄지는 “>”로 표현된다. 위를 향해 곧은 손가락 또는 엄지는 “I”로 지시되며, “＼”, 또는 “/”로 각(angle)이 지시된다. "-"는 옆으로 곧은 엄지를 나타내고, “x"는 수평면을 가리키는 엄지를 나타낸다.
이러한 개별 손가락 및 엄지에 대한 기술어를 이용함으로써, 본 실시예의 방식을 이용하여 수많은 개수의 손 포즈가 정의되고 써질 수 있다. 각각의 포즈가 5개의 문자에 의해 표현되며, 이때, 순서는 앞서 언급한 p-r-m-i-t이다. 도 3은 다양한 포즈를 도시하면, 이들 중 몇 개가 예시와 설명을 위해 본원에서 기재된다. 평평하게, 그리고 지면과 평행하게 유지된 손은 “11111”로 표현된다. 주먹은 “^^^^>”로 표현된다. “OK” 사인은 “111^>”로 표현된다.
암시적인 문자를 이용할 때, 문자열이 쉬운 ‘인간 가독성(human readability)’을 위한 기회를 제공한다. 각각의 자유도를 기술하는 가능한 문자의 집합은, 빠른 인식과 분명한 유추를 위해, 눈으로 선택될 수 있는 것이 일반적이다. 예를 들어, 수직 바(‘|’)는 관절 요소가 ‘곧음(straight)’을 의미하고, 엘('L')은 90도 구부린 상태를 의미하며, 곡절 악센트(‘^’)는 급격히 굽은 상태를 나타낼 수 있다. 앞서 언급한 바와 같이, 어떠한 문자나 코딩이라도 원하는 대로 사용될 수 있다.
제스처 어휘 문자열(가령, 본원에서 기재된 것)을 이용하는 임의의 시스템은, 희망 포즈 문자열과 순간적인 실제 문자열 간의 문자열 비교의 높은 계산적 효율을 이점으로 갖는다(임의의 특정 포즈에 대한 식별, 또는 검색은 말 그대로, ‘문자열 비교(string compare)’가 된다(가령, UNIX의 ‘strcmp( )’ 함수)). 덧붙이자면, ‘와일드카드 문자(wildcard character)’의 사용이 프로그래머나 시스템 설계자에게 친숙한 효율과 효능을 더 제공한다: 매치(match)와 관계없는 순간 상태를 갖는 자유도가 물음표(‘?’)로 특정될 수 있으며, 추가적인 와일드카드의 의미가 할당될 수 있다.
배향
손가락 및 엄지의 포즈에 추가로, 손의 배향은 정보를 나타낼 수 있다. 또한 전역 공간 배향(global-space orientation)을 기술하는 문자가 직관적으로 선택될 수 있다: 문자 ‘<’, ‘>’, ‘^’ 및 ‘v’는, 배향 문자 위치에서 쓰일 때, 왼쪽, 오른쪽, 위 및 아래의 개념을 나타낼 수 있다. 도 4는 손 배향 기술어를 도시하고, 포즈와 배향을 조합하는 코딩의 예를 도시한다. 본 발명의 하나의 실시예에서, 2개의 문자 위치는, 우선, 손바닥의 방향을 특정하고, 그 후, (손가락들의 실제 구부러짐 여부에 관계없이, 손가락들이 곧게 펴 있을 시의) 손가락의 방향을 특정한다. 이들 2개의 위치에 대한 가능한 문자는 배향의 ‘몸-중심(body-centric)’ 표기를 표현한다: ‘-’, ‘+’, ‘x’, ‘*’, ‘^’ 및 ‘v’가 내측(medial), 외측(lateral), 전방(anterior)(몸 앞쪽으로 멀어지는 방향), 후방(몸 뒤쪽으로 멀어지는 방향), 두측(cranial)(위 방향) 및 미측(caudal)(아래 방향)을 기술한다.
본 발명의 하나의 실시예의 표기 방식에서, 손가락 포즈를 나타내는 5개의 문자들 뒤에, 콜론(:)이 뒤 따르고, 그 뒤에, 2개의 배향 문자가 뒤 따라서 완전한 명령어 포즈를 정의할 수 있다. 하나의 실시예에서, 시작 위치는 "xyz" 포즈라고 일컬어지며, 상기 "xyz" 포즈에서, 엄지가 위를 향해 곧게 뻗어 있고, 검지가 전방을 가리키며, 중지가 상기 검지와 수직을 이루면서 좌측을 가리킨다(상기 포즈가 왼손으로 만들어졌을 때). 이 포즈는 문자열 “^^x|-:-x"로 표현된다.
‘XYZ-핸드’은, 시각적으로 제공되는 3차원 구조의 완전한 6-자유도 항법을 가능하게 하기 위해, 인간의 손의 기하학적 형태를 활용하기 위한 기법이다. 상기 기법이 조작자의 손의 직선운동과 회전운동에만 의존할지라도(원칙적으로 조작자의 손가락이 원하는 어떠한 포즈로도 유지될 수 있도록), 본 실시예는 검지가 몸으로부터 멀어지는 방향을 가리키고, 엄지가 천장을 가리키고, 중지가 왼쪽-오른쪽을 가리키는 정적인 구성을 선호한다. 따라서 상기 3개의 손가락이 3-공간 좌표계의 상호 직교하는 3개의 축들을 (대략적으로, 그러나 의도는 분명히 명료하게 나타나도록) 기술한다: 따라서 ‘XYZ-핸드’이다.
그 후, XYZ-핸드 항법이 손을 이용해 진행되며, 이때 조작자의 몸이 지정된 ‘중립 위치’가 되기 전까지 손가락들은 앞서 언급된 바와 같은 포즈를 취한다. 3-공간 물체(또는 카메라)의 3개의 직선운동 자유도와 3개의 회전운동 자유도에 접근하는 것이 다음의 자연스러운 방식으로 발효된다: (몸의 자연 좌표계에 대한) 손의 좌-우 움직임이 연산적 콘텍스트(computational context)의 x-축을 따르는 운동을 도출하고, 손의 위-아래 움직임이 연산적 콘텍스트의 y-축을 따르는 운동을 도출하며, 손의 앞-뒤 움직임(조작자의 몸 쪽 방향-조작자의 몸에서 멀어지는 방향)이 콘텍스트 내에서 z-축 움직임을 도출한다. 이와 유사하게, 검지를 중심으로 하는 조작자의 손의 회전은 연산적 콘텍스트의 배향의 ‘롤 회전(roll)’ 변화를 도출하며, 마찬가지로, ‘피치 회전(pitch)’과 ‘요 회전(yaw)' 변화는 각각, 조작자의 중지와 엄지를 중심으로 하는 회전을 통해 도출된다.
본원에서, ‘연산적 콘텍스트(computational context)’이 XYZ-핸드법에 의해 제어되는 개체를 일컫기 위해 사용되고, 가공의 3-공간 물체나 카메라를 제시하는 것처럼 보이지만, 상기 기법은 실세계의 물체의 다양한 자유도를 제어할 때도 동일하게 유용함을 이해해야 한다. 예를 들자면, 적정한 회전 엑추에이터가 구비된 비디오나 모션 픽처 카메라의 팬(pan)/틸트(tilt)/롤(roll) 제어에도 유용하다. 덧붙여, XYZ-핸드 포즈에 의해 도출된 물리적 자유도는 가상 영역에서는 다소 덜 정확하게 매핑될 수 있다. 본 실시예에서, XYZ-핸드는 대형 파노라마 디스플레이 이미지의 항법 액세스(navigational access)를 제공하기 위해 사용될 수도 있는데, 여기서 조작자 손의 좌-우 및 위-아래 움직임이 이미지에 대한 기대되는 좌-우 또는 위-아래 패닝(panning)을 야기하며, 다만, 조작자 손의 앞-뒤 움직임은 ‘줌(zooming)' 제어로 매핑된다.
모든 경우에서, 손의 움직임과 유도되는 연산적 직선/회전운동 간 결합이 직접적이거나(즉, 조작자의 손의 위치나 회전의 오프셋(offset)이, 임의의 선형(또는 비선형) 함수를 통해, 연산적 콘텍스트의 물체나 카메라의 위치 또는 회전 오프셋과 1대1로 사상됨), 간접적일 수 있다(즉, 조작자 손의 위치 또는 회전 오프셋이, 임의의 선형(또는 비선형) 함수를 통해, 1대1로, 연산적 콘텍스트의 위치/배향의 1차 도함수나 그 이상의 차수의 도함수와 사상되고, 그 후, 연속 적분(ongoing integration)이 연산적 콘텍스트의 실제 0차 위치/배향의 비-정적 변화를 도출함). 이러한 간접적 제어 수단은, 페달의 일정한 오프셋이 일정한 차량 속도를 덜, 또는 더 야기하는, 자동차의 ‘가속 페달’의 사용과 유사하다.
실세계의 XYZ-핸드의 로컬 6-자유도 좌표의 원점으로서 기능하는‘중립 위치’는, (1) (막힌 공간에 대해 상대적인) 공간에서 절대 위치 및 배향으로서, 또는 (2) 조작자의 전체 위치 및 ‘바라보는 방향(heading)’에 관계없이, 조작자 자신에 대한 고정된 위치 및 배향으로서(가령, 몸의 앞쪽으로 8인치, 턱 아래 10인치, 어깨 평면과 일직선으로 외측으로), 또는 (3) 조작자의 의도된 보조 동작을 통해 상호대화적으로(이는 예를 들어, 조작자의 ‘다른’ 손을 통해 내려진 제스처 명령어를 이용하여 이뤄질 수 있으며, 이때, 상기 명령어는 XYZ-핸드의 현재 위치와 배향이 이때부터 직선운동 및 회전운동의 원점으로 사용되어야 함을 나타냄), 확립될 수 있다.
XYZ-핸드의 중립 위치에 관한 ‘멈춤(detent)’ 영역(또는 ‘데드 존(dead zone)’)을 제공하는 것이 또한 편리하다. 이러한 공간에서의 움직임은 제어 콘텍스트에서의 움직임으로 사상되지 않는다.
그 밖의 다른 포즈로는 다음을 포함한다:
[|||||:vx]는 평평한 손으로서(엄지가 손가락들과 평행), 손바닥이 아래를 향하고, 손가락들은 전방을 향하는 손을 나타낸다.
[|||||:x^]는 평평한 손으로서, 손바닥이 위를 향하고, 손가락들이 천장을 가리키는 손을 나타낸다.
[|||||:-x]는 평평한 손으로서, 손바닥이 몸의 중심을 향하고(왼손의 경우, 오른쪽, 오른손의 경우 왼쪽), 손가락들이 전방을 가리키는 손을 나타낸다.
[^^^^-:-x]는 한 손의 엄지만 편 손(이때 엄지는 천장을 가리킴)을 나타낸다.
[^^^|-:-x]는 전방을 향하는 총 모양 손을 나타낸다.
두 손 조합
본 실시예는 하나의 손 명령어와 포즈를 고려할 뿐 아니라, 2-손 명령어 및 포즈도 고려한다. 도 5는 본 발명의 하나의 실시예에 따르는 두 손 조합과 이와 관련되는 표기법의 예시를 도시한다. 첫 번째 예시의 표기를 살펴보면, “멈춤(full stop)”은 2개의 쥔 주먹을 포함함을 알 수 있다. “스냅샷(snapshot)”예시에서는 각각의 손의 엄지들과 검지들이 뻗어 있는데, 엄지들이 서로를 가리켜서 골대 모양의 프레임을 형성한다. “방향타 및 조절판 시작 위치”에서는 엄지와 나머지 손가락들이 위를 가리키고 손바닥이 스크린을 향한다.
배향 혼합( orientation blend )
도 6은 본 발명의 하나의 실시예에서 배향 혼합의 하나의 예를 도시한다. 도시된 예시에서, 혼합은, 손가락 포즈 문자열 뒤에서, 배향 표기의 쌍을 괄호 안에 묶음으로써 표현된다. 예를 들어, 첫 번째 명령어는 모두 곧게 뻗어 있는 손가락 위치를 나타낸다. 배향 명령어의 첫 번째 쌍은 손바닥이 펴서 디스플레이를 향하고, 두 번째 쌍은 손이 스크린 쪽으로 45도 피치(pitch) 회전함을 의미한다. 이 예에서, 혼합의 쌍들이 제시되었지만, 본 실시예에서 임의의 개수의 혼합도 고려될 수 있다.
명령어 예시
도 8a 및 8b는 하나의 실시예에서 사용될 수 있는 다양한 가능한 명령어를 도시한다. 본원의 기재 중 일부는 디스플레이 상의 커서를 제어하는 것에 관한 것이지만, 본 실시예는 이러한 행동에 국한되지 않는다. 실제로, 본 실시예는은 스크린 상의 모든, 또는 일부 데이터(그 뿐 아니라 디스플레이 상태까지)를 조작함에 있어 더 넓은 적용범위를 갖는다. 예를 들어, 명령어가 비디오 미디어의 재생 동안 비디오 제어를 발생시키도록 사용될 수 있다. 명령어는 일시 멈춤, 빨리 감기, 되감기 등을 위해 사용될 수 있다. 덧붙여, 명령어는 이미지의 줌 인, 또는 이미지의 줌 아웃, 또는 이미지 배향의 변경, 임의의 방향으로의 팬(pan) 운동 등을 하도록 구현될 수 있다. 본 발명은 또한 메뉴 명령어(가령, 열기, 닫기, 저장 등)를 대신하여 사용될 수도 있다. 다시 말하자면, 상상될 수 있는 어떠한 명령어 또는 활동도, 손 제스처를 이용하여, 구현될 수 있다.
동작
도 7은 하나의 실시예에서의 시스템의 동작을 도시하는 순서도이다. 단계(701)에서, 검출 시스템이 마커와 태그를 검출한다. 결정 블록(702)에서, 태그와 마커가 검출되었는지의 여부가 결정된다. 검출되지 않은 경우, 시스템은 단계(702)로 복귀한다. 단계(702)에서 태그와 마커가 검출되었다고 판단된 경우, 시스템은 단계(703)로 진행한다. 단계(703)에서, 시스템은 검출된 태그와 마커로부터 손, 손가락 및 포즈를 식별한다. 단계(704)에서 시스템은 포즈의 배향을 식별한다. 단계(705)에서 시스템은 검출된 하나 이상의 손의 3차원 공간 위치를 식별한다. (단계(703, 704 및 705) 중 하나 이상은 하나의 단일 단계로 조합될 수 있다.)
단계(706)에서 정보가 앞서 기재된 바 있는 제스처 표기(gesture notation)로 번역된다. 결정 단계(707)에서, 포즈가 유효한가의 여부가 판단된다. 이는 생성된 표기 문자열을 이용한 간단한 문자열 비교를 통해 이뤄질 수 있다. 포즈가 유효한 것이 아니라면, 시스템은 단계(701)로 복귀한다. 포즈가 유효하다면, 단계(708)에서 시스템은 표기와 위치 정보를 컴퓨터로 전송한다. 단계(709)에서 컴퓨터는 제스처에 응답하여 적정한 액션이 취해지도록 결정하고, 이에 따라서 단계(710)에서 디스플레이를 업데이트한다.
본 발명의 하나의 실시예에서, 온-카메라 프로세서(on-camera processor)에 의해, 단계(701-705)가 수행된다. 또 다른 실시예에서, 바람직한 경우, 프로세싱이 시스템 컴퓨터에 의해 이뤄질 수 있다.
파싱 및 번역( Parsing and Transloation )
본 발명의 시스템은 기저 시스템에 의해 복원된 로우-레벨 제스처의 스트림을 “파싱(parse)”하고 “번역(translate)”할 수 있고, 이러한 파싱되고 번역된 제스처를 명령어의 스트림이나 이벤트 데이터로 변환시킬 수 있으며, 이러한 명령어의 스트림이나 이벤트 데이터는 광범위한 컴퓨터 애플리케이션 및 시스템을 제어하도록 사용될 수 있다. 이들 기법 및 알고리즘은, 이들 기법을 구현하는 엔진과 상기 엔진의 능력을 이용하는 컴퓨터 애플리케이션을 구축하기 위한 플랫폼을 모두 제공하는 컴퓨터 코드로 이루어진 시스템에서 구현될 수 있다.
하나의 실시예가 컴퓨터 인터페이스에서 인간의 손에 의한 풍분한 제스처적 사용을 가능하게 하는 것에 초점을 맞추지만, 또 다른 인체의 부분(예컨대, 팔, 몸통, 다리 및 머리, 그러나 이에 국한되지 않음)뿐 아니라, 다양한 종류의 손을 쓰지 않는 도구(정적(static) 도구와 다관절(articulating) 도구 둘 모두)(예컨대, 캘리퍼스(calipers), 콤파스, 유연성 곡선 근사화기(curve approximator) 및 다양한 형태의 위치 지시 장치, 그러나 이에 국한되지 않음)에 의해 이뤄진 제스처를 인식할 수 있다. 마커와 태그는, 조작자가 지니고 사용할 물건 및 도구에 적용될 수 있다.
본원에서 기재되는 시스템은, 인식될 있고 이에 따라 동작이 취해질 수 있는 넓은 범위의 풍부한 제스처를 포함하면서 동시에, 애플리케이션으로의 간편한 통합을 제공하는 제스처 시스템을 구축할 수 있게 해주는 많은 혁신기술을 포함한다.
하나의 실시예에 따르는 제스처 파싱 및 번역 시스템은 다음의 1) 내지 3)으로 구성된다.
1) 여러 다른 집성 레벨로 제스처를 특정하기 위한(컴퓨터 프로그램에서 사용되기 위해 인코딩하기 위한) 간결하고 효과적인 방식:
a. 한 손의 “포즈”(손의 일부분들의 서로에 대한 구성 및 배향). 3차원 공간에서의 한 손의 배향과 위치.
b. 둘 중 어느 한 손의 포즈, 또는 위치(또는 둘 모두)를 고려하기 위한 두 손 조합.
c. 복수의 사람 조합; 시스템은 셋 이상의 손을 추적할 수 있으며, 따라서 둘 이상의 사람이 협업적으로(또는 게임 애플리케이션의 경우 경쟁적으로) 표적 시스템을 제어할 수 있다.
d. 포즈가 순차적으로 조립되는 시퀀스 제스처. 이를 “애니메이팅(animating)” 제스처라고 일컫는다.
e. 조작자가 공간에서 형태를 추적하는 “그래핌(graphme)” 제스처.
2) 앞서 언급된 각각의 카테고리로부터 주어진 애플리케이션 콘텍스트와 관련있는 특정 제스처를 등록하기 위한 프로그래밍 기법.
3) 등록된 제스처가 식별되고 이들 제스처를 캡슐화하는 이벤트가 관련 애플리케이션 콘텍스트로 전달될 수 있도록 제스처 스트림을 파싱하기 위한 알고리즘.
구성요소(1a) 내지 (1f)를 갖는 특정화 시스템(specification system)(1)이 본원에서 기재되는 시스템의 제스처 파싱 및 번역 기능을 이용하기 위한 토대를 제공한다.
한 손 “포즈”는,
ⅰ) 손가락과 손등 간의 상대적 배향의 문자열로서 표현되며,
ⅱ) 적은 개수의 이산 상태로 양자화된다.
상대적 복합 배향(relative joint orientation)에 의해, 본원의 시스템은 서로 다른 손 크기와 형태와 관련된 문제를 피할 수 있다. 본 발명의 시스템에서는 어떠한 “연산자 교정(operator calibration)”도 필요하지 않다. 덧붙여, 포즈를 상대적 배향의 문자열 또는 집합으로 특정하는 것은, 추가적인 필터와 특정화(specification)를 이용하여 포즈 표현을 조합함으로써, 더 복잡한 제스처 특정화가 용이하게 생성되게 할 수 있다.
포즈 특정화를 위한 적은 개수의 개별적인 상태들을 이용함으로써, 포즈를 간결하게(compactly) 특정하고, 다양한 기저 추적 기법(가령, 카메라를 이용한 수동 광 추적, 발광 점(lighted dot)과 카메라를 이용한 능동 광 추적, 전자기장 추적 등)을 이용한 정확한 포즈 인식을 보장하는 것이 가능할 수 있다.
모든 카테고리(1a) 내지 (1f)에서 비-핵심 데이터는 무시되도록 제스처는 부분적으로(또는 최소한만) 특정될 수 있다. 예를 들어, 2개의 손가락의 위치가 결정적이고, 그 밖의 다른 손가락 위치는 중요치 않은 제스처는, 2개의 관련 손가락의 동작 위치가 주어지는 한 번의 특정화에 의해, 표현될 수 있으며, 하나의 동일한 문자열 내에서, 다른 손가락에 대해 “와일드카드(wild card)” 또는 일반적인“이것을 무시(ignore these)” 지시자가 리스팅(listing)된다.
제스처 인식에 대해 본원에서 기재된 혁신기술(가령, 멀티-레이어 특정화 기법, 상대적 배향의 사용, 데이터의 양자화, 모든 레벨에서 부분(또는 최소) 특정화만 허용)은 모두 손 제스처의 특정화를 넘어, 그 밖의 다른 신체 부위 및 “제조된” 도구와 물체를 이용한 제스처 특정화까지 일반화될 수 있다.
“제스처 등록하기”를 위한 프로그램적 기법(2)은, 엔진에 의해 실행 중인 시스템의 다른 부분에서도 이용가능해져야 할 제스처가 어느 것인지를 프로그래머가 정의할 수 있게 해주는 API(애플리케이션 프로그래밍 인터페이스) 콜의 지정된 세트로 구성된다.
이들 API 루틴은 애플리케이션 셋-업 시점에서 사용되어, 실행 중인 애플리케이션의 수명 전체 동안 사용되는 정적 인터페이스 정의를 생성할 수 있게 한다. 이들은 또한 실행 중에 사용되어, 인터페이스 특성이 그때 그때 변경되도록 할 수 있다. 이러한 인터페이스의 실시간 변경에 의해,
ⅰ) 복잡한 콘텍스트적 및 조건적 제어 상태를 구축하는 것,
ⅱ) 제어 환경에 히스테리시스(hysterisis)를 동적으로 추가하는 것,
ⅲ) 사용자가 실행 시스템 자체의 인터페이스 어휘를 변경 또는 확장시킬 수 있는 애플리케이션을 생성하는 것
이 가능해진다.
제스처 스트림을 파싱하기 위한 알고리즘(3)은 (1)에서 특정(specify)되고, (2)에서 등록된 제스처를 입력되는(incoming) 로우-레벨 제스처 데이터와 비교한다. 등록된 제스처에 대한 매치(match)가 인식되면, 매칭된 제스처를 표현하는 이벤트 데이터가 스택에서 실행 애플리케이션으로 넘겨진다.
본 발명의 시스템의 설계에서 효과적인 실시간 매칭이 바람직하며, 특정된 제스처가, 가능한 빨리 처리되는 가능성(possibility)의 하나의 트리로서 취급된다.
덧붙여, 특정된 제스처를 인식하기 위해 내부적으로 사용되는 원시 비교 연산자(primitive comparison operator)가 또한 애플리케이션 프로그래머에게 사용될 수 있도록 노출되어, 애플리케이션 콘텍스트 내로부터 추가적인 비교(예를 들어, 복잡 또는 복합적인 제스처의 유연 상태 검사)가 발생될 수 있다.
본원에서 기재된 시스템의 혁식기술에 “잠금(locking)” 시맨틱(semantic)의 인식이 있다. 이러한 시맨틱은 등록 API(2)에 의해 함축된다(그리고, 보다 적게는, 특정화 어휘(1) 내에 임베디드된다). 등록 API 콜은,
ⅰ) “엔트리(entry)” 상태 통지자(notifier) 및 “계속(continuation)” 상태 통지자, 및
ⅱ) 제스처 우선순위 특정자(specifier)
를 포함한다.
제스처가 인식되는 경우, 상기 제스처의 “계속” 상태는, 동일한 더 낮은 우선순위의 제스처의 모든 “엔트리” 상태보다 우선한다. 이러한 엔트리와 계속 상태 간의 구별이 인지 시스템(perceived system)에 상당한 유용성(usability)을 추가한다.
본원의 시스템은 실세계 데이터 에러 및 불확실성에 대해 견고한 동작(robust operation)을 위한 알고리즘을 포함한다. 로우-레벨 추적 시스템으로부터의 데이터는 불완전할 수 있다(그 이유는 다양하다. 가령, 광학 추적 중 마커의 맞물림(occlusion), 네트워크 드롭-아웃(network drop-out), 또는 프로세싱 래그(processing lag) 등 때문일 수 있다).
파싱 시스템에 의해 손실 데이터(missing data)가 마킹(mark)되고, 상기 손실 데이터의 크기와 콘텍스트에 따라서, “마지막으로 알려진(last known)” 또는 “가장 가능성 높은(most likely)” 상태로 보간(interpolate)된다.
특정 제스처 성분(가령, 특정 관절의 배향)에 관한 데이터가 손실된 경우, 그러나 특정 성분의 “마지막으로 알려진” 상태가 물리적으로 분석될 수 있는 것이 가능한 경우, 상기 시스템은 실시간 매칭에서 이러한 마지막으로 알려진 상태를 이용한다.
반대로 말하자면, 마지막으로 알려진 상태가 물리적으로 분석되는 것이 불가능한 경우, 상기 시스템은 성분의 “최선의 추측 범위(best guess range)”로 고장 대치(fall back)하며, 시스템은 실시간 매칭에서 이러한 합성 데이터를 이용한다.
본원에서 기재된 특정화 및 파싱 시스템은, 복수 손 제스처에 대하여 어느 손으든 포즈 요구사항을 만족시킬 수 있도록, “손잡이 불가지론(handedness agnosticism)”을 지원하도록 주의 깊게 설계되었다.
가상/디스플레이와 물리적 공간의 일치
본 발명의 시스템은, 하나 이상의 디스플레이 장치(“스크린”)에서 보여지는 가상 공간이 시스템의 한 명 이상의 조작자가 살고 있는 물리적 공간과 일치하도록 처리되는 환경을 제공할 수 있다. 이러한 환경의 실시예가 지금부터 기재된다. 이러한 실시예는 고정된 위치에 놓이는 3-프로젝터 구동식 스크린을 포함하며, 하나의 데스크톱 컴퓨터에 의해 구동되고, 본원에서 기재되는 제스처 어휘 및 인터페이스 시스템을 이용하여 제어된다. 그러나 임의의 개수의 스크린이 본원의 기법에 의해 지원되며, 이러한 스크린들은 (고정형이 아닌) 이동형일 수 있으며, 상기 스크린은 복수의 독립적인 컴퓨터들에 의해 동시에 구동될 수 있고, 전체 시스템은 임의의 입력 장치나 기법에 의해 제어될 수 있다.
본원에서 기재된 인터페이스 시스템은 물리적 공간에서의 스크린의 차원, 배향 및 위치를 판단하기 위한 수단을 가져야 한다. 이러한 정보를 가정하면, 상기 시스템은 이들 스크린이 위치하고 있는 (그리고 시스템의 조작자가 살고 있는) 물리적 공간을 동적으로 사상할 수 있다(시스템에서 실행 중인 컴퓨터 애플리케이션의 가상 공간으로의 투영). 이러한 자동 자상(automatic mapping)의 일부로서, 시스템은 시스템에 의해 호스팅되는 애플리케이션의 요구에 따라서, 상기 2개의 공간의 스케일(scale), 각, 심도, 크기 및 그 밖의 다른 공간적 특성을 다양한 방식으로 번역할 수 있다.
이러한 물리적 공간과 가상 공간 간의 연속적인 번역에 의해, 기존의 애플리케이션 플랫폼에서는 달성하기 어려웠던, 또는 기존 플랫폼에서 실행 중인 각각의 애플리케이션에 대해 단편적으로(piece meal) 구현되어야 했던 많은 인터페이스 기법의 일관되고(consistent) 편재적인(pervasive) 사용이 가능해진다. 이들 기법은 다음을 포함한다(그러나 이에 국한되는 것은 아니다):
1) “리터럴 포인팅(literal pointing)”의 사용--편재적이고 자연스러운 인터페이스 기법으로서 제스처 인터페이스 환경에서 손, 또는 물리적 지시 도구(또는 장치)를 이용하는 것.
2) 스크린의 움직임이나 위치 변경에 대한 자동 보상(automatic compensation).
3) 조작자의 위치에 따라 변화하는 그래픽 렌더링(가령,심도 지각(depth perception)을 강화하기 위한 시차 편이 시뮬레이팅).
4) 온-스크린 디스플레이 상에 물리적 물체를 포함시키는 것(실세계 위치, 배향, 상태 등을 고려하여). 예를 들자면, 불투명한 대형 스크린 앞에 서 있는 조작자는 애플리케이션 그래픽과, 스크린 뒤에 위치하는 (그리고 아마도 움직이거나 배향을 변경하는) 축적 모형(scale model)의 실제 위치의 표현 모두를 볼 수 있다.
리터럴 포인팅은 마우스-기반 윈도우 인터페이스 및 그 밖의 다른 대부분의 현대의 시스템에서 사용되는 추상 포인팅(abstract pointing)과 다르다는 것이 중요하다. 이들 시스템에서, 조작자는 가상 포인터와 물리적 위치 지시 장치 간의 번역(translation)을 관리하는 것을 습득할 필요가 있으며, 가상 포인터와 물리적 위치 지시 장치를 인식적으로 사상(map)할 필요가 있다.
이와 달리, 본원의 시스템에서는, 가상 공간과 물리적 공간 간에 (가상 공간이 수학적 조작을 위해 더 수정 가능하다는 사실을 제외하고는) 애플리케이션이나 사용자 관점의 어떠한 차이도 없어서, 조작자에게 어떠한 인식적 번역도 요구되지 않는다.
본 발명의 실시예에 의해 제공되는 리터럴 포인팅과 가장 유사한 것은 (가령, 많은 ATM 기계에서 발견되는 형태의) 터치-감지형 스크린이다. 터치 감지형 스크린은 스크린 상의 2차원 디스플레이 공간과 스크린 표면의 2차원 입력 공간 간에 1대1 사상을 제공한다. 이와 유사한 방식으로, 본원의 시스템은 하나 이상의 스크린 상에서 디스플레이되는 가상 공간과 조작자가 거주하는 물리적 공간 간에 (반드시 그럴 필요는 없지만 가능하다면, 1대1의) 유연한 사상이 이뤄진다. 이러한 유사성으로 인한 유용함에도 불구하고, “사상 방식”의 3차원으로의 확장, 임의의 대형 아키텍처 환경 및 복수의 스크린은 고려할 만하다.
본원에서 기재되는 구성요소에 덧붙여, 상기 시스템은, 환경의 물리적 공간과 각각의 스크린의 디스플레이 공간 간의 연속이면서 시스템-레벨의 사상을 구현하는 알고리즘을 구현할 수 있다.
하나의 실시예의 시스템은, 연산 객체와 사상(mapping)을 취하여 가상 공간의 그래픽 표현을 출력하는 렌더링 스택을 포함한다.
하나의 실시예의 시스템은, 제어 시스템으로부터 이벤트 데이터(이 실시예에서는, 시스템과 마우스 입력으로부터의 제스처 데이터와 포인팅 데이터 모두)를 취하고, 입력 이벤트로부터 가상 공간의 좌표로 공간 데이터를 사상하는 입력 이벤트 프로세싱 스택을 포함한다. 그 후, 번역된 이벤트가 실행 중인 애플리케이션으로 전달된다.
하나의 실시예의 시스템은, 상기 시스템이 로컬 영역 네트워크 상의 복수의 컴퓨터에 걸쳐 실행 중인 애플리케이션을 호스팅할 수 있게 해주는 “글루 레이어(glue layer)”를 포함한다.
본 발명의 실시예는 하나의 시스템을 포함한다. 상기 시스템은, 하나의 물체를 이미징하고, 물체에 의해 만들어진 제스처(gesture)를 나타내는 제스처 데이터를 출력하는 차량 내 복수의 센서(상기 제스처 데이터는 시공간의 하나의 점에서의 물체의 순간적인 상태이며, 상기 물체는 사용자의 손과 손가락 중 한 가지 이상을 포함함)와, 상기 복수의 센서로 연결되어 있으며, 상기 제스처 데이터로부터 물체의 제스처를 자동으로 검출하는 프로세서(이러한 검출은 물체의 양자화된 포즈(quantized pose)와 배향 벡터(orientation vector)를 복원하는 과정과, 제스처 데이터를 제스처 신호로 번역하는 과정을 포함함)와, 상기 프로세서와 차량의 복수의 차량 서브시스템(vehicle subsystem)으로 연결되어 있으며, 제스처 신호에 반응하여 복수의 차량 서브시스템과 사용자의 상호대화를 관리하는 제어기를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 복수의 센서는 차량의 승객석을 바라보도록 배치된다.
본 발명의 하나의 실시예에 따라, 상기 복수의 센서는 복수의 카메라를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 복수의 카메라는 스테레오-비전 시스템(stereo-vision system)이다.
본 발명의 하나의 실시예에 따라, 상기 제스처 데이터는 상기 물체를 나타내는 3차원 데이터 포인트 클라우드(three-dimensional data point cloud)를 포함한다.
본 발명의 하나의 실시예에 따라, 3차원 데이터 포인트 클라우드의 데이터 포인트의 분해 심도 정확도(resolved depth accuracy)는 1밀리미터(㎜)이다.
본 발명의 하나의 실시예에 따라, 상기 물체의 위치는 손의 위치를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 물체의 위치는 손가락들의 집합의 위치를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 물체의 양자화된 포즈는 하나 이상의 손의 양자화된 포즈를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 물체의 배향 벡터는 하나 이상의 손의 연속 배향 벡터를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 물체의 배향 벡터는 손가락들의 집합의 연속 배향 벡터를 포함한다.
본 발명의 하나의 실시예에 따라, 번역하는 과정은 제스처의 정보를 제스처 표기(gesture notation)로 번역하는 과정을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 제스처 표기는 제스처 어휘(gesture vocabulary)를 나타내고, 상기 제스처 신호는 통신되는 제스처 어휘를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 제스처 어휘는 물체의 운동 관절의 순간적인 포즈 상태를 텍스트(text) 형식으로 나타낸다.
본 발명의 하나의 실시예에 따라, 상기 제스처 어휘는 물체의 운동 관절의 배향을 텍스트(text) 형식으로 나타낸다.
본 발명의 하나의 실시예에 따라, 상기 제스처 어휘는 물체의 운동 관절의 배향들의 조합을 텍스트(text) 형식으로 나타낸다.
본 발명의 하나의 실시예에 따라, 상기 제스처 어휘는 물체의 운동 관절의 상태를 나타내는 문자(character)들로 구성된 문자열(string)을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 시스템은 상기 프로세서에 연결되어 있는 피드백 장치를 포함하며, 상기 피드백 장치는 사용자에게 제스처에 대응하는 표시(indication)를 제공한다.
본 발명의 하나의 실시예에 따라, 상기 표시는 제스처에 대한 해석(interpretation)을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 표시는 제스처에 반응하여 복수의 차량 서브시스템에서 발생되는 효과를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 피드백 장치는 시각적 장치(visual device)이다.
본 발명의 하나의 실시예에 따라, 상기 피드백 장치는 청각적 장치(aural device)이다.
본 발명의 하나의 실시예에 따라, 상기 피드백 장치는 시청각적 장치(audio-visual device)이다.
본 발명의 하나의 실시예에 따라, 상기 피드백 장치는 차량의 헤드-업 디스플레이(head-up display)이다.
본 발명의 하나의 실시예에 따라, 상기 피드백 장치는 차량의 픽셀-기반 디스플레이이다.
본 발명의 하나의 실시예에 따라, 상기 피드백 장치는 하나 이상의 색상-변화식 조명 표시자(indicator)이다.
본 발명의 하나의 실시예에 따라, 상기 피드백 장치는 촉각 디스플레이(tactile display)이다.
본 발명의 하나의 실시예에 따라, 상기 제어기는 제 1 상호대화 모드를 이용하여 사용자 상호대화를 관리하며, 상기 제 1 상호대화 모드는, 제스처에 반응하여 복수의 차량 서브시스템(vehicle subsystem)과의 상호대화를 제어하는 과정을 포함하며, 상기 제스처는 사용자의 손가락 움직임을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 하나의 손의 2개의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 상기 제어기는 상기 제스처에 반응하여 차량 서브시스템의 복수의 제어 요소를 순회(cycle through)하며, 각각의 제어 요소에 의해, 사용자는 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 사용자의 하나의 손의 하나의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 상기 제어기는 상기 동작에 반응하여, 매개변수의 설정값을 점진적으로(incrementally) 변경한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 손가락은 유지(hold down)하면서 제 2 손가락은 펴는 동작을 포함하며, 상기 제어기는 상기 동작에 반응하여, 매개변수의 설정값을 일정한 비율로 변경한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 사용자의 제 1 손의 하나 이상의 손가락을 펴는 동작을 포함하며, 프로세서는 상기 동작에 반응하여 제어기를 활성화시킨다.
본 발명의 하나의 실시예에 따라, 상기 사용자의 손은 제스처 동안 차량의 안내 수단(guidance mechanism)과 접촉을 유지한다.
본 발명의 하나의 실시예에 따라, 상기 하나 이상의 손가락은 사용자의 검지, 중지 및 엄지 중 하나 이상이다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 손의 2개의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 상기 제어기는 상기 동작에 반응하여 차량 서브시스템의 복수의 제어 모드를 순회하며, 상기 복수의 제어 모드의 각각의 제어 모드는 하나씩의 차량 서브시스템에 대응한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 2 손의 2개의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 제어기는 상기 동작에 반응하여, 각각의 제어 모드의 복수의 제어 옵션을 순회하고, 상기 복수의 제어 옵션의 각각의 제어 옵션은 하나씩의 차량 서브시스템에 대응한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 사용자의 하나의 손의 하나의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 상기 제어기는 상기 동작에 반응하여, 제어의 설정값을 제어한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 사용자의 하나의 손의 제 1 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 제어기는 상기 동작에 반응하여, 설정값을 제 1 방향으로 하나씩 거침으로써, 상기 설정값을 점진적으로 변경한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 사용자의 하나의 손의 제 2 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 제어기는 상기 동작에 반응하여, 설정값을 제 2 방향으로 하나씩 거침으로써, 상기 설정값을 점진적으로 변경한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 손가락은 유지(hold down)하면서 제2 손가락은 펴는 동작을 포함하며, 상기 제어기는 상기 동작에 반응하여 설정값을 일정한 비율로 변경한다.
본 발명의 하나의 실시예에 따라, 상기 시스템은 프로세서에 연결된 그래픽 디스플레이를 더 포함하며, 상기 그래픽 디스플레이는 사용자에게 상기 제스처에 대응하는 표시(indication)를 제공하며, 상기 제스처는 그래픽 디스플레이 상에서 디스플레이 요소의 위치를 제어한다.
본 발명의 하나의 실시예에 따라, 손가락 동작이 디스플레이 요소를 통한 차량 서브시스템의 제어 요소의 비-선형적 선택에 영향을 미치며, 각각의 제어 요소에 의해, 사용자가 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 사용자의 제 1 손의 하나 이상의 손가락을 펴는 동작을 포함하며, 프로세서는 상기 동작에 반응하여, 제어기를 활성화시키고, 디스플레이 요소가 디스플레이되게 한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 손가락 끝의 상대적 움직임을 포함하며, 프로세서는 상기 손가락 끝의 상대적 움직임에 반응하여 그래픽 디스플레이 상의 디스플레이 요소의 움직임을 제어한다.
본 발명의 하나의 실시예에 따라, 디스플레이의 인터페이스 그래픽이, 디스플레이 요소의 근접성(proximity)에 의해 선택되며, 상기 디스플레이 요소는 포인터이다.
본 발명의 하나의 실시예에 따라, 상기 인터페이스 그래픽은 차량 서브시스템의 제어 요소에 대응하며, 각각의 제어 요소의 인터페이스 그래픽에 의해 사용자는 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 사용자의 하나의 손의 하나의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 제어기는, 상기 동작에 반응하여, 인터페이스 그래픽을 통해 매개변수의 설정값을 변경한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 손가락은 유지하면서 제 2 손가락을 펴는 동작을 포함하며, 제어기는 상기 동작에 반응하여 인터페이스 그래픽을 통해 매개변수의 설정값을 변경한다.
본 발명의 하나의 실시예에 따라, 상기 디스플레이 요소는 토글 스위치(toggle switch) 아이콘를 포함하며, 상기 제스처는 사용자의 하나의 손의 하나의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하고, 상기 동작은 토글 스위치의 설정값을 제어한다.
본 발명의 하나의 실시예에 따라, 디스플레이 요소는 슬라이더(slider) 아이콘을 포함하며, 제스처는 제 1 손가락은 유지하면서 제 2 손가락은 펴는 동작을 포함하고, 제어기는 상기 동작에 반응하여 상기 슬라이더의 설정값을 일정한 비율로 변경한다.
본 발명의 하나의 실시예에 따라, 디스플레이 요소는 슬라이더(slider) 아이콘을 포함하며, 제스처는 사용자의 하나의 손의 하나의 손가락의 접었다 다시 펴기 동작을 포함하며, 제어기는 상기 동작에 반응하여 상기 슬라이더의 설정값을 점진적으로 변경한다.
본 발명의 하나의 실시예에 따라, 상기 제어기는 제 2 상호대화 모드를 이용하여 사용자 상호대화를 관리하고, 상기 제 2 상호대화 모드는 제스처에 반응하여 복수의 차량 서브시스템과의 상호대화를 제어하는 과정을 포함하며, 상기 제스처는 사용자의 손의 동작과 손가락의 동작을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 제어기는 제스처에 반응하여 차량 서브시스템의 복수의 제어 요소를 순회하며, 각각의 제어 요소에 의해 사용자는 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 방향으로 펴진 하나의 손의 제 1 손가락을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 2 방향으로 펴진 하나의 손의 제 2 손가락을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 손, 제 1 손가락 및 제 2 손가락의 조합의 수직 배향을 포함하며, 상기 수직 배향은 손, 제 1 손가락 및 제 2 손가락이 중력 방향 평면(gravity aligned plane)으로 위치한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 손, 제 1 손가락 및 제 2 손가락의 조합의 수평 배향을 포함하며, 상기 수평 배향은 손, 제 1 손가락 및 제 2 손가락이 중력 수직 평면(gravity-perpendicular plane)으로 위치한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 방향으로, 그리고 상기 제 1 손가락과 정렬하는 방향으로 펴진 손의 제 3 손가락을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 제 2 손가락은, 펼 때, 제 1 손가락에 수직이다.
본 발명의 하나의 실시예에 따라, 상기 제 2 손가락은, 펼 때, 제 1 손가락에 평행이다.
본 발명의 하나의 실시예에 따라, 상기 제스처는, 제 1 손가락이 내측(medially)을 가리키는 위치로 회전된 손을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 시스템은 프로세서로 연결되어 있는 그래픽 디스플레이를 포함하며, 상기 그래픽 디스플레이는 제스처를 통해 사용자에게 제어를 제공하며, 제어기는 상기 제스처에 반응하여 차량 서브시스템의 복수의 제어 요소를 순회하고, 각각의 제어 요소에 의해, 사용자는 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따라, 제스처가, 상기 그래픽 디스플레이 상의 디스플레이 요소의 위치를 제어한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 방향으로 펴진 하나의 손의 제 1 손가락을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 디스플레이 요소는 포인터를 포함하며, 포인터의 위치는, 제 1 손가락의 움직임 및 제 1 손가락이 가리키는 곳(aim) 중 한 가지 이상에 의해, 제어된다.
본 발명의 하나의 실시예에 따라, 제 1 손가락이 가리키는 곳을 이용하여 상기 포인터가 제어 요소 내에 위치하고, 제 2 손가락이 제 1 위치에서 제 2 위치로 움직일 때, 상기 제스처가 제어 요소의 선택을 제어하는데, 이때, 상기 제 1 위치는 제 1 손가락에 수직이도록 편 위치이며, 제 2 위치는 제 1 손가락에 평행하도록 편 위치이다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 손가락이 그래픽 디스플레이 밖의 위치를 가리키는 동작을 포함하며, 이러한 동작 시, 상기 제어기는 메뉴 리스트를 제공한다.
본 발명의 하나의 실시예에 따라, 상기 제스처는 제 1 손가락이 하나의 메뉴 아이템을 가리키고, 제 2 손가락이 제 1 위치로 움직이는 동작을 포함하며, 이러한 동작 시, 제어기는 상기 메뉴 아이템을 활성 제어 요소로서 선택한다.
본 발명의 하나의 실시예에 따라, 제스처는 손 및 상기 손의 하나 이상의 손가락의 조합의 수직 배향을 포함하며, 상기 수직 배향은 손, 제 1 손가락 및 제 2 손가락이 중력 방향 평면(gravity-aligned plane)으로 위치하는 것이며, 이때, 상기 제어기는 제어 요소들의 제 1 세트를 제공한다.
본 발명의 하나의 실시예에 따라, 제스처는 손 및 상기 손의 하나 이상의 손가락의 조합의 수평 배향을 포함하며, 상기 수평 배향은 손, 제 1 손가락 및 제 2 손가락이 중력 수직 평면(gravity-aligned plane)으로 위치하는 것이며, 이때, 상기 제어기는 제어 요소들의 제 1 세트와는 상이한 제어 요소들의 제 2 세트를 제공한다.
본 발명의 하나의 실시예에 따라, 차량 서브시스템은 실내온도 조절 장치, 다기능 디스플레이 장치, 오디오 장치, 라디오 장치, 디지털 오디오 장치, 전화, 탐색 장치, 정속 주행 제어 장치, 자동조정 장치, 자동 안내 장치 및 네트워크-연결된 장치 중 하나 이상을 포함한다.
본 발명의 하나의 실시예에 따라, 상기 복수의 센서는 복수의 비행시간 심도 감지 카메라(time-of-flight depth-sensing camera)를 포함한다.
본 발명의 하나의 실시예에 따라, 상기 복수의 센서는 복수의 구조광 3차원 센서(structured light three-dimensionl sensor)를 포함한다.
본 발명의 하나의 실시예는 하나의 시스템을 포함하며, 상기 시스템은, 하나의 물체를 이미징하고, 제스처를 나타내는 제스처 데이터를 출력하는 복수의 센서(상기 제스처 데이터는 시공간의 하나의 점에서의 물체의 순간적인 상태이며, 상기 물체는 손과 손가락 중 한 가지 이상을 포함함)와, 상기 복수의 센서로 연결되어 있으며, 제스처 데이터로부터 물체의 제스처를 자동으로 검출하는 프로세서(이러한 검출은 물체의 위치를 추출하는 과정과, 상기 물체의 양자화된 포즈(quantized pose)와 배향 벡터(orientation vector)를 복원하는 과정과, 상기 제스처 데이터를 제스처 신호로 번역하는 과정과, 상기 프로세서에 연결되어 있는 차량 서브시스템을 제어하기 위해 상기 제스처 신호를 이용하는 과정을 포함함)를 포함한다.
본 발명의 하나의 실시예는 하나의 시스템을 포함하며, 상기 시스템은, 하나의 차량에 설치되어 하나의 물체를 이미징하고 상기 물체에 의해 만들어지는 제스처를 나타내는 제스처 데이터를 출력하는 복수의 센서(제스처 데이터는 시공간의 하나의 점에서의 물체의 순간적인 상태임)와, 상기 복수의 센서에 연결되어 있으며, 상기 제스처 데이터로부터 물체의 제스처를 자동으로 검출하고 상기 제스처 데이터를 제스처 신호로 번역하는 프로세서와, 상기 프로세서와 차량의 차량 서브시스템(vehicle subsystem)에 연결되어 있으며, 상기 제스처 신호에 반응하여 차량 서브시스템을 제어하는 제어기와, 상기 프로세서에 연결되어 있으며 제스처에 대응하는 시각적 피드백과 오디오 피드백 중 한 가지 이상을 제공하는 피드백 장치를 포함한다.
본 발명의 하나의 실시예는 하나의 방법을 포함하며, 상기 방법은, 하나의 차량 내 복수의 센서가 물체의 이미지를 수신하고 상기 물체에 의해 만들어진 제스처를 나타내는 제스처 데이터를 출력하는 단계(이때, 상기 제스처 데이터는 시공간의 하나의 점에서의 물체의 순간적인 상태이며, 상기 물체는 사용자의 손과 손가락 중 한 가지 이상을 포함함)와, 물체의 위치를 추출하고, 물체의 양자화된 포즈(quantized pose)와 배향 벡터(orientation vector)를 복원하며, 제스처 데이터를 제스처 신호로 번역함으로써, 제스처 데이터로부터 물체의 제스처를 자동으로 검출하는 단계와, 상기 제스처 신호에 반응하여 복수의 차량 서브시스템과의 사용자 상호대화를 관리하는 단계를 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 복수의 센서는 차량의 승객석을 바라보도록 배치되며, 상기 복수의 센서는 복수의 카메라를 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처 데이터는 물체를 나타내는 3차원 데이터 포인트 클라우드(three-dimensional data point cloud)를 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 물체의 위치는 손의 위치를 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 물체의 위치는 손가락들의 세트의 위치를 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 물체의 양자화된 포즈는 하나 이상의 손의 양자화된 포즈를 포함한다.
본 발명의 하나의 실시예에 따르면, 물체의 배향 벡터는 하나 이상의 손의 연속 배향 벡터를 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 물체의 배향 벡터는 손가락들의 세트의 연속 배향 벡터를 포함한다.
본 발명의 하나의 실시예에 따르면, 제스처의 정보가 제스처 표기(gesture notation)로 번역되며, 상기 제스처 표기는 제스처 어휘(gesture vocabulary)를 나타내고, 상기 제스처 신호는 통신되는 제스처 어휘를 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처 어휘는 물체의 운동 관절의 순간적인 포즈 상태를, 텍스트(text) 형식으로 나타낸다.
본 발명의 하나의 실시예에 따르면, 상기 제스처 어휘는 물체의 운동 관절의 배향을 텍스트(text) 형식으로 나타낸다.
본 발명의 하나의 실시예에 따르면, 상기 제스처 어휘는 물체의 운동 관절의 상태를 나타내는 문자(character)들로 구성된 문자열(string)을 포함한다.
본 발명의 하나의 실시예에 따르면, 제스처에 대응하는 표시(indication)가 사용자에게 제공되며, 상기 표시는, 제스처에 대한 해석(interpretation) 및 제스처에 반응하여 복수의 차량 서브시스템에서 발생되는 효과 중 한 가지 이상을 포함한다.
본 발명의 하나의 실시예에 따르면, 사용자 상호대화를 관리하는 단계는, 제 1 상호대화 모드를 이용하는 단계를 포함하고, 상기 제 1 상호대화 모드는 제스처에 반응하여 복수의 차량 서브시스템(vehicle subsystem)과의 상호대화를 제어하는 과정을 포함하며, 상기 제스처는 사용자의 손가락 움직임을 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 하나의 손의 2개의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 사용자 상호대화를 관리하는 단계는, 상기 동작에 반응하여, 차량 서브시스템의 복수의 제어 요소가 순회되는 단계를 포함하고, 각각의 제어 요소에 의해, 사용자는 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 사용자의 하나의 손의 하나의 손가락의 접었다 다시 펴기 동작을 포함하며, 사용자 상호대화를 관리하는 단계는, 상기 동작에 반응하여, 매개변수의 설정값이 점진적으로 변경되는 단계를 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 제 1 손가락은 유지(hold down)하면서 제 2 손가락을 펴는 동작을 포함하고, 사용자 상호대화를 관리하는 단계는, 상기 동작에 반응하여, 매개변수의 설정값이 일정한 비율로 변경되는 단계를 포함한다.
본 발명의 하나의 실시예에 따르면, 사용자의 손이, 제스처 동안, 차량의 안내 수단(guidance mechanism)과 접촉 상태를 유지한다.
본 발명의 하나의 실시예에 따르면, 사용자에게 제스처에 대응하는 표시(indication)가 제공되며, 상기 제스처는 그래픽 디스플레이 상에서의 디스플레이 요소의 위치를 제어한다.
본 발명의 하나의 실시예에 따르면, 손가락 동작이 디스플레이 요소를 통한 차량 서브시스템의 제어 요소의 비-선형적 선택에 영향을 미치며, 각각의 제어 요소에 의해, 사용자가 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따르면, 제스처는 손가락 끝의 상대적 움직임을 포함하며, 사용자 상호대화를 관리하는 단계는, 상기 손가락 끝의 상대적 움직임에 반응하여 그래픽 디스플레이 상의 디스플레이 요소의 움직임이 제어되는 단계를 포함한다.
본 발명의 하나의 실시예에 따르면, 디스플레이 요소의 근접성(proximity)에 의해 디스플레이의 인터페이스 그래픽이 선택되며, 상기 디스플레이 요소는 포인터이다.
본 발명의 하나의 실시예에 따르면, 인터페이스 그래픽은 차량 서브시스템의 제어 요소에 대응하고, 각각의 제어 요소의 인터페이스 그래픽에 의해, 사용자가 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따르면, 사용자 상호대화를 관리하는 단계는, 제 2 상호대화 모드를 이용하는 단계를 포함하며, 상기 제 2 상호대화 모드는 제스처에 반응하여 복수의 차량 서브시스템과의 상호대화를 제어하는 과정을 포함하며, 상기 제스처는 사용자의 손의 동작과 손가락의 동작을 포함한다.
본 발명의 하나의 실시예에 따르면, 제스처에 반응하여 차량 서브시스템의 복수의 제어 요소가 순회되고, 각각의 제어 요소에 의해 사용자가 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 제 1 방향으로 펴진 하나의 손의 제 1 손가락을 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 제 2 방향으로 펴진 하나의 손의 제 2 손가락을 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 손, 제 1 손가락 및 제 2 손가락의 조합의 수직 배향을 포함하며, 상기 수직 배향은, 손, 제 1 손가락 및 제 2 손가락이 중력 방향 평면(gravity aligned plane)으로 위치한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 손, 제 1 손가락 및 제 2 손가락의 조합의 수평 배향을 포함하며, 상기 수평 배향은, 손, 제 1 손가락 및 제 2 손가락이 중력 수직 평면(gravity perpendicular plane)으로 위치한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 제 1 방향으로, 그리고 상기 제 1 손가락과 정렬하는 방향으로 펴진 손의 제 3 손가락을 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 제 2 손가락은, 펼 때, 제 1 손가락에 수직이다.
본 발명의 하나의 실시예에 따르면, 상기 제 2 손가락은, 펼 때, 제 1 손가락에 평행이다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는, 제 1 손가락이 내측(medially)을 가리키는 위치로 회전된다.
본 발명의 하나의 실시예에 따르면, 제스처를 통해 사용자에게 제어를 제공하는 디스플레이 출력이 제공되며, 사용자 상호대화를 관리하는 단계는 제스처에 반응하여 차량 서브시스템의 복수의 제어 요소를 순회하는 단계를 포함하며, 각각의 제어 요소에 의해 사용자는 차량 서브시스템의 매개변수를 제어할 수 있다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 디스플레이 출력 상에서 디스플레이 요소의 위치를 제어한다.
상기 제스처는 제 1 방향으로 펴진 하나의 손의 제 1 손가락을 포함한다.
본 발명의 하나의 실시예에 따르면, 상기 디스플레이 요소는 포인터를 포함하며, 상기 포인터의 위치는, 제 1 손가락의 움직임과 상기 제 1 손가락이 가리키는 곳(aim) 중 한 가지 이상에 의해 제어된다.
본 발명의 하나의 실시예에 따르면, 제 1 손가락이 가리키는 곳을 이용하여 상기 포인터가 제어 요소 내에 위치하고, 제 2 손가락이 제 1 위치에서 제 2 위치로 움직일 때, 상기 제스처가 제어 요소의 선택을 제어하는데, 이때, 상기 제 1 위치는 제 1 손가락에 수직이도록 편 위치이며, 제 2 위치는 제 1 손가락에 평행하도록 편 위치이다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 제 1 손가락이 그래픽 디스플레이 밖의 위치를 가리키는 동작을 포함하며, 이러한 동작 시, 상기 제어기는 메뉴 리스트를 제공한다.
본 발명의 하나의 실시예에 따르면, 상기 제스처는 제 1 손가락이 하나의 메뉴 아이템을 가리키고, 제 2 손가락이 제 1 위치로 움직이는 동작을 포함하며, 이러한 동작 시, 제어기는 상기 메뉴 아이템을 활성 제어 요소로서 선택한다.
본 발명의 제스처 기반 제어 시스템 및 방법은 프로세싱 시스템을 포함 및/또는 프로세싱 시스템의 통제 하에서 동작 및/또는 프로세싱 시스템과 연합하여 동작한다. 상기 프로세싱 시스템은 종래 기술에서 알려진, 다 함께 동작하는 프로세서 기반 장치 또는 컴퓨팅 장치의 임의의 컬렉션을 포함한다. 예를 들어, 프로세싱 시스템은 휴대용 컴퓨터, 통신 네트워크에서 동작하는 휴대용 통신 장치 및/또는 네트워크 서버 중 하나 이사을 포함할 수 있다. 상기 휴대용 컴퓨터는 개인용 컴퓨터, 셀방식 전화기, PDA(personal digital assistant), 휴대용 컴퓨팅 장치 및 휴대용 통신 장치 등 중 하나 이상의 조합일 수 있다(그러나 이에 국한되는 것은 아님). 상기 프로세싱 시스템은 대형 컴퓨터 시스템 내 구성요소를 포함할 수 있다.
하나의 실시예의 프로세싱 시스템은 하나 이상의 프로세서와 하나 이상의 메모리 장치 또는 서브 시스템을 포함한다. 상기 프로세싱 시스템은 또한 하나 이상의 데이터베이스를 포함, 또는 상기 데이터베이스로 연결될 수 있다. “프로세서”라는 용어는, 본원에서 사용될 때, 임의의 로직 프로세싱 유닛을 일컬으며, 예를 들어, 하나 이상의 CPU(central processing unit), DSP(digital signal processor), ASIC(application-specific integrated circuit) 등이 있다. 프로세서와 메모리가 하나의 칩에 모노리식(monolithic)하게 집적, 및/또는 호스트 시스템의 복수의 칩이나 구성요소들 간에 분산, 및/또는 알고리즘의 조합에 의해 제공될 수 있다. 본원에서 기재된 방법은 소프트웨어 알고리즘, 프로그램, 펌웨어, 하드웨어, 부품, 회로 중 하나 이상의 임의의 조합으로 구현될 수 있다.
본원의 시스템과 방법을 구현하는 시스템 구성요소는 다 함께, 또는 따로 따로 위치할 수 있다. 따라서 본 발명의 시스템과 방법을 구현하는 시스템 구성요소는 단일 시스템, 복수 시스템 및/또는 지리적으로 이격되어 있는 시스템의 구성요소일 수 있다. 이들 구성요소는 호스트 시스템이나 상기 호스트 시스템에 연결된 시스템의 하나 이상의 그 밖의 다른 구성요소로 연결될 수 있다.
통신 경로가 시스템 구성요소를 연결하고, 상기 구성요소들 통신이나 파일 전송을 위한 임의의 매체를 포함한다. 상기 통신 경로는 무선 연결, 유선 연결 및 하이브리드 무선/유선 연결을 포함한다. 또한 상기 통신 경로는 네트워크(가령, LAN(local area network), MAN(metropolitan area network), WAN(wide area network), 사설 네트워크, 인터오피스 또는 백엔드 네트워크, 인터넷)로의 결합이나 연결을 포함한다. 덧붙이자면, 통신 경로는 탈착식 고정 매체를 포함하며, 예를 들어, 플로피 디스크, 하드 디스크 드라이브, CD-ROM 디스크뿐 아니라, 플래쉬 RAM, USB(Universal Serial Bus) 연결, RS-232 연결, 전화 선, 버스 및 전자 메일 메시지가 있다.

Claims (115)

  1. 하나의 물체를 이미징하고, 물체에 의해 만들어진 제스처(gesture)를 나타내는 제스처 데이터를 출력하는 차량 내 복수의 센서로서, 상기 제스처 데이터는 시공간의 하나의 점에서의 물체의 순간적인 상태이며, 상기 물체는 사용자의 손과 손가락 중 한 가지 이상을 포함하는 특징의, 상기 복수의 센서와,
    상기 복수의 센서로 연결되어 있으며, 상기 제스처 데이터로부터 물체의 제스처를 자동으로 검출하는 프로세서로서, 이러한 검출은 제스처 데이터로부터 물체의 위치를 추출하는 과정과, 물체의 양자화된 포즈(quantized pose)와 배향 벡터(orientation vector)를 복원하는 과정과, 제스처 데이터를 제스처 신호로 번역하는 과정을 포함하는 특징의, 상기 프로세서와,
    상기 프로세서와 차량의 복수의 차량 서브시스템(vehicle subsystem)으로 연결되어 있으며, 제스처 신호에 반응하여 복수의 차량 서브시스템과 사용자의 상호대화를 관리하는 제어기를 포함하되, 상기 제어기는 제1 상호대화 모드 및 제2 상호대화 모드를 사용하여 사용자 상호대화를 관리하고, 제1 상호대화 모드의 제스처와 제2 상호대화 모드의 제스처는 상이한 것을 특징으로 하는 시스템.
  2. 삭제
  3. 제 1 항에 있어서, 상기 복수의 센서는 복수의 카메라를 포함하는 것을 특징으로 하는 시스템.
  4. 삭제
  5. 제 1 항에 있어서, 상기 제스처 데이터는 상기 물체를 나타내는 3차원 데이터 포인트 클라우드(three-dimensional data point cloud)를 포함하는 것을 특징으로 하는 시스템.
  6. 삭제
  7. 제 1 항에 있어서, 상기 물체의 위치는 손과 손가락의 세트 중 적어도 하나의 위치를 포함하는 것을 특징으로 하는 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 1 항에 있어서, 번역하는 과정은 제스처의 정보를 제스처 어휘(gesture vocabulary)를 나타내는 제스처 표기(gesture notation)로 번역하는 과정을 포함하는 것을 특징으로 하는 시스템.
  13. 삭제
  14. 제 12 항에 있어서, 상기 제스처 어휘는 물체의 운동 관절의 순간적인 포즈 상태를 텍스트(text) 형식으로 나타내는 것을 특징으로 하는 시스템.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제 1 항에 있어서, 상기 시스템은 상기 프로세서에 연결되어 있는 피드백 장치를 포함하며, 상기 피드백 장치는 사용자에게 제스처에 대응하는 표시(indication)를 제공하는 것을 특징으로 하는 시스템.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 제 1 항에 있어서, 상기 제어기는 제 1 상호대화 모드를 이용하여 사용자 상호대화를 관리하며, 상기 제 1 상호대화 모드는, 제스처에 반응하여 복수의 차량 서브시스템(vehicle subsystem)과의 상호대화를 제어하는 과정을 포함하며, 상기 제스처는 사용자의 손가락 동작을 포함하는 것을 특징으로 하는 시스템.
  29. 제 28 항에 있어서, 상기 제스처는 하나의 손의 2개의 손가락의 접었다 다시 펴기 동작(grip-and-extend-again motion)을 포함하며, 상기 제어기는 상기 제스처에 반응하여 차량 서브시스템의 복수의 제어 요소를 순회(cycle through)하며, 각각의 제어 요소에 의해, 사용자는 차량 서브시스템의 매개변수를 제어할 수 있는 것을 특징으로 하는 시스템.
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 제 28 항에 있어서, 상기 시스템은 프로세서에 연결된 그래픽 디스플레이를 더 포함하며, 상기 그래픽 디스플레이는 사용자에게 상기 제스처에 대응하는 표시(indication)를 제공하며, 상기 제스처는 그래픽 디스플레이 상에서 디스플레이 요소의 위치를 제어하는 것을 특징으로 하는 시스템.
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 제 1 항에 있어서, 상기 제어기는 제 2 상호대화 모드를 이용하여 사용자 상호대화를 관리하고, 상기 제 2 상호대화 모드는 제스처에 반응하여 복수의 차량 서브시스템과의 상호대화를 제어하는 과정을 포함하며, 상기 제스처는 사용자의 손의 동작과 손가락의 동작을 포함하는 것을 특징으로 하는 시스템.
  53. 제 52 항에 있어서, 상기 제어기는 제스처에 반응하여 차량 서브시스템의 복수의 제어 요소를 순회하며, 각각의 제어 요소에 의해 사용자는 차량 서브시스템의 매개변수를 제어할 수 있는 것을 특징으로 하는 시스템.
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 제 1 항에 있어서, 차량 서브시스템은 실내온도 조절 장치, 다기능 디스플레이 장치, 오디오 장치, 라디오 장치, 디지털 오디오 장치, 전화, 탐색 장치, 정속 주행 제어 장치, 자동조정 장치, 자동 안내 장치 및 네트워크-연결된 장치 중 하나 이상을 포함하는 것을 특징으로 하는 시스템.
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 하나의 차량 내 복수의 센서가 물체의 이미지를 수신하고 상기 물체에 의해 만들어진 제스처를 나타내는 제스처 데이터를 출력하는 단계로서, 상기 제스처 데이터는 시공간의 하나의 점에서의 물체의 순간적인 상태이며, 상기 물체는 사용자의 손과 손가락 중 한 가지 이상을 포함하는 특징의, 단계와,
    제스처 데이터로부터 물체의 위치를 추출하고, 물체의 양자화된 포즈(quantized pose)와 배향 벡터(orientation vector)를 복원하며, 제스처 데이터를 제스처 신호로 번역함으로써, 제스처 데이터로부터 물체의 제스처를 자동으로 검출하는 단계와,
    상기 제스처 신호에 반응하여 복수의 차량 서브시스템과의 사용자 상호대화를 관리하는 단계를 포함하되, 상기 관리하는 단계는 제1 상호대화 모드 및 제2 상호대화 모드를 사용하여 사용자 상호대화를 관리하고, 제1 상호대화 모드의 제스처와 제2 상호대화 모드의 제스처는 상이한 것을 특징으로 하는 방법.
  77. 삭제
  78. 제 76 항에 있어서, 상기 제스처 데이터는 물체를 나타내는 3차원 데이터 포인트 클라우드(three-dimensional data point cloud)를 포함하는 것을 특징으로 하는 방법.
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 제 76 항에 있어서, 제스처의 정보가 제스처 표기(gesture notation)로 번역되며, 상기 제스처 표기는 제스처 어휘(gesture vocabulary)를 나타내고, 상기 제스처 신호는 통신되는 제스처 어휘를 포함하는 것을 특징으로 하는 방법.
  85. 제 84 항에 있어서, 상기 제스처 어휘는 물체의 운동 관절의 순간적인 포즈 상태를, 텍스트(text) 형식으로 나타내는 것을 특징으로 하는 방법.
  86. 삭제
  87. 삭제
  88. 제 76 항에 있어서, 제스처에 대응하는 표시(indication)이 사용자에게 제공되며, 상기 표시는, 제스처에 대한 해석(interpretation) 및 제스처에 반응하여 복수의 차량 서브시스템에서 발생되는 효과 중 한 가지 이상을 포함하는 것을 특징으로 하는 방법.
  89. 제 76 항에 있어서, 사용자 상호대화를 관리하는 단계는, 제 1 상호대화 모드를 이용하는 단계를 포함하고, 상기 제 1 상호대화 모드는 제스처에 반응하여 복수의 차량 서브시스템(vehicle subsystem)과의 상호대화를 제어하는 과정을 포함하며, 상기 제스처는 사용자의 손가락 동작을 포함하는 것을 특징으로 하는 방법.
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 제 76 항에 있어서, 사용자 상호대화를 관리하는 단계는, 제 2 상호대화 모드를 이용하는 단계를 포함하며, 상기 제 2 상호대화 모드는 제스처에 반응하여 복수의 차량 서브시스템과의 상호대화를 제어하는 과정을 포함하며, 상기 제스처는 사용자의 손의 동작과 손가락의 동작을 포함하는 것을 특징으로 하는 방법.
  100. 삭제
  101. 삭제
  102. 삭제
  103. 삭제
  104. 삭제
  105. 삭제
  106. 삭제
  107. 삭제
  108. 삭제
  109. 제 99 항에 있어서, 제스처를 통해 사용자에게 제어를 제공하는 디스플레이 출력이 제공되며, 사용자 상호대화를 관리하는 단계는 제스처에 반응하여 차량 서브시스템의 복수의 제어 요소를 순회하는 단계를 포함하며, 각각의 제어 요소에 의해 사용자는 차량 서브시스템의 매개변수를 제어할 수 있는 것을 특징으로 하는 방법.
  110. 삭제
  111. 삭제
  112. 삭제
  113. 삭제
  114. 삭제
  115. 삭제
KR1020117001280A 2008-06-18 2009-06-18 차량 인터페이스를 위한 제스처 기반 제어 시스템 KR101652535B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US7374008P 2008-06-18 2008-06-18
US61/073,740 2008-06-18

Publications (2)

Publication Number Publication Date
KR20110022057A KR20110022057A (ko) 2011-03-04
KR101652535B1 true KR101652535B1 (ko) 2016-08-30

Family

ID=41434456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117001280A KR101652535B1 (ko) 2008-06-18 2009-06-18 차량 인터페이스를 위한 제스처 기반 제어 시스템

Country Status (6)

Country Link
US (1) US20090278915A1 (ko)
EP (1) EP2304527A4 (ko)
JP (2) JP2011525283A (ko)
KR (1) KR101652535B1 (ko)
CN (1) CN102112945B (ko)
WO (1) WO2009155465A1 (ko)

Families Citing this family (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8305188B2 (en) * 2009-10-07 2012-11-06 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
TW201135341A (en) * 2010-04-13 2011-10-16 Hon Hai Prec Ind Co Ltd Front projection system and method
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US20110296304A1 (en) * 2010-05-27 2011-12-01 Palm, Inc. Adaptive Gesture Tutorial
US8670029B2 (en) * 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US20120050495A1 (en) * 2010-08-27 2012-03-01 Xuemin Chen Method and system for multi-view 3d video rendering
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US20120060127A1 (en) * 2010-09-06 2012-03-08 Multitouch Oy Automatic orientation of items on a touch screen display utilizing hand direction
US8760432B2 (en) 2010-09-21 2014-06-24 Visteon Global Technologies, Inc. Finger pointing, gesture based human-machine interface for vehicles
US20130145279A1 (en) * 2011-11-16 2013-06-06 Flextronics Ap, Llc Removable, configurable vehicle console
US8817087B2 (en) 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
US10025388B2 (en) 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
KR101800182B1 (ko) 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
US8831794B2 (en) * 2011-05-04 2014-09-09 Qualcomm Incorporated Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects
JP5087157B1 (ja) * 2011-05-25 2012-11-28 株式会社コナミデジタルエンタテインメント 指示受付装置、指示受付方法、ならびに、プログラム
EP2721463B1 (en) 2011-06-15 2017-03-08 University Of Washington Through Its Center For Commercialization Methods and systems for haptic rendering and creating virtual fixtures from point clouds
US8886407B2 (en) 2011-07-22 2014-11-11 American Megatrends, Inc. Steering wheel input device having gesture recognition and angle compensation capabilities
US8782525B2 (en) 2011-07-28 2014-07-15 National Insturments Corporation Displaying physical signal routing in a diagram of a system
US8713482B2 (en) * 2011-07-28 2014-04-29 National Instruments Corporation Gestures for presentation of different views of a system diagram
DE102011110978A1 (de) * 2011-08-18 2013-02-21 Volkswagen Aktiengesellschaft Verfahren zum Bedienen einer elektronischen Einrichtung oder einer Applikation und entsprechende Vorrichtung
DE102011112447A1 (de) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Verfahren und Anordnung zum Bereitstellen einer graphischen Nutzerschnittstelle, insbesondere in einem Fahrzeug
US20130063336A1 (en) * 2011-09-08 2013-03-14 Honda Motor Co., Ltd. Vehicle user interface system
US9037354B2 (en) * 2011-09-09 2015-05-19 Thales Avionics, Inc. Controlling vehicle entertainment systems responsive to sensed passenger gestures
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
DE102011116122A1 (de) * 2011-10-15 2013-04-18 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen einer Bedienvorrichtungin einem Fahrzeug und Bedienvorrichtung
DE102011054848B4 (de) * 2011-10-27 2014-06-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Steuer- und Überwachungseinrichtung für Fahrzeuge
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
JP5917125B2 (ja) 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
KR101704065B1 (ko) * 2011-12-16 2017-02-07 현대자동차주식회사 차량 인터랙션 시스템
RU2639026C2 (ru) * 2011-12-23 2017-12-19 Конинклейке Филипс Н.В. Способ и устройство для интерактивного отображения трехмерных ультразвуковых изображений
WO2013101067A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems and methods for enhanced display images
CN103998316B (zh) * 2011-12-29 2017-07-18 英特尔公司 用于控制手势发起和终止的系统、方法和设备
WO2013101047A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for invehicle fiducial mark tracking and interpretation
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US20130204408A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9423877B2 (en) 2012-02-24 2016-08-23 Amazon Technologies, Inc. Navigation approaches for multi-dimensional input
US8806280B2 (en) 2012-02-27 2014-08-12 Microsoft Corporation APIs to test a device
US20140309930A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic camera image retrieval based on route traffic and conditions
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9195794B2 (en) 2012-04-10 2015-11-24 Honda Motor Co., Ltd. Real time posture and movement prediction in execution of operational tasks
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
GB2502087A (en) * 2012-05-16 2013-11-20 St Microelectronics Res & Dev Gesture recognition
FR2990815A1 (fr) * 2012-05-18 2013-11-22 Johnson Contr Automotive Elect Commande a distance pour activer des fonctionnalites d'un vehicule automobile a l'aide de signaux radiofrequence emis par la commande a distance, systeme de controle a distance comprenant une unite centrale et une commande a distance, et procede pour activer des fonctionnalites d'un vehicule automobile a l'aide d'un systeme de controle a distance
EP2853989A1 (en) * 2012-05-21 2015-04-01 Huawei Technologies Co., Ltd. Contactless gesture-based control method and apparatus
EP2669109B1 (de) * 2012-05-30 2015-03-04 Technische Universität Darmstadt Manöverassistenzsystem
US9092394B2 (en) 2012-06-15 2015-07-28 Honda Motor Co., Ltd. Depth based context identification
DE102012012697A1 (de) * 2012-06-26 2014-01-02 Leopold Kostal Gmbh & Co. Kg Bediensystem für ein Kraftfahrzeug
DE102012212787A1 (de) * 2012-07-20 2014-01-23 Robert Bosch Gmbh Motorradlenkeranordnung mit Griffüberwachung
KR101978967B1 (ko) * 2012-08-01 2019-05-17 삼성전자주식회사 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법
CN103631157A (zh) * 2012-08-29 2014-03-12 杨尧任 利用手势识别技术控制汽车电器的装置及其应用方法
DE102012216193B4 (de) 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
US9423886B1 (en) * 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
US9474130B2 (en) 2012-10-17 2016-10-18 Koninklijke Philips N.V. Methods and apparatus for applying lighting to an object
KR101979026B1 (ko) * 2012-10-30 2019-05-15 르노삼성자동차 주식회사 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법
AU2013352456B2 (en) * 2012-11-27 2015-11-26 Neonode Inc. Light-based touch controls on a steering wheel and dashboard
US20230325065A1 (en) * 2012-11-27 2023-10-12 Neonode Inc. Vehicle user interface
US9092093B2 (en) 2012-11-27 2015-07-28 Neonode Inc. Steering wheel user interface
EP2738645A1 (en) 2012-11-30 2014-06-04 Harman Becker Automotive Systems GmbH Vehicle gesture recognition system and method
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
KR101459445B1 (ko) * 2012-12-18 2014-11-07 현대자동차 주식회사 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
BR112015014531B1 (pt) * 2012-12-21 2022-01-11 Inventio Ag Método de informação de comando, sistema de informação de comando e meio de armazenamento
US20140181105A1 (en) * 2012-12-22 2014-06-26 Continental Automotive Systems, Inc. Vehicle point and select
US9176588B2 (en) * 2013-01-14 2015-11-03 Maxm Integrated Products, Inc. System and method for discerning complex gestures using an array of optical sensors
US20140320629A1 (en) 2013-01-24 2014-10-30 University Of Washington Through Its Center For Commericialization Haptically-Enabled Co-Robotics for Underwater Tasks
WO2014122357A1 (en) 2013-02-07 2014-08-14 Kone Corporation Personalization of an elevator service
DE102013002280A1 (de) 2013-02-08 2014-08-14 Audi Ag Verfahren zum Betreiben einer Anzeigevorrichtung eines Kraftwagens sowie Kraftwagen mit einer solchen Anzeigevorrichtung
US8744645B1 (en) 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
CN105579319B (zh) * 2013-03-12 2018-02-16 罗伯特·博世有限公司 用于识别车载信息系统中的手写手势的系统和方法
CN104049872B (zh) * 2013-03-13 2018-01-05 本田技研工业株式会社 利用指向的信息查询
US9122916B2 (en) 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
US9704350B1 (en) 2013-03-14 2017-07-11 Harmonix Music Systems, Inc. Musical combat game
US8886399B2 (en) * 2013-03-15 2014-11-11 Honda Motor Co., Ltd. System and method for controlling a vehicle user interface based on gesture angle
US8818716B1 (en) 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
FR3003842B1 (fr) * 2013-03-26 2016-03-11 Airbus Operations Sas Dispositif de dialogue par gestuelles pour un poste de pilotage.
US9069415B2 (en) * 2013-04-22 2015-06-30 Fuji Xerox Co., Ltd. Systems and methods for finger pose estimation on touchscreen devices
US20140358332A1 (en) * 2013-06-03 2014-12-04 Gulfstream Aerospace Corporation Methods and systems for controlling an aircraft
US9387824B2 (en) 2013-09-17 2016-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
US9902266B2 (en) 2013-09-17 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with personal convenience reminders
US20150081133A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Gesture-based system enabling children to control some vehicle functions in a vehicle
US9807196B2 (en) 2013-09-17 2017-10-31 Toyota Motor Sales, U.S.A. Automated social network interaction system for a vehicle
US9760698B2 (en) 2013-09-17 2017-09-12 Toyota Motor Sales, U.S.A., Inc. Integrated wearable article for interactive vehicle control system
US9400564B2 (en) 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
US9340155B2 (en) 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
US10216892B2 (en) 2013-10-01 2019-02-26 Honda Motor Co., Ltd. System and method for interactive vehicle design utilizing performance simulation and prediction in execution of tasks
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US9451434B2 (en) 2013-11-27 2016-09-20 At&T Intellectual Property I, L.P. Direct interaction between a user and a communication network
AT514926B1 (de) * 2013-12-10 2015-05-15 Joanneum Res Forschungsgmbh Sitzmöbel mit berührungsloser Abtastung der Fingerbewegungen des darin sitzenden Operators zur Steuerung von elektrischen und elektronischen Geräten
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US20150185858A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara System and method of plane field activation for a gesture-based control system
JP6553052B2 (ja) 2014-01-03 2019-07-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ジェスチャ相互作用式の装着可能な空間オーディオシステム
KR20150087544A (ko) 2014-01-22 2015-07-30 엘지이노텍 주식회사 제스처 장치, 그 동작 방법 및 이를 구비한 차량
US10198696B2 (en) * 2014-02-04 2019-02-05 GM Global Technology Operations LLC Apparatus and methods for converting user input accurately to a particular system function
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
EP3114677B1 (en) 2014-03-03 2020-08-05 University of Washington Haptic virtual fixture tools
US10466657B2 (en) 2014-04-03 2019-11-05 Honda Motor Co., Ltd. Systems and methods for global adaptation of an implicit gesture control system
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9342797B2 (en) 2014-04-03 2016-05-17 Honda Motor Co., Ltd. Systems and methods for the detection of implicit gestures
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US10406967B2 (en) 2014-04-29 2019-09-10 Chia Ming Chen Light control systems and methods
US9429398B2 (en) 2014-05-21 2016-08-30 Universal City Studios Llc Optical tracking for controlling pyrotechnic show elements
US10025990B2 (en) 2014-05-21 2018-07-17 Universal City Studios Llc System and method for tracking vehicles in parking structures and intersections
US9616350B2 (en) * 2014-05-21 2017-04-11 Universal City Studios Llc Enhanced interactivity in an amusement park environment using passive tracking elements
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9433870B2 (en) * 2014-05-21 2016-09-06 Universal City Studios Llc Ride vehicle tracking and control system using passive tracking elements
US9600999B2 (en) 2014-05-21 2017-03-21 Universal City Studios Llc Amusement park element tracking system
US10061058B2 (en) 2014-05-21 2018-08-28 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
JP6494926B2 (ja) * 2014-05-28 2019-04-03 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10936050B2 (en) 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9710711B2 (en) * 2014-06-26 2017-07-18 Adidas Ag Athletic activity heads up display systems and methods
EP3165993B1 (en) * 2014-06-30 2020-05-06 Clarion Co., Ltd. Non-contact operation detection device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
KR101628482B1 (ko) * 2014-09-18 2016-06-21 현대자동차주식회사 무선신호 분석을 통한 동작 인식 시스템 및 그 방법
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
FR3026502A1 (fr) * 2014-09-30 2016-04-01 Valeo Comfort & Driving Assistance Systeme et procede de commande d'un equipement d'un vehicule automobile
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
DE202015105611U1 (de) * 2014-10-22 2015-11-09 Visteon Global Technologies, Inc. Vorrichtung zur Gestensteuerung in einem Fahrzeug
DE102014017179B4 (de) * 2014-11-20 2022-10-06 Audi Ag Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste
US10146317B2 (en) 2014-12-12 2018-12-04 Ford Global Technologies, Llc Vehicle accessory operation based on motion tracking
US10452195B2 (en) 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
WO2016108502A1 (en) * 2014-12-30 2016-07-07 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
US9550406B2 (en) 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US9866163B2 (en) 2015-03-16 2018-01-09 Thunder Power New Energy Vehicle Development Company Limited Method for controlling operating speed and torque of electric motor
US9586618B2 (en) 2015-03-16 2017-03-07 Thunder Power Hong Kong Ltd. Vehicle control system for controlling steering of vehicle
US9539988B2 (en) 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
WO2016168591A1 (en) * 2015-04-16 2016-10-20 Robert Bosch Gmbh System and method for automated sign language recognition
KR102011992B1 (ko) * 2015-04-30 2019-08-19 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
CN111880650A (zh) 2015-04-30 2020-11-03 谷歌有限责任公司 基于宽场雷达的手势识别
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US9809231B2 (en) * 2015-10-28 2017-11-07 Honda Motor Co., Ltd. System and method for executing gesture based control of a vehicle system
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
US20170193289A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
US10599324B2 (en) * 2015-12-31 2020-03-24 Microsoft Technology Licensing, Llc Hand gesture API using finite state machine and gesture language discrete values
US10310618B2 (en) 2015-12-31 2019-06-04 Microsoft Technology Licensing, Llc Gestures visual builder tool
WO2017124481A1 (zh) * 2016-01-23 2017-07-27 刘建兵 根据手势调节座椅的方法以及手势系统
US10860872B2 (en) 2016-03-21 2020-12-08 Ford Global Technologies, Llc Virtual vehicle occupant rendering
WO2017187795A1 (ja) * 2016-04-28 2017-11-02 ソニー株式会社 制御装置、制御方法及び手術システム
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
WO2017200949A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive fabric
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US20180012197A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
US10031523B2 (en) 2016-11-07 2018-07-24 Nio Usa, Inc. Method and system for behavioral sharing in autonomous vehicles
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
JP6712545B2 (ja) * 2016-12-19 2020-06-24 日立オートモティブシステムズ株式会社 電子制御装置、電子制御システム、及び電子制御方法
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
JP6820533B2 (ja) 2017-02-16 2021-01-27 パナソニックＩｐマネジメント株式会社 推定装置、学習装置、推定方法、及び推定プログラム
FR3063557B1 (fr) 2017-03-03 2022-01-14 Valeo Comfort & Driving Assistance Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
EP3409553B1 (en) * 2017-06-01 2021-08-04 Honda Research Institute Europe GmbH System and method for automated execution of a maneuver or behavior of a system
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
KR102041965B1 (ko) * 2017-12-26 2019-11-27 엘지전자 주식회사 차량에 구비된 디스플레이 장치
CN111417957B (zh) * 2018-01-03 2023-10-27 索尼半导体解决方案公司 使用移动装置的姿势识别
DE102018201897A1 (de) 2018-02-07 2019-08-08 Ford Global Technologies, Llc Verfahren zum Betrieb eines selbstfahrenden Kraftfahrzeugs
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
DE102018214784A1 (de) * 2018-08-30 2020-03-05 Audi Ag Verfahren zum Darstellen mindestens eines Zusatzanzeigeinhalts
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
KR102393774B1 (ko) * 2018-10-08 2022-05-03 에스케이텔레콤 주식회사 음성 인식 장치 및 그 제어방법
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
CN113165515B (zh) 2018-11-28 2021-11-02 内奥诺德公司 驾驶员用户界面传感器
CN109785655B (zh) * 2018-12-11 2020-09-29 北京百度网讯科技有限公司 车辆控制方法、装置、设备、无人驾驶车辆及存储介质
CN110276292B (zh) * 2019-06-19 2021-09-10 上海商汤智能科技有限公司 智能车运动控制方法及装置、设备和存储介质
EP3809237A1 (en) * 2019-10-17 2021-04-21 BAE SYSTEMS plc User-vehicle interface
WO2021044116A1 (en) 2019-09-06 2021-03-11 Bae Systems Plc User-vehicle interface
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11567492B2 (en) 2020-01-17 2023-01-31 Zimeno, Inc. Vehicle control by a remote operator
CN115023732A (zh) * 2020-02-06 2022-09-06 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN111645701B (zh) * 2020-04-30 2022-12-06 长城汽车股份有限公司 一种车辆控制方法、装置及系统
US11305964B2 (en) 2020-07-15 2022-04-19 Leandre Adifon Systems and methods for operation of elevators and other devices
US20220073316A1 (en) 2020-07-15 2022-03-10 Leandre Adifon Systems and methods for operation of elevators and other devices
EP4083757A1 (en) * 2020-10-19 2022-11-02 ameria AG Touchless input interface for an electronic display using multiple sensors
US20220202493A1 (en) * 2020-12-30 2022-06-30 Novarad Corporation Alignment of Medical Images in Augmented Reality Displays
US11960644B2 (en) 2021-08-05 2024-04-16 Rockwell Collins, Inc. System and method for gaze and pose detection to anticipate operator intent
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065291A1 (en) * 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
EP0450196B1 (en) * 1990-04-02 1998-09-09 Koninklijke Philips Electronics N.V. Data processing system using gesture-based input data
US5139747A (en) * 1991-01-14 1992-08-18 Semi-Gas Systems, Inc. Gas filter-purifier
JP3244798B2 (ja) * 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JPH07282235A (ja) * 1994-04-15 1995-10-27 Matsushita Electric Ind Co Ltd 動作認識装置
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
DE69626208T2 (de) * 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6807583B2 (en) * 1997-09-24 2004-10-19 Carleton University Method of determining causal connections between events recorded during process execution
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
JP4565200B2 (ja) * 1998-09-28 2010-10-20 パナソニック株式会社 手動作分節方法および装置
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
DE10007891C2 (de) * 2000-02-21 2002-11-21 Siemens Ag Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
US20080122799A1 (en) * 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US6554166B2 (en) * 2000-03-14 2003-04-29 Hitachi Metals, Ltd. Apparatus for producing fine metal balls
US7109970B1 (en) * 2000-07-01 2006-09-19 Miller Stephen S Apparatus for remotely controlling computers and other electronic appliances/devices using a combination of voice commands and finger movements
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6703999B1 (en) * 2000-11-13 2004-03-09 Toyota Jidosha Kabushiki Kaisha System for computer user interface
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US20020186200A1 (en) * 2001-06-08 2002-12-12 David Green Method and apparatus for human interface with a computer
US20040125076A1 (en) * 2001-06-08 2004-07-01 David Green Method and apparatus for human interface with a computer
US7151246B2 (en) * 2001-07-06 2006-12-19 Palantyr Research, Llc Imaging system and methodology
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2003141547A (ja) * 2001-10-31 2003-05-16 Matsushita Electric Ind Co Ltd 手話翻訳装置および手話翻訳方法
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7991920B2 (en) * 2002-12-18 2011-08-02 Xerox Corporation System and method for controlling information output devices
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP4565445B2 (ja) * 2004-03-18 2010-10-20 国立大学法人 奈良先端科学技術大学院大学 顔情報計測システム
US7555613B2 (en) * 2004-05-11 2009-06-30 Broadcom Corporation Storage access prioritization using a data storage device
US7379563B2 (en) * 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP5080273B2 (ja) * 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
JP2008537190A (ja) * 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
US7853041B2 (en) * 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
US7966353B2 (en) * 2005-01-31 2011-06-21 Broadcom Corporation Method and system for flexibly providing shared access to non-data pool file systems
KR100960577B1 (ko) * 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
RU2007146172A (ru) * 2005-05-17 2009-06-27 Гестуретэк, Инк. (Us) Вывод сигнала, чувствительный к ориентации
US7428542B1 (en) * 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
EP2104905A4 (en) * 2006-12-29 2010-12-29 Gesturetek Inc MANIPULATION OF VIRTUAL OBJECTS USING AN EXTENDED INTERACTIVE SYSTEM
US8116518B2 (en) * 2007-02-15 2012-02-14 Qualcomm Incorporated Enhanced input using flashing electromagnetic radiation
EP2115497A2 (en) * 2007-02-23 2009-11-11 GestureTek, Inc. Enhanced single-sensor position detection
WO2008134745A1 (en) * 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
EP2191397B1 (en) * 2007-08-20 2019-01-23 Qualcomm Incorporated Enhanced rejection of out-of-vocabulary words
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
WO2009042579A1 (en) * 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065291A1 (en) * 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components

Also Published As

Publication number Publication date
CN102112945A (zh) 2011-06-29
WO2009155465A1 (en) 2009-12-23
EP2304527A4 (en) 2013-03-27
US20090278915A1 (en) 2009-11-12
CN102112945B (zh) 2016-08-10
JP6116064B2 (ja) 2017-04-19
KR20110022057A (ko) 2011-03-04
JP2011525283A (ja) 2011-09-15
JP2014221636A (ja) 2014-11-27
EP2304527A1 (en) 2011-04-06

Similar Documents

Publication Publication Date Title
KR101652535B1 (ko) 차량 인터페이스를 위한 제스처 기반 제어 시스템
KR100960577B1 (ko) 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US20180136734A1 (en) Spatial, multi-modal control device for use with spatial operating system
US8941588B2 (en) Fast fingertip detection for initializing a vision-based hand tracker
KR101705924B1 (ko) 공간 운영 시스템을 위한 공간, 다중-모드 제어 장치
KR101616591B1 (ko) 데이터의 공간의 주요 치수를 항해하기 위한 제어 시스템
KR101550478B1 (ko) 확장된 피사계심도에 걸쳐 추출된 3차원 정보를 이용하는 제스처 기반 제어 시스템 및 방법
CN116097209A (zh) 人工现实交互模式的整合
CN1714388A (zh) 以身体为中心的虚拟交互设备与方法
KR20140068855A (ko) 공간 입력 장치를 위한 적응적 추적 시스템
JP5788853B2 (ja) ジェスチャベースの制御システムのためのシステムおよび方法
Raees et al. Thumb inclination-based manipulation and exploration, a machine learning based interaction technique for virtual environments
Millan et al. Gesture-based control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant