KR101627199B1 - 무접촉 제스쳐 인식 및 전력 감소를 위한 방법들 및 장치 - Google Patents

무접촉 제스쳐 인식 및 전력 감소를 위한 방법들 및 장치 Download PDF

Info

Publication number
KR101627199B1
KR101627199B1 KR1020137001195A KR20137001195A KR101627199B1 KR 101627199 B1 KR101627199 B1 KR 101627199B1 KR 1020137001195 A KR1020137001195 A KR 1020137001195A KR 20137001195 A KR20137001195 A KR 20137001195A KR 101627199 B1 KR101627199 B1 KR 101627199B1
Authority
KR
South Korea
Prior art keywords
sensor
gesture
computing device
sensor data
data associated
Prior art date
Application number
KR1020137001195A
Other languages
English (en)
Other versions
KR20130043159A (ko
Inventor
안 엠. 첸
헹-트제 쳉
아슈 라즈단
엘리어트 비. 불러
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130043159A publication Critical patent/KR20130043159A/ko
Application granted granted Critical
Publication of KR101627199B1 publication Critical patent/KR101627199B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

컴퓨팅 디바이스, 이를 테면 모바일 컴퓨팅 디바이스에 대한 무접촉 제스쳐 인식을 실시하기 위한 시스템들 및 방법들이 기술된다. 본원에 기술된 컴퓨팅 디바이스를 위한 제스쳐-기반 입력 메커니즘을 관리하기 위한 예시적인 기술은, 제스쳐-기반 입력 메커니즘에 의해 수행된 제스쳐 분류의 정확도와 관련되는 컴퓨팅 디바이스의 파라미터들을 식별하는 것 및 컴퓨팅 디바이스의 파라미터들에 기초하여 제스쳐-기반 입력 메커니즘의 적외선(IR) 발광 다이오드(LED) 또는 IR 근접 센서의 전력 소모 레벨을 관리하는 것을 포함한다.

Description

무접촉 제스쳐 인식 및 전력 감소를 위한 방법들 및 장치{METHODS AND APPARATUS FOR CONTACTLESS GESTURE RECOGNITION AND POWER REDUCTION}
관련 출원들의 상호-참조들
본 출원은, 2010년 6월 17일 출원되고 명칭이 "METHODS AND APPARATUS FOR CONTACTLESS GESTURE RECOGNITION"이고 대리인 관리 번호 제102222P1호인 미국 가특허 출원 제61/355,923호, 및 2010년 8월 10일 출원되고 명칭이 "CONTACTLESS GESTURE RECOGNITION SYSTEM USING PROXIMITY SENSORS"인 미국 가특허 출원 제61/372,177호에 대해 우선권을 주장하며, 이에 의해 상기 출원 모두는 모든 목적들을 위해 인용에 의해 본원에 포함된다.
무선 통신 기술의 진전들은 오늘날의 무선 통신 디바이스들의 다재다능성을 크게 증가시켰다. 이들 진전들은 무선 통신 디바이스들이 단순한 모바일 전화기들 및 호출기들로부터, 멀티미디어 기록 및 재생(play back), 이벤트 스케줄링, 워드 프로세싱, e-커머스 등과 같은 매우 다양한 기능이 가능한 정교한 컴퓨팅 디바이스들로 진화할 수 있게 하고 있다. 그 결과, 오늘날의 무선 통신 디바이스들의 사용자들은, 흔히 다수의 디바이스들이거나 또는 대형인 비휴대성 장비 중 어느 하나를 요구하는 광범위한 작업들을 하나의 휴대용 디바이스에서 수행하는 것이 가능하다.
무선 통신 디바이스들의 정교화(sophistication)가 증가됨에 따라, 이러한 디바이스들에 입력을 제공하기 위한 더욱 강건하고 직관적인 메커니즘들에 대한 요구가 존재한다. 무선 통신 디바이스들의 기능성이 상당히 확장되는 동안, 이들 디바이스들과 연관된 사이즈 제약들은 종래의 컴퓨팅 시스템들과 연관된 많은 입력 디바이스들, 이를 테면 키보드들, 마우스들 등을 비실용적이게 만든다.
무선 통신 디바이스들의 폼 팩터 한계들을 극복하기 위해서, 일부 종래의 디바이스들은 사용자로 하여금 모션들 또는 제스쳐들을 통해 디바이스에 입력들을 제공할 수 있게 하기 위한 제스쳐 인식 메커니즘들을 사용한다. 종래의 제스쳐 인식 메커니즘들은 다양한 카테고리들로 분류될 수 있다. 모션-기반 제스쳐 인식 시스템들은 사용자가 지니고 있는 외부 제어기의 움직임에 기초하여 제스쳐들을 해석한다. 터치-기반 시스템들은 터치패드, 터치스크린, 또는 이와 유사한것 상의 접촉 포인트(들)의 위치(들)를 맵핑하는데, 이것으로부터 맵핑된 위치(들)에 대한 변경들에 기초하여 제스쳐들이 해석된다. 비전-기반(vision-based) 제스쳐 인식 시스템들은 사용자가 행한 시각적 제스쳐들을 식별하기 위해 카메라 및/또는 컴퓨터 비전 시스템을 사용한다.
본 개시물에 따른 예시적인 모바일 컴퓨팅 디바이스는 디바이스 케이싱(casing); 3차원적 사용자 움직임들과 관련한 데이터를 획득하도록 구성된 센서 시스템－센서 시스템은 적외선(IR) 발광 다이오드(LED) 및 IR 근접 센서를 포함함－; 센서 시스템에 통신가능하게 결합되고, 그리고 3차원적 사용자 움직임들과 관련한 데이터에 기초하여 디바이스로 제공되는 입력 제스쳐를 식별하도록 구성되는, 제스쳐 인식 모듈; 및 센서 시스템에 통신가능하게 결합되고 그리고 센서 시스템에 의해 획득된 3차원적 사용자 움직임들과 관련한 데이터의 명확성 및 제스쳐 인식 모듈에 의한 입력 제스쳐의 정확한 식별의 확률을 나타내는 디바이스의 특성들을 식별하고 그리고 디바이스의 특성들에 기초하여 센서 시스템의 IR LED 또는 IR 근접 센서 중 적어도 하나의 전력 소모를 조절하도록 구성되는, 센서 제어기 모듈을 포함한다.
이러한 모바일 컴퓨팅 디바이스 구현들은 하나 또는 그 초과의 다음 특징들을 포함할 수 있다. 주변 광 센서는 센서 제어기 모듈에 통신가능하게 결합되고 그리고 디바이스가 위치되는 영역의 주변 광 레벨을 식별하도록 구성되고, 센서 제어기 모듈은 주변 광 레벨에 따라서 IR LED의 전력 레벨을 조정하도록 추가로 구성된다. 액티비티 모니터 모듈은 센서 제어기 모듈에 통신가능하게 결합되고 그리고 디바이스에 대한 사용자 액티비티의 레벨을 결정하도록 구성되고, 여기서 센서 제어기 모듈은 사용자 액티비티의 레벨에 따라 센서 시스템의 전력 소모를 조절하도록 추가로 구성된다.
이러한 모바일 컴퓨팅 디바이스의 구현들은 추가적으로 또는 대안적으로 다음 특징들 중 하나 또는 그 초과의 것을 포함할 수 있다. 센서 제어기 모듈은 사용자 액티비티의 레벨이 미리정의된 임계치 미만인 것으로 결정되는 경우 센서 시스템을 슬롯 동작 모드(slotted operating mode)에 두도록 추가적으로 구성된다. 센서 시스템의 IR LED들 및 IR 근접 센서들이 디바이스 케이싱의 적어도 2개의 전면-대향 에지들 상에 위치되고, 디바이스의 특성들은 디바이스의 배향을 포함하고, 그리고 센서 제어기 모듈은 디바이스의 배향에 기초하여 디바이스 케이싱의 적어도 하나의 전면-대향 에지에 위치되는 IR LED들 및 IR 근접 센서들을 선택적으로 활성화시키도록 추가로 구성된다. 디바이스 케이싱은 디바이스 케이싱의 적어도 하나의 전면-대향 에지를 따라 위치되고 IR 투과성 재료로 커버되는 개구들을 제공하고, 센서 시스템의 IR LED 또는 IR 근접 센서 중 하나는 디바이스 케이싱에 의해 제공되는 개구들 각각의 뒤에 위치된다. 센서 시스템의 IR LED 및 IR 근접 센서는 디바이스 케이싱 내부에 위치되고, 센서 시스템은 IR LED 및 IR 근접 센서에 각각 결합된 라이저들(risers)을 더 포함하여 IR LED 및 IR 근접 센서가 라이저들만큼 디바이스의 표면을 향하여 상승된다.
또한, 이러한 모바일 컴퓨팅 디바이스의 구현들이 추가적으로 또는 대안적으로 다음 특징들 중 하나 또는 그 초과의 것을 포함할 수 있다. 프레이밍(framing) 모듈은 센서 시스템에 통신가능하게 결합되고 그리고 센서 시스템에 의해 획득된 데이터를 프레임 간격들로 파티셔닝하도록 구성되고, 특징 추출(feature extraction) 모듈은 프레이밍 모듈 및 센서 시스템에 통신가능하게 결합되고, 그리고 센서 시스템에 의해 획득된 데이터로부터 특징들을 추출하도록 구성되며, 여기서 제스쳐 인식 모듈은 프레이밍 모듈 및 특징 추출 모듈에 통신가능하게 결합되고, 그리고 센서 시스템에 의해 획득된 데이터로부터 추출된 특징들에 기초하여 프레임 간격들의 각각의 프레임 간격들에 대응하는 입력 제스쳐들을 식별하도록 구성된다. 제스쳐 인식 모듈은 교차 상관, 선형 회귀 또는 신호 통계 중 적어도 하나에 기초하여 입력 제스쳐들을 식별하도록 추가로 구성된다. 센서 시스템은 복수의 움직이는 오브젝트들에 관하여 3차원적 사용자 움직임들과 관련되는 데이터를 획득하도록 구성된다.
본 개시물에 따른 컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법의 예는 제스쳐-기반 입력 메커니즘에 의해 수행된 제스쳐 분류의 정확도와 관련되는 컴퓨팅 디바이스의 파라미터들을 식별하는 단계, 및 컴퓨팅 디바이스의 파라미터들에 기초한 제스쳐-기반 입력 메커니즘의 적어도 IR LED 또는 IR 근접 센서의 전력 소모 레벨을 관리하는 단계를 포함한다.
이러한 방법의 구현들은 다음 특징들 중 하나 또는 그 초과의 것을 포함할 수 있다. 식별하는 단계는 컴퓨팅 디바이스와 연관된 영역의 주변 광 레벨을 식별하는 단계를 포함하고 그리고 관리하는 단계는 주변 광 레벨에 따라서 IR LED의 전력 레벨을 조정하는 단계를 포함한다. 식별하는 단계는 제스쳐-기반 입력 메커니즘을 통해 컴퓨팅 디바이스와의 사용자 상호작용의 레벨을 결정하는 단계를 포함하고 그리고 관리하는 단계는 사용자 상호작용의 레벨을 임계치와 비교하는 단계 및 사용자 상호작용의 레벨이 임계치 미만인 경우 제스쳐-기반 입력 메커니즘을 절전 모드에 두는 단계를 포함한다. 식별하는 단계는 컴퓨팅 디바이스의 배향을 식별하는 단계를 포함하고 그리고 관리하는 단계는 컴퓨팅 디바이스의 배향에 기초하여 IR LED 또는 IR 근접 센서를 활성화 또는 비활성화하는 단계를 포함한다. 이 방법은 제스쳐-기반 입력 메커니즘으로부터 센서 데이터를 획득하는 단계, 센서 데이터를 시간적으로 파티셔닝함으로써 각각의 프레임 간격들을 획득하는 단계, 및 센서 데이터로부터 특징들을 추출하는 단계, 및 센서 데이터로부터 추출된 특징들에 기초하여 프레임 간격들의 각각의 프레임 간격들에서 나타내어진 제스쳐들을 분류하는 단계를 더 포함한다. 분류하는 단계는 교차 상관, 선형 회귀 또는 신호 통계 중 적어도 하나에 기초하여 프레임 간격들 중 각각의 프레임 간격들에서 나타내어진 제스쳐들을 분류하는 단계를 포함한다. 획득하는 단계는 복수의 움직이는 오브젝트들과 관련되는 센서 데이터를 획득하는 단계를 포함한다.
본 개시물에 따른 다른 모바일 컴퓨팅 디바이스의 예는 디바이스와의 사용자 상호작용과 관련되는 적외선(IR) 광-기반 근접 센서 데이터를 획득하도록 구성되는 센서 수단, 센서 수단에 통신가능하게 결합되고 그리고 근접 센서 데이터에 나타내어지는 입력 제스쳐들을 식별함으로써 근접 센서 데이터를 분류하도록 구성되는 제스쳐 수단, 및 센서 수단에 통신가능하게 결합되고 그리고 디바이스의 특성들을 식별하고 그리고 디바이스의 특성들에 기초하여 센서 수단의 적어도 일부의 전력 소모를 관리하도록 구성되는 제어기 수단을 포함한다.
이러한 모바일 컴퓨팅 디바이스의 구현들은 다음 특징들 중 하나 또는 그 초과의 것을 포함할 수 있다. 제어기 수단은 디바이스와 연관된 영역에서의 주변 광 레벨을 측정하고 그리고 주변 광 레벨에 기초하여 센서 수단의 적어도 일부의 전력 소모를 조정하도록 추가로 구성된다. 제어기 수단은 디바이스와의 사용자 상호작용의 정도(extent)를 결정하고 그리고 디바이스와의 사용자 상호작용의 정도에 따라 센서 수단의 적어도 일부의 전력 소모를 조정하도록 추가로 구성된다. 제어기 수단은 디바이스와의 사용자 상호작용이 시간 간격 내에서 센서 수단에 의해 식별되지 않았음을 결정할 때 센서 수단을 파워 오프하도록 추가로 구성된다. 제어기 수단은 디바이스와의 사용자 상호작용의 정도가 임계치 미만인 경우 센서 수단을 절전 동작 모드에 두도록 추가로 구성된다. 센서 수단은 복수의 센서 엘리먼트들을 포함하고, 그리고 제어기 수단은 디바이스의 배향에 기초하여 복수의 센서 엘리먼트들 중 하나 또는 그 초과를 선택적으로 활성화시키도록 추가로 구성된다.
본 개시물에 따른 컴퓨터 프로그램 물건의 예는 비일시적 프로세서-판독가능 매체 상에 상주하고 그리고 프로세서-판독가능 명령들을 포함하며, 프로세서-판독가능 명령들은, 프로세서로 하여금, IR LED로부터의 광의 반사를 측정하는 모바일 디바이스와 연관된 IR 근접 센서로부터 3차원적 사용자 움직임 데이터를 획득하게 하고, 3차원적 사용자 움직임 데이터와 연관된 하나 또는 그 초과의 제스쳐들을 검출하게 하고, 3차원적 사용자 움직임 데이터의 정확도를 나타내는 모바일 디바이스의 특성들을 식별하게 하고, 그리고 모바일 디바이스의 특성들에 기초하여 IR LED들 및 IR 근접 센서들의 적어도 일 부분의 전력 사용을 조절하게 하도록 구성된다.
이러한 컴퓨터 프로그램 물건의 구현들은 다음 특징들 중 하나 또는 그 초과의 것을 포함할 수 있다. 모바일 디바이스의 파라미터들은 모바일 디바이스와 연관된 영역에서의 주변 광 레벨을 포함한다. 모바일 디바이스의 파라미터들은 모바일 디바이스와의 사용자 상호작용의 히스토리를 포함한다. 모바일 디바이스의 파라미터들은 모바일 디바이스의 배향을 포함한다. 프로세서로 하여금 하나 또는 그 초과의 제스쳐들을 검출하게 하도록 구성된 명령들은, 프로세서로 하여금 각각의 프레임 시간 간격들에 따라 3차원적 사용자 움직임 데이터를 그룹화하게 하고, 3차원적 사용자 움직임 데이터로부터 특징들을 추출하게 하고, 그리고 3차원적 사용자 움직임 데이터로부터 추출된 특징들에 기초하여 프레임 시간 간격들의 각각의 프레임 시간 간격들 내에 제공되는 입력 제스쳐들을 식별하게 하도록 추가로 구성된다. 프로세서로 하여금 입력 제스쳐들을 식별하게 하도록 구성되는 명령들은, 프로세서로 하여금, 교차 상관, 선형 회귀 또는 신호 통계 중 적어도 하나에 기초하여 입력 제스쳐들을 식별하게 하도록 추가로 구성된다.
본원에 기술된 아이템들 및/또는 기술들은 다음의 능력들 중 하나 또는 그 초과의 것뿐만 아니라 언급되지 않은 다른 능력들을 제공할 수 있다. 무접촉 제스쳐 인식은 근접 센서들을 이용하여 지원될 수 있다. 3차원 제스쳐들은 실시간으로 활용되고 분류될 수 있다. 제스쳐 인식과 연관된 에너지 소모가 감소되고 그리고/또는 더 높은 입도들로 제어될 수 있다. 사용자와 터치 표면 사이의 접촉 빈도가 감소될 수 있으며, 이는 터치 표면의 정상적인 마모를 경감하고 세균(germ) 생성 및 전달을 감소시킨다. 근접 센서들은 연관된 디바이스의 심미성들을 개선하기 위해서 센서-친화적 재료들로 커버될 수 있다. 근접 센서들 및 연관된 방출기(emitter)들은 주변 광으로부터의 간섭, 의도되지 않은 광의 확산, 및 기타의 팩터들에 대해 매우 저항력있게 만들어질 수 있다. 적어도 하나의 아이템/기술-효과 쌍이 설명되었지만, 언급된 효과가 언급된 것 이외의 수단에 의해 달성되는 것이 가능할 수 있고, 언급된 아이템/기술이 반드시 언급된 효과를 산출하지 않을 수 있다.
도 1은 모바일 스테이션의 컴포넌트들의 블록도이다.
도 2는 도 1에 도시된 모바일 스테이션의 부분적 기능 블록도이다.
도 3은 무선 통신 디바이스와 연관된 입력 센서 시스템을 조절하기 위한 시스템의 부분적 기능 블록도이다.
도 4는 제스쳐 인식을 위해 사용된 근접 센서의 그래픽 도면이다.
도 5는 모바일 디바이스와 연관된 제스쳐 인식 메커니즘에 의해 인식되고 해석될 수 있는 예시적인 제스쳐의 그래픽 도면이다.
도 6은 도 1에 도시된 모바일 스테이션의 대안적인 블록도이다.
도 7 내지 도 10은 모바일 디바이스와 연관된 제스쳐 인식 메커니즘에 의해 인식되고 해석될 수 있는 추가적인 예시적 제스쳐들의 그래픽 도면이다.
도 11은 무접촉 제스쳐 인식 시스템의 부분적 기능 블록도이다.
도 12는 무접촉 제스쳐 인식 시스템의 대안적인 부분적 기능 블록도이다.
도 13은 결정 트리-기반(decision tree-based) 제스쳐 분류를 위한 기술을 도시하는 흐름도이다.
도 14는 결정 트리-기반 제스쳐 분류를 위한 대안적인 기술을 도시하는 흐름도이다.
도 15는 모바일 디바이스에 대한 제스쳐 인식 프로세스의 블록 흐름도이다.
도 16은 무접촉 제스쳐 인식을 위해 구현된 근접 센서 구성의 그래픽 도면이다.
도 17은 무접촉 제스쳐 인식 시스템을 위한 대안적인 근접 센서 배치들(placements)의 그래픽 도면이다.
도 18은 무접촉 제스쳐 인식 시스템을 위한 추가적인 대안적 근접 센서 배치의 그래픽 도면이다.
도 19는 무접촉 제스쳐 인식 시스템을 위한 다양한 근접 센서 구성들의 그래픽 도면이다.
도 20은 무접촉 제스쳐 인식 시스템을 관리하는 프로세스의 블록 흐름도이다.
무접촉 제스쳐 인식을 통해 무선 통신 디바이스에 대한 입력들을 관리하기 위한 기술들이 본원에 기술된다. 무접촉 제스쳐 인식 시스템은 손 제스쳐들의 검출 및 인식을 위해 적외선(IR) 발광기들 및 IR 근접 센서들을 사용한다. 시스템은 실질적으로 실시간 방식으로 3차원 제스쳐들을 인식, 추출 및 분류하는데, 이는 사용자와 모바일 디바이스 간의 직관적 상호작용을 가능하게 한다. 시스템을 제스쳐 인터페이스로서 사용하여, 사용자는 어떠한 추가적인 디바이스들을 터치, 착용 또는 지니고 있지 않고도 직관적인 손 제스쳐들을 이용하여 모바일 디바이스에서 e-북 페이지들을 넘겨서 보고, 웹 페이지들을 스크롤링하고, 줌 인과 줌 아웃을 하고, 게임들을 플레잉하는 것과 같은 그러한 동작들을 수행할 수 있다. 또한, 본원에 기재된 기술들은 사용자가 모바일 디바이스와 접촉하는 빈도를 감소시켜 디바이스 표면이 마모되는 것을 완화한다. 추가적으로, 주변 광 조건들, 애플리케이션들의 실행, 예상된 사용자 입력들의 존재 또는 부재, 또는 무접촉 제스쳐 인식이 사용되는 모바일 디바이스와 관련된 다른 파라미터들에 기초하여 IR 방출기들 및/또는 근접 센서들의 동작을 제어함으로써 제스쳐 인식과 연관된 전력 소모를 감소시키기 위한 기술들이 기재된다. 이들 기술들은 단지 예들일뿐이고 본 개시물 또는 청구항들을 제한하지 않는다.
도 1을 참조하면, 디바이스(10)(예를 들어, 모바일 디바이스 또는 다른 적절한 컴퓨팅 디바이스)는 프로세서(12), 소프트웨어(16)를 포함하는 메모리(14), 입력/출력 디바이스들(18)(예를 들어, 디스플레이, 스피커, 키패드, 터치스크린 또는 터치패드 등) 및 하나 또는 그 초과의 센서 시스템들(20)을 포함하는 컴퓨터 시스템을 포함한다. 여기서, 프로세서(12)는 지능적인 하드웨어 디바이스, 예를 들어, Intel
Figure 112013004475086-pct00001
Corporation 또는 AMD
Figure 112013004475086-pct00002
에 의해 제조된 것과 같은 중앙 처리 유닛(CPU), 마이크로컨트롤러, 주문형 집적 회로(ASIC) 등이다. 메모리(14)는 랜덤 액세스 메모리(RAM) 및 판독-전용 메모리(ROM)와 같은 비일시적 저장 매체를 포함한다. 추가적으로 또는 대안적으로, 메모리(14)는, 예를 들어, 플로피 디스크, 하드 디스크, CD-ROM, 블루-레이 디스크, 임의의 다른 광학 매체, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 비일시적 매체를 포함하는 비일시적 저장 매체의 하나 또는 그 초과의 물리적 및/또는 유형적 형태들을 포함할 수 있다. 메모리(14)는, 실행되는 경우 프로세서(12)로 하여금 본원에 기술된 다양한 기능들을 실시하게 하도록 구성되는 명령들을 포함하는 컴퓨터-판독가능, 컴퓨터-실행가능 소프트웨어 코드인 소프트웨어(16)를 저장한다. 대안적으로, 소프트웨어(16)는, 프로세서(12)에 의해 직접적으로 실행될 수 있는 것이 아니지만 예를 들어, 컴파일되고 실행되는 경우 컴퓨터로 하여금 기능들을 실시하게 하도록 구성된다.
센서 시스템들(20)은 디바이스(10)에 대한 하나 또는 그 초과의 오브젝트들(예를 들어, 사용자의 손 등)의 근접성뿐만 아니라 이러한 오브젝트들의 근접성의 시간에 따른 변화들과 관련된 데이터를 수집하도록 구성된다. 또한, 도 2를 참조하면, 센서 시스템들(20)은 사용자 제스쳐들을 검출, 인식 및 분류하도록 구성되는 하나 또는 그 초과의 제스쳐 인식 모듈들(24)과 관련하여 사용된다. 검출되고 분류된 제스쳐들이 입력 관리 모듈(26)로 제공되고, 입력 관리 모듈(26)은 이 제스쳐들을, 디바이스(10)와 연관된 다양한 모듈들 또는 시스템들에 의해, I/O 디바이스들(18)로부터 수신된 다른 입력들과 결합하거나 또는 그 입력들과 무관하게 사용되는 기본 커맨드들로 맵핑한다. 예를 들어, 입력 관리 모듈(26)은 애플리케이션들(30), 운영 시스템(32), 통신 모듈들(34), 멀티미디어 모듈들(36) 및/또는 디바이스(10)에 의해 실행된 임의의 다른 적절한 시스템들 또는 모듈들에 대한 입력들을 제어할 수 있다.
센서 제어기 모듈(22)은 디바이스(10)의 파라미터들에 기초하여 센서 시스템들(20)의 동작을 제어하도록 추가적으로 구현된다. 예를 들어, 디바이스 배향, 주변 광 조건들, 사용자 액티비티 등에 기초하여, 센서 제어기 모듈(22)은, 도 3에 도시된 바와 같이, 센서 시스템들(20)의 적어도 일부 및/또는 센서 시스템들(20)의 개별 컴포넌트들(예를 들어, IR 방출기들, IR 센서들 등)의 전력 레벨을 제어할 수 있다. 여기서, 센서 제어기 모듈(22)은 각각의 센서 시스템들(20)의 전력 레벨들을 관리하는 하나 또는 그 초과의 센서 전력 제어 모듈들(40)을 구현한다. 예를 들어, 주변 광 센서(42)는 디바이스(10)의 위치에서 주변 광의 세기를 측정하기 위한 광 센서들 및/또는 다른 메커니즘들을 사용할 수 있다. 센서 전력 제어 모듈(들)(40)은, 예를 들어, 실질적으로 높은 주변 광 레벨들이 검출되는 경우 하나 또는 그 초과의 센서 시스템들(20)의 전력 레벨을 증가시킴으로써 또는 더 낮은 주변 광 레벨들이 검출되는 경우 하나 또는 그 초과의 센서 시스템들(20)의 전력 레벨을 낮춤으로써, 그에 따라 광을 조정하기 위해 이들의 측정치들을 사용할 수 있다.
다른 예로서, 액티비티 모니터(44)는, 일반적으로 디바이스(10) 그리고/또는 센서 시스템들(20)을 경유한 입력을 사용하는, 디바이스(10)에 의해 구현되는 특정한 애플리케이션들(30)의 측면에서 디바이스(10)와의 사용자 상호작용의 정도와 관련된 정보를 수집할 수 있다. 이후, 센서 전력 제어 모듈(들)(40)은 사용자 액티비티 레벨에 따라 센서 시스템들(20)의 전력 레벨을 조정함으로써, 예를 들어, 액티비티가 증가함에 따라 전력을 증가시킴으로써 또는 액티비티가 감소함에 따라 전력을 감소시킴으로써 이 정보를 활용할 수 있다. 사용자가 주어진 양의 시간 내에 센서 시스템들(20)을 경유하여 제스쳐 입력을 제공하지 않는 경우, 하나 또는 그 초과의 제스쳐 인식 애플리케이션들은 디바이스(10)에서 오픈되지 않고, 디바이스(10)는 유휴 모드에서 동작하고, 그리고/또는 다른 트리거링 조건들이 만족되면, 센서 전력 제어 모듈(들)(40)은 추가적으로, 하나 또는 그 초과의 제스쳐 인식 애플리케이션들이 오픈되고 그리고/또는 디바이스(10)와 관련한 사용자 액티비티가 증가할 때까지, 하나 또는 그 초과의 센서 시스템들(20)을 슬롯 모드(slotted mode) 또는 다른 절전 모드에 둘 수 있다.
주변 광 센서(42) 및 액티비티 모니터(44)에 의해 제공된 정보 이외에도, 센서 전력 제어 모듈(들)(40)은 임의의 다른 적절한 파라미터들 또는 메트릭들(metrics)에 기초하여 센서 시스템(들)(20)의 전력 레벨(들)을 조정하도록 동작가능하다. 예를 들어, 디바이스(10)에서 카메라 및/또는 컴퓨터 비전 시스템이 사용될 수 있는데, 이들에 기초하여, 접근하고 있는 사용자가 식별되는 경우 센서 전력 제어 모듈(들)(40)이 센서 시스템들(20)로의 전력을 증가시킬 수 있다. 다른 예로서, 센서 전력 제어 모듈(들)(40)은 (예를 들어, 가속도계, 자이로스코프, 및/또는 다른 배향 감지 디바이스들을 경유하여) 디바이스(10)의 배향을 모니터링하고 그의 배향에 따라 디바이스(10)와 연관된 각각의 센서 시스템들(20)을 활성화 그리고/또는 비활성화할 수 있다. 디바이스(10)의 다른 파라미터들 또한 센서 전력 제어 모듈(들)(40)에 의해 사용가능하다.
센서 시스템들(20)은 디바이스(10)에 대한 제스쳐-기반 인터페이스들의 사용을 인에이블하는데, 이는 사용자들이 커맨드들을 지정하고 컴퓨터들과 상호작용하는 직관적인 방식을 제공한다. 직관적인 사용자 인터페이스는, 보다 많은 사람들에 의한 여러 레벨들의 기술적 능력들의 사용, 그리고 사이즈 및 리소스-제약 디바이스들에 의한 사용을 용이하게 한다.
기존의 제스쳐 인식 시스템들은 3가지 타입들: 모션-기반, 터치-기반, 및 비전-기반 시스템들로 분류될 수 있다. 모션-기반 제스쳐 인식 시스템들은 사용자가 지니고 있는 외부 제어기들의 움직임에 기초하여 제스쳐들을 해석한다. 그러나, 사용자는, 외부 제어기를 지니고 있거나 착용하고 있지 않은 경우, 제스쳐들을 제공할 수 없다. 터치-기반 시스템들은 터치패드, 터치스크린, 또는 이와 유사한 것 상의 접촉 포인트(들)의 위치(들)를 맵핑하고, 그로부터 제스쳐들은 맵핑된 위치(들)로의 변경들에 기초하여 해석된다. 터치-기반 시스템들의 특성으로 인해, 모든 가능한 제스쳐들이 2차원적 터치 표면 내에 한정되기 때문에, 터치-기반 시스템들은 3차원적 제스쳐들을 지원할 수 없다. 또한, 터치-기반 시스템들은 입력을 제공하기 위해서 사용자가 터치 표면에 접촉할 것을 요구하는데, 이는, 사용성(usability)을 감소시키고 터치 표면과 그의 연관된 디바이스의 마모를 증가시킨다. 비전-기반 제스쳐 인식 시스템들은 사용자가 행한 시각적 제스쳐들을 식별하기 위해 카메라 및/또는 컴퓨터 비전 시스템을 사용한다. 비전-기반 시스템들은 사용자가 입력 디바이스에 접촉할 것을 요구하지 않는 반면, 비전-기반 시스템들은 통상적으로 고도의(high) 계산적 복잡성 및 전력 소모와 연관되는데, 이는 테이블릿들 또는 모바일 전화기들과 같은 리소스-제한 모바일 디바이스들에 대해 바람직하지 않다.
본원에 기술된 기술들은 무접촉 제스쳐 인식을 제공한다. 이 기술들은, 손 제스쳐들을 검출, 인식, 및 분류하기 위한 그리고 연관된 컴퓨팅 디바이스 애플리케이션에 의해 예상되는 커맨드(들)로 제스쳐를 맵핑하기 위한 알고리즘들과 함께, IR 광들, 예를 들어, IR 발광 다이오드들(LED들), 및 IR 근접 센서들을 사용한다.
무접촉 제스쳐 인식 시스템의 동작의 개념의 예가 도 4에 도시된다. 다이어그램들(50 및 52)에 도시된 바와 같이, 사용자가 컴퓨팅 디바이스 앞에서 손을 좌측에서 우측으로 이동시켜 "우측 스와이프(right swipe)" 제스쳐를 실시하고 있다. 이 "우측 스와이프"는 본원에 추가적으로 설명되는 바와 같이, 예를 들어, e-판독기 애플리케이션 및/또는 임의의 다른 적절한 동작(들)을 위한 페이지 넘김(page turn)을 나타낼 수 있다.
센서 시스템들(20), 센서 제어기 모듈(22), 및/또는 본원에 설명된 다른 메커니즘들을 포함하는 제스쳐 인식 시스템은 바람직하게는, 반드시 그런 것은 아니지만, 하기의 능력들을 제공할 수 있다. 먼저, 시스템은 제스쳐 경계들을 자동으로 검출할 수 있다. 제스쳐 인식의 공통 과제는 제스쳐의 시작과 종료의 불확실성에 있다. 예를 들어, 사용자는 키를 누르지 않고 제스쳐의 존재를 나타낼 수 있다. 둘째, 제스쳐 인식 시스템은 실질적으로 실시간 방식으로 제스쳐들을 인식하고 분류할 수 있다. 제스쳐 인터페이스는 바람직하게는 반응성이도록 설계되므로 시간 소모적인 후처리가 실시되지 않는다. 셋째, 부정확한 커맨드를 실시하는 것이 일반적으로 커맨드를 실시하지 않는 것(missing)보다 더 나쁘기 때문에, 바람직하게도 오류 알람들이 감소된다. 넷째, 새로운 사용자들을 위한 사용자-의존 모델 트레이닝 프로세스가 사용되지 않는다. 지도 학습이 특정 사용자에 대한 성능을 개선시킬 수 있더라도, 트레이닝 데이터를 수집하는 것은 시간 소모적이며 사용자들에게 바람직하지 않을 수 있다.
도 5는 케이스(64) 아래에 위치되는 IR LED(60)와 근접 센서(62)를 사용하는 센서 시스템(20)의 예증적인 예를 도시한다. 케이스(64)는 유리, 플라스틱 및/또는 다른 적절한 재료로 구성된다. 케이스는, IR 광이 광학 윈도우들(66)을 통해 실질적으로 자유롭게 통과할 수 있도록 구성되는 광학 윈도우들(66)을 포함한다. 광학 윈도우들(66)은, 예를 들어, 케이스(64)와 광학 윈도우들(66) 사이의 균일한 외관을 조장(facilitate)하게 하기 위해서 반투명 또는 그와 다른 광-친화적 페인트, 염료 또는 재료로 커버되거나 또는 투명할 수 있다. 여기서, 실질적으로 최적의 광 방출 및 반사를 제공하기 위해서 IR LED(60) 및 근접 센서(62)가 위치된다. 광-흡수성 재료로 구성된 광학 배리어(68)가 IR LED(60)과 근접 센서(62) 사이에 위치되어 IR LED(60)로부터 근접 센서(62)로의 직접적인 광 유출을 방지한다.
도 5는 IR LED(60)의 광 경로에 근접하게 있는 오브젝트(예를 들어, 손)를 추가적으로 도시하며, 이 오브젝트는 광이 근접 센서(62)로 다시 반사되게 한다. 근접 센서(62)에 의해 검출된 IR 광 에너지가 측정되고, 이에 기초하여 하나 또는 그 초과의 적절한 동작들이 취해진다. 예를 들어, 센서 시스템에 충분히 가깝게 있는 오브젝트가 없는 것으로 결정되는 경우, 측정된 신호 레벨은 미리결정된 임계치(들)를 하회(fall below)하게될 것이고 동작이 기록되지 않는다. 그렇지 않다면, 아래에 더욱 상세하게 설명되는 바와 같이, 동작을 분류하고 그 동작을, 센서 시스템(20)과 연관된 디바이스(10)에 의해 예상된 기본 커맨드들 중 하나로 맵핑하기 위해 추가적인 처리가 실시된다.
센서 시스템(20)은 대안적으로, 시-분할 다중화를 이용하여 2개의 별개의 채널들로서 차례로 IR 스트로브들을 방출하는 2개의 IR LED들(60)을 포함할 수 있다. 오브젝트(70)가 센서 시스템(20)에 가까이 있을 경우, 근접 센서(62)는 IR 광의 반사를 검출하는데, IR 광의 세기는 오브젝트 거리가 감소함에 따라 증가한다. 2개의 IR 채널들의 광 세기들은 미리결정된 주파수(예를 들어, 100 Hz)에서 샘플링된다.
도 6은 무접촉 제스쳐 검출 및 인식을 구현하는 디바이스(10)에 의해 구현될 수 있는 다양한 컴포넌트들을 도시한다. 디바이스(10)는 기본 관리 기능을 다수의 주변 서브시스템들에 제공하는 주변 인터페이스(100)를 포함한다. 이들 서브시스템들은 근접 센싱 서브시스템(110)뿐만 아니라 I/O 서브시스템(120)을 포함하는데, 근접 센싱 서브시스템(110)은 근접 센서 제어기(112) 및 하나 또는 그 초과의 근접 센서들(62)을 포함하고, I/O 서브시스템(120)은 디스플레이 제어기(122) 및 다른 입력 제어기들(124)을 포함한다. 디스플레이 제어기(122)는 디스플레이 시스템(126)을 제어하도록 동작가능한 반면 다른 입력 제어기들(124)은 다양한 입력 디바이스들(128)을 관리하는 데에 사용된다. 주변 인터페이스(100)는 IR LED 제어기(130)(하나 또는 그 초과의 IR LED들(60)을 제어함), 주변 광 센서(42), 오디오 회로(132)(마이크로폰(134) 및/또는 스피커(136)를 제어하는 데에 사용됨) 및/또는 다른 디바이스들 또는 서브시스템들을 추가적으로 관리한다. 주변 인터페이스는 데이터 버스(140)를 경유하여 프로세서(12) 및 제어기(142)에 결합된다. 제어기는 도 6에 도시된 하드웨어 컴포넌트들과, 다양한 소프트웨어 및/또는 펌웨어 모듈들(운영 시스템(32), 통신 모듈(36), 제스쳐 인식 모듈(144) 및 애플리케이션들(30)을 포함함) 사이에서 중재자로서의 역할을 한다.
디바이스(10)에 관한 각각의 기본 커맨드들을 활성화하기 위한 방법들로서 디바이스(10)의 사용자에 의해 다수의 직관적인 손 제스쳐들이 사용될 수 있다. 사용될 수 있는 통상적인 손 제스쳐들의 예들은 다음과 같다. 그러나, 다음의 예시적인 제스쳐들은 총망라한 리스트가 아니며 다른 제스쳐들이 가능하다. 사용자의 손을 디바이스(10) 우측 상부에 두고 제스쳐를 시작하여 디바이스(10) 위에서 우측에서 좌측으로 손을 빠르게 이동시킴으로써 (예를 들어, 마치 책의 페이지들을 넘기는 것처럼) 스와이프 좌측 제스쳐가 수행될 수 있다. 예를 들어, 문서들을 볼 때의 페이지 포워드 또는 페이지 다운 동작, 우측으로의 디스플레이 패닝(panning) 등을 위해 스와이프 좌측 제스쳐가 사용될 수 있다. 스와이프 우측 제스쳐는 사용자의 손을 반대 방향으로 이동시킴으로써 수행될 수 있고, 예를 들어, 문서에서의 페이지 백워드 또는 페이지 업 동작들, 디스플레이 패닝, 또는 이와 유사한 것을 위해 사용될 수 있다.
사용자의 손을 디바이스(10) 하부측(bottom) 상부에 두고 제스쳐를 시작하여 디바이스(10) 위에서 손을 디바이스(10)의 하부에서 상부로 빠르게 이동시킴으로써 (예를 들어, 마치 클립보드에서 페이지들을 넘기는 것처럼) 스와이프 업 제스쳐가 수행될 수 있다. 스와이프 업 제스쳐는 예를 들어, 디스플레이를 위쪽으로 패닝하는 것 등을 위해 사용될 수 있다. 사용자의 손을 반대 방향으로 이동시킴으로써 수행될 수 있는 스와이프 다운 제스쳐는 디스플레이를 아래쪽으로 패닝하기 위해 그리고/또는 다른 적절한 동작들을 위해 사용될 수 있다. 추가적으로, 사용자의 손을 수직으로 아래로 그리고 다비이스(10)를 향하게 빠르게 이동시킴으로써 수행될 수 있는 푸쉬(push) 제스쳐, 및 사용자의 손을 수직으로 위로 그리고 디바이스(10)에서 멀어지게 빠르게 이동시킴으로써 수행될 수 있는 풀(pull) 제스쳐는 디스플레이 확대 레벨(예를 들어, 줌 인을 위한 푸쉬, 줌 아웃을 위한 풀 등)을 제어하기 위해 또는 다른 적절한 용도들을 위해 사용될 수 있다.
도 7 내지 도 10은 디바이스(10)에 대한 주어진 커맨드와 연관되어 수행될 수 있는 다양한 손 제스쳐들의 추가적인 도시들을 제공한다. 도 7 내지 도 10에 의해 도시되는 바와 같이, 다수의 손 제스쳐들을 직관적으로 동일한 커맨드로 맵핑할 수 있기 때문에, 2개 이상의 제스쳐가 동일한 기능을 위해 할당될 수 있다. 실행되는 애플리케이션에 따라서, 주어진 커맨드로 맵핑하는 손 제스쳐들 중 하나, 일부 또는 전부가 사용될 수 있다.
도 7과 구체적으로 관련하여, 다이어그램들(300 및 302)은 각각, 상술된 우측 스와이프 및 좌측 스와이프 제스쳐들을 도시한다. 다이어그램(304)은 사용자의 손을 반시계반향 모션으로 회전시킴으로써 수행되는 우측 회전 제스쳐를 도시하는 반면, 다이어그램(306)은 사용자의 손을 시계방향 모션으로 회전시킴으로써 수행되는 좌측 회전 제스쳐를 도시한다. 다이어그램들(308 및 310)은 각각, 상술된 스와이프 다운 및 스와이프 업 제스쳐들을 도시한다. 다이어그램(312)은 사용자의 손을 시계방향 모션으로 이동시킴(즉, 좌측 회전 제스쳐에서와 반대로 사용자의 손을 시계방향으로 회전시킴)으로써 수행되는 재수행(redo) 제스쳐를 도시하고, 다이어그램(314)은 사용자의 손을 반시계반향 모션으로 이동시킴으로써 수행되는 되돌리기(undo) 제스쳐를 도시한다.
도 8에 도시된 것처럼, 도 7에 도시되는 것들과 유사한 제스쳐들은 사용자의 손 전체의 이동을 요구하는 것과는 대조적으로 사용자의 손가락을 이동시킴으로써 수행될 수 있다. 따라서, 다이어그램(316)에 의해 도시되는 우측 스와이프 제스쳐, 다이어그램(318)에 의해 도시되는 좌측 스와이프 제스쳐, 다이어그램(320)에 의해 도시되는 우측 회전 제스쳐, 다이어그램(322)에 의해 도시되는 좌측 회전 제스쳐, 다이어그램(324)에 의해 도시되는 스와이프 다운 제스쳐, 다이어그램(326)에 의해 도시되는 스와이프 업 제스쳐, 다이어그램(328)에 의해 도시되는 재실행 제스쳐 및 다이어그램(330)에 의해 도시되는 되돌리기 제스쳐는, 도 7에 도시된 각각의 대응관계에 있는(counter part) 제스쳐들로 사용자의 손을 이동시키는 방식과 비슷한 방식으로 사용자의 손가락을 이동시킴으로써 수행될 수 있다.
도 9는 줌 인 및 줌 아웃 제스쳐들이 수행될 수 있는 다양한 방법들을 도시한다. 다이어그램(332)은, 줌 아웃 제스쳐가 사용자의 손을 센서 시스템(20)의 앞에 위치시키고 사용자의 손가락들을 밖을 향하여 이동시킴으로써 수행될 수 있다는 것을 도시한다. 역으로, 다이어그램(334)은, 줌 인 제스쳐가 핀칭 모션(pinching motion)으로 사용자의 손가락들을 모음으로써 수행될 수 있다는 것을 도시한다. 다이어그램들(336 및 338)은 줌 인 및/또는 줌 아웃 제스쳐들이 센서 시스템(20) 앞에서 사용자의 손 또는 손가락을 나선형 모션으로 이동시킴으로써 수행될 수 있다는 것을 도시한다. 다이어그램들(340 및 342)은 사용자의 손가락들을 모아(줌 인의 경우) 또는 벌려(줌 아웃의 경우) 이동시킴으로써 주밍(zooming)이 제어될 수 있다는 것을 도시하는 반면, 다이어그램들(344 및 346)은 사용자의 손들을 이동시킴으로써 비슷한 줌인 및 줌 아웃 제스쳐들이 수행될 수 있다는 것을 도시한다. 다이어그램들(332 및 334)에 의해 각각 도시된 줌 아웃 및 줌 인 제스쳐들은 도 10의 다이어그램들(348 및 350)에 의해 각각 도시된 바와 같이, 양손으로 더 확장될 수 있다. 도 10의 다이어그램들(352 및 354)은, 우측 스와이프 및 좌측 스와이프 제스쳐들이 사용자의 손의 옆면(side)이 센서 시스템(20)을 대면하도록 사용자의 손을 센서 시스템(20)을 가로지르게 이동시킴으로써 수행될 수 있다는 것을 추가적으로 도시한다.
센서 시스템(20)의 동작은, 도 11에 도시된 바와 같이, 센싱 서브시스템(150), 신호 처리 서브시스템(156) 및 제스쳐 인식 서브시스템(170)으로 소분할될 수 있다. 센싱 서브시스템(150)은 근접 센싱 엘리먼트(152) 및 주변 광 센싱 엘리먼트(154)를 사용하여 광 방출 및 검출의 기능들을 수행한다. 검출된 광 에너지의 레벨이 신호 처리 서브서스템(156)에 전달되는데, 신호 처리 서브서스템(156)은 데이터 프리프로세서(158)를 경유하여 에너지 레벨을 프런트-엔드 전처리하는 것, 데이터 버퍼(160)를 경유하여 데이터를 버퍼링하는 것, 프레이밍(framing) 블록(162)을 경유하여 데이터를 프레임들로 청킹하는 것(chunking), 및 특징 추출 블록(164)을 경유하여 관련 있는 특징들을 추출하는 것을 수행한다. 신호 처리 서브시스템(156)은 주변 광 레벨들과 관련하여 센싱 서브시스템(150)으로부터 수신된 데이터를 처리하는 주변 광 분류 블록(166)을 더 포함한다. 제스쳐 인식 서브시스템(170)은 신호 처리 서브시스템(156)에 의해 식별된 특징들에 대응하는 제스쳐들을 분류하기 위해 다양한 제스쳐 인식 알고리즘들(174)을 적용한다. 프레임 데이터 히스토리(172) 및/또는 제스쳐 히스토리 데이터베이스(176)로부터의 제스쳐 히스토리컬 데이터가 인식 레이트를 개선하기 위해 사용되어, 시스템으로 하여금 끊임없이 성능을 학습하고 개선하게 할 수 있다.
제스쳐 인식 서브시스템(170)의 일반적인 프레임워크가 도 12에 도시된다. 근접 센서 데이터는 처음에 프레이밍 블록(162)으로 제공되는데, 프레이밍 블록(162)은 근접 센서 데이터를 추가 처리하기 위해 프레임들로 파티셔닝한다. 각각의 제스쳐들의 시작 및 종료가 사용자에 의해 지정되지 않았기 때문에, 제스쳐 인식 서브시스템(170)은, 프레이밍 블록(162)의 지원으로, 이동 윈도우(moving window)를 사용하여 근접 센서 데이터를 스캔하고 제스쳐 시그니쳐들이 관찰되었는지 여부를 결정할 수 있다. 여기서, 데이터는 50% 오버랩을 가진 지정된 지속기간(예를 들어, 140 ms)의 프레임들로 분할된다. 프레이밍 이후, 교차 상관 모듈(180), 선형 회귀 모듈(182), 및 신호 통계 모듈(184)이 센서 데이터의 프레임들을 스캔하고 미리정의된 제스쳐가 관찰되었는지 여부를 결정한다. 상이한 제스쳐들의 신호 제스쳐들을 구분하기 위해서, 이러한 모듈들은 다음과 같이 각각의 프레임으로부터 3가지 타입들의 제스쳐들을 추출한다.
교차 상관 모듈(180)은 근접 센서 데이터의 2개의 채널들 사이의 쌍-방식(pair-wise) 시간 지연을 측정하는 채널간(inter-channel) 시간 지연을 추출한다. 채널간 시간 지연은 사용자의 손이 상이한 순간들(사용자의 손의 상이한 이동 방향들에 대응함)에 근접 센서들에 접근하는 방법(how)을 특징으로 한다. 2개의 별개의 신호 시퀀스들의 최대 교차 상관 값을 찾음으로서 시간 지연이 계산된다. 특히, 시간 지연 tD는 다음과 같이 2개의 별개의 신호 시퀀스들(f 및 g)의 최대 교차 상관 값을 산출하는 시간 시프트 n을 찾음으로써 계산될 수 있다.
Figure 112013004475086-pct00003
선형 회귀 모듈(182)은 프레임 내의 신호 세그먼트의 로컬 슬로프를 추정하는, 슬로프들의 로컬 합산을 추출한다. 슬로프들의 로컬 합산은, 사용자의 손이 근접 센서들을 향하여 또는 근접 센서들로부터 멀어지게 이동하고 있는 속도를 나타낸다. 슬로프는 선형 회귀, 예를 들어, 1차 선형 회귀에 의해 계산된다. 추가적으로, 선형 회귀 결과는 갑작스러운 변경들과는 대조적으로 슬로프들의 연속적인 트렌드를 캡쳐하기 위해서 이전의 프레임들에 대해 계산된 슬로프들과 합산될 수 있다.
신호 통계 모듈(184)은 현재 프레임의 평균 및 표준 편차와 이전 프레임들의 히스토리를 추출한다. 예를 들어, 제스쳐가 존재하는 경우 높은 변량(variance)이 관찰될 수 있는 반면, 예를 들어, 사용자의 손이 존재하지 않거나 사용자의 손이 존재하지만 이동하지 않는 경우 낮은 변량이 관찰될 수 있다.
특징 추출 이후, 제스쳐 분류기(188)는 미리정의된 제스쳐 모델(186)에 의해 제공된 제스쳐로서 프레임을 분류하거나 또는 제스쳐가 검출되지 않는다는 것을 리포트한다. 현재(current) 프레임 내 신호 특징들, 제스쳐 히스토리 데이터베이스(176)에 의해 제공된 바와 같은 히스토리컬 데이터, 및 시간 종속 계산 블록(190)에 의해 결정된 바와 같은 연속 프레임들 간의 시간 종속성을 분석함으로써 최종 결정이 이루어진다. 사용자가 제스쳐들을 신속하게 변경할 가능성이 없기 때문에 제스쳐 분류 시 연속 프레임들 간의 시간 종속성이 사용될 수 있다. 또한, 시간 종속 계산 블록(190)은 현재(present) 프레임에 관하여 행동을 취하기 전에 향후의 프레임들을 분석하기 위해서 작은 버퍼(예를 들어, 3개 프레임들)를 유지할 수 있다. 버퍼의 사이즈를 제한함으로써, 사용자들에게 주목할 만한 지연을 부과하지 않고도 시간 종속성이 유지될 수 있다.
제스쳐 분류기는 도 13의 프로세스(200) 또는 도 14의 프로세스(220)와 같은 결정 트리-기반 프로세스에 따라 동작할 수 있다. 프로세스들(200 및 220)은, 그러나, 단지 예들일 뿐이고 제한되는 것은 아니다. 프로세스들(200 및 220)은, 예를 들어, 스테이지들을 추가, 제거, 재배치, 결합, 및/또는 동시 수행함으로써, 변경될 수 있다. 도시되고 설명된 바와 같은 프로세스들(200 및 220)에 대한 또 다른 변경들이 가능하다.
먼저 프로세스(200)를 참고하면, 블록 220에 도시된 바와 같이, 처음에, 근접 센서 데이터의 변량이 임계치 미만인지 여부가 결정된다. 변량이 임계치 미만인 경우, 블록 204에 도시된 바와 같이, 제스쳐가 검출되지 않는다. 그렇지 않으면, 블록 206에서, 데이터와 연관된 시간 지연이 임계치를 초과하는지 여부가 추가로 결정된다. 시간 지연이 임계치를 초과하는 큰 경우, 블록 208에서 데이터의 채널간 지연이 분석된다. 좌측 채널이 우측 채널보다 뒤처지는(lag behind) 것이 발견되는 경우, 블록 210에서 우측 스와이프가 검출된다. 대안으로, 우측 채널이 좌측 채널보다 뒤쳐지는 경우, 블록 212에서 좌측 스와이프가 검출된다.
시간 지연이 임계치보다 크지 않은 경우, 프로세스(200)는 블록 206으로부터 블록 214로 진행하고 상술된 바와 같이 슬로프들의 로컬 합산이 계산된다. 합산이 임계치를 초과하는 경우, 블록 216에서 푸쉬 제스쳐가 검출된다. 합산이 임계치 미만인 경우, 블록 218에서 풀 제스쳐가 검출된다. 그렇지 않으면, 프로세스(200)는 블록 204로 진행하고 제스쳐가 검출되지 않는다.
다음 프로세스(220)를 참조하면, 블록 202에서 입력 신호(222)의 변화가 임계치와 비교된다. 변량이 임계치 미만인 경우, 블록 224에서 입력 신호(222)의 평균이 제 2 임계치와 비교된다. 평균이 임계치를 초과하는 경우, 블록 225에서 손 멈춤(pause)이 검출된다; 그렇지 않으면, 블록 204에 도시된 바와 같이, 제스쳐가 검출되지 않는다.
블록 202에서 입력 신호(222)의 변량이 임계치 미만이 아닌 경우, 프로세스(220)는 시간 지연이 관찰되지는 여부에 기초하여 블록 228에서 분기한다. 시간 지연이 관찰되는 경우, 블록 230에서 좌측 채널이 지연되는지 여부가 추가적으로 결정된다. 좌측 채널이 지연되는 경우, 블록 210에서 우측 스와이프가 검출되고; 그렇지 않으면 블록 212에서 우측 스와이프가 검출된다.
블록 228에서 시간 지연이 관찰되지 않는 경우, 블록 232에서 입력 신호(222)와 연관된 슬로프에 관한 추가 결정이 수행된다. 슬로프가 0을 초과하는 경우, 블록 216에서 푸쉬(push) 제스쳐가 검출된다. 슬로프가 0을 초과하지 않는 경우, 블록 218에서 풀(pull) 제스쳐가 검출된다.
결정 트리-기반 제스쳐 분류기의 추가적인 예가 도 15에서 프로세스(240)에 의해 도시된다. 프로세스(240)는, 그러나, 단지 예일 뿐이고 제한되는 것은 아니다. 프로세스(240)는, 예를 들어, 스테이지들을 추가, 제거, 재배치, 결합, 및/또는 동시 수행함으로써, 변경될 수 있다. 도시되고 설명된 바와 같은 프로세스들(240)에 대한 또 다른 변경들이 가능하다.
프로세스는, 센서 데이터 버퍼(242)로부터 입력 센서 데이터를 로딩함으로써 블록 244에 나타낸 바와 같이 시작한다. 블록 246에서, 로딩된 프레임들의 현재 수가 윈도우 사이즈와 비교된다. 프레임들의 수가 충분하지 않은 경우, 블록 244에서 더 많은 입력 센서 데이터가 로딩된다. 그렇지 않으면, 블록 248에서, (예를 들어, 좌측 및 우측 IR 근접 센서들에 대응하는) 좌측 및 우측 채널들의 교차-상관들이 계산된다. 블록 250에서, 최대 상관 값을 가진 시간 지연이 발견된다. 블록 252에서, 로딩된 센서 데이터에 대응하는 슬로프가 계산되고, 블록 254에서 센서 데이터의 평균 및 표준 편차가 계산된다. 다음으로, 블록 256에서, 블록들(248-254)에서의 계산들에 기초하여 제스쳐 템플릿 모델(258)과 관련하여, 로딩된 데이터에 대해 제스쳐 분류가 수행된다. 블록 260에서, 제스쳐-커맨드 맵핑(262)에 기초하여 블록 256에서 식별된 제스쳐에 기초하여 적절한 커맨드가 생성된다. 블록 264에서, 대응하는 제스쳐 인식 프로그램이 종료되는 경우 프로세스(240)가 종료한다. 그렇지 않으면, 프로세스(240)는 블록 244로 복귀하고 상술된 스테이지들을 반복한다.
여기에 설명된 바와 같은 적절한 동작을 용이하게 하기 위해서, 손 제스쳐들로 인한 광의 반사가 검출되고 인식될 수 있도록 IR LED들 및 센서들이 컴퓨팅 디바이스 상에 위치될 수 있다. 도 16에 도시된 바와 같이, 근접 센서들(62)의 예시적인 세트가 플라스틱 또는 유리 케이싱(64)과 인쇄 회로 보드(PCB)(272) 사이에 위치될 수 있다. 다른 팩터들 중에서도, PCB(272) 상의 컴포넌트들의 배치, 광이 IR LED로부터 도달하게 하고 그리고 근접 센서(62)에 의해 검출될 수 있게 하기 위해서 광을 다시 반사시키는, 케이싱(64)의 개구들(apertures)의 구성, 높은 광 방출 및 흡수를 제공하는 케이싱(64)(예를 들어, 개구가 없는 경우)용으로 사용되는 페인트의 타입과 같은 팩터들은 움직임 인식의 신뢰성을 증가시킬 것이다.
근접 센서들(62)은 (예를 들어, 사용자의 손 또는 다른 오브젝트(70)에 대하여) 제스쳐 인식의 성능에 영향을 주는 다양한 팩터들에 기초하여 디바이스(10)에 위치될 수 있다. 이들은, 예를 들어, IR LED와 근접 센서(62) 사이의 수평 거리, 클리어런스(clearance)에 관한 IR LED와 근접 센서의 높이, 근접 센서(62)에 대한 의도치 않은 광 확산 등을 포함한다.
센서들은, IR LED와 근접 센서(62)의 높이와 이들 사이의 적절한 거리 둘 모두가 광의 양호한 방출 및 반사를 가능하게 하도록 배열될 수 있다. 도 16 및 도 17은 각각의 센서 컴포넌트들에 대한 적절한 높이를 보장하기 위한 기술을 도시한다. 여기서, 라이저(274)가 PCB(272)의 상부에 위치되고 컴포넌트, 예를 들어, 근접 센서(62)가 라이저(274)의 상부에 장착된다. 또한, 케이싱(64)의 표면이 광 방출 및 반사를 위한 작은 개구들을 가질 수 있고, 또는 대안으로 IR-친화적 페인트가 케이싱(64)의 표면에 도포되어 광을 통과시킬 수 있다. 도 16 및 도 17에 도시된 바와 같이 라이저들(274) 상에 근접 센서들을 위치시킴으로써, 센서 컴포넌트들이 표면에 더 가까워져, 개선된 방출 및 반사 각도들을 제공한다. 추가적으로, 라이저들(274)은 (예를 들어, 케이싱(64)으로부터 되 튕겨나온(bounced back) 광에 의해 발생된) 의도되지 않은 광 확산을 완화시키고 센서 컴포넌트들의 전력 소모를 감소시킨다.
도 18은 센서 컴포넌트들의 배치에 대한 다른 접근법을 도시하며, 여기서 그로밋(grommet)(276)이 IR 광 및/또는 센서 주위에 위치된다. 도 18에 의해 도시된 접근법은 상술된 바와 같이 라이저들(274)의 배치와 결합될 수 있다. 여기서, 그로밋(276)은, IR 광의 상부에 오브젝트가 위치되지 않는 경우에는, 방출된 광의 빔(즉, 각도)을 집중시키고 케이스로부터 센서로 광이 다시 반사되는 정도(이것에 의해 성능이 저하됨)를 감소시키기 위한 메커니즘을 제공한다.
도 19는 디바이스(10)와 같은 컴퓨팅 디바이스 상에서의 센서들 및 IR LED들에 대한 다수의 예시적인 배치들을 도시한다. 도 19의 다양한 예들은 컴퓨팅 디바이스의 에지들을 따라 다양한 위치들에 위치된 센서 컴포넌트들을 도시하지만, 도 19에 도시된 예들은 배치들의 가능한 구성들의 총망라한 리스트가 아니며, 컴퓨팅 디바이스의 앞 또는 뒤를 따르는 배치 그리고/또는 컴퓨팅 디바이스로부터 물리적으로 분리된 배치를 포함하는 다른 배치들 또한 가능하다. 컴퓨팅 디바이스 상의 센서 컴포넌트들의 위치설정 및/또는 이격뿐만 아니라 사용되는 센서 컴포넌트들의 수는 다양한 기준에 따라서 결정될 수 있다. 예를 들어, 센서 컴포넌트들의 선택된 수는, 센서들이 1차원, 2차원 및 3차원 제스쳐들을 분류하기에 충분한 커버리지를 제공하도록 이격될 수 있다.
원하는 제스쳐들에 따라, 센서 및/또는 IR LED들은 컴퓨팅 디바이스의 모든 에지들 중 일부 에지를 따라 선택적으로 배치될 수 있다. 예로서, 디바이스가 세로 방향(portrait) 모드 전용으로만 사용될 것이라고 가정하여, 단지 좌측 및 우측 스와이프들만을 원하는 경우, 컴퓨팅 디바이스의 하부 에지 상의 센서들 및 IR LED들의 배치는 부적절한 것으로 간주될 수 있다. 대안으로서, 센서들은 컴퓨팅 디바이스의 각각의 에지를 따라 위치될 수 있고, 제어 메커니즘(예를 들어, 센서 제어기 모듈(22))은 컴퓨팅 디바이스의 배향에 기초하여 센서들을 선택적으로 활성화 또는 비활성화시킬 수 있다. 이와 같이, 상기 주어진 예의 확장으로서, 디바이스의 상부 및 하부 에지들과 연관된 센서들이 디바이스의 배향과 무관하게 활성화되는 반면, 디바이스의 좌측 및 우측 에지들과 연관된 센서들이 비활성화되도록, 센서 제어기 모듈(22)이 컴퓨팅 디바이스와 연관된 센서들의 동작을 구성할 수 있다. 이 예는, 연관된 디바이스의 배향에 기초하여 센서들을 활성화, 비활성화, 또는 그렇지 않으면 제어하기 위해 센서 제어기 모듈(22)에 의해 사용될 수 있는 다양한 기술들의 단지 예시일 뿐이며 다른 기술들이 가능하다.
상술된 제스쳐 인식 기술들에 부가하여, 또 다른 기술들이 가능하다. 예를 들어, 센서 데이터로부터 추가적인 정보를 획득하기 위해 다수의 센서 어레이들이 사용될 수 있다. 추가적으로, 블록들을 만드는 것(building)과 같이 기본 제스쳐 세트를 이용함으로써, 더 많은 합성(compound) 3차원 제스쳐들이 기본 제스쳐들의 순열들(permutations)로서 인식될 수 있다. 사용자들에 의해 수행된 제스쳐 시퀀스들을 학습하기 위해 숨겨진 마르코프 모델들(Hidden Markov models)이 또한 사용될 수 있다. 또한, 본원에 설명된 기술들은 애플리케이션-특정 또는 게임-특정 사용 케이스들에 대해 적용될 수 있다.
도 1 내지 도 19에 대한 추가적인 참고로, 도 20을 참고하면, 무접촉 제스쳐 인식 시스템을 관리하는 프로세스(280)는 도시된 스테이지들을 포함한다. 그러나, 프로세스(280)는 단지 예일 뿐이고 제한되는 것은 아니다. 프로세스들(280)은, 예를 들어, 스테이지들을 추가, 제거, 재배치, 결합, 및/또는 동시 수행함으로써 변경될 수 있다. 도시되고 설명된 바와 같은 프로세스들(280)에 대한 또 다른 변경들이 가능하다.
스테이지 282에서, IR LED들(60) 및 근접 센서들(62)을 포함하는 센서 시스템들(20)과 같은 근접 센서들이 장착되는 디바이스와 관련되는 파라미터들이 모니터링된다. 메모리(14)에 저장된 소프트웨어(16)를 실행하는 프로세서(12)에 의해 구현된 센서 제어기 모듈(22) 그리고/또는 근접 센서들과 연관된 임의의 다른 메커니즘들에 의해 파라미터들이 모니터링될 수 있다. 스테이지(282)에서 모니터링될 수 있는 파라미터들은, (예를 들어, 주변 광 센서(42)에 의해 모니터링된 것과 같은) 주변 광 레벨들, (예를 들어, 액티비티 모니터(44)에 의해 결정된 것과 같은) 사용자 액티비티 레벨들, 디바이스 배향, 향후에 실행될 것으로 예상되는 디바이스 및/또는 애플리케이션들 상에서 현재 실행되고 있는 애플리케이션들의 아이덴티티들, (예를 들어, 카메라, 컴퓨터 비전 시스템 등으로부터의 데이터에 기초하여 결정된 것과 같은) 디바이스에 대한 사용자 근접성 또는 이와 유사한 것을 포함하지만, 이것으로 제한되지 않는다.
스테이지 284에서, 근접 센서들 중 적어도 하나의 전력 레벨은 스테이지(282)에서 모니터링된 파라미터들에 기초하여 조정된다. 근접 센서들의 전력 레벨은 메모리(14)에 저장된 소프트웨어(16)를 실행하는 프로세서(12)에 의해 구현된 센서 전력 제어 모듈 및/또는 근접 센서들과 연관된 임의의 다른 메커니즘들에 의해 스테이지 284에서 조정될 수 있다. 또한, 근접 센서들의 전력 레벨은, 예를 들어, 근접 센서들과 연관된 IR LED들(60)의 방출 세기를 변경하는 것, (예를 들어, 스트로브 모드(strobed mode)에서 동작하는 근접 센서들의 경우) 근접 센서들의 샘플링 주파수 및/또는 듀티 사이클을 변경하는 것, 각각의 근접 센서들을 활성, 비활성 또는 유휴 모드로 두는 것 등에 의해 조정될 수 있다.
또 다른 기술들도 가능하다.

Claims (30)

  1. 모바일 컴퓨팅 디바이스로서,
    3차원적 사용자 움직임들과 관련되는 데이터를 획득하도록 구성된 센서 시스템 － 상기 센서 시스템은 적외선(IR) 발광 다이오드(LED) 및 IR 근접 센서를 포함함 －;
    상기 센서 시스템에 통신가능하게 결합되고, 상기 디바이스의 특성들을 식별하고, 그리고 상기 디바이스의 상기 특성들에 기초하여 상기 센서 시스템의 상기 IR LED 또는 상기 IR 근접 센서 중 적어도 하나의 전력 소모를 조절하도록 구성되는, 센서 제어기 모듈;
    상기 센서 시스템으로부터의 센서 데이터를 복수의 프레임 간격들로 파티셔닝하도록 구성되는 프레이밍 모듈(framing module); 및
    상기 센서 시스템 및 상기 프레이밍 모듈에 통신가능하게 결합되는 제스쳐 인식 모듈을 포함하고,
    상기 제스쳐 인식 모듈은 상기 센서 시스템에 의해 획득되는 데이터로부터 추출되는 특징들에 기초하여 입력 제스쳐를 식별하고, 현재 프레임 간격과 연관된 센서 데이터를 적어도 하나의 히스토리컬(historical) 프레임 간격과 연관된 센서 데이터와 비교하여 상기 현재 프레임 간격과 연관된 센서 데이터와 상기 적어도 하나의 히스토리컬 프레임 간격과 연관된 센서 데이터 사이의 변량(variance)을 결정하고, 상기 변량이 미리결정된 임계치 이상인 것에 응답하여 상기 입력 제스쳐의 존재를 식별하도록 구성되는,
    모바일 컴퓨팅 디바이스.
  2. 제 1 항에 있어서,
    상기 센서 제어기 모듈에 통신가능하게 결합되고 그리고 상기 디바이스가 위치되는 영역의 주변 광 레벨을 식별하도록 구성되는 주변 광 센서를 더 포함하고, 상기 센서 제어기 모듈은 상기 주변 광 레벨에 따라서 상기 IR LED의 전력 레벨을 조정하도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  3. 제 1 항에 있어서,
    상기 센서 제어기 모듈에 통신가능하게 결합되고 그리고 상기 디바이스에 대한 사용자 액티비티(activity)의 레벨을 결정하도록 구성되는 액티비티 모니터 모듈을 더 포함하고, 상기 센서 제어기 모듈은 상기 사용자 액티비티의 레벨에 따라 상기 센서 시스템의 상기 전력 소모를 조절하도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  4. 제 3 항에 있어서,
    상기 센서 제어기 모듈은, 상기 사용자 액티비티의 레벨이 미리정의된 임계치 미만인 것으로 결정되는 경우 상기 센서 시스템을 슬롯 동작 모드(slotted operating mode)에 두도록 추가적으로 구성되는, 모바일 컴퓨팅 디바이스.
  5. 제 1 항에 있어서,
    상기 디바이스는 적어도 2개의 전면-대향(front-facing) 에지들을 포함하고, 상기 센서 시스템들의 IR LED들 및 IR 근접 센서들이 상기 디바이스의 상기 전면-대향 에지들 중 적어도 2개 상에 위치되고, 상기 디바이스의 상기 특성들은 상기 디바이스의 배향을 포함하고, 그리고 상기 센서 제어기 모듈은 상기 디바이스의 상기 배향에 기초하여 상기 디바이스의 상기 전면-대향 에지들 중 적어도 하나 상에 위치되는 IR LED들 및 IR 근접 센서들을 선택적으로 활성화시키도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  6. 제 1 항에 있어서,
    상기 디바이스는,
    적어도 하나의 전면-대향 에지; 및
    상기 적어도 하나의 전면-대향 에지를 따라 위치된 하나 또는 그 초과의 개구들을 더 포함하고,
    상기 하나 또는 그 초과의 개구들은 IR 투과성 재료로 커버되고 그리고 상기 센서 시스템의 IR LED 또는 IR 근접 센서 중 하나는 상기 하나 또는 그 초과의 개구들 각각의 뒤에 위치되는, 모바일 컴퓨팅 디바이스.
  7. 제 1 항에 있어서,
    상기 센서 시스템은 상기 IR LED 및 상기 IR 근접 센서에 각각 결합된 라이저들(risers)을 더 포함하여, 상기 IR LED 및 상기 IR 근접 센서가 상기 라이저들만큼 상승되는, 모바일 컴퓨팅 디바이스.
  8. 제 1 항에 있어서,
    상기 프레이밍 모듈 및 상기 센서 시스템에 통신가능하게 결합되고, 그리고 상기 센서 시스템에 의해 획득된 데이터로부터 특징들(features)을 추출하도록 구성되는 특징 추출 모듈을 더 포함하고,
    상기 제스쳐 인식 모듈은, 상기 센서 시스템, 상기 프레이밍 모듈 및 상기 특징 추출 모듈에 통신가능하게 결합되고, 그리고 상기 센서 시스템에 의해 획득된 데이터로부터 추출된 상기 특징들에 기초하여 상기 프레임 간격들 중 각각의 프레임 간격들에 대응하는 입력 제스쳐들을 식별하도록 구성되는,
    모바일 컴퓨팅 디바이스.
  9. 제 8 항에 있어서,
    상기 제스쳐 인식 모듈은 교차 상관, 선형 회귀 또는 신호 통계 중 적어도 하나에 기초하여 상기 입력 제스쳐들을 식별하도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  10. 제 1 항에 있어서,
    상기 센서 시스템은 복수의 움직이는 오브젝트들에 관하여 상기 3차원적 사용자 움직임들과 관련되는 데이터를 획득하도록 구성되는, 모바일 컴퓨팅 디바이스.
  11. 컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법으로서,
    상기 제스쳐-기반 입력 메커니즘에 의해 수행된 제스쳐 분류와 관련되는 상기 컴퓨팅 디바이스의 파라미터들을 식별하는 단계;
    상기 컴퓨팅 디바이스의 상기 파라미터들에 기초한 상기 제스쳐-기반 입력 메커니즘의 적어도 적외선(IR) 발광 다이오드(LED) 또는 IR 근접 센서의 전력 소모 레벨을 관리하는 단계;
    센서 데이터를 복수의 프레임 간격들로 파티셔닝하는 단계;
    현재 프레임 간격과 연관된 센서 데이터를 적어도 하나의 히스토리컬(historical) 프레임 간격과 연관된 센서 데이터와 비교하여 상기 현재 프레임 간격과 연관된 센서 데이터와 상기 적어도 하나의 히스토리컬 프레임 간격과 연관된 센서 데이터 사이의 변량을 결정하는 단계; 및
    상기 변량이 미리결정된 임계치를 이상인 것에 응답하여 상기 센서 데이터에서 입력 제스쳐의 존재를 식별하는 단계를 포함하는,
    컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법.
  12. 제 11 항에 있어서,
    상기 파라미터들을 식별하는 단계는 상기 컴퓨팅 디바이스와 연관된 영역의 주변 광 레벨을 식별하는 단계를 포함하고 그리고 상기 관리하는 단계는 상기 주변 광 레벨에 따라서 상기 IR LED의 전력 레벨을 조정하는 단계를 포함하는, 컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법.
  13. 제 11 항에 있어서,
    상기 파라미터들을 식별하는 단계는 상기 제스쳐-기반 입력 메커니즘을 통해 상기 컴퓨팅 디바이스와의 사용자 상호작용의 레벨을 결정하는 단계를 포함하고 그리고
    상기 관리하는 단계는,
    상기 사용자 상호작용의 레벨을 임계치와 비교하는 단계; 및
    상기 사용자 상호작용의 레벨이 상기 임계치 미만인 경우 상기 제스쳐-기반 입력 메커니즘을 절전 모드에 두는 단계를 포함하는, 컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법.
  14. 제 11 항에 있어서,
    상기 파라미터들을 식별하는 단계는 상기 컴퓨팅 디바이스의 배향을 식별하는 단계를 포함하고 그리고 상기 관리하는 단계는 상기 컴퓨팅 디바이스의 상기 배향에 기초하여 상기 IR LED 또는 상기 IR 근접 센서를 활성화 또는 비활성화하는 단계를 포함하는, 컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법.
  15. 제 11 항에 있어서,
    상기 제스쳐-기반 입력 메커니즘으로부터 센서 데이터를 획득하는 단계;
    상기 센서 데이터를 시간적으로 파티셔닝함으로써 각각의 프레임 간격들을 획득하는 단계;
    상기 센서 데이터로부터 특징들을 추출하는 단계; 및
    상기 센서 데이터로부터 추출된 상기 특징들에 기초하여 상기 프레임 간격들 중 각각의 프레임 간격들에서 나타내어진 제스쳐들을 분류하는 단계를 더 포함하는, 컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법.
  16. 제 15 항에 있어서,
    상기 분류하는 단계는 교차 상관, 선형 회귀 또는 신호 통계 중 적어도 하나에 기초하여 상기 프레임 간격들 중 상기 각각의 프레임 간격들에서 나타내어진 상기 제스쳐들을 분류하는 단계를 포함하는, 컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법.
  17. 제 15 항에 있어서,
    상기 획득하는 단계는 복수의 움직이는 오브젝트들과 관련되는 센서 데이터를 획득하는 단계를 포함하는, 컴퓨팅 디바이스에 대한 제스쳐-기반 입력 메커니즘을 관리하는 방법.
  18. 모바일 컴퓨팅 디바이스로서,
    상기 디바이스와의 사용자 상호작용과 관련되는 적외선(IR) 광-기반 근접 센서 데이터를 획득하도록 구성되는 센서 수단;
    상기 센서 수단에 통신가능하게 결합되고 그리고 상기 디바이스의 특성들을 식별하고 그리고 상기 디바이스의 상기 특성들에 기초하여 상기 센서 수단의 적어도 일부의 전력 소모를 관리하도록 구성되는 제어기 수단;
    센서 데이터를 복수의 프레임 간격들로 파티셔닝하기 위한 수단;
    현재 프레임 간격과 연관된 센서 데이터를 적어도 하나의 히스토리컬(historical) 프레임 간격과 연관된 센서 데이터와 비교하여 상기 현재 프레임 간격과 연관된 센서 데이터와 상기 적어도 하나의 히스토리컬 프레임 간격과 연관된 센서 데이터 사이의 변량을 결정하기 위한 수단; 및
    상기 변량이 미리결정된 임계치 이상인 것에 응답하여 입력 제스쳐의 존재를 식별하기 위한 수단을 포함하는,
    모바일 컴퓨팅 디바이스.
  19. 제 18 항에 있어서,
    상기 제어기 수단은 상기 디바이스와 연관된 영역에서의 주변 광 레벨을 측정하고 그리고 상기 주변 광 레벨에 기초하여 상기 센서 수단의 적어도 일부의 상기 전력 소모를 조정하도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  20. 제 18 항에 있어서,
    상기 제어기 수단은 상기 디바이스와의 상기 사용자 상호작용의 정도(extent)를 결정하고 그리고 상기 디바이스와의 상기 사용자 상호작용의 정도에 따라 상기 센서 수단의 적어도 일부의 상기 전력 소모를 조정하도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  21. 제 20 항에 있어서,
    상기 제어기 수단은 상기 디바이스와의 사용자 상호작용이 시간 간격 내에 상기 센서 수단에 의해 식별되지 않았음을 결정할 때 상기 센서 수단을 파워 오프(power off)하도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  22. 제 20 항에 있어서,
    상기 제어기 수단은 상기 디바이스와의 상기 사용자 상호작용의 정도가 임계치 미만인 경우 상기 센서 수단을 절전 동작 모드에 두도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  23. 제 18 항에 있어서,
    상기 센서 수단은 복수의 센서 엘리먼트들을 포함하고, 그리고 상기 제어기 수단은 상기 디바이스의 배향에 기초하여 상기 복수의 센서 엘리먼트들 중 하나 또는 그 초과의 것을 선택적으로 활성화시키도록 추가로 구성되는, 모바일 컴퓨팅 디바이스.
  24. 삭제
  25. 프로세서-판독가능 명령들을 포함하는 프로세서-판독가능 저장 매체로서,
    상기 프로세서-판독가능 명령들은, 프로세서로 하여금,
    적외선(IR) 발광 다이오드(LED)로부터의 광의 반사를 측정하는, 모바일 디바이스와 연관된 IR 근접 센서로부터 3차원적 사용자 움직임 데이터를 포함하는 센서 데이터를 획득하게 하고;
    상기 3차원적 사용자 움직임 데이터와 연관되는 상기 모바일 디바이스의 특성들을 식별하게 하고;
    상기 모바일 디바이스의 상기 특성들에 기초하여 상기 IR LED들 및 IR 근접 센서들의 적어도 일 부분의 전력 사용을 조절하게 하고,
    센서 데이터를 복수의 프레임 간격들로 파티셔닝하게 하고,
    현재 프레임 간격과 연관된 센서 데이터를 적어도 하나의 히스토리컬(historical) 프레임 간격과 연관된 센서 데이터와 비교하여 상기 현재 프레임 간격과 연관된 센서 데이터와 상기 적어도 하나의 히스토리컬 프레임 간격과 연관된 센서 데이터 사이의 변량을 결정하게 하고, 그리고,
    상기 변량이 미리결정된 임계치 이상인 것에 응답하여 상기 센서 데이터에서 입력 제스쳐의 존재를 식별하게 하도록 구성되는,
    프로세서-판독가능 저장 매체.
  26. 제 25 항에 있어서,
    상기 모바일 디바이스의 상기 특성들은 상기 모바일 디바이스와 연관된 영역에서의 주변 광 레벨을 포함하는,
    프로세서-판독가능 저장 매체.
  27. 제 25 항에 있어서,
    상기 모바일 디바이스의 상기 특성들은 상기 모바일 디바이스와의 사용자 상호작용의 히스토리를 포함하는,
    프로세서-판독가능 저장 매체.
  28. 제 25 항에 있어서,
    상기 모바일 디바이스의 상기 특성들은 상기 모바일 디바이스의 배향을 포함하는,
    프로세서-판독가능 저장 매체.
  29. 제 25 항에 있어서,
    상기 프로세서-판독가능 저장 매체는,
    프로세서로 하여금,
    각각의 프레임 시간 간격들에 따라 상기 3차원적 사용자 움직임 데이터를 그룹화하게 하고;
    상기 3차원적 사용자 움직임 데이터로부터 특징들을 추출하게 하고; 그리고
    상기 3차원적 사용자 움직임 데이터로부터 추출된 상기 특징들에 기초하여 상기 프레임 시간 간격들 중 각각의 프레임 시간 간격들 내에 제공되는 입력 제스쳐들을 식별하게 하도록 구성되는 프로세서-판독가능 명령들을 추가로 포함하는,
    프로세서-판독가능 저장 매체.
  30. 제 29 항에 있어서,
    상기 프로세서로 하여금 입력 제스쳐들을 식별하게 하도록 구성되는 명령들은 상기 프로세서로 하여금, 교차 상관, 선형 회귀 또는 신호 통계 중 적어도 하나에 기초하여 상기 입력 제스쳐들을 식별하게 하도록 추가로 구성되는,
    프로세서-판독가능 저장 매체.
KR1020137001195A 2010-06-17 2011-06-17 무접촉 제스쳐 인식 및 전력 감소를 위한 방법들 및 장치 KR101627199B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US35592310P 2010-06-17 2010-06-17
US61/355,923 2010-06-17
US37217710P 2010-08-10 2010-08-10
US61/372,177 2010-08-10
US13/161,955 2011-06-16
US13/161,955 US20110310005A1 (en) 2010-06-17 2011-06-16 Methods and apparatus for contactless gesture recognition
PCT/US2011/040975 WO2011160079A1 (en) 2010-06-17 2011-06-17 Methods and apparatus for contactless gesture recognition and power reduction

Publications (2)

Publication Number Publication Date
KR20130043159A KR20130043159A (ko) 2013-04-29
KR101627199B1 true KR101627199B1 (ko) 2016-06-03

Family

ID=45328160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137001195A KR101627199B1 (ko) 2010-06-17 2011-06-17 무접촉 제스쳐 인식 및 전력 감소를 위한 방법들 및 장치

Country Status (7)

Country Link
US (1) US20110310005A1 (ko)
EP (1) EP2583164A1 (ko)
JP (1) JP5718460B2 (ko)
KR (1) KR101627199B1 (ko)
CN (1) CN102971701B (ko)
BR (1) BR112012031926A2 (ko)
WO (1) WO2011160079A1 (ko)

Families Citing this family (314)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213443B2 (en) * 2009-02-15 2015-12-15 Neonode Inc. Optical touch screen systems using reflected light
US8416217B1 (en) 2002-11-04 2013-04-09 Neonode Inc. Light-based finger gesture user interface
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8930331B2 (en) 2007-02-21 2015-01-06 Palantir Technologies Providing unique views of data based on changes or rules
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US9152258B2 (en) 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
US8429194B2 (en) 2008-09-15 2013-04-23 Palantir Technologies, Inc. Document-based workflows
US8347230B2 (en) * 2008-09-30 2013-01-01 Apple Inc. Visual presentation of multiple internet pages
US8643628B1 (en) 2012-10-14 2014-02-04 Neonode Inc. Light-based proximity detection system and user interface
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
US8917239B2 (en) 2012-10-14 2014-12-23 Neonode Inc. Removable protective cover with embedded proximity sensors
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8760631B2 (en) * 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US9037407B2 (en) 2010-07-12 2015-05-19 Palantir Technologies Inc. Method and system for determining position of an inertial computing device in a distributed network
JP2012027515A (ja) * 2010-07-20 2012-02-09 Hitachi Consumer Electronics Co Ltd 入力方法及び入力装置
EP2424201A3 (en) * 2010-08-31 2014-05-14 BlackBerry Limited System and method to integrate ambient light sensor data into infrared proximity detector settings
US20150019459A1 (en) * 2011-02-16 2015-01-15 Google Inc. Processing of gestures related to a wireless user device and a computing device
US9229581B2 (en) 2011-05-05 2016-01-05 Maxim Integrated Products, Inc. Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources
US8716649B2 (en) 2011-05-05 2014-05-06 Maxim Integrated Products, Inc. Optical gesture sensor using a single illumination source
DE112012002330A5 (de) 2011-05-31 2014-03-20 Mechaless Systems Gmbh Display mit integriertem optischen Sender
US8799240B2 (en) 2011-06-23 2014-08-05 Palantir Technologies, Inc. System and method for investigating large amounts of data
US9092482B2 (en) 2013-03-14 2015-07-28 Palantir Technologies, Inc. Fair scheduling for mixed-query loads
US9547693B1 (en) 2011-06-23 2017-01-17 Palantir Technologies Inc. Periodic database search manager for multiple data sources
US9176608B1 (en) 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
KR20130004857A (ko) * 2011-07-04 2013-01-14 삼성전자주식회사 인터넷 서비스를 위한 사용자 인터페이스 제공 방법 및 장치
EP2986014A1 (en) 2011-08-05 2016-02-17 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
US8732574B2 (en) 2011-08-25 2014-05-20 Palantir Technologies, Inc. System and method for parameterizing documents for automatic workflow generation
US9195373B2 (en) * 2011-08-30 2015-11-24 Nook Digital, Llc System and method for navigation in an electronic document
US8504542B2 (en) 2011-09-02 2013-08-06 Palantir Technologies, Inc. Multi-row transactions
US9207852B1 (en) * 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
CN103186234A (zh) * 2011-12-31 2013-07-03 联想(北京)有限公司 控制方法以及电子设备
EP2626769A1 (en) * 2012-02-10 2013-08-14 Research In Motion Limited Method and device for receiving reflectance-based input
US20140035875A2 (en) * 2012-02-10 2014-02-06 Blackberry Limited Method and device for receiving reflectance-based input
PL398136A1 (pl) 2012-02-17 2013-08-19 Binartech Spólka Jawna Aksamit Sposób wykrywania kontekstu urzadzenia przenosnego i urzadzenie przenosne z modulem wykrywania kontekstu
CN102594994A (zh) * 2012-03-13 2012-07-18 惠州Tcl移动通信有限公司 一种基于手机的感应操作方法及手机
US9122354B2 (en) * 2012-03-14 2015-09-01 Texas Instruments Incorporated Detecting wave gestures near an illuminated surface
CN102662465A (zh) * 2012-03-26 2012-09-12 北京国铁华晨通信信息技术有限公司 基于动态轨迹的视觉字符输入方法及系统
US8830171B2 (en) * 2012-05-22 2014-09-09 Eminent Electronic Technology Corporation Apparatus for non-contact 3D hand gesture recognition with code-based light sensing
US9726803B2 (en) * 2012-05-24 2017-08-08 Qualcomm Incorporated Full range gesture system
US9348462B2 (en) * 2012-06-13 2016-05-24 Maxim Integrated Products, Inc. Gesture detection and recognition based upon measurement and tracking of light intensity ratios within an array of photodetectors
US20130335576A1 (en) * 2012-06-19 2013-12-19 Martin GOTSCHLICH Dynamic adaptation of imaging parameters
KR102003255B1 (ko) * 2012-06-29 2019-07-24 삼성전자 주식회사 다중 입력 처리 방법 및 장치
TWI498771B (zh) * 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US9606647B1 (en) * 2012-07-24 2017-03-28 Palantir Technologies, Inc. Gesture management system
SE537580C2 (sv) * 2012-08-03 2015-06-30 Crunchfish Ab Förbättrad inmatning
TWI465753B (zh) * 2012-08-15 2014-12-21 Generalplus Technology Inc 位置識別系統、方法以及使用其之姿勢識別系統、方法
CN102880410A (zh) * 2012-08-17 2013-01-16 北京小米科技有限责任公司 一种操作功能键和终端设备
US9904341B2 (en) * 2012-09-10 2018-02-27 Intel Corporation Cascading power consumption
US20140298672A1 (en) * 2012-09-27 2014-10-09 Analog Devices Technology Locking and unlocking of contacless gesture-based user interface of device having contactless gesture detection system
CN103713735B (zh) * 2012-09-29 2018-03-16 华为技术有限公司 一种使用非接触式手势控制终端设备的方法和装置
US9423886B1 (en) * 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
US10324565B2 (en) 2013-05-30 2019-06-18 Neonode Inc. Optical proximity sensor
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US9348677B2 (en) 2012-10-22 2016-05-24 Palantir Technologies Inc. System and method for batch evaluation programs
KR101417387B1 (ko) * 2012-11-01 2014-07-09 주식회사 팬택 휴대 단말기 및 휴대 단말기의 사용자 인터페이스 제공방법
CN103809734B (zh) * 2012-11-07 2017-05-24 联想(北京)有限公司 一种电子设备的控制方法、控制器及电子设备
US9092093B2 (en) 2012-11-27 2015-07-28 Neonode Inc. Steering wheel user interface
US9081417B2 (en) * 2012-11-30 2015-07-14 Blackberry Limited Method and device for identifying contactless gestures
US9977503B2 (en) * 2012-12-03 2018-05-22 Qualcomm Incorporated Apparatus and method for an infrared contactless gesture system
CN103853325A (zh) * 2012-12-06 2014-06-11 昆达电脑科技(昆山)有限公司 手势开关装置
TWI486868B (zh) * 2012-12-26 2015-06-01 Giga Byte Tech Co Ltd 具有快捷啟動功能之電子裝置及其控制方法
CN103067598A (zh) * 2013-01-08 2013-04-24 广东欧珀移动通信有限公司 一种移动终端音乐切换方法及系统
JP6179412B2 (ja) * 2013-01-31 2017-08-16 株式会社Ｊｖｃケンウッド 入力表示装置
US9123086B1 (en) 2013-01-31 2015-09-01 Palantir Technologies, Inc. Automatically generating event objects from images
US9507425B2 (en) 2013-03-06 2016-11-29 Sony Corporation Apparatus and method for operating a user interface of a device
US20140253427A1 (en) * 2013-03-06 2014-09-11 Qualcomm Mems Technologies, Inc. Gesture based commands
US9442570B2 (en) * 2013-03-13 2016-09-13 Google Technology Holdings LLC Method and system for gesture recognition
US10037314B2 (en) 2013-03-14 2018-07-31 Palantir Technologies, Inc. Mobile reports
US9110541B1 (en) * 2013-03-14 2015-08-18 Amazon Technologies, Inc. Interface selection approaches for multi-dimensional input
US8937619B2 (en) 2013-03-15 2015-01-20 Palantir Technologies Inc. Generating an object time series from data objects
US8909656B2 (en) 2013-03-15 2014-12-09 Palantir Technologies Inc. Filter chains with associated multipath views for exploring large data sets
US10275778B1 (en) 2013-03-15 2019-04-30 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive investigation based on automatic malfeasance clustering of related data in various data structures
US9965937B2 (en) 2013-03-15 2018-05-08 Palantir Technologies Inc. External malware data item clustering and analysis
US9679252B2 (en) 2013-03-15 2017-06-13 Qualcomm Incorporated Application-controlled granularity for power-efficient classification
US8818892B1 (en) 2013-03-15 2014-08-26 Palantir Technologies, Inc. Prioritizing data clusters with customizable scoring strategies
US8917274B2 (en) 2013-03-15 2014-12-23 Palantir Technologies Inc. Event matrix based on integrated data
US8868486B2 (en) 2013-03-15 2014-10-21 Palantir Technologies Inc. Time-sensitive cube
JP6042753B2 (ja) * 2013-03-18 2016-12-14 株式会社Ｎｔｔドコモ 端末装置及び操作ロック解除方法
WO2014165476A1 (en) 2013-04-01 2014-10-09 Gollakota Shyamnath Devices, systems, and methods for detecting gestures using wireless communication signals
KR101504148B1 (ko) * 2013-07-12 2015-03-19 주식회사 루멘스 비접촉 조작 장치
US20140310801A1 (en) * 2013-04-11 2014-10-16 Nokia Corporation Method and Apparatus for Performing Authentication
SE537579C2 (sv) * 2013-04-11 2015-06-30 Crunchfish Ab Bärbar enhet nyttjandes en passiv sensor för initiering av beröringsfri geststyrning
US8799799B1 (en) 2013-05-07 2014-08-05 Palantir Technologies Inc. Interactive geospatial map
KR102102702B1 (ko) 2013-06-19 2020-04-21 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
US20140380251A1 (en) * 2013-06-19 2014-12-25 Motorola Mobility Llc Method and device for augmented handling of multiple calls with gestures
US9218811B2 (en) 2013-06-28 2015-12-22 Google Technology Holdings LLC Electronic device and method for managing voice entered text using gesturing
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
EP2821890A1 (en) * 2013-07-01 2015-01-07 BlackBerry Limited Alarm operation by touch-less gesture
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
EP2821887B1 (en) * 2013-07-01 2019-06-19 BlackBerry Limited Display navigation using touch-less gestures
US20150002383A1 (en) * 2013-07-01 2015-01-01 Blackberry Limited Touch-less user interface using ambient light sensors
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
EP2821891B1 (en) * 2013-07-01 2018-11-21 BlackBerry Limited Gesture detection using ambient light sensors
EP2821852B1 (en) * 2013-07-01 2019-09-04 BlackBerry Limited Camera control using ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
EP2824539B1 (en) * 2013-07-09 2019-09-04 BlackBerry Limited Operating a device using touchless and touchscreen gestures
US9477314B2 (en) 2013-07-16 2016-10-25 Google Technology Holdings LLC Method and apparatus for selecting between multiple gesture recognition systems
US9817565B2 (en) 2013-07-23 2017-11-14 Blackberry Limited Apparatus and method pertaining to the use of a plurality of 3D gesture sensors to detect 3D gestures
EP2829947B1 (en) * 2013-07-23 2019-05-08 BlackBerry Limited Apparatus and method pertaining to the use of a plurality of 3D gesture sensors to detect 3D gestures
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9223773B2 (en) 2013-08-08 2015-12-29 Palatir Technologies Inc. Template system for custom document generation
US9335897B2 (en) 2013-08-08 2016-05-10 Palantir Technologies Inc. Long click display of a context menu
US8713467B1 (en) 2013-08-09 2014-04-29 Palantir Technologies, Inc. Context-sensitive views
KR102138510B1 (ko) * 2013-08-27 2020-07-28 엘지전자 주식회사 근접 터치 기능을 구비한 전자 장치 및 그 제어 방법
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
WO2015038404A1 (en) 2013-09-11 2015-03-19 Motorola Mobility Llc Electronic device and method for detecting presence and motion
CN104423832A (zh) * 2013-09-11 2015-03-18 深圳富泰宏精密工业有限公司 电子装置及其显示画面控制方法
US9313233B2 (en) 2013-09-13 2016-04-12 Plantir Technologies Inc. Systems and methods for detecting associated devices
CN103472752B (zh) * 2013-09-17 2015-10-28 于金田 一种红外多档位手势识别开关及手势识别方法
CN104460963A (zh) * 2013-09-22 2015-03-25 联咏科技股份有限公司 手势判断方法及电子装置
US9785317B2 (en) 2013-09-24 2017-10-10 Palantir Technologies Inc. Presentation and analysis of user interaction data
US10048761B2 (en) * 2013-09-30 2018-08-14 Qualcomm Incorporated Classification of gesture detection systems through use of known and yet to be worn sensors
US20150091841A1 (en) * 2013-09-30 2015-04-02 Kobo Incorporated Multi-part gesture for operating an electronic personal display
US8938686B1 (en) 2013-10-03 2015-01-20 Palantir Technologies Inc. Systems and methods for analyzing performance of an entity
EP2860612B1 (en) 2013-10-04 2019-04-24 ams AG Optical sensor arrangement and method for gesture detection
US8812960B1 (en) 2013-10-07 2014-08-19 Palantir Technologies Inc. Cohort-based presentation of user interaction data
KR20150042039A (ko) * 2013-10-10 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 동작 방법
EP2887188B1 (en) 2013-12-18 2018-05-30 ams AG Control system for a gesture sensing arrangement and method for controlling a gesture sensing arrangement
US8924872B1 (en) 2013-10-18 2014-12-30 Palantir Technologies Inc. Overview user interface of emergency call data of a law enforcement agency
KR101524619B1 (ko) * 2013-10-18 2015-06-02 채민경 적외선 센서의 물체 감지를 통해 화면 표시가 제어되는 디바이스
US9116975B2 (en) 2013-10-18 2015-08-25 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive simultaneous querying of multiple data stores
US9280283B2 (en) 2013-10-28 2016-03-08 Blackberry Limited Contactless gesture recognition with sensor having asymmetric field of view
JP6393325B2 (ja) 2013-10-30 2018-09-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 関連するユーザインターフェースオブジェクトの表示
US9021384B1 (en) 2013-11-04 2015-04-28 Palantir Technologies Inc. Interactive vehicle information map
US8868537B1 (en) 2013-11-11 2014-10-21 Palantir Technologies, Inc. Simple web search
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
US9503844B1 (en) 2013-11-22 2016-11-22 Palantir Technologies Inc. System and method for collocation detection
US9105000B1 (en) 2013-12-10 2015-08-11 Palantir Technologies Inc. Aggregating data from a plurality of data sources
US9727622B2 (en) 2013-12-16 2017-08-08 Palantir Technologies, Inc. Methods and systems for analyzing entity performance
US10579647B1 (en) 2013-12-16 2020-03-03 Palantir Technologies Inc. Methods and systems for analyzing entity performance
US20150177865A1 (en) * 2013-12-19 2015-06-25 Sony Corporation Alternative input device for press/release simulations
US9552615B2 (en) 2013-12-20 2017-01-24 Palantir Technologies Inc. Automated database analysis to detect malfeasance
US10356032B2 (en) 2013-12-26 2019-07-16 Palantir Technologies Inc. System and method for detecting confidential information emails
US9043696B1 (en) 2014-01-03 2015-05-26 Palantir Technologies Inc. Systems and methods for visual definition of data associations
US8832832B1 (en) 2014-01-03 2014-09-09 Palantir Technologies Inc. IP reputation
CN103793055A (zh) * 2014-01-20 2014-05-14 华为终端有限公司 一种手势响应方法及终端
DE102014202650A1 (de) * 2014-02-13 2015-08-13 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bedienen der Mechanik einer motorisch positionsveränderlichen Anzeigeeinheit
US9009827B1 (en) 2014-02-20 2015-04-14 Palantir Technologies Inc. Security sharing system
US9483162B2 (en) 2014-02-20 2016-11-01 Palantir Technologies Inc. Relationship visualizations
US9727376B1 (en) 2014-03-04 2017-08-08 Palantir Technologies, Inc. Mobile tasks
WO2015134908A1 (en) * 2014-03-07 2015-09-11 Thalchemy Corporation Learn-by-example systems and methods
US9398456B2 (en) * 2014-03-07 2016-07-19 Apple Inc. Electronic device with accessory-based transmit power control
US8924429B1 (en) 2014-03-18 2014-12-30 Palantir Technologies Inc. Determining and extracting changed data from a data source
US9836580B2 (en) 2014-03-21 2017-12-05 Palantir Technologies Inc. Provider portal
CN104955187B (zh) * 2014-03-24 2018-06-08 美的集团股份有限公司 电磁加热装置及其控制组件和控制方法
US9857958B2 (en) 2014-04-28 2018-01-02 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive access of, investigation of, and analysis of data objects stored in one or more databases
US9009171B1 (en) 2014-05-02 2015-04-14 Palantir Technologies Inc. Systems and methods for active column filtering
US9639167B2 (en) * 2014-05-30 2017-05-02 Eminent Electronic Technology Corp. Ltd. Control method of electronic apparatus having non-contact gesture sensitive region
US20170117891A1 (en) * 2014-06-02 2017-04-27 Xyz Interactive Technologies Inc. Touch-less switching
US10097780B2 (en) 2014-06-05 2018-10-09 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
US10133356B2 (en) * 2014-06-11 2018-11-20 Atheer, Inc. Method and apparatus for controlling a system via a sensor
US9943241B2 (en) 2014-06-12 2018-04-17 PhysioWave, Inc. Impedance measurement devices, systems, and methods
US10130273B2 (en) * 2014-06-12 2018-11-20 PhysioWave, Inc. Device and method having automatic user-responsive and user-specific physiological-meter platform
US9949662B2 (en) 2014-06-12 2018-04-24 PhysioWave, Inc. Device and method having automatic user recognition and obtaining impedance-measurement signals
US9546898B2 (en) 2014-06-12 2017-01-17 PhysioWave, Inc. Fitness testing scale
US9619557B2 (en) 2014-06-30 2017-04-11 Palantir Technologies, Inc. Systems and methods for key phrase characterization of documents
US9535974B1 (en) 2014-06-30 2017-01-03 Palantir Technologies Inc. Systems and methods for identifying key phrase clusters within documents
US10572496B1 (en) 2014-07-03 2020-02-25 Palantir Technologies Inc. Distributed workflow system and database with access controls for city resiliency
US9256664B2 (en) 2014-07-03 2016-02-09 Palantir Technologies Inc. System and method for news events detection and visualization
US9202249B1 (en) 2014-07-03 2015-12-01 Palantir Technologies Inc. Data item clustering and analysis
US9785773B2 (en) 2014-07-03 2017-10-10 Palantir Technologies Inc. Malware data item analysis
US9021260B1 (en) 2014-07-03 2015-04-28 Palantir Technologies Inc. Malware data item analysis
CN104375698A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种触控设备
TWI536202B (zh) * 2014-07-30 2016-06-01 緯創資通股份有限公司 觸控裝置及其控制方法與判斷解鎖的方法
US9692968B2 (en) * 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
US9693696B2 (en) 2014-08-07 2017-07-04 PhysioWave, Inc. System with user-physiological data updates
CN106575150B (zh) 2014-08-16 2020-03-03 谷歌有限责任公司 使用运动数据识别手势的方法和可穿戴计算设备
KR102263064B1 (ko) * 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법
US10660039B1 (en) 2014-09-02 2020-05-19 Google Llc Adaptive output of indications of notification data
US9454281B2 (en) 2014-09-03 2016-09-27 Palantir Technologies Inc. System for providing dynamic linked panels in user interface
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
US9767172B2 (en) 2014-10-03 2017-09-19 Palantir Technologies Inc. Data aggregation and analysis system
US9501851B2 (en) 2014-10-03 2016-11-22 Palantir Technologies Inc. Time-series analysis system
US9785328B2 (en) 2014-10-06 2017-10-10 Palantir Technologies Inc. Presentation of multivariate data on a graphical user interface of a computing system
US9984133B2 (en) 2014-10-16 2018-05-29 Palantir Technologies Inc. Schematic and database linking system
US9229952B1 (en) 2014-11-05 2016-01-05 Palantir Technologies, Inc. History preserving data pipeline system and method
US9898689B2 (en) * 2014-11-06 2018-02-20 Qualcomm Incorporated Nonparametric model for detection of spatially diverse temporal patterns
US9043894B1 (en) 2014-11-06 2015-05-26 Palantir Technologies Inc. Malicious software detection in a computing system
KR20160056759A (ko) * 2014-11-12 2016-05-20 크루셜텍 (주) 이미지 스캔이 가능한 플렉서블 디스플레이 장치 및 이의 구동 방법
DE102014017585B4 (de) * 2014-11-27 2017-08-24 Pyreos Ltd. Schalterbetätigungseinrichtung, mobiles Gerät und Verfahren zum Betätigen eines Schalters durch eine nicht-taktile Geste
CN104333962A (zh) * 2014-11-28 2015-02-04 浙江晶日照明科技有限公司 一种智能led灯具及其人机交互系统、交互方法
WO2016098519A1 (ja) 2014-12-17 2016-06-23 コニカミノルタ株式会社 電子機器、電子機器の制御方法及びその制御プログラム
US10362133B1 (en) 2014-12-22 2019-07-23 Palantir Technologies Inc. Communication data processing architecture
US10552994B2 (en) 2014-12-22 2020-02-04 Palantir Technologies Inc. Systems and interactive user interfaces for dynamic retrieval, analysis, and triage of data items
US9348920B1 (en) 2014-12-22 2016-05-24 Palantir Technologies Inc. Concept indexing among database of documents using machine learning techniques
US9367872B1 (en) 2014-12-22 2016-06-14 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive investigation of bad actor behavior based on automatic clustering of related data in various data structures
US9335911B1 (en) 2014-12-29 2016-05-10 Palantir Technologies Inc. Interactive user interface for dynamic data analysis exploration and query processing
US9817563B1 (en) 2014-12-29 2017-11-14 Palantir Technologies Inc. System and method of generating data points from one or more data stores of data items for chart creation and manipulation
US9870205B1 (en) 2014-12-29 2018-01-16 Palantir Technologies Inc. Storing logical units of program code generated using a dynamic programming notebook user interface
US10372879B2 (en) 2014-12-31 2019-08-06 Palantir Technologies Inc. Medical claims lead summary report generation
US11302426B1 (en) 2015-01-02 2022-04-12 Palantir Technologies Inc. Unified data interface and system
CN104573653A (zh) * 2015-01-06 2015-04-29 上海电机学院 一种物体运动状态的识别装置及方法
US20160209968A1 (en) * 2015-01-16 2016-07-21 Microsoft Technology Licensing, Llc Mapping touch inputs to a user input module
CN105843456B (zh) * 2015-01-16 2018-10-12 致伸科技股份有限公司 触控装置
US10387834B2 (en) 2015-01-21 2019-08-20 Palantir Technologies Inc. Systems and methods for accessing and storing snapshots of a remote application in a document
JP6519075B2 (ja) * 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6603024B2 (ja) * 2015-02-10 2019-11-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6561400B2 (ja) * 2015-02-10 2019-08-21 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
FR3032813B1 (fr) * 2015-02-17 2018-08-31 Renault Sas Interface d’interaction comprenant un ecran tactile, un detecteur de proximite et une plaque de protection
WO2016138087A1 (en) * 2015-02-24 2016-09-01 Eccrine Systems, Inc. Dynamic sweat sensor management
US9727560B2 (en) 2015-02-25 2017-08-08 Palantir Technologies Inc. Systems and methods for organizing and identifying documents via hierarchies and dimensions of tags
KR102279790B1 (ko) * 2015-03-10 2021-07-19 엘지전자 주식회사 차량용 디스플레이 장치
EP3611632A1 (en) 2015-03-16 2020-02-19 Palantir Technologies Inc. Displaying attribute and event data along paths
US9886467B2 (en) 2015-03-19 2018-02-06 Plantir Technologies Inc. System and method for comparing and visualizing data entities and data entity series
CN104684058B (zh) * 2015-03-23 2018-09-11 广东欧珀移动通信有限公司 一种调节接近传感器发射功率的方法和装置
KR20160133305A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
US10103953B1 (en) 2015-05-12 2018-10-16 Palantir Technologies Inc. Methods and systems for analyzing entity performance
EP3276448B1 (en) * 2015-05-20 2020-01-15 Konica Minolta, Inc. Wearable electronic device, gesture detection method for wearable electronic device, and gesture detection program for wearable electronic device
US10628834B1 (en) 2015-06-16 2020-04-21 Palantir Technologies Inc. Fraud lead detection system for efficiently processing database-stored data and automatically generating natural language explanatory information of system results for display in interactive user interfaces
US10945671B2 (en) 2015-06-23 2021-03-16 PhysioWave, Inc. Determining physiological parameters using movement detection
US9830495B2 (en) * 2015-07-17 2017-11-28 Motorola Mobility Llc Biometric authentication system with proximity sensor
US9418337B1 (en) 2015-07-21 2016-08-16 Palantir Technologies Inc. Systems and models for data analytics
US9454785B1 (en) 2015-07-30 2016-09-27 Palantir Technologies Inc. Systems and user interfaces for holistic, data-driven investigation of bad actor behavior based on clustering and scoring of related data
US9996595B2 (en) 2015-08-03 2018-06-12 Palantir Technologies, Inc. Providing full data provenance visualization for versioned datasets
US9456000B1 (en) 2015-08-06 2016-09-27 Palantir Technologies Inc. Systems, methods, user interfaces, and computer-readable media for investigating potential malicious communications
US10489391B1 (en) 2015-08-17 2019-11-26 Palantir Technologies Inc. Systems and methods for grouping and enriching data items accessed from one or more databases for presentation in a user interface
US9600146B2 (en) 2015-08-17 2017-03-21 Palantir Technologies Inc. Interactive geospatial map
US10102369B2 (en) 2015-08-19 2018-10-16 Palantir Technologies Inc. Checkout system executable code monitoring, and user account compromise determination system
US10853378B1 (en) 2015-08-25 2020-12-01 Palantir Technologies Inc. Electronic note management via a connected entity graph
US11150917B2 (en) 2015-08-26 2021-10-19 Palantir Technologies Inc. System for data aggregation and analysis of data from a plurality of data sources
US9485265B1 (en) 2015-08-28 2016-11-01 Palantir Technologies Inc. Malicious activity detection system capable of efficiently processing data accessed from databases and generating alerts for display in interactive user interfaces
US10706434B1 (en) 2015-09-01 2020-07-07 Palantir Technologies Inc. Methods and systems for determining location information
US9576015B1 (en) 2015-09-09 2017-02-21 Palantir Technologies, Inc. Domain-specific language for dataset transformations
US9858948B2 (en) * 2015-09-29 2018-01-02 Apple Inc. Electronic equipment with ambient noise sensing input circuitry
US10296617B1 (en) 2015-10-05 2019-05-21 Palantir Technologies Inc. Searches of highly structured data
US10436630B2 (en) 2015-11-20 2019-10-08 PhysioWave, Inc. Scale-based user-physiological data hierarchy service apparatuses and methods
US10395055B2 (en) 2015-11-20 2019-08-27 PhysioWave, Inc. Scale-based data access control methods and apparatuses
US10553306B2 (en) 2015-11-20 2020-02-04 PhysioWave, Inc. Scaled-based methods and apparatuses for automatically updating patient profiles
US10923217B2 (en) 2015-11-20 2021-02-16 PhysioWave, Inc. Condition or treatment assessment methods and platform apparatuses
US10980483B2 (en) 2015-11-20 2021-04-20 PhysioWave, Inc. Remote physiologic parameter determination methods and platform apparatuses
US11561126B2 (en) 2015-11-20 2023-01-24 PhysioWave, Inc. Scale-based user-physiological heuristic systems
US9542446B1 (en) 2015-12-17 2017-01-10 Palantir Technologies, Inc. Automatic generation of composite datasets based on hierarchical fields
US10089289B2 (en) 2015-12-29 2018-10-02 Palantir Technologies Inc. Real-time document annotation
US9823818B1 (en) 2015-12-29 2017-11-21 Palantir Technologies Inc. Systems and interactive user interfaces for automatic generation of temporal representation of data objects
US11086640B2 (en) * 2015-12-30 2021-08-10 Palantir Technologies Inc. Composite graphical interface with shareable data-objects
US9612723B1 (en) * 2015-12-30 2017-04-04 Palantir Technologies Inc. Composite graphical interface with shareable data-objects
US10043102B1 (en) 2016-01-20 2018-08-07 Palantir Technologies Inc. Database systems and user interfaces for dynamic and interactive mobile image analysis and identification
US10942642B2 (en) * 2016-03-02 2021-03-09 Airwatch Llc Systems and methods for performing erasures within a graphical user interface
US10698938B2 (en) 2016-03-18 2020-06-30 Palantir Technologies Inc. Systems and methods for organizing and identifying documents via hierarchies and dimensions of tags
US11029836B2 (en) * 2016-03-25 2021-06-08 Microsoft Technology Licensing, Llc Cross-platform interactivity architecture
CN105912109A (zh) * 2016-04-06 2016-08-31 众景视界（北京）科技有限公司 头戴式可视设备的屏幕自动开关装置和头戴式可视设备
US10390772B1 (en) 2016-05-04 2019-08-27 PhysioWave, Inc. Scale-based on-demand care system
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10324609B2 (en) 2016-07-21 2019-06-18 Palantir Technologies Inc. System for providing dynamic linked panels in user interface
US10719188B2 (en) 2016-07-21 2020-07-21 Palantir Technologies Inc. Cached database and synchronization system for providing dynamic linked panels in user interface
JP6282696B2 (ja) 2016-07-27 2018-02-21 京セラ株式会社 電子機器及び制御方法
CN106293076A (zh) * 2016-07-29 2017-01-04 北京奇虎科技有限公司 通信终端及智能终端手势识别方法和装置
US10437840B1 (en) 2016-08-19 2019-10-08 Palantir Technologies Inc. Focused probabilistic entity resolution from multiple data sources
US10215619B1 (en) 2016-09-06 2019-02-26 PhysioWave, Inc. Scale-based time synchrony
CN106572254A (zh) * 2016-10-28 2017-04-19 努比亚技术有限公司 手势交互装置及方法
US10318630B1 (en) 2016-11-21 2019-06-11 Palantir Technologies Inc. Analysis of large bodies of textual data
US10642853B2 (en) 2016-12-14 2020-05-05 Palantir Technologies Inc. Automatically generating graphical data displays based on structured descriptions
US10460602B1 (en) 2016-12-28 2019-10-29 Palantir Technologies Inc. Interactive vehicle information mapping system
JP6169298B1 (ja) * 2017-02-16 2017-07-26 京セラ株式会社 電子機器及び制御方法
CN107765928A (zh) * 2017-04-21 2018-03-06 青岛陶知电子科技有限公司 一种基于石墨烯光学传感技术的多点触摸显示系统
US11138236B1 (en) 2017-05-17 2021-10-05 Palantir Technologies Inc. Systems and methods for packaging information into data objects
US10956406B2 (en) 2017-06-12 2021-03-23 Palantir Technologies Inc. Propagated deletion of database records and derived data
JP6387154B2 (ja) * 2017-06-27 2018-09-05 京セラ株式会社 電子機器及び制御方法
CN107257414B (zh) * 2017-07-18 2019-07-23 Oppo广东移动通信有限公司 一种屏幕状态控制方法、装置、存储介质及移动终端
US10403011B1 (en) 2017-07-18 2019-09-03 Palantir Technologies Inc. Passing system with an interactive user interface
CN112604089B (zh) 2017-11-23 2024-02-06 赛诺菲 具有旋转编码器的药剂注射装置
CN108375096A (zh) * 2018-01-26 2018-08-07 中山百得厨卫有限公司 一种防干扰手势感应器及吸油烟机
US11599369B1 (en) 2018-03-08 2023-03-07 Palantir Technologies Inc. Graphical user interface configuration system
US10754822B1 (en) 2018-04-18 2020-08-25 Palantir Technologies Inc. Systems and methods for ontology migration
US10885021B1 (en) 2018-05-02 2021-01-05 Palantir Technologies Inc. Interactive interpreter and graphical user interface
JP6387204B2 (ja) * 2018-05-30 2018-09-05 京セラ株式会社 電子機器及び制御方法
US11119630B1 (en) 2018-06-19 2021-09-14 Palantir Technologies Inc. Artificial intelligence assisted evaluations and user interface for same
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
CN109195246B (zh) * 2018-07-25 2021-01-29 北京小米移动软件有限公司 光线发射控制方法、装置和存储介质
US11429230B2 (en) 2018-11-28 2022-08-30 Neonode Inc Motorist user interface sensor
GB201820552D0 (en) * 2018-12-17 2019-01-30 Q Free Asa Encapsulated sensors
DE112020000544T5 (de) * 2019-01-28 2021-11-04 Ams Sensors Singapore Pte. Ltd. Gerät mit einem optoelektronischen modul, das auf die manuellen bewegungen eines benutzers zur steuerung des geräts reagiert
CN110045819B (zh) * 2019-03-01 2021-07-09 华为技术有限公司 一种手势处理方法及设备
CN110052030B (zh) * 2019-04-26 2021-10-29 腾讯科技（深圳）有限公司 虚拟角色的形象设置方法、装置及存储介质
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
CN112286339B (zh) * 2019-07-23 2022-12-16 哈尔滨拓博科技有限公司 一种多维手势识别装置、方法、电子设备和存储介质
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
KR20220005081A (ko) 2019-07-26 2022-01-12 구글 엘엘씨 Imu 및 레이더를 기반으로 한 상태 감소
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
CN112753005B (zh) * 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
CN113892072A (zh) 2019-08-30 2022-01-04 谷歌有限责任公司 用于暂停的雷达姿势的视觉指示器
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
US11435447B2 (en) 2019-10-11 2022-09-06 Dell Products L.P. Information handling system proximity sensor with mechanically adjusted field of view
US11435475B2 (en) 2019-10-11 2022-09-06 Dell Products L.P. Information handling system infrared proximity detection with frequency domain modulation
US11662695B2 (en) 2019-10-11 2023-05-30 Dell Products L.P. Information handling system infrared proximity detection with distance reduction detection
US11294054B2 (en) * 2019-10-11 2022-04-05 Dell Products L.P. Information handling system infrared proximity detection with ambient light management
KR20220098024A (ko) 2019-12-31 2022-07-08 네오노드, 인크. 비 접촉식 터치 입력 시스템
US11663343B2 (en) 2020-01-31 2023-05-30 Dell Products L.P. Information handling system adaptive user presence detection
US11334146B2 (en) 2020-01-31 2022-05-17 Dell Products L.P. Information handling system peripheral enhanced user presence detection
US11513813B2 (en) 2020-01-31 2022-11-29 Dell Products L.P. Information handling system notification presentation based upon user presence detection
JP2023119599A (ja) * 2020-07-16 2023-08-29 アルプスアルパイン株式会社 ジェスチャ判定装置
EP4024167A1 (en) * 2020-12-30 2022-07-06 Panasonic Intellectual Property Management Co., Ltd. Electronic device, electronic system, and sensor setting method for an electronic device
IT202100032807A1 (it) * 2021-12-28 2023-06-28 Gewiss Spa Struttura di copertura di apparecchi elettrici di comando

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141542A (ja) 2003-11-07 2005-06-02 Hitachi Ltd 非接触入力インターフェース装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119090A (ja) * 1992-10-07 1994-04-28 Hitachi Ltd 省電力制御方式
JPH11265249A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US7226080B2 (en) * 2000-04-21 2007-06-05 Jerr-Dan Corporation Adjustable recovery spade
US7289102B2 (en) * 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
JP2003067108A (ja) * 2001-08-23 2003-03-07 Hitachi Ltd 情報表示装置とその操作認識方法
JP2003296731A (ja) * 2002-04-01 2003-10-17 Seiko Epson Corp 画像評価方法、画像評価装置、画像評価プログラム、当該画像評価プログラムを記録した記録媒体およびスクリーン配置
CN101019089A (zh) * 2004-03-22 2007-08-15 皇家飞利浦电子股份有限公司 在移动终端中用于进行功率管理的方法和设备
US7180500B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
JP4555141B2 (ja) * 2005-04-25 2010-09-29 日本電気株式会社 イメージスキャナ装置、その制御方法、イメージスキャナ装置制御プログラム及び記録媒体
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
US7633076B2 (en) * 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7748634B1 (en) * 2006-03-29 2010-07-06 Amazon Technologies, Inc. Handheld electronic book reader device having dual displays
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7702267B2 (en) * 2006-07-07 2010-04-20 Lexmark International, Inc. Apparatus and method for transfer of image forming substances
EP2053988A4 (en) * 2006-08-23 2011-08-24 Budhaditya Chattopadhyay BLOOD PURIFYING APPARATUS AND METHOD THEREOF
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
US7747293B2 (en) * 2006-10-17 2010-06-29 Marvell Worl Trade Ltd. Display control for cellular phone
US8340365B2 (en) * 2006-11-20 2012-12-25 Sony Mobile Communications Ab Using image recognition for controlling display lighting
US8094129B2 (en) * 2006-11-27 2012-01-10 Microsoft Corporation Touch sensing using shadow and reflective modes
US7957762B2 (en) * 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
WO2008101234A2 (en) * 2007-02-16 2008-08-21 Sloan-Kettering Institute For Cancer Research Anti ganglioside gd3 antibodies and uses thereof
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
JP4645658B2 (ja) * 2008-02-18 2011-03-09 ソニー株式会社 センシング装置、表示装置、電子機器およびセンシング方法
WO2009120292A2 (en) * 2008-03-24 2009-10-01 Shu Muk Lee Accelerometer-controlled mobile handheld device
US8129551B2 (en) * 2008-07-31 2012-03-06 Dow Technology Investments Llc Alkylene oxide recovery systems
US20100060611A1 (en) * 2008-09-05 2010-03-11 Sony Ericsson Mobile Communication Ab Touch display with switchable infrared illumination for touch position determination and methods thereof
CA2681856A1 (en) * 2008-10-07 2010-04-07 Research In Motion Limited A method and handheld electronic device having a graphic user interface with efficient orientation sensor use
US8275412B2 (en) * 2008-12-31 2012-09-25 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
US8344325B2 (en) * 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
JP5282661B2 (ja) * 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120005018A1 (en) * 2010-07-02 2012-01-05 Vijay Krishna Narayanan Large-Scale User Modeling Experiments Using Real-Time Traffic
EP2424201A3 (en) * 2010-08-31 2014-05-14 BlackBerry Limited System and method to integrate ambient light sensor data into infrared proximity detector settings

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141542A (ja) 2003-11-07 2005-06-02 Hitachi Ltd 非接触入力インターフェース装置

Also Published As

Publication number Publication date
JP2013534009A (ja) 2013-08-29
BR112012031926A2 (pt) 2018-03-06
CN102971701A (zh) 2013-03-13
CN102971701B (zh) 2016-06-22
WO2011160079A1 (en) 2011-12-22
JP5718460B2 (ja) 2015-05-13
US20110310005A1 (en) 2011-12-22
EP2583164A1 (en) 2013-04-24
KR20130043159A (ko) 2013-04-29

Similar Documents

Publication Publication Date Title
KR101627199B1 (ko) 무접촉 제스쳐 인식 및 전력 감소를 위한 방법들 및 장치
JP2013534009A5 (ko)
Cheng et al. Contactless gesture recognition system using proximity sensors
EP2350792B1 (en) Single camera tracker
US20180024643A1 (en) Gesture Based Interface System and Method
JP6370893B2 (ja) 検出されたジェスチャーに基づいてデバイス動作を実行するためのシステムおよび方法
JP6360050B2 (ja) 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
US9122917B2 (en) Recognizing gestures captured by video
US20140208274A1 (en) Controlling a computing-based device using hand gestures
US20140157209A1 (en) System and method for detecting gestures
US20120054670A1 (en) Apparatus and method for scrolling displayed information
CN105353634A (zh) 利用手势识别控制操作的家电设备与方法
US10198627B2 (en) Gesture identification with natural images
Wen et al. UbiTouch: ubiquitous smartphone touchpads using built-in proximity and ambient light sensors
US20160357301A1 (en) Method and system for performing an action based on number of hover events
TW201331796A (zh) 能根據環境光線變化來最佳化觸控亮點之多點觸控系統及其方法
CN107477970B (zh) 冰箱的开门控制方法及采用该方法的冰箱
Shin et al. Welfare interface implementation using multiple facial features tracking for the disabled people
KR20140011921A (ko) 동작 인식을 사용하여 디바이스의 동작 모드를 제어하는 장치 및 방법
CN104281331B (zh) 导航装置及其启动方法
CN106445141B (zh) 一种电容触摸屏终端的控制方法及装置
Cheng et al. Contactless gesture recognition for mobile devices
CN107239201A (zh) 显示内容操作方法、装置、终端及存储介质
Çığ et al. Real-time activity prediction: a gaze-based approach for early recognition of pen-based interaction tasks
CN105373327B (zh) 一种信息处理方法和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
X091 Application refused [patent]
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
LAPS Lapse due to unpaid annual fee