KR102479012B1 - 일시정지된 레이더 제스처에 대한 시각적 표시자 - Google Patents

일시정지된 레이더 제스처에 대한 시각적 표시자 Download PDF

Info

Publication number
KR102479012B1
KR102479012B1 KR1020217037833A KR20217037833A KR102479012B1 KR 102479012 B1 KR102479012 B1 KR 102479012B1 KR 1020217037833 A KR1020217037833 A KR 1020217037833A KR 20217037833 A KR20217037833 A KR 20217037833A KR 102479012 B1 KR102479012 B1 KR 102479012B1
Authority
KR
South Korea
Prior art keywords
gesture
radar
electronic device
pause
user
Prior art date
Application number
KR1020217037833A
Other languages
English (en)
Other versions
KR20210145313A (ko
Inventor
데본 제임스 오라일리 스턴
레오나르도 지우스티
비그네시 사치다난담
로우렌 베달
존 데이비드 제이콥스
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020227043908A priority Critical patent/KR102661485B1/ko
Publication of KR20210145313A publication Critical patent/KR20210145313A/ko
Application granted granted Critical
Publication of KR102479012B1 publication Critical patent/KR102479012B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

본 문서는 일시정지된 레이더 제스처들에 대한 시각적 표시자를 가능하게 하는 기법 및 시스템을 설명한다. 기법 및 시스템은 레이더 필드(110)를 사용하여 전자 디바이스(102)가 사용자(112)에 의한 레이더 제스처 또는 다른 움직임을 정확하게 결정할 수 있게 한다. 또한, 전자 디바이스는 전자 디바이스가 사용자의 레이더 제스처를 적절하게 결정하는 것을 어렵게 할 수 있는 특정 조건을 결정할 수 있다. 디바이스가 레이더 제스처를 사용하여 제어될 수 있는 애플리케이션(레이더 제스처 애플리케이션)을 포함하고, 조건이 제시되는 경우, 디바이스는 제스처 일시정지 모드로 진입할 수 있다. 디바이스가 이 모드에 진입하는 경우, 기법은 디스플레이(114)에 제스처 일시정지 피드백 요소를 제공하여 사용자에게 전자 디바이스에서 사용할 수 있거나 실행 중인 하나 이상의 레이더 제스처 애플리케이션이 있지만 레이더 제스처는 현재 애플리케이션을 제어하는데 사용될 수 없다는 것을 알려준다.

Description

일시정지된 레이더 제스처에 대한 시각적 표시자
스마트폰, 웨어러블 컴퓨터, 태블릿 및 기타 전자 디바이스는 개인용 및 업무용으로 사용된다. 사용자는 음성 및 터치를 통해 그들과 통신하고, 회의 및 이벤트에 대한 가상 어시스턴트와 같이 취급하고, 디지털 미디어를 소비하고, 프리젠테이션 및 기타 문서를 공유한다. 또한, 기계 학습 기법은 이들 디바이스들로 하여금 상기 디바이스들을 사용하는 것에 대한 사용자의 선호 중 일부를 예측하게 할 수 있다. 그러나 이 모든 컴퓨팅 파워와 인공 지능에서 이러한 디바이스들은 여전히 반응형 커뮤니케이터이다. 즉, 스마트폰은 "스마트"하고, 많은 사용자가 스마트폰이 사람인 것처럼 스마트폰과 대화하지만, 전자 디바이스는 여전히 작업을 수행하고 피드백을 제공하기 전에 활성화되는 것에 의존한다. 모바일 디바이스를 활성화하기 위해, 사용자는 일반적으로 먼저 디바이스를 들어야 하고 전자 디바이스를 사용하려는 사용자의 의도를 인식하도록 해야 한다. 이러한 물리적 인터렉션 후에만 디바이스에서 사용자가 애플리케이션과 기능을 사용할 수 있다. 결과적으로, 많은 전자 디바이스는 사용자에 의한 명시적인 인터렉션 이전에 열악한 사용자 경험을 제공한다.
본 문서는 일시정지된 레이더 제스처들에 대한 시각적 표시자를 가능하게 하는 기법 및 시스템을 설명한다. 기법 및 시스템은 레이더 필드를 사용하여 전자 디바이스로 하여금 전자 디바이스 근처에서 사용자의 존재 또는 부재를 정확하게 결정하게 하고, 사용자가 한 손을 뻗는 것(reach) 또는 다른 레이더 제스처를 검출하게 한다. 또한, 전자 디바이스는 전자 디바이스가 사용자의 레이더 제스처를 적절하게 결정하는 것을 어렵게 할 수 있는 특정 조건을 결정할 수 있다. 디바이스가 레이더 제스처를 사용하여 제어될 수 있는 애플리케이션을 포함하고, 조건이 제시되는 경우, 디바이스는 레이더 제스처 일시정지되는 상태에 진입할 수 있다. 디바이스가 이 상태에 진입하면 이 기법은 제스처 일시정지 피드백 요소를 제공한다. 제스처 일시정지 피드백 요소를 통해 사용자는 레이더 제스처로 제어될 수 있는 전자 디바이스에서 사용할 수 있거나 실행 중인 애플리케이션이 하나 이상 있지만, 현재 레이더 제스처를 사용하여 애플리케이션을 제어할 수 없음을 알 수 있다. 이것은 또한 전자 디바이스가 무엇을 할 수 있는지에 대해 사용자를 교육할 수 있고, 사용자가 레이더 제스처의 가용성에 의해 제공되는 추가 기능 및 특징을 활용할 수 있도록 한다.
아래에 설명되는 양태는 또한 디스플레이, 컴퓨터 프로세서, 레이더 시스템을 포함하는 전자 디바이스에서 구현되는 방법을 포함한다. 상기 방법은 제스처-일시정지 트리거를 검출하는 단계, 상기 검출하는 단계는: 상기 레이더 시스템이 레이더 제스처가 결정될 수 있는 레이더 필드를 제공하고 그리고 상기 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션이 상기 전자 디바이스에서 상기 컴퓨터 프로세서를 통해 실행되는 기간 동안 검출된다. 상기 방법은 또한 상기 제스처-일시정지 트리거를 검출하는 것에 응답하여, 상기 전자 디바이스의 디스플레이에 제스처-일시정지 피드백 요소를 제공하는 단계를 포함한다. 제스처 일시정지 피드백 요소는 애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 없음을 표시한다.
후술되는 양태들은 디스플레이, 컴퓨터 프로세서, 레이더 시스템 및 컴퓨터 판독가능 매체를 포함하는 전자 디바이스를 포함한다. 레이더 시스템은 적어도 부분적으로 하드웨어로 구현되고 레이더 필드를 제공한다. 레이더 시스템은 또한 레이더 필드에서 사용자로부터의 반사를 감지하고, 레이더 필드에서 사용자로부터의 반사를 분석하고, 반사의 분석에 기초하여 레이더 데이터를 제공한다. 컴퓨터 판독가능 매체는 입력-모드 관리자를 구현하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 저장된 명령어를 포함한다. 입력-모드 관리자는 제스처 일시정지 트리거를 검출한다. 제스처 일시정지 트리거는 레이더 시스템이 레이더 데이터에 기초하여 레이더 제스처가 결정될 수 있는 레이더 필드를 제공하고, 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션이 전자 디바이스에서 컴퓨터 프로세서를 통해 실행되는 기간 동안 입력-모드 관리자에 의해 검출된다. 상기 제스처-일시정지 트리거를 검출하는 것에 응답하여, 입력-모드 관리자는 상기 전자 디바이스의 디스플레이에 제스처-일시정지 피드백 요소를 제공한다. 제스처 일시정지 피드백 요소는 애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 없음을 표시한다.
아래에 설명되는 양태는 디스플레이 및 레이더 데이터를 제공하는 레이더 필드를 제공하기 위한 수단을 포함하거나 이와 연관된 전자 디바이스를 포함하는 시스템을 포함하며, 레이더 데이터는 레이더 필드에서 객체로부터의 반사를 감지하고 분석하는 것에 기초한다. 시스템은 레이더 시스템이 레이더 데이터에 기초하여 레이더 제스처가 결정될 수 있는 레이더 필드를 제공하고, 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션이 전자 디바이스에서 컴퓨터 프로세서를 통해 실행되는 기간 동안 제스처-일시정지 트리거를 검출하기 위한 수단을 포함한다. 시스템은 상기 제스처-일시정지 트리거를 검출하는 것에 응답하여, 상기 전자 디바이스의 디스플레이에 제스처-일시정지 피드백 요소를 제공하기 위한 수단을 포함한다. 제스처 일시정지 피드백 요소는 애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 없음을 표시한다.
이 요약은 일시정지된 레이더 제스처에 대한 시각적 표시자에 관한 단순화된 개념을 소개하기 위해 제공되며, 이는 아래의 상세한 설명 및 도면에서 추가로 설명된다. 본 요약은 청구된 발명의 필수적 구성을 식별하기 위한 것이 아니며, 청구된 발명의 범위를 결정하는데 사용하도록 의도된 것도 아니다.
일시정지된 레이더 제스처에 대한 시각적 표시자의 하나 이상의 양태의 세부 사항은 다음 도면을 참조하여 이 문서에서 설명된다. 도면 전체에서 동일한 구성 및 컴포넌트를 참조하기 위해 동일한 번호가 사용된다.
도 1은 일시정지된 레이더 제스처에 대한 시각적 표시자를 가능하게 하는 기법이 구현될 수 있는 예시적 환경을 도시한다.
도 2는 일시정지된 레이더 제스처에 대한 시각적 표시자를 구현할 수 있는 레이더 시스템을 포함하는 전자 디바이스의 예시적 구현예를 도시한다.
도 3는 도 1 및 2의 레이더 시스템의 예시적 구현예를 도시한다.
도 4는 도 3의 레이더 시스템을 위한 수신 안테나 엘리먼트의 예시적 구성을 도시한다.
도 5는 도 1 및 2의 레이더 시스템의 예시적 구현예의 추가적 세부사항을 도시한다.
도 6는 도 1 및 2의 레이더 시스템에 의해 구현될 수 있는 예시적 스키마를 도시한다.
도 7은 일시정지된 레이더 제스처에 대한 시각적 표시자를 가능하게 하는 예시적 방법을 도시한다.
도 8 내지 14는 레이더 제스처 애플리케이션이 레이더 제스처와 관련된 피드백을 제공하기 위해 전자 디바이스에서 실행 중인 경우 도 1 및 2의 전자 디바이스의 디스플레이 상에 제시될 수 있는 시각적 요소를 도시한다.
도 15 및 16은 레이더 제스처 애플리케이션이 전자 디바이스에서 실행되고 있지만 레이더 제스처가 현재 일시정지되어 있음을 사용자에게 경고하기 위해 도 1 및 2의 전자 디바이스의 디스플레이 상에 제시될 수 있는 제스처-일시정지 피드백 요소의 예를 도시한다.
도 17 내지 도 19는 상이한 모드에서 디스플레이에 제시될 수 있는 시각적 요소의 예를 포함하여 다양한 모드에서 동작하는 도 1 및 2의 전자 디바이스를 도시한다.
도 20는 도 1 내지 14를 참조하여 설명된 바와 같이 일시정지된 레이더 제스처에 대한 시각적 표시자를 가능하게 하는 기법이 구현될 수 있는, 임의의 유형의 클라이언트, 서버 및/또는 전자 디바이스로서 구현될 수 있는 예시적 컴퓨팅 시스템을 도시한다.
개요
본 문서는 일시정지된 레이더 제스처들에 대한 시각적 표시자를 가능하게 하는 기법 및 시스템을 설명한다. 설명된 기법은 사용자에 의해 수행된 레이더 기반 터치 독립적 제스처(레이더 제스처)를 검출하고 결정하는 레이더 시스템을 이용할 수 있다. 본 기법은 또한 디바이스가 레이더 기반 터치 독립 제스처를 통해 제어 입력을 수신할 수 있는 애플리케이션(레이더 제스처 애플리케이션)을 실행할 때를 결정한다. 디바이스가 레이더 제스처 애플리케이션을 실행 중이고(또는 실행할 수 있는 애플리케이션이 저장되어 있음) 특정 조건이 제시되는 경우, 디바이스는 레이더 제스처가 일시정지된 상태(제스처-일시정지 모드라고도 함)에 진입할 수 있다. 디바이스가 이 상태에 진입하면, 기법은 제스처 일시정지 피드백 요소를 제공하여, 전자 디바이스의 레이더 제스처 애플리케이션을 제어하는데 레이더 제스처를 사용할 수 없을 때 사용자 피드백을 제공한다.
이 설명에서, "레이더 기반 터치 독립적 제스처", "3D 제스처"또는 "레이더 제스처"라는 용어는 전자 디바이스로부터 멀리 떨어진 공간에서의 제스처의 성질을 지칭한다(예를 들어, 제스처는 제스처가 터치를 배제하지는 않지만 사용자 디바이스를 터치할 것을 요하지 않는다). 레이더 제스처 자체는 종종 평면에서 왼쪽 상단에서 오른쪽 하단으로의 스와이프로 구성된 레이더 제스처와 같이 2차원에 있는 능동적 정보 컴포넌트만 가질 수 있지만, 레이더 제스처는 전자 디바이스로부터의 거리를 가질 수 있기 때문에("제3의"차원), 본 명세서에서 논의된 레이더 제스처는 일반적으로 3차원으로 간주될 수 있다.
이러한 기법을 사용하여, 전자 디바이스는 사용자가 사용 가능한 레이더 제스처를 인식하도록 피드백 및 알림을 제공하고, 레이더 제스처의 사용, 성공, 실패 및 결과에 대한 피드백을 제공할 수 있다. 일부 경우에, 사용자의 부재, 존재 또는 위치를 결정하여 보다 신속하고 효율적인 인증 프로세스를 제공하는데 사용될 수 있다. 예를 들어, 이 기법을 통해 디바이스는 사용자가 인증될 준비가 된 시기를 예상하고 사용자가 없을 때 디바이스를 잠글 시기를 보다 정확하게 결정할 수 있다. 설명된 기법을 통해 전자 디바이스는 사용 가능한 입력 모드에 대한 유용한 피드백을 사용자에게 제공할 수 있으므로, 사용자가 입력 모드를 인식하고 디바이스가 인터렉션하고 입력을 수신할 수 있는 다양한 방식에 대해 확신할 수 있기 때문에 인터렉션이 더 편리하고 덜 답답할 수 있다.
설명된 레이더 시스템을 포함하는 예시적 스마트폰을 고려한다. 이 예에서, 레이더 제스처 애플리케이션(예: 레이더 제스처를 통해 제어 입력을 수신하여 애플리케이션을 제어하는 기능을 갖는 애플리케이션)이 전자 디바이스에서 동작하고 있다. 레이더 제스처 애플리케이션의 예는 음악 플레이어, 미디어 플레이어, 캘린더 또는 시계와 같은 경고 또는 미리 알림을 제공하는 전자 디바이스의 애플리케이션 또는 기능을 포함한다. 이 예에서, 입력-모드 관리자는 디바이스가 제스처 일시정지 모드와 같이 레이더 제스처가 일시정지된 상태에 진입할 때 전자 디바이스가 디바이스의 디스플레이에 제스처 일시정지 피드백 요소를 제시하도록 한다. 디바이스는 사용자 또는 전자 디바이스의 속도, 위치 또는 모션과 같은 요인과 관련된 다양한 조건에 기초하여 이러한 제스처 일시정지된 상태로 진입할 수 있다. 예를 들어, 사용자는 사용자의 손이 전자 디바이스의 제스처 영역 내에서 앞뒤로 흔들리는 동안 주머니나 다른 용기에 전자 디바이스를 가지고 걷고 있을 수 있으며, 이는 사용자가 레이더 제스처를 할 의도인지 여부에 대한 모호성을 생성할 수 있다.
제스처 구역은 레이더 필드의 하위 볼륨인 전자 디바이스 주변의 볼륨이며 그 안에서 전자 디바이스, 레이더 시스템, 입력-모드 관리자(또는 전자 디바이스와 연관된 다른 컴포넌트)가 레이더 제스처를 결정할 수 있다(예를 들어, 제스처 구역 내에서 사용자 모션의 다양한 파라미터를 결정하기 위해 레이더 데이터를 사용). 제스처 구역은 대략 3, 5, 7, 9 또는 12인치 내와 같은 임계 거리로 구성될 수 있다. 일부 경우에, 제스처 구역은 전자 디바이스로부터 상이한 임계 거리를 상이한 방향으로 연장할 수 있다(예를 들어, 쐐기형, 직사각형, 타원체 또는 비대칭 형상을 가질 수 있음). 제스처 구역의 크기 또는 형상은 또한 시간에 따라 변할 수 있거나 전자 디바이스의 상태(예를 들어, 배터리 레벨, 배향, 잠금 또는 잠금 해제) 또는 환경(예: 주머니 또는 지갑, 자동차 또는 평평한 표면)과 같은 다른 팩터들에 기초할 수 있다.
제스처-일시정지 피드백 요소는 전자 디바이스 상의 레이더 제스처 애플리케이션이 현재 레이더 제스처에 의해 제어될 수 없음을 사용자에게 표시하는 사용자-인식가능 요소(예: 전자 디바이스의 디스플레이에 제시되는 시각적 요소)이다. 이러한 요소는 레이더 제스처 애플리케이션과 인터렉션하기 위한 레이더 제스처의 사용을 현재 배제하는 조건이 검출되었음을 사용자에게 알리는데 사용될 수 있다. 예를 들어, 레이더 제스처 애플리케이션이 전자 디바이스에서 실행 중일 때 디스플레이는 아이콘, 대조되는 조명 영역(예: 주변 영역보다 밝거나 어두운 영역), 또는 상이한 또는 대비되는 색상(경우에 따라 이러한 기능 중 하나 이상의 조합 포함)을 제시할 수 있다. 디바이스가 제스처 일시정지 상태에 진입하거나 있을 때, 제스처 일시정지 피드백 요소가 제시되고 디바이스가 제스처 일시정지 상태를 종료하거나 제스처 일시정지 상태에 있지 않은 경우 제스처 일시정지 피드백 요소가 제시되지 않는다.
설명된 기법 및 시스템은 다른 구성들과 함께 레이더 시스템을 사용하여, 사용자의 제스처 및 전자 디바이스에서의 레이더-제스처 애플리케이션의 동작에 기초하여 시각적 피드백을 포함하는 유용하고 보상적인 사용자 경험을 제공한다. 특정한 레이더-제스처 애플리케이션에 대한 사용자의 지식 및 인식에만 의존하지 않고, 전자 디바이스는 사용자가 한 레이더 제스처의 가용성, 성공 또는 실패를 표시하는 피드백을 사용자에게 제공할 수 있다.
일부 종래의 전자 디바이스는 카메라, 근접 센서(예: 용량성 센서 또는 적외선 센서) 또는 가속도계를 포함하는 센서를 사용하여 사용자의 위치를 결정하고, 사용자의 근접도에 기초하여 전자 디바이스의 다양한 기능을 조정할 수 있다. 예를 들어, 전자 디바이스는 사용자가 미리 정해진 거리 내에 있지 않는 한 디스플레이를 꺼서 추가적인 프라이버시 또는 에스테틱 값을 제공할 수 있다. 그러나, 종래의 전자 디바이스는 일반적으로 사용자에게 전자 디바이스의 기능 및 전자 디바이스와의 인터렉션에 대해 교육할 수 있는 유용하고 풍부한 주변 경험을 제공할 수 없다. 이들은 어떻게 기술된 기법 및 시스템이 일시정지된 레이더 제스처에 대한 시각적 표시자를 가능하게 하는데 사용될 수 있는지에 관한 일부 예시들이지만, 다른 예시들 및 구현예들이 본 명세서 전반에 걸쳐 기술된다. 본 문서는 이제 예시적 동작 환경을 설명하고 그 후에 예시적 디바이스, 방법 및 시스템이 설명된다.
동작 환경
도 1은 일시정지된 레이더 제스처에 대한 시각적 표시자를 가능하게 하는 기법이 구현될 수 있는 예시적 환경(100)을 도시한다. 예시적 환경(100)은 지속적 레이더 시스템(104), 지속적 입력-모드 관리자(106)(입력-모드 관리자(106)) 및 선택적으로 하나 이상의 비-레이더 센서(108)(비-레이더 센서(108))를 포함하거나 이와 연관된 전자 디바이스(102)를 포함한다. 레이더 시스템(104) 또는 입력-모드 관리자(106)와 관련하여 용어 "지속적(persistent)”은 (휴면 모드, 참여 모드 또는 활성 모드와 같이 다양한 모드에서 동작할 수 있는) 레이더 시스템(104) 또는 입력-모드 관리자(106)를 활성화시키는데 사용자 인터렉션이 필요하지 않음을 의미한다. 일부 구현예에서, “지속적” 상태는(예를 들어, 사용자에 의해) 일시정지되거나 꺼질 수 있다. 다른 구현예에서, "지속적” 상태는 전자 디바이스(102)(또는 다른 전자 디바이스)의 하나 이상의 파라미터에 따라 스케줄링되거나 달리 관리될 수 있다. 예를 들어, 전자 디바이스(102)가 밤과 낮 모두에 켜지더라도, 낮 시간 동안만 동작하도록 사용자는 "지속적” 상태를 스케줄링할 수 있다. 비-레이더 센서(108)는 오디오 센서(예를 들어, 마이크로폰), 터치 입력 센서(예를 들어, 터치스크린) 또는 이미지 캡처 디바이스(예: 카메라 또는 비디오 카메라)와 같은 임의의 다양한 디바이스일 수 있다.
예시적 환경(100)에서, 레이더 시스템(104)은 도 3 내지 6을 참조하여 후술되는 바와 같이, 하나 이상의 레이더 신호 또는 파형을 전송함으로써 레이더 필드(110)를 제공한다. 레이더 필드(110)는 레이더 시스템(104)이 레이더 신호 및 파형의 반사를 검출할 수 있는 공간의 볼륨이다(예를 들어, 공간의 볼륨에서 객체로부터 반사된 레이더 신호 및 파형). 레이더 필드(110)는 구, 반구, 타원체, 원뿔, 하나 이상의 로브 또는 비대칭 형상(예를 들어, 레이어에 의해 침투될 수 없는 장애물의 어느 한쪽 측면을 덮을 수 있음)과 같은 다수의 형상으로 구성될 수 있다. 레이더 시스템(104)은 또한 전자 디바이스(102) 또는 다른 전자 디바이스가 레이더 필드(110)에서 객체로부터의 반사를 감지하고 분석할 수 있게 한다. 레이더 필드(110)는 인식 구역을 제공하기 위해 사용될 수 있다. 인식 구역은 대략 3, 7, 10 또는 14피트(또는 1, 2, 3, 또는 4미터)와 같은 레이더 시스템(104)으로부터의 다양한 거리 중 임의의 것을 확장할 수 있는 레이더 시스템(104) 주변의 볼륨이다. 인식 구역은 레이더 필드(110)의 최대 범위와 같거나 작을 수 있다. 인식 구역은 미리 정의되거나, 사용자가 선택가능하거나 또는 다른 방법을 통해 결정될 수 있는(예를 들어, 전력 요구사항, 남은 배터리 수명, 또는 다른 인자에 기초하여) 정적 크기 또는 형상일 수 있다.
일부 경우에, 인식 구역은 전자 디바이스(102)의 속도 또는 위치, 하루 중 시간 또는 전자 디바이스(102)에서 실행 중인 애플리케이션의 상태와 같은 다양한 요인에 기초하여 동적으로 자동으로 조정될 수 있다(예를 들어, 레이더 시스템(104), 입력-모드 관리자(106) 또는 다른 컴포넌트에 의해). 임계 거리 또는 인식 구역은 배터리 잔량, 전자 디바이스의 위치, 전자 디바이스의 속도 또는 하나 이상의 레이더 시스템으로부터 수신된 데이터, 기타 센서 또는 전자 디바이스에서 실행되는 애플리케이션과 같은 다수의 관련 요인에 기초하여 결정될 수 있다.
레이더 시스템(104)의 일부 구현예는 저전력 요구, 프로세싱 효율 요구, 공간 및 안테나 엘리먼트의 레이아웃의 한계점과 같은 이슈와 다른 이슈의 수렴이 존재하는 전자 디바이스(102)와 같은 스마트폰의 맥락에서 적용될 때 특히 이점이 있고, 그리고 미세한 손 제스처들의 레이더 검출이 요구되는 스마트폰의 특정 맥락에서 더욱 이점이 있다. 구현예는 미세한 레이더 검출 손 제스처가 요구되는 스마트폰의 설명된 컨텍스트에서 특히 이점이 있지만, 본 발명의 구성 및 이점의 적용가능성이 반드시 그렇게 제한되는 것은 아니며, (도 2를 참조하여 도시된 것과 같은) 다른 유형의 전자 디바이스를 포함하는 다른 구현예들도 본 교시의 범위 내에 있다는 것이 인식될 것이다.
객체는 레이더 시스템(104)이 나무, 플라스틱, 금속, 직물, 인체, 인체의 일부(예를 들어, 전자 디바이스(102)의 사용자의 발, 손 또는 손가락)와 같이 레이더 반사를 감지하고 분석할 수 있는 다양한 객체 중 임의의 것일 수 있다. 도 1에 도시된 바와 같이, 객체는 전자 디바이스(102)의 사용자(112)이다. 도 3 내지 6을 참조하여 기술된 바와 같이, 반사의 분석에 기초하여, 레이더 시스템(104)은 레이더 필드(110)와 연관된 다양한 유형의 정보 및 사용자(112)(또는 사용자(112)의 일부)로부터의 반사를 포함하는 레이더 데이터를 제공할 수 있다(예를 들어, 레이더 시스템(104)은 레이더 데이터를 입력-모드 관리자(106)와 같은 다른 엔터티로 패스할 수 있다).
레이더 데이터는 물체(예를 들어, 레이더 필드(110)에서의 사용자(112) 또는 사용자(112)의 부분)로부터의 감지되고 분석된 반사에 기초하여, 시간에 따라 계속적으로 또는 주기적으로 제공될 수 있다. 사용자(112)의 포지션은 시간에 따라 변할 수 있고(예를 들어, 레이더 필드 내의 물체가 레이더 필드(110) 내에서 이동할 수 있음), 따라서 레이더 데이터는 변경된 포지션, 반사 및 분석에 대응하여 시간에 따라 변할 수 있다. 레이더 데이터는 시간에 따라 변할 수 있기 때문에, 레이더 시스템(104)은 상이한 시간 기간에 대응하는 레이더 데이터의 하나 이상의 서브셋을 포함하는 레이더 데이터를 제공한다. 예를 들어, 레이더 시스템(104)은 제1 시간 기간에 대응하는 레이더 데이터의 제1 서브셋, 제2 시간 기간에 대응하는 레이더 데이터의 제2 서브셋 등을 제공할 수 있다. 일부 경우에, 레이더 데이터의 상이한 서브셋은 전체적으로 또는 부분적으로 오버랩될 수 있다(예를 들어, 레이더 데이터의 하나의 서브셋은 다른 서브셋과 동일한 데이터의 일부 또는 전부를 포함할 수 있다).
또한 전자 디바이스(102)는 디스플레이(114) 및 애플리케이션 관리자(116)를 포함할 수 있다. 디스플레이(114)는 터치스크린, 액정 디스플레이(LCD), TFT LCD, IPS LCD, 용량성 터치스크린 디스플레이, OLDE 디스플레이, AMOLED 디스플레이, 수퍼 AMOLED 디스플레이 등과 같은 임의의 적합한 디스플레이 디바이스를 포함할 수 있다. 디스플레이(114)는 전자 디바이스(102)의 다양한 모드와 연관된 시각적 요소를 디스플레이하는데 사용되며, 이는 도 8 내지 19를 참조하여 더 상세히 설명된다. 애플리케이션 관리자(116)는 전자 디바이스(102)에서 동작하는 애플리케이션과 통신 및 인터렉션하여, 애플리케이션 간의 충돌(예: 프로세서 리소스 사용, 전력 사용 또는 전자 디바이스(102)의 다른 컴포넌트들에 대한 액세스)을 결정하고 해결할 수 있다. 또한 애플리케이션 관리자(116)는 터치, 음성 또는 레이더 제스처와 같은 애플리케이션의 사용가능한 입력 모드를 결정하고 사용가능한 모드를 입력-모드 관리자(106)에 통신하기 위해 애플리케이션과 인터렉션할 수 있다.
입력-모드 관리자(106)는 전자 디바이스(102)의 다양한 컴포넌트(예를 들어, 모듈, 관리자, 시스템, 인터페이스, 하나 이상의 비-레이더 센서들(108))와 인터렉션하거나 이를 제어하는데 사용될 수 있다. 예를 들어, 입력-모드 관리자(106)는 (독립적으로 또는 애플리케이션 관리자(116)를 통해) 전자 디바이스에서 동작하는 애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 능력을 가지는지(예를 들어, 레이더 제스처 애플리케이션이다) 결정할 수 있다. 레이더 제스처는 레이더 데이터에 기초하여 레이더 시스템(104)을 통해 수신될 수 있다. 예를 들어, 입력-모드 관리자(106) 또는 레이더 시스템(104)은 전자 디바이스(102)의 제스처 구역(118) 내에 있는 손 또는 물체와 같은 사용자(112)의 일부에 의해 수행된 모션을 검출하기 위해 레이더 데이터의 하나 이상의 서브셋을 사용할 수 있다. 입력-모드 관리자(106)는 사용자의 모션이 레이더 제스처인지 여부를 결정한다.
제스처 구역(118)은 레이더 시스템(104)(또는 다른 모듈 또는 애플리케이션)이 사용자 또는 사용자의 일부(예를 들어, 사용자의 손(12))에 의한 모션을 검출하고, 모션이 레이더 제스처인지 여부를 결정할 수 있는 전자 디바이스(102) 주변의 영역 또는 볼륨이다. 레이더 필드의 제스처 구역은 레이더 필드보다 작은 지역 또는 영역이다(예를 들어, 제스처 구역은 레이더 필드보다 작은 볼륨을 가지며 레이더 필드 내에 있다). 예를 들어, 제스처 구역(118)은 미리 정의된, 사용자 선택가능한 또는 다른 방법(예를 들어, 전력 요구사항, 잔존 배터리 수명 또는 다른 요인)을 통해 결정된 정적 크기 및/또는 형상을 가지는 전자 디바이스 주변의 고정된 볼륨(예를 들어, 3, 5, 7, 9 또는 12 인치 내와 같은 전자 디바이스(102) 주변의 임계 거리)일 수 있다. 다른 경우에, 제스처 구역(118)은 전자 디바이스(102), 레이더 시스템(104) 또는 입력-모드 관리자(106)에 의해 전자 디바이스(102)의 속도 또는 위치, 시간 전자 디바이스(102)에서 실행되는 애플리케이션의 상태와 같은 요인 또는 다른 요인에 기초하여, 동적으로 그리고 자동적으로 조절가능한 전자 디바이스 주변의 볼륨일 수 있다. 레이더 시스템(104)이 더 먼 거리에서 레이더 필드(110) 내의 물체를 검출할 수 있지만, 제스처 구역(118)은 전자 디바이스(102)와 레이더-제스처 애플리케이션으로 하여금 사용자에 의한 의도적 레이더 제스처와 사용자에 의해 의도된 것이 아닌 레이더 제스처와 유사한 다른 종류의 모션을 구별하게 한다.
모션이 레이더 제스처인지 여부를 결정하기 위해 다양한 적절한 기법이 사용될 수 있다. 예를 들어, 입력-모드 관리자(106)(또는 전자 디바이스(102)와 연관된 다른 컴포넌트)는 모션이 레이더 제스처로 고려될 하나 이상의 기준을 충족하는지 여부를 결정하기 위해 레이더 데이터(예를 들어, 레이더 데이터의 하나 이상의 서브세트)를 사용할 수 있다. 기준은 경로, 형상, 길이, 속도 또는 전자 디바이스로부터의 거리와 같은 모션의 다양한 파라미터를 포함할 수 있다. 일부 경우에, 입력-모드 관리자(106)는 모션에 대한 파라미터를 결정하고 이를 제스처 라이브러리(120)의 제스처 데이터와 비교하여 사용자의 모션이 알려진 레이더 제스처와 일치하는지 여부를 결정한다. 모션이 기준에 맞지 않는 경우 레이더 제스처가 아닌 것으로 결정한다. 마찬가지로 사용자의 모션이 기준을 만족하면 레이더 제스처인 것으로 결정한다.
모션이 기준을 충족할 때(예를 들어, 레이더 제스처인 것으로 결정된 경우), 입력-모드 관리자(106)(또는 전자 디바이스(102)와 연관된 다른 컴포넌트)는 레이더 제스처가 애플리케이션의 제어 입력에 대응하는지 여부를 결정한다. 제어 입력은 레이더 제스처 애플리케이션의 액션에 대응하는 제어 신호와 같은 입력이다. 예를 들어, 제어 입력은 전자 디바이스의 디스플레이 상의 경고 또는 알림을 해제하거나, 벨소리 또는 알람을 무음으로 설정하거나, 다음 또는 이전 미디어 아이템으로 건너뛰기 위한 명령어에 대응할 수 있다. 모든 애플리케이션이 모든 제스처에 대응하는 제어 입력을 갖는 것은 아니다(예: 제스처가 제대로 만들어지더라도 한 애플리케이션에서 "작동"하는 제스처가 다른 애플리케이션에서 "작동"하지 않을 수 있음). 일부 경우에, 제스처 라이브러리(120) 또는 다른 컴포넌트는 제어 입력과 레이더 제스처 간의 관계를 저장할 수 있고, 입력-모드 관리자(106)는 레이더 제스처가 애플리케이션의 제어 입력에 대응하는지 여부를 결정하기 위해 제스처 라이브러리(120)의 관계를 사용할 수 있다. 따라서, 레이더 제스처가 적절하게 이루어졌거나(예를 들어, 기준을 만족하는 경우), 애플리케이션의 제어 입력에 대응하는 경우 또는 애플리케이션이 제어 입력을 수신하고 응답하는 경우에 성공적일 수 있다. 레이더 시스템(104) 또는 전자 디바이스와 연관된 다른 엔터티는 손 뻗기, 스와이프 제스처(일반적으로 디스플레이(114) 상의 콘텐츠에 대해 수평 또는 수직인 모션) 또는 "옴니 제스처"(콘텐츠에 대한 특정 방향이 없는 제스처)와 같은 다양한 종류의 레이더 제스처를 검출하는 데 사용될 수 있다.
입력-모드 관리자(106)는 또한 제스처-일시정지 트리거(122)를 검출하고, 제스처-일시정지 트리거(122)의 검출에 응답하여 전자 디바이스가 제스처-일시정지 모드에 진입하고 제스처-일시정지 피드백 요소(124)를 전자 디바이스(102)의 디스플레이(114)에서 제공하게 할 수 있다. 예를 들어, 레이더 시스템(104)이 레이더 데이터에 기초하여 레이더 제스처가 결정될 수 있는 레이더 필드를 제공하고, 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 전자 디바이스(102) 상의 애플리케이션이 실행(컴퓨터 프로세서를 통해)되는 기간을 고려한다. 입력-모드 관리자(106)가 이 기간 동안 제스처-일시정지 트리거(122)를 검출하면, 입력-모드 관리자(106)는 제스처-일시정지 피드백 요소(124)를 제공한다. 제스처-일시정지 피드백 요소(124)의 출현은 애플리케이션 이 제어 입력과 연관된 액션을 수행할 수 없음을 표시한다.
제스처-일시정지 트리거(122)는 존재시 전자 디바이스(102) 및/또는 레이더 시스템(104)이 제스처-일시정지 모드에 진입하게 하는 조건 또는 조건들의 세트이다(예를 들어, 레이더 제스처 애플리케이션이 제어 입력과 연관된 액션을 수행할 수 없거나 일부 구현예에서 레이더 제스처에 대응하는 제어 입력을 수신할 수 없기 때문에 레이더 제스처가 일시정지된 상태). 일반적으로, 제스처 일시정지 트리거(122)가 전자 디바이스(102) 또는 레이더 시스템(104)이 사용자의 모션이 레이더 제스처인지 여부를 정확하고 효율적으로 결정하기 어렵게 하는 조건이다. 예를 들어, 도 1에 도시된 바와 같이, 제스처-일시정지 트리거(122)는 사용자(112)가 걷거나 뛰는 동안 전자 디바이스(102)를 휴대하는 경우와 같이 임계 주파수를 초과하는(예: 대략 초당 0.25, 0.50, 0.75, 1.0 또는 1.5 진동 초과) 전자 디바이스(102)의 진동 모션일 수 있다. 제스처-일시정지 트리거(122)의 다른 예는 임계 속도 이상의 속도의(예를 들어, 시간당 대략 3, 4, 5, 또는 10마일 초과) 전자 디바이스의 모션 또는 진동 모션이 임계 주파수를 초과하는 경우(예를 들어, 초당 대략 0.25, 0.50, 0.75, 1.0, 또는 1.5 진동 초과) 레이더 필드에서 사용자(112)(또는 사용자(112)의 일부)와 같은 객체의 진동 모션을 포함한다.
일부 구현예에서, 입력-모드 관리자(106)는 레이더 데이터, 비-레이더 센서(108)(예를 들어, 관성 측정 유닛(IMU), 가속도계, 자이로스코프)로부터의 데이터 또는 레이더 데이터 및 비-레이더 센서(108)로부터의 데이터의 조합을 사용하여 제스처-일시정지 트리거(122)를 검출한다. 일부 경우에, 제스처-일시정지 피드백 요소(124)는 전자 디바이스(102)가 사용자(112)의 임계 거리 내에 있는 동안(예를 들어, 대략 사용자(112)의 1, 3, 4, 5, 또는 6피트 내) 제스처-일시정지 트리거(122)가 검출된 경우에만 제공된다. 사용자로부터의 임계 거리는 레이더 데이터, 비-레이더 센서(108)(예를 들어, 근접 센서 또는 이미지 캡처 센서)로부터의 데이터 또는 레이더 데이터와 비-레이더 센서(108)로부터의 데이터의 조합을 사용하여 결정될 수 있다.
제스처-일시정지 피드백 요소(124)는 디스플레이(114)의 활성 영역에 나타나는 시각적 요소와 같은 사용자가 인지할 수 있는 요소이다. 제스처-일시정지 피드백 요소(124)는 또한 디스플레이 상에 없는 조명 요소(예를 들어, 발광 다이오드(LED) 또는 전자 디바이스의 하우징 또는 베젤에 장착된 LED 어레이), 햅틱 요소(예를 들어, 진동 요소), 및/또는 오디오 요소(예를 들어, 사용자가 인지할 수 있는 사운드)일 수 있다(또는 이를 포함할 수 있음) 일부 경우에, 제스처-일시정지 피드백 요소(124)는 디스플레이(114)의 에지에서 또는 이를 따라 제시될 수 있다. 본 문서에서, "에지에서" 및 "에지를 따라"라는 문구는 에지에 가깝거나 인접한 것(예: 에지에 갭이 없거나 1픽셀, 2픽셀, 3픽셀 등의 간극이 있는 것)을 의미한다. 제스처-일시정지 피드백 요소(124)는 다양한 모양, 크기, 색상 및 기타 시각적 파라미터 또는 속성 중 임의의 것을 가질 수 있다. 다른 시각적 파라미터 또는 속성의 예는 광도, 색상, 대비, 모양, 채도 또는 불투명도를 포함한다. 본 명세서에 기술된 바와 같이, 광도는 인간에 의해 지각된 객체의 밝기를 지칭한다. 광도를 수정하는 것은 광도(예를 들어, 밝기), 대비, 및/또는 불투명도를 수정하는 것을 포함할 수 있다.
시각적 요소는 시각적 요소에 근접한 디스플레이(114)의 다른 부분의 밝기 또는 다른 시각적 속성과 상이한 밝기 또는 다른 시각적 속성을 갖는 디스플레이(114)의 활성 영역의 일부인 영역을 가질 수 있다. 이 경우, 시각적 요소는 또한 디스플레이의 활성 영역의 에지로부터 임계 거리 내에 있는 외부 경계의 세그먼트를 가질 수 있다. 이들 예 중 일부는 디스플레이(114)의 에지에 또는 이를 따라 제시되는 제스처-일시정지 피드백 요소(124)를 설명하지만, 제스처-일시정지 피드백 요소(124)는 에지가 아닌 디스플레이(114) 상의 위치에 나타날 수 있다. 예를 들어, 디스플레이(114)의 에지는 디스플레이(114)의 활성 영역의 경계에서 시작하여 디스플레이(114)의 경계의 총 길이의 대략 15퍼센트 이하인 경계로부터의 거리로 확장하는 영역을 포함할 수 있다.
일부 구현예에서, 제스처-일시정지 피드백 요소(124)의 광도(또는 다른 시각적 파라미터)는 제스처-일시정지 피드백 요소(124)가 디스플레이(114)의 활성 영역의 에지로부터 거리를 가로질러 연장됨에 따라 달라질 수 있다(예를 들어, 형상이 에지로부터 멀어질수록 감소하는 디스플레이(114)의 에지에서 또는 에지를 따라 광도를 가짐 또는 그 반대). 예를 들어, 제스처-일시정지 피드백 요소(124)는 디스플레이(114)의 다른 영역(예를 들어, 제스처-일시정지 피드백 요소(124)을 둘러싸거나 가까운 영역)과 상이한 광도를 갖고 디스플레이(114)의 에지에 인접해 있는 디스플레이(114)의 영역으로서 제시될 수 있다. 다른 예에서, 제스처-일시정지 피드백 요소(124)는 디스플레이(114)와 상이한 광도를 갖고, 디스플레이(114)의 에지에 인접한 미리 결정된 두께를 갖는 선으로서 제시될 수 있다. 일부 구현예에서, 제스처-일시정지 피드백 요소(124)는 디스플레이(114)의 활성 영역 상에서 이동하고 제스처-일시정지 피드백 요소(124)의 움직임은 제스처-일시정지 트리거(122)의 모션에 대응할 수 있다(예를 들어, 제스처-일시정지 피드백 요소(124)의 속도, 진동, 주파수 또는 다른 움직임이 제스처-일시정지 트리거(122)의 모션, 속도, 또는 진동 주파수에 대응할 수 있다).
위에서 설명된 바와 같이, 제스처-일시정지 피드백 요소(124)는 레이더-제스처 애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 없음을 나타낼 수 있다. 이 경우, 사용자(112)는 레이더 제스처를 시도하거나 시도하지 않았을 수 있다. 입력-모드 관리자(106)는 제스처-일시정지 트리거(122)의 검출에 기초하여 제스처-일시정지 피드백 요소(124)를 제공하고, 레이더 제스처가 시도되었을 필요는 없다. 오히려, 제스처-일시정지 피드백 요소는 전자 디바이스(102)에서 레이더 제스처 애플리케이션을 제어하기 위해 현재 레이더 제스처가 사용가능하지 않다는 것을 사용자에게 경고한다.
도 1에 도시된 예시를 고려하면, 도 2는 제스처 구역(118) 내의 사용자(112)를 도시한다. 도 1에서, 시각적 피드백 요소(126)는 예시적 디스플레이(114-1) 상에 제시된다(예를 들어, 사용자(112) 또는 손과 같은 사용자(112)의 일부가 제스처 구역(118) 내에서 검출되었고 적어도 하나의 레이더-제스처 애플리케이션이 전자 디바이스(102) 상에서 동작하고 있다는 것을 표시하기 위해). 이 예에서, 제스처-일시정지 트리거(122)는 사용자(112)가 사용자 측에서 전자 디바이스(102)와 함께 걷는 것에 의해 야기되는 전자 디바이스(102)의 진동을 나타내는 곡선의 점선 화살표로 도시된다. 다른 예시적 디스플레이(114-2)에서, 제스처-일시정지 피드백 요소(124)는 제스처-일시정지 트리거(122)의 검출에 응답하여 제공된다. 예시적 디스플레이(114-2)에 도시된 바와 같이, 제스처-일시정지 피드백 요소(124)는 시각적 요소(126)보다 더 작고 더 어둡다. 다른 구현예에서(도 1에 도시되지 않음), 제스처-일시정지 피드백 요소(124)는 또한 또는 대신에 제스처-일시정지 트리거(122)로서 검출된 조건이 종료될 때의 원래 포지션으로 돌아오기 전에 제스처-일시정지 트리거(122)를 구성하는 모션의 주파수와 일치할 수 있는 주파수에서 앞뒤로 움직이거나 펄스(주기적으로 증가 및 축소)한다.
도 1에 도시된 예에서, 제스처-일시정지 피드백 요소(124) 및 시각적 피드백 요소(126)는 둘 모두 디스플레이(114)의 상단 에지에 또는 그 근처에 위치한 빛나는 영역으로 도시되어 있다. 다른 구현예에서, 제스처-일시정지 피드백 요소(124) 및/또는 시각적 피드백 요소(126)는 다른 크기, 다른 모양일 수 있거나, 다른 위치에서 제시될 수 있다. 이 예는 제스처-일시정지 피드백 요소가 전자 디바이스(102)에서 레이더 제스처 애플리케이션을 제어하기 위해 현재 레이더 제스처가 사용가능하지 않다는 것을 사용자에게 어떻게 보여주는지 도시한다. 따라서, 제스처-일시정지 피드백 요소(124)는 전자 디바이스(102)(또는 레이더 시스템(104) 또는 레이더-제스처 애플리케이션)의 상태에 대응하는 동적으로 응답하는 시각적 피드백을 제공하며, 이는 전자 디바이스(102)와의 사용자(112)의 경험을 향상시킬 수 있다.
일부 구현예에서, 제스처-일시정지 피드백 요소(124) 및 시각적 피드백 요소(126)는 동일한 시각적 요소일 수 있다(예를 들어, 시각적 속성은 동일하거나 유사하고, 피드백 기능만 상이함). 다른 구현예에서, 제스처-일시정지 피드백 요소(124)는 디스플레이의 활성 영역(예를 들어, 시각적 피드백 요소(126))의 에지에서 또는 에지를 따라 이미 제시되고 있는 시각적 요소에 대한 조정으로서 제시될 수 있다. 예를 들어, 도 1에 도시된 예에서, 시각적 피드백 요소(126)는 이미 제시되고 있다. 제스처-일시정지 트리거(122)가 검출될 때, 시각적 피드백 요소(126)는 예를 들어 크기, 모양, 색상 또는 다른 시각적 속성을 변경함으로써 예시적 제스처-일시정지 피드백 요소(124)가 되도록 조정될 수 있다.
제스처-일시정지 피드백 요소(124)의 색상은 그것이 제시되는 디스플레이(114)의 배경과 시각적으로 구별될 수 있는 임의의 적절한 색상일 수 있다. 제스처-일시정지 피드백 요소(124)의 색상은 전자 디바이스(102)의 동작 상태 또는 디스플레이(114)의 주변 배경 색상과 같은 다양한 요인들 중 임의의 것에 기초하여 변경될 수 있다. 일부 구현예에서, 입력-모드 관리자(106)는 제스처-일시정지 피드백 요소(124)가 디스플레이되거나 디스플레이될 디스플레이(114)의 영역의 배경색을 결정할 수 있다. 배경색을 결정하는 것에 응답하여, 입력-모드 관리자(106)는 디스플레이(114)가 배경색과 상이한 다른 색으로 제스처-일시정지 피드백 요소(124)를 제공하거나 제공하게 할 수 있다. 제스처-일시정지 피드백 요소(124)의 다른 색상은 제스처-일시정지 피드백 요소(124)와 배경색 사이에 인간이 식별 가능한 대비를 제공하여 사용자가 제스처-일시정지 피드백 요소(124)를 보다 쉽게 볼 수 있도록 할 수 있다. 일부 경우에, 입력-모드 관리자(106)는 배경색에 대한 변경에 기초하여 제스처-일시정지 피드백 요소(124)의 색상을 연속적으로 자동으로 동적으로 조정할 수 있다.
제스처-일시정지 피드백 요소(124)는 일부 구현예에서 적어도 부분적으로 간단한 애니메이션으로 나타날 수 있다. 예를 들어, 제스처-일시정지 피드백 요소(124)는 활성 디스플레이의 에지에 나타난 다음 기본 모양을 취하기 전에 커지거나 줄어들 수 있다. 유사하게, 색상, 광도 또는 모양은 기본 모양을 취하기 전에 제스처-일시정지 피드백 요소(124)가 나타나거나 사라짐에 따라(예를 들어, 제스처-일시정지 트리거(122)로서 검출된 조건이 종료되는 경우) 변경될 수 있다.
일부 경우에, 제스처-일시정지 피드백 요소(124)는 디스플레이(114)의 영역에 나타나는 요소가 아니라 디스플레이(114)에 나타나는 이미지일 수 있다. 이미지는 광도, 채도, 색상 등과 같은 디스플레이(114)의 주변 배경의 파라미터와 상이한 시각적 파라미터를 가질 수 있다. 다른 경우에, 주변 배경은 이미지일 수 있고 제스처-일시정지 피드백 요소(124)는 광도, 채도, 색상 등과 같은 상이한 시각적 파라미터를 갖는 동일한 이미지이다. 이러한 방식으로, 제스처-일시정지 피드백 요소(124)는 전자 디바이스가 현재 전자 디바이스(102)와 인터렉션하는데 레이더 제스처를 사용할 수 없는 모드에서 전자 디바이스가 동작하고 있음을 사용자에게 전달함으로써 사용자의 경험을 개선할 수 있다. 제스처-일시정지 피드백 요소의 추가 세부사항 및 예시는 도 15 및 16를 참조하여 설명된다.
제스처-일시정지 피드백 요소(124)와 같은 시각적 피드백 요소의 위치는 디스플레이(114) 상의 콘텐츠의 배향에 기초하여 결정될 수 있다. 예를 들어, 입력-모드 관리자(106)는 애플리케이션 관리자(116)로부터(또는 다른 소스로부터) 디스플레이(114) 상의 콘텐츠의 배향을 획득할 수 있다. 입력-모드 관리자(106)는 또한, 콘텐츠의 배향에 기초하여, 콘텐츠와 인터렉션하기 위해 사용될 수 있는 레이더 제스처의 방향을 결정할 수 있다. 레이더 제스처의 방향에 기초하여, 입력-모드 관리자(106)는 디스플레이가 레이더 제스처의 방향에 대응하는 디스플레이(114)의 활성 영역의 특정 에지에서 제스처-일시정지 피드백 요소(124)를 제공하게 할 수 있다. 따라서, 디스플레이된 콘텐츠의 컨텍스트가 수평인 경우(예를 들어, 레이더 제스처의 방향이 왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽일 것임), 제스처-일시정지 피드백 요소(124)는 상단 또는 하단 에지에 디스플레이되어 레이더 제스처가 수평적임을 사용자에게 표시하는데 도움이 된다. 유사하게, 디스플레이된 콘텐츠의 컨텍스트가 수직인 경우(예를 들어, 레이더 제스처의 방향이 아래에서 위로 또는 위에서 아래로인 경우), 제스처-일시정지 피드백 요소(124)는 측면 에지(예를 들어, 왼쪽 에지)에 디스플레이되어 레이더 제스처가 수직적임을 사용자에게 표시하는데 도움이 된다.
또한, 입력-모드 관리자(106)는 사용자에 대한 전자 디바이스(102)의 배향 변화를 검출할 수 있다. 예를 들어, 사용자는 비디오를 보기 위해 수직으로부터 수평 방향으로 디바이스를 회전하거나 기사를 읽기 위해 수평으로부터 수직 방향으로 디바이스를 회전할 수 있다. 배향의 변화에 기초하여, 입력-모드 관리자(106)는 디스플레이(114)가 활성 디스플레이의 상이한 에지 상의 제스처-일시정지 피드백 요소(124)와 같은 시각적 피드백 요소를 제공하게 할 수 있다. 이 상이한 에지는 사용자에 대한 제스처-일시정지 피드백 요소(124)의 배향 및 위치를 유지할 수 있다(예를 들어, 제스처-일시정지 피드백 요소(124)는 디바이스에 대한 사용자의 배향이 변경됨에 따라 이동하거나 재배치한다). 따라서, 제스처-일시정지 피드백 요소(124)가 디스플레이(114)의 상단 에지에 위치되고 사용자가 전자 디바이스(102)를 회전하면, 제스처-일시정지 피드백 요소(124)의 위치가 한 에지에서 다른 에지로 변경되어 사용자에 대해 "상단"에 유지된다. 언급된 바와 같이, 입력-모드 관리자(106)는 또한 콘텐츠의 배향을 고려하고, 이러한 구성은 디스플레이(114) 상의 콘텐츠의 배향 및 사용자에 대한 디스플레이(114)의 배향 둘 모두에 적절한 위치에서 디스플레이(114) 상의 제스처-일시정지 피드백 요소(124)를 제공하기 위해 서로 함께 사용될 수 있다.
일부 구현예에서, 입력-모드 관리자(106)는 전자 디바이스(102) 상에서 동작하고 있는 레이더-제스처 애플리케이션이 어떠한 제공된 제어도 없는 풀 스크린 모드와 같은 몰입 모드에서 동작하고 있다고 결정할 수 있다. 이 결정에 응답하여, 제스처-일시정지 트리거(122)가 검출될 때, 입력-모드 관리자(106)는 디스플레이(114)가 제스처-일시정지 피드백 요소(124)를 짧게 또는 주기적으로 제공하게 할 수 있다. 예를 들어, 디스플레이(114)는 피드백-요소-제시 지속시간 동안 제스처-일시정지 피드백 요소(124)를 제공한 다음 비피드백-요소-제시 지속시간 동안 제스처-일시정지 피드백 요소(124)의 제시를 중지할 수 있다. 피드백-요소-제시 지속시간 및 비-피드백-요소-제시 지속시간은 모두 미리 결정되거나 선택가능할 수 있다. 일부 경우에, 지속시간은 사용자가 선택 가능하거나(예를 들어, 사용자에 의해) 몰입 모드에서 실행되는 레이더 제스처 애플리케이션의 유형(예를 들어, 게임 또는 스트리밍 미디어 플레이어), 레이더 제스처 애플리케이션의 상태 또는 사용자가 레이더 제스처를 사용하는 빈도와 같은 다양한 요인들에 기초하여 입력-모드 관리자(106)에 의해 선택될 수 있다.
제스처-일시정지 피드백 요소(124)를 포함하는 시각적 피드백 요소는 또한 사용자가 레이더 제스처(예를 들어, 터치 또는 음성 입력) 이외의 입력을 사용하여 전자 디바이스(102)와 인터렉션할 때 완전히 페이드되거나 사라질 수 있다. 예를 들어, 전자 디바이스(102)가 제스처 일시정지 상태에 있는 동안, 사용자는 터치 명령을 사용하여 다른 애플리케이션을 시작하기로 결정할 수 있다. 이 경우, 제스처-일시정지 피드백 요소(124)는 사용자가 전자 디바이스(102)를 집어들거나 디스플레이(114)를 터치할 때 페이드되거나 또는 사라질 수 있다. 사용자가 디스플레이(114)를 터치하는 것을 중단하거나 전자 디바이스(102)를 내려놓을 때, 하나 이상의 레이더-제스처 애플리케이션이 전자 디바이스(102)가 동작 중이고 및 제스처-일시정지 트리거(122)가 여전히 검출되는 경우 제스처-일시정지 피드백 요소(124)가 다시 나타난다(또는 밝아짐). 제스처-일시정지 피드백 요소(124)는 터치 또는 음성 입력이 종료될 때 또는 선택가능한 지속시간 후에 즉시 다시 나타나거나 밝아질 수 있다.
제스처-일시정지 피드백 요소(124)와 같은 시각적 피드백 요소는 전자 디바이스(102)가 잠금 상태 또는 잠금 해제 상태에 있는 동안 제공될 수 있다. 예를 들어, 전자 디바이스(102)는 사용자가 근처에 있지만(예를 들어, 인식 구역 내), 인증되지 않은 경우 또는 인증된 사용자가 근처에 있는 경우 (애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 없음을 나타내기 위해) 제스처-일시정지 피드백 요소(124)를 제공할 수 있다. 잠금 및 잠금 해제 상태는 전자 디바이스(102)에 대한 액세스 수준을 지칭한다. 잠금 상태는 인증된 사용자가 없고 디바이스를 사용하는 모든 사람이 전체 권한 또는 액세스 권한 미만인 상태일 수 있다(예: 액세스 또는 권한 없음 또는 제한된 액세스 또는 권한). 잠금 상태의 예는 본 명세서에 기술된 전자 디바이스(102)의 인식 및 참여 모드를 포함할 수 있다. 유사하게, 잠금 해제 상태는 적어도 한 명의 사용자가 인증되고 해당 사용자가 디바이스에 대한 모든 권한 및/또는 액세스 권한을 갖는 상태일 수 있다. 잠금 해제 상태의 예는 본 명세서에 기술된 전자 디바이스(102)의 활성 모드이다. 일부 경우에, 잠금 또는 잠금 해제 상태는 전자 디바이스(102)의 유형, 구성 또는 상태(예: 배터리 잔량 또는 연결 상태)에 따라 다양한 특성을 가질 수 있다. 따라서, 다른 디바이스 또는 다른 컨텍스트의 동일한 디바이스에 대한 잠금 및 잠금 해제 상태의 특성은 이러한 요인에 따라 중첩되거나 유사한 기능을 포함할 수 있다.
보다 구체적으로, 레이더 제스처에 대한 시각적 표시자를 구현할 수 있는, 전자 디바이스(102)(레이더 시스템(104), 입력-모드 관리자(106), 비-레이더 센서(108), 디스플레이(114), 애플리케이션 관리자(116) 및 제스처 라이브러리(120)를 포함)의 예시적 구현예(200)을 도시하는 도 2를 고려한다. 도 2의 전자 디바이스(102)는 스마트폰(1021), 태블릿(102-2), 랩톱(102-3), 데스크톱 컴퓨터(102-4), 컴퓨팅 워치(1025), 게임 시스템(102-6), 컴퓨팅 안경(102-7), 홈 자동화 및 제어 시스템(102-8), 스마트 냉장고(102-9) 및 자동차(102-10)를 포함하는 다양한 예시적 디바이스들을 도시한다. 전자 디바이스(102)는 또한 텔레비전, 엔터테인먼트 시스템, 오디오 시스템, 드론, 트랙 패드, 드로잉 패드, 넷북, 전자 판독기, 홈 보안 시스템 및 기타 가전 제품과 같은 다른 디바이스들을 포함할 수 있다. 전자 디바이스(102)는 웨어러블, 비-웨어러블이지만 모바일 또는 상대적으로 비이동형 디바이스(예를 들어, 데스크톱 및 기기)일 수 있다.
일부 구현예에서, 전자 디바이스(102)의 예시적 전체 측면 치수는 대략 8cm x 대략 15cm일 수 있다. 레이더 시스템(104)의 예시적 풋프린트는 안테나가 포함된 대략 4mm x 6mm와 같이 훨씬 더 제한될 수 있다. 레이더 시스템(104)에 대한 이러한 제한된 풋프린트에 대한 이러한 요구 사항은 이러한 공간 제한 패키지(예를 들어, 지문 센서, 비-레이더 센서(108) 등)에서 전자 디바이스(102)의 많은 다른 바람직한 구성을 수용하는 것이다. 전력 및 프로세싱 제한과 결합하여, 이 크기 요구 사항은 레이더-제스처 검출의 정확성 및 효율의 타협하게 할 수 있으며, 이들 중 적어도 일부는 본 명세서의 교시와 관련하여 극복될 수 있다.
전자 디바이스(102)는 또한 하나 이상의 컴퓨터 프로세서(202) 및 메모리 매체 및 저장 매체를 포함하는 하나 이상의 컴퓨터 판독가능 매체(204)를 포함한다. 컴퓨터 판독가능 매체(204) 상에 컴퓨터 판독가능 명령어로서 구현된 애플리케이션 및/또는 운영 체제(도시되지 않음)는 본 명세서에 기술된 기능의 일부 또는 전부를 제공하기 위해 컴퓨터 프로세서(202)에 의해 실행될 수 있다. 예를 들어, 프로세서(202)는 입력-모드 관리자(106) 및/또는 애플리케이션 관리자(116)를 구현하기 위해 컴퓨터 판독가능 매체(204) 상의 명령어를 실행하는 데 사용될 수 있다. 전자 디바이스(102)는 네트워크 인터페이스(206)를 포함할 수 있다. 전자 디바이스(102)는 유선, 무선 또는 광 네트워크를 통해 데이터를 통신하기 위해 네트워크 인터페이스(206)를 사용할 수 있다. 제한이 아닌 예로서, 네트워크 인터페이스(206)는 근거리 통신망(LAN), 무선 근거리 통신망(WLAN), 개인 영역 네트워크(PAN), 광역 통신망(WAN), 인트라넷, 인터넷, 피어 투 피어 네트워크, 지점 간 네트워크 또는 메시 네트워크를 통해 데이터를 통신할 수 있다.
레이더 시스템(104)의 다양한 구현예는 SoC(System-on-Chip), 하나 이상의 집적 회로(IC), 내장 프로세서 명령어를 갖는 프로세서 또는 메모리에 저장된 프로세서 명령어에 액세스하도록 구성된 프로세서, 내장 펌웨어를 갖는 하드웨어, 다양한 하드웨어 컴포넌트들을 갖는 인쇄 회로 기판 또는 이들의 임의의 조합을 포함할 수 있다. 레이더 시스템(104)은 자신의 레이더 신호를 송신 및 수신함으로써 단일 정적 레이더로서 동작할 수 있다.
일부 구현예에서, 레이더 시스템(104)은 또한 외부 환경 내에 있는 다른 레이더 시스템(104)과 협력하여 바이스태틱 레이더, 멀티스태틱 레이더 또는 네트워크 레이더를 구현할 수 있다. 그러나, 전자 디바이스(102)의 제약 또는 제한은 레이더 시스템(104)의 설계에 영향을 줄 수 있다. 전자 디바이스(102)는 예를 들어 레이더를 동작하는데 사용가능한 제한된 전력, 제한된 계산 능력, 크기 제약, 레이아웃 제한, 레이더 신호를 감쇄 또는 왜곡시키는 외부 하우징 등을 가질 수 있다. 레이더 시스템(104)은 도 3과 관련하여 아래에 더 설명되는 바와 같이, 이러한 제약의 존재 하에서 개선된 레이더 기능 및 고성능이 실현될 수 있게 하는 여러 구성을 포함한다. 도 1 및 도 2에서, 레이더 시스템(104), 입력-모드 관리자(106), 애플리케이션 관리자(116) 및 제스처 라이브러리(120)는 전자 디바이스(102)의 일부로서 도시되어 있다. 다른 구현예에서, 레이더 시스템(104), 입력-모드 관리자(106), 애플리케이션 관리자(116) 및 제스처 라이브러리(120) 중 하나 이상은 전자 디바이스(102)과 별개이거나 원격에 있을 수 있다.
이들 및 다른 능력 및 구성 뿐만 아니라 도 1의 엔터티가 동작하고 인터렉션하는 방식이 아래에 더 자세히 설명된다. 이들 엔터티는 추가로 분할되거나 결합될 수 있다. 도 1의 환경(100) 및 도 2 내지 20의 상세한 설명은 기술된 기법을 이용할 수 있는 많은 가능한 환경 및 디바이스들 중 일부를 도시한다. 도 3-6은 레이더 시스템(104)의 추가 세부 사항 및 구성을 설명한다. 도 3-6에서, 레이더 시스템(104)은 전자 디바이스(102)와 관련하여 기술되지만, 위에서 언급된 바와 같이, 기술된 시스템 및 기법의 구성 및 장점의 적용가능성은 반드시 그렇게 제한되는 것은 아니며, 다른 유형의 전자 디바이스들을 포함하는 다른 구현예들도 본 교시의 범위 내에 있을 수 있다.
도 3은 일시정지된 레이더 제스처들에 대한 시각적 표시자를 가능하게 하는데 사용될 수 있는 레이더 시스템(104)의 예시적 구현예(300)를 도시한다. 예시(300)에서, 레이더 시스템(104)은 통신 인터페이스(302), 안테나 어레이(304), 트랜시버(306), 프로세서(308) 및 시스템 미디어(310)(예를 들어, 하나 이상의 컴퓨터 판독가능 저장 매체) 중 적어도 하나를 포함한다. 프로세서(308)는 디지털 신호 프로세서, 제어기, 애플리케이션 프로세서, 다른 프로세서(예를 들어, 전자 디바이스(102)의 컴퓨터 프로세서(202)) 또는 이들의 일부 조합으로 구현될 수 있다. 전자 디바이스(102)의 컴퓨터 판독가능 매체(204) 내에 포함되거나 이와 별개인 시스템 미디어(310)는 감쇠 완화기(314), 디지털 빔 형성기(316), 각도 추정기(318) 또는 전력 관리자(320) 중 하나 이상을 포함할 수 있다. 이들 모듈은 전자 디바이스(102) 내에 레이더 시스템(104)을 통합함으로써 그 영향을 보상 또는 완화할 수 있어, 레이더 시스템(104)이 작거나 복잡한 제스처를 인식하고, 사용자의 서로 다른 배향을 구별하며, 외부 환경을 지속적으로 모니터링하거나 또는 타겟 오경보률을 달성하게 한다. 이들 구성에 의해, 레이더 시스템(104)은 도 2에 도시된 디바이스들과 같은 다양한 다른 디바이스들 내에서 구현될 수 있다.
통신 인터페이스(302)를 사용하여, 레이더 시스템(104)은 레이더 데이터를 입력-모드 관리자(106)에 제공할 수 있다. 통신 인터페이스(302)는 전자 디바이스(102)와 별개로 구현되거나 내장된 레이더 시스템(104)에 기초한 무선 또는 유선 인터페이스일 수 있다. 애플리케이션에 따라, 레이더 데이터는 원시 또는 최소 프로세싱된 데이터, 동 위상 및 직교(I/Q) 데이터, 범위-도플러 데이터, 타겟 위치 정보(예를 들어, 범위, 방위각, 고도)를 포함하는 프로세싱된 데이터, 클러터 지도 데이터 등을 포함할 수 있다. 일반적으로, 레이더 데이터는 일시정지된 레이더 제스처들에 대한 시각적 표시자에 대해 입력-모드 관리자(106)에 의해 사용 가능한 정보를 포함한다.
안테나 어레이(304)는 적어도 하나의 전송 안테나 엘리먼트(도시되지 않음) 및 적어도 2개의 수신 안테나 엘리먼트(도 4에 도시됨)를 포함한다. 일부 경우에, 안테나 어레이(304)는 한 번에 다수의 별개의 파형을 전송할 수 있는(예를 들어, 전송 안테나 엘리먼트마다 상이한 파형) 다중 입력 다중 출력(MIMO) 레이더를 구현하기 위해 다수의 전송 안테나 엘리먼트를 포함할 수 있다. 다중 파형의 사용은 레이더 시스템(104)의 측정 정확도를 증가시킬 수 있다. 수신 안테나 엘리먼트는 3개 이상의 수신 안테나 엘리먼트를 포함하는 구현을 위해 1차원 형상(예를 들어, 라인) 또는 2차원 형상으로 포지셔닝될 수 있다. 1차원 형상은 레이더 시스템(104)이 하나의 각도 치수(예를 들어, 방위각 또는 고도)를 측정할 수 있게 하고, 2차원 형상은 2개의 각도 치수가 측정될 수 있게 한다(예를 들어, 방위각 및 고도 모두). 수신 안테나 엘리먼트의 예시적 2차원 구성이 도 4과 관련하여 추가로 설명된다.
도 4은 수신 안테나 엘리먼트(402)의 예시적 구성(400)을 도시한다. 안테나 어레이(304)가 적어도 4개의 수신 안테나 엘리먼트(402)를 포함하면, 예를 들어, 수신 안테나 엘리먼트(402)는 도 4의 중앙에 도시된 바와 같이, 직사각형 배열(404-1)으로 구성될 수 있다. 대안적으로, 안테나 어레이(304)가 3개 이상의 수신 안테나 엘리먼트(402)를 포함하는 경우, 삼각 배열(404-2) 또는 L자 배열(404-3)이 사용될 수 있다.
전자 디바이스(102)의 크기 또는 레이아웃 제약으로 인해, 수신 안테나 엘리먼트(402) 사이의 엘리먼트 간격 또는 수신 안테나 엘리먼트(402)의 수량은 레이더 시스템(104)이 모니터링할 각도에 이상적이지 않을 수 있다. 특히, 엘리먼트 간격은 각도 모호성이 존재하게 하여 종래의 레이더가 타겟의 각도 포지션을 추정하는 것을 어렵게 할 수 있다. 따라서, 종래의 레이더는 각도 모호성을 갖는 모호한 구역을 피하여 오검출을 감소시키기 위해 시야(예를 들어, 모니터링될 각도)를 제한할 수 있다. 예를 들어, 종래의 레이더는 5mm의 파장 및 3.5mm의 엘리먼트 간격을 사용하여 발생하는 각 모호성을 피하기 위해 시야를 약 -45도 내지 45도 사이의 각도로 제한할 수 있다(예를 들어, 엘리먼트 간격은 파장의 70%). 결과적으로, 종래의 레이더는 시야각의 45도 한계를 초과하는 표적을 검출하지 못할 수 있다. 대조적으로, 레이더 시스템(104)은 각도 모호성을 해결하고 레이더 시스템(104)이 대략 -90도 내지 90도 사이의 각도 또는 최대 약 -180도 및 180 도와 같이, 45도 한계를 초과하는 각도를 모니터링 할 수 있게 하는 디지털 빔 형성기(316) 및 각도 추정기(318)를 포함한다. 이들 각도 범위는 하나 이상의 방향(예를 들어, 방위각 및/또는 고도)에 걸쳐 적용될 수 있다. 따라서, 레이더 시스템(104)은 레이더 신호의 중심 파장의 절반보다 작거나 크거나 동일한 엘리먼트 간격을 포함하여 다양한 상이한 안테나 어레이 설계에 대해 낮은 오경보율을 실현할 수 있다.
안테나 어레이(304)를 사용하여, 레이더 시스템(104)은 조향되거나 조향되지 않거나, 넓거나 좁거나, 형상화된 빔을 형성할 수 있다(예를 들어, 반구, 큐브, 팬, 원뿔 또는 실린더로서). 예시로서, 하나 이상의 전송 안테나 엘리먼트(미도시)는 조향되지 않은 전방향성 방사 패턴을 가질 수 있거나 또는 넓은 전송 빔(406)과 같은 넓은 빔을 생성할 수 있다. 이들 기법 중 어느 하나는 레이더 시스템(104)이 많은 공간을 조명할 수 있게 한다. 그러나, 타겟 각도 정확도 및 각도 해상도를 달성하기 위해, 수신 안테나 엘리먼트(402) 및 디지털 빔 형성기(316)는 좁은 수신 빔(408)과 같은 좁고 조향된 수천개의 빔(예를 들어, 2000 빔, 4000 빔 또는 6000 빔)을 생성하는데 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104)은 외부 환경을 효율적으로 모니터링하고 외부 환경 내에서 반사의 도달각을 정확하게 결정할 수 있다.
도 3으로 돌아가면, 트랜시버(306)는 안테나 어레이(304)를 통해 레이더 신호를 전송 및 수신하기 위한 회로 및 로직을 포함한다. 트랜시버(306)의 컴포넌트는 레이더 신호를 컨디셔닝하기 위한 증폭기, 믹서, 스위치, 아날로그-디지털 변환기, 필터 등을 포함할 수 있다. 트랜시버(306)는 또한 변조 또는 복조와 같은 동상/직교(I/Q) 동작을 수행하는 로직을 포함할 수 있다. 트랜시버(306)는 연속파 레이더 동작 또는 펄스 레이더 동작을 위해 구성될 수 있다. 선형 주파수 변조, 삼각 주파수 변조, 계단형 주파수 변조 또는 위상 변조를 포함하여 다양한 변조를 사용하여 레이더 신호를 생성할 수 있다.
트랜시버(306)는 1기가 헤르츠(GHz) 내지 400GHz, 4GHz 내지 100GHz, 또는 57GHz 내지 63GHz 사이와 같은 주파수 범위(예를 들어, 주파수 스펙트럼) 내에서 레이더 신호를 생성할 수 있다. 주파수 스펙트럼은 유사한 대역폭 또는 상이한 대역폭을 갖는 다중 서브 스펙트럼으로 분할될 수 있다. 대역폭은 500MHz, 1GHz, 2GHz 등의 정도일 수 있다. 예로서, 상이한 주파수 서브 스펙트럼은 대략 57GHz 내지 59GHz, 59GHz 내지 61GHz, 또는 61GHz 내지 63GHz 사이의 주파수를 포함할 수 있다. 동일한 대역폭을 갖고 연속적이거나 비연속적일 수 있는 다중 주파수 서브 스펙트럼이 또한 일관성을 위해 선택될 수 있다. 다중 주파수 서브 스펙트럼은 단일 레이더 신호 또는 다중 레이더 신호를 사용하여 동시에 전송되거나 시간적으로 분리될 수 있다. 연속적 주파수 서브 스펙트럼은 레이더 신호가 더 넓은 대역폭을 갖도록 하며, 비연속적 주파수 서브 스펙트럼은 각도 추정기(318)가 각도 모호성을 해결하게 하는 진폭 및 위상 차이를 더 강조할 수 있다. 감쇠 완화기(314) 또는 각도 추정기(318)는 도 5 내지 도 6에 대해 더 설명된 바와 같이, 트랜시버(306)가 레이더 시스템(104)의 성능을 향상시키기 위해 하나 이상의 주파수 서브 스펙트럼을 활용하게 할 수 있다.
전력 관리자(320)는 레이더 시스템(104)이 전자 디바이스(102) 내에서 내부적에서 또는 외부적으로 전력을 절약할 수 있게 한다. 일부 구현예에서, 전력 관리자(320)는 입력-모드 관리자(106)와 통신하여 레이더 시스템(104) 또는 전자 디바이스(102) 중 하나 또는 둘 모두의 전력을 절약한다. 내부적으로, 예를 들어, 전력 관리자(320)는 레이더 시스템(104)이 미리 정의된 전력 모드 또는 특정 제스처 프레임 업데이트 레이트를 사용하여 데이터를 수집하게 할 수 있다. 제스처 프레임 업데이트 레이트는 레이더 시스템(104)이 하나 이상의 레이더 신호를 전송 및 수신함으로써 외부 환경을 얼마나 자주 능동적으로 모니터링하지를 나타낸다. 일반적으로 전력 소비는 제스처 프레임 업데이트 레이트에 비례한다. 이와 같이, 제스처 프레임 업데이트 레이트가 높을수록 레이더 시스템(104)에 의해 더 많은 양의 전력이 소비된다.
각 미리 정의된 전력 모드는 특정 프레이밍 구조, 특정 전송 전력 레벨 또는 특정한 하드웨어(예를 들어, 저전력 프로세서 또는 고전력 프로세서)와 연관될 수 있다. 이들 중 하나 이상을 조정하면 레이더 시스템(104)의 전력 소비에 영향을 준다. 그러나 전력 소비를 줄이면, 제스처 프레임 업데이트 레이트 및 응답 지연과 같은 성능에 영향을 준다. 이 경우에, 전력 관리자(320)는 제스처 프레임 업데이트 레이트, 응답 지연 및 전력 소비가 환경 내의 활동에 기초하여 함께 관리되도록 상이한 전력 모드 사이에서 동적으로 스위칭한다. 일반적으로, 전력 관리자(320)는 전력이 절약될 수 있는 시기 및 방법을 결정하고, 레이더 시스템(104)이 전자 디바이스(102)의 전력 제한 내에서 동작할 수 있도록 전력 소비를 점진적으로 조정한다. 일부 경우에, 전력 관리자(320)는 남은 가용 전력량을 모니터링하고, 그에 따라 레이더 시스템(104)의 동작을 조정할 수 있다. 예를 들어, 잔여 전력량이 적은 경우, 전력 관리자(320)는 고전력 모드로 스위칭하는 대신 저전력 모드에서 계속 동작할 수 있다.
예를 들어, 저전력 모드는 몇 헤르츠(예를 들어, 대략 1Hz 또는 5Hz 미만) 정도의 더 낮은 제스처 프레임 업데이트 레이트를 사용하고 몇 밀리와트(mW) 정도의 더 적은 전력을 소비할 수 있다(예를 들어, 대략 2mW 내지 4mW). 반면에, 고전력 모드는 수십 헤르츠(예를 들어, 대략 20Hz 또는 10Hz 이상) 정도의 더 높은 제스처 프레임 업데이트 레이트를 사용하고, 이는 레이더 시스템(104)로 하여금 수 밀리와트(mW) 정도의 더 많은 전력을 소비하게 한다(예를 들어, 대략 6mW 내지 20mW). 저전력 모드는 외부 환경을 모니터링하거나 접근하는 사용자를 검출하는데 사용될 수 있지만, 레이더 시스템(104)이 사용자가 제스처를 수행하기 시작한다고 결정하면 전력 관리자(320)는 고전력 모드로 스위칭할 수 있다. 상이한 트리거가 전력 관리자(320)로 하여금 상이한 전력 모드 사이에서 동적으로 스위칭하게 할 수 있다. 예시적 트리거는 모션 또는 모션의 부족, 사용자의 출현 또는 소멸, 사용자가 지정된 영역(예를 들어, 범위, 방위각 또는 고도에 의해 정의된 영역)으로 이동 또는 이탈, 사용자와 연관된 모션의 속도 변화 또는 반사된 신호 강도에서의 변화(예를 들어, 레이더 크로스 섹션의 변화로 인한)를 포함한다. 일반적으로, 사용자가 전자 디바이스(102)와 인터렉션할 가능성이 낮거나 더 긴 응답 지연을 사용하여 데이터를 수집하는 것을 선호한다고 표시하는 트리거는 전력을 절약하기 위해 저전력 모드가 활성화되게 한다.
각 전력 모드는 특정 프레이밍 구조와 연관될 수 있다. 프레이밍 구조는 레이더 신호의 전송 및 수신과 연관된 구성, 스케줄링 및 신호 특성을 지정한다. 일반적으로, 프레이밍 구조는 외부 환경에 기초하여 적절한 레이더 데이터가 수집될 수 있도록 설정된다. 프레이밍 구조는 상이한 애플리케이션(예를 들어, 근접 검출, 피처 인식 또는 제스처 인식)에 대한 상이한 유형의 레이더 데이터의 수집을 용이하게 하도록 커스터마이징될 수 있다. 프레이밍 구조의 각 레벨에 걸쳐 비활성 시간 동안, 전력 관리자(320)는 전력을 절약하기 위해 도 3의 트랜시버(306) 내의 컴포넌트를 끌 수 있다. 프레이밍 구조는 각 프레임 유형 내에서 조정가능한 듀티 사이클을 통해 전력을 절약할 수 있다. 예를 들어, 제1 듀티 사이클은 피처 프레임의 용량에 대한 활성 피처 프레임의 양에 기초할 수 있다. 예를 들어, 제2 듀티 사이클은 레이더 프레임의 용량에 대한 활성 레이더 프레임의 양에 기초할 수 있다. 예를 들어, 제3 듀티 사이클은 레이더 프레임의 지속시간에 대한 레이더 신호의 지속시간에 기초할 수 있다.
약 2mW의 전력을 소비하고 약 1Hz와 4Hz 사이의 제스처 프레임 업데이트 레이트를 갖는 저전력 모드에 대한 예시적 프레이밍 구조(미도시)를 고려한다. 이 예시에서, 프레이밍 구조는 대략 250ms 내지 1초의 지속시간을 갖는 제스처 프레임을 포함한다. 제스처 프레임은 31개의 펄스 모드 피처 프레임을 포함한다. 31개의 펄스 모드 피처 프레임 중 하나는 활성 상태이다. 이로 인해 듀티 사이클은 대략 3.2%가 된다. 각 펄스 모드 피처 프레임의 지속시간은 약 8ms와 32ms 사이다. 각 펄스 모드 피처 프레임 여덟 개 레이더 프레임으로 구성된다. 활성 펄스 모드 피처 프레임 내에서, 8개의 레이더 프레임이 모두 활성 상태이다. 이로 인해 듀티 사이클은 대략 100%가 된다. 각 레이더 프레임의 지속시간은 약 1ms와 4ms 사이다. 각 활성 레이더 프레임 내의 활성 시간은 약 32μs~ 28μs이다. 따라서, 결과 듀티 사이클은 약 3.2%이다. 이 예시적 프레이밍 구조는 우수한 성능 결과를 산출하는 것으로 밝혀졌다. 이러한 우수한 성능 결과는 우수한 제스처 인식 및 존재 검출과 관련하여 저전력 상태의 핸드헬드 스마트폰의 애플리케이션 컨텍스트에서 우수한 전력 효율 결과를 제공한다. 이 예시적 프레이밍 구조에 기초하여, 전력 관리자(320)는 레이더 시스템(104)이 레이더 데이터를 능동적으로 수집하지 않는 시간을 결정할 수 있다. 이 비활성 시간 기간에 기초하여, 전력 관리자(320)는 아래에 더 설명되는 바와 같이, 레이더 시스템(104)의 동작 상태를 조정하고 트랜시버(306)의 하나 이상의 컴포넌트를 끄는 것에 의해 전력을 절약할 수 있다.
전력 관리자(320)는 또한 트랜시버(306) 내에서 하나 이상의 컴포넌트(예를 들어, 전압 제어 발진기, 멀티플렉서, 아날로그-디지털 변환기, 위상 잠금 루프 또는 수정 발진기)를 끔으로써 비활성 시간 기간 동안 전력을 절약할 수 있다. 이러한 비활성 시간 기간은 레이더 시스템(104)이 레이더 신호를 능동적으로 전송 또는 수신하지 않는 경우에 발생하며, 이는 마이크로 초(μs), 밀리 초(ms) 또는 초(들) 정도일 수 있다. 또한, 전력 관리자(320)는 신호 증폭기에 의해 제공되는 증폭량을 조정함으로써 레이더 신호의 전송 전력을 수정할 수 있다. 또한, 전력 관리자(320)는 전력을 절약하기 위해 레이더 시스템(104) 내의 상이한 하드웨어 컴포넌트들의 사용을 제어할 수 있다. 프로세서(308)가 저전력 프로세서 및 고전력 프로세서(예를 들어, 상이한 양의 메모리 및 계산 능력을 갖는 프로세서)를 포함하는 경우, 예를 들면, 전력 관리자(320)는 저레벨 분석(예를 들어, 아이들 모드 구현, 모션 검출, 사용자의 위치 결정 또는 환경 모니터링)을 위해 저전력 프로세서를, 입력-모드 관리자(106)에 의해 고충실도 또는 정확한 레이더 데이터가 요청되는 상황(예를 들어, 인식 모드, 참여 모드 또는 활성 모드, 제스처 인식 또는 사용자 오리엔테이션을 구현하기 위해)에 대해 고전력 프로세서를 활용하는 것 사이에서 스위칭할 수 있다.
또한, 전력 관리자(320)는 전자 디바이스(102) 주변 환경의 컨텍스트를 결정할 수 있다. 이러한 컨텍스트에서, 전력 관리자(320)는 어떤 전력 상태가 사용가능하고, 어떻게 구성되는지를 결정할 수 있다. 예를 들어, 전자 디바이스(102)가 사용자의 주머니에 있다면, 사용자가 전자 디바이스(102)에 근접한 것으로 검출되지만, 레이더 시스템(104)은 높은 제스처 프레임 업데이트 레이트로 고전력 모드에서 동작할 필요가 없다. 따라서, 전력 관리자(320)는 사용자가 전자 디바이스(102)에 근접한 것으로 검출되더라도 레이더 시스템(104)이 저전력 모드로 유지되게 하고, 디스플레이(114)를 꺼지게 하거나 다른 저전력 상태에 있게 한다. 전자 디바이스(102)는 레이더 시스템(104)과 함께 임의의 적합한 비-레이더 센서(108)(예를 들어, 자이로스코프, 가속도계, 광 센서, 근접 센서, 용량성 센서 등)를 사용하여 환경의 컨텍스트를 결정할 수 있다. 컨텍스트는 시간, 날짜, 명/암, 사용자 근처의 사용자 수, 주변 소음 레벨, 전자 디바이스(102)에 대한 주변 물체들의 이동 속도(사용자 포함) 등을 포함할 수 있다.
도 5는 전자 디바이스(102) 내의 레이더 시스템(104)의 예시적 구현예(500)의 추가적 세부사항을 도시한다. 예시(500)에서, 안테나 어레이(304)는 유리 커버 또는 외부 케이스와 같은 전자 디바이스(102)의 외부 하우징 아래에 포지셔닝된다. 재료 속성에 따라, 외부 하우징은 레이더 시스템(104)에 의해 전송 및 수신되는 레이더 신호를 감쇠 또는 왜곡시키는 감쇠기(502)로서 작용할 수 있다. 감쇠기(502)는 상이한 유형의 유리 또는 플라스틱을 포함할 수 있으며, 이들 중 일부는 디스플레이 스크린, 외부 하우징 또는 전자 디바이스(102)의 다른 컴포넌트들 내에서 발견될 수 있고, 대략 4 내지 10의 유전 상수(예를 들어, 비유전율)를 갖는다. 따라서, 감쇠기(502)는 레이더 신호(506)에 대해 불투명하거나 반투명하며, (반사된 부분(504)에 의해 도시된 바와 같이) 전송 또는 수신된 레이더 신호(506)의 일부가 반사되게 할 수 있다. 종래의 레이더의 경우, 감쇠기(502)는 모니터링될 수 있는 유효 범위를 감소시키거나, 작은 표적이 검출되는 것을 방해하거나, 전체 정확도를 감소시킬 수 있다.
레이더 시스템(104)의 전송 전력이 제한되고, 외부 하우징을 재설계하는 것이 바람직하지 않다고 가정하면, 레이더 신호(506)의 하나 이상의 감쇠-의존적 속성(예를 들어, 주파수 서브 스펙트럼(508) 또는 조향각(510)) 또는 감쇠기(502)의 감쇠-의존적 속성들(예를 들어, 감쇠기(502)와 레이더 시스템(104) 사이의 거리(512) 또는 감쇠기(502)의 두께(514))은 감쇠기(502)의 효과를 완화시키도록 조정된다. 이들 특성 중 일부는 제조 중에 설정되거나 레이더 시스템(104)의 동작 중에 감쇠 완화기(314)에 의해 조정될 수 있다. 감쇠 완화기(314)는, 예를 들어, 트랜시버(306)가 선택된 주파수 서브 스펙트럼(508) 또는 조향각(510)을 사용하여 레이더 신호(506)를 전송하게 하고, 거리(512)를 변경하기 위해 플랫폼이 레이더 시스템(104)을 감쇠기(502)로부터 더 가깝거나 멀게 이동하게 하고, 감쇠기(502)의 두께(514)를 증가시키기 위해 다른 감쇠기를 적용하도록 사용자에게 프롬프트하게 한다.
적절한 조정은 감쇠기(502)의 미리 결정된 특성(예를 들어, 전자 디바이스(102)의 컴퓨터 판독가능 매체(204)에 또는 시스템 미디어(310) 내에 저장된 특성)에 기초하여, 감쇠 완화기(314)에 의해 또는 감쇠기(502)의 하나 이상의 특성을 측정하기 위해서 레이더 신호(506)의 리턴들을 프로세싱함으로써 이루어진다. 감쇠-의존적 특성 중 일부가 고정되거나 제한되더라도, 감쇠 완화기(314)는 각 파라미터의 균형을 맞추고 타겟 레이더 성능을 달성하기 위해 이러한 제한을 고려할 수 있다. 결과적으로, 감쇠 완화기(314)는 레이더 시스템(104)이 감쇠기(502)의 반대쪽에 위치한 사용자를 검출하고 추적하기 위해 향상된 정확도 및 더 큰 유효 범위를 실현할 수 있게 한다. 이들 기법은 디바이스가 한 번 생산되면 어렵고 비쌀 수 있는, 레이더 시스템(104)의 전력 소비를 증가시키는 전송 전력을 증가시키거나 감쇠기(502)의 재료 속성을 변경하는 대안을 제공한다.
도 6는 레이더 시스템(104)에 의해 구현될 수 있는 예시적 스키마(600)를 도시한다. 스키마(600)의 일부는 프로세서(308), 컴퓨터 프로세서(202) 또는 다른 하드웨어 회로에 의해 수행될 수 있다. 스키마(600)는 상이한 유형의 전자 디바이스 및 레이더 기반 애플리케이션(예를 들어, 입력-모드 관리자(106))을 지원하도록 커스터마이징될 수 있고, 또한 레이더 시스템(104)이 설계 제약에도 불구하고 타겟 각도 정확도를 달성할 수 있게 한다.
트랜시버(306)는 수신된 레이더 신호에 대한 수신 안테나 엘리먼트(402)의 개별 응답에 기초하여 원시 데이터(raw data)(602)를 생성한다. 수신된 레이더 신호는 각도 모호성 해결을 지원하기 위해 각도 추정기(318)에 의해 선택되었던 하나 이상의 주파수 서브 스펙트럼(604)과 연관될 수 있다. 주파수 서브 스펙트럼(604)은 예를 들어, 사이드 로브(sidelobe)의 양을 감소시키거나 사이드 로브의 진폭을 감소시키도록 선택될 수 있다(예를 들어, 진폭을 0.5dB, 1dB 이상 감소). 주파수 서브 스펙트럼의 양은 레이더 시스템(104)의 타겟 각도 정확도 또는 계산 한계에 기초하여 결정될 수 있다.
원시 데이터(602)는 수신 안테나 엘리먼트(402)와 각각 연관된 시간 기간, 상이한 파수 및 다수의 채널에 대한 디지털 정보(예를 들어, 동 위상 및 직교 데이터)를 포함한다. FFT(Fast-Fourier Transform)(606)는 원시 데이터(602)에 대해 수행되어 사전 프로세싱된 데이터(608)를 생성한다. 사전-프로세싱된 데이터(608)는 상이한 범위(예를 들어, 범위 빈(range bin)) 및 다수의 채널에 대한 시간 기간에 걸친 디지털 정보를 포함한다. 범위-도플러 데이터(612)를 생성하기 위해 사전-프로세싱된 데이터(608)에 대해 도플러 필터링 프로세스(610)가 수행된다. 도플러 필터링 프로세스(610)는 다수의 레인지 빈, 다수의 도플러 주파수 및 다수의 채널에 대한 진폭 및 위상 정보를 생성하는 다른 FFT를 포함할 수 있다. 디지털 빔 형성기(316)는 범위-도플러 데이터(612)에 기초하여 빔 형성(beamforming) 데이터(614)를 생성한다. 빔 형성 데이터(614)는 방위 및/또는 고도의 세트에 대한 디지털 정보를 포함하며, 이는 상이한 조향 각도 또는 빔이 디지털 빔 형성기(316)에 의해 형성되는 시야를 나타낸다. 도시되지 않았지만, 디지털 빔 형성기(316)는 대안적으로 사전-프로세싱된 데이터(608)에 기초하여 빔 포밍 데이터(614)를 생성할 수 있고, 도플러 필터링 프로세스(610)는 빔 포밍 데이터(614)에 기초하여 범위-도플러 데이터(612)를 생성할 수 있다. 계산의 양을 감소시키기 위해, 디지털 빔 형성기(316)는 관심 범위, 시간 또는 도플러 주파수 간격에 기초하여 범위-도플러 데이터(612) 또는 사전-프로세싱된 데이터(608)의 일부를 프로세싱할 수 있다.
디지털 빔 형성기(316)는 단일-룩 빔 형성기(616), 멀티-룩 간섭계(618) 또는 멀티-룩 빔 형성기(620)를 사용하여 구현될 수 있다. 일반적으로, 단일-룩 빔 형성기(616)는 결정성 객체(예를 들어, 단일 위상 중심을 갖는 포인트 소스 타겟)에 사용될 수 있다. 비-결정성 타겟(예를 들어, 다중 위상 중심을 갖는 타겟)에 대해, 멀티-룩 간섭계(618) 또는 멀티-룩 빔 형성기(620)는 단일-뷰 빔 형성기(616)에 비해 정확도를 향상시키기 위해 사용된다. 사람은 비-결정성 타겟의 예이며, 624-1 및 624-2에 도시된 바와 같이, 상이한 종횡 각에 기초하여 변할 수 있는 다중 위상 중심(622)을 갖는다. 다중 위상 중심(622)에 의해 생성된 구조적 또는 파괴적 간섭의 변화는 종래의 레이더가 각도 포지션을 정확하게 결정하는 것을 어렵게 할 수 있다. 그러나, 멀티-룩 간섭계(618) 또는 멀티-룩 빔 형성기(620)는 빔 형성 데이터(614)의 정확도를 증가시키기 위해 코헤런트 평균화(coherent averagin)를 수행한다. 멀티-룩 간섭계(618)는 각도 정보를 정확하게 결정하는데 사용될 수 있는 위상 정보를 생성하기 위해 2개의 채널을 연접하게 평균화한다. 한편, 멀티-룩 빔 형성기(620)는 푸리에, Capon, 다중 신호 분류(MUSIC), 또는 최소 분산 왜곡 감소 응답(MVDR)과 같은 선형 또는 비선형 빔 형성기를 사용하여 2개 이상의 채널을 연접하게 평균화할 수 있다. 멀티-룩 빔 형성기(620) 또는 멀티-룩 간섭계(618)를 통해 제공되는 증가된 정확도는 레이더 시스템(104)이 작은 제스처를 인식하거나 사용자의 여러 부분을 구별할 수 있게 한다.
각도 추정기(318)는 빔 형성 데이터(614)를 분석하여 하나 이상의 각도 포지션을 추정한다. 각도 추정기(318)는 신호 프로세싱 기법, 패턴 매칭 기법 혹은 기계 학습을 이용할 수 있다. 각도 추정기(318)는 또한 레이더 시스템(104)의 설계 또는 레이더 시스템(104)이 모니터링하는 시야에서 발생할 수 있는 각 모호성을 해결한다. 예시적 각도 모호성은 진폭 플롯(626)(예를 들어, 진폭 응답) 내에 도시된다.
진폭 플롯(626)은 타겟의 상이한 각도 포지션 및 상이한 조향 각도(510)에 대해 발생할 수 있는 진폭 차이를 도시한다. 제1 각도 포지션(630-1)에 포지셔닝된 타겟에 대한 제1 진폭 응답(628-1)(실선으로 도시됨)이 도시된다. 유사하게, 제2 각도 포지션(630-2)에 포지셔닝된 타겟에 대한 제2 진폭 응답(628-2)(점선으로 도시됨)이 도시된다. 이 예에서는 -180도에서 180도 사이의 각도에서 차이가 고려된다.
진폭 플롯(626)에 도시된 바와 같이, 2개의 각도 포지션(630-1 및 630-2)에 대해 모호한 구역이 존재한다. 제1 진폭 응답(628-1)은 제1 각도 포지션(630-1)에서 가장 높은 피크를 갖고, 제2 각도 포지션(630-2)에서 더 작은 피크를 갖는다. 가장 높은 피크는 타겟의 실제 포지션에 해당하지만, 더 작은 피크는 종래의 레이더가 타겟이 제1 각도 포지션(630-1) 또는 제2 각도 포지션(630-2)에 있는지 여부를 자신있게 결정할 수 없는 임계치 내에 있기 때문에 제1 각도 포지션(630-1)을 모호하게 한다. 반대로 제2 진폭 응답(628-2)은 제2 각도 포지션(630-2)에서 더 작은 피크를 가지고, 제1 각도 포지션(630-1)에서 가장 높은 피크를 갖는다. 이 경우, 더 작은 피크는 타겟의 위치에 해당한다.
종래의 레이더는 각도 포지션을 결정하기 위해 가장 높은 피크 진폭을 사용하는 것으로 제한될 수 있지만, 각도 추정기(318)는 대신 진폭 응답(628-1 및 628-2)의 형상의 미묘한 차이를 분석한다. 형상의 특성은 예를 들어, 롤오프, 피크 또는 널(null) 폭, 피크 또는 널의 각도 위치, 피크 및 널의 높이 또는 깊이, 사이드 로브의 형상, 진폭 응답(628-1 또는 628-2) 내의 대칭(628-1) 또는 진폭 응답(628-1 또는 828-2) 내에서 대칭성의 결여를 포함할 수 있다. 위상 응답에서 유사한 형상 특성을 분석할 수 있으며, 이는 각도 모호성을 해결하기 위한 추가 정보를 제공할 수 있다. 따라서, 각도 추정기(318)는 고유 각도 서명 또는 패턴을 각도 포지션에 매핑한다.
각도 추정기(318)는 전자 디바이스(102)의 유형(예를 들어, 계산 능력 또는 전력 제약) 또는 입력-모드 관리자(106)에 대한 타겟 각도 해상도에 따라 선택될 수 있는 일련의 알고리즘 또는 툴을 포함할 수 있다. 일부 구현예에서, 각도 추정기(318)는 신경망(632), 컨볼루션 신경망(CNN)(634) 또는 LSTM(long short-term memory) 네트워크(636)를 포함할 수 있다. 신경망(632)은 다양한 깊이 또는 양의 히든 레이어(예를 들어, 3개의 히든 레이어, 5개의 히든 레이어 또는 10개의 히든 레이어)를 가질 수 있고, 또한 상이한 양의 연결을 포함할 수 있다(예를 들어, 신경 네트워크(632)는 완전히 연결된 신경 네트워크 또는 부분적으로 연결된 신경 네트워크를 포함할 수 있음). 일부 경우에, CNN(634)은 각도 추정기(318)의 계산 속도를 증가시키기 위해 사용될 수 있다. LSTM 네트워크(636)는 각도 추정기(318)가 타겟을 추적할 수 있게 하는데 사용될 수 있다. 기계 학습 기법을 사용하여, 각도 추정기(318)는 비선형 함수를 사용하여 진폭 응답(628-1 또는 628-2)의 형상을 분석하고, 각도 확률 데이터(638)를 생성하며, 이는 사용자 또는 사용자의 일부가 각도 빈 내에 있을 가능성을 나타낸다. 각도 추정기(318)는 전자 디바이스(102)의 왼쪽 또는 오른쪽에 있는 타겟의 확률을 제공하기 위해 또는 2개의 각도 빈과 같은 몇 개의 각도 빈에 대한 또는 수천개의 각도 빈들에 대한(예를 들어, 연속 각도 측정을 위한 각도 확률 데이터(638)를 제공하기 위해) 각도 확률 데이터(638)를 제공할 수 있다.
각도 확률 데이터(638)에 기초하여, 추적기 모듈(640)은 타겟의 각도 위치를 식별하는 각도 포지션 데이터(642)를 생성한다. 추적기 모듈(640)은 각도 확률 데이터(638)에서 가장 높은 확률을 갖는 각도 빈 또는 예측 정보(예를 들어, 이전에 측정된 각도 위치 정보)에 기초하여 타겟의 각도 위치를 결정할 수 있다. 추적기 모듈(640)은 또한 레이더 시스템(104)이 타겟을 자신있게 식별하거나 구별할 수 있도록 하나 이상의 이동 타겟을 계속 추적할 수 있다. 범위, 도플러, 속도 또는 가속도를 포함한 다른 데이터를 사용하여 각도 포지션을 결정할 수도 있다. 일부 경우에, 추적기 모듈(640)은 알파-베타 추적기, 칼만 필터, 다중 가설 추적기(MHT) 등을 포함할 수 있다.
양자화 모듈(644)은 각도 포지션 데이터(642)를 획득하고 양자화된 각도 포지션 데이터(646)를 생성하기 위해 데이터를 양자화한다. 양자화는 입력-모드 관리자(106)에 대한 타겟 각도 해상도에 기초하여 수행될 수 있다. 일부 상황에서, 양자화된 각도 포지션 데이터(646)가 타겟이 전자 디바이스(102)의 오른쪽에 있는지 왼쪽에 있는지를 나타내거나 또는 타겟이 위치하는 90도 사분면을 식별하도록 더 적은 양자화 레벨이 사용될 수 있다. 이것은 사용자 근접 검출과 같은 일부 레이더 기반 애플리케이션에 충분할 수 있다. 다른 상황에서, 양자화된 각도 포지션 데이터(646)가 1도, 1도, 5도 등의 분수의 정확도 내에서 타겟의 각도 포지션을 나타내도록 더 많은 수의 양자화 레벨이 사용될 수 있다. 이 해상도는 제스처 인식과 같은 고해상도 레이더 기반 애플리케이션 또는 본 명세서에 기술된 제스처 구역, 인식 구역, 인식 모드, 참여 모드 또는 활성 모드의 구현예에서 사용될 수 있다. 일부 구현예에서, 디지털 빔 형성기(316), 각도 추정기(318), 추적기 모듈(640) 및 양자화 모듈(644)은 단일 기계 학습 모듈에서 함께 구현된다.
이들 및 다른 능력 및 구성뿐만 아니라 도 1-6의 엔터티들이 동작하고 인터렉션하는 방식들이 아래에 설명된다. 설명된 엔터티는 다른 센서 또는 컴포넌트 등과 함께 추가로 분할, 결합, 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104) 및 비-레이더 센서의 상이한 구성을 갖는 사용자 디바이스(102)의 상이한 구현예들이 레이더 제스처에 대한 시각적 표시자를 구현하는데 사용될 수 있다. 도 1의 예시적 운영 환경(100) 및 도 2 내지 도 6의 상세한 도시는 설명된 기법을 사용할 수 있는 많은 가능한 환경 및 디바이스들의 일부를 도시한다.
예시적 방법들
도 7은 일시정지된 레이더 제스처에 대한 시각적 표시자를 가능하게 하는 예시적 방법(700)을 도시한다. 방법(700)은 레이더 필드를 제공할 수 있는 디스플레이, 컴퓨터 프로세서 및 레이더 시스템을 포함하거나 이와 연관된 전자 디바이스로 수행될 수 있다. 레이더 시스템 및 레이더 필드는 전자 디바이스의 사용자와 같은 레이더 필드 내의 객체들로부터(또는 사용자의 손과 같은 레이더 필드 내에서 움직이는 사용자의 일부로부터) 레이더 필드의 반사에 기초하여 레이더 데이터를 제공할 수 있다. 예를 들어, 레이더 데이터는 도 1을 참조하여 설명된 바와 같이 레이더 시스템(104)에 의해 생성 및/또는 수신될 수 있다. 레이더 데이터는 레이더 필드에서의 사용자의 존재 및 레이더 필드에서 사용자에 의해 만들어진 제스처(레이더 제스처) 및 전자 디바이스와 관련한 사용자의 움직임과 같은 전자 디바이스와 사용자의 인터렉션을 결정하는데 사용된다. 사용자의 존재, 움직임 및 제스처의 결정에 기초하여, 전자 디바이스는 기능의 상이한 모드에 진입하거나 종료할 수 있고, 상이한 시각적 요소들을 디스플레이 상에 제시할 수 있다. 시각적 요소는 디바이스에 대한 사용자의 자세, 전자 디바이스에 대한 다양한 기능의 가용성 및 전자 디바이스와의 사용자 인터렉션을 나타내기 위해 사용자에게 피드백을 제공한다. 시각적 요소의 추가 예는 도 8-16을 참조하여 설명된다.
방법(700)은 수행된 동작을 특정하는 블록 세트로서 도시되었지만, 각 블록에 의해 동작을 수행하기 위해 도시된 순서 또는 조합으로 반드시 제한되는 것은 아니다. 또한, 하나 이상의 동작들 중 임의의 것이 반복, 조합, 재구성 또는 연결되어 광범위한 추가 및/또는 대안적인 방법을 제공할 수 있다. 다음의 논의의 일부에서, 도 1의 예시적 동작 환경(100) 또는 도 2-6에 상세히 설명된 엔터티 또는 프로세스가 참조될 수 있고, 이에 대한 참조는 단지 예시적인 것이다. 본 기법은 하나의 디바이스 상의 하나의 엔터티 또는 다수의 엔터티들에 의해 수행되는 것으로 제한되지 않는다.
702에서, 제스처 일시정지 트리거는 1) 레이더 시스템이 레이더 제스처가 결정될 수 있는 레이더 필드를 제공하고, 2) 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션이 전자 디바이스에서 컴퓨터 프로세서를 통해 실행되는 기간 동안 검출된다. 예를 들어, 입력-모드 관리자(106)는 두 가지 요건이 충족되는 기간 동안 제스처-일시정지 트리거(122)를 검출할 수 있다. 제1 요건은 레이더 시스템(104)이 레이더 필드에서 객체의 반사로부터 획득된 레이더 데이터에 기초하여 레이더 제스처가 결정될 수 있는 레이더 필드를 제공하고 있다는 것이다. 제2 요건은 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 전자 디바이스(102) 상의 애플리케이션이 컴퓨터 프로세서를 통해 실행되고 있다는 것이다(예를 들어, 레이더 제스처 애플리케이션이 실행되고 있음).
도 1을 참조하여 도시된 바와 같이, 제스처-일시정지 트리거(122)는 존재하는 경우 전자 디바이스(102) 및/또는 레이더 시스템(104)으로 하여금 레이더 제스처가 일시정지된 상태(예를 들어, 레이더 제스처 애플리케이션은 레이더 제스처에 대응하는 제어 입력을 수신하거나 제어 입력과 연관된 액션을 수행할 수 없는 상태)에 진입하게 하는 조건 또는 조건들의 세트이다. 일반적으로, 제스처 일시정지 트리거(122)는 전자 디바이스(102) 또는 레이더 시스템(104)이 사용자의 모션이 레이더 제스처인지 여부를 정확하고 효율적으로 결정하기 어렵게 하는 조건이다. 예를 들어, 제스처-일시정지 트리거(122)(도 1을 참조하여 상세히 기술됨)는 임계 주파수를 초과하는 전자 디바이스(102)의 진동 운동, 임계 속도를 초과하는 속도에서의 전자 디바이스의 모션 및 임계 주파수를 초과하는 레이더 필드에서 물체의 진동 모션을 포함할 수 있다. 일부 구현예에서(도 1을 참조하여 상세히 기술됨), 입력-모드 관리자(106)는 레이더 데이터, 비-레이더 센서(108)로부터의 데이터 또는 레이더 데이터 및 비-레이더 센서(108)로부터의 데이터의 조합을 사용하여 제스처-일시정지 트리거(122)를 검출할 수 있다.
704에서, 제스처-일시정지 트리거를 검출하는 것에 응답하여, 전자 디바이스는 제스처-일시정지된 모드에 진입하고 제스처-일시정지 피드백 요소가 전자 디바이스의 디스플레이에 제공된다. 제스처 일시정지 피드백 요소는 레이더 제스처 애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 없음을 표시한다. 예를 들어, 입력-모드 관리자(106)는 기술된 기간 동안 제스처-일시정지 트리거(122)의 검출에 응답하여, 전자 디바이스(102)의 디스플레이(114) 상에 제스처-일시정지 피드백 요소(124)를 제공할 수 있다. 제스처-일시정지 피드백 요소(124)의 출현은 레이더-제스처 애플리케이션이 제어 입력과 연관된 액션을 수행할 수 없거나 일부 구현예에서 레이더 제스처에 대응하는 제어 입력을 수신할 수 없음을 표시한다.
일부 경우에, 제스처-일시정지 피드백 요소(124)는 전자 디바이스(102)가 사용자(112)의 임계 거리 내에 있는 동안(예를 들어, 대략 사용자(112)의 1, 3, 4, 5, 또는 6피트 내) 제스처-일시정지 트리거(122)가 검출된 경우에만 제공된다. 사용자로부터의 임계 거리는 레이더 데이터, 비-레이더 센서(108)(예를 들어, 근접 센서 또는 이미지 캡처 센서)로부터의 데이터 또는 레이더 데이터와 비-레이더 센서(108)로부터의 데이터의 조합을 사용하여 결정될 수 있다.
일반적으로, 도 1을 참조하여 설명된 바와 같이, 제스처 일시정지 피드백 요소는 디스플레이의 활성 영역에 나타나는 시각적 요소 또는 디스플레이에 없는 요소(예: LED 또는 기타 조명 요소, 햅틱 요소 및/또는 오디오 요소)와 같은 사용자가 인식할 수 있는 요소이다. 제스처-일시정지 피드백 요소가 디스플레이의 활성 영역에 나타나는 시각적 요소인 경우, 제스처-일시정지 피드백 요소는 도 1를 참조하여 설명된 바와 같이 디스플레이의 에지에 또는 디스플레이의 에지를 따라 제공될 수 있고, 다양한 모양, 크기, 색상 및 기타 시각적 파라미터 또는 속성(예: 광도, 색상, 대비, 모양, 채도 또는 불투명도)을 취할 수 있다.
일부 구현예에서, 도 1을 참조하여 기술된 바와 같이, 시각적 요소는 시각적 요소에 근접한 디스플레이의 다른 부분의 밝기 또는 다른 시각적 속성과 상이한 밝기 또는 다른 시각적 속성을 갖는 디스플레이의 활성 영역의 일부인 영역을 가질 수 있다. 이 경우, 시각적 요소는 또한 디스플레이의 활성 영역의 에지로부터 임계 거리 내에 있는 외부 경계의 세그먼트를 가질 수 있다. 추가적으로, 제스처-일시정지 피드백 요소의 광도(또는 다른 시각적 파라미터)는 제스처-일시정지 피드백 요소가 디스플레이의 활성 영역의 에지로부터 거리를 가로질러 연장됨에 따라 달라질 수 있다(예를 들어, 형상이 에지로부터 멀어질수록 감소하는 디스플레이의 에지에서 또는 에지를 따라 광도를 가짐). 다른 구현예에서, 제스처-일시정지 피드백 요소는 에지가 아닌 디스플레이 상의 위치에 나타날 수 있다(예를 들어, 제스처-일시정지 피드백 요소는 디스플레이의 내부 영역에 제공될 수 있고, 디스플레이의 에지에 인접하거나 에지를 터치하지 않을 수 있다).
도 1을 참조하여 기술된 바와 같이, 제스처-일시정지 피드백 요소(124)는 디스플레이(114)의 활성 영역 상에서 이동하고 움직임은 제스처-일시정지 트리거(122)의 모션에 대응할 수 있다(예를 들어, 제스처-일시정지 피드백 요소(124)의 속도, 진동, 주파수 또는 다른 움직임이 제스처-일시정지 트리거(122)의 모션, 속도, 또는 진동 주파수에 대응할 수 있다). 또한, 위에서 설명된 바와 같이, 제스처-일시정지 피드백 요소(124)는 사용자(112)가 레이더 제스처를 시도했는지 여부와 관련이 없을 수 있는 조건 때문에 레이더 제스처 애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 없음을 나타낸다. 입력-모드 관리자(106)는 제스처-일시정지 트리거(122)의 검출에 기초하여 제스처-일시정지 피드백 요소(124)를 제공하고, 레이더 제스처가 시도되었을 필요는 없다. 오히려, 제스처-일시정지 피드백 요소는 전자 디바이스(102)에서 레이더 제스처 애플리케이션을 제어하기 위해 현재 레이더 제스처가 사용가능하지 않다는 것을 사용자에게 경고한다.
방법(700)의 일부 구현예에서, 제스처-일시정지 피드백 요소는 디스플레이의 활성 영역의 에지에서 또는 이를 따라 이미 제공되고 있는 시각적 요소에 대한 조정으로서 제공될 수 있다(예를 들어, 전자 디바이스에서 동작하는 애플리케이션이 레이더 제스처를 수신할 수 있는 기능을 가진다는 것을 표시하는 이전에 제공된 시각적 요소). 예를 들어, 도 1에 도시된 예에서, 시각적 피드백 요소(126)는 이미 예시적 디스플레이(114-1)에 제공되고 있다. 제스처-일시정지 트리거(122)가 검출될 때, 시각적 피드백 요소(126)는 예를 들어 크기, 모양, 색상 또는 다른 시각적 속성을 변경함으로써 예시적 디스플레이(114-2)에 보여진 바와 같이 예시적 제스처-일시정지 피드백 요소(124)가 되도록 조정될 수 있다.
제스처-일시정지 피드백 요소의 색상은 그것이 제공되는 디스플레이의 배경과 시각적으로 구별될 수 있는 임의의 적절한 색상일 수 있다. 색상은 도 1을 참조하여 설명된 바와 같이 다양한 요인들 중 임의의 것에 기초하여 변경될 수 있다. 방법(700)의 일부 구현예에서, 전자 디바이스의 컴포넌트(예를 들어, 입력-모드 관리자(106))는 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정할 수 있다. 배경색을 결정하는 것에 응답하여, 제스처-일시정지 피드백 요소는 배경색과 상이한 다른 색상으로 제공될 수 있으며, 이는 도 1을 참조하여 설명된 바와 같이 제스처-일시정지 피드백 요소와 배경색 간에 인간이 구별할 수 있는 대비를 제공한다. 일부 경우에, 제스처 일시정지 피드백 요소의 색상이 배경색 변경에 따라 지속적으로 자동으로 동적으로 조정될 수 있다.
도 1을 참조하여 설명된 바와 같이, 제스처 일시정지 피드백 요소는 적어도 부분적으로 간단한 애니메이션으로 나타날 수 있다. 예를 들어, 제스처-일시정지 피드백 요소는 활성 디스플레이의 에지에 나타난 다음 기본 모양을 취하기 전에 커지거나 줄어들 수 있다. 유사하게, 색상, 광도 또는 모양은 기본 모양을 취하기 전에 제스처-일시정지 피드백 요소가 나타나거나 사라짐에 따라(예를 들어, 레이더 제스처 애플리케이션이 동작을 멈춤) 변경될 수 있다. 또한, 제스처-일시정지 피드백 요소는 디스플레이의 영역에 나타나는 요소가 아니라 디스플레이에 나타나는 이미지일 수 있다. 이미지는 광도, 채도, 색상과 같은 디스플레이의 주변 배경의 파라미터와 상이한 시각적 파라미터를 가질 수 있다. 다른 경우에, 주변 배경은 이미지일 수 있고 제스처-일시정지 피드백 요소는 광도, 채도, 색상 등과 같은 상이한 시각적 파라미터를 갖는 동일한 이미지이다. 이러한 방식으로, 제스처-일시정지 피드백 요소는 전자 디바이스가 현재 전자 디바이스와 인터렉션하는데 레이더 제스처를 사용할 수 없는 모드에서 전자 디바이스가 동작하고 있음을 사용자에게 전달함으로써 사용자의 경험을 개선할 수 있다.
방법(700)의 일부 구현예에서, 제스처-일시정지 피드백 요소(및 다른 시각적 피드백 요소)의 위치는 디스플레이 상의 콘텐츠의 배향 및/또는 콘텐츠와 인터렉션하는데 사용되는 레이더 제스처의 방향에 기초하여 결정될 수 있다. 예를 들어, 도 1을 참조하여 설명된 바와 같이, 입력-모드 관리자(106)와 같은 전자 디바이스의 컴포넌트는 디스플레이 상의 콘텐츠의 배향을 (예를 들어, 애플리케이션 관리자(116)로부터) 획득할 수 있다. 콘텐츠의 배향에 기초하여, 디스플레이는 콘텐츠와 인터렉션하는데 사용될 수 있는 레이더 제스처의 방향을 결정할 수 있고, 레이더 제스처의 방향에 대응하는 디스플레이의 활성 영역의 특정 에지에 제스처-일시정지 피드백 요소를 제공할 수 있다. 따라서, 디스플레이된 컨텐츠의 컨텍스트가 수평인 경우, 제스처-일시정지 피드백 요소가 상단 에지에 디스플레이되고, 디스플레이된 컨텐츠의 컨텍스트가 수직인 경우 제스처-일시정지 피드백 요소가 측면 에지에 디스플레이된다.
또한, 사용자에 대한 전자 디바이스의 배향 변화가 검출될 수 있고, 배향 변화에 기초하여 사용자에 대한 제스처 일시정지 피드백 요소의 배향 및 위치를 유지하기 위해 제스처-일시정지 피드백 요소와 같은 시각적 피드백 요소가 디스플레이의 다른 에지에 제공될 수 있다. 예를 들어, 도 1을 참조하여 기술된 바와 같이, 사용자는 비디오를 보기 위해 수직으로부터 수평 방향으로 디바이스를 회전하거나 기사를 읽기 위해 수평으로부터 수직 방향으로 디바이스를 회전할 수 있다. 배향의 변경에 기초하여, 입력-모드 관리자(106)는 사용자에 대해 제스처-일시정지된 피드백 요소(124)의 배향 및 위치를 유지하기 위해 디스플레이(114)로 하여금 활성 디스플레이의 다른 에지에 제스처-일시정지 피드백 요소(124)를 제공하게 할 수 있다. 언급된 바와 같이, 콘텐츠의 배향이 고려되고, 이러한 구성은 디스플레이 상의 콘텐츠의 배향 및 사용자에 대한 디스플레이()의 배향 둘 모두에 적절한 위치에서 디스플레이 상의 제스처-일시정지 피드백 요소를 제공하기 위해 서로 함께 사용될 수 있다.
일부 경우에, 전자 디바이스에서 실행되는 레이더-제스처 애플리케이션이 몰입 모드에서(예를 들어, 제시된 컨트롤이 없는 전체 화면 모드에서) 동작하고 있다고 결정할 수 있다. 이 결정에 응답하여, 디스플레이는 제스처-일시정지 트리거가 검출될 때 제스처-일시정지 피드백 요소를 잠시 또는 주기적으로 제공할 수 있다. 예를 들어, 도 1을 참조하여 설명된 바와 같이, 제스처-일시정지 피드백 요소(124)는 피드백-요소-제시 지속시간 동안 디스플레이 상에 제공될 수 있고, 이어서 비-피드백-요소-제시 지속시간 동안 제공되는 것을 중단할 수 있다. 피드백-요소-제시 지속시간 및 비-피드백-요소-제시 지속시간은 모두 미리 결정되거나 선택가능할 수 있다. 일부 경우에, 지속시간은 몰입 모드에서 실행되는 레이더 제스처 애플리케이션의 유형, 레이더 제스처 애플리케이션의 상태 또는 사용자가 레이더 제스처를 사용하는 빈도와 같은 다양한 요인들에 기초하여 (예를 들어, 사용자에 의해 또는 입력-모드 관리자(106)에 의해) 선택가능할 수 있다.
제스처-일시정지 피드백 요소(및 다른 시각적 피드백 요소)는 사용자가 레이더 제스처(예를 들어, 터치 또는 음성 입력) 이외의 입력을 사용하여 전자 디바이스와 인터렉션할 때 완전히 페이드되거나 사라질 수 있다. 예를 들어, 도 1을 참조하여 설명된 바와 같이, 사용자는 전자 디바이스가 제스처 일시정지 상태인 상태에서 전자 디바이스에 대한 터치 명령을 이용하여 애플리케이션을 시작할 수 있다. 이 경우, 제스처-일시정지 피드백 요소는 사용자가 전자 디바이스를 집어들거나 디스플레이를 터치할 때 페이드되거나 또는 사라질 수 있다. 제스처 일시정지 피드백 요소는 사용자가 디스플레이 터치를 중단하거나 전자 디바이스를 내려놓을 때 다시 시작된다(제스처 일시정지 트리거가 여전히 검출되는 경우). 제스처-일시정지 피드백 요소는 터치 또는 음성 입력이 종료될 때 또는 선택가능한 기본 지속시간 후에 즉시 다시 나타나거나 밝아질 수 있다.
제스처-일시정지 피드백 요소(124)와 같은 시각적 피드백 요소는 전자 디바이스(102)가 잠금 상태 또는 잠금 해제 상태에 있는 동안 제공될 수 있다. 따라서, 전자 디바이스는 사용자가 인증되었는지 여부에 관계없이 기술된 조건이 충족되면 제스처 일시정지 피드백 요소를 제공할 수 있다. 도 1를 참조하여 설명된 바와 같이, 잠금 및 잠금 해제 상태는 전자 디바이스에 대한 액세스 수준을 지칭한다. 잠금 상태는 인증된 사용자가 없고 디바이스를 사용하는 모든 사람이 전체 권한 또는 액세스 권한 미만인 상태일 수 있다(예: 액세스 또는 권한 없음 또는 제한된 액세스 또는 권한). 잠금 상태의 예는 본 명세서에 기술된 전자 디바이스의 인식 및 참여 모드를 포함할 수 있다. 유사하게, 잠금 해제 상태는 적어도 한 명의 사용자가 인증되고 해당 사용자가 디바이스에 대한 모든 권한 및/또는 액세스 권한을 갖는 상태일 수 있다. 잠금 해제 상태의 예는 본 명세서에 기술된 전자 디바이스의 활성 모드이다.
일시정지된 레이더 제스처에 대한 시각적 표시자에 대한 이러한 기법은 다른 인증 및 피드백 기법보다 더 안전할 수 있다. 예를 들어, 사용자의 포지션, 배향 또는 레이더 제스처(특히 사용자 정의 제스처, 마이크로 제스처, 자세 또는 위치 기반 제스처)의 사용은 일반적으로 권한이 없는 사람이 복제하거나 얻을 수 없습니다(예: 비밀번호와 달리). 또한, 사용자의 레이더 이미지(예를 들어, 위에서 설명된 레이더 데이터에 기초함)는 사용자의 얼굴을 포함하더라도 사진이나 비디오와 같이 사용자를 시각적으로 식별하지 못한다. 그럼에도 불구하고 위의 설명에 더하여 사용자가 본 문서에 설명된 시스템, 프로그램, 관리자, 모듈 또는 구성이 사용자 정보(예: 사용자의 이미지, 사용자를 기술하는 레이더 데이터, 사용자의 소셜 네트워크, 소셜 액션 또는 활동, 직업, 사용자의 선호도 또는 사용자의 현재 위치에 대한 정보)를 수집할 수 있는지 여부와 시기, 사용자에게 콘텐츠가 전송되었는지 여부와 시기 또는 서버로부터의 통신을 선택하게 하는 제어가 사용자에게 제공될 수 있다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 취급되어, 개인적으로 식별가능한 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 어떤 정보가 수집될지, 정보가 어떻게 사용될지, 그리고 어떤 정보가 사용자에게 제공될지에 관한 제어를 가질 수 있다.
예시적 시각적 요소
언급된 바와 같이, 본 명세서에 기술된 기법 및 시스템은 전자 디바이스(102)가 레이더 제스처를 통해 입력을 수신할 수 있는 사용 가능한 애플리케이션을 사용자가 알게하고, 일부 경우에 레이더 제스처의 사용 및 결과에 관한 추가 피드백을 제공하도록 피드백 및 알림을 제공하게 할 수 있다. 피드백 및 알림은 디스플레이(114)에 제시되는 시각적 요소와 같은 하나 이상의 사용자 인식가능한 요소에 의해 제공된다. 기법 및 시스템은 또한 사용자의 부재, 존재 및 위치를 결정할 수 있게 하여 보다 신속하고 효율적인 인증 프로세스를 제공하는데 사용될 수 있다. 예를 들어, 이 기법을 통해 전자 디바이스는 사용자가 인증될 준비가 된 시기를 예상하고 사용자가 없을 때 디바이스를 잠글 시기를 보다 정확하게 결정할 수 있다. 사용자가 입력 모드를 인식하고 디바이스가 인터렉션하고 입력을 수신할 수 있는 다양한 방식에 대해 확신할 수 있기 때문에, 피드백, 시각적 요소 및 다른 구성은 인터렉션이 더 편리하고 덜 답답하게 할 수 있다. 도 8 내지 도 19는 레이더-제스처 애플리케이션을 실행하는 전자 디바이스(102)의 예를 도시하고, 사용자에게 피드백을 제공하기 위해 디스플레이 상에 제시될 수 있는 시각적 요소의 예를 설명한다. 다수의 상이한 모드에서 동작하는 전자 디바이스의 예 및 상이한 모드에서 디스플레이 상에 제시될 수 있는 시각적 요소의 예가 또한 설명된다.
도 7을 고려하면, 800에서, 레이더 제스처 애플리케이션이 전자 디바이스(102) 상에서 실행되고 있음을 나타내기 위해 사용될 수 있는 시각적 피드백 요소의 예를 일반적으로 도시한다. 도 8에서, 상세도(800-1)는 실행 중인 레이더 제스처 애플리케이션이 없는 전자 디바이스(102)의 상태를 나타내는 예시적 디스플레이(114-3)를 도시한다. 적어도 하나의 레이더-제스처 애플리케이션이 실행 중인 전자 디바이스(102)의 다른 상태는 다른 예시적 디스플레이(114-4)에 도시된다. 예시적 디스플레이(114-4)의 상단에 있는 시각적 요소(802)는 전자 디바이스(102)가 위에서 설명된 바와 같이 레이더 제스처를 통해 입력을 수신할 수 있음을 나타낸다. 시각적 요소(802)는 조명된 라인으로 도시되지만, 위에서 언급한 바와 같이, 다른 위치에서, 다른 조명 레벨에서(예를 들어, 부분적으로만 조명됨) 또는 다른 형태 또는 유형의 요소로 제시될 수 있다. 예를 들어, 다른 상세도(800-2)에서, 실행 중인 레이더 제스처 애플리케이션이 없는 전자 디바이스(102)의 상태를 나타내기 위해 예시적 디스플레이(114-5)가 도시된다. 적어도 하나의 레이더-제스처 애플리케이션이 실행 중인 전자 디바이스(102)의 다른 상태는 다른 예시적 디스플레이(114-6)에 도시된다. 예시적 디스플레이(114-6)의 상단에 있는 시각적 요소(804)는 전자 디바이스(102)가 위에서 설명된 바와 같이 레이더 제스처를 통해 입력을 수신할 수 있음을 나타낸다. 시각적 요소(804)는 조명된 영역(예를 들어, 빛나는 영역)으로서 도시된다. 시각적 요소(802)와 함께, 시각적 요소(804)는 상이한 조명 레벨(예를 들어, 더 많거나 또는 적게 조명된)로 또는 엘리먼트의 다른 형상 또는 유형으로 디스플레이(114)의 다른 위치에 제시될 수 있다. 명료함을 위해, 예시적 디스플레이(114-3 내지 114-6)에는 다른 요소(예를 들어, 시간, 날짜, 또는 애플리케이션 실행 아이콘)가 표시되지 않는다. 그러나, 다른 구현예에서, 시각적 요소들(802 또는 804)은 디스플레이 상의 다른 콘텐츠와 함께 디스플레이될 수 있다. 또한, 전자 디바이스(102)가 인식 모드, 참여 모드, 활성 모드 또는 다른 모드에 있는 동안 시각적 요소(802 또는 804)가 디스플레이될 수 있다.
일부 구현예에서, 전자 디바이스(102)는 또한 레이더 제스처들의 이용가능성과 관련된 더 상세한 시각적 피드백을 제공할 수 있다. 예를 들어, 입력-모드 관리자(106), 애플리케이션 관리자(116), 또는 전자 디바이스(102)와 연관된 다른 컴포넌트는 디스플레이(114)가 레이더 제스처를 통해 수신된 입력에 관한 피드백을 제공하는 다른 시각적 요소를 제시하게 할 수 있다. 도 9 내지 19는 레이더 제스처의 사용과 관련된 피드백을 제공하기 위해 시각적 요소가 사용될 수 있는 일부 방식의 추가 세부사항을 도시한다.
예를 들어, 도 9a 내지 9d를 고려하면, 900에서, 사용자의 손이 레이더 제스처 애플리케이션이 레이더 제스처를 수신하는 제스처 구역(예를 들어, 제스처 구역(118)) 내에 있다고 표시하기 위해 사용될 수 있는 시각적 피드백 요소의 예를 일반적으로 도시한다. 제스처 구역(118)은 전자 디바이스(102)가 스와이프 또는 핀치와 같은 레이더 제스처를 수신, 해석 및 작동할 수 있는 전자 디바이스(102)(또는 레이더 시스템(104)) 주변의 영역이다. 제스처 구역은 전자 디바이스(102)로부터 임의의 적절한 거리(예를 들어, 대략 3, 5, 7, 9, 또는 12인치)로 확장될 수 있다.
도 9a에서, 예시적 디스플레이(114-7)는 적어도 하나의 레이더-제스처 애플리케이션이 실행 중인 상태로 도시된다(예를 들어, 도 8을 참조하여 설명된 예시적 디스플레이(114-6)와 유사). 사용자의 손(902)은 예시적 디스플레이(114-7) 근처에 표시되지만 제스처 구역(118) 외부에 표시된다(제스처 구역의 경계는 점선(904)으로 표시됨). 예시적 시각적 요소(906)는 예시적 디스플레이(114-7)의 상단 근처에서 상단으로부터 거리에 따라 변하는 광도를 갖는 빛나는 영역(예를 들어, 다양한 밝기, 색상, 또는 다른 속성을 갖는 영역 또는 형상)으로서 도시된다. 다른 구현예에서, 시각적 요소(906)는 다른 위치에 또는 다른 형태 또는 유형의 요소(예를 들어, 도 8의 상세도(800-1)에 도시된 바와 같은 선)로서 제시될 수 있다. 도 9b에서, 사용자의 손(902)은 화살표(908)에 의해 도시된 바와 같이 전자 디바이스를 향해 이동하고 제스처 구역의 경계(904)를 가로지른다. 전자 디바이스가 움직임(908)을 검출하는 것에 응답하여, 예시적 디스플레이(114-8)에 도시된 바와 같이, 다른 시각적 요소(910)가 시각적 요소(906)를 대체한다. 이 예에서, 시각적 요소(910)는 시각적 요소(906)보다 더 크고 상이한 밝기 또는 광도(예를 들어, 더 적게, 더 많이, 또는 완전히 조명됨)를 갖는 빛나는 영역이다. 다른 구현예에서, 시각적 요소(910)는 또한 다른 위치에 또는 다른 형태 또는 유형의 요소로서 제시될 수 있다.
도 9c에 도시된 바와 같이, 사용자의 손(902)이 제스처 구역의 경계(904) 내에 있을 때, 시각적 요소(910)는, 일부 구현예에서, 양방향 화살표(912)에 의해 표현된 바와 같이, 사용자의 손(902)의 보다 작은, 비-제스처 모션을 표시하는 피드백을 제공하는데 사용될 수 있다. 예를 들어, 예시적 디스플레이(114-9)에 도시된 바와 같이, 시각적 요소는 화살표(914)에 의해 도시된 바와 같이 사용자의 손으로 앞뒤로 이동함으로써 사용자의 손 움직임을 나타내도록 이동할 수 있다. 도 9d에서, 사용자의 손(902)은 화살표(916)에 의해 도시된 바와 같이 제스처 영역의 경계(904) 외부로 빠진다. 사용자의 손의 모션에 응답하여, 디스플레이(114)는 시각적 요소(906)가 디스플레이(114)의 상단 에지 근처에 디스플레이되는 예시적 디스플레이(114-7)에 도시된 바와 같은 상태로 복귀한다.
일부 구현예에서(도 9a 내지 도 9d에 도시되지 않음)에 도시된 바와 같이, 비-제스처 모션은 다른 시각적 요소 또는 시각적 요소에 대한 변경으로 표현될 수 있다. 예를 들어, 크기 및/또는 모양이 변경될 수 있거나 모양의 중심 또는 초점이 이동하여 모션을 나타낼 수 있다(모양 자체는 고정된 상태로 유지됨). 추가적으로 또는 대안적으로, 밝기의 강도 또는 색상에 대한 변경은 모션(예를 들어, 모양의 밝기 또는 색상, 또는 모양의 일부, 비제스처 모션에 따른 변경)을 나타내기 위해 사용될 수 있다. 시각적 요소(906, 910)는 시각적 요소(910)의 모션과 함께 사용자가 제스처를 사용할 수 있는 때를 이해하는데 도움이 될 수 있으며 전자 디바이스(102)가 사용자의 손의 상대 포지션을 인식하고 있음을 나타내는 피드백을 제공하여 전자 디바이스(102)에 대한 사용자의 경험을 개선할 수 있다.
도 9c를 참조하여 설명된 바와 같이, 전자 디바이스(102)는 사용자의 손의 모션에 대응하여 디스플레이 상에서 시각적 요소를 앞뒤로 움직이는 것과 같은 제스처 구역에서 사용자의 손의 더 작은 비-제스처 모션을 나타내기 위해 시각적 피드백을 제공할 수 있다. 유사하게, 사용자가 레이더 제스처(예를 들어, 노래를 건너뛰기 위한 스와이핑 제스처 또는 경보 또는 알림을 해제하기 위한 옴니 제스처)를 할 때, 전자 디바이스(102)는 제스처가 성공적으로 수신되었음 또는 제스처 시도가 수신되었지만 레이더 제스처로 확인되기에 충분히 명확하지 않거나 전자 디바이스의 레이더 제스처 애플리케이션에 대한 레이더 제스처에 대응하지 않음을 사용자에게 알리기 위한 피드백을 제공할 수 있다. 예를 들어, 도 10 내지 도 12는 일반적으로 제스처가 성공적으로 수신되었음을 사용자에게 알리는데 사용될 수 있는 예시적 시각적 요소의 시퀀스(1000 및 1100)를 도시한다.
도 10을 고려하면, 적어도 하나의 레이더-제스처 애플리케이션이 실행되고 사용자의 손(1002)이 제스처 구역의 경계 내에 있는 상태(예를 들어, 도 9b를 참조하여 기술된 예시적 디스플레이(114-8)에 의해 표현된 상태와 유사)에 있는 예시적 디스플레이(114-10)를 도시한다. 예시적 디스플레이(114-10)는 예시적 디스플레이(114-10)의 상단 근처에서 상단으로부터 거리에 따라 변하는 광도를 갖는 빛나는 영역(예를 들어, 다양한 밝기, 색상, 또는 다른 속성을 갖는 영역 또는 형상)으로서 도시된 시각적 요소(1004)를 제시하고 있다. 이 예에서, 시각적 요소(1004)는 레이더 제스처의 가용성을 표시한다. 예를 계속하면, 사용자는 화살표(1006)에 의해 도시된 바와 같이 왼쪽에서 오른쪽으로 성공적인 슬라이딩 또는 스와이핑 제스처를 한다(예를 들어, 제스처 애플리케이션의 제어 입력에 대응하고 및/또는 애플리케이션이 제어 입력을 수신하거나 응답하게 하는, 도 1을 참조하여 설명된 레이더 제스처에 대한 기준을 충족하는 제스처). 사용자의 손(1002)의 모션(1006)에 응답하여, 시각적 요소(1004)는 시퀀스(1008)(점선 직사각형 내에 도시됨)에 도시된 바와 같이 또한 이동한다. 예시적 디스플레이(114-11)는 화살표(1010)에 의해 도시된 바와 같이 시각적 요소(1004)가 오른쪽으로 이동하기 시작할 때 시퀀스(1008)의 시작을 도시한다.
시퀀스(1008)는 화살표(1012)에 의해 도시된 바와 같이 시각적 요소(1004)가 예시적 디스플레이(114-12)의 코너 주위에서 구부러지는 다른 예시적 디스플레이(114-12)에서 계속된다. 시각적 요소(1004)는 가변 거리 동안 디스플레이(114)의 측면 아래로 계속해서(예를 들어, 시각적 요소의 후미가 굽힘을 완료하자마자 또는 후미가 측면을 따라 특정 거리를 이동한 후) 사라질 수 있다. 다른 예시적 디스플레이(114-13)에서 시퀀스(1008)를 계속하면, 시각적 요소(1004)는 예시적 디스플레이(114-13)의 왼쪽에서 다시 나타나거나 재생성되고 화살표(1014)로 도시된 바와 같이 중앙 포지션을 향해 이동한다. 일부 구현예에서, 시각적 요소(1004)는 왼쪽에서가 아니라 (예시적 디스플레이(114-10)에 도시된 바와 같이) 초기 포지션에서 다시 나타나거나 재생성할 수 있다. 시퀀스(1008)가 완료되면, 디스플레이는 디스플레이(114)의 상단 근처에 디스플레이된 시각적 요소(1004)와 함께 예시적 디스플레이(114-10)에 도시된 바와 같은 상태로 돌아가고, 제스처 구역의 경계 내에 손이 남아 있는 동안 사용자의 손(1002)을 미묘하게 추적할 수 있다. 도 10의 예에서, 시퀀스(1008)는 사용자가 제스처를 시작할 때 시작된다. 다른 경우에, 제스처 및 시퀀스(1008)는 상이한 시간에 완료될 수 있거나 디스플레이(114) 상의 다른 위치에서 시작하고, 오른쪽에서 왼쪽으로, 위에서 아래로, 또는 아래에서 위로(예를 들어, 레이더 제스처가 오른쪽에서 왼쪽으로, 위에서 아래로 또는 아래에서 위로 이동함) 등과 같이 다른 방향으로 진행한다.
또한, 도 10의 시각적 요소(1004)가 디스플레이(114)의 상부 근처에 빛나는 영역으로 도시되어 있지만, 시각적 요소는 다른 위치에 또는 다른 형태 또는 유형의 요소로 제시될 수 있다. 예를 들어, 도 11은 디스플레이(114)의 상부 에지 근처의 조명된 라인으로서 다른 예시적 시각적 요소(1102)를 도시한다. 사용자의 손(1104)(화살표(1106)으로 표시됨)의 왼쪽에서 오른쪽으로의 모션에 응답하여, 시각적 요소(1102)도 시퀀스(1108)(점선 직사각형 내에 표시됨)에 표시된 대로 이동한다. 예시적 디스플레이(114-14)는 화살표(1110)에 의해 도시된 바와 같이 시각적 요소(1102)가 오른쪽으로 이동하기 시작할 때 시퀀스(1108)의 시작을 도시한다.
시퀀스(1108)는 화살표(1112)에 의해 도시된 바와 같이 시각적 요소(1102)가 예시적 디스플레이(114-15)의 코너 주위에서 구부러지는 다른 예시적 디스플레이(114-15)에서 계속된다. 언급된 바와 같이, 시각적 요소(1102)는 가변 거리 동안 디스플레이의 측면 아래로 계속된 후 사라질 수 있다. 다른 예시적 디스플레이(114-16)에서 시퀀스(1108)를 계속하면, 시각적 요소(1102)는 예시적 디스플레이(114-16)의 왼쪽에서 다시 나타나거나 재생성되고(또는 초기 포지션에서 다시 나타남) 화살표(1114)로 도시된 바와 같이 중앙 포지션을 향해 이동한다. 시퀀스(1108)가 완료되면, 디스플레이는 시각적 요소(1102)가 디스플레이(114)의 상단 근처에 디스플레이되는 상태로 돌아간다.
사용자가 스마트폰(예를 들어, 전자 디바이스(102))에서 레이더 제스처 애플리케이션으로 음악을 듣고 있는 다른 예(도시되지 않음)를 고려한다. 사용자가 트랙을 건너뛰기로 결정하고 스마트폰 위로 레이더 제스처를 한다고 가정한다. 레이더 제스처는 어느 방향으로의 스와이프일 수 있다(예: 다음 트랙으로 건너뛰기 위해 왼쪽에서 오른쪽으로, 현재 트랙을 다시 시작하거나 이전 트랙으로 건너뛰기 위해 오른쪽에서 왼쪽으로). 사용자의 손이 제스처 구역에 들어가면 시각적 요소가 표시된다. 사용자가 레이더 제스처를 시작함에 따라, 전자 디바이스는 (예를 들어, 레이더 시스템(104), 입력-모드 관리자(106) 또는 애플리케이션 관리자(116)를 통해) 도 10 및 도 11을 참조하여 설명된 바와 같이 시퀀스(1008 또는 1108)로 시각적 요소를 제시한다.
일부 구현예에서, 시각적 요소(1004 및 1102)는 레이더 제스처가 프로세싱되는 동안 수평 방향으로(예를 들어, 예시적 디스플레이(114-12 및 114-15)에 도시된 바와 같이) 이동할 수 있다. 레이더 제스처가 성공적으로 수신되면(예: 제어 입력이 전송되고 및/또는 애플리케이션이 응답할 때) 시각적 요소(1004 및 1102)의 모션이 방향을 변경한다(예: 디스플레이(114-13 및 114-16)의 예에 표시된 것처럼 코너를 돌아감). 이것은 예를 들어 단순히 화면의 오른쪽 에지에 도달하는 요소와 비교할 때 방향 변경이 매우 빠르게 등록되기 때문에 인간의 시각 시스템에 특히 유리하다.
성공적인 레이더 제스처를 나타낼 수 있는 시각적 피드백 요소의 다른 예는 디스플레이(114)에 수직인 방향으로 행해진 제스처 또는 디스플레이(114)에 수직인 컴포넌트와의 제스처와 같이 성공적인 레이더 제스처를 보여주기 위해 구부리거나 구부러지는 시각적 요소(예: 한쪽 끝, 양쪽 끝, 중간 또는 다른 위치)가 있다. 다른 경우에, 시각적 요소(1004 또는 1102)는 그것이 코너에 도달하기 전에 또는 그 전에 사라질 수 있거나, 코너 주위에서 디스플레이(114)의 측면 아래로 계속될 수 있거나, 심지어 디스플레이(114) 주위를 완전히 이동할 수 있다.
일부 구현예에서, 시각적 피드백 요소는 레이더 제스처의 모션과 독립적인 피드백을 제공할 수 있다. 예를 들어, 일부 구현예에서, 옴니 제스처는 방향 독립적 레이더 제스처로 사용된다(예: 옴니 제스처가 경고 또는 경보를 무시하고 방향으로 콘텐츠를 이동하거나 음악을 건너뛰기/재생하도록 의도되지 않았기 때문에, 제스처의 방향은 기능과 관련이 없다). 도 12를 고려하면, 1200에서, 방향 독립적 레이더 제스처가 성공적으로 수신되었음을 사용자에게 알리는데 사용될 수 있는 예시적 시각적 요소의 시퀀스를 일반적으로 도시한다. 도 12에서, 예시적 디스플레이(114-17)는 적어도 하나의 레이더-제스처 애플리케이션이 전자 디바이스(102) 상에서 동작하고 있고 사용자의 손(1202)이 제스처 구역의 경계 내에 있는 상태로 도시된다(도 9b를 참조하여 기술된 예시적 디스플레이(114-8)에 의해 표현된 상태와 유사). 예시적 디스플레이(114-17)는 예시적 디스플레이(114-17)의 상단 근처에서 상단으로부터 거리에 따라 변하는 광도를 갖는 빛나는 영역(예를 들어, 다양한 밝기, 색상, 또는 다른 속성을 갖는 영역 또는 형상)으로서 도시된 시각적 요소(1204)를 제시하고 있다. 이 예에서, 시각적 요소(1204)는 레이더 제스처(예를 들어, 레이더 제스처 애플리케이션이 전자 디바이스에서 현재 실행 중이거나 저장되어 있음)의 가용성을 표시한다. 예를 계속해서, 레이더 제스처 애플리케이션이 디스플레이에 경고를 표시하고 사용자가 경고를 무시하기로 결정했다고 가정한다. 그렇게 하기 위해, 사용자는 화살표(1206)에 의해 도시된 바와 같이 전자 디바이스(102)를 향해 옴니-제스처를 한다.
사용자의 손(1202)의 모션(1206)에 응답하여, 시각적 요소(1204)는 시퀀스(1208)(점선 직사각형 내에 도시됨)에 도시된 바와 같이 변경된다. 예시적 디스플레이(114-18)는 시각적 요소(1204)가 더 커지고 밝아질 때(예를 들어, 광도가 증가함에 따라) 시퀀스(1208)의 시작을 도시하고, 디스플레이(114-18)의 에지에 근접한 밝은 라인(1210)을 포함한다. 시퀀스(1208)는 다른 예시적 디스플레이(114-19)에서 계속되며, 여기서 양방향 화살표(1212)로 도시된 바와 같이, 시각적 요소(1204)는 크기가 감소하기 시작한다. 다른 예시적 디스플레이(114-20)에서 시퀀스(1208)를 계속하면, 시각적 요소(1204)는 양방향 화살표(1214)에 의해 도시된 바와 같이 상부 에지 예시적 디스플레이(114-20)의 중심을 향해 수축하면서 크기가 계속 감소한다. 시퀀스(1208)는 시각적 요소(1204)가 사라질 때까지 계속된다(도시되지 않음).
시퀀스(1208)가 완료되면, 디스플레이는 디스플레이(114)의 상단 근처에 디스플레이된 시각적 요소(1204)와 함께 예시적 디스플레이(114-17)에 도시된 바와 같은 상태로 돌아가고, 제스처 구역의 경계 내에 손이 남아 있는 동안 사용자의 손(1202)을 미묘하게 추적할 수 있다. 한편, 도 12의 예에서 시퀀스(1208)는 사용자가 제스처를 시작할 때 시작하고, 제스처 및 시퀀스(1208)는 다른 시간에 완료되거나 디스플레이(114)의 다른 위치에서 시작될 수 있으며 축소 후 성장 또는 크기를 변경하지 않고 색상 및/또는 밝기 변경과 같은 다른 방식 또는 방향으로 진행될 수 있다. 도 10 내지 도 12에 도시된 시각적 피드백 요소의 예는 레이더 제스처가 수락된 때와 제스처가 완료된 때를 사용자가 이해하는 것을 돕기 위해 시각적 피드백 요소가 사용될 수 있는 방법의 일부만을 예시하며, 이는 전자 디바이스(102)에 대한 사용자의 경험을 향상시킬 수 있다.
시각적 피드백 요소는 제스처가 시도되었지만 수신되지 않은 경우 피드백을 제공하는데 사용될 수 있다(예: 사용자의 모션이 검출되었지만 레이더 제스처로 확인되는 기준을 충족하지 않았거나 애플리케이션의 제어 입력에 해당하지 않음 및/또는 애플리케이션이 제어 입력을 수신하거나 이에 응답하지 않음). 예를 들어, 도 13 및 도 14는 일반적으로 제스처가 검출되었으나 성공적으로 이루어지거나 수신되지 않음을 사용자에게 알리는데 사용될 수 있는 예시적 시각적 요소의 시퀀스(1300 및 1400)를 도시한다.
도 13을 고려하면, 적어도 하나의 레이더-제스처 애플리케이션이 실행되고 사용자의 손(1302)이 제스처 구역의 경계 내에 있는 상태(예를 들어, 도 9b를 참조하여 기술된 예시적 디스플레이(114-8)에 의해 표현된 상태와 유사)에 있는 예시적 디스플레이(114-21)를 도시한다. 예시적 디스플레이(114-21)는 예시적 디스플레이(114-21)의 상단 근처에서 상단으로부터 거리에 따라 변하는 광도를 갖는 빛나는 영역(예를 들어, 다양한 밝기, 색상, 또는 다른 속성을 갖는 영역 또는 형상)으로서 도시된 시각적 요소(1304)를 제시하고 있다. 이 예에서, 시각적 요소(1304)는 레이더 제스처의 이용 가능성과 사용자의 손(1302)이 제스처 영역 내에 있다는 것을 표시한다.
도 13의 예에서, 사용자가 왼쪽에서 오른쪽으로 슬라이딩 또는 스와이핑 제스처를 시도하지만 위에 설명된 바와 같이 스와이핑 제스처에 대한 기준을 충족하지 않거나 전자 디바이스의 레이더 제스처 애플리케이션에 대한 레이더 제스처에 대응하지 않는다고 가정한다. 예를 들어, 곡선 화살표(1306)에 의해 도시된 바와 같이, 사용자의 손(1302)은 철수하기 전에 관련 방향으로 충분한 거리를 이동하지 못할 수 있다. 이 경우, 전자 디바이스(102)(또는 레이더 시스템(104))가 사용자의 손(1302)의 모션(1306)을 검출할 때, 이는 레이더 제스처로 성공적으로 결정되기에 충분한 정의가 결여되어 있으며, 시각적 요소(1304)는 시퀀스(1308)에 도시된 바와 같이(점선 사각형 내에 도시됨) 움직인다. 예시적 디스플레이(114-22)는 화살표(1310)에 의해 도시된 바와 같이 시각적 요소(1304)가 오른쪽으로 이동하기 시작할 때 시퀀스(1308)의 시작을 도시한다.
다른 예시적 디스플레이(114-23)에서 시퀀스(1308)를 계속하면, 시각적 요소(1304)는 예시적 디스플레이(114-23)의 반대쪽 에지에 도달하기 전에 멈췄다. 일부 경우에, 시각적 요소는 디스플레이를 가로질러 이동할 때 시작 길이(예시적 디스플레이(114-21)에 도시된 바와 같이)에 비해 크기가 감소할 수 있다. 다른 경우에, 시각적 요소(1304)는 정지할 때 크기가 감소할 수 있다(예를 들어, 정지 지점에 도달하면 압축됨).
시퀀스(1308)는 다른 예시적 디스플레이(114-24)에서 계속되며, 여기서 시각적 요소(1304)는 방향을 반전하고 다른 화살표(1312)로 표시된 바와 같이 원래 위치(이 예에서는 중심)를 향해 다시 이동하기 시작한다. 시각적 요소(1304)가 이동 중이거나 이동을 멈췄을 때 크기가 감소한 경우, 뒤로 이동하거나 반환을 완료할 때 원래 길이로 다시 커지기 시작할 수 있다. 다른 구현예에서, 중지(및 일부 경우에는 축소)하기보다 시각적 요소(1304)는 방향을 바꾸기 전에 느려지고 바운스될 수 있다. 시퀀스(1308)가 완료되면, 디스플레이는 예시적 디스플레이(114)의 상단 근처에 디스플레이된 시각적 요소(1304)와 함께 예시적 디스플레이(114-21)에 도시된 바와 같은 상태로 돌아가고, 제스처 구역의 경계 내에 손이 남아 있는 동안 사용자의 손(1302)을 미묘하게 추적할 수 있다(도 9a-9d에서 도시된 바와 같이).
실패한 레이더 제스처 시도를 보여주는 시퀀스의 다른 예는 일시적으로 축소되는 것과 같이 부분적으로 자체적으로 붕괴된 다음 원래 크기와 위치로 되돌아가는 시각적 요소를 포함한다. 예를 들어, 일부 구현예에서 시각적 피드백 요소는 레이더 제스처(옴니 제스처)의 모션과 독립적인 피드백을 제공할 수 있다. 이러한 구현예에서 피드백은 시각적 요소에 대한 변경 시퀀스일 수 있다.
도 14는 제스처(예를 들어, 옴니 제스처)가 성공적으로 이루어지거나 수신되는데 실패했음을 사용자에게 알리는데 사용될 수 있는 예시적 시각적 요소의 다른 시퀀스를 도시한다. 도 14에서, 예시적 디스플레이(114-25)는 적어도 하나의 레이더-제스처 애플리케이션이 실행되고 사용자의 손(1402)이 제스처 구역의 경계 내에 있는 상태(예를 들어, 도 9b를 참조하여 기술된 예시적 디스플레이(114-8)에 의해 표현된 상태와 유사)에 있는 것으로 도시된다. 예시적 디스플레이(114-25)는 예시적 디스플레이(114-25)의 상단 근처에서 상단으로부터 거리에 따라 변하는 광도를 갖는 빛나는 영역(예를 들어, 다양한 밝기, 색상, 또는 다른 속성을 갖는 영역 또는 형상)으로서 도시된 시각적 요소(1404)를 제시하고 있다. 이 예에서, 시각적 요소(1404)는 레이더 제스처의 이용 가능성과 사용자의 손(1402)이 제스처 영역 내에 있다는 것을 표시한다.
도 14의 예에서, 상술한 바와 같이 사용자가 옴니 제스처를 시도하지만 제스처가 옴니 제스처에 대한 기준을 충족하지 않거나 전자 디바이스의 레이더 제스처 애플리케이션에 대한 레이더 제스처에 대응하지 않는다고 가정한다. 예를 들어, 곡선 화살표(1406)에 의해 도시된 바와 같이, 사용자의 손(1402)은 철수하기 전에 충분한 거리를 이동하지 못할 수 있다. 이 경우, 전자 디바이스(102)(또는 레이더 시스템(104))가 사용자의 손(1402)의 모션(1406)을 검출할 때, 이는 레이더 제스처로 성공적으로 결정되기에 충분한 정의가 결여되어 있으며, 시각적 요소(1404)는 시퀀스(1408)에 도시된 바와 같이(점선 사각형 내에 도시됨) 움직인다. 예시적 디스플레이(114-26)는 양방향 화살표(1410)에 의해 도시된 바와 같이 시각적 요소(1404)가 밝기가 어두워지기 시작하고 축소되기 시작함에 따라 시퀀스(1408)의 시작을 도시한다. 다른 상세도(114-27)에서 시퀀스(1408)가 계속되며, 양방향 화살표(1412)로 도시된 바와 같이, 시각적 요소(1404)는 줄어드는 것을 중단하고 밝아지고 확장하기 시작한다. 다른 예시적 디스플레이(114-28)에서 시퀀스(1308)가 계속되며, 시각적 요소(1404)는 예시적 디스플레이(114)의 상단 근처에 디스플레이된 시각적 요소(1404)와 함께 예시적 디스플레이(114-25)에 도시된 바와 같은 상태로 돌아가고, 제스처 구역의 경계 내에 손이 남아 있는 동안 사용자의 손(1402)을 미묘하게 추적할 수 있다(도 9a-9d에서 도시된 바와 같이).
시각적 요소(1304, 1404)의 모션은 제스처가 성공적으로 완료되지 않았을 때 사용자가 이해하는데 도움이 될 수 있다. 이것은 사용자가 성공적인 레이더 제스처를 만들기 위한 더 나은 기법을 배우는데 도움이 되며 또한 시도된 제스처가 실패할 때 사용자가 알 수 있게 하여(예를 들어, 필요한 경우 다시 시도할 수 있음), 전자 디바이스(102)에 대한 사용자의 경험을 향상시킬 수 있다.
시퀀스(1308 및 1408)는 전자 디바이스(102)(또는 레이더 시스템(104))가 (예를 들어, 레이더 데이터의 하나 이상의 서브세트를 사용하여) 사용자가 레이더 제스처를 시도했지만 제스처가 수락에 필요한 최소한 하나의 기준을 충족하지 못했다는 것을 검출한 경우에 시작한다. 따라서, 시도된 제스처 및 시퀀스(1308)(또는 (1408))는 시도된 제스처의 특성 및 시퀀스(1308(또는 (1408))의 속도에 따라 다른 시간에 완료될 수 있다. 또한, 위에서 설명된 바와 같이, 시각적 요소(1304 및 1404) 모두가 디스플레이(114)의 상단 근처에 빛나는 영역으로 표시되지만, 시각적 요소(1304 및 1404)는 다른 위치에 또는 다른 모양 또는 유형의 요소(예: 도 8의 상세도(800-1)에 도시된 바와 같이 조명된 라인)일 수 있다. 시퀀스(1308 또는 1408) 중 하나 또는 둘 모두는 디스플레이(114)의 다른 위치에서 시작하여 오른쪽에서 왼쪽으로, 위에서 아래로 또는 아래에서 위로와 같은 다른 방향으로 진행할 수 있다(예를 들어, 시도된 레이더 제스처가 오른쪽에서 왼쪽으로, 위에서 아래로 또는 아래에서 위로 이동하는 경우).
일반적으로, 전자 디바이스(102)는 전자 디바이스(102)의 레이더-제스처 능력을 끄거나 중단할 수 있는 제스처-일시정지 모드를 포함한다. 제스처-일시정지 모드는 도 1을 참조하여 설명된 바와 같이 제스처-일시정지 트리거(122)가 검출될 때 활성화될 수 있다. 제스처-일시정지 트리거(122)가 검출될 때, 전자 디바이스는 제스처-일시정지된 모드에 진입하고 입력-모드 관리자(106)는 제스처-일시정지 피드백 요소(124)를 제공한다. 언급된 바와 같이, 제스처-일시정지 트리거(122)는 임계 주파수를 초과하는 전자 디바이스(102)의 진동 모션, 임계 속도를 초과하는 속도에서의 전자 디바이스의 모션, 또는 예를 들어, 임계 주파수를 초과하는 사용자(112)(또는 사용자(112)의 일부)와 같은 레이더 필드에서 물체의 진동 모션과 같은 도 1을 참조하여 기술된 바와 같은 임의의 다양한 환경일 수 있다. 제스처-일시정지 피드백 요소(124)는 제스처-일시정지 트리거(122)에 대응하는 모션으로 제시될 수 있다.
제스처-일시정지 트리거가 전자 디바이스의 진동 모션인 경우, 시각적 요소의 대응하는 모션은 제스처-일시정지 피드백 요소(124)의 적어도 일부의 광도(또는 다른 시각적 속성)의 감소이고, 제스처-일시정지 피드백 요소(124)의 크기 감소이다. 일부 경우에, 제스처-일시정지 피드백 요소(124)는 축소 및 흐려질 수 있으며, 그런 다음 제스처-일시정지 트리거(122)가 더 이상 검출되지 않을 때까지(예를 들어, 제스처-일시정지된 모드가 종료될 때까지) 그 상태를 유지할 수 있다. 다른 경우에, 제스처-일시정지 피드백 요소(124)는 또한 횡방향으로(앞으로 및 뒤로) 이동할 수 있고 횡방향 움직임의 주파수는 전자 디바이스(102)의 진동 주파수와 대략적으로 일치할 수 있다. 또 다른 구현예에서, 제스처-일시정지 피드백 요소(124)는 원래 형태와 흐릿하고 축소된 형태 사이에서 "펄스"하거나 교번할 수 있고, 맥동 주파수는 전자 디바이스(102)의 진동 주파수와 일치할 수 있다.
제스처-일시정지 트리거가 레이더 필드(예를 들어, 사용자(112) 또는 손과 같은 사용자(112)의 일부)에서 객체의 진동 모션인 다른 경우에, 제스처-일시정지된 제스처의 대응하는 움직임은 제스처-일시정지 피드백 요소(124)의 적어도 일부의 광도(또는 다른 시각적 속성)의 감소 및 제스처-일시정지 피드백 요소(124)의 크기의 감소이다. 일부 경우에, 제스처-일시정지 피드백 요소(124)는 축소 및 흐려질 수 있으며, 그런 다음 제스처-일시정지 트리거(122)가 더 이상 검출되지 않을 때까지(예를 들어, 제스처-일시정지된 모드가 종료될 때까지) 그 상태를 유지할 수 있다. 다른 경우에, 제스처-일시정지 피드백 요소(124)는 또한 횡방향으로(앞으로 및 뒤로) 이동할 수 있고 횡방향 움직임의 주파수는 레이더 필드에서 객체의 진동 주파수와 대략적으로 일치할 수 있다. 또 다른 구현예에서, 제스처-일시정지 피드백 요소(124)는 원래 형태와 흐릿하고 축소된 형태 사이에서 "펄스"하거나 교번할 수 있고, 맥동 주파수는 레이더 필드에서 객체의 진동 주파수와 일치할 수 있다.
두 경우 모두(제스처-일시정지 트리거(122)는 전자 디바이스(102)의 진동이거나 레이더 필드에서 객체의 진동임), 제스처-일시정지 피드백 요소(124)의 대응하는 움직임은 위에서 설명한 대로 광도나 크기의 변화 없이 횡적 움직임 또는 맥동(일치하는 주파수를 포함)일 수 있다.
전자 디바이스(102)는 레이더 센서(예를 들어, 레이더 시스템(104)), 관성 측정 유닛(IMU), 근접 센서(예를 들어, 능동 적외선 근접 센서) 등을 포함하는 다양한 센서 중 임의의 것으로부터의 입력에 기초하여 제스처-일시정지 모드에 진입할 것을 결정할 수 있다. 예를 들어, 사용자가 사용자의 손에 있는 전자 디바이스(102)로 오디오 콘텐츠를 듣고 앞뒤로 스윙하는 경우 모션은 레이더 기반 스와이프 제스처와 유사할 수 있지만 사용자는 트랙을 건너뛰거나 또는 볼륨을 조정할 의도가 없다. 따라서, 전자 디바이스(102)의 모션이 제스처 해석 프로세스에 모호성을 가져올 수 있기 때문에, 전자 디바이스(102)는 모호성이 해결될 때까지(예를 들어, 사용자가 걷기를 중지할 때까지) 제스처-일시정지 모드로 진입하기로 결정할 수 있다.
도 15는 레이더 제스처를 수신하는데 레이더 제스처 애플리케이션이 이용 가능하지만 제스처가 현재 일시정지되어 있음을 나타내기 위해 사용될 수 있는 예시적 시각적 요소(예를 들어, 제스처-일시정지 피드백 요소(124)의 예)를 1500에서 일반적으로 도시한다. 제스처 일시정지 모드는 사용자의 손이 제스처 구역에 있든 없든 레이더 제스처를 사용할 수 있을 때마다 활성화될 수 있다. 도 15에서, 예시적 디스플레이(114-29)는 적어도 하나의 레이더-제스처 애플리케이션이 실행되고 사용자의 손이 제스처 구역의 경계 내에 있는 상태(예를 들어, 도 9b를 참조하여 기술된 예시적 디스플레이(114-8)에 의해 표현된 상태와 유사)에 있는 것으로 도시된다. 예시적 디스플레이(114-29)는 레이더 제스처의 이용 가능성과 사용자의 손이 제스처 구역 내에 있다는 것을 나타내기 위해 예시적 디스플레이(114-29)의 상단 근처에 빛나는 영역으로 도시된 시각적 요소(1502)를 제시하고 있다. 사용자가 전자 디바이스(102)로 하여금 제스처-일시정지 모드로 진입하게 하는 액션을 취하는 경우(예를 들어, 화살표(1504)에 의해 도시된 바와 같이, 사용자가 걸어감에 따라 사용자의 손이 앞뒤로 움직여서 제스처-일시정지 트리거(122)가 검출됨), 시각적 요소(1502)는 시퀀스(1506)(점선 사각형 내)에 도시된 바와 같이 변경될 수 있다.
예시적 디스플레이(114-30)는 예시적 디스플레이(114-30)에 양방향 화살표(1508)로 도시된 바와 같이 시각적 요소(1502)가 밝기가 흐려지고 축소됨에 따라 시퀀스(1506)의 시작을 도시한다. 시퀀스(1506)는 다른 예시적 디스플레이(114-31)에서 계속되며, 시각적 요소(1502)는 줄어드는 것을 중단하고, 디스플레이(114-31)의 상단 에지의 중심 근처에 디스플레이된다. 더 작고 희미한 시각적 요소(1502)는 제스처-일시정지 모드가 관여되었음을 표시한다. 시퀀스(1506)는 제스처-일시정지 트리거가 종료되고 시각적 요소(1502)가 예시적 디스플레이(114-29)에 도시된 상태로 복귀할 때 종료된다.
위에서 설명된 바와 같이, 시각적 요소(1502)는 디스플레이(114)의 상단 중앙 근처에 빛나는 영역으로 표시된다. 다른 구현예에서, 시퀀스(1506)는 또한 (예를 들어, 디스플레이(114) 상의 콘텐츠의 배향, 레이더 제스처의 방향 또는 다른 요인에 따라) 디스플레이(114) 상의 다른 위치에서 시작하거나 시각적 요소(1502)가 다른 위치에서 또는 다른 모양이나 요소 유형으로 제시될 수 있다. 일부 경우에, 예시적 시각적 요소(1502)는 색상(예를 들어, 청색, 녹색, 또는 하나보다 많은 색상의 조합)을 가질 수 있다. 이러한 경우, 예시적 디스플레이(114-30 또는 114-31)를 참조하여 설명된 단계는 색상의 변경을 포함할 수 있다. 파란색에서 노란색과 같은 다른 색상으로 변경될 수 있다. 다른 경우에, 시각적 요소(1502)는 무색이 되고 단지 대조되는 빛나는 영역이므로 어두운 배경에 대해 더 밝은 영역이고 밝은 배경에 대해 더 어두운 영역이다.
예를 들어, 도 16은 일반적으로 1600에서 전자 디바이스(102)가 제스처-일시정지 상태에 있다는 것을 사용자에게 보여주기 위해 사용될 수 있는 다른 시각적 피드백 요소(예를 들어, 제스처-일시정지 피드백 요소(124)의 다른 형태)를 기술하는 다른 예시적 시퀀스(1602)를 도시한다. 도 16에서, 예시적 디스플레이(114-32)는 적어도 하나의 레이더-제스처 애플리케이션이 실행되고 사용자의 손이 제스처 구역의 경계 내에 있는 상태(예를 들어, 도 9b를 참조하여 기술된 예시적 디스플레이(114-8)에 의해 표현된 상태와 유사)에 있는 것으로 도시된다. 예시적 디스플레이(114-32)는 예시적 디스플레이(114-32)의 상단 근처에 조명된 라인으로 도시된 시각적 요소(1604)를 제시하여 레이더 제스처의 이용 가능성과 사용자의 손이 제스처 영역 내에 있다는 것을 표시한다. 예시적 시퀀스(1602)(점선 직사각형 내에 도시됨)는 전자 디바이스(102)가 제스처-일시정지 트리거(122) 검출하는 것에 응답하여(예: 전자 디바이스(102)로 하여금 도 15를 참조하여 기술된 움직임(1504)과 같은 제스처-일시정지 모드에 진입하게 하는 액션), 다른 시각적 요소(1606)가 시각적 요소(1604)를 교체하는 예시적 디스플레이(114-33)으로 시작한다. 예시적 디스플레이(114-33)에 도시된 바와 같이, 시각적 요소(1606)는 시각적 요소(1604)보다 더 짧고 더 어두운 또 다른 라인이다.
시퀀스(1602)는 다른 예시적 디스플레이(114-34)에서 계속되며, 화살표(1608)로 도시된 바와 같이, 시각적 요소(1606)는 오른쪽으로 움직이기 시작한다. 다른 예시적 디스플레이(114-35)에서 시퀀스(1602)를 계속하면, 시각적 요소(1606)는 화살표(1610)에 의해 도시된 바와 같이 왼쪽으로 이동한다. 시퀀스(1602)에서, 시각적 요소(1606)는 디스플레이의 측면에 도달하기 전에 멈추고 방향을 바꿀 수 있거나 방향을 바꾸기 전에 에지까지 끝까지 갈 수 있다. 일부 구현예에서, 시각적 요소(1606)는 그것이 반대 방향으로 멈출 때 더 축소될 수 있고, 반대 방향으로 움직이기 시작할 때, 그 후에 또는 그와 동시에 다른 크기로 돌아갈 수 있다.
또한, 시각적 요소(1606)의 진동은 제스처-일시정지 모드의 기반이 되는 조건과 일치할 수 있다. 예를 들어, 사용자의 팔이 흔들리는 경우, 시각적 요소(1606)의 진동 속도 또는 주파수는 사용자의 손이 움직이는 속도 또는 주파수와 대략적으로 일치할 수 있다. 일부 경우에, 시퀀스(1602)는 또한 디스플레이(114) 상의 다른 위치에서 시작하여 오른쪽에서 왼쪽으로, 위에서 아래로, 또는 아래에서 위로와 같이 다른 방향으로 진행할 수 있다(예: 디스플레이(114)의 콘텐츠의 배향, 레이더 제스처의 방향 또는 다른 요인에 따라). 전자 디바이스(102)가 제스처-일시정지 모드를 종료할 때, 시퀀스(1506)(또는 1602)는 완료되고 디스플레이(114)는 실행 중인 레이더-제스처 애플리케이션이 있는지 여부 및 사용자 손의 위치에 따라 적절한 상태로 복귀한다.
시퀀스(1506 및 1602)는 사용자가 제스처가 일시정지될 수 있는 때를 이해하는데 도움이 될 수 있으며, 제스처-일시정지 모드를 피하거나 활용하는데 전자 디바이스(102)를 어떻게 사용할지 사용자가 조정하게 하여, 전자 디바이스에 대한 사용자의 경험을 개선할 수 있다. 예를 들어, 레이더 필드 또는 전자 디바이스(102)의 사용자의 움직임과 일치하는 제스처-일시정지 피드백 요소(124)의 움직임은 제스처-일시정지 피드백 요소(124)의 모션 및 전자 디바이스(102)의 상태(움직임 또는 진동) 간의 상관이 있기 때문에 제스처-일시정지된 모드가 활성화되었음을 사용자에게 전달하는데 도움이 된다.
일부 경우에(도 15 또는 도 16에 도시되지 않음), 사용자의 모션은 사용자가 전자 디바이스와 함께 걷고 사용자 앞에서 안정적으로 유지하는 상황과 같은 모호성을 도입하지 않을 수 있다. 이러한 경우에, 전자 디바이스는 제스처-일시정지 모드로 진입하지 않고 시각적 요소(1502)(또는 1604)는 사용자와 전자 디바이스가 움직이는 상태인 동안에도 레이더 제스처가 사용 가능하다는 것을 사용자에게 알리기 위해 하나 이상의 시각적 파라미터를 변경할 수 있다. 예를 들어, 시각적 요소(1502)(또는 1606)는 기본 색상에서 다른 색상으로(예를 들어, 회색에서 파란색으로, 회색에서 흰색으로, 또는 흰색에서 파란색으로) 변경할 수 있다.
일부 구현예에서, 전자 디바이스(102)는 전자 디바이스(102) 상에서 실행되는 레이더-제스처 애플리케이션이 몰입 모드에서(예를 들어, 임의의 제시된 컨트롤 없이 전체 화면 모드에서) 동작하고 있다고 결정할 수 있다. 이러한 결정에 응답하여, 디스플레이는 도 8 내지 도 16을 참조하여 설명된 시각적 요소를 주기적으로 제공할 수 있다(예를 들어, 시각적 요소(802, 804, 906, 910, 1004, 1102, 1204, 1304, 1404, 1502, 1604, 1606) 및/또는 제스처-일시정지 피드백 요소(124)). 예를 들어, 시각적 요소는 일정 기간 동안 디스플레이에 제공된 다음 다른 기간 동안 제공되지 않을 수 있다. 지속시간은 몰입 모드에서 실행되는 레이더 제스처 애플리케이션의 유형, 레이더 제스처 애플리케이션의 상태 또는 사용자가 레이더 제스처를 사용하는 빈도와 같은 다양한 요인들에 기초하여 (예를 들어, 사용자에 의해 또는 전자 디바이스(102)에 의해) 선택가능할 수 있다.
또한, 도 8 내지 도 16을 참조하여 기술된 시각적 요소(예를 들어, 시각적 요소(802, 804, 906, 910, 1004, 1102, 1204, 1304, 1404, 1502, 1604, 1606) 및/또는 임의의 제스처-일시정지 피드백 요소(124))가 제시되는 디스플레이의 배경과 시각적으로 구분될 수 있는 적절한 색상으로 제시될 수 있다. 또한, 시각적 요소의 색상은 전자 디바이스의 동작 상태 또는 디스플레이의 주변 배경색과 같은 다양한 요인에 따라 변경될 수 있다. 예를 들어, 레이더 시스템(104), 입력-모드 관리자(106), 애플리케이션 관리자(116), 또는 다른 엔터티, 모듈 또는 관리자는 시각적 요소가 디스플레이되거나 디스플레이될 디스플레이 영역의 배경색을 결정할 수 있다. 배경색을 결정하는 것에 대한 응답으로, 시각적 요소는 배경색과 상이한, 다른 색으로 제시될 수 있다. 다른 색상은 시각적 요소와 배경색 사이에 사람이 구별할 수 있는 대비를 제공하여 사용자가 시각적 요소를 더 쉽게 볼 수 있도록 한다. 일부 경우에, 시각적 요소의 색상이 배경색 변경에 따라 지속적으로 자동으로 동적으로 조정될 수 있다.
일부 경우에, 본 명세서에 설명된 바와 같이, 레이더 제스처가 이용 가능한 경우에도 시각적 요소가 숨겨질 수 있다(예를 들어, 사용자가 음성 또는 터치 입력과 인터렉션하기 때문에 또는 화면 번인의 위험을 줄이기 위해). 이러한 상황에서, 시각적 요소(예를 들어, 도 8 내지 도 16에 도시된 예시적 시각적 요소)는 적절한 조건이 충족되면 여전히 표시될 수 있다(예: 사용자가 레이더 제스처를 성공 또는 실패하거나 제스처 일시정지 모드가 활성화됨). 사용자가 음악을 듣고 음성 입력을 사용하여 다른 애플리케이션을 여는 동안 시각적 요소가 숨겨져 있는 위의 음악 플레이어 예의 변형을 고려한다. 이 예에서, 사용자는 노래를 건너뛰기 위해 레이더 제스처를 수행하고, 디스플레이는 레이더 제스처가 성공했음을 사용자에게 알리기 위해 시퀀스 (1008)(또는 1108)를 표시한다.
사용자의 위치 및 움직임은 또한 전자 디바이스와 인터렉션(또는 인터렉션하지 않음)하려는 사용자의 의도의 표시로 분류되는 사용자 액션을 검출하는데 사용될 수 있다. 예를 들어, 전자 디바이스는 디바이스와 인터렉션하거나 인터렉션하지 않으려는 사용자의 의도(예: 전자 디바이스에 손을 뻗는 것, 전자 디바이스를 향 회전거나 걷는 것 또는 전자 디바이스로부터 멀어지는 것, 전자 디바이스 쪽으로 몸을 기울이거나 바라보는 것)의 표시자로서 분류되는 액션의 라이브러리에 엑세스할 수 있다(예: 메모리 디바이스에서). 일부 경우에, 전자 디바이스는 라이브러리에 저장된 액션을 추가, 제거 또는 수정할 수 있는 기계 학습 기술을 포함할 수 있다. 사용자의 존재, 움직임 및 의도의 검출에 기초하여, 전자 디바이스는 전자 디바이스로 하여금 다른 기능 모드에 진입하고 종료하게 하고, 모드에 기초하여 상이한 디스플레이를 제공하게 한다. 이러한 모드는 전자 디바이스에 대해 다양한 기능을 활성화할 수 있으며 사용자가 전자 디바이스가 동작하는 모드와 사용가능한 서비스 및 기능을 이해하는데 도움이 된다. 도 17 내지 도 19는 다수의 모드에서 동작하는 전자 디바이스와 상이한 모드에서 디스플레이에 제시될 수 있는 시각적 요소의 예를 설명한다.
예를 들어, 사용자가 전자 디바이스 근처(예: 레이더 필드(110) 또는 인식 구역 내)에서 검출되지 않는 경우, 디바이스는 휴면 모드에서 동작한다. 휴면 모드에서, 디스플레이(예를 들어, 디스플레이(114))는 다른 모드에서보다 더 적은 시각적 요소를 나타낼 수 있거나, 시각적 요소가 없고 디스플레이가 켜져 있거나 꺼져 있을 수 있다. 전자 디바이스가 인식 구역 내의 사용자의 존재를 결정할 때(예를 들어, 레이더 시스템(104)으로부터 레이더 데이터, 또는 레이더 데이터의 하나 이상의 서브세트를 사용하여), 전자 디바이스는 휴면 모드를 종료하고 인식 모드에 진입한다. 인식 모드에서 디스플레이는 전자 디바이스의 상태 또는 기능 수준을 나타낼 수 있는 하나 이상의 시각적 요소를 제시한다.
전자 디바이스가 인식 모드에 있는 동안 전자 디바이스는 전자 디바이스와 인터렉션하려는 사용자 의도의 표시로 분류되는 사용자 액션을 검출할 수 있다. 이 사용자 액션을 검출한 것에 응답하여, 전자 디바이스는 인증 프로세스를 수행하기 위해 인증 시스템을 준비할 수 있다. 일부 구현예에서, 전자 디바이스가 인터렉션하려는 사용자의 의도의 표시를 검출할 때, 전자 디바이스는 또한 인식 모드를 종료하고 참여 모드에 진입한다. 참여 모드에서 디스플레이는 전자 디바이스의 상태 또는 기능 수준의 변화를 나타낼 수 있는 추가 또는 대안적 시각적 요소를 제시한다. 전자 디바이스는 또한 트리거 이벤트를 검출하고 트리거 이벤트에 기초하여 인증 시스템이 사용자를 인증하게 할 수 있다. 사용자가 인증되는 것에 응답하여, 전자 디바이스는 인식 또는 참여 모드를 종료하고 활성 모드로 진입한다. 활성 모드에서 디스플레이는 전자 디바이스의 상태 또는 기능 수준의 변경을 나타낼 수 있는 추가 또는 대안적 시각적 요소를 표시한다.
도 17은 휴면 모드로부터 인식 모드로 전환하는 전자 디바이스의 예(1700)를 도시한다. 상세도(1700-1)는 사용자(1702)가 인식 구역(1704) 밖에 있는 동안 휴면 모드에 있는 전자 디바이스(102)를 도시한다. 이 예에서, 인식 구역(1704)은 쐐기 모양을 갖지만, 언급된 바와 같이, 인식 구역(1704)은 임의의 적합한 모양 또는 크기를 취할 수 있다. 예를 계속하면, 이 경우에 디스플레이(114)는 예시적 디스플레이(114-36)에 도시된 바와 같이 휴면 모드에서 어떠한 시각적 요소도 제시하지 않는다. 다른 상세도(1700-2)에서, 사용자(1702)는 사용자(1702)가 인식 구역(1704)에 진입했다고 결정한 전자 디바이스(102)에 더 가깝다. 이 결정에 기초하여, 전자 디바이스(102)는 화살표(1706)에 의해 도시된 바와 같이 휴면 모드를 종료하고 인식 모드에 진입한다.
상세도(1700-2)에서, 다수의 시각적 요소가 예시적 디스플레이(114-37) 상에 제시된다. 예를 들어, 인식 모드에서, 예시적 디스플레이(114-37)는 시간 요소(1708)(시계), 날짜 요소(1710), 연결 상태 요소(1712)(예를 들어, Wi-Fi, 셀룰러 또는 기타 네트워크 연결성) 및 배터리 레벨 표시기 요소(1714)(그래픽 요소 및 백분율 표시기 포함)를 제시한다. 상세도(1700-2)에서 예시적 디스플레이(114-37)의 나머지 부분은 비어 있다. 그러나 일부 구현예에서는 배경 화면 또는 다른 이미지와 같은 배경 이미지를 포함하는 추가 요소가 디스플레이될 수 있다. 도 17에 도시되지는 않았지만, 사용자(1702)가 인식 구역(1704)을 나가는 경우, 전자 디바이스(102)는 시각적 요소의 디스플레이를 중단하고 휴면 모드로 돌아갈 수 있다(즉시 또는 사용자(1702)가 선택 가능한 미리 결정된 시간 동안 인식 구역(1704) 밖에 있은 후).
도 18은 인식 모드로부터 선택적 참여 모드로 전환하는 전자 디바이스의 예(1800)를 도시한다. 상세도(1800-1)는 도 17을 참조하여 설명된 바와 같이 인식 구역(1704) 내의 사용자(1702) 및 인식 모드의 전자 디바이스(102)를 도시하며, 예시적 디스플레이(114-38) 상에 다수의 시각적 요소(1708, 1710, 1712, 1714)를 디스플레이하는 것을 포함한다. 다른 상세도(1800-2)는 사용자가 전자 디바이스(102)에 손을 뻗는 것을 도시한다. 전자 디바이스(102)는 전자 디바이스(102)와 인터렉션하려는 사용자 의도의 표시인 사용자 액션으로서 (예를 들어, 레이더 데이터의 하나 이상의 서브세트를 사용하여) 손 뻗음을 검출한다. 의도를 나타내는 이 사용자 액션을 검출하는 것에 응답하여, 전자 디바이스(102)는 화살표(1802)로 도시된 바와 같이 인식 모드를 종료하고 참여 모드에 진입한다.
상세도(1800-2)에서, 추가 시각적 요소들이 예시적 디스플레이(114-39) 상에 제시된다. 예를 들어, 참여 모드에서, 예시적 디스플레이(114-39)는 배경 이미지(1804)(이 경우에, 금문교의 이미지)를 제시한다. 배경 이미지(1804)는 손 뻗음의 거리 또는 속도에 따라 변하는 애니메이션, 다양한 밝기 또는 투명도 레벨과 같이 사용자의 컨텍스트에 따라 조정되는 동적 피처를 가질 수 있다. 참여 모드에 있는 동안, 전자 디바이스(102)는 또한 인증 프로세스를 수행하기 위해 인증 시스템을 준비한다(일부 경우에 전자 디바이스(102)는 사용자 의도를 나타내는 사용자 액션에 대한 응답으로 참여 모드에 진입하지 않고 대신 인식 모드에 있는 동안 인증 시스템을 준비한다). 따라서, 예시적 디스플레이(114-39)는 또한 사용자(1702)가 인증될 때까지 전자 디바이스(102)에 대한 전체 액세스가 이용 불가능함을 나타내는 잠금 아이콘(1806)을 제시한다. 일부 구현예에서, 추가적인 시각적 요소들이 예시적 디스플레이(114-39) 상에 디스플레이될 수 있고, 예시적 디스플레이(114-38) 상에 제시된 시각적 요소들의 일부 또는 전부가 제시되는 것을 중단할 수 있다. 도 18에 도시되지는 않았지만, 사용자(1702)가 손 뻗음 제스처를 철회하는 경우, 전자 디바이스(102)는 참여 모드를 종료하고 인식 모드로 복귀할 수 있다(즉시 또는 선택 가능한 미리 결정된 시간 동안 도달이 철회된 후).
도 19는 사용자(1702)가 인증된 후 참여 모드에서 활성 모드로 전환하는 전자 디바이스의 예(1900)를 도시한다(일부 구현예에서, 전자 디바이스는 인식 모드에서 활성 모드로 전환할 수 있음에 유의한다). 상세도(1900-1)는 도 18을 참조하여 설명된 바와 같이 인식 구역(1704) 내의 사용자(1702) 및 참여 모드의 전자 디바이스(102)를 도시하며, 예시적 디스플레이(114-406) 상에 다수의 시각적 요소(1708, 1710, 1712, 1714, 1804, 1806)를 디스플레이하는 것을 포함한다. 도 18을 참조하여 언급된 바와 같이, 사용자가 전자 디바이스(102)에 손을 뻗으면, 인증 시스템은 사용자(1702)를 인증할 준비를 한다. 도 19에서, 다른 상세도(1900-2)는 사용자(1702)가 전자 디바이스(102)를 집어 들었다는 것을 보여준다. 전자 디바이스(102)는 픽업되는 것이 위에서 설명된 바와 같이 트리거 이벤트라고 결정하고 사용자(1702)를 인증한다. 사용자(1702)가 인증될 때, 전자 디바이스(102)는 화살표(1902)에 의해 도시된 바와 같이 참여 모드(또는 인식 모드)를 종료하고 활성 모드에 진입한다.
활성 모드와 관련된 추가적인 시각적 요소는 또한 상세도(1900-2)에 도시된 바와 같이 예시적 디스플레이(114-41) 상에 제시될 수 있다. 예를 들어, 활성 모드에서 예시적 디스플레이(114-41)는 인식 모드와 연관된 시각적 요소를 계속 제시하지만 배경 이미지(1804)(참여 모드와 연관된)는 다른 배경 이미지(1904)인 해변 실루엣으로 변경된다(배경 이미지(1904)가 다른 색 구성을 갖기 때문에, 일부 시각적 요소는 사용자(1702)가 볼 수 있도록 대비 또는 색을 변경했다). 또한, 참여 모드 잠금 아이콘(1806)은 사용자(1702)가 인증되었음을 나타내는 잠금 해제 아이콘(1906)으로 전환되었다. 일부 구현예에서, 잠금 해제 아이콘(1906)은 일정 시간 동안 제시되었다가 사라질 수 있다. 도 19에는 도시되지 않았지만, 잠금 해제 아이콘(1906)이 사라진 후에 추가 시각적 요소, 예를 들어 지시(예를 들어, "스와이프하거나 탭하여 열림"), 하나 이상의 애플리케이션 실행 아이콘 또는 전자 디바이스(102)에서 이용 가능한 다른 시각적 요소가 예시적 디스플레이(114-41)에 디스플레이될 수 있다.
일부 구현예에서, 사용자(1702)가 인식 구역(예를 들어, 인식 구역(1704)) 내에 또는 레이더 시스템이 사용자(1702)의 존재를 검출할 수 있는 다른 정의된 영역 내에 남아 있는 동안 사용자(1702)는 인증된 상태를 유지할 수 있다. 이러한 구현예에서, 디스플레이(114)는 전원이 공급된 상태로 유지되고 입력을 수신하고 콘텐츠를 제시할 수 있거나, 배터리 전력을 절약하기 위해 화면이 끌 수 있다. 사용자(1702)는 인증된 상태를 유지하기 때문에, 화면이 꺼져 있더라도 사용자는 재인증 없이 화면을 터치하거나, 디바이스를 집거나, 다른 액션을 통해 전자 디바이스(102)에 액세스할 수 있다. 이러한 방식으로, 배터리 전력을 보존하면서 전자 디바이스(102)에 대한 사용자의 즐거움 및 경험이 향상될 수 있다.
또한, 모드들 사이의 설명된 진행(예를 들어, 휴면 모드에서 인식 및 참여 모드를 통해 인증 및 활성 모드로)은 대신에 반대 방향으로 진행될 수 있다. 예를 들어, 전자 디바이스(102)가 활성 모드에 있고 사용자(1702)가 그것을 내려놓을 때(예를 들어, 다른 트리거 이벤트가 발생함), 전자 디바이스는 잠금 상태에 들어갈 수 있고(예를 들어, 사용자(1702) 인증 해제) 및/또는 위에서 설명된 바와 같이 전자 디바이스(102)가 참여 또는 인식 모드에 놓일 수 있다. 따라서, 사용자의 손이 전자 디바이스(102) 근처에 남아 있으면(예를 들어, "도달 범위(reach)" 포지션에 남아 있으면), 전자 디바이스(102)는 참여 모드에 남아 있을 수 있다. 반대로, 사용자의 손을 떼면 전자 디바이스(102)는 인식 모드로 진입할 수 있다. 그 다음, 언급된 바와 같이, 전자 디바이스(102)는 사용자가 인식 구역에 있는 동안 인식 모드에 남아 있을 수 있다. 구역들 사이의 이러한 진행 동안, 디스플레이(114)는 전자 디바이스(102)의 상태 변경을 사용자(1702)에게 나타내기 위해 각각의 구역에 대해 위에서 설명된 시각적 요소를 제시할 수 있다.
언급된 바와 같이, 일부 구현예에서, 전자 디바이스(102)에서 실행되는 애플리케이션은 레이더 기반 터치 독립 제스처(레이더 제스처)를 통해 입력을 수신할 수 있다. 이러한 경우에, 레이더 시스템(104)은 전자 디바이스(102)의 컨텍스트에 기초하여 사용자에 의한 도달을 검출하고 액션을 수행할 수 있다. 예를 들어, 전자 디바이스가 전술한 모드 중 어느 하나에 있는 경우, 사용자는 전자 디바이스를 통해 전화를 받거나, 알람, 경고 또는 알림을 수신하거나, 음악을 재생할 수 있다. 이러한 상황에서 사용자는 액션에 응답하기 위해 전자 디바이스를 향해 손을 뻗을 수 있다. 따라서 손을 뻗는 것(reach)은 수신 전화 또는 알람 중에 벨소리 또는 알림을 줄이거나 무음으로 만들 수 있다. 또한, 사용자가 경고 또는 알림이 디스플레이되고 있음을 인지하고 전자 디바이스를 향해 손을 뻗으면, 알림이 해제되거나 대화형이 될 수 있다. 예를 들어, 전자 디바이스는 사용자가 손을 뻗는 것을 검출하면 경고/알림을 해제하거나 연기하거나 회신(메시지 또는 이메일 알림의 경우)하거나 다른 방식으로 응답할 수 있게 하는 모드로 알림을 디스플레이할 수 있다. 일부 경우에 디스플레이된 알림의 색상이나 크기도 변경될 수 있다. 사용자가 음악을 듣는 예에서, 손을 뻗는 것은 전자 디바이스가 음악 플레이어에 대한 제어 화면을 표시하게 하여 사용자가 트랙, 볼륨 또는 기타 파라미터를 제어할 수 있도록 할 수 있다.
이러한 기능 중 일부 또는 전부는 다른 모드에서 사용할 수 있으며 사용 가능한 기능은 사용자가 선택할 수 있다. 예를 들어, 사용자는 모든 모드에서 볼륨 묵음 및 음악 제어를 허용할 수 있지만 활성 모드(예: 사용자가 인증되었고 인식 구역을 벗어나지 않은 경우)에서만 경고 및 알림에 대한 응답을 허용할 수 있다. 기능 및 권한 수준의 다른 조합도 사용자가 선택할 수 있다.
레이더 감지가 인식 구역 내에서 사용자의 존재를 검출하는데 사용되는 구현예를 포함하고 가장 최신 스마트폰에 제공된 온-디바이스 카메라를 사용하여 대안적으로 달성가능한, 레이더가 전자 디바이스와 인터렉션하기 위한 사용자 의도의 표시로서 분류된 사용자 액션을 검출하는데 사용되는 구현예를 추가로 포함하는 설명된 구현예의 장점은 결과의 적절성은 종종 카메라 설비보다 레이더 설비가 좋을 수 있으면서 레이더 설비의 전력 사용이 카메라 설비의 전력 사용보다 실질적으로 적다는 것이다. 예를 들어, 위에서 설명한 레이더 설비를 사용한, 원하는 사용자 상태 또는 사용자 의도 검출은 한 자릿수 밀리와트로부터 수십 밀리와트(예: 10mW, 20mW, 30mW 또는 40mW) 범위의 평균 전력으로 달성될 수 있고, 심지어 결정을 내리기 위해 레이더 벡터 데이터를 프로세싱하기 위한 프로세싱 전력도 포함한다. 이러한 낮은 수준의 전력에서 레이더 설비를 상시 가동 상태로 유지하는 것이 쉽게 허용된다. 예를 들어, 스마트폰 레이더 설비가 항상 켜져 있는 상태에서, 몇 시간 동안 스마트폰과 함께 방 건너편에 앉아 있는 사용자에게 현재 설명된 원하는 즐겁고 원활한 경험을 여전히 제공할 수 있다.
대조적으로, 오늘날 대부분의 스마트폰에 제공되는 광학 카메라는 일반적으로 수백 밀리와트의 전력(예: 40mW, 즉 400mW 이상)에서 동작한다. 이러한 전력 비율에서 광학 카메라는 오늘날 대부분의 스마트폰의 배터리 수명을 크게 줄여 광학 카메라를 항상 켜진 상태로 유지하는 것이 금기는 아니지만 매우 비실용적이기 때문에 불리하다. 레이더 설비의 또 다른 장점은 시야가 상당히 커서 테이블에 평평하게 놓여 면이 위를 향하도록(레이더 칩이 셀카 카메라와 동일한 일반적인 방향으로 바깥쪽을 향하고 있음) 하여도 모든 방향에서 사용자가 걸어오는 것을 충분히 쉽게 검출할 수 있다는 것이며, 또한 도플러 프로세싱 능력 덕분에 다양한 방향으로부터 움직이는 신체의 비교적 미세한 움직임까지도 검출하는데 매우 효과적일 수 있다(특히 60GHz에 가까운 작동 주파수에서).
또한 레이더 설비는 카메라 설비의 성능이 저하되거나 제한되는 환경에서도 동작할 수 있다. 예를 들어, 저조도 환경에서 카메라 설비는 형상이나 움직임을 검출하는 능력이 떨어질 수 있다. 대조적으로, 레이더 설비는 전체 조명에서와 같이 저조도에서도 잘 작동한다. 레이더 설비는 또한 일부 장애물을 통해 존재와 제스처를 검출할 수 있다. 예를 들어, 스마트폰이 재킷이나 바지 주머니에 있으면 카메라 설비는 사용자나 제스처를 검출할 수 없다. 그러나 레이더 설비는 카메라 설비를 차단하는 천을 통해서도 해당 필드의 객체를 검출할 수 있다. 스마트폰의 온보드 비디오 카메라 설비에 비해 레이더 설비를 사용하는 것의 또 다른 이점은 사생활 보호이다. 사용자는 동시에 이러한 목적으로 비디오를 찍는 비디오 카메라가 있다는 걱정을 할 필요 없이 기분 좋고 매끈한 본 명세서에 기술된 이점을 가질 수 있기 때문이다.
예시적 시스템
도 20는 일시정지된 레이더 제스처에 대한 시각적 표시자를 구현하기 위해 앞선 도 1 내지 19를 참조하여 설명된 바와 같이 임의의 유형의 클라이언트, 서버 및/또는 전자 디바이스로서 구현될 수 있는 예시적 컴퓨팅 시스템(2000)의 다양한 컴포넌트들을 도시한다.
컴퓨팅 시스템(2000)은 디바이스 데이터(2004)의 유선 및/또는 무선 통신을 가능하게 하는 통신 디바이스(2002)를 포함한다(예를 들어, 레이더 데이터, 인증 데이터, 참조 데이터, 수신된 데이터, 수신 중인 데이터, 방송 예정 데이터 및 데이터의 데이터 패킷들). 디바이스 데이터(2004) 또는 다른 디바이스 콘텐츠는 디바이스의 구성 설정, 디바이스에 저장된 미디어 콘텐츠 및/또는 디바이스의 사용자와 연관된 정보(예를 들어, 레이더 필드 내의 사람의 신원 또는 커스터마이징되 제스처 데이터)를 포함할 수 있다. 컴퓨팅 시스템(2000)에 저장된 미디어 콘텐츠는 임의의 유형의 레이더, 생체, 오디오, 비디오 및/또는 이미지 데이터를 포함할 수 있다. 컴퓨팅 시스템(2000)은 사람 발언, 레이더 필드와의 인터렉션(예를 들어, 레이더 제스처), 터치 입력, 사용자 선택가능 입력 또는 인터렉션(명시적 또는 암시적), 메시지, 음악, 텔레비전 미디어 콘텐츠, 녹화된 비디오 콘텐츠 및 임의의 콘텐츠 및/또는 데이터 소스로부터 수신된 임의의 다른 유형의 오디오, 비디오 및/또는 이미지 데이터와 같은 임의의 유형의 데이터, 미디어 콘텐츠 및/또는 입력이 수신될 수 있는 하나 이상의 데이터 입력(2006)을 포함한다.
컴퓨팅 시스템(2000)은 또한 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의의 유형의 네트워크 인터페이스, 모뎀 및 임의의 다른 유형의 통신 인터페이스 중 어느 하나 이상으로서 구현될 수 있는 통신 인터페이스(2008)를 포함한다. 통신 인터페이스(2008)는 컴퓨팅 시스템(2000)과 다른 전자, 컴퓨팅 및 통신 디바이스가 컴퓨팅 시스템(2000)과 데이터를 통신하는 통신 네트워크 사이의 연결 및/또는 통신 링크를 제공한다.
컴퓨팅 시스템(2000)은 컴퓨팅 시스템(2000)의 동작을 제어하고, 일시정지된 레이더 제스처에 대한 시각적 표시자를 위한 기법을 위한 또는 상기 기법이 구현될 수 있는 다양한 컴퓨터 실행가능 명령어들을 프로세싱할 수 있는 하나 이상의 프로세서들(2010)(예를 들어, 임의의 마이크로프로세서, 제어기 또는 다른 제어기)을 포함한다. 대안적으로 또는 추가적으로, 컴퓨팅 시스템(2000)은 일반적으로 (2012)에서 식별되는 프로세싱 및 제어 회로와 관련하여 구현되는 하드웨어, 펌웨어 또는 고정 논리 회로의 임의의 하나 또는 조합으로 구현될 수 있다. 도시되지 않았지만, 컴퓨팅 시스템(2000)은 디바이스 내의 다양한 컴포넌트를 연결하는 시스템 버스 또는 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 제어기, 주변기기 버스, 범용 직렬 버스 및/또는 다양한 버스 아키텍처 중 하나를 이용하는 프로세서 또는 로컬 버스와 같은 다른 버스 구조 중 하나 또는 그 이상의 조합을 포함할 수 있다. 또한 도시되지 않았지만, 컴퓨팅 시스템(2000)은 비-레이더 센서(108)와 같은 하나 이상의 비-레이더 센서를 포함할 수 있다.
컴퓨팅 시스템(2000)은 또한 영구적 및/또는 비일시적 데이터 저장(예: 일시적 신호 전송의 반대)을 지원하는 하나 이상의 메모리 디바이스와 같은 컴퓨터 판독가능 매체(2014)를 포함하며, 그 예시는 랜덤 액세스 메모리(RAM), 비-휘발성 메모리(예를 들어, 읽기 전용 메모리(ROM), 플래시 메모리, EPROM, EEPROM 등 중 임의의 하나 이상) 및 디스크 저장 디바이스를 포함한다. 디스크 저장 디바이스는 하드 디스크 드라이브, 기록 가능 및/또는 재기록 가능 컴팩트 디스크(CD), 임의의 유형의 DVD 등과 같은 임의의 유형의 자기적 또는 광학적 저장 디바이스로서 구현될 수 있다. 컴퓨팅 시스템(2000)은 또한 대용량 저장 매체 디바이스(저장 매체)(2016)를 포함할 수 있다.
컴퓨터 판독가능 매체(2014)는 디바이스 데이터(2004)뿐만 아니라 다양한 디바이스 애플리케이션(2018) 및 컴퓨팅 시스템(2000)의 동작 양태와 관련된 임의의 다른 유형의 정보 및/또는 데이터를 저장하기 위한 데이터 저장 메커니즘을 제공한다. 예를 들어, 운영 체제(2020)는 컴퓨터 판독가능 매체(2014)를 갖는 컴퓨터 애플리케이션으로서 유지될 수 있고 프로세서(2010)상에서 실행될 수 있다. 디바이스 애플리케이션(2018)은 임의의 형태의 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 프로세싱 및 제어 모듈, 특정한 디바이스 고유의 코드, 추상화 모듈, 제스처 인식 모듈 및/또는 다른 모듈과 같은 디바이스 관리자를 포함할 수 있다. 디바이스 애플리케이션(2018)은 또한 레이더 시스템(104), 입력-모드 관리자(106), 애플리케이션 관리자(116) 또는 제스처 라이브러리(120)와 같은 일시정지된 레이더 제스처들에 대한 시각적 표시자를 구현하기 위한 시스템 컴포넌트, 엔진, 모듈 또는 관리자를 포함할 수 있다. 컴퓨팅 시스템(2000)은 또한 하나 이상의 기계 학습 시스템을 포함하거나 이에 액세스할 수 있다.
몇 가지 예가 아래에 설명된다.
예 1: 디스플레이, 컴퓨터 프로세서 및 레이더 시스템을 포함하는 전자 디바이스에서 구현되는 방법으로서, 제스처-일시정지 트리거를 검출하는 단계, 상기 검출하는 단계는: 상기 레이더 시스템이 레이더 제스처가 결정될 수 있는 레이더 필드를 제공하고; 그리고 상기 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션이 상기 전자 디바이스에서 상기 컴퓨터 프로세서를 통해 실행되는 기간 동안 검출되며; 그리고 상기 제스처-일시정지 트리거를 검출하는 것에 응답하여, 상기 전자 디바이스의 디스플레이 상에 제스처-일시정지 피드백 요소를 제공하는 단계를 포함하며, 상기 제스처-일시정지 피드백 요소는 상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 없음을 표시하는, 방법.
예 2: 예 1에 있어서, 상기 제스처-일시정지 트리거는: 상기 전자 디바이스의 진동 모션, 상기 전자 디바이스의 진동 모션의 제1 진동 주파수는 제1 임계 주파수를 초과하며; 임계 속도 이상의 속도의 상기 전자 디바이스의 모션; 또는 상기 레이더 필드에서 객체의 진동 모션 중 적어도 하나이며, 상기 레이더 필드에서 객체의 진동 모션의 제2 진동 주파수는 제2 임계 주파수를 초과하는, 방법.
예 3: 예 1 또는 예 2에 있어서, 상기 제스처-일시정지 피드백 요소는 상기 디스플레이의 활성 영역에 나타나는 시각적 요소인, 방법.
예 4: 예 3에 있어서, 상기 시각적 요소는 상기 디스플레이의 활성 영역 상에서 움직이고, 상기 움직임은 제스처-일시정지 트리거에 대응하는, 방법.
예 5: 예 4에 있어서, 상기 제스처 일시정지 트리거는 상기 전자 디바이스의 진동 모션이며, 상기 시각적 요소의 대응하는 움직임은: 상기 시각적 요소의 적어도 일부의 제1 광도로부터 상기 시각적 요소의 적어도 일부의 제2 광도로의 감소; 및 상기 시각적 피드백 요소의 제1 크기로부터 상기 시각적 피드백 요소의 제2 크기로의 감소를 포함하는, 방법.
예 6: 예 5에 있어서, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 더 포함하고, 상기 횡 진동은 상기 전자 디바이스의 진동 모션의 제1 진동 주파수와 대략 동일한 주파수를 갖는, 방법.
예 7: 예 4에 있어서, 상기 제스처 일시정지 트리거는 상기 레이더 필드에서 상기 객체의 진동 모션이며, 상기 시각적 요소의 대응하는 움직임은: 상기 시각적 요소의 적어도 일부의 제1 광도로부터 상기 시각적 요소의 적어도 일부의 제2 광도로의 감소; 및 상기 시각적 요소의 제1 크기로부터 상기 시각적 요소의 제2 크기로의 감소를 포함하는, 방법.
예 8: 예 7에 있어서, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 더 포함하고, 상기 횡 진동은 상기 레이더 필드에서 상기 객체의 진동 모션의 제2 진동 주파수와 대략 동일한 주파수를 갖는, 방법.
예 9: 예 4에 있어서, 상기 제스처-일시정지 트리거는 상기 전자 디바이스의 진동 모션이고, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 포함하고, 상기 횡 진동은 상기 전자 디바이스의 진동 모션의 제1 진동 주파수와 대략 동일한 주파수를 가지며; 또는 상기 제스처-일시정지 트리거는 상기 레이더 필드에서 상기 객체의 진동 모션이고, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 포함하고, 상기 횡 진동은 상기 레이더 필드에서 상기 객체의 진동 모션의 제2 진동 주파수와 대략 동일한 주파수를 갖는, 방법.
예 10: 선행하는 예 중 어느 한 예에 있어서, 상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정하는 단계; 및 상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정하는 것에 응답하여, 상기 디스플레이가 상기 제스처-일시정지 피드백 요소를 상기 배경색과 상이한 다른 색으로 제시하게 하는 단계를 더 포함하고, 상기 다른 색은 상기 제스처-일시정지 피드백 요소와 상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역 간에 사람이 구별할 수 있는 대비를 제공하는, 방법.
예 11: 선행하는 예 중 어느 한 예에 있어서, 상기 제스처-일시정지 트리거를 검출하는 것에 응답하여, 상기 전자 디바이스로 하여금: 상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 있는 현재 상태를 종료하고; 그리고 상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 없는 새로운 상태에 진입하게 하는 단계를 더 포함하는, 방법.
예 12: 전자 디바이스로서, 디스플레이; 컴퓨터 프로세서; 하드웨어에서 적어도 부분적으로 구현되는 레이더 시스템, 상기 레이더 시스템은: 레이더 필드를 제공하고; 상기 레이더 필드에서 사용자로부터의 반사를 감지하고; 상기 레이더 필드에서 상기 사용자로부터의 반사를 분석하고; 그리고 반사의 분석에 기초하여, 레이더 데이터를 제공하도록 구성되며; 그리고 상기 컴퓨터 프로세서에 의한 실행에 응답하여, 입력-모드 관리자를 구현하는 명령어를 저장하는 컴퓨터 판독가능 매체를 포함하며, 상기 입력-모드 관리자는: 제스처-일시정지 트리거를 검출하고, 상기 검출은: 상기 레이더 시스템이 레이더 제스처가 상기 레이더 데이터에 기초하여 결정될 수 있는 레이더 필드를 제공하고; 그리고 상기 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션이 상기 전자 디바이스에서 상기 컴퓨터 프로세서를 통해 실행되는 기간 동안 검출되며; 그리고 상기 제스처-일시정지 트리거의 검출에 응답하여, 상기 전자 디바이스의 디스플레이 상에 제스처-일시정지 피드백 요소를 제공하도록 구성되며, 상기 제스처-일시정지 피드백 요소는 상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 없음을 표시하는, 전자 디바이스.
예 13: 예 12에 있어서, 상기 제스처-일시정지 트리거는: 상기 전자 디바이스의 진동 모션, 상기 전자 디바이스의 진동 모션의 제1 진동 주파수는 제1 임계 주파수를 초과하며; 임계 속도 이상의 속도의 상기 전자 디바이스의 모션; 또는 상기 레이더 필드에서 객체의 진동 모션 중 적어도 하나이며, 상기 레이더 필드에서 객체의 진동 모션의 제2 진동 주파수는 제2 임계 주파수를 초과하는, 전자 디바이스.
예 14: 예 12 또는 예 13에 있어서, 상기 제스처-일시정지 피드백 요소는 상기 전자 디바이스의 디스플레이의 활성 영역에 나타나는 시각적 요소인, 전자 디바이스.
예 15: 예 14에 있어서, 상기 시각적 요소는 상기 디스플레이의 활성 영역 상에서 움직이고, 상기 움직임은 제스처-일시정지 트리거에 대응하는, 전자 디바이스.
예 16: 예 15에 있어서, 상기 제스처 일시정지 트리거는 상기 전자 디바이스의 진동 모션이며, 상기 시각적 요소의 대응하는 움직임은: 상기 시각적 요소의 적어도 일부의 제1 광도로부터 상기 시각적 요소의 적어도 일부의 제2 광도로의 감소; 및 상기 시각적 피드백 요소의 제1 크기로부터 상기 시각적 피드백 요소의 제2 크기로의 감소를 포함하는, 전자 디바이스.
예 17: 예 16에 있어서, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 더 포함하고, 상기 횡 진동은 상기 전자 디바이스의 진동 모션의 제1 진동 주파수와 대략 동일한 주파수를 갖는, 전자 디바이스.
예 18: 예 15에 있어서, 상기 제스처 일시정지 트리거는 상기 레이더 필드에서 상기 객체의 진동 모션이며, 상기 시각적 요소의 대응하는 움직임은: 상기 시각적 요소의 적어도 일부의 제1 광도로부터 상기 시각적 요소의 적어도 일부의 제2 광도로의 감소; 및 상기 시각적 피드백 요소의 제1 크기로부터 상기 시각적 피드백 요소의 제2 크기로의 감소를 포함하는, 전자 디바이스.
예 19: 예 18에 있어서, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 더 포함하고, 상기 횡 진동은 상기 레이더 필드에서 상기 객체의 진동 모션의 제2 진동 주파수와 대략 동일한 주파수를 갖는, 전자 디바이스.
예 20: 예 15에 있어서, 상기 제스처-일시정지 트리거는 상기 전자 디바이스의 진동 모션이고, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 포함하고, 상기 횡 진동은 상기 전자 디바이스의 진동 모션의 제1 진동 주파수와 대략 동일한 주파수를 가지며; 또는 상기 제스처-일시정지 트리거는 상기 레이더 필드에서 상기 객체의 진동 모션이고, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 포함하고, 상기 횡 진동은 상기 레이더 필드에서 상기 객체의 진동 모션의 제2 진동 주파수와 대략 동일한 주파수를 갖는, 전자 디바이스.
예 21: 청구항 12 내지 19 중 어느 한 항에 있어서, 상기 입력-모드 관리자는: 상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정하고; 그리고 상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정하는 것에 응답하여, 상기 디스플레이가 상기 제스처-일시정지 피드백 요소를 상기 배경색과 상이한 다른 색으로 제시하게 하도록 더 구성되고, 상기 다른 색은 상기 제스처-일시정지 피드백 요소와 상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역 간에 사람이 구별할 수 있는 대비를 제공하는, 전자 디바이스.
예 22: 청구항 12 내지 21 중 어느 한 항에 있어서, 상기 입력-모드 관리자는: 상기 제스처-일시정지 트리거를 검출하는 것에 응답하여, 상기 전자 디바이스로 하여금: 상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 있는 현재 상태를 종료하고; 그리고 상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 없는 새로운 상태에 진입하게 하도록 더 구성되는, 전자 디바이스.
결론
일시정지된 레이더 제스처들에 대한 시각적 표시자를 가능하게 하기 위한 기법 및 장치들의 구현예들이 구성 및/또는 방법에 특정적인 언어로 기술되었지만, 첨부된 청구항의 주제는 기술된 특정 구성 또는 방법에 반드시 제한되는 것은 아니다. 오히려, 특정 구성 및 방법은 일시정지된 레이더 제스처들에 대한 시각적 표시자를 가능하게 하는 예시적 구현예로서 개시된다.

Claims (20)

  1. 디스플레이, 컴퓨터 프로세서 및 레이더 시스템을 포함하는 전자 디바이스에서 구현되는 방법으로서,
    제스처-일시정지 트리거를 검출하는 단계, 상기 검출하는 단계는:
    상기 레이더 시스템이 레이더 제스처가 결정될 수 있는 레이더 필드를 제공하고; 그리고
    상기 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션이 상기 전자 디바이스에서 상기 컴퓨터 프로세서를 통해 실행되는 기간 동안 검출되며; 그리고
    상기 제스처-일시정지 트리거를 검출하는 것에 응답하여, 상기 전자 디바이스의 디스플레이 상에 제스처-일시정지 피드백 요소를 제공하는 단계를 포함하며, 상기 제스처-일시정지 피드백 요소는 시각적 요소를 포함하며, 상기 시각적 요소는:
    상기 전자 디바이스의 디스플레이의 활성 영역에 제시되고;
    상기 전자 디바이스의 디스플레이의 활성 영역에서 이동하고, 상기 시각적 요소의 움직임은 상기 제스처-일시정지 트리거에 대응하며; 그리고
    상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 없음을 표시하는, 방법.
  2. 청구항 1에 있어서, 상기 제스처-일시정지 트리거는:
    상기 전자 디바이스의 진동 모션;
    임계 속도 이상의 속도의 상기 전자 디바이스의 모션; 또는
    상기 레이더 필드에서 객체의 진동 모션 중 적어도 하나를 포함하며,
    상기 전자 디바이스의 진동 모션의 제1 진동 주파수는 제1 임계 주파수를 초과하며,
    상기 레이더 필드에서 객체의 진동 모션의 제2 진동 주파수는 제2 임계 주파수를 초과하는, 방법.
  3. 청구항 1에 있어서, 상기 제스처-일시정지 트리거는 상기 전자 디바이스의 진동 모션을 포함하며, 상기 시각적 요소의 대응하는 움직임은:
    상기 시각적 요소의 적어도 일부의 제1 광도로부터 상기 시각적 요소의 적어도 일부의 제2 광도로의 감소; 및
    상기 시각적 요소의 제1 크기로부터 상기 시각적 요소의 제2 크기로의 감소를 포함하는, 방법.
  4. 청구항 3에 있어서, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 더 포함하고, 상기 횡 진동은 상기 전자 디바이스의 진동 모션의 제1 진동 주파수와 동일한 주파수를 갖는, 방법.
  5. 청구항 1에 있어서, 상기 제스처-일시정지 트리거는 상기 레이더 필드에서 객체의 진동 모션을 포함하며, 상기 시각적 요소의 대응하는 움직임은:
    상기 시각적 요소의 적어도 일부의 제1 광도로부터 상기 시각적 요소의 적어도 일부의 제2 광도로의 감소; 및
    상기 시각적 요소의 제1 크기로부터 상기 시각적 요소의 제2 크기로의 감소를 포함하는, 방법.
  6. 청구항 5에 있어서, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 더 포함하고, 상기 횡 진동은 상기 레이더 필드에서 상기 객체의 진동 모션의 제2 진동 주파수와 동일한 주파수를 갖는, 방법.
  7. 청구항 1에 있어서,
    상기 제스처-일시정지 트리거는 상기 전자 디바이스의 진동 모션을 포함하며, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 포함하고, 상기 횡 진동은 상기 전자 디바이스의 진동 모션의 제1 진동 주파수와 동일한 주파수를 가지며; 또는
    상기 제스처-일시정지 트리거는 상기 레이더 필드에서 객체의 진동 모션을 포함하며, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 포함하고, 상기 횡 진동은 상기 레이더 필드에서 상기 객체의 진동 모션의 제2 진동 주파수와 동일한 주파수를 갖는, 방법.
  8. 청구항 1에 있어서,
    상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정하는 단계; 및
    상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정하는 것에 응답하여, 상기 디스플레이가 상기 제스처-일시정지 피드백 요소를 상기 배경색과 상이한 다른 색으로 제시하게 하는 단계를 더 포함하고, 상기 다른 색은 상기 제스처-일시정지 피드백 요소와 상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역 간에 사람이 구별할 수 있는 대비를 제공하는, 방법.
  9. 청구항 1에 있어서,
    상기 제스처-일시정지 트리거를 검출하는 것에 응답하여, 상기 전자 디바이스로 하여금 상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 있는 현재 상태를 종료하고, 상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 없는 새로운 상태로 진입하게 하는 단계를 더 포함하는, 방법.
  10. 청구항 1에 있어서,
    사용자가 레이더 제스처 이외의 입력을 사용하여 전자 디바이스와 인터렉션하는지 여부를 결정하는 단계;
    상기 사용자가 레이더 제스처 이외의 입력을 사용하여 전자 디바이스와 인터렉션하고 있다는 결정에 응답하여, 상기 시각적 요소의 밝기를 감소시키거나 사라지게 함으로써 상기 시각적 요소의 외양을 수정하는 단계; 또는
    상기 사용자가 레이더 제스처 이외의 입력을 사용하여 전자 디바이스와의 인터렉션을 중단했다는 다른 결정에 응답하여, 상기 시각적 요소의 밝기를 증가시키거나 다시 나타나게 함으로써 상기 시각적 요소의 외양을 수정하는 단계를 더 포함하는, 방법.
  11. 전자 디바이스로서,
    디스플레이;
    컴퓨터 프로세서;
    하드웨어에서 적어도 부분적으로 구현되는 레이더 시스템, 상기 레이더 시스템은:
    레이더 필드를 제공하고;
    상기 레이더 필드에서 사용자로부터의 반사를 감지하고;
    상기 레이더 필드에서 상기 사용자로부터의 반사를 분석하고; 그리고
    반사의 분석에 기초하여, 레이더 데이터를 제공하도록 구성되며; 그리고
    상기 컴퓨터 프로세서에 의한 실행에 응답하여, 입력-모드 관리자를 구현하는 명령어를 저장하는 컴퓨터 판독가능 매체를 포함하며, 상기 입력-모드 관리자는:
    제스처-일시정지 트리거를 검출하고, 상기 검출은:
    상기 레이더 시스템이 레이더 제스처가 상기 레이더 데이터에 기초하여 결정될 수 있는 레이더 필드를 제공하고; 그리고
    상기 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션이 상기 전자 디바이스에서 상기 컴퓨터 프로세서를 통해 실행되는 기간 동안 검출되며; 그리고
    상기 제스처-일시정지 트리거의 검출에 응답하여, 상기 전자 디바이스의 디스플레이 상에 제스처-일시정지 피드백 요소를 제공하도록 구성되며, 상기 제스처-일시정지 피드백 요소는 시각적 요소를 포함하며, 상기 시각적 요소는:
    상기 디스플레이의 활성 영역에 제시되고;
    상기 디스플레이의 활성 영역에서 이동하고, 상기 시각적 요소의 움직임은 상기 제스처-일시정지 트리거에 대응하며; 그리고
    상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 없음을 표시하는, 전자 디바이스.
  12. 청구항 11에 있어서, 상기 제스처-일시정지 트리거는:
    상기 전자 디바이스의 진동 모션;
    임계 속도 이상의 속도의 상기 전자 디바이스의 모션; 또는
    상기 레이더 필드에서 객체의 진동 모션 중 적어도 하나를 포함하며,
    상기 전자 디바이스의 진동 모션의 제1 진동 주파수는 제1 임계 주파수를 초과하며,
    상기 레이더 필드에서 객체의 진동 모션의 제2 진동 주파수는 제2 임계 주파수를 초과하는, 전자 디바이스.
  13. 청구항 11에 있어서, 상기 제스처-일시정지 트리거는 상기 전자 디바이스의 진동 모션을 포함하며, 상기 시각적 요소의 대응하는 움직임은:
    상기 시각적 요소의 적어도 일부의 제1 광도로부터 상기 시각적 요소의 적어도 일부의 제2 광도로의 감소; 및
    상기 시각적 요소의 제1 크기로부터 상기 시각적 요소의 제2 크기로의 감소를 포함하는, 전자 디바이스.
  14. 청구항 13에 있어서, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 더 포함하고, 상기 횡 진동은 상기 전자 디바이스의 진동 모션의 제1 진동 주파수와 동일한 주파수를 갖는, 전자 디바이스.
  15. 청구항 11에 있어서, 상기 제스처-일시정지 트리거는 상기 레이더 필드에서 객체의 진동 모션을 포함하며, 상기 시각적 요소의 대응하는 움직임은:
    상기 시각적 요소의 적어도 일부의 제1 광도로부터 상기 시각적 요소의 적어도 일부의 제2 광도로의 감소; 및
    상기 시각적 요소의 제1 크기로부터 상기 시각적 요소의 제2 크기로의 감소를 포함하는, 전자 디바이스.
  16. 청구항 15에 있어서, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 더 포함하고, 상기 횡 진동은 상기 레이더 필드에서 상기 객체의 진동 모션의 제2 진동 주파수와 동일한 주파수를 갖는, 전자 디바이스.
  17. 청구항 11에 있어서,
    상기 제스처-일시정지 트리거는 상기 전자 디바이스의 진동 모션을 포함하며, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 포함하고, 상기 횡 진동은 상기 전자 디바이스의 진동 모션의 제1 진동 주파수와 동일한 주파수를 가지며; 또는
    상기 제스처-일시정지 트리거는 상기 레이더 필드에서 객체의 진동 모션을 포함하며, 상기 시각적 요소의 대응하는 움직임은 상기 시각적 요소의 횡 진동을 포함하고, 상기 횡 진동은 상기 레이더 필드에서 상기 객체의 진동 모션의 제2 진동 주파수와 동일한 주파수를 갖는, 전자 디바이스.
  18. 청구항 11에 있어서, 상기 입력-모드 관리자는:
    상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정하고; 그리고
    상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역의 배경색을 결정하는 것에 응답하여, 상기 디스플레이가 상기 제스처-일시정지 피드백 요소를 상기 배경색과 상이한 다른 색으로 제시하게 하도록 더 구성되고, 상기 다른 색은 상기 제스처-일시정지 피드백 요소와 상기 제스처-일시정지 피드백 요소가 디스플레이되는 디스플레이의 영역 간에 사람이 구별할 수 있는 대비를 제공하는, 전자 디바이스.
  19. 청구항 11에 있어서, 상기 입력-모드 관리자는 상기 제스처-일시 정지 트리거를 검출하는 것에 응답하여, 상기 전자 디바이스로 하여금:
    상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 있는 현재 상태를 종료하고; 그리고
    상기 애플리케이션이 상기 제어 입력과 연관된 액션을 수행할 수 없는 새로운 상태에 진입하게 하도록 더 구성되는, 전자 디바이스.
  20. 청구항 11에 있어서, 상기 입력-모드 관리자는:
    상기 사용자가 레이더 제스처 이외의 입력을 사용하여 전자 디바이스와 인터렉션하는지 여부를 결정하고;
    상기 사용자가 레이더 제스처 이외의 입력을 사용하여 전자 디바이스와 인터렉션하고 있다는 결정에 응답하여, 상기 시각적 요소의 밝기를 감소시키거나 사라지게 함으로써 상기 시각적 요소의 외양을 수정하고;
    상기 사용자가 레이더 제스처 이외의 입력을 사용하여 전자 디바이스와의 인터렉션을 중단했다고 결정하고; 그리고
    상기 사용자가 레이더 제스처 이외의 입력을 사용하여 전자 디바이스와의 인터렉션을 중단했다는 다른 결정에 응답하여, 상기 시각적 요소의 밝기를 증가시키거나 다시 나타나게 함으로써 상기 시각적 요소의 외양을 수정하게 하도록 더 구성되는, 전자 디바이스.
KR1020217037833A 2019-08-30 2019-08-30 일시정지된 레이더 제스처에 대한 시각적 표시자 KR102479012B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227043908A KR102661485B1 (ko) 2019-08-30 2019-08-30 일시정지된 레이더 제스처에 대한 시각적 표시자

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/049233 WO2021040748A1 (en) 2019-08-30 2019-08-30 Visual indicator for paused radar gestures

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227043908A Division KR102661485B1 (ko) 2019-08-30 2019-08-30 일시정지된 레이더 제스처에 대한 시각적 표시자

Publications (2)

Publication Number Publication Date
KR20210145313A KR20210145313A (ko) 2021-12-01
KR102479012B1 true KR102479012B1 (ko) 2022-12-20

Family

ID=67982182

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227043908A KR102661485B1 (ko) 2019-08-30 2019-08-30 일시정지된 레이더 제스처에 대한 시각적 표시자
KR1020217037833A KR102479012B1 (ko) 2019-08-30 2019-08-30 일시정지된 레이더 제스처에 대한 시각적 표시자

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227043908A KR102661485B1 (ko) 2019-08-30 2019-08-30 일시정지된 레이더 제스처에 대한 시각적 표시자

Country Status (4)

Country Link
US (2) US11281303B2 (ko)
KR (2) KR102661485B1 (ko)
CN (1) CN113892072A (ko)
WO (1) WO2021040748A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
KR20220005081A (ko) 2019-07-26 2022-01-12 구글 엘엘씨 Imu 및 레이더를 기반으로 한 상태 감소
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
USD949161S1 (en) * 2019-07-29 2022-04-19 Google Llc Display screen or portion thereof with an animated graphical user interface
US11080383B2 (en) * 2019-08-09 2021-08-03 BehavioSec Inc Radar-based behaviometric user authentication
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
CN112753005B (zh) 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
CN113892072A (zh) 2019-08-30 2022-01-04 谷歌有限责任公司 用于暂停的雷达姿势的视觉指示器
US11567580B2 (en) * 2020-01-29 2023-01-31 Samsung Electronics Co., Ltd. Adaptive thresholding and noise reduction for radar data
USD956065S1 (en) * 2020-03-31 2022-06-28 Google Llc Display screen with animated graphical user interface
USD956064S1 (en) * 2020-03-31 2022-06-28 Google Llc Display screen with animated graphical user interface
US20230325139A1 (en) * 2020-09-07 2023-10-12 Ntt Docomo, Inc. Information processing apparatus
US20230384420A1 (en) * 2022-05-31 2023-11-30 Samsung Electronics Co., Ltd. Apparatus and method for power saving in gesture recognition using mmwave radar
WO2024054386A1 (en) * 2022-09-06 2024-03-14 Apple Inc. Sensor-based display power control systems and methods

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110304541A1 (en) 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20160041617A1 (en) 2014-08-07 2016-02-11 Google Inc. Radar-Based Gesture Recognition
US20160071341A1 (en) 2014-09-05 2016-03-10 Mindray Ds Usa, Inc. Systems and methods for medical monitoring device gesture control lockout
US20160216769A1 (en) 2015-01-28 2016-07-28 Medtronic, Inc. Systems and methods for mitigating gesture input error
US20180040144A1 (en) 2015-09-07 2018-02-08 Tencent Technology (Shenzhen) Company Limited Information processing method and apparatus, terminal, and storage medium
US20180173323A1 (en) 2016-11-14 2018-06-21 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
US20190079590A1 (en) 2017-09-12 2019-03-14 Seiko Epson Corporation Head mounted display device and control method for head mounted display device

Family Cites Families (236)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670987A (en) 1993-09-21 1997-09-23 Kabushiki Kaisha Toshiba Virtual manipulating apparatus and method
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6037893A (en) 1998-07-31 2000-03-14 Litton Systems, Inc. Enhanced motion compensation technique in synthetic aperture radar systems
US6303924B1 (en) 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US6971072B1 (en) 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
US6727892B1 (en) 1999-05-20 2004-04-27 Micron Technology, Inc. Method of facilitating the selection of features at edges of computer touch screens
ES2256985T3 (es) 1999-07-03 2006-07-16 Siemens Schweiz Ag Avisador de movimiento segun el principio doppler.
US6608585B2 (en) 2001-03-02 2003-08-19 Massachusetts Institute Of Technology High-definition imaging apparatus and method
US7088343B2 (en) 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
EP1324276B1 (en) 2001-12-28 2008-10-15 Matsushita Electric Works, Ltd. Use of an electronic key and electronic security system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7600234B2 (en) 2002-12-10 2009-10-06 Fisher-Rosemount Systems, Inc. Method for launching applications
US7277706B2 (en) 2003-02-12 2007-10-02 Nokia Corporation Provision of service contexts in a communication system
WO2006003590A2 (en) 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. A method and device for preventing staining of a display device
US6970128B1 (en) 2004-10-06 2005-11-29 Raytheon Company Motion compensated synthetic aperture imaging system and methods for imaging
US6990335B1 (en) 2004-11-18 2006-01-24 Charles G. Shamoon Ubiquitous connectivity and control system for remote locations
KR100597798B1 (ko) 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
IL170689A (en) 2005-09-06 2011-08-31 Camero Tech Ltd Imaging device through a wall
JP2007080219A (ja) 2005-09-16 2007-03-29 Navitime Japan Co Ltd 携帯端末装置および携帯端末装置における省電力制御方法
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US20080119716A1 (en) 2006-05-17 2008-05-22 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects with quadrature doppler radar receiver systems
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
CN101578571A (zh) 2007-07-09 2009-11-11 索尼株式会社 电子设备及其控制方法
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
KR101615472B1 (ko) 2007-09-24 2016-04-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US9545571B2 (en) 2008-01-25 2017-01-17 Nintendo Co., Ltd. Methods and apparatus for a video game magic system
KR101506488B1 (ko) 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
US8943560B2 (en) 2008-05-28 2015-01-27 Microsoft Corporation Techniques to provision and manage a digital telephone to authenticate with a network
US20100008031A1 (en) 2008-07-08 2010-01-14 Emblaze Mobile Ltd Ergonomic handheld device
US8154435B2 (en) 2008-08-22 2012-04-10 Microsoft Corporation Stability monitoring using synthetic aperture radar
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8516397B2 (en) 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US20100192102A1 (en) 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus near edges of a display area
AU2010221722A1 (en) 2009-02-06 2011-08-18 Oculis Labs, Inc. Video-based privacy supporting system
US8254670B2 (en) 2009-02-25 2012-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Self-learning object detection and classification systems and methods
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US20100306716A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
KR20110010906A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US8488413B2 (en) 2009-10-16 2013-07-16 Casio Computer Co., Ltd. Indicated position detecting apparatus and indicated position detecting method
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20150301167A1 (en) 2009-12-18 2015-10-22 Christopher Gary Sentelle Detection of movable objects
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US8239785B2 (en) 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
CN102754049B (zh) 2010-02-11 2016-03-16 惠普发展公司，有限责任合伙企业 输入命令
US20120194551A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
US9477324B2 (en) 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
EP2385450A1 (en) 2010-05-07 2011-11-09 Research In Motion Limited Portable electronic device and method of controlling same
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US20120032834A1 (en) 2010-08-09 2012-02-09 Weeks Steven V Use of accelerometer and ability to disable power switch for tamper protection and theft tracking
JP2012058921A (ja) 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US8483617B2 (en) 2010-09-30 2013-07-09 Broadcom Corporation Portable computing device with high-speed data communication
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US8898793B2 (en) 2011-01-14 2014-11-25 Nokia Corporation Method and apparatus for adjusting context-based factors for selecting a security policy
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US20120226981A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
US9104239B2 (en) 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US8994499B2 (en) 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US20120270564A1 (en) 2011-04-19 2012-10-25 Qualcomm Incorporated Methods and apparatuses for use in a mobile device to detect signaling apertures within an environment
US9229489B2 (en) 2011-05-03 2016-01-05 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US20130038564A1 (en) 2011-08-10 2013-02-14 Google Inc. Touch Sensitive Device Having Dynamic User Interface
US20130159940A1 (en) 2011-08-22 2013-06-20 International Technological University Gesture-Controlled Interactive Information Board
US20200302732A9 (en) 2011-10-20 2020-09-24 Robert A. Luciano, Jr. Gesture based gaming controls for an immersive gaming terminal
US20130106898A1 (en) 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device
WO2013141922A2 (en) 2011-12-20 2013-09-26 Sadar 3D, Inc. Systems, apparatus, and methods for data acquisiton and imaging
US9207852B1 (en) 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US9619038B2 (en) 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
US9392421B2 (en) 2012-05-23 2016-07-12 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode depending on user proximity or device position
DE102012014910A1 (de) 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm
US9235241B2 (en) 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
KR20140027837A (ko) 2012-08-27 2014-03-07 삼성전자주식회사 모바일 디바이스 및 모바일 디바이스에서 사용자 인터페이스 방법
KR102051418B1 (ko) 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US11099652B2 (en) 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
TW201419036A (zh) 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
TWI471756B (zh) 2012-11-16 2015-02-01 Quanta Comp Inc 虛擬觸控方法
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9081571B2 (en) 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
US9075429B1 (en) 2012-12-19 2015-07-07 Amazon Technologies, Inc. Distortion correction for device display
US8996516B2 (en) 2013-01-02 2015-03-31 Google Inc. Adjacent search results exploration
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US9448634B1 (en) 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US11017069B2 (en) 2013-03-13 2021-05-25 Lookout, Inc. Method for changing mobile communications device functionality based upon receipt of a second code and the location of a key device
US10216266B2 (en) 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US11044451B2 (en) 2013-03-14 2021-06-22 Jawb Acquisition Llc Proximity-based control of media devices for media presentations
US10121049B2 (en) 2013-04-01 2018-11-06 AMI Research & Development, LLC Fingerprint based smart phone user verification
US9389641B2 (en) 2013-05-10 2016-07-12 Blackberry Limited Carrying case with peek functionality
US9065932B2 (en) 2013-05-10 2015-06-23 Blackberry Limited Device for providing notifications while mated with a carrying case
US9231765B2 (en) 2013-06-18 2016-01-05 Arm Ip Limited Trusted device
US9846486B2 (en) 2013-06-27 2017-12-19 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
US9338116B2 (en) 2013-06-28 2016-05-10 Blackberry Limited Device and method for displaying and interacting with display objects
KR101488193B1 (ko) 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
US20150070263A1 (en) 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
US20150077345A1 (en) 2013-09-16 2015-03-19 Microsoft Corporation Simultaneous Hover and Touch Interface
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
EP3050260A2 (en) 2013-09-24 2016-08-03 Fibar Group S.A. Touch-less swipe control
US10591969B2 (en) 2013-10-25 2020-03-17 Google Technology Holdings LLC Sensor-based near-field communication authentication
JP2015103020A (ja) 2013-11-25 2015-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9851896B2 (en) 2013-12-17 2017-12-26 Google Inc. Edge swiping gesture for home navigation
US20150205358A1 (en) 2014-01-20 2015-07-23 Philip Scott Lyren Electronic Device with Touchless User Interface
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
KR101909361B1 (ko) 2014-02-24 2018-10-17 소니 주식회사 주의력 레벨 및 작업부하 감지를 갖춘 스마트 착용형 디바이스들 및 방법들
CN106068201B (zh) 2014-03-07 2019-11-01 大众汽车有限公司 用户界面和在手势检测时将输入件3d位置信号化的方法
KR102222561B1 (ko) 2014-03-27 2021-03-05 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
JP6468883B2 (ja) 2014-04-10 2019-02-13 キヤノン株式会社 情報処理装置、及びその制御方法、コンピュータプログラム、記録媒体
US11039314B2 (en) 2014-04-29 2021-06-15 Taliware, Inc. Method for passive authentication of an individual using an individual's geo-location via a communication network and blockchain associated recording of individual's authentication data
CN106415454A (zh) 2014-04-30 2017-02-15 Lg伊诺特有限公司 触控设备、具有该触控设备的可穿戴设备及触控识别方法
KR20150129423A (ko) 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
KR101598771B1 (ko) 2014-06-11 2016-03-02 주식회사 슈프리마에이치큐 얼굴 인식 생체 인증 방법 및 장치
EP3158427B1 (en) 2014-06-19 2022-12-28 Robert Bosch GmbH System and method for speech-enabled personalized operation of devices and services in multiple operating environments
JP6282188B2 (ja) 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
WO2016036155A1 (en) 2014-09-04 2016-03-10 Samsung Electronics Co., Ltd. Method of providing user with battery power notification in mobile device and mobile device therefor
US11137490B2 (en) 2014-09-16 2021-10-05 Teknologian Tutkimuskeskus Vtt Navigational aid with adaptive radar
CA2904881A1 (en) 2014-09-22 2016-03-22 Gtech Canada Ulc Gesture-based navigation on gaming terminal with 3d display
US9410979B2 (en) * 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP6249919B2 (ja) 2014-10-06 2017-12-20 三菱電機株式会社 操作入力装置
US10061509B2 (en) 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
US20160150124A1 (en) 2014-11-24 2016-05-26 Kyocera Document Solutions Inc. Image Forming Apparatus with User Identification Capabilities
US9830073B2 (en) 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
US10254391B2 (en) 2014-12-15 2019-04-09 Jj Corp Radar detector for recognizing user's motion
JP2018506773A (ja) * 2014-12-16 2018-03-08 ソマティクス， インコーポレイテッド ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム
US20160306034A1 (en) 2014-12-23 2016-10-20 Infineon Technologies Ag RF System with an RFIC and Antenna System
JP6426025B2 (ja) 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
JP6524717B2 (ja) 2015-03-04 2019-06-05 株式会社リコー 電子機器、通信モード制御方法および通信モード制御プログラム
US20160275348A1 (en) 2015-03-17 2016-09-22 Motorola Mobility Llc Low-power iris authentication alignment
US20160282934A1 (en) 2015-03-25 2016-09-29 Motorola Mobility Llc Presence detection for gesture recognition and iris authentication
US9904409B2 (en) 2015-04-15 2018-02-27 Samsung Electronics Co., Ltd. Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
KR20160123200A (ko) 2015-04-15 2016-10-25 삼성전자주식회사 터치 입력 처리 방법 및 이를 지원하는 전자 장치
US20200364967A1 (en) 2015-04-15 2020-11-19 Richard SPICE Contactless payment terminal
WO2016170854A1 (ja) 2015-04-22 2016-10-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
EP3289434A1 (en) 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
CN111522434A (zh) 2015-04-30 2020-08-11 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
DE102015210130A1 (de) 2015-06-02 2016-12-08 Volkswagen Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei Interaktion mit einer Anwenderschnittstelle
KR20170025570A (ko) 2015-08-28 2017-03-08 엘지전자 주식회사 와치 타입 이동 단말기 및 그의 동작 방법
US9629201B2 (en) 2015-09-21 2017-04-18 Qualcomm Incorporated Using Wi-Fi as human control interface
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US20170097684A1 (en) * 2015-10-06 2017-04-06 Google, Inc. Compressed Sensing for Gesture Tracking and Recognition with Radar
CN106339076B (zh) 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置
CN106371569A (zh) 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
WO2017100641A1 (en) 2015-12-11 2017-06-15 SomniQ, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
DE102016100064B4 (de) 2016-01-04 2017-11-23 Volkswagen Aktiengesellschaft Adative Anzeige in B-Säule
US10095876B2 (en) 2016-02-09 2018-10-09 Rovi Guides, Inc. Systems and methods for allowing a user to access blocked media
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US10022613B2 (en) 2016-05-02 2018-07-17 Bao Tran Smart device
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US20170329412A1 (en) 2016-05-16 2017-11-16 Google Inc. Systems and Methods of Gesture-Based Control
CN107404628B (zh) 2016-05-18 2020-09-01 佳能株式会社 图像处理装置及方法以及监视系统
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
KR102620138B1 (ko) 2016-06-02 2024-01-03 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US10306051B2 (en) 2016-06-14 2019-05-28 Hand Held Products, Inc. Managing energy usage in mobile devices
US10238976B2 (en) 2016-07-07 2019-03-26 Disney Enterprises, Inc. Location-based experience with interactive merchandise
EP3674851A1 (en) 2016-07-07 2020-07-01 David Franklin Gesture-based user interface
WO2018031516A1 (en) 2016-08-09 2018-02-15 Google Llc Radar-based gestural interface
US10086267B2 (en) 2016-08-12 2018-10-02 Microsoft Technology Licensing, Llc Physical gesture input configuration for interactive software and video games
CA3033852C (en) 2016-08-15 2023-04-11 Georgia Tech Research Corporation Electronic device and method of controlling the same
US10416777B2 (en) 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10934764B2 (en) 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US10168767B2 (en) 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10372260B2 (en) 2016-12-12 2019-08-06 Microsoft Technology Licensing, Llc Apparatus and method of adjusting power mode of a display of a device
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10356617B2 (en) 2017-02-08 2019-07-16 Qualcomm Incorporated Mobile device to provide continuous authentication based on contextual awareness
US10914834B2 (en) 2017-05-10 2021-02-09 Google Llc Low-power radar
US20200372239A1 (en) 2017-05-15 2020-11-26 Microsoft Technology Licensing, Llc Device wake-up based on fingerprint sensor
US11216547B2 (en) 2017-05-15 2022-01-04 Microsoft Technology Licensing, Llc Headset with fingerprint authentication
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
CN110997338B (zh) 2017-07-31 2021-11-26 惠普发展公司，有限责任合伙企业 基于启发式的声发射和能量节约
US11030289B2 (en) 2017-07-31 2021-06-08 Stmicroelectronics, Inc. Human presence detection
WO2019024056A1 (zh) 2017-08-03 2019-02-07 华为技术有限公司 一种防误触方法及终端
US10691912B2 (en) 2017-08-09 2020-06-23 The Board Of Trustees Of The Leland Stanford Junior University Ultrasonic biometric sensing device integrated with optics
US10612936B2 (en) 2017-09-01 2020-04-07 Telenav, Inc. Navigation system with delivery mechanism and method of operation thereof
CN208339456U (zh) 2017-09-01 2019-01-08 江苏索众智能科技有限公司 一种智能马桶盖
CN107580129A (zh) 2017-09-01 2018-01-12 北京小米移动软件有限公司 终端状态控制方法及装置
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
US10725161B2 (en) 2017-12-15 2020-07-28 Google Llc Seamless authentication using radar
WO2019146032A1 (ja) 2018-01-25 2019-08-01 三菱電機株式会社 ジェスチャー操作装置およびジェスチャー操作方法
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
CN110417986B (zh) 2018-04-28 2020-10-23 华为技术有限公司 一种灭屏显示的方法及电子设备
US11027822B2 (en) 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
JP2019030000A (ja) 2018-06-27 2019-02-21 京セラ株式会社 電子機器、プログラムおよび制御方法
US10284541B1 (en) 2018-07-09 2019-05-07 Capital One Services, Llc System and method for generating enhanced distributed online registry
CN109032488A (zh) 2018-07-17 2018-12-18 Oppo广东移动通信有限公司 黑屏手势的处理方法、存储介质及电子设备
CN108958490B (zh) 2018-07-24 2021-09-17 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
US11269428B2 (en) 2018-09-09 2022-03-08 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
US11310226B2 (en) 2018-12-19 2022-04-19 Paypal, Inc. Gesture and motion detection using a device radar component for user authentication
US11417163B2 (en) 2019-01-04 2022-08-16 Byton North America Corporation Systems and methods for key fob motion based gesture commands
CN109857251A (zh) 2019-01-16 2019-06-07 珠海格力电器股份有限公司 智能家电的手势识别控制方法、装置、存储介质及设备
EP3699738B1 (en) 2019-02-19 2024-03-27 Samsung Electronics Co., Ltd. Electronic device and display control method thereof
KR20200101192A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 의도되지 않은 사용자 입력의 수신을 방지하는 전자 장치 및 전자 장치의 동작 방법
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11496387B2 (en) 2019-06-11 2022-11-08 Zscaler, Inc. Auto re-segmentation to assign new applications in a microsegmented network
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11604891B2 (en) 2019-07-17 2023-03-14 Motorola Mobility Llc Displaying sensitive content based on whether others are around user
KR102639579B1 (ko) 2019-07-26 2024-02-26 구글 엘엘씨 인증된 상태 유지하기
WO2021021220A1 (en) 2019-07-26 2021-02-04 Google Llc Authentication management through imu and radar
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
WO2021021224A1 (en) 2019-07-26 2021-02-04 Google Llc Context-sensitive control of radar-based gesture-recognition
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
KR20220005081A (ko) 2019-07-26 2022-01-12 구글 엘엘씨 Imu 및 레이더를 기반으로 한 상태 감소
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
WO2021040749A1 (en) 2019-08-30 2021-03-04 Google Llc Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
WO2021040747A1 (en) 2019-08-30 2021-03-04 Google Llc Methods for reliable acceptance of user non-contact gesture inputs for a mobile device
CN112753005B (zh) 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
CN113892072A (zh) 2019-08-30 2022-01-04 谷歌有限责任公司 用于暂停的雷达姿势的视觉指示器
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
US20210103348A1 (en) 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
US11640208B2 (en) 2019-11-21 2023-05-02 Infineon Technologies Ag Gesture feedback in distributed neural network system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110304541A1 (en) 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20160041617A1 (en) 2014-08-07 2016-02-11 Google Inc. Radar-Based Gesture Recognition
US20160071341A1 (en) 2014-09-05 2016-03-10 Mindray Ds Usa, Inc. Systems and methods for medical monitoring device gesture control lockout
US20160216769A1 (en) 2015-01-28 2016-07-28 Medtronic, Inc. Systems and methods for mitigating gesture input error
US20180040144A1 (en) 2015-09-07 2018-02-08 Tencent Technology (Shenzhen) Company Limited Information processing method and apparatus, terminal, and storage medium
US20180173323A1 (en) 2016-11-14 2018-06-21 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
US20190079590A1 (en) 2017-09-12 2019-03-14 Seiko Epson Corporation Head mounted display device and control method for head mounted display device

Also Published As

Publication number Publication date
US20220100283A1 (en) 2022-03-31
CN113892072A (zh) 2022-01-04
US11687167B2 (en) 2023-06-27
KR20230004919A (ko) 2023-01-06
KR20210145313A (ko) 2021-12-01
US11281303B2 (en) 2022-03-22
WO2021040748A1 (en) 2021-03-04
US20210064146A1 (en) 2021-03-04
KR102661485B1 (ko) 2024-04-29

Similar Documents

Publication Publication Date Title
KR102479012B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
CN112753005B (zh) 移动设备的输入方法
KR102416386B1 (ko) 다중 입력 모드에 대한 입력 모드 통지
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
US20210064144A1 (en) Methods for Reliable Acceptance of User Non-Contact Gesture Inputs for a Mobile Device
KR102320754B1 (ko) 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원
JP7407200B2 (ja) マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法
JP7433397B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
CN113924568A (zh) 基于雷达的认证状态反馈
CN111868664A (zh) 用于在较低功率模式下确定用户意图的基于智能电话的雷达系统

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
A107 Divisional application of patent
GRNT Written decision to grant